JP2015203881A - Observation device, display method and program - Google Patents

Observation device, display method and program Download PDF

Info

Publication number
JP2015203881A
JP2015203881A JP2014081357A JP2014081357A JP2015203881A JP 2015203881 A JP2015203881 A JP 2015203881A JP 2014081357 A JP2014081357 A JP 2014081357A JP 2014081357 A JP2014081357 A JP 2014081357A JP 2015203881 A JP2015203881 A JP 2015203881A
Authority
JP
Japan
Prior art keywords
captured image
feature amount
parameter
display
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014081357A
Other languages
Japanese (ja)
Other versions
JP6413310B2 (en
Inventor
康貴 岡田
Yasutaka Okada
康貴 岡田
村下 君孝
Kimitaka Murashita
君孝 村下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014081357A priority Critical patent/JP6413310B2/en
Publication of JP2015203881A publication Critical patent/JP2015203881A/en
Application granted granted Critical
Publication of JP6413310B2 publication Critical patent/JP6413310B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To reduce load applied to an assistant, in an observation system.SOLUTION: An observation device comprises: a calculation part for calculating a feature amount indicating motion of an object person, based on an image obtained by imaging the object person; a registration part for associating the feature amount calculated by the calculation part with a parameter according to similarity with a feature amount calculated based on other image of the object person which has already been registered, and registering it in a database for every object person; and a display control part for determining whether or not the image is displayed based on the parameter, and when it is determined that the image is displayed, displaying the image.

Description

本発明は、見守り装置、表示方法及びプログラムに関する。   The present invention relates to a monitoring device, a display method, and a program.

従来より、病院や介護施設等において、寝具上に横臥した患者や被介護者等(「見守り対象者」と称す)の動作を、撮像装置を用いて監視する見守りシステムが知られている。見守りシステムを用いれば、看護師や介護士等(「補助者」と称す)は、見守り対象者の動作により補助が必要な状態になったことを、離れた位置からでも把握することができる。しかしながら、このような見守りシステムの場合、補助者はモニタの前で撮影画像を常時監視しておく必要があり、補助者にとっての負担が大きい。   2. Description of the Related Art Conventionally, in a hospital or a nursing facility, a monitoring system is known that monitors the operation of a patient lying on a bedding, a care recipient, etc. (referred to as a “watched person”) using an imaging device. By using the watching system, a nurse, a caregiver, or the like (referred to as “assistant”) can grasp from a remote position that assistance is required by the operation of the watching target person. However, in the case of such a monitoring system, the assistant needs to constantly monitor the captured image in front of the monitor, and the burden on the assistant is great.

一方で、複数の撮影画像から特定の撮影画像を検知して表示する画像処理技術が知られている。このような画像処理技術を上記見守りシステムに適用すれば、見守り対象者の動作により特定の状態(補助者による補助が必要な状態)になった際の撮影画像のみを、補助者に対して報知することができるようになると考えられる。   On the other hand, an image processing technique for detecting and displaying a specific captured image from a plurality of captured images is known. If such an image processing technology is applied to the above-mentioned monitoring system, only the photographed image when a specific state (a state where assistance by the assistant is required) is brought about by the operation of the person being watched over is notified to the assistant. It will be possible to do that.

特開2009−140175号公報JP 2009-140175 A

しかしながら、見守り対象者の日常生活動作は様々であり、同じ見守り対象者であっても、リハビリの進行状態や投薬の状態等によって変化する。このため、補助者による補助が必要な状態は、見守り対象者ごとに日々変化し、複数の撮影画像から、補助者による補助が必要な状態を撮影した特定の撮影画像のみを精度よく検知することは容易ではない。日々状態が変化する中で、特定の撮影画像を精度よく検知するためには、見守り対象者ごとの日常生活動作に応じた撮影画像を、蓄積しておく必要があるからである。   However, the daily activities of the person being watched over vary, and even the same person being watched over changes depending on the progress of rehabilitation, the state of medication, and the like. For this reason, the state where assistance by an assistant is required changes every day for each person to be watched, and only a specific photographed image obtained by photographing the state requiring assistance by the assistant is accurately detected from a plurality of photographed images. Is not easy. This is because, in order to accurately detect a specific captured image while the state changes every day, it is necessary to accumulate captured images corresponding to the daily activities of each watching target person.

一方で、見守りシステムにおいて誤検知が頻繁に発生したのでは、補助者は報知された撮影画像を頻繁に確認する必要があり、補助者の負担が軽減されない。   On the other hand, if erroneous detection frequently occurs in the watching system, the assistant needs to frequently check the notified captured image, and the burden on the assistant is not reduced.

一つの側面では、見守りシステムにおいて補助者の負担を低減させることを目的としている。   One aspect aims to reduce the burden on the assistant in the watch system.

一態様によれば、対象者を撮影することで得られた撮影画像から、該対象者の動作を示す特徴量を算出する算出部と、前記算出部により算出された特徴量を、前記対象者について既に登録されている他の撮影画像から算出された特徴量との類似度に応じたパラメータと対応付けて、前記対象者ごとにデータベースに登録する登録部と、前記パラメータに基づいて前記撮影画像を表示するか否かを判定し、表示すると判定した場合に、前記撮影画像を表示させる表示制御部とを有する。   According to an aspect, a calculation unit that calculates a feature amount indicating an operation of the target person from a captured image obtained by shooting the target person, and the feature amount calculated by the calculation unit is the target person. A registration unit for registering in the database for each target person in association with a parameter corresponding to the degree of similarity with a feature amount calculated from another captured image that has already been registered, and the captured image based on the parameter And a display control unit that displays the captured image when it is determined to display.

見守りシステムにおいて補助者の負担を低減させることができる。   The burden on the assistant can be reduced in the watching system.

見守りシステムの一例を示す図である。It is a figure which shows an example of a watching system. 解析装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of an analyzer. 撮影画像データベースに格納される撮影画像情報の一例を示した図である。It is the figure which showed an example of the picked-up image information stored in a picked-up image database. 撮影画像より抽出される第1及び第2の特徴量を説明するための図である。It is a figure for demonstrating the 1st and 2nd feature-value extracted from a picked-up image. 撮影画像より抽出される第3の特徴量を説明するための図である。It is a figure for demonstrating the 3rd feature-value extracted from a picked-up image. 解析装置の機能構成を示す図である。It is a figure which shows the function structure of an analyzer. 解析装置により実行される撮影画像解析処理の概要を説明するための図である。It is a figure for demonstrating the outline | summary of the picked-up image analysis process performed by an analyzer. 解析装置により実行される撮影画像解析処理のフローチャートである。It is a flowchart of the picked-up image analysis process performed by the analyzer. 解析装置により実行される登録処理のフローチャートである。It is a flowchart of the registration process performed by an analyzer. 解析装置により実行される表示処理のフローチャートである。It is a flowchart of the display process performed by an analyzer. 解析装置により実行される行動結果取得処理のフローチャートである。It is a flowchart of the action result acquisition process performed by an analyzer. 解析装置により実行される重み変更処理のフローチャートである。It is a flowchart of the weight change process performed by an analyzer. 解析装置により実行される表示処理の他のフローチャートである。It is another flowchart of the display process performed by an analyzer. ダイジェスト画像の抽出方法及び表示方法を説明するための図である。It is a figure for demonstrating the extraction method and display method of a digest image. 解析装置により実行される表示処理の他のフローチャートである。It is another flowchart of the display process performed by an analyzer. 解析装置により実行される行動結果取得処理の他のフローチャートである。It is another flowchart of the action result acquisition process performed by an analyzer.

以下、実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。   Hereinafter, embodiments will be described with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, the duplicate description is abbreviate | omitted by attaching | subjecting the same code | symbol.

[第1の実施形態]
はじめに、第1の実施形態における見守りシステムについて説明する。図1は、見守りシステムの一例を示す図である。
[First Embodiment]
First, the watching system in the first embodiment will be described. FIG. 1 is a diagram illustrating an example of a watching system.

見守りシステム100は、撮像部110と、見守り装置の一例である解析装置120と、ユーザインタフェース装置130とを有しており、撮像部110と解析装置120とは、ネットワーク140を介して接続される。撮像部110は、例えば、病院の各病室や介護施設の各居室等において、寝具(ベット)の傍らに設置される。また、ユーザインタフェース装置130は、例えば、病院のナースステーションや介護施設の介護者用の執務室等に設置される。   The monitoring system 100 includes an imaging unit 110, an analysis device 120 that is an example of a monitoring device, and a user interface device 130. The imaging unit 110 and the analysis device 120 are connected via a network 140. . The imaging unit 110 is installed beside the bedding (bed), for example, in each hospital room or each nursing room. The user interface device 130 is installed in, for example, a nurse station in a hospital or a work room for a caregiver in a care facility.

撮像部110は、近赤外線カメラであり、病院の各病室や介護施設の各居室の寝具上に横臥した患者や被介護者等(「見守り対象者」と称す)の動作を撮影する。撮像部110により撮影された撮影画像は、ネットワーク140を介して解析装置120に送信される。   The imaging unit 110 is a near-infrared camera, and captures an action of a patient lying on a bed in each room of a hospital or a nursing facility, a cared person, or the like (referred to as a “watched person”). A captured image captured by the imaging unit 110 is transmitted to the analysis device 120 via the network 140.

解析装置120は、撮像部110により撮影された撮影画像を処理し、撮影画像データベース121(以下、データベースをDBと略す)に格納されている撮影画像情報に撮影画像を登録する。また、解析装置120は、撮影画像をユーザインタフェース装置130を表示するための制御を行う。更に、解析装置120は、ユーザインタフェース装置130に撮影画像を表示した場合の、看護師や介護士等(「補助者」と称す)による見守り対象者に対する補助の有無を判定し、判定結果に応じて撮影画像DB121に格納された撮影画像情報を更新する。なお、解析装置120には、解析プログラム122がインストールされており、解析装置120におけるこれらの処理は、解析装置120が解析プログラム122を実行することで実現する。   The analysis device 120 processes the captured image captured by the imaging unit 110 and registers the captured image in the captured image information stored in the captured image database 121 (hereinafter, the database is abbreviated as DB). Further, the analysis device 120 performs control for displaying the captured image on the user interface device 130. Furthermore, the analysis device 120 determines whether or not there is assistance for the person to be watched by a nurse or a caregiver (referred to as “assistant”) when the captured image is displayed on the user interface device 130, and according to the determination result. The photographed image information stored in the photographed image DB 121 is updated. Note that an analysis program 122 is installed in the analysis device 120, and these processes in the analysis device 120 are realized by the analysis device 120 executing the analysis program 122.

ユーザインタフェース装置130は、撮影画像を表示するとともに、補助者による見守り対象者に対する補助の有無の入力を受け付ける。ユーザインタフェース装置130は、入力された補助者による補助の有無を、補助者の行動結果に関する情報として、解析装置120に送信する。   The user interface device 130 displays a photographed image and accepts an input indicating whether or not there is assistance for the person being watched over by the assistant. The user interface device 130 transmits the presence / absence of assistance input by the assistant to the analysis device 120 as information on the behavior result of the assistant.

図2は、解析装置のハードウェア構成を示す図である。図2に示すように、解析装置120は、CPU201、ROM(Read Only Memory)202、RAM(Random Access Memory)203を備える。また、解析装置120は、記憶部204、接続部205、通信部206を備える。なお、解析装置120の各部は、バス207を介して相互に接続されている。   FIG. 2 is a diagram illustrating a hardware configuration of the analysis apparatus. As shown in FIG. 2, the analysis device 120 includes a CPU 201, a ROM (Read Only Memory) 202, and a RAM (Random Access Memory) 203. The analysis device 120 includes a storage unit 204, a connection unit 205, and a communication unit 206. Each unit of the analysis device 120 is connected to each other via a bus 207.

CPU201は、記憶部204に格納された各種プログラムを実行するコンピュータである。   The CPU 201 is a computer that executes various programs stored in the storage unit 204.

ROM202は不揮発性メモリである。ROM202は、記憶部204に格納された各種プログラムをCPU201が実行するために必要な各種プログラム、データ等を格納する。具体的には、BIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラムなどを格納する。   The ROM 202 is a nonvolatile memory. The ROM 202 stores various programs, data, and the like necessary for the CPU 201 to execute various programs stored in the storage unit 204. Specifically, a boot program such as BIOS (Basic Input / Output System) or EFI (Extensible Firmware Interface) is stored.

RAM203は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の主記憶装置である。RAM203は、記憶部204に各種プログラムがCPU201によって実行される際に展開される、作業領域として機能する。   The RAM 203 is a main storage device such as a DRAM (Dynamic Random Access Memory) or an SRAM (Static Random Access Memory). The RAM 203 functions as a work area that is expanded when various programs are executed by the CPU 201 in the storage unit 204.

記憶部204は、解析装置120にインストールされた各種プログラムや、プログラムを実行することで生成されるデータ等を格納する。接続部205は、ユーザインタフェース装置130と接続され、ユーザインタフェース装置130との間で、データの送受信を行う。通信部206は、ネットワーク140を介して撮像部110との間で通信を行う。   The storage unit 204 stores various programs installed in the analysis device 120, data generated by executing the programs, and the like. The connection unit 205 is connected to the user interface device 130 and transmits / receives data to / from the user interface device 130. The communication unit 206 communicates with the imaging unit 110 via the network 140.

次に、解析装置120の撮影画像DB121に格納される撮影画像情報について説明する。図3は、撮影画像DBに格納される撮影画像情報の一例を示した図である。なお、撮影画像DB121には、見守り対象者ごとに撮影画像情報が格納されており、図3は、そのうちの"患者ID"="AAAA"の見守り対象者の撮影画像情報の一例を示す図である。   Next, captured image information stored in the captured image DB 121 of the analysis apparatus 120 will be described. FIG. 3 is a diagram illustrating an example of photographed image information stored in the photographed image DB. The photographed image DB 121 stores photographed image information for each watching target person, and FIG. 3 is a diagram illustrating an example of the photographed image information of the watching target person of “patient ID” = “AAAA”. is there.

図3に示すように、撮影画像情報300は情報の項目として、"画像ID"、"画像ファイル"、"特徴量"、"重みパラメータ"、"カウンタ値"を含む。"画像ID"には、撮影画像情報300に登録される撮影画像を識別するための識別子が格納される。   As shown in FIG. 3, the captured image information 300 includes “image ID”, “image file”, “feature”, “weight parameter”, and “counter value” as information items. In “Image ID”, an identifier for identifying a captured image registered in the captured image information 300 is stored.

"画像ファイル"には、撮影画像ファイルが格納される。なお、ここでいう撮影画像ファイルは、後述する体動時間の間に撮影された複数フレームの撮影画像群を含むファイルである。例えば、フレーム周期を30枚/秒とし、体動時間を5秒とすると、撮影画像ファイルには、150フレーム分の撮影画像が含まれることとなる。   The “image file” stores a captured image file. The photographed image file referred to here is a file including a plurality of frames of photographed image groups photographed during body movement time described later. For example, if the frame period is 30 frames / second and the body movement time is 5 seconds, the captured image file includes 150 frames of captured images.

"特徴量"には、"画像ファイル"に格納された各撮影画像ファイルより抽出される特徴量が格納される。なお、撮影画像情報300には、特徴量として、体動の大きさ、体動領域、体動時間が含まれる。各特徴量についての詳細な説明は後述する。   In the “feature amount”, a feature amount extracted from each captured image file stored in the “image file” is stored. Note that the captured image information 300 includes the size of the body motion, the body motion region, and the body motion time as the feature amount. A detailed description of each feature amount will be described later.

"重みパラメータ"には、各特徴量により表される見守り対象者の動作が、補助者による補助が必要な動作である度合いを示す値が格納される。なお、補助者による補助が必要な動作とは、通常は起こりにくい動作や普段とは異なる動作を指す。また、通常は起こりにくい動作や普段とは異なる動作とは、例えば、夜間時間帯において、就床→睡眠→起床といった一般的な生活リズムの中で、見守り対象者が暴れている、起きているといった動作を指す。反対に通常起こり得る動作や普段の動作とは、見守り対象者が寝返りをするといった動作を指す。これらの動作は、体動の大きさ、体動領域、体動時間の組み合わせにより表現することができる。   Stored in the “weight parameter” is a value indicating the degree to which the action of the person to be watched represented by each feature amount is an action that requires assistance from the assistant. Note that an operation requiring assistance from an assistant refers to an operation that hardly occurs or an operation that is different from usual. In addition, movements that are not likely to occur or actions that are not normal occur, for example, during a nighttime period, in a general life rhythm such as going to bed → sleeping → getting up, the person being watched over is violent or waking up Refers to the operation. On the other hand, the actions that can occur normally and the usual actions refer to actions in which the person being watched over turns over. These motions can be expressed by a combination of the size of the body motion, the body motion region, and the body motion time.

"カウンタ値"には、撮影画像情報300に格納された各撮影画像ファイルが利用された頻度を示す値が格納される。   The “counter value” stores a value indicating the frequency with which each captured image file stored in the captured image information 300 is used.

次に、撮影画像より抽出される第1及び第2の特徴量である、体動の大きさ及び体動領域について説明する。図4は、撮影画像より抽出される第1及び第2の特徴量を説明するための図であり、体動の大きさと体動領域とを具体的に示した図である。   Next, the body motion magnitude and body motion region, which are the first and second feature amounts extracted from the captured image, will be described. FIG. 4 is a diagram for explaining the first and second feature amounts extracted from the photographed image, and is a diagram specifically showing the size of the body motion and the body motion region.

図4(a)は、各時刻において撮影された見守り対象者の撮影画像を示している。図4(a)の例では、時刻=t−1において両腕を八の字に開いていた見守り対象者が、時刻=tにおいては、右腕を体の前まで動かしている。更に、時刻=t+1においては、右腕を左腕の近くまで動かし、時刻=t+2においては、右腕を元の位置に戻している。   FIG. 4A shows a captured image of the watching target photographed at each time. In the example of FIG. 4 (a), the person to be watched who has opened both arms in a figure of eight at time = t−1 moves his right arm to the front of the body at time = t. Further, at time = t + 1, the right arm is moved to near the left arm, and at time = t + 2, the right arm is returned to the original position.

図4(b)は、連続する2つの時刻において撮影された見守り対象者の撮影画像内の各画素の輝度差を算出し、輝度差が所定の閾値以上の画素を1、輝度差が所定の閾値未満の画素を0として二値化した二値画像を示している。なお、二値化した部位をわかりやすくするために、図4(b)の例では、見守り対象者を点線で表している。   FIG. 4 (b) calculates the luminance difference of each pixel in the captured image of the person being watched taken at two consecutive times. The pixel having a luminance difference equal to or greater than a predetermined threshold is 1, and the luminance difference is predetermined. A binary image obtained by binarizing the pixels less than the threshold as 0 is shown. In addition, in order to make it easy to understand the binarized part, in the example of FIG. 4B, the watching target person is represented by a dotted line.

図4(b)において黒塗りされた領域A(t−1)は、時刻=t−1において撮影された撮影画像と、時刻=tにおいて撮影された撮影画像との輝度差が所定の閾値以上の領域である。また、領域A(t)は、時刻=tにおいて撮影された撮影画像と、時刻=t+1において撮影された撮影画像との輝度差が所定の閾値以上の領域である。更に、領域A(t+1)は、時刻=t+1において撮影された撮影画像と、時刻=t+2において撮影された撮影画像との輝度差が所定の閾値以上の領域である。   In FIG. 4B, a black area A (t−1) has a luminance difference between a captured image captured at time = t−1 and a captured image captured at time = t equal to or greater than a predetermined threshold. It is an area. In addition, the area A (t) is an area where the luminance difference between the captured image captured at time = t and the captured image captured at time = t + 1 is greater than or equal to a predetermined threshold. Further, the area A (t + 1) is an area where the luminance difference between the captured image captured at time = t + 1 and the captured image captured at time = t + 2 is equal to or greater than a predetermined threshold.

なお、撮影画像内の各画素(x,y)の輝度値をf(x,y)とし、所定の閾値をTHとすると、二値画像は下式に基づいて求めることができる。   If the luminance value of each pixel (x, y) in the captured image is f (x, y) and the predetermined threshold is TH, a binary image can be obtained based on the following equation.

Figure 2015203881
Figure 2015203881

このうち、領域A(t−1)は、f'(x,y)=1の領域であり、領域A(t)は、f'(x,y)=1の領域であり、領域A(t+1)は、f'(x,y)=1の領域である。 Among these, the region A (t−1) is a region where f ′ 1 (x, y) = 1, and the region A (t) is a region where f ′ 2 (x, y) = 1, and the region A (t + 1) is a region where f ′ 3 (x, y) = 1.

図4(c)は、2つの連続する二値画像のいずれにおいても、輝度値が1となる画素の領域を示している。図4(c)において黒塗りされた領域B(t)は、領域A(t−1)と領域A(t)との間の重複領域を示している。また、黒塗りされた領域B(t+1)は、領域A(t)と領域A(t+1)との間の重複領域を示している。   FIG. 4C shows an area of a pixel having a luminance value of 1 in any of two consecutive binary images. In FIG. 4C, a black area B (t) indicates an overlapping area between the area A (t−1) and the area A (t). Also, a black area B (t + 1) indicates an overlapping area between the area A (t) and the area A (t + 1).

つまり、領域B(t)、領域B(t+1)は下式により表すことができる。   That is, the region B (t) and the region B (t + 1) can be expressed by the following formula.

Figure 2015203881
Figure 2015203881

本実施形態では、領域B(t)を、時刻=tにおける「体動領域」と称し、領域B(t+1)を、時刻=t+1における「体動領域」と称す。   In the present embodiment, the region B (t) is referred to as a “body motion region” at time = t, and the region B (t + 1) is referred to as a “body motion region” at time = t + 1.

また、本実施形態では、領域B(t)の重心位置と、領域B(t+1)の重心位置との間の距離L(t)を、時刻=tから時刻=t+1までの間の「体動の大きさ」と称す。   In this embodiment, the distance L (t) between the center of gravity of the region B (t) and the center of gravity of the region B (t + 1) is expressed as “body motion between time = t and time = t + 1”. Called "the size of".

次に、撮影画像より抽出される第3の特徴量である、体動時間について説明する。図5は、撮影画像より抽出される第3の特徴量を説明するための図であり、体動時間を具体的に示した図である。   Next, the body movement time, which is the third feature amount extracted from the captured image, will be described. FIG. 5 is a diagram for explaining the third feature amount extracted from the photographed image, and specifically shows the body movement time.

図5において、横軸は時刻を縦軸は各時刻における体動の大きさを示している。なお、図5では、一例として、時刻=tから時刻=t+1までの間の体動の大きさ(L(t))を点線で明示している。   In FIG. 5, the horizontal axis indicates time, and the vertical axis indicates the magnitude of body movement at each time. In FIG. 5, as an example, the magnitude of body movement (L (t)) from time = t to time = t + 1 is clearly indicated by a dotted line.

図5に示すように、体動時間は、体動の大きさが所定の閾値より大きくなった時点を開始点とし、開始点以降に、体動の大きさが最初に所定の閾値になった時点を終了点とした場合の、開始点と終了点との間の時間である。   As shown in FIG. 5, the body movement time starts when the magnitude of the body movement becomes greater than a predetermined threshold, and after the start point, the magnitude of the body movement first reaches the predetermined threshold. This is the time between the start point and the end point when the time point is the end point.

なお、本実施形態において、撮影画像ファイルに含まれる各フレームの撮影画像に基づいて抽出され、撮影画像情報300に格納される特徴量のうち、「体動の大きさ」は、体動時間における平均の体動の大きさである。また、「体動領域」は、体動時間における平均の体動領域である。つまり、特徴量Vは、1体動単位で求めるものとする。   In the present embodiment, among the feature amounts extracted based on the captured image of each frame included in the captured image file and stored in the captured image information 300, “the size of body motion” is the body motion time. The average body movement. The “body motion region” is an average body motion region in the body motion time. That is, the feature amount V is obtained in units of one body movement.

次に、解析装置120の機能構成について説明する。図6は、解析装置120の機能構成を示す図である。解析装置120は、CPU201が解析プログラム122を実行することで、後述する各部の機能を実現する。なお、本実施形態において、解析装置120の撮影画像DB121は、例えば記憶部204に設けられる。   Next, a functional configuration of the analysis device 120 will be described. FIG. 6 is a diagram illustrating a functional configuration of the analysis device 120. The analysis apparatus 120 realizes functions of each unit described later by the CPU 201 executing the analysis program 122. In the present embodiment, the captured image DB 121 of the analysis apparatus 120 is provided in the storage unit 204, for example.

図6に示すように、解析装置120は、撮影画像取得部601、特徴量算出部602、登録部603、初期重み管理部604、表示制御部605、行動結果取得部606、重み管理部607を有する。   As illustrated in FIG. 6, the analysis apparatus 120 includes a captured image acquisition unit 601, a feature amount calculation unit 602, a registration unit 603, an initial weight management unit 604, a display control unit 605, an action result acquisition unit 606, and a weight management unit 607. Have.

撮影画像取得部601は、撮像部110において見守り対象者を撮影することで得られた撮影画像を撮像部110より取得する。   The captured image acquisition unit 601 acquires, from the imaging unit 110, a captured image obtained by capturing an image of the watching target person in the imaging unit 110.

特徴量算出部602は、撮影画像取得部601において取得された撮影画像より、見守り対象者の動作を示す特徴量を1体動単位で算出する。   The feature amount calculation unit 602 calculates a feature amount indicating the motion of the watching target person in units of one body movement from the captured image acquired by the captured image acquisition unit 601.

登録部603は、特徴量算出部602において抽出された特徴量に基づいて、撮影画像DB121に格納された撮影画像情報300への撮影画像の登録可否を判定し、登録可能と判定した場合に、撮影画像を撮影画像情報300に登録する。   The registration unit 603 determines whether or not a captured image can be registered in the captured image information 300 stored in the captured image DB 121 based on the feature amount extracted by the feature amount calculation unit 602. The captured image is registered in the captured image information 300.

初期重み管理部604は、登録部603により新たに登録された撮影画像の特徴量と、既に登録されている撮影画像の特徴量との類似度を算出する。また算出した類似度に応じた重みパラメータを導出し、導出した重みパラメータを、新たに登録された撮影画像の重みパラメータとして撮影画像情報300に格納する。   The initial weight management unit 604 calculates the similarity between the feature amount of the photographed image newly registered by the registration unit 603 and the feature amount of the photographed image already registered. In addition, a weight parameter corresponding to the calculated similarity is derived, and the derived weight parameter is stored in the captured image information 300 as a weight parameter of a newly registered captured image.

表示制御部605は、ユーザインタフェース装置130に撮影画像を表示するための制御を行う。具体的には、初期重み管理部604において導出された重みパラメータに基づいて、撮影画像をユーザインタフェース装置130に表示するか否かを判定し、表示すると判定した場合に、撮影画像をユーザインタフェース装置130に表示する。   The display control unit 605 performs control for displaying a captured image on the user interface device 130. Specifically, based on the weight parameter derived in the initial weight management unit 604, it is determined whether or not the captured image is displayed on the user interface device 130. If it is determined that the captured image is displayed, the captured image is displayed on the user interface device. 130.

行動結果取得部606は、ユーザインタフェース装置130に撮影画像が表示されたことに対して入力された、補助者の行動結果に関する情報を取得する。具体的には、ユーザインタフェース装置130に表示された撮影画像を見ることで、補助者が、見守り対象者を補助する必要があると判断する。そして、判断結果をユーザインタフェース装置130に入力した場合に、判断結果を補助者の行動結果に関する情報として取得し、重み管理部607に通知する。   The action result acquisition unit 606 acquires information related to the action result of the assistant input in response to the captured image being displayed on the user interface device 130. Specifically, by looking at the captured image displayed on the user interface device 130, the assistant determines that it is necessary to assist the person being watched over. Then, when the determination result is input to the user interface device 130, the determination result is acquired as information on the action result of the assistant and is notified to the weight management unit 607.

重み管理部607は、行動結果取得部606より補助者の行動結果に関する情報が通知された場合に、撮影画像DB121の撮影画像情報300に格納されている撮影画像の重みパラメータを変更する。また、重み管理部607は、撮影画像の重みパラメータを変更したことに伴って、撮影画像情報300に格納されている撮影画像のカウント値を変更する。   The weight management unit 607 changes the weight parameter of the captured image stored in the captured image information 300 of the captured image DB 121 when the behavior result acquisition unit 606 is notified of information related to the behavior result of the assistant. Further, the weight management unit 607 changes the count value of the captured image stored in the captured image information 300 in accordance with the change of the weight parameter of the captured image.

次に、解析装置120により実行される撮影画像解析処理の流れについて説明する。はじめに、解析装置120により実行される撮影画像解析処理の概要について説明する。図7は、解析装置120により実行される撮影画像解析処理の概要を説明するための図である。   Next, the flow of the captured image analysis process executed by the analysis device 120 will be described. First, an overview of the captured image analysis process executed by the analysis device 120 will be described. FIG. 7 is a diagram for explaining the outline of the captured image analysis process executed by the analysis device 120.

図7に示すように、撮影画像取得部601が、1体動分の撮影画像700("撮影画像ファイル"="Imag_n")を取得すると、特徴量算出部602が、撮影画像700より特徴量V=(fn1,fn2,fn3)を算出する。 As illustrated in FIG. 7, when the captured image acquisition unit 601 acquires a captured image 700 (“captured image file” = “Imag_n”) for one body motion, the feature amount calculation unit 602 uses the feature amount from the captured image 700. V n = (f n1 , f n2 , f n3 ) is calculated.

算出された特徴量V=(fn1,fn2,fn3)に基づいて、登録部603では、撮影画像700の撮影画像情報300への登録可否を判定する。算出された特徴量Vに含まれるfn1,fn2,fn3がいずれも所定の閾値以上であると判定した場合には、撮影画像700の撮影画像情報300への登録が可能であると判定する。 Based on the calculated feature value V n = (f n1 , f n2 , f n3 ), the registration unit 603 determines whether or not the captured image 700 can be registered in the captured image information 300. When it is determined that all of f n1 , f n2 , and f n3 included in the calculated feature amount V n are equal to or greater than a predetermined threshold, it is possible to register the captured image 700 in the captured image information 300. judge.

ここで、所定の閾値は、見守り対象者の睡眠時や覚醒時に関係なく発生する微小な動作(一時的に手足を動かす動作や、呼吸に伴う動作)を排除する値であるとし、3つの閾値が設定されているものとする。   Here, the predetermined threshold value is a value that excludes minute movements (movements that temporarily move limbs and movements associated with breathing) that occur regardless of the sleep or awakening of the person being watched over. Is set.

撮影画像700の撮影画像情報300への登録が可能であると判定すると、登録部603は、"画像ID"="000n"として、"撮影画像ファイル"="Imag_n"の撮影画像700を撮影画像情報300に登録する。また、登録部603は、算出された特徴量Vを、撮影画像ファイルと対応付けて格納する。 If it is determined that the captured image 700 can be registered in the captured image information 300, the registration unit 603 sets the captured image 700 of “captured image file” = “Imag_n” as “captured image” with “image ID” = “000n”. Register in the information 300. Also, the registration unit 603 stores the calculated feature amount V n in association with the captured image file.

更に、初期重み管理部604は、撮影画像700の特徴量Vと、既に撮影画像情報300に登録されている各撮影画像の特徴量との類似度を算出する。例えば、撮影画像700("撮影画像ファイル"="Imag_n")の特徴量Vと、"撮影画像ファイル"="Imag_1"の撮影画像の特徴量Vとの類似度S(V,V)は、下式に基づいて算出する。 Further, the initial weight management unit 604 calculates the similarity between the feature amount V n of the captured image 700 and the feature amount of each captured image already registered in the captured image information 300. For example, the similarity S (V n of the feature quantity V n, wherein the amount V 1 of the captured image "captured image file" = "Imag_1" of the captured image 700 ( "captured image file" = "Imag_n"), V 1 ) is calculated based on the following equation.

Figure 2015203881
Figure 2015203881

初期重み管理部604では、同様に、特徴量Vと特徴量Vとの類似度S(V,V)、特徴量Vと特徴量Vとの類似度S(V,V)、・・・を算出する。初期重み管理部604では、更に、算出した類似度の中から所定の閾値以上の類似度を抽出し、抽出した類似度が算出された際の撮影画像に対応付けて格納されている重みパラメータのうち、最も大きい重みパラメータを選択する。 In initial weight management unit 604, similarly, the similarity S (V n, V 2) between the feature quantity V n and the feature quantity V 2, the similarity S (V n between the feature quantity V n and the feature quantity V 3, V 3 ),... Are calculated. The initial weight management unit 604 further extracts a similarity degree equal to or higher than a predetermined threshold from the calculated similarity degrees, and stores the weight parameter stored in association with the captured image when the extracted similarity degree is calculated. Of these, the largest weight parameter is selected.

更に、初期重み管理部604では、選択した重みパラメータを撮影画像700の重みパラメータWとして撮影画像情報300に格納する。なお、初期重み管理部604では、算出した類似度の中に所定の閾値以上の類似度がなかった場合には、撮影画像700の重みパラメータとして1を撮影画像情報300に格納する。 Further, the initial weight management unit 604 stores the selected weight parameter in the captured image information 300 as the weight parameter W n of the captured image 700. Note that the initial weight management unit 604 stores 1 in the captured image information 300 as a weight parameter of the captured image 700 when the calculated similarity does not have a similarity greater than or equal to a predetermined threshold.

初期重み管理部604により、撮影画像情報300に撮影画像700の重みパラメータが格納されると、表示制御部605では、格納された重みパラメータに基づいて、撮影画像700をユーザインタフェース装置130に表示するか否かを判定する。   When the initial weight management unit 604 stores the weight parameter of the photographed image 700 in the photographed image information 300, the display control unit 605 displays the photographed image 700 on the user interface device 130 based on the stored weight parameter. It is determined whether or not.

具体的には、初期重み管理部604により格納された重みパラメータが1であった場合、または、初期重み管理部604により格納された重みパラメータが所定の閾値以上であった場合、撮影画像700をユーザインタフェース装置130に表示すると判定する。   Specifically, when the weight parameter stored by the initial weight management unit 604 is 1, or when the weight parameter stored by the initial weight management unit 604 is equal to or greater than a predetermined threshold, the captured image 700 is displayed. It is determined to be displayed on the user interface device 130.

換言すると、重みパラメータが1より大きく所定の閾値未満であった場合、表示制御部605では、撮影画像700をユーザインタフェース装置130に表示しないと判定する。なお、重みパラメータが1の場合に撮影画像700を表示するのは、過去に発生していない新たな動作であるため、補助が必要な動作であるか否かを補助者に判断してもらうためである。   In other words, when the weight parameter is greater than 1 and less than the predetermined threshold, the display control unit 605 determines that the captured image 700 is not displayed on the user interface device 130. Note that when the weight parameter is 1, the captured image 700 is displayed as a new action that has not occurred in the past, so that the assistant can determine whether or not the action requires assistance. It is.

表示画面710は、ユーザインタフェース装置130に撮影画像700を表示した様子を示している。表示画面710には、表示制御部605により表示可能と判定された撮影画像700に加え、補助者の行動結果を入力するためのボタンが配されている。   A display screen 710 shows the captured image 700 displayed on the user interface device 130. On the display screen 710, in addition to the photographed image 700 determined to be displayable by the display control unit 605, a button for inputting the action result of the assistant is arranged.

"対応する"ボタン711は、表示画面710に表示された撮影画像700を見ることで、見守り対象者が特定の動作(補助者による補助が必要な動作)を行ったと判断した場合に、見守り対象者により押圧されるボタンである。   The “corresponding” button 711 is an object to be watched when it is determined that the person to be watched performs a specific action (an action that requires assistance from the assistant) by looking at the captured image 700 displayed on the display screen 710. It is a button pressed by a person.

一方、"様子見"ボタン712は、表示画面710に表示された撮影画像700を見ることで、見守り対象者が特定の動作を行っていない(補助者による補助が不必要な動作である)と判断した場合に、見守り対象者により押圧されるボタンである。   On the other hand, the “watch” button 712 indicates that the person to be watched does not perform a specific action by looking at the captured image 700 displayed on the display screen 710 (an action that does not require assistance from the assistant). When it is determined, the button is pressed by the person being watched over.

行動結果取得部606では、表示画面710に撮影画像700が表示されたことに対して、補助者がボタン711とボタン712のいずれを押圧したかを判定する。行動結果取得部606により、ボタン712が押圧されたと判定された場合には、撮影画像情報300は変更されない。   The action result acquisition unit 606 determines which of the button 711 and the button 712 the assistant has pressed in response to the captured image 700 being displayed on the display screen 710. If the action result acquisition unit 606 determines that the button 712 is pressed, the captured image information 300 is not changed.

一方、行動結果取得部606により、ボタン711が押圧されたと判定された場合には、重み管理部607が、撮影画像情報300に格納された重みパラメータを変更する。具体的には、撮影画像700に対応付けられた重みパラメータWをインクリメントする。これにより、撮影画像700に対応付けられた重みパラメータは、W+1となる。 On the other hand, when the action result acquisition unit 606 determines that the button 711 has been pressed, the weight management unit 607 changes the weight parameter stored in the captured image information 300. Specifically, it increments the weight parameter W n associated with the captured image 700. Thus, the weight parameter associated with the captured image 700 is W n +1.

重み管理部607では、撮影画像700の特徴量Vと、既に撮影画像情報300に登録されている各撮影画像の特徴量との類似度を算出する(なお、撮影画像700を登録する際に算出した類似度を保持している場合には、ここでの再計算は不要である)。そして、算出した類似度のうち、所定の閾値以上の類似度が算出された撮影画像と対応付けられている重みパラメータをインクリメントする。 The weight management unit 607 calculates the similarity between the feature amount V n of the captured image 700 and the feature amount of each captured image already registered in the captured image information 300 (when the captured image 700 is registered). If the calculated degree of similarity is retained, recalculation here is unnecessary). Then, among the calculated similarities, the weight parameter associated with the captured image for which the similarity equal to or greater than a predetermined threshold is calculated is incremented.

図7の例では、"撮影画像ファイル"="Imag_2"の重みパラメータと、"撮影画像ファイル"="Imag_5"の重みパラメータをインクリメントする。   In the example of FIG. 7, the weight parameter “captured image file” = “Imag — 2” and the weight parameter “captured image file” = “Imag — 5” are incremented.

なお、重み管理部607では、重みパラメータを更新した場合、対応するカウンタ値を初期値に戻す。また、重み管理部607では、更新されなかった重みパラメータに対応するカウンタ値を、1デクリメントする。重み管理部607では、カウンタ値がゼロになった場合に、対応する撮影画像を撮影画像情報300が削除する。   When the weight management unit 607 updates the weight parameter, the corresponding counter value is returned to the initial value. Also, the weight management unit 607 decrements the counter value corresponding to the weight parameter that has not been updated by one. In the weight management unit 607, when the counter value becomes zero, the captured image information 300 deletes the corresponding captured image.

次に、解析装置120により実行される撮影画像解析処理の詳細な流れについて説明する。図8は、解析装置120により実行される撮影画像解析処理のフローチャートである。   Next, the detailed flow of the captured image analysis process executed by the analysis device 120 will be described. FIG. 8 is a flowchart of the captured image analysis process executed by the analysis device 120.

ステップS801において、撮影画像取得部601は撮影画像700を取得する。ステップS802において、特徴量算出部602は、取得した撮影画像700より特徴量を算出する。   In step S <b> 801, the captured image acquisition unit 601 acquires a captured image 700. In step S <b> 802, the feature amount calculation unit 602 calculates a feature amount from the acquired captured image 700.

ステップS803において、登録部603は、取得した撮影画像700を撮影画像情報300に登録する登録処理を行う。また、初期重み管理部604は、抽出した特徴量に基づいて、撮影画像700を登録する際に、撮影画像700と対応付けて撮影画像情報300に格納する重みパラメータを導出する。また、初期重み管理部604は、導出した重みパラメータを、撮影画像700に対応付けて格納する。   In step S <b> 803, the registration unit 603 performs a registration process for registering the acquired captured image 700 in the captured image information 300. The initial weight management unit 604 derives a weight parameter to be stored in the captured image information 300 in association with the captured image 700 when registering the captured image 700 based on the extracted feature amount. The initial weight management unit 604 stores the derived weight parameter in association with the captured image 700.

ステップS804において、表示制御部605は、ステップS803において登録された撮影画像の重みパラメータに応じて、撮影画像700をユーザインタフェース装置130に表示する表示処理を行う。   In step S804, the display control unit 605 performs display processing for displaying the captured image 700 on the user interface device 130 according to the weight parameter of the captured image registered in step S803.

ステップS805において、行動結果取得部606は、ユーザインタフェース装置130に撮影画像が表示されたことに対して入力された、補助者の行動結果に関する情報を取得する行動結果取得処理を行う。   In step S <b> 805, the behavior result acquisition unit 606 performs a behavior result acquisition process for acquiring information related to the behavior result of the assistant input in response to the captured image being displayed on the user interface device 130.

ステップS806において、重み管理部607は、ステップS805において取得された補助者の行動結果に関する情報に応じて、撮影画像情報300に登録された撮影画像700の重みパラメータを変更する変更処理を行う。   In step S806, the weight management unit 607 performs change processing for changing the weight parameter of the photographed image 700 registered in the photographed image information 300 according to the information regarding the action result of the assistant acquired in step S805.

ステップS807において、撮影画像取得部601は、撮影終了指示が入力されたか否かを判定し、撮影終了指示が入力されていないと判定した場合には、ステップS801に戻る。一方、撮影終了指示が入力されたと判定した場合には、撮影画像解析処理を終了する。   In step S807, the captured image acquisition unit 601 determines whether or not a shooting end instruction has been input. If it is determined that a shooting end instruction has not been input, the process returns to step S801. On the other hand, if it is determined that a shooting end instruction has been input, the shot image analysis process ends.

次に、登録処理(ステップS803)の詳細について説明する。図9は、解析装置120により実行される登録処理のフローチャートである。   Next, details of the registration process (step S803) will be described. FIG. 9 is a flowchart of registration processing executed by the analysis device 120.

ステップS901において、登録部603は、処理対象である撮影画像700より抽出された特徴量fn1、fn2、fn3がいずれも、所定の閾値以上であるか否かを判定する。ステップS901において、特徴量fn1、fn2、fn3のいずれかが、所定の閾値未満であると判定した場合には、ステップS908に進む。ステップS908において、登録部603は、撮影画像700を撮影画像情報300に登録しないと判断する。 In step S901, the registration unit 603 determines whether or not all of the feature amounts f n1 , f n2 , and f n3 extracted from the captured image 700 that is the processing target are equal to or greater than a predetermined threshold value. If it is determined in step S901 that any of the feature quantities f n1 , f n2 , and f n3 is less than the predetermined threshold value, the process proceeds to step S908. In step S <b> 908, the registration unit 603 determines not to register the captured image 700 in the captured image information 300.

一方、ステップS901において、特徴量fn1、fn2、fn3のいずれも所定の閾値以上であると判定した場合には、ステップS902に進む。 On the other hand, if it is determined in step S901 that all of the feature quantities f n1 , f n2 , and f n3 are greater than or equal to a predetermined threshold value, the process proceeds to step S902.

ステップS902において、初期重み管理部604は、撮影画像700の重みパラメータに、デフォルト値である1を代入する。   In step S <b> 902, the initial weight management unit 604 substitutes 1 as a default value for the weight parameter of the captured image 700.

ステップS903において、初期重み管理部604は、撮影画像700の特徴量Vと、撮影画像情報300に既に登録されている各撮影画像の特徴量V、V、V、・・・との類似度を算出する。 In step S903, the initial weight management unit 604 obtains the feature amount V n of the captured image 700 and the feature amounts V 1 , V 2 , V 3 ,... Of each captured image already registered in the captured image information 300. The similarity is calculated.

ステップS904において、初期重み管理部604は、ステップS903において算出された類似度S(V,V)、S(V,V)、S(V,V)、・・・のうち、最大の類似度が所定の閾値未満であるか否かを判定する。 In step S904, the initial weight management unit 604, the similarity S calculated in step S903 (V n, V 1) , S (V n, V 2), S (V n, V 3), ··· of Among these, it is determined whether or not the maximum similarity is less than a predetermined threshold.

ステップS904において、最大の類似度が所定の閾値未満であると判定した場合には、ステップS907に進む。一方、ステップS904において、最大の類似度が所定の閾値以上であると判定した場合には、ステップS905に進む。   If it is determined in step S904 that the maximum similarity is less than the predetermined threshold value, the process proceeds to step S907. On the other hand, if it is determined in step S904 that the maximum similarity is greater than or equal to a predetermined threshold, the process proceeds to step S905.

ステップS905において、初期重み管理部604は、類似度が所定の閾値以上となる撮影画像のうち、最大の重みパラメータを撮影画像情報300より取得する。ステップS906において、初期重み管理部604は、ステップS905において取得した重みパラメータを、撮影画像700の重みパラメータに代入する。   In step S <b> 905, the initial weight management unit 604 acquires, from the captured image information 300, the maximum weight parameter among captured images whose similarity is equal to or greater than a predetermined threshold. In step S906, the initial weight management unit 604 substitutes the weight parameter acquired in step S905 for the weight parameter of the captured image 700.

ステップS907において、登録部603は、撮影画像700を、ステップS902にまたはステップS906において代入された重みパラメータ並びにステップS802において算出した特徴量とともに、撮影画像情報300に格納する。なお、このとき登録部603では、カウンタ値に初期値を格納する。   In step S907, the registration unit 603 stores the captured image 700 in the captured image information 300 together with the weight parameter substituted in step S902 or in step S906 and the feature amount calculated in step S802. At this time, the registration unit 603 stores the initial value in the counter value.

次に、表示処理(ステップS804)の詳細について説明する。図10は、解析装置120により実行される表示処理のフローチャートである。   Next, details of the display process (step S804) will be described. FIG. 10 is a flowchart of display processing executed by the analysis device 120.

ステップS1001において、表示制御部605は、撮影画像700の重みパラメータが1であるか否かを判定する。ステップS1001において、撮影画像700の重みパラメータが1であると判定した場合には、ステップS1003に進む。   In step S <b> 1001, the display control unit 605 determines whether the weight parameter of the captured image 700 is 1. If it is determined in step S1001 that the weight parameter of the captured image 700 is 1, the process proceeds to step S1003.

一方、ステップS1001において、撮影画像700の重みパラメータが1ではないと判定した場合には、ステップS1002に進む。ステップS1002において、表示制御部605は、撮影画像700の重みパラメータが所定の閾値以上であるか否かを判定する。   On the other hand, if it is determined in step S1001 that the weight parameter of the captured image 700 is not 1, the process proceeds to step S1002. In step S1002, the display control unit 605 determines whether the weight parameter of the captured image 700 is equal to or greater than a predetermined threshold.

ステップS1002において、撮影画像700の重みパラメータが所定の閾値以上であると判定した場合には、ステップS1003に進む。   If it is determined in step S1002 that the weight parameter of the captured image 700 is greater than or equal to a predetermined threshold, the process proceeds to step S1003.

ステップS1003において、表示制御部605は、撮影画像700をユーザインタフェース装置130に表示するよう制御する。   In step S <b> 1003, the display control unit 605 controls to display the captured image 700 on the user interface device 130.

一方、ステップS1002において、撮影画像700の重みパラメータが所定の閾値未満であると判定した場合には、ステップS1004に進む。ステップS1004において、表示制御部605は、撮影画像700をユーザインタフェース装置130に表示しないと判断する。   On the other hand, if it is determined in step S1002 that the weight parameter of the captured image 700 is less than the predetermined threshold, the process proceeds to step S1004. In step S <b> 1004, the display control unit 605 determines not to display the captured image 700 on the user interface device 130.

このように、表示制御部605では、重みパラメータがデフォルト値(=1)であった場合、または、所定の閾値以上であった場合に、撮影画像700をユーザインタフェース装置130に表示する。一方、それ以外の場合には、ユーザインタフェース装置130には表示しない。   As described above, the display control unit 605 displays the captured image 700 on the user interface device 130 when the weight parameter is the default value (= 1), or when the weight parameter is equal to or greater than the predetermined threshold. On the other hand, it is not displayed on the user interface device 130 in other cases.

次に、行動結果取得処理(ステップS805)の詳細について説明する。図11は、解析装置120により実行される行動結果取得処理のフローチャートである。   Next, details of the action result acquisition process (step S805) will be described. FIG. 11 is a flowchart of the action result acquisition process executed by the analysis device 120.

ステップS1101において、行動結果取得部606は、撮影画像700がユーザインタフェース装置130に表示されてから、所定時間が経過したか否かを判定する。ステップS1101において、所定時間が経過していないと判定した場合には、ステップS1102に進む。   In step S <b> 1101, the action result acquisition unit 606 determines whether a predetermined time has elapsed since the captured image 700 was displayed on the user interface device 130. If it is determined in step S1101 that the predetermined time has not elapsed, the process proceeds to step S1102.

ステップS1102において、行動結果取得部606は、表示画面710のボタン711またはボタン712が押圧されたか否かを判定する。ステップS1102において、いずれのボタンも押圧されていないと判定された場合には、ステップS1101に戻る。   In step S1102, the action result acquisition unit 606 determines whether the button 711 or the button 712 on the display screen 710 has been pressed. If it is determined in step S1102 that no button is pressed, the process returns to step S1101.

ステップS1101において、所定時間内にいずれのボタンも押圧されなかったと判定された場合には、ステップS1106に進む。ステップS1106において、行動結果取得部606は、撮影画像700により示される見守り対象者の動作が、補助者による補助が必要な動作ではなかったと判定する。   If it is determined in step S1101 that no button has been pressed within a predetermined time, the process proceeds to step S1106. In step S <b> 1106, the action result acquisition unit 606 determines that the operation of the watching target person indicated by the captured image 700 is not an operation that requires assistance from the assistant.

一方、ステップS1102において、表示画面710のボタン711またはボタン712のいずれかが押圧されたと判定された場合には、ステップS1103に進む。   On the other hand, if it is determined in step S1102 that either button 711 or button 712 on display screen 710 has been pressed, the process proceeds to step S1103.

ステップS1103において、行動結果取得部606は、表示画面710のいずれのボタンが押圧されたかを識別する。識別した結果、押圧されたボタンがボタン711であった場合には、ステップS1104からステップS1105へと進む。ステップS1105において、行動結果取得部606は、撮影画像700により示される見守り対象者の動作が、補助者による補助が必要な動作であると判定する。   In step S1103, the action result acquisition unit 606 identifies which button on the display screen 710 has been pressed. As a result of the identification, if the pressed button is the button 711, the process proceeds from step S1104 to step S1105. In step S <b> 1105, the behavior result acquisition unit 606 determines that the operation of the watching target person indicated by the captured image 700 is an operation that requires assistance from the assistant.

一方、識別した結果、押圧されたボタンがボタン712であった場合には、ステップS1104からステップS1106へと進む。ステップS1106において、行動結果取得部606は、撮影画像700により示される見守り対象者の動作が、補助者による補助が必要な動作ではないと判定する。   On the other hand, as a result of the identification, if the pressed button is the button 712, the process proceeds from step S1104 to step S1106. In step S <b> 1106, the action result acquisition unit 606 determines that the operation of the watching target person indicated by the captured image 700 is not an operation that requires assistance from the assistant.

次に、重み変更処理(ステップS806)の詳細について説明する。図12は、解析装置120による重み変更処理のフローチャートである。   Next, details of the weight change process (step S806) will be described. FIG. 12 is a flowchart of the weight change process by the analysis device 120.

ステップS1201において、重み管理部607は、行動結果取得部606により、撮影画像700により示される見守り対象者の動作が、補助者による補助が必要な動作であると判定されたか、不要な動作であると判定されたかを判定する。   In step S <b> 1201, the weight management unit 607 determines that the action result acquisition unit 606 determines that the action of the watching target person indicated by the captured image 700 is an action that requires assistance from the assistant, or is an unnecessary action. Is determined.

ステップS1201において、不要な動作であると判定されたと判定した場合には、図8のステップS807に戻る。一方、ステップS1201において、必要な動作であると判定されたと判定した場合には、ステップS1202に進む。   If it is determined in step S1201 that the operation is unnecessary, the process returns to step S807 in FIG. On the other hand, if it is determined in step S1201 that the operation is necessary, the process proceeds to step S1202.

ステップS1202において、重み管理部607は、撮影画像情報300に格納された撮影画像700の重みパラメータをインクリメントする。   In step S <b> 1202, the weight management unit 607 increments the weight parameter of the captured image 700 stored in the captured image information 300.

ステップS1203において、重み管理部607は、撮影画像700の特徴量Vと、撮影画像情報300に既に登録されている各撮影画像の特徴量V、V、V、・・・との類似度を算出する。 In step S1203, the weight management unit 607 calculates the feature amount V n of the captured image 700 and the feature amounts V 1 , V 2 , V 3 ,... Of each captured image already registered in the captured image information 300. Calculate similarity.

ステップS1204において、重み管理部607は、ステップS1203において算出した類似度のうち、所定の閾値以上の類似度が算出された撮影画像と対応付けられているカウンタ値を初期値に戻す。   In step S1204, the weight management unit 607 returns the counter value associated with the captured image for which the similarity equal to or greater than the predetermined threshold among the similarities calculated in step S1203 is returned to the initial value.

ステップS1205において、重み管理部607は、ステップS1203において算出した類似度のうち、所定の閾値以上の類似度が算出された撮影画像と対応付けられている重みパラメータをインクリメントする。   In step S1205, the weight management unit 607 increments the weight parameter associated with the captured image for which the similarity equal to or greater than a predetermined threshold is calculated among the similarities calculated in step S1203.

更に、ステップS1206において、重み管理部607は、ステップS1203において算出した類似度のうち、所定の閾値未満の類似度が算出された撮影画像と対応付けられているカウンタ値をデクリメントする。   Further, in step S1206, the weight management unit 607 decrements the counter value associated with the captured image for which the similarity less than a predetermined threshold is calculated among the similarities calculated in step S1203.

ステップS1207において、重み管理部607は、撮影画像情報300内において、カウンタ値が1未満の撮影画像があるか否かを判定する。ステップS1207において、カウンタ値が1未満の撮影画像があると判定した場合には、カウンタ値が1未満の撮影画像を、撮影画像情報300から削除したうえで、図8のステップS807に戻る。   In step S <b> 1207, the weight management unit 607 determines whether there is a captured image with a counter value less than 1 in the captured image information 300. If it is determined in step S1207 that there is a captured image with a counter value less than 1, the captured image with a counter value less than 1 is deleted from the captured image information 300, and the process returns to step S807 in FIG.

一方、ステップS1207において、カウンタ値が1未満の撮影画像がないと判定した場合には、図8のステップS807に戻る。   On the other hand, if it is determined in step S1207 that there is no captured image with a counter value less than 1, the process returns to step S807 in FIG.

以上の説明から明らかなように、解析装置120では、見守り対象者を撮影することで得られた撮影画像から、見守り対象者の動作を表す特徴量を抽出し、抽出した特徴量に応じて導出した重みパラメータを、撮影画像と対応付けて見守り対象者ごとに管理する。また、解析装置120では、導出した重みパラメータに基づいて、撮影画像を補助者に表示するか否かを判定し、表示すると判定した場合に、補助者に表示する。   As is clear from the above description, the analysis device 120 extracts a feature amount representing the operation of the watching target person from a photographed image obtained by shooting the watching target person, and derives it according to the extracted feature amount. The weight parameter thus determined is managed for each person to be watched in association with the captured image. Further, the analysis device 120 determines whether to display the captured image to the assistant based on the derived weight parameter, and displays it to the assistant when it is determined to display the captured image.

このように、補助が必要な動作であると過去に補助者が判定した判定結果を反映した重みパラメータに基づいて、新たに取得した撮影画像を補助者に表示するか否かを判定するため、補助者による補助が必要な動作を精度よく検知し表示することができる。つまり、見守り対象者ごとの日常生活動作の違いに応じた表示を行うことができる。   Thus, in order to determine whether or not to display the newly acquired captured image to the assistant based on the weight parameter reflecting the determination result determined by the assistant in the past as an operation requiring assistance, It is possible to accurately detect and display an operation that requires assistance from an assistant. That is, it is possible to perform display according to the difference in daily life operation for each watching target person.

更に、解析装置120では、表示した撮影画像に応じて、補助者が見守り対象者を補助する必要があるか否かについて判定した結果をフィードバックし、撮影画像の重みパラメータに反映する。   Further, the analysis device 120 feeds back a result of determination as to whether or not the assistant needs to assist the person to be watched according to the displayed captured image, and reflects the result in the weight parameter of the captured image.

これにより、見守り対象者の日常生活動作が変化した場合であっても、補助者による補助が必要な動作を精度よく検知することができる。つまり、補助者が感覚的に捉えていた判定基準を動的に反映させることができる。   Thereby, even if the daily life operation of the person being watched over changes, it is possible to accurately detect an operation that requires assistance from the assistant. That is, it is possible to dynamically reflect the judgment criteria that the assistant has perceived sensuously.

この結果、見守りシステムにおいて誤検知を抑えることが可能となり、補助者の負担を低減させることができる。   As a result, it is possible to suppress erroneous detection in the watching system, and the burden on the assistant can be reduced.

[第2の実施形態]
第2の実施形態において、解析装置120は、取得した撮影画像に含まれる複数フレームの撮影画像から、所定の条件を満たす撮影画像を、ダイジェスト画像としてユーザインタフェース装置130に表示する。
[Second Embodiment]
In the second embodiment, the analysis device 120 displays, on the user interface device 130, a captured image that satisfies a predetermined condition from a plurality of frames of captured images included in the acquired captured image as a digest image.

図13は、第2の実施形態における表示処理のフローチャートである。なお、図13に示すフローチャートの各工程のうち、図10に示すフローチャートの各工程と同じ工程については、同じ参照番号を付すこととし、ここでは説明を省略する。   FIG. 13 is a flowchart of the display process in the second embodiment. Of the steps in the flowchart shown in FIG. 13, steps that are the same as those in the flowchart shown in FIG. 10 are given the same reference numerals, and descriptions thereof are omitted here.

ステップS1301において、表示制御部605は、撮影画像700に含まれる全てのフレームを取得する。   In step S1301, the display control unit 605 acquires all the frames included in the captured image 700.

ステップS1302において、表示制御部605は、ステップS1301において取得された全フレームについて、連続する2つの時刻において撮影された2つのフレームの撮影画像内の各画素の輝度値の差分値(輝度差)を算出し、輝度差の合計値を算出する。   In step S1302, the display control unit 605 obtains the difference value (luminance difference) between the luminance values of the pixels in the captured images of the two frames captured at two consecutive times for all the frames acquired in step S1301. And the total value of the luminance differences is calculated.

ステップS1303において、表示制御部605は、輝度差の合計値が大きいフレームを、所定数抽出する。   In step S1303, the display control unit 605 extracts a predetermined number of frames having a large total value of luminance differences.

ステップS1304において、表示制御部605は、体動開始時のフレームと、ステップS1303において抽出された所定数のフレームとを、ダイジェスト画像としてユーザインタフェース装置130に表示する。   In step S1304, the display control unit 605 displays the frame at the start of body movement and the predetermined number of frames extracted in step S1303 on the user interface device 130 as a digest image.

図14は、ダイジェスト画像の抽出方法及び表示方法を説明するための図である。図14(a)において、横軸は時刻を示しており、縦軸は撮影画像700に含まれる全フレームについて連続する2つの時刻において撮影された2つのフレームの撮影画像内の各画素の輝度差の合計値を算出した結果を示している。輝度差が大きいということは、連続する2つの時刻間において、見守り対象者が大きく動作したことを示している。   FIG. 14 is a diagram for explaining a digest image extraction method and a display method. In FIG. 14A, the horizontal axis indicates time, and the vertical axis indicates the luminance difference between the pixels in the captured images of two frames captured at two consecutive times for all frames included in the captured image 700. The result of calculating the total value of is shown. A large luminance difference indicates that the person being watched over has moved greatly between two consecutive times.

図14(a)において、丸印1401は体動開始時の時刻を示している。丸印1402〜1404は、撮影画像700と同じ体動時間内において撮影されたフレームであって、見守り対象者が大きく動作した時刻を示している。   In FIG. 14A, a circle 1401 indicates the time at the start of body movement. Circles 1402 to 1404 are frames shot within the same body movement time as the shot image 700, and indicate times when the watching target person moved greatly.

表示制御部605では、体動開始時のフレームに加え、丸印1402〜1404により特定される時刻に撮影されたフレームをダイジェスト画像として表示画面に表示する。図14(b)は、ダイジェスト画像を表示した表示画面の一例を示している。図14(b)において、領域1411には体動開始時のフレームが表示される。また、領域1412〜1414には、丸印1402〜1404により特定される時刻に撮影されたフレームが表示される。   In addition to the frame at the start of body movement, the display control unit 605 displays a frame captured at the time specified by the circles 1402 to 1404 as a digest image on the display screen. FIG. 14B shows an example of a display screen displaying a digest image. In FIG. 14B, a frame at the start of body movement is displayed in an area 1411. In addition, in the areas 1412 to 1414, frames taken at the time specified by the circles 1402 to 1404 are displayed.

また、領域1420には、撮影画像取得部601が取得した撮影画像がリアルタイムで表示される。   In the area 1420, the captured image acquired by the captured image acquisition unit 601 is displayed in real time.

なお、ダイジェスト画像を表示する際に、体動開始時のフレームを含めたのは、体動が開始したときの見守り対象者の状態を把握することができるためである。例えば、寝具から足がでている状態から見守り対象者が大きな動作を行った場合、体動開始時のフレームが含まれていないと、補助者は、動作によって足が寝具から出たのかどうかを判断することができない。このため、室温が高いなどの周辺環境が原因で動作をしたのか、別のことが原因で動作をしたのかを判断することができない。   In addition, when displaying a digest image, the frame at the time of a body motion start is included because it can grasp | ascertain the state of a monitoring subject when a body motion starts. For example, if the watched person performs a large motion while his / her foot is out of the bedding and the frame at the start of body movement is not included, the assistant will check whether the foot has come out of the bedding due to the motion. I can't judge. For this reason, it cannot be determined whether the operation was caused by the surrounding environment such as a high room temperature or the operation was caused by another reason.

これに対して、体動開始時のフレームをダイジェスト画像に含めれることで、補助者は、動作の経緯等を、直感的に把握することができる。   On the other hand, by including the frame at the start of body movement in the digest image, the assistant can intuitively grasp the history of the operation and the like.

以上の説明から明らかなように、解析装置120では、導出した重みパラメータに基づいて表示すると判定した場合に、判定した撮影画像に含まれる全てのクレームではなく、判定した撮影画像から抽出したフレームを表示する。   As is clear from the above description, when the analysis device 120 determines to display based on the derived weight parameter, it does not include all the claims included in the determined captured image, but the frame extracted from the determined captured image. indicate.

これにより、補助が必要な動作か否かを補助者が判断するのに有効な撮影画像を表示することが可能となる。この結果、補助者は、見守り対象者の動作の全体像を、短時間で把握することができる。   As a result, it is possible to display a captured image effective for the assistant to determine whether or not the operation requires assistance. As a result, the assistant can grasp the entire image of the watching target person in a short time.

なお、上記説明では、同一の体動時間内に含まれる複数のフレームの中から、所定の条件を満たすフレームを抽出してダイジェスト画像として表示することとしたが、例えば、過去の撮影画像のダイジェスト画像を合わせて表示するようにしてもよい。   In the above description, a frame satisfying a predetermined condition is extracted from a plurality of frames included in the same body movement time and displayed as a digest image. For example, a digest of a past captured image is displayed. Images may be displayed together.

図15は、解析装置120により実行される表示処理の他のフローチャートである。なお、図15に示すフローチャートの各工程のうち、図13に示すフローチャートの各工程と同じ工程については、同じ参照番号を付すこととし、ここでは説明を省略する。   FIG. 15 is another flowchart of the display process executed by the analysis device 120. Of the steps in the flowchart shown in FIG. 15, the same steps as those in the flowchart shown in FIG. 13 are given the same reference numerals, and the description thereof is omitted here.

図15に示すように、ステップS1501において、表示制御部605は、補助が必要な動作であると過去に補助者が判断した複数の撮影画像それぞれに対して、現在時刻との時間差に応じた重みづけを行う。更に、表示制御部605は、現在時刻の撮影画像との類似度を算出し、最も類似度が高い過去の撮影画像を抽出する。   As shown in FIG. 15, in step S1501, the display control unit 605 weights each of a plurality of captured images that the assistant has determined in the past that the operation needs assistance in accordance with the time difference from the current time. Perform. Further, the display control unit 605 calculates a similarity with the captured image at the current time, and extracts a past captured image with the highest similarity.

ステップS1502〜ステップS1504において、表示制御部605は、ステップS1302〜ステップS1304と同様の処理により、抽出した過去の撮影画像より、ダイジェスト画像のフレームを抽出する。そして、現在時刻の撮影画像のダイジェスト画像のフレームと並列して表示する。これにより、補助者は、見守り対象者の動作を、より的確に判断することができる。   In steps S1502 to S1504, the display control unit 605 extracts a frame of the digest image from the extracted past captured images by the same processing as in steps S1302 to S1304. And it displays in parallel with the frame of the digest image of the captured image at the current time. Thereby, the assistant can more accurately determine the operation of the person being watched over.

[第3の実施形態]
第3の実施形態において、解析装置120は、見守り対象者に対して補助者による補助が行われたか否かを、撮影画像に基づいて判定する。
[Third Embodiment]
In the third embodiment, the analysis device 120 determines whether or not assistance by an assistant is performed on a person to be watched based on a captured image.

図16は、第3の実施形態における行動結果取得処理のフローチャートである。なお、図16に示すフローチャートの各工程のうち、図11に示すフローチャートの各工程と同じ工程については、同じ参照番号を付すこととし、ここでは説明を省略する。   FIG. 16 is a flowchart of action result acquisition processing according to the third embodiment. Of the steps in the flowchart shown in FIG. 16, the same steps as those in the flowchart shown in FIG. 11 are given the same reference numerals, and the description thereof is omitted here.

ステップS1602において、行動結果取得部606は、撮影画像700が表示画面710に表示されてから所定時間、撮影画像取得部601において取得した撮影画像を行動結果取得部606が取得する。   In step S1602, the behavior result acquisition unit 606 acquires the captured image acquired by the captured image acquisition unit 601 for a predetermined time after the captured image 700 is displayed on the display screen 710.

ステップS1603において、行動結果取得部606は、ステップS1602において取得した撮影画像に基づいて、体動領域を算出する。   In step S1603, the action result acquisition unit 606 calculates a body movement region based on the captured image acquired in step S1602.

ステップS1604において、行動結果取得部606は、体動領域に変化があるか否かを判定し、変化がないと判定した場合には、ステップS1101に戻る。一方、体動領域に変化があると判定した場合には、ステップS1105に進み、行動結果取得部606は、補助者が補助を行ったと判断し補助が必要な動作であったと判定する。   In step S1604, the action result acquisition unit 606 determines whether or not there is a change in the body movement region. If it is determined that there is no change, the action result acquisition unit 606 returns to step S1101. On the other hand, if it is determined that there is a change in the body movement region, the process proceeds to step S1105, where the action result acquisition unit 606 determines that the assistant has performed assistance and determines that the operation requires assistance.

このように、補助者が補助を行ったか否かを、撮影画像に基づいて判断することで、撮影画像が表示されるたびに補助者がボタン711または712を押圧する手間を省くことができる。   Thus, by determining whether or not the assistant has provided assistance based on the captured image, it is possible to save the assistant from pressing the button 711 or 712 each time the captured image is displayed.

[第4の実施形態]
上記第1の実施形態では、カウンタ値に応じて、撮影画像を撮影画像情報300から削除したが、重みパラメータに応じて、撮影画像を撮影画像情報300から削除するようにしてもよい。具体的には、一定時間重みパラメータが更新されなかった場合に、重みパラメータをデクリメントしていき、重みパラメータが1未満になった場合に、撮影画像を撮影画像情報300から削除するようにしてもよい。
[Fourth Embodiment]
In the first embodiment, the captured image is deleted from the captured image information 300 according to the counter value. However, the captured image may be deleted from the captured image information 300 according to the weight parameter. Specifically, when the weight parameter is not updated for a certain time, the weight parameter is decremented, and when the weight parameter becomes less than 1, the captured image is deleted from the captured image information 300. Good.

また、上記第1の実施形態では、表示された撮影画像に対して、補助者は補助が必要な動作か否かを判断しボタン711または712のいずれかを押圧しなければならなかったが、判断の保留を示すボタンを設置してもよい。これにより、補助者は、見守り対象者の様子をしばらく見てから、判断することができるようになる。   In the first embodiment, the assistant has to determine whether or not the operation needs assistance for the displayed captured image, and presses either the button 711 or 712. You may install the button which shows the hold of judgment. Thereby, the assistant can judge after watching the state of the person being watched for a while.

また、上記第1の実施形態では、撮影画像情報300の情報の項目として、"画像ID"、"画像ファイル"、"特徴量"、"重みパラメータ"、"カウンタ値"を含むものとしたが、更に、体動領域を示す座標または部位を含めてもよい。   In the first embodiment, the information items of the captured image information 300 include “image ID”, “image file”, “feature”, “weight parameter”, and “counter value”. Furthermore, coordinates or a part indicating a body movement region may be included.

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
対象者を撮影することで得られた撮影画像から、該対象者の動作を示す特徴量を算出する算出部と、
前記算出部により算出された特徴量を、前記対象者について既に登録されている他の撮影画像から算出された特徴量との類似度に応じたパラメータと対応付けて、前記対象者ごとにデータベースに登録する登録部と、
前記パラメータに基づいて前記撮影画像を表示するか否かを判定し、表示すると判定した場合に、前記撮影画像を表示させる表示制御部と
を有することを特徴とする見守り装置。
(付記2)
前記特徴量は、
前記対象者の各領域のうち、体動した領域の大きさを示す体動領域と、
前記対象者の体動の大きさと、
前記対象者の体動の開始から終了までを示す体動時間と
を含むことを特徴とする付記1に記載の見守り装置。
(付記3)
前記パラメータに基づく表示するか否かの判定に応じて前記撮影画像を表示した場合の、前記対象者を補助する補助者による補助の有無を判定し、判定結果に応じて前記パラメータを変更する変更部を更に有することを特徴とする付記1または2に記載の見守り装置。
(付記4)
前記登録部は、前記類似度が所定の閾値以上であった場合、前記類似度が算出された前記他の撮影画像に対応付けられているパラメータを、前記算出部により算出された特徴量に対応付けて登録することを特徴とする付記1乃至付記3のいずれかの付記に記載の見守り装置。
(付記5)
前記登録部は、前記類似度が所定の閾値未満であった場合、予め定められた値をパラメータとして、前記算出部により算出された特徴量に対応付けて登録することを特徴とする付記1乃至4のいずれかの付記に記載の見守り装置。
(付記6)
前記表示制御部は、
既に登録されている他の撮影画像から、前記パラメータに基づいて表示すると判定された前記撮影画像と類似する撮影画像を抽出し、該抽出した撮影画像に含まれる複数フレームの撮影画像から抽出したフレームを、更に表示させることを特徴とする付記1に記載の見守り装置。
(付記7)
前記表示制御部は、
前記パラメータに基づいて表示すると判定された前記撮影画像に含まれる複数フレームの撮影画像から抽出したフレームを表示させることを特徴とする付記1乃至6のいずれかの付記に記載の見守り装置。
(付記8)
前記変更部は、前記撮影画像を表示することで前記補助者が前記対象者を補助した場合、該撮影画像のパラメータを変更することを特徴とする付記3に記載の見守り装置。
(付記9)
前記変更部は、前記類似度が所定の閾値以上であった場合、該所定の閾値以上の類似度が算出された前記他の撮影画像に対応付けられているパラメータを変更することを特徴とする付記3に記載の見守り装置。
(付記10)
前記登録部は、前記変更部による前記パラメータの変更に応じて、該パラメータと関連付けられたカウンタ値を変動させることを特徴とする付記3に記載の見守り装置。
(付記11)
前記登録部は、前記カウンタ値の変動に応じて、該カウンタ値に関連付けられた撮影画像、特徴量及びパラメータを、削除することを特徴とする付記10に記載の見守り装置。
(付記12)
前記登録部は、前記変更部による前記パラメータの変更が一定時間行われなかった場合に、前記パラメータを変動させ、前記パラメータの変動に応じて、前記パラメータに関連付けられた撮影画像、特徴量及びパラメータを削除することを特徴とする付記3に記載の見守り装置。
(付記13)
対象者を撮影することで得られた撮影画像から、該対象者の動作を示す特徴量を算出し、
算出された前記特徴量を、前記対象者について既に登録されている他の撮影画像から算出された特徴量との類似度に応じたパラメータと対応付けて、前記対象者ごとにデータベースに登録し、
前記パラメータに基づいて前記撮影画像を表示するか否かを判定し、表示すると判定した場合に、前記撮影画像を表示させる、
処理を、コンピュータに実行させることを特徴とするプログラム。
(付記14)
コンピュータによる表示方法であって、該コンピュータが、
対象者を撮影することで得られた撮影画像から、該対象者の動作を示す特徴量を算出し、
算出された前記特徴量を、前記対象者について既に登録されている他の撮影画像から算出された特徴量との類似度に応じたパラメータと対応付けて、前記対象者ごとにデータベースに登録し、
前記パラメータに基づいて前記撮影画像を表示するか否かを判定し、表示すると判定した場合に、前記撮影画像を表示させる、
ことを特徴とする表示方法。
In addition, in the disclosed technology, forms such as the following additional notes are possible.
(Appendix 1)
A calculation unit that calculates a feature amount indicating an operation of the subject from a captured image obtained by photographing the subject;
The feature amount calculated by the calculation unit is associated with a parameter according to the similarity with the feature amount calculated from another captured image already registered for the target person, and is stored in the database for each target person. A registration section to register;
A monitoring apparatus, comprising: a display control unit configured to determine whether to display the captured image based on the parameter, and to display the captured image when it is determined to display the captured image.
(Appendix 2)
The feature amount is
A body movement area indicating the size of the body movement area of each area of the subject,
The size of the subject's body movement;
The watch apparatus according to appendix 1, including a body motion time indicating a start to a finish of the subject's body motion.
(Appendix 3)
Change in which the presence or absence of assistance by an assistant assisting the target person is determined and the parameter is changed according to the determination result when the captured image is displayed according to whether or not to display based on the parameter The watching device according to appendix 1 or 2, further comprising a portion.
(Appendix 4)
When the similarity is equal to or greater than a predetermined threshold, the registration unit corresponds to the feature amount calculated by the calculation unit by using a parameter associated with the other photographed image for which the similarity is calculated. The watching device according to any one of the supplementary notes 1 to 3, wherein the registration device is attached and registered.
(Appendix 5)
If the similarity is less than a predetermined threshold, the registration unit registers a predetermined value as a parameter in association with the feature amount calculated by the calculation unit. 4. The monitoring device according to any one of the supplementary notes.
(Appendix 6)
The display control unit
A frame extracted from a plurality of captured images included in the extracted captured image by extracting a captured image similar to the captured image determined to be displayed based on the parameter from other registered captured images Is further displayed. The monitoring device according to attachment 1, wherein
(Appendix 7)
The display control unit
The watching device according to any one of appendices 1 to 6, wherein a frame extracted from a plurality of frames of captured images included in the captured image determined to be displayed based on the parameter is displayed.
(Appendix 8)
The watching device according to appendix 3, wherein the changing unit changes a parameter of the photographed image when the assistant assists the subject by displaying the photographed image.
(Appendix 9)
When the similarity is equal to or higher than a predetermined threshold, the changing unit changes a parameter associated with the other captured image for which the similarity equal to or higher than the predetermined threshold is calculated. The monitoring device according to attachment 3.
(Appendix 10)
The watching device according to appendix 3, wherein the registration unit varies a counter value associated with the parameter in accordance with the change of the parameter by the changing unit.
(Appendix 11)
The monitoring apparatus according to appendix 10, wherein the registration unit deletes a captured image, a feature amount, and a parameter associated with the counter value according to a change in the counter value.
(Appendix 12)
The registration unit varies the parameter when the parameter is not changed by the changing unit for a predetermined time, and the captured image, the feature amount, and the parameter associated with the parameter are changed according to the parameter change. 4. The watching device according to appendix 3, wherein the monitoring device is deleted.
(Appendix 13)
From the captured image obtained by photographing the subject, a feature amount indicating the behavior of the subject is calculated,
The calculated feature amount is associated with a parameter according to the similarity with the feature amount calculated from another captured image already registered for the subject, and is registered in the database for each subject.
It is determined whether to display the captured image based on the parameter, and when it is determined to display, the captured image is displayed.
A program that causes a computer to execute processing.
(Appendix 14)
A display method by a computer, wherein the computer
From the captured image obtained by photographing the subject, a feature amount indicating the behavior of the subject is calculated,
The calculated feature amount is associated with a parameter according to the similarity with the feature amount calculated from another captured image already registered for the subject, and is registered in the database for each subject.
It is determined whether to display the captured image based on the parameter, and when it is determined to display, the captured image is displayed.
A display method characterized by that.

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。   It should be noted that the present invention is not limited to the configuration shown here, such as a combination with other elements in the configuration described in the above embodiment. These points can be changed without departing from the spirit of the present invention, and can be appropriately determined according to the application form.

100 :見守りシステム
110 :撮像部
120 :解析装置
121 :撮影画像DB
122 :解析プログラム
130 :ユーザインタフェース装置
140 :ネットワーク
300 :撮影画像情報
601 :撮影画像取得部
602 :特徴量算出部
603 :登録部
604 :初期重み管理部
605 :表示制御部
606 :行動結果取得部
607 :重み管理部
100: Monitoring system 110: Imaging unit 120: Analysis device 121: Captured image DB
122: Analysis program 130: User interface device 140: Network 300: Captured image information 601: Captured image acquisition unit 602: Feature amount calculation unit 603: Registration unit 604: Initial weight management unit 605: Display control unit 606: Action result acquisition unit 607: Weight management unit

Claims (7)

対象者を撮影することで得られた撮影画像から、該対象者の動作を示す特徴量を算出する算出部と、
前記算出部により算出された特徴量を、前記対象者について既に登録されている他の撮影画像から算出された特徴量との類似度に応じたパラメータと対応付けて、前記対象者ごとにデータベースに登録する登録部と、
前記パラメータに基づいて前記撮影画像を表示するか否かを判定し、表示すると判定した場合に、前記撮影画像を表示させる表示制御部と
を有することを特徴とする見守り装置。
A calculation unit that calculates a feature amount indicating an operation of the subject from a captured image obtained by photographing the subject;
The feature amount calculated by the calculation unit is associated with a parameter according to the similarity with the feature amount calculated from another captured image already registered for the target person, and is stored in the database for each target person. A registration section to register;
A monitoring apparatus, comprising: a display control unit configured to determine whether to display the captured image based on the parameter, and to display the captured image when it is determined to display the captured image.
前記特徴量は、
前記対象者の各領域のうち、体動した領域の大きさを示す体動領域と、
前記対象者の体動の大きさと、
前記対象者の体動の開始から終了までを示す体動時間と
を含むことを特徴とする請求項1に記載の見守り装置。
The feature amount is
A body movement area indicating the size of the body movement area of each area of the subject,
The size of the subject's body movement;
The monitoring apparatus according to claim 1, further comprising: a body movement time indicating a start to an end of body movement of the subject.
前記パラメータに基づく表示するか否かの判定に応じて前記撮影画像を表示した場合の、前記対象者を補助する補助者による補助の有無を判定し、判定結果に応じて前記パラメータを変更する変更部を更に有することを特徴とする請求項1または2に記載の見守り装置。   Change in which the presence or absence of assistance by an assistant assisting the target person is determined and the parameter is changed according to the determination result when the captured image is displayed according to whether or not to display based on the parameter The watching device according to claim 1, further comprising a portion. 前記表示制御部は、
既に登録されている他の撮影画像から、前記パラメータに基づいて表示すると判定された前記撮影画像と類似する撮影画像を抽出し、該抽出した撮影画像に含まれる複数フレームの撮影画像から抽出したフレームを、更に表示させることを特徴とする請求項1乃至3のいずれか1項に記載の見守り装置。
The display control unit
A frame extracted from a plurality of captured images included in the extracted captured image by extracting a captured image similar to the captured image determined to be displayed based on the parameter from other registered captured images The monitoring device according to claim 1, further comprising:
前記表示制御部は、
前記パラメータに基づいて表示すると判定された前記撮影画像に含まれる複数フレームの撮影画像から抽出したフレームを表示させることを特徴とする請求項1乃至4のいずれか1項に記載の見守り装置。
The display control unit
The monitoring apparatus according to claim 1, wherein a frame extracted from a plurality of frames of captured images included in the captured image determined to be displayed based on the parameter is displayed.
対象者を撮影することで得られた撮影画像から、該対象者の動作を示す特徴量を算出し、
算出された前記特徴量を、前記対象者について既に登録されている他の撮影画像から算出された特徴量との類似度に応じたパラメータと対応付けて、前記対象者ごとにデータベースに登録し、
前記パラメータに基づいて前記撮影画像を表示するか否かを判定し、表示すると判定した場合に、前記撮影画像を表示させる、
処理を、コンピュータに実行させることを特徴とするプログラム。
From the captured image obtained by photographing the subject, a feature amount indicating the behavior of the subject is calculated,
The calculated feature amount is associated with a parameter according to the similarity with the feature amount calculated from another captured image already registered for the subject, and is registered in the database for each subject.
It is determined whether to display the captured image based on the parameter, and when it is determined to display, the captured image is displayed.
A program that causes a computer to execute processing.
コンピュータによる表示方法であって、該コンピュータが、
対象者を撮影することで得られた撮影画像から、該対象者の動作を示す特徴量を算出し、
算出された前記特徴量を、前記対象者について既に登録されている他の撮影画像から算出された特徴量との類似度に応じたパラメータと対応付けて、前記対象者ごとにデータベースに登録し、
前記パラメータに基づいて前記撮影画像を表示するか否かを判定し、表示すると判定した場合に、前記撮影画像を表示させる、
ことを特徴とする表示方法。
A display method by a computer, wherein the computer
From the captured image obtained by photographing the subject, a feature amount indicating the behavior of the subject is calculated,
The calculated feature amount is associated with a parameter according to the similarity with the feature amount calculated from another captured image already registered for the subject, and is registered in the database for each subject.
It is determined whether to display the captured image based on the parameter, and when it is determined to display, the captured image is displayed.
A display method characterized by that.
JP2014081357A 2014-04-10 2014-04-10 Monitoring device, display method and program Active JP6413310B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014081357A JP6413310B2 (en) 2014-04-10 2014-04-10 Monitoring device, display method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014081357A JP6413310B2 (en) 2014-04-10 2014-04-10 Monitoring device, display method and program

Publications (2)

Publication Number Publication Date
JP2015203881A true JP2015203881A (en) 2015-11-16
JP6413310B2 JP6413310B2 (en) 2018-10-31

Family

ID=54597336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014081357A Active JP6413310B2 (en) 2014-04-10 2014-04-10 Monitoring device, display method and program

Country Status (1)

Country Link
JP (1) JP6413310B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3263031A1 (en) 2016-06-29 2018-01-03 Fujitsu Limited Situation identification method, situation identification device, and situation identification program
JPWO2017141629A1 (en) * 2016-02-15 2018-10-25 コニカミノルタ株式会社 Terminal device, terminal device display method, sensor device, and monitored person monitoring system
CN108765473A (en) * 2018-05-24 2018-11-06 常州市速瑞医疗科技有限公司 The method for registering images of full HD 3D electronic laparoscope systems
JP2019020993A (en) * 2017-07-14 2019-02-07 オムロン株式会社 Watching support system and method for controlling the same
JP2020009378A (en) * 2018-07-12 2020-01-16 医療法人社団皓有会 Monitoring device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1199140A (en) * 1997-09-26 1999-04-13 Toshiba Corp Device for detecting sleeping condition abnormality
JP2002373388A (en) * 2001-06-14 2002-12-26 Matsushita Electric Works Ltd Human body detection device
JP2008288870A (en) * 2007-05-17 2008-11-27 Toshiba Corp Video image monitoring system and video image monitoring method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1199140A (en) * 1997-09-26 1999-04-13 Toshiba Corp Device for detecting sleeping condition abnormality
JP2002373388A (en) * 2001-06-14 2002-12-26 Matsushita Electric Works Ltd Human body detection device
JP2008288870A (en) * 2007-05-17 2008-11-27 Toshiba Corp Video image monitoring system and video image monitoring method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017141629A1 (en) * 2016-02-15 2018-10-25 コニカミノルタ株式会社 Terminal device, terminal device display method, sensor device, and monitored person monitoring system
EP3263031A1 (en) 2016-06-29 2018-01-03 Fujitsu Limited Situation identification method, situation identification device, and situation identification program
JP2019020993A (en) * 2017-07-14 2019-02-07 オムロン株式会社 Watching support system and method for controlling the same
CN108765473A (en) * 2018-05-24 2018-11-06 常州市速瑞医疗科技有限公司 The method for registering images of full HD 3D electronic laparoscope systems
JP2020009378A (en) * 2018-07-12 2020-01-16 医療法人社団皓有会 Monitoring device

Also Published As

Publication number Publication date
JP6413310B2 (en) 2018-10-31

Similar Documents

Publication Publication Date Title
US11948401B2 (en) AI-based physical function assessment system
JP6413310B2 (en) Monitoring device, display method and program
US20200260956A1 (en) Open api-based medical information providing method and system
JP6727776B2 (en) Support system, support method, program
JP7170411B2 (en) Information processing device and method, computer program, and monitoring system
EP3160328B1 (en) Device, system and computer program for detecting a health condition of a subject
WO2012169562A1 (en) Image processing apparatus, method of controlling image processing apparatus and storage medium
US20240047046A1 (en) Virtual augmentation of clinical care environments
US10645273B2 (en) Image capture apparatus, image capture processing system and method for processing image capture
JP2014200390A (en) Pulse wave detection device, pulse wave detection method, and pulse wave detection program
JP5698293B2 (en) Portable medical image display terminal and operating method thereof
CN110520044A (en) The method and apparatus for carrying out health forecast by analysis body behavior pattern
KR101518804B1 (en) Method and apparatus for managing medical data
CN116110116A (en) Human action recognition, storage, and retrieval to maintain privacy through joint edge and cloud computing
Zhang et al. Comparison of OpenPose and HyperPose artificial intelligence models for analysis of hand-held smartphone videos
JP7172376B2 (en) Information providing device, information providing system, information providing method, and program
Banerjee et al. Exploratory analysis of older adults’ sedentary behavior in the primary living area using kinect depth data
CN111448589B (en) Device, system and method for detecting body movement of a patient
JP7188051B2 (en) Medical image management system
JP2022116277A (en) Terminal device, output method, and computer program
WO2022049727A1 (en) Information processing device, control method, and storage medium
JP2018022429A (en) Detection system, detection method and program
JP2018161258A (en) Cognitive function evaluation support device, cognitive function evaluation support method, and program
JP5225344B2 (en) Living behavior storage device
KR20200049612A (en) Method of transmission by a watch of an information message relating to an assessment of the sleep quality of a user of said watch

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180917

R150 Certificate of patent or registration of utility model

Ref document number: 6413310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150