JP2022143603A - Watching system - Google Patents
Watching system Download PDFInfo
- Publication number
- JP2022143603A JP2022143603A JP2021044211A JP2021044211A JP2022143603A JP 2022143603 A JP2022143603 A JP 2022143603A JP 2021044211 A JP2021044211 A JP 2021044211A JP 2021044211 A JP2021044211 A JP 2021044211A JP 2022143603 A JP2022143603 A JP 2022143603A
- Authority
- JP
- Japan
- Prior art keywords
- person
- fallen
- fall
- unit
- skeletal model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 78
- 238000012544 monitoring process Methods 0.000 claims description 27
- 230000033001 locomotion Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 55
- 238000001514 detection method Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 25
- 238000004891 communication Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 230000010365 information processing Effects 0.000 description 14
- 238000009434 installation Methods 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 10
- 238000013178 mathematical model Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 102100040841 C-type lectin domain family 5 member A Human genes 0.000 description 4
- 101150008824 CLEC5A gene Proteins 0.000 description 4
- 101150056111 MDL1 gene Proteins 0.000 description 4
- 101150095628 MDL2 gene Proteins 0.000 description 4
- 101100386697 Magnaporthe oryzae (strain 70-15 / ATCC MYA-4617 / FGSC 8958) DCL1 gene Proteins 0.000 description 4
- 101100062770 Magnaporthe oryzae (strain 70-15 / ATCC MYA-4617 / FGSC 8958) DCL2 gene Proteins 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101100236861 Escherichia coli (strain K12) mdlA gene Proteins 0.000 description 1
- 101100183310 Escherichia coli (strain K12) mdlB gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、見守りシステムに関する。 The present invention relates to a watching system.
例えば、特許文献1には、撮像装置と、骨格情報抽出部と、骨格情報サンプル記憶部と、姿勢検出部と、姿勢判定部と、を備えることを特徴とする被監視者の姿勢検知装置が開示されている。撮像装置は、被監視者を監視する撮像領域の画像データを取得する。骨格情報抽出部は、撮像装置で撮像した画像データから被監視者の骨格情報を抽出する。骨格情報サンプル記憶部は、骨格情報からなる姿勢情報サンプルを格納する。姿勢検出部は、骨格情報抽出部で抽出した人間の骨格情報と骨格情報記憶部に格納された骨格情報サンプルとに基づいて被監視者の姿勢を検出する。姿勢判定部は、この姿勢検出部で検出した姿勢に基づいて転倒、転落の有無を判定する。 For example, Patent Literature 1 discloses a monitored person posture detection device that includes an imaging device, a skeleton information extraction unit, a skeleton information sample storage unit, a posture detection unit, and a posture determination unit. disclosed. The imaging device acquires image data of an imaging area for monitoring a person to be monitored. The skeleton information extraction unit extracts the skeleton information of the monitored person from the image data captured by the imaging device. The skeleton information sample storage unit stores posture information samples made up of skeleton information. The posture detection unit detects the posture of the monitored person based on the human skeleton information extracted by the skeleton information extraction unit and the skeleton information sample stored in the skeleton information storage unit. A posture determination unit determines whether or not there is a fall based on the posture detected by the posture detection unit.
ところで、上記のような姿勢検知装置は、例えば、転倒時の状況把握の点で更なる改善の余地がある。 By the way, the attitude detection device as described above has room for further improvement, for example, in terms of grasping the situation when falling.
本発明は、上記の事情に鑑みてなされたものであって、転倒時の状況を適正に把握することができる見守りシステムを提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a monitoring system capable of appropriately grasping the situation at the time of a fall.
上記目的を達成するために、本発明に見守りシステムは、監視対象空間の画像を撮像する撮像部と、前記撮像部によって撮像された前記画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部と、前記骨格モデル生成部によって生成された前記骨格モデルに基づいて、前記骨格モデルに対応する人物の状態を判定する判定部とを備え、前記判定部は、前記骨格モデルに対応する人物が転倒した転倒状態であるものと判定した場合、当該転倒した人物を表す前記骨格モデルと他の人物を表す前記骨格モデルとの重なりの有無に基づいて、当該転倒した人物自身に起因した自責転倒を判定する。 In order to achieve the above object, the monitoring system of the present invention includes an imaging unit that captures an image of a monitored space, and a skeleton model generator that generates a skeleton model representing a person included in the image captured by the imaging unit. and a determination unit that determines the state of the person corresponding to the skeleton model based on the skeleton model generated by the skeleton model generation unit, wherein the determination unit determines whether the person corresponding to the skeleton model is When it is determined that the fallen person is in a state of falling, based on whether or not the skeletal model representing the person who has fallen overlaps with the skeletal model representing another person, it is determined that the fall is caused by the person who has fallen. judge.
本発明に係る見守りシステムは、転倒時の状況を適正に把握することができる、という効果を奏する。 The watching system according to the present invention has the effect of being able to properly grasp the situation at the time of a fall.
以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。 EMBODIMENT OF THE INVENTION Below, embodiment which concerns on this invention is described in detail based on drawing. In addition, this invention is not limited by this embodiment. In addition, components in the following embodiments include components that can be easily replaced by those skilled in the art, or components that are substantially the same.
[実施形態]
図1、図2に示す本実施形態の見守りシステム1は、監視対象空間SPに存在する人物Pの状態を監視し見守るシステムである。本実施形態の見守りシステム1は、例えば、通所介護(デイサービス)などの介護施設、高齢者施設等の福祉施設に適用される。監視対象空間SPは、例えば、当該施設の居室空間や廊下空間等である。
[Embodiment]
The watching system 1 of this embodiment shown in FIGS. 1 and 2 is a system that monitors and watches the state of a person P existing in the monitored space SP. The watching system 1 of the present embodiment is applied, for example, to welfare facilities such as care facilities such as outpatient care (day service) and facilities for the elderly. The monitored space SP is, for example, a living room space, a corridor space, or the like of the facility.
本実施形態の見守りシステム1は、設置機器10と、検出機器20と、端末機器30とを備え、これらが相互に情報を送受信し連携する連携システムを構成する。ここでは、設置機器10と検出機器20とは、監視対象空間SPにおいて人物Pの転倒を検出し、転倒時の状況を記録する検出システム1Aを構成する。本実施形態の見守りシステム1は、検出システム1Aにおいて、監視対象空間SPに存在する人物Pの状態を、当該人物Pを表す骨格モデルMDL(図3参照)に基づいて判定し、転倒時の状況を適正に把握するための構成を実現したものである。以下、各図を参照して見守りシステム1の各構成について詳細に説明する。
The monitoring system 1 of the present embodiment includes an
なお、図1に図示する見守りシステム1において、電力供給、制御信号、各種情報等の授受のための各構成要素間の接続方式は、特に断りのない限り、有線による接続、無線による接続のいずれであってもよい。有線による接続とは、例えば、電線や光ファイバ等の配索材を介した接続である。無線による接続とは、例えば、無線通信、非接触給電等による接続である。 In the monitoring system 1 shown in FIG. 1, the connection method between each component for the transmission and reception of power supply, control signals, various information, etc. is either wired connection or wireless connection unless otherwise specified. may be A wired connection is, for example, a connection via a wiring material such as an electric wire or an optical fiber. Wireless connection is, for example, connection by wireless communication, contactless power supply, or the like.
<設置機器の基本構成>
設置機器10は、監視対象空間SPに設置され、当該監視対象空間SPを撮像する機器である。設置機器10は、撮像部11と、位置検出器12と、ディスプレイ13と、スピーカ14と、マイク15とを備える。設置機器10は、例えば、これらの構成要素が筐体等に組み付けられユニット化された上で監視対象空間SPの天井等に設けられることで、種々の機能を統合した室内監視モジュールを構成する。また、設置機器10は、例えば、これらの構成要素が監視対象空間SPに個別に設けられてもよい。設置機器10は、例えば、見守りシステム1が適用される施設に複数設けられる。
<Basic configuration of installed equipment>
The
撮像部11は、監視対象空間SPの画像I(例えば、図3参照)を撮像するものである。撮像部11は、例えば、2次元画像を撮像可能な単眼カメラであってもよいし、3次元画像を撮像可能なステレオカメラであってもよい。また、撮像部11は、いわゆるTOF(Time of Flight)カメラ等であってもよい。撮像部11は、典型的には、監視対象空間SPに存在する全ての人物Pを撮像可能な位置に設けられる。撮像部11は、例えば、監視対象空間SPの上方、ここでは、天井に配置され、撮像範囲に監視対象空間SPの全領域が含まれるように画角が設定されている。撮像部11は、1つで監視対象空間SPの全域をカバーできない場合には複数が設けられ当該複数によって監視対象空間SPの全域をカバーするように構成されてもよい。
The
なお、以下の説明では、後述の図3、図4、図5、図6に示すように、撮像部11による撮像の奥行方向を「撮像奥行方向X」といい、撮像奥行方向Xと交差し水平方向に沿う方向を「撮像幅方向Y」といい、撮像奥行方向Xと交差し鉛直方向に沿う方向を「撮像上下方向Z」という場合がある。撮像奥行方向Xは、典型的には、撮像部11の光軸方向に沿った方向に相当する。
In the following description, as shown in later-described FIGS. 3, 4, 5, and 6, the depth direction of imaging by the
位置検出器12は、撮像部11による撮像奥行方向Xに対する人物Pの位置を検出可能な検出器である。位置検出器12は、撮像部11によって撮像された人物Pの撮像奥行方向Xに対する位置を検出する。撮像部11によって撮像された人物Pの撮像奥行方向Xに対する位置は、典型的には、後述するように、検出機器20によって生成された骨格モデルMDLに対応する人物Pの、撮像奥行方向Xに対する位置に相当する。位置検出器12は、例えば、レーザ、赤外線、ミリ波、超音波等を用いて距離を検出する各種レーダ、ソナー、LiDAR(light detection and ranging)等を用いることができる。位置検出器12は、例えば、撮像奥行方向Xに沿った人物Pと位置検出器12との距離を計測することで、撮像奥行方向Xに対する人物Pの位置を検出することができる。
The position detector 12 is a detector capable of detecting the position of the person P with respect to the imaging depth direction X by the
ディスプレイ13は、監視対象空間SPに向けて画像情報(視覚情報)を表示(出力)するものである。ディスプレイ13は、例えば、薄型の液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ等によって構成される。ディスプレイ13は、監視対象空間SP内の人物Pから目視可能な位置に画像情報を表示する。ディスプレイ13は、例えば、画像情報を出力することで種々の案内(アナウンス)を行う。 The display 13 displays (outputs) image information (visual information) toward the monitored space SP. The display 13 is configured by, for example, a thin liquid crystal display, plasma display, organic EL display, or the like. The display 13 displays image information at a position visible from the person P within the monitored space SP. The display 13 provides various guidance (announcements) by outputting image information, for example.
スピーカ14は、監視対象空間SPに向けて音情報(聴覚情報)を出力するものである。スピーカ14は、例えば、音情報を出力することで種々の案内(アナウンス)を行う。
The
マイク15は、監視対象空間SPで発生した音を電気信号に変換する集音装置である。マイク15は、例えば、監視対象空間SPの外部の人物(例えば、施設職員等)との音声のやり取りに使用することができる。
The
<検出機器の基本構成>
検出機器20は、設置機器10によって撮像された画像Iから生成される骨格モデルMDLに基づいて監視対象空間SPに存在する人物Pの状態を検出する機器である。検出機器20は、インターフェース部21と、記憶部22と、処理部23とを備え、これらが相互に通信可能に接続されている。検出機器20は、ネットワーク上に実装されるいわゆるクラウドサービス型の装置(クラウドサーバ)を構成してもよいし、ネットワークから切り離されたいわゆるスタンドアローン型の装置を構成してもよい。検出機器20は、例えば、パーソナルコンピュータ、ワークステーション、タブレット端末等の種々のコンピュータ機器に種々の処理を実現させるアプリケーションをインストールすることで構成することもできる。検出機器20は、例えば、見守りシステム1が適用される施設の管理センタ等に設けられるがこれに限らない。
<Basic configuration of detection equipment>
The detection device 20 is a device that detects the state of the person P existing in the monitored space SP based on the skeleton model MDL generated from the image I captured by the installed
インターフェース部21は、検出機器20外の他の機器と種々の情報を送受信するためのインターフェースである。インターフェース部21は、各部との間で電線等を介して情報を有線通信する機能、各部との間で無線通信ユニット等を介して情報を無線通信する機能等を有している。インターフェース部21は、検出機器20外の他の機器として、複数の設置機器10、及び、複数の端末機器30との間で情報を送受信する。ここでは、インターフェース部21は、複数の設置機器10に対して直接的に通信可能に接続される一方、複数の端末機器30に対して通信部21a、ネットワークNを介して通信可能に接続されるものとして図示しているがこれに限らない。複数の設置機器10も通信部21a、ネットワークNを介して当該インターフェース部21に接続されてもよい。ここで、通信部21aは、ネットワークNと通信接続される通信モジュール(Data Communication Module)である。ネットワークNは、有線または無線を問わず、任意の通信網を用いることができる。
The interface unit 21 is an interface for transmitting and receiving various information to and from other devices other than the detecting device 20 . The interface section 21 has a function of wired communication of information with each section via an electric wire or the like, a function of wireless communication of information with each section via a wireless communication unit or the like, and the like. The interface unit 21 transmits and receives information to and from a plurality of installed
記憶部22は、種々の情報を記憶する記憶回路である。記憶部22は、例えば、ハードディスク、SSD(Solid State Drive)、光ディスクなどの比較的に大容量の記憶装置、あるいは、RAM、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)などのデータを書き換え可能な半導体メモリであってもよい。記憶部22は、例えば、検出機器20が各種の機能を実現するためのプログラムを記憶する。検出機器20に記憶されるプログラムには、インターフェース部21を機能させるプログラム、通信部21aを機能させるプログラム、処理部23を機能させるプログラム等が含まれる。記憶部22は、例えば、監視対象空間SPの人物Pの状態判定に用いられる学習済みの数理モデル等を記憶する。また、記憶部22は、処理部23での各種処理に必要な各種データを記憶する。記憶部22は、処理部23等によってこれらの各種データが必要に応じて読み出される。なお、記憶部22は、ネットワークNを介して検出機器20に接続されたクラウドサーバ等により実現されてもよい。
The
処理部23は、検出機器20における各種処理機能を実現する処理回路である。処理部23は、例えば、プロセッサによって実現される。プロセッサとは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の回路を意味する。処理部23は、例えば、記憶部22から読み込んだプログラムを実行することにより、各処理機能を実現する。例えば、処理部23は、設置機器10の撮像部11によって撮像された画像Iを表す画像データ等を、インターフェース部21を介して検出機器20に入力する処理を実行可能である。
The processing unit 23 is a processing circuit that implements various processing functions in the detection device 20 . The processing unit 23 is realized by, for example, a processor. A processor means a circuit such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field Programmable Gate Array). The processing unit 23 implements each processing function by executing a program read from the
<端末機器の基本構成>
端末機器30は、検出機器20と通信可能に接続される機器である。端末機器30は、インターフェース部31と、記憶部32と、処理部33と、ディスプレイ34と、スピーカ35と、マイク36とを備え、これらが相互に通信可能に接続されている。端末機器30は、例えば、パーソナルコンピュータ、ワークステーション、タブレット端末等の種々のコンピュータ機器に種々の処理を実現させるアプリケーションをインストールすることで構成することもできる。端末機器30は、例えば、見守りシステム1が適用される施設の職員等によって携帯可能な携帯端末機器を構成してもよいし、据え置き型の管理端末機器を構成してもよい。
<Basic configuration of terminal equipment>
The
インターフェース部31、記憶部32、処理部33、ディスプレイ34、スピーカ35、マイク36は、それぞれ、上述したインターフェース部21、記憶部22、処理部23、ディスプレイ13、スピーカ14、マイク15と略同様の構成である。インターフェース部31は、端末機器30外の他の機器と種々の情報を送受信するためのインターフェースである。インターフェース部31は、通信部31a、ネットワークNを介して検出機器20に通信可能に接続される。通信部31aは、上述した通信部21aと同様に、通信モジュールである。記憶部32は、例えば、端末機器30が各種の機能を実現するためのプログラムを記憶する。処理部33は、端末機器30における各種処理機能を実現する処理回路である。処理部33は、例えば、記憶部32から読み込んだプログラムを実行することにより、各処理機能を実現する。ディスプレイ34は、画像情報を表示するものである。スピーカ35は、音情報を出力するものである。マイク36は、音を電気信号に変換する集音装置である。
The
以上、本実施形態に係る見守りシステム1の全体構成の概略について説明した。 The outline of the overall configuration of the watching system 1 according to the present embodiment has been described above.
<検出機器の処理部の処理機能>
このような構成のもと、本実施形態に係る処理部23は、図3~図7に示すように、監視対象空間SPに存在する人物Pの状態を、当該人物Pを表す骨格モデルMDLに基づいて判定し、転倒時の状況を適正に把握、記録する各種処理を行うための機能を有している。
<Processing function of the processing unit of the detection device>
With such a configuration, the processing unit 23 according to the present embodiment converts the state of the person P existing in the monitored space SP into the skeleton model MDL representing the person P, as shown in FIGS. It has a function to perform various processes such as making a judgment based on the situation, properly grasping and recording the situation at the time of the fall.
具体的には、本実施形態の処理部23は、上記各種処理機能を実現するために、機能概念的に、情報処理部23a、骨格モデル生成部23b、判定部23c、及び、動作処理部23dを含んで構成される。処理部23は、例えば、記憶部22から読み込んだプログラムを実行することにより、これら情報処理部23a、骨格モデル生成部23b、判定部23c、及び、動作処理部23dの各処理機能を実現する。
Specifically, the processing unit 23 of the present embodiment includes an information processing unit 23a, a skeleton model generation unit 23b, a
情報処理部23aは、見守りシステム1で用いる種々の情報に関する処理を実行可能な機能を有する部分である。情報処理部23aは、設置機器10や端末機器30との間で種々の情報を送受信する処理を実行可能である。見守りシステム1は、情報処理部23aによる処理により、設置機器10や端末機器30と相互に情報(例えば、音声情報や画像情報等)のやり取りが可能となる。ここでは、情報処理部23aは、設置機器10から、撮像部11によって撮像された監視対象空間SPの画像Iを表す画像データを取得し記憶部22に一時的に記憶させる処理を実行可能である。
The information processing unit 23a is a part having a function capable of executing processing related to various information used in the watching system 1 . The information processing section 23 a can execute processing for transmitting and receiving various information to and from the installed
骨格モデル生成部23bは、撮像部11によって撮像された監視対象空間SPの画像Iに含まれる人物Pを表す骨格モデルMDL(図3参照)を生成する処理を実行可能な機能を有する部分である。骨格モデルMDLは、人物Pの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等を含む人体骨格を3次元で表した人体モデルである。
The skeletal model generation unit 23b is a part having a function capable of executing a process of generating a skeletal model MDL (see FIG. 3) representing the person P included in the image I of the monitored space SP captured by the
骨格モデル生成部23bは、例えば、まず人物Pを検出した後に当該人物Pの骨格を推定するトップダウン型の骨格推定によって、画像Iに含まれる人物Pを表す骨格モデルMDLを生成することができる。この場合、骨格モデル生成部23bは、種々の公知の物体認識技術を用いて、画像I内の人物Pを認識し、画像Iにおいて当該認識した人物Pが存在する領域の外側をバウンディングボックスBBで囲う処理を実行する。ここで、バウンディングボックスBBとは、画像Iにおいて認識された人物Pを囲うために必要な大きさの矩形状の枠である。そして、骨格モデル生成部23bは、当該バウンディングボックスBB内の人物Pの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の人体の各骨格部位(人体パーツ)の3次元位置座標を検出し、これらを組み合わせて当該人物Pの骨格モデルMDLを生成する。図3に例示する骨格モデルMDLは、人物Pの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の人体の各骨格部位を「点」によって象徴的に表すと共にこれらを「線」でつなぎ合わせることで生成されている。骨格モデル生成部23bは、画像Iに含まれる人物Pが複数である場合には、当該人物Pの数に応じて複数の骨格モデルMDLを生成する。骨格モデル生成部23bは、生成した骨格モデルMDLを記憶部22に記憶させる。
The skeletal model generation unit 23b can generate the skeletal model MDL representing the person P included in the image I, for example, by top-down skeletal estimation in which the person P is first detected and then the skeletal structure of the person P is estimated. . In this case, the skeletal model generation unit 23b recognizes the person P in the image I using various known object recognition techniques, and defines the outside of the area where the recognized person P exists in the image I with the bounding box BB. Execute the enclosing process. Here, the bounding box BB is a rectangular frame having a size necessary to enclose the person P recognized in the image I. Then, the skeletal model generation unit 23b generates skeletal parts of the human body such as the head, eyes, nose, mouth, shoulders, waist, feet, knees, elbows, hands, joints, etc. ) are detected, and the skeleton model MDL of the person P is generated by combining them. In the skeletal model MDL illustrated in FIG. 3, each skeletal part of the human body such as the head, eyes, nose, mouth, shoulders, waist, feet, knees, elbows, hands, and joints of the person P is symbolically represented by "points". It is generated by representing and connecting these with "lines". When there are multiple persons P included in the image I, the skeletal model generation unit 23b generates a plurality of skeletal models MDL according to the number of the persons P. The skeletal model generation unit 23b stores the generated skeletal model MDL in the
なお、骨格モデル生成部23bは、例えば、バウンディングボックスBB等を用いず画像I中の人体の各骨格部位を全て検出した後に人物Pの骨格を推定するボトムアップ型の骨格推定によって、画像Iに含まれる人物Pを表す骨格モデルを生成してもよい。この場合、骨格モデル生成部23bは、まず、種々の公知の物体認識技術を用いて、画像I中の人体の頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の各骨格部位の3次元位置座標を全て検出する。その後、骨格モデル生成部23bは、当該検出した各骨格部位を人物Pごとにマッチングさせて繋ぎ合わせていくことで、各人物Pの骨格モデルMDLを生成する。 Note that the skeletal model generation unit 23b, for example, estimates the skeleton of the person P after detecting all the skeletal parts of the human body in the image I without using the bounding box BB or the like. A skeletal model representing the included person P may be generated. In this case, the skeletal model generator 23b first uses various known object recognition techniques to identify the head, eyes, nose, mouth, shoulders, waist, feet, knees, elbows, hands, and so on of the human body in the image I. All three-dimensional position coordinates of each skeletal part such as a joint are detected. After that, the skeletal model generation unit 23b generates the skeletal model MDL of each person P by matching the detected skeletal parts for each person P and joining them together.
また、この見守りシステム1は、画像I内の人物Pを認識するための物体認識技術として、各種機械学習を用いた物体認識技術を用いることができる。この場合、見守りシステム1は、例えば、人物Pを含む画像I等を学習用データとして、予め各種機械学習により人物Pを学習しておく。このとき、見守りシステム1は、施設の利用者を予め登録しておき、画像Iにおいて、各利用者を個体として識別可能なように学習させておくこともできる。例えば、見守りシステム1は、予め収集された「施設の利用者である人物Pを含む画像I」に関するデータを説明変数とし、「当該画像に対応する人物Pの識別情報(例えば、利用者ID等)」に関するデータを目的変数として学習用教師データセットを用意し、当該学習用教師データセットを用いて機械学習を行う。機械学習としては、例えば、ロジスティック回帰、サポートベクトルマシン、ニューラルネットワーク、ランダムフォレスト等、本実施形態に適用可能な様々な形式のアルゴリズムを用いることができる。見守りシステム1は、この機械学習によって得られた学習済みの物体認識(人物認識)用の数理モデル等を予め記憶部22に記憶しておく。 Moreover, this watching system 1 can use the object recognition technology using various machine learning as an object recognition technology for recognizing the person P in the image I. FIG. In this case, the watching system 1 learns the person P in advance by various types of machine learning, for example, using an image I including the person P as data for learning. At this time, the watching system 1 can register users of the facility in advance, and can learn each user in the image I so that each user can be identified as an individual. For example, the monitoring system 1 uses pre-collected data related to “an image I including a person P who is a user of the facility” as explanatory variables, and uses “identification information of the person P corresponding to the image (for example, a user ID, etc. )” is prepared as an objective variable, and machine learning is performed using the learning teacher data set. As machine learning, various types of algorithms applicable to the present embodiment can be used, such as logistic regression, support vector machine, neural network, random forest, and the like. The watching system 1 pre-stores in the storage unit 22 a learned mathematical model for object recognition (person recognition) obtained by this machine learning.
そして、骨格モデル生成部23bは、例えば、上記のように記憶部22に記憶されている学習済みの物体認識(人物認識)用の数理モデル等に基づいた分類・回帰により、画像I内の人物Pを、識別情報により個人を特定した状態で認識した後、当該人物Pを表す骨格モデルMDLを生成する。より具体的には、骨格モデル生成部23bは、撮像部11によって撮像された画像Iを、当該物体認識用の数理モデルに入力する。この結果、骨格モデル生成部23bは、画像I内の人物Pを認識すると共に当該人物Pを特定する識別情報を取得し、当該人物Pを表す骨格モデルMDLを生成する。これにより、骨格モデル生成部23bは、識別情報により個人が特定された人物Pの骨格モデルMDLを生成することができる。骨格モデル生成部23bは、個人が特定された人物Pの識別情報と共に、生成した骨格モデルMDLを記憶部22に記憶させる。
Then, the skeletal model generation unit 23b performs classification/regression based on, for example, a mathematical model for object recognition (person recognition) that has already been learned and stored in the
また、骨格モデル生成部23bは、骨格モデルMDLを生成した後、当該骨格モデルMDLの生成に用いた画像Iを消去する処理を実行し、記憶部22や記憶部32、設置機器10の一時記憶部等に当該画像Iを表す画像データを残さないようにすることもできる。この場合、見守りシステム1は、骨格モデルMDLを生成した後、以降の各処理においては、当該骨格モデルMDLの生成に用いた画像Iを用いずに、画像から生成された骨格モデルMDLを用いて各種処理を実行する(図4、図5等参照)。これにより、見守りシステム1は、施設利用者個人の顔等が映った画像を用いずに、施設利用者のプライバシーを確保した上で、様々な監視を行うことが可能となる。 Further, after generating the skeleton model MDL, the skeleton model generation unit 23b executes a process of deleting the image I used for generating the skeleton model MDL, and temporarily stores the image I used in the generation of the skeleton model MDL. It is also possible not to leave the image data representing the image I in the copy or the like. In this case, after generating the skeletal model MDL, the watching system 1 does not use the image I used to generate the skeletal model MDL, but uses the skeletal model MDL generated from the image in subsequent processes. Various processes are executed (see FIGS. 4, 5, etc.). As a result, the monitoring system 1 can perform various types of monitoring while ensuring the privacy of the facility user without using an image showing the individual face of the facility user.
判定部23cは、骨格モデル生成部23bによって生成された骨格モデルMDLに基づいて、当該骨格モデルMDLに対応する人物Pの状態を判定する処理を実行可能な機能を有する部分である。本実施形態の判定部23cは、骨格モデル生成部23bによって生成された骨格モデルMDLに対応する人物Pの状態として、人物Pが転倒した転倒状態を判定する。判定部23cは、撮像部11によって撮像された監視対象空間SPの画像Iに人物Pが含まれていた場合に、当該人物Pに対してこれらの状態判定を行う。
The
この見守りシステム1は、例えば、骨格モデルMDLにおける各骨格部位の相対的な位置関係や相対距離、バウンディングボックスBBの大きさ等をパラメータとして、予め各種機械学習により、転倒状態を含む人物Pの状態を学習しておく。例えば、見守りシステム1は、予め収集された「骨格モデルMDLにおける各骨格部位の相対的な位置関係、相対距離、バウンディングボックスBBの大きさ」に関するデータを説明変数とし、「転倒状態を含む人物Pの状態」に関するデータを目的変数として機械学習を行う。機械学習としては、上記と同様に、例えば、ロジスティック回帰、サポートベクトルマシン、ニューラルネットワーク、ランダムフォレスト等、本実施形態に適用可能な様々な形式のアルゴリズムを用いることができる。見守りシステム1は、この機械学習によって得られた学習済みの状態判定用の数理モデル等を予め記憶部22に記憶しておく。
This monitoring system 1 uses, for example, the relative positional relationship and relative distance of each skeletal part in the skeletal model MDL, the size of the bounding box BB, etc. as parameters, and various kinds of machine learning in advance to determine the state of the person P including the falling state. to learn. For example, the watching system 1 uses pre-collected data on “the relative positional relationship, relative distance, and size of the bounding box BB of each skeletal part in the skeletal model MDL” as explanatory variables. Machine learning is performed using data related to the "state of" as the objective variable. As machine learning, various types of algorithms applicable to the present embodiment can be used, such as logistic regression, support vector machine, neural network, random forest, etc., as described above. The watching system 1 stores in the
そして、判定部23cは、上記のように記憶部22に記憶されている学習済みの状態判定用の数理モデル等に基づいた分類・回帰により、骨格モデルMDLに対応する人物の状態を判定する。より具体的には、判定部23cは、実際に撮像された画像Iに含まれる人物Pの骨格モデルMDLから得られる各骨格部位の相対的な位置関係、相対距離、バウンディングボックスBBの大きさを、当該状態判定用の数理モデルに入力する。これにより、判定部23cは、骨格モデルMDLに対応する人物Pの状態として、当該人物Pの転倒状態を他の状態(例えば、立っている状態や座っている状態等)と区別して判定する。
Then, the
なお、本実施形態の判定部23cは、上述したように、骨格モデル生成部23bによって生成された骨格モデルMDLに基づいて、当該骨格モデルMDLの生成に用いた画像Iを用いずに、骨格モデルMDLに対応する人物Pの状態を判定する。
Note that, as described above, the
そして、本実施形態の判定部23cは、骨格モデルMDLに対応する人物Pが転倒した転倒状態であるものと判定した場合、当該転倒した人物Pを表す骨格モデルMDLと他の人物Pを表す骨格モデルMDLとの重なりの有無に基づいて自責転倒を判定する。ここでは、本実施形態の判定部23cは、転倒した人物Pを表す骨格モデルMDLと他の人物Pを表す骨格モデルMDLとの重なりの有無、及び、位置検出器12によって検出された骨格モデルMDLに対応する人物Pの撮像奥行方向Xに対する位置に基づいて、自責転倒と他責転倒とを区別して判定する。
Then, when determining that the person P corresponding to the skeletal model MDL is in a fallen state, the
ここで、自責転倒とは、転倒した人物P自身に起因した転倒である。一方、他責転倒とは、転倒した人物P自身以外の他の人物Pに起因した転倒である。 Here, a self-inflicted fall is a fall caused by the person P himself/herself who has fallen. On the other hand, a fall caused by someone else is a fall caused by a person P other than the person P who has fallen.
より具体的には、判定部23cは、例えば、図4に例示するように、転倒した人物P2(図6等参照)を表す骨格モデルMDL2と他の人物P1(図6等参照)を表す骨格モデルMDL1との重なりが無い場合に、当該人物P2の転倒が自責転倒であるものと判定する。
More specifically, for example, as illustrated in FIG. 4, the
一方、判定部23cは、例えば、図5に例示するように、転倒した人物P2を表す骨格モデルMDL2と他の人物P1を表す骨格モデルMDL1との重なりが有る場合に、位置検出器12によって検出された人物P1、P2の撮像奥行方向Xに対する位置に基づいて、人物P1と人物P2との総合的な重なり、言い換えれば、人物P1と人物P2との接触(干渉)を判定することで自責転倒と他責転倒とを区別して判定する。
On the other hand, for example, as illustrated in FIG. 5, the
すなわちこの場合、判定部23cは、例えば、図5、図6に例示するように、転倒した人物P2を表す骨格モデルMDL2と他の人物P1を表す骨格モデルMDL1との重なりが有り、かつ、転倒した人物P2の撮像奥行方向Xに対する位置と他の人物P1の撮像奥行方向Xに対する位置とが予め定められた接触範囲外である場合、当該人物P2の転倒が自責転倒であるものと判定する。ここでは、接触範囲とは、人物P同士の接触(干渉)を判定するために予め設定される位置範囲であり、特定の人物Pの撮像奥行方向Xに対する位置を基準として、他の人物Pの撮像奥行方向Xに対する位置がこの接触範囲内にある場合に当該人物P同士が接触していることを表す。つまり、判定部23cは、転倒した人物P2の撮像奥行方向Xに対する位置と他の人物P1の撮像奥行方向Xに対する位置とが接触範囲外である場合、人物P1と人物P2とが接触しておらず、この結果、当該人物P2の転倒が自責転倒であるものと判定する。
That is, in this case, for example, as illustrated in FIGS. If the position of the person P2 with respect to the imaging depth direction X and the position of the other person P1 with respect to the imaging depth direction X are outside a predetermined contact range, the fall of the person P2 is determined to be a self-inflicted fall. Here, the contact range is a position range set in advance for determining contact (interference) between persons P, and the position of a specific person P in the imaging depth direction X is used as a reference. When the position in the imaging depth direction X is within this contact range, it indicates that the persons P are in contact with each other. That is, if the position of the fallen person P2 in the imaging depth direction X and the position of the other person P1 in the imaging depth direction X are outside the contact range, the
一方、判定部23cは、例えば、図5、図7に例示するように、転倒した人物P2を表す骨格モデルMDL2と他の人物P1を表す骨格モデルMDL1との重なりが有り、かつ、転倒した人物P2の撮像奥行方向Xに対する位置と他の人物P1の撮像奥行方向Xに対する位置とが上記接触範囲内である場合、当該人物P2の転倒が他責転倒であるものと判定する。つまり、判定部23cは、転倒した人物P2の撮像奥行方向Xに対する位置と他の人物P1の撮像奥行方向Xに対する位置とが接触範囲内である場合、人物P1と人物P2とが接触しており、この結果、当該人物P2の転倒が他責転倒であるものと判定する。
On the other hand, for example, as illustrated in FIGS. 5 and 7, the
なお、本実施形態の情報処理部23aは、判定部23cによって、骨格モデルMDLに対応する人物Pが転倒した転倒状態であるものと判定した場合、転倒した際の状況を表す状況データを記憶部22に記憶させ、記録として保存しておくようにしてもよい。転倒した際の状況を表す状況データは、典型的には、転倒した人物Pが転倒に至るまでの骨格モデルMDLの動きを表すデータ、転倒の種別に関するデータを含む。ここで、人物Pが転倒に至るまでの骨格モデルMDLは、転倒した人物P自身の骨格モデルMDLに加えて、例えば、転倒した人物P(例えば、人物P2)と接触した他の人物P(例えば、人物P1)の骨格モデルMDLも含んでもよい。また、転倒の種別に関するデータは、発生した転倒が自責転倒であるのか、他責転倒であるのかを表すデータである。また、情報処理部23aは、例えば、転倒した際の状況を表す状況データとして、上記のデータと共に、転倒した人物Pや転倒した人物Pと接触した他の人物Pを表す識別情報も紐付けて記憶部22に記憶させてもよい。
When the
この場合も、情報処理部23aは、上述したように、当該骨格モデルMDLの生成に用いた画像Iについては記憶部22に記録として保存しないようにすることができる。これにより、見守りシステム1は、人物Pのプライバシーを確保した上で、転倒した人物P1が転倒に至るまでの骨格モデルMDLの動き等を記憶部22に記録として保存しておくことが可能となる。
In this case as well, the information processing section 23a can prevent the image I used for generating the skeleton model MDL from being stored in the
動作処理部23dは、検出機器20による判定結果に基づいて各部の動作を制御する処理を実行可能な機能を有する部分である。本実施形態の動作処理部23dは、判定部23cによる判定結果に基づいて、状況データを検出機器20外の他の機器に転送する処理を実行可能である。動作処理部23dは、例えば、判定部23cによる判定結果に基づいて、通信部21aを制御し、当該判定結果に応じた状況データを端末機器30に転送すると共に、当該端末機器30を介して施設の職員等に人物Pが転倒したことを通知する。端末機器30は、例えば、受信した転倒時の状況データを記憶部32に記憶させ、記録として保存しておくようにしてもよい。端末機器30は、例えば、ディスプレイ34を介して人物Pが転倒に至るまでの骨格モデルMDLの動きを表示させ、施設の職員等に転倒時の状況を確認させるようにしてもよい。なお、動作処理部23dによって状況データを他の機器に転送する処理機能等は、上述した情報処理部23aによって実現されてもよい。
The
<制御フローの一例>
次に、図8のフローチャート図を参照して見守りシステム1おける制御の一例について説明する。
<Example of control flow>
Next, an example of control in the watching system 1 will be described with reference to the flowchart of FIG. 8 .
まず、検出機器20の情報処理部23aは、人物Pが監視対象空間SPに入室すると、撮像部11を制御し監視対象空間SPの画像Iを撮像させ、撮像された画像情報を記憶部22に記憶させる(ステップS1)。
First, when the person P enters the monitored space SP, the information processing section 23a of the detecting device 20 controls the
次に、検出機器20の骨格モデル生成部23bは、記憶部22に記憶された監視対象空間SPの画像Iに基づいて、物体認識、骨格推定により、人物Pの各骨格部位の位置を検出し(ステップS2)、当該人物Pの骨格モデルMDLを生成する(ステップS3)。
Next, the skeleton model generation unit 23b of the detection device 20 detects the position of each skeleton part of the person P by object recognition and skeleton estimation based on the image I of the monitored space SP stored in the
次に、骨格モデル生成部23bは、骨格モデルMDLの生成に用いた画像を消去し(ステップS4)、当該画像を表す画像データを残さないようにする。検出機器20の処理部23は、以降の各処理においては、当該骨格モデルMDLの生成に用いた画像Iを用いずに、画像Iから生成された骨格モデルMDLを用いて各種処理を実行する。 Next, the skeletal model generation unit 23b erases the image used to generate the skeletal model MDL (step S4) so as not to leave image data representing the image. The processing unit 23 of the detecting device 20 performs various processes using the skeleton model MDL generated from the image I without using the image I used to generate the skeleton model MDL in each subsequent process.
次に、検出機器20の判定部23cは、ステップS3の処理で生成された骨格モデルMDLに基づいて、機械学習により学習済みの状態判定用の数理モデル等を用いて、骨格モデルMDLに対応する人物Pが転倒した状態であるのかを検出する(ステップS5)。
Next, the determining
そして、判定部23cは、骨格モデルMDLに対応する人物Pが転倒した状態であるか否かを判定する(ステップS6)。判定部23cは、人物Pが転倒した状態ではないと判定した場合(ステップS6:No)、今回の制御周期を終了し、次回の制御周期に移行する。
Then, the
判定部23cは、骨格モデルMDLに対応する人物Pが転倒した状態であると判定した場合(ステップS6:Yes)、転倒した人物Pを表す骨格モデルMDLと他の人物Pを表す骨格モデルMDLとが重なっているか否かを判定する(ステップS7)。
If the
判定部23cは、転倒した人物Pを表す骨格モデルMDLと他の人物Pを表す骨格モデルMDLとが重なっていないと判定した場合(ステップS7:No)、当該転倒した人物P1の転倒が自責転倒であるものと判定する(ステップS8)。このとき、情報処理部23aは、転倒した際の状況を表す状況データとして、転倒した人物Pが転倒に至るまでの骨格モデルMDLの動きを表すデータ、転倒の種別に関するデータ、人物Pを表す識別情報を相互に紐付けて記憶部22に記憶させ、記録として保存する。この場合、転倒の種別に関するデータは、発生した転倒が自責転倒であることを表すものとなっている。
If the determining
その後、検出機器20の動作処理部23dは、通信部21aを制御し、転倒時の状況データを端末機器30に転送すると共に、当該端末機器30を介して施設の職員等に人物Pが転倒したことを通知し(ステップS9)、今回の制御周期を終了し、次回の制御周期に移行する。このとき、端末機器30は、受信した転倒時の状況データを記憶部32に記憶させ、記録として保存しておく。
After that, the
判定部23cは、ステップS7で、転倒した人物Pを表す骨格モデルMDLと他の人物Pを表す骨格モデルMDLとが重なっていると判定した場合(ステップS7:Yes)、位置検出器12による検出結果に基づいて、転倒した人物Pの撮像奥行方向Xに対する位置と他の人物Pの撮像奥行方向Xに対する位置とが接触範囲内であるか否かを判定する(ステップS10)。
When the
判定部23cは、転倒した人物Pの撮像奥行方向Xに対する位置と他の人物Pの撮像奥行方向Xに対する位置とが接触範囲外であると判定した場合(ステップS10:No)、上述したステップS8に移行する。
If the determining
判定部23cは、転倒した人物Pの撮像奥行方向Xに対する位置と他の人物Pの撮像奥行方向Xに対する位置とが接触範囲内であると判定した場合(ステップS10:Yes)、当該転倒した人物P1の転倒が他責転倒であるものと判定し(ステップS11)、上述したステップS9に移行する。このとき、情報処理部23aは、転倒した際の状況を表す状況データとして、転倒した人物Pが転倒に至るまでの骨格モデルMDLの動きを表すデータ、転倒の種別に関するデータ、人物Pを表す識別情報を相互に紐付けて記憶部22に記憶させ、記録として保存する。この場合、転倒の種別に関するデータは、発生した転倒が他責転倒であることを表すものとなっている。
If the determining
以上で説明した見守りシステム1は、撮像部11によって監視対象空間SPの画像Iを撮像し、骨格モデル生成部23bによって当該画像Iに含まれる人物Pを表す骨格モデルMDLを生成する。そして、判定部23cは、骨格モデル生成部23bによって生成された骨格モデルMDLに基づいて、骨格モデルMDLに対応する人物Pの状態を判定する。このとき、判定部23cは、骨格モデルMDLに対応する人物Pが転倒状態であるものと判定した場合、当該転倒した人物Pを表す骨格モデルMDLと他の人物Pを表す骨格モデルMDLとの重なりの有無に基づいて、当該転倒した人物P自身に起因した自責転倒を判定する。この結果、見守りシステム1は、転倒時の状況を適正に把握することができる。例えば、見守りシステム1は、福祉施設において、利用者の転倒事故が発生した場合、自責か他責かを判断する材料として、判定部23cによる判定結果を用いることができる。
In the monitoring system 1 described above, the image I of the monitored space SP is captured by the
また、見守りシステム1は、撮像部11によって撮像された画像Iそのものではなく、画像Iから生成された骨格モデルMDLに基づいて人物Pの状態を把握することができるので、より少ないデータ量、演算負荷で転倒時の状況を適正に把握することができる。
In addition, since the monitoring system 1 can grasp the state of the person P based on the skeletal model MDL generated from the image I rather than the image I itself captured by the
また、この場合、見守りシステム1は、撮像部11によって撮像された画像Iそのものではなく、画像Iから生成された骨格モデルMDLに基づいて転倒時の状況を把握することができるので、人物Pのプライバシーを確保した上で、上記のように転倒時の状況を適正に把握することができる。これにより、見守りシステム1は、例えば、設置機器10の設置に対する心理的な圧迫を軽減することができ、設置に対する同意を得やすいシステムとすることができる。
Further, in this case, the monitoring system 1 can grasp the situation at the time of the fall based on the skeleton model MDL generated from the image I rather than the image I itself captured by the
ここでは、以上で説明した見守りシステム1は、転倒した人物Pが転倒に至るまでの骨格モデルMDLの動きを記憶する記憶部22、32を備える。これにより、見守りシステム1は、人物Pのプライバシーを確保した上で、転倒した人物P1が転倒に至るまでの骨格モデルMDLの動きを記録として保存しておくことができる。
Here, the monitoring system 1 described above includes the
具体的には、以上で説明した見守りシステム1は、判定部23cによって、転倒した人物Pを表す骨格モデルMDLと他の人物Pを表す骨格モデルMDLとの重なりが無い場合に、当該転倒した人物Pの転倒が自責転倒であるものと判定する。これにより、見守りシステム1は、複数の骨格モデルMDLの重なりあいに応じて簡易的に人物Pの自責転倒を判定することができる。
Specifically, in the monitoring system 1 described above, when there is no overlap between the skeleton model MDL representing the fallen person P and the skeleton model MDL representing another person P, the
一方、以上で説明した見守りシステム1は、判定部23cによって、複数の骨格モデルMDLとの重なりの有無、及び、位置検出器12によって検出された人物Pの撮像奥行方向Xに対する位置に基づくことで、自責転倒と他責転倒とを区別して判定することもできる。この結果、見守りシステム1は、転倒時の状況をより詳細に把握することができる。
On the other hand, the monitoring system 1 described above is based on the presence or absence of overlap with a plurality of skeletal models MDL and the position of the person P with respect to the imaging depth direction X detected by the position detector 12 by the
具体的には、以上で説明した見守りシステム1は、判定部23cによって、転倒した人物Pを表す骨格モデルMDLと他の人物Pを表す骨格モデルMDLとの重なりが有り、かつ、転倒した人物Pの撮像奥行方向Xに対する位置と他の人物Pの撮像奥行方向Xに対する位置とが接触範囲外である場合、当該転倒した人物Pの転倒が自責転倒であるものと判定する。一方、見守りシステム1は、判定部23cによって、転倒した人物Pを表す骨格モデルMDLと他の人物Pを表す骨格モデルMDLとの重なりが有り、かつ、転倒した人物Pの撮像奥行方向Xに対する位置と他の人物Pの撮像奥行方向Xに対する位置とが接触範囲内である場合、当該転倒した人物Pの転倒が他責転倒であるものと判定する。この結果、見守りシステム1は、転倒した人物Pと他の人物Pとの接触、干渉を精度よく判定することができ、転倒時の状況として、自責転倒を他責転倒とを区別して把握することができる。
Specifically, in the monitoring system 1 described above, the determining
なお、上述した本発明の実施形態に係る見守りシステムは、上述した実施形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。 In addition, the monitoring system according to the embodiment of the present invention described above is not limited to the embodiment described above, and various modifications are possible within the scope of the claims.
以上の説明では、設置機器10は、位置検出器12を備えるものとして説明したがこれに限らない。また、以上の説明では、判定部23cは、位置検出器12による検出結果に基づいて、自責転倒と他責転倒とを区別して判定するものとして説明したがこれに限らない。見守りシステム1は、位置検出器12を備えず、自責転倒と他責転倒とを区別して判定しないものであってもよい。
In the above description, the
以上の説明では、記憶部22、32は、例えば、状況データとして、マイク15によって集音された音声データも記憶しておくことで、転倒前後の状況を音声により補完することも可能である。
In the above description, the
以上で説明した処理部23、33は、それぞれ単一のプロセッサによって各処理機能が実現されるものとして説明したがこれに限らない。処理部23、33は、それぞれ複数の独立したプロセッサを組み合わせて各プロセッサがプログラムを実行することにより各処理機能が実現されてもよい。また、処理部23、33が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理部23、33が有する処理機能は、その全部又は任意の一部をプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。 The processing units 23 and 33 described above have been described assuming that each processing function is realized by a single processor, but the present invention is not limited to this. Each processing function of the processing units 23 and 33 may be realized by combining a plurality of independent processors and having each processor execute a program. Moreover, the processing functions of the processing units 23 and 33 may be appropriately distributed or integrated in a single or a plurality of processing circuits and implemented. Further, the processing functions of the processing units 23 and 33 may be realized entirely or in part by a program, or may be realized by hardware such as wired logic.
本実施形態に係る見守りシステムは、以上で説明した実施形態、変形例の構成要素を適宜組み合わせることで構成してもよい。 The monitoring system according to this embodiment may be configured by appropriately combining the constituent elements of the embodiments and modifications described above.
1 見守りシステム
1A 検出システム
10 設置機器
11 撮像部
12 位置検出器
20 検出機器
21、31 インターフェース部
22、32 記憶部
23、33 処理部
23a 情報処理部
23b 骨格モデル生成部
23c 判定部
23d 動作処理部
30 端末機器
BB バウンディングボックス
I 画像
MDL、MDL1、MDL2 骨格モデル
N ネットワーク
P、P1、P2 人物
SP 監視対象空間
X 撮像奥行方向
Y 撮像幅方向
Z 撮像上下方向
1
Claims (5)
前記撮像部によって撮像された前記画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部と、
前記骨格モデル生成部によって生成された前記骨格モデルに基づいて、前記骨格モデルに対応する人物の状態を判定する判定部とを備え、
前記判定部は、前記骨格モデルに対応する人物が転倒した転倒状態であるものと判定した場合、当該転倒した人物を表す前記骨格モデルと他の人物を表す前記骨格モデルとの重なりの有無に基づいて、当該転倒した人物自身に起因した自責転倒を判定する、
見守りシステム。 an imaging unit that captures an image of the monitored space;
a skeleton model generation unit that generates a skeleton model representing a person included in the image captured by the imaging unit;
a determining unit that determines a state of a person corresponding to the skeletal model based on the skeletal model generated by the skeletal model generating unit;
When determining that the person corresponding to the skeletal model is in a fallen state, the determination unit determines whether or not the skeletal model representing the fallen person overlaps with the skeletal model representing another person. to determine a self-inflicted fall caused by the falling person himself,
monitoring system.
請求項1に記載の見守りシステム。 A storage unit that stores the movement of the skeletal model until the fallen person falls,
The watching system according to claim 1.
請求項1又は請求項2に記載の見守りシステム。 The determination unit determines that the fall of the person who has fallen is the fall of his or her own fault when the skeleton model representing the person who has fallen does not overlap with the skeleton model representing the other person.
The watching system according to claim 1 or 2.
前記判定部は、前記転倒した人物を表す前記骨格モデルと前記他の人物を表す前記骨格モデルとの重なりの有無、及び、前記位置検出器によって検出された前記骨格モデルに対応する人物の前記撮像奥行方向に対する位置に基づいて、前記自責転倒と、前記他の人物に起因した他責転倒とを区別して判定する、
請求項1乃至請求項3のいずれか1項に記載の見守りシステム。 a position detector capable of detecting a position of a person corresponding to the skeletal model in the imaging depth direction by the imaging unit;
The determination unit determines whether or not the skeletal model representing the person who has fallen over overlaps with the skeletal model representing the other person, and the imaging of the person corresponding to the skeletal model detected by the position detector. Based on the position in the depth direction, it is determined by distinguishing between the self-responsible fall and the other-responsible fall caused by the other person.
The watching system according to any one of claims 1 to 3.
前記転倒した人物を表す前記骨格モデルと前記他の人物を表す前記骨格モデルとの重なりが有り、かつ、前記転倒した人物の前記撮像奥行方向に対する位置と前記他の人物の前記撮像奥行方向に対する位置とが前記接触範囲内である場合、当該転倒した人物の転倒が前記他責転倒であるものと判定する、
請求項4に記載の見守りシステム。 The determining unit determines that there is an overlap between the skeletal model representing the person who has fallen and the skeletal model representing the other person, and the position of the person who has fallen with respect to the imaging depth direction and the position of the person who has fallen and the other person If the position in the imaging depth direction is outside a predetermined contact range, determining that the fall of the fallen person is the self-inflicted fall,
The skeletal model representing the fallen person and the skeletal model representing the other person overlap, and the position of the fallen person with respect to the imaging depth direction and the position of the other person with respect to the imaging depth direction. is within the contact range, it is determined that the fall of the person who fell is the fall of another person's responsibility,
The watching system according to claim 4.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021044211A JP7317880B2 (en) | 2021-03-18 | 2021-03-18 | Monitoring system |
PCT/JP2022/005692 WO2022196212A1 (en) | 2021-03-18 | 2022-02-14 | Monitoring system |
CN202280016685.1A CN116940962A (en) | 2021-03-18 | 2022-02-14 | Nursing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021044211A JP7317880B2 (en) | 2021-03-18 | 2021-03-18 | Monitoring system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022143603A true JP2022143603A (en) | 2022-10-03 |
JP7317880B2 JP7317880B2 (en) | 2023-07-31 |
Family
ID=83322244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021044211A Active JP7317880B2 (en) | 2021-03-18 | 2021-03-18 | Monitoring system |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7317880B2 (en) |
CN (1) | CN116940962A (en) |
WO (1) | WO2022196212A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008152717A (en) * | 2006-12-20 | 2008-07-03 | Sanyo Electric Co Ltd | Apparatus for detecting fall-down state |
WO2019187492A1 (en) * | 2018-03-30 | 2019-10-03 | コニカミノルタ株式会社 | Fall sensing device and method, and monitor subject monitoring assistance system |
-
2021
- 2021-03-18 JP JP2021044211A patent/JP7317880B2/en active Active
-
2022
- 2022-02-14 WO PCT/JP2022/005692 patent/WO2022196212A1/en active Application Filing
- 2022-02-14 CN CN202280016685.1A patent/CN116940962A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008152717A (en) * | 2006-12-20 | 2008-07-03 | Sanyo Electric Co Ltd | Apparatus for detecting fall-down state |
WO2019187492A1 (en) * | 2018-03-30 | 2019-10-03 | コニカミノルタ株式会社 | Fall sensing device and method, and monitor subject monitoring assistance system |
Also Published As
Publication number | Publication date |
---|---|
CN116940962A (en) | 2023-10-24 |
JP7317880B2 (en) | 2023-07-31 |
WO2022196212A1 (en) | 2022-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210007631A1 (en) | Systems and methods for fall detection | |
CN110291489A (en) | The efficient mankind identify intelligent assistant's computer in calculating | |
CN107378971A (en) | A kind of Study of Intelligent Robot Control system | |
US9578261B1 (en) | Portable security surveillance device | |
Gomez-Donoso et al. | Enhancing the ambient assisted living capabilities with a mobile robot | |
Sarfraz et al. | A multimodal assistive system for helping visually impaired in social interactions | |
Bellotto et al. | Enrichme integration of ambient intelligence and robotics for aal | |
CN107111363B (en) | Method, device and system for monitoring | |
JP2020194493A (en) | Monitoring system for nursing-care apparatus or hospital and monitoring method | |
WO2022196214A1 (en) | Monitoring system | |
Wengefeld et al. | The morphia project: first results of a long-term user study in an elderly care scenario from robotic point of view | |
Ghidoni et al. | A distributed perception infrastructure for robot assisted living | |
JP7317880B2 (en) | Monitoring system | |
JP7326363B2 (en) | Monitoring system | |
Dingli et al. | Turning homes into low-cost ambient assisted living environments | |
Wang et al. | Oliv: an artificial intelligence-powered assistant for object localization for impaired vision | |
Ismail et al. | Multimodal indoor tracking of a single elder in an AAL environment | |
Liang et al. | A collaborative elderly care system using a companion robot and a wearable device | |
US20170112412A1 (en) | Detecting air pressure and respiratory conditions using a device touch sensitive surface (tss) subsystem and other built in sensors subsystems | |
CN114422583A (en) | Interactive system between inspection robot and intelligent terminal | |
WO2020199742A1 (en) | Smart phone | |
TWM625774U (en) | Care-giving detection system based on deep image-based behavior analysis of care recipients | |
Rossi et al. | A Framework for Personalized and Adaptive Socially Assistive Robotics. | |
Toupas et al. | A Framework Towards Ambient Assisted Living Enhanced by Service Robots | |
Baskar et al. | An Indoor Obstacle Detector to Assist the Visually Impaired Person on Real-Time with a Navigator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7317880 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |