JP2008152717A - 転倒状況検知装置 - Google Patents

Abstract

【課題】この発明は、被観察者が転倒した場合に、その転倒状況を検知することができる転倒状況検知装置を提供することを目的とする。
【解決手段】被観察者の撮影画像に基づいて、被観察者が転倒したか否かを判定する転倒検知手段、および被観察者が転倒したと判定された場合には、被観察者の撮影画像に基づいて、転倒発生時に観察者の動きが少ないか多いかを判定する転倒状況検知手段を備えており、転倒状況検知手段は、撮像画像から、転倒発生時における人物領域のＸ，Ｙ，Ｚそれぞれの方向の幅データの時系列データを抽出する抽出手段、および抽出手段によって抽出された時系列データ内のデータ間の類似度合いに基づいて、転倒発生時に観察者の動きが少ないか多いかを判定する判定手段を備えている。
【選択図】図１

Description

この発明は、被観察者が転倒した場合に、その転倒状況を検知する転倒状況検知装置に関する。

被観察者の転倒を検知する装置として、被観察者をカメラで撮影し、撮影画像から被観察者の動作ベクトルを検出し、検出した動作ベクトルと予め記憶している被観察者の転倒ベクトルとを比較することにより、被観察者が転倒したか否かを判別するものが既に開発されている（特開２００２−２３２８７０号公報参照）。

また、被観察者の転倒を検知する装置として、被観察者をカメラで撮影し、撮影画像と被観察者が存在しないときに撮影された参照画像との差分領域を抽出し、差分領域の面積に基づいて被観察者が転倒したか否かを判別するものが既に開発されている（特開２０００−２０７６６４号公報参照）。特開２０００−２０７６６４号公報には、さらに、被観察者の移動方向および移動速度を考慮して、被観察者が勢いよく転倒したか否か等の転倒の危険度も検知できることが開示されている。

しかしながら、転倒発生時または転倒後の動作から転倒の状況を判定する手法は未だ開発されていない。
特開２００２−２３２８７０号公報 特開２０００−２０７６６４号公報

この発明は、被観察者が転倒した場合に、その転倒状況を検知することができる転倒状況検知装置を提供することを目的とする。

請求項１に記載の発明は、被観察者の撮影画像に基づいて、被観察者が転倒したか否かを判定する転倒検知手段、および被観察者が転倒したと判定された場合には、被観察者の撮影画像に基づいて、転倒発生時に観察者の動きが少ないか多いかを判定する転倒状況検知手段を備えており、転倒状況検知手段は、転倒発生時における複数時点での被観察者の撮影画像に基づいて、複数時点での３次元人物領域情報を抽出する人物領域情報抽出手段、各時点での３次元人物領域情報それぞれから３次元人物領域の高さ、幅および奥行き情報を算出することにより、転倒発生時における３次元人物領域の高さ、幅および奥行きの時系列データを抽出する抽出手段、および抽出手段によって抽出された時系列データ内のデータ間の類似度合いに基づいて、転倒発生時に観察者の動きが少ないか多いかを判定する判定手段を備えていることを特徴とする。

請求項２に記載の発明は、被観察者の撮影画像に基づいて、被観察者が転倒したか否かを判定する転倒検知手段、および被観察者が転倒したと判定された場合には、被観察者の撮影画像に基づいて、転倒後に観察者の動きが少ないか多いかを判定する転倒状況検知手段を備えており、転倒状況検知手段は、転倒後における複数時点での被観察者の撮影画像に基づいて、複数時点での３次元人物領域情報を抽出する人物領域情報抽出手段、各時点での３次元人物領域情報それぞれから３次元人物領域の高さ、幅および奥行き情報を算出することにより、転倒後における３次元人物領域の高さ、幅および奥行きの時系列データを抽出する抽出手段、および抽出手段によって抽出された時系列データ内のデータ間の類似度合いに基づいて、転倒後に観察者の動きが少ないか多いかを判定する判定手段を備えていることを特徴とする。

請求項３に記載の発明は、被観察者の撮影画像に基づいて、被観察者が転倒したか否かを判定する転倒検知手段、被観察者が転倒したと判定された場合には、被観察者の撮影画像に基づいて、転倒発生時に観察者の動きが少ないか多いかを判定する第１の転倒状況検知手段および被観察者が転倒したと判定された場合には、被観察者の撮影画像に基づいて、転倒後に観察者の動きが少ないか多いかを判定する第２の転倒状況検知手段を備えており、第１の転倒状況検知手段は、転倒発生時における複数時点での被観察者の撮影画像に基づいて、複数時点での３次元人物領域情報を抽出する第１の人物領域情報抽出手段、各時点での３次元人物領域情報それぞれから３次元人物領域の高さ、幅および奥行き情報を算出することにより、転倒発生時における３次元人物領域の高さ、幅および奥行きの時系列データを抽出する第１の抽出手段、および第１の抽出手段によって抽出された時系列データ内のデータ間の類似度合いに基づいて、転倒発生時に観察者の動きが少ないか多いかを判定する第１の判定手段を備えており、第２の転倒状況検知手段は、転倒後における複数時点での被観察者の撮影画像に基づいて、複数時点での３次元人物領域情報を抽出する第１の人物領域情報抽出手段、各時点での３次元人物領域情報それぞれから３次元人物領域の高さ、幅および奥行き情報を算出することにより、転倒後における３次元人物領域の高さ、幅および奥行きの時系列データを抽出する第２の抽出手段、および第２の抽出手段によって抽出された時系列データ内のデータ間の類似度合いに基づいて、転倒後に観察者の動きが少ないか多いかを判定する第２の判定手段を備えていることを特徴とする。

請求項４に記載の発明は、請求項１または請求項３に記載の発明において、請求項１に記載の判定手段または請求項３に記載の第１の判定手段は、転倒発生時の学習用データから作成されかつ状態数が異なる複数種類のＨＭＭモデル、転倒発生時における３次元人物領域の高さ、幅および奥行きの時系列データと各ＨＭＭモデルとの間の尤度を算出する手段、および尤度が最も大きいＨＭＭモデルの状態数に基づいて、転倒後の動きが少ないか多いかを判定する手段を備えていることを特徴とする。

請求項５に記載の発明は、請求項２または請求項３に記載の発明において、請求項２に記載の判定手段または請求項３に記載の第２の判定手段は、転倒後の学習用データから作成されかつ状態数が異なる複数種類のＨＭＭモデル、転倒後における３次元人物領域の高さ、幅および奥行きの時系列データと各ＨＭＭモデルとの間の尤度を算出する手段、および尤度が最も大きいＨＭＭモデルの状態数に基づいて、転倒後の動きが少ないか多いかを判定する手段を備えていることを特徴とする。

請求項６に記載の発明は、請求項１または請求項３に記載の発明において、請求項１に記載の判定手段または請求項３に記載の第１の判定手段は、転倒発生時の学習用データから作成されかつフレーム数が異なる複数種類のＤＰマッチング用モデル、転倒発生時における３次元人物領域の高さ、幅および奥行きの時系列データから、被観察者の動き量の大きさをシンボル化したデータの時系列データを生成する手段、被観察者の動き量の大きさをシンボル化したデータの時系列データと各ＤＰマッチング用モデルとの間の距離をＤＰマッチングにより算出する手段、および距離が最も小さいＤＰマッチング用モデルのフレーム数に基づいて、転倒発生時の動きが少ないか多いかを判定する手段を備えていることを特徴とする。

請求項７に記載の発明は、請求項２または請求項３に記載の発明において、請求項２に記載の判定手段または請求項３に記載の第２の判定手段は、転倒後の学習用データから作成されかつフレーム数が異なる複数種類のＤＰマッチング用モデル、転倒後における３次元人物領域の高さ、幅および奥行きの時系列データから、被観察者の動き量の大きさをシンボル化したデータの時系列データを生成する手段、被観察者の動き量の大きさをシンボル化したデータの時系列データと各ＤＰマッチング用モデルとの間の距離をＤＰマッチングにより算出する手段、および距離が最も小さいＤＰマッチング用モデルのフレーム数に基づいて、転倒後の動きが多いか少ないかを判定する手段を備えていることを特徴とする。

この発明によれば、被観察者が転倒した場合に、その転倒状況を検知することができるようになる。

以下、図面を参照して、この発明の実施例について説明する。

〔１〕転倒および転倒状況検知システムの全体的な構成

図１は、転倒および転倒状況検知システムの全体的な構成を示している。

転倒および転倒状況検知システムは、被観察者の居室５０内を撮影するステレオカメラ１１、１２を備えた転倒および転倒状況検知装置１０、転倒および転倒状況検知装置１０にネットワーク４０を介して接続された監視装置２０および転倒および転倒状況検知装置１０にネットワーク４０を介して接続された移動通信端末３０を備えている。

転倒および転倒状況検知装置１０は、被観察者の転倒の発生を検知するとともに転倒状況を検知する。ネットワーク４０には、複数の被観察者の居室５０に対応して設けられた複数の転倒および転倒状況検知装置１０が接続されている。監視装置２０は監視者が詰めている監視センタに設置されている。

監視装置２０および移動通信端末３０では、各被観察者の居室５０を識別可能に表す居室画面が表示されており、転倒および転倒状況検知装置１０によって転倒が検知された場合には、そのことが監視装置２０および移動通信端末３０に通知され、監視装置２０および移動通信端末３０はアラームなどを発生させるとともに、居室画面上においてどの居室で転倒が検知されたかを表示する。監視者は、この表示を見て、転倒が検知された居室表示を選択すると、監視装置２０および移動通信端末３０は、転倒を検知した上記転倒および転倒状況検知装置１０から当該居室の現在の画像を受信して監視装置２０および移動通信端末３０に表示する。

なお、転倒および転倒状況検知装置１０によって転倒状況が検知された場合には、検知された転倒状況が監視装置２０および移動通信端末３０に送られる。監視装置２０および移動通信端末３０は、転倒が検知された日時、被観察者名（居室番号）、転倒状況、ケア履歴等からなる情報をケア履歴データベースとして記憶する。データベースとして記憶された情報は、監視者によって閲覧できるようになっている。

〔２〕転倒および転倒状況検知処理手順

図２は、転倒および転倒状況検知装置１０によって実行される転倒および転倒状況検知検知処理手順を示している。

まず、ステレオカメラ１１、１２によって撮影された左右画像に基づいて、転倒検知処理が行なわれる（ステップＳ１）。転倒検知処理において、転倒が検知された場合には（ステップＳ２）、転倒状況検知処理を行なう（ステップＳ３）。

〔３〕転倒検知処理手順
〔３−１〕転倒検知処理の全体的な処理手順

図３は、図２のステップＳ１の転倒検知処理の詳細な手順を示している。

初期設定において、転倒判定用データ蓄積期間であることを記憶するフラグＦはリセット（Ｆ＝０）されているものとする。

まず、ステレオカメラ１１、１２から画像（左右画像）を取り込む（ステップＳ１１）。画像を取り込む時間間隔は、ステップＳ１１に戻るタイミングによって異なるが、約２００ｍｓｅｃ程度となる。取得した左右画像に基づいて、３次元の人物領域抽出処理を行なう（ステップＳ１２）。これにより、カメラ座標系での３次元人物領域情報（３次元空間での人物領域プロット群）が得られる。次に、得られた３次元人物領域情報に基づいて、姿勢推定処理を行なう（ステップＳ１３）。つまり、被観察者の現在の姿勢（立位、座位、臥位）を推定する。

この後、今回読み込んだフレームに関するデータ群を第１バッファに保存する（ステップＳ１４）。データ群は、時刻情報、入力画像データ、３次元人物領域情報、姿勢推定処理で得られる被観察者の幅、高さ、奥行き情報および姿勢推定結果からなる。第１バッファは、数フレーム分のデータ群を記憶するためのバッファであり、所定フレーム分のデータ群が蓄積されている場合には、１フレーム分の最も古いデータ群が消去されて、新たな１フレーム分のデータ群が蓄積される。

次に、フラグＦがセットされているか否かを判別する（ステップＳ１５）。フラグＦがセットされていないときには、姿勢推定結果の履歴データ等に基づいて転倒判定用データ蓄積期間の開始点であるか否かを判別する（ステップＳ１６）。この判別処理の詳細については、後述する。転倒判定用データ蓄積期間の開始点ではないと判別した場合には、ステップＳ１１に戻る。

上記ステップＳ１６において、転倒判定用データ蓄積期間の開始点であると判別した場合には、フラグＦをセットした後（ステップＳ１７）、今回取得したフレームに関するデータ群を第２バッファに蓄積する（ステップＳ１８）。この場合には、データ群として、開始点からの経過時間情報（開始点からのフレーム数で表される）が追加される。そして、転倒判定用データ蓄積期間の終了点であるか否かを判別する（ステップＳ１９）。この判別処理の詳細については、後述する。転倒判定用データ蓄積期間の終了点ではないと判別した場合には、ステップＳ１１に戻る。

ステップＳ１９からＳ１１に戻った場合には、次のステップＳ１５では、Ｆ＝１となっているので、ステップＳ１５からステップＳ１８に移行し、第１バッファだけでなく、第２バッファにもデータ群が蓄積される。

上記ステップＳ１９において、転倒判定用データ蓄積期間の終了点であると判別した場合には、フラグＦをリセットした後（ステップＳ２０）、第２バッファに蓄積されたデータ群に基づいて、転倒判定処理を行なう（ステップＳ２１）。転倒判定処理の結果、転倒ではないと判定された場合には（ステップＳ２２）、ステップＳ１１に戻る。転倒判定処理の結果、転倒であると判定された場合には（ステップＳ２２）、転倒が発生したことを監視装置２０等に通知する（ステップＳ２３）。そして、図１のステップＳ３に移行する。

〔３−２〕３次元の人物領域抽出処理

図４は、図３のステップＳ１２の３次元人物領域抽出処理の詳細な手順を示している。

事前処理として、居室５０に被観察者が存在していない状態で、ステレオカメラ１１、１２のうちの一方のカメラ１１によって居室内を撮影した画像を取得し、取得した画像をグレースケール化する。そして、得られた画像を背景画像として、転倒および転倒状況検知装置１０の記憶装置に記憶しておく。

３次元の人物領域抽出処理では、ステレオカメラ１１、１２から取得した左右画像のうち、背景画像を撮影したカメラ１１から今回取得した画像と、背景画像とを用いて、背景差分法により、２次元人物領域を抽出する。また、ステレオカメラ１１、１２から取得した２枚の画像から、３次元測量手法により、ピクセル毎に奥行き情報を算出し、３次元空間にプロットできる座標情報（３次元位置情報）を取得する。そして、２次元人物領域情報と３次元位置情報とを重ね合わせることで、３次元空間内での人物領域に相当するデータ（３次元の人物領域情報）を抽出する。

具体的には、背景画像を撮影したカメラ１１から今回取得した画像を、グレイスケール化する（ステップＳ３１）。

ステップＳ３１で得られた画像と予め記憶されている背景画像の対応する画素毎に、画素値の差の絶対値を算出することにより、両画像の差分画像を作成する（ステップＳ３２）。得られた差分画像を２値化することにより、２次元人物領域情報を抽出する（ステップＳ３３）。

一方、ステレオカメラ１１、１２から今回取得した左右画像から、周知のステレオ法を用いて、３次元位置情報を算出する（ステップＳ３４）。上記ステップＳ３３で抽出した２次元人物領域情報と、上記ステップＳ３４で算出した３次元位置情報とに基づいて、３次元人物領域情報を抽出する（ステップＳ３５）。

図５は、３次元人物領域情報によって表される３次元の人物領域画像の一例を示している。図５において、直方体１０１は、Ｘ−Ｙ平面、Ｙ−Ｚ平面およびＺ−Ｘ平面それぞれに平行な面を有しかつ３次元の人物領域に外接する直方体である。直方体１０１の上側の図（符号１０２）は、直方体１０１の上から３次元の人物領域を見た平面図であり、直方体１０１の右側の図（符号１０３）は、直方体１０１の右から３次元の人物領域を見た側面図である。

〔３−３〕図３のステップＳ１３の姿勢推定処理

図６は、図３のステップＳ１３の姿勢推定処理の詳細な手順を示している。
３次元人物領域抽出処理によって得られた３次元人物領域情報に基づいて、図５に示すように、Ｘ−Ｙ平面、Ｙ−Ｚ平面およびＺ−Ｘ平面それぞれに平行な面を有しかつ３次元の人物領域に外接する直方体１０１の幅ｌx 、高さｌｙおよび奥行きｌｚ（被観察者の幅、高さおよび奥行き）を算出する（ステップＳ４１）。ｌx は３次元の人物領域のｘ座標の最大値と最小値との差の絶対値を算出することにより、ｌｙは３次元の人物領域のｙ座標の最大値と最小値との差の絶対値を算出することにより、ｌｚは３次元の人物領域のｚ座標の最大値と最小値との差の絶対値を算出することにより、それぞれ求められる。

次に、アトペクト比ｌx ／ｌｙおよびｌｚ／ｌｙを算出する（ステップＳ４２）。そして、算出したアトペクト比ｌx ／ｌｙおよびｌｚ／ｌｙと、予め定められた規則とに基づいて、被観察者の姿勢を推定する（ステップＳ４３）。

具体的には、次のような規則に基づいて、被観察者の姿勢を推定する。
（ａ） ｌx ／ｌｙ＜０．４またはｌｚ／ｌｙ＜０．４であれば、観察者の姿勢を「立位」と推定する。
（ｂ） ｌx ／ｌｙ＞１．５またはｌｚ／ｌｙ＞１．５であれば、観察者の姿勢を「臥位」と推定する。
（ｃ）それ以外であれば、観察者の姿勢を「座位」と推定する。

〔３−４〕図３のステップＳ１６およびステップＳ１９の開始点または終了点判別処理

図３のステップＳ１６の開始点判別処理においては、『アスペクト比ｌx ／ｌｙおよびｌｚ／ｌｙのうちの少なくとも一方が０．７以上である状態が１秒（約５フレームに相当）以上継続していること』という開始点条件を満たしているか否かを判別し、開始点条件を満たしている場合には今回取り込まれたフレームが転倒判定用データ蓄積期間の開始点であると判別する。

図３のステップＳ１９の終了点判別処理においては、『「アスペクト比ｌx ／ｌｙおよびｌｚ／ｌｙのうちの少なくとも一方が０．７以下である状態が１．４秒（約７フレームに相当）以上継続していること」または「第２バッファに蓄積されているデータ群が所定フレーム数分以上となっていること」または「開始点からの経過時間が、所定時間以上に達していること」』という終了点条件を満たしているか否かを判別し、終了点条件を満たしている場合には今回取り込まれたフレームが転倒判定用データ蓄積期間の終了点であると判別する。

〔３−５〕図３のステップＳ２１の転倒判定処理

各種の挙動毎に、事前にモデルを用意しておく。挙動の種類には、この例では、「前向きの転倒」、「しりもち」、「寝転び」および「座る」がある。ここでは、モデルとしては、隠れマルコフモデル（ＨＭＭ）が用いられている。各挙動毎のモデルは、その挙動に対応した学習データに基づいて作成される。例えば、「前向きの転倒」は、「前向きの転倒」動作の学習データに基づいて作成される。なお、学習データとしては、経過時間情報（開始点からのフレーム数で表される）および被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）からなる時系列データが用いられる。「前向きの転倒」、「しりもち」、「寝転び」および「座る」の挙動のうち、「前向きの転倒」および「しりもち」が転倒動作に該当する。

第２バッファに蓄積されているデータ群のうち、経過時間情報（開始点からのフレーム数で表される）および被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）を時系列データとし、上記時系列データが再現できる確率（尤度）を、各モデル毎に計算する。そして、最も尤度が高いモデルを求める。最も尤度が高いモデルに対応する挙動が、観察者の挙動となる。この実施例では、転倒を検知したいので、最も尤度が高いモデルが「前向きの転倒」または「しりもち」のモデルである場合には、被観察者が転倒したと判定する。

〔３−６〕姿勢推定処理の変形例

上記実施例では、被観察者の幅、高さおよび奥行きから求められたアスペクト比ｌx ／ｌｙおよびｌｚ／ｌｙに基づいて、被観察者の姿勢を推定しているが、被観察者の背筋の向きに相当するベクトル（人物主軸）の向きに基づいて、被観察者の姿勢を推定するようにしてもよい。

つまり、図７に示すように、人物主軸ＱのＸ−Ｚ平面となす角γ（人物主軸の向き）を求め、次のような規則に基づいて、被観察者の姿勢を推定する。

（ａ）γ＞π／２×０．６であれば、観察者の姿勢を「立位」と推定する。
（ｂ）γ＜π／２×０．３であれば、観察者の姿勢を「臥位」と推定する。
（ｃ）それ以外であれば、観察者の姿勢を「座位」と推定する。

図８は、人物主軸Ｑの向きと姿勢推定結果の例を示し、図８（ａ）は「立位」と推定される例を、図８（ｂ）は「座位」と推定される例を、図８（ｃ）は「臥位」と推定される例を、それぞれ示している。

以下、人物主軸の向きの求め方について説明する。人物主軸の向きの求め方には第１方法と第２方法とがある。

まず、第１方法について説明する。第１方法は、主成分分析を用いて、人物主軸の向きを求める方法である。

図９は、人物主軸の向きの算出方法（第１方法）の手順を示している。

３次元人物領域情報（人物領域の３次元空間でのプロット群）を、Ｘ−Ｙ平面に射影することにより、Ｘ軸をＵ軸、Ｙ軸をＶ軸とするＵＶ座標系の第１の射影画像を得るとともに、３次元人物領域情報を、Ｙ−Ｚ平面に射影することにより、Ｚ軸をＵ軸、Ｙ軸をＶ軸とするＵＶ座標系の第２の射影画像を得る（ステップＳ５１）。次に、各射影画像毎に、重心を算出する（ステップＳ５２）。そして、各射影画像の全座標値を、重心を原点とする座標値に修正する（ステップＳ５３）。

次に、座標値修正後の第１の射影画像から主成分分析を用いて固有ベクトル（第１主成分の傾きを表すベクトル）を算出するとともに、座標値修正後の第２の射影画像から主成分分析を用いて固有ベクトル（第１主成分の傾きを表すベクトル）を算出する（ステップＳ５４）。そして、ステップＳ５４で算出された２つの固有ベクトルを合成することにより、人物主軸の向きを示すベクトルを求める（ステップＳ５５）。そして、人物主軸の向きを示すベクトルから人物主軸の向きγを求める（ステップＳ５６）。

固有ベクトルの算出方法について説明する。各固有ベクトルの算出方法は同様であるので、第１の固有ベクトルの算出方法について説明する。まず、座標値修正後の第１の射影画像に基づいて、変量ｕの分散ｓ_u 、変量ｖの分散ｓ_v および変量ｕ，ｖの共分散ｓ_uvを算出する。そして、分散ｓ_u 、ｓ_v および共分散ｓ_uvを用いて、固有値λを算出する。分散ｓ_u 、ｓ_v および共分散ｓ_uvを用いて固有値λを算出する方法は、主成分分析において良く知られているのでその詳細を省略する。次に、固有値λを用いて固有ベクトルを算出する。固有値λを用いて固有ベクトルを算出する方法は、主成分分析において良く知られているのでその詳細を省略する。

図１０は、人物主軸の向きの算出方法（第２方法）の手順を示している。

３次元人物領域情報（人物領域の３次元空間でのプロット群）を、Ｘ−Ｙ平面に射影することにより、第１の射影画像を得るとともに、３次元人物領域情報を、Ｙ−Ｚ平面に射影することにより、第２の射影画像を得る（ステップＳ６１）。次に、各射影画像毎に、重心を算出する（ステップＳ６２）。そして、各射影画像の全座標値を、重心を原点とする座標値に修正する（ステップＳ６３）。

次に、座標値修正後の第１の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第１の線分の傾きを求めるとともに、座標値修正後の第２の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第２の線分の傾きを求める（ステップＳ６４）。そして、ステップＳ６４で求められた２つの線分の傾きに基づいて、人物主軸の向きγを求める（ステップＳ６５）。

図１１に示すように、第１の射影画像から得られた第１の線分の傾きをα、第２の射影画像から得られた第２の線分の傾きをβとすると、各線分の向きを示す単位ベクトルｖ１、ｖ２は、次式（１）で表される。

ｖ１＝（ｃｏｓα，ｓｉｎα）
ｖ２＝（ｃｏｓβ，ｓｉｎβ） …（１）

次式（２）に基づいて、ｖ１、ｖ２を合成すると、人物主軸の向きを示すベクトルＶが得られる。

Ｖ＝（ｃｏｓα，ｓｉｎα＋ｓｉｎβ，ｃｏｓβ） …（２）

人物主軸の向きαは、次式（３）に基づいて、求められる。

ｔａｎγ＝（ｓｉｎα＋ｓｉｎβ）／（ｃｏｓα² ＋ｃｏｓβ² ）^1/2 …（３）

第１の線分および第２の線分の求め方について説明する。各線分の求め方は同様であるので、第１の線分の求め方について説明する。

図１２は、第１の線分の求め方を示している。

まず、ステップＳ３で得られた第１の射影画像を、図１３に示すように、一定間隔を有するＹ軸に平行な複数の分割線により、射影画像をＸ軸方向に複数の領域に分割する（ステップＳ７１）。各分割領域毎に人物領域のｙ座標の最大値と最小値に対応する点を輪郭点Ｐｉとして特定する（ステップＳ７２）。

輪郭点のうちｘ座標が最も大きくかつｙ座標が０に最も近い輪郭点を点Ａとし、点Ａを含む分割領域を注目領域とする（ステップＳ７３）。図１３の例では、点Ｐ１が点Ａとして特定される。点Ａ以外の輪郭点のうち、点Ａと原点を結ぶ直線に最も近い輪郭点を求め、点Ｂとする（ステップＳ７４）。図１３の例では、点Ａが点Ｐ１である場合には、点Ｐ７が点Ｂとされる。点Ａと点Ｂを結ぶ線分の距離（Ａ−Ｂ間距離）を算出して保持する（ステップＳ７５）。

次に、注目領域が、輪郭点のうちｘ座標が最も小さい輪郭点を含む分割領域（最終処理領域）であるか否かを判別する（ステップＳ７６）。現在の注目領域が最終処理領域でなければ、注目領域を、現在の注目領域に対してｘ座標が小さくなる方向に隣接する分割領域に更新する（ステップＳ７７）。そして、更新された注目領域内において、ｙ座標が最も大きい輪郭点を点Ａとする（ステップＳ７８）。そして、ステップＳ７４に戻り、ステップＳ７４以降の処理を再度行なう。

上記ステップＳ７６において、現在の注目領域が最終処理領域であると判別された場合には、Ａ−Ｂ間の距離が最大である線分を第１の線分として特定する（ステップＳ７９）。図１３の例では、点Ｐ３と点Ｐ９とを結ぶ線分が第１の線分として特定される。

〔４〕図２のステップＳ３の転倒状況検知処理

転倒状況検知処理は、転倒検知処理の転倒判定に用いられた複数フレーム分の時系列データ（経過時間情報および被観察者の幅、高さ、奥行き情報）と、それらの各フレームに対応する時刻情報に基づいて、行なわれる。

図１４に示すように、転倒検知処理の転倒判定に用いられた複数フレーム分の時系列データＤのうち、最初から所定秒以内（例えば、２秒以内）のデータを転倒発生時のデータＤａとし、それ以降のデータを転倒後のデータＤｂとする。転倒発生時のデータＤａと、転倒後のデータＤｂとは、時刻情報に基づいて分離される。

図１５は、図２のステップＳ３の転倒状況検知処理の詳細な手順を示している。

まず、転倒発生時のデータＤａを取り出す（ステップＳ８１）。転倒発生時のデータＤａに基いて第１の転倒状況検知処理を行なう（ステップＳ８２）。次に、転倒後のデータＤｂを取り出す（ステップＳ８３）。転倒後のデータＤｂに基づいて第２の転倒状況検知処理を行なう（ステップＳ８４）。そして、両転倒状況検知処理の結果に基づいて、転倒状況の総合判定を行なう（ステップＳ８５）。

図１６は、図１５のステップＳ８２の第１の転倒状況検知処理の詳細な手順を示している。

図１７に示すように、「前向きの転倒」の転倒発生時モデルとして、「前向き転倒」動作の転倒発生時の学習データに基づいて、ＨＭＭの状態数が異なる複数のモデルを作成しておく。この例では、状態数が２の第１モデルと、状態数が３の第２モデルと、状態数が４の第３モデルとが作成されている。各モデルを作成するために利用する学習データは、複数種類のフレーム長さに対応して作成されており、状態数が２の第１モデルはフレーム長３、状態数が３の第２モデルはフレーム長５、状態数が４の第３モデルはフレーム長７の学習データから作成される。また、同様に、「しりもち」の転倒発生時モデルとして、ＨＭＭの状態数が異なる３種類のモデルが作成されている。

第１の転倒状況検知処理では、まず、転倒発生時のデータ（時系列データ）Ｄａから、複数の長さの異なる監視フレームを呼び出す（ステップＳ９１）。この例では、フレーム長が３、５、７の３種類の監視フレームを１つずつ呼び出す。ただし、所定のフレーム長の監視フレームについて、最後の監視フレームが既に呼び出されている場合には、そのフレーム長の監視フレームは呼び出されない。

図１８に示すように、転倒発生時のデータから、各種類の監視フレームは、１フレームずつずらして呼び出される。図１８の例では、転倒発生時のデータは１０フレーム分のデータ群から構成されているので、フレーム長が３の監視フレームは、図１８に示すように８回に分けて呼び出される。フレーム長が５の監視フレームは６回に分けて呼び出され、フレーム長が７の監視フレームは４回に分けて呼び出される。

転倒検知処理において認識された転倒動作の種類（「前向きの転倒」または「しりもち」）に応じた、状態数が異なる複数のモデルを呼び出す（ステップＳ９２）。この例では、状態数が２の第１モデルと、状態数が３の第２モデルと、状態数が４の第３モデルとが呼び出される。

呼び出された各監視フレームと各モデルとの全ての組合せについて、尤度を算出する（ステップＳ９３）。つまり、監視フレームのフレーム長とモデルの状態数の組合せに対応した要素毎に尤度が求められる。そして、各要素毎の尤度を表す尤度マップを作成する（ステップＳ９４）。図１９に、尤度マップの一例を示す。

次に、全ての監視フレームが呼び出されたか否かを判別する（ステップＳ９５）。全ての監視フレームが呼び出されていない場合には、ステップＳ９１に戻り、複数の長さの異なる監視フレーム毎に、前回呼び出した監視フレームに対して１フレームずらした監視フレームを呼び出す。そして、ステップ９２以降の処理を実行する。

上記ステップＳ９５において、全ての監視フレームが呼び出されたと判別した場合には、既に作成された複数の尤度マップに基づいて、各要素毎に尤度の平均値を算出する（ステップＳ９６）。図２０に、要素毎の求められた尤度の平均値の一例を示す。

尤度の平均値が最大である要素が、監視フレーム数が多くかつモデルの状態数が少ない要素である場合には（ステップＳ９７）、転倒発生時に動きが少ない軽度の転倒であると判定する（ステップＳ９８）。

この例では、尤度の平均値が最大である要素が、監視フレーム数が７で状態数が２である要素である場合、監視フレーム数が７で状態数が３である場合または、監視フレーム数が５で状態数が２である場合には、転倒発生時に動きが少ない軽度の転倒であると判定する。そして、今回の第１の転倒状況検知処理を終了する。

尤度の平均値が最大である要素が、監視フレーム数が少なくかつモデルの状態数が多い要素である場合には（ステップＳ９７）、転倒発生時に動きが多い重度の転倒であると判定する（ステップＳ９９）。この例では、尤度の平均値が最大である要素が、監視フレーム数が３で状態数が４である要素である場合、監視フレーム数が３で状態数が３である場合または、監視フレーム数が５で状態数が４である場合には、転倒発生時に動きが多い重度の転倒であると判定する。そして、今回の第１の転倒状況検知処理を終了する。

尤度の平均値が最大である要素が、上記以外の要素である場合には（ステップＳ９７）、中程度の転倒であると判定する（ステップＳ１００）。この例では、尤度の平均値が最大である要素が、監視フレーム数が３で状態数が２である要素である場合、監視フレーム数が５で状態数が３である場合または、監視フレーム数が７で状態数が４である場合には、中程度の転倒であると判定する。そして、今回の転倒状況検知処理を終了する。

図２０の例では、尤度の平均値が最大である要素は、監視フレーム数が７で状態数が２である要素であるので、転倒発生時に動きが少なく軽度の転倒であると判定される。

上記のような判定結果が導かれる理由について説明する。同じ長さの認識したい転倒動作データを状態数が異なるモデルに認識させたときに、状態数が少ないモデルの尤度が高い場合には同じノードに遷移（自己遷移）するデータが多いと考えられ、逆に状態数が多いモデルの尤度が高い場合には自己遷移するデータが少ないと考えられる。また、自己遷移は直前のデータとの差が小さい場合に発生する。したがって、尤度が高いと判定されたモデルの状態数には、一連の転倒動作データ間のデータの類似度合いが反映される。転倒後の動作に関して状態数の少ないモデルに対して高い尤度が得られた場合には、データ間の類似度が高く、動きが少ない動作であると判定できる。

また、監視フレーム数が異なる転倒動作データを１つのモデルに認識させたときに、監視フレーム数が多いデータに対する尤度が高い場合には自己遷移するデータが多いと考えられ、データ間の類似度が高く、動きが少ない動作であると判定できる。

図１５のステップＳ８４の第２の転倒状態検知処理も、上述した第１の転倒状態検知処理と同様な処理によって行なわれる。ただし、モデルとしては、転倒発生時のモデルではなく、転倒後のモデルが用いられる。

また、尤度の平均値が最大である要素が、監視フレーム数が多くかつモデルの状態数が少ない要素である場合には（上記ステップＳ９７参照）、転倒発生時とは異なり、転倒後に動きが少ないため、重度の転倒であると判定される。

また、尤度の平均値が最大である要素が、監視フレーム数が少なくかつモデルの状態数が多い要素である場合には（上記ステップＳ９７参照）、転倒発生時とは異なり、転倒後に動きが多いため、軽度の転倒であると判定される。

また、尤度の平均値が最大である要素が、上記以外の要素である場合には（上記ステップＳ９７参照）、中程度の転倒であると判定される。

図２１を参照して、図１５のステップＳ８５の転倒状況の総合判定について説明する。

図２１は、「転倒発生時」の尤度の平均値が最大である要素と転倒の重篤度（重、中、軽）との関係を示す図表１０１と、「転倒後」の尤度の平均値が最大である要素と転倒の重篤度（重、中、軽）との関係を示す図表１０２と、第１および第２の転倒状態検知処理の判定結果と総合判定結果との関係を示す図表１０３とを示している。

第１の転倒状態検知処理の判定結果が「軽度」でかつ第２の転倒状態検知処理の判定結果が「軽度」である場合、第１の転倒状態検知処理の判定結果が「軽度」でかつ第２の転倒状態検知処理の判定結果が「中度」である場合または第１の転倒状態検知処理の判定結果が「中度」でかつ第２の転倒状態検知処理の判定結果が「軽度」である場合には、総合判定結果は、「軽度」と判定される。

第１の転倒状態検知処理の判定結果が「重度」でかつ第２の転倒状態検知処理の判定結果が「重度」である場合、第１の転倒状態検知処理の判定結果が「重度」でかつ第２の転倒状態検知処理の判定結果が「中度」である場合または第１の転倒状態検知処理の判定結果が「中度」でかつ第２の転倒状態検知処理の判定結果が「重度」である場合には、総合判定結果は、「重度」と判定される。

それ以外の場合には、総合判定結果は、「中度」と判定される。

〔５〕図３のステップＳ２１の転倒判定処理および図２のステップＳ３の転倒状況検知処理の変形例

既に述べた実施例では、図３のステップＳ２１の転倒判定処理および図２のステップＳ３の転倒状況検知処理は、ＨＭＭを利用して転倒判定、転倒状況検知を行なっている。ここでは、ＤＰマッチングを利用して、転倒判定、転倒状況検知を行なう場合について説明する。

〔５−１〕図３のステップＳ２１の転倒判定処理の変形例

各種の挙動毎に、事前に学習モデルを用意しておく。挙動の種類には、この例では、「前向きの転倒」、「しりもち」、「寝転び」および「座る」がある。各挙動毎の学習モデルは、その挙動に対応した学習データに基づいて作成される。例えば、「前向きの転倒」は、「前向きの転倒」動作の学習データに基づいて作成される。なお、学習データとしては、時刻情報および被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）からなる時系列データが用いられる。学習データに基づいて、複数時点での被観察者の動き量の程度（多、中、少）からなる学習モデルが作成される。「前向きの転倒」、「しりもち」、「寝転び」および「座る」の挙動のうち、「前向きの転倒」および「しりもち」が転倒動作に該当する。

図２２は、転倒判定処理の手順を示している。図２３は、転倒判定処理の手順を模式図で表している。

まず、第２バッファに保存されている複数フレーム分の被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）および時刻情報（図２３に時系列データ２０１で示す）に基づいて、複数時点での単位時間当たりの動き量データ（ｄｌｘ／ｄｔ，ｄｌｙ／ｄｔ，ｄｌｚ／ｄｔ）を求める（ステップＳ１１１）。

時系列データ２０１における各隣合うフレーム間のｌｘ，ｌｙ，ｌｚの差分ｄｌｘ、ｄｌｙ、ｄｌｚを、それらのフレーム間の時間差で除算することにより、複数時点での単位時間当たりの動き量データが得られる。

次に、各時点での３種類の動き量データのうちの最大値と、予め設定した２つの閾値に基づいて、各時点での動き量を３種類（多、中、少）にシンボル化する（ステップＳ１１２）。これにより、図２３に示すような複数時点でのシンボル化データからなるパターン２０２が得られる。

得られたパターン２０２と各挙動毎の学習モデル（図２３に２１１〜２１４で示す）との距離（類似度）をＤＰマッチングにより算出する（ステップＳ１１３）。そして、両パターン間の距離が最も短い学習モデルに対応する挙動を、被観察者の挙動として判定する（ステップＳ１１４）。この実施例では、転倒を検知したいので、両パターン間の距離が最も短い学習モデルが「前向きの転倒」または「しりもち」の学習モデルである場合には、被観察者が転倒したと判定する。

〔５−２〕図２のステップＳ３の転倒状況検知処理の変形例

転倒状況検知処理は、転倒検知処理の転倒判定処理で作成された複数時点でのシンボル化データからなるパターン２０２（図２３参照）に基づいて、行なわれる。

図２４に示すように、複数時点でのシンボル化データ（複数フレーム分のシンボル化データ）からなるパターンＰのうち、最初から所定秒以内（例えば、２秒以内）のデータ列を転倒発生時のパターンＰａとし、それ以降のデータ列を転倒後のパターンＰｂとする。転倒発生時のパターンＰａと、転倒後のパターンＰｂとは、時刻情報に基づいて分離される。

図２５は、図２のステップＳ３の転倒状況検知処理の詳細な手順を示している。

まず、転倒発生時のパターンＰａを取り出す（ステップＳ１２１）。転倒発生時のパターンＰａに基いて第１の転倒状況検知処理を行なう（ステップＳ１２２）。次に、転倒後のパターンＰｂを取り出す（ステップＳ１２３）。転倒後のパターンＰｂに基づいて第２の転倒状況検知処理を行なう（ステップＳ１２４）。そして、両転倒状況検知処理の結果に基づいて、転倒状況の総合判定を行なう（ステップＳ１２５）。

図２６は、図２５のステップＳ１２２の第１の転倒状況検知処理の詳細な手順を示している。

「前向きの転倒」の転倒発生時の学習モデルとして、「前向き転倒」動作の転倒発生時の学習データに基づいて、フレーム数が異なる複数の学習モデルを作成しておく。学習モデルは、ＤＰマッチングを利用した転倒判定処理と同様に、複数時点での被観察者の動き量の程度（多、中、少）からなる。この例では、フレーム長が３の第１学習モデルと、フレーム長が５の第２学習モデルと、フレーム長が７の第３学習モデルとが作成されている。また、同様に、「しりもち」の転倒発生時モデルとして、フレーム長が異なる３種類のモデルが作成されている。

第１の転倒状況検知処理では、まず、転倒発生時のパターンＰａから、複数の長さの異なる監視フレームを呼び出す（ステップＳ１３１）。この例では、フレーム長が３、５、７の３種類の監視フレームを１つずつ呼び出す。ただし、所定のフレーム長の監視フレームについて、最後の監視フレームが既に呼び出されている場合には、そのフレーム長の監視フレームは呼び出されない。転倒発生時のパターンＰａから、各種類の監視フレームは、１フレームずつずらして呼び出される。

転倒検知処理において認識された転倒動作の種類（「前向きの転倒」または「しりもち」）に応じた、フレーム長が異なる複数の学習モデルを呼び出す（ステップＳ１３２）。この例では、フレーム長が３の第１学習モデルと、フレーム長が５の第２学習モデルと、フレーム長が７の第３学習モデルとが呼び出される。

呼び出された各監視フレームと各学習モデルとの全ての組合せについて、それらのパターン間の距離を算出する（ステップＳ１３３）。つまり、監視フレームのフレーム長とモデルのフレーム長の組合せに対応した要素毎に距離が求められる。そして、各要素毎の距離を表す距離マップを作成する（ステップＳ１３４）。

次に、全ての監視フレームが呼び出されたか否かを判別する（ステップＳ１３５）。全ての監視フレームが呼び出されていない場合には、ステップＳ１３１に戻り、複数の長さの異なる監視フレーム毎に、前回呼び出した監視フレームに対して１フレームずらした監視フレームを呼び出す。そして、ステップ１３２以降の処理を実行する。

上記ステップＳ１３５において、全ての監視フレームが呼び出されたと判別した場合には、既に作成された複数の距離マップに基づいて、各要素毎に距離の平均値を算出する（ステップＳ１３６）。

距離の平均値が最小である要素が、監視フレーム数が多くかつ学習モデルのフレーム長が短い要素である場合には（ステップＳ１３７）、転倒発生時に動きが少ない軽度の転倒であると判定する（ステップＳ１３８）。

この例では、距離の平均値が最小である要素が、監視フレーム数が７で学習モデルのフレーム長が３である要素である場合、監視フレーム数が７で学習モデルのフレーム長が５である場合または、監視フレーム数が５で学習モデルのフレーム長が３である場合には、転倒発生時に動きが少ない軽度の転倒であると判定する。そして、今回の第１の転倒状況検知処理を終了する。

距離の平均値が最小である要素が、監視フレーム数が少なくかつ学習モデルのフレーム長が長い要素である場合には（ステップＳ１３７）、転倒発生時に動きが多い重度の転倒であると判定する（ステップＳ１３９）。この例では、距離の平均値が最小である要素が、監視フレーム数が３で学習モデルのフレーム長が７である要素である場合、監視フレーム数が３で学習モデルのフレーム長が５である場合または、監視フレーム数が５で学習モデルのフレーム長が７である場合には、転倒発生時に動きが多い重度の転倒であると判定する。そして、今回の第１の転倒状況検知処理を終了する。

距離の平均値が最小である要素が、上記以外の要素である場合には（ステップＳ１３７）、中程度の転倒であると判定する（ステップＳ１４０）。この例では、距離の平均値が最小要素が、監視フレーム数が３で学習モデルのフレーム長が３である要素である場合、監視フレーム数が５で学習モデルのフレーム長が５である場合または、監視フレーム数が７で学習モデルのフレーム長が７である場合には、中程度の転倒であると判定する。そして、今回の転倒状況検知処理を終了する。

図２５のステップＳ１２４の第２の転倒状態検知処理も、上述した第１の転倒状態検知処理と同様な処理によって行なわれる。ただし、学習モデルとしては、転倒発生時の学習モデルではなく、転倒後の学習モデルが用いられる。

また、距離の平均値が最小である要素が、監視フレーム数が多くかつ学習モデルのフレーム長が短い要素である場合には（上記ステップＳ１３７参照）、転倒発生時とは異なり、転倒後に動きが少ないため、重度の転倒であると判定される。

また、距離の平均値が最小である要素が、監視フレーム数が少なくかつ学習モデルのフレーム長が長い要素である場合には（上記ステップＳ１３７参照）、転倒発生時とは異なり、転倒後に動きが多いため、軽度の転倒であると判定される。

また、距離の平均値が最小である要素が、上記以外の要素である場合には（上記ステップＳ１３７参照）、中程度の転倒であると判定される。

図２７を参照して、図２５のステップＳ１２５の転倒状況の総合判定について説明する。

図２７は、「転倒発生時」の距離の平均値が最小である要素と転倒の重篤度（重、中、軽）との関係を示す図表３０１と、「転倒後」の距離の平均値が最小である要素である要素と転倒の重篤度（重、中、軽）との関係を示す図表３０２と、第１および第２の転倒状態検知処理の判定結果と総合判定結果との関係を示す図表３０３とを示している。

第１の転倒状態検知処理の判定結果が「軽度」でかつ第２の転倒状態検知処理の判定結果が「軽度」である場合、第１の転倒状態検知処理の判定結果が「軽度」でかつ第２の転倒状態検知処理の判定結果が「中度」である場合または第１の転倒状態検知処理の判定結果が「中度」でかつ第２の転倒状態検知処理の判定結果が「軽度」である場合には、総合判定結果は、「軽度」と判定される。

第１の転倒状態検知処理の判定結果が「重度」でかつ第２の転倒状態検知処理の判定結果が「重度」である場合、第１の転倒状態検知処理の判定結果が「重度」でかつ第２の転倒状態検知処理の判定結果が「中度」である場合または第１の転倒状態検知処理の判定結果が「中度」でかつ第２の転倒状態検知処理の判定結果が「重度」である場合には、総合判定結果は、「重度」と判定される。

それ以外の場合には、総合判定結果は、「中度」と判定される。

〔６〕ケア履歴データベース

転倒検知および転倒状態検知装置１０は、転倒を検知した場合には、監視装置２０および移動通信端末３０に対して転倒が発生したことを通知するとともに、転倒した被観察者および転倒状況判定結果を通知する。

監視装置２０および移動通信端末３０は、転倒および転倒状況が通知された場合には、図２８に示すように、転倒が検知された日時、被観察者名（居室番号）、転倒状況、ケア履歴等からなる情報をケア履歴データベースに追加する。

また、監視装置２０および移動通信端末３０は、転倒および転倒状況が通知された場合には、ケア履歴データベースに基づいて、図２９に示すような当該被観察者のケアの種類別の頻度グラフを作成して、提示する。

ケアスタッフは、この頻度グラフの結果に応じて、所定のケアを行ない、ケア終了後に、今回のケアの内容をケア履歴データべースに追加する。このように判定結果とケアの履歴を被観察者毎に蓄積していくことによって、特定の被観察者に対応した適切なケアを施すことが可能となる。

上記実施例では、転倒および転倒状況検知装置１０は３次元人物領域情報を抽出するためにステレオカメラ等の撮像装置を備えているが、これに限定されることなく、転倒および転倒状況検知装置１０は、３次元人物領域情報を抽出するために、例えば単眼の撮像装置とレーザレンジファインダーとの組合せ、単眼の撮像装置と複数の超音波センサの組合せ等のように、撮像装置を含んだセンサの組合せを備えていてもよい。

転倒および転倒状況検知システムの全体的な構成を示すブロック図である。 転倒および転倒状況検知検知処理手順を示すフローチャートである。 図２のステップＳ１の転倒検知処理の詳細な手順を示すフローチャートである。 図３のステップＳ１２の３次元の人物領域抽出処理の詳細な手順を示すフローチャートである。 ３次元の人物領域情報に対応する３次元の人物領域画像の一例を示す模式図である。 図３のステップＳ１３の姿勢推定処理の詳細な手順を示すフローチャートである。 人物主軸Ｑおよび人物主軸ＱのＸ−Ｚ平面となす角γを示す模式図である。 人物主軸Ｑの向きと姿勢推定結果の例を示す模式図である。 人物主軸の算出方法（第１方法）の手順を示すフローチャートである。 人物主軸の算出方法（第２方法）の手順を示すフローチャートである。 第１の射影画像から得られた第１の線分の傾きαと、第２の射影画像から得られた第２の線分の傾きβとを示す模式図である。 第１の線分の求め方を示すフローチャートである。 第１の線分の求め方を説明するための模式図である。 転倒検知処理の転倒判定に用いられた複数フレーム分の時系列データＤを、転倒発生時のデータＤａと転倒後のデータＤｂとに分類した状態を示す模式図である。 図２のステップＳ３の転倒状況検知処理の詳細な手順を示すフローチャートである。 図１５のステップＳ８２の第１の転倒状況検知処理の詳細な手順を示すフローチャートである。 「前向きの転倒」の転倒発生時モデルとして予め用意された、ＨＭＭの状態数が異なる複数のモデルを示す模式図である。 各種類の監視フレームの呼び出し方法を説明するための模式図である。 尤度マップの一例を示す模式図である。 尤度マップの要素毎の求められた尤度の平均値の一例を示す模式図である。 「転倒発生時」の尤度の平均値が最大である要素と転倒の重篤度（重、中、軽）との関係と、「転倒後」の尤度の平均値が最大である要素と転倒の重篤度（重、中、軽）との関係と、第１および第２の転倒状態検知処理の判定結果と総合判定結果との関係をそれぞれ示す表である。 図３のステップＳ２１の転倒判定処理の手順の変形例を示すフローチャートである。 図２２の転倒判定処理の手順を説明するための模式図である。 複数時点でのシンボル化動き量（複数フレーム分のシンボル化動き量）からなるパターンＰを、転倒発生時のパターンＰａと転倒後のパターンＰｂとに分類した状態を示す模式図である。 図２のステップＳ３の転倒状況検知処理の手順の変形例を示すフローチャートである。 図２５のステップＳ１２２の第１の転倒状況検知処理の詳細な手順を示すフローチャートである。 「転倒発生時」の距離の平均値が最小である要素と転倒の重篤度（重、中、軽）との関係と、「転倒後」の距離の平均値が最小である要素である要素と転倒の重篤度（重、中、軽）との関係と、第１および第２の転倒状態検知処理の判定結果と総合判定結果との関係をそれぞれ示す模式図である。 ケア履歴データベースの内容の一部を示す模式図である。 被観察者のケアの種類別の頻度グラフを示す棒グラフである。

符号の説明

１０ 転倒および転倒状況検知装置
１１、１２ ステレオカメラ
２０ 監視装置
３０ 移動通信端末
４０ ネットワーク

Claims (7)

1. 被観察者の撮影画像に基づいて、被観察者が転倒したか否かを判定する転倒検知手段、および被観察者が転倒したと判定された場合には、被観察者の撮影画像に基づいて、転倒発生時に観察者の動きが少ないか多いかを判定する転倒状況検知手段を備えており、
   転倒状況検知手段は、
   転倒発生時における複数時点での被観察者の撮影画像に基づいて、複数時点での３次元人物領域情報を抽出する人物領域情報抽出手段、
   各時点での３次元人物領域情報それぞれから３次元人物領域の高さ、幅および奥行き情報を算出することにより、転倒発生時における３次元人物領域の高さ、幅および奥行きの時系列データを抽出する抽出手段、および
   抽出手段によって抽出された時系列データ内のデータ間の類似度合いに基づいて、転倒発生時に観察者の動きが少ないか多いかを判定する判定手段、
   を備えていることを特徴とする転倒状況検知装置。
2. 被観察者の撮影画像に基づいて、被観察者が転倒したか否かを判定する転倒検知手段、および被観察者が転倒したと判定された場合には、被観察者の撮影画像に基づいて、転倒後に観察者の動きが少ないか多いかを判定する転倒状況検知手段を備えており、
   転倒状況検知手段は、
   転倒後における複数時点での被観察者の撮影画像に基づいて、複数時点での３次元人物領域情報を抽出する人物領域情報抽出手段、
   各時点での３次元人物領域情報それぞれから３次元人物領域の高さ、幅および奥行き情報を算出することにより、転倒後における３次元人物領域の高さ、幅および奥行きの時系列データを抽出する抽出手段、および
   抽出手段によって抽出された時系列データ内のデータ間の類似度合いに基づいて、転倒後に観察者の動きが少ないか多いかを判定する判定手段、
   を備えていることを特徴とする転倒状況検知装置。
3. 被観察者の撮影画像に基づいて、被観察者が転倒したか否かを判定する転倒検知手段、被観察者が転倒したと判定された場合には、被観察者の撮影画像に基づいて、転倒発生時に観察者の動きが少ないか多いかを判定する第１の転倒状況検知手段および被観察者が転倒したと判定された場合には、被観察者の撮影画像に基づいて、転倒後に観察者の動きが少ないか多いかを判定する第２の転倒状況検知手段を備えており、
   第１の転倒状況検知手段は、転倒発生時における複数時点での被観察者の撮影画像に基づいて、複数時点での３次元人物領域情報を抽出する第１の人物領域情報抽出手段、各時点での３次元人物領域情報それぞれから３次元人物領域の高さ、幅および奥行き情報を算出することにより、転倒発生時における３次元人物領域の高さ、幅および奥行きの時系列データを抽出する第１の抽出手段、および第１の抽出手段によって抽出された時系列データ内のデータ間の類似度合いに基づいて、転倒発生時に観察者の動きが少ないか多いかを判定する第１の判定手段を備えており、
   第２の転倒状況検知手段は、転倒後における複数時点での被観察者の撮影画像に基づいて、複数時点での３次元人物領域情報を抽出する第１の人物領域情報抽出手段、各時点での３次元人物領域情報それぞれから３次元人物領域の高さ、幅および奥行き情報を算出することにより、転倒後における３次元人物領域の高さ、幅および奥行きの時系列データを抽出する第２の抽出手段、および第２の抽出手段によって抽出された時系列データ内のデータ間の類似度合いに基づいて、転倒後に観察者の動きが少ないか多いかを判定する第２の判定手段を備えていることを特徴とする転倒状況検知装置。
4. 請求項１に記載の判定手段または請求項３に記載の第１の判定手段は、転倒発生時の学習用データから作成されかつ状態数が異なる複数種類のＨＭＭモデル、転倒発生時における３次元人物領域の高さ、幅および奥行きの時系列データと各ＨＭＭモデルとの間の尤度を算出する手段、および尤度が最も大きいＨＭＭモデルの状態数に基づいて、転倒後の動きが少ないか多いかを判定する手段を備えていることを特徴とする請求項１または請求項３に記載の転倒状況検知装置。
5. 請求項２に記載の判定手段または請求項３に記載の第２の判定手段は、転倒後の学習用データから作成されかつ状態数が異なる複数種類のＨＭＭモデル、転倒後における３次元人物領域の高さ、幅および奥行きの時系列データと各ＨＭＭモデルとの間の尤度を算出する手段、および尤度が最も大きいＨＭＭモデルの状態数に基づいて、転倒後の動きが少ないか多いかを判定する手段を備えていることを特徴とする請求項２または請求項３に記載の転倒状況検知装置。
6. 請求項１に記載の判定手段または請求項３に記載の第１の判定手段は、転倒発生時の学習用データから作成されかつフレーム数が異なる複数種類のＤＰマッチング用モデル、転倒発生時における３次元人物領域の高さ、幅および奥行きの時系列データから、被観察者の動き量の大きさをシンボル化したデータの時系列データを生成する手段、被観察者の動き量の大きさをシンボル化したデータの時系列データと各ＤＰマッチング用モデルとの間の距離をＤＰマッチングにより算出する手段、および距離が最も小さいＤＰマッチング用モデルのフレーム数に基づいて、転倒発生時の動きが少ないか多いかを判定する手段を備えていることを特徴とする請求項１または請求項３に記載の転倒状況検知装置。
7. 請求項２に記載の判定手段または請求項３に記載の第２の判定手段は、転倒後の学習用データから作成されかつフレーム数が異なる複数種類のＤＰマッチング用モデル、転倒後における３次元人物領域の高さ、幅および奥行きの時系列データから、被観察者の動き量の大きさをシンボル化したデータの時系列データを生成する手段、被観察者の動き量の大きさをシンボル化したデータの時系列データと各ＤＰマッチング用モデルとの間の距離をＤＰマッチングにより算出する手段、および距離が最も小さいＤＰマッチング用モデルのフレーム数に基づいて、転倒後の動きが少ないか多いかを判定する手段を備えていることを特徴とする請求項２または請求項３に記載の転倒状況検知装置。

Images