JP2008148237A - 姿勢検知装置 - Google Patents

Abstract

【課題】この発明は、カメラの設置位置および設置角度にかかわらず、被観察者の姿勢を高精度で検知することができる姿勢検知装置を提供することを目的とする。
【解決手段】被観察者の動き量が所定の閾値より大きい場合には、人物領域情報抽出手段によって抽出された３次元人物領域情報に基づいて、カメラ座標系を被観察者の背筋の方向をＹ軸とする擬似世界座標系に変換するために用いられる、ｘ軸周りの回転角およびｚ軸周りの回転角を算出する回転角算出手段、ならびに回転角算出手段によって算出された２種類の回転角に基づいてｘ軸周りの回転行列およびｚ軸周りの回転行列を算出し、得られた両回転行列に基づいて人物領域情報抽出手段によって抽出された３次元人物領域情報を擬似世界座標系の３次元人物領域情報に変換する座標変換手段を備えている。
【選択図】図１

Description

この発明は、被観察者の姿勢を検知する姿勢検知装置に関する。

被観察者の転倒を検知する装置として、被観察者をカメラで撮影し、撮影画像から被観察者の動作ベクトルを検出し、検出した動作ベクトルと予め記憶している被観察者の転倒ベクトルとを比較することにより、被観察者が転倒したか否かを判別するものが既に開発されている（特開２００２−２３２８７０号公報参照）。

また、被観察者の転倒を検知する装置として、被観察者をカメラで撮影し、撮影画像と被観察者が存在しないときに撮影された参照画像との差分領域を抽出し、差分領域の面積に基づいて被観察者が転倒したか否かを判別するものが既に開発されている（特開２０００−２０７６６４号公報参照）。

また、観察者が移動状態であるか静止状態を判定する装置として、被観察者をカメラで撮影し、撮影画像から人物領域を抽出し、抽出した人物領域から頭頂部の画像座標を抽出し、被観察者の身長データを用いて頭頂部の画像座標を実世界座標に変換し、得られた頭頂部の実世界座標と所定時間過去の頭頂部の実世界座標との距離を算出し、得られた距離と所定の閾値とを比較することにより、観察者が移動状態であるか静止状態であるかを判定するものが既に開発されている（特開２００２−１９７４６３号公報参照）。
特開２００２−２３２８７０号公報 特開２０００−２０７６６４号公報 特開２００２−１９７４６３号公報

この発明は、カメラの設置位置および設置角度にかかわらず、被観察者の姿勢を高精度で検知することができる姿勢検知装置を提供することを目的とする。

請求項１に記載の発明は、カメラによって撮影された被観察者の撮影画像に基づいて、カメラ座標系での３次元人物領域情報を抽出する人物領域情報抽出手段、人物領域情報抽出手段によって抽出された３次元人物領域情報を擬似世界座標系での３次元人物領域情報に補正する人物領域情報補正手段、補正手段によって得られた擬似世界座標系での３次元人物領域情報に基づいて、被観察者の姿勢を判定する姿勢判定手段を備えており、人物領域情報補正手段は、人物領域情報抽出手段によって抽出された３次元人物領域情報に基づいて、被観察者の動き量を算出する動き量算出手段、被観察者の動き量が所定の閾値より大きい場合には、人物領域情報抽出手段によって抽出された３次元人物領域情報に基づいて、カメラ座標系を被観察者の背筋の方向をＹ軸とする擬似世界座標系に変換するために用いられる、ｘ軸周りの回転角およびｚ軸周りの回転角を算出する回転角算出手段、ならびに回転角算出手段によって算出された２種類の回転角に基づいてｘ軸周りの回転行列およびｚ軸周りの回転行列を算出し、得られた両回転行列に基づいて人物領域情報抽出手段によって抽出された３次元人物領域情報を擬似世界座標系の３次元人物領域情報に変換する座標変換手段を備えていることを特徴とする。

請求項２に記載の発明は、請求項１に記載の姿勢検知装置において、座標変換手段は、回転角算出手段によって現在までに算出された２種類の回転角のうちの新しいものから複数個の２種類の回転角それぞれの平均値に基づいて、ｘ軸周りの回転行列およびｚ軸周りの回転行列を算出し、得られた両回転行列に基づいて人物領域情報抽出手段によって抽出された３次元人物領域情報を擬似世界座標系の３次元人物領域情報に変換するものであることを特徴とする。

請求項３に記載の発明は、請求項１乃至２に記載の姿勢検知装置において、被観察者の動き量が所定の閾値以下である場合には、最新に算出されたｘ軸周りの回転行列およびｚ軸周りの回転行列に基づいて、人物領域情報抽出手段によって抽出された３次元人物領域情報を擬似世界座標系の３次元人物領域情報に変換する手段を備えていることを特徴とする。

請求項４に記載の発明は、請求項１乃至３に記載の姿勢検知装置において、回転角算出手段は、人物領域情報抽出手段によって抽出されたカメラ座標系での３次元人物領域の高さ方向をｙ軸とし、幅方向をｘ軸とし、奥行き方向をｚ軸として、３次元人物領域情報を、ｘ−ｙ平面に射影することにより第１の射影画像を生成するとともに、３次元の人物領域情報を、ｙ−ｚ平面に投影することにより第２の射影画像を生成する手段、各射影画像毎に、重心を算出し、各射影画像の全座標値を、重心を原点とする座標値に修正する手段、座標値修正後の第１の射影画像から主成分分析を用いて第１主成分の傾きを表す第１のベクトルを算出するとともに、座標値修正後の第２の射影画像から主成分分析を用いて第１主成分の傾きを表す第２のベクトルを算出する手段、ならびに第１のベクトルの向きからｚ軸周りの回転角を算出するとともに第２のベクトルの向きからｘ軸周りの回転角を算出する手段を備えていることを特徴とする。

請求項５に記載の発明は、請求項１乃至３に記載の姿勢検知装置において、回転角算出手段は、人物領域情報抽出手段によって抽出されたカメラ座標系での３次元人物領域の高さ方向をｙ軸とし、幅方向をｘ軸とし、奥行き方向をｚ軸として、３次元人物領域情報を、ｘ−ｙ平面に射影することにより第１の射影画像を生成するとともに、３次元の人物領域情報を、ｙ−ｚ平面に投影することにより第２の射影画像を生成する手段、各射影画像毎に、重心を算出し、各射影画像の全座標値を、重心を原点とする座標値に修正する手段、座標値修正後の第１の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第１の線分の傾きを求めるとともに、座標値修正後の第２の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第２の線分の傾きを求める手段、ならびに第１の線分の向きからｚ軸周りの回転角を算出するとともに第２の線分の向きからｘ軸周りの回転角を算出する手段を備えていることを特徴とする。

請求項６に記載の発明は、請求項１乃至５に記載の姿勢検知装置において、姿勢判定手段は、人物領域情報補正手段によって得られた擬似世界座標系での３次元人物領域情報から３次元人物領域の高さ、幅および奥行き情報を算出する算出手段、ならびに算出手段によって得られた３次元人物領域の高さに対する幅の比および３次元人物領域の高さに対する奥行きの比に基づいて、被観察者の姿勢を判定する判定手段を備えていることを特徴とする。

請求項７に記載の発明は、請求項１乃至５に記載の姿勢検知装置において、姿勢判定手段は、人物領域情報補正手段によって得られた擬似世界座標系での３次元人物領域情報から被観察者の背筋の向きを算出する算出手段、ならびに被観察者の背筋の向きに基づいて、被観察者の姿勢を判定する判定手段を備えていることを特徴とする。

この発明によれば、カメラの設置位置および設置角度にかかわらず、被観察者の姿勢を高精度で検知することができるようになる。

以下、図面を参照して、この発明を転倒を検知するための転倒検知装置に適用した場合の実施例について説明する。

〔１〕転倒検知システムの全体的な構成

図１は、転倒検知システムの全体的な構成を示している。
転倒検知システムは、被観察者の居室内を撮影するステレオカメラ１１、１２を備えた転倒検知装置１０、転倒検知装置１０にネットワーク４０を介して接続された監視装置２０および転倒検知装置１０にネットワーク４０を介して接続された移動通信端末３０を備えている。

転倒検知システムは、被観察者の居室５０内を撮像するステレオカメラ１１、１２を備えた転倒検知装置１０、転倒検知装置１０にネットワーク４０を介して接続された監視装置２０および転倒検知装置１０にネットワーク４０を介して接続された移動通信端末３０を備えている。

転倒検知装置１０は、被観察者の転倒の発生を検知する。ネットワーク４０には、複数の被観察者の居室５０に対応して設けられた複数の転倒検知装置１０が接続されている。監視装置２０は監視者が詰めている監視センタに設置されている。監視装置２０および移動通信端末３０では、各被観察者の居室５０を識別可能に表す居室画面が表示されており、転倒検知装置１０によって転倒が検知された場合には、そのことが監視装置２０および移動通信端末３０に通知され、監視装置２０および移動通信端末３０はアラームなどを発生させるとともに、居室画面上においてどの居室で転倒が検知されたかを表示する。監視者は、この表示を見て、転倒が検知された居室表示を選択すると、監視装置２０および移動通信端末３０は、転倒を検知した上記転倒検知装置１０から当該居室の現在の画像を受信して監視装置２０および移動通信端末３０に表示する。

〔２〕転倒検知処理手順

図２は、転倒検知装置１０によって実行される転倒検知処理の手順を示している。
初期設定において、転倒判定用データ蓄積期間であることを記憶するフラグＦはリセット（Ｆ＝０）されているものとする。

まず、ステレオカメラ１１、１２から画像（左右画像）を取り込む（ステップＳ１１）。画像を取り込む時間間隔は、ステップＳ１１に戻るタイミングによって異なるが、約２００ｍｓｅｃ程度となる。取得した左右画像に基づいて、３次元の人物領域抽出処理を行なう（ステップＳ１２）。これにより、カメラ座標系での３次元人物領域情報（３次元空間での人物領域プロット群）が得られる。次に、得られた３次元人物領域情報の補正処理を行なうことにより、カメラ座標系での３次元人物領域情報を擬似世界座標系の３次元人物領域情報に変換する（ステップＳ１３）。補正後の世界座標系での３次元人物領域情報に基づいて、姿勢推定処理を行なう（ステップＳ１４）。つまり、被観察者の現在の姿勢（立位、座位、臥位）を推定する。

この後、今回読み込んだフレームに関するデータ群を第１バッファに保存する（ステップＳ１５）。データ群は、時刻情報、入力画像データ、補正後の３次元人物領域情報、姿勢推定処理で得られる被観察者の幅、高さ、奥行き情報および姿勢推定結果からなる。第１バッファは、数フレーム分のデータ群を記憶するためのバッファであり、所定フレーム分のデータ群が蓄積されている場合には、１フレーム分の最も古いデータ群が消去されて、新たな１フレーム分のデータ群が蓄積される。

次に、フラグＦがセットされているか否かを判別する（ステップＳ１６）。フラグＦがセットされていないときには、姿勢推定結果の履歴データ等に基づいて転倒判定用データ蓄積期間の開始点であるか否かを判別する（ステップＳ１７）。この判別処理の詳細については、後述する。転倒判定用データ蓄積期間の開始点ではないと判別した場合には、ステップＳ１１に戻る。

上記ステップＳ１７において、転倒判定用データ蓄積期間の開始点であると判別した場合には、フラグＦをセットした後（ステップＳ１８）、今回取得したフレームに関するデータ群を第２バッファに蓄積する（ステップＳ１９）。この場合には、データ群として、開始点からの経過時間情報（開始点からのフレーム数で表される）が追加される。そして、転倒判定用データ蓄積期間の終了点であるか否かを判別する（ステップＳ２０）。この判別処理の詳細については、後述する。転倒判定用データ蓄積期間の終了点ではないと判別した場合には、ステップＳ１１に戻る。

ステップＳ２０からＳ１１に戻った場合には、次のステップＳ１６では、Ｆ＝１となっているので、ステップＳ１６からステップＳ１９に移行し、第１バッファだけでなく、第２バッファにもデータ群が蓄積される。

上記ステップＳ２０において、転倒判定用データ蓄積期間の終了点であると判別した場合には、フラグＦをリセットした後（ステップＳ２１）、第２バッファに蓄積されたデータ群に基づいて、転倒判定処理を行なう（ステップＳ２２）。転倒判定処理の結果、転倒ではないと判定された場合には（ステップＳ２３）、ステップＳ１１に戻る。転倒判定処理の結果、転倒であると判定された場合には（ステップＳ２３）、転倒が発生したことを監視装置２０等に通知する（ステップＳ２４）。そして、ステップＳ１１に戻る

〔３〕図２のステップＳ１２の３次元人物領域抽出処理

図３は、図２のステップＳ１２の３次元人物領域抽出処理の詳細な手順を示している。

事前処理として、居室５０に被観察者が存在していない状態で、ステレオカメラ１１、１２のうちの一方のカメラ１１によって居室内を撮影した画像を取得し、取得した画像をグレースケール化する。そして、得られた画像を背景画像として、転倒検知装置１０の記憶装置に記憶しておく。

３次元の人物領域抽出処理では、ステレオカメラ１１、１２から取得した左右画像のうち、背景画像を撮影したカメラ１１から今回取得した画像と、背景画像とを用いて、背景差分法により、２次元人物領域を抽出する。また、ステレオカメラ１１、１２から取得した２枚の画像から、３次元測量手法により、ピクセル毎に奥行き情報を算出し、３次元空間にプロットできる座標情報（３次元位置情報）を取得する。そして、２次元人物領域情報と３次元位置情報とを重ね合わせることで、３次元空間内での人物領域に相当するデータ（３次元の人物領域情報）を抽出する。

具体的には、背景画像を撮影したカメラ１１から今回取得した画像を、グレイスケール化する（ステップＳ３１）。

ステップＳ３１で得られた画像と予め記憶されている背景画像の対応する画素毎に、画素値の差の絶対値を算出することにより、両画像の差分画像を作成する（ステップＳ３２）。得られた差分画像を２値化することにより、２次元人物領域情報を抽出する（ステップＳ３３）。

一方、ステレオカメラ１１、１２から今回取得した左右画像から、周知のステレオ法を用いて、３次元位置情報を算出する（ステップＳ３４）。上記ステップＳ３３で抽出した２次元人物領域情報と、上記ステップＳ３４で算出した３次元位置情報とに基づいて、３次元人物領域情報を抽出する（ステップＳ３５）。

図４は、３次元人物領域情報によって表される３次元の人物領域画像の一例を示している。図４において、直方体１０１は、カメラ座標系でのｘ−ｙ平面、ｙ−ｚ平面およびｚ−ｘ平面それぞれに平行な面を有しかつ３次元の人物領域に外接する直方体である。直方体１０１の上側の図（符号１０２）は、直方体１０１の上から３次元の人物領域を見た平面図であり、直方体１０１の右側の図（符号１０３）は、直方体１０１の右から３次元の人物領域を見た側面図である。

〔４〕図２のステップＳ１３の３次元人物領域情報の補正処理
〔４−１〕３次元人物領域情報の補正処理の考え方

図５を参照して、３次元人物領域情報の補正処理の考え方について説明する。３次元の人物領域情報（人物領域の３次元空間でのプロット群）が図５（ａ）に符号１１１で示すように分布しているものとする。図５において、ｘｙｚはカメラ座標系である。

図５（ｂ）に示すように、３次元の人物領域情報を、ｘ−ｙ平面に射影することにより、第１の射影画像１１２を得るとともに、３次元の人物領域情報を、ｙ−ｚ平面に投影することにより、第２の射影画像１１３を得る。そして、第１の射影画像１１２内の人物領域の長軸１１４と、第２の射影画像１１３内の人物領域の長軸１１５とを求める。

次に、図５（ｃ）に示すように、長軸１１４の方向αと、長軸１１５の方向βを算出する。両長軸１１４、１１５に相当するベクトルを合成すると、図５（ｃ）に示すようなベクトル１１６が得られる。このベクトル１１６が被観察者の背筋の向き（人物主軸）の向きとなる。

被観察者が「立位」である場合には、このベクトル（人物主軸）１１６が擬似世界座標系でのＹ軸とほぼ等しくなる。そこで、カメラ座標系のｙ軸をベクトル（擬似世界座標系のＹ軸）１１４に重なる様に、３次元の人物領域情報の座標を、ｘ軸回りに角度β、ｚ軸回りに角度αだけ回転させれば、カメラ座標系の座標を擬似世界座標系の座標に変換することができる。

つまり、カメラ座標系での３次元人物領域情報内の１点の座標を（ｘ_old ，ｙ_old ，ｚ_old ）とすると、擬似世界座標系での座標（ｘ_new ，ｙ_new ，ｚ_new ）は、次式（１）に基づいて算出することができる。

上記式（１）の右辺の１項目の行列がｘ軸回りの回転行列を示す、２項目の行列がｚ軸回りの回転行列を示している。

〔４−２〕３次元人物領域情報の補正処理の手順

図６は、３次元人物領域情報の補正処理の手順を示している。

まず、被観察者の動き量を算出する（ステップＳ４１）。具体的には、３次元の人物領域抽出処理によって得られたカメラ座標系での３次元人物領域情報に基づいて、図４に示すように、ｘ−ｙ平面、ｙ−ｚ平面およびｚ−ｘ平面それぞれに平行な面を有しかつ３次元の人物領域に外接する直方体１０１の幅ｌx 、高さｌｙおよび奥行きｌｚ（被観察者の幅、高さおよび奥行き）を算出する。ｌx は３次元人物領域のｘ座標の最大値と最小値との差の絶対値を算出することにより、ｌｙは３次元人物領域のｙ座標の最大値と最小値との差の絶対値を算出することにより、ｌｚは３次元人物領域のｚ座標の最大値と最小値との差の絶対値を算出することにより、それぞれ求められる。

前フレームでのｌx 、ｌｙ、ｌｚと、今回のフレームでのｌx 、ｌｙ、ｌｚとの差分を取り、差分の最大値を被観察者の動き量として算出する。

次に、被観察者の動き量に基づいて、被観察者に動きがあるか否かを判別する（ステップＳ４２）。つまり、被観察者の動き量が所定の閾値より大きいか否かによって、被観察者に動きがあるか否かを判別する。

上述したように、被観察者が「立位」である場合には、人物主軸が擬似世界座標系でのＹ軸とほぼ等しくなるので、被観察者が歩行しているか否かを動きが有るか否かによって判別し、被観察者が歩行していると判別した場合（動きが有る場合）に、被観察者が「立位」であると判別している。

被観察者に動きがあると判別した場合には、α，β（図５参照）を算出するために人物主軸算出処理を行なう（ステップＳ４３）。そして、データ（α，β）の保存および回転行列の算出処理を行なう（ステップＳ４４）。この後、得られた回転行列を用いて、カメラ座標系での３次元人物領域情報の座標値を、擬似世界座標系の座標値に変換する（ステップＳ４５）。

上記ステップＳ４２において、被観察者に動きがないと判別された場合には、最新に算出された回転行列を用いて、カメラ座標系での３次元人物領域情報の座標値を、擬似世界座標系の座標値に変換する（ステップＳ４６）。

〔４−３〕図６のステップＳ４３の人物主軸算出処理（α，βの算出処理）についての説明

以下、α，βの算出処理には第１方法と第２方法とがある。

まず、第１方法について説明する。第１方法は、主成分分析を用いて、α，βを求める方法である。

図７は、α，βの算出方法（第１方法）の手順を示している。

３次元人物領域抽出処理によって得られたカメラ座標系での３次元人物領域情報（人物領域の３次元空間でのプロット群）をｘ−ｙ平面に射影することにより、ｘ軸をｕ軸、ｙ軸をｖ軸とするｕｖ座標系の第１の射影画像を得るとともに、３次元人物領域情報をｙ−ｚ平面に射影することにより、ｚ軸をｕ軸、ｙ軸をｖ軸とするｕｖ座標系の第２の射影画像を得る（ステップＳ５１）。次に、各射影画像毎に、重心を算出する（ステップＳ５２）。そして、各射影画像の全座標値を、重心を原点とする座標値に修正する（ステップＳ５３）。

次に、座標値修正後の第１の射影画像から主成分分析を用いて固有ベクトル（第１主成分の傾きを表すベクトル）を算出するとともに、座標値修正後の第２の射影画像から主成分分析を用いて固有ベクトル（第１主成分の傾きを表すベクトル）を算出する（ステップＳ５４）。各固有ベクトルの傾きα、βを算出する（ステップＳ５５）。

固有ベクトルの算出方法について説明する。各固有ベクトルの算出方法は同様であるので、第１の固有ベクトルの算出方法について説明する。まず、座標値修正後の第１の射影画像に基づいて、変量ｕの分散ｓ_u 、変量ｖの分散ｓ_v および変量ｕ，ｖの共分散ｓ_uvを算出する。そして、分散ｓ_u 、ｓ_v および共分散ｓ_uvを用いて、固有値λを算出する。分散ｓ_u 、ｓ_v および共分散ｓ_uvを用いて固有値λを算出する方法は、主成分分析において良く知られているのでその詳細を省略する。次に、固有値λを用いて固有ベクトルを算出する。固有値λを用いて固有ベクトルを算出する方法は、主成分分析において良く知られているのでその詳細を省略する。

図８は、α，βの算出方法（第１方法）の手順を示している。

３次元人物領域抽出処理によって得られたカメラ座標系での３次元人物領域情報（人物領域の３次元空間でのプロット群）をｘ−ｙ平面に射影することにより、第１の射影画像を得るとともに、３次元人物領域情報をｙ−ｚ平面に射影することにより、第２の射影画像を得る（ステップＳ６１）。次に、各射影画像毎に、重心を算出する（ステップＳ６２）。そして、各射影画像の全座標値を、重心を原点とする座標値に修正する（ステップＳ６３）。

次に、座標値修正後の第１の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第１の線分の傾きαを求めるとともに、座標値修正後の第２の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第２の線分の傾きβを求める（ステップＳ６４）。

第１の線分および第２の線分の求め方について説明する。各線分の求め方は同様であるので、第１の線分の求め方について説明する。

図９は、第１の線分の求め方を示している。

まず、ステップＳ６３で得られた第１の射影画像を、図１０に示すように、一定間隔を有するｙ軸に平行な複数の分割線により、射影画像をｘ軸方向に複数の領域に分割する（ステップＳ７１）。各分割領域毎に人物領域のｙ座標の最大値と最小値に対応する点を輪郭点Ｐｉとして特定する（ステップＳ７２）。

輪郭点のうちｘ座標が最も大きくかつｙ座標が０に最も近い輪郭点を点Ａとし、点Ａを含む分割領域を注目領域とする（ステップＳ７３）。図１０の例では、点Ｐ１が点Ａとして特定される。点Ａ以外の輪郭点のうち、点Ａと原点を結ぶ直線に最も近い輪郭点を求め、点Ｂとする（ステップＳ７４）。図１０の例では、点Ａが点Ｐ１である場合には、点Ｐ７が点Ｂとされる。点Ａと点Ｂを結ぶ線分の距離（Ａ−Ｂ間距離）を算出して保持する（ステップＳ７５）。

次に、注目領域が、輪郭点のうちｘ座標が最も小さい輪郭点を含む分割領域（最終処理領域）であるか否かを判別する（ステップＳ７６）。現在の注目領域が最終処理領域でなければ、注目領域を、現在の注目領域に対してｘ座標が小さくなる方向に隣接する分割領域に更新する（ステップＳ７７）。そして、更新された注目領域内において、ｙ座標が最も大きい輪郭点を点Ａとする（ステップＳ７８）。そして、ステップＳ７４に戻り、ステップＳ７４以降の処理を再度行なう。

上記ステップＳ７６において、現在の注目領域が最終処理領域であると判別された場合には、Ａ−Ｂ間の距離が最大である線分を第１の線分として特定する（ステップＳ７９）。図１０の例では、点Ｐ３と点Ｐ９とを結ぶ線分が第１の線分として特定される。

〔４−４〕図６のステップＳ４４のデータ（α，β）保存および回転行列算出処理

図１１は、データ（α，β）保存および回転行列算出処理の手順を示している。

まず、α，β保存用バッファに空きがあるか否かを判別する（ステップＳ８１）。この例では、α，β保存用バッファは、α，βの組が５組保存できる容量を有しているものとする。

α，β保存用バッファに空きがあると判別した場合、つまり、５組分のα，βが保存されていない場合には、α，β保存用バッファに今回算出されたα，βを保存する（ステップＳ８２）。そして、α，β保存用バッファに保存されているα，βの組数をカウントする（ステップＳ８３）。次に、α，β保存用バッファに保存されているαの平均値およびβの平均値を算出する（ステップＳ８４）。そして、αの平均値およびβの平均値と、上記式（１）を用いて、回転行列（Ｘ軸周りの回転行列およびＺ軸周りの回転行列）を算出する（ステップＳ８７）。

上記ステップＳ８１において、α，β保存用バッファに空きがないと判別した場合、つまり、５組分のα，βが保存されている場合には、α，β保存用バッファから最も古いデータ（α，β）を削除した後、α，β保存用バッファの空きスペースに今回算出されたα，βを保存する（ステップＳ８５）。次に、α，β保存用バッファに保存されているαの平均値およびβの平均値を算出する（ステップＳ８６）。そして、αの平均値およびβの平均値と、上記式（１）を用いて、回転行列（Ｘ軸周りの回転行列およびＺ軸周りの回転行列）を算出する（ステップＳ８７）。

〔５〕図２のステップＳ１４の姿勢推定処理

図１２は、図２のステップＳ１４の姿勢推定処理の詳細な手順を示している。

人物領域情報補正処理によって得られた擬似世界座標系での３次元人物領域情報に基づいて、擬似世界座標系のＸ−Ｙ平面、Ｙ−Ｚ平面およびＺ−Ｘ平面それぞれに平行な面を有しかつ３次元の人物領域に外接する直方体の幅ｌx 、高さｌｙおよび奥行きｌｚ（被観察者の幅、高さおよび奥行き）を算出する（ステップＳ９１）。ｌx は擬似世界座標系での３次元人物領域のｘ座標の最大値と最小値との差の絶対値を算出することにより、ｌｙは擬似世界座標系での３次元人物領域のｙ座標の最大値と最小値との差の絶対値を算出することにより、ｌｚは擬似世界座標系での３次元人物領域のｚ座標の最大値と最小値との差の絶対値を算出することにより、それぞれ求められる。

次に、アトペクト比ｌx ／ｌｙおよびｌｚ／ｌｙを算出する（ステップＳ９２）。そして、算出したアトペクト比ｌx ／ｌｙおよびｌｚ／ｌｙと、予め定められた規則とに基づいて、被観察者の姿勢を推定する（ステップＳ９３）。

具体的には、次のような規則に基づいて、被観察者の姿勢を推定する。
（ａ） ｌx ／ｌｙ＜０．４またはｌｚ／ｌｙ＜０．４であれば、観察者の姿勢を「立位」と推定する。
（ｂ） ｌx ／ｌｙ＞１．５またはｌｚ／ｌｙ＞１．５であれば、観察者の姿勢を「臥位」と推定する。
（ｃ）それ以外であれば、観察者の姿勢を「座位」と推定する。

〔６〕図２のステップＳ１７およびステップＳ２０の開始点または終了点判別処理

図２のステップＳ１７の開始点判別処理においては、『アスペクト比ｌx ／ｌｙおよびｌｚ／ｌｙのうちの少なくとも一方が０．７以上である状態が１秒（約５フレームに相当）以上継続していること』という開始点条件を満たしているか否かを判別し、開始点条件を満たしている場合には今回取り込まれたフレームが転倒判定用データ蓄積期間の開始点であると判別する。

図２のステップＳ２０の終了点判別処理においては、『「アスペクト比ｌx ／ｌｙおよびｌｚ／ｌｙのうちの少なくとも一方が０．７以下である状態が１．４秒（約７フレームに相当）以上継続していること」または「第２バッファに蓄積されているデータ群が所定フレーム数分以上となっていること」または「開始点からの経過時間が、所定時間以上に達していること」』という終了点条件を満たしているか否かを判別し、終了点条件を満たしている場合には今回取り込まれたフレームが転倒判定用データ蓄積期間の終了点であると判別する。

〔７〕図２のステップＳ２２の転倒判定処理

各種の挙動毎に、事前にモデルを用意しておく。挙動の種類には、この例では、「前向きの転倒」、「しりもち」、「寝転び」および「座る」がある。ここでは、モデルとしては、隠れマルコフモデル（ＨＭＭ）が用いられている。各挙動毎のモデルは、その挙動に対応した学習データに基づいて作成される。例えば、「前向きの転倒」は、「前向きの転倒」動作の学習データに基づいて作成される。なお、学習データとしては、経過時間情報（開始点からのフレーム数で表される）および被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）からなる時系列データが用いられる。「前向きの転倒」、「しりもち」、「寝転び」および「座る」の挙動のうち、「前向きの転倒」および「しりもち」が転倒動作に該当する。

第２バッファに蓄積されているデータ群のうち、経過時間情報（開始点からのフレーム数で表される）および姿勢推定処理において算出された被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）を時系列データとし、上記時系列データが再現できる確率（尤度）を、各モデル毎に計算する。そして、最も尤度が高いモデルを求める。最も尤度が高いモデルに対応する挙動が、観察者の挙動となる。この実施例では、転倒を検知したいので、最も尤度が高いモデルが「前向きの転倒」または「しりもち」のモデルである場合には、被観察者が転倒したと判定する。

〔８〕姿勢推定処理の変形例

上記実施例では、被観察者の幅、高さおよび奥行きから求められたアスペクト比ｌx ／ｌｙおよびｌｚ／ｌｙに基づいて、被観察者の姿勢を推定しているが、擬似世界座標系での３次元人物領域情報から求められる、被観察者の背筋の向きに相当するベクトル（人物主軸）の向きに基づいて、被観察者の姿勢を推定するようにしてもよい。

つまり、図１３に示すように、人物主軸Ｑの擬似世界座標系でのＸ−Ｚ平面となす角γ（人物主軸の向き）を求め、次のような規則に基づいて、被観察者の姿勢を推定する。

（ａ）γ＞π／２×０．６であれば、観察者の姿勢を「立位」と推定する。
（ｂ）γ＜π／２×０．３であれば、観察者の姿勢を「臥位」と推定する。
（ｃ）それ以外であれば、観察者の姿勢を「座位」と推定する。

図１４は、人物主軸Ｑの向きと姿勢推定結果の例を示し、図７（ａ）は「立位」と推定される例を、図７（ｂ）は「座位」と推定される例を、図７（ｃ）は「臥位」と推定される例を、それぞれ示している。

以下、人物主軸の向きの求め方について説明する。人物主軸の向きの求め方には第１方法と第２方法とがある。

まず、第１方法について説明する。第１方法は、主成分分析を用いて、人物主軸の向きを求める方法である。

図１５は、人物主軸の向きの算出方法（第１方法）の手順を示している。

人物領域情報補正処理によって得られた擬似世界座標系での３次元人物領域情報（人物領域の３次元空間でのプロット群）を擬似世界座標系のＸ−Ｙ平面に射影することにより、Ｘ軸をＵ軸、Ｙ軸をＶ軸とするＵＶ座標系の第１の射影画像を得るとともに、擬似世界座標系での３次元人物領域情報をＹ−Ｚ平面に射影することにより、Ｚ軸をＵ軸、Ｙ軸をＶ軸とするＵＶ座標系の第２の射影画像を得る（ステップＳ１０１）。次に、各射影画像毎に、重心を算出する（ステップＳ１０２）。そして、各射影画像の全座標値を、重心を擬似世界座標系の原点とする座標値に修正する（ステップＳ１０３）。

次に、座標値修正後の第１の射影画像から主成分分析を用いて固有ベクトル（第１主成分の傾きを表すベクトル）を算出するとともに、座標値修正後の第２の射影画像から主成分分析を用いて固有ベクトル（第１主成分の傾きを表すベクトル）を算出する（ステップＳ１０４）。そして、ステップＳ１０４で算出された２つの固有ベクトルを合成することにより、人物主軸の向きを示すベクトルを求める（ステップＳ１０５）。そして、人物主軸の向きを示すベクトルから人物主軸の向きγを求める（ステップＳ１０６）。

図１６は、人物主軸の向きの算出方法（第２方法）の手順を示している。

人物領域情報補正処理によって得られた擬似世界座標系での３次元人物領域情報（人物領域の３次元空間でのプロット群）を、擬似世界座標系のＸ−Ｙ平面に射影することにより、第１の射影画像を得るとともに、擬似世界座標系での３次元人物領域情報を、擬似世界座標系のＹ−Ｚ平面に射影することにより、第２の射影画像を得る（ステップＳ１１１）。次に、各射影画像毎に、重心を算出する（ステップＳ１１１）。そして、各射影画像の全座標値を、重心を原点とする座標値に修正する（ステップＳ１１１）。

次に、座標値修正後の第１の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第１の線分の傾きαを求めるとともに、座標値修正後の第２の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第２の線分の傾きβを求める（ステップＳ１１４）。そして、ステップＳ１１４で求められた２つの線分の傾きに基づいて、人物主軸の向きγを求める（ステップＳ１１５）。

図１７に示すように、第１の射影画像から得られた第１の線分の傾きをα、第２の射影画像から得られた第２の線分の傾きをβとすると、各線分の向きを示す単位ベクトルｖ１、ｖ２は、次式（２）で表される。

ｖ１＝（ｃｏｓα，ｓｉｎα）
ｖ２＝（ｃｏｓβ，ｓｉｎβ） …（２）

次式（３）に基づいて、ｖ１、ｖ２を合成すると、人物主軸の向きを示すベクトルＶが得られる。

Ｖ＝（ｃｏｓα，ｓｉｎα＋ｓｉｎβ，ｃｏｓβ） …（３）

人物主軸の向きγは、次式（４）に基づいて、求められる。

ｔａｎα＝（ｓｉｎα＋ｓｉｎβ）／（ｃｏｓα² ＋ｃｏｓβ² ）^1/2
…（４）

第１の線分および第２の線分は、図９で説明した手順と同様な手順で求めることができるので、その説明を省略する。

〔９〕図２のステップＳ２２の転倒判定処理の変形例

各種の挙動毎に、事前に学習モデルを用意しておく。挙動の種類には、この例では、「前向きの転倒」、「しりもち」、「寝転び」および「座る」がある。各挙動毎の学習モデルは、その挙動に対応した学習データに基づいて作成される。例えば、「前向きの転倒」は、「前向きの転倒」動作の学習データに基づいて作成される。なお、学習データとしては、時刻情報および被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）からなる時系列データが用いられる。学習データに基づいて、複数時点での被観察者の動き量の程度（多、中、少）からなる学習モデルが作成される。「前向きの転倒」、「しりもち」、「寝転び」および「座る」の挙動のうち、「前向きの転倒」および「しりもち」が転倒動作に該当する。

図１８は、転倒判定処理の手順を示している。図１９は、転倒判定処理の手順を模式図で表している。

まず、第２バッファに保存されている複数フレーム分の被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）および時刻情報（図１９に時系列データ２０１で示す）に基づいて、複数時点での単位時間当たりの動き量データ（ｄｌｘ／ｄｔ，ｄｌｙ／ｄｔ，ｄｌｚ／ｄｔ）を求める（ステップＳ１２１）。

時系列データ２０１における各隣合うフレーム間のｌｘ，ｌｙ，ｌｚの差分ｄｌｘ、ｄｌｙ、ｄｌｚを、それらのフレーム間の時間差で除算することにより、複数時点での単位時間当たりの動き量データが得られる。

次に、各時点での３種類の動き量データのうちの最大値と、予め設定した２つの閾値に基づいて、各時点での動き量を３種類（多、中、少）にシンボル化する（ステップＳ１２２）。これにより、図１９に示すような複数時点でのシンボル化データからなるパターン２０２が得られる。

得られたパターン２０２と各挙動毎の学習モデル（図１９に２１１〜２１４で示す）との距離（類似度）をＤＰマッチングにより算出する（ステップＳ１２３）。そして、両パターン間の距離が最も短い学習モデルに対応する挙動を、被観察者の挙動として判定する（ステップＳ１２４）。この実施例では、転倒を検知したいので、両パターン間の距離が最も短い学習モデルが「前向きの転倒」または「しりもち」の学習モデルである場合には、被観察者が転倒したと判定する。

上記実施例では、転倒検知装置１０は３次元人物領域情報を抽出するためにステレオカメラ等の撮像装置を備えているが、これに限定されることなく、転倒検知装置１０は、３次元人物領域情報を抽出するために、例えば単眼の撮像装置とレーザレンジファインダーとの組合せ、単眼の撮像装置と複数の超音波センサの組合せ等のように、撮像装置を含んだセンサの組合せを備えていてもよい。

転倒検知システムの全体的な構成を示すブロック図である。 転倒検知装置１０によって実行される転倒検知処理の手順を示すフローチャートである。 図２のステップＳ１２の３次元の人物領域抽出処理の詳細な手順を示すフローチャートである。 ３次元の人物領域情報に対応する３次元の人物領域画像の一例を示す模式図である。 ３次元人物領域情報の補正処理の考え方を説明するための模式図である。 ３次元人物領域情報の補正処理の手順を示すフローチャートである。 α，βの算出方法（第１方法）の手順を示すフローチャートである。 α，βの算出方法（第２方法）の手順を示すフローチャートである。 第１の線分の求め方を示すフローチャートである。 第１の線分の求め方を説明するための模式図である。 データ（α，β）保存および回転行列算出処理の手順を示すフローチャートである。 図２のステップＳ１４の姿勢推定処理の詳細な手順を示すフローチャートである。 人物主軸Ｑおよび人物主軸ＱのＸ−Ｚ平面となす角γを示す模式図である。 人物主軸Ｑの向きと姿勢推定結果の例を示す模式図である。 人物主軸の算出方法（第１方法）の手順を示すフローチャートである。 人物主軸の算出方法（第２方法）の手順を示すフローチャートである。 第１の射影画像から得られた第１の線分の傾きαと、第２の射影画像から得られた第２の線分の傾きβとを示す模式図である。 図２のステップＳ２２の転倒判定処理の手順の変形例を示すフローチャートである。 図１８の転倒判定処理の手順を説明するための模式図である。

符号の説明

１０ 転倒検知装置
１１、１２ ステレオカメラ
２０ 監視装置
３０ 移動通信端末
４０ ネットワーク

Claims (7)

1. カメラによって撮影された被観察者の撮影画像に基づいて、カメラ座標系での３次元人物領域情報を抽出する人物領域情報抽出手段、人物領域情報抽出手段によって抽出された３次元人物領域情報を擬似世界座標系での３次元人物領域情報に補正する人物領域情報補正手段、補正手段によって得られた擬似世界座標系での３次元人物領域情報に基づいて、被観察者の姿勢を判定する姿勢判定手段を備えており、
   人物領域情報補正手段は、
   人物領域情報抽出手段によって抽出された３次元人物領域情報に基づいて、被観察者の動き量を算出する動き量算出手段、
   被観察者の動き量が所定の閾値より大きい場合には、人物領域情報抽出手段によって抽出された３次元人物領域情報に基づいて、カメラ座標系を被観察者の背筋の方向をＹ軸とする擬似世界座標系に変換するために用いられる、ｘ軸周りの回転角およびｚ軸周りの回転角を算出する回転角算出手段、ならびに
   回転角算出手段によって算出された２種類の回転角に基づいてｘ軸周りの回転行列およびｚ軸周りの回転行列を算出し、得られた両回転行列に基づいて人物領域情報抽出手段によって抽出された３次元人物領域情報を擬似世界座標系の３次元人物領域情報に変換する座標変換手段、
   を備えていることを特徴とする姿勢検知装置。
2. 座標変換手段は、回転角算出手段によって現在までに算出された２種類の回転角のうちの新しいものから複数個の２種類の回転角それぞれの平均値に基づいて、ｘ軸周りの回転行列およびｚ軸周りの回転行列を算出し、得られた両回転行列に基づいて人物領域情報抽出手段によって抽出された３次元人物領域情報を擬似世界座標系の３次元人物領域情報に変換するものであることを特徴とする請求項１に記載の姿勢検知装置。
3. 被観察者の動き量が所定の閾値以下である場合には、最新に算出されたｘ軸周りの回転行列およびｚ軸周りの回転行列に基づいて、人物領域情報抽出手段によって抽出された３次元人物領域情報を擬似世界座標系の３次元人物領域情報に変換する手段を備えていることを特徴とする請求項１乃至２に記載の姿勢検知装置。
4. 回転角算出手段は、
   人物領域情報抽出手段によって抽出されたカメラ座標系での３次元人物領域の高さ方向をｙ軸とし、幅方向をｘ軸とし、奥行き方向をｚ軸として、３次元人物領域情報を、ｘ−ｙ平面に射影することにより第１の射影画像を生成するとともに、３次元の人物領域情報を、ｙ−ｚ平面に投影することにより第２の射影画像を生成する手段、
   各射影画像毎に、重心を算出し、各射影画像の全座標値を、重心を原点とする座標値に修正する手段、
   座標値修正後の第１の射影画像から主成分分析を用いて第１主成分の傾きを表す第１のベクトルを算出するとともに、座標値修正後の第２の射影画像から主成分分析を用いて第１主成分の傾きを表す第２のベクトルを算出する手段、ならびに
   第１のベクトルの向きからｚ軸周りの回転角を算出するとともに第２のベクトルの向きからｘ軸周りの回転角を算出する手段、
   を備えていることを特徴とする請求項１乃至３に記載の姿勢検知装置。
5. 回転角算出手段は、
   人物領域情報抽出手段によって抽出されたカメラ座標系での３次元人物領域の高さ方向をｙ軸とし、幅方向をｘ軸とし、奥行き方向をｚ軸として、３次元人物領域情報を、ｘ−ｙ平面に射影することにより第１の射影画像を生成するとともに、３次元の人物領域情報を、ｙ−ｚ平面に投影することにより第２の射影画像を生成する手段、
   各射影画像毎に、重心を算出し、各射影画像の全座標値を、重心を原点とする座標値に修正する手段、
   座標値修正後の第１の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第１の線分の傾きを求めるとともに、座標値修正後の第２の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第２の線分の傾きを求める手段、ならびに
   第１の線分の向きからｚ軸周りの回転角を算出するとともに第２の線分の向きからｘ軸周りの回転角を算出する手段、
   を備えていることを特徴とする請求項１乃至３に記載の姿勢検知装置。
6. 姿勢判定手段は、
   人物領域情報補正手段によって得られた擬似世界座標系での３次元人物領域情報から３次元人物領域の高さ、幅および奥行き情報を算出する算出手段、ならびに
   算出手段によって得られた３次元人物領域の高さに対する幅の比および３次元人物領域の高さに対する奥行きの比に基づいて、被観察者の姿勢を判定する判定手段、
   を備えていることを特徴とする請求項１乃至５に記載の姿勢検知装置。
7. 姿勢判定手段は、
   人物領域情報補正手段によって得られた擬似世界座標系での３次元人物領域情報から被観察者の背筋の向きを算出する算出手段、ならびに
   被観察者の背筋の向きに基づいて、被観察者の姿勢を判定する判定手段、
   を備えていることを特徴とする請求項１乃至５に記載の姿勢検知装置。

Images