JP2009009413A - 動作検知装置及び動作検知プログラム、並びに動作基本モデル生成装置及び動作基本モデル生成プログラム - Google Patents

Abstract

【課題】被観察者の動作を検知する際の検出精度を向上する。
【解決手段】動作検知装置１０は、被観察者の撮像画像データを取得し、３次元の人物領域の情報を抽出し、時系列データを作成し、時系列データを所定の時系列区分で切り出す。動作検知装置１０は、時系列区分毎に切り出した時系列データと、時系列区分に用意された動作基本モデルとをマッチングする。動作検知装置１０は、所定の時系列区分毎に動作基本モデルと時系列データとの類似度を算出し、これらを合わせて総合的に類似度を判定し、被観察者の動作を検知する。
【選択図】図１１

Description

本発明は、被観察者の動作を検知する動作検知装置に関する。

被観察者の転倒を検知する装置として、被観察者をカメラで撮像し、撮像画像から被観察者の動作ベクトルを検出し、検出した動作ベクトルと予め記憶している被観察者の転倒ベクトルとを比較することにより、被観察者が転倒したか否かを判別する技術が既に開発されている（特許文献１参照）。

また、被観察者の転倒を検知する装置として、被観察者をカメラで撮像し、撮像画像と被観察者が存在しないときに撮像された参照画像との差分領域を抽出し、差分領域の面積に基づいて被観察者が転倒したか否かを判別する技術が開発されている（特許文献２参照）。

また、被観察者の動作特徴が格納されているデータベースを参照して、被観察者の部位、行動の特徴、動作の判定を行う技術が開発されている（特許文献３参照）。
特開２００２−２３２８７０号公報 特開２０００−２０７６６４号公報 特開２００５−２５８８３０号公報

ところが、特許文献１乃至３の技術では、転倒の検出精度が低かった。そこで本発明は、被観察者の「前方転倒」、「後方転倒（しりもち）」、「座る」、「寝転び」などの動作を検知する際の検出精度の向上を図ることを可能とする動作検知装置を提供することを目的とする。

上記目的を達成するために、本発明の特徴は、被観察者を撮像する撮像部と、人物の所定動作の３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つの時系列データから抽出された動作基本モデルが所定の時系列区分毎に格納された動作基本モデル格納部と、前記撮像部で撮像された前記被観察者の撮像画像を用いて、前記動作基本モデル格納部に格納された前記動作基本モデルを参照して被観察者の動作を判定する動作判定部とを備え、前記動作判定部は、前記被観察者の撮像画像を用いて複数の３次元の人物領域の情報を抽出する人物領域情報抽出部と、前記複数の３次元の人物領域の情報から３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つを算出し、算出した値の時系列データを抽出する時系列データ抽出部と、前記動作基本モデルと前記時系列データ抽出部で抽出された時系列データの前記所定の時系列区分毎における類似度を算出する類似度算出部と、算出された前記類似度の組合せに基づいて総合類似度を算出し、前記総合類似度を用いて被観察者の動作を判定する動作算出部とを有する動作検知装置であることを要旨とする。

ここで、「動作」とは、ある時間長をもった姿勢の遷移のひと纏まりのことを意味する。また、「姿勢」とは、「立位」、「臥位」、「座位」等、人物の高さ方向に違いのある体勢や格好を意味する。なお、人物の一般的な動き全般を記す必要があるときは、「振る舞い」という。例えば、前方への転倒（前方転倒という）、後方への転倒（しりもちともいう）、座る、寝転び等は、人物の振る舞いの中の特定の「動作」ということができる。

かかる特徴によれば、動作基本モデルが所定の時系列区分毎に格納されており、被観察者の撮像画像を用いて複数の３次元の人物領域の情報が抽出され、複数の３次元の人物領域の情報から３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つが算出され、算出された値から時系列データが抽出される。抽出された時系列データは、所定の時系列区分に分けられて、時系列区分毎に動作基本モデルとの類似度が算出され、算出された類似度の組合せに基づいて総合類似度が算出され、総合類似度を用いて被観察者の動作が判定される。

したがって、かかる特徴によれば、一連の「動き」に関する情報を、特徴が判別可能な程度にまで分割して、分割した個々に対して類似度を算出し、算出された類似度から算出される総合類似度を用いて動作を判定するので、一連の「動き」全体の検出精度を向上させることができる。これにより、被観察者の「前方転倒」、「後方転倒（しりもち）」、「座る」、「寝転び」などの動作を検知する際の検出精度を向上することができる。

上記の特徴に係る動作検知装置において、時系列データ抽出部は、複数の３次元の人物領域の情報から３次元の人物領域の高さ、幅及び奥行きの時系列データ、高さと幅の比、高さと奥行きの比、幅と奥行きの比のうち少なくとも１つの値の時系列データを抽出することが好ましい。

かかる特徴によれば、抽出された３次元の人物領域の高さ、幅、奥行き、時間、またこれらパラメータの相関関係等を適宜組み合わせて使用することにより、判定に使用する時系列データに特徴量をもたせることができ、検出精度を向上させることができる。

また、上記の特徴に係る動作検知装置において、時系列データ抽出部は、複数の３次元の人物領域の情報から３次元の人物領域の重心座標の時系列データを抽出することが好ましい。

かかる特徴によれば、抽出された３次元の人物領域の高さ、幅、奥行き、時間、またこれらパラメータの相関関係等を適宜組み合わせて使用することにより、判定に使用する時系列データに特徴量をもたせることができ、検出精度を向上させることができる。

また、上記の特徴に係る動作検知装置において、時系列データ抽出部は、３次元の人物領域の高さと撮像間隔の比、３次元の人物領域の幅と撮像間隔の比、３次元の人物領域の奥行きと撮像間隔の比、３次元の人物領域の高さ方向の中心座標と撮像間隔の比、３次元の人物領域の幅方向の中心座標と撮像間隔の比、３次元の人物領域の奥行き方向の中心座標と撮像間隔の比のうちの少なくとも１つの値の時系列データを抽出することが好ましい。

かかる特徴によれば、抽出された３次元の人物領域の高さ、幅、奥行き、時間、またこれらパラメータの相関関係等を適宜組み合わせて使用することにより、判定に使用する時系列データに特徴量をもたせることができ、検出精度を向上させることができる。時系列データを算出するための撮像画像データは、取得間隔が不定である。したがって、撮像間隔との比をとり、時間で正規化することにより、抽出される時系列データの信頼度を向上させることができる。

また、本発明の特徴は、人物の撮像画像を取得する画像データ取得部と、前記撮像画像に基づいて複数の３次元の人物領域の情報を抽出する人物領域情報抽出部と、前記複数の３次元の人物領域情報から３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つを算出し、算出した値の時系列モデルデータを抽出する時系列モデルデータ抽出部と、前記時系列モデルデータ抽出部において抽出した時系列モデルデータを所定の時系列区分毎に分類する時系列モデルデータ分類部と、前記分類された時系列モデルデータから前記所定の時系列区分毎の人物の動作基本モデルを作成する動作基本モデル作成部と、前記動作基本モデルが時系列区分毎に格納される動作基本モデル格納部とを備える動作基本モデル生成装置であることを要旨とする。

かかる特徴によれば、人物の撮像画像は取得されて、取得された撮像画像に基づいて複数の３次元の人物領域の情報が抽出され、複数の３次元の人物領域情報から３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つが算出され、算出された値の時系列データが抽出される。抽出された時系列データは、所定の時系列区分毎に分類され、分類された時系列データから所定の時系列区分毎の人物の動作基本モデルが作成され、作成された動作基本モデルが時系列区分毎に格納される。

したがって、かかる特徴によれば、動作基本モデルを所定の時系列区分毎に用意することができるので、動作基本モデルと比較対象となるデータとの類似度を比較する際の比較精度の向上を図ることができる。

上記の特徴に係る動作基本モデル生成装置において、動作基本モデル作成部は、３次元の人物領域の高さ、幅及び奥行きの時系列モデルデータ、高さと幅の比、高さと奥行きの比、幅と奥行きの比のうち少なくとも１つの値の時系列モデルデータに関して、人物の動作基本モデルを作成することが好ましい。

また、本発明の特徴は、被観察者の撮像画像を用いて、メモリに格納された人物の所定動作における３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つの時系列データから抽出された動作基本モデルを参照して被観察者の動作を検知する動作検知装置として機能するコンピュータに、被観察者の撮像画像を取得する工程（Ａ）と、取得した前記撮像画像を用いて複数の３次元の人物領域の情報を抽出する工程（Ｂ）と、前記複数の３次元の人物領域の情報から３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つを算出し、算出した値の時系列データを抽出する工程（Ｃ）と、前記動作基本モデルと抽出された前記時系列データの前記所定の時系列区分毎における類似度を算出する工程（Ｄ）と、算出された前記類似度の組合せに基づいて総合類似度を算出し、前記総合類似度を用いて被観察者の動作を判定する工程（Ｅ）とを実行させる動作検知プログラムであることを要旨とする。

かかる特徴によれば、動作基本モデルが所定の時系列区分毎に格納されており、被観察者の撮像画像を用いて複数の３次元の人物領域の情報が抽出され、複数の３次元の人物領域の情報から３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つが算出され、算出された値から時系列データが抽出される。抽出された時系列データは、所定の時系列区分に分けられて、時系列区分毎に動作基本モデルとの類似度が算出され、算出された類似度の組合せに基づいて総合類似度が算出され、総合類似度を用いて被観察者の動作が判定される。

したがって、かかる特徴によれば、一連の「動き」に関する情報を、特徴が判別可能な程度にまで分割して、分割した個々に対して類似度を算出し、算出された類似度から算出される総合類似度を用いて動作を判定するので、一連の「動き」全体の検出精度を向上させることができる。これにより、被観察者の「前方転倒」、「後方転倒（しりもち）」、「座る」、「寝転び」などの動作を検知する際の検出精度を向上することができる。

更にまた、本発明の特徴は、人物の撮像画像を用いて、人物の所定動作における３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つの時系列データから抽出された動作基本モデルを作成する動作モデル生成装置として機能するコンピュータに、人物の撮像画像を取得する工程（ａ）と、取得した前記撮像画像を用いて複数の３次元の人物領域の情報を抽出する工程（ｂ）と、前記複数の３次元の人物領域情報から３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つを算出し、算出した値の時系列モデルデータを抽出する工程（ｃ）と、抽出した前記時系列モデルデータを所定の時系列区分毎に分類する工程（ｄ）と、分類された前記時系列モデルデータから前記所定の時系列区分毎の人物の動作基本モデルを作成する工程（ｅ）と、作成した前記動作基本モデルを時系列区分毎にメモリに格納する工程（ｆ）とを実行させる動作基本モデル生成プログラムであることを要旨とする。

かかる特徴によれば、取得した撮像画像に基づいて複数の３次元の人物領域の情報を抽出し、複数の３次元の人物領域情報から３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つを算出し、算出した値の時系列モデルデータを抽出し、抽出した時系列モデルデータを所定の時系列区分毎に分類し、分類された時系列モデルデータから所定の時系列区分毎の人物の動作基本モデルを作成し、作成した動作基本モデルを時系列区分毎にメモリに格納する。

したがって、かかる特徴によれば、動作基本モデルを所定の時系列区分毎に用意することができるので、動作基本モデルと比較対象となるデータとの類似度を比較する際の比較精度の向上を図ることができる。

本発明によれば、被観察者の「前方転倒」、「後方転倒（しりもち）」、「座る」、「寝転び」などの動作を検知する際の検出精度の向上を図ることを可能とする動作検知装置を提供することを目的とする。

以下において、本発明の実施形態に係る動作検知システム及び動作検知装置について、図面を参照して説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。但し、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。したがって、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

（１）動作検知システムの全体的な構成
図１に、本発明の実施形態にかかる動作検知システムの構成を説明する。動作検知システムは、人物の動作を撮像し、撮像した撮像画像データから動作に関する時系列データを抽出し、抽出した時系列データをメモリ等に用意した動作基本モデルと比較して類似度を算出し、類似度に基づいて被観察者の動作を判定する動作検知システムである。

ここで、「動作」とは、ある時間長をもった姿勢の遷移のひと纏まりのことを意味する。また、「姿勢」とは、「立位」、「臥位」、「座位」等、人物の高さ方向に違いのある体勢や格好を意味する。なお、人物の一般的な動き全般を記す必要があるときは、「振る舞い」という。例えば、前方への転倒（前方転倒という）、後方への転倒（しりもちともいう）、座る、寝転び等は、人物の振る舞いの中の特定の「動作」ということができる。

図１に示す動作検知システムは、被観察者の居室５０内を撮像するステレオカメラ１１、１２を備えた動作検知装置１０、動作検知装置１０にネットワーク４０を介して接続された監視装置２０及び動作検知装置１０にネットワーク４０を介して接続された移動通信端末３０を備えている。

動作検知装置１０は、被観察者の動作を検知する。ネットワーク４０には、複数の被観察者の居室５０に対応して設けられた複数の動作検知装置１０が接続されている。監視装置２０は監視者が詰めている監視センタに設置されている。

監視装置２０及び移動通信端末３０では、各被観察者の居室５０を識別可能に表す居室画面が表示されており、動作検知装置１０によって検出された動作が、例えば、転倒の場合には、そのことが監視装置２０及び移動通信端末３０に通知され、監視装置２０及び移動通信端末３０はアラームなどを発生させるとともに、居室画面上においてどの居室で転倒が検知されたかを表示する。監視者は、この表示を見て、転倒が検知された居室表示を選択すると、監視装置２０及び移動通信端末３０は、転倒を検知した動作検知装置１０から当該居室の現在の画像を受信して監視装置２０及び移動通信端末３０に表示する。

なお、動作検知装置１０によって検知された動作は、監視装置２０及び移動通信端末３０に送られる。監視装置２０及び移動通信端末３０は、検出された動作が、例えば、転倒であったときには、転倒が検知された日時、被観察者名（居室番号）、転倒、ケア履歴等からなる情報をケア履歴データベースとして記憶する。データベースとして記憶された情報は、監視者によって閲覧できるようになっている。

（動作検知装置の構成）
図２に、本発明の実施形態にかかる動作検知装置１０の構成を説明する。動作検知装置１０は、被観察者の画像データを撮像する撮像部２（図１、ステレオカメラ１１、１２に相当する）と、人物の所定動作における動作基本モデルが格納された動作基本モデル格納部３と、被観察者の撮像画像データに基づいて、動作基本モデル格納部３に格納された時系列データを参照して被観察者の動作を判定する制御を実行する制御部４とを備えている。

動作検知装置１０は、通信部５を備え、ネットワーク４０を介して、監視装置２０、移動通信端末３０等と通信可能に接続されている。或いは無線又は有線を介して、通信可能に接続されていてもよい。動作検知装置１０は、検知結果を監視装置２０、移動通信端末３０に通知することができる。

撮像部２は、ステレオ画像（３次元画像データ）が撮像可能なステレオカメラ１１，１２を備えている。ステレオカメラ１１，１２は、被観察者の居室等に設けられており、被観察者を撮像して画像データを制御部４に供給している。

動作基本モデル格納部３は、ハードディスク、追記録可能なＣＤ、ＤＶＤ等をはじめとする汎用の各種記憶媒体と、当該記憶媒体の読取及び書込装置を備えており、画像データに基づいて検出される被観察者の動作を評価するためのデータ（動作基本モデル）が記憶されている。評価データについての詳細は後述する。

制御部４は、図示しないが、各部を統括しているＣＰＵ、ＣＰＵを起動させるプログラム等が書き込まれたＲＯＭ、ＣＰＵの作業領域としてのＲＡＭ等を備えている。

入力部６は、動作検知装置１０の使用者から、必要に応じて、各種設定、操作入力等を受け付ける。

（動作検知装置の機能構成）
次に、制御部４の機能構成を説明する。図３には、動作検知装置１０の制御部４の機能構成が示されている。制御部４は、画像データを取得する画像データ取得部２１と、画像データから人物が存在する領域の情報を抽出する人物領域情報抽出部２２と、被観察者の姿勢に関する時系列データを抽出する時系列データ抽出部２３と、動作基本モデル格納部３に格納された動作基本モデルと抽出した時系列データの所定の時系列区分毎における類似度を算出する類似度算出部２４と、算出された類似度の組合せに基づいて総合類似度を算出し、総合類似度を用いて被観察者の動作を判定する動作算出部２５とを有する。すなわち、人物領域情報抽出部２２と、時系列データ抽出部２３と、類似度算出部２４と、動作算出部２５は、撮像部２で撮像された被観察者の撮像画像を用いて、動作基本モデル格納部３に格納された動作基本モデルを参照して被観察者の動作を判定する動作判定部２６として機能している。

また、動作検知装置１０は、制御部４の機能構成として、時系列データ抽出部２３において抽出した時系列データを所定の時系列区分毎に分類する時系列モデルデータ分類部２８と、分類された時系列モデルデータから所定の時系列区分毎の人物の動作基本モデルを作成する動作基本モデル作成部２９とを備える。これらの構成は、動作基本モデルを生成する際に使用される機能である。動作検知装置１０のもつ動作基本モデル生成装置としての機能については、後述する。

画像データ取得部２１は、ステレオカメラ１１、１２から左右の撮像画像データを取得する。撮像画像データは、所定間隔で取得されている。この所定間隔を撮像間隔（又はフレーム間隔）という。撮像間隔は、一例として、２００ｍｓｅｃ程度である。

人物領域情報抽出部２２は、画像データ取得部２１で取得された被観察者の撮像画像データに基づいて複数時点の各々における３次元の人物領域の情報を抽出する。また、時系列データ抽出部２３は、人物領域情報抽出部２２において抽出された３次元の人物領域の情報から３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つ情報を算出し、算出した値の時系列データを抽出する。

また、動作基本モデル格納部３には、人物の動作に応じた時系列データから抽出された動作基本モデル（以下、動作基本モデルという）が時系列区分Ａ３１、時系列区分Ｂ３２、時系列区分Ｃ３３、…と示すように、所定の時系列区分毎に格納されている。例えば、動作基本モデルは、動作検知装置１０の出荷時に時系列区分毎にプリインストールされている。

類似度算出部２４は、所定の時系列区分毎の動作基本モデルと、時系列データ抽出部２３で抽出された３次元の人物領域の高さ、幅及び奥行きの時系列データの所定の時系列区分毎における類似度を算出する。

動作算出部２５は、類似度算出部２４で算出された類似度の組合せに基づいて総合類似度を算出し、総合類似度を用いて被観察者の動作を判定する。

具体的には、類似度算出部２４は、時系列データ抽出部２３において抽出された時系列データを所定の時系列区分に区切る。そして、時系列区分Ａの区間に該当する時系列データと、時系列区分Ａの区間に該当する動作基本モデルとを比較し、類似度を算出する。また、類似度算出部２４は、時系列区分Ｂの区間に該当する時系列データと、時系列区分Ｂの区間に該当する動作基本モデルとを比較し、類似度を算出する。また、類似度算出部２４は、時系列区分Ｃの区間に該当する時系列データと、時系列区分Ｃの区間に該当する動作基本モデルとを比較し、類似度を算出する。その結果を受けて、動作算出部２５は、時系列区分毎に算出された類似度の組合せに基づいて算出される総合類似度を用いて被観察者の動作を判定する。判定の結果、検出された被観察者の動作に関する情報は、出力部２７を介して、通信部５に出力される。類似度算出部２４によるマッチング処理、動作算出部２５による動作判定処理についての詳細は、後述する。

抽出された時系列データを所定の時系列区分に分割して、時系列区分毎に個別に動作基本モデルとの類似度を算出する意義は、時間的長さをもった一連の「動作」が、動作の種類に応じて時系列区分毎に明確な特徴を有するからである。例えば、「転倒」を挙げる。転倒という一連の動作を、例えば、それぞれ特徴を有する３つの時系列区分Ａ，Ｂ，Ｃに分割したとき、時系列区分Ａにおいては、「立位」若しくは「立位」に近い姿勢から床に臥せる姿勢（臥位）への遷移、また、時系列区分Ｂにおいては、臥位の連続、そして、時系列区分Ｃにおいては、臥位から「座位」或いは「立位」若しくはこれらに近い姿勢への遷移、という特徴的な動作に分けることができる。このように、一連の「動き」に関する情報を、特徴が判別可能な程度にまで分割して、分割した個々に対して類似度を算出し、算出された類似度を総合して評価することによって、一連の「動き」全体の判定精度を向上させることができる。

例えば、「転倒」は、時系列区分Ａにおいて最も明確な特徴を有し、次いで時系列区分Ｂ、最後に時系列区分Ｃである。したがって、時系列区分毎に類似度の組合せに基づいて総合類似度を算出する際、時系列区分Ａにおける時系列データに対してα、時系列区分Ｂにおける時系列データに対してβ、時系列区分Ｃにおける時系列データに対してγの重み付け（但し、α＞β＞γ）を行うと、判定精度をより向上させることができる。総合類似度を算出する総合判定についての詳細は、後述する。

ここで、類似度算出部２４で動作基本モデルとのマッチングに用いる評価データとしては、３次元の人物領域の高さ、幅及び奥行きの時系列データのほか、高さと幅の比、高さと奥行きの比、幅と奥行きの比を用いることもできる。また、マッチングに用いる評価データとしては、３次元の人物領域の重心座標の時系列データを用いることもできる。

また、マッチングに用いる時系列データは、３次元の人物領域の高さと撮像間隔の比、３次元の人物領域の幅と撮像間隔の比、３次元の人物領域の奥行きと撮像間隔の比、３次元の人物領域の高さ方向の中心座標と撮像間隔の比、３次元の人物領域の幅方向の中心座標と撮像間隔の比、３次元の人物領域の奥行き方向の中心座標と撮像間隔の比であってもよい。ここで撮像間隔とは、ステレオカメラ１１，１２によって取得される画像の撮像間隔（フレーム間隔をいう）。時系列データを算出するための３次元画像データを取得する間隔が不定であるため、撮像間隔との比をとると、時間で正規化することができ、時系列データの信頼度が向上するという利点がある。評価データについては、後述する。

（動作検知に使用するための評価データ）
本実施形態にかかる動作検知装置１０において、動作の検知に使用するための評価データについて説明する。動作検知装置１０は、撮像部２によって取得された３次元画像データから、被観察者の３次元の人物領域の情報を抽出することができる。図４は、動作検知装置１０の制御部４における人物領域情報抽出部２２で抽出される３次元の人物領域の情報を説明する模式図である。人物領域情報抽出部２２において抽出される、図４に示す人物領域情報から、被観察者の幅、奥行き、高さを検出することができる。

３次元の人物領域の情報は、最初に３次元の絶対座標（Ｘ，Ｙ，Ｚ）に関する上限値、下限値が抽出される。すなわち、Ｘ座標上の最大値（Ｘmax）と最小値（Ｘmin）、Ｙ座標上の最大値（Ｙmax）と最小値（Ｙmin）、Ｚ軸上の最大値（Ｚmax）と最小値（Ｚmin）が抽出される。次に、これら最大値及び最小値から、人物領域の高さ、幅、奥行きが算出される。

人物領域の高さ＝Ｙmax−Ｙmin
人物領域の幅＝Ｘmax−Ｘmin
人物領域の奥行き＝Ｚmax−Ｚmin
また、人物領域の重心座標は、最大値及び最小値から、以下のようにして算出される。

重心Ｘ＝（Ｘmax＋Ｘmin）／２
重心Ｙ＝（Ｙmax＋Ｙmin）／２
重心Ｚ＝（Ｚmax＋Ｚmin）／２
例えば、被観察者が転倒し、しばらくした後、起き上がるという一連の動作について考える。このとき、人物領域情報抽出部２２において抽出された３次元画像データにおける人物領域の情報から検出される被観察者の高さの値の時間変化を検出すると、図５（ａ）のようになる。すなわち、時間経過とともに頭部の位置が下がり、再び元の高さ付近まで回復するという挙動である。

また、例えば、人物領域情報抽出部２２において抽出された３次元画像データにおける人物領域情報から検出される被観察者の幅方向の値の時間変化を検出すると、図５（ｂ）のようになる。すなわち、転倒時には体幹部が傾くので、人物領域は幅方向に極大をもち、時間経過とともに再び元の幅程度まで回復するという挙動を示す。同様に奥行き方向の値の時間変化は、例えば、図５（ｃ）のようになる。値の変化は、被観察者が撮像部２の撮像方向に対してどちらの方向に転倒したかによって異なる。

一例として、被観察者の高さ方向の値の変化に着目した場合、被観察者の転倒〜起き上がりという一連の動作は、図６に示す時系列データとして取得することができる。縦軸は、居室の床面に垂直方向の人物領域のサイズであり、横軸は時間である。したがって、閾値Ｔｈ１，Ｔｈ２を設定すれば、高さ方向の時系列データから「立位」、「座位」、「臥位」などの姿勢を判定することができる。高さ方向の値に着目した場合には、閾値Ｔｈ２以上であれば、「立位」、閾値Ｔｈ１以下であれば「臥位」、閾値Ｔｈ１〜Ｔｈ２であれば「座位」と判定することができる。同様に、幅方向、奥行き方向の時系列データからも、「立位」、「座位」、「臥位」などの姿勢を判定することができる。この時系列データを、動作を評価するための評価データとして使用する。

本実施形態では、ステレオカメラ１１，１２で取得した３次元画像データから抽出された被観察者の一連の動作を表す時系列データの比較基準となる動作基本モデルが所定の時系列区分毎に格納されている。３次元画像データから抽出された時系列データと、所定の時系列区分毎に用意された動作基本モデルとをマッチングして、時系列区分毎に類似度を算出し、算出した類似度の組合せに基づいて総合類似度を算出し、総合類似度を用いて被観察者の動作を判定することを特徴としている。

動作基本モデルは、例えば、人物の動作における時系列データを集めて、ＨＭＭ（隠れマルコフモデル）法、ＤＰマッチング法等の統計モデル生成手法を用いて作成することができる。類似度算出部２４は、一例として、ＨＭＭ又はＤＰマッチング等を用いて、人物領域情報抽出部２２によって抽出された人物領域情報から抽出される時系列データと、動作基本モデルとのマッチングを行って、例えば、「前方転倒」、「後方転倒（しりもち）」、「座る」、「寝転び」などの動作を検知することができる。

（動作検知処理の概略）
図７は、動作検知処理の概略を説明するフローチャートである。

動作検知装置１０は、ステレオカメラ１１、１２から画像（左右画像）を取得する（ステップＳ１１）。画像を取得する時間間隔は、ステップＳ１１に戻るタイミングによって異なるが、一例として、２００ｍｓｅｃ程度である。取得した左右画像に基づいて、３次元の人物領域の抽出処理を行う（ステップＳ１２）。これにより、カメラ座標系での３次元の人物領域の情報（３次元空間での人物領域プロット群）が得られる。次に、得られた３次元の人物領域の情報に基づいて、姿勢推定処理を行う（ステップＳ１３）。つまり、被観察者の現在の姿勢（立位、座位、臥位）を推定する。

次に、今回取得したフレームに関するデータ群を第１バッファに保存する（ステップＳ１４）。データ群は、時刻情報、入力画像データ、３次元の人物領域の情報、姿勢推定処理で得られる被観察者の幅、高さ、奥行き情報及び姿勢推定結果からなる。第１バッファは、数フレーム分のデータ群を記憶することができるバッファである。所定フレーム分のデータ群が蓄積されている場合には、時間的に最も古い１フレーム分のデータ群が消去されて、新たな１フレーム分のデータ群が蓄積される。

次に、フラグＦがセットされているか否かを判別する（ステップＳ１５）。フラグＦは、動作を判定するためのデータを蓄積する期間であることを記憶する指標として用いられ、初期設定では、フラグＦはリセット（Ｆ＝０）されている。

フラグＦがセットされていないときには（ステップＳ１５：Ｎｏ）、姿勢推定結果の履歴データ等に基づいて、動作を判定するためのデータを蓄積する期間の開始点であるか否かを判別する（ステップＳ１６）。この判別処理の詳細については、後述する。開始点ではないと判別した場合には、ステップＳ１１に戻る。

上記ステップＳ１６において、動作を判定するためのデータを蓄積する期間の開始点であると判別した場合には、フラグＦをセットした後（ステップＳ１７）、今回取得したフレームに関するデータ群を第２バッファに蓄積する（ステップＳ１８）。この場合には、データ群として、開始点からの経過時間情報（開始点からのフレーム数で表される）が追加される。そして、動作を判定するためのデータを蓄積する期間の終了点であるか否かを判別する（ステップＳ１９）。この判別処理の詳細については、後述する。動作を判定するためのデータを蓄積する期間の終了点ではないと判別した場合には、ステップＳ１１に戻る。

ステップＳ１９からＳ１１に戻った場合には、次のステップＳ１５では、Ｆ＝１となっているので、ステップＳ１５からステップＳ１８に移行し、第１バッファだけでなく、第２バッファにもデータ群が蓄積される。

上記ステップＳ１９において、動作を判定するためのデータを蓄積する期間の終了点であると判別した場合には、フラグＦをリセットした後（ステップＳ２０）、第２バッファに蓄積されたデータ群に基づいて、動作判定処理を行う（ステップＳ２１）。

動作判定処理の結果に基づいて、例えば、前方転倒、後方転倒（しりもち）、座る、寝転び等の動作を監視装置２０、移動通信端末３０等に通知する。

また、動作判定処理では、動作の種別を検知してもよい。図７に示すフローチャートでは、ステップＳ２２において、動作のうち「転倒」を判定する。転倒ではないと判定された場合には（ステップＳ２２：Ｎｏ）、ステップＳ１１に戻る。動作判定処理の結果、転倒が検知された場合には（ステップＳ２２：Ｙｅｓ）、転倒が発生したことを監視装置２０、移動通信端末３０等に通知する（ステップＳ２３）。

（３次元画像データから人物領域を抽出する処理）
本実施形態にかかる動作検知装置１０において、撮像部２によって取得された３次元画像データから被観察者の３次元の人物領域の情報を抽出する処理について詳細に説明する。

図８は、図７のステップＳ１２の３次元の人物領域の抽出処理の詳細な手順を示している。

事前処理として、居室５０に被観察者が存在していない状態で、ステレオカメラ１１、１２のうちの一方のカメラ１１によって居室内を撮像した画像を取得し、取得した画像をグレイスケール化する。そして、得られた画像を背景画像として、動作検知装置１０の記憶装置に記憶しておく。

３次元画像データから人物領域を抽出する処理では、ステレオカメラ１１、１２から取得した左右画像のうち、背景画像を撮像したカメラ１１から今回取得した画像と、背景画像とを用いて、背景差分法により、２次元人物領域を抽出する。また、ステレオカメラ１１、１２から取得した２枚の画像から、３次元測量手法により、ピクセル毎に奥行き情報を算出し、３次元空間にプロットできる座標情報（３次元位置情報）を取得する。そして、２次元人物領域情報と３次元位置情報とを重ね合わせることで、３次元空間内での人物領域に相当するデータ（３次元の人物領域情報）を抽出する。

具体的には、背景画像を撮像したカメラ１１から今回取得した画像を、グレイスケール化する（ステップＳ３１）。

ステップＳ３１で得られた画像と予め記憶されている背景画像の対応する画素毎に、画素値の差の絶対値を算出することにより、両画像の差分画像を作成する（ステップＳ３２）。得られた差分画像を２値化することにより、２次元人物領域情報を抽出する（ステップＳ３３）。

一方、ステレオカメラ１１、１２から今回取得した左右画像から、周知のステレオ法を用いて、３次元位置情報を算出する（ステップＳ３４）。上記ステップＳ３３で抽出した２次元人物領域情報と、上記ステップＳ３４で算出した３次元位置情報とに基づいて、３次元の人物領域の情報を抽出する（ステップＳ３５）。

図９は、３次元の人物領域の情報によって表される３次元の人物領域画像の一例を示している。図９において、直方体１０１は、Ｘ−Ｙ平面、Ｙ−Ｚ平面及びＺ−Ｘ平面それぞれに平行な面を有し、且つ３次元の人物領域に外接する直方体である。直方体１０１の上側の図（符号１０２）は、直方体１０１の上から３次元の人物領域を見た平面図であり、直方体１０１の右側の図（符号１０３）は、直方体１０１の右から３次元の人物領域を見た側面図である。

（姿勢推定処理）
図１０は、図７のステップＳ１３の姿勢推定処理の詳細な手順を示している。３次元人物領域抽出処理によって得られた３次元の人物領域の情報に基づいて、図９に示すように、Ｘ−Ｙ平面、Ｙ−Ｚ平面及びＺ−Ｘ平面それぞれに平行な面を有しかつ３次元の人物領域に外接する直方体１０１の幅ｌｘ、高さｌｙ及び奥行きｌｚ（被観察者の幅、高さ及び奥行き）を算出する（ステップＳ４１）。ｌｘは３次元の人物領域のｘ座標の最大値と最小値との差の絶対値を算出することにより、ｌｙは３次元の人物領域のｙ座標の最大値と最小値との差の絶対値を算出することにより、ｌｚは３次元の人物領域のｚ座標の最大値と最小値との差の絶対値を算出することにより、それぞれ求められる。

次に、アトペクト比ｌｘ／ｌｙ及びｌｚ／ｌｙを算出する（ステップＳ４２）。そして、算出したアトペクト比ｌｘ／ｌｙ及びｌｚ／ｌｙと、予め定められた規則とに基づいて、被観察者の姿勢を推定する（ステップＳ４３）。

具体的には、次のような規則に基づいて、被観察者の姿勢を推定する。

（ａ）ｌｘ／ｌｙ＜０．４又はｌｚ／ｌｙ＜０．４であれば、観察者の姿勢を「立位」と推定する。

（ｂ）ｌｘ／ｌｙ＞１．５又はｌｚ／ｌｙ＞１．５であれば、観察者の姿勢を「臥位」と推定する。

（ｃ）それ以外であれば、観察者の姿勢を「座位」と推定する。

（開始点又は終了点判別処理）
図７のステップＳ１６の開始点判別処理においては、一例として、『アスペクト比ｌｘ／ｌｙ及びｌｚ／ｌｙのうちの少なくとも一方が０．７以上である状態が１秒（約５フレームに相当）以上継続していること』という開始点条件を満たしているか否かを判別し、開始点条件を満たしている場合には今回取得されたフレームが動作を判定するためのデータを蓄積する期間の開始点であると判別する。

図７のステップＳ１９の終了点判別処理においては、一例として『「アスペクト比ｌｘ／ｌｙ及びｌｚ／ｌｙのうちの少なくとも一方が０．７以下である状態が１．４秒（約７フレームに相当）以上継続していること」又は「第２バッファに蓄積されているデータ群が所定フレーム数分以上となっていること」又は「開始点からの経過時間が、所定時間以上に達していること」』という終了点条件を満たしているか否かを判別し、終了点条件を満たしている場合には、今回取得されたフレームが動作を判定するためのデータを蓄積する期間の終了点であると判別する。

（動作判定処理）
上述した３次元人物領域抽出処理及び姿勢推定処理により求められた３次元の人物領域に外接する直方体１０１の幅ｌｘの時間変位、高さｌｙの時間変位、及び奥行きｌｚの時間変位の時系列データを所定の時系列区分に分割し、所定の時系列区分毎に用意された動作基本モデルとマッチングして、時系列区分毎の類似度を算出する。そして、所定の時系列区分毎における類似度の組合せに基づいて算出される総合類似度を用いて被観察者の動作を判定する。動作判定処理では、マッチング方法として、ＨＭＭ、ＤＰマッチング等を用いることができる。

この例では、「前方転倒」、「後方転倒（しりもち）」、「寝転び」及び「座る」に対する動作基本モデルを用意する。ここでは、動作基本モデルとして、隠れマルコフモデル（ＨＭＭ）を用いる。各時系列区分の動作基本モデルは、その時系列区分に対応した学習データに基づいて作成される。例えば、「前方転倒」は、「前方転倒」動作の学習データに基づいて作成される。なお、学習データとしては、経過時間情報（開始点からのフレーム数で表される）、及び上述した姿勢推定処理で算出された被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）に関する時系列データが用いられる。

第２バッファに蓄積されているデータ群のうち、経過時間情報（開始点からのフレーム数で表される）及び被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）を時系列データとし、上記時系列データが再現できる確率（尤度）を、動作基本モデルである「前方転倒モデル」、「後方転倒モデル」、「座るモデル」、「寝転びモデル」の各々に対して計算する。そして、最も尤度が高いモデルを求める。最も尤度が高いモデルに対応する挙動が、被観察者の挙動となる。例えば、最も尤度が高いモデルが前方転倒モデルであれば、被観察者が前方転倒したと判定することができる。また、最も尤度が高いモデルが後方転倒モデルである場合には、後方転倒したと判定することができる。

図１１乃至図１３は、本実施形態にかかる動作検知装置１０の動作基本モデル格納部３に格納される動作基本モデルを説明する模式図である。図１１には、時系列区分Ａ３１に格納された動作基本モデルの一例が示されている。時系列区分Ａ３１には、立位から臥位を表す指標（図６の閾値Ｔｈ１，Ｔｈ２）が含まれる期間ｔ１〜ｔ２間に用いる「前方転倒モデル」、「後方転倒モデル」、「座るモデル」、「寝転びモデル」が格納されている。

図１２には、時系列区分Ｂ３２に格納された動作基本モデルの一例が示されている。時系列区分Ｂ３２には、寝転びを表す指標（閾値Ｔｈ１以下）が含まれる期間ｔ２〜ｔ３間に用いる「前方転倒モデル」、「後方転倒モデル」、「座るモデル」、「寝転びモデル」が格納されている。

図１３には、時系列区分Ｃ３３に格納された動作基本モデルの一例が示されている。時系列区分Ｃ３３には、寝転びから立位への変化を表す指標（閾値Ｔｈ１，Ｔｈ２）が含まれる期間ｔ３〜ｔ４間に用いる「前方転倒モデル」、「後方転倒モデル」、「座るモデル」、「寝転びモデル」が格納されている。

なお、動作基本モデルとは、基本となる時系列データのパターンそのものではなく、複数の時系列データから抽出した動作基本モデルの各種パラメータである。例えば、ＨＭＭであれば、初期状態、終了状態、状態遷移行列、出力行列、状態数などである。この動作基本モデルと、被観察者の時系列データとを比較する。

（動作検知処理の詳細）
以下では、本実施形態にかかる動作検知装置１０による動作検知処理について、動作の判定処理の詳細とともに説明する。図１４は、動作検知装置１０による動作検知処理を説明するフローチャートである。

ステップＳ２０１において、動作検知装置１０は、被観察者の画像データを取得する。ステップＳ２０２において、３次元画像データから人物領域を抽出する処理（図８参照）と、姿勢推定処理（図１０参照）とを行い、時系列データを抽出する。

続いて、ステップＳ２０３において、フラグＦが１にセットされているか判定する。フラグＦがセットされていなければ（すなわち、初期設定Ｆ＝０）、閾値Ｔｈ２以下であるか判定する。閾値Ｔｈ２以下でない場合には、ステップＳ２０１に戻る。ステップＳ２０４において、閾値Ｔｈ２以下であれば、ステップＳ２０５において、フラグＦを１にセットした後、ステップＳ２０６において、時系列データを一時的に保存する。

ステップＳ２０７において、閾値Ｔｈ２以上であるか判定する。閾値Ｔｈ２以下であれば、ステップＳ２０１に戻る。閾値Ｔｈ２以上のとき、ステップＳ２０８において、フラグＦを０にし、データ蓄積を終了する。

次に、動作検知装置１０は、ステップＳ２０９において、蓄積した時系列データを閾値によって分けられる時系列区分Ａ（期間ｔ１〜ｔ２）、時系列区分Ｂ（期間ｔ２〜ｔ３）、時系列区分Ｃ（期間ｔ３〜ｔ４）の３区間で切り出す。

動作検知装置１０は、ステップＳ２１０において、期間ｔ１〜ｔ２における時系列データをこの期間に対応して用意された動作基本モデル（図１１参照）とマッチングする。また、ステップＳ２１１において、期間ｔ２〜ｔ３における時系列データをこの期間に対応して用意された動作基本モデル（図１２参照）とマッチングする。また、ステップＳ２１２において、期間ｔ３〜ｔ４における時系列データをこの期間に対応して用意された動作基本モデル（図１３参照）とマッチングする。

具体的に、動作検知装置１０の制御部４における類似度算出部２４は、図１１乃至図１３に示した動作基本モデルと、人物領域情報から抽出された所定の時系列区分毎の時系列データとをＨＭＭにより比較する。ＨＭＭを用いた場合、マッチング結果（類似度）は、尤度で表される。

図１５には、期間ｔ１〜ｔ２（時系列区分Ａという）におけるマッチング結果Ａと、期間ｔ２〜ｔ３（時系列区分Ｂという）におけるマッチング結果Ｂと、期間ｔ３〜ｔ４（時系列区分Ｃという）におけるマッチング結果Ｃが示されている。

図１５に示す結果では、人物領域情報から抽出された時系列区分Ａにおける時系列データを前方転倒モデルにマッチングさせた結果である尤度は、−１．３２であり、同じく後方転倒モデルにマッチングさせた結果である尤度は、−４．６９であり、座るモデルにマッチングさせた結果である尤度は、−２．６０であり、寝転びモデルにマッチングさせた結果である尤度は、−５．７４である。したがって、時系列区分Ａでは、前方転倒モデルにマッチングさせた結果である尤度が最も大きい。

また、人物領域情報から抽出された時系列区分Ｂにおける時系列データを前方転倒モデルにマッチングさせた結果である尤度は、−４．７２であり、同じく後方転倒モデルにマッチングさせた結果である尤度は、−５．２９であり、座るモデルにマッチングさせた結果である尤度は、−４．６３であり、寝転びモデルにマッチングさせた結果である尤度は、−５．４４である。したがって、時系列区分Ｂでは、座るモデルにマッチングさせた結果である尤度が最も大きい。

また、人物領域情報から抽出された時系列区分Ｃにおける時系列データを前方転倒モデルにマッチングさせた結果である尤度は、−３．３２であり、後方転倒モデルにマッチングさせた結果である尤度は、−３．６９であり、座るモデルにマッチングさせた結果である尤度は、−２．６０であり、寝転びモデルにマッチングさせた結果である尤度は、−３．７４である。したがって、時系列区分Ｃでは、座るモデルにマッチングさせた結果である尤度が最も大きい。

ステップＳ２１３において、動作検知装置１０は、各時系列区分のマッチング結果を総合して、被観察者の動作が、「前方転倒」であるか、「後方転倒」であるか、「寝転び」であるか、「座る」であるかを判定する。

具体的には、それぞれの時系列区分に対して、適切に重み付けを行った後、各マッチング結果の和をとり、マッチング結果Ｄを算出する。マッチング結果Ｄにおいて尤度の最も高いモデルを判定結果とする。マッチング結果Ｄを総合類似度という。

図１５では、総合判定において、マッチング結果Ａに対して、一例として、重み係数α＝０．５を乗じ、マッチング結果Ｂに対して、重み係数β＝０．３を乗じ、マッチング結果Ｃに対して、重み係数γ＝０．１を乗じて総和をとっている。この結果、前方転倒モデルに対する尤度が−２．４１、後方転倒モデルに対する尤度が−４．３１、座るモデルに対する尤度が−２．９５、寝転びモデルに対する尤度が−４．８７であるマッチング結果Ｄが得られる。総合類似度において、前方転倒モデルの尤度が最も大きいので、被観察者の動作は、前方転倒であると判定される。

動作判定の結果は、監視装置２０、移動通信端末３０等に通知される。また、総合判定において、動作の種別を検知してもよい。例えば、ステップＳ２１４において、動作のうち「転倒」を判定する。転倒ではないと判定された場合には（ステップＳ２１４：Ｎｏ）、ステップＳ２０１に戻る。転倒が検知された場合には（ステップＳ２１４：Ｙｅｓ）、転倒が発生したことを監視装置２０、移動通信端末３０等に通知する（ステップＳ２１５）。

以上説明したように、本実施形態にかかる動作検知装置１０は、時系列データを所定の時系列区分に分割して、所定の時系列区分毎に用意した動作基本モデルでマッチングし、更にマッチング結果から総合類似度を算出することにより、時系列データ全体をマッチングする手法と比べて動作の判定結果の精度をより向上させることができる。

なお、本実施形態にかかる動作検知装置１０では、各時系列区分の結果を加えて、動作毎の尤度の和が大きいものを、この場合の被観察者の動作であると判定してもよい。また、実施形態では、動作の判定に用いるデータは、人物領域情報抽出部２２で抽出された３次元の人物領域の高さ、幅及び奥行きの時系列データであるとしたが、３次元の人物領域の情報から得られる他の変位量の時系列データであっても使用することができる。

このように、動作の判定に、人物領域情報抽出部２２で抽出された３次元の人物領域の高さ、幅、奥行き、時間、またこれらパラメータの相関関係等を適宜組み合わせて使用すると、判定に用いるデータ（時系列データ）に特徴量をもたせることができ、より厳密なマッチングが行える場合がある。なお、この場合には、当然のことながら、後述する動作基本モデル生成処理でも、同様の時系列データに基づいて動作基本モデルを生成する。

（作用・効果）
本発明の実施形態にかかる動作検知装置１０は、動作基本モデル格納部３に、被観察者の動作に応じた時系列データから抽出された動作基本モデルが所定の時系列区分毎に格納されており、所定の時系列区分毎の動作基本モデルと、抽出された時系列データとの、所定の時系列区分毎における類似度を算出し、算出した類似度の組合せに基づいて総合類似度を算出し、総合類似度を用いて被観察者の動作を判定することができる。したがって、動作検知装置１０によれば、被観察者の「前方転倒」、「後方転倒（しりもち）」、「座る」、「寝転び」などの動作を判定する際の検出精度を向上することができる。検出されたデータは、所定の時系列区分毎に動作基本モデルと類似度が検証され、これらを合わせて総合的に類似度を判定するので、動作の検出精度を向上することができる。

（動作基本モデル生成処理）
本実施形態にかかる動作検知装置１０は、被観察者の動作の判定処理に先立って、判定の基準となる動作基本モデルを生成処理が行われる。すなわち、動作検知装置１０は、動作基本モデル生成装置として機能する。

この場合、動作検知装置１０は、制御部４の機能構成として、人物の撮像画像を取得する画像データ取得部２１と、撮像画像に基づいて複数の３次元の人物領域の情報を抽出する人物領域情報抽出部２２と、複数の３次元の人物領域情報から３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つを算出し、算出した値の時系列モデルデータを抽出する時系列モデルデータ抽出部と、時系列モデルデータ抽出部において抽出した時系列データを所定の時系列区分毎に分類する時系列モデルデータ分類部２８と、分類された時系列モデルデータから所定の時系列区分毎の人物の動作基本モデルを作成する動作基本モデル作成部２９とを備えている。なお、動作基本モデル生成装置の構成は、図３に示す時系列データ抽出部２３としての機能を、時系列モデルデータを抽出する時系列モデルデータ抽出部としての機能に置き換えることで説明できる。

図１６は、動作検知装置１０による動作基本モデル生成処理を説明するフローチャートである。

ステップＳ２２１において、動作検知装置１０は、被観察者の画像を取得する。ステップＳ２２２において、動作検知装置１０は、複数時点での被観察者の撮像画像データに基づいて複数時点の各々における３次元の人物領域の情報を抽出する。

ステップＳ２２３において、各時点における３次元の人物領域の情報から３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つを算出し、算出した値の時系列モデルデータを抽出する。

ステップＳ２２４において、動作検知装置１０は、抽出した時系列モデルデータを所定の時系列区分（期間ｔ１〜ｔ２、期間ｔ２〜ｔ３、期間ｔ３〜ｔ４）毎に分類する。

ステップＳ２２５において、動作検知装置１０は、分類された時系列モデルデータから時系列区分毎の被観察者の動作の動作基本モデルを作成する。

ステップＳ２２６において、動作検知装置１０は、作成した時系列区分毎の動作基本モデルを動作基本モデル格納部３に格納する。すなわち、期間ｔ１〜ｔ２における動作基本モデルを時系列区分Ａ３１に、期間ｔ２〜ｔ３における動作基本モデルを時系列区分Ｂ３２に、期間ｔ３〜ｔ４における動作基本モデルを時系列区分Ｃ３３に格納する。

以上の処理により、動作検知装置１０は、被観察者の一連の動作にかかる時系列モデルデータを所定の時系列区分に分割し、時系列区分毎に動作基本モデルを作成することができるので、動作基本モデルと比較対象となるデータとの類似度を比較する際の比較精度の向上を図ることができる。

なお、動作基本モデル生成処理は、動作検知装置１０でない別の装置において行われてもよい。この場合には、動作検知装置１０は、別の装置で生成された動作基本モデルをインストールして使用する。或いは動作検知装置１０によって読取可能な記憶媒体等に記憶して提供されたものを使用する。

［姿勢推定処理の変形例］
上述した実施形態では、被観察者の幅、高さ及び奥行きから求められたアスペクト比ｌｘ／ｌｙ及びｌｚ／ｌｙに基づいて、被観察者の姿勢を推定しているが、被観察者の背筋の向きに相当するベクトル（人物主軸）の向きに基づいて、被観察者の姿勢を推定するようにしてもよい。

つまり、図１７に示すように、人物主軸ＱのＸ−Ｚ平面となす角γ（人物主軸の向き）を求め、次のような規則に基づいて、被観察者の姿勢を推定する。

（ａ）γ＞π／２×０．６であれば、観察者の姿勢を「立位」と推定する。

（ｂ）γ＜π／２×０．３であれば、観察者の姿勢を「臥位」と推定する。

（ｃ）それ以外であれば、観察者の姿勢を「座る」と推定する。

図１８は、人物主軸Ｑの向きと姿勢推定結果の例を示し、図１８（ａ）は「立位」と推定される例を、図１８（ｂ）は「座位」と推定される例を、図１８（ｃ）は「臥位」と推定される例を、それぞれ示している。

以下、人物主軸の向きの求め方について説明する。人物主軸の向きの求め方には第１方法と第２方法とがある。

まず、第１方法について説明する。第１方法は、主成分分析を用いて、人物主軸の向きを求める方法である。

図１９は、人物主軸の向きの算出方法（第１方法）の手順を示している。

３次元の人物領域の情報（人物領域の３次元空間でのプロット群）を、Ｘ−Ｙ平面に射影することにより、Ｘ軸をＵ軸、Ｙ軸をＶ軸とするＵＶ座標系の第１の射影画像を得るとともに、３次元の人物領域の情報を、Ｙ−Ｚ平面に射影することにより、Ｚ軸をＵ軸、Ｙ軸をＶ軸とするＵＶ座標系の第２の射影画像を得る（ステップＳ５１）。次に、射影画像毎に、重心を算出する（ステップＳ５２）。そして、各射影画像の全座標値を、重心を原点とする座標値に修正する（ステップＳ５３）。

次に、座標値修正後の第１の射影画像から主成分分析を用いて固有ベクトル（第１主成分の傾きを表すベクトル）を算出するとともに、座標値修正後の第２の射影画像から主成分分析を用いて固有ベクトル（第１主成分の傾きを表すベクトル）を算出する（ステップＳ５４）。そして、ステップＳ５４で算出された２つの固有ベクトルを合成することにより、人物主軸の向きを示すベクトルを求める（ステップＳ５５）。そして、人物主軸の向きを示すベクトルから人物主軸の向きγを求める（ステップＳ５６）。

固有ベクトルの算出方法について説明する。各固有ベクトルの算出方法は同様であるので、第１の固有ベクトルの算出方法について説明する。まず、座標値修正後の第１の射影画像に基づいて、変量ｕの分散ｓ_ｕ、変量ｖの分散ｓ_ｖ、及び変量ｕ，ｖの共分散ｓ_ｕｖを算出する。そして、分散ｓ_ｕ、ｓ_ｖ及び共分散ｓ_ｕｖを用いて、固有値λを算出する。分散ｓ_ｕ、ｓ_ｖ及び共分散ｓ_ｕｖを用いて固有値λを算出する方法は、主成分分析においてよく知られているのでその詳細を省略する。次に、固有値λを用いて固有ベクトルを算出する。固有値λを用いて固有ベクトルを算出する方法は、主成分分析においてよく知られているのでその詳細を省略する。

図２０は、人物主軸の向きの算出方法（第２方法）の手順を示している。

３次元の人物領域の情報（人物領域の３次元空間でのプロット群）を、Ｘ−Ｙ平面に射影することにより、第１の射影画像を得るとともに、３次元の人物領域の情報を、Ｙ−Ｚ平面に射影することにより、第２の射影画像を得る（ステップＳ６１）。次に、射影画像毎に、重心を算出する（ステップＳ６２）。そして、各射影画像の全座標値を、重心を原点とする座標値に修正する（ステップＳ６３）。

次に、座標値修正後の第１の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第１の線分の傾きを求めるとともに、座標値修正後の第２の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第２の線分の傾きを求める（ステップＳ６４）。そして、ステップＳ６４で求められた２つの線分の傾きに基づいて、人物主軸の向きγを求める（ステップＳ６５）。

図２１に示すように、第１の射影画像から得られた第１の線分の傾きをα、第２の射影画像から得られた第２の線分の傾きをβとすると、各線分の向きを示す単位ベクトルｖ１、ｖ２は、次式（１）で表される。

ｖ１＝（ｃｏｓα，ｓｉｎα）
ｖ２＝（ｃｏｓβ，ｓｉｎβ） …（１）
次式（２）に基づいて、ｖ１、ｖ２を合成すると、人物主軸の向きを示すベクトルＶが得られる。

Ｖ＝（ｃｏｓα，ｓｉｎα＋ｓｉｎβ，ｃｏｓβ） …（２）
人物主軸の向きαは、次式（３）に基づいて、求められる。

ｔａｎγ＝（ｓｉｎα＋ｓｉｎβ）／（ｃｏｓα２＋ｃｏｓβ２）１／２ …（３）
第１の線分及び第２の線分の求め方について説明する。各線分の求め方は同様であるので、第１の線分の求め方について説明する。

図２２は、第１の線分の求め方を示している。

まず、ステップＳ６１で得られた第１の射影画像を、図２３に示すように、一定間隔を有するＹ軸に平行な複数の分割線により、射影画像をＸ軸方向に複数の領域に分割する（ステップＳ７１）。分割領域毎に人物領域のｙ座標の最大値と最小値に対応する点を輪郭点Ｐｉとして特定する（ステップＳ７２）。

輪郭点のうちｘ座標が最も大きくかつｙ座標が０に最も近い輪郭点を点Ａとし、点Ａを含む分割領域を注目領域とする（ステップＳ７３）。図２３の例では、点Ｐ１が点Ａとして特定される。点Ａ以外の輪郭点のうち、点Ａと原点を結ぶ直線に最も近い輪郭点を求め、点Ｂとする（ステップＳ７４）。図２３の例では、点Ａが点Ｐ１である場合には、点Ｐ７が点Ｂとされる。点Ａと点Ｂを結ぶ線分の距離（Ａ−Ｂ間距離）を算出して保持する（ステップＳ７５）。

次に、注目領域が、輪郭点のうちｘ座標が最も小さい輪郭点を含む分割領域（最終処理領域）であるか否かを判別する（ステップＳ７６）。現在の注目領域が最終処理領域でなければ、注目領域を、現在の注目領域に対してｘ座標が小さくなる方向に隣接する分割領域に更新する（ステップＳ７７）。そして、更新された注目領域内において、ｙ座標が最も大きい輪郭点を点Ａとする（ステップＳ７８）。そして、ステップＳ７４に戻り、ステップＳ７４以降の処理を再度行う。

上記ステップＳ７６において、現在の注目領域が最終処理領域であると判別された場合には、Ａ−Ｂ間の距離が最大である線分を第１の線分として特定する（ステップＳ７９）。図２３の例では、点Ｐ３と点Ｐ９とを結ぶ線分が第１の線分として特定される。

［動作の判定処理の変形例］
既に述べた実施形態では、図７のステップＳ２１の動作判定処理は、ＨＭＭを利用している。ここでは、ＤＰマッチングを利用する場合について説明する。この例では、「前方転倒」、「後方転倒（しりもち）」、「寝転び」及び「座る」に対する動作基本モデルを用意する。各時系列区分の動作基本モデルは、その時系列区分に対応した学習データに基づいて作成される。例えば、「前方転倒」は、「前方転倒」動作の学習データに基づいて作成される。なお、学習データとしては、経過時間情報（開始点からのフレーム数で表される）、及び上述した姿勢推定処理で算出された被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）からなる時系列データが用いられる。学習データに基づいて、複数時点での被観察者の動き量の程度（多、中、少）からなる学習モデルが作成される。

図２４は、動作の判定処理の手順を示している。図２５は、動作の判定処理の手順を模式図で表している。

まず、第２バッファに保存されている複数フレーム分の被観察者の幅、高さ、奥行き情報（ｌｘ，ｌｙ，ｌｚ）及び時刻情報（図２５に時系列データ２０１で示す）に基づいて、複数時点での単位時間当たりの動き量データ（ｄｌｘ／ｄｔ，ｄｌｙ／ｄｔ，ｄｌｚ／ｄｔ）を求める（ステップＳ１１１）。

時系列データ２０１における各隣合うフレーム間のｌｘ，ｌｙ，ｌｚの差分ｄｌｘ、ｄｌｙ、ｄｌｚを、それらのフレーム間の時間差で除算することにより、複数時点での単位時間当たりの動き量データが得られる。

次に、各時点での３種類の動き量データのうちの最大値と、予め設定した２つの閾値に基づいて、各時点での動き量を３種類（多、中、少）にシンボル化する（ステップＳ１１２）。これにより、図２５に示すような複数時点でのシンボル化データからなるパターン２０２が得られる。

得られたパターン２０２と挙動毎の学習モデル（図２５に２１１〜２１４で示す）との距離（類似度）をＤＰマッチングにより算出する（ステップＳ１１３）。

ＤＰマッチングを用いる場合も同様に、被観察者の一連の動作を表す時系列データの比較基準となる動作基本モデルが所定の時系列区分毎に格納されている。そして、時系列区分毎に動作基本モデルとのＤＰマッチングを行う。

すなわち、動作検知装置１０は、蓄積した時系列データを時系列区分Ａ（期間ｔ１〜ｔ２）、時系列区分Ｂ（期間ｔ２〜ｔ３）、時系列区分Ｃ（期間ｔ３〜ｔ４）の３区間で切り出し、期間ｔ１〜ｔ２における時系列データをこの期間に対応して用意された動作基本モデルとマッチングする。また、動作検知装置１０は、期間ｔ２〜ｔ３における時系列データをこの期間に対応して用意された動作基本モデルとマッチングする。更に、期間ｔ３〜ｔ４における時系列データをこの期間に対応して用意された動作基本モデルとマッチングする。

そして、動作検知装置１０は、期間毎のマッチングにより、パターン間の距離が最も短い学習モデル（動作基本モデル）に対応する動作を被観察者の動作であるとし、更に、マッチング結果から総合的に被観察者の動作、すなわち、「前方転倒」、「後方転倒」、「寝転び」、「座る」を判定する（ステップＳ１１４）。

具体的には、それぞれの時系列区分に対して、適切に重み付けを行った後、各マッチング結果の総和である総合類似度を算出する。総合類似度において尤度の最も高いモデルを判定結果とする。

例えば、図１５に示す例と同様に、総合判定において、それぞれの動作基本モデルに対するマッチング結果に適宜重み係数を乗じて、総和をとる。総合類似度において尤度が最も大きいモデルを被観察者の動作であると判定する。

以上説明したように、本実施形態にかかる動作検知装置１０は、時系列データを所定の時系列区分に分割して、所定の時系列区分毎に用意した動作基本モデルでマッチングし、更にマッチング結果から総合類似度を算出することにより、時系列データ全体をマッチングする手法と比べて動作の判定結果の精度をより向上させることができる。

［その他の実施形態］
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

本発明の実施形態にかかる動作検知システムを説明する構成図である。 本発明の実施形態にかかる動作検知装置を説明する構成図である。 前記動作検知装置の制御部の機能を説明する機能構成図である。 前記動作検知装置の人物領域情報抽出部で抽出される人物領域情報を説明する模式図である。 （ａ）は、前記人物領域情報抽出部において抽出された人物領域情報から検出される被観察者の高さの値の時間変化を表す図であり、（ｂ）は、幅方向の時間変化を表す図であり、（ｃ）は、奥行き方向の時間変化を表す図である。 被観察者の高さ方向の値の変化に着目した場合、被観察者の転倒〜起き上がりという一連の動作における時系列データを説明する図である。 動作検知処理の詳細な手順を示すフローチャートである。 図７のステップＳ１２の３次元の人物領域抽出処理の詳細な手順を示すフローチャートである。 ３次元の人物領域情報に対応する３次元の人物領域画像の一例を示す模式図である。 図７のステップＳ１３の姿勢推定処理の詳細な手順を示すフローチャートである。 本実施形態にかかる動作検知装置の動作基本モデル格納部に格納される動作基本モデルを説明する模式図である。 本実施形態にかかる動作検知装置の動作基本モデル格納部に格納される動作基本モデルを説明する模式図である。 本実施形態にかかる動作検知装置の動作基本モデル格納部に格納される動作基本モデルを説明する模式図である。 本実施形態にかかる動作検知装置によるＨＭＭを用いた動作判定処理を説明するフローチャートである。 本実施形態にかかる動作検知装置の動作判定部による各時系列区分におけるマッチング結果から、総合的に動作を判定する処理を説明する模式図である。 本実施形態にかかる動作検知装置による動作基本モデル生成処理を説明するフローチャートである。 人物主軸Ｑ及び人物主軸ＱのＸ−Ｚ平面となす角γを示す模式図である。 人物主軸Ｑの向きと姿勢推定結果の例を示す模式図である。 人物主軸の算出方法（第１方法）の手順を示すフローチャートである。 人物主軸の算出方法（第２方法）の手順を示すフローチャートである。 第１の射影画像から得られた第１の線分の傾きαと、第２の射影画像から得られた第２の線分の傾きβとを示す模式図である。 第１の線分の求め方を示すフローチャートである。 第１の線分の求め方を説明するための模式図である。 本実施形態にかかる動作検知装置の動作判定部によるＤＰマッチングを用いた動作判定処理を説明するフローチャートである。 ＤＰマッチングによる動作判定処理の手順を説明するための模式図である。

符号の説明

２…撮像部、３…動作基本モデル格納部、４…制御部、１０…動作検知装置、１１，１２…ステレオカメラ、２０…監視装置、２１…画像データ取得部、２２…人物領域情報抽出部、２３…時系列データ抽出部、２４…類似度算出部、２５…動作算出部、２６…動作判定部、２７…出力部、２８…時系列モデルデータ分類部、２９…動作基本モデル作成部、３０…移動通信端末、４０…ネットワーク

Claims (8)

1. 被観察者を撮像する撮像部と、
   人物の所定動作の３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つの時系列データから抽出された動作基本モデルが所定の時系列区分毎に格納された動作基本モデル格納部と、
   前記撮像部で撮像された前記被観察者の撮像画像を用いて、前記動作基本モデル格納部に格納された前記動作基本モデルを参照して前記被観察者の動作を判定する動作判定部と
   を備え、
   前記動作判定部は、
   前記被観察者の撮像画像を用いて複数の３次元の人物領域の情報を抽出する人物領域情報抽出部と、
   前記複数の３次元の人物領域の情報から３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つを算出し、算出した値の時系列データを抽出する時系列データ抽出部と、
   前記動作基本モデルと前記時系列データ抽出部で抽出された時系列データの前記所定の時系列区分毎における類似度を算出する類似度算出部と、
   算出された前記類似度の組合せに基づいて総合類似度を算出し、前記総合類似度を用いて前記被観察者の動作を判定する動作算出部と
   を有することを特徴とする動作検知装置。
2. 前記時系列データ抽出部は、前記複数の３次元の人物領域の情報から前記３次元の人物領域の高さ、幅及び奥行きの時系列データ、高さと幅の比、高さと奥行きの比、幅と奥行きの比のうち少なくとも１つの値の時系列データを抽出することを特徴とする請求項１に記載の動作検知装置。
3. 前記時系列データ抽出部は、前記複数の３次元の人物領域の情報から前記３次元の人物領域の重心座標の時系列データを抽出することを特徴とする請求項１に記載の動作検知装置。
4. 前記時系列データ抽出部は、前記３次元の人物領域の高さと撮像間隔の比、前記３次元の人物領域の幅と撮像間隔の比、前記３次元の人物領域の奥行きと撮像間隔の比、前記３次元の人物領域の高さ方向の中心座標と撮像間隔の比、前記３次元の人物領域の幅方向の中心座標と撮像間隔の比、前記３次元の人物領域の奥行き方向の中心座標と撮像間隔の比のうちの少なくとも１つの値の時系列データを抽出することを特徴とする請求項１乃至３のいずれか１項に記載の動作検知装置。
5. 人物の撮像画像を取得する画像データ取得部と、
   前記撮像画像に基づいて複数の３次元の人物領域の情報を抽出する人物領域情報抽出部と、
   前記複数の３次元の人物領域情報から３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つを算出し、算出した値の時系列モデルデータを抽出する時系列モデルデータ抽出部と、
   前記時系列モデルデータ抽出部において抽出した時系列モデルデータを所定の時系列区分毎に分類する時系列モデルデータ分類部と、
   前記分類された時系列モデルデータから前記所定の時系列区分毎の人物の動作基本モデルを作成する動作基本モデル作成部と、
   前記動作基本モデルが時系列区分毎に格納される動作基本モデル格納部と
   を備えることを特徴とする動作基本モデル生成装置。
6. 前記動作基本モデル作成部は、前記３次元の人物領域の高さ、幅及び奥行きの時系列モデルデータ、高さと幅の比、高さと奥行きの比、幅と奥行きの比のうち少なくとも１つの値の時系列モデルデータに関して、人物の動作基本モデルを作成することを特徴とする請求項５に記載の動作基本モデル生成装置。
7. 被観察者の撮像画像を用いて、メモリに格納された人物の所定動作における３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つの時系列データから抽出された動作基本モデルを参照して被観察者の動作を検知する動作検知装置として機能するコンピュータに、
   被観察者の撮像画像を取得する工程（Ａ）と、
   取得した前記撮像画像を用いて複数の３次元の人物領域の情報を抽出する工程（Ｂ）と、
   前記複数の３次元の人物領域の情報から３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つを算出し、算出した値の時系列データを抽出する工程（Ｃ）と、
   前記動作基本モデルと抽出された前記時系列データの前記所定の時系列区分毎における類似度を算出する工程（Ｄ）と、
   算出された前記類似度の組合せに基づいて総合類似度を算出し、前記総合類似度を用いて前記被観察者の動作を判定する工程（Ｅ）と、
   を実行させることを特徴とする動作検知プログラム。
8. 人物の撮像画像を用いて、人物の所定動作における３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つの時系列データから抽出された動作基本モデルを作成する動作モデル生成装置として機能するコンピュータに、
   人物の撮像画像を取得する工程（ａ）と、
   取得した前記撮像画像を用いて複数の３次元の人物領域の情報を抽出する工程（ｂ）と、
   前記複数の３次元の人物領域情報から３次元の人物領域の高さ、幅及び奥行きのうちの少なくとも１つを算出し、算出した値の時系列モデルデータを抽出する工程（ｃ）と、
   抽出した前記時系列モデルデータを所定の時系列区分毎に分類する工程（ｄ）と、
   分類された前記時系列モデルデータから前記所定の時系列区分毎の人物の動作基本モデルを作成する工程（ｅ）と、
   作成した前記動作基本モデルを時系列区分毎にメモリに格納する工程（ｆ）と
   を実行させることを特徴とする動作基本モデル生成プログラム。

Images