JP2002197463A - 挙動検出装置および挙動検出システム - Google Patents

Abstract

(57)【要約】 【課題】 対象物の挙動検出において、静止・移動の判
定や姿勢判定を精度良く実行可能にする。 【解決手段】 人体候補領域抽出手段２０は、画像から
挙動検出の対象となる人の領域を抽出する。頭頂部画像
座標抽出手段３０は抽出された人体領域から頭頂部の画
像座標を抽出し、座標変換手段４０は身長データを用い
て画像座標を実世界座標に変換する。距離算出手段８０
は、一の時刻の頭頂部の実世界座標と、保持手段７０に
保持された所定時間過去の頭頂部の実世界座標との間の
距離を求め、求めた距離と所定の閾値とを比較して、人
が移動状態か静止状態かを判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、監視等の目的で、
カメラで取得した画像から、その画像に撮された対象物
の位置や姿勢を検出する挙動検出技術に属するものであ
る。

【０００２】

【従来の技術】図２０は従来の挙動検出装置の構成の一
例を示す図である（大石他、「動画像中の人物像のリア
ルタイムアニメーション化」，電子情報通信学会技術報
告書，ＰＲＭＵ９８−２６４（１９９９−０３）参
照）。

【０００３】図２０において、９０１は検出対象領域が
画像に入るように、天井付近の高い位置に設置されたカ
メラの映像を入力する画像入力手段、９０２は人体候補
領域抽出手段、９０３は足元検出手段、９０４は足元の
画像座標を実世界座標に変換する座標変換手段、９０５
は画像上の頭頂部座標検出手段、９０６は頭・胴体・脚
候補領域抽出手段、９０７は形状による姿勢判断手段、
９０８は追跡・統合手段、９０９は記録手段、９１０は
表示手段である。

【０００４】図２０の従来の挙動検出装置において、画
像入力手段９０１によって取得された映像から、人体候
補領域抽出手段９０２によって空間的な近さや色などを
用いて人体候補領域を抽出する。足元検出手段９０３は
取得された画像中の人体候補領域の下端の左右方向中央
を、足元位置と同定する。ここで、検出対象領域の実世
界座標軸として、カメラから下ろした垂線をＺｗ軸と
し、床面との交点を原点とし、床面上にＸｗ、Ｙｗ軸を
とる。カメラの画像上の座標系を横方向ｕ、縦方向ｖと
とる。座標変換手段４０は予め取得していた実世界座標
上のカメラの高さ、俯角、画角、カメラのレンズの焦点
距離などと、画像上での足元座標（ｕｆ，ｖｆ）および
足元の高さｈ（この場合ｈ＝０）から、足元実世界座標
（ｘｗｆ，ｙｗｆ）を求める。この具体的方法や変換に
必要な数式は、例えば、松山他「コンピュータービジョ
ン」（新技術コミュニケーションズ刊）第３章に記載さ
れている数式を変形することによって、容易に得ること
ができる。

【０００５】次に、画像上の頭頂部座標推定手段９０５
において、足元の実世界座標と予め設定された身長から
頭頂部の実世界座標を生成し、起立時に頭頂部が存在べ
きカメラ画像上の座標（ｕｈ，ｖｈ）を推定する。頭・
胴体・脚候補領域抽出手段９０６は、空間的な近さや色
などを用いて人体候補領域を頭部、胴体、脚の３つの領
域に分割する。

【０００６】形状による姿勢判定手段９０７は、抽出さ
れた人体領域候補の形状とフレーム間の足元画像座標の
移動とに応じて、以下のような姿勢認識の判定を行う。

【０００７】 ａ）人が移動している場合：「歩行」と判断 ｂ）頭・胴体・脚候補領域の抽出がうまくいかなかった
場合 以下の２条件のうち一方が満たされた場合：「座ってい
る」または「横たわっている」と判断 ｂ−１）「立っている」と仮定した場合のカメラ画像上
でのｖ軸方向の推定長さ／画像上の人体候補領域のｖ軸
方向の長さ＜ 閾値１ ｂ−２）人体候補領域のｖ軸方向の長さ／人体候補領域
のｕ軸方向の長さ＜閾値２ ｃ）頭・胴体・脚候補領域の抽出がうまくいった場合 ｃ−１）次の条件のうち一つが成り立つとき、「座って
いる」と判断、 １）検出脚領域の長さ／標準モデルの脚の長さ ＜ 閾
値３ ２）脚の長さ／脚の幅 ＜ 閾値４ ｃ−２）次の条件が同時に成立するとき、「横たわって
いる」と判断 １）検出された頭の領域の面積／標準モデルの頭の面積
＜ 閾値４ ２）検出された胴体の領域の面積／標準モデルの胴体の
面積 ＜ 閾値５ ３）検出された脚の領域の面積／標準モデルの脚の面積
＜ 閾値６ ここで、「標準モデル」とは直立時の各部分を矩形近似
したときの、面積、寸法のことである。

【０００８】判定結果に基づき、各時刻におけるフレー
ムの分析結果を追跡・統合手段９０８で統合し、位置座
標と姿勢の追跡記録を記録手段９０９に出力する。結果
は表示手段９１０に表示される。

【０００９】

【発明が解決しようとする課題】ところが、従来の挙動
検出装置では、以下のような問題がある。

【００１０】まず、従来では、画像から抽出した人体候
補領域の足元の画像座標を検出し、これから人体の実世
界座標を計算して、移動軌跡を算出したり歩行判定を行
ったりしている。しかしながら、人の足元は、家具など
によって隠蔽される場合が多く、このため足元の移動に
よって静止、移動を検出することは困難である。

【００１１】また、従来では、人の姿勢判定が必ずしも
精度良く行われるとは限らない。

【００１２】図２１は人体がカメラに正対して「寝」
「座」「立」の姿勢をとった場合の模式図である。９１
１はカメラであり、９１２は画像平面を模式的に表した
ものである。図２１から分かるように、人体の位置がカ
メラ９１１から遠い場合（ａ）と近い場合（ｂ）とで
は、「寝」「座」「立」の各姿勢における画像上の長さ
の大小関係が逆転してしまう。すなわち、図２１（ａ）
の場合には、画像上の長さが最大となるのは「立」であ
るが、図２１（ｂ）の場合には、「寝」のときに画像上
の長さが最大となる。このため、上述した判定条件ｂ−
１）のように、実際に映った画像上の長さと「立ってい
る」と仮定したときの画像上長さとの比を閾値と比較し
て判定する場合には、対象範囲全域にわたって閾値を固
定すると所望の検出精度は得られず、したがって、姿勢
判定を行う範囲を限定する必要が生じる。

【００１３】あるいは、上述した判定条件ｂ−２）は、
人体領域の縦横比を用いて姿勢判定を行うものである
が、背景差分等を用いる場合には横方向に生じる影の影
響によって人体候補領域の幅が実際の人体の幅に比べて
広くなる可能性があり、一定の閾値によって判定するこ
とは困難である。また、体の幅と厚みには２倍程度の差
があるため、人体候補領域のｕ軸方向の長さは、その人
が仰向けに寝るか、横向きに寝るかによっても変化し、
ｂ−２）の左辺の値は、人体の向きによって変動する。

【００１４】したがって、条件ｂ−１），ｂ−２）によ
る判定では、例えば、実際には立っているのに「座」ま
たは「寝」と判定される場合もあり得ることになり、精
度の高い姿勢判定がきわめて困難である。

【００１５】さらに、従来では、人体が常に対象範囲内
に存在することを前提としているので、例えば、部屋の
窓ガラスなどを通じて別の人のシルエットが画像に一時
的に写ったような場合に、移動軌跡に誤りが生じるおそ
れがあった。

【００１６】前記の問題に鑑み、本発明は、挙動検出と
して、足元が家具等によって隠蔽されたような場合で
も、静止、移動の判定や移動軌跡の算出を精度良く実行
可能にすることを課題とする。

【００１７】また、本発明は、挙動検出として、カメラ
からの距離、体の向きや影の影響等を受けることなく、
精度の高い姿勢判定を実行可能にすることを課題とす
る。

【００１８】また、本発明は、挙動検出として、たとえ
窓の外を通過する別の人が画像に映ったとしても、対象
物の移動軌跡を正確に算出可能にすることを課題とす
る。

【００１９】

【課題を解決するための手段】前記の課題を解決するた
めに、請求項１の発明が講じた解決手段は、挙動検出装
置として、画像から挙動検出の対象となる物の領域を抽
出し、抽出した領域から前記対象物の特定部位が存在す
る実世界座標を算出する第１の手段と、前記第１の手段
によって算出された実世界座標を少なくとも所定時間保
持する第２の手段と、前記第１の手段によって算出され
た一の時刻における前記特定部位の実世界座標と、前記
第２の手段に保持された前記一の時刻よりも前記所定時
間だけ前の時刻における前記特定部位の実世界座標との
間の距離を求め、求めた距離と所定の閾値とを比較する
ことによって前記対象物が移動状態か静止状態かを判定
する第３の手段とを備えたものである。

【００２０】請求項１の発明によると、対象物の特定部
位の，一の時刻における実世界座標と所定時間だけ前の
時刻における実世界座標との間の距離、すなわち、対象
物の特定部位の所定時間における移動距離によって、対
象物が移動状態か静止状態かが判定される。このため、
家具などによって足元が隠蔽されたような状況であって
も、その影響を受けることなく、対象物の静止、移動の
判定を精度良く行うことができる。

【００２１】請求項２の発明では、前記請求項１の挙動
検出装置における対象物は、人であり、前記特定部位
は、前記人の頭頂部であるものとする。

【００２２】請求項３の発明では、前記請求項１の挙動
検出装置における所定時間は、２秒以上の時間であるも
のとする。

【００２３】請求項４の発明では、前記請求項１の挙動
検出装置における第３の手段は、前記所定の閾値とし
て、移動状態から静止状態への移行を判定するための第
１の閾値と静止状態から移動状態への移行を判定するた
めの第２の閾値とを用いるものとし、前記第２の閾値は
前記第１の閾値よりも大きいものとする。

【００２４】また、請求項５の発明が講じた解決手段
は、挙動検出装置として、画像から挙動検出の対象とな
る物の領域を抽出し、抽出した領域の主軸の傾きを求め
る第１の手段と、前記第１の手段によって求められた主
軸傾きと所定の閾値とを比較することによって、前記対
象物が「寝」状態であるか否かを判定する第２の手段と
を備えたものである。

【００２５】請求項５の発明によると、抽出した対象物
領域の主軸傾きと所定の閾値との比較によって、「寝」
状態か否かの判定が判定される。したがって、カメラか
らの距離、体の向きや影の影響等を受けることなく、精
度の高い姿勢判定を実現することができる。

【００２６】請求項６の発明では、前記請求項５の挙動
検出装置において、前記領域の実世界上の位置を推定
し、前記所定の閾値をこの推定位置に応じて決定するも
のとする。

【００２７】請求項７の発明では、前記請求項５の挙動
検出装置において、前記所定の閾値を前記領域の画像上
の位置に応じて決定するものとする。

【００２８】請求項８の発明では、前記請求項５の挙動
検出装置における第１の手段は、一のフレーム画像にお
ける前記主軸傾きの値として、当該フレーム画像および
その時間的近傍のフレーム画像についてそれぞれ求めた
複数の主軸傾きの値の代表値を用いるものとする。

【００２９】請求項９の発明では、前記請求項５の挙動
検出装置における第１の手段は、一のフレーム画像にお
いて前記領域が消失したとき、その前のフレーム画像に
おける前記主軸傾きの値を当該フレーム画像の主軸傾き
の値として用いるものとする。

【００３０】また、請求項１０の発明が講じた解決手段
は、挙動検出装置として、画像から挙動検出の対象とな
る人の領域を抽出する第１の手段と、前記第１の手段に
よって抽出された領域の頭部に相当する部分の画像座標
からその部分と当該画像を撮影したカメラとの間の第１
の水平距離を求める第２の手段と、前記領域の足元に相
当する部分の画像座標からその部分と前記カメラとの間
の第２の水平距離を求める第３の手段と、前記第１の水
平距離と前記第２の水平距離とを大小比較し、その比較
結果に基づき前記人物の姿勢を判定する第４の手段とを
備えたものである。

【００３１】請求項１０の発明によると、頭部とカメラ
との間の第１の水平距離と、足元部とカメラとの間の第
２の水平距離との大小比較によって、姿勢の判定を行
う。すなわち、頭部の推定位置がその人の姿勢に応じて
変わることを利用して、姿勢を判定するので、精度の高
い姿勢判定が可能になる。

【００３２】請求項１１の発明では、前記請求項１０の
挙動検出装置における第２の手段は、前記人が立ったと
きの頭頂高近傍の高さを仮定して頭部部分の画像座標を
実世界座標に変換し、得られた実世界座標を用いて前記
第１の水平距離を求めるものとする。

【００３３】請求項１２の発明では、前記請求項１０の
挙動検出装置における第２の手段は、前記人が座ったと
きの頭頂高近傍の高さを仮定して頭部部分の画像座標を
実世界座標に変換し、得られた実世界座標を用いて前記
第１の水平距離を求めるものとする。

【００３４】請求項１３の発明では、前記請求項１０の
挙動検出装置における第３の手段は、床面の高さを仮定
して足元部分の画像座標を実世界座標に変換し、得られ
た実世界座標を用いて前記第２の水平距離を求めるもの
とする。

【００３５】また、請求項１４の発明が講じた解決手段
は、人の挙動を検出するシステムとして、請求項５記載
の挙動検出装置と同一の構成からなる第１の挙動検出部
と、請求項１０記載の挙動検出装置と同一の構成を含む
第２の挙動検出部とを備え、前記第１の挙動検出部が、
前記人は「寝」状態であると判定したときは、前記人は
「寝」状態であると判定する一方、前記第１の挙動検出
部が、前記人は「寝以外」状態であると判定したとき
は、前記第２の挙動検出部の判定結果を最終的な判定結
果とするものである。

【００３６】また、請求項１５の発明が講じた解決手段
は、人の挙動を検出するシステムとして、請求項１記載
の挙動検出装置と同一の構成からなる第１の挙動検出部
と、少なくとも「寝」状態か「寝以外」状態かの姿勢判
定を行う第２の挙動検出部とを備え、前記第１の挙動検
出部が、前記人は移動状態であると判定し、かつ、前記
第２の挙動検出部が、前記人は「寝以外」状態であると
判定したとき、前記人は「歩行」状態であると判定する
ものである。

【００３７】また、請求項１６の発明が講じた解決手段
は、人の挙動を検出するシステムとして、画像から前記
人の人体領域を抽出する第１の手段と、前記人体領域を
基にして前記人の姿勢判定を行う第２の手段と、前記人
体領域の画像座標から、前記第２の手段の姿勢判定結果
に応じて前記人の実世界座標を求める第３の手段とを備
え、前記第３の手段は、前記人が姿勢を変えたとき、姿
勢変化の開始から終了までの移動軌跡がなめらかになる
ように実世界座標を求めるものである。

【００３８】請求項１７の発明では、前記請求項１６の
挙動検出システムにおける第３の手段は、前記人体領域
の画像座標から各姿勢に応じてそれぞれ生成された実世
界座標候補から、前記第２の手段の姿勢判定結果に応じ
て一の実世界座標候補を選択し、一のフレームについて
選択した実世界座標候補とその前のフレームの実世界座
標とを重み付け加算することによって、前記一のフレー
ムの実世界座標を求めるものであり、かつ、前記第２の
手段の姿勢判定結果が変化したとき、実世界座標を求め
る際における実世界座標候補の重みを、姿勢判定結果が
変化しない定常時よりも小さくするものとする。

【００３９】請求項１８の発明では、前記請求項１６の
挙動検出システムにおける第３の手段は、前記第２の手
段の姿勢判定結果に応じて前記人の高さを推定し、前記
人体領域の画像座標を推定した高さに基づいて実世界座
標に変換するものであり、かつ、前記第２の手段の姿勢
判定結果が一の姿勢から他の姿勢に変化したとき、前記
人の高さの推定値を、前記一の姿勢における推定値から
前記他の姿勢における推定値に徐々に変化させるものと
する。

【００４０】また、請求項１９の発明が講じた解決手段
は、挙動検出装置として、画像から挙動検出の対象とな
る物が占める領域を抽出し、抽出した領域から前記対象
物の特定部位が存在する実世界座標を算出する第１の手
段と、前記第１の手段によって算出された実世界座標を
用いて前記対象物の移動軌跡を求める第２の手段とを備
え、前記第２の手段は、前記実世界座標が所定の範囲内
にあるか否かを判定し、前記所定の範囲内にない実世界
座標を前記対象物の移動軌跡を求めるための実世界座標
から外すものである。

【００４１】請求項１９の発明によると、所定の範囲内
にない実世界座標は、対象物の移動軌跡を求めるための
実世界座標から外されるので、例えば、撮影した部屋領
域の外に検出された実世界座標を移動軌跡の算出から除
外することができるので、窓の外を通過する別の人が画
像に映ったような場合でも、対象物の移動軌跡を正確に
算出することができる。

【００４２】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。

【００４３】（第１の実施形態）図１は本発明の第１の
実施形態に係る挙動検出装置の構成を示すブロック図で
ある。図１において、１０は例えば天井付近の高い位置
に設置されたカメラ１の映像を入力する画像入力手段、
２０は人体候補領域抽出手段であって、入力画像を蓄積
して背景を生成し、差分処理によって非背景領域と背景
領域とを２値分別した差分画像を生成する差分処理部２
１、抽出された非背景領域をひと固まり毎にまとめるラ
ベリング処理部２２、およびラベリングされた各領域の
面積、形状等からノイズ領域等を除外する抽出領域フィ
ルタ部２３を備えている。

【００４４】３０はラベリングされた領域の中で画像上
最も高い点の座標を特定部位としての頭頂部の座標とし
て検出する頭頂部画像座標抽出手段、４０は頭頂部画像
座標を実世界座標に変換する座標変換手段、５０は身長
データベース（ＤＢ）である。また、６０は追跡・統合
手段、７０は実世界座標を所定時間としての３秒間保持
する第２の手段としての実世界座標保持手段、８０は現
フレームにおける頭頂部の実世界座標と３秒前のフレー
ムにおける頭頂部の実世界座標との水平距離を算出する
距離算出手段、９０は閾値判定手段である。

【００４５】ここで、検出対象領域の実世界座標軸とし
て、床面上にＸｗ，Ｙｗ軸をとり、高さ方向にＺｗ軸を
とる。手段２０，３０，４０および５０によって第１の
手段が構成されており、８０および９０によって第３の
手段が構成されている。

【００４６】図１のように構成された挙動検出装置にお
いて、画像入力手段１０によって取得された画像から、
差分処理部２１、ラベリング処理部２２および抽出領域
フィルタ部２３によって、人体候補領域が抽出される。
頭頂部画像座標抽出手段３０は、抽出された人体候補領
域のうち画像座標上最も高い位置にある点の座標を頭頂
部座標として抽出する。

【００４７】座標変換手段４０は、予め取得した実世界
上のカメラ１の高さ、俯角、画角、レンズの焦点距離な
どと、頭頂部画像座標抽出手段３０によって抽出された
画像上の頭頂部座標（ｕｈ，ｖｈ）、および身長ＤＢ５
０から読み出した身長すなわち頭頂部の実世界上の高さ
とから、座標変換によって、頭頂部の実世界座標（ｘｗ
ｆ，ｙｗｆ）を求める。ここでの変換に要する数式は、
例えば松山他「コンピュータービジョン」（新技術コミ
ュニケーションズ刊）第３章に記載された数式を変形す
ることによって得ることができる。なお、身長ＤＢ５０
からの身長データの読み出しは、一連の処理の中で少な
くとも一度行えばよい。

【００４８】追跡・統合手段６０は、連続するフレーム
間で同一人と推定できる人体候補領域同士の関連付けを
行う。実世界座標保持手段７０は、過去３秒間にわたり
各フレームで算出された人体候補領域の実世界座標を保
持する。距離算出手段８０は、追跡・統合手段６０によ
って関連付けられた人体候補領域について、現在のフレ
ームの実世界座標とその３秒前の実世界座標との間の水
平距離を計算する。閾値判定手段９０は、距離算出手段
８０によって求められた距離と所定の閾値とを比較し、
その距離が閾値よりも大きいときは、その人は移動状態
であると判定する一方、閾値よりも小さいときはその人
は静止状態であると判定する。閾値は、例えば１０００
ｍｍに設定する。

【００４９】図２は図１の挙動検出装置における閾値判
定手段９０の構成例を示すブロック図である。図２に示
す閾値判定手段９０は、所定の閾値として、移動状態か
ら静止状態への移行を判定するための第１の閾値Ａと、
静止状態から移動状態への移行を判定するための第２の
閾値Ｂとを用いる。

【００５０】図３はある画像シーケンスにおける人の移
動距離の算出結果の一例を示す図である。同図中、
（ａ）は人物Ａ、（ｂ）は人物Ｂのものであり、縦軸は
所定時間（ここでは３秒間）の移動量（ｍｍ）、横軸は
フレーム番号である。実線は移動量の時間変化を示し、
矢印は静止期間を示す。フレーム間隔は０．１秒であ
る。

【００５１】図３（ａ）の場合には、閾値を単に１００
０ｍｍ程度に設定することによって、移動状態と静止状
態とをおおよそ判定することができる。しかしながら、
細かく見ると、移動状態のときであっても移動量が５０
０ｍｍ程度まで低下する場合がある。これは、人の移動
速度が一定ではないためである。このような場合、閾値
を１０００ｍｍに設定すると誤判定が起こる可能性があ
り、誤判定を未然に防ぐためには、閾値をさらに低く設
定する必要がある。一方、図３（ｂ）の場合には、静止
期間である２５０フレームから３５０フレームまでの間
において、大きな移動量が検出されるときもあり、最大
で８００ｍｍ程度の移動量が検出されている。これは、
座った状態で上体を揺らしたために生じた頭頂部の微動
によるものであり、特に座った直後に起こりやすい。

【００５２】そこでここでは、閾値にヒステリシスを設
けて、対象が「移動」状態のときは、閾値を比較的低い
閾値Ａ（ここでは２００ｍｍ）に設定する一方、「静
止」状態のときは、比較的高い閾値Ｂ（ここでは１００
０ｍｍ）に設定する。これにより、静止状態における頭
部の微動に起因する誤判定は閾値Ｂが高いために生じる
ことはなく、かつ、移動状態から静止状態への変化は閾
値Ａが低いので確実に検出することができる。

【００５３】図３に２つの閾値を設定した場合の検出結
果を一点鎖線によって示している。図３から、人物Ａお
よび人物Ｂの両方について、静止状態と移動状態の判定
が精度良く行われていることが分かる。なお、判定結果
は、実際の状態に対して１〜２．８秒遅延する。この遅
延は、判定に３秒前のフレームからの移動量を用いてい
るために生じる。また、「移動→静止」の方が「静止→
移動」よりも遅延が大きいのは、閾値にヒステリシスを
持たせているためである。実際にこの判定結果を用いる
場合には、このような遅延を考慮に入れる必要がある。

【００５４】以上のように本実施形態によると、所定時
間における頭頂部の移動距離によって人の静止・移動を
判定するので、家具などによって足元が隠蔽された状況
であっても、その影響を受けることなく、対象が移動状
態か静止状態かを判定することができる。また、頭頂部
は足元部に比べて着座時でも細かな動きをするが、所定
時間における移動距離によって評価すれば、座った状態
において上体のみを動かす状態と、歩行や寝転がるよう
な移動とを識別することができる。さらに、移動状態か
ら静止状態への移行を判定するための閾値Ａと、静止状
態から移動状態への移行を判定するための閾値Ｂを用
い、閾値Ｂを閾値Ａに比べて大きな値に設定することに
よって、より正確に判定を行うことが可能である。もち
ろん、１個の閾値を用いてもかまわない。

【００５５】なお、本実施形態では、単に１つの閾値を
設定する場合には、その値を１０００ｍｍとし、２種類
の閾値を設定する場合には、その値を２００ｍｍおよび
１０００ｍｍとしたが、これ以外の値でもよいことはい
うまでもない。

【００５６】また、本実施形態では、人体候補領域の特
定部位として頭頂部を用いたが、箇所が特定できる部位
であれば、頭頂部以外の例えば両肩や腰などを特定部位
として用いてもかまわない。また、人以外でも、例えば
動物やロボットなどを検出対象とした場合でも、本実施
形態と同様に実施することができる。

【００５７】また、移動量を求めるための所定時間は、
ここでは３秒としたが、これ以外の時間であってもかま
わない。ただし、時間があまり短すぎると、人間の挙動
特性からみて判定が困難になることが分かっており、２
秒以上の時間であることが好ましい。また、実世界座標
保持手段７０における保持時間は、移動量を求める所定
時間よりも長い時間であればよい。

【００５８】さらに、人体候補領域の抽出は、差分処
理、ラベリング処理およびフィルタリング以外の手法を
用いてもよい。また、人体候補領域の特定部位の算出
は、特定部位の画像座標を実世界座標に変換する代わり
に、足元の点を用いて算出したりステレオ視を用いた手
法によって行ってもかまわない。

【００５９】（第２の実施形態）図４は本発明の第２の
実施形態に係る挙動検出装置の構成を示すブロック図で
ある。図４では、図１と共通の構成要素には図１と同一
の符号を付しており、ここではその詳細な説明は省略す
る。図４において、１１０は人体候補領域抽出手段２０
によって抽出された人体候補領域について、主軸の傾き
としての主軸角を求める主軸角計算手段、１２０は主軸
角計算手段１１０によって求められた主軸角と所定の閾
値との大小比較を行う閾値判定手段である。人体候補領
域抽出手段２０および主軸角計算手段１１０によって第
１の手段が構成されており、閾値判定手段１２０によっ
て第２の手段が構成されている。

【００６０】図４の構成において、画像入力手段１０に
よって取得された映像から、第１の実施形態と同様に、
人体候補領域抽出手段２０によって人体候補領域が抽出
される。そして、主軸角計算手段１１０によって、人体
領域の主軸が画像ｕ軸に対してなす角度θ（０≦θ≦９
０°）が算出される。閾値判定手段１２０は、算出され
た主軸角θと所定の閾値とを大小比較し、主軸角θが閾
値よりも小さいときは、対象となる人は寝ている
（「寝」状態）と判定する一方、主軸角θが閾値よりも
大きいときは、寝ていない（「寝以外」状態）と判定す
る。

【００６１】図５はカメラ１によって取得した画像の一
例である。カメラ１は水平画角１１０度の広角のカメラ
であり、１０畳程度の広さの部屋の一角に設置されてい
る。同図中、（ａ）は人が寝ている状態、（ｂ）は座っ
ている状態、（ｃ）〜（ｅ）は立っている状態である。
図５から分かるように、人体領域の主軸傾きを所定の閾
値と大小比較することによって、「寝」状態か「寝以
外」状態かを容易に判定することができる。また図５
（ｃ），（ｅ）の場合、カメラを挟む部屋の２辺近辺を
歩く人体像は、画像のゆがみによって、傾いて映ってい
る。したがって、閾値としては、図５（ｃ），（ｅ）の
状態における主軸角よりも小さな値を設定する方がよ
い。例えば５０°〜６０°程度が好ましい。

【００６２】図６は本実施形態の他の例に係る挙動検出
装置の構成を示すブロック図である。図６では、図４の
構成に加えて、図１と共通の頭頂部画像座標抽出手段３
０および座標変換手段４０と、座標変換手段４０から出
力された実世界座標に依存して閾値を決定する閾値決定
手段１３０とが設けられている。

【００６３】すなわち、図６の構成では、閾値決定手段
１３０は、座標変換手段４０から出力された人体候補領
域が存在する実世界座標に応じて、閾値を決定する。そ
して閾値判定手段１２０は、閾値決定手段１３０から出
力された閾値と主軸角計算手段１１０から出力された主
軸角θとを大小比較し、「寝」「寝以外」の判定を行
う。

【００６４】図５から明らかなように、広角レンズを用
いたカメラを部屋の片隅の天井付近においた場合には、
カメラを挟む部屋の２辺の近傍領域では、人が直立して
いても人体領域の主軸が傾く。よって、人体候補領域の
実世界上の位置に応じて「寝」「寝以外」の判定閾値を
変えることによって、より細やかな判定が可能になる。
例えば、部屋の２辺近傍では閾値は５０°とし、それ以
外の領域では閾値を７０°とすればよい。

【００６５】なお、人体候補領域の実世界座標に応じて
閾値を決定する代わりに、人体候補領域の画像上の位置
に応じて閾値を決定してもよい。

【００６６】図７は本実施形態の他の例に係る挙動検出
装置の構成を示すブロック図である。図７では、図４と
共通の構成要素には図４と同一の符号を付している。図
７において、２１０は時間的に隣接するフレーム間で人
体候補領域を関連付けるフレーム間追跡手段、２２０は
フレーム間追跡が不能であったとき人体候補領域が消失
したと判定する消失検出手段、２３０は主軸角計算手段
１１０から出力された主軸角を保持する保持手段、２４
０ａ，２４０ｂは消失検出手段２２０の出力によって切
替制御される第１および第２のスイッチ、２５０は過去
５フレームの主軸角θの最大値を代表値として抽出する
最大値抽出手段である。手段２０，１１０，２１０，２
２０，２３０，２４０ａ，２４０ｂおよび２５０によっ
て、第１の手段が構成されている。

【００６７】図７の構成において、フレーム間追跡手段
２１０は、人体候補領域抽出手段２０によって抽出され
た人体候補領域を、時間的に隣接するフレーム間で関連
付ける。消失検出手段２２０は、フレーム間追跡手段２
１０においてフレーム間追跡がうまくいかなかったと
き、人体候補領域が消失したと判定する。第１および第
２のスイッチ２４０ａ，２４０ｂは、消失検出手段２２
０によって人体候補領域の消失が検出された場合は端子
Ｂ側にセットされ、これ以外の場合は端子Ａ側にセット
される。すなわち、人体候補領域が消失した場合には、
保持手段２３０が保持していた，消失が検出される直前
のフレームの主軸角が最大値抽出手段２５０に出力され
る。最大値抽出手段２５０は過去５フレームの主軸角θ
のうち最大値を抽出する。閾値判定手段１２０は、最大
値抽出手段２５０から出力された主軸角の最大値と所定
の閾値とを比較し、「寝」「寝以外」を判定する。

【００６８】例えば差分を用いて人体候補領域を抽出す
る場合には、人が長時間静止したとき、人体領域が消失
する場合がある。このような場合でも、図７の構成によ
ると、消失直前のフレームの主軸角に基づいて姿勢判定
が行われるので、姿勢判定が確実に実行可能となる。

【００６９】また、差分を用いて人体候補領域を抽出す
る場合には、人が移動や動作中のとき、人体領域がしば
しば部分的に欠落し、このため主軸角を安定して求める
ことが困難な場合がある。このような場合でも、図７の
構成によると、過去５フレームの最大の主軸角θをその
フレームの主軸角として用いるので、安定した姿勢判定
が実行可能となる。すなわち、人体領域の消失や部分的
な欠落によって影響を受けることなく、安定した姿勢判
定が可能となる。

【００７０】なおここでは、過去５フレームの主軸角の
最大値を代表値として用いるものとしたが、最大値を求
めるためのフレーム数は５以外であってもよいし、ま
た、最大値を求める際に当該フレームの後続フレームを
用いてもかまわない。また、最大値の代わりに、中間値
などを代表値として用いてもよい。

【００７１】なお、人以外でも、例えば動物やロボット
などを検出対象とした場合でも、本実施形態と同様に実
施することができる。

【００７２】（第３の実施形態）図８は本発明の第３の
実施形態に係る挙動検出装置の構成を示すブロック図で
ある。図８では、図１と共通の構成要素について、図１
と同一の符号を付している。

【００７３】図８の構成において、３１０は頭頂部画像
座標抽出手段３０によって抽出された頭頂部の画像座標
を、立状態における頭頂高さデータ３００を用いて実世
界座標に変換する第１の座標変換手段、３２０はカメラ
１から頭頂部までの実世界上の距離を第１の水平距離と
して算出する第１の水平距離計算手段である。また、３
３０は人体候補領域から足元の画像座標を抽出する手段
である。足元の画像座標の抽出は、人体候補領域の外接
矩形の下端中央点を足元とみなして利用するなどによっ
て実現できる。３４０は足元部の画像座標を、床面の高
さを用いて実世界座標に変換する第２の座標変換手段、
３５０はカメラ１から足元部までの実世界上の距離を第
２の水平距離として算出する第２の水平距離計算手段、
３６０は第１および第２の水平距離計算手段３２０，３
５０の算出結果を基にして姿勢判定を行う手段である。
人体候補領域抽出手段２０によって第１の手段が構成さ
れており、手段３０，３１０および３２０によって第２
の手段が構成されており、手段３３０，３４０，３５０
によって第３の手段が構成されており、姿勢判定手段３
６０によって第４の手段が構成されている。

【００７４】図９は人体の姿勢とカメラからの見え方と
の関連を示す図である。図９を参照しながら、図８の構
成の動作を説明する。

【００７５】図９において、（ａ）は人が直立している
場合の側方から見た図、（ｂ），（ｃ）はそれぞれ、人
が寝ている場合の上方および側方から見た図である。ｈ
ｃはカメラの高さ、ｈｒは実際の人体の身長、ｈｍは座
標変換のために用いる人体候補領域の頭頂部の推定高
さ、ｈｂは人が寝ているときの床面からの高さ、ｒはカ
メラから人体までの実際の距離、△ｒｕは人が立ってい
る場合の位置推定の誤差、△ｒｄは人が寝ている場合の
位置推定の誤差である。誤差Δｒｕが生じるのは、ｈｒ
とｈｍとが等しくないからである。

【００７６】図９から、下の式を得ることができる。

【数１】

【数２】

【数３】

【００７７】図１０および図１１は、上式から求めた誤
差ΔｒｕおよびΔｒｄと実際の距離ｒとの関係を表すグ
ラフである。図１０では、ｈｒ＝１６０（ｃｍ）、φ＝
０（°）、ｈｂ＝０（ｃｍ）とし、図１１では、ｈｒ＝
１６０（ｃｍ）、φ＝４５（°）、ｈｂ＝６０（ｃｍ）
とし、ｈｍに様々な値を与えている。

【００７８】まず、図１０（ａ）および図１１（ａ）か
ら分かるように、ｈｍをｈｒ（＝１６０）よりも小さい
値に設定すれば、人が立っている場合の誤差△ｒｕはい
かなる距離ｒにおいても正の値になり、その値は距離ｒ
とともに増加する。一方、図１０（ｂ）および図１１
（ｂ）から分かるように、人が寝ている場合の誤差△ｒ
ｄはｈｍの値にかかわらず、距離ｒに応じて減少し、距
離ｒが１ｍを越えるあたりから負の値になる。

【００７９】すなわち、頭頂高ｈｍを実際の身長ｈｒよ
りも低めに設定すると、頭頂部の推定位置は、人が立っ
ている場合には、足元部の位置よりも遠くなる一方、人
が寝ている場合には、足元部の位置よりも近くなる。

【００８０】本実施形態は、このような関係を利用する
ものであり、姿勢判定部３６０は、頭頂高ｈｍを仮定し
て推定した，カメラから頭頂部までの第１の水平距離
と、カメラから実際の人体候補領域の足元部までの第２
の水平距離とを大小比較し、第１の水平距離の方が大き
いときは、人が立っていると判定する一方、第２の水平
距離の方が大きいときは、人が立っていないと判定す
る。これにより、精度の高い姿勢判定が可能になる。

【００８１】なお本実施形態では、ｈｍとして身長近傍
の値を仮定したが、この代わりに、座った状態における
頭頂高近傍の数値を用いれば、本実施形態と同様の判定
手法によって、第１の水平距離が第２の水平距離よりも
ある閾値以上小さくなった場合に寝ていると判定するこ
とによって、人が寝ているか寝ていないかを判定するこ
とができる。さらには、身長近傍の値と、座った状態の
頭頂高近傍の値の２種類の値をｈｍとして用いて、それ
ぞれの判定結果を組み合わせることによって、「寝」
「座」「立」の姿勢判定が可能になる。

【００８２】また、図１０や図１１のデータから、カメ
ラから足元部までの第２の水平距離に基づき、人が立っ
ている場合と寝ている場合とでそれぞれ予想される頭頂
部までの距離を求め、カメラから頭頂部までの第１の水
平距離が、予想した距離のいずれの方に近いかによって
姿勢判定を行ってもよい。あるいは、図１０または図１
１においてΔｒｕとΔｒｄの大小関係が逆転する，ｒが
極めて小さい場合（例えばｒ＜１ｍ）において、第１の
水平距離と第２の水平距離との大小関係の姿勢判定のた
めの条件を逆転させて、近距離でも正しく判定できるよ
うにしてもよい。この手法を用いると、例えばカメラか
ら１ｍ以内に人がいるような場合であっても、正しい姿
勢判定が可能になる。

【００８３】（第４の実施形態）図１２は本発明の第４
の実施形態に係る挙動検出システムの構成を示すブロッ
ク図である。図１２において、４１０は図４に示すよう
な構成からなり、人体候補領域の主軸角に基づき姿勢判
定を行う第１の挙動検出部、４２１，４２２はそれぞれ
図８に示すような構成からなる姿勢判定を行う挙動検出
部、４２５は挙動検出部４２１，４２２の姿勢判定結果
を統合する手段である。挙動検出部４２１，４２２およ
び統合手段４２５によって、第２の挙動検出部４２０が
構成されている。４５０は第１の挙動検出部４１０およ
び第２の挙動検出部４２０の判定結果から、総合的に姿
勢判定を行う総合判断部である。

【００８４】第１の挙動検出部４１０は、第２の実施形
態で示したように「寝」「寝以外」の姿勢判定を行う。
一方、第３の実施形態で示したように、挙動検出装置４
２１は、頭頂高ｈｍを座った状態の頭頂高近傍の値に設
定して「寝」「寝以外」の判定を行い、挙動検出装置４
２２は、頭頂高ｈｍを身長近傍の値に設定して「立」
「立以外」の判定を行う。統合手段４２５は挙動検出装
置４２１，４２２の判定結果を統合し、「寝」「座」
「立」の３姿勢のうちのいずれかを出力する。

【００８５】図９（ｂ）において、角度φが４５°以上
のときは、人体はその位置にかかわらず直立時と異なる
主軸角を有するため、第１の挙動検出部４１０の判定結
果は信頼性がきわめて高い。一方、角度φが４５°以下
のときは、図１０および図１１に示すように、第２の挙
動検出部４２０の判定結果の信頼性は高い。そこで、総
合判断部４５０は、第１の挙動検出部４１０が「寝」と
判定したときは、第２の挙動検出部４２０の判定結果に
かかわらず「寝」と判定する一方、第１の挙動検出部４
１０が「寝以外」と判定したときは、第２の挙動検出部
４２０の判定結果をそのまま最終的な判定結果として出
力する。

【００８６】以上のように本実施形態によると、第２お
よび第３の実施形態に係る姿勢判定を統合して利用する
ことによって、人体の向きにかかわらず、３姿勢「寝」
「座」「立」の判定を信頼性高く実行可能な挙動検出シ
ステムを実現することができる。

【００８７】（第５の実施形態）図１３は本発明の第５
の実施形態に係る挙動検出システムの構成を示すブロッ
ク図である。５１０は図１に示すような構成からなり、
移動か静止かを判断する第１の挙動検出部、５２０は図
１２に示すような構成からなる「寝」「座」「立」の判
定が可能な第２の挙動検出部、５３０は第１の挙動検出
部５１０および第２の挙動検出部５２０の判定結果か
ら、総合的に姿勢判定を行う総合判定部である。

【００８８】第１の挙動検出部５１０は、第１の実施形
態で示したように「静止」「移動」の判定を行う。一
方、第２の挙動検出部５２０は、第４の実施形態で示し
たように、「寝」「座」「立」の３姿勢の判定を行う。

【００８９】ここで、人が静止状態のときは、第２の挙
動検出部５２０の姿勢判定結果はまず信頼できるものと
考えられる。これに対して、人が移動状態のときは、歩
いて移動したり、寝ころびながらごろごろと移動したり
することは十分に考え得るが、座った状態のまま移動す
ることはまずあり得ない。そこで、人が移動状態であ
り、かつ、第２の挙動検出部５２０の判定結果が「寝」
以外のときは、「歩行」と判断する。第２の挙動検出部
５２０の判定結果が「寝」のときは、寝ながらごろごろ
と移動しているものとして「寝」と判定する。

【００９０】すなわち、総合判断部５３０は、第１の挙
動検出部５１０が「静止」と判定したときは、第２の挙
動検出部５２０の判定結果をそのまま最終的な判定結果
として出力する。一方、第１の挙動検出部５１０が「移
動」と判定した場合は、第２の挙動検出部５２０が
「寝」と判定したときは「寝」を出力し、第２の挙動検
出部５２０が「寝」以外の判定をしたときは「歩行」を
出力する。

【００９１】以上のように本実施形態によると、第１の
実施形態に係る移動・静止判定と姿勢判定とを統合して
利用することによって、信頼性の高い挙動検出システム
を実現することができる。

【００９２】なお、第２の挙動検出部５２０は、図１２
の構成に限られるものではなく、少なくとも「寝」「寝
以外」の判定が可能であればよく、例えば図８に示すよ
うな構成を用いてもかまわない。

【００９３】（第６の実施形態）図１４は本発明の第６
の実施形態に係る挙動検出システムの構成を示すブロッ
ク図である。図１４では、図１および図８と共通の構成
要素には図１または図８と同一の符号を付している。

【００９４】図１４において、６１０は静止・移動判定
手段であり、図１に示す実世界座標保持手段７０、距離
算出手段８０および閾値判定手段９０によって実現され
る。すなわち、手段２０，３０，４０，６０および静止
・移動判定手段６１０によって第１の実施形態に係る挙
動検出装置が構成される。６２０は主軸角計算手段、６
３０は座った状態の頭頂高を用いて人体候補領域の実世
界座標を推定する着座前提座標変換手段である。６４０
は座標変換手段４０によって身長を基準に求められた実
世界座標Ｓ１（「立」の場合の実世界座標）、着座前提
座標変換手段６３０によって座った状態の頭頂高を基準
に求められた実世界座標Ｓ２（「座」の場合の実世界座
標）、および座標変換手段３４０によって足元を基準に
求められた実世界座標Ｓ３から姿勢を判定する手段であ
る。この姿勢判定手段６４０は、図１２に示す統合手段
４２５および総合判定部４５０を用いて実現できる。

【００９５】６５０は人体候補領域の画像上の重心座標
を求める手段、６６０は画像上の重心座標を高さ０を基
準にして実世界座標に変換し、「寝」の場合の実世界座
標Ｓ４として出力する座標変換手段である。６７０は、
「立」「座」「寝」の場合に対応してそれぞれ計算され
た３個の実世界座標Ｓ１，Ｓ２およびＳ４のうちのいず
れか１つを、姿勢判定手段６４０による姿勢判定の結果
に応じて、実世界座標（Ｘｗ，Ｙｗ）として選択する実
世界座標選択手段である。

【００９６】６８０は軌跡平滑化のために実世界座標
（Ｘｗ，Ｙｗ）をそれぞれ平滑化する積分手段、６９０
は積分手段６８０における平滑化処理に用いる時定数τ
を生成する手段、６９５は時定数τをリセットする手段
である。時定数生成手段６９０は、時定数τを初期値
（ここでは０）から徐々に一定期間増加させ、所定値に
達した後はこれを保持する。リセット手段６９５は、姿
勢判定手段６４０による姿勢判定結果がある状態から他
の状態に変化したとき、例えば「立」から「座」に変化
したとき、時定数τを０にリセットする。

【００９７】人体候補領域抽出手段２０によって第１の
手段が構成され、手段３０，４０，６０，３３０，３４
０，６１０，６２０，６３０，６４０によって第２の手
段が構成され、手段４０，６３０，６６０，６７０，６
８０，６９０，６９５によって第３の手段が構成されて
いる。

【００９８】図１４の構成において、人体候補領域抽出
手段２０によって画像から人体候補領域が抽出され、こ
の人体候補領域から、頭頂部画像座標抽出手段３０、足
元部画像座標抽出手段３３０および重心画像座標抽出手
段６５０によって、頭頂部、足元部および人体候補領域
の重心の画像上の座標がそれぞれ抽出される。そして、
頭頂部の画像座標から、座標変換手段４０および着座前
提座標変換手段６３０によって「立」および「座」の場
合の実世界座標Ｓ１，Ｓ２がそれぞれ推定され、足元部
の画像座標から、座標変換手段３４０によって足元の実
世界座標Ｓ３が推定され、さらに、重心の画像座標か
ら、座標変換手段６６０によって「寝」の場合の実世界
座標Ｓ４が推定される。また、主軸角計算手段６２０に
よって人体候補領域の主軸角も計算される。

【００９９】一方、追跡統合手段６０によってフレーム
間の人体候補領域の関連付けが行われ、静止・移動判定
手段６１０が、頭頂部の実世界座標に基づき、対象とな
る人が静止状態か移動状態かを判定する。

【０１００】姿勢判定手段６４０は、身長に基づき求め
た頭頂部の実世界座標Ｓ１、座った状態の頭頂高に基づ
き求めた頭頂部の実世界座標Ｓ２、足元の実世界座標Ｓ
３、人体候補領域の主軸角、および静止・移動の判定結
果から、第４および第５の実施の形態で説明したのと同
様に、「立」「座」「寝」の姿勢判定を行う。実世界座
標選択手段６７０は、姿勢判定手段６４０の姿勢判定結
果に基づいて、判定結果が「立」のときは実世界座標Ｓ
１を選択し、判定結果が「座」のときは実世界座標Ｓ２
を選択し、判定結果が「寝」のときは、重心の画像座標
から求められた「寝」の場合の実世界座標Ｓ４を選択
し、実世界座標（Ｘｗ，Ｙｗ）として出力する。

【０１０１】積分手段６８０は、下式によって出力座標
（Ｘｏｕｔ、Ｙｏｕｔ）を算出する。下式において、Ｔ
はフレーム間隔である。

【数４】

【数５】

【０１０２】姿勢判定手段６４０による姿勢判定結果が
ある状態から別の状態に変わったとき、リセット手段６
９５は時定数τを初期値０にリセットする。時定数τ
は、リセットされた後、初期値から徐々に増加する。

【０１０３】ここで、姿勢判定結果が変化したときに時
定数τをリセットすることによる効果について、図１５
および図１６を用いて説明する。

【０１０４】図１５は着座動作を含む画像シーケンスの
例であり、図１６は図１５の画像シーケンスについて人
の移動軌跡を求めた結果を示す図である。図１６におい
て、（ａ）〜（ｄ）は時定数τを一定にしたもの、
（ｅ）〜（ｈ）は姿勢変化時に時定数τのリセットを行
うものである。フレーム間隔は０．１ｓであり、通常の
時定数τは０．３ｓに設定している。この場合、歩行時
の移動軌跡の実際の位置に対する遅延は、実用的には無
視できるレベルになる。また、（ｅ）〜（ｈ）の場合に
は、リセット後の時定数τ（ｔ）は次式で与える。

【０１０５】 τ（ｔ）＝τ（ｔ−Ｔ）＋１／１００・０．３ ただし、ｍａｘτ（ｔ）＝０．３ 図１５から分かるように、画像内に映った人は、フレー
ム２５０で座り始めて、フレーム２７０で座り終わって
いる。姿勢判定手段６４０は、フレーム２５０の前まで
は「立」状態と判定していたが、フレーム２５０で
「座」状態と判定し、その後フレーム２７０まで「座」
状態と判定する。実世界座標選択手段６７０は、フレー
ム２５０からフレーム２７０までの間、「座」の場合の
実世界座標Ｓ２を実世界座標（Ｘｗ，Ｙｗ）として出力
する。図１６では、座ってからの移動軌跡を黒い実線で
示している。

【０１０６】まず、時定数τ一定の場合を考える。この
場合、座り始めの際の実際の頭頂部高さは、ほぼ身長に
近く、「座」の場合の実世界座標Ｓ２を求めるために仮
定した座った状態の頭頂高とは大きく異なる。このた
め、図１６（ｂ）に示すように、人体の位置は、実際の
人体の位置に比べてカメラから遠い方向に離れた位置に
推定される。やがて、その人が座り終わる頃には、実際
の頭頂部の高さは座った状態の頭頂高とほぼ一致するよ
うになり、人体の位置は本来の座標に収束する。このよ
うに、時定数を実用的な値に設定し、かつ、常に一定に
した場合には、姿勢が変わったとき人体の移動軌跡にオ
ーバーシュートが起こる。

【０１０７】一方、時定数τのリセットを行う場合に
は、このようなオーバーシュートは回避される。すなわ
ち、姿勢判定手段６４０の判定結果が「立」から「座」
に変わったときすなわちフレーム２５０において、時定
数τは０にリセットされる。このため、座り始めの際の
実際の頭頂部高さが座った状態の頭頂高と大きく異なる
フレームでは、時定数τの値は小さくなるので、新しい
フレームでの実世界座標（Ｘｗ、Ｙｗ）の寄与度が低く
なる。したがって、図１６（ｆ）に示すように、人体の
位置は、実際の人体の位置にほぼ正確に推定される。そ
の後は、実際の頭頂部の高さは座った状態の頭頂高とほ
ぼ一致するようになり、人体の位置は本来の座標に収束
する。この結果、姿勢変化の開始から終了までの移動軌
跡がなめらかになる。

【０１０８】このように、時定数を一定とすると、姿勢
変動中は頭頂部の高さや重心の高さが、想定している高
さと異なるため、実際の位置とは大きく離れた位置に人
体の位置を推定してしまうが、本実施形態のように、姿
勢変化時に、時定数をリセットして新フレームの位置座
標の寄与度を一時的に低くすることによって、歩行時や
座った後などの定常状態における人体位置の推定精度を
下げることなく、姿勢変動時の人体位置の推定誤差を低
減することができる。

【０１０９】なお、時定数の時間変化パターンは、本実
施形態で示したものに限られるものではなく、時定数
が、姿勢変動時には小さくなり、時間経過後は大きくな
るようなものであればよい。

【０１１０】なお、上述した例では、「立」「座」
「寝」の全ての姿勢について実世界座標を求めた後に、
姿勢判定結果に基づき、いずれかの実世界座標を選択し
たが、姿勢判定結果に基づいて特定した「立」「座」
「寝」のいずれかの姿勢についての頭頂部高さを仮定し
た後に、画像座標から実世界座標を求めてもかまわな
い。

【０１１１】図１７は本実施形態の他の例に係る挙動検
出システムの構成を示すブロック図である。図１７で
は、図１４と共通の構成要素については同一の符号を付
しており、ここではその詳細な説明は省略する。図１７
において、７１０は姿勢判定手段の姿勢判定結果に基づ
き、人体の頭頂部の高さを推定する頭頂高さ推定手段、
７２０は頭頂高さ推定手段７１０によって推定された頭
頂部の高さを用いて、画像座標を実世界座標に変換する
座標変換手段である。手段７１０，７２０によって第３
の手段が構成されている。

【０１１２】図１７の構成において、姿勢判定手段６４
０によって姿勢が判定されるまでの動作は、図１４に示
す構成と同様である。頭頂高さ推定手段７１０は、姿勢
判定手段６４０による姿勢判定結果に基づいて人体の頭
頂部の高さを推定する。例えば、直立したときの頭頂高
が１７０ｃｍ、着座時の頭頂高が１２５ｃｍ、寝たとき
の体の厚みが２０ｃｍである人体を対象にした場合、頭
頂高さ推定手段７１０は、長時間「立」状態のときは１
７０ｃｍ、「座」状態のときは１２５ｃｍ、「寝」状態
のときは２０ｃｍを出力する。また、「立」から「座」
のように姿勢が変化するときは、頭頂部の高さの推定値
として、元の姿勢における高さから新たな姿勢における
高さまで、徐々に変化させながら出力する。通常、人が
自然な動作で立った状態から座るまでに必要な時間は
０．５秒から２秒程度であるので、姿勢変化時には、２
秒程度の時間をもって頭頂部高さを新たな姿勢における
高さに漸近させる。この漸近の方法としては、線形補間
や、上述したような時定数の時間的変動を用いればよ
い。

【０１１３】座標変換手段７２０は、姿勢判定結果が
「立」「座」またはその中間の場合には、頭頂部画像座
標抽出手段３０から出力された頭頂部の画像座標を、頭
頂部高さ推定手段７１０から出力された頭頂部高さを用
いて、実世界座標に変換する。一方、「寝」の場合に
は、重心画像座標抽出手段６５０から出力された重心の
画像座標を、頭頂部高さ推定手段７１０から出力された
体の厚みデータを用いて、実世界座標に変換する。他の
姿勢から「寝」状態になった場合やその逆方向の状態遷
移の場合には、人体候補領域の画像上での「寝」状態に
おける位置基準となる重心の実世界座標と、その他の位
置基準となる頭頂部の実世界座標の間をなめらかに補間
するとよい。

【０１１４】このように、姿勢判定結果に応じて、実世
界座標を求める座標変換に用いる代表点の高さを推定
し、かつ、姿勢変化時にはこの高さをなめらかに変化さ
せることによって、姿勢変化時の人体位置の推定誤差を
低減することができる。

【０１１５】（第７の実施形態）図１８は本発明の第７
の実施形態に係る挙動検出装置の構成を示すブロック図
である。図１８では、図１と共通の構成要素には図１と
同一の符号を付しており、ここではその詳細な説明は省
略する。図１８において、８１０は座標変換手段４０か
ら出力された実世界座標と所定の閾値との大小比較を行
う閾値判定手段、８２０は閾値判定手段８１０によって
切り換え制御される切換スイッチである。

【０１１６】図１８の構成において、人体候補領域の実
世界座標が所定の範囲内にあるときは、切換スイッチ８
２０はＡ側に切り替えられ、実世界座標は、追跡・統合
手段６０における追跡統合の対象となる。一方、実世界
座標が所定の範囲外にあるときは、切り換えスイッチ８
２０はＢ側に切り替えられ、その実世界座標は追跡統合
の対象外となる。

【０１１７】図１９は本実施形態の効果を説明するため
の図であり、同図中、（ａ）〜（ｃ）は窓ＷＤが付いた
部屋内を人Ｍ１が移動した場合の画像シーケンスであ
り、（ｄ）〜（ｆ）は（ａ）〜（ｃ）の各画像において
検出した人Ｍ１の実世界座標である。（ｄ）〜（ｆ）に
おいて、○は本実施形態によって得られた実世界座標、
△は本実施形態を用いない場合の実世界座標である。

【０１１８】窓ＷＤの向こう側は人が通行可能となって
おり、Ｍ２は窓ＷＤの外側を通行する人のシルエットで
ある。（ｃ）では人Ｍ１とシルエットＭ２とは別個の人
体領域として抽出されるが、（ｂ）では人体Ｍ１とシル
エットＭ２は重なっており、一個の領域として抽出され
る。

【０１１９】このような場合、本実施形態を用いない場
合には、（ｂ）で求めた人Ｍ１とシルエットＭ２が一体
となった領域の実世界座標が、その前後のフレームの人
Ｍ１の実世界座標と関連づけられるので、△で示したよ
うな、人Ｍ１があたかも部屋の外に出てしまったような
移動軌跡を描く。これに対して、本実施形態では、所定
の範囲として部屋領域を設定することによって、（ｂ）
で検出した実世界座標は部屋の外側にあるため、この実
世界座標は追跡統合の対象から除外される。したがっ
て、（ａ）と（ｃ）での人Ｍ１の実世界座標のみが統合
されることになり、正しい軌跡を描くことができる。

【０１２０】以上のように本実施形態によると、推定し
た実世界座標が所定の範囲外にあるときは、その実世界
座標を追跡統合の対象外とすることによって、窓に映る
人のシルエットなどの影響を排除することができる。

【０１２１】なお、上記各実施形態では、挙動検出装置
または挙動検出システムとして説明したが、本発明に係
る機能は、ハードウエアとして実現してもよいし、ソフ
トウエアで実現可能な部分に関してはソフトウエアのア
ルゴリズムとして実現してもよい。また、挙動検出装置
を実現するためのプログラムをコンピュータ読みとり可
能な記録媒体に記録して、この記録媒体に記録したプロ
グラムをコンピュータに実行させることによって本発明
を実施することも可能である。

【０１２２】

【発明の効果】以上のように本発明によると、挙動検出
において、足元が家具などで隠蔽された場合でも、静
止、移動の判定や正しい移動軌跡の算出が可能となる。
また、カメラからの距離や体の向きや影の影響などを受
けることなく、精度の高い姿勢判定が可能になる。ま
た、カメラの視野の中に窓などがあり、窓の外を通過す
るシルエットが画像に映ったとしても、正しい移動軌跡
を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る挙動検出装置の
構成を示すブロック図である。

【図２】図１の構成における閾値判定手段の構成例を示
すブロック図である。

【図３】本発明の第１の実施形態に係る閾値判定の効果
を説明するための図であり、ある画像シーケンスにおけ
る人の移動距離の算出結果の一例を示す図である。

【図４】本発明の第２の実施形態に係る挙動検出装置の
構成を示すブロック図である。

【図５】カメラによって取得した画像の一例である。

【図６】本発明の第２の実施形態の他の例に係る挙動検
出装置の構成を示すブロック図である。

【図７】本発明の第２の実施形態の他の例に係る挙動検
出装置の構成を示すブロック図である。

【図８】本発明の第３の実施形態に係る挙動検出装置の
構成を示すブロック図である。

【図９】人体の姿勢とカメラからの見え方との関連を示
す図である。

【図１０】本発明の第３の実施形態を説明するための図
であり、誤差△ｒｕ，△ｒｄと実際の距離ｒとの関係を
表すグラフである。

【図１１】本発明の第３の実施形態を説明するための図
であり、誤差△ｒｕ，△ｒｄと実際の距離ｒとの関係を
表すグラフである。

【図１２】本発明の第４の実施形態に係る挙動検出シス
テムの構成を示すブロック図である。

【図１３】本発明の第５の実施形態に係る挙動検出シス
テムの構成を示すブロック図である。

【図１４】本発明の第６の実施形態に係る挙動検出シス
テムの構成を示すブロック図である。

【図１５】本発明の第６の実施形態を説明するための図
であり、着座動作を含む画像シーケンスの一例である。

【図１６】図１５の画像シーケンスにおいて求めた人の
移動軌跡である。

【図１７】本発明の第６の実施形態の他の例に係る挙動
検出システムの構成を示すブロック図である。

【図１８】本発明の第７の実施形態に係る挙動検出装置
の構成を示すブロック図である。

【図１９】本発明の第７の実施形態の効果を説明するた
めの図であり、（ａ）〜（ｃ）は画像シーケンスの例、
（ｄ）〜（ｆ）は（ａ）〜（ｃ）の各画像において検出
した人の実世界座標である。

【図２０】従来の挙動検出装置の構成を示すブロック図
である。

【図２１】人体の姿勢とカメラからの見え方の関係図で
ある。

【符号の説明】 １０ 画像入力手段 ２０ 人体候補領域抽出手段 ３０ 頭頂部画像座標抽出手段 ４０ 座標変換手段 ７０ 実世界座標保持手段（第２の手段） ８０ 距離算出手段 ９０ 閾値判定手段 １１０ 主軸角計算手段（第１の手段） １２０ 閾値判定手段（第２の手段） １３０ 閾値決定手段 ２１０ フレーム間追跡手段 ２２０ 消失検出手段 ２３０ 保持手段 ２４０ａ，２４０ｂ 切り換えスイッチ ２５０ 最大値抽出手段 ３１０ 座標変換手段 ３２０ 水平距離計算手段 ３３０ 足元画像座標抽出手段 ３４０ 座標変換手段 ３５０ 水平距離計算手段 ３６０ 姿勢判定手段（第４の手段） ４１０ 第１の挙動検出部 ４２０ 第２の挙動検出部 ４５０ 総合判断部 ５１０ 第１の挙動検出部 ５２０ 第２の挙動検出部 ５３０ 総合判断部 ６１０ 静止・移動判定手段 ６２０ 主軸角計算手段 ６３０ 着座前提座標変換手段 ６４０ 姿勢判定手段 ６５０ 重心画像座標抽出手段 ６６０ 座標変換手段 ６７０ 実世界座標選択手段 ６８０ 積分手段 ６９０ 時定数生成手段 ６９５ リセット手段 ７１０ 頭頂高さ推定手段 ７２０ 画像座標実世界座標変換手段 ８１０ 範囲判定手段 ８２０ 切換スイッチ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA03 AA04 AA09 AA17 AA37 BB05 CC16 FF04 FF09 JJ03 JJ19 JJ26 QQ00 QQ04 QQ25 QQ26 QQ28 QQ33 QQ34 5B057 AA19 BA02 DA08 DA12 DA16 DB02 DB09 DC08 DC09 DC14 DC33 5C054 FC01 FC12 FC15 FD03 HA18 5L096 AA06 BA02 CA04 EA26 FA66 FA67 GA08 GA34 GA51 GA55 HA04

Claims (19)

【特許請求の範囲】
1. 【請求項１】 画像から、挙動検出の対象となる物の領
   域を抽出し、抽出した領域から、前記対象物の特定部位
   が存在する実世界座標を算出する第１の手段と、 前記第１の手段によって算出された実世界座標を、少な
   くとも所定時間、保持する第２の手段と、 前記第１の手段によって算出された，一の時刻における
   前記特定部位の実世界座標と、前記第２の手段に保持さ
   れた，前記一の時刻よりも前記所定時間だけ前の時刻に
   おける前記特定部位の実世界座標との間の距離を求め、
   求めた距離と所定の閾値とを比較することによって、前
   記対象物が移動状態か静止状態かを判定する第３の手段
   とを備えたことを特徴とする挙動検出装置。
2. 【請求項２】 請求項１記載の挙動検出装置において、 前記対象物は、人であり、 前記特定部位は、前記人の頭頂部であることを特徴とす
   る挙動検出装置。
3. 【請求項３】 請求項１記載の挙動検出装置において、 前記所定時間は、２秒以上の時間であることを特徴とす
   る挙動検出装置。
4. 【請求項４】 請求項１記載の挙動検出装置において、 前記第３の手段は、 前記所定の閾値として、移動状態から静止状態への移行
   を判定するための第１の閾値と、静止状態から移動状態
   への移行を判定するための第２の閾値とを用いるもので
   あり、 前記第２の閾値は、前記第１の閾値よりも大きいことを
   特徴とする挙動検出装置。
5. 【請求項５】 画像から、挙動検出の対象となる物の領
   域を抽出し、抽出した領域の主軸の傾きを求める第１の
   手段と、 前記第１の手段によって求められた主軸傾きと所定の閾
   値とを比較することによって、前記対象物が「寝」状態
   であるか否かを判定する第２の手段とを備えたことを特
   徴とする挙動検出装置。
6. 【請求項６】 請求項５記載の挙動検出装置において、 前記領域の実世界上の位置を推定し、前記所定の閾値
   を、この推定位置に応じて決定することを特徴とする挙
   動検出装置。
7. 【請求項７】 請求項５記載の挙動検出装置において、 前記所定の閾値を、前記領域の画像上の位置に応じて決
   定することを特徴とする挙動検出装置。
8. 【請求項８】 請求項５記載の挙動検出装置において、 前記第１の手段は、 一のフレーム画像における前記主軸傾きの値として、当
   該フレーム画像およびその時間的近傍のフレーム画像に
   ついてそれぞれ求めた複数の主軸傾きの値の代表値を、
   用いるものであることを特徴とする挙動検出装置。
9. 【請求項９】 請求項５記載の挙動検出装置において、 前記第１の手段は、 一のフレーム画像において前記領域が消失したとき、そ
   の前のフレーム画像における前記主軸傾きの値を、当該
   フレーム画像の主軸傾きの値として用いるものであるこ
   とを特徴とする挙動検出装置。
10. 【請求項１０】 画像から、挙動検出の対象となる人の
    領域を抽出する第１の手段と、 前記第１の手段によって抽出された領域の，頭部に相当
    する部分の画像座標から、その部分と当該画像を撮影し
    たカメラとの間の第１の水平距離を求める第２の手段
    と、 前記領域の，足元に相当する部分の画像座標から、その
    部分と前記カメラとの間の第２の水平距離を求める第３
    の手段と、 前記第１の水平距離と前記第２の水平距離とを大小比較
    し、その比較結果に基づき、前記人物の姿勢を判定する
    第４の手段とを備えたことを特徴とする挙動検出装置。
11. 【請求項１１】 請求項１０記載の挙動検出装置におい
    て、 前記第２の手段は、 前記人が立ったときの頭頂高近傍の高さを仮定して、頭
    部部分の画像座標を実世界座標に変換し、得られた実世
    界座標を用いて、前記第１の水平距離を求めるものであ
    ることを特徴とする挙動検出装置。
12. 【請求項１２】 請求項１０記載の挙動検出装置におい
    て、 前記第２の手段は、 前記人が座ったときの頭頂高近傍の高さを仮定して、頭
    部部分の画像座標を実世界座標に変換し、得られた実世
    界座標を用いて、前記第１の水平距離を求めるものであ
    ることを特徴とする挙動検出装置。
13. 【請求項１３】 請求項１０記載の挙動検出装置におい
    て、 前記第３の手段は、 床面の高さを仮定して、足元部分の画像座標を実世界座
    標に変換し、得られた実世界座標を用いて、前記第２の
    水平距離を求めるものであることを特徴とする挙動検出
    装置。
14. 【請求項１４】 人の挙動を検出するシステムであっ
    て、 請求項５記載の挙動検出装置と同一の構成からなる第１
    の挙動検出部と、 請求項１０記載の挙動検出装置と同一の構成を含む第２
    の挙動検出部とを備え、 前記第１の挙動検出部が、前記人は「寝」状態であると
    判定したときは、前記人は「寝」状態であると判定する
    一方、前記第１の挙動検出部が、前記人は「寝以外」状
    態であると判定したときは、前記第２の挙動検出部の判
    定結果を最終的な判定結果とすることを特徴とする挙動
    検出システム。
15. 【請求項１５】 人の挙動を検出するシステムであっ
    て、 請求項１記載の挙動検出装置と同一の構成からなる第１
    の挙動検出部と、 少なくとも「寝」状態か「寝以外」状態かの姿勢判定を
    行う第２の挙動検出部とを備え、 前記第１の挙動検出部が、前記人は移動状態であると判
    定し、かつ、前記第２の挙動検出部が、前記人は「寝以
    外」状態であると判定したとき、前記人は「歩行」状態
    であると判定することを特徴とする挙動検出システム。
16. 【請求項１６】 人の挙動を検出するシステムであっ
    て、 画像から、前記人の人体領域を抽出する第１の手段と、 前記人体領域を基にして、前記人の姿勢判定を行う第２
    の手段と、 前記人体領域の画像座標から、前記第２の手段の姿勢判
    定結果に応じて、前記人の実世界座標を求める第３の手
    段とを備え、 前記第３の手段は、 前記人が姿勢を変えたとき、姿勢変化の開始から終了ま
    での移動軌跡がなめらかになるように、実世界座標を求
    めるものであることを特徴とする挙動検出システム。
17. 【請求項１７】 請求項１６記載の挙動検出システムに
    おいて、 前記第３の手段は、 前記人体領域の画像座標から各姿勢に応じてそれぞれ生
    成された実世界座標候補から、前記第２の手段の姿勢判
    定結果に応じて、一の実世界座標候補を選択し、 一のフレームについて選択した実世界座標候補と、その
    前のフレームの実世界座標とを重み付け加算することに
    よって、前記一のフレームの実世界座標を求めるもので
    あり、かつ、 前記第２の手段の姿勢判定結果が変化したとき、実世界
    座標を求める際における実世界座標候補の重みを、姿勢
    判定結果が変化しない定常時よりも小さくするものであ
    ることを特徴とする挙動検出システム。
18. 【請求項１８】 請求項１６記載の挙動検出システムに
    おいて、 前記第３の手段は、 前記第２の手段の姿勢判定結果に応じて、前記人の高さ
    を推定し、 前記人体領域の画像座標を、推定した高さに基づいて、
    実世界座標に変換するものであり、かつ、 前記第２の手段の姿勢判定結果が、一の姿勢から他の姿
    勢に変化したとき、前記人の高さの推定値を、前記一の
    姿勢における推定値から前記他の姿勢における推定値
    に、徐々に変化させるものであることを特徴とする挙動
    検出システム。
19. 【請求項１９】 画像から、挙動検出の対象となる物が
    占める領域を抽出し、抽出した領域から、前記対象物の
    特定部位が存在する実世界座標を算出する第１の手段
    と、 前記第１の手段によって算出された実世界座標を用い
    て、前記対象物の移動軌跡を求める第２の手段とを備
    え、 前記第２の手段は、 前記実世界座標が所定の範囲内にあるか否かを判定し、
    前記所定の範囲内にない実世界座標を、前記対象物の移
    動軌跡を求めるための実世界座標から外すものであるこ
    とを特徴とする挙動検出装置。