JP2005098927A - 移動体検出装置、移動体検出方法及び移動体検出プログラム - Google Patents

Abstract

【課題】 簡略な構成で移動体の移動位置及び当該移動体の所定部位の姿勢を検出することができる移動体検出装置を提供する。
【解決手段】 固定画像処理部１は、固定画像取得部４により取得された固定画像及び追跡処理部３により検出された人物の三次元位置を用いて固定画像上の人物の二次元位置を検出し、移動画像処理部２は、移動画像取得部５により取得された移動画像及び追跡処理部３により検出された人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出し、追跡処理部３は、固定画像及び固定画像処理部１により検出された固定画像上の人物の二次元位置と、移動画像並びに移動画像処理部２により検出された移動画像上の人物の二次元位置及び頭部姿勢変化量とを用いて人物の三次元位置及び頭部姿勢を検出する。
【選択図】 図１

Description

本発明は、移動体の移動位置及び当該移動体の所定部位の姿勢を検出する移動体検出装置、移動体検出方法及び移動体検出プログラム、特に、人物の移動位置及び頭部姿勢を検出する移動体検出装置、移動体検出方法及び移動体検出プログラムに関するものである。

人間が知覚する五感情報の中でも視覚情報は聴覚情報に並んで重要度が高いため、人間の体験及び行動の記録及び解析において映像情報の果たす役割は大きく、体験の記録にとって映像情報は不可欠である。また、映像情報には人の表情やジェスチャ、注視方向、人と物との位置関係など本人および周囲の環境に関する多くの情報が同時に含まれるため、記録手段としての利便性も高い。そのため、映像情報を利用して個人の行動や人間同士のインタラクションを記録する手法が広く検討されている。

例えば、各人物および環境に取り付けられた多数のカメラと赤外線タグ等の他のセンサとから構成される移動体検出装置を用いて各人物の移動位置を検出し、人間の行動及び人間同士のインタラクションを記録及び解析するシステムが開発されている（非特許文献１参照）。
角康之他、「複数センサ群による強調的なインタラクションの記録」、インタラクション ２００３、２００３年、ｐ．２５５−ｐ．２６２

しかしながら、上記のシステムでは、検出対象物である人物等に赤外線タグを装着する必要があるため、システムの構成が複雑になるとともに、システムのコストが高くなる。また、上記のシステムでは、赤外線タグを用いた対象物の特定にとどまり、人間の移動位置及び頭部姿勢を検出することはできない。

本発明の目的は、簡略な構成で移動体の移動位置及び当該移動体の所定部位の姿勢を検出することができる移動体検出装置、移動体検出方法及び移動体検出プログラムを提供することである。

本発明に係る移動体検出装置は、移動体の位置を特定するための位置特定情報を検出する位置検出手段と、位置検出手段により検出された位置特定情報を取得する位置特定情報取得手段と、移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段と、移動撮影手段により撮影された光軸方向の画像を移動画像として取得する移動画像取得手段と、位置特定情報取得手段により取得された位置特定情報及び移動画像取得手段により取得された移動画像を基に移動体の移動位置及び当該移動体の部位の姿勢を検出する検出手段とを備えるものである。

本発明に係る移動体検出装置では、位置検出手段により検出された移動体の位置を特定するための位置特定情報を取得するとともに、移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得し、取得された位置特定情報及び移動画像を基に移動体の移動位置及び移動体の部位の姿勢を検出しているので、赤外線タグ等を用いることなく、簡略な構成で移動体の移動位置及び当該移動体の所定部位の姿勢を検出することができる。

位置検出手段は、移動体が位置する空間内の構造物に固定された複数の固定撮影手段を含み、位置特定情報取得手段は、複数の固定撮影手段により撮影された移動体を含む画像を固定画像として取得する固定画像取得手段を含み、検出手段は、固定画像取得手段により取得された固定画像及び移動画像取得手段により取得された移動画像を基に移動体の移動位置及び当該移動体の部位の姿勢を検出することが好ましい。

この場合、移動体が位置する空間内の構造物に固定された複数の固定撮影手段により撮影された移動体を含む画像を固定画像として取得するとともに、移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得し、取得された固定画像及び移動画像を基に移動体の移動位置及び移動体の部位の姿勢を検出しているので、画像情報を用いた簡略な構成で移動体の移動位置及び当該移動体の所定部位の姿勢を検出することができる。

移動体は人物を含み、固定撮影手段は人物が位置する空間内の構造物に固定され、固定画像取得手段は複数の固定撮影手段により撮影された人物を含む画像を固定画像として取得し、部位は人物の頭部を含み、移動撮影手段は人物の頭部に装着され且つ人物の視線方向に略一致させた光軸を有し、移動画像取得手段は移動撮影手段により撮影された人物の視線方向の画像を移動画像として取得し、検出手段は、固定画像上の人物の二次元位置を検出する第１の検出手段と、移動画像上の人物の二次元位置及び頭部姿勢変化量を検出する第２の検出手段と、人物の三次元位置及び頭部姿勢を検出する第３の検出手段とを含み、第１の検出手段は、固定画像取得手段により取得された固定画像及び第３の検出手段により検出された人物の三次元位置を用いて固定画像上の人物の二次元位置を検出し、第２の検出手段は、移動画像取得手段により取得された移動画像及び第３の検出手段により検出された人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出し、第３の検出手段は、固定画像取得手段により取得された固定画像及び第１の検出手段により検出された固定画像上の人物の二次元位置と、移動画像取得手段により取得された移動画像並びに第２の検出手段により検出された移動画像上の人物の二次元位置及び頭部姿勢変化量とを基に人物の三次元位置及び頭部姿勢を検出することことが好ましい。

この場合、取得された固定画像及び検出された人物の三次元位置を用いて固定画像上の人物の二次元位置を検出し、取得された移動画像及び検出された人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出し、取得された固定画像及び検出された固定画像上の人物の二次元位置と、取得された移動画像並びに検出された移動画像上の人物の二次元位置及び頭部姿勢変化量とを基に人物の三次元位置及び頭部姿勢を検出しているので、各検出結果を相互に利用して固定画像上の人物の二次元位置、移動画像上の人物の二次元位置及び頭部姿勢変化量並びに人物の三次元位置及び頭部姿勢を高精度に検出することができ、簡略な構成で人物の三次元位置及び頭部姿勢を最終的に高精度に検出することができる。

第２の検出手段は、移動画像上に人物領域を設定し、人物領域の移動量と人物領域以外の背景領域の移動量とを基に移動画像上の人物の二次元位置及び頭部姿勢変化量を検出することが好ましい。この場合、移動画像上の人物の二次元位置及び頭部姿勢変化量を高精度に検出することができる。

第３の検出手段は、時系列フィルタを用いて人物の三次元位置及び頭部姿勢を推定することが好ましい。この場合、固定撮影手段による観測情報及び移動撮影手段による観測情報を高精度に統合して人物の三次元位置及び頭部姿勢をより高精度に検出することができる。

本発明に係る移動体検出方法は、位置検出手段により検出された移動体の位置を特定するための位置特定情報を取得するステップと、移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得するステップと、取得された位置特定情報及び移動画像を基に移動体の移動位置及び当該移動体の部位の姿勢を検出するステップとを含むものである。

本発明に係る移動体検出プログラムは、位置検出手段により検出された移動体の位置を特定するための位置特定情報を取得する位置特定情報取得手段と、移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得する移動画像取得手段と、位置特定情報取得手段により取得された位置特定情報及び移動画像取得手段により取得された移動画像を基に移動体の移動位置及び当該移動体の部位の姿勢を検出する検出手段としてコンピュータを機能させるものである。

本発明によれば、取得された位置特定情報及び移動画像を基に移動体の移動位置及び移動体の部位の姿勢を検出しているので、赤外線タグ等を用いることなく、簡略な構成で移動体の移動位置及び当該移動体の所定部位の姿勢を検出することができる。

以下、本発明の一実施の形態による移動体検出装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による移動体検出装置の構成を示すブロック図である。なお、以下の説明では、移動体の一例として人物（人間）を例に説明するが、この例に特に限定されず、自立走行ロボット等の他の移動体にも本発明を同様に適用することができる。

図１に示す移動体検出装置は、固定画像処理部１、移動画像処理部２、追跡処理部３、固定画像取得部４、移動画像取得部５、複数の固定撮影部１１〜１ｍ及び複数の移動撮影部２１〜２ｎを備える。

固定撮影部１１〜１ｍの各々は、移動体である人物が位置する部屋の壁及び天井等に固定されたビデオカメラ等から構成され、人物を含む全体状況等を表す画像を撮影して固定画像取得部４へ出力する。移動撮影部２１〜２ｎの各々は、人物の頭部に装着され且つ人物の視線方向に略一致させた光軸を有するＣＣＤカメラ等から構成され、人物の視線方向の画像を移動画像取得部５へ出力する。なお、本実施の形態では、複数の移動撮影部を用いているが、一つの移動撮影部のみを用いてもよい。

固定画像処理部１、移動画像処理部２、追跡処理部３、固定画像取得部４及び移動画像取得部５は、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、画像用インタフェース部等を備えるコンピュータ等から構成され、ＲＯＭ等に記憶されている固定画像処理プログラム、移動画像処理プログラム及び追跡処理プログラムをＣＰＵ等で実行することにより、固定画像処理部１、移動画像処理部２、追跡処理部３、固定画像取得部４及び移動画像取得部５として機能する。なお、固定画像処理部１、移動画像処理部２及び追跡処理部３等の構成は、上記の例に特に限定されず、専用のハードウエア等により構成してもよい。

固定画像取得部４は、複数の固定撮影部１１〜１ｍにより撮影された人物を含む画像を固定画像として取得し、固定画像処理部１及び追跡処理部３へ出力する。移動画像取得部５は、複数の移動撮影部２１〜２ｎにより撮影された人物の視線方向の画像を移動画像として取得し、移動画像処理部２及び追跡処理部３へ出力する。

固定画像処理部１は、固定画像取得部４により取得された固定画像及び追跡処理部３により検出された人物の三次元位置を用いて固定画像上の人物の二次元位置を検出する。移動画像処理部２は、移動画像取得部５により取得された移動画像及び追跡処理部３により検出された人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出する。このとき、移動画像処理部２は、移動画像上に人物領域を設定し、人物領域の移動量と人物領域以外の背景領域の移動量とから移動画像上の人物の二次元位置及び頭部姿勢変化量を検出する。

追跡処理部３は、固定画像取得部４により取得された固定画像及び固定画像処理部１により検出された固定画像上の人物の二次元位置と、移動画像取得部５により取得された移動画像並びに移動画像処理部２により検出された移動画像上の人物の二次元位置及び頭部姿勢変化量とを基に人物の三次元位置及び頭部姿勢を検出する。このとき、追跡処理部３は、時系列フィルタ、例えば、カルマンフィルタを用いて人物の三次元位置及び頭部姿勢を推定する。なお、時系列フィルタは、カルマンフィルタに特に限定されず、他の時系列フィルタを用いてもよい。また、追跡処理部３は、固定画像取得部４により取得された固定画像及び移動画像取得部５により取得された移動画像を直接入力されるのではなく、固定画像処理部１及び移動画像処理部２により処理された位置情報等の観測情報を固定画像処理部１及び移動画像処理部２から取得し、固定画像及び移動画像ではなく、この観測情報を直接用いてもよい。

本実施の形態では、固定撮影部１１〜１ｍが位置検出手段及び固定撮影手段の一例に相当し、移動撮影部２１〜２ｎが移動撮影手段の一例に相当し、固定画像取得部４が固定画像取得手段及び位置特定情報取得手段の一例に相当し、移動画像取得部５が移動画像取得手段の一例に相当し、固定画像処理部１、移動画像処理部２及び追跡処理部３が検出手段の一例に相当し、固定画像処理部１が第１の検出手段の一例に相当し、移動画像処理部２が第２の検出手段の一例に相当し、追跡処理部３が第３の検出手段の一例に相当する。

次に、図１に示す移動体検出装置において使用される世界座標系及びカメラ座標系について説明する。図２は、図１に示す移動体検出装置において使用される世界座標系及びカメラ座標系を示す模式図である。

図２に示すように、全てのカメラに共通する座標系として、環境に固定された世界座標系（Ｘ，Ｙ，Ｚ）が設定され、各人物に装着した移動撮影部Ｃ_ｉ（移動撮影部２１〜２ｎ）には画面上の軸をｘ_ｉ，ｙ_ｉ、光軸をｚ_ｉとするカメラ座標系（ｘ，ｙ，ｚ）が設定される。なお、世界座標系は、移動体検出装置の使用環境及び使用目的等に応じて任意に設定される。

上記の各座標系により、人物の頭部姿勢は世界座標系からカメラ座標系への相対姿勢θ_ｉ＝〔α_ｉ，β_ｉ，γ_ｉ〕として計算され、α_ｉ，β_ｉ，γ_ｉはｚ，ｙ，ｚ軸の順に回転させたオイラー角である。また、頭部位置については、固定撮影部１１〜１ｍの観測情報により推定される人物の位置と移動撮影部２１〜２ｎの装着位置にはズレがあるため、以下のようにしてオフセットを考慮する。

まず、人物の頭部が頭部中心Ｘｐ_ｉを中心に回転するものとし、固定撮影部１１〜１ｍから得られる世界座標系における人物の三次元位置をＸ_ｉ、移動撮影部Ｃ_ｉの装着位置をＸ_Ｃｉ、頭部姿勢θ_ｉからなる回転行列をＲθ_ｉ、Ｘ_ｉ及びＸｐ_ｉ間のオフセットをΔＸ_ｉとし、Ｘ_Ｃｉ及びＸｐ_ｉ間のオフセットΔＸ_Ｃｉを予め測定しておくとすると、Ｘ_Ｃｉは次式により計算できる。
Ｘ_Ｃｉ＝Ｘ_ｉ−ΔＸ_ｉ＋Ｒθ_ｉΔＸ_Ｃｉ …（１）

上記の世界座標系及びカメラ座標系を用いて、後述する固定画像処理部１による固定画像処理、移動画像処理部２による移動画像処理及び追跡処理部３による追跡処理がそれぞれ実行される。

次に、図１に示す固定画像処理部１による固定画像処理について説明する。図３は、図１に示す固定画像処理部１による固定画像処理を説明するためのフローチャートである。ここでは、時刻ｔｓ＋１において固定撮影部１１〜１ｍのいずれかにより撮影が行われたものとする。

まず、固定画像処理部１は、固定撮影部１１〜１ｍのいずれかにより撮影された固定画像Ｊ_ｉ ^{（ｔｓ＋１）}を固定画像取得部４から取得し（ステップＳ１１）、取得した固定画像Ｊ_ｉ ^{（ｔｓ＋１）}から背景差分により人物領域を検出して頭頂点ｘ_ｈ，ｉ１ ^{（ｔｓ＋１）}，…，ｘ_ｈ，ｉＭ ^{（ｔｓ＋１）}を特徴点として抽出する特徴抽出処理を実行する（ステップＳ１２）。図４は、特徴抽出処理を説明するための模式図である。図４に示すように、各人物の頭頂点ＨＰ（図中の×印）が抽出される。

次に、固定画像処理部１は、固定画像Ｊ_ｉ ^{（ｔｓ＋１）}の観測時刻ｔｓ＋１を追跡処理部３へ送信し（ステップＳ１３）、各人物の三次元予測位置ＸＰ_１ ^{（ｔｓ＋１）}，…，ＸＰ_Ｎ ^{（ｔｓ＋１）}を追跡処理部３から取得する（ステップＳ１４）。

次に、固定画像処理部１は、各人物の三次元予測位置ＸＰ_１ ^{（ｔｓ＋１）}，…，ＸＰ_Ｎ ^{（ｔｓ＋１）}から固定画像上における各人物の二次元観測位置ｘｐ_ｈ，１ ^{（ｔｓ＋１）}，…，ｘｐ_ｈ，Ｎ ^{（ｔｓ＋１）}を推定し（ステップＳ１５）、ステップＳ１２で抽出した特徴点ｘ_ｈ，ｉ１ ^{（ｔｓ＋１）}，…，ｘ_ｈ，ｉＭ ^{（ｔｓ＋１）}と、推定した二次元観測位置ｘｐ_ｈ，１ ^{（ｔｓ＋１）}，…，ｘｐ_ｈ，Ｎ ^{（ｔｓ＋１）}との対応付けを行う（ステップＳ１６）。

次に、固定画像処理部１は、特徴点ｘ_ｈ，ｉ１ ^{（ｔｓ＋１）}，…，ｘ_ｈ，ｉＭ ^{（ｔｓ＋１）}のうち対応付けができたものを追跡処理部３へ送信し（ステップＳ１７）、その後、ステップＳ１１以降の処理を繰り返し、固定撮影部１１〜１ｍのいずれかにより撮影された固定画像を順次処理していく。なお、対応付けができない特徴点については他の固定撮影部の固定画像を用いて対応する人物を発見して対応付けを行う。

次に、図１に示す移動画像処理部２による移動画像処理について説明する。図５は、図１に示す移動画像処理部２による移動画像処理を説明するためのフローチャートである。ここでは、時刻ｔｓ＋１において移動撮影部２１〜２ｎのいずれかにより撮影が行われたものとする。

まず、移動画像処理部２は、移動撮影部２１〜２ｎのいずれかにより撮影された移動画像Ｊ_ｉ ^{（ｔｓ＋１）}を移動画像取得部５から取得し（ステップＳ２１）、移動画像Ｊ_ｉ ^{（ｔｓ＋１）}の観測時刻ｔｓ＋１を追跡処理部３へ送信し（ステップＳ２２）、各人物の三次元予測位置ＸＰ_１ ^{（ｔｓ＋１）}，…，ＸＰ_Ｎ ^{（ｔｓ＋１）}を追跡処理部３から取得する（ステップＳ２３）。

次に、移動画像処理部２は、前フレームの移動画像Ｊ_ｉ ^（ｔｓ）内の各人物の投影領域Ｈ_ｉ ^（ｔｓ）を算出し（ステップＳ２４）、その後、現フレームの移動画像Ｊ_ｉ ^{（ｔｓ＋１）}内の各人物の投影領域Ｈ_ｉ ^{（ｔｓ＋１）}及び背景の投影領域Ｂ^{（ｔｓ＋１）}を算出する（ステップＳ２５）。

ここで、移動撮影部２１〜２ｎにより得られる観測情報として、移動画像上での周囲の人物の投影位置及び背景の変化量から頭部姿勢変化量を推定する方法について詳細に説明する。まず、人物ｋに装着した移動撮影部Ｃ_ｋについて考える。なお、移動撮影部Ｃ_ｋの内部パラメータは既知であるとし、時刻ｔｓ，ｔｓ＋１において移動撮影部Ｃｋにより撮影された移動画像Ｊ_ｋ ^（ｔｓ），Ｊ_ｋ ^{（ｔｓ＋１）}が得られたとする。図６は、移動画像の一例を示す図であり、（ａ）は時刻ｔｓにおける移動画像Ｊ_ｋ ^（ｔｓ）であり、（ｂ）は時刻ｔｓ＋１における移動画像Ｊ_ｋ ^{（ｔｓ＋１）}であり、図７は、図６に示す移動画像Ｊ_ｋ ^（ｔｓ），Ｊ_ｋ ^{（ｔｓ＋１）}を重ね合わせた図である。

このとき、時刻ｔｓまでの観測により、各人物ｉ（ｉ＝１，…，Ｎ）の位置推定値ＸＥ_ｉ ^（ｔｓ）及び位置予測値ＸＰ_ｉ ^{（ｔｓ＋１）}と、移動撮影部Ｃ_ｋの姿勢推定値θｅ_ｋ ^（ｔｓ）及び姿勢予測値θｐ_ｋ ^{（ｔｓ＋１）}とが得られているとすると、移動画像Ｊ_ｋ ^（ｔｓ），Ｊ_ｋ ^{（ｔｓ＋１）}上で観測される人物ｉ（ｉ＝ｉ_１，…，ｉ_Ｍ、Ｍは移動撮影部Ｃ_ｋ上の投影人数）の予測投影領域Ｈ_ｉ ^（ｔｓ），Ｈ_ｉ ^{（ｔｓ＋１）}を推定することができる。但し、予測投影領域Ｈ_ｉ ^（ｔｓ）内での人物ｉの頭頂点位置をｘ_ｈ，ｉ ^（ｔｓ）、予測投影領域Ｈ_ｉ ^{（ｔｓ＋１）}内での人物ｉの頭頂点位置をｘ_ｈ，ｉ ^{（ｔｓ＋１）}とする。

ここで、移動画像Ｊ_ｋ ^（ｔｓ），Ｊ_ｋ ^{（ｔｓ＋１）}間の人物領域の移動を表す行列をＡ_ｉとすると、時刻ｔｓ＋１における人物ｉの投影領域Ｈ_ｉ ^{（ｔｓ＋１）}は、次式で表される。ここで、ｘは人物領域Ｈ_ｉに含まれる画素の二次元位置である。
Ｈ_ｉ ^{（ｔｓ＋１）}＝｛Ａ_ｉｘ｜ｘ ∈Ｈ_ｉ ^（ｔｓ）｝ …（２）

上記と同様に背景領域について考え、２画像間の観測時間差が小さいとすると、人物ｋ（移動撮影部Ｃ_ｋ）の移動による背景領域の変化（運動視差）を無視することができ、背景領域の変化は、時刻ｔｓ，ｔｓ＋１間における移動撮影部の姿勢変化Δθ_ｋによって決定される。ここで、背景の移動を表す行列をＡ_ｂとすると、時刻ｔｓ＋１における背景領域Ｂ^{（ｔｓ＋１）}は、次式で表される。
Ｂ^{（ｔｓ＋１）}＝｛Ａ_ｂｘ｜ｘ ∈Ｂ^（ｔｓ）｝ …（３）

ここで、Ｂ^（ｔ）＝Ω−Ｕ_ｉ＝ｉ１ ^ｉＭＨ_ｉ ^（ｔｓ）であり、Ωは画像全体であり、Δθ_ｋ＝〔Δα_ｋ，Δβ_ｋ，Δγ_ｋ〕は時刻ｔｓ，ｔｓ＋１間における移動撮影部Ｃ_ｋの姿勢変化であり、Δα_ｋ，Δβ_ｋ，Δγ_ｋは、図７に示す移動撮影部Ｃ_ｋのカメラ座標系におけるｘ，ｙ，ｚ軸回りの微小回転変化量である。

移動画像Ｊ_ｋ ^（ｔｓ）の位置ｘの画素値をｐ_ｋ ^（ｔｓ）（ｘ）とすると、人物領域及び背景領域のそれぞれについて下記の関係が成り立つ。
ｐ_ｋ ^（ｔｓ）（ｘ）＝ｐ_ｋ ^{（ｔｓ＋１）}（Ａ_ｉｘ） （ｘ∈Ｈ_ｉ ^（ｔｓ），ｉ＝ｉ_１，…，ｉ_Ｍ） …（４）
ｐ_ｋ ^（ｔｓ）（ｘ）＝ｐ_ｋ ^{（ｔｓ＋１）}（Ａ_ｂｘ） （ｘ∈Ｂ^（ｔｓ）） …（５）

ここで、時刻ｔｓ，ｔｓ＋１間における移動撮影部Ｃ_ｋの姿勢変化Δθ_ｋを既知とすると、移動画像Ｊ_ｋ ^（ｔｓ），Ｊ_ｋ ^{（ｔｓ＋１）}間では下式の関係が得られる。

実際の観測では、各人物の位置及び姿勢の推定値及び予測値に誤差が含まれるため、各人物の予測投影領域Ｈ_ｉ ^（ｔｓ），Ｈ_ｉ ^{（ｔｓ＋１）}に正確には投影されない。このため、各人物について予測投影位置からの誤差をΔｘ^（ｔｓ），Δｘ^{（ｔｓ＋１）}として、予測位置の周辺を探索することにより、画像上での人物ｉの投影位置を決定する。

背景の移動量は、背景領域の変換行列Ａ_ｂに関する最小化により推定されるが、変換行列Ａ_ｂはΔθ_ｋの関数であるから、Δθ_ｋ＝〔Δα_ｋ，Δβ_ｋ，Δγ_ｋ〕について探索することにより、背景の変化量すなわち頭部姿勢の変化量を推定することができる。すなわち、下式を最小化することにより移動画像上での各人物の投影位置及び頭部姿勢変化量Δθ_ｋを推定することができる。

再び、図５を参照して、次に、移動画像処理部２は、各投影領域の近傍の画素を比較して上記の式（７）を最小にするΔｘｐ_ｉ１ ^{（ｔｓ＋１）}，…，Δｘｐ_ｉＭ ^{（ｔｓ＋１）}，Δθｐを求め（ステップＳ２６）、式（８）を用いて予測投影位置ｘｐ_ｈ，ｉ１ ^{（ｔｓ＋１）}，…，ｘｐ_ｈ，ｉＭ ^{（ｔｓ＋１）}を算出する（ステップＳ２７）。

次に、移動画像処理部２は、上記のようにして求めたｘｐ_ｈ，ｉ１ ^{（ｔｓ＋１）}，…，ｘｐ_ｈ，ｉＭ ^{（ｔｓ＋１）}及びΔθｐを投影位置ｘ_ｈ，ｉ１ ^{（ｔｓ＋１）}，…，ｘ_ｈ，ｉＭ ^{（ｔｓ＋１）}及び頭部姿勢変化量Δθ_ｋ ^{（ｔｓ＋１）}として追跡処理部３へ送信し（ステップＳ２８）、各人物の三次元推定位置ＸＥ_１ ^{（ｔｓ＋１）}，…，ＸＥ_Ｎ ^{（ｔｓ＋１）}を追跡処理部３から取得し（ステップＳ２９）、その後、ステップＳ２１以降の処理を繰り返し、移動撮影部２１〜２ｎのいずれかにより撮影された移動画像を順次処理していく。

次に、図１に示す追跡処理部３による追跡処理について説明する。図８は、図１に示す追跡処理部３による追跡処理を説明するためのフローチャートである。

まず、追跡処理部３は、固定画像処理部１又は移動画像処理部２から送信された観測時刻ｔｓ＋１を受信し（ステップＳ３１）、既に求めている時刻ｔｓにおける人物の三次元推定位置ＸＥ_１ ^（ｔｓ），…，ＸＥ_Ｎ ^（ｔｓ）及び頭部推定姿勢θｅ_１ ^（ｔｓ），…，θｅ_Ｎ ^（ｔｓ）から時刻ｔｓ＋１における人物の三次元予測位置ＸＰ_１ ^{（ｔｓ＋１）}，…，ＸＰ_Ｎ ^{（ｔｓ＋１）}及び頭部予測姿勢θｐ_１ ^{（ｔｓ＋１）}，…，θｐ_Ｎ ^{（ｔｓ＋１）}を予測し（ステップＳ３２）、予測した人物の三次元予測位置ＸＰ_１ ^{（ｔｓ＋１）}，…，ＸＰ_Ｎ ^{（ｔｓ＋１）}及び頭部予測姿勢θｐ_１ ^{（ｔｓ＋１）}，…，θｐ_Ｎ ^{（ｔｓ＋１）}を固定画像処理部１又は移動画像処理部２へ送信する（ステップＳ３３）。

次に、追跡処理部３は、固定画像取得部４又は移動画像取得部５から観測情報を受信し（ステップＳ３４）、受信した観測情報が固定画像取得部４から送信された観測情報であるか否かを判断し（ステップＳ３５）、受信した観測情報が固定画像取得部４から送信された観測情報である場合はステップＳ３６へ処理を移行し、受信した観測情報が移動画像取得部５から送信された観測情報である場合はステップＳ３８へ処理を移行する。

ここで、固定撮影部１１〜１ｍによる観測結果と移動撮影部２１〜２ｎによる観測結果を、カルマンフィルタを用いて統合することにより、シーン中の各人物の三次元位置を推定する処理について詳細に説明する。

シーン中にＮ人が存在する場合、系全体の状態ベクトルＸは下式で表される。
Ｘ＝〔Ｘ_１ θ_１ ｄＸ_１ ｄθ_１ … Ｘ_Ｎ θ_Ｎ ｄＸ_Ｎ ｄθ_Ｎ〕 …（９）

ここで、Ｘ_ｉ及びθ_ｉは人物ｉの位置及び頭部姿勢であり、ｄＸ_ｉ及びｄθ_ｉはそれぞれの速度である。

時刻ｔｓから時刻ｔｓ＋１への状態遷移行列をＦとし、時刻ｔｓの状態ベクトルＸ_ｔｓの推定値をＸＥ_ｔｓとし、時刻ｔ＋１の予測値をＸＰ_ｔｓ＋１とすると、
ＸＰ_ｔｓ＋１＝ＦＸＥ_ｔｓ …（１０）
ＰＰ_ｔｓ＋１＝ＦＰＥ_ｔｓＦ’＋Ｑ …（１１）

ここで、Δｔ＝（ｔｓ＋１）−（ｔｓ）であり、Ｑは状態遷移の共分散であり、ＰＥはＸＥの共分散である。

次に、ある固定撮影部又は移動撮影部において観測が得られた場合、観測ベクトルをＺ、観測行列をＨ、観測誤差をｅとすると、下式の関係が得られる。
Ｚ＝ＨＸ＋ｅ …（１３）

上記の結果から、Ｋをカルマンゲイン、Ｒを観測誤差とすると、状態ベクトルは下式により更新される。
ＸＥ_ｔｓ＝ＸＰ_ｔｓ−１＋Ｋ_ｔｓ（Ｚ_ｔｓ−ＨＸＰ_ｔｓ−１） …（１４）
Ｋ_ｔｓ＝ＰＰ_ｔｓ−１Ｈ’（ＨＰＰ_ｔｓ−１Ｈ’＋Ｅ_ｔ）^−１ …（１５）
ＰＥ_ｔｓ＝ＰＰ_ｔｓ−１−Ｋ_ｔＨＰＰ_ｔｓ−１ …（１６）

ここで、固定撮影部１１〜１ｍによる観測に用いられる観測ベクトルＺ及び観測行列Ｈについて説明する。図９は、図１に示す固定撮影部１１〜１ｍに対する観測モデルを説明するための模式図である。時刻ｔｓ＋１において固定撮影部により人物ｊに関する観測が得られた場合、時刻ｔｓにおける人物ｊの位置推定値をＸＥ_ｊ ^（ｔ）、固定画像上の二次元観測位置をｘ_ｈ，ｊとすると、固定撮影部のレンズ中心Ｃと姿勢情報から、世界座標系上における観測方向（レンズ中心Ｃと固定画像上の点ｘ_ｈ，ｊとを結ぶ直線）を決定することができ、この方向を２つの角度φ，θで表す。但し、φは人物ｊの観測方向とＹ−Ｚ平面とのなす角であり、θは人物ｊの観測方向のＹ−Ｚ平面への投影とＺ軸とのなす角である。また、φ，θによる回転行列をＲφ、Ｒθとすると、Ｒφ，Ｒθは人物ｊの観測方向をｚ軸と平行にする回転行列となる。

ここで、固定撮影部によって人物ｊが観測された場合の観測ベクトルＺを下式で表す。

このとき、固定撮影部の三次元位置をＣ＝〔ｘ_ｃ，ｙ_ｃ，ｚ_ｃ〕とすると、回転行列Ｒφ及びＲθによりＸ_ｊ ^（ｔ）及びＣはｚ軸に平行な直線上に移るため、下式の関係が得られる。

ここで、ｅは観測誤差、Ｉ_３は三次元の単位行列、０_ｉ，ｊはｉ×ｊ要素からなるゼロ行列である。

次に、移動撮影部２１〜２ｎによる観測に用いられる観測ベクトルＺ及び観測行列Ｈについて説明する。図１０及び図１１は、図１に示す移動撮影部２１〜２ｎに対する第１及び第２の観測モデルを説明するための模式図である。時刻ｔｓ＋１において人物ｋが装着している移動撮影部Ｃ_ｋにより人物ｊが観測された場合、連続する２フレーム間での頭部姿勢の変動は微小であり、移動撮影部Ｃ_ｋの光軸（ｚ軸）と世界座標系Ｘ−Ｙ平面とのなす角が小さいと仮定すると、移動撮影部Ｃ_ｋの姿勢α_ｋは世界座標系Ｚ軸回転で、β_ｋはＺ軸に垂直なＸ−Ｙ平面上の軸回転の角度で近似できる。

時刻ｔｓ＋１における観測により、移動撮影部Ｃ_ｋの相対姿勢変化Δθ_ｋ＝〔Δα_ｋ，Δβ_ｋ，Δγ_ｋ〕とカメラ座標系ｚ軸に対する人物ｊの観測方向がなす角φ，ψが得られたとし、人物ｋ，ｊの予測位置をＸＰ_ｋ，ＸＰ_ｊ、推定位置をＸＥ_ｋ，ＸＥ_ｊとし、図１０を参照して姿勢αについて考える。

ここで、Ｘ−Ｙ平面上で（ＸＰ_ｊ−ＸＰ_ｋ）に直交する単位ベクトル（ｐ，ｑ）を下記のように定義する。
ｌα＝（（ｘｐ_ｊ−ｘｐ_ｋ）^２＋（ｙｐ_ｊ−ｙｐ_ｋ）^２）^１／２ …（２０）
ｐ＝（ｙｐ_ｊ−ｙｐ_ｋ）／ｌα，ｑ＝−（ｘｐ_ｊ−ｘｐ_ｋ）／ｌα …（２１）

上記のｐ，ｑを用いて、図１０中のΔφは下式で表される。
Δφ＝（ｐ／ｌα）（ｙｅ_ｊ−ｙｅ_ｋ）＋（ｑ／ｌα）（ｘｅ_ｊ−ｘｅ_ｋ） …（２２）

したがって、α，φに関して以下の関係が得られる。
α_ｋ＋Δα_ｋ＝ｔａｎ^−１（（ｙｐ_ｊ−ｙｐ_ｋ）／（ｘｐ_ｊ−ｘｐ_ｋ））＋φ＋（ｐ／ｌα）（ｙｅ_ｊ−ｙｅ_ｋ）＋（ｑ／ｌα）（ｘｅ_ｊ−ｘｅ_ｋ） …（２３）

同様に、図１１に示すβ，ψに関して以下の関係が得られる。
β_ｋ＋Δβ_ｋ＝ｔａｎ^−１（（ｚｐ_ｊ−ｚｐ_ｋ）／（（ｘｐ_ｊ ^２＋ｙｐ_ｊ ^２）^１／２−（ｘｐ_ｋ ^２＋ｙｐ_ｋ ^２）^１／２））＋ψ＋（ｒ／ｌβ）（ｚｅ_ｊ−ｚｅ_ｋ）＋（ｓ／ｌβ）（ｘｅ_ｊ−ｘｅ_ｋ） …（２４）

上記の結果から、ｅを観測誤差とすると、下式が得られる。

再び、図８を参照して、受信した観測情報が固定画像取得部４から送信された観測情報である場合、追跡処理部３は、上記の式（１９）から固定撮影部１１〜１ｍによる観測に用いられる観測行列Ｈを生成し（ステップＳ３６）、観測行列Ｈと特徴点ｘ_ｈ，ｉ１ ^{（ｔｓ＋１）}，…，ｘ_ｈ，ｉＭ ^{（ｔｓ＋１）}とにより人物モデルを更新して人物の三次元推定位置ＸＥ_１ ^{（ｔｓ＋１）}，…，ＸＥ_Ｎ ^{（ｔｓ＋１）}を算出し（ステップＳ３７）、その後、ステップＳ３１以降の処理を繰り返す。

一方、受信した観測情報が移動画像取得部５から送信された観測情報である場合、追跡処理部３は、上記の式（２７）、（２８）から移動撮影部２１〜２ｎによる観測に用いられる観測行列Ｈを生成し（ステップＳ３８）、観測行列Ｈと投影位置ｘ_ｈ，ｉ１ ^{（ｔｓ＋１）}，…，ｘ_ｈ，ｉＭ ^{（ｔｓ＋１）}及び頭部姿勢変化量Δθ_ｋ ^{（ｔｓ＋１）}とにより人物モデルを更新して人物の三次元推定位置ＸＥ_１ ^{（ｔｓ＋１）}，…，ＸＥ_Ｎ ^{（ｔｓ＋１）}及び頭部推定姿勢θｅ_１ ^{（ｔｓ＋１）}，…，θｅ_Ｎ ^{（ｔｓ＋１）}を算出する（ステップＳ３９）。

次に、追跡処理部３は、人物の三次元推定位置ＸＥ_１ ^{（ｔｓ＋１）}，…，ＸＥ_Ｎ ^{（ｔｓ＋１）}を移動画像処理部２へ送信し（ステップＳ４０）、その後、ステップＳ３１以降の処理を繰り返す。

上記の各処理により、本実施の形態では、固定画像処理部１により固定画像及び人物の三次元位置を用いて固定画像上の人物の二次元位置を検出し、移動画像処理部２により移動画像及び人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出し、追跡処理部３により固定画像及び固定画像上の人物の二次元位置と、移動画像並びに移動画像上の人物の二次元位置及び頭部姿勢変化量とを用いて人物の三次元位置及び頭部姿勢を検出しているので、各検出結果を相互に利用して固定画像上の人物の二次元位置、移動画像上の人物の二次元位置及び頭部姿勢変化量並びに人物の三次元位置及び頭部姿勢を高精度に検出することができ、簡略な構成で人物の三次元位置及び頭部姿勢を最終的に高精度に検出することができる。

次に、上記の移動体検出装置の検出精度について具体例を挙げて説明する。図１２乃至図１４は、図１に示す移動体検出装置による三次元位置及び頭部姿勢の第１乃至第３の検出結果を示す図である。本例は、３人の人物Ａ〜Ｃが部屋の中を移動しているときに、複数の固定撮影部により人物Ａ〜Ｃの固定画像を撮影するとともに、人物Ａ，Ｂが移動撮影部を頭部に装着し、人物Ｃは移動撮影部を装着せず、人物Ａ，Ｂの移動撮影部により移動画像を撮影した例であり、図１２は人物Ａの三次元位置及び頭部姿勢の検出結果を示し、図１３は人物Ｂの三次元位置及び頭部姿勢の検出結果を示し、図１４は人物Ｃの三次元位置の検出結果を示している。また、各図において、実線は、図１に示す移動体検出装置の三次元位置及び頭部姿勢の検出結果を示し、破線は、比較例として従来の光学マーカを用いたモーションキャプチャシステムによる三次元位置及び頭部姿勢の検出結果を示している。

図１２乃至図１４から、人物Ａ〜Ｃの三次元位置及び頭部姿勢を高精度に検出できたことがわかり、このときの姿勢推定誤差の平均は８．１ｄｅｇ、位置推定誤差の平均は１０．４ｃｍであった。

なお、上記の説明では、頭部姿勢として３軸の検出を行ったが、１軸又は２軸のみ検出するようにしてもよい。また、固定撮影部１１〜１ｍ及び固定画像取得部４により固定画像を取得したが、固定画像に代えて又は加えて、位置センサ等の他のセンサにより検出された移動体の位置を特定するための位置特定情報、例えば、移動体の三次元位置等を取得することにより、移動体の移動位置及び当該移動体の所定部位の姿勢を検出するようにしてもよい。

本発明の一実施の形態による移動体検出装置の構成を示すブロック図である。 図１に示す移動体検出装置において使用される世界座標系及びカメラ座標系を示す模式図である。 図１に示す固定画像処理部による固定画像処理を説明するためのフローチャートである。 特徴抽出処理を説明するための模式図である。 図１に示す移動画像処理部による移動画像処理を説明するためのフローチャートである。 移動画像の一例を示す図である。 図６に示す移動画像を重ね合わせた図である。 図１に示す追跡処理部による追跡処理を説明するためのフローチャートである。 図１に示す固定撮影部に対する観測モデルを説明するための模式図である。 図１に示す移動撮影部に対する第１の観測モデルを説明するための模式図である。 図１に示す移動撮影部に対する第２の観測モデルを説明するための模式図である。 図１に示す移動体検出装置による三次元位置及び頭部姿勢の第１の検出結果を示す図である。 図１に示す移動体検出装置による三次元位置及び頭部姿勢の第２の検出結果を示す図である。 図１に示す移動体検出装置による三次元位置の第３の検出結果を示す図である。

符号の説明

１ 固定画像処理部
２ 移動画像処理部
３ 追跡処理部
４ 固定画像取得部
５ 移動画像取得部
１１〜１ｍ 固定撮影部
２１〜２ｎ 移動撮影部

Claims (7)

1. 移動体の位置を特定するための位置特定情報を検出する位置検出手段と、
   前記位置検出手段により検出された位置特定情報を取得する位置特定情報取得手段と、
   前記移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段と、
   前記移動撮影手段により撮影された光軸方向の画像を移動画像として取得する移動画像取得手段と、
   前記位置特定情報取得手段により取得された位置特定情報及び前記移動画像取得手段により取得された移動画像を基に移動体の移動位置及び当該移動体の前記部位の姿勢を検出する検出手段とを備えることを特徴とする移動体検出装置。
2. 前記位置検出手段は、前記移動体が位置する空間内の構造物に固定された複数の固定撮影手段を含み、
   前記位置特定情報取得手段は、前記複数の固定撮影手段により撮影された移動体を含む画像を固定画像として取得する固定画像取得手段を含み、
   前記検出手段は、前記固定画像取得手段により取得された固定画像及び前記移動画像取得手段により取得された移動画像を基に移動体の移動位置及び当該移動体の前記部位の姿勢を検出することを特徴とする請求項１記載の移動体検出装置。
3. 前記移動体は人物を含み、前記固定撮影手段は人物が位置する空間内の構造物に固定され、前記固定画像取得手段は前記複数の固定撮影手段により撮影された人物を含む画像を固定画像として取得し、
   前記部位は人物の頭部を含み、前記移動撮影手段は人物の頭部に装着され且つ人物の視線方向に略一致させた光軸を有し、前記移動画像取得手段は前記移動撮影手段により撮影された人物の視線方向の画像を移動画像として取得し、
   前記検出手段は、
   固定画像上の人物の二次元位置を検出する第１の検出手段と、
   移動画像上の人物の二次元位置及び頭部姿勢変化量を検出する第２の検出手段と、
   人物の三次元位置及び頭部姿勢を検出する第３の検出手段とを含み、
   前記第１の検出手段は、前記固定画像取得手段により取得された固定画像及び前記第３の検出手段により検出された人物の三次元位置を用いて固定画像上の人物の二次元位置を検出し、
   前記第２の検出手段は、前記移動画像取得手段により取得された移動画像及び前記第３の検出手段により検出された人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出し、
   前記第３の検出手段は、前記固定画像取得手段により取得された固定画像及び前記第１の検出手段により検出された固定画像上の人物の二次元位置と、前記移動画像取得手段により取得された移動画像並びに前記第２の検出手段により検出された移動画像上の人物の二次元位置及び頭部姿勢変化量とを基に人物の三次元位置及び頭部姿勢を検出することを特徴とする請求項２記載の移動体検出装置。
4. 前記第２の検出手段は、移動画像上に人物領域を設定し、人物領域の移動量と人物領域以外の背景領域の移動量とを基に移動画像上の人物の二次元位置及び頭部姿勢変化量を検出することを特徴とする請求項３記載の移動体検出装置。
5. 前記第３の検出手段は、時系列フィルタを用いて人物の三次元位置及び頭部姿勢を推定することを特徴とする請求項３又は４記載の移動体検出装置。
6. 位置検出手段により検出された移動体の位置を特定するための位置特定情報を取得するステップと、
   前記移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得するステップと、
   取得された位置特定情報及び移動画像を基に移動体の移動位置及び当該移動体の前記部位の姿勢を検出するステップとを含むことを特徴とする移動体検出方法。
7. 位置検出手段により検出された移動体の位置を特定するための位置特定情報を取得する位置特定情報取得手段と、
   前記移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得する移動画像取得手段と、
   前記位置特定情報取得手段により取得された位置特定情報及び前記移動画像取得手段により取得された移動画像を基に移動体の移動位置及び当該移動体の前記部位の姿勢を検出する検出手段としてコンピュータを機能させることを特徴とする移動体検出プログラム。