JP2006190195A

JP2006190195A - 対象物姿勢推定装置

Info

Publication number: JP2006190195A
Application number: JP2005002998A
Authority: JP
Inventors: Akira Uchiumi; 章内海; Daisuke Kanbara; 大輔神原
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2005-01-07
Filing date: 2005-01-07
Publication date: 2006-07-20
Anticipated expiration: 2025-01-07
Also published as: JP4319628B2

Abstract

【課題】対象物の負担を軽減することができるとともに、シーンに依存した要因に過度に影響されることなく、対象物の姿勢を安定的且つ高精度に推定することができる対象物姿勢推定装置を提供する。
【解決手段】プロジェクタ１１は、ユーザに対して複数のスポット赤外光を投影し、ビデオカメラ２１ａは、ユーザの表面に投影された複数の赤外光点を撮影し、３次元位置検出部２２及び３次元位置復元部２３は、撮影された複数の赤外光点の位置を基にユーザの表面の３次元位置分布を検出し、姿勢推定部２４は、検出された３次元位置分布と、姿勢データベース２５にユーザの姿勢毎に予め記憶されている基準３次元位置分布とを比較してユーザの姿勢を推定する。
【選択図】図１

Description

本発明は、複数のスポット光を投影して対象物の姿勢を推定する対象物姿勢推定装置に関するものである。

高次脳機能障害や痴呆症を持つ被介護者のコミュニケーションを活性化し、介護者である家族を支援するためのインターフェースが研究されており、例えば、非特許文献１には、ネットワークを利用した情報セラピーインターフェースが開示されている。このような情報セラピーインターフェースは、ユーザである被介護者の状態及び意図に応じた情報提供を行い、ネットワークを介した被介護者と介護者とのコミュニケーションの場を提供することにより、介護者の負担を軽減するシステムである。

上記のようなシステムでは、室内で自由に行動する被介護者の行動パターンを抽出して被介護者の状態及び意図を推定する必要があり、人の動き、特に姿勢を高精度に検出する必要がある。人の姿勢を検出する方法として、人を含む画像を撮影して画像処理により人の姿勢を検出する受動的な観測方法がある。この受動的な観測方法では、非装着及び非接触の検出方法である画像処理を用いることができるため、被介護者の負担を軽減することができる。
鉄谷信二他、「ネットワークを利用した情報セラピーインターフェース」、信学技報、２００３年、Ｎｏ．１０３−７４７、ｐ．３１−ｐ．３６

しかしながら、上記のような受動的な観測方法では、被介護者の服装、室内の照明条件等の環境条件の変化、及び人同士のオクルージョン等のシーンに依存した要因により、検出処理が不安定となって人の姿勢を正確に推定することができない場合がある。

本発明の目的は、対象物の負担を軽減することができるとともに、シーンに依存した要因に過度に影響されることなく、対象物の姿勢を安定的且つ高精度に推定することができる対象物姿勢推定装置を提供することである。

本発明に係る対象物姿勢推定装置は、対象物に対して複数のスポット光を所定パターンで投影する投影手段と、投影手段により対象物の表面に投影された複数の光点を撮影する撮影手段と、撮影手段により撮影された複数の光点の位置を基に対象物の表面の３次元位置分布を検出する検出手段と、対象物の姿勢毎に対象物の表面の基準３次元位置分布を予め記憶している記憶手段と、検出手段により検出された３次元位置分布と記憶手段に記憶されている基準３次元位置分布とを比較して対象物の現在の姿勢を推定する推定手段とを備えるものである。

本発明に係る対象物姿勢推定装置において、対象物に対して複数のスポット光が所定パターンで投影され、対象物の表面に投影された複数の光点が撮影される。このとき、撮影された複数の光点の位置を基に対象物の表面の３次元位置分布が検出され、検出された３次元位置分布と対象物の姿勢毎に予め記憶されている基準３次元位置分布とを比較して対象物の姿勢が推定される。このように、撮影された複数の光点の位置から画像処理により対象物の姿勢を推定しているので、対象物に対して観測機器を非装着及び非接触の状態で対象物の姿勢を推定することができ、対象物の負担を軽減することができる。また、複数のスポット光を照射して各光点の位置を能動的に観測しているので、シーンに依存した要因に過度に影響されることなく、対象物の姿勢を安定的に推定することができる。さらに、対象物の姿勢毎に予め記憶されている基準３次元位置分布と比較して対象物の現在の姿勢を推定しているので、対象物の姿勢を高精度に推定することができる。

検出手段は、検出された３次元位置分布を基に対象物の観測位置を検出し、投影手段は、検出手段により検出された対象物の観測位置に応じてスポット光の位置を補正することが好ましい。

この場合、３次元位置分布を基に対象物の観測位置が検出され、検出された対象物の観測位置に応じてスポット光の位置が補正されるので、３次元位置分布を高精度に検出することができる。したがって、この３次元位置分布と基準３次元位置分布とを比較して対象物の姿勢を推定しているので、対象物が移動しても、対象物の姿勢を高精度に推定することができる。

撮影手段は、投影手段により対象物の表面に投影された複数の光点を互いに異なる撮影方向から撮影する第１及び第２の撮影手段を含み、検出手段は、第１及び第２の撮影手段により撮影された複数の光点の位置を基に対象物の異なる表面の３次元位置分布を検出し、対象物姿勢推定装置は、検出手段により検出された対象物の異なる表面の３次元位置分布を保持する保持手段と、検出手段により検出された対象物の異なる表面の３次元位置分布と保持手段に保持されている所定時刻前の対象物の異なる表面の３次元位置分布とを比較して対象物の表面に変化が生じた部位を検出する部位検出手段と、対象物が装着する衣服毎に当該衣服の着脱により変化が生じる部位を予め記憶している衣服記憶手段と、部位検出手段により検出された部位と衣服記憶手段に記憶されている部位とを比較して変化が生じた衣服の種類を識別する識別手段とをさらに備えることが好ましい。

この場合、第１及び第２の撮影手段により撮影された複数の光点の位置を基に対象物の異なる表面の３次元位置分布が検出され、検出された対象物の異なる表面の３次元位置分布と所定時間前の対象物の異なる表面の３次元位置分布とを比較して変化が生じた部位が検出され、検出された部位と対象物が装着する衣服毎に予め記録されている当該衣服の着脱により変化が生じる部位とを比較して変化が生じた衣服の種類を識別することができるので、対象物の着替えの状態を高精度に検出することができる。

投影手段は、複数のスポット光を撮影画像上で互いに干渉しないスポット光群に分割する分割手段と、分割手段により分割されたスポット光群毎にスポット光を対象物に対して投影する分割投影手段とを含み、撮影手段は、分割投影手段によりスポット光群毎に対象物の表面に投影された複数の光点を撮影し、検出手段は、撮影手段によりスポット光群毎に撮影された光点の位置を基に対象物の表面の３次元位置分布を検出することが好ましい。

この場合、複数のスポット光が撮影画像上で互いに干渉しないスポット光群に分割され、分割されたスポット光群毎にスポット光が対象物に対して投影され、スポット光群毎に対象物の表面に投影された複数の光点が撮影され、スポット光群毎に撮影された光点の位置を基に対象物の表面の３次元位置分布を検出しているので、対象物の表面の３次元位置分布を高速かつ効率的に検出することができる。

投影手段は、赤外光を用いて対象物に対して複数のスポット光を所定パターンで投影し、撮影手段は、投影手段により対象物の表面に投影された複数の赤外光点を撮影することが好ましい。

この場合、対象物に見えない赤外光を用いて対象物の表面の３次元位置分布を検出しているので、照明条件等の環境変化に対してロバストな検出を行うことができるとともに、対象物のプライバシーを確保することができる。

本発明によれば、撮影された複数の光点の位置から画像処理により対象物の姿勢を推定しているので、対象物に対して観測機器を非装着及び非接触の状態で対象物の姿勢を推定することができ、対象物の負担を軽減することができるとともに、複数のスポット光を照射して各光点を能動的に観測しているので、シーンに依存した要因に過度に影響されることなく、対象物の姿勢を安定的に推定することができ、さらに、対象物の姿勢毎に予め記憶されている基準３次元位置分布と比較して対象物の姿勢を推定しているので、対象物の姿勢を高精度に推定することができる。

以下、本発明の一実施の形態による対象物姿勢推定装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による対象物姿勢推定装置の構成を示すブロック図である。

図１に示す対象物姿勢推定装置は、プロジェクタ１１、投影パターン分割部１２、投影パターン生成部１３、２台のビデオカメラ２１ａ，２１ｂ、３次元位置検出部２２、３次元位置復元部２３、姿勢推定部２４、姿勢データベース２５、前回位置保持部２６、変化部位検出部２７、服装変化識別部２８及び服装変化部位データベース２９を備える。

プロジェクタ１１は、例えば、ＤＬＰ（デジタル・ライト・プロセッシング）プロジェクタ（解像度８００×６００画素）から構成され、そのレンズユニットに赤外線フィルタが取り付けられ、赤外光を用いて対象物であるユーザ（例えば、被介護者）に対して複数のスポット赤外光を所定パターンで投影する。ビデオカメラ２１ａ，２１ｂは、例えば、ＣＣＤカメラから構成され、そのレンズユニットに赤外線フィルタが取り付けられ、ユーザの表面に投影された複数の赤外光点を撮影する。

図２は、図１に示すプロジェクタ１１とビデオカメラ２１ａ，２１ｂとの位置関係を説明するための模式図である。図２に示すように、部屋の上方、例えば、天井の真中又は一方側に設置されたプロジェクタ１１は、ユーザに対して複数のスポット赤外光を所定パターンで投影し、部屋の上方、例えば、天井の一方側に設置されたビデオカメラ２１ａは、ユーザの表面（具体的には、身体又は衣服の表面）に投影された複数の赤外光点を撮影する。また、ビデオカメラ２１ｂは、ビデオカメラ２１ａの反対側に取り付けられ、ユーザの表面に投影された複数の赤外光点をビデオカメラ２１ａの撮影方向と異なる撮影方向から撮影する。このようにして、ビデオカメラ２１ａ，２１ｂによりユーザの表面（前面）及び裏面（背面）に投影された複数の赤外光点を撮影することができる。

図３及び図４は、図１に示すプロジェクタ１１及びビデオカメラ２１ａの設置例を示す図である。なお、図３及び図４では、簡略化のためにビデオカメラ２１ａのみを図示している。例えば、図３に示すように、トイレにプロジェクタ１１及びビデオカメラ２１ａが設置され、この場合、ユーザのトイレの使用状態を観測することができる。また、図４に示すように、洋服ダンスが配置された部屋にプロジェクタ１１及びビデオカメラ２１ａが設置され、この場合、ユーザの着替え状態を観測することができる。

なお、本実施の形態では、１つの部屋に１台のプロジェクタ１１及び２台のビデオカメラ２１ａ，２１ｂが設置されている例について説明するが、プロジェクタ及びビデオカメラの台数は、この例に特に限定されず、種々の変更が可能である。例えば、リビングルーム、キッチン及びバスルーム等の部屋毎にユーザの姿勢の推定及び服装変化の識別を行う場合は、部屋毎に少なくとも１台のプロジェクタ及び少なくとも１台のビデオカメラが設置され、また、１台のビデオカメラのみを用いてユーザの姿勢を推定してもよい。より広範囲の観測を要する場合には複数のプロジェクタ及び複数のビデオカメラが設置されてもよい。特に、服装変化の検出を行う場合にはユーザの全周の３次元位置を得るため複数のプロジェクタ及びビデオカメラを組み合わせることが望ましい。

投影パターン生成部１３は、ユーザの３次元位置分布を計測するために、複数のスポット赤外光からなる全体赤外線スポットパターン、例えば、マトリックス状にスポット赤外光が配置された赤外線スポットパターンを生成する。投影パターン分割部１２は、複数のスポット赤外光を撮影画像上で互いに干渉しないスポット赤外光群に分割する。具体的には、投影パターン分割部１２は、ビデオカメラ２１ａ，２１ｂによる観察時に各部分赤外線スポットパターン内でスポット赤外光を独立に観察できるように、各部分赤外線スポットパターン内でのスポット赤外光の位置関係を計算して全体赤外線スポットパターンを複数の部分赤外線スポットパターンに分割する。

投影パターン分割部１２は、分割した部分赤外線スポットパターンでスポット赤外光を投影するようにプロジェクタ１１を制御するとともに、現在の部分赤外線スポットパターンを３次元位置検出部２２に通知する。プロジェクタ１１は、分割された部分赤外線スポットパターンで複数のスポット赤外光をユーザに投影する。したがって、複数のスポット赤外光間の混同を避けることができ、スポット赤外光を検出する処理を簡略化及び高速化することができる。

３次元位置検出部２２は、現在の部分赤外線スポットパターンを参照してビデオカメラ２１ａ，２１ｂにより撮影された２次元画像上のスポット赤外光の位置からユーザの表面の３次元位置分布を検出する。３次元位置復元部２３は、部分赤外線スポットパターン毎に検出されたユーザの表面の３次元位置分布を纏めて全体赤外線スポットパターンに対するユーザの表面の３次元位置分布を復元する。また、３次元位置復元部２３は、復元したユーザの表面の３次元位置分布からユーザの観測位置を検出して投影パターン生成部１３へ出力するともに、ユーザの観測位置を検出することによりユーザを追跡する。

投影パターン生成部１３は、検出された観測位置に応じて全体赤外線スポットパターンの投影位置を補正し、投影パターン分割部１２は、補正された全体赤外線スポットパターンを複数の部分赤外線スポットパターンに分割し、プロジェクタ１１は、補正された部分赤外線スポットパターンで複数のスポット赤外光をユーザに投影する。このとき、３次元位置検出部２２は、補正後の部分赤外線スポットパターンによるスポット赤外光の位置からユーザの表面の３次元位置分布を検出し、３次元位置復元部２３は、補正後の部分赤外線スポットパターン毎に検出されたユーザの表面の３次元位置分布を纏めて補正後の全体赤外線スポットパターンに対するユーザの表面の３次元位置分布を復元し、姿勢推定部２４へ出力する。

姿勢データベース２５には、人間の典型姿勢毎に人間の表面の基準３次元位置分布を予め記憶している。姿勢推定部２４は、復元されたユーザの表面の３次元位置分布と姿勢データベース２５に記憶されている基準３次元位置分布とを比較してユーザの現在の姿勢を推定する。なお、この姿勢推定処置は、２台のビデオカメラ２１ａ，２１ｂから得られた各画像を用いて実行してもよいし、ビデオカメラ２１ａ，２１ｂ毎又は一方のビデオカメラのみを用いて実行してもよい。

一方、ユーザの服装変化の識別を行う場合、３次元位置検出部２２は、現在の部分赤外線スポットパターンを参照してビデオカメラ２１ａ，２１ｂにより撮影された２次元画像上のスポット赤外光の位置から各撮影方向のユーザの表面（異なる表面）の３次元位置分布を検出する。３次元位置復元部２３は、部分赤外線スポットパターン毎に検出された各撮影方向のユーザの表面の３次元位置分布を纏めて全体赤外線スポットパターンに対する各撮影方向のユーザの表面の３次元位置分布を復元し、前回位置保持部２６及び変化部位検出部２７へ出力する。

前回位置保持部２６は、各撮影方向のユーザの表面の３次元位置分布を保持する。変化部位検出部２７は、所定時間前の各撮影方向のユーザの表面の３次元位置分布を前回位置保持部２６から読み出し、３次元位置復元部２３から出力される各撮影方向のユーザの表面の３次元位置分布と比較してユーザの服装の変化が生じた部位を検出し、この部位の３次元位置の増減方向とともに服装変化識別部２８へ出力する。

服装変化部位データベース２９には、人間の典型的な服装毎に衣服毎に当該衣服の着脱により変化が生じる部位を予め記憶している。服装変化識別部２８は、検出された部位と服装変化部位データベース２９に記憶されている部位とを比較して変化が生じた衣服の種類を識別するとともに、３次元位置の増減方向を基準にして、増加している場合は識別した衣服を着ていると判断し、減少している場合は識別した衣服を脱いでいると判断する。

本実施の形態では、プロジェクタ１１、投影パターン分割部１２及び投影パターン生成部１３が投影手段の一例に相当し、ビデオカメラ２１ａ，２１ｂが撮影手段並びに第１及び第２の撮影手段の一例に相当し、３次元位置検出部２２及び３次元位置復元部２３が検出手段の一例に相当し、姿勢データベース２５が記憶手段の一例に相当し、姿勢推定部２４が推定手段の一例に相当する。また、前回位置保持部２６が保持手段の一例に相当し、変化部位検出部２７が部位検出手段の一例に相当し、服装変化部位データベース２９が衣服記憶手段の一例に相当し、服装変化識別部２８が識別手段の一例に相当し、投影パターン分割部１２及び投影パターン生成部１３が分割手段の一例に相当し、プロジェクタ１１が分割投影手段の一例に相当する。

次に、上記のように構成された対象物姿勢推定装置の各動作について詳細に説明する。まず、赤外線スポットパターンの分割処理について説明する。人間の行動を正確に検出するためには、人間の身体の表面に３次元位置の高密度のマップを得る必要があるが、パターン投影を用いた高密度３次元位置検出を行う場合、複数スポットパターンのカメラ画像上での観測位置間の重なりにより３次元再構成処理において混同が生じる。このため、本実施の形態では、全体赤外線スポットパターンを部分赤外線スポットパターンに分割する赤外線スポットパターンの分割処理により複数スポットパターンのカメラ画像上での観測位置間の重なりを防止している。この赤外線スポットパターンの分割処理では、検出処理を簡略化するために交差判断に基づいて、全体赤外線スポットパターンを複数の部分赤外線スポットパターンに分割する。

まず、一定間隔でプロジェクタ画像面上の投影スポットを選択し、スポット間隔は用途に応じて決定される。次に、カメラ画像上の各点に対する観察可能領域（例えば、エピポーラ線上の有限部分）を計算する。このとき、プロジェクタ平面上の点（Ｘｐ，Ｙｐ）、カメラ平面上の２次元観察点（Ｘｃ，Ｙｃ）は、下記の式を満たすことが知られている。

ここで、Ｘｐ，Ｙｐは、プロジェクタ画像面上の投影点の位置であり、Ｘｃ，Ｙｃは、カメラ座標の観察点を示す。通常、シーン中に投影された対象点の高さは、ある範囲（Ｚ₀＜Ｚ＜Ｚ_top）内にあり、エピポーラ線の一部に観察範囲を制限することができる。ここで、Ｚ＝Ｚ₀に対する２次元観察点を（Ｓ_X，Ｓ_Y）、Ｚ＝Ｚ_topに対する２次元観察点を（Ｌ_X，Ｌ_Y）で表すと（例えば、図２の例では、Ｚ₀＝０，Ｚ_top＝２００）、これらの間の投影点に対する観察点は、２点（Ｓ_X，Ｓ_Y）、（Ｌ_X，Ｌ_Y）を連結したセグメント上にある。

次に、各二つのセグメント間の交差を決定する。ここで、二つのセグメント間の始点及び終点をそれぞれ（Ｓ_X1，Ｓ_Y1）−（Ｌ_X1，Ｌ_Y1）、（Ｓ_X2，Ｓ_Y2）−（Ｌ_X2，Ｌ_Y2）とすると、（（Ｓ_X1−Ｌ_X1）＊（Ｓ_Y2−Ｓ_Y1）＋（Ｓ_Y1−Ｌ_Y1）＊（Ｓ_X1−Ｓ_X2））＊（（Ｓ_X1−Ｌ_X1）＊（Ｌ_Y2−Ｓ_Y1）＋（Ｓ_Y1−Ｌ_Y1）＊（Ｓ_X1−Ｌ_X2））＜０且つ（（Ｓ_X2−Ｌ_X2）＊（Ｓ_Y1−Ｓ_Y2）＋（Ｓ_Y2−Ｌ_Y2）＊（Ｓ_X2−Ｓ_X1））＊（（Ｓ_X2−Ｌ_X2）＊（Ｌ_Y1−Ｓ_Y2）＋（Ｓ_Y2−Ｌ_Y2）＊（Ｓ_X2−Ｌ_X1））＜０であれば、二つのセグメントは交差すると判定される。実際には、各画素の面積を考慮した交差判定を行う必要があるが、ここでは説明は割愛する。

Ｎ個のセグメントに対してＮ×Ｎの組合せがあり、その結果は２値（０：交差、1：交差無）からなる下記の行列で表される。

Ｍ個のビデオカメラがあるとき、上記の行列もＭ個となり、下記のように、全ての行列Ｃ_i（１≦ｉ≦Ｍ）の論理積を取ることにより適切な投影を満足する条件を計算することができる。

次に、投影パターンの効率化について説明する。観測が必要な３次元点（スポット赤外光）の数をＬ個とすると、投影点ｉ，ｊの（１＜ｉ，ｊ＜Ｌ）の組合せは、Ｌ×Ｌとなる。ここで、投影点ｉ，ｊを同時に投影しても互いに干渉しない場合はＣ_i,j＝１、投影点ｉ，ｊを同時に投影すると干渉する場合はＣ_i,j＝０とし、Ｃ_i,j（１＜ｉ，ｊ＜Ｌ）からなる行列Ｘを準備する。なお、行列Ｘの対角要素は全て１となる。

投影パターン生成部１３は、予め記憶している行列Ｘを全体赤外線スポットパターンとして投影パターン分割部１２へ出力する。投影パターン分割部１２は、行列Ｘに対して下記式（６）により表される手続Ｐを適用して必要最低限の部分赤外線スポットパターンの数及びそのときの部分赤外線スポットパターンを決定する。

具体的には、任意の行列Ａ（Ｇ行Ｈ列、行列の各要素Ａ（ｇ，ｈ））に対してＧ×（Ｇ−１）の全組合せ中で、Ａ_i∪Ａ_j＝Ａ_iとなるｊ行目（複数）を行列Ａから取り除き、行列Ｂ（Ｇ’行Ｈ列、行列の各要素Ｂ（ｇ’，ｈ））を作成する。行列Ｂの各列の「１」の合計Ｓを上記式（７）により算出し、Ｓが最小となる列ｌ（ｌ＝ｌ（１），ｌ（２），…，ｌ（ｐ））のそれぞれについてＢ_kl＝１となるｋ行目（ｋ＝ｋ（１），ｋ（２），…，ｋ（ｑ））についてＢ_km＝０を満たすｍ列目のｋ行目を除いた要素からなる行列Ｃを作成する。投影パターン分割部１２は、上記の処理を繰り返し、手順Ｐの回数が最小となる行の組合せＡ_k(l)，Ａ_k(2)，…を選択して部分赤外線スポットパターンを作成する。

図５は、部分赤外線スポットパターンを作成する手順Ｐの一例を説明するための図であり、図６は、図５の（ａ）に示す行列Ａから図５の（ｂ）に示す行列Ｃを生成する手順Ｐを詳細に説明するための図である。図５の（ａ）に示す行列Ａから、手順Ｐにより行Ａ４が選択されて図５の（ｂ）に示す行列Ｃが生成される。具体的には、図６の（ａ）に示すように、行列Ａ（図５の（ａ）に示す行列Ａ）では、Ａ１∪Ａ５＝Ａ５、Ａ２∪Ａ４＝Ａ４となるため、行Ａ１，Ａ２が消去され、図６の（ｂ）に示すように、行列Ｂは、Ａ３，Ａ４，Ａ５行目の要素から生成される。この行列Ｂの各列（ｈ＝１〜５）の「１」の合計Ｓは、１、１、３、２、２となる。次に、Ｓが最小となる列に着目する。例えば、Ｓが最小となる列の一つである第２列（ｈ＝２）に着目し、第２列の要素が「１」である行列Ｂの行Ｂ２（元の行列の行Ａ４）を選択する。選択された行Ｂ２に注目して、要素が「０」である列を取り出すと、図６の（ｃ）に示す行列が作成される。次に、行Ｂ２を取り除くと、図６の（ｄ）に示す行列Ｃ（図５の（ｂ）に示す行列Ｃ）が生成される。以上の処理により、手順Ｐが１回実行されたこととなる。

再び図５を参照して、図５の（ｂ）に示す行列Ｃから、手順Ｐにより行Ａ５が選択されて図５の（ｃ）に示す行列Ｃが生成される。この場合、手順Ｐの回数は２回となり、ルートはＡ４→Ａ５となる。同様に、図５の（ａ）に示す行列Ａから、手順Ｐにより図５の（ｄ）に示す行列Ｃが生成される（行列Ｂの第１列（ｈ＝１）に着目し、行Ｂ３（元の行列の行Ａ５）を選択）。さらに、図５の（ｄ）に示す行列Ｃから、手順Ｐにより行Ａ４が選択されて図５の（ｅ）に示す行列Ｃが生成される。この場合、手順Ｐの回数は２回となり、ルートはＡ５→Ａ４となる。本例の場合、手順Ｐの最小回数はいずれも２回であるため、ルートＡ４→Ａ５又はルートＡ５→Ａ４を使用して部分赤外線スポットパターンが作成される。

上記の赤外線スポットパターンの分割処理により、複数のスポット赤外光が撮影画像上で互いに干渉しない部分赤外線スポットパターンに分割され、分割された部分赤外線スポットパターンによりスポット赤外光が対象物に対して投影されるので、ユーザの表面の３次元位置分布の検出処理を簡略化することができるともに、ロバストな３次元測定を行うことができる。

図７は、ユーザの輪郭を検出する際に使用するエッジ検出フィルタの一例を示す図であり、図８は、赤外光点の検出結果の一例を示す図である。ビデオカメラ２１ａ，２１ｂは、スポット赤外光が撮影画像上で互いに干渉しない部分赤外線スポットパターン毎にユーザの表面に投影された複数の赤外光点を順次撮影し、３次元位置検出部２２は、撮影画像上の図７の（ａ）に示す注目画素ＡＰに対して図７の（ｂ）に示す３×３のシンプルなエッジフィルタを適用して赤外光点を検出し、３次元位置復元部２３は、ユーザの表面の３次元位置分布を全体的に復元する。この結果、図８に示す赤外光点を検出することができた。

このように、スポット赤外光が撮影画像上で互いに干渉しない部分赤外線スポットパターン毎にユーザの表面に投影された複数の赤外光点が順次撮影され、部分赤外線スポットパターン毎に撮影された赤外光点の位置を基にユーザの表面の３次元位置分布が順次検出され、最終的に全体的なユーザの表面の３次元位置分布を復元することができるので、ユーザの表面の３次元位置分布を高速かつ効率的に検出することができる。

次に、検出されたユーザの表面の３次元位置分布の観測位置の補正処理について説明する。常に一定の位置に赤外線スポットパターンを投影すると、ユーザの移動に伴って観測対象となるユーザの３次元位置、すなわち観測位置にずれが生じ、投影される赤外光の空間的な解像度が低いほど、一般にずれが大きくなる。このずれにより事前に取得した特定の形状に関する基準座標値（姿勢データベース２５に記憶されている姿勢毎のユーザの表面の基準３次元位置分布）との比較や異なる時刻に得られた座標値同士の比較により形状変化に関する評価が困難となり、以下の説明する観測位置の補正処理が必要となる。

本実施の形態では、上記のずれを検出するための解像度の高い部分を有する赤外線スポットパターンを照射して観測を行い、ずれの検出結果に応じて基準３次元位置分布との比較に適した位置に観測位置を補正し、補正した観測位置を中心とする観測領域全体を観測するための赤外線スポットパターンを投影している。

図９は、図１に示す対象物姿勢推定装置の観測時の座標系を説明するための模式図である。図９に示すように、観測装置であるビデオカメラ２１ａ（又は２１ｂ）の直下に位置する床面上の位置を世界座標系の原点とし、原点とユーザの前回観測位置を結ぶ水平線をＹ軸、原点から鉛直上向きをＺ軸、Ｙ軸及びＺ軸とともに右手系をなす直交軸をＸ軸とする。

図１０は、赤外線スポットパターンの一例を示す模式図であり、図中の黒丸は赤外線スポットパターンを示している。図１０の（ａ）に示すように、赤外線スポットパターンは、人間の外形の特徴的な部分、好ましくは、肩付近を基準とする水平方向領域ＡＲ及び中央上方の垂直方向領域ＢＲに空間解像度の高い部分を有する。例えば、高解像度部分の空間解像度が２ｃｍ、その他の部分の空間解像度が１０ｃｍの赤外線スポットパターンを用いることができる。このとき、ビデオカメラ２１ａ（又は２１ｂ）により撮影された画像から得られるのは、空間中の各観測点の３次元位置であり、領域ＡＲ，ＢＲのそれぞれにおける奥行きＹの変化点（ｘ１，ｘ２，ｚ１）（人体の両肩点及び頭部の頂上点）を基準に人物領域と背景領域との境界位置を定めることができる。

ここで、図１０の（ｂ）に示すように、３次元位置復元部２３は、復元した３次元位置分布からｘ１，ｘ２の中点（（ｘ１＋ｘ２）／２）を人体の中心線、ｚ１を人体の頭部頂上点の高さとして決定し、観測位置となる人体頭部位置（（ｘ１＋ｘ２）／２，ｚ１）を基準として観測領域全体を観測するための全体赤外線スポットパターンを生成するように投影パターン生成部１３を制御し、プロジェクタ１１から観測位置に応じた部分赤外線スポットパターンが投影される。

このように、ユーザの表面の３次元位置分布からユーザの３次元位置が検出され、検出されたユーザの３次元位置に応じて補正した観測位置を中心とする観測領域全体を観測するための赤外線スポットパターンを投影するので、ユーザが移動しても、３次元位置分布を高精度に検出することができる。この３次元位置分布と基準３次元位置分布とを比較してユーザの姿勢を推定しているので、常にユーザの姿勢を高精度に推定することができる。

なお、人体は、縦長の形状を有しているため、一時的に人体頭部位置を観測できなくなり、ｚ１の検出が不安定になる場合があるが、肩付近の水平方向領域ＡＲが人体内に留まる限り、人体の中心線を検出することができ、この中心線が得られれば、中央上方の垂直方向領域Ｂを上下に拡大することで再びｚ１を検出することができる。例えば、図９に示すように、次回の観測における肩付近の水平方向領域ＡＲの高さをｚ１−α（ここで、α＞０、例えばα＝３０ｃｍ）とすることにより、再びｚ１を検出することができる。

次に、上記のように補正された赤外線スポットパターンを用いたユーザの動き追跡処理について説明する。動き追跡処理は、ユーザを含む背景を計測し、ユーザの最初の観測位置を取得する前処理と、取得したユーザの３次元位置に適するように補正した観測位置に赤外線スポットパターンを投影し、投影された赤外線スポットパターンを用いてユーザの表面の３次元位置分布を計測し、前回検出されたユーザの位置と比較して次のユーザの位置を決定し、これらの処理を繰り返す追跡処理とから構成される。

図１１は、図１に示す対象物姿勢推定装置による前処理を説明するための模式図である。前処理として、図１１に白丸で示す赤外線スポットパターンＩＰがユーザに対して投影され、３次元位置復元部２３は、復元した３次元位置分布すなわちユーザを含む背景の３次元形状を観察し、観測領域における各点をランダムに連続して観測して深さが変化する領域においてユーザの観測位置を集中的に検出する。ここでの観測は、注目ブロックＡＢのサイズとして、例えば、２５×２５画素のブロックを用いることができる。ユーザの観測位置を検出した後、３次元位置復元部２３は、ユーザの３次元位置分布を繰り返し計測し、観察領域の中心近傍のブロックにおいてユーザを観察し、この位置の近傍領域（水平方向に配置されたブロック）を集中的にサーチする。

図１２は、図１に示す対象物姿勢推定装置による追跡処理を説明するための模式図である。３次元位置復元部２３は、前処理により検出されたユーザの観測位置を投影パターン生成部１３へ出力し、投影パターン生成部１３は、検出された観測位置に応じて赤外線スポットパターンの投影位置を補正し、プロジェクタ１１から新たな赤外線スポットパターンで複数のスポット赤外光がユーザに照射される。

このとき、３次元位置復元部２３は、この新たな赤外線スポットパターンを用いてユーザの表面の３次元分布を計測し、サーチエリアＳＡにおける各ブロックの３次元位置と前回検出されたユーザの観測位置ＰＰとを比較し、前回検出されたユーザの観測位置ＰＰに最も近い点を次のユーザの観測位置ＮＰとして選択する。上記の追跡処理を繰り返すことにより、ユーザを正確に追跡することができる。

次に、上記の赤外線スポットパターンを用いたユーザの姿勢推定処理について説明する。姿勢データベース２５には、ユーザの典型的な姿勢をモデル化し、姿勢毎にユーザの表面の基準３次元位置分布を予め記憶している。ここで、下記のように、ＰｉをモデルＰ（基準３次元位置分布）のｉ番目の３次元位置、Ｑｊを現在の３次元パターン（３次元位置復元部２３から出力される３次元位置分布）のｊ番目の点とすると、３次元位置Ｐ，Ｑ間の距離は、下記式（１０）により表される。

姿勢推定部２４は、上記式（１０）を用いて３次元位置復元部２３から出力されるユーザの表面の３次元位置分布と姿勢データベース２５に記憶されている各姿勢の基準３次元位置分布との距離を算出し、距離差が最も小さい姿勢を現在のユーザの姿勢として選択する。

このように、本実施の形態では、撮影された赤外光点を用いた画像処理によりユーザの姿勢を推定しているので、ユーザに対して観測機器を非装着及び非接触の状態でユーザの姿勢を推定することができ、ユーザの負担を軽減することができる。また、複数のスポット赤外光を照射してその赤外光点を能動的に観測しているので、照明条件等のシーンに依存した要因に影響されることなく、ユーザの姿勢を安定的に推定することができる。さらに、ユーザの姿勢毎に予め記憶されている基準３次元位置分布と比較してユーザの姿勢を推定しているので、ユーザの姿勢を高精度に推定することができる。

次に、赤外線スポットパターンを用いたユーザの服装変化識別処理について説明する。服装変化の識別を行う場合、例えば、ビデオカメラ２１ａは、ユーザを一方面（例えば、前面）から撮影し、ビデオカメラ２１ｂは、ユーザを他方面（例えば、背面）から撮影する。３次元位置検出部２２及び３次元位置復元部２３は、各撮影方向のユーザの表面の３次元位置分布を検出して復元し、前回位置保持部２６及び変化部位検出部２７へ出力する。前回位置保持部２６は、各撮影方向のユーザの表面の３次元位置分布を保持し、変化部位検出部２７は、所定時間前の各撮影方向のユーザの表面の３次元位置分布を前回位置保持部２６から読み出し、３次元位置復元部２３から出力される現在の各撮影方向のユーザの表面の３次元位置分布と比較してユーザの服装の変化が生じた部位及びその増減方向を服装変化識別部２８へ出力する。

図１３は、図１に示す服装変化部位データベース２９に記憶されている部位の一例を示す図である。図１３の（ａ）に示す第１部位ＪＡは、人体の上半身を覆う部位であり、上着を特定するために使用され、（ｂ）に示す第２部位ＰＡは、人体の下半身を覆う部位であり、ズボンを特定するために使用され、（ｃ）に示す第３部位ＳＡは、人体の下半身の上半分を覆う部位であり、スカートを特定するために使用される。このように衣服毎に対応する部位が、当該衣服と対応付けられて服装変化部位データベース２９に予め記憶されている。

服装変化識別部２８は、変化部位検出部２７により検出された部位と服装変化部位データベース２９に記憶されている各部位とを比較し、重なり合う部分が最も多い部位に対応付けられている衣服を変化の生じた衣服として決定する。また、服装変化識別部２８は、変化部位検出部２７により検出された３次元位置の増減方向を基準に、増加している場合は検出された部位が膨張しているため、識別した衣服を着ていると認識し、減少している場合は検出された部位が縮小しているため、識別した衣服を脱いでいると認識する。例えば、物体の表面の法線方向の移動量の外向きを正とし、その増減に応じ、すなわち物体の厚みの増減に関し、衣服の着脱を識別することができる。

このように、本実施の形態では、撮影方向の異なる少なくとも２台のビデオカメラ２１ａ，２１ｂにより撮影された赤外光点の位置を基にユーザの前面及び背面の３次元位置分布が検出され、検出されたユーザの前面及び背面の３次元位置分布と所定時間前の当該部分の３次元位置分布とを比較して変化が生じた部位が検出され、検出された部位とユーザが装着する衣服毎に記録されている当該衣服の着脱により変化が生じる部位とを比較して変化が生じた衣服の種類を識別することができるので、ユーザが上着、ズボン、スカート等の衣服を着たり、脱いだりする着替えの状態を高精度に検出することができる。

次に、図１に示す対象物姿勢推定装置の検出精度について説明する。図１４は、図１に示す対象物姿勢推定装置の検出精度の測定結果を示す図である。本測定では、図１に示す対象物姿勢推定装置を用いて実際の物体の３次元形状を測定し、実際の形状との誤差の平均値（Ａｖｅ．）及び標準偏差（Ｓ．Ｄ．）を測定した。図１４から、図１に示す対象物姿勢推定装置では、Ｘ方向、Ｙ方向及びＺ方向ともに１０ｃｍ以下の精度で３次元位置を正確に計測できることがわかった。

次に、図１に示す対象物姿勢推定装置を用いて実際の物体の３次元形状を再構築した。図１５は、図１に示す対象物姿勢推定装置による３次元形状の再構築例を示す図である。図１５の（ａ）に示す人間の３次元形状を計測し、計測結果から３次元形状の再構築を行った結果、図１５の（ｂ）に示す３次元位置分布を得られ、人間の３次元形状を正確に再構築できることがわかった。

次に、図１に示す対象物姿勢推定装置を用いて移動する人間を追跡した。図１６は、図１に示す対象物姿勢推定装置を用いて追跡した人間の軌跡を示す図である。図１６に示す人間の軌跡から、床上の人間の位置Ｘ−Ｙを正確に追跡できることがわかった。

次に、図１に示す対象物姿勢推定装置を用いて人間の姿勢を推定した。図１７は、図１に示す対象物姿勢推定装置を用いて人間の８種類の異なる姿勢に対する３次元位置分布の検出結果を示す図であり、図１８は、図１に示す対象物姿勢推定装置を用いて人間の８種類の異なる姿勢を推定した結果を示す図である。

図１７の（ａ）は、人間が直立して前方を向いている状態ＳＴＦを示し、（ｂ）は、人間が直立して左方を向いている状態ＳＴＬを示し、（ｃ）は、人間が直立して右方を向いている状態ＳＴＲを示し、（ｄ）は、人間が着席して前方を向いている状態ＳＩＦを示し、（ｅ）は、人間が着席して左方を向いている状態ＳＩＬを示し、（ｆ）は、人間が着席して右方を向いている状態ＳＩＲを示し、（ｇ）は、人間が着替えをしている状態ＤＲを示し、（ｈ）は、人間が手を差し出している状態ＲＥを示し、それぞれの上段は人間の各状態を示す画像例であり、下段が各状態に対して検出された３次元位置分布例である。また、図１８に示す結果は、４８サンプルに対して各姿勢を推定した結果であり、各姿勢に対する認識比（％）を示している。図１７及び図１８から、各姿勢をほぼ高精度に推定できることがわかった。

最後に、図１に示す対象物姿勢推定装置を用いて人間の行動を連続的に観測した。図１９は、図１に示す対象物姿勢推定装置を用いて人間の姿勢を連続的に推定した結果を示す図である。図１９の横軸は時間（フレーム）、縦軸は各フレームで推定された姿勢（実線）及び実際の姿勢（破線）を示している。図１９から、人間が連続的に行動している場合でも、各姿勢を連続的にほぼ高精度に推定できることがわかった。

このように、本実施の形態では、ユーザである被介護者の動きを追跡し、その行動を認識することができるので、日常生活（着替え、トイレの使用等）におけるユーザの活動を観察してユーザの状態を検出し、検出されたユーザの状態に基づいてユーザに的確な指示を与えることができる。

例えば、脳炎、頭部の傷、くも膜下出血、痴呆、小脳血管障害のような脳障害を受けた人々にはしばしば記憶障害が発生し、この記憶障害又は高度脳障害の人々が通常の生活を送るのは困難であり、これらの人々に対する恒常的なケア及び注意を払うことは家族の重荷となる。このような記憶障害者に対して本対象物姿勢推定装置を用いることにより、記憶障害者の意図を自動的に検出して日常生活をサポートすることができる。また、本対象物姿勢推定装置を用いてネットワーク型インタラクション治療を行う場合、介護者とのコミュニケーションが容易となって家族が適切な情報を得ることができるので、徘徊、失禁、癇癪等の行動的問題を家族が経験する前に、家族に快適な情報を提供することができ、家族のストレスを解放して負担を軽減することができる。

なお、本実施の形態では、対象物として人間の姿勢を推定する場合について説明したが、この例に特に限定されず、他の動物等に適用してもよい。また、投影する光として赤外光を用いたが、この例に特に限定されず、自然光以外の光や他の波長を有する光を用いてもよい。

本発明の一実施の形態による対象物姿勢推定装置の構成を示すブロック図である。図１に示すプロジェクタとビデオカメラとの位置関係を説明するための模式図である。図１に示すプロジェクタ及びビデオカメラの設置例を示す図である。図１に示すプロジェクタ及びビデオカメラの他の設置例を示す図である。部分赤外線スポットパターンを作成する手順Ｐの一例を説明するための図である。図５の（ａ）に示す行列Ａから図５の（ｂ）に示す行列Ｃを生成する手順Ｐを詳細に説明するための図である。ユーザの輪郭を検出する際に使用するエッジ検出フィルタの一例を示す図である。赤外光点の検出結果の一例を示す図である。図１に示す対象物姿勢推定装置の観測時の座標系を説明するための模式図である。赤外線スポットパターンの一例を示す模式図である。図１に示す対象物姿勢推定装置による前処理を説明するための模式図である。図１に示す対象物姿勢推定装置による追跡処理を説明するための模式図である。図１に示す服装変化部位データベースに記憶されている部位の一例を示す図である。図１に示す対象物姿勢推定装置の検出精度の測定結果を示す図である。図１に示す対象物姿勢推定装置による３次元形状の再構築例を示す図である。図１に示す対象物姿勢推定装置を用いて追跡した人間の軌跡を示す図である。図１に示す対象物姿勢推定装置を用いて人間の８種類の異なる姿勢に対する３次元位置分布の検出結果を示す図である。図１に示す対象物姿勢推定装置を用いて人間の８種類の異なる姿勢を推定した結果を示す図である。図１に示す対象物姿勢推定装置を用いて人間の姿勢を連続的に推定した結果を示す図である。

符号の説明

１１プロジェクタ
１２投影パターン分割部
１３投影パターン生成部
２１ａ，２１ｂビデオカメラ
２２３次元位置検出部
２３３次元位置復元部
２４姿勢推定部
２５姿勢データベース
２６前回位置保持部
２７変化部位検出部
２８服装変化識別部
２９服装変化部位データベース

Claims

対象物に対して複数のスポット光を所定パターンで投影する投影手段と、
前記投影手段により対象物の表面に投影された複数の光点を撮影する撮影手段と、
前記撮影手段により撮影された複数の光点の位置を基に対象物の表面の３次元位置分布を検出する検出手段と、
対象物の姿勢毎に対象物の表面の基準３次元位置分布を予め記憶している記憶手段と、
前記検出手段により検出された３次元位置分布と前記記憶手段に記憶されている基準３次元位置分布とを比較して対象物の現在の姿勢を推定する推定手段とを備えることを特徴とする対象物姿勢推定装置。
前記検出手段は、検出した３次元位置分布を基に対象物の観測位置を検出し、
前記投影手段は、前記検出手段により検出された対象物の観測位置に応じてスポット光の位置を補正することを特徴とする請求項１記載の対象物姿勢推定装置。
前記撮影手段は、前記投影手段により対象物の表面に投影された複数の光点を互いに異なる撮影方向から撮影する第１及び第２の撮影手段を含み、
前記検出手段は、前記第１及び第２の撮影手段により撮影された複数の光点の位置を基に対象物の異なる表面の３次元位置分布を検出し、
前記検出手段により検出された対象物の異なる表面の３次元位置分布を保持する保持手段と、
前記検出手段により検出された対象物の異なる表面の３次元位置分布と前記保持手段に保持されている所定時間前の対象物の異なる表面の３次元位置分布とを比較して対象物の表面に変化が生じた部位を検出する部位検出手段と、
対象物が装着する衣服毎に当該衣服の着脱により対象物の表面に変化が生じる部位を予め記憶している衣服記憶手段と、
前記部位検出手段により検出された部位と前記衣服記憶手段に記憶されている部位とを比較して変化が生じた衣服の種類を識別する識別手段とをさらに備えることを特徴とする請求項１又は２記載の対象物姿勢推定装置。
前記投影手段は、
複数のスポット光を撮影画像上で互いに干渉しないスポット光群に分割する分割手段と、
前記分割手段により分割されたスポット光群毎にスポット光を対象物に対して投影する分割投影手段とを含み、
前記撮影手段は、前記分割投影手段によりスポット光群毎に対象物の表面に投影された複数の光点を撮影し、
前記検出手段は、前記撮影手段によりスポット光群毎に撮影された光点の位置を基に対象物の表面の３次元位置分布を検出することを特徴とする請求項１〜３のいずれかに記載の対象物姿勢推定装置。
前記投影手段は、赤外光を用いて対象物に対して複数のスポット光を所定パターンで投影し、
前記撮影手段は、前記投影手段により対象物の表面に投影された複数の赤外光点を撮影することを特徴とする請求項１〜４のいずれかに記載の対象物姿勢推定装置。