JP2003141510A - ポインティング対象画像出力方法及びその装置 - Google Patents

Abstract

(57)【要約】 【課題】室内空間でどの位置をポインティングしても、
その指し示した方向にある周辺環境の画像を出すことが
できるポインティング対象画像出力方法及びその装置を
提供する。 【解決手段】Ｓ１０で人物及びその周辺環境を撮像した
ステレオ画像を入力し、Ｓ２０で統合画像を生成する。
Ｓ３０，Ｓ４０で人の頭部領域及び手部領域を抽出す
る。Ｓ５０で頭部領域に関する３次元位置をステレオ画
像に基づいて算出するとともに手部領域に関する３次元
位置をステレオ画像に基づいて算出する。Ｓ６０で頭部
領域に関する３次元位置をカメラ位置とし、頭部領域に
関する３次元位置から、手部領域に関する３次元位置を
見た方向をカメラ方向として設定する。さらに、カメラ
方向に存在するポインティング対象物を含む透視投影画
像を周辺環境のステレオ画像に基づいて生成し、外部に
出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、室内空間でどの位
置をポインティング（指さし）しても、その指し示した
方向にある周辺環境の画像を出すことができるポインテ
ィング対象画像出力方法及びその装置に関するものであ
る。

【０００２】

【従来の技術】従来より、人間とその周辺環境を同時に
センシングする方法には、複数のカメラを周囲に配置す
る方法と、全方位ビジョンを用いる方法がある。

【０００３】これらの方法を用いて人間とその周辺環境
を同時にセンシングし、より自然な人間と周辺環境との
インタラクションを理解することが可能となる。このよ
うな中で、人物の視線や動作など、人間をセンシングし
て得られる情報と、物体センシングにより構築された周
辺環境とから、その人の要望を察知し、その人の意図に
適したサービスを提供することが提案されている。これ
らを実現するためには、人間とその周辺環境をセンシン
グし、その人が何を見て、どのような動作を行っている
かを知ることが重要なこととなる。特に動作は、相手に
意図を伝えるためには欠かせない情報の１つである。

【０００４】動作には、頭や手、或いは体全体などを使
った動作があるが、特に手の動作は、動作している人の
意図を伝達することができる有効な手段である。手の動
きによる日常的な動作の１つにポインティングジェスチ
ャがあるが、これは人の関心領域を相手に伝えるために
は欠かせない動作である。

【０００５】すでにポインティングジェスチャを対象と
した検出方法や装置は、例えば、「実空間強化とヒュー
マン・ロボットインタフェース−実空間にマークを投影
する指さしポインタの拡張−」（第１７回日本ロボット
学会学術講演会、ｐｐ．４１７−４１８，１９９９）等
により提案されている。

【０００６】

【発明が解決しようとする課題】しかしながら、これら
はポインティング方向が限定されているため、その限定
された領域内のオブジェクトしか扱うことができない問
題がある。

【０００７】又、実際に、そのポインティング方向に対
応する画像を、他の人が確認する方法及び装置について
は、未だ提案されていない。本発明は上記問題点を解決
するためになされたものであって、その目的は、室内空
間でどの位置をポインティング（指さし）しても、その
指し示した方向にある周辺環境の画像を出すことができ
るポインティング対象画像出力方法及びその装置を提供
することにある。

【０００８】

【課題を解決するための手段】上記問題点を解決するた
め、請求項１記載の発明は、人物及びその周辺環境を撮
像したステレオ画像データから、人の頭部領域及び手部
領域を抽出する抽出手段と、頭部領域に関する３次元位
置を前記ステレオ画像に基づいて第１算出する手段と、
手部領域に関する３次元位置を前記ステレオ画像に基づ
いて算出する第２算出手段と、前記頭部領域に関する３
次元位置をカメラ位置とし、頭部領域に関する３次元位
置から、手部領域に関する３次元位置を見た方向をカメ
ラ方向として設定する設定手段と、前記カメラ方向に存
在するポインティング対象物を含む透視投影画像を前記
周辺環境のステレオ画像データに基づいて生成し、外部
に出力する画像生成出力手段とを備えたことを特徴とす
るポインティング対象画像出力装置を要旨とするもので
ある。

【０００９】請求項２の発明は、請求項１において、前
記画像生成出力手段は、前記ステレオ画像と対応して同
ステレオ画像と同時に得られた周辺環境のカラー画像に
基づき、カラー情報を付加して、透視投影画像を生成出
力するものであることを特徴とする。

【００１０】請求項３の発明は、請求項１又は請求項２
において、前記頭部領域に関する３次元位置は顔領域の
重心の３次元位置であることを特徴とする。請求項４の
発明は、請求項１乃至請求項３のうちいずれか１項にお
いて、前記手部領域に関する３次元位置は手部領域の重
心の３次元位置であることを特徴とする。

【００１１】請求項５の発明は、請求項１乃至請求項４
のうちいずれか１項において、前記抽出手段は、人の頭
部領域を抽出する際、人がいない周辺環境のステレオ画
像データと、人がいる周辺環境のステレオ画像データと
の差分に基づいて動領域の抽出を行い、その動領域中の
所定の高さ部分から頭部領域を抽出することを特徴とす
る。

【００１２】請求項６の発明は、請求項１乃至請求項５
のうちいずれか１項において、前記抽出手段は、手部領
域を抽出する際、腕が動作する前のステレオ画像データ
と、腕が動作した後のステレオ画像データとの差分に基
づいて腕領域を抽出を行い、そのうち、頭部領域から最
も遠い部分を手部領域の端点として探索し、同端点に基
づいて手部領域を抽出することを特徴とする。

【００１３】請求項７の発明は、人物及びその周辺環境
を撮像したステレオ画像データから、人の頭部領域及び
手部領域を抽出する工程と、頭部領域に関する３次元位
置を前記ステレオ画像に基づいて算出する工程と、手部
領域に関する３次元位置を前記ステレオ画像に基づいて
算出する工程と、前記頭部領域に関する３次元位置をカ
メラ位置とし、頭部領域に関する３次元位置から、手部
領域に関する３次元位置を見た方向をカメラ方向として
設定する工程と、前記カメラ方向に存在するポインティ
ング対象物を含む透視投影画像を前記周辺環境のステレ
オ画像データに基づいて生成し、外部に出力する工程と
を備えたことを特徴とするポインティング対象画像出力
方法を要旨とするものである。

【００１４】請求項８の発明は、請求項７において、前
記画像を生成して出力する工程は、前記ステレオ画像と
対応して同ステレオ画像と同時に得られた周辺環境のカ
ラー画像に基づき、カラー情報を付加して、透視投影画
像を生成出力することを特徴とする。

【００１５】請求項９の発明は、請求項７又は請求項８
において、前記頭部領域に関する３次元位置は顔領域の
重心の３次元位置であることを特徴とする。請求項１０
の発明は、請求項７乃至請求項９のうちいずれか１項に
おいて、前記手部領域に関する３次元位置は手部領域の
重心の３次元位置であることを特徴とする。

【００１６】請求項１１の発明は、請求項７乃至請求項
１０のうちいずれか１項において、前記抽出工程は、人
の頭部領域を抽出する際、人がいない周辺環境のステレ
オ画像データと、人がいる周辺環境のステレオ画像デー
タとの差分に基づいて動領域の抽出を行い、その動領域
中の所定の高さ部分から頭部領域を抽出することを特徴
とする。

【００１７】請求項１２の発明は、請求項７乃至請求項
１１のうちいずれか１項において、前記抽出工程は、手
部領域を抽出する際、腕が動作する前のステレオ画像デ
ータと、腕が動作した後のステレオ画像データとの差分
に基づいて腕領域を抽出を行い、そのうち、頭部領域か
ら最も遠い部分を手部領域の端点として探索し、同端点
に基づいて手部領域を抽出することを特徴とする。

【００１８】

【発明の実施の形態】以下、本発明のポインティング対
象画像出力装置（以下、画像出力装置という）を具体化
した一実施形態を図１〜図１３を参照して説明する。

【００１９】図１は画像出力装置の構成を示すブロック
図である。図２は全方向ステレオシステム１１の概略図
である。画像出力装置１０は、複数のビデオカメラＶ
Ｃ，ＶＣｓを備えた全方向ステレオシステム１１、メモ
リユニット１５、コンピュータ１６、同期信号発生器１
７等を備えている。

【００２０】前記コンピュータ１６は、抽出手段、第１
算出、第２算出手段、設定手段、及び画像生成出力手段
を構成している。全方向ステレオシステム１１は、３次
元空間内の、全ての方向におけるカラー画像と３次元情
報を、同時刻にリアルタイムで取得することが可能なシ
ステムである。同システム１１は、３個のビデオカメラ
からなる３眼ステレオユニット１２を正２０面体の各面
上にそれぞれ配置した構成を備えている。そして、各ユ
ニット１２は同特性を備え、各面に配置したステレオユ
ニット１２により、全方向のカラー画像と白黒画像（距
離画像）を同一時刻にリアルタイムで取得可能なシステ
ムである。これによって、３次元空間上の全ての方向に
おけるカラー画像と３次元情報を同一時刻に得ることが
できる。又、同じ特性を持つステレオユニット１２を正
２０面体６０（図８参照）の各面上に配置したことによ
り、３次元空間を均等に分割し、高解像度の情報の取得
が可能である。なお、この全方向ステレオシステム１１
は、「”実環境センシングのための全方向ステレオシス
テム（ＳＯＳ）”、電気学会論文誌C.Vol.121-C,No.5,p
p.876-881.2001」に記載されている。

【００２１】３眼ステレオユニット１２では、図１に示
すように、１つの基準ビデオカメラＶＣｓと、一対の参
照用ビデオカメラＶＣとからなる。そして、参照用ビデ
オカメラＶＣは前記基準ビデオカメラＶＣｓの光軸を交
線として、互いに直交する一対の平面に含ませるように
配置されている。そして、これらのカメラにより、２つ
のステレオペアを構成するように配置されている。この
２つのステレオペアを構成を用いることにより、濃度パ
ターンが一方のエピポーラ線に平行な場合でも、もう一
方のステレオペアにより、対応付けが可能となる。又、
エピポーラ線が画像に対して水平、垂直であるため、ス
テレオペアにおける対応点探索が高速に行うことが可能
である。

【００２２】各ステレオユニット１２からは、１枚のカ
ラー画像と２枚の白黒画像とからなるステレオ画像が取
得され、全方向の２０枚のカラー画像と４０枚の白黒画
像を１セットとして１５セット／秒でメモリユニット１
５に転送する。メモリユニット１５は、転送されてきた
画像データを記憶する。

【００２３】コンピュータ１６はそれぞれ図示しないキ
ーボード等の入力手段を備えており、作業者が種々の操
作信号を入力可能にされている。従って、コンピュータ
１６は入力したその操作信号に応じて、各パソコンが備
えている図示しないＲＯＭに予め格納したポインティン
グジェスチャ検出のためのプログラムを実行する。

【００２４】各ステレオユニット１２の各ビデオカメラ
には、同期信号発生器１７から共通の外部同期信号が供
給されている。このことにより、ディジタル化されたフ
レームにおいて、完全に同期した画像データが得られ
る。

【００２５】（作用）以下、図３〜図７のフローチャー
トを参照して詳細に説明する。なお、以下のフローチャ
ートは、下記の人間の動作を全方向ステレオシステム１
１で撮像していることを前提としている。

【００２６】すなわち、図２に示すように全方向ステレ
オシステム１１が設置された室内空間Ｋにおいて、人間
Ｈが歩行移動し、その後、静止した後に、腕Ａｒを上げ
て、任意の方向に向かって手（指）Ｆを指し示す動作
（ポインティング）を行っている。

【００２７】（Ｓ１０：カラー画像、ステレオ画像の入
力）ステップ（以下、ステップをＳという）１０では、
メモリユニット１５を介して全ステレオユニット１２、
すなわち、正２０面体の各面上に配置したステレオユニ
ット１２から、それぞれ１枚のカラー画像と一対の白黒
画像からなるステレオ画像を入力する。

【００２８】（Ｓ２０：統合画像の生成）Ｓ２０では、
同時刻に得られた画像に基づいて統合画像の生成を行
う。まず、統合画像では、正２０面体６０（図８参照）
における展開図面上（図９（ａ）参照）にそれぞれのス
テレオユニット１２から得られた画像を得るように投射
する。この正２０面体６０での統合画像では、正２０面
体を展開することにより、分割される領域が存在し、人
物領域を取得するためには、分割された領域間の対応付
けが必要となる。そこで、さらに、正２０面体６０を円
筒６１（図８、図９（ｂ）参照）の面６２に投影した投
影画像となるように座標変換する。

【００２９】円筒６１の面６２に投影された統合画像で
は、分割される領域は、画像の両端にまたがる領域のみ
となるため、分割領域間の対応付けは容易に行うことが
できる。この統合画像には、それぞれの画素がカラー画
像の画素と対応しているため、対応する画素のカラー情
報が付与されたカラー画像である。

【００３０】又、同様に同時刻に得られたステレオ画像
から得られる視差画像に対しても統合視差画像を生成す
る。 （Ｓ３０：頭部領域の抽出）Ｓ３０では、頭部領域の抽
出を行う。すなわち、人物の歩行動作から静止状態の遷
移時において、人物の頭部領域は、人物領域の最上部に
存在する。このため、歩行動作時や、歩行動作から静止
状態への遷移時の背景差分画像において、人物領域の上
部領域を抽出することにより、頭部領域を抽出する。す
なわち、遷移時において得られる動領域の抽出を行い、
その動領域の中から、頭部領域の抽出を行う。

【００３１】具体的には、図４に示すように、Ｓ３１に
おいて、人Ｈがこの室内空間Ｋに入る前（遷移前）の統
合視差画像と人Ｈが室内空間Ｋに入った後（遷移後）の
統合視差画像とに基づいて視差画像の背景差分（背景差
分画像）を求める。さらに、遷移前の統合画像と遷移後
の統合画像とに基づいてカラー画像の背景差分（背景差
分画像）を求める。

【００３２】そして、前記得られた両背景差分画像との
論理積を求めることにより、遷移前後におけるノイズの
除去を行う。以上のようにして、ノイズの除去を行い、
ノイズの少ない差分画像とする。

【００３３】なお、カラー画像を用いた背景差分のみを
用いる場合には、動領域と背景の色が同じ場合、動領域
の抽出が困難となるだけでなく、光源による影響や環境
に左右されやすい。

【００３４】又、視差画像を用いた背景差分のみを用い
る場合では、光源の全体的な変化にはあまり左右されな
いが、光源のちらつきにより得られる対応点が異なるた
め、そのまま背景との差分をとるとノイズとなって現れ
る。

【００３５】次のＳ３２では、ノイズが除去された差分
画像を基に、適当な閾値を用いて公知の２値化処理を行
い、又、公知の膨張処理、或いは縮小処理を行って２値
画像を得る（図１０参照）。

【００３６】続くＳ３３では、得られた２値画像から、
最も大きい領域を人物領域Ｍ１と判定し、頭部領域の抽
出処理を行う。Ｓ３４では、コンピュータ１６が備えて
いる図示しない記憶装置から人物領域Ｍ１の上部の１／
７を頭部領域の高さＴｈと設定する。

【００３７】Ｓ３５において、Ｓ３４で設定した頭部領
域の設定値に基づいて人物領域の上部から頭部領域の高
さＴｈに相当する幅を抽出する。 （Ｓ４０：手部領域の抽出）Ｓ４０では、ポインティン
グジェスチャ時の動領域を検出することにより、手部領
域の抽出を行う。

【００３８】ここでは、背景差分だけでは検出できない
手部領域の抽出を行うために、フレーム間差分を用いて
動領域の検出を行う。このフレーム間差分も視差画像と
カラー画像を用いることにより行う。

【００３９】すなわち、Ｓ４１において、腕が動く前の
統合視差画像と動いた後の統合視差画像とに基づいて視
差画像のフレーム間差分（フレーム間差分画像）を求め
る。さらに、腕が動く前の統合画像と腕が動いた後の統
合画像とに基づいてカラー画像のフレーム間差分（フレ
ーム間差分画像）を求める。

【００４０】そして、前記得られた両フレーム間差分画
像の論理積を求めることにより、動きによるノイズの除
去を行う。以上のようにして、ノイズの除去を行い、ノ
イズの少ない差分画像とする。

【００４１】次のＳ４２では、ノイズが除去された差分
画像を基に、適当な閾値を用いて公知の２値化処理を行
い、又、公知の膨張処理、或いは縮小処理を行って２値
画像を得る（図１１参照）。

【００４２】Ｓ４３では、得られた２値画像から、最も
大きい領域を動領域Ｍ２と見なし、手部領域の抽出を行
う。Ｓ４４では、前記得られた動領域中には腕領域も含
まれるため、前記頭部領域を基準に、動領域中の最も離
れた点を手部領域の端点として求める。すなわち、動領
域中の各点（画素）と頭部領域の重心との距離を演算
し、そのうち最も距離が長いのが最も離れた点とし、こ
れを手部の端点Ｅとする。

【００４３】Ｓ４５では、前記手部の端点を基準とし
て、同端点から延びる腕領域に対して予め所定の大きさ
に設定された固定領域Ｗ（窓）を当てはめ、その固定領
域Ｗ内の動領域を手部領域として抽出する（図１１参
照）。

【００４４】（Ｓ５０：頭部・手部領域の３次元位置の
算出）Ｓ５０では、ポインティング方向を推定するため
に、頭部及び手部のそれぞれの３次元位置を算出する。
本実施形態では、全方向ステレオシステム１１から得ら
れるステレオ情報を基に前記頭部領域及び手部領域の３
次元位置を算出する。

【００４５】さて、上記のＳ５０での処理を図６を参照
して説明する。Ｓ５１では、マルチベースラインステレ
オ法により、視差画像の評価を行う。すなわち、本実施
形態の全方向ステレオシステム１１では、正２０面体の
各面方向に対して２つのステレオペアが得られている。
これらのステレオ画像から、マルチベースラインステレ
オ法をベースにして、視差画像の評価を行う。このマル
チベースステレオライン法については文献「M. Okutom
i, T. Kanade，"A Multi-Baseline Stereo." IEEE Tran
s. PAMI,Vol.15,No.4,pp353-363,1993」にて公知である
ので、簡単に説明する。各３眼ステレオユニット１２毎
に下記の処理を行う。

【００４６】１．各ステレオ画像に対して、レンズ歪み
を補正し、エッジ画像を生成する。 ２．ステレオ画像中の基本画像の各画素に対し、２つの
参照画像におけるそれぞれの予め設定された所定の探索
範囲内で相関をとる。なお、基本画像は、３眼ステレオ
ユニット１２のうち、基準ビデオカメラＶＣｓで撮像さ
れた画像である。又、参照画像は、参照用ビデオカメラ
ＶＣで撮像された画像である。

【００４７】ここでは相関演算として、ＳＡＤ（Sum of
Absolute Differnce）を用いる。 ３．２つの参照画像から得られる相関値から、相関の高
い方の視差をその画素における視差とする。

【００４８】Ｓ５１では、このようにして前記各画素に
おける視差が算出される。一方、基準ビデオカメラＶＣ
ｓ及び参照用ビデオカメラＶＣの焦点距離、及び基準ビ
デオカメラＶＣｓと参照用ビデオカメラＶＣ間の基線長
は既知である。すなわち、これらの値は、予めコンピュ
ータ１６の図示しないＲＯＭに記憶されている。

【００４９】従って、Ｓ５２では、前記各画素の視差、
焦点距離、及び基線長に基づいて基準画像における各画
素の３次元位置の算出を行う。図１２は、ステレオ画像
による距離算出の仕方及び各画素の３次元位置の算出に
ついての説明図である。

【００５０】同図に示すように、基準ビデオカメラＶＣ
ｓ、参照用ビデオカメラＶＣの光軸をＯｌ、及びＯｒと
する。又、両カメラは、光軸Ｏｌ，Ｏｒ間に一定の距離
（＝基線長）Ｂをおいて配置されているものとする。

【００５１】なお、説明の便宜上、基準ビデオカメラＶ
Ｃｓ及び参照用ビデオカメラＶＣを同図に示すように左
右に配置したものとする。まず、対象物体５０上の点Ｐ
（ｘ，ｙ，ｚ）とし、基準ビデオカメラＶＣｓ、参照用
ビデオカメラＶＣにて撮像された一対のステレオ画像に
おける対応画素のＸ−Ｙ座標平面上の座標Ｐｌ（Ｘｌ，
Ｙｌ），Ｐｒ（Ｘｒ，Ｙｒ）を求める。

【００５２】そして、その視差Ｐｌ−Ｐｒ＝（Ｘｌ−Ｘ
ｒ，Ｙｌ−Ｙｒ）を用いて、対応画素に対応する対象物
体５０上の測定点までの距離Ｚを求める。ここで、ステ
レオ画像を処理する画像出力装置１０は、基準ビデオカ
メラＶＣｓと参照用ビデオカメラＶＣは光軸Ｏｌ，Ｏｒ
が同一Ｘ−Ｚ平面上に含まれるように配置されている。

【００５３】このため、Ｙｌ＝Ｙｒであり、対応点探索
はエピポーラ線Ｅｐｌ，Ｅｐｒである同じ走査線上で行
えば良い。すなわち、基準ビデオカメラＶＣｓと参照用
ビデオカメラＶＣの光軸Ｏｌ，Ｏｒ間の距離をＢ、焦点
距離をｆとすると、対象物体５０上の点Ｐ（ｘ，ｙ，
ｚ）が左右のカメラ画面上の点Ｐｌ（Ｘｌ，Ｙｌ）、点
Ｐｒ（Ｘｒ，Ｙｒ）にそれぞれ投影された時、対象物体
２の点Ｐ（ｘ，ｙ，ｚ）までの距離Ｚは、 Ｚ＝Ｂ＊ｆ／( Ｘｌ−Ｘｒ） で表される。

【００５４】なお、Ｘｌ−Ｘｒは視差を表し、左画像を
基準画像とした場合、右画像の対応点Ｐｒ（Ｘｒ，Ｙ
ｒ）における視差ベクトルは一般にＶｐ（Ｘｌ−Ｘｒ，
Ｙｌ−Ｙｒ）と表される。

【００５５】上記のようにして、基準画像における各画
素の３次元位置の算出が行われる。Ｓ５３では、前記基
準画像における３次元情報が付与された各画素を基に、
頭部領域及び手部領域の重心の３次元位置を算出する。

【００５６】（Ｓ６０：ポインティング対象物の画像生
成及び出力）Ｓ６０では、全方向ステレオシステム１１
から得られた３次元情報を統合することにより、３次元
空間を構築し、頭部の３次元位置から手部の３次元位置
を見た透視投影画像を生成する。この生成した画像、す
なわち、ポインティング対象物を外部の図示しない表示
装置に出力する。

【００５７】図７は、Ｓ６０の詳細なフローチャートで
ある。Ｓ６１では、各画素の視差画像より、前記と同様
に各画素の３次元位置を算出し、各画素に対応する頂点
の座標値（３次元座標値）を定義する。合わせて、カラ
ー画像における各画素の色情報を対応する前記各頂点の
色情報（カラー情報）として設定する。

【００５８】３次元空間において、透視投影画像を生成
するためには、カメラ位置（仮想視点）と、カメラ方向
（仮想視点からみる視線方向）を設定する必要がある。
このため、Ｓ６２では、カメラ位置に頭部の重心位置の
３次元位置を設定し、カメラ方向に頭部の重心位置の３
次元位置から手部の重心位置の３次元位置を見た方向Ｌ
（ポインティング方向：図１３参照）を設定する。

【００５９】Ｓ６３では、このようにして、Ｓ６２にお
いて、構築された３次元空間のうち、設定されたカメラ
位置及びカメラ方向に基づいて、透視投影画像を生成す
る。そして、生成した画像を外部の図示しない表示装置
に出力する。

【００６０】上記実施の形態によれば、下記に示す効果
を有する。 （１） 本実施形態の画像出力装置１０のコンピュータ
１６は、人物及びその周辺環境を撮像したステレオ画像
（ステレオ画像データ）から、人の頭部領域及び手部領
域を抽出する抽出手段としている。又、画像出力装置１
０のコンピュータ１６は、頭部領域に関する３次元位置
を前記ステレオ画像に基づいて算出する第１算出手段と
している。さらに、画像出力装置１０のコンピュータ１
６は、手部領域に関する３次元位置を前記ステレオ画像
に基づいて算出する第２算出手段としている。加えて、
画像出力装置１０のコンピュータ１６は、前記頭部領域
に関する３次元位置をカメラ位置とし、頭部領域に関す
る３次元位置から、手部領域に関する３次元位置を見た
方向をカメラ方向として設定する設定手段ともした。

【００６１】さらに、コンピュータ１６は、前記カメラ
方向に存在するポインティング対象物を含む透視投影画
像を前記周辺環境のステレオ画像データに基づいて生成
し、外部に出力する画像生成出力手段とした。

【００６２】この結果、室内空間でどの位置をポインテ
ィング（指さし）しても、その指し示した方向にあるポ
インティング対象物がある周辺環境の画像を出すことが
できる。

【００６３】このように、本実施形態では、人の位置情
報と、動き情報とを用いて、顔部領域と手部領域とを抽
出している。すなわち、人が直立状態のように停止して
いる状態では、顔部は人の一番上に存在するという位置
情報と、手部領域は、動く域（動領域）の先端に存在す
るという動き情報及び位置情報を用いている。

【００６４】（２） 本実施形態の画像出力装置１０
は、画像生成出力手段として、ステレオ画像と対応して
同ステレオ画像と同時に得られた周辺環境のカラー画像
に基づき、カラー情報を付加して、透視投影画像を生成
出力するようにした。

【００６５】この結果、カラー画像にて、ポインティン
グ対象物がある周辺環境の画像を出すことができる。 （３） 本実施形態では、頭部領域に関する３次元位置
を顔領域の重心の３次元位置とした。

【００６６】この結果、顔領域の重心位置から延びるポ
インティング方向にある周辺環境の画像を出すことがで
きる。 （４） 本実施形態では、手部領域に関する３次元位置
を手部領域の重心の３次元位置とした。

【００６７】この結果、手部領域の重心を通過する方向
のポインティング方向にある周辺環境の画像を出すこと
ができる。特に本実施形態では、顔領域の重心位置と手
部領域の重心それぞれの３次元位置を結んだ方向のポイ
ンティング方向にある周辺環境の画像を出すことができ
る。

【００６８】（５） 本実施形態の画像出力装置１０の
コンピュータ１６では、抽出手段として、人の頭部領域
を抽出する際、人がいない周辺環境のステレオ画像デー
タと、人がいる周辺環境のステレオ画像データとの差分
に基づいて動領域の抽出を行う。さらに、その動領域中
の所定の高さ部分から頭部領域を抽出するようにした。

【００６９】この結果、上記（１）の効果を好適に得る
ことができる。 （６） 本実施形態の画像出力装置１０では、抽出手段
として、腕が動作する前のステレオ画像（ステレオ画像
データ）と、腕が動作した後のステレオ画像（ステレオ
画像データ）との差分に基づいて腕領域を抽出を行う。
そして、画像出力装置１０は、そのうち、頭部領域から
最も遠い部分を手部領域の端点として探索し、同端点に
基づいて手部領域を抽出するようにした。

【００７０】この結果、上記（１）の効果を好適に得る
ことができる。 （７） 本実施形態のポインティング対象画像出力方法
では、人物及びその周辺環境を撮像したステレオ画像デ
ータから、人の頭部領域及び手部領域を抽出する工程
（Ｓ３０，Ｓ４０）を備えた。又、頭部領域に関する３
次元位置をステレオ画像に基づいて算出する工程（Ｓ５
３）と、手部領域に関する３次元位置をステレオ画像に
基づいて算出する工程（Ｓ５３）とを備えた。

【００７１】さらに、頭部領域に関する３次元位置をカ
メラ位置とし、頭部領域に関する３次元位置から、手部
領域に関する３次元位置を見た方向をカメラ方向として
設定する工程（Ｓ６２）を備えた。

【００７２】又、カメラ方向に存在するポインティング
対象物を含む透視投影画像を前記周辺環境のステレオ画
像（ステレオ画像データ）に基づいて生成し、外部に出
力する工程（Ｓ６３）とを備えた。

【００７３】この結果、上記（１）の効果と同様の効果
を奏する。 （８） 本実施形態のポインティング対象画像出力方法
では、画像を生成して出力する工程は、前記ステレオ画
像と対応して同ステレオ画像と同時に得られた周辺環境
のカラー画像に基づき、カラー情報を付加した。そし
て、透視投影画像を生成出力するようにした。

【００７４】この結果、上記（２）の効果を奏する。 （９） 本実施形態のポインティング対象画像出力方法
では、頭部領域に関する３次元位置は顔領域の重心の３
次元位置とした。

【００７５】この結果、上記（３）の効果を奏する。 （１０） 本実施形態のポインティング対象画像出力方
法では、手部領域に関する３次元位置は手部領域の重心
の３次元位置とした。

【００７６】この結果、上記（４）の効果を奏する。 （１１） 本実施形態の抽出工程（Ｓ３０，Ｓ４０）
は、人の頭部領域を抽出する際、人がいない周辺環境の
ステレオ画像データと、人がいる周辺環境のステレオ画
像データとの差分に基づいて動領域の抽出を行う要にし
た、そして、その動領域中の所定の高さ部分から頭部領
域を抽出するようにした。

【００７７】この結果、上記（５）の効果を奏する。 （１２） 本実施形態の抽出工程（Ｓ３０，Ｓ４０）
は、手部領域を抽出する際、腕が動作する前のステレオ
画像データと、腕が動作した後のステレオ画像データと
の差分に基づいて腕領域を抽出を行うようにした。そし
て、そのうち、頭部領域から最も遠い部分を手部領域の
端点として探索し、同端点に基づいて手部領域を抽出す
るようにした。

【００７８】この結果、上記（６）の効果を奏する。な
お、本発明の実施形態は上記実施形態に限定されるもの
ではなく、発明の趣旨を逸脱しない範囲で、適宜に変更
して次のように実施することもできる。

【００７９】（１） 前記実施形態では、全方向ステレ
オシステム１１として、「”実環境センシングのための
全方向ステレオシステム（ＳＯＳ）”、電気学会論文誌
C.Vol.121-C,No.5,pp.876-881.2001」に記載されている
ものを使用した。これに限らず、他の全方向ステレオシ
ステムから得られたステレオ画像を入力するようにして
もよい。

【００８０】（２） 前記実施形態においては、顔領域
の重心を求める代わりに、顔領域と眼部領域の色情報が
異なるところに着目し、前記色情報を基に、顔領域から
眼部領域を抽出し、眼部領域の重心を求めて実施しても
良い。この場合には、さらに、眼部領域の重心と手部領
域の重心とを結ぶ方向がポインティング方向となる。

【００８１】（３） 前記実施形態において、手領域の
重心位置の３次元位置を算出する代わりに、手部領域の
端点位置の３次元位置を算出し、この位置を使用しても
よい。この場合、顔領域の重心位置と手部領域の端点位
置とを結ぶ結ぶ方向がポインティング方向となる。

【００８２】或いは、上記（２）の場合には、眼部領域
の重心位置と、手部領域の端点位置がポインティング方
向となる。 （４） 前記実施形態では、人の動きを検出するために
動領域を検出し、その動領域の中から、頭部領域、手部
領域を検出するようにした。この代わりに、色情報を用
いてもよい。

【００８３】この場合、人の頭部領域及び手部領域は、
その領域内にある肌色領域を検出することにより、容易
に行うことができる。又、顔と手の識別は、動き情報を
用いれば、容易である。すなわち、大きく動く肌色領域
が手部領域と識別できる。

【００８４】

【発明の効果】以上詳述したように請求項１乃至請求項
１２に記載の発明によれば、室内空間でどの位置をポイ
ンティング（指さし）しても、その指し示した方向にあ
る周辺環境の画像を出すことができる。

【図面の簡単な説明】

【図１】 画像出力装置の構成を示すブロック図であ
る。

【図２】 全方向ステレオシステムの概略図である。

【図３】 画像出力装置が実行するポインティング対象
画像出力のフローチャート。

【図４】 同じく頭部領域の抽出のフローチャート。

【図５】 同じく手部領域の抽出のフローチャート。

【図６】 同じく頭部・手部の３次元位置の算出のフロ
ーチャート。

【図７】 同じくポインティング対象物の画像出力のフ
ローチャート。

【図８】 正２０面体及び円筒の説明図。

【図９】 （ａ）は正２０面体の展開図、（ｂ）は円筒
の展開図面。

【図１０】 ２値画像を示す説明図。

【図１１】 ２値画像を示す説明図。

【図１２】ステレオ画像による距離算出及び各画素の３
次元位置の算出についての説明図。

【図１３】ポインティング方向を示す説明図。

【符号の説明】

１０…画像出力装置 １１…全方向ステレオシステム １２…３眼ステレオユニット １６…コンピュータ（抽出手段、第１算出、第２算出手
段、設定手段、及び画像生成出力手段） ＶＣ…参照用ビデオカメラ ＶＣｓ…基準ビデオカメラ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 博己 岐阜県大垣市加賀野４丁目１番地の７ 財 団法人 ソフトピアジャパン 内 (72)発明者 山本 和彦 岐阜県岐阜市則武中１丁目９番地18−202 号 Ｆターム(参考） 5B050 BA06 DA02 DA04 EA27 FA06 5B057 CA01 CA08 CA13 CA16 CB01 CB08 CB12 CB16 CD01 CD05 CD14 CE12 DA08 DB03 DB09 DC06 DC08 DC32 5L096 AA02 AA06 EA05 EA43 FA59 FA60 FA66 FA69 HA03

Claims (12)

【特許請求の範囲】
1. 【請求項１】 人物及びその周辺環境を撮像したステレ
   オ画像データから、人の頭部領域及び手部領域を抽出す
   る抽出手段と、 頭部領域に関する３次元位置を前記ステレオ画像に基づ
   いて算出する第１算出手段と、 手部領域に関する３次元位置を前記ステレオ画像に基づ
   いて算出する第２算出手段と、 前記頭部領域に関する３次元位置をカメラ位置とし、頭
   部領域に関する３次元位置から、手部領域に関する３次
   元位置を見た方向をカメラ方向として設定する設定手段
   と、 前記カメラ方向に存在するポインティング対象物を含む
   透視投影画像を前記周辺環境のステレオ画像データに基
   づいて生成し、外部に出力する画像生成出力手段とを備
   えたことを特徴とするポインティング対象画像出力装
   置。
2. 【請求項２】 前記画像生成出力手段は、前記ステレオ
   画像と対応して同ステレオ画像と同時に得られた周辺環
   境のカラー画像に基づき、カラー情報を付加して、透視
   投影画像を生成出力するものである請求項１に記載のポ
   インティング対象画像出力装置。
3. 【請求項３】 前記頭部領域に関する３次元位置は顔領
   域の重心の３次元位置である請求項１又は請求項２に記
   載のポインティング対象画像出力装置。
4. 【請求項４】 前記手部領域に関する３次元位置は手部
   領域の重心の３次元位置である請求項１乃至請求項３の
   うちいずれか１項に記載のポインティング対象画像出力
   装置。
5. 【請求項５】 前記抽出手段は、人の頭部領域を抽出す
   る際、人がいない周辺環境のステレオ画像データと、人
   がいる周辺環境のステレオ画像データとの差分に基づい
   て動領域の抽出を行い、その動領域中の所定の高さ部分
   から頭部領域を抽出することを特徴とする請求項１乃至
   請求項４のうちいずれか１項に記載のポインティング対
   象画像出力装置。
6. 【請求項６】 前記抽出手段は、手部領域を抽出する
   際、腕が動作する前のステレオ画像データと、腕が動作
   した後のステレオ画像データとの差分に基づいて腕領域
   を抽出を行い、そのうち、頭部領域から最も遠い部分を
   手部領域の端点として探索し、同端点に基づいて手部領
   域を抽出するものである請求項１乃至請求項５のうちい
   ずれか１項に記載のポインティング対象画像出力装置。
7. 【請求項７】 人物及びその周辺環境を撮像したステレ
   オ画像データから、人の頭部領域及び手部領域を抽出す
   る工程と、 頭部領域に関する３次元位置を前記ステレオ画像に基づ
   いて算出する工程と、 手部領域に関する３次元位置を前記ステレオ画像に基づ
   いて算出する工程と、 前記頭部領域に関する３次元位置をカメラ位置とし、頭
   部領域に関する３次元位置から、手部領域に関する３次
   元位置を見た方向をカメラ方向として設定する工程と、 前記カメラ方向に存在するポインティング対象物を含む
   透視投影画像を前記周辺環境のステレオ画像データに基
   づいて生成し、外部に出力する工程とを備えたことを特
   徴とするポインティング対象画像出力方法。
8. 【請求項８】 前記画像を生成して出力する工程は、前
   記ステレオ画像と対応して同ステレオ画像と同時に得ら
   れた周辺環境のカラー画像に基づき、カラー情報を付加
   して、透視投影画像を生成出力するものである請求項７
   に記載のポインティング対象画像出力方法。
9. 【請求項９】 前記頭部領域に関する３次元位置は顔領
   域の重心の３次元位置である請求項７又は請求項８に記
   載のポインティング対象画像出力方法。
10. 【請求項１０】 前記手部領域に関する３次元位置は手
    部領域の重心の３次元位置である請求項７乃至請求項９
    のうちいずれか１項に記載のポインティング対象画像出
    力方法。
11. 【請求項１１】 前記抽出工程は、人の頭部領域を抽出
    する際、人がいない周辺環境のステレオ画像データと、
    人がいる周辺環境のステレオ画像データとの差分に基づ
    いて動領域の抽出を行い、その動領域中の所定の高さ部
    分から頭部領域を抽出することを特徴とする請求項７乃
    至請求項１０のうちいずれか１項に記載のポインティン
    グ対象画像出力方法。
12. 【請求項１２】 前記抽出工程は、手部領域を抽出する
    際、腕が動作する前のステレオ画像データと、腕が動作
    した後のステレオ画像データとの差分に基づいて腕領域
    を抽出を行い、そのうち、頭部領域から最も遠い部分を
    手部領域の端点として探索し、同端点に基づいて手部領
    域を抽出するものである請求項７乃至請求項１１のうち
    いずれか１項に記載のポインティング対象画像出力方
    法。