JP2004265222A

JP2004265222A - インタフェース方法、装置、およびプログラム

Info

Publication number: JP2004265222A
Application number: JP2003056046A
Authority: JP
Inventors: Hidekazu Hosoya; 英一細谷; Hidenori Sato; 秀則佐藤; Yoshinori Kitahashi; 美紀北端; Ikuo Harada; 育生原田; Akira Onozawa; 晃小野澤; Hisao Nojima; 久雄野島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-03-03
Filing date: 2003-03-03
Publication date: 2004-09-24

Abstract

【課題】非装着型で、奥行き情報が精度良く得られ、３次元的なポインティングを実現できるインタフェース装置を提供する。
【解決手段】距離画像生成部１２は画像入力部１１_１，１１_２で得られた入力画像Ｉ_１，Ｉ_２を用いて、ステレオ法による画像処理により距離画像を生成する。始終点２次元座標算出部１３は入力画像Ｉ_１上で、操作者の体の予め定めた部位２箇所（始点と終点）を検出し、該入力画像上でのこれらの２次元座標を算出する。始終点３次元座標算出部１４は距離画像と、始点・終点の２次元座標から、始点・終点の３次元座標と、操作者の指し示す３次元指示方向座標を算出する。３次元指示位置検出部１５は、３次元指示方向情報と、実空間にある物体の情報とから、操作者が指し示す３次元指示位置情報を検出する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、複数台のカメラで撮影された画像を入力画像とし、操作者（ユーザ）が何も装着せずに、体の部位（指や腕等）を用いて指し示した実空間内の位置もしくは物体を検出するインタフェース装置に関する。
【０００２】
【従来の技術】
これまで、コンピュータと人間とのインタフェースに関し、人間の３次元的な動作に基づくインタフェース装置や方法としては、以下に挙げたような従来例がある。
【０００３】
第１の従来例として、体に動作計測可能なセンサを装着し、センサ情報から動きを検出する装置、例えば、磁気センサを用いた装置（ＡＳＣＥＮＳＩＯＮ社の「ＭｏｔｉｏｎＳｔａｒ」等）や、機械式センサを用いた装置（スパイス社の「Ｇｙｐｓｙ」、Ｉｍｍｅｒｓｉｏｎ社の「ＣｙｂｅｒＧｌｏｖｅ」等）等の市販製品がある。また、非特許文献１に記載の方法がある。これは加速度センサ等を取り付けたグローブを手に装着して、ジェスチャを認識するものである。
【０００４】
第２の従来例として、非特許文献２に記載の方法がある。本方法は、腕の制約条件を利用して、１個のカメラ入力画像から腕の部分を抽出し、追跡するものである。
【０００５】
第３の従来例として、非特許文献３に記載の方法がある。本方法は、体の中に求めた座標位置（「仮想投射中心」）と、検出した指先の座標位置を結び、延長した指示軸線がスクリーンと交差する点をカーソル位置（指示位置）とする方法である。仮想投射中心位置は、スクリーンの４つの角位置から指先へ延長した直線の交点から求めているので、指示できる位置はスクリーン上のみである。指先の位置の抽出は、２台のカメラを用い、１台を上部から撮影する位置に設置することにより、スクリーンに最も近い物体を検出することで実現している。
【０００６】
第４の従来例として、非特許文献４に記載の方法がある。本方法は、多眼ステレオカメラを用いて生成した距離画像を用いて、スクリーン（入力画像を表示している表示装置の画面）に最も近い物体の検出によって指先の位置を抽出し、また色情報と距離画像を用いて眉間（目）の位置を検出し、これらを結んだ延長線がスクリーンと交差する点をカーソル位置（指示位置）とする方法である。指示できる位置はスクリーン上のみである。
【０００７】
【非特許文献１】
塚田ら，”Ｕｂｉ−Ｆｉｎｇｅｒ：モバイル指向ジェスチャ入力デバイスの試作”，インタラクティブとソフトウェアに関するワークショップ（ＷＩＳＳ２００１），ｐｐ．１１９−１２４，２００１
【非特許文献２】
安部ら，”オプティカルフローと色情報を用いた腕の動作の３次元追跡”，画像の認識・理解シンポジウム（ＭＩＲＵ２００２），ｐｐ．Ｉ２６７−Ｉ２７２，２００２
【非特許文献３】
福本ら，”動画像処理による非接触ハンドリーダ”，第７回ヒューマン・インタフェース・シンポジウム論文集，ｐｐ．４２７−４３２，１９９１
【非特許文献４】
金次ら，“指さしポインターにおけるカーソル位置の特定法”電子情報通信学会画像工学研究会，２００２．１
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した従来の方法では、以下に示す問題があった。
１）第１の従来例は、手または指の動作を認識できるが、体の部位に常に何らかの装置を装着する必要があるため、実用的なインタフェース装置としての利便性に欠ける。
２）第２の従来例は、体に何も装着せずに腕の動作を認識できるが、カメラ１台のみの情報を使っているので奥行き方向の情報が直接得られないため、３次元的なユーザの腕の動きを精度良く抽出できない。
３）第２の従来例は、腕の３次元的な動作を抽出しているが、腕や指の指し示す方向や指し示した位置を認識するような３次元的なポインティング手法に関しては検討されていない。
４）第３、第４の従来例は、ユーザが非装着かつ非接触に、３次元的な動作により、スクリーン上の位置を指示することができるポインティング方法であるが、指し示せるのはスクリーン上の位置だけであるため、実空間中の３次元的な位置や物体を直接指し示すことはできない。
【０００９】
本発明の目的は、装着型のため利便性に欠ける問題、カメラ１台利用の方法では奥行き精度が悪い問題、３次元的なポインティング手法について検討されていない問題、スクリーン上のポインティングができる実空間中への３次元的なポインティングはできない問題を、解決したインタフェース方法、装置、およびプログラムを提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明の第１の態様によれば、インタフェース装置は、
複数台のカメラで撮影した画像を入力する画像入力手段と、
該入力画像のうち２個以上の入力画像を用いて、ステレオ法による画像処理により距離画像を生成する距離画像生成手段と、
距離画像生成手段で用いた入力画像のうち少なくとも１個の入力画像上で、操作者の体の予め定めた部位２箇所を始点および終点として検出し、該入力画像上でのそれらの２次元座標を算出する始終点２次元座標算出手段と、
距離画像と、始点・終点の該入力画像上での２次元座標とから、実空間上における始点・終点の３次元座標を算出し、操作者の指し示す、実空間上での３次元指示方向情報を算出する始終点３次元座標算出手段と、
実空間上にある物体の情報、すなわち一部もしくは全体に渡る３次元位置情報およびその付加情報を登録する空間情報登録手段と、
操作者の指し示す、実空間上での３次元指示方向情報と、空間情報登録手段によって登録された物体の情報とから、操作者が指し示す３次元指示位置情報、すなわち操作者が指し示す方向の延長線と、登録された物体との交点に関する情報を検出する３次元指示位置検出手段とを有している。
【００１１】
非装着であること、また複数台のカメラを用いることにより奥行き情報を精度良く得られること、また３次元的なポインティングを実現できること、さらにスクリーン上だけでなく実空間へのポインティングも可能であることから、前記課題の１）、２）、３）、４）を解決できる。
【００１２】
本発明の第２の態様によれば、インタフェース装置は、画像入力手段と距離画像生成手段と始終点２次元座標算出手段と始終点３次元座標算出手段とからなる組を複数組有し、複数の始終点３次元座標算出手段から得られた複数の始点・終点３次元座標情報を入力し、１個の始点・終点３次元座標情報に統合し、操作者の指し示す、実空間上での３次元指示方向情報を算出する始終点３次元座標統合手段と、実空間上にある物体の情報、すなわち一部もしくは全体に渡る３次元位置情報およびその付加情報を登録する空間情報登録手段と、操作者の指し示す実空間上での３次元指示方向情報と、空間情報登録手段によって登録された物体の情報とから、操作者が指し示す、実空間上での３次元指示位置情報、すなわち操作者が指し示す方向の延長線と、登録された物体との交点に関する情報を検出する３次元指示位置検出手段を有している。
【００１３】
第１の態様の利点に加え、１方向からの距離画像だけでなく、複数の方向からの距離画像（奥行き情報）が得られるため、ユーザの動作によらず常にユーザの３次元動作をより精度良く認識することができる。
【００１４】
また、本発明の第３の態様によれば、インタフェース装置は、第１または第２の態様のインタフェース装置に、入力画像のうち操作者を含む１個の入力画像を用いて、左右反転した反転画像を生成する反転画像生成手段と、第１の態様のインタフェース装置の各手段で得られた情報、すなわち距離画像に関する情報、始点・終点の２次元座標情報、始点・終点の３次元座標情報、操作者の指し示す、実空間上での３次元指示方向情報、および３次元指示位置情報を含むの一部もしくは全部を、該反転画像上に表示する情報表示手段とをさらに有している。
【００１５】
第１、第２の態様と同様に、非装着であること、また複数台のカメラを用いることにより奥行き情報を精度良く得られること、また３次元的なポインティングを実現できること、さらにスクリーン上だけでなく実空間へのポインティングも可能であることから、前記課題の１）、２）、３）、４）を解決できる。
【００１６】
また、第１、第２の態様に加え、自己画像を見ながらインタフェース動作を行えるので、よりユーザの利便性を向上させることができるため、課題１）をより良く解決できる。
【００１７】
本発明の第４の態様によれば、インタフェース装置は第１から第３の態様のインタフェース装置において、複数台のカメラではなく、１台以上のカメラと投光装置を用いた能動的なステレオ法による画像処理により距離画像を生成する距離画像生成手段を有している。
【００１８】
このため、汎用性を高めるとともに、応用先を広げることができる。
【００１９】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２０】
（第１の実施形態）
図１は本発明の第１の実施形態のインタフェース装置のブロック図、図２はその全体の処理の流れを示すフローチャートである。
【００２１】
本実施形態のインタフェース装置は、複数台（この場合、２台）のカメラで撮影された画像Ｉ_１，Ｉ_２を入力画像とし、操作者（ユーザ）が何も体に装着せずに、体の部位（指や腕等）を用いて指し示した実空間内の位置（もしくは物体）を検出するインタフェース装置で、ユーザの直接的で直感的な３次元指示動作に基づき、３次元空間上での指示位置を認識することができる装置である。
【００２２】
本インタフェース装置は画像入力部１１_１，１１_２と距離画像生成部１２と始終点２次元座標算出部１３と始終点３次元座標算出部１４と３次元指示位置検出部１５と空間情報登録部１６から構成される。以下、各部の機能を説明する。
【００２３】
画像入力部１１_１，１１_２としては、図１のように２台（もしくは３台以上）のカメラを用いる。カメラは一般に用いられるビデオカメラやＣＣＤカメラでよく、白黒でもカラーでもよい。ただし、後述する色情報を使用した方法を用いる場合はカラーカメラが必要である。２台のカメラの場合、カメラは、ステレオ法による画像処理が可能な程度の距離に置き、かつカメラの視線方向（光軸）は３次元空間上で並行、もしくは並行に近いように設置する。３台以上の場合も同様（含まれる２台が同様の条件）である。
【００２４】
距離画像生成部１２は、入力された２個の入力画像Ｉ_１，Ｉ_２から、ステレオ法による画像処理を用いて距離画像を生成する（ステップ２１）。距離画像とは、カメラから物体までの距離を視覚化した画像のことで、例えば近いものを明るく（値を大きく）、遠いものを暗く（値を小さく）して表示するものである。また、ステレオ法とは、両眼立体視とも言い、人間の両眼と同様に、同一の物体を異なる２つの視点から見ることにより、対象物の３次元的な位置を測定する方法である。距離画像を生成する具体的な画像処理方法の例としては、市販の製品（ＰｏｉｎｔＧｒｅｙＲｅｓｅａｒｃｈ社のＤｉｇｉｃｌｏｐｓ（３眼カメラ式）やＢｕｍｂｌｅｂｅｅ（２眼カメラ式）等）を用いる方法がある。これらは各々、２個もしくは３個のカメラが内蔵された画像入力機器であり、出力として距離画像を生成できるものである。また、ステレオ法を用いる方法は、画像処理分野において一般的である（発表文献多数）ので、任意の２個以上のカメラを用いて自作することも可能である。
【００２５】
始終点２次元座標算出部１３は、距離画像生成部１２で用いた入力画像Ｉ_１，Ｉ_２のうち少なくとも１個の入力画像、この場合、入力画像Ｉ_１を用いて、ユーザの体の予め定めた部位２箇所（始点と終点）の入力画像上での２次元座標を算出するものである（ステップ２２）。始点と終点は、例えば、ユーザの肩の位置を始点とし、手の位置を終点とすることが考えられる。これにより、この場合は腕を伸ばした手の先の方向が後述する３次元指示方向となる。肩と手の位置を始点・終点とした場合の入力画像上での具体的な検出方法について、以下に示す。
【００２６】
手の位置を画像処理により検出する方法としては、例えば、入力画像をカラー画像とした場合、カラー画像中のＲＧＢ等の色情報から肌色成分（任意に幅を持たせた色の値の範囲で指定可能）を抽出し、ラベリング処理を行う。得られた複数の肌色部分の中から、手の大きさや位置等の制約情報（例えば、手の大きさから推測される可能性のある肌色面積の範囲を指定したり、入力画像上の天井付近や床付近等、手が存在する可能性の低いところを除外したりする等の制約）を利用して、目的とする手の肌色部分を選択する。選択する具体的な方法の例としては、ユーザが通常衣服を着ているとすると、肌色部分の候補となる可能性が高いのは両手と顔と考えられ、また最も面積の大きいのは顔と考えられるので、２番目と３番目に面積が大きい肌色部分を手の候補として選択する。ユーザ指定位置として両手２つ使うとした場合、その２つの（２番目と３番目に大きい）肌色部分の候補に対する各重心位置を、各々左右の手のユーザ指定位置とすればよい。左右の選択は左手側にあるものを左手、右手側にあるものを右手とすればよい。また、ユーザ指定位置を１つ（片手）だけ使うとした場合は、２つの候補から１つを選ぶ必要があるが、予め例えば右手を指定する手としたら、体より右手側にある候補を（右手の可能性が高いことから）右手の肌色部分として選び、その重心位置を右手のユーザ指定位置とすればよい。（左手の場合も同様である。）
また、肩の位置を画像処理により検出する方法としては、例えば、初めに顔の位置を抽出してから肩の位置を算出する方法がある。具体的には、まず、前記の肌色抽出処理を行った結果から、１番目に面積が大きい肌色部分は顔の可能性が高いので、その肌色部分を顔と判断し、その重心を求める。次に、（通常の姿勢では）肩の位置は顔の重心位置から下へある程度の距離、左右へある程度の距離ずらしたものと仮定することができるので、予めそのずらす距離を決めておいて（個人差あるのでユーザによって値を変えてもよい）、顔の重心位置から左右の肩の位置を算出することができる。また、始点・終点の２次元座標を出力する際に、その候補値を複数求め、始終点３次元座標算出部１４へ複数の値を出力してもよい。その場合、これら複数の候補値は始終点３次元座標算出部１４において、始終点の３次元座標を求める際に用いられる。このようにして、始点・終点の入力画像上での２次元座標を求めることができる。ここでは、肩の位置を始点としているが、前記により求められる顔の位置（重心）をそのまま始点としてもよい。その場合、顔の位置と手の位置を結ぶ延長線がユーザの指示方向となる。
【００２７】
始終点３次元座標算出部１４は、生成された距離画像情報と、始点・終点の２次元座標から、始点・終点の３次元座標値を求めるものである（ステップ２３）。具体的な方法としては、例えば、距離画像上で、始点の入力画像上での２次元座標と同じ位置の値（距離値）を参照し、それを始点の距離値とすればよい。終点も同様である。３次元の実空間上において、入力画像の２次元座標系と３次元座標系の変換は一般に、予め容易に算出しておけるので、それに基づいて、得られた入力画像上での始点および終点の２次元座標値とその各距離値から、始点と終点の３次元空間上での３次元座標値を求めることができる。さらに、得られた始点・終点の２つの３次元座標値から、２点を結ぶ３次元直線を求めることにより、ユーザの指示方向を求めることができる。また、始点・終点の２次元座標が複数入力された場合（始終点２次元座標算出部１３にて記述）、距離画像情報に基づいて、始点・終点を複数の２次元座標候補から選択することもできる。例えば、ユーザのいる位置が予め制限された空間内にしかいないとすると、その制限を越えた場所を指示する候補を除くこと等が可能である。すなわち、始終点３次元座標算出部１４において、始終点３次元座標だけでなく、始終点２次元座標の絞込み処理も可能である。これにより、始終点２次元座標算出部１３における誤検出を、異なる情報（距離画像情報）を用いて除外できるので、精度の向上が期待できる。
【００２８】
３次元指示位置検出部１５は、ユーザが指し示した実空間中の３次元位置を検出するものである（ステップ２４）。具体的な方法としては、まず、始終点３次元座標算出部１４で求められた始点と終点を結ぶ３次元直線を手（終点）方向に延長していく。このとき、該延長線が、予め登録されている空間中の物体等の３次元位置情報と交差するものがあった場合は、その物体等の位置を、ユーザが指示する３次元指示位置として検出する。空間中の物体等の情報については、空間情報登録部１６において説明する。
【００２９】
空間情報登録部１６は、ユーザが指示する可能性のある実空間中の物体等の情報を空間情報データ１７に登録するものである（ステップ２５）。実空間中の物体等としては、例えば、ユーザが部屋の中にいる場合には、部屋の中にある家電機器等（テレビ、エアコン、コンピュータ、時計、窓、棚、椅子、机、引出し、書類、オーディオ機器、照明機器等）の物体や、また部屋自体の壁、床、天井、窓等、任意のものが対象として考えられる。これらの物体等の情報（３次元位置の座標情報やその他物体に関する情報等）は、予め空間情報データ１７に登録・保存しておく。また、情報の登録に関しては、予め固定の３次元位置座標としておくのではなく、対象とする実物体毎に位置認識可能なセンサ（市販されている磁気センサ、超音波センサ、赤外線タグ、無線タグ等）を取り付けておくことにより、各々の物体の位置をリアルタイムに認識することができるので、それらにより得られた３次元位置情報から該物体情報を生成し、常時その物体の３次元位置座標等の情報を更新していくことも可能である。この場合、物体を移動させても３次元位置情報等をリアルタイムに更新させることができる。
【００３０】
以上のように、本実施形態によれば、ユーザが腕を伸ばして、３次元空間中の物体等を直接実空間中で指し示すと、その３次元的な指示動作に基づき、指し示された３次元位置（物体）を検出することが可能になる。
【００３１】
（第２の実施形態）
図３は本発明の第２の実施形態のインタフェース装置のブロック図、図４はその全体の処理の流れを示すフローチャートである。
【００３２】
本実施形態のインタフェース装置は、複数台（この場合、２台）のカメラで撮影された画像Ｉ_１，Ｉ_２を入力画像とし、操作者（ユーザ）が体に何も装着せずに、体の部位（指や腕等）を用いて指し示した実空間内の位置（もしくは物体）を検出するインタフェース装置で、ユーザの直接的で直感的な３次元指示動作に基づき、３次元空間上での指示位置を認識することができ、かつその操作時にユーザが自己画像を見ながらインタフェース動作を行える装置である。
【００３３】
本インタフェース装置は画像入力部１１_１，１１_２と距離画像生成部１２と始終点２次元座標算出部１３と始終点３次元座標算出部１４と３次元指示位置検出部１５と空間情報登録部１６と反転画像生成部１８と情報表示部１９から構成される。以下、各部の機能を説明する。
【００３４】
画像入力部１１_１，１１_２、距離画像生成部１２、始終点２次元座標算出部１３、始終点３次元座標算出部１４、空間情報登録部１６の機能については、第１の実施形態と同じである。
【００３５】
３次元指示位置検出部１５は、第１の実施形態と同様の処理を行うが、得られた３次元指示位置情報は情報表示部１９へも送られる。このとき、既に得られている始点・終点の２次元座標情報や、始点・終点の３次元座標情報や３次元指示方向情報も、併せて情報表示部１９へ送ってもよい。この場合、始終点２次元座標算出部１３から直接情報表示部１９へ、また始終点３次元座標算出部１４から直接情報表示部１９へ、各々で得られた情報を送出してもよい。
【００３６】
反転画像生成部１８は、画像入力部で入力された入力画像Ｉ_１を左右反転させた画像（反転画像）を生成する。コンピュータ内へ取り込んだ入力画像に対し市販の汎用画像処理ソフトウェア（例：ＨＡＬＣＯＮ）により、リアルタイムに反転画像を生成することができる。または、入力画像を入力し反転画像をリアルタイムに生成する市販の機器（例：（株）朋栄の画面左右反転装置ＵＰＩ−１００ＬＲＦ、またはカメラ一体型でＳＯＮＹのＥＶＩ−Ｄ１００）でも実現できる。また、入力画像を反転せずにそのまま出力することは容易に可能であり、利用目的に応じて、入力画像を左右反転させたり反転させなかったりすることも可能である。
【００３７】
情報表示部１９は、３次元指示位置検出処理（ステップ２４）に至るまでに得られた情報（距離画像に関する情報、始点・終点の２次元座標情報、始点・終点の３次元座標情報、操作者の指し示す３次元指示方向情報、および３次元指示位置情報等）の一部もしくは全部を、該反転画像上に重ね合わせてディスプレイに表示する（ステップ２７）。これにより、例えば、入力画像中で該３次元指示位置に対応する座標位置にＣＧによるマークを表示することが可能になる。ディスプレイは、コンピュータ用に使われる汎用のディスプレイでよく、コンピュータの出力画面（ＣＧ等の表示）とカメラ画像を表示できるものであればよい。
【００３８】
（第３の実施形態）
図５は本発明の第３の実施形態のインタフェース装置のブロック図、図６はその全体の処理の流れを示すフローチャートである。
【００３９】
本実施形態のインタフェース装置は、複数台（この場合、４台）のカメラ１１_１〜１１_４で撮影された画像Ｉ_１〜Ｉ_４を入力画像とし、操作者（ユーザ）が何も装着せずに、体の部位（指や腕等）を用いて指し示した実空間内の位置（もしくは物体）を検出するインタフェース装置で、ユーザの直接的で直感的な３次元指示動作に基づき、３次元空間上での指示位置を認識することができる装置である。
【００４０】
本インタフェース装置は、４台の画像入力部１１_１〜１１_４と２つの距離画像生成部１２_１，１２_２と２つの始終点２次元座標算出部１３_１，１３_２と２つの始終点３次元座標算出部１４_１，１４_２と始終点３次元座標統合部２０と３次元指示位置検出部１５と空間情報登録部１６から構成される。以下、各部の機能を説明する。
【００４１】
画像入力部（カメラ）１１_１〜１１_４、距離画像生成部１２_１，１２_２、始終点２次元座標算出部１３_１，１３_２、始終点３次元座標算出部１４_１，１４_２は、第１、第２の実施形態と同様である（ステップ２１_１，２１_２，２２_１，２２_２，２３_１，２３_２）。本装置では、これら４つの処理部１１，１２，１３，１４を１組として、２組用意するものである。画像入力部１１におけるカメラは、１組につき２個となるが、セット毎にカメラの配置する位置、方向を変えておく。これにより、１方向からの距離画像だけでなく、複数の異なる方向からの距離画像（奥行き情報）が得られるので、ユーザの動作によらずユーザの３次元動作を常に精度良く認識することができるようになる。得られた２組の始終点３次元座標情報は始終点３次元座標統合部２０へ送出される。
【００４２】
始終点３次元座標統合部２０は、送られた複数（ｎとする）の始終点３次元座標（Ｘ０，Ｙ０，Ｚ０）〜（Ｘｎ，Ｙｎ，Ｚｎ）から、１つの始終点３次元座標を求めるものである（ステップ２８）。具体的な方法としては、例えばすべての座標の平均値（ＸＡ，ＹＡ，ＺＡ）＝（（Ｘ０＋Ｘ１＋・・・＋Ｘｎ）／ｎ，（Ｙ０＋Ｙ１＋・・・＋Ｙｎ）／ｎ，（Ｚ０＋Ｚ１＋・・・＋Ｚｎ）／ｎ）を求める方法等がある。これにより、ユーザの動作方向によっては奥行き等の誤差が大きくなる場合に、別の方向からの座標情報によって誤差を小さくすることが可能である。また、このとき、誤差が大きくなり、明らかに誤検出した値であると（制約条件等により）判断される座標があっても、もともと冗長な情報をもっているので、それらの誤情報を除いて求めることにより精度を向上させることができる。誤検出は、例えば天井等で手や肩があり得ない位置座標であった場合や、手と肩の位置関係が離れすぎている場合等のさまざまな制約条件から判断することができる。
【００４３】
３次元指示位置検出部１５の機能は、第１、第２の実施形態の３次元指示位置検出部１５と同様である。ここでは、始終点３次元座標統合部２０で得られた１つの始点・終点の３次元座標情報を入力し、第１、第２の実施形態と同様にして、３次元指示位置を検出して出力するものである。空間情報登録部１６も、第１、第２の実施形態の空間情報登録部１６と同様の働きをする。
【００４４】
（第４の実施形態）
図７は本発明の第４の実施形態のインタフェース装置のブロック図、図８はその全体の処理の流れを示すフローチャートである。
【００４５】
本実施形態のインタフェース装置は、複数台（この場合、４台）のカメラ１１_１〜１１_４で撮影された画像Ｉ_１〜Ｉ_４を入力画像とし、操作者（ユーザ）が何も体に装着せずに、体の部位（指や腕等）を用いて指し示した実空間内の位置（もしくは物体）を検出するインタフェース装置で、ユーザの直接的で直感的な３次元指示動作に基づき、３次元空間上での指示位置を認識することができ、かつその操作時にユーザが自己画像を見ながらインタフェース動作を行える装置である。
【００４６】
本実施形態のインタフェース装置は、第２の実施形態で述べた自己画像を表示する機能と、第３の実施形態で述べた複数方向からの複数組の距離画像情報を用いる機能とを組み合わせた実施形態である。
【００４７】
本インタフェース装置は、画像入力部１１_１〜１１_４と距離画像生成部１２_１，１２_２と始終点２次元座標算出部１３_１，１３_２と始終点３次元座標算出部１４_１，１４_２と始終点３次元座標統合部２０と３次元指示位置検出部１５と空間情報登録部１６と反転画像生成部１８と情報表示部１９から構成される。
【００４８】
画像入力部１１_１〜１１_４、距離画像生成部１２_１，１２_２、始終点２次元座標算出部１３_１，１３_２、始終点３次元座標算出部１４_１，１４_２、始終点３次元座標統合部２０、３次元指示位置検出部１５、空間情報登録部１６は、いずれも第３の実施形態の対応するものと同じ働きを示す。また、反転画像生成部１８、情報表示部１９は、いずれも第２の実施形態の対応するものと同じ働きをする。
【００４９】
（第５の実施形態）
図９は本発明の第５の実施形態のインタフェース装置のブロック図、図１０はその全体の処理の流れを示すフローチャートである。
【００５０】
本実施形態のインタフェース装置は、図１の第１の実施形態のインタフェース装置において２台の画像入力部１１_１，１１_２（カメラ）から入力画像を生成する受動的なステレオ法を用いる代りに、１台の画像入力部１１と１台の投光部３１を用いた能動的なステレオ法により距離画像を生成するものである。
【００５１】
２個以上の画像から距離画像を生成する受動的なステレオ法とは、例えば視線方向がほぼ同じで近接した２個のカメラの入力画像同士間で、対応する点を探し（対応点探索を行い）、その座標値のずれの大きさ（視差）からその点の距離を求める方法である。距離の計算には、三角測量の原理を用いている。この方法は、対応点探索が難しく精度が良い距離画像が得られにくい問題があるが、光を照射するなどの能動的な動作や装置は必要なく、撮影環境等に影響されない利点を持っている。例えば、市販の製品で、ＰｏｉｎｔＧｒｅｙＲｅｓｅａｒｃｈ社のＤｉｇｉｃｌｏｐｓ（３眼カメラ式）やＢｕｍｂｌｅｂｅｅ（２眼カメラ式）等がある。
【００５２】
これに対し、投光装置を用いた能動的なステレオ法とは、２個のカメラのうち１台を、光を投射する光源に置き換え、対応点探索のための手がかりとなる情報を対象物に直接投射する方法である。光は、スリット光、スポット光、多種に変化するパターン光など、各種の光を用いる方法もしくは製品が提案もしくは市販されている。この方法は、光を投射する複雑な装置が必要であり、また撮影環境にも影響される問題があるが、対応点探索は安定して行えるので、精度良く距離画像を求めることができる利点を持っている。例えば、市販の製品で、ＮＥＣエンジニアリング社のＤａｎａｅ−Ｒ（非接触型３次元形状計測用レンジファインダ）等がある。
【００５３】
これら２つのステレオ法はいずれも距離画像を求めることができるので、互いに置き換えることが可能である。よって２台以上のカメラだけを使うのではなく、１台以上のカメラと投光装置を用いた能動的なステレオ法も利用可能とすることにより、利用できる手法も市販機器も広くなり、汎用性を高めることができるとともに、応用先を広げることができる。
【００５４】
（第６の実施形態）
図１１は本発明の第６の実施形態のインタフェース装置のブロック図、図１２はその全体の処理の流れを示すフローチャートである。
【００５５】
本実施形態のインタフェース装置は、図３の第２の実施形態のインタフェース装置における２台の画像入力部１１_１，１１_２（カメラ）から入力画像を生成する受動的なステレオ法を用いる代りに、１台の画像入力部１１と１台の投光部３１を用いた能動的ステレオ法により距離画像を生成するものである。
【００５６】
（第７の実施形態）
図１３は本発明の第７の実施形態のインタフェース装置のブロック図、図１４はその全体の処理の流れを示すフローチャートである。
【００５７】
本実施形態のインタフェース装置は、図５の第３の実施形態のインタフェース装置における４台の画像入力部１１_１〜１１_４（カメラ）から入力画像を生成する受動的なステレオ法を用いる代りに、２台の画像入力部１１_１，１１_２と２台の投光部３１_１，３１_２を用いた能動的なステレオ法により距離画像を生成するものである。
【００５８】
（第８の実施形態）
図１５は本発明の第８の実施形態のインタフェース装置のブロック図、図１６はその全体の処理の流れを示すフローチャートである。
【００５９】
本実施形態のインタフェース装置は、図７の第４の実施形態のインタフェース装置における４台の画像入力部１１_１〜１１_４（カメラ）から入力画像を生成する受動的なステレオ法を用いる代りに、２台の画像入力部１１_１，１１_２と２台の投光部３１_１，３１_２を用いた能動的なステレオ法により距離画像を生成するものである。
【００６０】
なお、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００６１】
【発明の効果】
以上説明したように、本発明は下記の効果がある。
【００６２】
請求項１，５，９の発明は、非装着なインタフェースであるため、ユーザの利便性を向上させることができる。また、複数台のカメラを用いるため、奥行き情報が精度良く得られる。また、ユーザの指示方向を検出し指示位置を検出できるため、３次元的なポインティングを実現できる。さらに、３次元的なポインティングの指示先として、スクリーン上だけでなく実空間上の位置もポインティング可能であり、応用先を広げることができる。
【００６３】
請求項２，６，９の発明は、請求項１，６，１１の効果に加え、１方向からの距離画像だけでなく、複数の方向からの距離画像（奥行き情報）が得られるため、ユーザの動作によらずユーザの３次元動作を常により精度良く認識することができる。
【００６４】
請求項３，７，９の発明は、請求項１，６，１１の効果に加え、自己画像を見ながらインタフェース動作を行えるため、ユーザの利便性をより向上させることができる。
【００６５】
請求項４，８，９の発明は、請求項１，２，３の効果に加え、複数台のカメラのみでなく、１台以上のカメラと投光装置を用いた能動的なステレオ法を利用した手法もしくは市販機器も使うことができるため、汎用性を高めるとともに、応用先を広げることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態のインタフェース装置のブロック図である。
【図２】第１の実施形態のインタフェース装置の全体の処理の流れを示すフローチャートである。
【図３】本発明の第２の実施形態のインタフェース装置のブロック図である。
【図４】第２の実施形態のインタフェース装置の全体の処理の流れを示すフローチャートである。
【図５】本発明の第３の実施形態のインタフェース装置のブロック図である。
【図６】第３の実施形態のインタフェース装置の全体の処理の流れを示すフローチャートである。
【図７】本発明の第４の実施形態のインタフェース装置のブロック図である。
【図８】第４の実施形態のインタフェース装置の全体の処理の流れを示すフローチャートである。
【図９】本発明の第５の実施形態のインタフェース装置のブロック図である。
【図１０】第５の実施形態のインタフェース装置の全体の処理の流れを示すフローチャートである。
【図１１】本発明の第６の実施形態のインタフェース装置のブロック図である。
【図１２】第６の実施形態のインタフェース装置の全体の処理の流れを示すフローチャートである。
【図１３】本発明の第７の実施形態のインタフェース装置のブロック図である。
【図１４】第７の実施形態のインタフェース装置の全体の処理の流れを示すフローチャートである。
【図１５】本発明の第８の実施形態のインタフェース装置のブロック図である。
【図１６】第８の実施形態のインタフェース装置の全体の処理の流れを示すフローチャートである。
【符号の説明】
１１，１１_１〜１１_４画像入力部
１２，１２_１，１２_２距離画像生成部
１３，１３_１，１３_２始終点２次元座標算出部
１４，１４_１，１４_２始終点３次元座標算出部
１５３次元指示位置検出部
１６空間情報登録部
１７空間情報データ
１８反転画像生成部
１９情報表示部
２１，２１_１，２１_２，２２，２２_１，２２_２，２３，２３_１，２３_２，２４〜２７ステップ
３１，３１_１，３１_２投光部
Ｉ，Ｉ_１〜Ｉ_４入力画像

Claims

複数台のカメラで撮影された画像を入力し、体の部位を用いて指し示した実空間内の位置もしくは物体を認識するインタフェース方法であって、
複数台のカメラで撮影した画像を入力する画像入力ステップと、
該入力画像のうち２個以上の入力画像を用いて、ステレオ法による画像処理により距離画像を生成する距離画像生成ステップと、
前記距離画像生成ステップで用いた入力画像のうち少なくとも１個の入力画像上で、操作者の体の予め定めた部位２箇所を始点および終点として検出し、該入力画像上でのそれらの２次元座標を算出する始終点２次元座標算出ステップと、
前記距離画像と、前記始点・終点の該入力画像上での２次元座標とから、実空間上における前記始点・終点の３次元座標を算出し、操作者の指し示す実空間上での３次元指示方向情報を算出する始終点３次元座標算出ステップと、
実空間上にある物体の情報、すなわち一部もしくは全体に渡る３次元位置情報およびその付加情報を登録する空間情報登録ステップと、
操作者の指し示す、前記実空間上での３次元指示方向情報と、前記空間情報登録ステップで登録された物体の情報とから、操作者が指し示す、実空間上での３次元指示位置情報、すなわち操作者が指し示す方向の延長線と、登録された物体との交点に関する情報を検出する３次元指示位置検出ステップを有するインタフェース方法。
前記画像入力ステップと前記距離画像生成ステップと前記始終点２次元座標算出ステップと前記始終点３次元座標算出ステップからなる組を複数組有し、
複数の始終点３次元座標算出ステップで得られた複数の始点・終点３次元座標情報を入力し、１個の始点・終点３次元座標情報に統合し、操作者の指し示す、実空間上での３次元指示方向情報を算出する始終点３次元座標統合ステップをさらに有する、請求項１に記載のインタフェース方法。
前記入力画像のうち操作者を含む１個の入力画像を左右反転した反転画像を生成する反転画像生成ステップと、
前記距離画像に関する情報、前記始点・終点の２次元座標情報、前記始点・終点の３次元座標情報、前記操作者の指し示す、実空間上での３次元指示方向情報、および前記３次元指示位置情報の一部もしくは全部を前記反転画像上に表示する情報表示ステップとをさらに有する、請求項１または２に記載のインタフェース方法。
前記画像入力ステップの代わりに、１台以上のカメラで撮影した画像を入力する画像入力ステップを有し、前記距離画像生成ステップの代わりに、１個の入力画像と投光装置を用いて、能動的なステレオ法による画像処理により距離画像を生成する距離画像生成ステップを有する、請求項１から３のいずれか１項に記載のインタフェース方法。
複数台のカメラで撮影された画像を入力し、体の部位を用いて指し示した実空間内の位置もしくは物体を認識するインタフェース装置であって、
複数台のカメラで撮影した画像を入力する画像入力手段と、
該入力画像のうち２個以上の入力画像を用いて、ステレオ法による画像処理により距離画像を生成する距離画像生成手段と、
前記距離画像生成手段で用いた入力画像のうち少なくとも１個の入力画像上で、操作者の体の予め定めた部位２箇所を始点および終点として検出し、該入力画像上でのそれらの２次元座標を算出する始終点２次元座標算出手段と、
前記距離画像と、前記始点・終点の該入力画像上での２次元座標とから、実空間上における前記始点・終点の３次元座標を算出し、操作者の指し示す、実空間上での３次元指示方向情報を算出する始終点３次元座標算出手段と、
実空間上にある物体の情報、すなわち一部もしくは全体に渡る３次元位置情報およびその付加情報を登録する空間情報登録手段と、
操作者の指し示す、前記実空間上での３次元指示方向情報と、前記空間情報登録手段で登録された物体の情報とから、操作者が指し示す、実空間上での３次元指示位置情報、すなわち操作者が指し示す方向の延長線と、登録された物体との交点に関する情報を検出する３次元指示位置検出手段を有するインタフェース装置。
前記画像入力手段と前記距離画像生成手段と前記始終点２次元座標算出手段と前記始終点３次元座標算出手段からなる組を複数組有し、
複数の始終点３次元座標算出手段によって得られた複数の始点・終点３次元座標情報を入力し、１個の始点・終点３次元座標情報に統合し、操作者の指し示す、実空間での３次元指示方向情報を算出する始終点３次元座標統合手段をさらに有する、請求項５に記載のインタフェース装置。
前記入力画像のうち操作者を含む１個の入力画像を左右反転した反転画像を生成する反転画像生成手段と、
前記距離画像に関する情報、前記始点・終点の２次元座標情報、前記始点・終点の３次元座標情報、前記操作者の指し示す、実空間上での３次元指示方向情報、および前記３次元指示位置情報の一部もしくは全部を前記反転画像上に表示する情報表示手段とをさらに有する、請求項５または６に記載のインタフェース装置。
前記画像入力手段の代わりに、１台以上のカメラで撮影した画像を入力する画像入力手段を有し、前記距離画像生成手段の代わりに、１個の入力画像と投光装置を用いて、能動的なステレオ法による画像処理により距離画像を生成する距離画像生成手段を有する、請求項５から７のいずれか１項に記載のインタフェース装置。
請求項１から３のいずれか１項に記載のインタフェース方法をコンピュータに実行させるためのインタフェースプログラム。