JP2000148381A - 入力画像処理方法、入力画像処理装置、及び入力画像処理プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 方向を示す指が画角から外れず、正しく指示
方向や動作を検出でき、異なる方向を映すディスプレイ
にも適用でき、現実に指し示されている物体を認識する
ことができる入力画像処理装置を提供する。 【解決手段】 本発明の入力画像処理装置は、ハーフミ
ラー１０１と、ハーフミラー１０１で反射された画像を
撮像する撮像部１０２と、ポインティング位置を検出す
るポインティング位置検出部１０３と、検出された位置
にあるオブジェクトを認識するポインティングオブジェ
クト認識部１０４と、オブジェクト情報を蓄積するオブ
ジェクト情報蓄積部１０６と、オブジェクト情報蓄積部
１０６に蓄積されているオブジェクト情報を検索するオ
ブジェクト情報検索部１０５と、オブジェクト情報検索
部１０５の検索結果を表示するディスプレイ１０７とを
備えることを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を処理して画
像データを生成する入力画像処理方法、入力画像処理装
置、及び入力画像処理方法を記録した記録媒体に関す
る。特には、指さしポインティングによって指示された
画像を処理して画像データを生成する入力画像処理方
法、入力画像処理装置、及び入力画像処理方法を記録し
た記録媒体に関する。

【０００２】

【従来の技術】近年、マウス装置やキーボード装置から
でなくＣＣＤ（Charge Coupled Device ）カメラのよう
な撮像部を用いて画像情報の入力を行いそれを処理する
入力画像処理装置が研究、開発されている。撮像部を用
いて画像情報の入力を行う装置として、特開平５−３２
４１８１「ハンドポインティング入力装置」などがあ
る。

【０００３】図１２は、ＣＣＤカメラなどの撮像部を用
いてマン・マシンインタフェースが実現される従来の一
般的な入力画像処理システムを示す図である。図１２に
おいて、この入力画像処理システムは、所定の情報やカ
ーソル１２０９を表示するディスプレイ１２０１と、ポ
インティングを行う利用者の指１２０２ａ、１２０２ｂ
を撮像する２つの撮像部１２０３、１２０４と、撮像部
１２０３、１２０４で撮像された映像に基づいてディス
プレイ１２０１に対して指１２０２ａが指し示す方向を
算出する方向算出部１２０５と、方向算出部１２０５で
算出された方向に対応するディスプレイ１２０１上の位
置を計算するカーソル位置計算部１２０６と、指１２０
２ｂのクリック動作を検出するクリック動作検出部１２
０８と、カーソル位置計算部１２０６の結果に基づいて
ディスプレイ１２０１上にカーソル１２０９を表示し、
指１２０２ｂでクリックが生起した場合にそのカーソル
位置に対応した処理を行うコンピュータ本体１２０７と
を備えている。

【０００４】以下、上述した従来の入力画像処理システ
ムの動作について説明する。利用者がディスプレイ１２
０１の前で、指１２０２ａによりディスプレイ１２０１
の画像情報を指示すると、撮像部１２０３、１２０４
は、この指１２０２ａを撮像する。方向算出部１２０５
は、撮像部１２０３、１２０４で撮像された指１２０２
ａの映像に基づいて、ディスプレイ１２０１に対して指
１２０２ａが指し示す方向を算出する。カーソル位置算
出部１２０６は、方向算出部１２０５で算出された方向
に対応して、指１２０２ａの指し示す位置としてカーソ
ル１２０９のディスプレイ１２０１上の位置を算出す
る。カーソル位置算出部１２０６で算出されたカーソル
位置は、コンピュータ本体１２０７に送られ、コンピュ
ータ本体１２０７は、このカーソル位置に応じて、ディ
スプレイ１２０１上のカーソル１２０９を対応する位置
に移動する。

【０００５】一方、利用者がカーソル１２０９の位置を
確認して、指１２０２ｂで所定のクリック動作（指の上
下や曲伸など）を行うと、撮像部１２０３、１２０４
は、この指１２０２ｂの動作を撮像する。クリック動作
検出部１２０８は、指１２０２ｂのクリック動作を検出
し、コンピュータ本体１２０７にクリック検出信号を送
る。コンピュータ本体１２０７では、クリック検出信号
に応じて、ディスプレイ１２０１上のカーソル１２０９
の位置に対応する画像情報を利用者が指示した画像情報
として処理する。

【０００６】このように、従来の入力画像処理システム
では、通常のマウス装置やキーボード装置を用いる換わ
りに、ＣＣＤカメラなどの撮像部を用いて利用者の指を
撮影し、そのカメラ画像を画像処理し、その指さし方向
やクリック動作を認識してコンピュータ装置などへデー
タや制御信号として入力し、コンピュータ装置でそのデ
ータや制御信号を処理している。

【０００７】

【発明が解決しようとする課題】しかしながら、図１２
に示すような従来の入力画像処理システムによれば、撮
像される指１２０２ａ、１２０２ｂをディスプレイ１２
０１から遠ざけすぎたり、近づけすぎた場合、撮像部１
２０３、１２０４の双方もしくは一方の画角から指１２
０２ａや指１２０２ｂが外れてしまうため、方向算出部
１２０５でディスプレイ１２０１に対して指１２０２ａ
が指し示す方向を算出したり、クリック動作検出部１２
０８で指１２０２ｂのクリック動作を検出したりするこ
とができない場合が生じるという問題があった。

【０００８】また、ディスプレイ１２０１に対して指１
２０２ａを真っ直ぐに伸ばしていないと、方向算出部１
２０５で算出される方向の誤差が大きくなるため、指１
２０２ａで指し示した位置にカーソル１２０９が正しく
表示されない場合が生じるという問題があった。

【０００９】また、図１２に示すような従来の入力画像
処理システムによれば、撮像部１２０３、１２０４の光
軸方向が、指１２０２ａを指し示めす利用者に向いてい
るため、指１２０２ａで指示されている対象を撮像する
ことができず、現実に存在する物体への指さし動作の場
合、実際に指し示されている物体と該物体を指し示めし
ている指とを同時に認識するような使い方が困難である
という問題があった。また、図１２に示すような従来の
入力画像処理システムによれば、画像処理される対象物
が固定配置された通常の平面ディスプレイ１２０１上の
ものを前提としているため、ヘッドマウントディスプレ
イ（ＨＭＤ：Head Mount Display）のような絶えず異な
る方向が映し出されるディスプレイ上の撮像画像の場
合、その画像処理ができないという問題があった。

【００１０】また、撮像部１２０３、１２０４で撮像さ
れた画像から指１２０２ａ、１２０２ｂの領域を抽出す
る（指１２０２ａ、１２０２ｂを認識する）必要がある
ため、指１２０２ａ、１２０２ｂ以外の背景が複雑な場
合には、指１２０２ａ、１２０２ｂの領域を安定して抽
出することが困難であるという問題があった。

【００１１】したがって、本発明の目的は、上記の問題
点を解決するため、方向を示す指が撮像部の画角から外
れず、指が曲がった状態でも正しく指示方向や動作を検
出でき、また、絶えず異なる方向が映し出されるディス
プレイにも適用することができる入力画像処理方法、入
力画像処理装置、及び入力画像処理方法を記録した記録
媒体を提供することである。

【００１２】また、本発明の他の目的は、現実に存在す
る物体に対する指さし動作でも、指し示されている物体
を認識することができ、また、指以外の背景が複雑な場
合でも、指先の位置を正確に抽出することができる入力
画像処理方法、入力画像処理装置、及び入力画像処理方
法を記録した記録媒体を提供することである。

【００１３】

【課題を解決するための手段】上記課題を解決するた
め、本発明の第１の態様の入力画像処理方法は、 入力
された画像を処理する入力画像処理方法であって、 所
定の画像を反射させ、反射した画像を撮像し、 撮像さ
れた画像から所定の指標の指し示す位置を検出し、 検
出した位置に基づいて所定の指標の指し示す対象を認識
する、ことを特徴とする。

【００１４】また、上記課題を解決するため、本発明の
第１の態様の入力画像処理装置は、入力された画像を処
理する入力画像処理装置において、 所定の画像を反射
および透過させるハーフミラーと、 ハーフミラーによ
り反射された所定の画像を撮像する撮像手段と、 撮像
手段の撮像画像から所定の指標の指し示す位置を検出す
るポインティング位置検出手段と、 ポインティング位
置検出手段で検出した位置に基づいて所定の指標の指し
示す対象を認識するオブジェクト認識手段と、を有する
ことを特徴とする。

【００１５】これによって、方向を示す指が撮像部の画
角から外れず、指が曲がった状態でも正しく指示方向や
動作を検出することができる。また、現実に存在する物
体に対する指さし動作でも、指し示されている物体を認
識することができる。

【００１６】また、上記課題を解決するため、本発明の
第２の態様の入力画像処理方法は、入力された画像を処
理する入力画像処理方法であって、 相対的な位置関係
が既知である複数の撮像ポイントから画像を撮像し、
複数の撮像ポイントで撮像された画像から、所定の指標
と画像の空間の３次元位置を計測し、 撮像の基準視点
の３次元位置と計測された所定の指標の３次元位置から
所定の指示ベクトルを計算し、 画像の空間の３次元位
置に基づいて、指示ベクトルの延長上にある所定の対象
を認識する、ことを特徴とする。

【００１７】上述の本発明の第２の態様の入力画像処理
方法においては、撮像の基準視点の３次元位置を、複数
の撮像ポイントからの所定の位置に決めるようにするこ
とができる。さらに、認識した対象に基づいて、所定の
処理を行うようにしてもよい。また、所定の処理を行う
ステップは、認識された対象に対応する情報を検索して
表示するステップとするとよい。

【００１８】また、上記課題を解決するため、本発明の
第２の態様の入力画像処理装置は、入力された画像を処
理する入力画像処理装置において、 所定の指標と空間
から成る画像を撮像する複数の撮像手段と、 複数の撮
像手段を所定の間隔で所定の位置に固定する手段と、
複数の撮像手段で撮像された画像から所定の指標と空間
の３次元位置の計測を行う３次元計測手段と、 撮像の
基準視点の３次元位置と３次元計測手段で計測された所
定の指標の３次元位置から指示ベクトルを計算する指示
ベクトル計算手段と、 指示ベクトル計算手段で計算さ
れた指示ベクトルに基づいて、空間における指示ベクト
ルの延長上にある対象を認識するオブジェクト認識手段
と、を有することを特徴とする。

【００１９】上述の本発明の第２の態様の入力画像処理
装置において、撮像の基準視点の３次元位置を複数の撮
像ポイントからの所定の位置に決める基準位置指示手段
を有することもできる。さらに、オブジェクト認識手段
で認識した対象に基づいて、所定の処理を行う処理手段
を有することもできる。また、対象に対応する情報を蓄
積する情報蓄積手段と、対象に対応する情報を表示する
表示手段と、を備え、処理手段は、オブジェクト認識手
段で認識された対象に対応する情報を情報蓄積手段から
検索し、表示手段は、処理手段で検索した対象に対応す
る情報を表示する、ようにしてもよい。

【００２０】これによって、方向を示す指が撮像部の画
角から外れず、指が曲がった状態でも正しく指示方向や
動作を検出することができる。また、現実に存在する物
体に対する指さし動作でも、指し示されている物体を認
識することができる。

【００２１】また、上記課題を解決するため、本発明の
第３の態様の入力画像処理方法は、入力された画像を処
理する入力画像処理方法であって、 仮想空間の３次元
情報を蓄積し、 相対的な位置関係が既知である複数の
撮像ポイントから画像を撮像し、 複数の撮像ポイント
で撮像された画像から所定の指標の３次元位置を計測
し、 撮像の基準視点の３次元位置と計測された所定の
指標の３次元位置から所定の指示ベクトルを計算し、
所定の基準点からの位置及び方向を判定し、判定された
位置及び方向に基づいて、蓄積されている仮想空間の３
次元情報から仮想空間を生成して表示し、 指示ベクト
ルに応じて表示されている仮想空間にカーソルを重ねて
表示する、ことを特徴とする。

【００２２】また、上記課題を解決するため、本発明の
第３の態様の入力画像処理装置は、入力された画像を処
理する入力画像処理装置において、 所定の指標を画像
として撮像する複数の撮像手段と、 複数の撮像手段を
所定の間隔で所定の位置に固定する手段と、 複数の撮
像手段で撮像された画像から所定の指標の３次元位置の
計測を行う３次元計測手段と、 撮像の基準視点の３次
元位置と３次元計測手段で計測された所定の指標の３次
元位置から指示ベクトルを計算する指示ベクトル計算手
段と、 仮想空間の３次元情報を蓄積する仮想空間情報
蓄積手段と、所定の基準点からの位置及び方向を判定し
て該位置及び方向に対応する信号を生成するセンサ手段
と、 センサ手段で生成された信号に応じて、仮想空間
情報蓄積手段に蓄積されている３次元情報から仮想空間
を生成し、指示ベクトルの方向に応じて仮想空間にカー
ソルを重ね合わせて仮想空間情報を生成する仮想空間処
理手段と、 仮想空間処理手段で生成された仮想空間情
報を表示する表示手段と、を有することを特徴とする。
ここで、表示手段を、ヘッドマウントディスプレイにし
てもよい。

【００２３】これによって、方向を示す指が撮像部の画
角から外れず、指が曲がった状態でも正しく指示方向や
動作を検出することができる。また、現実に存在する物
体に対する指さし動作でも、指し示されている物体を認
識することができる。また、絶えず異なる方向が映し出
されるディスプレイにも適用することができる。上述の
本発明の第１乃至第３の態様の入力画像処理方法におい
ては、さらに、所定の指標の動作を認識し、認識した動
作に基づいて、所定の処理を行う、ようにすることがで
きる。また、所定の指標を、カラーマーカで識別するよ
うにしてもよい。

【００２４】上述の本発明の第１乃至第３の態様の入力
画像処理方法においては、さらに、所定の指標の動作を
認識する動作認識手段と、動作認識手段で認識した所定
の指標の動作に基づいて、所定の処理を行う処理手段
と、を有することもできる。また、所定の指標に取り付
けられるカラーマーカと、画像からカラーマーカを抽出
して所定の指標を認識するカラーマーカ抽出手段と、を
有することもできる。

【００２５】動作を認識することによって、動作に応じ
た画像処理を行うことができ、また、カラーマーカによ
って、指以外の背景が複雑な場合でも、指先の位置を正
確に抽出することができる。

【００２６】

【発明の実施の形態】以下、本発明の入力画像処理方
法、入力画像処理装置、及び入力画像処理方法を記録し
た記録媒体について、図面を参照しながら説明する。

【００２７】＜実施の形態１＞図１は、本発明の第１実
施の形態の入力画像処理装置の構成を示すブロック図で
ある。この入力画像処理装置は、指さしポインティング
による装置である。図１において、入力画像処理装置
は、所定の画像を所定の角度で反射するように調整され
たハーフミラー１０１と、ハーフミラー１０１で反射さ
れた画像を撮像する撮像部１０２と、撮像部１０２で撮
像された画像の各画像フレームに対する利用者の指先の
指し示す位置（以下、単に「ポインティング位置」とも
いう）を検出するポインティング位置検出部１０３と、
ポインティング位置検出部１０３で検出された位置にあ
るオブジェクトを色や形状などで認識するポインティン
グオブジェクト認識部１０４と、オブジェクトの関連情
報（以下、単に「オブジェクト情報」ともいう）を蓄積
するオブジェクト情報蓄積部１０６と、ポインティング
オブジェクト認識部１０４で認識されたオブジェクトの
オブジェクト情報でオブジェクト情報蓄積部１０６に蓄
積されているオブジェクト情報を検索するオブジェクト
情報検索部１０５と、オブジェクト情報検索部１０５の
検索結果を表示するディスプレイ１０７とを備えてい
る。

【００２８】ここで、ハーフミラー１０１は、所定の画
像、例えば、利用者の片目（好ましくは、きき目）の視
野と略同程度以上の範囲の画像が撮像部１０２で撮像で
きるように調整されている。また、ハーフミラー１０
１、撮像部１０２、及びディスプレイ１０７は、指さし
ポインティングを行う利用者に装着されるため、できる
だけ小型のものがよい。

【００２９】次に、図１で示した入力画像処理装置の動
作について説明する。

【００３０】図２は、入力画像処理装置の動作の処理を
示すフローチャートである。以下の説明において、オブ
ジェクトを美術作品または美術作品と一対一に対応して
該美術作品を特定し得るカラーバーコードなどの所定の
マークとし、オブジェクト情報を当該美術作品の関連情
報とする。

【００３１】図１及び図２において、利用者の視野の中
に関連情報を知りたい美術作品が存在する場合、利用者
は、まずその美術作品または所定のマーク（以下、単に
「オブジェクト」ともいう）に指先が重なって見えるよ
うに指さし（指さしポインティング）を行う。一般に、
このような両目での指さしで、指先と対象オブジェクト
が重なって見えるのは、利用者のきき目に入る画像中で
指先とオブジェクトが重なって見えるためである。この
とき、撮像部１０２は、指先と対象オブジェクトの双方
を撮像し、画像フレームを連続して出力する（ステップ
２０１）。

【００３２】ポインティング位置検出部１０３は、撮像
部１０２からの画像フレーム中の指先の位置を認識し、
指先位置の画像座標値を出力する（ステップ２０２）。
このとき、利用者が対象オブジェクトの方向を向かずに
目の動きのみで対象オブジェクトを認識してそれを指さ
しした場合、ポインティング位置検出部１０３で、画像
フレーム中に指先が認識できない場合がある。この場合
には、上述した指さしポインティングを再度やり直す
（ステップ２０３）。

【００３３】ポインティングオブジェクト認識部１０４
では、ポインティング位置検出部１０３からの指先位置
の画像座標値とそれまで撮像された画像フレーム（指さ
し直前の所定の数の画像フレーム）での対象オブジェク
トの画像座標値の平均値を比較する。そして、検出され
た指先の位置に最も近い美術作品またはマークに対応す
る美術作品をポインティングオブジェクトとして認識
し、対応するオブジェクトＩＤを出力する（ステップ２
０４）。ここで、ポインティングオブジェクト認識部１
０４は、予め美術作品またはマークとオブジェクトＩＤ
を関連付けたテーブル（図示せず）などを備え、このテ
ーブルを参照して認識した美術作品に対応するオブジェ
クトＩＤを出力するようにするとよい。

【００３４】次に、オブジェクト情報検索部１０５で
は、ポインティングオブジェクト認識部１０４から出力
されたオブジェクトＩＤに基づいて、当該オブジェクト
ＩＤに対応する美術作品の関連情報をオブジェクト情報
蓄積部１０６より検索する（ステップ２０５）。そし
て、その検索結果であるオブジェクト情報をディスプレ
イ１０７に出力する（ステップ２０６）。

【００３５】なお、オブジェクト情報蓄積部１０６に
は、オブジェクトＩＤに対応する美術作品の関連情報を
予めそのオブジェクトＩＤと関連付けて蓄積しておくよ
うにする。

【００３６】以上の処理を継続する場合には、ステップ
２０１〜ステップ２０６の処理を繰り返すようにする
（ステップ２０７）。

【００３７】以上のように、本発明の第１の実施の形態
によれば、撮像部１０２の撮像範囲を利用者のきき目の
視野と略同範囲以上に設定するため、通常は、対象オブ
ジェクトを示す指が撮像部１０２の撮像範囲から外れる
ことがなく、かつ利用者によってポインティングされて
いる対象オブジェクトも撮像範囲内に入る。このため、
ポインティングされている対象オブジェクトを確実に認
識することができる。また、指さしによるポインティン
グの方向は、指先の画像座標値だけで認識することがで
きるので、指が曲がった状態でも正しく指示方向を算出
できる。

【００３８】このように、本発明の第１の実施の形態に
よれば、従来問題であった指の撮像範囲外れや指が曲が
ることによる指さし方向算出の誤差がなくなり、精度の
高い指さしポインティングを実現できる。また、本発明
の第１の実施の形態によれば、利用者によって指さしさ
れている対象オブジェクトを直接認識できるので、実在
のオブジェクトにその関連情報（コンピュータ情報）を
リンクさせるＡＲ（Augmented Reality ：拡張現実感）
システムにも利用することができる。

【００３９】＜実施の形態２＞以下、本発明の第２の実
施の形態について、図面を参照しながら説明する。

【００４０】図３は本発明の第２実施の形態の入力画像
処理装置の構成を示すブロック図である。この入力画像
処理装置は、指さしポインティングによる装置である。
また、図３においては、図１と同様の構成のものには、
同一の符号を付している。

【００４１】図３において、この入力画像処理装置は、
利用者の指先やオブジェクトなどを撮像する２つの撮像
部３０１、３０２と、利用者のきき目とカメラの相対的
な位置関係を固定する装着部３０３と、装着部３０３に
設けられた利用者のきき目の位置を合わせるきき目位置
指示部３０７と、撮像部３０１、３０２で撮像された画
像から指先の位置の３次元計測及び撮像された空間の３
次元計測を行う３次元計測部３０４と、装着部３０３で
固定された利用者のきき目の３次元位置と指先の３次元
位置から指さしベクトルを計算する指さしベクトル計算
部３０５と、指さしベクトル計算部３０５で算出された
指さしベクトルの延長上にある３次元空間の情報を検出
し、検出された位置にあるオブジェクトを色や形状など
で認識するポインティングオブジェクト認識部３０６
と、オブジェクト情報を蓄積するオブジェクト情報蓄積
部１０６と、ポインティングオブジェクト認識部３０６
で認識されたオブジェクトのオブジェクト情報でオブジ
ェクト情報蓄積部１０６に蓄積されているオブジェクト
情報を検索するオブジェクト情報検索部１０５と、オブ
ジェクト情報検索部１０５の検索結果を表示するディス
プレイ１０７とを備えている。

【００４２】ここで、撮像部は、２つ以上であればよ
い。また、撮像部３０１、３０２、及びディスプレイ１
０７は、指さしポインティングを行う利用者に装着され
るため、できるだけ小型のものがよい。

【００４３】次に、図３で示した入力画像処理装置の動
作について説明する。

【００４４】図４は、入力画像処理装置の動作の処理を
示すフローチャートである。以下の説明において、オブ
ジェクトを美術作品または美術作品と一対一に対応して
該美術作品を特定し得るカラーバーコードなどの所定の
マークとし、オブジェクト情報を当該美術作品の関連情
報とする。また、利用者は、きき目の位置をきき目位置
指示部３０７に合わせて装着部３０３を頭部に装着する
ものとする。

【００４５】図３及び図４において、利用者の視野の中
に関連情報を知りたい美術作品が存在する場合、利用者
は、まずその美術作品または所定のマーク（オブジェク
ト）に指先が重なって見えるように指さし（指さしポイ
ンティング）を行う。一般に、このような両目での指さ
しで指先と対象オブジェクトが重なって見えるのは、き
き目に入る画像中で指先とオブジェクトが重なって見え
るためである。２つの撮像部３０１、３０２は、指先と
対象オブジェクトの双方を撮像し、画像フレームを連続
して出力する（ステップ４０１）。

【００４６】３次元計測部３０４では、２つの撮像部３
０１、３０２で同時に撮影された画像フレーム間でステ
レオマッチングを行う。ここで、指先または対象オブジ
ェクトがステレオ画像中で検出されない場合には、再
度、指さしポインティングを行う（ステップ４０２Ａ、
４０２Ｂ）。

【００４７】指先またはオブジェクトがステレオ画像中
で検出された場合（ステップ４０２Ａ、４０２Ｂ）に
は、３次元計測部３０４で、指先および撮像範囲内にあ
るオブジェクトの３次元座標位置を計測する（ステップ
４０３Ａ、４０３Ｂ）。ここで、撮像されたステレオ画
像中に他にもオブジェクトが存在する場合には、そのオ
ブジェクトの３次元座標位置も計測する（ステップ４０
４、４０３Ａ）。

【００４８】一方、指さしベクトル計算部３０５では、
３次元計測部３０４で計測された指先の３次元位置と装
着部３０３で固定されたきき目の３次元座標を用いて、
３次元ベクトルを計算し、指さしベクトルとして出力す
る（ステップ４０５）。なお、きき目位置指示部３０７
と撮像部３０１、３０２の相対的な位置関係は既知であ
るため、きき目の３次元座標も既知である。ここで、指
先の３次元座標値が（ｘf ，ｙf ，ｚf)で、きき目の３
次元座標値が（ｘe ，ｙe ，ｚe ）のとき、指さしベク
トル（ｖｘ，ｖｙ，ｖｚ）は、以下の

【数１】によって算出される。

【数１】（ｖｘ，ｖｙ，ｖｚ）＝（ｘf −ｘe ，ｙf −
ｙe ，ｚf −ｚe ）

【００４９】ポインティングオブジェクト認識部３０６
では、上述した指さしベクトル（ｖｘ，ｖｙ，ｖｚ）の
延長線との距離が最も小さい美術作品もしくはそのマー
クをステップ４０３Ａで算出した３次元座標値に基づい
て検出して、対象オブジェクトとして決定する（ステッ
プ４０６）。そして、決定した対象オブジェクトに対応
するオブジェクトＩＤを出力する。ここで、ポインティ
ングオブジェクト認識部３０６は、予め美術作品または
マークとオブジェクトＩＤを関連付けたテーブル（図示
せず）などを備え、このテーブルを参照して認識した美
術作品に対応するオブジェクトＩＤを出力するようにす
るとよい。

【００５０】次に、オブジェクト情報検索部１０５で
は、ポインティングオブジェクト認識部３０６から出力
されたオブジェクトＩＤに基づいて、当該オブジェクト
ＩＤに対応する美術作品の関連情報をオブジェクト情報
蓄積部１０６より検索する（ステップ４０７）。そし
て、その検索結果であるオブジェクト情報をディスプレ
イ１０７に出力する（ステップ４０８）。

【００５１】なお、オブジェクト情報蓄積部１０６に
は、オブジェクトＩＤに対応する美術作品の関連情報を
予めそのオブジェクトＩＤと関連付けて蓄積しておくよ
うにする。

【００５２】以上の処理を継続する場合には、ステップ
４０１〜ステップ４０８の処理を繰り返すようにする
（ステップ４０９）。

【００５３】以上のように、本発明の第２の実施の形態
によれば、撮像部の撮像方向が利用者視線方向と一致す
るため、通常は、オブジェクトを指すための指が撮像部
３０１、３０２の撮像範囲から外れることはなく、かつ
利用者によってポインティングされている対象オブジェ
クトも撮像範囲内に入る。このため、ポインティングさ
れている対象オブジェクトを確実に認識することができ
る。また、指さしによるポインティングの方向は、指先
の画像座標値だけで認識することができるので、指が曲
がった状態でも正しく指示方向を算出できる。

【００５４】このように、本発明の第２の実施の形態に
よれば、従来問題であった指の撮像範囲外れや指が曲が
ることによる指さし方向算出の誤差がなくなり、精度の
高い指さしポインティングを実現できる。また、本発明
の第２の実施の形態によれば、利用者によって指さしさ
れている対象オブジェクトを直接認識できるので、実在
のオブジェクトにその関連情報（コンピュータ情報）を
リンクさせるＡＲ（Augmented Reality ：拡張現実感）
システムにも利用することができる。

【００５５】＜実施の形態３＞以下本発明の第３の実施
の形態について、図面を参照しながら説明する。

【００５６】図５は本発明の第３実施の形態の入力画像
処理装置の構成を示すのブロック図である。この入力画
像処理装置は、指さしポインティングをユーザーインタ
フェースに用い、ヘッドマウントディスプレイを表示部
とした装置である。また、図５においては、図３と同様
の構成のものには、同一の符号を付している。

【００５７】図５において、この入力画像処理装置は、
利用者の指先やオブジェクトなどを撮像する２つの撮像
部３０１、３０２と、利用者の目とカメラの相対的な位
置関係を固定する装着部３０３と、利用者の頭の向きを
判定する磁気センサ部５０４と、２つの撮像部３０１、
３０２で撮像された画像から指先位置の３次元計測を行
う３次元計測部３０４と、利用者のきき目の３次元位置
と指先の３次元位置から指さしベクトルを計算する指さ
しベクトル計算部３０５と、仮想空間の３次元情報を蓄
積する仮想空間情報蓄積部５０７と、磁気センサ部５０
４の出力信号と仮想空間情報蓄積部５０７に蓄積されて
いる仮想空間の３次元情報に基づいて仮想空間５０９ａ
を生成し、指さしベクトル計算部３０５で計算された指
さしベクトルの方向に応じてカーソル５０９ｂを重ね合
わせる仮想空間処理部５０８と、仮想空間処理部５０８
からの信号に基づいて仮想空間５０９ａおよびカーソル
５０９ｂを表示するヘッドマウントディスプレイ５０９
とを備えている。

【００５８】次に、図５で示した入力画像処理装置の動
作について説明する。

【００５９】図６は、入力画像処理装置の動作の処理を
示すフローチャートである。以下の説明において、オブ
ジェクトを美術作品とし、オブジェクト情報を当該美術
作品の関連情報とする。また、仮想空間を複数の美術作
品が存在する美術館の空間として説明する。

【００６０】図５及び図６において、まず、仮想空間処
理部５０８では、磁気センサ部５０４からの出力信号を
受け、利用者の視線方向を計算し、その計算した視線方
向から利用者の視野に入る仮想空間を仮想空間情報蓄積
部５０７に蓄積されている仮想空間情報に基づいて構築
する（ステップ６０１）。

【００６１】構築された仮想空間は、ヘッドマウントデ
ィスプレイ５０９によって３次元表示される（ステップ
６０２）。

【００６２】ここで、ヘッドマウントディスプレイ５０
９で提供される視野の中に、詳しく鑑賞したい美術作品
が存在する場合、利用者はヘッドマウントディスプレイ
５０９で表示された内容があたかも現実空間であるよう
に指を指すことでポインティングを行う。２つの撮像部
３０１、３０２は、指先を撮像し、その画像フレームを
連続して出力する（ステップ６０３）。

【００６３】ここで、指先がステレオ画像中で検出され
ない場合には、再度、ステップ６０１からの処理を繰り
返す（ステップ６０４）。指先がステレオ画像中で検出
された場合（ステップ６０４）には、３次元計測部３０
４では、２つの撮像部３０１、３０２で同時に撮影され
た画像フレーム間でステレオマッチングを行い、指先の
３次元座標位置を計測する（ステップ６０５）。

【００６４】指さしベクトル計算部３０５では、３次元
計測部３０４で計測された指先の３次元位置と装着部３
０３で固定されたきき目の３次元座標位置を用いて３次
元ベクトルを計算し、指さしベクトルとして出力する
（ステップ６０６）。ここで、指先の３次元座標値が
（ｘf ，ｙf ，ｚf ）で、きき目の３次元座標値が（ｘ
eｙe ，ｚe ）のとき、指さしベクトル（ｖｘ，ｖｙ，
ｖｚ）は、上述し

【数１】によって計算される。

【００６５】仮想空間処理部５０８は、仮想空間情報蓄
積部５０７に蓄積されている仮想空間情報に基づいて構
築された仮想空間中において、指さしベクトル計算部３
０５で算出された指さしベクトルがどの方向を指してい
るかを算出し、仮想空間中でのベクトル方向のマッピン
グを行う（ステップ６０７）。そして、このマッピング
の結果に基づいて、ヘッドマウントディスプレイ５０９
を通して、仮想空間５０９ａ中にカーソル５０９ｂを表
示させる（ステップ６０８）。ここで、撮像部３０１、
３０２の画像フレームレートに応じて指先ベクトルの計
算ができるので、カーソル５０９ｂは、この画像フレー
ムレートに応じて更新される。なお、指さしベクトルな
どの計算が、画像フレームレートに応じて行えない場合
には、所定の数の画像フレームに一度の割合でカーソル
５０９ｂの位置の更新を行うことになる。

【００６６】次に、仮想空間処理部５０８では、指さし
ベクトルの延長線と表示されている各美術作品との空間
距離を計測する。ここで計測された空間距離のうち、閾
値以下で最小の空間距離を持つ美術作品をポインティン
グされたオブジェクトとして検出する（ステップ６０
９）。ここで、この閾値は、ポインティング対象となる
オブジェクト、すなわち、美術作品の配置間隔などで決
定するとよい。

【００６７】次に、仮想空間処理部５０８は、ポインテ
ィングされた美術作品の拡大表示などを行う（ステップ
６１０）。これによって、利用者は、より詳細な美術作
品の鑑賞をすることができる。

【００６８】以上のように、本発明の第３の実施の形態
によれば、撮像部の撮像方向が利用者の視線方向と常に
一致するため、オブジェクトを示す指が撮像部３０１、
３０２の撮像範囲から外れることはない。また、指さし
によるポインティング方向は、指先の画像座標値から計
算されるので、指が曲がった状態でも正しく指示方向を
算出することができる。また、ヘッドマウントディスプ
レイのような絶えず利用者が異なる方向を向きながら使
用するディスプレイにも適用することができる。

【００６９】このように、本発明の第３の実施の形態に
よれば、従来問題であった指の撮像範囲からの外れや、
指が曲がることによる指さし方向算出の誤差がなくなる
ので、精度の高い指さしポインティングを実現すること
ができる。また、ヘッドマウントディスプレイなどの装
着型の表示装置のユーザインタフェースとして使用する
こともできる。

【００７０】＜実施の形態４＞以下、本発明の第４の実
施の形態について、図面を参照しながら説明する。

【００７１】図７は、本発明の第４実施の形態の入力画
像処理装置の構成を示すブロック図である。この入力画
像処理装置は、指さしポインティングによる装置であ
る。また、図７においては、図１と同様の構成のものに
は、同一の符号を付している。

【００７２】図７において、入力画像処理装置は、所定
の画像を所定の角度で反射するように調整されたハーフ
ミラー１０１と、ハーフミラー１０１で反射された画像
を撮像する撮像部１０２と、撮像部１０２で撮像された
画像の各画像フレームに対する利用者の指先の指し示す
位置（以下、単に「ポインティング位置」ともいう）を
検出するポインティング位置検出部１０３と、ポインテ
ィング位置検出部１０３で検出された位置にあるオブジ
ェクトを色や形状などで認識するポインティングオブジ
ェクト認識部１０４と、利用者の指や手のジェスチャを
認識するジェスチャ認識部７０４と、オブジェクト情報
やジェスチャ情報を蓄積するオブジェクト情報蓄積部１
０６と、オブジェクト情報蓄積部１０６に蓄積されてい
るオブジェクト情報やジェスチャ情報を検索するオブジ
ェクト情報検索部１０５と、オブジェクト情報検索部１
０５の検索結果を表示するディスプレイ１０７とを備え
ている。

【００７３】ここで、ハーフミラー１０１は、所定の画
像、例えば、利用者の片目（好ましくは、きき目）の視
野と略同程度以上の範囲の画像が撮像部１０２で撮像で
きるように調整されている。また、ハーフミラー１０
１、撮像部１０２、及びディスプレイ１０７は、指さし
ポインティングを行う利用者に装着されるため、できる
だけ小型のものがよい。

【００７４】次に、図７で示した入力画像処理装置の動
作について説明する。

【００７５】図８は、入力画像処理装置の動作の処理を
示すフローチャートである。また、図９は、利用者のジ
ェスチャを示す図である。

【００７６】ここで、図８においては、図２と同様の処
理のものには、同一のステップ番号を付している。ま
た、以下の説明において、オブジェクトを美術作品また
は美術作品と一対一に対応して該美術作品を特定し得る
カラーバーコードなどの所定のマークとし、オブジェク
ト情報を当該美術作品の関連情報とする。

【００７７】図７〜図９において、利用者の視野の中に
関連情報を知りたい美術作品が存在する場合、利用者
は、まずその美術作品または所定のマーク（以下、単に
「オブジェクト」ともいう）に人差指９０１の指先が重
なって見えるように指さし（指さしポインティング）を
行い、他の指（中指など）９０２を使ってジェスチャを
提示する。一般に、このような両目での指さしで、指先
と対象オブジェクトが重なって見えるのは、利用者のき
き目に入る画像中で指先とオブジェクトが重なって見え
るためである。このとき、撮像部１０２は、指先と対象
オブジェクトの双方を撮像し、画像フレームを連続して
出力する（ステップ２０１）。

【００７８】ポインティング位置検出部１０３は、撮像
部１０２からの画像フレーム中の指さし及びジェスチャ
（図９）を行っている指先９０１、９０２の位置を認識
し、これら指先９０１、９０２の指先位置の画像座標値
を出力する（ステップ２０２）。図９においては、人差
指９０１の他に１本の指９０２を立てるジェスチャの例
を示している。

【００７９】このとき、利用者が対象オブジェクトの方
向を向かずに目の動きのみで対象オブジェクトを認識し
てそれを指さしした場合、ポインティング位置検出部１
０３で、画像フレーム中に指先９０１、９０２が認識で
きない場合がある。この場合には、上述した指さしポイ
ンティングを再度やり直す（ステップ２０３）。

【００８０】ポインティングオブジェクト認識部１０４
では、ポインティング位置検出部１０３からの指先位置
の画像座標値とそれまで撮像された画像フレーム（指さ
し直前の所定の数の画像フレーム）での対象オブジェク
トの画像座標値の平均値を比較する。そして、検出され
た指先の位置に最も近い美術作品またはマークに対応す
る美術作品をポインティングオブジェクトとして認識
し、対応するオブジェクトＩＤを出力する（ステップ８
０４Ａ）。ここで、ポインティングオブジェクト認識部
１０４は、予め美術作品またはマークとオブジェクトＩ
Ｄを関連付けたテーブル（図示せず）などを備え、この
テーブルを参照して認識した美術作品に対応するオブジ
ェクトＩＤを出力するようにするとよい。

【００８１】一方、ジェスチャ認識部７０４では、指先
９０１、９０２の位置の画像座標値の相対関係から利用
者が提示しているジェスチャを認識してジェスチャＩＤ
を出力する（ステップ８０４Ｂ）。例えば、人差指９０
１のみで指さしを行った場合は関連作品の情報提供を要
求するＩＤ−１を出力し、指さしを行っている人差指の
他にもう一本の指９０２が立っていればその作者の経歴
紹介の情報提供を要求するＩＤ−２を出力する。ここ
で、ジェスチャ認識部７０４は、予め決められている指
の動作とジェスチャＩＤを関連付けたテーブル（図示せ
ず）などを備え、このテーブルを参照して認識したジェ
スチャ（動作）に対応するジェスチャＩＤを出力するよ
うにするとよい。

【００８２】次に、オブジェクト情報検索部１０５で
は、ポインティングオブジェクト認識部１０４から出力
されたオブジェクトＩＤ及びジェスチャ認識部７０４か
ら出力されたジェスチャＩＤに基づいて、当該オブジェ
クトＩＤやジェスチャＩＤに対応する美術作品の関連情
報をオブジェクト情報蓄積部１０６より検索する（ステ
ップ８０５）。そして、その検索結果であるオブジェク
ト情報をディスプレイ１０７に出力する（ステップ２０
６）。

【００８３】なお、オブジェクト情報蓄積部１０６に
は、オブジェクトＩＤやジェスチャＩＤに対応する美術
作品の関連情報を予めそのオブジェクトＩＤやジェスチ
ャＩＤと関連付けて蓄積しておくようにする。

【００８４】以上の処理を継続する場合には、ステップ
２０１〜ステップ２０６の処理を繰り返すようにする
（ステップ２０７）。

【００８５】以上のように、本発明の第４の実施の形態
によれば、撮像部１０２の撮像範囲を利用者のきき目の
視野と略同範囲以上に設定するため、通常は、対象オブ
ジェクトを示す指が撮像部１０２の撮像範囲から外れる
ことがなく、かつ利用者によってポインティングされて
いる対象オブジェクトも撮像範囲内に入る。このため、
ポインティングされている対象オブジェクトを確実に認
識することができる。また、指さしによるポインティン
グの方向は、指先の画像座標値だけで認識することがで
きるので、指が曲がった状態でも正しく指示方向を算出
できる。また、指先のジェスチャを複数の指先の相対位
置で判定しているため、正確に指先のジェスチャを検出
することができる。

【００８６】このように、本発明の第４の実施の形態に
よれば、従来問題であった指の撮像範囲外れや指が曲が
ることによる指さし方向算出の誤差がなくなり、精度の
高い指さしポインティングを実現できる。また、本発明
の第４の実施の形態によれば、利用者によって指さしさ
れている対象オブジェクトを直接認識できるので、実在
のオブジェクトにその関連情報（コンピュータ情報）を
リンクさせるＡＲ（Augmented Reality ：拡張現実感）
システムにも利用することができる。

【００８７】なお、第４の本実施の形態では、第１の実
施の形態にジェスチャ認識を用いた場合に関して説明し
たが、第２の及び第３の実施の形態においてもジェスチ
ャ認識を適用することができる。

【００８８】＜実施の形態５＞以下、本発明の第５の実
施の形態について、図面を参照しながら説明する。

【００８９】図１０は、本発明の第５実施の形態の入力
画像処理装置の構成を示すブロック図である。この入力
画像処理装置は、指さしポインティングによる装置であ
る。図１０において、図１と同様の構成のものには同一
の符号を付している。

【００９０】図１０において、入力画像処理装置は、所
定の画像を所定の角度で反射するように調整されたハー
フミラー１０１と、ハーフミラー１０１で反射された画
像を撮像する撮像部１０２と、撮像部１０２で撮像され
た画像の各画像フレームに対する利用者の指や手に装着
する１または複数のカラーマーカ１００９の位置を検出
するカラーマーカ抽出部１００３と、カラーマーカ１０
０９の位置に基づいて指先の指し示す位置（以下、単に
「ポインティング位置」ともいう）を検出するポインテ
ィング位置検出部１０３と、ポインティング位置検出部
１０３で検出された位置にあるオブジェクトを色や形状
などで認識するポインティングオブジェクト認識部１０
４と、オブジェクトの関連情報（以下、単に「オブジェ
クト情報」ともいう）を蓄積するオブジェクト情報蓄積
部１０６と、ポインティングオブジェクト認識部１０４
で認識されたオブジェクトのオブジェクト情報でオブジ
ェクト情報蓄積部１０６に蓄積されているオブジェクト
情報を検索するオブジェクト情報検索部１０５と、オブ
ジェクト情報検索部１０５の検索結果を表示するディス
プレイ１０７とを備えている。

【００９１】ここで、ハーフミラー１０１は、所定の画
像、例えば、利用者の片目（好ましくは、きき目）の視
野と略同程度以上の範囲の画像が撮像部１０２で撮像で
きるように調整されている。また、ハーフミラー１０
１、撮像部１０２、及びディスプレイ１０７は、指さし
ポインティングを行う利用者に装着されるため、できる
だけ小型のものがよい。

【００９２】次に、図１０で示した入力画像処理装置の
動作について説明する。

【００９３】図１１は、入力画像処理装置の動作の処理
を示すフローチャートである。図１１において、図２と
同様の処理には同一のステップ番号を付している。ま
た、以下の説明において、オブジェクトを美術作品また
は美術作品と一対一に対応して該美術作品を特定し得る
カラーバーコードなどの所定のマークとし、オブジェク
ト情報を当該美術作品の関連情報とする。

【００９４】図１０及び図１１において、利用者の視野
の中に関連情報を知りたい美術作品が存在する場合、利
用者は、まずその美術作品または所定のマーク（以下、
単に「オブジェクト」ともいう）にカラーマーカ１００
９を装着した指先が重なって見えるように指さし（指さ
しポインティング）を行う。一般に、このような両目で
の指さしで、カラーマーカ１００９を装着した指先と対
象オブジェクトが重なって見えるのは、利用者のきき目
に入る画像中でカラーマーカ１００９を装着した指先と
オブジェクトが重なって見えるためである。このとき、
撮像部１０２は、カラーマーカ１００９を装着した指先
と対象オブジェクトの双方を撮像し、画像フレームを連
続して出力する（ステップ２０１）。

【００９５】カラーマーカ抽出部１００３は、画像フレ
ーム中からカラーマーカを抽出した画像を出力する。次
に、ポインティング位置検出部１０３では、カラーマー
カ１００９の抽出された画像フレーム中の指先の位置を
認識し、指先位置の画像座標値を出力する（ステップ１
１０２）。このとき、利用者が対象オブジェクトの方向
を向かずに目の動きのみで対象オブジェクトを認識して
それを指さしした場合、ポインティング位置検出部１０
３で、画像フレーム中にカラーマーカ１００９を装着し
た指先が認識できない場合がある。この場合には、上述
した指さしポインティングを再度やり直す（ステップ２
０３）。

【００９６】ポインティングオブジェクト認識部１０４
では、ポインティング位置検出部１０３からの指先位置
の画像座標値とそれまで撮像された画像フレーム（指さ
し直前の所定の数の画像フレーム）での対象オブジェク
トの画像座標値の平均値を比較する。そして、検出され
た指先の位置に最も近い美術作品またはマークに対応す
る美術作品をポインティングオブジェクトとして認識
し、対応するオブジェクトＩＤを出力する（ステップ２
０４）。ここで、ポインティングオブジェクト認識部１
０４は、予め美術作品またはマークとオブジェクトＩＤ
を関連付けたテーブル（図示せず）などを備え、このテ
ーブルを参照して認識した美術作品に対応するオブジェ
クトＩＤを出力するようにするとよい。

【００９７】次に、オブジェクト情報検索部１０５で
は、ポインティングオブジェクト認識部１０４から出力
されたオブジェクトＩＤに基づいて、当該オブジェクト
ＩＤに対応する美術作品の関連情報をオブジェクト情報
蓄積部１０６より検索する（ステップ２０５）。そし
て、その検索結果であるオブジェクト情報をディスプレ
イ１０７に出力する（ステップ２０６）。

【００９８】なお、オブジェクト情報蓄積部１０６に
は、オブジェクトＩＤに対応する美術作品の関連情報を
予めそのオブジェクトＩＤと関連付けて蓄積しておくよ
うにする。

【００９９】以上の処理を継続する場合には、ステップ
２０１〜ステップ２０６の処理を繰り返すようにする
（ステップ２０７）。

【０１００】以上のように、本発明の第５の実施の形態
によれば、指以外の背景が複雑である場合にも、カラー
マーカ１００９を使用することによって、指先位置の抽
出精度が向上し、より安定した高精度な指さし位置の認
識をすることができる。なお、本実施の形態では、第１
の実施の形態にカラーマーカ認識を用いた場合に関して
説明したが、上述した全ての実施の形態においてカラー
マーカ認識を適用することができる。

【０１０１】以上、本発明の入力画像処理装置及び入力
画像処理装置の動作の処理としての入力画像処理方法に
ついて説明したが、上述した入力画像処理方法をコンピ
ュータで実行可能な入力画像処理プログラムとして、コ
ンピュータで読み取り可能な記録媒体に記録することも
できる。

【０１０２】

【発明の効果】以上説明したように、本発明の入力画像
処理装置、入力画像処理方法、及び入力画像処理プログ
ラムを記録した記録媒体によれば、方向を示すための指
が画角から外れず、また、指が曲がった状態でも正しく
指示方向を算出できるようになった。

【０１０３】また、ヘッドマウントディスプレイ（ＨＭ
Ｄ）のような絶えず利用者が異なる方向を向きながら使
用するディスプレイにおいても、指さしポインティング
を実現することができるようになった。

【０１０４】さらに、現実に存在する物体に対して指さ
し動作を行うことができるため、指示されている物体を
同時に認識することができるようになった。

【０１０５】また、指さしと同時に行うクリック動作な
どのジェスチャも指先の相対位置関係からのみ判定する
ため、安定してジェスチャを認識することができるよう
になった。

【０１０６】また、指以外の背景が複雑である場合に
も、カラーマーカの使用などにより、指先位置の抽出精
度を向上させることができるようになった。

【図面の簡単な説明】

【図１】本発明の入力画像処理装置の構成を示すブロッ
ク図である。

【図２】本発明の入力画像処理装置の動作を示すフロー
チャートである。

【図３】本発明の入力画像処理装置の構成を示すブロッ
ク図である。

【図４】本発明の入力画像処理装置の動作を示すフロー
チャートである。

【図５】本発明の入力画像処理装置の構成を示すブロッ
ク図である。

【図６】本発明の入力画像処理装置の動作を示すフロー
チャートである。

【図７】本発明の入力画像処理装置の構成を示すブロッ
ク図である。

【図８】本発明の入力画像処理装置の動作を示すフロー
チャートである。

【図９】利用者のジェスチャを示す図である。

【図１０】本発明の入力画像処理装置の構成を示すブロ
ック図である。

【図１１】本発明の入力画像処理装置の動作を示すフロ
ーチャートである。

【図１２】従来の入力画像処理システムの構成を示すブ
ロック図である。

【符号の説明】

１０１ ハーフミラー １０２、３０１、３０２、１２０３、１２０４ 撮像部 １０３ ポインティング位置検出部 １０４、３０６ ポインティングオブジェクト認識部 １０５ オブジェクト情報検索部 １０６ オブジェクト情報蓄積部 １０７ ディスプレイ ３０３ 装着部 ３０４ ３次元計測部 ３０５ 指さしベクトル計算部 ３０７ きき目位置指示部 ５０４ 磁気センサ部 ５０７ 仮想空間情報蓄積部 ５０８ 仮想空間処理部 ５０９ ヘッドマウントディスプレイ ５０９ａ 仮想空間 ５０９ｂ、１２０９ カーソル ７０４ ジェスチャ認識部 ９０１、９０２、１２０２ａ、１２０２ｂ 指 １００３ カラーマーカ抽出部 １００９ カラーマーカ １２０１ ディスプレイ １２０５ 方向算出部 １２０６ カーソル位置計算部 １２０７ コンピュータ本体 １２０８ クリック動作検出部

───────────────────────────────────────────────────── フロントページの続き (71)出願人 598155195 寺島 信義 東京都新宿区西早稲田１−３−10 早稲田 大学内 (72)発明者 田中 司 東京都新宿区大久保３丁目４番１号 早稲 田大学内 (72)発明者 竹内 俊一 東京都新宿区西早稲田１丁目21番１号 通 信・放送機構 早稲田リサーチセンター内 (72)発明者 寺島 信義 東京都新宿区大久保３丁目４番１号 早稲 田大学内 (72)発明者 富永 英義 東京都新宿区大久保３丁目４番１号 早稲 田大学内 Ｆターム(参考） 5B087 AA07 AD02 AE03 CC12 CC26 CC33 DD03 DE07 5C080 AA01 AA09 AA18 BB05 DD09 EE18 FF09 GG07 GG09 JJ02 JJ07

Claims (25)

【特許請求の範囲】
1. 【請求項１】入力された画像を処理する入力画像処理方
   法であって、 所定の画像を反射させ、 反射した画像を撮像し、 撮像された前記画像から所定の指標の指し示す位置を検
   出し、 検出した位置に基づいて前記所定の指標の指し示す対象
   を認識する、 ことを特徴とする入力画像処理方法。
2. 【請求項２】入力された画像を処理する入力画像処理方
   法であって、 相対的な位置関係が既知である複数の撮像ポイントから
   画像を撮像し、 前記複数の撮像ポイントで撮像された画像から、所定の
   指標と前記画像の空間の３次元位置を計測し、 撮像の基準視点の３次元位置と計測された前記所定の指
   標の３次元位置から所定の指示ベクトルを計算し、 前記画像の空間の３次元位置に基づいて、前記指示ベク
   トルの延長上にある所定の対象を認識する、 ことを特徴とする入力画像処理方法。
3. 【請求項３】前記撮像の基準視点の３次元位置は、前記
   複数の撮像ポイントからの所定の位置に決められること
   を特徴とする請求項２記載の入力画像処理方法。
4. 【請求項４】さらに、認識した対象に基づいて、所定の
   処理を行うことを特徴とする請求項１乃至３記載の入力
   画像処理方法。
5. 【請求項５】前記所定の処理を行うステップは、認識さ
   れた前記対象に対応する情報を検索して表示するステッ
   プである請求項４記載の入力画像処理方法。
6. 【請求項６】入力された画像を処理する入力画像処理方
   法であって、 仮想空間の３次元情報を蓄積し、 相対的な位置関係が既知である複数の撮像ポイントから
   画像を撮像し、 前記複数の撮像ポイントで撮像された画像から所定の指
   標の３次元位置を計測し、 撮像の基準視点の３次元位置と計測された前記所定の指
   標の３次元位置から所定の指示ベクトルを計算し、 所定の基準点からの位置及び方向を判定し、 判定された前記位置及び前記方向に基づいて、蓄積され
   ている前記仮想空間の３次元情報から仮想空間を生成し
   て表示し、 前記指示ベクトルに応じて表示されている前記仮想空間
   にカーソルを重ねて表示する、 ことを特徴とする入力画像処理方法。
7. 【請求項７】さらに、前記所定の指標の動作を認識し、 認識した動作に基づいて、所定の処理を行う、 ことを特徴とする請求項１乃至６記載の入力画像処理方
   法。
8. 【請求項８】前記所定の指標は、カラーマーカで識別さ
   れることを特徴とする請求項１乃至７記載の入力画像処
   理方法。
9. 【請求項９】入力された画像を処理する入力画像処理装
   置において、 所定の画像を反射および透過させるハーフミラーと、 前記ハーフミラーにより反射された所定の画像を撮像す
   る撮像手段と、 前記撮像手段の撮像画像から所定の指標の指し示す位置
   を検出するポインティング位置検出手段と、 前記ポインティング位置検出手段で検出した前記位置に
   基づいて前記所定の指標の指し示す対象を認識するオブ
   ジェクト認識手段と、 を有することを特徴とする入力画像処理装置。
10. 【請求項１０】入力された画像を処理する入力画像処理
    装置において、 所定の指標と空間から成る画像を撮像する複数の撮像手
    段と、 前記複数の撮像手段を所定の間隔で所定の位置に固定す
    る手段と、 前記複数の撮像手段で撮像された画像から前記所定の指
    標と前記空間の３次元位置の計測を行う３次元計測手段
    と、 撮像の基準視点の３次元位置と前記３次元計測手段で計
    測された前記所定の指標の３次元位置から指示ベクトル
    を計算する指示ベクトル計算手段と、 前記指示ベクトル計算手段で計算された前記指示ベクト
    ルに基づいて、前記空間における前記指示ベクトルの延
    長上にある対象を認識するオブジェクト認識手段と、 を有することを特徴とする入力画像処理装置。
11. 【請求項１１】さらに、前記撮像の基準視点の３次元位
    置を前記複数の撮像ポイントからの所定の位置に決める
    基準位置指示手段を有することを特徴とする請求項１０
    記載の入力画像処理装置。
12. 【請求項１２】さらに、前記オブジェクト認識手段で認
    識した対象に基づいて、所定の処理を行う処理手段を有
    することを特徴とする請求項９乃至１１記載の入力画像
    処理装置。
13. 【請求項１３】さらに、 前記対象に対応する情報を蓄積する情報蓄積手段と、 前記対象に対応する情報を表示する表示手段と、 を備え、 前記処理手段は、前記オブジェクト認識手段で認識され
    た前記対象に対応する情報を前記情報蓄積手段から検索
    し、 前記表示手段は、前記処理手段で検索した前記対象に対
    応する情報を表示する、 ことを特徴とする請求項１２記載の入力画像処理装置。
14. 【請求項１４】入力された画像を処理する入力画像処理
    装置において、 所定の指標を画像として撮像する複数の撮像手段と、 前記複数の撮像手段を所定の間隔で所定の位置に固定す
    る手段と、 前記複数の撮像手段で撮像された画像から前記所定の指
    標の３次元位置の計測を行う３次元計測手段と、 撮像の基準視点の３次元位置と前記３次元計測手段で計
    測された前記所定の指標の３次元位置から指示ベクトル
    を計算する指示ベクトル計算手段と、 仮想空間の３次元情報を蓄積する仮想空間情報蓄積手段
    と、 所定の基準点からの位置及び方向を判定して該位置及び
    方向に対応する信号を生成するセンサ手段と、 前記センサ手段で生成された前記信号に応じて、前記仮
    想空間情報蓄積手段に蓄積されている前記３次元情報か
    ら仮想空間を生成し、前記指示ベクトルの方向に応じて
    前記仮想空間にカーソルを重ね合わせて仮想空間情報を
    生成する仮想空間処理手段と、 前記仮想空間処理手段で生成された前記仮想空間情報を
    表示する表示手段と、 を有することを特徴とする入力画像処理装置。
15. 【請求項１５】前記表示手段は、ヘッドマウントディス
    プレイであることを特徴とする請求項１４記載の入力画
    像処理装置。
16. 【請求項１６】さらに、前記所定の指標の動作を認識す
    る動作認識手段と、 前記動作認識手段で認識した前記所定の指標の動作に基
    づいて、所定の処理を行う処理手段と、 を有することを特徴とする請求項９乃至１５記載の入力
    画像処理装置。
17. 【請求項１７】前記所定の指標に取り付けられるカラー
    マーカと、 前記画像から前記カラーマーカを抽出して前記所定の指
    標を認識するカラーマーカ抽出手段と、 を有することを特徴とする請求項９乃至１６記載の入力
    画像処理装置。
18. 【請求項１８】所定の画像を反射させるステップと、 反射した画像を撮像するステップと、 撮像された前記画像から所定の指標の指し示す位置を検
    出するステップと、 検出した位置に基づいて前記所定の指標の指し示す対象
    を認識するステップと、 を有する方法をコンピュータで実行させるための入力画
    像処理プログラムを記録したコンピュータ読み取り可能
    な記録媒体。
19. 【請求項１９】相対的な位置関係が既知である複数の撮
    像ポイントから画像を撮像するステップと、 前記複数の撮像ポイントで撮像された画像から、所定の
    指標と前記画像の空間の３次元位置を計測するステップ
    と、 撮像の基準視点の３次元位置と計測された前記所定の指
    標の３次元位置から所定の指示ベクトルを計算するステ
    ップと、 前記画像の空間の３次元位置に基づいて、前記指示ベク
    トルの延長上にある所定の対象を認識するステップと、 を有する方法をコンピュータで実行させるための入力画
    像処理プログラムを記録したコンピュータ読み取り可能
    な記録媒体。
20. 【請求項２０】前記撮像の基準視点の３次元位置は、前
    記複数の撮像ポイントからの所定の位置に決められるこ
    とを特徴とする請求項１９記載の記録媒体。
21. 【請求項２１】さらに、認識した対象に基づいて、所定
    の処理を行うステップを有することを特徴とする請求項
    １８乃至２０記載の記録媒体。
22. 【請求項２２】前記所定の処理を行うステップは、認識
    された前記対象に対応する情報を検索して表示するステ
    ップである請求項２１記載の記録媒体。
23. 【請求項２３】仮想空間の３次元情報を蓄積するステッ
    プと、 相対的な位置関係が既知である複数の撮像ポイントから
    画像を撮像するステップと、 前記複数の撮像ポイントで撮像された画像から所定の指
    標の３次元位置を計測するステップと、 撮像の基準視点の３次元位置と計測された前記所定の指
    標の３次元位置から所定の指示ベクトルを計算するステ
    ップと、 所定の基準点からの位置及び方向を判定するステップ
    と、 判定された前記位置及び前記方向に基づいて、蓄積され
    ている前記仮想空間の３次元情報から仮想空間を生成し
    て表示するステップと、 前記指示ベクトルに応じて表示されている前記仮想空間
    にカーソルを重ねて表示するステップと、 を有する方法をコンピュータで実行させるための入力画
    像処理プログラムを記録したコンピュータ読み取り可能
    な記録媒体。
24. 【請求項２４】さらに、前記所定の指標の動作を認識す
    るステップと、 認識した動作に基づいて、所定の処理を行うステップ
    と、 を有することを特徴とする請求項１８乃至２３記載の記
    録媒体。
25. 【請求項２５】前記所定の指標は、カラーマーカで識別
    されることを特徴とする請求項１８乃至２４記載の記録
    媒体。