JP2000222098A - ハンドポインティング装置、指示位置表示方法及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 利用者による指示位置のふらつきに拘らず、
指示位置を表す記号の表示位置のふらつきを抑制する。 【解決手段】 利用者がディスプレイの表示面上の任意
の箇所の指示している状況を複数の方向から撮像し、撮
像によって得られた複数の画像に基づいて利用者による
指示位置を判断し、判断した指示位置にカーソルを表示
するにあたり、利用者が指示位置を移動させる動作を行
っていないときには、表示面を仮想的に多数個のグリッ
ドに分割((A)参照) したときの何れのグリッド内に指示
位置が位置しているかを判定し、指示位置を含んでいる
グリッドの中央位置にカーソルを表示させる。また、利
用者が指示位置を移動させる動作を行っているときに
は、指示位置にカーソルを表示させるか、より小面積の
グリッド((B)参照) を用い、指示位置を含んでいる小面
積グリッドの中央位置にカーソルを表示させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はハンドポインティン
グ装置、指示位置表示方法及び記録媒体に係り、特に、
認識対象者を撮像して認識対象者が指し示した位置を判
断し、指示位置を示す記号を表示させる指示位置表示方
法、該指示位置表示方法を適用可能なハンドポインティ
ング装置、及び前記指示位置表示方法に係る処理をコン
ピュータに実行させるためのプログラムが記録された記
録媒体に関する。

【０００２】

【従来の技術】従来より、所定の情報を表示するディス
プレイ、ディスプレイの近傍に到来した情報入力者（利
用者）を互いに異なる方向から撮像する撮像手段を備
え、到来した情報入力者がディスプレイ上の任意の位置
を指等によって指し示した状況を複数の撮像手段によっ
て撮像し、撮像によって得られた複数の画像に基づいて
情報入力者を認識し、情報入力者が指示したディスプレ
イ上の位置を判断し、ディスプレイ上の指示位置にカー
ソル等を表示すると共に、情報入力者が親指を上げるク
リック動作を行ったことを検出すると、ディスプレイ上
の指示位置がクリックされたと認識して所定の処理を行
うハンドポインティング入力装置が知られている（例え
ば特開平4-271423号公報、特開平 5-19957号公報、特開
平5-324181号公報等参照）。

【０００３】上記のハンドポインティング入力装置によ
れば、情報入力者がキーボードやマウス等の入力機器に
触れることなく、情報処理装置に対して各種の指示を与
えたり、各種の情報を入力することが可能となるので、
情報処理装置を利用するための操作の簡素化を実現でき
る。

【０００４】

【発明が解決しようとする課題】ところで、情報入力者
が所望の位置を指し示す動作（指示動作）は、情報入力
者が自身の腕を上げ、自身の指先や手の先端をディスプ
レイの表示面上の所望の位置を向くように空中で静止さ
せる動作であるが、この静止状態を維持するためには、
作用する重力に抗するために僅かではあるものの筋力を
要する。従って、例えば指示位置を一定の位置に維持す
るために腕や指先、手を一定の位置に静止させようとし
ても、固定物のように厳密に一定の位置に静止させるこ
とは困難であり、指先や手の位置に若干のふらつきが生
ずることが自然である。

【０００５】これに対し、従来のハンドポインティング
装置は、指示位置を表す記号（所謂カーソル）を、ディ
スプレイの表示面上の情報入力者による指示位置に表示
する構成であるので、情報入力者の指先や手の位置のふ
らつきに伴って、ディスプレイに表示されるカーソルの
位置がふらつき、利用者（情報入力者）に違和感を与え
ることがあった。

【０００６】本発明は上記事実を考慮して成されたもの
で、利用者による指示位置のふらつきに拘らず、指示位
置を表す記号の表示位置のふらつきを抑制することがで
きるハンドポインティング装置、指示位置表示方法、及
び記録媒体を得ることが目的である。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に請求項１記載の発明に係るハンドポインティング装置
は、画像を表示するための表示手段と、認識対象者を互
いに異なる複数の方向から撮像する撮像手段と、認識対
象者が特定の位置を指し示している状況を前記撮像手段
が撮像することで得られた複数の画像に基づいて、前記
画像中の前記認識対象者に相当する画像部を抽出し、認
識対象者による指示位置を判断する判断手段と、前記判
断手段によって判断された指示位置が前記表示手段の表
示面上の特定領域内に含まれている場合に、前記指示位
置を示す記号を、前記特定領域内の一定の位置に表示さ
せる表示制御手段と、を含んで構成している。

【０００８】請求項１記載の発明では、撮像手段によっ
て互いに異なる複数の方向から認識対象者（利用者）を
撮像する。この撮像手段は、ビデオカメラ等から成る複
数の撮像装置によって認識対象者を複数の方向から撮像
するよう構成してもよいし、平面ミラー等の光反射手段
を設け、単一の撮像装置により認識対象者を直接撮像す
ると共に、平面ミラーに映っている認識対象者の虚像を
撮像することで、認識対象者を複数の方向から撮像する
よう構成することも可能である。

【０００９】また判断手段は、認識対象者が特定の位置
を指し示している状況を、撮像手段が互いに異なる複数
の方向から撮像することで得られた複数の画像に基づい
て、画像中の認識対象者に相当する画像部を抽出し、認
識対象者による指示位置を判断する。従って、認識対象
者が、例えば表示手段の表示面上の特定の位置を指し示
す動作を行えば、認識対象者による指示位置が判断され
ることになる。

【００１０】認識対象者による指示位置は、具体的に
は、例えば認識対象者が腕を動かすことで位置が変化す
る特徴点及び認識対象者が腕を動かしても位置が変化し
ない基準点の３次元座標を求め、特徴点及び基準点の３
次元座標に基づいて判断することができる。なお、特徴
点としては、例えば認識対象者の手や指等の先端、或い
は認識対象者が把持している指示器の先端等に相当する
点を用いることができ、基準点としては、例えば認識対
象者の胴体部（例えば胸部や腕の付け根等）に相当する
点を用いることができる。

【００１１】そして、表示制御手段は、判断手段によっ
て判断された指示位置が表示手段の表示面上の特定領域
内に含まれている場合に、指示位置を示す記号を、特定
領域内の一定の位置に表示させる。これにより、本発明
に係るハンドポインティング装置の利用者（すなわち表
示手段の表示面上の特定の位置を指し示す動作を行った
認識対象者）による指示位置がふらついていたとして
も、指示位置が特定領域内に含まれている間は、指示位
置を示す記号が、表示手段の表示面上の特定領域内の一
定の位置に表示されるので、利用者による指示位置のふ
らつきに拘らず、指示位置を表す記号の表示位置のふら
つきを抑制することができる。

【００１２】請求項２記載の発明は、請求項１の発明に
おいて、表示制御手段は、判断手段によって判断された
指示位置が、表示手段の表示面上を複数の領域に分割し
たときの何れの領域内に含まれるかを判断し、前記指示
位置を示す記号を、前記指示位置が含まれると判断した
特定領域内の一定の位置に表示させることを特徴として
いる。

【００１３】請求項２記載の発明では、判断手段によっ
て判断された指示位置が、表示手段の表示面上を複数の
領域に分割したときの何れの領域内に含まれるかを判断
しており、表示手段の表示面上の各位置が前記複数の領
域の何れかに含まれることになる。そして、指示位置を
示す記号を、指示位置が含まれると判断した特定領域内
の一定の位置に表示させるので、指示位置が表示手段の
表示面上の何れの位置に位置しているときにも、指示位
置を表す記号の表示位置のふらつきを抑制することがで
きる。

【００１４】なお、請求項２の発明において、表示手段
の表示面上を複数の領域に分割したときの各領域の境界
に相当する位置は、予め固定的に定めてもよいが、これ
に代えて、判断手段によって最初に判断された指示位置
を基準として各領域の境界に相当する位置を定めてもよ
い。

【００１５】また、請求項２の発明では表示手段の表示
面上の各位置が複数の領域の何れかに含まれるようにし
ているが、表示手段の表示面への表示内容等によって
は、表示手段の表示面上の特定の一部分（例えば表示面
にアイコン等を表示する場合のアイコン等の表示位置に
対応する部分等）のみを特定領域としてもよい。この態
様では、指示位置が特定領域内に含まれているときにの
み、指示位置を表す記号の表示位置のふらつきが抑制さ
れる。この態様においても、例えばアイコン等の表示位
置が変更された場合には、該変更に応じて特定領域の位
置を変更するようにしてもよい。

【００１６】ところで、請求項２の発明のように表示手
段の表示面上の各位置を複数の領域の何れかに含まれる
ようにした場合、認識対象者が指示位置を移動させる動
作を意識的に行ったときには、指示位置を表す記号の表
示位置が段階的に変化し、指示位置を表す記号が表示面
上をとびとびに移動する、という不自然な表示となるの
で、利用者に違和感を与える可能性がある。このため請
求項３記載の発明は、請求項１の発明において、表示制
御手段は、認識対象者が指示位置を移動させる動作をし
ていると判断した場合には、前記指示位置を示す記号
を、前記表示面上の前記指示位置又はその近傍に表示さ
せることを特徴としている。

【００１７】請求項３記載の発明では、認識対象者が指
示位置を移動させる動作をしていると判断した場合に、
指示位置を示す記号を、表示面上の指示位置又はその近
傍に表示させるので、認識対象者による指示位置と、指
示位置を示す記号の表示位置と、が略一致することにな
り、認識対象者が指示位置を移動させる動作を意識的に
行った場合には、指示位置を表す記号の表示位置が連続
的に変化し、指示位置を表す記号が表示面上を滑らかに
移動することになる。従って、指示位置を移動させる動
作を行った認識対象者（利用者）に違和感を与えること
を防止することができる。

【００１８】なお、指示位置を移動させる動作をしてい
るか否かの判断は、例えば指示位置の移動量や単位時間
当りの移動量（移動速度）を閾値と比較する等によって
行うことができる。また、単位時間当りの指示位置の移
動量に加え、或る時間内における指示位置の移動方向の
ばらつきの小ささ等も併せて検知して、上記判断を行う
ようにしてもよい。

【００１９】請求項４記載の発明は、請求項２の発明に
おいて、表示制御手段は、認識対象者が指示位置を移動
させる動作をしていると判断した場合には、判断手段に
よって判断された指示位置が、前記表示面上を一定かつ
所定値以下の面積の多数の小領域に分割したときの何れ
の小領域内に含まれるかを判断し、前記指示位置を示す
記号を、前記指示位置が含まれると判断した特定小領域
内の一定の位置に表示させることを特徴としている。

【００２０】請求項４記載の発明では、認識対象者が指
示位置を移動させる動作をしていると判断した場合に、
判断された指示位置が、表示面上を一定かつ所定値以下
の面積の多数の小領域に分割したときの何れの小領域内
に含まれるかを判断し、指示位置を示す記号を、指示位
置が含まれると判断した特定小領域内の一定の位置に表
示させるので、認識対象者が指示位置を移動させる動作
を意識的に行った場合には、指示位置を表す記号の表示
位置は段階的に変化し、指示位置を表す記号が表示面上
をとびとびに移動することになる。しかし請求項４の発
明では、小領域の面積を所定値以下としているので、認
識対象者が指示位置を移動させる動作を意識的に行った
場合には、記号の表示位置の変化ステップ（表示面上で
の記号の単位移動量）が小さくなる。従って、指示位置
を移動させる動作を行った認識対象者（利用者）に違和
感を与えることを防止することができる。

【００２１】請求項５記載の発明に係る指示位置表示方
法は、認識対象者が特定の位置を指し示している状況
を、互いに異なる複数の方向から撮像することで得られ
た複数の画像に基づいて、前記画像中の前記認識対象者
に相当する画像部を抽出して認識対象者による指示位置
を判断し、判断した指示位置が、画像を表示するための
表示手段の表示面上の特定領域内に含まれている場合
に、前記指示位置を示す記号を、前記特定領域内の一定
の位置に表示させるので、請求項１の発明と同様に、利
用者による指示位置のふらつきに拘らず、指示位置を表
す記号の表示位置のふらつきを抑制することができる。

【００２２】請求項６記載の発明に係る記録媒体は、認
識対象者が特定の位置を指し示している状況を、互いに
異なる複数の方向から撮像することで得られた複数の画
像に基づいて、前記画像中の前記認識対象者に相当する
画像部を抽出して認識対象者による指示位置を判断する
第１のステップ、及び、判断した指示位置が、画像を表
示するための表示手段の表示面上の特定領域内に含まれ
ている場合に、前記指示位置を示す記号を、前記特定領
域内の一定の位置に表示させる第２のステップを含む処
理をコンピュータに実行させるためのプログラムが記録
されている。

【００２３】請求項６記載の発明に係る記録媒体には、
上記の第１のステップ及び第２のステップを含む処理、
すなわち請求項５の発明に係る指示位置表示方法に係る
処理をコンピュータに実行させるためのプログラムが記
録されているので、コンピュータが前記記録媒体に記録
されているプログラムを読み出して実行することによ
り、請求項１の発明及び請求項５の発明と同様に、利用
者による指示位置のふらつきに拘らず、指示位置を表す
記号の表示位置のふらつきを抑制することができる。

【００２４】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態の一例を詳細に説明する。図１に示すように、本
発明に係る認識対象者としての情報入力者１０が到来す
る箇所の壁面には大画面ディスプレイ１２が埋め込まれ
ている。なお、ディスプレイ１２としては液晶ディスプ
レイ（ＬＣＤ）やプラズマディスプレイ、ブラウン管、
光ファイバディスプレイ等の周知の表示手段を適用でき
る。

【００２５】ディスプレイ１２はパーソナルコンピュー
タ等から成る情報処理装置１４に接続されており（図２
参照）、情報処理装置１４により、各種の情報が表示面
上に図形、表、文字、画像等の種々の表示形態で表示さ
れる。本実施形態において、情報入力者１０は、ディス
プレイ１２の前方の図１に示した箇所（情報入力空間）
に到来し、ディスプレイ１２の表示面上の各種情報が表
示されている位置を指し示すと共に、クリック動作（詳
細は後述）を行うことにより、情報処理装置１４に対し
て各種の指示を与えたり各種の処理を実行させる。

【００２６】図２に示すように、情報処理装置１４に
は、本実施形態に係るハンドポインティング入力装置２
０のコントローラ２２が接続されている。なお、上述し
たディスプレイ１２、情報処理装置１４、及びハンドポ
インティング入力装置２０は、本発明に係る指示位置表
示方法が適用された本発明に係るハンドポインティング
装置に対応している。

【００２７】コントローラ２２は、ＣＰＵ２２Ａ、ＲＯ
Ｍ２２Ｂ、ＲＡＭ２２Ｃ、入出力インタフェース２２Ｄ
を備えており、これらがバスを介して互いに接続されて
構成されている。入出力インタフェース２２Ｄには情報
処理装置１４が接続されていると共に、記憶内容を書換
え可能な不揮発性の記憶媒体（例えば磁気ディスク）を
内蔵した記憶装置２４、各種の情報を表示するためのデ
ィスプレイ２６、オペレータが各種の指示やデータを入
力するためのキーボード２８、照明制御装置３０、撮像
制御装置３４、マーク板駆動装置３８、及びＣＤ−ＲＯ
Ｍドライバ４０が各々接続されている。

【００２８】コントローラ２２を本発明に係るハンドポ
インティング装置として機能させるためのプログラム
（以下、単に「プログラム」という）は、例えばＣＤ−
ＲＯＭドライバ４０に装填されるＣＤ−ＲＯＭ４２に記
憶することができる。プログラムの実行が指示される
と、ＣＤ−ＲＯＭ４２からプログラムが読み出され、読
み出されたプログラムがコントローラ２２によって実行
される。これにより、コントローラ２２を含む各装置は
ハンドポインティング装置として機能する。なお、上記
態様において、ＣＤ−ＲＯＭ４２は請求項６に記載の記
録媒体に対応している。

【００２９】照明制御装置３０には、近赤外域の波長の
光をビーム状に射出する複数の近赤外光照明装置３２
Ａ、３２Ｂが接続されている。図１に示すように、近赤
外光照明装置３２Ａ、３２Ｂは、情報入力空間の上方の
互いに異なる箇所に配設されており、情報入力空間に到
来した情報入力者１０を、互いに異なる方向から照明す
るように照射範囲が調整されている。照明制御装置３０
は照明装置３２Ａ、３２Ｂの点灯・消灯を制御する。

【００３０】撮像制御装置３４には、情報入力空間の上
方の互いに異なる箇所に配設された（図１参照）複数の
ビデオカメラ３６Ａ、３６Ｂが接続されている。ビデオ
カメラ３６Ａ、３６Ｂは、図示は省略するが、近赤外光
に感度を有するＣＣＤ等から成るエリアセンサを備えて
いると共に、入射光をエリアセンサの受光面に結像させ
る結像レンズの光入射側に、近赤外域の波長の光のみを
透過するフィルタが設けられている。なお、撮像手段
（カメラ）として遠赤外線カメラを用い、人間（情報入
力者）の体温による遠赤外線と、人間の体温と所定値以
上離れた温度（体温よりも高い温度であっても低い温度
であってもよい）に設定又は温度調整された床から放射
される遠赤外光と、によって人間と背景とを弁別する方
法を用いても良い。この場合は照明装置３２Ａ、３２Ｂ
及び照明制御装置３０を省略することも可能となる。

【００３１】図３に示すように、ビデオカメラ３６Ａ、
３６Ｂは情報入力空間に到来した情報入力者１０を互い
に異なる方向から撮像するように向きが調整されてい
る。また、ビデオカメラ３６Ａは、情報入力空間に到来
した情報入力者１０が撮像範囲内に入り、かつ照明装置
３２Ａから射出された光が結像レンズに直接入射せず、
かつ撮像範囲の中心が、情報入力空間内において照明装
置３２Ａによる照明範囲の中心と床面から所定高さで交
差するように（照明装置３２Ａによる床面上の照明範囲
が撮像範囲から外れるように）、向き（撮像範囲）が調
整されている。同様にビデオカメラ３６Ｂは、情報入力
空間に到来した情報入力者１０が撮像範囲内に入り、か
つ照明装置３２Ｂから射出された光が結像レンズに直接
入射せず、かつ撮像範囲の中心が、情報入力空間内にお
いて照明装置３２Ｂによる照明範囲の中心と床面から所
定高さで交差するように（照明装置３２Ａによる床面上
の照明範囲が撮像範囲から外れるように）、向き（撮像
範囲）が調整されている。

【００３２】なお、ビデオカメラ３６Ａ、３６Ｂ、撮像
制御装置３４、照明制御装置３０、及び近赤外光照明装
置３２Ａ、３２Ｂは本発明の撮像手段に対応している。

【００３３】また図４に示すように、ハンドポインティ
ング入力装置２０は、情報入力空間の近傍に配設された
マーク板４０を備えている。マーク板４０は、透明な平
板に多数のマーク４０Ａがマトリクス状に等間隔で記録
されて構成されており、マーク４０Ａの配列方向に直交
する方向（図４の矢印Ａ方向）に沿って情報入力空間を
横切るように移動可能とされている。なおマーク４０Ａ
は、画像上での認識が容易な色（例えば赤色）に着色さ
れている。入出力インタフェース２２Ｄに接続されたマ
ーク板駆動装置３８は、コントローラ２２からの指示に
応じてマーク板４０を図４の矢印Ａ方向に沿って移動さ
せる。

【００３４】次に本実施形態の作用として、まず、ハン
ドポインティング入力装置２０が設置された際にコント
ローラ２２によって実行される格子点位置情報初期設定
処理について、図５のフローチャートを参照して説明す
る。

【００３５】ステップ１００では、マーク板駆動装置３
８により、マーク板４０を所定位置（マーク板４０の移
動範囲の端部に相当する位置）に移動させる。次のステ
ップ１０２では、現在のマーク板４０の位置において、
マーク板４０に記録されている多数のマーク４０Ａの情
報入力空間内での３次元座標（ｘ，ｙ，ｚ）を各々演算
する。ステップ１０４では撮像制御装置３４を介し、ビ
デオカメラ３６Ａ、３６Ｂによって情報入力空間を撮像
させ、次のステップ１０６では、ビデオカメラ３６Ａが
情報入力空間を撮像することによって得られた画像（以
下画像Ａと称する）を撮像制御装置３４を介して取り込
む。

【００３６】ステップ１０８では、ステップ１０６で取
り込んだ画像Ａ中に存在するマーク４０Ａの認識（抽
出）を行い、次のステップ１１０では認識した全てのマ
ーク４０Ａについて、画像Ａ上での位置（Ｘ_A，Ｙ_A）を
演算する。そしてステップ１１２では、画像Ａ中に存在
する全てのマーク４０Ａについて、情報入力空間内での
３次元座標（ｘ，ｙ，ｚ）と、画像Ａ上での位置
（Ｘ_A，Ｙ_A）とを対応させ、ビデオカメラ３６Ａの格子
点位置情報として記憶装置２４に記憶させる。

【００３７】次のステップ１１４〜１２０では、上記の
ステップ１０６〜１１２と同様にしてビデオカメラ３６
Ｂに対する処理を行う。すなわち、ステップ１１４では
ビデオカメラ３６Ｂが情報入力空間を撮像することによ
って得られた画像（以下画像Ｂと称する）を撮像制御装
置３４を介して取り込み、ステップ１１６ではステップ
１１４で取り込んだ画像Ｂ中に存在するマーク４０Ａの
認識（抽出）を行い、次のステップ１１８では認識した
全てのマーク４０Ａについて、画像Ｂ上での位置
（Ｘ_B，Ｙ_B）を演算する。そしてステップ１２０では、
画像Ｂ中に存在する全てのマーク４０Ａについて、情報
入力空間内での３次元座標（ｘ，ｙ，ｚ）と、画像Ｂ上
での位置（Ｘ_B，Ｙ_B）とを対応させ、ビデオカメラ３６
Ｂの格子点位置情報として記憶装置２４に記憶させる。

【００３８】次のステップ１２２では、マーク板４０が
最終位置（マーク板４０の移動範囲のうちステップ１０
０における所定位置と反対側の端部に相当する位置）迄
移動したか否か判定する。ステップ１２２の判定が否定
された場合にはステップ１２４へ移行し、マーク板駆動
装置３８により、マーク板４０を所定方向に一定距離
（詳しくは、マーク板４０上におけるマーク４０Ａの間
隔に一致する距離）だけ移動させた後にステップ１０２
に戻る。

【００３９】上記のように、マーク板４０が最終位置に
移動する迄、ステップ１０２〜１２４が繰り返されるこ
とにより、マーク板４０に記録されている多数のマーク
４０Ａは、情報入力空間内に一定間隔で格子状に並ぶ多
数の格子点に対応する位置へ移動され、ビデオカメラ３
６Ａの格子点位置情報として、各格子点の情報入力空間
内での３次元座標と画像Ａ上での位置とが対応されて記
憶装置２４に記憶されると共に、ビデオカメラ３６Ｂの
格子点位置情報として、各格子点の情報入力空間内での
３次元座標と画像Ｂ上での位置とが対応されて記憶装置
２４に記憶されることになる。

【００４０】なお、マーク板４０及びマーク板駆動装置
３８は、上記の格子点位置情報初期設定処理においての
み用いられ、後述する処理では用いないので、上記の処
理を実行した後に、マーク板４０及びマーク板駆動装置
３８を撤去するようにしてもよい。

【００４１】またマーク４０Ａが記録されたマーク板４
０に代えて、透明な平板にＬＥＤ等の多数の発光素子が
マトリクス状に配設されたマーク板を用い、マーク板を
一定距離ずつステップ移動させると共に、ステップ移動
における各位置で多数の発光素子を順に点灯させること
を繰り返すことによって上記の処理を行うようにしても
よい。また発光素子が取付けられたハンドを備え、該ハ
ンドを情報入力空間内の任意の位置に移動可能とされた
ロボットアーム装置を用い、ロボットアーム装置によっ
て各格子点に対応する各位置に発光素子を移動させて点
灯させることを繰り返すことによって上記処理を行うこ
とも可能である。

【００４２】次に図６のフローチャートを参照し、上記
の格子点位置情報初期設定処理が行われた後にコントロ
ーラ２２で定常的に実行される指示判断処理について説
明する。なお、この指示判断処理は情報入力空間に到来
した情報入力者１０からの指示の判断等を行うものであ
る。

【００４３】ステップ１５０では、ビデオカメラ３６Ａ
から出力される画像Ａを表す画像データ、及びビデオカ
メラ３６Ｂから出力される画像Ｂを表す画像データを各
々取り込み、取り込んだ画像Ａ及び画像Ｂの画像データ
に基づいて、情報入力空間内に情報入力者１０が到来し
たか（存在しているか）否か判定し、判定が肯定される
迄待機する。

【００４４】コントローラ２２が指示判断処理を実行し
ているときには、図８に示すように、照明制御装置３０
は照明装置３２Ａ、３２Ｂを交互に点灯させ、撮像制御
装置３４は、ビデオカメラ３６Ａによる情報入力空間の
撮像が照明装置３２Ａが点灯しているときに行われ、ビ
デオカメラ３６Ｂによる情報入力空間の撮像が照明装置
３２Ｂが点灯しているときに行われるように制御する。

【００４５】ビデオカメラ３６Ａの撮像範囲は照明装置
３２Ａによる床面上の照明範囲が撮像範囲から外れるよ
うに調整されているので、照明装置３２Ａによる床面上
の照明範囲内に情報入力者１０の荷物やゴミ等の非認識
対象物５０Ａ（図３参照）が存在していたとしても、こ
の非認識対象物５０Ａがビデオカメラ３６Ａの撮像範囲
に入ることはない。また、床面上のビデオカメラ３６Ａ
によって撮像される範囲内に非認識対象物５０Ｂ（図３
参照）が存在していたとしても、非認識対象物５０Ｂは
照明装置３２Ａによる照明範囲から外れているので、画
像Ａ中に存在する非認識対象物５０Ｂに相当する画像部
の輝度は非常に低くなる。

【００４６】同様に、ビデオカメラ３６Ｂの撮像範囲は
照明装置３２Ｂによる床面上の照明範囲が撮像範囲から
外れるように調整されているので、照明装置３２Ｂによ
って照明される床面上に非認識対象物５０Ｂが存在して
いたとしても、この非認識対象物５０Ｂがビデオカメラ
３６Ｂの撮像範囲に入ることはない。また、床面上のビ
デオカメラ３６Ｂによって撮像される範囲内に非認識対
象物５０Ａが存在していたとしても、画像Ｂ中に存在す
る非認識対象物５０Ｂに相当する画像部の輝度は非常に
低くなる。

【００４７】従って、先のステップ１５０の判定は、例
えば画像Ａ及び画像Ｂ中に、高輝度でかつ所定値以上の
面積の画像部が存在しているか否か等の極めて簡単な判
断処理で済む。ステップ１５０の判定が否定された場合
には、判定が肯定される迄待機する。

【００４８】情報入力空間に情報入力者１０が到来する
と、ステップ１５０の判定が肯定されてステップ１５２
へ移行し、各種のフラグや処理モード等の初期設定を行
う。次のステップ１５４では、情報入力空間から情報入
力者１０が退去したか否か判定する。情報入力空間から
情報入力者１０が退去した場合には、前記判定が肯定さ
れてステップ１５０に戻り、情報入力空間に再度情報入
力者１０が到来する迄待機するが、前記判定が否定され
た場合には、ステップ１５６で基準点・特徴点座標演算
処理を行う。以下、この基準点・特徴点座標演算処理に
ついて、図７のフローチャートを参照して説明する。

【００４９】ステップ２１０ではビデオカメラ３６Ａ、
３６Ｂから画像Ａ及び画像Ｂのデータを各々取り込み、
次のステップ２１２では取り込んだ画像Ａ及び画像Ｂか
ら、情報入力者１０の全体像に相当する画像部を各々抽
出する。この情報入力者１０の全体像に相当する画像部
についても、高輝度の画素から成る所定値以上の面積の
連続した領域を判断することで容易に抽出することがで
きる。

【００５０】ステップ２１４では、情報入力者１０の全
体像に相当する画像部に基づき、情報入力者１０の身長
を求める。図９に示すように、点Ｏに位置しているビデ
オカメラ３６の結像レンズの焦点距離をｆ、点Ｏを通る
鉛直線と情報入力空間の床面との交点Ｑと点Ｏとの距離
をＨ、点Ｑと情報入力者１０が立っている床面上の点Ｐ
との距離をＲ、情報入力者１０の頭頂部に相当する点
Ｐ’と点Ｐとの距離ｈを情報入力者１０の身長とする。
また、点ＰＯＱの成す角度をθ、点Ｐ’ＯＱの成す角度
をθ’、ビデオカメラ３６のエリアセンサの受光面に結
像される情報入力者１０の像の長さをｈ’、点Ｐに対応
する受光面上の結像点を点ｐ、点Ｐ’に対応する受光面
上の結像点を点ｐ’、受光面の中心ｏと点ｐとの距離を
ｒ、受光面の中心ｏと点ｐ’との距離をｒ’とすると、
角度θ、θ’、距離ｒ、ｒ’は次の（１）〜（４）式か
ら求めることができる。

【００５１】 θ ＝ｔａｎ^-1（Ｒ／Ｈ） …（１） θ’＝ｔａｎ^-1｛Ｒ／（Ｈ−ｈ）｝ …（２） ｒ ＝ｆθ …（３） ｒ’＝ｆθ’ …（４） 従って、情報入力者１０の身長ｈ及び距離Ｒは次の
（５）式及び（６）式によって求めることができる。

【００５２】 ｈ＝Ｈ｛１−ｔａｎ（ｒ／ｆ）／ｔａｎ（ｒ’／ｆ）｝ …（５） Ｒ＝Ｈｔａｎ（ｒ／ｆ） …（６） 距離Ｈ及び焦点距離ｆは既知であるので、ステップ２１
４ではビデオカメラ３６Ａ、３６Ｂの撮像によって得ら
れた画像Ａ及び画像Ｂの何れかから距離ｒ、ｒ’を求
め、これを（５）式に代入することにより情報入力者１
０の身長ｈを求めることができる。また、ステップ２１
４では、画像Ａ及び画像Ｂの各々から距離ｒを求め、こ
れを（６）式に各々代入して距離Ｒを各々求めることに
より、情報入力者１０の床面上の位置（２次元座標）を
求める。

【００５３】次のステップ２１６では、ステップ２１４
で求めた情報入力者１０の身長ｈ及び情報入力者１０の
床面上の位置に基づき、情報入力者１０の基準点Ｐ₀の
３次元座標（ｘ₀，ｙ₀，ｚ₀）を決定する。なお基準点
Ｐ₀としては、例えば情報入力者１０の背中に相当する
点（図１２に示す点Ｐ₀）を用いることができる。この
場合、情報入力者１０の身長ｈに基づいて情報入力者１
０の背中に相当する基準点Ｐ₀の床面からの高さ（例え
ばｚ₀の値）を割り出し、情報入力者１０の床面上の位
置（平面座標）を基準点Ｐ₀の平面座標（例えばｘ₀、ｙ
₀の値）として設定することにより、基準点Ｐ₀の３次元
座標を決定することができる。なお、情報入力者１０の
背中に相当する点に代えて、情報入力者１０の胸部に相
当する点や、情報入力者１０の腕の付け根に相当する点
等を用いてもよい。

【００５４】ステップ２１８では、画像Ａ及び画像Ｂ上
での情報入力者１０の全体像に相当する画像部の形状に
基づいて、情報入力者１０が指等によりディスプレイ１
２側を指し示す動作（指示動作）を行っているか否か判
定する。情報入力者１０から見たディスプレイ１２の方
向は既知であるので、ステップ２１８の判定は、例えば
情報入力者１０の全体像に相当する画像部において、情
報入力者１０の手に相当すると判断できる高さ位置に、
情報入力者１０から見たディスプレイ１２の方向に向か
って突出している部分が有るか否かを判断することで実
現できる。

【００５５】これにより、情報入力者１０が、図１０
（Ａ）に示す直立状態から、図１０（Ｂ）又は（Ｃ）に
示すように腕を上げて手をディスプレイ１２側に向けれ
ば、情報入力者１０が指示動作を行っていると判定され
ることになる。ステップ２１８の判定が否定された場合
には、特徴点の３次元座標の演算（詳細は後述）を行う
ことなく基準点・特徴点座標演算処理を終了する。

【００５６】情報入力者１０が指示動作を行っている場
合には、ステップ２１８の判定が肯定されてステップ２
２０へ移行する。ステップ２２０では、ビデオカメラ３
６Ａから取り込んだ画像Ａを表す画像データに基づい
て、画像Ａ中に存在する情報入力者１０の特徴点Ｐ_Xを
抽出し、画像Ａ上での特徴点Ｐ_Xの位置（Ｘ_A，Ｙ_A）を
演算する。情報入力者１０の特徴点Ｐ_Xとしては、ディ
スプレイ１２側を指し示す動作を行っている指の先端に
相当する点等を用いることができる。この場合、情報入
力者１０の全体像を表す画像部のうち、情報入力者１０
の手に相当すると判断できる高さ位置に、ディスプレイ
１２の方向に向かって突出している部分の先端の位置
を、特徴点Ｐ_Xの位置として演算することができる。

【００５７】これにより、ビデオカメラ３６Ａによって
情報入力者１０の手が図１１（Ａ）に示すように撮像さ
れた場合、特徴点Ｐ_Xの位置として、図１１（Ｂ）に示
す特徴点Ｐ_Xの座標（Ｘ_A，Ｙ_A）が演算されることにな
る。

【００５８】ステップ２２２では、記憶装置２４に記憶
されているビデオカメラ３６Ａの格子点位置情報に基づ
き、画像Ａ上での位置が（Ｘ_A±ｄＸ，Ｙ_A±ｄＹ）の範
囲（図１１（Ｂ）にハッチングで囲んだ範囲を参照）に
入る格子点を全て検索する。なお、このｄＸ及びｄＹの
大きさは、格子点の間隔（マーク４０Ａの間隔）に基づ
き、少なくとも１個以上の格子点が抽出されるように定
められている。

【００５９】また、本実施形態ではビデオカメラの結像
レンズとして広角レンズを用いており、仮にｄＸ及びｄ
Ｙを一定とすると、ビデオカメラと格子点との距離が大
きくなるに従って多くの格子点が（Ｘ_A±ｄＸ，Ｙ_A±ｄ
Ｙ）の範囲に入り、後述する特徴点Ｐ_Xの３次元座標の
演算の精度の低下に繋がる。このため、ｄＸ及びｄＹ
は、３次元座標上でのビデオカメラからの距離が離れる
に従って値が小さくなるように設定される。従って、３
次元座標上での（Ｘ_A±ｄＸ，Ｙ_A±ｄＹ）に相当する範
囲は、底面がビデオカメラ側に位置している四角錐状と
なる。

【００６０】ステップ２２４では、先のステップ２２０
と同様に、ビデオカメラ３６Ｂから取り込んだ画像Ｂを
表す画像データに基づいて、画像Ｂ中に存在する情報入
力者１０の特徴点Ｐ_Xを抽出し、画像Ｂ上での特徴点Ｐ_X
の位置（Ｘ_B，Ｙ_B）を演算する。ステップ２２６では、
先のステップ２２２と同様に、記憶装置２４に記憶され
ているビデオカメラ３６Ｂの格子点位置情報に基づき、
画像Ｂ上での位置が（Ｘ_B±ｄＸ，Ｙ_B±ｄＹ）の範囲に
入る格子点を全て検索する。

【００６１】次のステップ２２８では、画像Ａ及び画像
Ｂから共通に抽出した格子点を判定する。これにより、
情報入力空間内で特徴点Ｐ_Xに近接した位置に存在して
いる格子点のみが複数抽出されることになる。ステップ
２３０では、画像Ａ及び画像Ｂから共通に抽出した格子
点の３次元座標を、格子点位置情報から取り込む。

【００６２】本実施形態では、後述するように特徴点Ｐ
_Xの３次元座標を情報入力空間内で特徴点Ｐ_Xに近接した
位置に存在している複数の格子点の３次元座標から内挿
によって演算する（具体的には、前記複数の格子点の３
次元座標の座標値の重み付き平均により特徴点Ｐ_Xの３
次元座標の座標値を求める）。このため、特徴点Ｐ_Xの
３次元座標の演算に先立ち、次のステップ２３２では、
画像Ａ及び画像Ｂから共通に抽出した各格子点の画像Ａ
及び画像Ｂ上での位置、画像Ａ上での特徴点Ｐ _Xの位置
（Ｘ_A，Ｙ_A）、画像Ｂ上での特徴点Ｐ_Xの位置（Ｘ_B，Ｙ
_B）に基づいて、画像Ａ及び画像Ｂから共通に抽出した
各格子点の３次元座標からの内挿の割合（各格子点の３
次元座標の座標値に対する重み）を決定する。この内挿
の割合は、例えば画像Ａ及び画像Ｂ上で特徴点Ｐ_Xと近
接した位置に存在している格子点の３次元座標の座標値
の重みが大きくなるように決定することができる。

【００６３】そしてステップ２３４では、画像Ａ及び画
像Ｂから共通に抽出した格子点の３次元座標、及びステ
ップ２３２で決定した内挿の割合に基づいて、特徴点Ｐ
_Xの３次元座標（Ｘ_X，Ｙ_X，Ｚ_X）を演算する。上記のよ
うにして特徴点Ｐ_Xの３次元座標を演算すると基準点・
特徴点座標演算処理を終了し、指示判断処理（図６）の
ステップ１５８へ移行する。なお、上記の基準点・特徴
点座標演算処理は繰り返し実行されるので、該処理によ
って演算される基準点Ｐ₀及び特徴点Ｐ_Xの３次元座標の
値は、情報入力者１０の姿勢や動作の変化に応じて逐次
更新されることになる。

【００６４】ステップ１５８では、先に説明した基準点
・特徴点座標演算処理（図７）のステップ２１８の判定
結果に基づき、情報入力者１０が指示動作を行っている
か否かを判定する。なお、基準点・特徴点座標演算処理
では、情報入力者１０が指示動作を行っている場合（ス
テップ２１８の判定が肯定された場合）にのみ特徴点Ｐ
_Xの３次元座標を演算するので、ステップ１５８の判定
は、例えば特徴点Ｐ_Xの３次元座標が演算されたか否か
を判断することで行うことができる。この判定が否定さ
れた場合にはステップ１５４に戻り、情報入力空間内に
情報入力者１０が存在している間はステップ１５４〜ス
テップ１５８を繰り返す。

【００６５】一方、ステップ１５８の判定が肯定された
場合にはステップ１６０へ移行し、先の基準点・特徴点
座標演算処理で演算された基準点Ｐ₀及び特徴点Ｐ_Xの３
次元座標に基づき、情報入力者１０が指し示している方
向として、上記の基準点Ｐ₀と特徴点Ｐ_Xとを結ぶ仮想線
（図１２の仮想線５４参照）の延びる方向を求め、情報
入力者１０が指し示している位置（指示位置）として、
ディスプレイ１２の表示面を含む平面と前記仮想線の交
点（図１２の点Ｓ参照）の座標（平面座標）を演算す
る。このように、ステップ１６０は先に説明した基準点
・特徴点座標演算処理と共に、本発明の判断手段に対応
している。

【００６６】次のステップ１６２では、ステップ１６０
で演算した指示位置の座標に基づいて、情報入力者１０
がディスプレイ１２の表示面内を指し示しているか否か
判定する。ステップ１６２の判定が否定された場合には
ステップ１５４に戻る。一方、ステップ１６２の判定が
肯定された場合にはステップ１６４へ移行し、先のステ
ップ１６０で演算した情報入力者１０による指示位置の
座標を、現時刻と対応させてＲＡＭ２２Ｃに記憶する。

【００６７】次のステップ１６６では、ステップ１６０
で今回演算した指示位置の座標（現在の指示位置の座
標）を、ステップ１６０で前回演算した指示位置の座標
と比較し、情報入力者１０による指示位置に変化が有っ
たか否か判定する。このステップ１６６の判定は、現在
の指示位置の座標が前回演算した指示位置の座標と一致
していた場合に否定されると共に、指示位置の座標を前
回演算したときに情報入力者１０がディスプレイ１２の
表示面内を指し示していなかった場合にも無条件で否定
される。ステップ１６６の判定が否定された場合には、
情報入力者１０が指示位置を移動させる動作を行ってい
ないと判断できるのでステップ１６８へ移行する。

【００６８】また、指示位置の座標を前回演算したとき
にも情報入力者１０が指示動作を行っており、かつ現在
の指示位置の座標が前回の指示位置の座標と不一致の場
合には、ステップ１６６の判定が肯定されてステップ１
７２へ移行し、指示位置の座標を前回演算したときから
の指示位置の移動量が所定値以上か否か判定する。ステ
ップ１７２の判定が否定された場合には、指示位置は移
動しているものの、その移動量は所定値未満であり（情
報入力者１０が指示動作を行っている間はステップ１６
０以降が繰り返し実行されるので、指示位置の移動速度
も一定値未満である）、情報入力者１０が指示位置を移
動させる動作を行っていないと判断できるのでステップ
１６８へ移行する。

【００６９】本実施形態では、例として図１３（Ａ）に
破線で示すように、所定面積の矩形領域（以下「グリッ
ド」という）を単位として、ディスプレイ１２の表示面
を仮想的に多数個のグリッドに分割したときの、それぞ
れのグリッドの境界位置、及び各グリッドの中央位置
（図１３（Ａ）に「・」で示す位置）の座標をデータと
して予め記憶している。なお、図１３（Ａ）に示す多数
個のグリッド（第１のグリッド）は請求項２に記載の複
数の領域に対応している。ステップ１６８では、現在の
指示位置の座標をグリッドの境界位置の座標と比較し、
現在の指示位置が、多数個のグリッドのうちの何れのグ
リッド内に位置している（含まれている）かを判定す
る。

【００７０】そして、次のステップ１７０では、ステッ
プ１６８で現在の指示位置を含んでいると判定したグリ
ッド（本発明の特定領域に対応）の中央位置（図１３
（Ａ）に「・」で示す位置）の座標を、カーソルを表示
すべき位置の座標として情報処理装置１４へ出力し、カ
ーソル（本発明に係る指示位置を示す記号）の表示を指
示する。これにより、情報処理装置１４は、ディスプレ
イ１２の表示面上の指示された位置（現在の指示位置を
含んでいるグリッドの中央に相当する位置）にカーソル
を表示させる。上記のステップ１６８、１７０は本発明
の表示制御手段（より詳しくは請求項２に記載の表示制
御手段）に対応している。

【００７１】このように、情報入力者１０が単に指示動
作を行っているとき（指示位置を移動させる動作を行っ
ていないとき）には、現在の指示位置を含んでいるグリ
ッドの中央位置にカーソルを表示させるので、情報入力
者１０による指示位置がふらついていたとしても、指示
位置が特定のグリッド内に位置している間は、カーソル
が一定の位置、すなわちディスプレイ１２の表示面上の
特定のグリッドの中央に相当する位置に表示される。従
って、情報入力者１０による指示位置のふらつきに拘ら
ず、カーソルの表示位置のふらつきを抑制することがで
き、情報入力者１０に違和感を与えることを防止するこ
とができる。

【００７２】一方、ステップ１７２の判定が肯定された
場合には、情報入力者１０が指示動作を行っていると判
断できるので、カーソルを表示すべき位置の座標として
現在の指示位置の座標を情報処理装置１４へ出力し、カ
ーソルの表示を指示する。これにより、情報処理装置１
４は、ディスプレイ１２の表示面上の指示された位置
（現在の指示位置）にカーソルを表示させる。このステ
ップ１７４は請求項３に記載の表示制御手段に対応して
いる。

【００７３】上記のステップ１７４は、情報入力者１０
による指示位置がディスプレイ１０の表示面上を一定値
以上の移動速度で移動している間繰り返し実行され、そ
のときの指示位置にカーソルを表示させるので、情報入
力者１０が指示位置を移動させる動作を行うと、カーソ
ルの表示位置が連続的に変化し、カーソルがディスプレ
イ１２の表示面上を滑らかに移動することになる。従っ
て、指示位置を移動させる動作を行った情報入力者１０
に違和感を与えることを防止することができる。なお、
上記のように現在の指示位置にカーソルを表示させるこ
とに代えて、例えば情報入力者１０によるカーソルの視
認性の向上を考慮し、現在の指示位置から所定量オフセ
ットした位置にカーソルを表示させるようにしてもよ
い。

【００７４】上述したステップ１７０又はステップ１７
４によりディスプレイ１２にカーソルを表示させると、
次のステップ１７６では情報入力者１０によりクリック
動作が行われたか否か判定する。クリック動作としては
種々の動作を採用することができ、例えば情報入力者１
０が手を前方に素早く移動させる動作（図１４（Ａ）参
照、以下「前進クリック」という）、及び情報入力者１
０が手を後方に素早く移動させる動作（図１４（Ｂ）参
照、以下「後進クリック」という）をクリック動作とす
ることができる。このクリック動作は、ディスプレイ１
２の表示面上の特定の箇所を指し示して選択する動作と
して極めて自然な動作であるので、認識対象者は違和感
を感ずることなくクリック動作を行うことができる。

【００７５】前進クリック動作や後進クリック動作が行
われたか否かの判定は、例えば情報入力者１０が指示動
作を行っている間、基準点Ｐ₀と特徴点Ｐ_Xとの距離ｋ
（図１２参照）を繰り返し演算し、ステップ１７６にお
いて、今回演算した距離ｋと前回演算した距離ｋとの差
が所定値以上か否かを判断することで行うことができ
る。ステップ１７６の判定が否定された場合には、何ら
処理を行うことなくステップ１５４へ戻るが、ステップ
１７６の判定が肯定された場合にはステップ１７８へ移
行し、情報入力者１０によって行われたクリック動作に
関する情報（例えばクリック動作時の指示位置（クリッ
ク位置）を表す情報や、情報入力者１０によって行われ
たクリック動作が前進クリックか後進クリックかを表す
情報等）を情報処理装置１４へ通知する。

【００７６】これにより、情報処理装置１４は、通知さ
れたクリック動作に関する情報に基づいて所定の処理を
実行する。この所定の処理としては任意の処理を採用す
ることができるが、例えばディスプレイ１２の表示面上
の特定のアプリケーションを表すアイコンを表示してい
る箇所が前進クリックされた場合には、前記特定のアプ
リケーションを起動し、例えば前記アイコンを表示して
いる箇所が後進クリックされた場合には、前記特定のア
プリケーションに関連する特殊処理（例えばアプリケー
ションに関する各種パラメータの設定、アプリケーショ
ンのバージョン表示、アイコンの表示に関するパラメー
タの設定等）を一覧表示し、更に特定の特殊処理が前進
クリックされた場合には、クリックされた特殊処理を実
行する、等の処理を行うことができる。

【００７７】また、例えば通常処理モード、ファイル転
送モード、ファイル検索モード等のように予め複数種の
処理モードを用意しておくと共に、情報入力者１０が複
数種の処理モードの何れかへの切り替えを指示するため
のモード切替指示手段（フットスイッチであってもよい
し、情報入力者１０が手の形を変える等の処理モード切
替指示動作を行ったか否かを検知する機構（アルゴリズ
ム）であってもよい）を設け、クリック動作が行われた
場合に、処理モード毎に異なる処理を行うようにしても
よい。

【００７８】なお、情報入力者１０が腕を下ろしている
ときには肘を伸ばしている状態が自然であるが、ディス
プレイ１２の表示面内の所望の位置を指し示すために腕
を上げたときには自然に肘が若干曲がる（後でクリック
動作を行うことを考えても、肘を伸ばしたまま腕を上げ
る動作より、肘を若干曲げながら腕を上げる動作の方
が、所望の位置を指し示している状態となったときに自
然に肘が若干曲がっていることになり合理的である）の
で、情報入力者１０が腕を上げる動作の最中に基準点Ｐ
₀と特徴点Ｐ_Xとの距離ｋが変化する。これを考慮する
と、情報入力者１０がディスプレイ１２の表示面内に相
当する位置を指し示している状態が、比較的短い時間以
上継続した後に、クリック動作が行われたか否かの判定
を開始するか、或いは情報処理装置１４に対するクリッ
ク動作が行われた旨の通知を禁止することが好ましい。
これにより、情報入力者１０による指示位置がディスプ
レイ１２の表示面外から表示面内へ変化したときに、ク
リック動作が行われたと誤判断することを防止できる。

【００７９】また、情報入力者１０によるクリック動作
の最中に指示位置がずれる可能性があることを考慮する
と、クリック位置として、情報入力者１０がクリック動
作を開始した際の指示位置を用いることが好ましい。こ
れにより、クリック動作の最中に指示位置がずれたとし
ても、情報入力者１０が当初指し示していた位置に対応
する処理を確実に実行することができる。

【００８０】次に、本発明の他の実施形態として、指示
判断処理の他の例について図１５のフローチャートを参
照し、先に説明した指示判断処理（図６）と異なる部分
についてのみ説明する。

【００８１】この実施形態では、図１３（Ａ）に示すグ
リッド（第１のグリッド）を単位として、ディスプレイ
１２の表示面を仮想的に多数個に分割したときの、各グ
リッドの境界位置、及び各グリッドの中央位置の座標
を、情報入力者１０が指示位置を移動させる動作を行っ
ていないときに用いる第１のグリッドのデータとして予
め記憶しており、更に、情報入力者１０が指示位置を移
動させる動作を行っているときに用いる第２のグリッド
のデータとして、例として図１３（Ｂ）に破線で示すよ
うに、第１のグリッドよりも小面積の矩形領域（以下
「第２のグリッド」という）を単位として、ディスプレ
イ１２の表示面を仮想的に多数個に分割したときの、そ
れぞれの第２のグリッドの境界位置、及び第２のグリッ
ドの各々の中央位置（図１３（Ｂ）に「・」で示す位
置）の座標を予め記憶している。なお、図１３（Ｂ）に
示す多数個の第２のグリッドは、請求項４に記載の多数
の小領域に対応している。

【００８２】図１５に示す指示判断処理では、情報入力
者１０による指示位置がディスプレイ１２の表示面上を
一定値以上の移動速度で移動している場合（すなわちス
テップ１６６、１７２の判定が肯定された場合）にステ
ップ１７３へ移行し、現在の指示位置の座標を第２のグ
リッドの境界位置の座標と比較して、現在の指示位置
が、多数個の第２のグリッドのうちの何れのグリッド内
に位置している（含まれている）かを判定する。

【００８３】そして、次のステップ１７５では、ステッ
プ１７３で現在の指示位置を含んでいると判定したグリ
ッド（請求項４に記載の特定小領域に対応）の中央位置
（図１３（Ｂ）に「・」で示す位置）の座標を、カーソ
ルを表示すべき位置の座標として情報処理装置１４へ出
力し、カーソルの表示を指示する。これにより、情報処
理装置１４は、ディスプレイ１２の表示面上の指示され
た位置にカーソルを表示させる。

【００８４】上記のステップ１７３、１７５は、情報入
力者１０による指示位置がディスプレイ１２の表示面上
を一定値以上の移動速度で移動している間、繰り返し実
行されるので、情報入力者１０が指示位置を移動させる
動作を行うと、カーソルはディスプレイ１２の表示面上
をとびとびに移動（ステップ移動）することになる。し
かし、第２のグリッドは第１のグリッドよりも小面積で
あり、ディスプレイ１２の表示面はより多数個のグリッ
ドに分割され、隣り合うグリッドの中心位置の間隔も小
さいので、カーソルはより小さい移動幅でステップ移動
することになる。従って、指示位置を移動させる動作を
行った情報入力者１０に違和感を与えることを防止する
ことができる。このように、ステップ１７３、１７５は
請求項４に記載の表示制御手段に対応している。

【００８５】なお、上記では本発明に係る特定領域とし
てのグリッドの中央位置にカーソルを表示させていた
が、これに限定されるものではなく、カーソルの表示位
置は、特定領域の境界位置を含む特定領域内の任意の位
置とすることができる。また、上記では特定領域を矩形
状としていたが、これに限定されるものではなく、Ｎ角
形（Ｎ≧３）であってもよいし、楕円を含む円形として
もよい。また、特に特定領域の形状を円形にした等の場
合には、表示面上の各位置が少なくとも何れかの特定領
域に含まれるように、隣り合う特定領域が一部重なって
いてもよい。この態様において、表示面上の複数の特定
領域が重複している箇所が指示された場合には、例えば
カーソルの表示位置の移動が抑制されるように、重複し
ている複数の特定領域のうち直前の指示位置に近い位置
に存在している特定領域を選択し、選択した特定領域内
にカーソルを表示させるようにしてもよい。

【００８６】また、上記では２台のビデオカメラ３６
Ａ、３６Ｂを設けた例を説明したが、これに限定される
ものではなく、より多数のビデオカメラによって情報入
力空間を各々撮像し、情報入力者１０からの指示を判断
するようにしてもよい。

【００８７】また、上記では本発明に係る特徴点Ｐ_Xと
して、指先に相当する点を例に説明したが、特徴点は認
識対象者が腕を動かすことで位置が変化する点であれば
よく、例えば認識対象者の手首に相当する点や、認識対
象者の手の甲に相当する点を特徴点として用いるように
してもよい。

【００８８】更に、情報入力者１０の姿勢が、腕を上げ
ている状態（図１１（Ｂ）又は（Ｃ）参照）から、腕を
下ろした状態（図１１（Ａ）参照）に変化した場合に、
腕を下ろす直前の指示位置にカーソルを継続して表示す
るようにしてもよい。これにより、情報入力者１０が一
定箇所にカーソルを継続して表示させたい等の場合にも
（例えば会議のプレゼンテーション等）、情報入力者１
０が継続的に腕を上げ続ける必要がなくなるので、情報
入力者１０の負担を軽減することができる。

【００８９】また、上記ではクリック動作として、情報
入力者１０が手を前方に素早く移動させる前進クリック
動作、及び情報入力者１０が手を後方に素早く移動させ
る後進クリック動作のみを判断するようにしていたが、
これに限定されるものではなく、例えば基準点Ｐ₀と特
徴点Ｐ_Xとの距離ｋの推移を所定時間に亘って監視する
ことにより、マウスの操作では一般的なダブルクリック
動作（ハンドポインティング装置では、例えば前進クリ
ック動作又は後進クリック動作を２回続けて行う動作等
で代用できる）やドラッグ＆ドロップ動作（ハンドポイ
ンティング装置では、例えば前進クリック動作→指示位
置移動動作→後進クリック動作等の一連の動作により代
用できる）も判断するようにしてもよい。

【００９０】また、ディスプレイ１２としては、プラズ
マディスプレイ、ＣＲＴ、光ファイバディスプレイ等の
周知の表示装置を適用してもよいし、液晶ゴーグル等を
適用することも可能である。また、擬似的に３次元空間
を表す３次元的画像をディスプレイに表示するようにし
てもよい。具体的には、上記のような平面ディスプレイ
い一点透視法や二点透視法に則った画像を表示したり、
液晶シャッタやレンチキュラーレンズを利用した３次元
ディスプレイに画像を表示したり、ホログラフィー技術
を適用して立体画像を表示するようにしてもよい。

【００９１】更に、上記では本発明に係る記録媒体とし
てＣＤ−ＲＯＭ４２を例に説明したが、本発明はこれに
限定されるものではなく、例えばハードディスク装置の
内蔵ハードディスクやＦＤ等の磁気ディスク、ＣＤ−Ｒ
等の光ディスク、ＭＯ等の光磁気ディスク、メモリカー
ド、ＩＣカード等の各種の情報記憶媒体を、本発明に係
る記録媒体として適用可能であることは言うまでもな
い。

【００９２】

【発明の効果】以上説明したように請求項１記載の発明
及び請求項５記載の発明は、認識対象者が特定の位置を
指し示している状況を互いに異なる複数の方向から撮像
することで得られた複数の画像に基づいて、認識対象者
による指示位置を判断し、判断した指示位置が表示手段
の表示面上の特定領域内に含まれている場合に、指示位
置を示す記号を、特定領域内の一定の位置に表示させる
ようにしたので、利用者による指示位置のふらつきに拘
らず、指示位置を表す記号の表示位置のふらつきを抑制
することができる、という優れた効果を有する。

【００９３】請求項２記載の発明は、請求項１の発明に
おいて、表示手段の表示面上を複数の領域に分割したと
きの何れの領域内に指示位置が含まれるかを判断し、指
示位置を示す記号を、指示位置が含まれると判断した特
定領域内の一定の位置に表示させるので、上記効果に加
え、指示位置が表示手段の表示面上の何れの位置に位置
しているときにも、指示位置を表す記号の表示位置のふ
らつきを抑制することができる、という効果を有する。

【００９４】請求項３記載の発明は、請求項２の発明に
おいて、認識対象者が指示位置を移動させる動作をして
いると判断した場合に、指示位置を示す記号を、表示面
上の指示位置又はその近傍に表示させるので、上記効果
に加え、指示位置を移動させる動作を行った利用者に違
和感を与えることを防止することができる、という効果
を有する。

【００９５】請求項４記載の発明は、請求項２の発明に
おいて、認識対象者が指示位置を移動させる動作をして
いると判断した場合に、表示面上を一定かつ所定値以下
の面積の多数の小領域に分割したときの何れの小領域内
に指示位置が含まれるかを判断し、指示位置を示す記号
を、指示位置が含まれると判断した特定小領域内の一定
の位置に表示させるので、上記効果に加え、指示位置を
移動させる動作を行った利用者に違和感を与えることを
防止することができる、という効果を有する。

【００９６】請求項６記載の発明は、認識対象者が特定
の位置を指し示している状況を互いに異なる複数の方向
から撮像することで得られた複数の画像に基づいて、認
識対象者による指示位置を判断する第１のステップ、判
断した指示位置が表示手段の表示面上の特定領域内に含
まれている場合に、指示位置を示す記号を、特定領域内
の一定の位置に表示させる第２のステップを含む処理を
コンピュータに実行させるためのプログラムを記録媒体
に記録したので、利用者による指示位置のふらつきに拘
らず、指示位置を表す記号の表示位置のふらつきを抑制
することができる、という優れた効果を有する。

【図面の簡単な説明】

【図１】 情報入力空間の周辺を示す斜視図である。

【図２】 本実施形態に係るハンドポインティング入力
装置の概略構成を示すブロック図である。

【図３】 照明装置の照明範囲とビデオカメラの撮像範
囲との関係の一例を示す概略図である。

【図４】 マーク板の一例を示す情報入力空間の斜視図
である。

【図５】 格子点位置情報初期設定処理を示すフローチ
ャートである。

【図６】 指示判断処理の内容を示すフローチャートで
ある。

【図７】 基準点・特徴点座標演算処理の内容を示すフ
ローチャートである。

【図８】 照明装置Ａ、Ｂの点灯・消灯、ビデオカメラ
の撮像によって得られる画像の出力（取り込み）のタイ
ミングを示すタイミングチャートである。

【図９】 情報入力者の身長及び床面上の位置の演算を
説明するための、情報入力空間の側面図である。

【図１０】 （Ａ）乃至（Ｃ）は情報入力者の動作の一
例を示すイメージ図である。

【図１１】 （Ａ）はビデオカメラにより撮像された情
報入力者の手を示すイメージ図、（Ｂ）は特徴点の座標
及び特徴点の３次元座標を求めるための格子点の検索範
囲を示す概念図である。

【図１２】 情報入力者が指し示しているディスプレイ
上の位置の判定を説明するための、（Ａ）は情報入力空
間の平面図、（Ｂ）は情報入力空間の側面図である。

【図１３】 （Ａ）は情報入力者が指示位置を移動させ
る動作を行っていないときに用いるカーソルの表示位置
を決定するためのグリッド、（Ｂ）は図１５に示す指示
判断処理において、情報入力者が指示位置を移動させる
動作を行っているときに用いるグリッドを各々示すイメ
ージ図である。

【図１４】 （Ａ）は前進クリック動作、（Ｂ）は後進
クリック動作を説明するためのイメージ図である。

【図１５】 他の指示判断処理の内容を示すフローチャ
ートである。

【符号の説明】

１０ 情報入力者 １２ ディスプレイ １４ 情報処理装置 ２０ ハンドポインティング入力装置 ２２ コントローラ ３６ ビデオカメラ ４０ ＣＤ−ＲＯＭドライバ ４２ ＣＤ−ＲＯＭ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 半沢 久 千葉県印西市大塚一丁目５番地１ 株式会 社竹中工務店技術研究所内 (72)発明者 瓜谷 真幸 東京都中央区銀座八丁目21番１号 株式会 社竹中工務店東京本店内 (72)発明者 川島 哲文 東京都中央区銀座八丁目21番１号 株式会 社竹中工務店東京本店内

Claims (6)

【特許請求の範囲】
1. 【請求項１】 画像を表示するための表示手段と、 認識対象者を互いに異なる複数の方向から撮像する撮像
   手段と、 認識対象者が特定の位置を指し示している状況を前記撮
   像手段が撮像することで得られた複数の画像に基づい
   て、前記画像中の前記認識対象者に相当する画像部を抽
   出し、認識対象者による指示位置を判断する判断手段
   と、 前記判断手段によって判断された指示位置が前記表示手
   段の表示面上の特定領域内に含まれている場合に、前記
   指示位置を示す記号を、前記特定領域内の一定の位置に
   表示させる表示制御手段と、 を含むハンドポインティング装置。
2. 【請求項２】 前記表示制御手段は、前記判断手段によ
   って判断された指示位置が、前記表示手段の表示面上を
   複数の領域に分割したときの何れの領域内に含まれるか
   を判断し、前記指示位置を示す記号を、前記指示位置が
   含まれると判断した特定領域内の一定の位置に表示させ
   ることを特徴とする請求項１記載のハンドポインティン
   グ装置。
3. 【請求項３】 前記表示制御手段は、認識対象者が指示
   位置を移動させる動作をしていると判断した場合には、
   前記指示位置を示す記号を、前記表示面上の前記指示位
   置又はその近傍に表示させることを特徴とする請求項２
   記載のハンドポインティング装置。
4. 【請求項４】 前記表示制御手段は、認識対象者が指示
   位置を移動させる動作をしていると判断した場合には、
   前記判断手段によって判断された指示位置が、前記表示
   面上を一定かつ所定値以下の面積の多数の小領域に分割
   したときの何れの小領域内に含まれるかを判断し、前記
   指示位置を示す記号を、前記指示位置が含まれると判断
   した特定小領域内の一定の位置に表示させることを特徴
   とする請求項２記載のハンドポインティング装置。
5. 【請求項５】 認識対象者が特定の位置を指し示してい
   る状況を、互いに異なる複数の方向から撮像することで
   得られた複数の画像に基づいて、前記画像中の前記認識
   対象者に相当する画像部を抽出して認識対象者による指
   示位置を判断し、 判断した指示位置が、画像を表示するための表示手段の
   表示面上の特定領域内に含まれている場合に、前記指示
   位置を示す記号を、前記特定領域内の一定の位置に表示
   させる指示位置表示方法。
6. 【請求項６】 認識対象者が特定の位置を指し示してい
   る状況を、互いに異なる複数の方向から撮像することで
   得られた複数の画像に基づいて、前記画像中の前記認識
   対象者に相当する画像部を抽出して認識対象者による指
   示位置を判断する第１のステップ、 及び、判断した指示位置が、画像を表示するための表示
   手段の表示面上の特定領域内に含まれている場合に、前
   記指示位置を示す記号を、前記特定領域内の一定の位置
   に表示させる第２のステップを含む処理をコンピュータ
   に実行させるためのプログラムが記録された記録媒体。