JP2000222117A - ハンドポインティング装置、指示位置表示方法及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 利用者による指示位置のふらつきに拘らず、
指示位置を表す記号の表示位置のふらつきを抑制する。 【解決手段】 利用者がディスプレイの表示面上の任意
の箇所の指示している状況を複数の方向から撮像し、撮
像によって得られた複数の画像に基づいて、利用者が指
示位置を変えることで位置が変化する特徴点の座標を演
算し(156) 、利用者が指示位置を移動させる動作を行っ
ていないとき(170が否定) には、今回及び過去ｎ周期の
各回における特徴点位置の平均に相当する位置Ｐ₀を求
め(172) 、表示面上の位置Ｐ₀に対応する位置にカーソ
ルを表示させる(178,180) 。利用者が指示動作を行って
いるとき(170が肯定) には、位置Ｐ０ を今回の周期に
おける特徴点位置とし(174) 、表示面上の位置Ｐ₀に対
応する位置にカーソルを表示させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はハンドポインティン
グ装置、指示位置表示方法及び記録媒体に係り、特に、
認識対象者を撮像し、認識対象者が指し示した位置に指
示位置を示す記号を表示させる指示位置表示方法、該指
示位置表示方法を適用可能なハンドポインティング装
置、及び前記指示位置表示方法に係る処理をコンピュー
タに実行させるためのプログラムが記録された記録媒体
に関する。

【０００２】

【従来の技術】従来より、所定の情報を表示するディス
プレイ、ディスプレイの近傍に到来した情報入力者（利
用者）を互いに異なる方向から撮像する撮像手段を備
え、到来した情報入力者がディスプレイ上の任意の位置
を指等によって指し示した状況を複数の撮像手段によっ
て撮像し、撮像によって得られた複数の画像に基づいて
情報入力者を認識し、情報入力者が指示したディスプレ
イ上の位置を判断し、ディスプレイ上の指示位置にカー
ソル等を表示すると共に、情報入力者が親指を上げるク
リック動作を行ったことを検出すると、ディスプレイ上
の指示位置がクリックされたと認識して所定の処理を行
うハンドポインティング入力装置が知られている（例え
ば特開平4-271423号公報、特開平 5-19957号公報、特開
平5-324181号公報等参照）。

【０００３】上記のハンドポインティング入力装置によ
れば、情報入力者がキーボードやマウス等の入力機器に
触れることなく、情報処理装置に対して各種の指示を与
えたり、各種の情報を入力することが可能となるので、
情報処理装置を利用するための操作の簡素化を実現でき
る。

【０００４】

【発明が解決しようとする課題】ところで、情報入力者
が所望の位置を指し示す動作（指示動作）は、情報入力
者が自身の腕を上げ、自身の指先や手の先端をディスプ
レイの表示面上の所望の位置を向くように空中で静止さ
せる動作であるが、この静止状態を維持するためには、
作用する重力に抗するために僅かではあるものの筋力を
要する。従って、例えば指示位置を一定の位置に維持す
るために腕や指先、手を一定の位置に静止させようとし
ても、固定物のように厳密に一定の位置に静止させるこ
とは困難であり、指先や手の位置に若干のふらつきが生
ずることが自然である。

【０００５】これに対し、従来のハンドポインティング
装置は、指示位置を表す記号（所謂カーソル）を、ディ
スプレイの表示面上の情報入力者による指示位置に表示
する構成であるので、情報入力者の指先や手の位置のふ
らつきに伴って、ディスプレイに表示されるカーソルの
位置がふらつき、利用者（情報入力者）に違和感を与え
ることがあった。

【０００６】本発明は上記事実を考慮して成されたもの
で、利用者による指示位置のふらつきに拘らず、指示位
置を表す記号の表示位置のふらつきを抑制することがで
きるハンドポインティング装置、指示位置表示方法、及
び記録媒体を得ることが目的である。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に請求項１記載の発明に係るハンドポインティング装置
は、画像を表示するための表示手段と、認識対象者を互
いに異なる複数の方向から撮像する撮像手段と、認識対
象者が特定の位置を指し示している状況を前記撮像手段
が撮像することで得られた複数の画像に基づいて、前記
画像中の前記認識対象者に相当する画像部を抽出し、認
識対象者による指示位置又は該指示位置に関連する特徴
量を求めることを繰り返す演算手段と、前記演算手段に
よって求められた指示位置又は該指示位置に関連する特
徴量に基づき、前記表示手段の表示面上における、所定
時間前から現在に至る期間内における指示位置の平均に
相当する表示位置を求め、前記指示位置を示す記号を、
前記求めた表示位置に表示させる表示制御手段と、を含
んで構成している。

【０００８】請求項１記載の発明では、撮像手段によっ
て互いに異なる複数の方向から認識対象者（利用者）を
撮像する。この撮像手段は、ビデオカメラ等から成る複
数の撮像装置によって認識対象者を複数の方向から撮像
するよう構成してもよいし、平面ミラー等の光反射手段
を設け、単一の撮像装置により認識対象者を直接撮像す
ると共に、平面ミラーに映っている認識対象者の虚像を
撮像することで、認識対象者を複数の方向から撮像する
よう構成することも可能である。

【０００９】また演算手段は、認識対象者が特定の位置
を指し示している状況を、撮像手段が互いに異なる複数
の方向から撮像することで得られた複数の画像に基づい
て、画像中の認識対象者に相当する画像部を抽出し、認
識対象者による指示位置又は指示位置に関連する特徴量
を求めることを繰り返す。従って、認識対象者が、例え
ば表示手段の表示面上の特定の位置を指し示す動作を行
えば、認識対象者による指示位置又は指示位置に関連す
る特徴量が繰り返し求められることになる。

【００１０】指示位置に関連する特徴量としては、例え
ば認識対象者が任意の位置を指し示す動作において、認
識対象者が指し示す位置を変えることで位置が変化する
特徴点（例えば認識対象者の手や指等の先端、或いは認
識対象者が把持している指示器の先端等に相当する点）
の３次元座標を用いることができる。また、認識対象者
による指示位置は、特徴点の３次元座標等の指示位置に
関連する特徴量から求めることができる。具体的には、
例えば特徴点を通りかつ表示面と直交する仮想線と表示
面との交点を指示位置としたり、また例えば認識対象者
が指し示す位置を変えても位置が変化しない基準点（例
えば認識対象者の身体の所定部分（例えば腕の付け根や
胸部、或いは背中等）に相当する点、或いは前記所定部
分を基準とし前記所定部分に対して一定の位置に位置し
ている仮想的な点）を通りかつ特徴点を通る仮想線と表
示面との交点を指示位置とすることができる。

【００１１】そして、表示制御手段は、演算手段によっ
て演算された指示位置又は指示位置に関連する特徴量に
基づき、表示手段の表示面上における、所定時間前から
現在に至る期間内における指示位置の平均に相当する表
示位置を求め、指示位置を示す記号を、求めた表示位置
に表示させる。これにより、本発明に係るハンドポイン
ティング装置の利用者（すなわち表示手段の表示面上の
特定の位置を指し示す動作を行った認識対象者）による
指示位置が、利用者の意図に反してふらついていたとし
ても、演算手段による指示位置又は指示位置に関連する
特徴量の繰り返し演算の時間間隔が利用者による指示位
置のふらつきの周期よりも短ければ、表示制御手段によ
って求められる表示位置は、所定時間前から現在に至る
期間内における指示位置のふらつきが均された位置とな
る。

【００１２】従って、利用者が一定の位置を指示する
（指示しようとする）動作を行っている間は、指示位置
を示す記号はおおよそ一定の位置で静止しているように
表示されることになり、利用者による指示位置のふらつ
きに拘らず、指示位置を表す記号の表示位置のふらつき
を抑制することができる。

【００１３】ところで、上記のように、所定時間前から
現在に至る期間内における指示位置の平均に相当する表
示位置に前記記号を表示させるようにした場合、認識対
象者が意識的に指示位置を移動させる動作を行ったとき
には、指示位置の移動に対して前記記号の表示位置が追
随せずに前記記号が緩慢に移動することになるので、利
用者に違和感（或いは不快感）を与える可能性がある。
このため請求項２記載の発明は、請求項１の発明におい
て、表示制御手段は、認識対象者が指示位置を移動させ
る動作をしていると判断した場合には、指示位置を示す
記号を、表示面上の現在の指示位置又はその近傍に表示
させることを特徴としている。

【００１４】請求項２記載の発明では、認識対象者が指
示位置を移動させる動作をしていると判断した場合に
は、指示位置を示す記号を、表示面上の現在の指示位置
又はその近傍に表示させるので、認識対象者による指示
位置と、指示位置を示す記号の表示位置と、が略一致す
ることになり、認識対象者が指示位置を移動させる動作
を行った場合には、指示位置の移動に対して前記記号の
表示位置が高速で追随し、前記記号が指示位置の移動に
応じて表示面上を移動することになる。従って、指示位
置を移動させる動作を行った認識対象者（利用者）に違
和感を与えることを防止することができる。

【００１５】なお、認識対象者が指示位置を移動させる
動作をしているか否かの判断は、例えば指示位置の単位
時間当りの移動量（移動速度）を閾値と比較する等によ
って行うことができる。また、単位時間当りの指示位置
の移動量に加え、或る時間内における指示位置の移動方
向のばらつきの小ささ等も併せて検知して、上記判断を
行うようにしてもよい。

【００１６】請求項３記載の発明は、表示制御手段は、
認識対象者が指示位置を移動させる動作をしていると判
断した場合には、前記所定時間の長さを短くして表示位
置を求めることを特徴としている。上記のように所定時
間の長さを短くすると、表示位置は、より短い期間内に
おける指示位置の平均に相当する位置となるので、現在
の指示位置がより大きく反映された位置となる。請求項
３記載の発明では、認識対象者が指示位置を移動させる
動作をしている場合に所定時間の長さを短くするので、
前記記号の表示位置は指示位置とは必ずしも一致しない
ものの、指示位置の移動に対する前記記号の表示位置の
追随速度が通常の場合よりも高速になり、指示位置を移
動させる動作を行った認識対象者（利用者）に違和感を
与えることを防止することができる。

【００１７】また、認識対象者が指示位置を移動させる
動作を行った場合、指示位置の移動に対する前記記号の
表示位置の移動の遅れは、指示位置の移動速度が速くな
るに従って視認され易くなり、前記記号の表示位置のふ
らつきは、指示位置の移動速度が遅くなるに従って目に
付き易くなる。このため、請求項４記載の発明は、請求
項３の発明において、表示制御手段は、指示位置の移動
速度が速くなるに従って、前記所定時間の長さを段階的
又は連続的に短くして表示位置を求めることを特徴とし
ている。

【００１８】所定時間前から現在に至る期間内における
指示位置の平均に相当する表示位置に前記記号を表示さ
せる場合、前記記号の表示位置のふらつきの抑制度合
い、及び指示位置の移動に対する前記記号の表示位置の
追随速度は前記所定時間の長さに依存し、所定時間の長
さが長くなるに従って、表示位置のふらつきの抑制度合
いは高くなるものの表示位置の追随速度は低下し、所定
時間の長さが短くなるに従って、表示位置の追随速度が
向上するものの表示位置のふらつきの抑制度合いは低く
なる。

【００１９】請求項４の発明では、指示位置の移動速度
が速くなるに従って、前記所定時間の長さを段階的又は
連続的に短くして表示位置を求めるので、指示位置の移
動速度が比較的速い場合には、所定時間の長さが短くさ
れることで、指示位置の移動に対する前記記号の表示位
置の追従速度が速くされ、指示位置の移動速度が比較的
遅い場合には、所定時間の長さが長くされることで、前
記記号の表示位置のふらつきの抑制度合いが高くされ
る。従って、請求項４の発明によれば、指示位置の移動
速度に拘らず利用者に違和感を与えることを防止するこ
とができる。

【００２０】請求項５記載の発明に係る指示位置表示方
法は、認識対象者が特定の位置を指し示している状況
を、互いに異なる複数の方向から撮像することで得られ
た複数の画像に基づいて、前記画像中の前記認識対象者
に相当する画像部を抽出し、認識対象者による指示位置
又は該指示位置に関連する特徴量を求めることを繰り返
すと共に、求めた指示位置又は該指示位置に関連する特
徴量に基づき、画像を表示するための表示手段の表示面
上における、所定時間前から現在に至る期間内における
指示位置の平均に相当する表示位置を求め、前記指示位
置を示す記号を、前記求めた表示位置に表示させるの
で、請求項１の発明と同様に、利用者による指示位置の
ふらつきに拘らず、指示位置を表す記号の表示位置のふ
らつきを抑制することができる。

【００２１】請求項６記載の発明に係る記録媒体は、認
識対象者が特定の位置を指し示している状況を、互いに
異なる複数の方向から撮像することで得られた複数の画
像に基づいて、前記画像中の前記認識対象者に相当する
画像部を抽出して認識対象者による指示位置又は該指示
位置に関連する特徴量を求めることを繰り返す第１のス
テップ、及び、求めた指示位置又は該指示位置に関連す
る特徴量に基づき、画像を表示するための表示手段の表
示面上における、所定時間前から現在に至る期間内にお
ける指示位置の平均に相当する表示位置を求め、前記指
示位置を示す記号を、前記求めた表示位置に表示させる
第２のステップを含む処理をコンピュータに実行させる
ためのプログラムが記録されている。

【００２２】請求項６記載の発明に係る記録媒体には、
上記の第１のステップ及び第２のステップを含む処理、
すなわち請求項５の発明に係る指示位置表示方法に係る
処理をコンピュータに実行させるためのプログラムが記
録されているので、コンピュータが前記記録媒体に記録
されているプログラムを読み出して実行することによ
り、請求項１の発明及び請求項５の発明と同様に、利用
者による指示位置のふらつきに拘らず、指示位置を表す
記号の表示位置のふらつきを抑制することができる。

【００２３】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態の一例を詳細に説明する。図１に示すように、本
発明に係る認識対象者としての情報入力者１０が到来す
る箇所の壁面には大画面ディスプレイ１２が埋め込まれ
ている。なお、ディスプレイ１２としては液晶ディスプ
レイ（ＬＣＤ）やプラズマディスプレイ、ブラウン管、
光ファイバディスプレイ等の周知の表示手段を適用でき
る。

【００２４】ディスプレイ１２はパーソナルコンピュー
タ等から成る情報処理装置１４に接続されており（図２
参照）、情報処理装置１４により、各種の情報が表示面
上に図形、表、文字、画像等の種々の表示形態で表示さ
れる。本実施形態において、情報入力者１０は、ディス
プレイ１２の前方の図１に示した箇所（情報入力空間）
に到来し、ディスプレイ１２の表示面上の各種情報が表
示されている位置を指し示すと共に、クリック動作（詳
細は後述）を行うことにより、情報処理装置１４に対し
て各種の指示を与えたり各種の処理を実行させる。

【００２５】図２に示すように、情報処理装置１４に
は、本実施形態に係るハンドポインティング入力装置２
０のコントローラ２２が接続されている。なお、上述し
たディスプレイ１２、情報処理装置１４、及びハンドポ
インティング入力装置２０は、本発明に係る指示位置表
示方法が適用された本発明に係るハンドポインティング
装置に対応している。

【００２６】コントローラ２２は、ＣＰＵ２２Ａ、ＲＯ
Ｍ２２Ｂ、ＲＡＭ２２Ｃ、入出力インタフェース２２Ｄ
を備えており、これらがバスを介して互いに接続されて
構成されている。入出力インタフェース２２Ｄには情報
処理装置１４が接続されていると共に、記憶内容を書換
え可能な不揮発性の記憶媒体（例えば磁気ディスク）を
内蔵した記憶装置２４、各種の情報を表示するためのデ
ィスプレイ２６、オペレータが各種の指示やデータを入
力するためのキーボード２８、照明制御装置３０、撮像
制御装置３４、マーク板駆動装置３８、及びＣＤ−ＲＯ
Ｍドライバ４０が各々接続されている。

【００２７】コントローラ２２を本発明に係るハンドポ
インティング装置として機能させるためのプログラム
（以下、単に「プログラム」という）は、例えばＣＤ−
ＲＯＭドライバ４０に装填されるＣＤ−ＲＯＭ４２に記
憶することができる。プログラムの実行が指示される
と、ＣＤ−ＲＯＭ４２からプログラムが読み出され、読
み出されたプログラムがコントローラ２２によって実行
される。これにより、コントローラ２２を含む各装置は
ハンドポインティング装置として機能する。なお、上記
態様において、ＣＤ−ＲＯＭ４２は請求項６に記載の記
録媒体に対応している。

【００２８】照明制御装置３０には、近赤外域の波長の
光をビーム状に射出する複数の近赤外光照明装置３２
Ａ、３２Ｂが接続されている。図１に示すように、近赤
外光照明装置３２Ａ、３２Ｂは、情報入力空間の上方の
互いに異なる箇所に配設されており、情報入力空間に到
来した情報入力者１０を、互いに異なる方向から照明す
るように照射範囲が調整されている。照明制御装置３０
は照明装置３２Ａ、３２Ｂの点灯・消灯を制御する。

【００２９】撮像制御装置３４には、情報入力空間の上
方の互いに異なる箇所に配設された（図１参照）複数の
ビデオカメラ３６Ａ、３６Ｂが接続されている。ビデオ
カメラ３６Ａ、３６Ｂは、図示は省略するが、近赤外光
に感度を有するＣＣＤ等から成るエリアセンサを備えて
いると共に、入射光をエリアセンサの受光面に結像させ
る結像レンズの光入射側に、近赤外域の波長の光のみを
透過するフィルタが設けられている。なお、撮像手段
（カメラ）として遠赤外線カメラを用い、人間（情報入
力者）の体温による遠赤外線と、人間の体温と所定値以
上離れた温度（体温よりも高い温度であっても低い温度
であってもよい）に設定又は温度調整された床から放射
される遠赤外光と、によって人間と背景とを弁別する方
法を用いても良い。この場合は照明装置３２Ａ、３２Ｂ
及び照明制御装置３０を省略することも可能となる。

【００３０】図３に示すように、ビデオカメラ３６Ａ、
３６Ｂは情報入力空間に到来した情報入力者１０を互い
に異なる方向から撮像するように向きが調整されてい
る。また、ビデオカメラ３６Ａは、情報入力空間に到来
した情報入力者１０が撮像範囲内に入り、かつ照明装置
３２Ａから射出された光が結像レンズに直接入射せず、
かつ撮像範囲の中心が、情報入力空間内において照明装
置３２Ａによる照明範囲の中心と床面から所定高さで交
差するように（照明装置３２Ａによる床面上の照明範囲
が撮像範囲から外れるように）、向き（撮像範囲）が調
整されている。同様にビデオカメラ３６Ｂは、情報入力
空間に到来した情報入力者１０が撮像範囲内に入り、か
つ照明装置３２Ｂから射出された光が結像レンズに直接
入射せず、かつ撮像範囲の中心が、情報入力空間内にお
いて照明装置３２Ｂによる照明範囲の中心と床面から所
定高さで交差するように（照明装置３２Ａによる床面上
の照明範囲が撮像範囲から外れるように）、向き（撮像
範囲）が調整されている。

【００３１】なお、ビデオカメラ３６Ａ、３６Ｂ、撮像
制御装置３４、照明制御装置３０、及び近赤外光照明装
置３２Ａ、３２Ｂは本発明の撮像手段に対応している。

【００３２】また図４に示すように、ハンドポインティ
ング入力装置２０は、情報入力空間の近傍に配設された
マーク板４０を備えている。マーク板４０は、透明な平
板に多数のマーク４０Ａがマトリクス状に等間隔で記録
されて構成されており、マーク４０Ａの配列方向に直交
する方向（図４の矢印Ａ方向）に沿って情報入力空間を
横切るように移動可能とされている。なおマーク４０Ａ
は、画像上での認識が容易な色（例えば赤色）に着色さ
れている。入出力インタフェース２２Ｄに接続されたマ
ーク板駆動装置３８は、コントローラ２２からの指示に
応じてマーク板４０を図４の矢印Ａ方向に沿って移動さ
せる。

【００３３】次に本実施形態の作用として、まず、ハン
ドポインティング入力装置２０が設置された際にコント
ローラ２２によって実行される格子点位置情報初期設定
処理について、図５のフローチャートを参照して説明す
る。

【００３４】ステップ１００では、マーク板駆動装置３
８により、マーク板４０を所定位置（マーク板４０の移
動範囲の端部に相当する位置）に移動させる。次のステ
ップ１０２では、現在のマーク板４０の位置において、
マーク板４０に記録されている多数のマーク４０Ａの情
報入力空間内での３次元座標（ｘ，ｙ，ｚ）を各々演算
する。ステップ１０４では撮像制御装置３４を介し、ビ
デオカメラ３６Ａ、３６Ｂによって情報入力空間を撮像
させ、次のステップ１０６では、ビデオカメラ３６Ａが
情報入力空間を撮像することによって得られた画像（以
下画像Ａと称する）を撮像制御装置３４を介して取り込
む。

【００３５】ステップ１０８では、ステップ１０６で取
り込んだ画像Ａ中に存在するマーク４０Ａの認識（抽
出）を行い、次のステップ１１０では認識した全てのマ
ーク４０Ａについて、画像Ａ上での位置（Ｘ_A，Ｙ_A）を
演算する。そしてステップ１１２では、画像Ａ中に存在
する全てのマーク４０Ａについて、情報入力空間内での
３次元座標（ｘ，ｙ，ｚ）と、画像Ａ上での位置
（Ｘ_A，Ｙ_A ）とを対応させ、ビデオカメラ３６Ａの格
子点位置情報として記憶装置２４に記憶させる。

【００３６】次のステップ１１４〜１２０では、上記の
ステップ１０６〜１１２と同様にしてビデオカメラ３６
Ｂに対する処理を行う。すなわち、ステップ１１４では
ビデオカメラ３６Ｂが情報入力空間を撮像することによ
って得られた画像（以下画像Ｂと称する）を撮像制御装
置３４を介して取り込み、ステップ１１６ではステップ
１１４で取り込んだ画像Ｂ中に存在するマーク４０Ａの
認識（抽出）を行い、次のステップ１１８では認識した
全てのマーク４０Ａについて、画像Ｂ上での位置
（Ｘ_B，Ｙ_B）を演算する。そしてステップ１２０では、
画像Ｂ中に存在する全てのマーク４０Ａについて、情報
入力空間内での３次元座標（ｘ，ｙ，ｚ）と、画像Ｂ上
での位置（Ｘ_B，Ｙ_B）とを対応させ、ビデオカメラ３６
Ｂの格子点位置情報として記憶装置２４に記憶させる。

【００３７】次のステップ１２２では、マーク板４０が
最終位置（マーク板４０の移動範囲のうちステップ１０
０における所定位置と反対側の端部に相当する位置）迄
移動したか否か判定する。ステップ１２２の判定が否定
された場合にはステップ１２４へ移行し、マーク板駆動
装置３８により、マーク板４０を所定方向に一定距離
（詳しくは、マーク板４０上におけるマーク４０Ａの間
隔に一致する距離）だけ移動させた後にステップ１０２
に戻る。

【００３８】上記のように、マーク板４０が最終位置に
移動する迄、ステップ１０２〜１２４が繰り返されるこ
とにより、マーク板４０に記録されている多数のマーク
４０Ａは、情報入力空間内に一定間隔で格子状に並ぶ多
数の格子点に対応する位置へ移動され、ビデオカメラ３
６Ａの格子点位置情報として、各格子点の情報入力空間
内での３次元座標と画像Ａ上での位置とが対応されて記
憶装置２４に記憶されると共に、ビデオカメラ３６Ｂの
格子点位置情報として、各格子点の情報入力空間内での
３次元座標と画像Ｂ上での位置とが対応されて記憶装置
２４に記憶されることになる。

【００３９】なお、マーク板４０及びマーク板駆動装置
３８は、上記の格子点位置情報初期設定処理においての
み用いられ、後述する処理では用いないので、上記の処
理を実行した後に、マーク板４０及びマーク板駆動装置
３８を撤去するようにしてもよい。

【００４０】またマーク４０Ａが記録されたマーク板４
０に代えて、透明な平板にＬＥＤ等の多数の発光素子が
マトリクス状に配設されたマーク板を用い、マーク板を
一定距離ずつステップ移動させると共に、ステップ移動
における各位置で多数の発光素子を順に点灯させること
を繰り返すことによって上記の処理を行うようにしても
よい。また発光素子が取付けられたハンドを備え、該ハ
ンドを情報入力空間内の任意の位置に移動可能とされた
ロボットアーム装置を用い、ロボットアーム装置によっ
て各格子点に対応する各位置に発光素子を移動させて点
灯させることを繰り返すことによって上記処理を行うこ
とも可能である。

【００４１】次に図６のフローチャートを参照し、上記
の格子点位置情報初期設定処理が行われた後にコントロ
ーラ２２で定常的に実行される指示判断処理について説
明する。なお、この指示判断処理は情報入力空間に到来
した情報入力者１０からの指示の判断等を行うものであ
る。

【００４２】ステップ１５０では、ビデオカメラ３６Ａ
から出力される画像Ａを表す画像データ、及びビデオカ
メラ３６Ｂから出力される画像Ｂを表す画像データを各
々取り込み、取り込んだ画像Ａ及び画像Ｂの画像データ
に基づいて、情報入力空間内に情報入力者１０が到来し
たか（存在しているか）否か判定し、判定が肯定される
迄待機する。

【００４３】コントローラ２２が指示判断処理を実行し
ているときには、図８に示すように、照明制御装置３０
は照明装置３２Ａ、３２Ｂを交互に点灯させ、撮像制御
装置３４は、ビデオカメラ３６Ａによる情報入力空間の
撮像が照明装置３２Ａが点灯しているときに行われ、ビ
デオカメラ３６Ｂによる情報入力空間の撮像が照明装置
３２Ｂが点灯しているときに行われるように制御する。

【００４４】ビデオカメラ３６Ａの撮像範囲は照明装置
３２Ａによる床面上の照明範囲が撮像範囲から外れるよ
うに調整されているので、照明装置３２Ａによる床面上
の照明範囲内に情報入力者１０の荷物やゴミ等の非認識
対象物５０Ａ（図３参照）が存在していたとしても、こ
の非認識対象物５０Ａがビデオカメラ３６Ａの撮像範囲
に入ることはない。また、床面上のビデオカメラ３６Ａ
によって撮像される範囲内に非認識対象物５０Ｂ（図３
参照）が存在していたとしても、非認識対象物５０Ｂは
照明装置３２Ａによる照明範囲から外れているので、画
像Ａ中に存在する非認識対象物５０Ｂに相当する画像部
の輝度は非常に低くなる。

【００４５】同様に、ビデオカメラ３６Ｂの撮像範囲は
照明装置３２Ｂによる床面上の照明範囲が撮像範囲から
外れるように調整されているので、照明装置３２Ｂによ
って照明される床面上に非認識対象物５０Ｂが存在して
いたとしても、この非認識対象物５０Ｂがビデオカメラ
３６Ｂの撮像範囲に入ることはない。また、床面上のビ
デオカメラ３６Ｂによって撮像される範囲内に非認識対
象物５０Ａが存在していたとしても、画像Ｂ中に存在す
る非認識対象物５０Ｂに相当する画像部の輝度は非常に
低くなる。

【００４６】従って、先のステップ１５０の判定は、例
えば画像Ａ及び画像Ｂ中に、高輝度でかつ所定値以上の
面積の画像部が存在しているか否か等の極めて簡単な判
断処理で済む。ステップ１５０の判定が否定された場合
には、判定が肯定される迄待機する。

【００４７】情報入力空間に情報入力者１０が到来する
と、ステップ１５０の判定が肯定されてステップ１５２
へ移行し、情報入力者１０が指示動作を行っているか否
かを表すフラグに０を代入する等の初期設定を行う。次
のステップ１５４では、情報入力空間から情報入力者１
０が退去したか否か判定する。情報入力空間から情報入
力者１０が退去した場合には、前記判定が肯定されてス
テップ１５０に戻り、情報入力空間に再度情報入力者１
０が到来する迄待機するが、前記判定が否定された場合
には、ステップ１５６で特徴点座標演算処理を行う。以
下、この特徴点座標演算処理について、図７のフローチ
ャートを参照して説明する。

【００４８】ステップ２１０ではビデオカメラ３６Ａ、
３６Ｂから画像Ａ及び画像Ｂのデータを各々取り込み、
次のステップ２１２では取り込んだ画像Ａ及び画像Ｂか
ら、情報入力者１０の全体像に相当する画像部を各々抽
出する。この情報入力者１０の全体像に相当する画像部
についても、高輝度の画素から成る所定値以上の面積の
連続した領域を判断することで容易に抽出することがで
きる。

【００４９】ステップ２１４では、情報入力者１０の全
体像に相当する画像部に基づき、情報入力者１０の身長
を求める。図９に示すように、点Ｏに位置しているビデ
オカメラ３６の結像レンズの焦点距離をｆ、点Ｏを通る
鉛直線と情報入力空間の床面との交点Ｑと点Ｏとの距離
をＨ、点Ｑと情報入力者１０が立っている床面上の点Ｐ
との距離をＲ、情報入力者１０の頭頂部に相当する点
Ｐ’と点Ｐとの距離ｈを情報入力者１０の身長とする。
また、点ＰＯＱの成す角度をθ、点Ｐ’ＯＱの成す角度
をθ’、ビデオカメラ３６のエリアセンサの受光面に結
像される情報入力者１０の像の長さをｈ’、点Ｐに対応
する受光面上の結像点を点ｐ、点Ｐ’に対応する受光面
上の結像点を点ｐ’、受光面の中心ｏと点ｐとの距離を
ｒ、受光面の中心ｏと点ｐ’との距離をｒ’とすると、
角度θ、θ’、距離ｒ、ｒ’は次の（１）〜（４）式か
ら求めることができる。

【００５０】 θ ＝ｔａｎ^-1（Ｒ／Ｈ） …（１） θ’＝ｔａｎ^-1｛Ｒ／（Ｈ−ｈ）｝ …（２） ｒ ＝ｆθ …（３） ｒ’＝ｆθ’ …（４） 従って、情報入力者１０の身長ｈ及び距離Ｒは次の
（５）式及び（６）式によって求めることができる。

【００５１】 ｈ＝Ｈ｛１−ｔａｎ（ｒ／ｆ）／ｔａｎ（ｒ’／ｆ）｝ …（５） Ｒ＝Ｈｔａｎ（ｒ／ｆ） …（６） 距離Ｈ及び焦点距離ｆは既知であるので、ステップ２１
４ではビデオカメラ３６Ａ、３６Ｂの撮像によって得ら
れた画像Ａ及び画像Ｂの何れかから距離ｒ、ｒ’を求
め、これを（５）式に代入することにより情報入力者１
０の身長ｈを求めることができる。また、ステップ２１
４では、画像Ａ及び画像Ｂの各々から距離ｒを求め、こ
れを（６）式に各々代入して距離Ｒを各々求めることに
より、情報入力者１０の床面上の位置（２次元座標）を
求める。

【００５２】ステップ２１８では、画像Ａ及び画像Ｂ上
での情報入力者１０の全体像に相当する画像部の形状に
基づいて、情報入力者１０が指等によりディスプレイ１
２側を指し示す動作（指示動作）を行っているか否か判
定する。情報入力者１０から見たディスプレイ１２の方
向は既知であるので、ステップ２１８の判定は、例えば
情報入力者１０の全体像に相当する画像部において、情
報入力者１０の手に相当すると判断できる高さ位置に、
情報入力者１０から見たディスプレイ１２の方向に向か
って突出している部分が有るか否かを判断することで実
現できる。

【００５３】これにより、情報入力者１０が、図１０
（Ａ）に示す直立状態から、図１０（Ｂ）又は（Ｃ）に
示すように腕を上げて手をディスプレイ１２側に向けれ
ば、情報入力者１０が指示動作を行っていると判定され
ることになる。ステップ２１８の判定が否定された場合
には、特徴点の３次元座標の演算（詳細は後述）を行う
ことなく特徴点座標演算処理を終了する。

【００５４】情報入力者１０が指示動作を行っている場
合には、ステップ２１８の判定が肯定されてステップ２
２０へ移行する。ステップ２２０では、ビデオカメラ３
６Ａから取り込んだ画像Ａを表す画像データに基づい
て、画像Ａ中に存在する情報入力者１０の特徴点Ｐ_Xを
抽出し、画像Ａ上での特徴点Ｐ_Xの位置（Ｘ_A，Ｙ_A）を
演算する。情報入力者１０の特徴点Ｐ_Xとしては、ディ
スプレイ１２側を指し示す動作を行っている指の先端に
相当する点等を用いることができる。この場合、情報入
力者１０の全体像を表す画像部のうち、情報入力者１０
の手に相当すると判断できる高さ位置に、ディスプレイ
１２の方向に向かって突出している部分の先端の位置
を、特徴点Ｐ_Xの位置として演算することができる。

【００５５】これにより、ビデオカメラ３６Ａによって
情報入力者１０の手が図１１（Ａ）に示すように撮像さ
れた場合、特徴点Ｐ_Xの位置として、図１１（Ｂ）に示
す特徴点Ｐ_Xの座標（Ｘ_A，Ｙ_A）が演算されることにな
る。

【００５６】ステップ２２２では、記憶装置２４に記憶
されているビデオカメラ３６Ａの格子点位置情報に基づ
き、画像Ａ上での位置が（Ｘ_A±ｄＸ，Ｙ_A±ｄＹ）の範
囲（図１１（Ｂ）にハッチングで囲んだ範囲を参照）に
入る格子点を全て検索する。なお、このｄＸ及びｄＹの
大きさは、格子点の間隔（マーク４０Ａの間隔）に基づ
き、少なくとも１個以上の格子点が抽出されるように定
められている。

【００５７】また、本実施形態ではビデオカメラの結像
レンズとして広角レンズを用いており、仮にｄＸ及びｄ
Ｙを一定とすると、ビデオカメラと格子点との距離が大
きくなるに従って多くの格子点が（Ｘ_A±ｄＸ，Ｙ_A±ｄ
Ｙ）の範囲に入り、後述する特徴点Ｐ_Xの３次元座標の
演算の精度の低下に繋がる。このため、ｄＸ及びｄＹ
は、３次元座標上でのビデオカメラからの距離が離れる
に従って値が小さくなるように設定される。従って、３
次元座標上での（Ｘ_A±ｄＸ，Ｙ_A±ｄＹ）に相当する範
囲は、底面がビデオカメラ側に位置している四角錐状と
なる。

【００５８】ステップ２２４では、先のステップ２２０
と同様に、ビデオカメラ３６Ｂから取り込んだ画像Ｂを
表す画像データに基づいて、画像Ｂ中に存在する情報入
力者１０の特徴点Ｐ_Xを抽出し、画像Ｂ上での特徴点Ｐ_X
の位置（Ｘ_B，Ｙ_B）を演算する。ステップ２２６では、
先のステップ２２２と同様に、記憶装置２４に記憶され
ているビデオカメラ３６Ｂの格子点位置情報に基づき、
画像Ｂ上での位置が（Ｘ_B±ｄＸ，Ｙ_B±ｄＹ）の範囲に
入る格子点を全て検索する。

【００５９】次のステップ２２８では、画像Ａ及び画像
Ｂから共通に抽出した格子点を判定する。これにより、
情報入力空間内で特徴点Ｐ_Xに近接した位置に存在して
いる格子点のみが複数抽出されることになる。ステップ
２３０では、画像Ａ及び画像Ｂから共通に抽出した格子
点の３次元座標を、格子点位置情報から取り込む。

【００６０】本実施形態では、後述するように特徴点Ｐ
_Xの３次元座標を情報入力空間内で特徴点Ｐ_Xに近接した
位置に存在している複数の格子点の３次元座標から内挿
によって演算する（具体的には、前記複数の格子点の３
次元座標の座標値の重み付き平均により特徴点Ｐ_Xの３
次元座標の座標値を求める）。このため、特徴点Ｐ_Xの
３次元座標の演算に先立ち、次のステップ２３２では、
画像Ａ及び画像Ｂから共通に抽出した各格子点の画像Ａ
及び画像Ｂ上での位置、画像Ａ上での特徴点Ｐ _Xの位置
（Ｘ_A，Ｙ_A）、画像Ｂ上での特徴点Ｐ_Xの位置（Ｘ_B，Ｙ
_B）に基づいて、画像Ａ及び画像Ｂから共通に抽出した
各格子点の３次元座標からの内挿の割合（各格子点の３
次元座標の座標値に対する重み）を決定する。この内挿
の割合は、例えば画像Ａ及び画像Ｂ上で特徴点Ｐ_Xと近
接した位置に存在している格子点の３次元座標の座標値
の重みが大きくなるように決定することができる。

【００６１】そしてステップ２３４では、画像Ａ及び画
像Ｂから共通に抽出した格子点の３次元座標、及びステ
ップ２３２で決定した内挿の割合に基づいて、特徴点Ｐ
_Xの３次元座標（Ｘ_X，Ｙ_X，Ｚ_X）を演算する。上記のよ
うにして特徴点Ｐ_Xの３次元座標を演算すると特徴点座
標演算処理を終了し、指示判断処理（図６）のステップ
１５８へ移行する。なお、上記の特徴点座標演算処理は
繰り返し実行されるので、該処理によって演算される特
徴点Ｐ_Xの３次元座標の値は、情報入力者１０の姿勢や
動作の変化に応じて逐次更新されることになる。なお、
特徴点Ｐ_Xの３次元座標は本発明の「指示位置に関連す
る特徴量」に対応しており、特徴点座標演算処理は本発
明の演算手段（より詳しくは「指示位置に関連する特徴
量を求めることを繰り返す演算手段」）に対応してい
る。

【００６２】ステップ１５８では、先に説明した特徴点
座標演算処理（図７）のステップ２１８の判定結果に基
づき、情報入力者１０が指示動作を行っているか否かを
判定する。なお、特徴点座標演算処理では、情報入力者
１０が指示動作を行っている場合（ステップ２１８の判
定が肯定された場合）にのみ特徴点Ｐ_Xの３次元座標を
演算するので、ステップ１５８の判定は、例えば特徴点
Ｐ_Xの３次元座標が演算されたか否かを判断することで
行うことができる。ステップ１５８の判定が否定された
場合には、ステップ１６０でフラグに０を代入した後に
ステップ１５４に戻り、情報入力空間内に情報入力者１
０が存在している間はステップ１５４〜ステップ１６０
を繰り返す。

【００６３】一方、ステップ１５８の判定が肯定された
場合にはステップ１６２へ移行し、フラグが０か否か判
定する。ステップ１５８の判定を前回行ったときに情報
入力者１０が指示動作を行っていなかった場合には、ス
テップ１６０でフラグが０とされているのでステップ１
６２の判定が肯定され、ステップ１６４で変数ｉに１を
代入すると共にフラグに１を代入した後にステップ１６
６へ移行し、先の特徴点座標演算処理で演算された特徴
点Ｐ_Xの３次元座標を特徴点位置Ｐ_i（このときはｉ＝１
であるので特徴点位置Ｐ₁）としてＲＡＭ２２Ｃ等に記
憶する。

【００６４】また、ステップ１５８の判定は、情報入力
空間内に情報入力者１０が存在している間繰り返し行わ
れると共に、情報入力者１０が指示動作を行っている間
は連続して肯定され、次のステップ１６２以降の処理・
判定が略一定の周期（情報入力者１０がディスプレイ１
２の表示面上の一定の位置を指し示す動作を行っている
ときの特徴点位置のふらつきの周期よりも短い周期）で
繰り返される。ステップ１６２以降の処理・判定が２回
以上連続して行われる場合、２回目以降の周期ではステ
ップ１６２の判定が肯定されることにより、何ら処理を
行うことなくステップ１６６へ移行し、特徴点位置Ｐ_i
の記憶のみを行う。

【００６５】次のステップ１６８では、前の周期で特徴
点位置を記憶してから（特徴点位置Ｐ_i-1を記憶してか
ら）の特徴点位置の移動量Ｄを次式に従って演算する。

【００６６】Ｄ＝Ｐ_i-1−Ｐ_iそしてステップ１７０で
は、ステップ１６８で求めた移動量Ｄが所定値以上か否
か判定する。

【００６７】ここで、ステップ１７０の判定が否定され
た場合、すなわち特徴点位置の移動量が所定値未満の場
合には、情報入力者１０がディスプレイ１２の表示面上
の一定の位置を指し示す指示動作を行っており、情報入
力者１０が指示位置を移動させる動作を行っていないと
判断できる（特徴点位置の移動量Ｄが０でない場合、特
徴点位置の移動は指示位置のふらつきに起因するものと
判断できる）。このため、ステップ１７０の判定が否定
された場合にはステップ１７２へ移行し、カーソルの表
示位置の決定に用いる特徴点位置Ｐ₀として、現在（今
回の周期）の特徴点位置Ｐ_i、及び過去のｎ回の周期で
各々演算・記憶した特徴点位置Ｐ_i-n, …, Ｐ_i-1の平均
に相当する位置を演算・設定する。

【００６８】なお、特徴点位置Ｐ_i-n〜Ｐ_iは各々３次元
座標であるので、特徴点位置Ｐ₀は、特徴点位置Ｐ_i-n〜
Ｐ_iのＸ，Ｙ，Ｚ各座標値毎の平均値Ｘ₀，Ｙ₀，Ｚ₀を演
算し、この平均値を特徴点位置Ｐ₀の３次元座標値
（Ｘ₀，Ｙ₀，Ｚ₀）とすることで求めることができる。
またｎとしては任意の値を設定可能であるが、例えば３
乃至５程度の値を用いることができる。

【００６９】次のステップ１７８では、特徴点位置Ｐ₀
に基づき、特徴点位置Ｐ₀を通りかつディスプレイ１２
の表示面を含む平面と直交する仮想線（図１２に一点鎖
線で示す仮想線５４参照）を求め、情報入力者１０が指
し示している位置（指示位置）として、ディスプレイ１
２の表示面を含む平面と前記仮想線の交点（図１２の点
Ｓ参照）の座標（平面座標）を演算し、演算した指示位
置をカーソル（本発明に係る指示位置を示す記号）の表
示位置として設定する。そしてステップ１７８では、ス
テップ１７６で設定したカーソルの表示位置を情報処理
装置１４へ出力し、カーソルの表示を指示する。これに
より、情報処理装置１４は、ディスプレイ１２の表示面
上の指示された位置（この場合は現在の指示位置）にカ
ーソルを表示させる。

【００７０】このように、情報入力者１０が指示動作を
行っており、かつ指示位置を移動させる動作を行ってい
ない場合には、現在及び過去ｎ周期の各々における特徴
点位置Ｐ_i-n〜Ｐ_iの平均に相当する特徴点位置Ｐ₀を求
め、該特徴点位置Ｐ₀に対応する指示位置にカーソルを
表示しているので、情報入力者１０による指示位置が、
情報入力者１０の意図に反してふらついていたとして
も、カーソルの表示位置は、ｎ周期前から現在に至る期
間内における指示位置のふらつきが均された位置とな
る。従って、情報入力者１０がディスプレイ１２の表示
面上の一定の位置を指示する（指示しようとする）動作
を行っている間は、カーソルはおおよそ一定の位置で静
止しているようにディスプレイ１２に表示されることに
なり、情報入力者１０による指示位置のふらつきに拘ら
ず、カーソルの表示位置のふらつきを抑制することがで
き、情報入力者１０に違和感を与えることを防止するこ
とができる。

【００７１】上記のステップ１６８、１７０、１７２、
１７８、１８０は本発明の表示制御手段（請求項１に記
載の表示制御手段）に対応している。なお、ｉ≦ｎのと
きには過去の周期で演算・記憶した特徴点位置のデータ
がｎ個未満であるので、特徴点位置Ｐ₀として、現在の
特徴点位置、及び過去の周期で演算・記憶している全て
の特徴点位置の平均に相当する位置を設定する。また、
特にｉ＝１のときには過去の周期の特徴点位置のデータ
が記憶されていないので、ステップ１６８の移動量Ｄの
演算は行わず、ステップ１７０の判定が無条件で否定さ
れ、ステップ１７２において、現在の特徴点位置Ｐ_iを
特徴点位置Ｐ₀として設定する。

【００７２】ステップ１８０の処理を行うと、次のステ
ップ１８２で変数ｉを１だけインクリメントし、ステッ
プ１８２でクリック動作が行われたか否か判定する（詳
細は後述）。判定が否定された場合にはステップ１５４
へ戻り、ステップ１５４以降の処理・判定を繰り返す。

【００７３】一方、ステップ１７０の判定が肯定された
場合は、１周期の間の特徴点位置の移動量Ｄが所定値以
上であり（特徴点位置の移動速度も一定値以上とな
る）、情報入力者１０が指示位置を移動させる動作を行
っていると判断できる。このため、ステップ１７０の判
定が肯定された場合にはステップ１７４へ移行し、カー
ソルの表示位置の決定に用いる特徴点位置Ｐ₀として、
現在（今回の周期）の特徴点位置Ｐ_iを設定する。

【００７４】次のステップ１７６では、情報入力者１０
が指示位置を移動させる動作を行う前の特徴点位置を、
指示位置を移動させる動作を終了した後の特徴点位置Ｐ
₀の演算に用いることを防止するために、以前の周期で
特徴点位置のデータをＲＡＭ２２Ｃ等に記憶していた場
合には、該特徴点位置のデータを消去する。そしてステ
ップ１７８へ移行してステップ１７８、１８０の処理を
行う。

【００７５】上記のように、情報入力者１０が指示位置
を移動させる動作を行っている場合（ステップ１７０の
判定が肯定された場合）には、ステップ１７４におい
て、特徴点位置Ｐ₀として現在の特徴点位置Ｐ_iを設定す
るので、カーソルは、情報処理装置１４により、ディス
プレイ１２の表示面上の情報入力者１０による現在の指
示位置に表示されることになる。

【００７６】上記のステップ１７４は、情報入力者１０
の特徴点位置の移動量Ｄが所定値以上の間、すなわち情
報入力者１０が指示位置を移動させる動作を行っている
間繰り返し実行され、そのときの指示位置にカーソルを
表示させるので、情報入力者１０が指示位置を移動させ
る動作を行うと、カーソルの表示位置が連続的に変化
し、カーソルがディスプレイ１２の表示面上を滑らかに
移動することになる。従って、指示位置を移動させる動
作を行った情報入力者１０に違和感を与えることを防止
することができる。このように、ステップ１７４は請求
項２に記載の表示制御手段に対応している。

【００７７】なお、上記のように現在の指示位置にカー
ソルを表示させることに代えて、例えば情報入力者１０
によるカーソルの視認性の向上を考慮し、現在の指示位
置から所定量オフセットした位置にカーソルを表示させ
るようにしてもよい。

【００７８】次に、ステップ１８４の判定に係るクリッ
ク動作について説明する。クリック動作としては種々の
動作を採用することができ、例えば情報入力者１０が手
を前方に素早く移動させる動作（図１３（Ａ）参照、以
下「前進クリック」という）、及び情報入力者１０が手
を後方に素早く移動させる動作（図１３（Ｂ）参照、以
下「後進クリック」という）をクリック動作とすること
ができる。このクリック動作は、ディスプレイ１２の表
示面上の特定の箇所を指し示して選択する動作として極
めて自然な動作であるので、認識対象者は違和感を感ず
ることなくクリック動作を行うことができる。

【００７９】前進クリック動作や後進クリック動作が行
われたか否かの判定は、例えば情報入力者１０の身体の
所定部分（例えば腕の付け根や胸部、或いは背中等）の
位置を基準とし、前記所定部分に対して一定の位置に位
置している仮想点Ｐ_Bの３次元座標を求め、仮想点Ｐ_Bと
特徴点Ｐ_Xとの距離ｋ（図１２参照）を演算すること
を、情報入力者１０が指示動作を行っている間繰り返
し、ステップ１８４において、今回の周期で演算した距
離ｋと前回の周期で演算した距離ｋとの差が所定値以上
か否かを判断することで行うことができる。

【００８０】ステップ１８４の判定が否定された場合に
は、何ら処理を行うことなくステップ１５４へ戻るが、
ステップ１８４の判定が肯定された場合にはステップ１
８６へ移行し、情報入力者１０によって行われたクリッ
ク動作に関する情報（例えばクリック動作時の指示位置
（クリック位置）を表す情報や、情報入力者１０によっ
て行われたクリック動作が前進クリックか後進クリック
かを表す情報等）を情報処理装置１４へ通知する。

【００８１】これにより、情報処理装置１４は、通知さ
れたクリック動作に関する情報に基づいて所定の処理を
実行する。この所定の処理としては任意の処理を採用す
ることができるが、例えばディスプレイ１２の表示面上
の特定のアプリケーションを表すアイコンを表示してい
る箇所が前進クリックされた場合には、前記特定のアプ
リケーションを起動し、例えば前記アイコンを表示して
いる箇所が後進クリックされた場合には、前記特定のア
プリケーションに関連する特殊処理（例えばアプリケー
ションに関する各種パラメータの設定、アプリケーショ
ンのバージョン表示、アイコンの表示に関するパラメー
タの設定等）を一覧表示し、更に特定の特殊処理が前進
クリックされた場合には、クリックされた特殊処理を実
行する、等の処理を行うことができる。

【００８２】また、例えば通常処理モード、ファイル転
送モード、ファイル検索モード等のように予め複数種の
処理モードを用意しておくと共に、情報入力者１０が複
数種の処理モードの何れかへの切り替えを指示するため
のモード切替指示手段（フットスイッチであってもよい
し、情報入力者１０が手の形を変える等の処理モード切
替指示動作を行ったか否かを検知する機構（アルゴリズ
ム）であってもよい）を設け、クリック動作が行われた
場合に、処理モード毎に異なる処理を行うようにしても
よい。

【００８３】なお、情報入力者１０が腕を下ろしている
ときには肘を伸ばしている状態が自然であるが、ディス
プレイ１２の表示面内の所望の位置を指し示すために腕
を上げたときには自然に肘が若干曲がる（後でクリック
動作を行うことを考えても、肘を伸ばしたまま腕を上げ
る動作より、肘を若干曲げながら腕を上げる動作の方
が、所望の位置を指し示している状態となったときに自
然に肘が若干曲がっていることになり合理的である）の
で、情報入力者１０が腕を上げる動作の最中に基準点と
特徴点Ｐ_Xとの距離ｋが変化する。これを考慮すると、
情報入力者１０がディスプレイ１２の表示面内に相当す
る位置を指し示している状態が、比較的短い時間以上継
続した後に、クリック動作が行われたか否かの判定を開
始するか、或いは情報処理装置１４に対するクリック動
作が行われた旨の通知を禁止することが好ましい。これ
により、情報入力者１０による指示位置がディスプレイ
１２の表示面外から表示面内へ変化したときに、クリッ
ク動作が行われたと誤判断することを防止できる。

【００８４】また、情報入力者１０によるクリック動作
の最中に指示位置がずれる可能性があることを考慮する
と、クリック位置として、情報入力者１０がクリック動
作を開始した際の指示位置を用いることが好ましい。こ
れにより、クリック動作の最中に指示位置がずれたとし
ても、情報入力者１０が当初指し示していた位置に対応
する処理を確実に実行することができる。

【００８５】次に、本発明の他の実施形態として、指示
判断処理の他の例について図１４のフローチャートを参
照し、先に説明した指示判断処理（図６）と異なる部分
についてのみ説明する。

【００８６】図１４に示す指示判断処理では、ステップ
１６８で特徴点位置の移動量Ｄを演算した後に、次のス
テップ１６９において、特徴点位置の移動量Ｄに基づ
き、移動量Ｄに略反比例するように変数ｎ（過去の各周
期で演算・記憶された特徴点位置データのうち、次のス
テップ１７２で特徴点位置Ｐ₀の演算に用いるデータの
数：本発明の所定時間に対応）を設定する。この変数ｎ
の設定は、例として図１５に実線又は破線で示すように
移動量Ｄと変数ｎとの関係を定めたマップを用いて行う
ことができる。

【００８７】図１５に実線及び破線で示す関係は、何れ
も変数ｎが移動量Ｄの変化に略反比例するように定めら
れており、図１５に実線で示す関係を表すマップを用い
た場合には、移動量Ｄが大きく（すなわち指示位置の移
動速度が速く）なるに従って、変数ｎの値（すなわち特
徴点位置Ｐ₀の演算に用いるデータの数）が連続的に小
さくされ、図１５に破線で示す関係を表すマップを用い
た場合には、移動量Ｄが大きく（指示位置の移動速度が
速く）なるに従って、変数ｎの値（特徴点位置Ｐ₀の演
算に用いるデータの数）が段階的に小さくされる。

【００８８】なお、変数ｎのとり得る値は０及び正の整
数値であるので、ステップ１６８で求めた移動量Ｄに基
づき、図１５に実線で示す関係を表すマップを用いて変
数ｎの値を求める場合には、マップから求めた変数ｎの
値が非整数値であれば整数化した後に変数ｎとして設定
する。

【００８９】そして、次のステップ１７２では、ステッ
プ１６９で設定した変数ｎを用い、カーソルの表示位置
の決定に用いる特徴点位置Ｐ₀として、現在（今回の周
期）の特徴点位置Ｐ_i、及び過去のｎ回の周期で各々演
算・記憶した特徴点位置Ｐ_i-n, …, Ｐ_i-1の平均に相当
する位置が演算・設定され、ステップ１７８で特徴点位
置Ｐ₀に基づいてカーソルの表示位置が決定される。

【００９０】上記では、移動量Ｄに略反比例するように
変数ｎを設定しているので、移動量Ｄが大きくなる（指
示位置の移動速度が速くなる）に従い、特徴点位置Ｐ₀
として、より短い期間内の特徴点位置の平均に相当する
位置が演算・設定される。カーソルは特徴点位置Ｐ₀に
対応する位置に表示されるので、指示位置の移動速度が
速くなるに伴って、指示位置の移動に対するカーソル表
示位置の追従速度が速くされ、指示位置を移動させる動
作を行った情報入力者１０に違和感を与えることを防止
することができる。

【００９１】なお、移動量Ｄが大きくなるに従って変数
ｎの値を小さくすることに代えて、現在又は現在に近い
周期で演算した特徴点位置の重みが大きくなるように、
現在及び過去のｎ回の周期で各々演算・記憶した特徴点
位置Ｐ_i-n, …, Ｐ_i-1の各々に対する重みを定め、カー
ソルの表示位置の決定に用いる特徴点位置Ｐ₀として特
徴点位置Ｐ_i-n, …, Ｐ_i-1の加重平均に相当する位置を
演算・設定するようにしてもよい。

【００９２】また、移動量Ｄに略反比例するように変数
ｎを設定しているので、移動量Ｄが小さくなる（指示位
置の移動速度が遅くなる）に従い、特徴点位置Ｐ₀とし
て、より長い期間内の特徴点位置の平均に相当する位置
が演算・設定され、特徴点位置Ｐ₀に対応する位置にカ
ーソルが表示される。従って、指示位置の移動速度が遅
くなるに伴って、指示位置がふらつきに対するカーソル
の表示位置のふらつきがより強く抑制されるので、ディ
スプレイ１２の表示面上の一定の位置を指し示す指示動
作を行っている情報入力者１０に違和感を与えることを
防止することができる。

【００９３】これにより、指示位置の移動速度に拘らず
情報入力者１０に違和感を与えることを防止することが
できる。このように、ステップ１６９は請求項３及び請
求項４に記載の表示制御手段に対応している。

【００９４】なお、上記では特徴点位置の移動量Ｄが所
定値未満の場合に、現在及び過去ｎ周期の各々における
特徴点位置Ｐ_i-n〜Ｐ_iの平均に相当する特徴点位置Ｐ₀
を求め、該特徴点位置Ｐ₀に対応する指示位置にカーソ
ルを表示していたが、本発明はこれに限定されるもので
はなく、例えば各周期で情報入力者１０による指示位置
を各々演算して記憶しておき（請求項１に記載の「指示
位置を求めることを繰り返す演算手段」に対応）、現在
及び過去ｎ周期の各々における指示位置の平均に相当す
る指示位置を求め、該指示位置にカーソルを表示するよ
うにしてもよい。

【００９５】また、上記では特徴点を通りかつディスプ
レイ１２の表示面を含む平面と直交する仮想線を用い、
前記平面と前記仮想線の交点を情報入力者１０による指
示位置としていたが、これに代えて、特徴点及び仮想点
Ｐ_B（図１２参照）を各々通る仮想線を用い、該仮想線
と前記平面との交点を指示位置としてもよい。この場
合、各周期において特徴点位置及び仮想点位置を演算し
た後に指示位置を演算・記憶しておき、特徴点位置の移
動量Ｄが所定値未満のときには、現在及び過去ｎ周期の
各々における指示位置の平均を演算するようにしてもよ
いし、各周期では特徴点位置及び仮想点位置の演算・記
憶のみを行い、特徴点位置の移動量Ｄが所定値未満のと
きには、現在及び過去ｎ周期の各々における特徴点位置
の平均及び仮想点位置の平均を各々演算し、特徴点位置
の平均及び仮想点位置の平均から指示位置の平均を演算
するようにしてもよい。

【００９６】また、上記では２台のビデオカメラ３６
Ａ、３６Ｂを設けた例を説明したが、これに限定される
ものではなく、より多数のビデオカメラによって情報入
力空間を各々撮像し、情報入力者１０からの指示を判断
するようにしてもよい。

【００９７】更に、上記では本発明に係る特徴点Ｐ_Xと
して、指先に相当する点を例に説明したが、特徴点は認
識対象者が指し示す位置を変えることで位置が変化する
点であればよく、例えば認識対象者の手首に相当する点
や、認識対象者の手の甲に相当する点を特徴点として用
いるようにしてもよい。

【００９８】また、情報入力者１０の姿勢が、腕を上げ
ている状態（図１１（Ｂ）又は（Ｃ）参照）から、腕を
下ろした状態（図１１（Ａ）参照）に変化した場合に、
腕を下ろす直前の指示位置にカーソルを継続して表示す
るようにしてもよい。これにより、情報入力者１０が一
定箇所にカーソルを継続して表示させたい等の場合にも
（例えば会議のプレゼンテーション等）、情報入力者１
０が継続的に腕を上げ続ける必要がなくなるので、情報
入力者１０の負担を軽減することができる。また、上記
ではクリック動作として、情報入力者１０が手を前方に
素早く移動させる前進クリック動作、及び情報入力者１
０が手を後方に素早く移動させる後進クリック動作のみ
を判断するようにしていたが、これに限定されるもので
はなく、例えば基準点と特徴点Ｐ_Xとの距離ｋの推移を
所定時間に亘って監視することにより、マウスの操作で
は一般的なダブルクリック動作（ハンドポインティング
装置では、例えば前進クリック動作又は後進クリック動
作を２回続けて行う動作等で代用できる）やドラッグ＆
ドロップ動作（ハンドポインティング装置では、例えば
前進クリック動作→指示位置移動動作→後進クリック動
作等の一連の動作により代用できる）も判断するように
してもよい。

【００９９】更に、ディスプレイ１２としては、プラズ
マディスプレイ、ＣＲＴ、光ファイバディスプレイ等の
周知の表示装置を適用してもよいし、液晶ゴーグル等を
適用することも可能である。また、擬似的に３次元空間
を表す３次元的画像をディスプレイに表示するようにし
てもよい。具体的には、上記のような平面ディスプレイ
い一点透視法や二点透視法に則った画像を表示したり、
液晶シャッタやレンチキュラーレンズを利用した３次元
ディスプレイに画像を表示したり、ホログラフィー技術
を適用して立体画像を表示するようにしてもよい。

【０１００】また、上記では本発明に係る記録媒体とし
てＣＤ−ＲＯＭ４２を例に説明したが、本発明はこれに
限定されるものではなく、例えばハードディスク装置の
内蔵ハードディスクやＦＤ等の磁気ディスク、ＣＤ−Ｒ
等の光ディスク、ＭＯ等の光磁気ディスク、メモリカー
ド、ＩＣカード等の各種の情報記憶媒体を、本発明に係
る記録媒体として適用可能であることは言うまでもな
い。

【０１０１】

【発明の効果】以上説明したように請求項１記載の発明
及び請求項５記載の発明は、認識対象者が特定の位置を
指し示している状況を互いに異なる複数の方向から撮像
することで得られた複数の画像に基づいて、認識対象者
による指示位置又は該指示位置に関連する特徴量を求め
ることを繰り返すと共に、求めた指示位置又は該指示位
置に関連する特徴量に基づき、画像を表示するための表
示手段の表示面上における、所定時間前から現在に至る
期間内における指示位置の平均に相当する表示位置に、
指示位置を示す記号を表示させるようにしたので、利用
者による指示位置のふらつきに拘らず、指示位置を表す
記号の表示位置のふらつきを抑制することができる、と
いう優れた効果を有する。

【０１０２】請求項２記載の発明は、請求項１の発明に
おいて、認識対象者が指示位置を移動させる動作をして
いると判断した場合に、指示位置を示す記号を、表示面
上の現在の指示位置又はその近傍に表示させるので、上
記効果に加え、指示位置を移動させる動作を行った利用
者に違和感を与えることを防止することができる、とい
う効果を有する。

【０１０３】請求項３記載の発明は、請求項１の発明に
おいて、認識対象者が指示位置を移動させる動作をして
いると判断した場合には、前記所定時間の長さを短くし
て表示位置を求めるので、上記効果に加え、指示位置を
移動させる動作を行った利用者に違和感を与えることを
防止することができる、という効果を有する。

【０１０４】請求項４記載の発明は、請求項２の発明に
おいて、指示位置の移動速度が速くなるに従って、前記
所定時間の長さを段階的又は連続的に短くして表示位置
を求めるので、上記効果に加え、指示位置の移動速度に
拘らず利用者に違和感を与えることを防止することがで
きる、という効果を有する。

【０１０５】請求項６記載の発明は、認識対象者が特定
の位置を指し示している状況を、互いに異なる複数の方
向から撮像することで得られた複数の画像に基づいて、
認識対象者による指示位置又は該指示位置に関連する特
徴量を求めることを繰り返す第１のステップ、及び、求
めた指示位置又は該指示位置に関連する特徴量に基づ
き、画像を表示するための表示手段の表示面上におけ
る、所定時間前から現在に至る期間内における指示位置
の平均に相当する表示位置に、指示位置を示す記号を表
示させる第２のステップを含む処理をコンピュータに実
行させるためのプログラムを記録媒体に記録したので、
利用者による指示位置のふらつきに拘らず、指示位置を
表す記号の表示位置のふらつきを抑制することができ
る、という優れた効果を有する。

【図面の簡単な説明】

【図１】 情報入力空間の周辺を示す斜視図である。

【図２】 本実施形態に係るハンドポインティング入力
装置の概略構成を示すブロック図である。

【図３】 照明装置の照明範囲とビデオカメラの撮像範
囲との関係の一例を示す概略図である。

【図４】 マーク板の一例を示す情報入力空間の斜視図
である。

【図５】 格子点位置情報初期設定処理を示すフローチ
ャートである。

【図６】 指示判断処理の内容を示すフローチャートで
ある。

【図７】 基準点・特徴点座標演算処理の内容を示すフ
ローチャートである。

【図８】 照明装置Ａ、Ｂの点灯・消灯、ビデオカメラ
の撮像によって得られる画像の出力（取り込み）のタイ
ミングを示すタイミングチャートである。

【図９】 情報入力者の身長及び床面上の位置の演算を
説明するための、情報入力空間の側面図である。

【図１０】 （Ａ）乃至（Ｃ）は情報入力者の動作の一
例を示すイメージ図である。

【図１１】 （Ａ）はビデオカメラにより撮像された情
報入力者の手を示すイメージ図、（Ｂ）は特徴点の座標
及び特徴点の３次元座標を求めるための格子点の検索範
囲を示す概念図である。

【図１２】 情報入力者が指し示しているディスプレイ
上の位置の判定を説明するための、（Ａ）は情報入力空
間の平面図、（Ｂ）は情報入力空間の側面図である。

【図１３】 （Ａ）は前進クリック動作、（Ｂ）は後進
クリック動作を説明するためのイメージ図である。

【図１４】 他の指示判断処理の内容を示すフローチャ
ートである。

【図１５】 特徴点位置の移動量Ｄと、指示位置の演算
に用いる特徴点位置のデータ数を表す変数ｎと、の関係
を定めたマップの一例を示す線図である。

【符号の説明】

１０ 情報入力者 １２ ディスプレイ １４ 情報処理装置 ２０ ハンドポインティング入力装置 ２２ コントローラ ３６ ビデオカメラ ４０ ＣＤ−ＲＯＭドライバ ４２ ＣＤ−ＲＯＭ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｇ 5/08 Ｇ０６Ｆ 15/62 ３２２Ｐ (72)発明者 半沢 久 千葉県印西市大塚一丁目５番地１ 株式会 社竹中工務店技術研究所内 (72)発明者 瓜谷 真幸 東京都中央区銀座八丁目21番１号 株式会 社竹中工務店東京本店内 (72)発明者 川島 哲文 東京都中央区銀座八丁目21番１号 株式会 社竹中工務店東京本店内 Ｆターム(参考） 5B050 AA10 BA12 DA02 EA07 EA13 FA02 FA16 5B087 AA02 AB02 AD01 BC06 DD06 5C082 AA03 AA15 AA22 AA27 AA37 BA02 BA12 BA43 CA02 CA56 CB06 DA01 DA87 MM09 MM10

Claims (6)

【特許請求の範囲】
1. 【請求項１】 画像を表示するための表示手段と、 認識対象者を互いに異なる複数の方向から撮像する撮像
   手段と、 認識対象者が特定の位置を指し示している状況を前記撮
   像手段が撮像することで得られた複数の画像に基づい
   て、前記画像中の前記認識対象者に相当する画像部を抽
   出し、認識対象者による指示位置又は該指示位置に関連
   する特徴量を求めることを繰り返す演算手段と、 前記演算手段によって求められた指示位置又は該指示位
   置に関連する特徴量に基づき、前記表示手段の表示面上
   における、所定時間前から現在に至る期間内における指
   示位置の平均に相当する表示位置を求め、前記指示位置
   を示す記号を、前記求めた表示位置に表示させる表示制
   御手段と、 を含むハンドポインティング装置。
2. 【請求項２】 前記表示制御手段は、認識対象者が指示
   位置を移動させる動作をしていると判断した場合には、
   前記指示位置を示す記号を、前記表示面上の現在の指示
   位置又はその近傍に表示させることを特徴とする請求項
   １記載のハンドポインティング装置。
3. 【請求項３】 前記表示制御手段は、認識対象者が指示
   位置を移動させる動作をしていると判断した場合には、
   前記所定時間の長さを短くして前記表示位置を求めるこ
   とを特徴とする請求項２記載のハンドポインティング装
   置。
4. 【請求項４】 前記表示制御手段は、指示位置の移動速
   度が速くなるに従って、前記所定時間の長さを段階的又
   は連続的に短くして前記表示位置を求めることを特徴と
   する請求項３記載のハンドポインティング装置。
5. 【請求項５】 認識対象者が特定の位置を指し示してい
   る状況を、互いに異なる複数の方向から撮像することで
   得られた複数の画像に基づいて、前記画像中の前記認識
   対象者に相当する画像部を抽出し、認識対象者による指
   示位置又は該指示位置に関連する特徴量を求めることを
   繰り返すと共に、 求めた指示位置又は該指示位置に関連する特徴量に基づ
   き、画像を表示するための表示手段の表示面上におけ
   る、所定時間前から現在に至る期間内における指示位置
   の平均に相当する表示位置を求め、前記指示位置を示す
   記号を、前記求めた表示位置に表示させる指示位置表示
   方法。
6. 【請求項６】 認識対象者が特定の位置を指し示してい
   る状況を、互いに異なる複数の方向から撮像することで
   得られた複数の画像に基づいて、前記画像中の前記認識
   対象者に相当する画像部を抽出して認識対象者による指
   示位置又は該指示位置に関連する特徴量を求めることを
   繰り返す第１のステップ、 及び、求めた指示位置又は該指示位置に関連する特徴量
   に基づき、画像を表示するための表示手段の表示面上に
   おける、所定時間前から現在に至る期間内における指示
   位置の平均に相当する表示位置を求め、前記指示位置を
   示す記号を、前記求めた表示位置に表示させる第２のス
   テップを含む処理をコンピュータに実行させるためのプ
   ログラムが記録された記録媒体。