JP3792907B2 - ハンドポインティング装置 - Google Patents
ハンドポインティング装置 Download PDFInfo
- Publication number
- JP3792907B2 JP3792907B2 JP22311698A JP22311698A JP3792907B2 JP 3792907 B2 JP3792907 B2 JP 3792907B2 JP 22311698 A JP22311698 A JP 22311698A JP 22311698 A JP22311698 A JP 22311698A JP 3792907 B2 JP3792907 B2 JP 3792907B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- information input
- recognition target
- target person
- recognized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明はハンドポインティング装置に係り、特に、認識対象者を撮像し、認識対象者が指し示した位置又は方向を判断すると共に、認識対象者がクリック動作を行った場合に所定の処理を実行するハンドポインティング装置に関する。
【０００２】
【従来の技術】
従来より、所定の情報を表示するディスプレイ、ディスプレイの近傍に到来した情報入力者（利用者）を互いに異なる方向から撮像する複数の撮像手段を備え、到来した情報入力者がディスプレイ上の任意の位置を指等によって指し示した状況を複数の撮像手段によって撮像し、撮像によって得られた複数の画像に基づいて情報入力者を認識し、情報入力者が指示したディスプレイ上の位置を判断し、ディスプレイ上の指示位置にカーソル等を表示すると共に、情報入力者が親指を上げるクリック動作を行ったことを検出すると、ディスプレイ上の指示位置がクリックされたと認識して所定の処理を行うハンドポインティング入力装置が知られている（例えば特開平4-271423号公報、特開平 5-19957号公報、特開平5-324181号公報等参照）。
【０００３】
上記のハンドポインティング入力装置によれば、情報入力者がキーボードやマウス等の入力機器に触れることなく、情報処理装置に対して各種の指示を与えたり、各種の情報を入力することが可能となるので、情報処理装置を利用するための操作の簡素化を実現できる。しかし、クリック動作は頻繁に行う必要がある動作であるのに対し、上記の従来技術においてクリック動作として用いられている親指を上げる動作は、動作としての自由度が低く、クリック動作として感覚的に馴染みにくい不自然な動作である、という問題がある。
【０００４】
このため本願出願人は、特願平９−３６９６２８号（未公知）の中で、情報入力者（認識対象者）が腕を屈曲又は伸長させる動作をクリック動作とすることを提案している。腕を屈曲又は伸長させる動作は、クリック動作として極めて自然な動作であるので、認識対象者が違和感を感ずることはない。また、上記技術では、例えば認識対象者の手や指等の先端、或いは認識対象者が把持している指示器の先端等に相当する特徴点と、例えば情報入力者の胸部や腕の付け根等の胴体部に相当する基準点と、の距離の変化に基づいて、腕を屈曲又は伸長させる動作を検出しているが、前述の特徴点及び基準点は情報入力者による指示位置（又は指示方向）を判断するために抽出される点であるので、クリック動作の検出に際して新たな画像特徴量を検出する必要もなく、上記動作を容易に検出することができる。
【０００５】
【発明が解決しようとする課題】
ところで、情報入力者によってクリック動作が行われたと判断すると、ハンドポインティング装置は、クリック動作が行われたときの情報入力者による指示位置（又は指示方向）に対応する処理を実行する（例えばクリック動作が行われたときに、情報入力者が、ディスプレイの表示面上の特定のアイコン等が表示されている位置を指し示していた場合に、前記特定のアイコン等に対応する特定の処理を実行する等）が、クリック動作としての腕を屈曲又は伸長させる動作は指示位置又は指示方向の変化を招き易く、情報入力者によるクリック動作の最中に、情報入力者による指示位置又は指示方向にずれが生ずることがあった。
【０００６】
このため、例えば情報入力者が特定位置又は特定方向を指し示している状態でクリック動作を行ったにも拘らず、特定位置と異なる位置又は特定方向と異なる方向がクリックされたと誤判断され、前記特定位置又は前記特定方向と無関係な処理（情報入力者が意図していない処理）が実行される等の不都合が生ずる可能性があった。
【０００７】
また、情報入力者が腕を屈曲又は伸長させるクリック動作を行ったか否かの判断は、前述のように、情報入力者の特徴点と基準点の距離の変化に基づいて行うことができるが、情報入力者が、腕を下ろしている状態から、例えばディスプレイ上の特定位置を指し示すために単に腕を上げる動作を行ったときにも、情報入力者の特徴点と基準点の距離が変化することがある。この場合、情報入力者がクリック動作を行っていないにも拘らず、情報入力者の特徴点と基準点の距離の変化に基づき、情報入力者によってクリック動作が行われたと誤判断され、情報入力者の意図に反して何らかの処理が実行されることがあった。
【０００８】
また、ハンドポインティング装置は、マウス等のポインティングデバイスに代わる技術として期待されているが、例えばマウスは通常複数のボタンが設けられており、最近は、画面表示のスクロールを指示するマークを画面に表示させるための特殊なボタンも付加されたマウスも市場に出回っている。マウスを使用する場合には、これらのボタンを使い分けることにより、マウスによるクリック操作に様々な意味を持たせ、情報処理装置に対して種々の指示を与えることが可能とされている。
【０００９】
これに対し、従来のハンドポインティング装置において、情報入力者の動作として規定されている動作は、ディスプレイ上の任意の箇所を指し示すポインティング動作、及びディスプレイ上の任意の箇所をクリックするクリック動作のみであり、情報処理装置に対して種々の指示を与えることは不可能であった。また、指示の種類数に対応してクリック動作を多数種定めることも考えられるが、クリック動作が行われたか否かの判断を多数種のクリック動作について各々行う必要があるので、クリック動作を判断する処理が非常に複雑になると共に、情報入力者によってクリック動作が行われてから、クリック動作が行われたと判断する迄に長い時間がかかることも考えられる。
【００１０】
本発明は上記事実を考慮して成されたもので、クリック動作が行われた時の指示位置又は指示方向の誤判断を防止することができるハンドポインティング装置を得ることが目的である。
【００１１】
また本発明は、クリック動作が行われていないにも拘らず、利用者の意図に反して何らかの処理が実行されることを防止できるハンドポインティング装置を得ることが目的である。
【００１２】
また本発明は、クリック動作の判断処理の複雑化を招くことなく、利用者がクリック動作によって種々の指示を与えることが可能なハンドポインティング装置を得ることが目的である。
【００１３】
【課題を解決するための手段】
上記目的を達成するために請求項１記載の発明に係るハンドポインティング装置は、認識対象者を互いに異なる複数の方向から撮像する撮像手段と、認識対象者が特定の位置又は方向を指し示している状況を前記撮像手段が撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標を求め、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断する第１の判断手段と、前記基準点と前記特徴点との距離の変化に基づき、認識対象者によってクリック動作が行われたか否かを判断する第２の判断手段と、前記第２の判断手段により、認識対象者によってクリック動作が行われたと判断された場合に、前記第１の判断手段による判断結果に基づき、前記クリック動作が行われる直前の認識対象者による指示位置又は指示方向に対応する所定の処理を実行する処理手段と、を含んで構成している。
【００１４】
請求項１記載の発明では、撮像手段によって互いに異なる複数の方向から認識対象者（利用者）を撮像する。この撮像手段は、ビデオカメラ等から成る複数の撮像装置によって認識対象者を複数の方向から撮像するよう構成してもよいし、平面ミラー等の光反射手段を設け、単一の撮像装置により認識対象者を直接撮像すると共に、平面ミラーに映っている認識対象者の虚像を撮像することで、認識対象者を複数の方向から撮像するよう構成することも可能である。
【００１５】
また、第１の判断手段は、認識対象者が特定の位置又は方向を指し示している状況を、撮像手段が互いに異なる複数の方向から撮像することで得られた複数の画像に基づいて、画像中の認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標を求める。なお、特徴点としては、例えば認識対象者の手や指等の先端、或いは認識対象者が把持している指示器の先端等に相当する点を用いることができ、基準点としては、例えば認識対象者の胴体部（例えば胸部や腕の付け根等）に相当する点を用いることができる。
【００１６】
また第１の判断手段は、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断する。従って、認識対象者が、例えばディスプレイの表示面等の面上の特定の位置を指し示したり、特定の方向（例えば認識対象者から見て特定の物体が存在している方向）を指し示す動作を行えば、認識対象者による指示位置又は指示方向が判断されることになる。
【００１７】
一方、第２の判断手段は前述の基準点と特徴点との距離の変化に基づき、認識対象者によってクリック動作が行われたか否かを判断する。従って、認識対象者が腕を屈曲又は伸長させる動作を行えば、基準点と特徴点との距離の変化に基づいてクリック動作が行われたと判断され、処理手段によって所定の処理が行われる。このように、クリック動作が行われたか否か（所定の処理の実行が指示されたか否か）を判定するために新たな画像特徴量を検出する必要がないので、クリック動作が行われたか否かを短時間で判断することができる。
【００１８】
また、請求項１の発明に係る処理手段は、所定の処理として、クリック動作が行われる直前の認識対象者による指示位置又は指示方向に対応する処理を実行する。クリック動作が行われる直前の指示位置又は指示方向は、例えば第１の判断手段によって判断された指示位置又は指示方向と、基準点と特徴点との距離と、を所定期間に亘って記憶しておき、クリック動作が行われたと判断された場合に、所定期間内における基準点と特徴点との距離の推移に基づいて、クリック動作が行われる直前のタイミングを判断し、該直前のタイミングにおける指示位置又は指示方向を検索することで得ることができる。
【００１９】
これにより、認識対象者によるクリック動作の最中に指示位置又は指示方向がずれたとしても、認識対象者が当初指し示した位置又は方向に対応する処理を確実に実行することができる。従って、請求項１の発明によれば、クリック動作が行われた時の指示位置又は指示方向の誤判断を防止することができ、認識対象者が所望する処理を確実に実行することができる。
【００２０】
請求項２記載の発明に係るハンドポインティング装置は、認識対象者を互いに異なる複数の方向から撮像する撮像手段と、認識対象者が特定の位置又は方向を指し示している状況を前記撮像手段が撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標を求め、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断する第１の判断手段と、前記基準点と前記特徴点との距離の変化に基づき、認識対象者によってクリック動作が行われたか否かを判断する第２の判断手段と、前記第１の判断手段によって判断された認識対象者による指示位置又は指示方向が所定範囲内で、かつ前記第２の判断手段により、認識対象者によってクリック動作が行われたと判断された場合に、前記指示位置又は指示方向に対応する所定の処理を実行する処理手段と、前記第１の判断手段による判断結果に基づき、認識対象者による指示位置又は指示方向が所定範囲外から所定範囲内へ変化したときには、前記第２の判断手段による判断を停止させるか、又は前記処理手段による所定の処理の実行を禁止する制御手段と、を含んで構成している。
【００２１】
請求項２記載の発明は、請求項１の発明と同様に撮像手段、第１の判断手段、第２の判断手段を備えており、請求項２の発明に係る処理手段は、認識対象者による指示位置又は指示方向が所定範囲内で、かつ認識対象者によってクリック動作が行われたと判断された場合に、認識対象者による指示位置又は指示方向に対応する所定の処理を実行する。従って、認識対象者が特定位置や特定方向を指し示す動作を行えば、認識対象者による指示位置又は指示方向が判断され、認識対象者が所定範囲内の特定位置や特定方向を指し示している状態で腕を屈曲又は伸長させる動作を行えば、基準点と特徴点との距離の変化に基づきクリック動作が行われたと判断され、指示位置又は指示方向に対応する所定の処理が処理手段によって行われる。
【００２２】
また請求項２の発明は、第１の判断手段による判断結果に基づき、認識対象者による指示位置又は指示方向が所定範囲外から所定範囲内へ変化したときには、第２の判断手段による判断を停止させるか、又は処理手段による所定の処理の実行を禁止する制御手段を備えている。これにより、認識対象者が指示位置又は指示方向を所定範囲外から所定範囲内へ移動させる動作を行い、この動作に伴って基準点と特徴点との距離が変化した場合にも、制御手段が第２の判断手段による判断を停止させる場合は、前記動作がクリック動作と誤判断されることが防止される。また、制御手段が処理手段による所定の処理の実行を禁止する場合は、前記動作がクリック動作と誤判断される可能性はあるものの、この誤判断に基づいて所定の処理が実行されることが防止される。
【００２３】
従って、請求項２の発明によれば、認識対象者が、指示位置又は指示方向を単に所定範囲外から所定範囲内へ移動させる動作を行った等のように、クリック動作を行っていないにも拘らず、クリック動作が行われたと誤判断され、利用者の意図に反して何らかの処理が実行されることを防止することができる。
【００２４】
請求項３記載の発明に係るハンドポインティング装置は、認識対象者を互いに異なる複数の方向から撮像する撮像手段と、認識対象者が特定の位置又は方向を指し示している状況を前記撮像手段が撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標を求め、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断する第１の判断手段と、前記基準点と前記特徴点との距離の変化に基づき、認識対象者によってクリック動作が行われたか否かを判断する第２の判断手段と、前記クリック動作とは異なる処理モード切替指示動作が認識対象者によって行われたか否かを判定し、現在の処理モードを判断する第３の判断手段と、前記第２の判断手段により、認識対象者によってクリック動作が行われたと判断された場合に、前記第１の判断手段によって判断された認識対象者による指示位置又は指示方向に対応し、かつ前記第３の判断手段によって判断された現在の処理モードに対応する所定の処理を実行する処理手段と、を含んで構成している。
【００２５】
請求項３記載の発明は、請求項１及び請求項２の発明と同様に撮像手段、第１の判断手段、第２の判断手段を備えているので、認識対象者が特定位置又は特定方向を指し示す動作を行えば、認識対象者による指示位置又は指示方向が判断され、認識対象者が特定位置又は特定方向を指し示している状態で腕を屈曲又は伸長させる動作を行えば、基準点と特徴点との距離の変化に基づいてクリック動作が行われたと判断される。
【００２６】
また、請求項３の発明は、クリック動作とは異なる処理モード切替指示動作が認識対象者によって行われたか否かを判定し、現在の処理モードを判断する第３の判断手段を備えており、処理手段は、認識対象者によってクリック動作が行われたと判断された場合に、認識対象者による指示位置又は指示方向に対応し、かつ第３の判断手段によって判断された現在の処理モードに対応する所定の処理を実行する。従って、クリック動作が意味する指示、すなわちクリック動作を行うことで実行される処理は処理モードに応じて切り替わると共に、この処理モードは、認識対象者が処理モード切替指示動作を行うことで切り替えることができるので、認識対象者（利用者）がクリック動作によって種々の指示を与え、種々の処理を選択的に実行させることが可能となる。
【００２７】
更に、請求項３の発明では、クリック動作そのものを多数種定める必要がなくなると共に、処理モード切替指示動作をクリック動作と同時に行う必要もなくなるので、指示の種類数に対応してクリック動作を多数種定めておく等の場合と比較して、クリック動作を判断する処理が非常に簡単になり、クリック動作が行われたか否かを短い時間で判断できると共に、クリック動作が行われることで利用者から与えられた指示を正確に判断することができる。
【００２８】
また、処理モード切替指示動作は、処理モードの種類数に対応して複数種定める必要があるが、前述のように、処理モード切替指示動作はクリック動作と同時に行う必要はなく、かつ通常はクリック動作よりも実行頻度が低いので、クリック動作そのものを多数種定める場合と比較して、処理モード切替指示動作として採用可能な動作の自由度が高く、例えばクリック動作と無関係に、指示された処理モードの判断が容易な動作を採用することも可能となる。
【００２９】
なお、上記の処理モード切替指示動作としては、例えば認識対象者の手の形を変える動作（具体的には、例えば指を伸ばす本数や、何れの指を伸ばすか等）が挙げられる。この場合、第３の判断手段は、請求項４に記載したように、複数の画像中の認識対象者の手に相当する画像部を抽出し、前記画像部の面積の変化、又は輪郭線の長さの変化、又は輪郭の形状の変化、又は前記画像部に基づいて認識した認識対象者の手の各指の形の変化に基づいて、認識対象者によって処理モード切替指示動作が行われたか否かを判定するように構成することができる。請求項４の発明では、撮像手段が撮像することで得られた複数の画像から処理モード切替指示動作を判断するので、処理モード切替指示動作が行われたか否かを判定するために検出器等を新たに設ける必要がなくなる。
【００３０】
また、処理モード切替指示動作は、処理モードの切り替えを指示するために設けられたスイッチの接点を切り替える動作であってもよい。この場合、請求項５に記載したように、認識対象者により接点切替操作が可能なスイッチを設けると共に、第３の判断手段を、前記スイッチの接点が切り替えられたか否かに基づいて、認識対象者によって処理モード切替指示動作が行われたか否かを判定するように構成することができる。請求項５の発明によれば、構成の複雑化を最小限に抑え、処理モード切替指示動作が行われたか否かを簡易に判断することができる。
【００３１】
更に、処理モード切替指示動作は、処理モードの切り替えを指示する音声を発する動作であってもよい。この場合、請求項６に記載したように、認識対象者から発せられた音声を検知する音声検知手段を設けると共に、第３の判断手段を、音声検知手段によって検知された音声に基づき、認識対象者から処理モードの切り替えを指示する音声が発せられたか否かを判定することで、認識対象者によって処理モード切替指示動作が行われたか否かを判定するように構成することができる。請求項６の発明では、認識対象者が処理モードの切り替えを指示する音声を発する動作を処理モード切替指示動作としているので、構成の複雑化を招くという欠点はあるものの、認識対象者が違和感を感ずることなく処理モード切替指示動作を行うことができる。
【００３２】
また、上記のように音声検知手段を設ける場合、請求項７に記載したように、処理手段を、入力すべき情報を表す音声が認識対象者から発せられた場合に、音声検知手段によって検知された音声に基づき、前記音声が表す情報を認識し、認識した情報を表すデータを生成することが好ましい。これにより、音声検知手段を、認識対象者による処理モード切替指示動作（処理モードの切り替えを指示する音声を発する動作）の判断以外にも有効に利用することができると共に、認識対象者による情報入力作業を容易に行うことが可能となる。
【００３３】
なお、処理手段が表示手段の表示面上にカーソルを表示する態様において、請求項３乃至請求項６の何れかの発明を適用した場合、第３の判断手段が、認識対象者によって処理モード切替指示動作が行われたと判断したときに、処理手段は、切り替わった現在の処理モードに応じて、前記表示しているカーソルの色及び形状の少なくとも一方を変更することが好ましい。これにより、処理モードが切り替わったことを利用者が視覚的に容易に認識することができる。
【００３４】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１に示すように、本発明に係る認識対象者としての情報入力者１０が到来する箇所の壁面には大画面ディスプレイ１２が埋め込まれている。なお、ディスプレイ１２としては液晶ディスプレイ（ＬＣＤ）やプラズマディスプレイ、ブラウン管、光ファイバディスプレイ等の周知の表示手段を適用できる。
【００３５】
ディスプレイ１２はパーソナルコンピュータ等から成る情報処理装置１４に接続されており（図２参照）、情報処理装置１４により、各種の情報が表示面上に図形、表、文字、画像等の種々の表示形態で表示される。本実施形態において、情報入力者１０は、ディスプレイ１２の前方の図１に示した箇所（情報入力空間）に到来し、ディスプレイ１２の表示面上の各種情報が表示されている位置を指し示すと共に、クリック動作（詳細は後述）を行うことにより、情報処理装置１４に対して各種の指示を与えたり各種の処理を実行させる。
【００３６】
図２に示すように、情報処理装置１４には、本実施形態に係るハンドポインティング入力装置２０のコントローラ２２が接続されている。なお、上述したディスプレイ１２、情報処理装置１４、及びハンドポインティング入力装置２０は本発明に係るハンドポインティング装置に対応している。
【００３７】
コントローラ２２は、ＣＰＵ２２Ａ、ＲＯＭ２２Ｂ、ＲＡＭ２２Ｃ、入出力インタフェース２２Ｄを備えており、これらがバスを介して互いに接続されて構成されている。入出力インタフェース２２Ｄには情報処理装置１４が接続されていると共に、記憶内容を書換え可能な不揮発性の記憶装置２４、各種の情報を表示するためのディスプレイ２６、オペレータが各種の指示やデータを入力するためのキーボード２８、照明制御装置３０、撮像制御装置３４、マーク板駆動装置３８、音声検知装置４２（請求項６に記載の音声検知手段に対応）及びフットスイッチ４６（請求項５に記載のスイッチに対応）が各々接続されている。
【００３８】
照明制御装置３０には、近赤外域の波長の光をビーム状に射出する複数の近赤外光照明装置３２Ａ、３２Ｂが接続されている。図１に示すように、近赤外光照明装置３２Ａ、３２Ｂは、情報入力空間の上方の互いに異なる箇所に配設されており、情報入力空間に到来した情報入力者１０を、互いに異なる方向から照明するように照射範囲が調整されている。照明制御装置３０は照明装置３２Ａ、３２Ｂの点灯・消灯を制御する。
【００３９】
撮像制御装置３４には、情報入力空間の上方の互いに異なる箇所に配設された（図１参照）複数のビデオカメラ３６Ａ、３６Ｂが接続されている。ビデオカメラ３６Ａ、３６Ｂは、図示は省略するが、近赤外光に感度を有するＣＣＤ等から成るエリアセンサを備えていると共に、入射光をエリアセンサの受光面に結像させる結像レンズの光入射側に、近赤外域の波長の光のみを透過するフィルタが設けられている。なお、撮像手段（カメラ）として遠赤外線カメラを用い、人間（情報入力者）の体温による遠赤外線と、人間の体温と所定値以上離れた温度（体温よりも高い温度であっても低い温度であってもよい）に設定又は温度調整された床から放射される遠赤外光と、によって人間と背景とを弁別する方法を用いても良い。この場合は照明装置３２Ａ、３２Ｂ及び照明制御装置３０を省略することも可能となる。
【００４０】
図３に示すように、ビデオカメラ３６Ａ、３６Ｂは情報入力空間に到来した情報入力者１０を互いに異なる方向から撮像するように向きが調整されている。また、ビデオカメラ３６Ａは、情報入力空間に到来した情報入力者１０が撮像範囲内に入り、かつ照明装置３２Ａから射出された光が結像レンズに直接入射せず、かつ撮像範囲の中心が、情報入力空間内において照明装置３２Ａによる照明範囲の中心と床面から所定高さで交差するように（照明装置３２Ａによる床面上の照明範囲が撮像範囲から外れるように）、向き（撮像範囲）が調整されている。同様にビデオカメラ３６Ｂは、情報入力空間に到来した情報入力者１０が撮像範囲内に入り、かつ照明装置３２Ｂから射出された光が結像レンズに直接入射せず、かつ撮像範囲の中心が、情報入力空間内において照明装置３２Ｂによる照明範囲の中心と床面から所定高さで交差するように（照明装置３２Ａによる床面上の照明範囲が撮像範囲から外れるように）、向き（撮像範囲）が調整されている。
【００４１】
なお、ビデオカメラ３６Ａ、３６Ｂ、撮像制御装置３４、照明制御装置３０、及び近赤外光照明装置３２Ａ、３２Ｂは本発明の撮像手段に対応している。
【００４２】
また図４に示すように、ハンドポインティング入力装置２０は、情報入力空間の近傍に配設されたマーク板４０を備えている。マーク板４０は、透明な平板に多数のマーク４０Ａがマトリクス状に等間隔で記録されて構成されており、マーク４０Ａの配列方向に直交する方向（図４の矢印Ａ方向）に沿って情報入力空間を横切るように移動可能とされている。なおマーク４０Ａは、画像上での認識が容易な色（例えば赤色）に着色されている。入出力インタフェース２２Ｄに接続されたマーク板駆動装置３８は、コントローラ２２からの指示に応じてマーク板４０を図４の矢印Ａ方向に沿って移動させる。
【００４３】
一方、図２に示すように、音声検知装置４２はマイクロフォン４２Ａ、増幅器４２Ｂ及びアナログ−デジタル（Ｄ／Ａ）変換器４２Ｃが順に接続されて構成されている。本実施形態では、マイクロフォン４２Ａとして、特定の方向から到来した音声のみを検知する指向特性のマイクロフォン（単一指向性又は超指向性のマイクロフォン）を用いており、図１に示すように、マイクロフォン４２Ａはディスプレイ１２の上方に取付けられていると共に、情報入力空間に到来した情報入力者１０から発せられた音声を検知できるように向きが調整されている。
【００４４】
マイクロフォン４２Ａによって検知された音声は、増幅器４２Ｂで増幅され、Ｄ／Ａ変換器４２Ｃでデジタルの音声データに変換されてコントローラ２２に入力される。コントローラ２２は、入力された音声データをＲＡＭ２２Ｃに逐次記憶する。
【００４５】
また、図１に示すように、フットスイッチ４６は情報入力空間内の床上に載置されている。フットスイッチ４６は、複数のフットペダル４８（図１では、例として４個のフットペダル４８Ａ〜４８Ｄを示す）が設けられていると共に、フットペダルに対応して複数個のスイッチを内蔵している。情報入力空間に到来した情報入力者１０が、自身の足によってフットペダル４８を押圧操作すると、前記複数個のスイッチのうち、押圧操作されたフットペダル４８に対応するスイッチの接点が切り替わるようになっている。なお、フットスイッチ４６の各スイッチの接点の状態はコントローラ２２によって検知される。
【００４６】
次に本実施形態の作用として、まず、ハンドポインティング入力装置２０が設置された際にコントローラ２２によって実行される格子点位置情報初期設定処理について、図５のフローチャートを参照して説明する。
【００４７】
ステップ１００では、マーク板駆動装置３８により、マーク板４０を所定位置（マーク板４０の移動範囲の端部に相当する位置）に移動させる。次のステップ１０２では、現在のマーク板４０の位置において、マーク板４０に記録されている多数のマーク４０Ａの情報入力空間内での３次元座標（ｘ，ｙ，ｚ）を各々演算する。ステップ１０４では撮像制御装置３４を介し、ビデオカメラ３６Ａ、３６Ｂによって情報入力空間を撮像させ、次のステップ１０６では、ビデオカメラ３６Ａが情報入力空間を撮像することによって得られた画像（以下画像Ａと称する）を撮像制御装置３４を介して取り込む。
【００４８】
ステップ１０８では、ステップ１０６で取り込んだ画像Ａ中に存在するマーク４０Ａの認識（抽出）を行い、次のステップ１１０では認識した全てのマーク４０Ａについて、画像Ａ上での位置（ＸA ，ＹA ）を演算する。そしてステップ１１２では、画像Ａ中に存在する全てのマーク４０Ａについて、情報入力空間内での３次元座標（ｘ，ｙ，ｚ）と、画像Ａ上での位置（ＸA ，ＹA ）とを対応させ、ビデオカメラ３６Ａの格子点位置情報として記憶装置２４に記憶させる。
【００４９】
次のステップ１１４〜１２０では、上記のステップ１０６〜１１２と同様にしてビデオカメラ３６Ｂに対する処理を行う。すなわち、ステップ１１４ではビデオカメラ３６Ｂが情報入力空間を撮像することによって得られた画像（以下画像Ｂと称する）を撮像制御装置３４を介して取り込み、ステップ１１６ではステップ１１４で取り込んだ画像Ｂ中に存在するマーク４０Ａの認識（抽出）を行い、次のステップ１１８では認識した全てのマーク４０Ａについて、画像Ｂ上での位置（ＸB ，ＹB ）を演算する。そしてステップ１２０では、画像Ｂ中に存在する全てのマーク４０Ａについて、情報入力空間内での３次元座標（ｘ，ｙ，ｚ）と、画像Ｂ上での位置（ＸB ，ＹB ）とを対応させ、ビデオカメラ３６Ｂの格子点位置情報として記憶装置２４に記憶させる。
【００５０】
次のステップ１２２では、マーク板４０が最終位置（マーク板４０の移動範囲のうちステップ１００における所定位置と反対側の端部に相当する位置）迄移動したか否か判定する。ステップ１２２の判定が否定された場合にはステップ１２４へ移行し、マーク板駆動装置３８により、マーク板４０を所定方向に一定距離（詳しくは、マーク板４０上におけるマーク４０Ａの間隔に一致する距離）だけ移動させた後にステップ１０２に戻る。
【００５１】
上記のように、マーク板４０が最終位置に移動する迄、ステップ１０２〜１２４が繰り返されることにより、マーク板４０に記録されている多数のマーク４０Ａは、情報入力空間内に一定間隔で格子状に並ぶ多数の格子点に対応する位置へ移動され、ビデオカメラ３６Ａの格子点位置情報として、各格子点の情報入力空間内での３次元座標と画像Ａ上での位置とが対応されて記憶装置２４に記憶されると共に、ビデオカメラ３６Ｂの格子点位置情報として、各格子点の情報入力空間内での３次元座標と画像Ｂ上での位置とが対応されて記憶装置２４に記憶されることになる。
【００５２】
なお、マーク板４０及びマーク板駆動装置３８は、上記の格子点位置情報初期設定処理においてのみ用いられ、後述する処理では用いないので、上記の処理を実行した後に、マーク板４０及びマーク板駆動装置３８を撤去するようにしてもよい。
【００５３】
またマーク４０Ａが記録されたマーク板４０に代えて、透明な平板にＬＥＤ等の多数の発光素子がマトリクス状に配設されたマーク板を用い、マーク板を一定距離ずつステップ移動させると共に、ステップ移動における各位置で多数の発光素子を順に点灯させることを繰り返すことによって上記の処理を行うようにしてもよい。また発光素子が取付けられたハンドを備え、該ハンドを情報入力空間内の任意の位置に移動可能とされたロボットアーム装置を用い、ロボットアーム装置によって各格子点に対応する各位置に発光素子を移動させて点灯させることを繰り返すことによって上記処理を行うことも可能である。
【００５４】
次に図６のフローチャートを参照し、上記の格子点位置情報初期設定処理が行われた後にコントローラ２２で定常的に実行される指示判断処理について説明する。なお、この指示判断処理は情報入力空間に到来した情報入力者１０からの指示の判断等を行うものである。
【００５５】
ステップ１５０では、ビデオカメラ３６Ａから出力される画像Ａを表す画像データ、及びビデオカメラ３６Ｂから出力される画像Ｂを表す画像データを各々取り込み、取り込んだ画像Ａ及び画像Ｂの画像データに基づいて、情報入力空間内に情報入力者１０が到来したか（存在しているか）否か判定し、判定が肯定される迄待機する。
【００５６】
コントローラ２２が指示判断処理を実行しているときには、図９に示すように、照明制御装置３０は照明装置３２Ａ、３２Ｂを交互に点灯させ、撮像制御装置３４は、ビデオカメラ３６Ａによる情報入力空間の撮像が照明装置３２Ａが点灯しているときに行われ、ビデオカメラ３６Ｂによる情報入力空間の撮像が照明装置３２Ｂが点灯しているときに行われるように制御する。
【００５７】
ビデオカメラ３６Ａの撮像範囲は照明装置３２Ａによる床面上の照明範囲が撮像範囲から外れるように調整されているので、照明装置３２Ａによる床面上の照明範囲内に情報入力者１０の荷物やゴミ等の非認識対象物５０Ａ（図３参照）が存在していたとしても、この非認識対象物５０Ａがビデオカメラ３６Ａの撮像範囲に入ることはない。また、床面上のビデオカメラ３６Ａによって撮像される範囲内に非認識対象物５０Ｂ（図３参照）が存在していたとしても、非認識対象物５０Ｂは照明装置３２Ａによる照明範囲から外れているので、画像Ａ中に存在する非認識対象物５０Ｂに相当する画像部の輝度は非常に低くなる。
【００５８】
同様に、ビデオカメラ３６Ｂの撮像範囲は照明装置３２Ｂによる床面上の照明範囲が撮像範囲から外れるように調整されているので、照明装置３２Ｂによって照明される床面上に非認識対象物５０Ｂが存在していたとしても、この非認識対象物５０Ｂがビデオカメラ３６Ｂの撮像範囲に入ることはない。また、床面上のビデオカメラ３６Ｂによって撮像される範囲内に非認識対象物５０Ａが存在していたとしても、画像Ｂ中に存在する非認識対象物５０Ｂに相当する画像部の輝度は非常に低くなる。
【００５９】
従って、先のステップ１５０の判定は、例えば画像Ａ及び画像Ｂ中に、高輝度でかつ所定値以上の面積の画像部が存在しているか否か等の極めて簡単な判断処理で済む。ステップ１５０の判定が否定された場合には、判定が肯定される迄待機する。
【００６０】
情報入力空間に情報入力者１０が到来すると、ステップ１５０の判定が肯定されてステップ１５２へ移行し、クリック動作を監視するための監視フラグ（詳細は後述）を０にしたり、処理モードとしてデフォルトで定められている処理モードを設定する等の初期設定を行う。次のステップ１５３では、情報入力空間から情報入力者１０が退去したか否か判定する。情報入力空間から情報入力者１０が退去した場合には、前記判定が肯定されてステップ１５０に戻り、情報入力空間に再度情報入力者１０が到来する迄待機するが、前記判定が否定された場合には、ステップ１５４で基準点・特徴点座標演算処理を行う。以下、この基準点・特徴点座標演算処理について、図７のフローチャートを参照して説明する。
【００６１】
ステップ２１０ではビデオカメラ３６Ａ、３６Ｂから画像Ａ及び画像Ｂのデータを各々取り込み、次のステップ２１２では取り込んだ画像Ａ及び画像Ｂから、情報入力者１０の全体像に相当する画像部を各々抽出する。この情報入力者１０の全体像に相当する画像部についても、高輝度の画素から成る所定値以上の面積の連続した領域を判断することで容易に抽出することができる。
【００６２】
ステップ２１４では、情報入力者１０の全体像に相当する画像部に基づき、情報入力者１０の身長を求める。図１０に示すように、点Ｏに位置しているビデオカメラ３６の結像レンズの焦点距離をｆ、点Ｏを通る鉛直線と情報入力空間の床面との交点Ｑと点Ｏとの距離をＨ、点Ｑと情報入力者１０が立っている床面上の点Ｐとの距離をＲ、情報入力者１０の頭頂部に相当する点Ｐ’と点Ｐとの距離ｈを情報入力者１０の身長とする。また、点ＰＯＱの成す角度をθ、点Ｐ’ＯＱの成す角度をθ’、ビデオカメラ３６のエリアセンサの受光面に結像される情報入力者１０の像の長さをｈ’、点Ｐに対応する受光面上の結像点を点ｐ、点Ｐ’に対応する受光面上の結像点を点ｐ’、受光面の中心ｏと点ｐとの距離をｒ、受光面の中心ｏと点ｐ’との距離をｒ’とすると、角度θ、θ’、距離ｒ、ｒ’は次の（１）〜（４）式から求めることができる。
【００６３】
θ ＝ｔａｎ-1（Ｒ／Ｈ） …（１）
θ’＝ｔａｎ-1｛Ｒ／（Ｈ−ｈ）｝ …（２）
ｒ ＝ｆθ …（３）
ｒ’＝ｆθ’ …（４）
従って、情報入力者１０の身長ｈ及び距離Ｒは次の（５）式及び（６）式によって求めることができる。
【００６４】
ｈ＝Ｈ｛１−ｔａｎ（ｒ／ｆ）／ｔａｎ（ｒ’／ｆ）｝ …（５）
Ｒ＝Ｈｔａｎ（ｒ／ｆ） …（６）
距離Ｈ及び焦点距離ｆは既知であるので、ステップ２１４ではビデオカメラ３６Ａ、３６Ｂの撮像によって得られた画像Ａ及び画像Ｂの何れかから距離ｒ、ｒ’を求め、これを（５）式に代入することにより情報入力者１０の身長ｈを求めることができる。また、ステップ２１４では、画像Ａ及び画像Ｂの各々から距離ｒを求め、これを（６）式に各々代入して距離Ｒを各々求めることにより、情報入力者１０の床面上の位置（２次元座標）を求める。
【００６５】
次のステップ２１６では、ステップ２１４で求めた情報入力者１０の身長ｈ及び情報入力者１０の床面上の位置に基づき、情報入力者１０の基準点Ｐ0 の３次元座標（ｘ0 ，ｙ0 ，ｚ0 ）を決定する。なお基準点Ｐ0 としては、例えば情報入力者１０の背中に相当する点（図１３に示す点Ｐ0 ）を用いることができる。この場合、情報入力者１０の身長ｈに基づいて情報入力者１０の背中に相当する基準点Ｐ0 の床面からの高さ（例えばｚ0 の値）を割り出し、情報入力者１０の床面上の位置（平面座標）を基準点Ｐ0 の平面座標（例えばｘ0 、ｙ0 の値）として設定することにより、基準点Ｐ0 の３次元座標を決定することができる。なお、情報入力者１０の背中に相当する点に代えて、情報入力者１０の胸部に相当する点や、情報入力者１０の腕の付け根に相当する点等を用いてもよい。
【００６６】
ステップ２１８では、画像Ａ及び画像Ｂ上での情報入力者１０の全体像に相当する画像部の形状に基づいて、情報入力者１０が指等によりディスプレイ１２側を指し示す動作（指示動作）を行っているか否か判定する。情報入力者１０から見たディスプレイ１２の方向は既知であるので、ステップ２１８の判定は、例えば情報入力者１０の全体像に相当する画像部において、情報入力者１０の手に相当すると判断できる高さ位置に、情報入力者１０から見たディスプレイ１２の方向に向かって突出している部分が有るか否かを判断することで実現できる。
【００６７】
これにより、情報入力者１０が、図１１（Ａ）に示す直立状態から、図１１（Ｂ）又は（Ｃ）に示すように腕を上げて手をディスプレイ１２側に向ければ、情報入力者１０が指示動作を行っていると判定されることになる。ステップ２１８の判定が否定された場合には、特徴点の３次元座標の演算（詳細は後述）を行うことなく基準点・特徴点座標演算処理を終了する。
【００６８】
情報入力者１０が指示動作を行っている場合には、ステップ２１８の判定が肯定されてステップ２２０へ移行する。ステップ２２０では、ビデオカメラ３６Ａから取り込んだ画像Ａを表す画像データに基づいて、画像Ａ中に存在する情報入力者１０の特徴点Ｐx を抽出し、画像Ａ上での特徴点Ｐx の位置（ＸA ，ＹA ）を演算する。情報入力者１０の特徴点Ｐx としては、ディスプレイ１２側を指し示す動作を行っている指の先端に相当する点等を用いることができる。この場合、情報入力者１０の全体像を表す画像部のうち、情報入力者１０の手に相当すると判断できる高さ位置に、ディスプレイ１２の方向に向かって突出している部分の先端の位置を、特徴点Ｐx の位置として演算することができる。
【００６９】
これにより、ビデオカメラ３６Ａによって情報入力者１０の手が図１２（Ａ）に示すように撮像された場合、特徴点Ｐx の位置として、図１２（Ｂ）に示す特徴点Ｐx の座標（ＸA ，ＹA ）が演算されることになる。
【００７０】
ステップ２２２では、記憶装置２４に記憶されているビデオカメラ３６Ａの格子点位置情報に基づき、画像Ａ上での位置が（ＸA ±ｄＸ，ＹA ±ｄＹ）の範囲（図１３（Ｂ）にハッチングで囲んだ範囲を参照）に入る格子点を全て検索する。なお、このｄＸ及びｄＹの大きさは、格子点の間隔（マーク４０Ａの間隔）に基づき、少なくとも１個以上の格子点が抽出されるように定められている。
【００７１】
また、本実施形態ではビデオカメラの結像レンズとして広角レンズを用いており、仮にｄＸ及びｄＹを一定とすると、ビデオカメラと格子点との距離が大きくなるに従って多くの格子点が（ＸA ±ｄＸ，ＹA ±ｄＹ）の範囲に入り、後述する特徴点Ｐx の３次元座標の演算の精度の低下に繋がる。このため、ｄＸ及びｄＹは、３次元座標上でのビデオカメラからの距離が離れるに従って値が小さくなるように設定される。従って、３次元座標上での（ＸA ±ｄＸ，ＹA ±ｄＹ）に相当する範囲は、底面がビデオカメラ側に位置している四角錐状となる。
【００７２】
ステップ２２４では、先のステップ２２０と同様に、ビデオカメラ３６Ｂから取り込んだ画像Ｂを表す画像データに基づいて、画像Ｂ中に存在する情報入力者１０の特徴点Ｐx を抽出し、画像Ｂ上での特徴点Ｐx の位置（ＸB ，ＹB ）を演算する。ステップ２２６では、先のステップ２２２と同様に、記憶装置２４に記憶されているビデオカメラ３６Ｂの格子点位置情報に基づき、画像Ｂ上での位置が（ＸB ±ｄＸ，ＹB ±ｄＹ）の範囲に入る格子点を全て検索する。
【００７３】
次のステップ２２８では、画像Ａ及び画像Ｂから共通に抽出した格子点を判定する。これにより、情報入力空間内で特徴点Ｐx に近接した位置に存在している格子点のみが複数抽出されることになる。ステップ２３０では、画像Ａ及び画像Ｂから共通に抽出した格子点の３次元座標を、格子点位置情報から取り込む。
【００７４】
本実施形態では、後述するように特徴点Ｐx の３次元座標を情報入力空間内で特徴点Ｐx に近接した位置に存在している複数の格子点の３次元座標から内挿によって演算する（具体的には、前記複数の格子点の３次元座標の座標値の重み付き平均により特徴点Ｐx の３次元座標の座標値を求める）。このため、特徴点Ｐx の３次元座標の演算に先立ち、次のステップ２３２では、画像Ａ及び画像Ｂから共通に抽出した各格子点の画像Ａ及び画像Ｂ上での位置、画像Ａ上での特徴点Ｐx の位置（ＸA ，ＹA ）、画像Ｂ上での特徴点Ｐx の位置（ＸB ，ＹB ）に基づいて、画像Ａ及び画像Ｂから共通に抽出した各格子点の３次元座標からの内挿の割合（各格子点の３次元座標の座標値に対する重み）を決定する。この内挿の割合は、例えば画像Ａ及び画像Ｂ上で特徴点Ｐx と近接した位置に存在している格子点の３次元座標の座標値の重みが大きくなるように決定することができる。
【００７５】
そしてステップ２３４では、画像Ａ及び画像Ｂから共通に抽出した格子点の３次元座標、及びステップ２３２で決定した内挿の割合に基づいて、特徴点Ｐx の３次元座標（Ｘx ，Ｙx ，Ｚx ）を演算する。上記のようにして特徴点Ｐx の３次元座標を演算すると基準点・特徴点座標演算処理を終了し、指示判断処理（図６）のステップ１５６へ移行する。なお、上記の基準点・特徴点座標演算処理は繰り返し実行されるので、該処理によって演算される基準点Ｐ0 及び特徴点Ｐx の３次元座標の値は、情報入力者１０の姿勢や動作の変化に応じて逐次更新されることになる。
【００７６】
ステップ１５６では処理モード判定処理を行う。この処理モード判定処理は、情報入力者１０によって処理モードの切り替えが指示されたか否かを判定し、処理モードの切り替えが指示された場合には、指示に応じて処理モードを変更設定する処理であり、詳細は後述する。次のステップ１５８では、現在設定されている処理モードが情報入力モードか否か判定する。この判定が否定された場合にはステップ１６２へ移行し、先に説明した基準点・特徴点座標演算処理（図７）のステップ２１８と同様にして、情報入力者１０が指示動作を行っているか否か判定する。この判定も否定された場合にはステップ１５３に戻り、情報入力空間内に情報入力者１０が存在している間はステップ１５４以降の処理を繰り返す。なお、基準点・特徴点座標演算処理では、情報入力者１０が指示動作を行っている場合（ステップ２１８の判定が肯定された場合）にのみ特徴点Ｐx の３次元座標を演算するので、ステップ１６２の判定は、特徴点Ｐx の３次元座標が演算されたか否かを判断することで行うことも可能である。
【００７７】
一方、ステップ１６２の判定が肯定された場合にはステップ１６４へ移行し、先の基準点・特徴点座標演算処理で演算された基準点Ｐ0 及び特徴点Ｐx の３次元座標に基づき、情報入力者１０が指し示している方向として、上記の基準点Ｐ0 と特徴点Ｐx とを結ぶ仮想線（図１３の仮想線５４参照）の延びる方向を求め、情報入力者１０が指し示している位置（指示位置）として、ディスプレイ１２の表示面を含む平面と前記仮想線の交点（図１３の点Ｓ参照）の座標（平面座標）を演算する。このように、ステップ１６４は先に説明した基準点・特徴点座標演算処理と共に、本発明の第１の判断手段に対応している。
【００７８】
ステップ１６６では、基準点Ｐ0 及び特徴点Ｐx の３次元座標に基づいて基準点Ｐ0 と特徴点Ｐx との距離ｋ（図１３参照）を演算し、演算した距離ｋを、先のステップ１６４で演算された情報入力者１０による指示位置の座標と共に、現時刻と対応させてＲＡＭ２２Ｃに記憶する。
【００７９】
次のステップ１６８では、ステップ１６４で演算された指示位置の座標に基づいて、情報入力者１０がディスプレイ１２の表示面内を指し示しているか否か判定する。なお、ディスプレイ１２の表示面は請求項２に記載の所定範囲に対応している。ステップ１６８の判定が否定された場合には、ステップ１７０で監視フラグを０にしてステップ１５３に戻る。一方、ステップ１６８の判定が肯定された場合には、ステップ１７２において、情報入力者１０による指示位置を表す座標を情報処理装置１４に出力し、情報処理装置１４により、ディスプレイ１２の表示面上の指示位置にカーソルを表示させる。
【００８０】
次のステップ１７４では監視フラグが１か否か判定する。判定が肯定された場合にはステップ１８２以降において、情報入力者１０によってクリック動作が行われたか否かが判断されるが、監視フラグが０の場合にはステップ１７４の判定が否定され、ステップ１７４へ移行する。
【００８１】
図６からも明らかなように、先のステップ１６４（及びステップ１６６、１６８）は情報入力者１０が指示動作を行っている間は繰り返し実行されるが、ステップ１７６では、ステップ１６４の処理を前回行った際に演算された指示位置もディスプレイ１２の表示面内に相当する位置であったか否か判定する。前回演算された指示位置がディスプレイ１２の表示面から外れていた場合（前回はステップ１６８の判定が否定された場合）にはステップ１７６の判定が否定され、何ら処理を行うことなくステップ１５３に戻る。
【００８２】
また、ステップ１７６の判定が肯定された場合にはステップ１７８へ移行し、ステップ１６４を今回実行した際に演算された基準点Ｐ0 と特徴点Ｐx との距離ｋが、ステップ１６４を前回実行した際に演算された基準点Ｐ0 と特徴点Ｐx との距離ｋと略同一か否か（すなわち差が所定値以内か否か）判定する。ステップ１７８の判定が否定された場合にも、何ら処理を行うことなくステップ１５３に戻る。また、ステップ１７８の判定が否定された場合にはステップ１８０へ移行し、監視フラグを１にしてステップ１５３に戻る。
【００８３】
先にも述べたように、クリック動作が行われたか否かの判断は、監視フラグが１になっているとき（すなわちステップ１７４の判定が肯定された場合）にのみ行われるが、上記のように、監視フラグはステップ１７６及びステップ１７８の判定が肯定された場合、すなわち情報入力者１０がディスプレイ１２の表示面内に相当する位置を指し示している状態が、比較的短い時間（ステップ１６４〜１６８が複数回実行される程度の時間）以上継続した場合に初めて１が設定され、例として図１４に示すように、情報入力者１０による指示位置がディスプレイ１２の表示面外から表示面内へ変化したときには監視フラグに１が設定されることはない。
【００８４】
情報入力者１０が腕を下ろしているときには肘を伸ばしている状態が自然であるが、ディスプレイ１２の表示面内の所望の位置を指し示すために腕を上げたときには自然に肘が若干曲がる（後でクリック動作を行うことを考えても、肘を伸ばしたまま腕を上げる動作より、肘を若干曲げながら腕を上げる動作の方が、所望の位置を指し示している状態となったときに自然に肘が若干曲がっていることになり合理的である）ので、情報入力者１０が腕を上げる動作の最中に基準点Ｐ0 と特徴点Ｐx との距離ｋが変化する。
【００８５】
これに対し、上記動作を行っているときには、前述のステップ１７６及びステップ１７８により、クリック動作の有無が判断されることがないので、上記動作をクリック動作と誤判断することが防止され、情報入力者１０の意図に反して何らかの処理が実行されることを回避することができる。これは、基準点Ｐ0 と特徴点Ｐx との距離ｋとして、直線距離（仮想線５４（図１３参照）に沿った距離）を用いる場合のみならず、基準点Ｐ0 と特徴点Ｐx との水平方向（図１４のｚ方向）に沿った距離を用いる場合にも有効である。このように、ステップ１７６及びステップ１７８は請求項２に記載の制御手段（より詳しくは、第２の判断手段による判断を停止させる制御手段）に対応している。
【００８６】
なお、上記のようにクリック動作の有無の判断を停止させることに代えて、例えば情報入力者１０が腕を上げる動作を行ったときには、情報処理装置１４に対し、クリック動作が行われた旨の通知（後述するステップ１９２の処理）を禁止するようにしてもよい。この場合にも、情報入力者１０の意図に反して何らかの処理が実行されることを回避することができる。
【００８７】
監視フラグに１が設定されると、ステップ１７４の判定が肯定されてステップ１８２へ移行し、ステップ１８２以降で情報入力者１０によるクリック動作の有無を判断する。本実施形態では、情報入力者１０が手を前方に素早く移動させる動作（図１５（Ａ）参照、以下「前進クリック」という）、及び情報入力者１０が手を後方に素早く移動させる動作（図１５（Ｂ）参照、以下「後進クリック」という）をクリック動作としている。このクリック動作は、ディスプレイ１２の表示面上の特定の箇所を指し示して選択する動作として極めて自然な動作であるので、認識対象者は違和感を感ずることなくクリック動作を行うことができる。上記のクリック動作の有無を判断するために、まずステップ１８２では、先のステップ１６６で逐次演算されてＲＡＭ２２Ｃに記憶される基準点Ｐ0 と特徴点Ｐx との距離ｋの推移に基づいて、距離ｋの変化が有ったか否か判定する。ステップ１８２の判定が否定された場合には、情報入力者１０がクリック動作を行っていないと判断できるので、ステップ１５３に戻る。
【００８８】
また、ステップ１８２の判定が肯定された場合にはステップ１８４へ移行し、距離ｋの変化速度Ｖを演算し、演算した変化速度Ｖが閾値Ｖ0 以上か否か判定する。判定が否定された場合には、情報入力者１０がクリック動作を行っていないと判断できるのでステップ１５３に戻る。なお、距離ｋの変化速度の閾値Ｖ0 としては固定的に定めた値を用いてもよいが、情報入力空間に情報入力者１０が到来した際に、到来した情報入力者１０に対してクリック動作を行うことを要請し、情報入力者１０がクリック動作を行ったときの距離ｋの変化速度Ｖに基づき、個々の情報入力者毎に設定することが好ましい。これにより、クリック動作を行った際の距離ｋの変化速度が個々の情報入力者毎に大きくばらついている場合にも、クリック動作に相当する速度で距離ｋが変化したことを確実に検知することができる。
【００８９】
また、ステップ１８４の判定が肯定された場合にはステップ１８６へ移行し、距離ｋが、一定方向（増大方向又は減少方向）に所定時間以上継続して変化しているか否か判定する。この判定が否定された場合にも、情報入力者１０がクリック動作を行っていないと判断できるので、ステップ１５３に戻る。また、ステップ１８６の判定が肯定された場合には、情報入力者１０がクリック動作を行ったと判断できるので、ステップ１８８へ移行する。このように、ステップ１８２〜１８６は本発明の第２の判断手段に対応している。
【００９０】
ステップ１８８ではＲＡＭ２２Ｃに記憶されている距離ｋの推移に基づいて、距離ｋの変化が始まった時刻、すなわち情報入力者１０によるクリック動作が開始された時刻を判定する。次のステップ１９０では、ＲＡＭ２２Ｃに蓄積記憶されている指示位置のうち、ステップ１８８で判定されたクリック動作開始時刻における指示位置（クリック動作開始時にＲＡＭ２２Ｃに記憶された指示位置）を取り込む。
【００９１】
そして、次のステップ１９２では、情報処理装置１４に対し、情報入力者１０によってクリック動作が行われたことを通知すると共に、クリック動作による距離ｋの変化方向、クリック動作開始時の指示位置、及び現在設定されている処理モードを通知する。これにより、情報処理装置１４では、まず通知されたクリック動作開始時の指示位置をクリック位置と判断し、該クリック位置に対応する処理（通常は複数種の処理）を判別する。次に、距離ｋの変化方向よりクリック方向（前進クリック／後進クリック）を判断する。そして、先に判別したクリック位置に対応する処理の中から、判断したクリック方向、及び通知された処理モードに対応する処理を選択し、選択した処理（本発明の所定の処理に対応）を実行する。このように、ステップ１９２は、実際に処理を行う情報処理装置１４と共に、請求項１〜請求項３に記載の処理手段に各々対応している。
【００９２】
なお、情報処理装置１４で実行される処理は任意に定めることが可能であり、例えば処理モードが通常処理モードであり、ディスプレイ１２の表示面上の特定のアプリケーションを表すアイコンを表示している箇所が前進クリック（又は後進クリック）された場合には、前記特定のアプリケーションを起動し、例えば処理モードが特殊処理モードであり、ディスプレイ１２の表示面上の特定のアプリケーションを表すアイコンを表示している箇所が前進クリック（又は後進クリック）された場合には、前記特定のアプリケーションに関連する特殊処理（例えばアプリケーションに関する各種パラメータの設定、アプリケーションのバージョン表示、アイコンの表示に関するパラメータの設定等）を一覧表示し、更に特定の特殊処理がクリックされた場合には、クリックされた特殊処理を実行することができる。
【００９３】
また、例えば処理モードがファイル転送モードであり、ディスプレイ１２の表示面上の特定のデータファイルを表すアイコンを表示している箇所が前進クリック（又は後進クリック）された場合には、ファイル転送先を一覧表示し、更に特定の転送先がクリックされた場合には、前記アイコンに対応するデータファイルを前記クリックされた転送先に転送し、処理モードがファイル検索（又は更新）モードであり、ディスプレイ１２の表示面上の特定のデータファイルを表すアイコンを表示している箇所が前進クリック（又は後進クリック）された場合には、前記アイコンに対応するデータファイルを検索して表示することができる。
【００９４】
また、例えば処理モードがファイル検索（又は更新）モードであり、ディスプレイ１２の表示面上の特定の情報記憶媒体を表すアイコンを表示している箇所が前進クリック（又は後進クリック）された場合には、前記アイコンに対応する情報記憶媒体にどのようなデータファイルが記憶されているかを探索して一覧表示し、処理モードが情報入力モードであり、ディスプレイ１２に情報入力ウインドウを表示している状態で、前記ウインドウ内の特定箇所がクリックされた場合には、クリック位置へカーソルを移動し、情報入力者１０からの情報入力に対する準備を行うことができる。
【００９５】
このように、本実施形態でクリック動作として採用している動作は前進クリック動作及び後進クリック動作であり、基準点Ｐ0 と特徴点Ｐx との距離ｋの変化に基づいて、クリック動作が行われたか否か及び行われたクリック動作が前進クリック動作か後進クリック動作かを判断できると共に、クリック動作が行われた場合に、クリック位置に対応する各種の処理の中から、そのとき設定されている処理モードとクリック方向に対応する処理を選択的に実行するので、クリック動作そのものを多数種定めておく場合と比較して、情報入力者１０によってクリック動作が行われてから、クリック動作が行われたと判断して対応する処理を行う迄の時間を短縮することができる。
【００９６】
なお、上述した処理は単なる一例であり、処理モードの種類数や、各処理モードの名称、処理の内容については利用形態等に応じて適宜変更可能であることは言うまでもなく、例えばディスプレイ１２に表示している画像の表示倍率を変更するための表示倍率変更モードを設け、処理モードが表示倍率変更モードであるときには、基準点Ｐ0 と特徴点Ｐx との距離の変化に応じて、そのときの指示位置を中心として表示倍率を変更するようにしてもよい。
【００９７】
上記では、クリック位置として、情報入力者１０がクリック動作を開始した際の指示位置を用いているので、クリック動作の最中に指示位置がずれたとしても、情報入力者１０が当初指し示していた位置に対応する処理を確実に実行することができる。従って、クリック動作が行われた際の指示位置の誤判断を防止することができ、情報入力者１０が所望する処理を確実に実行することができる。なお、クリック動作開始時に記憶された指示位置を取り込むステップ１９０は、ステップ１９２及び情報処理装置１４と共に、請求項１に記載の処理手段に対応している。
【００９８】
次に、処理モードの切り替えについて説明する。本実施形態では、情報入力者１０が処理モードの切り替えを指示するための動作（処理モード切替指示動作）として、手の形を変える動作、処理モードの切り替えを指示する音声を発する動作、及びフットスイッチ４６を操作する動作の３種類が定められており、情報入力者１０が３種類の動作のうちの何れの動作を行っても処理モードの切り替わるようになっている。
【００９９】
本実施形態では、特定位置を指し示す動作（ポインティング動作）及びクリック動作を行う際の手の形を、特定箇所を指し示す動作での自然な手の形、すなわち人指し指を伸ばしかつ他の指を折り曲げた形（図１６（Ａ）参照）と定めており、処理モードの切り替えを指示するための手の形として、例えば図１６（Ｂ）乃至（Ｆ）に示すような上記以外の手の形を用いている。それぞれの形は互いに異なる処理モードに対応しており、手の形を変えることで特定の処理モードへの切り替えを指示する場合、情報入力者１０は自身の手の形を、前記特定の処理モードに対応する手の形に変える動作を行う。
【０１００】
なお、処理モード切替指示動作としての手の形を変える動作は上記に限定されるものではなく、例えば図１６（Ａ）〜（Ｆ）に示した手の形のうち複数種の形を組み合わせ、単一の処理モードへの切り替え指示を、手の形を複数種の形に順に変えていく動作によって表現し、一連の処理モード切替指示動作における手の形の組み合わせ及び順番に基づいて、指示された処理モードを判断するようにしてもよい。
【０１０１】
また、音声を発することで特定の処理モードへの切り替えを指示する場合、情報入力者１０は、前記特定の処理モードの名称、或いは特定の処理モードに付した符号の名称を発音する動作を行う。また、フットスイッチ４６の個々のフットペダル４８は互いに異なる処理モードに対応しており、フットスイッチ４６を操作することで特定の処理モードへの切り替えを指示する場合には、情報入力者１０は、前記特定の処理モードに対応するフットペダル４８を自身の足によって押圧操作する。
【０１０２】
上述した処理モード切替指示動作が行われたか否かは、指示判断処理（図６）のステップ１５６の処理モード判定処理で判断される。以下、この処理モード判定処理について、図８のフローチャートを参照して説明する。
【０１０３】
ステップ２５０では、先に説明した基準点・特徴点座標演算処理（図７）のステップ２１８と同様に、情報入力者が指示動作を行っているか否か判定する。判定が肯定された場合にはステップ２５２へ移行し、画像Ａ中に存在する情報入力者１０の手に相当する画像部を抽出すると共に、画像Ｂ中に存在する情報入力者１０の手に相当する画像部を抽出する。そして、ステップ２５４では抽出した画像部に基づいて、情報入力者１０の手の形が処理モードの切り替えを指示する手の形か否か判定し、判定が肯定された場合にはステップ２６４で指示された処理モードを判定する。
【０１０４】
図１６（Ａ）乃至（Ｆ）に各々示された手の形からも明らかなように、処理モードの切り替えを指示するためのそれぞれの手の形は、伸ばしている指の本数が異なるか、又は伸ばしている指の本数が同一の場合は伸ばしている指の種類（長さ）が異なっており、それぞれの手の形における面積、輪郭線の長さ、輪郭の形状は互いに相違している。従って、先のステップ２５４、２６４の判定は、例えば情報入力者１０の手に相当する画像部の特徴量として、例えば面積又は輪郭線の長さを求め、求めた面積又は輪郭線の長さを、それぞれの手の形に対応して予め定めた複数の閾値と各々比較することで行うか、或いは輪郭の形状を、それぞれの手の形に対応して予め定めた複数種の輪郭形状のパターンと各々比較することで行うことができる。
【０１０５】
なお、上記の面積や輪郭線の長さの閾値、輪郭形状のパターンは、固定的に定めておいてもよいが、情報入力空間に情報入力者１０が到来した際に、到来した情報入力者１０に対し、手の形を各処理モードに対応する形に変化させる動作を行うことを要請し、情報入力者１０が手の形を変化させたときの面積や輪郭線の長さ、或いは輪郭形状のパターンを検知して記憶しておいて、上記判定に用いることが好ましい。これにより、個々の情報入力者１０の手の大きさや指の長さのばらつき等に拘らず、情報入力者１０が手の形を変化させることによる処理モード切替指示動作の実行の有無を確実に判定することができる。
【０１０６】
また、上記の判定方法に代えて、基準点・特徴点座標演算処理における特徴点Ｐx の座標の演算と同様に、情報入力者１０の手の各指の先端（指を伸ばしている場合には指先、指を折り曲げている場合には指の関節部分が先端となる）の位置を周期的に演算し、各指の先端の位置と、情報入力者１０が指を折り曲げたり伸ばしたりしても位置が変化しない箇所（例えば情報入力者１０の手首に相当する点）との相対位置の変化に基づいて、各指の形（伸ばしている／折り曲げている）の変化を常時監視しておき、各指の現在の形に基づいて処理モード切替指示動作の実行の有無を判定するようにしてもよい。
【０１０７】
情報入力者１０が処理モード切替指示動作として手の形を変える動作を行った場合に、上記のようにして指示された処理モードを判定するとステップ２６６へ移行し、現在の処理モードとして、ステップ２６４で判定した処理モードを設定・記憶する。これにより、先にも述べたように、情報入力者１０がクリック動作を行ったときに情報処理装置１４で実行される処理が、現在の処理モードに応じて切り替わることになる。
【０１０８】
次のステップ２６８では情報処理装置１４に対し、ディスプレイに表示するカーソルの表示色又は他の表示箇所の表示色（例えばウインドウの縁の表示色等）を、現在の処理モードに応じて変更するよう指示する。このように、処理モードに応じて表示色を変更することにより、処理モード切替指示動作によって処理モードが変更されたか否かを情報入力者１０が容易に確認することができる。
【０１０９】
一方、情報入力者１０が指示動作を行っていない場合（ステップ２５０の判定が否定された場合）、又は情報入力者１０が手の形を変えることによる処理モード切替指示動作を行っていない場合（ステップ２５４の判定が否定された場合）にはステップ２５６へ移行し、音声検知装置４２から入力されてＲＡＭ２２Ｃに蓄積記憶されている音声データを取り込む。ステップ２５８では、取り込んだ音声データの中に、処理モードの切り替えを指示する音声（特定の処理モードの名称又は特定の処理モードに付した符号の名称を表す音声）の音声データが含まれているか否かを探索し、次のステップ２６０で、処理モードの切り替えを指示する音声の音声データが含まれていたか否か判定する。そして、この判定が肯定された場合にはステップ２６４で指示された処理モードを判定し、前述のステップ２６６、２６８の処理を行う。
【０１１０】
上記の探索及び判定は、具体的には、処理モードの切り替えを指示する音声の音声データのパターンを予め記憶しておき、ＲＡＭ２２Ｃから取り込んだ音声データに対してパターンマッチングを行うことで実現できる。なお、音声データのパターンについても、予め固定的に記憶しておいてもよいが、情報入力空間に情報入力者１０が到来した際に、到来した情報入力者１０に対し、特定の処理モードの名称又は特定の処理モードに付した符号の名称の発音動作を行うことを要請し、情報入力者１０が発音することで得られた音声データをパターンとして記憶しておいて、上記の探索及び判定に用いることが好ましい。これにより、個々の情報入力者１０から発せられる音声の音量や音質のばらつき等に拘らず、情報入力者１０が音声を発することによる処理モード切替指示動作の実行の有無を確実に判定することができる。
【０１１１】
また、ステップ２６０の判定が否定された場合にはステップ２６２へ移行し、フットスイッチ４６の各スイッチの接点の状態を検知することで、フットスイッチ４６が操作されたか否か判定し、判定が肯定された場合にはステップ２６４で指示された処理モードを判定する。そして、この判定が肯定された場合にはステップ２６４で指示された処理モードを判定し、前述のステップ２６６、２６８の処理を行う。フットスイッチ４６の個々のフットペダル４８は互いに異なる処理モードに対応しているので、上記の判定は、何れかのフットペダル４８が操作されたか否か、及び操作されたフットペダル４８が何れの処理モードに対応しているかを判断することで行うことができる。
【０１１２】
上述したモード判定処理は請求項３に記載の第３の判断手段に対応しており、より詳しくは、ステップ２５２、２５４は請求項４に記載の第３の判断手段に、ステップ２５６〜２６０は請求項６に記載の第３の判断手段に、ステップ２６２は請求項５に記載の第３の判断手段に各々対応している。上述したモード判定処理では、情報入力者１０が指示動作を行っていない場合にも、処理モード切替指示動作として、処理モードの切り替えを指示する音声を発する動作、及びフットスイッチ４６を操作する動作の何れかが行われたか否かを判定しているので、情報入力者１０が腕を上げることなく処理モードの切り替えを指示することも可能となる。
【０１１３】
なお、ステップ２６２の判定も否定された場合には、情報入力者１０は処理モード切替指示動作を行っていないと判断し、何ら処理を行うことなくモード判定処理を終了する。
【０１１４】
ところで、処理モード切替指示動作として、処理モードを情報入力モードに切り替えることを指示する動作が情報入力者１０によって行われた場合、モード判定処理によって処理モードが情報入力モードへ変更されることにより、指示判断処理（図６）のステップ１５８の判定が肯定され、ステップ１６０で入力情報認識・転送処理を行う。
【０１１５】
すなわち、音声検知装置４２から入力される音声データを取り込み、取り込んだ音声データに基づいて、入力すべき情報を表す音声を情報入力者１０が発したか否か判断する。そして、情報入力者１０が音声を発したと判断した場合には、情報入力者１０が発した音声を表す音声データに基づいて、音声の内容（音声が表す情報）を認識してデータ（例えばテキストデータ）を生成し、生成したデータを情報処理装置１４へ転送する。これにより、情報入力者１０が情報を入力する際にキーボード等を操作する必要がなくなるので、情報入力作業を省力化することができる。ステップ１６０は請求項７に記載の処理手段に対応している。
【０１１６】
ハンドポインティング入力装置２０のコントローラ２２において、上述した処理が実行されることにより、情報入力者１０によるディスプレイ１２上の表示面上の指示位置及びクリック動作の有無をリアルタイムで判断することができるので、情報処理処理装置１４で実行される処理と組み合わせることで、以下で説明するように種々の利用形態での利用が可能となる。
【０１１７】
例えばディスプレイ１２を地下街等の壁面に設置し、情報処理装置１４がディスプレイ１２に商品の広告等を表示する場合に、本実施形態に係るハンドポインティング入力装置２０を設ければ、到来した利用者（情報入力者）の指示に応じて特定の商品を詳しく説明する画面を表示する等のように、利用者との双方向のコミュニケーションが可能となる。また、利用者に課金用のカードを所持させるようにすれば、このカードにより課金することで利用者が商品を購入することも可能となる。
【０１１８】
また、例えばディスプレイ１２をビルのエントランスに設置し、情報処理装置１４がディスプレイ１２にビル内を案内する案内図等を表示する場合に、本実施形態に係るハンドポインティング入力装置２０を設ければ、到来した利用者（情報入力者）の指示に応じてビル内のうち利用者が訪問する箇所を詳しく説明する画面や、訪問する箇所迄の経路を示す画面を表示する等のように、利用者との双方向のコミュニケーションが可能となる。
【０１１９】
また、クリーンルームには取扱説明書やその他のマニュアルを持ち込めないことが一般的であるが、例えばディスプレイ１２をクリーンルームの外部に、クリーンルーム内から視認可能に配置し、ハンドポインティング入力装置２０によって判断したクリーンルーム内の作業者からの指示に応じて取扱説明書やその他のマニュアルの内容をディスプレイ１２に表示するようにすれば、クリーンルーム内とクリーンルーム外との双方向のコミュニケーションが可能となり、クリーンルーム内での作業の効率が向上する。
【０１２０】
更に、例えば大画面のディスプレイ１２、ハンドポインティング入力装置２０及び情報処理装置１４をアミューズメント施設のゲーム機として動作させたり、会議のプレゼンテーションにおいて、ディスプレイ１２に説明用の資料を表示しディスプレイ１２の表示面上の任意の位置を指し示す際に適用することも可能である。
【０１２１】
なお、上記では２台のビデオカメラ３６Ａ、３６Ｂを設けた例を説明したが、これに限定されるものではなく、より多数のビデオカメラによって情報入力空間を各々撮像し、情報入力者１０からの指示を判断するようにしてもよい。
【０１２２】
また、上記では本発明に係る特徴点Ｐx として、指先に相当する点を例に説明したが、特徴点は認識対象者が腕を屈曲又は伸長させることで位置が変化する点であればよく、例えば認識対象者の手首に相当する点や、認識対象者の手の甲にに相当する点を特徴点として用いるようにしてもよい。
【０１２３】
また、情報入力者１０の姿勢が、腕を上げている状態（図１１（Ｂ）又は（Ｃ）参照）から、腕を下ろした状態（図１１（Ａ）参照）に変化した場合に、腕を下ろす直前の指示位置にカーソルを継続して表示するようにしてもよい。これにより、情報入力者１０が一定箇所にカーソルを継続して表示させたい等の場合にも（例えば会議のプレゼンテーション等）、情報入力者１０が継続的に腕を上げ続ける必要がなくなるので、情報入力者１０の負担を軽減することができる。
【０１２４】
更に、上記では処理モード切替指示動作として、手の形を変える動作、処理モードの切り替えを指示する音声を発する動作、及びフットスイッチ４６を操作する動作、の３種類の動作を用いていたが、これに限定されるものではなく、何れか１種類の動作を処理モード切替指示動作として用いてもよいし、上記３種類の動作以外の他の動作を処理モード切替指示動作として用いてもよい。
【０１２５】
また、上記では請求項５に記載のスイッチとして、情報入力者１０が足で操作するためのフットスイッチ４６を床上に配置した例を説明したが、これに限定されるものではなく、情報入力者が手で操作するためのスイッチを床面から所定の高さ位置に設けてもよい。但し、画像から情報入力者１０等を認識する際の妨げとなる可能性がある（特に特徴点Ｐx の抽出の妨げとなる可能性が高い）ことを考慮すると、スイッチは床上等に配置することが好ましい。
【０１２６】
また、上記ではクリック動作として、情報入力者１０が手を前方に素早く移動させる前進クリック動作、及び情報入力者１０が手を後方に素早く移動させる後進クリック動作のみを判断するようにしていたが、これに限定されるものではなく、例えば基準点Ｐ0 と特徴点Ｐx との距離ｋの推移を所定時間に亘って監視することにより、マウスの操作では一般的なダブルクリック動作（ハンドポインティング装置では、例えば前進クリック動作又は後進クリック動作を２回続けて行う動作等で代用できる）やドラッグ＆ドロップ動作（ハンドポインティング装置では、例えば前進クリック動作→指示位置移動動作→後進クリック動作等の一連の動作により代用できる）も判断するようにしてもよい。本発明に係るクリック動作には上述した動作も含まれる。
【０１２７】
更に、ディスプレイ１２としては、プラズマディスプレイ、ＣＲＴ、光ファイバディスプレイ等の周知の表示装置を適用してもよいし、液晶ゴーグル等を適用することも可能である。また、擬似的に３次元空間を表す３次元的画像をディスプレイに表示するようにしてもよい。具体的には、上記のような平面ディスプレイい一点透視法や二点透視法に則った画像を表示したり、液晶シャッタやレンチキュラーレンズを利用した３次元ディスプレイに画像を表示したり、ホログラフィー技術を適用して立体画像を表示するようにしてもよい。
【０１２８】
また、上記では情報入力者１０がディスプレイ１２の表示面上の任意の位置を指し示す態様を例に説明したが、情報入力者が指し示す対象はディスプレイに限定されるものではなく、情報入力者が任意の方向を指し示したり、情報入力者との距離が不定の任意の物体を指し示すようにしてもよい。情報入力者が任意の方向を指し示す場合には、指示判断処理（の例えばステップ１６４）において、情報入力者の基準点と特徴点とを結ぶ仮想線の延びる方向を求めるようにすることで、情報入力者によって指し示された方向を判断できる。また、情報入力者が、情報入力者との距離が不定の任意の物体を指し示す場合には、先のステップ１６４において、仮想線の延びる方向を求めた後に、該仮想線を延長した先に存在する物体を判定することで、情報入力者が指し示している物体を判断することができる。
【０１２９】
情報入力者が任意の方向を指し示す利用形態としては、例えば劇場等において、スポットライトの照射方向や、アレイ状に配置された多数のスピーカによって形成される音響ビームの方向を、オペレータ（情報入力者）が指し示した方向に向ける場合等が挙げられる。また、情報入力者が、情報入力者からの距離が不定の任意の物体を指し示す利用形態としては、例えば建設現場や工場等においてクレーンやその他の機械をオペレータ（情報入力者）の指示に応じて動作させる場合、或いはホームオートメーションにおいて情報入力者が各種設備機器に対して各種の指示を行う場合等が挙げられる。
【０１３０】
【発明の効果】
以上説明したように請求項１記載の発明は、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断し、基準点と特徴点との距離の変化に基づき認識対象者によってクリック動作が行われたか否かを判断すると共に、認識対象者によってクリック動作が行われたと判断された場合に、クリック動作が行われる直前の認識対象者による指示位置又は指示方向に対応する所定の処理を実行するようにしたので、クリック動作が行われた時の指示位置又は指示方向の誤判断を防止することができる、という優れた効果を有する。
【０１３１】
請求項２記載の発明は、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断し、基準点と特徴点との距離の変化に基づき認識対象者によってクリック動作が行われたか否かを判断し、認識対象者によってクリック動作が行われたと判断された場合に、指示位置又は指示方向に対応する所定の処理を実行すると共に、指示位置又は指示方向が所定範囲外から所定範囲内へ変化したときには、クリック動作の判断を停止させるか、又は所定の処理の実行を禁止するので、クリック動作が行われていないにも拘らず、利用者の意図に反して何らかの処理が実行されることを防止できる、という優れた効果を有する。
【０１３２】
請求項３記載の発明は、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断し、基準点と特徴点との距離の変化に基づき認識対象者によってクリック動作が行われたか否かを判断し、処理モード切替指示動作が認識対象者によって行われたか否かを判定して現在の処理モードを判断し、認識対象者によってクリック動作が行われたと判断された場合に、認識対象者による指示位置又は指示方向に対応し、かつ現在の処理モードに対応する所定の処理を実行するようにしたので、クリック動作の判断処理の複雑化を招くことなく、利用者がクリック動作によって種々の指示を与えることが可能となる、という優れた効果を有する。
【０１３３】
請求項４記載の発明は、請求項３の発明において、認識対象者の手に相当する画像部の面積の変化、又は輪郭線の長さの変化、又は輪郭の形状の変化、又は認識対象者の手の各指の形の変化に基づいて処理モード切替指示動作が行われたか否かを判定するので、上記効果に加え、処理モード切替指示動作が行われたか否かを判定するために検出器等を新たに設ける必要がなくなる、という効果を有する。
【０１３４】
請求項５記載の発明は、請求項３の発明において、認識対象者により接点切替操作が可能なスイッチを設け、該スイッチの接点が切り替えられたか否かに基づいて、処理モード切替指示動作が行われたか否かを判定するので、上記効果に加え、構成の複雑化を最小限に抑え、処理モード切替指示動作が行われたか否かを簡易に判断することができる、という効果を有する。
【０１３５】
請求項６記載の発明は、請求項３の発明において、認識対象者から発せられた音声を検知する音声検知手段を設け、音声検知手段によって検知された音声に基づき、認識対象者から処理モードの切り替えを指示する音声が発せられたか否かを判定することで、処理モード切替指示動作が行われたか否かを判定するようにしたので、上記効果に加え、認識対象者が違和感を感ずることなく処理モード切替指示動作を行うことができる、という効果を有する。
【０１３６】
請求項７記載の発明は、請求項６の発明において、入力すべき情報を表す音声が認識対象者から発せられた場合に、音声検知手段によって検知された音声に基づき、前記音声が表す情報を認識し、認識した情報を表すデータを生成するように処理手段を構成したので、上記効果に加え、音声検知手段を有効に利用することができると共に、認識対象者が情報入力作業を容易に行うことができる、という効果を有する。
【図面の簡単な説明】
【図１】情報入力空間の周辺を示す斜視図である。
【図２】本実施形態に係るハンドポインティング装置の概略構成を示すブロック図である。
【図３】照明装置の照明範囲とビデオカメラの撮像範囲との関係の一例を示す概略図である。
【図４】マーク板の一例を示す情報入力空間の斜視図である。
【図５】格子点位置情報初期設定処理の内容を示すフローチャートである。
【図６】指示判断処理の内容を示すフローチャートである。
【図７】基準点・特徴点座標演算処理の内容を示すフローチャートである。
【図８】モード判定処理の内容を示すフローチャートである。
【図９】照明装置Ａ、Ｂの点灯・消灯、ビデオカメラの撮像によって得られる画像の出力（取り込み）のタイミングを示すタイミングチャートである。
【図１０】情報入力者の身長及び床面上の位置の演算を説明するための、情報入力空間の側面図である。
【図１１】（Ａ）乃至（Ｃ）は情報入力者の動作の一例を示すイメージ図である。
【図１２】（Ａ）はビデオカメラにより撮像された情報入力者の手を示すイメージ図、（Ｂ）は特徴点の座標及び特徴点の３次元座標を求めるための格子点の検索範囲を示す概念図である。
【図１３】情報入力者が指し示しているディスプレイ上の位置の判定を説明するための、（Ａ）は情報入力空間の平面図、（Ｂ）は情報入力空間の側面図である。
【図１４】情報入力者による指示位置がディスプレイの表示面外から表示面内へ変化したときを示すイメージ図である。
【図１５】（Ａ）は前進クリック動作、（Ｂ）は後進クリック動作を説明するためのイメージ図である。
【図１６】（Ａ）は特定の箇所を指し示す動作を行うとき、（Ｂ）乃至（Ｆ）は処理モードの切り替えを指示するときの手の形の一例を各々示すイメージ図である。
【符号の説明】
１０ 情報入力者
１２ ディスプレイ
１４ 情報処理装置
２０ ハンドポインティング入力装置
２２ コントローラ
３６ ビデオカメラ
【発明の属する技術分野】
本発明はハンドポインティング装置に係り、特に、認識対象者を撮像し、認識対象者が指し示した位置又は方向を判断すると共に、認識対象者がクリック動作を行った場合に所定の処理を実行するハンドポインティング装置に関する。
【０００２】
【従来の技術】
従来より、所定の情報を表示するディスプレイ、ディスプレイの近傍に到来した情報入力者（利用者）を互いに異なる方向から撮像する複数の撮像手段を備え、到来した情報入力者がディスプレイ上の任意の位置を指等によって指し示した状況を複数の撮像手段によって撮像し、撮像によって得られた複数の画像に基づいて情報入力者を認識し、情報入力者が指示したディスプレイ上の位置を判断し、ディスプレイ上の指示位置にカーソル等を表示すると共に、情報入力者が親指を上げるクリック動作を行ったことを検出すると、ディスプレイ上の指示位置がクリックされたと認識して所定の処理を行うハンドポインティング入力装置が知られている（例えば特開平4-271423号公報、特開平 5-19957号公報、特開平5-324181号公報等参照）。
【０００３】
上記のハンドポインティング入力装置によれば、情報入力者がキーボードやマウス等の入力機器に触れることなく、情報処理装置に対して各種の指示を与えたり、各種の情報を入力することが可能となるので、情報処理装置を利用するための操作の簡素化を実現できる。しかし、クリック動作は頻繁に行う必要がある動作であるのに対し、上記の従来技術においてクリック動作として用いられている親指を上げる動作は、動作としての自由度が低く、クリック動作として感覚的に馴染みにくい不自然な動作である、という問題がある。
【０００４】
このため本願出願人は、特願平９−３６９６２８号（未公知）の中で、情報入力者（認識対象者）が腕を屈曲又は伸長させる動作をクリック動作とすることを提案している。腕を屈曲又は伸長させる動作は、クリック動作として極めて自然な動作であるので、認識対象者が違和感を感ずることはない。また、上記技術では、例えば認識対象者の手や指等の先端、或いは認識対象者が把持している指示器の先端等に相当する特徴点と、例えば情報入力者の胸部や腕の付け根等の胴体部に相当する基準点と、の距離の変化に基づいて、腕を屈曲又は伸長させる動作を検出しているが、前述の特徴点及び基準点は情報入力者による指示位置（又は指示方向）を判断するために抽出される点であるので、クリック動作の検出に際して新たな画像特徴量を検出する必要もなく、上記動作を容易に検出することができる。
【０００５】
【発明が解決しようとする課題】
ところで、情報入力者によってクリック動作が行われたと判断すると、ハンドポインティング装置は、クリック動作が行われたときの情報入力者による指示位置（又は指示方向）に対応する処理を実行する（例えばクリック動作が行われたときに、情報入力者が、ディスプレイの表示面上の特定のアイコン等が表示されている位置を指し示していた場合に、前記特定のアイコン等に対応する特定の処理を実行する等）が、クリック動作としての腕を屈曲又は伸長させる動作は指示位置又は指示方向の変化を招き易く、情報入力者によるクリック動作の最中に、情報入力者による指示位置又は指示方向にずれが生ずることがあった。
【０００６】
このため、例えば情報入力者が特定位置又は特定方向を指し示している状態でクリック動作を行ったにも拘らず、特定位置と異なる位置又は特定方向と異なる方向がクリックされたと誤判断され、前記特定位置又は前記特定方向と無関係な処理（情報入力者が意図していない処理）が実行される等の不都合が生ずる可能性があった。
【０００７】
また、情報入力者が腕を屈曲又は伸長させるクリック動作を行ったか否かの判断は、前述のように、情報入力者の特徴点と基準点の距離の変化に基づいて行うことができるが、情報入力者が、腕を下ろしている状態から、例えばディスプレイ上の特定位置を指し示すために単に腕を上げる動作を行ったときにも、情報入力者の特徴点と基準点の距離が変化することがある。この場合、情報入力者がクリック動作を行っていないにも拘らず、情報入力者の特徴点と基準点の距離の変化に基づき、情報入力者によってクリック動作が行われたと誤判断され、情報入力者の意図に反して何らかの処理が実行されることがあった。
【０００８】
また、ハンドポインティング装置は、マウス等のポインティングデバイスに代わる技術として期待されているが、例えばマウスは通常複数のボタンが設けられており、最近は、画面表示のスクロールを指示するマークを画面に表示させるための特殊なボタンも付加されたマウスも市場に出回っている。マウスを使用する場合には、これらのボタンを使い分けることにより、マウスによるクリック操作に様々な意味を持たせ、情報処理装置に対して種々の指示を与えることが可能とされている。
【０００９】
これに対し、従来のハンドポインティング装置において、情報入力者の動作として規定されている動作は、ディスプレイ上の任意の箇所を指し示すポインティング動作、及びディスプレイ上の任意の箇所をクリックするクリック動作のみであり、情報処理装置に対して種々の指示を与えることは不可能であった。また、指示の種類数に対応してクリック動作を多数種定めることも考えられるが、クリック動作が行われたか否かの判断を多数種のクリック動作について各々行う必要があるので、クリック動作を判断する処理が非常に複雑になると共に、情報入力者によってクリック動作が行われてから、クリック動作が行われたと判断する迄に長い時間がかかることも考えられる。
【００１０】
本発明は上記事実を考慮して成されたもので、クリック動作が行われた時の指示位置又は指示方向の誤判断を防止することができるハンドポインティング装置を得ることが目的である。
【００１１】
また本発明は、クリック動作が行われていないにも拘らず、利用者の意図に反して何らかの処理が実行されることを防止できるハンドポインティング装置を得ることが目的である。
【００１２】
また本発明は、クリック動作の判断処理の複雑化を招くことなく、利用者がクリック動作によって種々の指示を与えることが可能なハンドポインティング装置を得ることが目的である。
【００１３】
【課題を解決するための手段】
上記目的を達成するために請求項１記載の発明に係るハンドポインティング装置は、認識対象者を互いに異なる複数の方向から撮像する撮像手段と、認識対象者が特定の位置又は方向を指し示している状況を前記撮像手段が撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標を求め、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断する第１の判断手段と、前記基準点と前記特徴点との距離の変化に基づき、認識対象者によってクリック動作が行われたか否かを判断する第２の判断手段と、前記第２の判断手段により、認識対象者によってクリック動作が行われたと判断された場合に、前記第１の判断手段による判断結果に基づき、前記クリック動作が行われる直前の認識対象者による指示位置又は指示方向に対応する所定の処理を実行する処理手段と、を含んで構成している。
【００１４】
請求項１記載の発明では、撮像手段によって互いに異なる複数の方向から認識対象者（利用者）を撮像する。この撮像手段は、ビデオカメラ等から成る複数の撮像装置によって認識対象者を複数の方向から撮像するよう構成してもよいし、平面ミラー等の光反射手段を設け、単一の撮像装置により認識対象者を直接撮像すると共に、平面ミラーに映っている認識対象者の虚像を撮像することで、認識対象者を複数の方向から撮像するよう構成することも可能である。
【００１５】
また、第１の判断手段は、認識対象者が特定の位置又は方向を指し示している状況を、撮像手段が互いに異なる複数の方向から撮像することで得られた複数の画像に基づいて、画像中の認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標を求める。なお、特徴点としては、例えば認識対象者の手や指等の先端、或いは認識対象者が把持している指示器の先端等に相当する点を用いることができ、基準点としては、例えば認識対象者の胴体部（例えば胸部や腕の付け根等）に相当する点を用いることができる。
【００１６】
また第１の判断手段は、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断する。従って、認識対象者が、例えばディスプレイの表示面等の面上の特定の位置を指し示したり、特定の方向（例えば認識対象者から見て特定の物体が存在している方向）を指し示す動作を行えば、認識対象者による指示位置又は指示方向が判断されることになる。
【００１７】
一方、第２の判断手段は前述の基準点と特徴点との距離の変化に基づき、認識対象者によってクリック動作が行われたか否かを判断する。従って、認識対象者が腕を屈曲又は伸長させる動作を行えば、基準点と特徴点との距離の変化に基づいてクリック動作が行われたと判断され、処理手段によって所定の処理が行われる。このように、クリック動作が行われたか否か（所定の処理の実行が指示されたか否か）を判定するために新たな画像特徴量を検出する必要がないので、クリック動作が行われたか否かを短時間で判断することができる。
【００１８】
また、請求項１の発明に係る処理手段は、所定の処理として、クリック動作が行われる直前の認識対象者による指示位置又は指示方向に対応する処理を実行する。クリック動作が行われる直前の指示位置又は指示方向は、例えば第１の判断手段によって判断された指示位置又は指示方向と、基準点と特徴点との距離と、を所定期間に亘って記憶しておき、クリック動作が行われたと判断された場合に、所定期間内における基準点と特徴点との距離の推移に基づいて、クリック動作が行われる直前のタイミングを判断し、該直前のタイミングにおける指示位置又は指示方向を検索することで得ることができる。
【００１９】
これにより、認識対象者によるクリック動作の最中に指示位置又は指示方向がずれたとしても、認識対象者が当初指し示した位置又は方向に対応する処理を確実に実行することができる。従って、請求項１の発明によれば、クリック動作が行われた時の指示位置又は指示方向の誤判断を防止することができ、認識対象者が所望する処理を確実に実行することができる。
【００２０】
請求項２記載の発明に係るハンドポインティング装置は、認識対象者を互いに異なる複数の方向から撮像する撮像手段と、認識対象者が特定の位置又は方向を指し示している状況を前記撮像手段が撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標を求め、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断する第１の判断手段と、前記基準点と前記特徴点との距離の変化に基づき、認識対象者によってクリック動作が行われたか否かを判断する第２の判断手段と、前記第１の判断手段によって判断された認識対象者による指示位置又は指示方向が所定範囲内で、かつ前記第２の判断手段により、認識対象者によってクリック動作が行われたと判断された場合に、前記指示位置又は指示方向に対応する所定の処理を実行する処理手段と、前記第１の判断手段による判断結果に基づき、認識対象者による指示位置又は指示方向が所定範囲外から所定範囲内へ変化したときには、前記第２の判断手段による判断を停止させるか、又は前記処理手段による所定の処理の実行を禁止する制御手段と、を含んで構成している。
【００２１】
請求項２記載の発明は、請求項１の発明と同様に撮像手段、第１の判断手段、第２の判断手段を備えており、請求項２の発明に係る処理手段は、認識対象者による指示位置又は指示方向が所定範囲内で、かつ認識対象者によってクリック動作が行われたと判断された場合に、認識対象者による指示位置又は指示方向に対応する所定の処理を実行する。従って、認識対象者が特定位置や特定方向を指し示す動作を行えば、認識対象者による指示位置又は指示方向が判断され、認識対象者が所定範囲内の特定位置や特定方向を指し示している状態で腕を屈曲又は伸長させる動作を行えば、基準点と特徴点との距離の変化に基づきクリック動作が行われたと判断され、指示位置又は指示方向に対応する所定の処理が処理手段によって行われる。
【００２２】
また請求項２の発明は、第１の判断手段による判断結果に基づき、認識対象者による指示位置又は指示方向が所定範囲外から所定範囲内へ変化したときには、第２の判断手段による判断を停止させるか、又は処理手段による所定の処理の実行を禁止する制御手段を備えている。これにより、認識対象者が指示位置又は指示方向を所定範囲外から所定範囲内へ移動させる動作を行い、この動作に伴って基準点と特徴点との距離が変化した場合にも、制御手段が第２の判断手段による判断を停止させる場合は、前記動作がクリック動作と誤判断されることが防止される。また、制御手段が処理手段による所定の処理の実行を禁止する場合は、前記動作がクリック動作と誤判断される可能性はあるものの、この誤判断に基づいて所定の処理が実行されることが防止される。
【００２３】
従って、請求項２の発明によれば、認識対象者が、指示位置又は指示方向を単に所定範囲外から所定範囲内へ移動させる動作を行った等のように、クリック動作を行っていないにも拘らず、クリック動作が行われたと誤判断され、利用者の意図に反して何らかの処理が実行されることを防止することができる。
【００２４】
請求項３記載の発明に係るハンドポインティング装置は、認識対象者を互いに異なる複数の方向から撮像する撮像手段と、認識対象者が特定の位置又は方向を指し示している状況を前記撮像手段が撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標を求め、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断する第１の判断手段と、前記基準点と前記特徴点との距離の変化に基づき、認識対象者によってクリック動作が行われたか否かを判断する第２の判断手段と、前記クリック動作とは異なる処理モード切替指示動作が認識対象者によって行われたか否かを判定し、現在の処理モードを判断する第３の判断手段と、前記第２の判断手段により、認識対象者によってクリック動作が行われたと判断された場合に、前記第１の判断手段によって判断された認識対象者による指示位置又は指示方向に対応し、かつ前記第３の判断手段によって判断された現在の処理モードに対応する所定の処理を実行する処理手段と、を含んで構成している。
【００２５】
請求項３記載の発明は、請求項１及び請求項２の発明と同様に撮像手段、第１の判断手段、第２の判断手段を備えているので、認識対象者が特定位置又は特定方向を指し示す動作を行えば、認識対象者による指示位置又は指示方向が判断され、認識対象者が特定位置又は特定方向を指し示している状態で腕を屈曲又は伸長させる動作を行えば、基準点と特徴点との距離の変化に基づいてクリック動作が行われたと判断される。
【００２６】
また、請求項３の発明は、クリック動作とは異なる処理モード切替指示動作が認識対象者によって行われたか否かを判定し、現在の処理モードを判断する第３の判断手段を備えており、処理手段は、認識対象者によってクリック動作が行われたと判断された場合に、認識対象者による指示位置又は指示方向に対応し、かつ第３の判断手段によって判断された現在の処理モードに対応する所定の処理を実行する。従って、クリック動作が意味する指示、すなわちクリック動作を行うことで実行される処理は処理モードに応じて切り替わると共に、この処理モードは、認識対象者が処理モード切替指示動作を行うことで切り替えることができるので、認識対象者（利用者）がクリック動作によって種々の指示を与え、種々の処理を選択的に実行させることが可能となる。
【００２７】
更に、請求項３の発明では、クリック動作そのものを多数種定める必要がなくなると共に、処理モード切替指示動作をクリック動作と同時に行う必要もなくなるので、指示の種類数に対応してクリック動作を多数種定めておく等の場合と比較して、クリック動作を判断する処理が非常に簡単になり、クリック動作が行われたか否かを短い時間で判断できると共に、クリック動作が行われることで利用者から与えられた指示を正確に判断することができる。
【００２８】
また、処理モード切替指示動作は、処理モードの種類数に対応して複数種定める必要があるが、前述のように、処理モード切替指示動作はクリック動作と同時に行う必要はなく、かつ通常はクリック動作よりも実行頻度が低いので、クリック動作そのものを多数種定める場合と比較して、処理モード切替指示動作として採用可能な動作の自由度が高く、例えばクリック動作と無関係に、指示された処理モードの判断が容易な動作を採用することも可能となる。
【００２９】
なお、上記の処理モード切替指示動作としては、例えば認識対象者の手の形を変える動作（具体的には、例えば指を伸ばす本数や、何れの指を伸ばすか等）が挙げられる。この場合、第３の判断手段は、請求項４に記載したように、複数の画像中の認識対象者の手に相当する画像部を抽出し、前記画像部の面積の変化、又は輪郭線の長さの変化、又は輪郭の形状の変化、又は前記画像部に基づいて認識した認識対象者の手の各指の形の変化に基づいて、認識対象者によって処理モード切替指示動作が行われたか否かを判定するように構成することができる。請求項４の発明では、撮像手段が撮像することで得られた複数の画像から処理モード切替指示動作を判断するので、処理モード切替指示動作が行われたか否かを判定するために検出器等を新たに設ける必要がなくなる。
【００３０】
また、処理モード切替指示動作は、処理モードの切り替えを指示するために設けられたスイッチの接点を切り替える動作であってもよい。この場合、請求項５に記載したように、認識対象者により接点切替操作が可能なスイッチを設けると共に、第３の判断手段を、前記スイッチの接点が切り替えられたか否かに基づいて、認識対象者によって処理モード切替指示動作が行われたか否かを判定するように構成することができる。請求項５の発明によれば、構成の複雑化を最小限に抑え、処理モード切替指示動作が行われたか否かを簡易に判断することができる。
【００３１】
更に、処理モード切替指示動作は、処理モードの切り替えを指示する音声を発する動作であってもよい。この場合、請求項６に記載したように、認識対象者から発せられた音声を検知する音声検知手段を設けると共に、第３の判断手段を、音声検知手段によって検知された音声に基づき、認識対象者から処理モードの切り替えを指示する音声が発せられたか否かを判定することで、認識対象者によって処理モード切替指示動作が行われたか否かを判定するように構成することができる。請求項６の発明では、認識対象者が処理モードの切り替えを指示する音声を発する動作を処理モード切替指示動作としているので、構成の複雑化を招くという欠点はあるものの、認識対象者が違和感を感ずることなく処理モード切替指示動作を行うことができる。
【００３２】
また、上記のように音声検知手段を設ける場合、請求項７に記載したように、処理手段を、入力すべき情報を表す音声が認識対象者から発せられた場合に、音声検知手段によって検知された音声に基づき、前記音声が表す情報を認識し、認識した情報を表すデータを生成することが好ましい。これにより、音声検知手段を、認識対象者による処理モード切替指示動作（処理モードの切り替えを指示する音声を発する動作）の判断以外にも有効に利用することができると共に、認識対象者による情報入力作業を容易に行うことが可能となる。
【００３３】
なお、処理手段が表示手段の表示面上にカーソルを表示する態様において、請求項３乃至請求項６の何れかの発明を適用した場合、第３の判断手段が、認識対象者によって処理モード切替指示動作が行われたと判断したときに、処理手段は、切り替わった現在の処理モードに応じて、前記表示しているカーソルの色及び形状の少なくとも一方を変更することが好ましい。これにより、処理モードが切り替わったことを利用者が視覚的に容易に認識することができる。
【００３４】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１に示すように、本発明に係る認識対象者としての情報入力者１０が到来する箇所の壁面には大画面ディスプレイ１２が埋め込まれている。なお、ディスプレイ１２としては液晶ディスプレイ（ＬＣＤ）やプラズマディスプレイ、ブラウン管、光ファイバディスプレイ等の周知の表示手段を適用できる。
【００３５】
ディスプレイ１２はパーソナルコンピュータ等から成る情報処理装置１４に接続されており（図２参照）、情報処理装置１４により、各種の情報が表示面上に図形、表、文字、画像等の種々の表示形態で表示される。本実施形態において、情報入力者１０は、ディスプレイ１２の前方の図１に示した箇所（情報入力空間）に到来し、ディスプレイ１２の表示面上の各種情報が表示されている位置を指し示すと共に、クリック動作（詳細は後述）を行うことにより、情報処理装置１４に対して各種の指示を与えたり各種の処理を実行させる。
【００３６】
図２に示すように、情報処理装置１４には、本実施形態に係るハンドポインティング入力装置２０のコントローラ２２が接続されている。なお、上述したディスプレイ１２、情報処理装置１４、及びハンドポインティング入力装置２０は本発明に係るハンドポインティング装置に対応している。
【００３７】
コントローラ２２は、ＣＰＵ２２Ａ、ＲＯＭ２２Ｂ、ＲＡＭ２２Ｃ、入出力インタフェース２２Ｄを備えており、これらがバスを介して互いに接続されて構成されている。入出力インタフェース２２Ｄには情報処理装置１４が接続されていると共に、記憶内容を書換え可能な不揮発性の記憶装置２４、各種の情報を表示するためのディスプレイ２６、オペレータが各種の指示やデータを入力するためのキーボード２８、照明制御装置３０、撮像制御装置３４、マーク板駆動装置３８、音声検知装置４２（請求項６に記載の音声検知手段に対応）及びフットスイッチ４６（請求項５に記載のスイッチに対応）が各々接続されている。
【００３８】
照明制御装置３０には、近赤外域の波長の光をビーム状に射出する複数の近赤外光照明装置３２Ａ、３２Ｂが接続されている。図１に示すように、近赤外光照明装置３２Ａ、３２Ｂは、情報入力空間の上方の互いに異なる箇所に配設されており、情報入力空間に到来した情報入力者１０を、互いに異なる方向から照明するように照射範囲が調整されている。照明制御装置３０は照明装置３２Ａ、３２Ｂの点灯・消灯を制御する。
【００３９】
撮像制御装置３４には、情報入力空間の上方の互いに異なる箇所に配設された（図１参照）複数のビデオカメラ３６Ａ、３６Ｂが接続されている。ビデオカメラ３６Ａ、３６Ｂは、図示は省略するが、近赤外光に感度を有するＣＣＤ等から成るエリアセンサを備えていると共に、入射光をエリアセンサの受光面に結像させる結像レンズの光入射側に、近赤外域の波長の光のみを透過するフィルタが設けられている。なお、撮像手段（カメラ）として遠赤外線カメラを用い、人間（情報入力者）の体温による遠赤外線と、人間の体温と所定値以上離れた温度（体温よりも高い温度であっても低い温度であってもよい）に設定又は温度調整された床から放射される遠赤外光と、によって人間と背景とを弁別する方法を用いても良い。この場合は照明装置３２Ａ、３２Ｂ及び照明制御装置３０を省略することも可能となる。
【００４０】
図３に示すように、ビデオカメラ３６Ａ、３６Ｂは情報入力空間に到来した情報入力者１０を互いに異なる方向から撮像するように向きが調整されている。また、ビデオカメラ３６Ａは、情報入力空間に到来した情報入力者１０が撮像範囲内に入り、かつ照明装置３２Ａから射出された光が結像レンズに直接入射せず、かつ撮像範囲の中心が、情報入力空間内において照明装置３２Ａによる照明範囲の中心と床面から所定高さで交差するように（照明装置３２Ａによる床面上の照明範囲が撮像範囲から外れるように）、向き（撮像範囲）が調整されている。同様にビデオカメラ３６Ｂは、情報入力空間に到来した情報入力者１０が撮像範囲内に入り、かつ照明装置３２Ｂから射出された光が結像レンズに直接入射せず、かつ撮像範囲の中心が、情報入力空間内において照明装置３２Ｂによる照明範囲の中心と床面から所定高さで交差するように（照明装置３２Ａによる床面上の照明範囲が撮像範囲から外れるように）、向き（撮像範囲）が調整されている。
【００４１】
なお、ビデオカメラ３６Ａ、３６Ｂ、撮像制御装置３４、照明制御装置３０、及び近赤外光照明装置３２Ａ、３２Ｂは本発明の撮像手段に対応している。
【００４２】
また図４に示すように、ハンドポインティング入力装置２０は、情報入力空間の近傍に配設されたマーク板４０を備えている。マーク板４０は、透明な平板に多数のマーク４０Ａがマトリクス状に等間隔で記録されて構成されており、マーク４０Ａの配列方向に直交する方向（図４の矢印Ａ方向）に沿って情報入力空間を横切るように移動可能とされている。なおマーク４０Ａは、画像上での認識が容易な色（例えば赤色）に着色されている。入出力インタフェース２２Ｄに接続されたマーク板駆動装置３８は、コントローラ２２からの指示に応じてマーク板４０を図４の矢印Ａ方向に沿って移動させる。
【００４３】
一方、図２に示すように、音声検知装置４２はマイクロフォン４２Ａ、増幅器４２Ｂ及びアナログ−デジタル（Ｄ／Ａ）変換器４２Ｃが順に接続されて構成されている。本実施形態では、マイクロフォン４２Ａとして、特定の方向から到来した音声のみを検知する指向特性のマイクロフォン（単一指向性又は超指向性のマイクロフォン）を用いており、図１に示すように、マイクロフォン４２Ａはディスプレイ１２の上方に取付けられていると共に、情報入力空間に到来した情報入力者１０から発せられた音声を検知できるように向きが調整されている。
【００４４】
マイクロフォン４２Ａによって検知された音声は、増幅器４２Ｂで増幅され、Ｄ／Ａ変換器４２Ｃでデジタルの音声データに変換されてコントローラ２２に入力される。コントローラ２２は、入力された音声データをＲＡＭ２２Ｃに逐次記憶する。
【００４５】
また、図１に示すように、フットスイッチ４６は情報入力空間内の床上に載置されている。フットスイッチ４６は、複数のフットペダル４８（図１では、例として４個のフットペダル４８Ａ〜４８Ｄを示す）が設けられていると共に、フットペダルに対応して複数個のスイッチを内蔵している。情報入力空間に到来した情報入力者１０が、自身の足によってフットペダル４８を押圧操作すると、前記複数個のスイッチのうち、押圧操作されたフットペダル４８に対応するスイッチの接点が切り替わるようになっている。なお、フットスイッチ４６の各スイッチの接点の状態はコントローラ２２によって検知される。
【００４６】
次に本実施形態の作用として、まず、ハンドポインティング入力装置２０が設置された際にコントローラ２２によって実行される格子点位置情報初期設定処理について、図５のフローチャートを参照して説明する。
【００４７】
ステップ１００では、マーク板駆動装置３８により、マーク板４０を所定位置（マーク板４０の移動範囲の端部に相当する位置）に移動させる。次のステップ１０２では、現在のマーク板４０の位置において、マーク板４０に記録されている多数のマーク４０Ａの情報入力空間内での３次元座標（ｘ，ｙ，ｚ）を各々演算する。ステップ１０４では撮像制御装置３４を介し、ビデオカメラ３６Ａ、３６Ｂによって情報入力空間を撮像させ、次のステップ１０６では、ビデオカメラ３６Ａが情報入力空間を撮像することによって得られた画像（以下画像Ａと称する）を撮像制御装置３４を介して取り込む。
【００４８】
ステップ１０８では、ステップ１０６で取り込んだ画像Ａ中に存在するマーク４０Ａの認識（抽出）を行い、次のステップ１１０では認識した全てのマーク４０Ａについて、画像Ａ上での位置（ＸA ，ＹA ）を演算する。そしてステップ１１２では、画像Ａ中に存在する全てのマーク４０Ａについて、情報入力空間内での３次元座標（ｘ，ｙ，ｚ）と、画像Ａ上での位置（ＸA ，ＹA ）とを対応させ、ビデオカメラ３６Ａの格子点位置情報として記憶装置２４に記憶させる。
【００４９】
次のステップ１１４〜１２０では、上記のステップ１０６〜１１２と同様にしてビデオカメラ３６Ｂに対する処理を行う。すなわち、ステップ１１４ではビデオカメラ３６Ｂが情報入力空間を撮像することによって得られた画像（以下画像Ｂと称する）を撮像制御装置３４を介して取り込み、ステップ１１６ではステップ１１４で取り込んだ画像Ｂ中に存在するマーク４０Ａの認識（抽出）を行い、次のステップ１１８では認識した全てのマーク４０Ａについて、画像Ｂ上での位置（ＸB ，ＹB ）を演算する。そしてステップ１２０では、画像Ｂ中に存在する全てのマーク４０Ａについて、情報入力空間内での３次元座標（ｘ，ｙ，ｚ）と、画像Ｂ上での位置（ＸB ，ＹB ）とを対応させ、ビデオカメラ３６Ｂの格子点位置情報として記憶装置２４に記憶させる。
【００５０】
次のステップ１２２では、マーク板４０が最終位置（マーク板４０の移動範囲のうちステップ１００における所定位置と反対側の端部に相当する位置）迄移動したか否か判定する。ステップ１２２の判定が否定された場合にはステップ１２４へ移行し、マーク板駆動装置３８により、マーク板４０を所定方向に一定距離（詳しくは、マーク板４０上におけるマーク４０Ａの間隔に一致する距離）だけ移動させた後にステップ１０２に戻る。
【００５１】
上記のように、マーク板４０が最終位置に移動する迄、ステップ１０２〜１２４が繰り返されることにより、マーク板４０に記録されている多数のマーク４０Ａは、情報入力空間内に一定間隔で格子状に並ぶ多数の格子点に対応する位置へ移動され、ビデオカメラ３６Ａの格子点位置情報として、各格子点の情報入力空間内での３次元座標と画像Ａ上での位置とが対応されて記憶装置２４に記憶されると共に、ビデオカメラ３６Ｂの格子点位置情報として、各格子点の情報入力空間内での３次元座標と画像Ｂ上での位置とが対応されて記憶装置２４に記憶されることになる。
【００５２】
なお、マーク板４０及びマーク板駆動装置３８は、上記の格子点位置情報初期設定処理においてのみ用いられ、後述する処理では用いないので、上記の処理を実行した後に、マーク板４０及びマーク板駆動装置３８を撤去するようにしてもよい。
【００５３】
またマーク４０Ａが記録されたマーク板４０に代えて、透明な平板にＬＥＤ等の多数の発光素子がマトリクス状に配設されたマーク板を用い、マーク板を一定距離ずつステップ移動させると共に、ステップ移動における各位置で多数の発光素子を順に点灯させることを繰り返すことによって上記の処理を行うようにしてもよい。また発光素子が取付けられたハンドを備え、該ハンドを情報入力空間内の任意の位置に移動可能とされたロボットアーム装置を用い、ロボットアーム装置によって各格子点に対応する各位置に発光素子を移動させて点灯させることを繰り返すことによって上記処理を行うことも可能である。
【００５４】
次に図６のフローチャートを参照し、上記の格子点位置情報初期設定処理が行われた後にコントローラ２２で定常的に実行される指示判断処理について説明する。なお、この指示判断処理は情報入力空間に到来した情報入力者１０からの指示の判断等を行うものである。
【００５５】
ステップ１５０では、ビデオカメラ３６Ａから出力される画像Ａを表す画像データ、及びビデオカメラ３６Ｂから出力される画像Ｂを表す画像データを各々取り込み、取り込んだ画像Ａ及び画像Ｂの画像データに基づいて、情報入力空間内に情報入力者１０が到来したか（存在しているか）否か判定し、判定が肯定される迄待機する。
【００５６】
コントローラ２２が指示判断処理を実行しているときには、図９に示すように、照明制御装置３０は照明装置３２Ａ、３２Ｂを交互に点灯させ、撮像制御装置３４は、ビデオカメラ３６Ａによる情報入力空間の撮像が照明装置３２Ａが点灯しているときに行われ、ビデオカメラ３６Ｂによる情報入力空間の撮像が照明装置３２Ｂが点灯しているときに行われるように制御する。
【００５７】
ビデオカメラ３６Ａの撮像範囲は照明装置３２Ａによる床面上の照明範囲が撮像範囲から外れるように調整されているので、照明装置３２Ａによる床面上の照明範囲内に情報入力者１０の荷物やゴミ等の非認識対象物５０Ａ（図３参照）が存在していたとしても、この非認識対象物５０Ａがビデオカメラ３６Ａの撮像範囲に入ることはない。また、床面上のビデオカメラ３６Ａによって撮像される範囲内に非認識対象物５０Ｂ（図３参照）が存在していたとしても、非認識対象物５０Ｂは照明装置３２Ａによる照明範囲から外れているので、画像Ａ中に存在する非認識対象物５０Ｂに相当する画像部の輝度は非常に低くなる。
【００５８】
同様に、ビデオカメラ３６Ｂの撮像範囲は照明装置３２Ｂによる床面上の照明範囲が撮像範囲から外れるように調整されているので、照明装置３２Ｂによって照明される床面上に非認識対象物５０Ｂが存在していたとしても、この非認識対象物５０Ｂがビデオカメラ３６Ｂの撮像範囲に入ることはない。また、床面上のビデオカメラ３６Ｂによって撮像される範囲内に非認識対象物５０Ａが存在していたとしても、画像Ｂ中に存在する非認識対象物５０Ｂに相当する画像部の輝度は非常に低くなる。
【００５９】
従って、先のステップ１５０の判定は、例えば画像Ａ及び画像Ｂ中に、高輝度でかつ所定値以上の面積の画像部が存在しているか否か等の極めて簡単な判断処理で済む。ステップ１５０の判定が否定された場合には、判定が肯定される迄待機する。
【００６０】
情報入力空間に情報入力者１０が到来すると、ステップ１５０の判定が肯定されてステップ１５２へ移行し、クリック動作を監視するための監視フラグ（詳細は後述）を０にしたり、処理モードとしてデフォルトで定められている処理モードを設定する等の初期設定を行う。次のステップ１５３では、情報入力空間から情報入力者１０が退去したか否か判定する。情報入力空間から情報入力者１０が退去した場合には、前記判定が肯定されてステップ１５０に戻り、情報入力空間に再度情報入力者１０が到来する迄待機するが、前記判定が否定された場合には、ステップ１５４で基準点・特徴点座標演算処理を行う。以下、この基準点・特徴点座標演算処理について、図７のフローチャートを参照して説明する。
【００６１】
ステップ２１０ではビデオカメラ３６Ａ、３６Ｂから画像Ａ及び画像Ｂのデータを各々取り込み、次のステップ２１２では取り込んだ画像Ａ及び画像Ｂから、情報入力者１０の全体像に相当する画像部を各々抽出する。この情報入力者１０の全体像に相当する画像部についても、高輝度の画素から成る所定値以上の面積の連続した領域を判断することで容易に抽出することができる。
【００６２】
ステップ２１４では、情報入力者１０の全体像に相当する画像部に基づき、情報入力者１０の身長を求める。図１０に示すように、点Ｏに位置しているビデオカメラ３６の結像レンズの焦点距離をｆ、点Ｏを通る鉛直線と情報入力空間の床面との交点Ｑと点Ｏとの距離をＨ、点Ｑと情報入力者１０が立っている床面上の点Ｐとの距離をＲ、情報入力者１０の頭頂部に相当する点Ｐ’と点Ｐとの距離ｈを情報入力者１０の身長とする。また、点ＰＯＱの成す角度をθ、点Ｐ’ＯＱの成す角度をθ’、ビデオカメラ３６のエリアセンサの受光面に結像される情報入力者１０の像の長さをｈ’、点Ｐに対応する受光面上の結像点を点ｐ、点Ｐ’に対応する受光面上の結像点を点ｐ’、受光面の中心ｏと点ｐとの距離をｒ、受光面の中心ｏと点ｐ’との距離をｒ’とすると、角度θ、θ’、距離ｒ、ｒ’は次の（１）〜（４）式から求めることができる。
【００６３】
θ ＝ｔａｎ-1（Ｒ／Ｈ） …（１）
θ’＝ｔａｎ-1｛Ｒ／（Ｈ−ｈ）｝ …（２）
ｒ ＝ｆθ …（３）
ｒ’＝ｆθ’ …（４）
従って、情報入力者１０の身長ｈ及び距離Ｒは次の（５）式及び（６）式によって求めることができる。
【００６４】
ｈ＝Ｈ｛１−ｔａｎ（ｒ／ｆ）／ｔａｎ（ｒ’／ｆ）｝ …（５）
Ｒ＝Ｈｔａｎ（ｒ／ｆ） …（６）
距離Ｈ及び焦点距離ｆは既知であるので、ステップ２１４ではビデオカメラ３６Ａ、３６Ｂの撮像によって得られた画像Ａ及び画像Ｂの何れかから距離ｒ、ｒ’を求め、これを（５）式に代入することにより情報入力者１０の身長ｈを求めることができる。また、ステップ２１４では、画像Ａ及び画像Ｂの各々から距離ｒを求め、これを（６）式に各々代入して距離Ｒを各々求めることにより、情報入力者１０の床面上の位置（２次元座標）を求める。
【００６５】
次のステップ２１６では、ステップ２１４で求めた情報入力者１０の身長ｈ及び情報入力者１０の床面上の位置に基づき、情報入力者１０の基準点Ｐ0 の３次元座標（ｘ0 ，ｙ0 ，ｚ0 ）を決定する。なお基準点Ｐ0 としては、例えば情報入力者１０の背中に相当する点（図１３に示す点Ｐ0 ）を用いることができる。この場合、情報入力者１０の身長ｈに基づいて情報入力者１０の背中に相当する基準点Ｐ0 の床面からの高さ（例えばｚ0 の値）を割り出し、情報入力者１０の床面上の位置（平面座標）を基準点Ｐ0 の平面座標（例えばｘ0 、ｙ0 の値）として設定することにより、基準点Ｐ0 の３次元座標を決定することができる。なお、情報入力者１０の背中に相当する点に代えて、情報入力者１０の胸部に相当する点や、情報入力者１０の腕の付け根に相当する点等を用いてもよい。
【００６６】
ステップ２１８では、画像Ａ及び画像Ｂ上での情報入力者１０の全体像に相当する画像部の形状に基づいて、情報入力者１０が指等によりディスプレイ１２側を指し示す動作（指示動作）を行っているか否か判定する。情報入力者１０から見たディスプレイ１２の方向は既知であるので、ステップ２１８の判定は、例えば情報入力者１０の全体像に相当する画像部において、情報入力者１０の手に相当すると判断できる高さ位置に、情報入力者１０から見たディスプレイ１２の方向に向かって突出している部分が有るか否かを判断することで実現できる。
【００６７】
これにより、情報入力者１０が、図１１（Ａ）に示す直立状態から、図１１（Ｂ）又は（Ｃ）に示すように腕を上げて手をディスプレイ１２側に向ければ、情報入力者１０が指示動作を行っていると判定されることになる。ステップ２１８の判定が否定された場合には、特徴点の３次元座標の演算（詳細は後述）を行うことなく基準点・特徴点座標演算処理を終了する。
【００６８】
情報入力者１０が指示動作を行っている場合には、ステップ２１８の判定が肯定されてステップ２２０へ移行する。ステップ２２０では、ビデオカメラ３６Ａから取り込んだ画像Ａを表す画像データに基づいて、画像Ａ中に存在する情報入力者１０の特徴点Ｐx を抽出し、画像Ａ上での特徴点Ｐx の位置（ＸA ，ＹA ）を演算する。情報入力者１０の特徴点Ｐx としては、ディスプレイ１２側を指し示す動作を行っている指の先端に相当する点等を用いることができる。この場合、情報入力者１０の全体像を表す画像部のうち、情報入力者１０の手に相当すると判断できる高さ位置に、ディスプレイ１２の方向に向かって突出している部分の先端の位置を、特徴点Ｐx の位置として演算することができる。
【００６９】
これにより、ビデオカメラ３６Ａによって情報入力者１０の手が図１２（Ａ）に示すように撮像された場合、特徴点Ｐx の位置として、図１２（Ｂ）に示す特徴点Ｐx の座標（ＸA ，ＹA ）が演算されることになる。
【００７０】
ステップ２２２では、記憶装置２４に記憶されているビデオカメラ３６Ａの格子点位置情報に基づき、画像Ａ上での位置が（ＸA ±ｄＸ，ＹA ±ｄＹ）の範囲（図１３（Ｂ）にハッチングで囲んだ範囲を参照）に入る格子点を全て検索する。なお、このｄＸ及びｄＹの大きさは、格子点の間隔（マーク４０Ａの間隔）に基づき、少なくとも１個以上の格子点が抽出されるように定められている。
【００７１】
また、本実施形態ではビデオカメラの結像レンズとして広角レンズを用いており、仮にｄＸ及びｄＹを一定とすると、ビデオカメラと格子点との距離が大きくなるに従って多くの格子点が（ＸA ±ｄＸ，ＹA ±ｄＹ）の範囲に入り、後述する特徴点Ｐx の３次元座標の演算の精度の低下に繋がる。このため、ｄＸ及びｄＹは、３次元座標上でのビデオカメラからの距離が離れるに従って値が小さくなるように設定される。従って、３次元座標上での（ＸA ±ｄＸ，ＹA ±ｄＹ）に相当する範囲は、底面がビデオカメラ側に位置している四角錐状となる。
【００７２】
ステップ２２４では、先のステップ２２０と同様に、ビデオカメラ３６Ｂから取り込んだ画像Ｂを表す画像データに基づいて、画像Ｂ中に存在する情報入力者１０の特徴点Ｐx を抽出し、画像Ｂ上での特徴点Ｐx の位置（ＸB ，ＹB ）を演算する。ステップ２２６では、先のステップ２２２と同様に、記憶装置２４に記憶されているビデオカメラ３６Ｂの格子点位置情報に基づき、画像Ｂ上での位置が（ＸB ±ｄＸ，ＹB ±ｄＹ）の範囲に入る格子点を全て検索する。
【００７３】
次のステップ２２８では、画像Ａ及び画像Ｂから共通に抽出した格子点を判定する。これにより、情報入力空間内で特徴点Ｐx に近接した位置に存在している格子点のみが複数抽出されることになる。ステップ２３０では、画像Ａ及び画像Ｂから共通に抽出した格子点の３次元座標を、格子点位置情報から取り込む。
【００７４】
本実施形態では、後述するように特徴点Ｐx の３次元座標を情報入力空間内で特徴点Ｐx に近接した位置に存在している複数の格子点の３次元座標から内挿によって演算する（具体的には、前記複数の格子点の３次元座標の座標値の重み付き平均により特徴点Ｐx の３次元座標の座標値を求める）。このため、特徴点Ｐx の３次元座標の演算に先立ち、次のステップ２３２では、画像Ａ及び画像Ｂから共通に抽出した各格子点の画像Ａ及び画像Ｂ上での位置、画像Ａ上での特徴点Ｐx の位置（ＸA ，ＹA ）、画像Ｂ上での特徴点Ｐx の位置（ＸB ，ＹB ）に基づいて、画像Ａ及び画像Ｂから共通に抽出した各格子点の３次元座標からの内挿の割合（各格子点の３次元座標の座標値に対する重み）を決定する。この内挿の割合は、例えば画像Ａ及び画像Ｂ上で特徴点Ｐx と近接した位置に存在している格子点の３次元座標の座標値の重みが大きくなるように決定することができる。
【００７５】
そしてステップ２３４では、画像Ａ及び画像Ｂから共通に抽出した格子点の３次元座標、及びステップ２３２で決定した内挿の割合に基づいて、特徴点Ｐx の３次元座標（Ｘx ，Ｙx ，Ｚx ）を演算する。上記のようにして特徴点Ｐx の３次元座標を演算すると基準点・特徴点座標演算処理を終了し、指示判断処理（図６）のステップ１５６へ移行する。なお、上記の基準点・特徴点座標演算処理は繰り返し実行されるので、該処理によって演算される基準点Ｐ0 及び特徴点Ｐx の３次元座標の値は、情報入力者１０の姿勢や動作の変化に応じて逐次更新されることになる。
【００７６】
ステップ１５６では処理モード判定処理を行う。この処理モード判定処理は、情報入力者１０によって処理モードの切り替えが指示されたか否かを判定し、処理モードの切り替えが指示された場合には、指示に応じて処理モードを変更設定する処理であり、詳細は後述する。次のステップ１５８では、現在設定されている処理モードが情報入力モードか否か判定する。この判定が否定された場合にはステップ１６２へ移行し、先に説明した基準点・特徴点座標演算処理（図７）のステップ２１８と同様にして、情報入力者１０が指示動作を行っているか否か判定する。この判定も否定された場合にはステップ１５３に戻り、情報入力空間内に情報入力者１０が存在している間はステップ１５４以降の処理を繰り返す。なお、基準点・特徴点座標演算処理では、情報入力者１０が指示動作を行っている場合（ステップ２１８の判定が肯定された場合）にのみ特徴点Ｐx の３次元座標を演算するので、ステップ１６２の判定は、特徴点Ｐx の３次元座標が演算されたか否かを判断することで行うことも可能である。
【００７７】
一方、ステップ１６２の判定が肯定された場合にはステップ１６４へ移行し、先の基準点・特徴点座標演算処理で演算された基準点Ｐ0 及び特徴点Ｐx の３次元座標に基づき、情報入力者１０が指し示している方向として、上記の基準点Ｐ0 と特徴点Ｐx とを結ぶ仮想線（図１３の仮想線５４参照）の延びる方向を求め、情報入力者１０が指し示している位置（指示位置）として、ディスプレイ１２の表示面を含む平面と前記仮想線の交点（図１３の点Ｓ参照）の座標（平面座標）を演算する。このように、ステップ１６４は先に説明した基準点・特徴点座標演算処理と共に、本発明の第１の判断手段に対応している。
【００７８】
ステップ１６６では、基準点Ｐ0 及び特徴点Ｐx の３次元座標に基づいて基準点Ｐ0 と特徴点Ｐx との距離ｋ（図１３参照）を演算し、演算した距離ｋを、先のステップ１６４で演算された情報入力者１０による指示位置の座標と共に、現時刻と対応させてＲＡＭ２２Ｃに記憶する。
【００７９】
次のステップ１６８では、ステップ１６４で演算された指示位置の座標に基づいて、情報入力者１０がディスプレイ１２の表示面内を指し示しているか否か判定する。なお、ディスプレイ１２の表示面は請求項２に記載の所定範囲に対応している。ステップ１６８の判定が否定された場合には、ステップ１７０で監視フラグを０にしてステップ１５３に戻る。一方、ステップ１６８の判定が肯定された場合には、ステップ１７２において、情報入力者１０による指示位置を表す座標を情報処理装置１４に出力し、情報処理装置１４により、ディスプレイ１２の表示面上の指示位置にカーソルを表示させる。
【００８０】
次のステップ１７４では監視フラグが１か否か判定する。判定が肯定された場合にはステップ１８２以降において、情報入力者１０によってクリック動作が行われたか否かが判断されるが、監視フラグが０の場合にはステップ１７４の判定が否定され、ステップ１７４へ移行する。
【００８１】
図６からも明らかなように、先のステップ１６４（及びステップ１６６、１６８）は情報入力者１０が指示動作を行っている間は繰り返し実行されるが、ステップ１７６では、ステップ１６４の処理を前回行った際に演算された指示位置もディスプレイ１２の表示面内に相当する位置であったか否か判定する。前回演算された指示位置がディスプレイ１２の表示面から外れていた場合（前回はステップ１６８の判定が否定された場合）にはステップ１７６の判定が否定され、何ら処理を行うことなくステップ１５３に戻る。
【００８２】
また、ステップ１７６の判定が肯定された場合にはステップ１７８へ移行し、ステップ１６４を今回実行した際に演算された基準点Ｐ0 と特徴点Ｐx との距離ｋが、ステップ１６４を前回実行した際に演算された基準点Ｐ0 と特徴点Ｐx との距離ｋと略同一か否か（すなわち差が所定値以内か否か）判定する。ステップ１７８の判定が否定された場合にも、何ら処理を行うことなくステップ１５３に戻る。また、ステップ１７８の判定が否定された場合にはステップ１８０へ移行し、監視フラグを１にしてステップ１５３に戻る。
【００８３】
先にも述べたように、クリック動作が行われたか否かの判断は、監視フラグが１になっているとき（すなわちステップ１７４の判定が肯定された場合）にのみ行われるが、上記のように、監視フラグはステップ１７６及びステップ１７８の判定が肯定された場合、すなわち情報入力者１０がディスプレイ１２の表示面内に相当する位置を指し示している状態が、比較的短い時間（ステップ１６４〜１６８が複数回実行される程度の時間）以上継続した場合に初めて１が設定され、例として図１４に示すように、情報入力者１０による指示位置がディスプレイ１２の表示面外から表示面内へ変化したときには監視フラグに１が設定されることはない。
【００８４】
情報入力者１０が腕を下ろしているときには肘を伸ばしている状態が自然であるが、ディスプレイ１２の表示面内の所望の位置を指し示すために腕を上げたときには自然に肘が若干曲がる（後でクリック動作を行うことを考えても、肘を伸ばしたまま腕を上げる動作より、肘を若干曲げながら腕を上げる動作の方が、所望の位置を指し示している状態となったときに自然に肘が若干曲がっていることになり合理的である）ので、情報入力者１０が腕を上げる動作の最中に基準点Ｐ0 と特徴点Ｐx との距離ｋが変化する。
【００８５】
これに対し、上記動作を行っているときには、前述のステップ１７６及びステップ１７８により、クリック動作の有無が判断されることがないので、上記動作をクリック動作と誤判断することが防止され、情報入力者１０の意図に反して何らかの処理が実行されることを回避することができる。これは、基準点Ｐ0 と特徴点Ｐx との距離ｋとして、直線距離（仮想線５４（図１３参照）に沿った距離）を用いる場合のみならず、基準点Ｐ0 と特徴点Ｐx との水平方向（図１４のｚ方向）に沿った距離を用いる場合にも有効である。このように、ステップ１７６及びステップ１７８は請求項２に記載の制御手段（より詳しくは、第２の判断手段による判断を停止させる制御手段）に対応している。
【００８６】
なお、上記のようにクリック動作の有無の判断を停止させることに代えて、例えば情報入力者１０が腕を上げる動作を行ったときには、情報処理装置１４に対し、クリック動作が行われた旨の通知（後述するステップ１９２の処理）を禁止するようにしてもよい。この場合にも、情報入力者１０の意図に反して何らかの処理が実行されることを回避することができる。
【００８７】
監視フラグに１が設定されると、ステップ１７４の判定が肯定されてステップ１８２へ移行し、ステップ１８２以降で情報入力者１０によるクリック動作の有無を判断する。本実施形態では、情報入力者１０が手を前方に素早く移動させる動作（図１５（Ａ）参照、以下「前進クリック」という）、及び情報入力者１０が手を後方に素早く移動させる動作（図１５（Ｂ）参照、以下「後進クリック」という）をクリック動作としている。このクリック動作は、ディスプレイ１２の表示面上の特定の箇所を指し示して選択する動作として極めて自然な動作であるので、認識対象者は違和感を感ずることなくクリック動作を行うことができる。上記のクリック動作の有無を判断するために、まずステップ１８２では、先のステップ１６６で逐次演算されてＲＡＭ２２Ｃに記憶される基準点Ｐ0 と特徴点Ｐx との距離ｋの推移に基づいて、距離ｋの変化が有ったか否か判定する。ステップ１８２の判定が否定された場合には、情報入力者１０がクリック動作を行っていないと判断できるので、ステップ１５３に戻る。
【００８８】
また、ステップ１８２の判定が肯定された場合にはステップ１８４へ移行し、距離ｋの変化速度Ｖを演算し、演算した変化速度Ｖが閾値Ｖ0 以上か否か判定する。判定が否定された場合には、情報入力者１０がクリック動作を行っていないと判断できるのでステップ１５３に戻る。なお、距離ｋの変化速度の閾値Ｖ0 としては固定的に定めた値を用いてもよいが、情報入力空間に情報入力者１０が到来した際に、到来した情報入力者１０に対してクリック動作を行うことを要請し、情報入力者１０がクリック動作を行ったときの距離ｋの変化速度Ｖに基づき、個々の情報入力者毎に設定することが好ましい。これにより、クリック動作を行った際の距離ｋの変化速度が個々の情報入力者毎に大きくばらついている場合にも、クリック動作に相当する速度で距離ｋが変化したことを確実に検知することができる。
【００８９】
また、ステップ１８４の判定が肯定された場合にはステップ１８６へ移行し、距離ｋが、一定方向（増大方向又は減少方向）に所定時間以上継続して変化しているか否か判定する。この判定が否定された場合にも、情報入力者１０がクリック動作を行っていないと判断できるので、ステップ１５３に戻る。また、ステップ１８６の判定が肯定された場合には、情報入力者１０がクリック動作を行ったと判断できるので、ステップ１８８へ移行する。このように、ステップ１８２〜１８６は本発明の第２の判断手段に対応している。
【００９０】
ステップ１８８ではＲＡＭ２２Ｃに記憶されている距離ｋの推移に基づいて、距離ｋの変化が始まった時刻、すなわち情報入力者１０によるクリック動作が開始された時刻を判定する。次のステップ１９０では、ＲＡＭ２２Ｃに蓄積記憶されている指示位置のうち、ステップ１８８で判定されたクリック動作開始時刻における指示位置（クリック動作開始時にＲＡＭ２２Ｃに記憶された指示位置）を取り込む。
【００９１】
そして、次のステップ１９２では、情報処理装置１４に対し、情報入力者１０によってクリック動作が行われたことを通知すると共に、クリック動作による距離ｋの変化方向、クリック動作開始時の指示位置、及び現在設定されている処理モードを通知する。これにより、情報処理装置１４では、まず通知されたクリック動作開始時の指示位置をクリック位置と判断し、該クリック位置に対応する処理（通常は複数種の処理）を判別する。次に、距離ｋの変化方向よりクリック方向（前進クリック／後進クリック）を判断する。そして、先に判別したクリック位置に対応する処理の中から、判断したクリック方向、及び通知された処理モードに対応する処理を選択し、選択した処理（本発明の所定の処理に対応）を実行する。このように、ステップ１９２は、実際に処理を行う情報処理装置１４と共に、請求項１〜請求項３に記載の処理手段に各々対応している。
【００９２】
なお、情報処理装置１４で実行される処理は任意に定めることが可能であり、例えば処理モードが通常処理モードであり、ディスプレイ１２の表示面上の特定のアプリケーションを表すアイコンを表示している箇所が前進クリック（又は後進クリック）された場合には、前記特定のアプリケーションを起動し、例えば処理モードが特殊処理モードであり、ディスプレイ１２の表示面上の特定のアプリケーションを表すアイコンを表示している箇所が前進クリック（又は後進クリック）された場合には、前記特定のアプリケーションに関連する特殊処理（例えばアプリケーションに関する各種パラメータの設定、アプリケーションのバージョン表示、アイコンの表示に関するパラメータの設定等）を一覧表示し、更に特定の特殊処理がクリックされた場合には、クリックされた特殊処理を実行することができる。
【００９３】
また、例えば処理モードがファイル転送モードであり、ディスプレイ１２の表示面上の特定のデータファイルを表すアイコンを表示している箇所が前進クリック（又は後進クリック）された場合には、ファイル転送先を一覧表示し、更に特定の転送先がクリックされた場合には、前記アイコンに対応するデータファイルを前記クリックされた転送先に転送し、処理モードがファイル検索（又は更新）モードであり、ディスプレイ１２の表示面上の特定のデータファイルを表すアイコンを表示している箇所が前進クリック（又は後進クリック）された場合には、前記アイコンに対応するデータファイルを検索して表示することができる。
【００９４】
また、例えば処理モードがファイル検索（又は更新）モードであり、ディスプレイ１２の表示面上の特定の情報記憶媒体を表すアイコンを表示している箇所が前進クリック（又は後進クリック）された場合には、前記アイコンに対応する情報記憶媒体にどのようなデータファイルが記憶されているかを探索して一覧表示し、処理モードが情報入力モードであり、ディスプレイ１２に情報入力ウインドウを表示している状態で、前記ウインドウ内の特定箇所がクリックされた場合には、クリック位置へカーソルを移動し、情報入力者１０からの情報入力に対する準備を行うことができる。
【００９５】
このように、本実施形態でクリック動作として採用している動作は前進クリック動作及び後進クリック動作であり、基準点Ｐ0 と特徴点Ｐx との距離ｋの変化に基づいて、クリック動作が行われたか否か及び行われたクリック動作が前進クリック動作か後進クリック動作かを判断できると共に、クリック動作が行われた場合に、クリック位置に対応する各種の処理の中から、そのとき設定されている処理モードとクリック方向に対応する処理を選択的に実行するので、クリック動作そのものを多数種定めておく場合と比較して、情報入力者１０によってクリック動作が行われてから、クリック動作が行われたと判断して対応する処理を行う迄の時間を短縮することができる。
【００９６】
なお、上述した処理は単なる一例であり、処理モードの種類数や、各処理モードの名称、処理の内容については利用形態等に応じて適宜変更可能であることは言うまでもなく、例えばディスプレイ１２に表示している画像の表示倍率を変更するための表示倍率変更モードを設け、処理モードが表示倍率変更モードであるときには、基準点Ｐ0 と特徴点Ｐx との距離の変化に応じて、そのときの指示位置を中心として表示倍率を変更するようにしてもよい。
【００９７】
上記では、クリック位置として、情報入力者１０がクリック動作を開始した際の指示位置を用いているので、クリック動作の最中に指示位置がずれたとしても、情報入力者１０が当初指し示していた位置に対応する処理を確実に実行することができる。従って、クリック動作が行われた際の指示位置の誤判断を防止することができ、情報入力者１０が所望する処理を確実に実行することができる。なお、クリック動作開始時に記憶された指示位置を取り込むステップ１９０は、ステップ１９２及び情報処理装置１４と共に、請求項１に記載の処理手段に対応している。
【００９８】
次に、処理モードの切り替えについて説明する。本実施形態では、情報入力者１０が処理モードの切り替えを指示するための動作（処理モード切替指示動作）として、手の形を変える動作、処理モードの切り替えを指示する音声を発する動作、及びフットスイッチ４６を操作する動作の３種類が定められており、情報入力者１０が３種類の動作のうちの何れの動作を行っても処理モードの切り替わるようになっている。
【００９９】
本実施形態では、特定位置を指し示す動作（ポインティング動作）及びクリック動作を行う際の手の形を、特定箇所を指し示す動作での自然な手の形、すなわち人指し指を伸ばしかつ他の指を折り曲げた形（図１６（Ａ）参照）と定めており、処理モードの切り替えを指示するための手の形として、例えば図１６（Ｂ）乃至（Ｆ）に示すような上記以外の手の形を用いている。それぞれの形は互いに異なる処理モードに対応しており、手の形を変えることで特定の処理モードへの切り替えを指示する場合、情報入力者１０は自身の手の形を、前記特定の処理モードに対応する手の形に変える動作を行う。
【０１００】
なお、処理モード切替指示動作としての手の形を変える動作は上記に限定されるものではなく、例えば図１６（Ａ）〜（Ｆ）に示した手の形のうち複数種の形を組み合わせ、単一の処理モードへの切り替え指示を、手の形を複数種の形に順に変えていく動作によって表現し、一連の処理モード切替指示動作における手の形の組み合わせ及び順番に基づいて、指示された処理モードを判断するようにしてもよい。
【０１０１】
また、音声を発することで特定の処理モードへの切り替えを指示する場合、情報入力者１０は、前記特定の処理モードの名称、或いは特定の処理モードに付した符号の名称を発音する動作を行う。また、フットスイッチ４６の個々のフットペダル４８は互いに異なる処理モードに対応しており、フットスイッチ４６を操作することで特定の処理モードへの切り替えを指示する場合には、情報入力者１０は、前記特定の処理モードに対応するフットペダル４８を自身の足によって押圧操作する。
【０１０２】
上述した処理モード切替指示動作が行われたか否かは、指示判断処理（図６）のステップ１５６の処理モード判定処理で判断される。以下、この処理モード判定処理について、図８のフローチャートを参照して説明する。
【０１０３】
ステップ２５０では、先に説明した基準点・特徴点座標演算処理（図７）のステップ２１８と同様に、情報入力者が指示動作を行っているか否か判定する。判定が肯定された場合にはステップ２５２へ移行し、画像Ａ中に存在する情報入力者１０の手に相当する画像部を抽出すると共に、画像Ｂ中に存在する情報入力者１０の手に相当する画像部を抽出する。そして、ステップ２５４では抽出した画像部に基づいて、情報入力者１０の手の形が処理モードの切り替えを指示する手の形か否か判定し、判定が肯定された場合にはステップ２６４で指示された処理モードを判定する。
【０１０４】
図１６（Ａ）乃至（Ｆ）に各々示された手の形からも明らかなように、処理モードの切り替えを指示するためのそれぞれの手の形は、伸ばしている指の本数が異なるか、又は伸ばしている指の本数が同一の場合は伸ばしている指の種類（長さ）が異なっており、それぞれの手の形における面積、輪郭線の長さ、輪郭の形状は互いに相違している。従って、先のステップ２５４、２６４の判定は、例えば情報入力者１０の手に相当する画像部の特徴量として、例えば面積又は輪郭線の長さを求め、求めた面積又は輪郭線の長さを、それぞれの手の形に対応して予め定めた複数の閾値と各々比較することで行うか、或いは輪郭の形状を、それぞれの手の形に対応して予め定めた複数種の輪郭形状のパターンと各々比較することで行うことができる。
【０１０５】
なお、上記の面積や輪郭線の長さの閾値、輪郭形状のパターンは、固定的に定めておいてもよいが、情報入力空間に情報入力者１０が到来した際に、到来した情報入力者１０に対し、手の形を各処理モードに対応する形に変化させる動作を行うことを要請し、情報入力者１０が手の形を変化させたときの面積や輪郭線の長さ、或いは輪郭形状のパターンを検知して記憶しておいて、上記判定に用いることが好ましい。これにより、個々の情報入力者１０の手の大きさや指の長さのばらつき等に拘らず、情報入力者１０が手の形を変化させることによる処理モード切替指示動作の実行の有無を確実に判定することができる。
【０１０６】
また、上記の判定方法に代えて、基準点・特徴点座標演算処理における特徴点Ｐx の座標の演算と同様に、情報入力者１０の手の各指の先端（指を伸ばしている場合には指先、指を折り曲げている場合には指の関節部分が先端となる）の位置を周期的に演算し、各指の先端の位置と、情報入力者１０が指を折り曲げたり伸ばしたりしても位置が変化しない箇所（例えば情報入力者１０の手首に相当する点）との相対位置の変化に基づいて、各指の形（伸ばしている／折り曲げている）の変化を常時監視しておき、各指の現在の形に基づいて処理モード切替指示動作の実行の有無を判定するようにしてもよい。
【０１０７】
情報入力者１０が処理モード切替指示動作として手の形を変える動作を行った場合に、上記のようにして指示された処理モードを判定するとステップ２６６へ移行し、現在の処理モードとして、ステップ２６４で判定した処理モードを設定・記憶する。これにより、先にも述べたように、情報入力者１０がクリック動作を行ったときに情報処理装置１４で実行される処理が、現在の処理モードに応じて切り替わることになる。
【０１０８】
次のステップ２６８では情報処理装置１４に対し、ディスプレイに表示するカーソルの表示色又は他の表示箇所の表示色（例えばウインドウの縁の表示色等）を、現在の処理モードに応じて変更するよう指示する。このように、処理モードに応じて表示色を変更することにより、処理モード切替指示動作によって処理モードが変更されたか否かを情報入力者１０が容易に確認することができる。
【０１０９】
一方、情報入力者１０が指示動作を行っていない場合（ステップ２５０の判定が否定された場合）、又は情報入力者１０が手の形を変えることによる処理モード切替指示動作を行っていない場合（ステップ２５４の判定が否定された場合）にはステップ２５６へ移行し、音声検知装置４２から入力されてＲＡＭ２２Ｃに蓄積記憶されている音声データを取り込む。ステップ２５８では、取り込んだ音声データの中に、処理モードの切り替えを指示する音声（特定の処理モードの名称又は特定の処理モードに付した符号の名称を表す音声）の音声データが含まれているか否かを探索し、次のステップ２６０で、処理モードの切り替えを指示する音声の音声データが含まれていたか否か判定する。そして、この判定が肯定された場合にはステップ２６４で指示された処理モードを判定し、前述のステップ２６６、２６８の処理を行う。
【０１１０】
上記の探索及び判定は、具体的には、処理モードの切り替えを指示する音声の音声データのパターンを予め記憶しておき、ＲＡＭ２２Ｃから取り込んだ音声データに対してパターンマッチングを行うことで実現できる。なお、音声データのパターンについても、予め固定的に記憶しておいてもよいが、情報入力空間に情報入力者１０が到来した際に、到来した情報入力者１０に対し、特定の処理モードの名称又は特定の処理モードに付した符号の名称の発音動作を行うことを要請し、情報入力者１０が発音することで得られた音声データをパターンとして記憶しておいて、上記の探索及び判定に用いることが好ましい。これにより、個々の情報入力者１０から発せられる音声の音量や音質のばらつき等に拘らず、情報入力者１０が音声を発することによる処理モード切替指示動作の実行の有無を確実に判定することができる。
【０１１１】
また、ステップ２６０の判定が否定された場合にはステップ２６２へ移行し、フットスイッチ４６の各スイッチの接点の状態を検知することで、フットスイッチ４６が操作されたか否か判定し、判定が肯定された場合にはステップ２６４で指示された処理モードを判定する。そして、この判定が肯定された場合にはステップ２６４で指示された処理モードを判定し、前述のステップ２６６、２６８の処理を行う。フットスイッチ４６の個々のフットペダル４８は互いに異なる処理モードに対応しているので、上記の判定は、何れかのフットペダル４８が操作されたか否か、及び操作されたフットペダル４８が何れの処理モードに対応しているかを判断することで行うことができる。
【０１１２】
上述したモード判定処理は請求項３に記載の第３の判断手段に対応しており、より詳しくは、ステップ２５２、２５４は請求項４に記載の第３の判断手段に、ステップ２５６〜２６０は請求項６に記載の第３の判断手段に、ステップ２６２は請求項５に記載の第３の判断手段に各々対応している。上述したモード判定処理では、情報入力者１０が指示動作を行っていない場合にも、処理モード切替指示動作として、処理モードの切り替えを指示する音声を発する動作、及びフットスイッチ４６を操作する動作の何れかが行われたか否かを判定しているので、情報入力者１０が腕を上げることなく処理モードの切り替えを指示することも可能となる。
【０１１３】
なお、ステップ２６２の判定も否定された場合には、情報入力者１０は処理モード切替指示動作を行っていないと判断し、何ら処理を行うことなくモード判定処理を終了する。
【０１１４】
ところで、処理モード切替指示動作として、処理モードを情報入力モードに切り替えることを指示する動作が情報入力者１０によって行われた場合、モード判定処理によって処理モードが情報入力モードへ変更されることにより、指示判断処理（図６）のステップ１５８の判定が肯定され、ステップ１６０で入力情報認識・転送処理を行う。
【０１１５】
すなわち、音声検知装置４２から入力される音声データを取り込み、取り込んだ音声データに基づいて、入力すべき情報を表す音声を情報入力者１０が発したか否か判断する。そして、情報入力者１０が音声を発したと判断した場合には、情報入力者１０が発した音声を表す音声データに基づいて、音声の内容（音声が表す情報）を認識してデータ（例えばテキストデータ）を生成し、生成したデータを情報処理装置１４へ転送する。これにより、情報入力者１０が情報を入力する際にキーボード等を操作する必要がなくなるので、情報入力作業を省力化することができる。ステップ１６０は請求項７に記載の処理手段に対応している。
【０１１６】
ハンドポインティング入力装置２０のコントローラ２２において、上述した処理が実行されることにより、情報入力者１０によるディスプレイ１２上の表示面上の指示位置及びクリック動作の有無をリアルタイムで判断することができるので、情報処理処理装置１４で実行される処理と組み合わせることで、以下で説明するように種々の利用形態での利用が可能となる。
【０１１７】
例えばディスプレイ１２を地下街等の壁面に設置し、情報処理装置１４がディスプレイ１２に商品の広告等を表示する場合に、本実施形態に係るハンドポインティング入力装置２０を設ければ、到来した利用者（情報入力者）の指示に応じて特定の商品を詳しく説明する画面を表示する等のように、利用者との双方向のコミュニケーションが可能となる。また、利用者に課金用のカードを所持させるようにすれば、このカードにより課金することで利用者が商品を購入することも可能となる。
【０１１８】
また、例えばディスプレイ１２をビルのエントランスに設置し、情報処理装置１４がディスプレイ１２にビル内を案内する案内図等を表示する場合に、本実施形態に係るハンドポインティング入力装置２０を設ければ、到来した利用者（情報入力者）の指示に応じてビル内のうち利用者が訪問する箇所を詳しく説明する画面や、訪問する箇所迄の経路を示す画面を表示する等のように、利用者との双方向のコミュニケーションが可能となる。
【０１１９】
また、クリーンルームには取扱説明書やその他のマニュアルを持ち込めないことが一般的であるが、例えばディスプレイ１２をクリーンルームの外部に、クリーンルーム内から視認可能に配置し、ハンドポインティング入力装置２０によって判断したクリーンルーム内の作業者からの指示に応じて取扱説明書やその他のマニュアルの内容をディスプレイ１２に表示するようにすれば、クリーンルーム内とクリーンルーム外との双方向のコミュニケーションが可能となり、クリーンルーム内での作業の効率が向上する。
【０１２０】
更に、例えば大画面のディスプレイ１２、ハンドポインティング入力装置２０及び情報処理装置１４をアミューズメント施設のゲーム機として動作させたり、会議のプレゼンテーションにおいて、ディスプレイ１２に説明用の資料を表示しディスプレイ１２の表示面上の任意の位置を指し示す際に適用することも可能である。
【０１２１】
なお、上記では２台のビデオカメラ３６Ａ、３６Ｂを設けた例を説明したが、これに限定されるものではなく、より多数のビデオカメラによって情報入力空間を各々撮像し、情報入力者１０からの指示を判断するようにしてもよい。
【０１２２】
また、上記では本発明に係る特徴点Ｐx として、指先に相当する点を例に説明したが、特徴点は認識対象者が腕を屈曲又は伸長させることで位置が変化する点であればよく、例えば認識対象者の手首に相当する点や、認識対象者の手の甲にに相当する点を特徴点として用いるようにしてもよい。
【０１２３】
また、情報入力者１０の姿勢が、腕を上げている状態（図１１（Ｂ）又は（Ｃ）参照）から、腕を下ろした状態（図１１（Ａ）参照）に変化した場合に、腕を下ろす直前の指示位置にカーソルを継続して表示するようにしてもよい。これにより、情報入力者１０が一定箇所にカーソルを継続して表示させたい等の場合にも（例えば会議のプレゼンテーション等）、情報入力者１０が継続的に腕を上げ続ける必要がなくなるので、情報入力者１０の負担を軽減することができる。
【０１２４】
更に、上記では処理モード切替指示動作として、手の形を変える動作、処理モードの切り替えを指示する音声を発する動作、及びフットスイッチ４６を操作する動作、の３種類の動作を用いていたが、これに限定されるものではなく、何れか１種類の動作を処理モード切替指示動作として用いてもよいし、上記３種類の動作以外の他の動作を処理モード切替指示動作として用いてもよい。
【０１２５】
また、上記では請求項５に記載のスイッチとして、情報入力者１０が足で操作するためのフットスイッチ４６を床上に配置した例を説明したが、これに限定されるものではなく、情報入力者が手で操作するためのスイッチを床面から所定の高さ位置に設けてもよい。但し、画像から情報入力者１０等を認識する際の妨げとなる可能性がある（特に特徴点Ｐx の抽出の妨げとなる可能性が高い）ことを考慮すると、スイッチは床上等に配置することが好ましい。
【０１２６】
また、上記ではクリック動作として、情報入力者１０が手を前方に素早く移動させる前進クリック動作、及び情報入力者１０が手を後方に素早く移動させる後進クリック動作のみを判断するようにしていたが、これに限定されるものではなく、例えば基準点Ｐ0 と特徴点Ｐx との距離ｋの推移を所定時間に亘って監視することにより、マウスの操作では一般的なダブルクリック動作（ハンドポインティング装置では、例えば前進クリック動作又は後進クリック動作を２回続けて行う動作等で代用できる）やドラッグ＆ドロップ動作（ハンドポインティング装置では、例えば前進クリック動作→指示位置移動動作→後進クリック動作等の一連の動作により代用できる）も判断するようにしてもよい。本発明に係るクリック動作には上述した動作も含まれる。
【０１２７】
更に、ディスプレイ１２としては、プラズマディスプレイ、ＣＲＴ、光ファイバディスプレイ等の周知の表示装置を適用してもよいし、液晶ゴーグル等を適用することも可能である。また、擬似的に３次元空間を表す３次元的画像をディスプレイに表示するようにしてもよい。具体的には、上記のような平面ディスプレイい一点透視法や二点透視法に則った画像を表示したり、液晶シャッタやレンチキュラーレンズを利用した３次元ディスプレイに画像を表示したり、ホログラフィー技術を適用して立体画像を表示するようにしてもよい。
【０１２８】
また、上記では情報入力者１０がディスプレイ１２の表示面上の任意の位置を指し示す態様を例に説明したが、情報入力者が指し示す対象はディスプレイに限定されるものではなく、情報入力者が任意の方向を指し示したり、情報入力者との距離が不定の任意の物体を指し示すようにしてもよい。情報入力者が任意の方向を指し示す場合には、指示判断処理（の例えばステップ１６４）において、情報入力者の基準点と特徴点とを結ぶ仮想線の延びる方向を求めるようにすることで、情報入力者によって指し示された方向を判断できる。また、情報入力者が、情報入力者との距離が不定の任意の物体を指し示す場合には、先のステップ１６４において、仮想線の延びる方向を求めた後に、該仮想線を延長した先に存在する物体を判定することで、情報入力者が指し示している物体を判断することができる。
【０１２９】
情報入力者が任意の方向を指し示す利用形態としては、例えば劇場等において、スポットライトの照射方向や、アレイ状に配置された多数のスピーカによって形成される音響ビームの方向を、オペレータ（情報入力者）が指し示した方向に向ける場合等が挙げられる。また、情報入力者が、情報入力者からの距離が不定の任意の物体を指し示す利用形態としては、例えば建設現場や工場等においてクレーンやその他の機械をオペレータ（情報入力者）の指示に応じて動作させる場合、或いはホームオートメーションにおいて情報入力者が各種設備機器に対して各種の指示を行う場合等が挙げられる。
【０１３０】
【発明の効果】
以上説明したように請求項１記載の発明は、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断し、基準点と特徴点との距離の変化に基づき認識対象者によってクリック動作が行われたか否かを判断すると共に、認識対象者によってクリック動作が行われたと判断された場合に、クリック動作が行われる直前の認識対象者による指示位置又は指示方向に対応する所定の処理を実行するようにしたので、クリック動作が行われた時の指示位置又は指示方向の誤判断を防止することができる、という優れた効果を有する。
【０１３１】
請求項２記載の発明は、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断し、基準点と特徴点との距離の変化に基づき認識対象者によってクリック動作が行われたか否かを判断し、認識対象者によってクリック動作が行われたと判断された場合に、指示位置又は指示方向に対応する所定の処理を実行すると共に、指示位置又は指示方向が所定範囲外から所定範囲内へ変化したときには、クリック動作の判断を停止させるか、又は所定の処理の実行を禁止するので、クリック動作が行われていないにも拘らず、利用者の意図に反して何らかの処理が実行されることを防止できる、という優れた効果を有する。
【０１３２】
請求項３記載の発明は、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断し、基準点と特徴点との距離の変化に基づき認識対象者によってクリック動作が行われたか否かを判断し、処理モード切替指示動作が認識対象者によって行われたか否かを判定して現在の処理モードを判断し、認識対象者によってクリック動作が行われたと判断された場合に、認識対象者による指示位置又は指示方向に対応し、かつ現在の処理モードに対応する所定の処理を実行するようにしたので、クリック動作の判断処理の複雑化を招くことなく、利用者がクリック動作によって種々の指示を与えることが可能となる、という優れた効果を有する。
【０１３３】
請求項４記載の発明は、請求項３の発明において、認識対象者の手に相当する画像部の面積の変化、又は輪郭線の長さの変化、又は輪郭の形状の変化、又は認識対象者の手の各指の形の変化に基づいて処理モード切替指示動作が行われたか否かを判定するので、上記効果に加え、処理モード切替指示動作が行われたか否かを判定するために検出器等を新たに設ける必要がなくなる、という効果を有する。
【０１３４】
請求項５記載の発明は、請求項３の発明において、認識対象者により接点切替操作が可能なスイッチを設け、該スイッチの接点が切り替えられたか否かに基づいて、処理モード切替指示動作が行われたか否かを判定するので、上記効果に加え、構成の複雑化を最小限に抑え、処理モード切替指示動作が行われたか否かを簡易に判断することができる、という効果を有する。
【０１３５】
請求項６記載の発明は、請求項３の発明において、認識対象者から発せられた音声を検知する音声検知手段を設け、音声検知手段によって検知された音声に基づき、認識対象者から処理モードの切り替えを指示する音声が発せられたか否かを判定することで、処理モード切替指示動作が行われたか否かを判定するようにしたので、上記効果に加え、認識対象者が違和感を感ずることなく処理モード切替指示動作を行うことができる、という効果を有する。
【０１３６】
請求項７記載の発明は、請求項６の発明において、入力すべき情報を表す音声が認識対象者から発せられた場合に、音声検知手段によって検知された音声に基づき、前記音声が表す情報を認識し、認識した情報を表すデータを生成するように処理手段を構成したので、上記効果に加え、音声検知手段を有効に利用することができると共に、認識対象者が情報入力作業を容易に行うことができる、という効果を有する。
【図面の簡単な説明】
【図１】情報入力空間の周辺を示す斜視図である。
【図２】本実施形態に係るハンドポインティング装置の概略構成を示すブロック図である。
【図３】照明装置の照明範囲とビデオカメラの撮像範囲との関係の一例を示す概略図である。
【図４】マーク板の一例を示す情報入力空間の斜視図である。
【図５】格子点位置情報初期設定処理の内容を示すフローチャートである。
【図６】指示判断処理の内容を示すフローチャートである。
【図７】基準点・特徴点座標演算処理の内容を示すフローチャートである。
【図８】モード判定処理の内容を示すフローチャートである。
【図９】照明装置Ａ、Ｂの点灯・消灯、ビデオカメラの撮像によって得られる画像の出力（取り込み）のタイミングを示すタイミングチャートである。
【図１０】情報入力者の身長及び床面上の位置の演算を説明するための、情報入力空間の側面図である。
【図１１】（Ａ）乃至（Ｃ）は情報入力者の動作の一例を示すイメージ図である。
【図１２】（Ａ）はビデオカメラにより撮像された情報入力者の手を示すイメージ図、（Ｂ）は特徴点の座標及び特徴点の３次元座標を求めるための格子点の検索範囲を示す概念図である。
【図１３】情報入力者が指し示しているディスプレイ上の位置の判定を説明するための、（Ａ）は情報入力空間の平面図、（Ｂ）は情報入力空間の側面図である。
【図１４】情報入力者による指示位置がディスプレイの表示面外から表示面内へ変化したときを示すイメージ図である。
【図１５】（Ａ）は前進クリック動作、（Ｂ）は後進クリック動作を説明するためのイメージ図である。
【図１６】（Ａ）は特定の箇所を指し示す動作を行うとき、（Ｂ）乃至（Ｆ）は処理モードの切り替えを指示するときの手の形の一例を各々示すイメージ図である。
【符号の説明】
１０ 情報入力者
１２ ディスプレイ
１４ 情報処理装置
２０ ハンドポインティング入力装置
２２ コントローラ
３６ ビデオカメラ
Claims (7)
- 認識対象者を互いに異なる複数の方向から撮像する撮像手段と、
認識対象者が特定の位置又は方向を指し示している状況を前記撮像手段が撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標を求め、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断する第１の判断手段と、
前記基準点と前記特徴点との距離の変化に基づき、認識対象者によってクリック動作が行われたか否かを判断する第２の判断手段と、
前記第２の判断手段により、認識対象者によってクリック動作が行われたと判断された場合に、前記第１の判断手段による判断結果に基づき、前記クリック動作が行われる直前の認識対象者による指示位置又は指示方向に対応する所定の処理を実行する処理手段と、
を含むハンドポインティング装置。 - 認識対象者を互いに異なる複数の方向から撮像する撮像手段と、
認識対象者が特定の位置又は方向を指し示している状況を前記撮像手段が撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標を求め、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断する第１の判断手段と、
前記基準点と前記特徴点との距離の変化に基づき、認識対象者によってクリック動作が行われたか否かを判断する第２の判断手段と、
前記第１の判断手段によって判断された認識対象者による指示位置又は指示方向が所定範囲内で、かつ前記第２の判断手段により、認識対象者によってクリック動作が行われたと判断された場合に、前記指示位置又は指示方向に対応する所定の処理を実行する処理手段と、
前記第１の判断手段による判断結果に基づき、認識対象者による指示位置又は指示方向が所定範囲外から所定範囲内へ変化したときには、前記第２の判断手段による判断を停止させるか、又は前記処理手段による所定の処理の実行を禁止する制御手段と、
を含むハンドポインティング装置。 - 認識対象者を互いに異なる複数の方向から撮像する撮像手段と、
認識対象者が特定の位置又は方向を指し示している状況を前記撮像手段が撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の３次元座標を求め、特徴点及び基準点の３次元座標に基づいて認識対象者による指示位置又は指示方向を判断する第１の判断手段と、
前記基準点と前記特徴点との距離の変化に基づき、認識対象者によってクリック動作が行われたか否かを判断する第２の判断手段と、
前記クリック動作とは異なる処理モード切替指示動作が認識対象者によって行われたか否かを判定し、現在の処理モードを判断する第３の判断手段と、
前記第２の判断手段により、認識対象者によってクリック動作が行われたと判断された場合に、前記第１の判断手段によって判断された認識対象者による指示位置又は指示方向に対応し、かつ前記第３の判断手段によって判断された現在の処理モードに対応する所定の処理を実行する処理手段と、
を含むハンドポインティング装置。 - 前記第３の判断手段は、前記複数の画像中の前記認識対象者の手に相当する画像部を抽出し、前記画像部の面積の変化、又は輪郭線の長さの変化、又は輪郭の形状の変化、又は前記画像部に基づいて認識した認識対象者の手の各指の形の変化に基づいて、認識対象者によって前記処理モード切替指示動作が行われたか否かを判定することを特徴とする請求項３記載のハンドポインティング装置。
- 認識対象者により接点切替操作が可能なスイッチを備え、
前記第３の判断手段は、前記スイッチの接点が切り替えられたか否かに基づいて、認識対象者によって前記処理モード切替指示動作が行われたか否かを判定する
ことを特徴とする請求項３記載のハンドポインティング装置。 - 認識対象者から発せられた音声を検知する音声検知手段を備え、
前記第３の判断手段は、前記音声検知手段によって検知された音声に基づき、認識対象者から処理モードの切り替えを指示する音声が発せられたか否かを判定することで、認識対象者によって前記処理モード切替指示動作が行われたか否かを判定する
ことを特徴とする請求項３記載のハンドポインティング装置。 - 入力すべき情報を表す音声が認識対象者から発せられた場合に、前記処理手段は、前記音声検知手段によって検知された音声に基づき、前記音声が表す情報を認識し、認識した情報を表すデータを生成することを特徴とする請求項６記載のハンドポインティング装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22311698A JP3792907B2 (ja) | 1998-08-06 | 1998-08-06 | ハンドポインティング装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22311698A JP3792907B2 (ja) | 1998-08-06 | 1998-08-06 | ハンドポインティング装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000056916A JP2000056916A (ja) | 2000-02-25 |
| JP3792907B2 true JP3792907B2 (ja) | 2006-07-05 |
Family
ID=16793081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22311698A Expired - Fee Related JP3792907B2 (ja) | 1998-08-06 | 1998-08-06 | ハンドポインティング装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3792907B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7227526B2 (en) * | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
| EP1353263A4 (en) * | 2000-12-27 | 2009-01-21 | Ntt Docomo Inc | METHOD AND DEVICE FOR ENTERING MANUALLY WRITE DATA, AND AUTHENTICATION METHOD AND DEVICE |
| US6785358B2 (en) * | 2001-10-09 | 2004-08-31 | General Electric Company | Voice activated diagnostic imaging control user interface |
| JP4035610B2 (ja) * | 2002-12-18 | 2008-01-23 | 独立行政法人産業技術総合研究所 | インタフェース装置 |
| JP2004246814A (ja) * | 2003-02-17 | 2004-09-02 | Takenaka Komuten Co Ltd | 指示動作認識装置 |
| KR100983051B1 (ko) | 2008-05-07 | 2010-09-17 | 전자부품연구원 | 깊이 센서 방식의 공간 터치 감지 장치, 방법 및 스크린장치 |
| JP5291560B2 (ja) * | 2009-07-27 | 2013-09-18 | パナソニック株式会社 | 操作装置 |
| JP2012098771A (ja) * | 2010-10-29 | 2012-05-24 | Sony Corp | 画像処理装置および方法、並びに、プログラム |
| US20120224040A1 (en) * | 2011-03-03 | 2012-09-06 | Hand Held Products, Inc. | Imager reader with hand gesture interface |
| US9423877B2 (en) * | 2012-02-24 | 2016-08-23 | Amazon Technologies, Inc. | Navigation approaches for multi-dimensional input |
| JP5148004B1 (ja) * | 2012-04-26 | 2013-02-20 | 株式会社三菱東京Ｕｆｊ銀行 | 情報処理装置、電子機器およびプログラム |
| DE102014212660A1 (de) * | 2014-06-30 | 2015-12-31 | Trumpf Medizin Systeme Gmbh + Co. Kg | Steuerungsvorrichtung für ein Medizingerät |
| CN113867553B (zh) * | 2020-06-15 | 2023-09-26 | 武汉斗鱼鱼乐网络科技有限公司 | 一种快速点击的处理方法、装置、存储介质及电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0519957A (ja) * | 1991-07-15 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 情報の入力方法 |
| JPH05324181A (ja) * | 1992-05-26 | 1993-12-07 | Takenaka Komuten Co Ltd | ハンドポインティング式入力装置 |
| JPH08328735A (ja) * | 1995-06-02 | 1996-12-13 | Takenaka Komuten Co Ltd | ハンドポインティング入力装置 |
| JPH1031551A (ja) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置 |
-
1998
- 1998-08-06 JP JP22311698A patent/JP3792907B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000056916A (ja) | 2000-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3749369B2 (ja) | ハンドポインティング装置 | |
| JP3795647B2 (ja) | ハンドポインティング装置 | |
| KR101227610B1 (ko) | 화상인식장치 및 조작판정방법과 이를 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체 | |
| US10511778B2 (en) | Method and apparatus for push interaction | |
| JP4278979B2 (ja) | ジェスチャーに基づいた入力及びターゲット指示のための単一カメラシステム | |
| US9600078B2 (en) | Method and system enabling natural user interface gestures with an electronic system | |
| EP1186162B1 (en) | Multi-modal video target acquisition and re-direction system and method | |
| JP3792907B2 (ja) | ハンドポインティング装置 | |
| JPH0844490A (ja) | インターフェイス装置 | |
| CN108536273A (zh) | 基于手势的人机菜单交互方法与系统 | |
| JP2004078977A (ja) | インターフェイス装置 | |
| JP2006209359A (ja) | 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム | |
| WO2016053320A1 (en) | Gesture based manipulation of three-dimensional images | |
| CN113946223A (zh) | 一种采用显示屏的旅游互动方法 | |
| CN109144598A (zh) | 基于手势的电子面罩人机交互方法与系统 | |
| JP6746419B2 (ja) | 情報処理装置、及びその制御方法ならびにコンピュータプログラム | |
| JP2003076488A (ja) | 指示位置判断装置及び方法 | |
| JP4687820B2 (ja) | 情報入力装置及び情報入力方法 | |
| JP2007200353A (ja) | 情報処理装置及び情報処理方法 | |
| JP2000222098A (ja) | ハンドポインティング装置、指示位置表示方法及び記録媒体 | |
| WO2021075118A1 (ja) | 画像表示装置 | |
| JP2003084229A (ja) | 指示位置表示装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060316 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060404 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060406 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140414 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |