JP2006509269A - データを入力するための装置及び方法 - Google Patents

データを入力するための装置及び方法 Download PDF

Info

Publication number
JP2006509269A
JP2006509269A JP2004512071A JP2004512071A JP2006509269A JP 2006509269 A JP2006509269 A JP 2006509269A JP 2004512071 A JP2004512071 A JP 2004512071A JP 2004512071 A JP2004512071 A JP 2004512071A JP 2006509269 A JP2006509269 A JP 2006509269A
Authority
JP
Japan
Prior art keywords
light
input
user
sensor
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004512071A
Other languages
English (en)
Inventor
モンテレーゼ,スティーヴン
Original Assignee
モンテレーゼ,スティーヴン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by モンテレーゼ,スティーヴン filed Critical モンテレーゼ,スティーヴン
Publication of JP2006509269A publication Critical patent/JP2006509269A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface

Abstract

参照平面(24)に対する入力を検出するための入力装置(10)。この入力装置(10)は、参照平面(24)に対して鋭角に光を感知するように配置されて感知光を示す信号を生成する単数又は複数の光センサ(16、18)と、この光センサに応答して参照平面(24)に対する物体の位置を測定する回路(20)とを有する。

Description

発明の分野
本発明は、一般的にはデータを入力するための装置及び方法に関する。より具体的には、本発明は、感知光を利用して物体の位置を検出する装置及び方法に関する。
発明の背景
入力装置は、コンピュータキーボードやマウス、ATM、車両操作装置及び無数のその他の用途を含めて、日常生活のほとんど全ての局面に使用されている。入力装置は、他の大半のものと同様、通常多数の可動部分を有する。例えば、従来からあるキーボードは、電気コンタクトを開閉する可動キーを有する。残念ながら、可動部分は他のコンポーネントよりも、特にソリッドステート・デバイスよりも先に故障又は誤作動する可能性が高い。このような誤作動又は故障は、汚れた又は埃の多い条件下では更に発生する可能性が高くなる。更に、入力装置は、ラップトップ・コンピュータや電子手帳(personal organizer)等の小型電子装置のサイズに於ける制限要因となっている。例えば、効率良くするためには、キーボード式の入力装置は、少なくともユーザの指先のサイズと同じだけ互いに離間しているキーを備えるものでなければならない。このような大きなキーボードは、電子装置の小型化が進むにつれて制限要因となっている。
従来の装置の中には、上述した問題の1つ又は2以上を解決しようと試みているものがある。例えば、タッチスクリーンは、ユーザがモニタ上の画像にタッチしたことを感知することができる。しかし、このような装置は通常、モニタの内、上又はその周囲に、センサその他の装置を必要とする。更に、このような入力装置のサイズ減少はモニタのサイズに限られたものである。
他の従来装置の中には、光センサを利用してユーザの指の位置を感知するものもある。しかし、このような装置では、キーボードその他の入力装置に対し上方又は直交に、光センサを配置することが必要になる場合が多い。その結果、それらは、装置が嵩張る傾向があり、小型のハンドヘルド装置用には適さない。
他の従来装置の中には、モニタ対象表面上に配置された光センサによってユーザの指の位置を感知するものもある。例えばキーボードの場合、このような装置では通常、センサをキーボードのコーナーその他の境界部に配置することが必要になる。その結果、これらセンサを少なくともキーボードと同じサイズにまで広幅に配置せねばならないことから、装置が嵩張る傾向がある。このような装置は、小型のハンドヘルド装置用にも、フルサイズのキーボードその他の入力装置を構成するのにも適さない。
以上の結果、効率的に使用可能に大きなものでありながら、ラップトップ・コンピュータや電子手帳等の電子装置等の小型パッケージ内に収納可能な入力装置が求められている。更に、泥や埃等の粒状物質によって引き起こされる故障が起こりにくい入力装置も求められている。
発明の要旨
本発明は、参照平面に対する入力を検出するための入力装置を含む。この入力装置は、参照平面に対して鋭角に光を感知するように配置されて感知光を示す信号を生成する光センサと、この光センサに応答して参照平面に対する物体の相対位置を測定する回路とを有する。これにより、参照平面に関する物体の一部分を使用して、今日機械式装置によって作り出されているタイプの入力信号を生成する。この入力信号は、ポータブルコンピュータや電子手帳等の電子装置に対して入力される。
本発明は、又、入力を決定する方法も含む。この方法は、光源を提供するステップと、参照平面に対して鋭角に光を感知するステップと、参照平面に対する物体の位置を示す少なくとも1つの信号を生成するステップとを有する。
本発明は、コンパクトで、フルサイズのキーボードその他の入力手段を構成可能にする入力装置を提供することによって、従来技術の欠点を克服するものである。センサを感知される領域の真上に又は感知対象領域の境界部に配置することを必要とする従来の装置と異なり、本発明は、入力装置をそれ自身の内部に、感知領域から離間して配置することを可能とする。
本発明のこれら及びその他の利点及び効果は、下記の好適実施例の説明から明らかになう。
以下、本発明を明確に理解し容易に実施するために、図面を参照しながら本発明を説明する。
発明の詳細な説明
本発明の図面及び説明は単純化されているが、これは本発明の理解の明確に関連した部材を示すためであり、同時に明瞭目的のために他の多くの部材を省略したためと理解されたい。当業者ならば、本発明を実施するためには他の部材もあることが望ましいか又は必要であることは分かるだろう。但し、このような部材は当業周知であり、かつ本発明のより良い理解を容易にするものではないことから、それら部材の説明はここでは提供されない。
図1は、本発明によって構成された入力装置10を示すブロック図である。この入力装置10は、入力テンプレート12、光源14、第1光センサ16、第2光センサ18及び回路20を有する。
前記入力テンプレート12は入力装置10を使い易くするものであり、キーボード又はポインタ等の入力装置の画像とすることができる。入力テンプレート12は、その上に入力装置の画像がプリントされた表面等の物理的テンプレート(physical template)とすることができる。例えば、入力テンプレート12は、その上にキーボードの画像がプリントされた紙片又はプラスチック片とすることができる。入力テンプレート12は、又、固体表面上に投影された光から形成することも可能である。例えば、入力テンプレート12の画像を投影器22によって、机上等の固体表面上に投影することができる。投影器22は、例えば、スライド投影器又はレーザ投影器とすることができる。投影器22は、複数の異なる入力テンプレート12を、同時に又は別々に形成することも可能である。例えば、最初はキーボードとポインタとを同時に提供するが、他の機能の間は、入力テンプレート12がボタンパネル、キーパッド、CADテンプレート等のその他の形態をとることも可能である。更に、投影器22は、特注の(custom)入力テンプレート12を形成してもかまわない。入力テンプレート12は、又、ホログラム画像や球状映像(spherical reflection)から形成する等、投影器22以外からも形成可能である。又、後述するように入力テンプレート12は省略することさえ可能である。
前記入力テンプレート12は、参照平面24に配置される。参照平面24は前記入力装置10によって形成され、ユーザからの入力を決定するための参照として利用される。例えば入力装置12がキーボードとして作用する場合には、参照平面24は仮想キーボードと見なすことができる。参照平面24に対するユーザの動きをモニタして、キーボード上のどのキーが選択されているかを決定する。参照平面24は、更にキーボード上のキーに形成されるものと考えることができ、各キーは参照平面24上に1つの位置を有し、これにより、ユーザからの動きをキーボードから選択された文字に変換することが可能である。
前記光源14は、前記入力テンプレート12の近傍に光を提供する。この光源14は、可視光、コヒーレント光、紫外線光、赤外線光を含む種々の任意の光を提供することができる。光源14は、白熱灯、蛍光灯又はレーザとすることができる。光源14は、入力装置10の機械的部分である必要はなく、なぜなら入力装置10は周囲からの周囲光、又は人体によって作り出される赤外光を利用することも可能だからである。入力装置10が平坦な表面の上で使用される場合、光源14は通常、入力テンプレート12の上方に光を提供するものとなる。但し、入力装置10は多くの利用可能性を有し、それは、必ずしも平坦な表面の上で使用される必要はない。例えば入力装置10は、ATMや、操作パネルその他の入力装置のように、壁に縦向きに取り付けることができる。このような実施例においては、光源14は入力テンプレート12の近傍に光を提供し、かつ、ユーザの視点からの光源14は、入力テンプレート12の前方に光を提供する。或いは、入力装置10をユーザの上方に、例えば自動車や飛行機の屋根に取り付ける場合には、光源14は入力テンプレート14の下方近傍に光を提供するものとなる。但し、これら実施例のそれぞれにおいて、光は、入力テンプレート12の近傍に提供される。
前記第1光センサ16及び第2光センサ18は、入力テンプレート12に対し鋭角に光を感知し、感知した光を示す信号を生成するように配置される。第1光センサ16及び第2光センサ18は多くのタイプの光センサのうちいずれでもよく、合焦・記録装置(即ちカメラ)を備えることができる。例えば、第1光センサ16及び第2光センサ18は、二次元マトリクス式光センサとすることができ、又、一次元アレイ式光センサとすることも可能である。更に、第1光センサ16及び第2光センサ18は、可視光、コヒーレント光、紫外線光又は赤外線光等の多くのタイプの光のうちいずれかを感知するものにできる。第1光センサ16及び第2光センサ18は、又、特定のタイプの光、例えば、光源14によって作り出される特定周波数の光、或いは人の指によって作り出される赤外線光等の所定タイプの光に対し特定的に感度を有するように選択又はチューニングすることができる。後述するように、入力装置10は更に、第1光センサ16又は第2光センサ18のうちいずれか一方のみを利用することも、或いは三つ以上の光センサを利用することも可能である。
前記回路20は、第1光センサ16及び第2光センサ18に応答して、参照平面24に対する物体の位置を測定する。回路20は、第1光センサ16及び第2光センサ18からのアナログ信号をプロセッサ32によって使用されるデジタル信号に変換するA/Dコンバータ28、30を備えることができる。参照平面に対する単数又は複数の物体の位置は、三次元で測定しなければならない。即ち、仮に二次元画像を利用して真上からキーボードを見た場合、指がどのキーの上にあるかは分かるかも知れないが、これではその指がその特定のキーを押すために上下に移動したか否かまでは分からないだろう。テーブルに平行な平面からキーボードを見れば、指の上下移動と、一平面におけるその位置(x位置及びy位置)とは見えるが、z方向(離間方向)におけるその位置は見えないであろう。従って、必要な情報の測定のためには複数の方法が存在する。プロセッサ32は、これらの技術のうち単数又は複数を利用して、入力テンプレート12の近傍において物体の位置を測定することができる。プロセッサ32は、又、データを入力するために使用される物体とバックグランド物体とを区別するための画像認識技術も利用することができる。物体の位置検出及び画像認識のためのソフトウエアは市販されており、ペンシルベニア州アリソンパークのミレニアムスリー社(Millennia 3、Inc.)から入手可能である。回路20は、ポータブルコンピュータや電子手帳等の電子装置33に対して出力信号を提供することができる。この出力信号は、ユーザによって選択された入力を示す。
物体の位置を測定可能にするための処理方法は複数ある。これらの中には、構造光(structured light)を使用する三角測量法、両眼視差法(binocular disparity)、射程測定法(rangefinding)、ファジー論理の利用がある。
構造光を使用する三角測量法で物体の位置属性を感知するには、指のX位置及びZ位置を、単数又は複数の指から反射した光について三角測量を利用して計算する。指のY位置(即ち、上下位置)(キーが押されているか否か)は、光の平面がクロスされているか否かによって判断する。この方法は、必要とされる特定の角度及び解像度に応じて、単数又は複数の光センサ又はカメラによって実行される。
両眼視差法は、各光センサ又はカメラからの全ての画像ポイントを関連つける必要がある場合に一般的に用いる三角測量法である。関連付けが完了すると、各センサ上におけるポイントの対応位置が比較される。次に、数学的に、これらの位置の差を利用して距離を三角関数によって計算することができる。実際には、この方法は、画像ポイントの関連付けという複雑な問題のために困難である。多くの場合には、例えば、規定された参照ポイント、コーナー、エッジ等の目立つ参照が代わりに使用される。規定までには、二つのセンサ(又は1つのセンサにおける二つの領域)が必要とされる。
射程測定法は、センサからの物体の距離を測定する方法である。伝統的に二つの方法が使用されている。第1の方法では焦点を利用する。画像のシャープネスをテストしながらレンズを調節する。第2の方法では、光が物体から反射されてセンサに戻る際の光の「飛行時間」を利用する。その関係は、距離=1/2(光速×時間)である。これら両方の方法からの結果によって、対象領域の三次元マップを得ることができ、従って、いつ、どのキーが押されているかが分かる。一般には、これらの方法は1つのセンサを使用する。
新世代のハードウエア(及びソフトウエアの実装)が、情報処理が困難なオペレーションに使用され始めている。特にファジー論理は情報(この場合には画像)を、直接的に比較すること、又は統計的に推論された相関関係を利用して比較することが可能な技術である。これが利用されるのは、例えば、複数画像の複数の選択領域を互いに連続的に比較することによって両眼視差法を実行するためにかもしれない。比較結果がピーク値に達した時、距離が測定される。関連技術として、自動相関法(autocorrelation)、人工知能、及びニューラル・ネットワークが挙げられる。
図2は、第1光センサ16及び第2光センサ18の配置を示す入力装置10の略平面図である。いくつかの従来装置と異なり、本発明におけるセンサ16、18は感知対象領域から離間して配置可能であり、ほぼ同じ向きに臨ませることができる。第1光センサ16及び第2光センサ18を感知対象領域から離間配置可能なことから、入力装置10は、電子手帳やラップトップ・コンピュータ等の用途において理想的な、小さなコンパクトな装置とすることができる。例えば、本発明は、キーボードよりも遥かに小さいが、ユーザにフルサイズのキーボードとマウスを提供するラップトップ・コンピュータに利用することができる。
図3は、本発明によって構成された、入力装置10内の投影器22及び光源14の略図である。入力装置10は、ソリッドな表面34上に配置することができる。投影器22は、入力装置10内の高い位置に配置して、この投影器が入力テンプレート12を表面34上に投影する角度を増大させるように構成することができる。光源14は、入力装置10内の低い位置に配置して、表面34の近くで入力テンプレート12近傍に光を提供するとともに、表面34に入射する光の量を減少させることで投影された入力テンプレート12の「ウォッシュアウト」(washout)を減少させるように構成することができる。
図4は、ユーザの指36からの入力を感知する入力装置10の斜視図である。ユーザの指36が入力テンプレート12に近づくと、その一部分38が光源14によって照射される。光は、照射された当該一部分38から反射され、(図1及び図2に示す)第1光センサ16及び第2光センサ18によって感知される。(図1及び図2に示す)光センサ16、18は、入力テンプレート12に対して鋭角に光を感知するように配置されている。ユーザの指36からの光の正確な角度は、入力装置10内における(図1及び図2に示す)第1光センサ16及び第2光センサ18の位置と、ユーザの指36からの入力装置10の距離とに依存する。
図5及び図6は、第1光センサ16及び第2光センサ18に使用可能なもの等の、二つの二次元マトリクス式センサによって感知される光のグラフ表現図である。二次元マトリクス式センサはビデオカメラに使用されるタイプの光センサであって、複数の光センサの二次元格子としてグラフに表現することができる。二次元マトリクスセンサによって感知された光は、画素の二次元格子として表すことができる。図5及び図6において暗く示された画素は、それぞれ、図4に示すユーザの指36からの、第1光センサ16及び第2光センサ18によって感知された反射光を表している。ユーザの指36の位置は、第1光センサ16及び第2光センサ18からのデータに両眼視差法、三角測量法又は両者を適用することによって測定することができる。ユーザの指36の相対的な左側位置と右側位置は、画素マトリクス中の感知光の位置から決定することができる。例えば、物体がセンサ16、18の左側に現れるならば、その物体はセンサ16、18の左側にある。物体がセンサ16の右側において感知されるならば、その物体は右側にある。ユーザの指36の距離は、両センサによって感知された画像間の差から決定することができる。例えば、ユーザの指36が両センサから遠ければ遠いほど、第1光センサ16及び第2光センサ18からの画像はより類似したものとなる。反対に、ユーザの指36が第1光センサ16及び第2光センサ18に近づくにつれて、両画像は段々類似しないものとなる。例えば、ユーザの指36が第1光センサ16及び第2光センサ18に近く、かつ入力テンプレート12の中心のほぼ近傍にある場合には、図7及び図8にそれぞれ示すように、一方のセンサの右側に1つの画像が現れ、他方のセンサの左側に別の画像が現れる。
前記入力装置10は、ユーザが入力テンプレート12から項目を選択しようとしている場合としていない場合とを、ユーザの指36と入力テンプレート12との間の距離から区別して判断することができる。例えば、ユーザの指36が入力テンプレート12から1インチ未満の場合、入力装置10は、ユーザは指下方の項目を選択したいという結論を出すことができる。この入力装置10は、ユーザの指36と入力テンプレート12との間の距離を測定するための較正が可能になっている。
図9は、本発明の別実施例を示す側方平面図とブロック図の合成図であって、光源14が入力テンプレート12に隣接する光平面を作り出すのを示す図である。この実施例においては、光平面が入力テンプレート12の上方に距離を形成することから、ここに物体を置いて入力テンプレート12上の項目を選択しなければならない。これは、ユーザの指36が光平面の上方にあると、指36が第1光センサ16及び第2光センサ18に向けて光を反射しないからである。これに対し、指36が光平面を破ると直ちに、光は第1光センサ16及び第2光センサ18に反射される。
光源14の位置は、光平面が傾斜し、その高さが入力テンプレート12の上方において一定にはならないように配置される。図9に示すように、光平面は、光源14の近傍のポイントにおいてはテンプレート12の上方から一定距離のものにすることができ、光源14から離間すると、入力テンプレート12からの上方距離がより小さく変わるものにすることができる。もちろん、 逆の構成も実施可能である。このような光平面の不均一な高さを利用して、距離感知を容易にすることができる。例えば、ユーザの指36が光源14の近傍にある場合には、指36から光が二次元マトリクス式センサの上部に向けて反射される。反対に、ユーザの指36が光源14から遠く離れている場合には、指36から光が二次元マトリクス式センサの底面に向けて反射される。
図10は、二次元マトリクス式センサのグラフ表現図であって、単一の二次元マトリクス式センサからの画像を、入力テンプレート近傍にある物体の位置測定に利用可能にする方法を示す図である。物体の位置は、二次元マトリクス式センサのうち反射光を検出する部分から決定することができる。例えば、前述した実施例と同様、物体のセンサに対する方向は、その物体から反射した光の水平位置から決定することができる。例えば、センサの左側に位置する物体は、光をセンサの左側に向けて反射する。センサの右側に位置する物体は、光をセンサの右側に向けて反射する。センサから物体までの距離は、物体から反射した光の上下位置から決定することができる。例えば、図9に示す実施例においては、物体がセンサの近傍にある場合には、センサの上部に向けて光が反射される。反対に、物体がセンサから離間するほど、センサのより下部近くに光が反射される。光平面の傾斜とセンサの解像度とは、入力装置1の深さの感度に影響する。もちろん、図9に示す光平面の傾斜を逆にすれば、センサの深さの認識も逆になる。
図11及び図12は、図10に示した二次元マトリクス式センサの代わりに使用可能な一次元アレイ式センサを示す図である。一次元アレイ式センサは二次元マトリクス式センサに類似しているが、一次元においてしか光を感知することができない。従って、一次元アレイ式センサは感知光の水平位置測定には使用できるが、上下位置測定には使用できない。一対の一次元アレイ式センサを互いに直交に配置すれば、協働で、図10に記載したものと類似の方法によって、ユーザの指36等の物体の位置を測定するために使用可能になる。例えば図11は、ユーザの指36の位置の深さ成分を測定するために使用可能な上下向きの一次元アレイ式センサを示す。図12は、ユーザの指36の左右位置を測定するために使用可能な水平向きの一次元センサを示す。
本発明は、更に、下記の較正方法を含むことができる。この較正方法は、例えば、入力装置の紙画像又はプラスチック画像等の物理的テンプレート(physical template)が用いられる場合に使用することができる。このような実施例においては、入力装置10はユーザにサンプル入力を促す。例えば、キーボード入力テンプレート12の場合、入力装置10はユーザに複数のキーをタイプすることを促すことができる。入力装置10によって感知された入力が、入力テンプレート12の位置決定に使用される。例えば入力装置10は、ユーザが入力テンプレート12を置いた場所を決定するために、ユーザに対して“the quick brown fox(すばしっこい茶色の狐)”という語をタイプするように促すことができる。或いは、マウス等のようなポインタの場合には、入力装置10は、ユーザに対してポインタの移動範囲の境界を示すように促すことができる。このような情報から、入力装置10は、入力テンプレート12からの入力を正規化することができる。
別の実施例においては、入力装置10は、入力テンプレート12を省略することができる。例えば、良いタイピストであればデータ入力にはキーボードの画像を必要としないかもしれない。このような場合、入力装置10はユーザに対して、仮にそのユーザが入力テンプレート12を利用するとしたらその入力テンプレート12が位置する場所を決定するために、サンプル入力を促すことができる。更に、少数の入力しかない入力テンプレート12等のサンプル入力テンプレートの場合には、どのようなユーザにとっても入力テンプレート12は不要かもしれない。例えば、二つの入力しかない入力テンプレート12は、ほとんどの状況において入力テンプレートがなくてもユーザは確実に使用可能である。この例においては、一方の入力は入力装置10の概ね左側に置かれたユーザの指36によって選択され、他方の入力は入力装置10の概ね右側に置かれたユーザの指36によって選択されるものとすることができる。入力テンプレート12が省略される場合であっても、参照平面22は存在する。例えば、たとえユーザが入力テンプレート12を利用していない場合でも、単数又は複数の光センサ16、18は、参照平面22に対して鋭角に反射された光を感知するように配置される。
図13は、本発明の別実施例を示すブロック図であって、ユーザに入力テンプレート12の画像を提供するために、例えばバーチャル・リアリティ用途において利用可能なもののような投影ガラス42を含む例の図である。この実施例は、入力テンプレート12を省略したものである。ガラス42は、プロセッサ32によって制御することができる。これらガラス42には位置検出性を備えさせ、プロセッサ32がガラス42の場所及び角度を認識するように構成されており、これにより、たとえユーザの頭部が移動した時でも、ガラス42が作り出す画像をユーザに対し同一相対位置のままにすることが可能になる。これらガラス42によって、ユーザは周囲の現実も、入力テンプレート12の画像も見ることができる。この実施例においては、たとえユーザの頭部が移動した時でも、入力テンプレート12は、そのユーザの視野においては同じ位置に留まることができる。或いは、ガラス42が位置検出性を備える場合、たとえユーザの頭部が移動した時でも、入力テンプレート12を現実においては机上等の同一位置のままにすることもできる。図13に示す実施例は、1つのセンサ16しか使用せず、又、光源14や投影器22は使用しない。但し、上述したように、より多数のセンサを使用することも、光源14及び投影器22を使用することも可能である。
図14に示す別実施例では、インデックス光源44が提供される。このインデックス光源44は、前記表面34上に単数又は複数のインデックスマーク46を形成するために使用される。これらのインデックスマーク46は、ユーザが物理的入力テンプレート12を正しく位置合わせするために使用することができる。この実施例において、物理的入力テンプレート12の正確な位置を決定するための較正ステップは不要とすることができる。
図15は、参照平面と相対的に入力を検出する方法を示すブロック図である。この方法は、光源を提供するステップ50と、参照平面に対し鋭角に光を感知するステップ52と、感知光を示す少なくとも1つの信号を生成するステップ54と、感知光を示す前記少なくとも1つの信号から参照平面に対する物体の位置を決定するステップ56と、参照平面に対する物体の相対位置から入力を決定するステップ58とを含む。この方法は、上述した装置の説明においてと同様、参照平面に入力テンプレートを形成するステップを含むことができる。
図16は、入力装置を較正する方法を示すブロック図である。この方法は、参照平面上の1つの位置に入力を行うようにユーザに促すステップ60と、ユーザが行った入力位置状態を決定するステップ62と、ユーザが促された入力位置が、ユーザが行った入力位置に対応するように参照平面を配向するステップ64とを含む。入力テンプレートは、これを参照平面に置き較正方法を実行することによって使用することができる。入力テンプレートが使用されるか否かに拘わらず、参照平面は入力装置として形成される。参照平面は、キーボードやポインタ等の多数の入力装置のうち任意のものとして形成することができる。例えば、参照平面がキーボードとして形成される場合には、較正方法は、キーボード上の1つの文字を入力するようにユーザに促すステップと、ユーザが促された文字の位置が、ユーザが行った入力位置に対応するように参照平面を配向するステップとを含むことができる。較正方法は、ユーザからの2以上の入力によって実行されるようにすることも可能であり、その場合にはこの方法は、ユーザに(それぞれが参照平面上の1つの位置を有する)複数の入力を促すステップと、ユーザが行った各入力位置を決定するステップと、ユーザが促された各入力位置が、ユーザが行った各入力位置に対応するように参照平面を配向するステップとを含む。ユーザが行った単数又は複数の入力位置の決定は、1つの入力が通常の作業で決定されるのと同様の方法で実行することができる。換言すると、この決定は、光源を提供するステップと、参照平面に対して鋭角に光を感知するステップと、感知光を表す少なくとも1つの信号を生成するステップと、感知光を表す少なくとも1つの信号から参照平面に対する物体の位置を決定するステップとを含むことができる。
当業者は、本発明について多くの改変及び変形が可能なことは分かるであろう。例えば、本発明は、入力テンプレート12上の項目を選択するためにユーザの指36を使用するものとして説明したが、鉛筆やペン等のその他のものも入力テンプレート12上の項目選択に利用可能である。別の例として、光源14は省略することもできる。物体の深さは、その物体のサイズによって決定することもできる。センサに近い物体は、センサから遠い物体よりも大きく見えることになる。上述したような入力装置10の較正は、物体のサイズを様々な位置において測定するために使用することができる。例えば、データを入力する前には、ユーザに対して入力テンプレート12の上部近くの入力を選択するように促し、次に、入力テンプレート12の本体部近くの項目を選択するように促すことができる。その情報から、入力装置10は、複数の位置を互いに補間することができる。上記説明及び特許請求の範囲は、これらのような改変例及び変形例のすべてをカバーすることを意図している。
本発明により構成された入力装置を示すブロック図 入力装置の略平面図であって、第1及び第2センサの向きを示す図 本発明によって構成された入力装置内に配設された投影器と光源の略図 ユーザの指を感知する入力装置の斜視図 二次元マトリックス式センサによって感知される光を示すグラフ表現図 二次元マトリックス式センサによって感知される光を示すグラフ表現図 二次元マトリックス式センサによって感知される光を示すグラフ表現図 二次元マトリックス式センサによって感知される光を示すグラフ表現図 本発明の別実施例を示す側方平面図とブロック図の合成図であって、光源が入力テンプレートに隣接する光平面を作り出すのを示す図 二次元マトリクス式センサのグラフ表現図であって、単一の二次元マトリクス式センサからの画像を、入力テンプレート近傍にある物体の位置測定に利用可能にする方法を示す図 図10に示す二次元マトリクス式センサの代わりに使用可能な一次元アレイ式センサを示す図 図10に示す二次元マトリクス式センサの代わりに使用可能な一次元アレイ式センサを示す図 本発明の別実施例を示すブロック図であって、ユーザに入力テンプレートの画像を提供するために、例えばバーチャル・リアリティ用途において利用可能なもののような投影ガラスを含む例の図 インデックス光源が入力テンプレート位置合わせ用のインデックスマークを形成する別実施例を示す図 参照平面に対する入力を検出する方法を示すブロック図 入力装置を較正する方法を示すブロック図

Claims (27)

  1. 不可視スペクトル域の波によって照射された領域の物体を検出するシステムであって、
    ビデオ画像が前記領域に投影されるように構成された投影器、
    前記領域が実質的に照射されるように構成された前記不可視スペクトル域の波の放出装置、
    照射領域を登録するように構成され、波に対応する不可視スペクトル式に対して特定的にバランスされている受取装置、並びに
    ファジー論理を利用する認識アルゴリズムを備えて構成され、この認識アルゴリズムを利用して、放出波によって照射された物体を検出するコンピュータ、
    を有するシステム。
  2. 請求項1に記載のシステムであって、前記不可視スペクトル域の波を放出する装置が少なくとも1つの赤外線光源を有し、前記受取装置が少なくとも1つのカメラであるシステム。
  3. 請求項2に記載のシステムであって、前記赤外線光源は、赤外線発光ダイオード又は赤外線フィルタ付き白熱灯のいずれかであるシステム。
  4. 請求項3に記載のシステムであって、前記カメラが赤外線光にのみ透過性を有するフィルタを備えるシステム。
  5. 請求項4に記載のシステムであって、前記カメラの前記フィルタが前記赤外線発光ダイオード又は赤外線フィルタ付き白熱灯のスペクトル域にのみ透過性を有するシステム。
  6. 請求項1に記載のシステムであって、前記領域が赤外線光によって下方から透照され、投影表面が可視スペクトル域においては反射性を有し、赤外線光域においては透過性を有するように実装されているシステム。
  7. 請求項1に記載のシステムであって、前記不可視スペクトル域の波の放出装置が紫外線放射用の少なくとも1つの装置を備え、前記受取装置が紫外線放射用の少なくとも1つのレシーバを備えるシステム。
  8. 請求項1に記載のシステムであって、前記放出装置と前記受取装置が1つの光軸上に位置するシステム。
  9. 領域にある物体を検出する方法であって、以下のステップを含む方法、
    利用可能な機能を有する少なくとも1つのフィールドを備えたビデオ画像をコンピュータによって前記領域内に生成するステップ、前記ビデオ画像は所定の領域に投影される、
    前記物体を前記所定領域内に移動させるステップ、
    前記物体を検出するために、不可視スペクトル域にある波長を有する波によって前記領域を照射するステップ、
    前記物体を検出するために、前記波に対応する前記不可視スペクトル域に対して特定的にバランスされた受取装置を使用するステップ、並びに
    前記物体が前記フィールド内に所定時間存在することを契機に、この物体によってフィールドの機能をトリガーするステップ。
  10. 請求項9に記載の方法であって、更に、ユーザの指を移動させることによって、投影された前記領域を横切って、前記物体側のマウスポインタを移動させるステップを有する方法。
  11. 請求項9に記載の方法であって、更に、ユーザの指、ユーザの手又はポインタのいずれかと同様の特性を有する操作を実行するステップを有する方法。
  12. 物体の移動をデータに変換する非接触式装置であって、以下を有する装置、
    単数又は複数の光源、
    単数又は複数の光センサ、この光センサは、前記物体が前記単数又は複数の光源によって照射されるとこの物体からの反射光を感知するように位置合わせされている、並びに
    感知した前記反射光に基づいて、単数又は複数の参照ポイントに対する前記物体の相対位置を計算するための回路、この回路は、前記物体の前記相対位置を計算するためのアルゴリズムを実行するプロセッサを含み、このアルゴリズムはファジー論理を利用する。
  13. 請求項12に記載の装置であって、更に、データ入力装置のテンプレートを有する装置。
  14. 請求項13に記載の装置であって、前記入力テンプレートは物理的テンプレート(physical template)である装置。
  15. 請求項12に記載の装置であって、更に投影器を有し、かつ前記入力テンプレートが投影画像である装置。
  16. 請求項12に記載の装置であって、前記入力テンプレートがホログラム画像である装置。
  17. 請求項12に記載の装置であって、前記入力テンプレートが球状映像(spherical reflection)である装置。
  18. 請求項12に記載の装置であって、前記単数又は複数の光源が可視光、コヒーレント光、紫外線光又は赤外線光のいずれかから選択されるタイプの光を提供する装置。
  19. 請求項12に記載の装置であって、前記アルゴリズムが三角測量法を利用する装置。
  20. 請求項12に記載の装置であって、前記アルゴリズムが両眼視差法(binocular disparity)を利用する装置。
  21. 請求項12に記載の装置であって、前記アルゴリズムが数学的な射程測定法(rangefinding)を利用する装置。
  22. 請求項12に記載の装置であって、前記単数又は複数の光センサが二次元マトリクス式光センサである装置。
  23. 請求項12に記載の装置であって、前記単数又は複数の光センサが一次元アレイ式光センサである装置。
  24. 請求項12に記載の装置であって、更に、この装置をコンピュータに接続するためのインターフェースを有し、このインターフェースを介して、前記物体の前記相対位置を表すデータを当該装置から前記コンピュータに送ることができる装置。
  25. 請求項24に記載の装置であって、前記インターフェースは有線式(hard wired)のものである装置。
  26. 請求項24に記載の装置であって、前記インターフェースは無線式(wireless)のものである装置。
  27. 請求項26に記載の装置であって、無線式のインターフェースが赤外線、RF又はマイクロ波のいずれかから選択される装置。
JP2004512071A 2002-06-10 2003-01-23 データを入力するための装置及び方法 Pending JP2006509269A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/167,301 US20030226968A1 (en) 2002-06-10 2002-06-10 Apparatus and method for inputting data
PCT/US2003/002026 WO2003105074A2 (en) 2002-06-10 2003-01-23 Apparatus and method for inputting data

Publications (1)

Publication Number Publication Date
JP2006509269A true JP2006509269A (ja) 2006-03-16

Family

ID=29710857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004512071A Pending JP2006509269A (ja) 2002-06-10 2003-01-23 データを入力するための装置及び方法

Country Status (8)

Country Link
US (1) US20030226968A1 (ja)
EP (1) EP1516280A2 (ja)
JP (1) JP2006509269A (ja)
CN (1) CN1666222A (ja)
AU (1) AU2003205297A1 (ja)
CA (1) CA2493236A1 (ja)
IL (1) IL165663A0 (ja)
WO (1) WO2003105074A2 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4052498B2 (ja) 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
JP2001184161A (ja) 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
CA2412878C (en) 2000-07-05 2015-02-03 Smart Technologies Inc. Camera-based touch system
US20040001144A1 (en) 2002-06-27 2004-01-01 Mccharles Randy Synchronization of camera images in camera-based touch system to enhance position determination of fast moving objects
US6954197B2 (en) 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7256772B2 (en) 2003-04-08 2007-08-14 Smart Technologies, Inc. Auto-aligning touch system and method
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7492357B2 (en) * 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US8115753B2 (en) 2007-04-11 2012-02-14 Next Holdings Limited Touch screen system with hover and click input methods
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
CA2697856A1 (en) 2007-08-30 2009-03-05 Next Holdings, Inc. Low profile touch panel systems
WO2009029767A1 (en) 2007-08-30 2009-03-05 Next Holdings, Inc. Optical touchscreen with improved illumination
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
EP2335138A4 (en) * 2008-08-15 2012-12-19 Qualcomm Inc ENHANCED MULTIPOINT DETECTION
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
US20100325054A1 (en) * 2009-06-18 2010-12-23 Varigence, Inc. Method and apparatus for business intelligence analysis and modification
US8692768B2 (en) 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
CN102478956B (zh) * 2010-11-25 2014-11-19 安凯(广州)微电子技术有限公司 一种虚拟键盘输入设备及输入方法
JP5966535B2 (ja) * 2012-04-05 2016-08-10 ソニー株式会社 情報処理装置、プログラム及び情報処理方法
JP6135239B2 (ja) 2012-05-18 2017-05-31 株式会社リコー 画像処理装置、画像処理プログラム、画像処理方法
CN102880304A (zh) * 2012-09-06 2013-01-16 天津大学 用于便携设备的字符输入方法及装置
US9912930B2 (en) 2013-03-11 2018-03-06 Sony Corporation Processing video signals based on user focus on a particular portion of a video display
CN110058476B (zh) 2014-07-29 2022-05-27 索尼公司 投影型显示装置
JP6372266B2 (ja) * 2014-09-09 2018-08-15 ソニー株式会社 投射型表示装置および機能制御方法
CN104947378A (zh) * 2015-06-24 2015-09-30 无锡小天鹅股份有限公司 洗衣机
US11269066B2 (en) * 2019-04-17 2022-03-08 Waymo Llc Multi-sensor synchronization measurement device

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3748015A (en) * 1971-06-21 1973-07-24 Perkin Elmer Corp Unit power imaging catoptric anastigmat
US4032237A (en) * 1976-04-12 1977-06-28 Bell Telephone Laboratories, Incorporated Stereoscopic technique for detecting defects in periodic structures
US4468694A (en) * 1980-12-30 1984-08-28 International Business Machines Corporation Apparatus and method for remote displaying and sensing of information using shadow parallax
NL8500141A (nl) * 1985-01-21 1986-08-18 Delft Tech Hogeschool Werkwijze voor het bij een waarnemer opwekken van een drie-dimensionale indruk vanuit een twee-dimensionale afbeelding.
US5073770A (en) * 1985-04-19 1991-12-17 Lowbner Hugh G Brightpen/pad II
US4782328A (en) * 1986-10-02 1988-11-01 Product Development Services, Incorporated Ambient-light-responsive touch screen data input method and system
US4808979A (en) * 1987-04-02 1989-02-28 Tektronix, Inc. Cursor for use in 3-D imaging systems
US4875034A (en) * 1988-02-08 1989-10-17 Brokenshire Daniel A Stereoscopic graphics display system with multiple windows for displaying multiple images
US5031228A (en) * 1988-09-14 1991-07-09 A. C. Nielsen Company Image recognition system and method
US5138304A (en) * 1990-08-02 1992-08-11 Hewlett-Packard Company Projected image light pen
JP3247126B2 (ja) * 1990-10-05 2002-01-15 テキサス インスツルメンツ インコーポレイテツド 可搬型可視表示装置を提供する方法並びに装置
EP0554492B1 (en) * 1992-02-07 1995-08-09 International Business Machines Corporation Method and device for optical input of commands or data
US5334991A (en) * 1992-05-15 1994-08-02 Reflection Technology Dual image head-mounted display
EP0829799A3 (en) * 1992-05-26 1998-08-26 Takenaka Corporation Wall computer module
US5510806A (en) * 1993-10-28 1996-04-23 Dell Usa, L.P. Portable computer having an LCD projection display system
US5406395A (en) * 1993-11-01 1995-04-11 Hughes Aircraft Company Holographic parking assistance device
US5969698A (en) * 1993-11-29 1999-10-19 Motorola, Inc. Manually controllable cursor and control panel in a virtual image
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5459510A (en) * 1994-07-08 1995-10-17 Panasonic Technologies, Inc. CCD imager with modified scanning circuitry for increasing vertical field/frame transfer time
US6281878B1 (en) * 1994-11-01 2001-08-28 Stephen V. R. Montellese Apparatus and method for inputing data
US5521986A (en) * 1994-11-30 1996-05-28 American Tel-A-Systems, Inc. Compact data input device
US5900863A (en) * 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
US5786810A (en) * 1995-06-07 1998-07-28 Compaq Computer Corporation Method of determining an object's position and associated apparatus
US5591972A (en) * 1995-08-03 1997-01-07 Illumination Technologies, Inc. Apparatus for reading optical information
DE19539955A1 (de) * 1995-10-26 1997-04-30 Sick Ag Optische Erfassungseinrichtung
US6061177A (en) * 1996-12-19 2000-05-09 Fujimoto; Kenneth Noboru Integrated computer display and graphical input apparatus and method
DE19708240C2 (de) * 1997-02-28 1999-10-14 Siemens Ag Anordnung und Verfahren zur Detektion eines Objekts in einem von Wellen im nichtsichtbaren Spektralbereich angestrahlten Bereich
DE19721105C5 (de) * 1997-05-20 2008-07-10 Sick Ag Opto-eletronischer Sensor
US6266048B1 (en) * 1998-08-27 2001-07-24 Hewlett-Packard Company Method and apparatus for a virtual display/keyboard for a PDA
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device

Also Published As

Publication number Publication date
US20030226968A1 (en) 2003-12-11
CN1666222A (zh) 2005-09-07
EP1516280A2 (en) 2005-03-23
IL165663A0 (en) 2006-01-15
WO2003105074A2 (en) 2003-12-18
AU2003205297A1 (en) 2003-12-22
WO2003105074A3 (en) 2004-02-12
CA2493236A1 (en) 2003-12-18
WO2003105074B1 (en) 2004-04-01

Similar Documents

Publication Publication Date Title
JP2006509269A (ja) データを入力するための装置及び方法
US9857892B2 (en) Optical sensing mechanisms for input devices
US6281878B1 (en) Apparatus and method for inputing data
US7737959B2 (en) Position detection system using laser speckle
US7084857B2 (en) Virtual data entry device and method for input of alphanumeric and other data
US5484966A (en) Sensing stylus position using single 1-D image sensor
TW464800B (en) A method for inputting data to an electronic device, an article comprising a medium for storing instructions, and an image processing system
US20020061217A1 (en) Electronic input device
US9703398B2 (en) Pointing device using proximity sensing
US7671843B2 (en) Virtual holographic input method and device
US20020021287A1 (en) Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
KR20130018450A (ko) 비접촉식 터치 스크린을 위한 시스템 및 방법
JP2000347807A (ja) 指やペンなどにより入力可能な座標入力装置
US8400409B1 (en) User interface devices, methods, and computer readable media for sensing movement of an actuator across a surface of a window
US20030146906A1 (en) Tracking and pressure-sensitive digital pen
KR20010051563A (ko) 곡선 모양의 미러를 사용하는 광 디지타이저
US20160092032A1 (en) Optical touch screen system and computing method thereof
TWM338402U (en) Optical reflection type image-sensing panel apparatus
KR100629410B1 (ko) 지문인증기능을 구비한 포인팅 장치 및 방법과, 이를 위한 휴대 단말기
JP2018190306A (ja) 非接触式の三次元タッチパネル、非接触式の三次元タッチパネルシステム、非接触式の三次元タッチパネルの制御方法、プログラム及び記録媒体
WO2003017076A1 (en) Input system and method for coordinate and pattern