JP2013525923A - インタラクティブスクリーン用途のためのレーザ走査式プロジェクタ装置 - Google Patents
インタラクティブスクリーン用途のためのレーザ走査式プロジェクタ装置 Download PDFInfo
- Publication number
- JP2013525923A JP2013525923A JP2013508194A JP2013508194A JP2013525923A JP 2013525923 A JP2013525923 A JP 2013525923A JP 2013508194 A JP2013508194 A JP 2013508194A JP 2013508194 A JP2013508194 A JP 2013508194A JP 2013525923 A JP2013525923 A JP 2013525923A
- Authority
- JP
- Japan
- Prior art keywords
- image
- projector
- detector
- finger
- scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000002452 interceptive effect Effects 0.000 title claims description 26
- 238000001514 detection method Methods 0.000 claims description 24
- 238000009792 diffusion process Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 230000036962 time dependent Effects 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
- G06F3/0423—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen using sweeping light beams, e.g. using rotating or vibrating mirror
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
この装置の一実施の形態は、(i)レーザ走査式プロジェクタであって、この走査式プロジェクタにより照射される拡散面上に光を投影する、レーザ走査式プロジェクタ、(ii)拡散面と走査式プロジェクタにより照射されているエリア内に入る少なくとも1つの物体とにより散乱された光を、時間の関数として検出する、少なくとも1つの検出器、および(iii)(a)検出器の信号から、物体と拡散面との画像を再構成すること、および(b)物体と拡散面との間の距離の変動を判定すること、が可能な電子機器、を備えている。
Description
本出願は、2010年4月30日に出願された米国仮特許出願第61/329,811号の優先権を主張するものである。
本発明は、一般に、レーザ走査式プロジェクタおよびこのプロジェクタを利用している装置に関し、より具体的には、インタラクティブスクリーンまたはタッチスクリーン用途に使用し得る装置に関する。
レーザ走査式プロジェクタは現在、組込み型マイクロプロジェクタ用途向けに開発中である。このタイプのプロジェクタは、典型的には、3色のレーザ(RGB)と、レーザにより提供された光ビームをスクリーンなどの拡散面を横切るように走査させるための、1つまたは2つの高速走査ミラーとを含む。現在、レーザを変調させて様々なビーム強度を実現することにより画像を生成している。
バーコード読取り装置は、バーコードパターンの像を走査しかつ読み取るために、レーザスキャナを利用している。レーザを使用して光のビームを提供し、このビームを走査ミラーで走査してバーコードを照射し、さらに照射されたバーコードによって散乱された光を、光検出器を用いて収集することによってバーコードパターンの像を生成する。
何らかのインタラクティブ機能を実行し得るプロジェクタは、典型的にはレーザスキャナを利用し、通常、CCD検出器のアレイを少なくとも1つ必要とし、さらに少なくとも1つの結像レンズを要する。こういった部品はかさばるため、この技術は、例えば携帯電話などの小型装置に組み込む用途には使用することができない。
本書において記述または引用されているいずれの参照も、従来技術を構成するものであると承認されたものではない。出願人は、引用されたあらゆる文献の正確さおよび適切性に意義を申し立てる権利を明確に有する。
本開示の1以上の実施形態は、(i)レーザ走査式プロジェクタであって、このレーザ走査式プロジェクタにより照射される拡散面上に光を投影する、レーザ走査式プロジェクタ、(ii)拡散面と走査式プロジェクタにより照射されているエリア内に入る少なくとも1つの物体とにより散乱された光を、時間の関数として検出する、少なくとも1つの検出器、および(iii)(a)検出器の信号から、物体と拡散面との画像を再構成すること、および(b)拡散面に対する物体の位置を判定すること、が可能な電子機器、を備えている装置に関する。
いくつかの実施形態によれば、この装置は、(i)レーザ走査式プロジェクタであって、このレーザ走査式プロジェクタにより照射される拡散面上に光を投影する、レーザ走査式プロジェクタ、(ii)拡散面と走査式プロジェクタにより照射されているエリア内に入る少なくとも1つの物体とにより散乱された光を、時間の関数として検出する、少なくとも1つの検出器、および(iii)(a)検出器の信号から、物体と拡散面との画像を再構成すること、および(b)物体と拡散面との間の距離Dを、および/または物体と拡散面との間の距離Dの変動を、判定すること、が可能な電子機器、を備えている。少なくともいくつかの実施形態によれば、電子機器は、前記検出器と組み合わせて拡散面上での物体のXY位置を判定することも可能である。
少なくとも1つの実施形態において、走査式プロジェクタおよび検出器は、プロジェクタからの照射角度が検出器の光収集角度と異なるように互いに対して変位され、かつ電子機器は、(i)検出器の信号から、物体および拡散面の2D画像を再構成すること、および(ii)映し出された物体の幅Wを感知して、物体と拡散面との間の距離Dを、および/またはこの距離Dの変動を、判定することが可能である。
一実施の形態において、この装置は少なくとも2つの検出器を含む。一方の検出器はプロジェクタの走査ミラー近傍に位置していることが好ましく、また他方の検出器はプロジェクタの走査ミラーから変位されている。物体とスクリーンとの間の距離は、2つの検出器により生成された画像を比較することによって得ることが好ましい。一方の検出器はプロジェクタから10mm以内に位置し、かつ他方の検出器はプロジェクタから少なくとも30mm離れて位置していることが好ましい。
検出器は、カメラではなく、CCDアレイではなく、かつレンズを有していないことが好ましい。検出器は単一の光センサであり、光センサアレイではないことが好ましい。2つの検出器が使用される場合には、好適には両方の検出器が単一の光センサであり、例えば、単一のフォトダイオードである。
本開示のさらなる実施形態は、インタラクティブスクリーンを使用する方法に関し、この方法は、
a)インタラクティブスクリーンを、走査式プロジェクタを用いて投影するステップ、
b)走査式プロジェクタにより照射されているエリアの少なくとも一部内に、物体を置くステップ、
c)プロジェクタの走査ミラーの動き、または走査式プロジェクタにより提供されるライン走査の開始時点および/または終了時点を、少なくとも1つの光検出器で取得された入力すなわち信号と同期させるステップ、
d)物体の影の幅を評価することにより、少なくとも1つの光検出器で物体を検出するステップ、および、
e)走査式プロジェクタで投影されたインタラクティブスクリーンと物体とが相互作用したときに、前記エリアの少なくとも一部に対する物体の位置を判定するステップ、
を含む。
a)インタラクティブスクリーンを、走査式プロジェクタを用いて投影するステップ、
b)走査式プロジェクタにより照射されているエリアの少なくとも一部内に、物体を置くステップ、
c)プロジェクタの走査ミラーの動き、または走査式プロジェクタにより提供されるライン走査の開始時点および/または終了時点を、少なくとも1つの光検出器で取得された入力すなわち信号と同期させるステップ、
d)物体の影の幅を評価することにより、少なくとも1つの光検出器で物体を検出するステップ、および、
e)走査式プロジェクタで投影されたインタラクティブスクリーンと物体とが相互作用したときに、前記エリアの少なくとも一部に対する物体の位置を判定するステップ、
を含む。
さらなる特徴および利点は、以下の詳細な説明の中に明記され、そしてある程度は、その説明から当業者には容易に明らかになるであろうし、あるいは、書かれた説明およびその請求項の他、添付の図面において説明されたように実施形態を実施することにより認識されるであろう。
前述の一般的な説明および以下の詳細な説明の両方は、単に例示であり、請求項の本質および特徴を理解するための概要または構成を提供することを意図したものであることを理解されたい。
添付の図面は、さらなる理解を提供するために含まれ、また本明細書に組み込まれかつその一部を構成する。図面は1以上の実施形態を示し、そしてその記述とともに、種々の実施形態の原理および動作を説明するのに役立つ。
図1は、装置10の一実施の形態を示す概略図である。この実施形態において、装置10はインタラクティブスクリーンを伴うプロジェクタ装置であり、この実施形態のインタラクティブスクリーンは、インタラクティブスクリーン用途の仮想タッチスクリーンである。より具体的には、図1は、レーザ走査式プロジェクタ14に付された単一の光検出器12を使用して画像を生成し得る手法について概略的に示している。走査式プロジェクタ14は、スポットを3色(赤、緑、青)で生成し、このスポットをプロジェクタ14から特定の距離の位置にあるスクリーン16’などの拡散面16を横切って走査させて、拡散面の上方すなわち拡散面の前の空間(容積)18を照射する。スクリーン16’などの拡散面16は、例えばポインタまたは指などの物体20で触れたときに、仮想タッチスクリーンとして機能し得る。物体20は、拡散面16とは異なる拡散(光散乱)特性を有することが好ましく、これは物体とスクリーン16との区別を容易にするためである。すなわち、ポインタまたは指などの物体20が照射エリア内に位置しているときには、光検出器12で収集される光が変化し、収集されるパワーは、拡散面16によって与えられるものとは異なったものになる。検出器12が収集および検出した情報は、さらなる処理のために電子機器15へと提供される。
図1の実施形態において、検出器12は、カメラではなく、CCDアレイセンサ/検出器ではなく、さらに1以上のレンズを含むものでもない。例えば、検出器12は単一のフォトダイオードでもよく、ニュージャージー州NewtonのThorlabsから入手可能なPDA55などが挙げられる。走査式プロジェクタ14および検出器12は、好適には少なくとも20mm、より好適には少なくとも30mm(例えば、40mm)、横方向に分離され、すなわち互いに対して変位した位置にあり、そのためプロジェクタからの照射角度は、検出器12の光収集角度と大きく(好適には少なくとも40ミリラジアン(mrad)、より好適には少なくとも60mradだけ)異なる。本実施形態において、プロジェクタからの検出器の変位はX軸に沿ったものである。本実施形態において、電子機器15は、データ収集ボードまたは回路基板を備えているコンピュータである。少なくとも本実施形態の電子機器15(例えば、コンピュータ)は(a)検出器の信号から、物体および拡散面の、少なくとも2D画像を再構成すること、および(b)映し出された物体20の幅W(本実施形態における映し出された物体の幅Wは、物体の影を含む)を感知して、物体20と拡散面16との間の距離Dの変動を判定すること、が可能である。(少なくとも本実施形態における幅は、プロジェクタと検出器の間の直線方向、例えばX軸に沿った方向における寸法である)。本実施形態において電子機器15は、例えば人の指などの細長い物体に関するXYZ位置を検出することができる。次いでこのXYZ位置を利用して、電子機器15(または別の電子機器)とユーザとの間で相互作用を実現することができる。すなわち、ユーザは指の動きを使って、コンピュータのマウスの機能を果たしたり、表示された画像の一部を拡大・縮小したり、画像の3D画像操作を実行したり、インタラクティブゲームを行なったり、ブルートゥース装置とコンピュータとの間で通信を行なったり、あるいは投影された画像をインタラクティブスクリーンとして利用したりすることができる。
すなわち、少なくとも1つの実施形態において、装置10は、(i)拡散面16(例えば、プロジェクタで照射されたスクリーン16’)上に光を投影するためのレーザ走査式プロジェクタ14、(ii)拡散面16と、プロジェクタ14により照射されている空間すなわち容積18内に入る、あるいはこの容積内で動いている、少なくとも1つの物体20とにより散乱された光を、時間の関数として検出する、少なくとも1つの検出器12(各検出器は単一の光検出器であり、光検出器のアレイではない)、さらに(iii)(a)検出器の信号から、物体および拡散面の画像を再構成すること、および(b)物体と拡散面との間の距離Dを、および/または物体と拡散面との間の距離Dの変動を、判定すること、が可能な電子機器15(例えば、コンピュータ)、を備えている。
図2は、走査式プロジェクタが完全に白いスクリーンを表示しているとき(すなわち、走査式プロジェクタ14がこの表面上にいかなる画像をも投影することなくこれを照射しているとき)に検出器12によって収集された、拡散面16から散乱された放射パワーの推移を、時間の関数として示したものである。図2は、相対的に高い検出パワーに対応する単一フレーム25が続いている状態を示している。各フレームは多数のライン走査に相当し、また各フレームの持続時間は約16msである。フレームはプロジェクタの帰線時間に相当する低パワーレベル27で分離され、この帰線時間の間は、走査ミラーを画像の位置の始点に戻すためにレーザの電源が切られる。
図3Aは、図2の単一フレームの中心を拡大した図である。この図は、検出された信号がパルスの連続から成るものであることを示し、この各パルスは画像の1本のラインLiに相当する。より具体的には、図3Aは、時間に対する検出パワーの変調(すなわち、拡散面16から向けられかつ検出器12で収集/検出された、散乱光すなわち拡散光の変調)を示している。拡散面16を照射するために、プロジェクタ14は走査ミラーを利用してレーザビームを拡散面16を横切って走査させる。走査ラインLi(本書ではライン走査とも称する)を図3Bに概略的に図示する。すなわち、図3Aに示されている変調は、拡散面16を照射している個々のライン走査Liに対応する。つまり、図3Aの増減サイクルの夫々は、拡散面16を照射している1本のライン走査Liに対応する。図3Aに示されている最も高いパワー(パワーピーク)は、ライン走査の中間領域に対応する。図3Bに示されているように、ライン走査Liは向きが変化する。例えば、レーザビームは左から右へと走査され、その後右から左へ、さらに左から右へと走査される。各走査ラインの終了時点で、通常短時間の間レーザの電源が切られ(これをラインの持続時間の終了時点と称する)、走査ミラーは次のラインの開始点へと戻される。
プロジェクタ(またはプロジェクタの走査ミラー)と検出器は互いに同期させることが好ましい。検出信号を走査式プロジェクタと(例えば、走査ミラーの動き、走査開始時点と)同期させることにより、時間依存情報を空間依存情報(本書では画像マトリクスと称する)へと変換して、電子機器15を用いて物体20の2D画像または3D画像を再構成することができる。走査式プロジェクタは、新たな画像フレームのたびに、および/または任意の新たな走査画像ラインで、電子機器に同期パルスを提供することが好ましい。
同期を達成し得る手法を説明するために、プロジェクタが白いスクリーン(すなわち、画像を含まない照射されたスクリーン)を表示し、かつ図3Bに示したように細長い物体20が照射容積18内に挿入されている、簡単な例について検討したい。
初めの数ライン(1からk)においては、走査ビームが物体20で妨害されることがなく、フォトダイオードに収集される信号は図3Aに示したものに類似したものとなる。照射容積18内に手、ポインタ、または指などの物体が入って、走査ラインk+1からnまでに相当する走査ビームが遮られると、走査ビームが物体に妨害されることによって検出器12で検出される光のパワーが低下することになる。(例えば、図3Bではk=3である。)この変化を図3Cで説明する。より具体的には、図3Cは図3Aと同様に時間に対する検出パワーの変調を示しているが、ここでの変調は、物体20と拡散面16との両方から散乱すなわち拡散されて、検出器12により収集/検出された光によるものである。すなわち、図3Aと3Cに示されているパターンは互いに異なったものである。
装置10は、検出器から得た時間依存情報を空間情報へと変換し、画像マトリクスを生成する。例えば、物体の2D画像(本書では画像マトリクスとも称される)を生成するために、1つの方法は、フォトダイオードにより検出された信号から各1本のラインを隔離または識別するステップ、および、画像マトリクスを形成するステップであって、このとき第1ラインが光検出器の信号における第1ラインに対応し、第2ラインが光検出器の信号における第2ラインに対応する等となるステップ、を含む。その数学的操作を実行するためには、同期化のため、全ての1本のラインの始まる時点を認識することが好ましい。
検出器とコンピュータとから成る検出システムがプロジェクタに物理的に接続されている実施形態において、同期化の一手法では、プロジェクタが、各1本のラインの開始時点で電気パルスを発する。このパルスをその後使用し、各ラインの開始時点に対応して、フォトダイオードのデータ収集を始動させる。得られたデータの各組はラインの開始時点から始まっているため、データは同期化されて、画像行列を形成するためのn本のラインを容易に取り出すことができる。例えば、プロジェクタの走査ミラーはその固有周波数で励振されるため、同期パルスがその固有周波数で発せられて、ミラーはこのパルスと同調する。
画像マトリクスを形成するやり方については考慮する必要がある。例えばラインLiは、左から右へと、さらに次いで右から左へと投影(走査)される。(このライン走査の方向は、例えば図3Bに示されている)。すなわちプロジェクタは、各特定のラインが左から右へと走査されているか、あるいは右から左へと走査されているかに関する情報を提供する必要があり、そして光検出システムの電子機器15は、画像マトリクスを形成するときに、その情報に応じてラインごとに対応させて画像データを反転させる。
いくつかの実施形態において、検出システムはプロジェクタと物理的に接続されているものではなく、あるいは、プロジェクタは同期パルスを生成する能力を備えているものではない。本書において「検出システム」という用語は、検出器12と、電子機器15と、検出器および/または電子機器15に付随の随意的な増幅器および/または電子装置とを含むものである。これらの実施形態においては、検出システムが認識することができ、かつ同期化の目的の他、左から右へのラインと右から左へのラインとを判別するために使用することができる、いくつかの予め画成された機構を導入することによって、検出器が提供する画像データの検出と、この画像に関連するライン走査の位置とを同期させることができる。1つの考えられる解決策が一例として図4Aに示されている。ここでは、投影された画像に対して鉛直な2つのライン17Aおよび17Bのような、追加の同期化機構が含まれている。この実施形態においては、例えば、左の投影されたライン(ライン17A)は、右の投影されたライン(ライン17B)よりも明るい。これらのライン17A、17Bは、画像を表示するためにプロジェクタが通常使用しているエリア内に位置付けてもよいし、あるいは図4Aに示したように、レーザが通常電源を切っている領域内(ラインの持続時間の終了時点)に設けてもよい。すなわち、光検出器によって検出された信号はライン17Aおよび17Bに相当する一連のパルス17A’、17B’を含み、これを使用することで1本のラインLiの開始時点(および/または終了時点)を判定することができる。このことについては、例えば図4Bに示されている。さらに、照度は非対称であるため、左から右へのライン(より明るいパルスが左側にある)と右から左へのライン(より明るいパルスが右側にある)とを判別することができる。
図5は、プロジェクタ14が完全に白いスクリーンを投影しかつ物体20(手)が照射容積18内に挿入されているときの、図1に示した装置10により検出された画像を示したものである。光検出器12は、光を検出すると、検出した光の強度に対応した電気信号を生成する。この画像を生成したシステム10は、光検出器と、光検出器12によって生成された電気信号を増幅し、かつこれをさらなる処理のためにコンピュータ15のデータ収集ボードへと送信する、トランスインピーダンス増幅器(TIA)とを含むものであった。図5の画像を取得するため、この実施形態において、検出器の信号のサンプリング周波数は10MHzであり、かつ検出器および増幅用電子装置(TIA)の立ち上がり時間は約0.5μsであった。検出器12が優れた分解能のデータを生成することができるよう、すなわち優れた画像分解能の2D画像マトリクスを提供できるよう、この立ち上がり時間は可能な限り短いものであることが好ましい。1本のラインを書くための持続時間が例えば30μsであり、かつ立ち上がり時間がおよそ0.5μsであると仮定すると、画像ライン方向における最大の画像分解能は約60サンプル点(例えば、再生成された画像で60画素)である。
図6は、図1に示されている装置10で3D情報を得る手法を概略的に示したものである。照射容積18内の、拡散面16から距離Dだけ離れた位置にある物体20について検討したい。この実施形態において、物体20の光錯乱特性は拡散面16と異なっていることに留意されたい。拡散面16は照射角度θiでプロジェクタ14により照射され、また検出器12は物体20を角度θdで「見る」。画像を再構成すると、2つの像が見えるはずであると予想される。1つ目の像(像A)は物体自体の像であり、また2つ目の像(像B)は物体の影の像であり(図7Aに示されている)、これは検出器12から見るとスクリーンが物体20で遮られているためである。
2つの像AおよびBの隔たりDxは、以下の式、
Dx=D(sin(θi)+sin(θd))で与えられる。ここで、Dは物体から拡散面16までの距離である。
Dx=D(sin(θi)+sin(θd))で与えられる。ここで、Dは物体から拡散面16までの距離である。
すなわち、D=Dx/(sin(θi)+sin(θd))
そのため、2つの角度θiおよびθdが分かると、距離Dの測定が可能となる。
そのため、2つの角度θiおよびθdが分かると、距離Dの測定が可能となる。
図7Aは、スクリュードライバのような物体20の2つの像AおよびB(像Aは物体自体の像であり、また像Bは物体の影の像である)が存在していることを示し、このときこの物体は、照射容積18内の、スクリーン16’から距離Dの位置に置かれている。図7Bは、距離Dxが小さくなって、両方の像が1つの像にまとまったことを示している。この条件下で動作している装置10が図8に概略的に示されている。装置10が唯一の(すなわち、単一の)検出器12を利用しているものであり、さらに指などの比較的大きな物体20が照射領域(容積18)内に入りかつこれがスクリーン16’から数ミリしか離れていないとき、像AおよびBが図7Bに示したように単一の像に結合してしまって、検出器から2つの分離した像Aおよび像Bを「見る」ことができない場合には、この方法を用いて物体の鉛直の運動を検出することは困難となり得ることに留意されたい。すなわち、物体とスクリーン16’との間の距離Dを判定するために、所与の物体の2つの分離像を検出するよう試みる代わりに、検出された物体の幅Wを測定し、かつこの幅Wを時間の関数として辿ることで、物体とスクリーンとの間の距離Dの変動に関する情報を得ることができる。この実施形態において、幅Wは、物体およびその影と、さらにこれらの間の空間(存在している場合には)との幅である。(注:この技術は、距離Dの絶対値ではなく、単に相対値を与えるものであり、これは幅Wが物体自体の幅にも依存するためである。)図9Aは、物体20(1本の指)を照射容積18内に挿入し、さらにこの指をスクリーン16’から数ミリまで上げたり下げたりしたときの、検出された幅Wの変化を示している。より具体的には、図9Aは、時間(横軸)に対する測定された幅W(縦軸、画素数)をプロットしたものである。図9Aは、指をスクリーンから距離Dだけ持ち上げると、像の幅Wがどのように変化するかを示している。例えば、指をスクリーンから離して持ち上げたときに幅Wは約55画像画素まで増加し、また指をスクリーン16’に触れるように下げたときに約40画像画素まで減少した。図9Aはさらに、指を再び持ち上げる前に約15秒間、指がスクリーン16’と触れたままであったことも示している。すなわち図9Aは、検出された幅Wの、時間での推移(および/または時間への依存関係)を検出することによって、単一の検出器12を使用している装置10を用いて指の上下運動を容易に検出し得ることを示している。つまり、図9Aは、検出された指の幅Wの変動を(画像画素で)示したものである。指は同じ横方向の位置で保持したまま、スクリーン16’に対して上下させた。
上述したように、物体の幅は「事前に」分かっていないため、この技術は距離Dに関する絶対的な情報を与えるものではない。この絶対的な情報を得るために、1つの例示的な実施形態では、インタラクティブスクリーンで新たな物体を使用するたびに校正シーケンスを利用する。校正モードが作動されると、物体20を上へと動かし、さらにスクリーンに触れるまで下へと動かす。校正シーケンスの間、物体20が上下に移動しているときに、検出システムは物体20の幅を測定し続ける。その後、全シーケンス中に測定された最小値と同じであるとして、物体の正確な幅が判定される。この検出方法はよく機能するが、プロジェクタと検出器の位置に対する物体の配向に関し、特有の事例に限定され得る。例えば、プロジェクタ14および検出器12が図1に示したようにX軸に沿って分離しているとき、物体20がY軸から45°以内、好適には30°以内を指している場合にこの方法はよく機能し、さらに物体20(例えば指)が図9Bに示したように図1および8のY軸に沿った方向を指している場合に最もよく機能する。また、検出の帯域幅の制限により、再構成された画像の分解能は、プロジェクタのラインに沿った方向の方が低くなる。これにより、この実施形態では距離情報が物体の影から推定されるため、再構成された影が最も高い分解能を有するような方向にこの影を生成することが好ましい(したがって、図9Bに示されているように、幅WがX軸に沿っていると最も高い分解能で測定される)。すなわち、(単一の検出器を利用している装置にとって)好適な構造とは、投影された照射ライン(走査ラインLi)が検出器の変位に対して垂直であるようなものである。すなわち、検出器がX方向に沿って変位している場合、細長い物体の向きや、プロジェクタにより提供される走査ラインの向きは、好適にはY軸に沿ったものとするべきである。
さらに、物体の位置を判定するために使用されるアルゴリズムは(ソフトウエアまたはハードウエアのどちらで実行されるものであっても)、「事前」には分からない、表示されている画像からも影響を受ける可能性がある。一例として、投影された画像の極暗いエリア内に物体20が位置している場合には、アルゴリズムが正しい情報を提供することができない場合がある。例えば、以下で詳細に論じるようなスライダすなわち白い長方形の使用が、この問題に対する解決策となり得る。
投影された画像が細長い特徴(例えば、手または指の絵)を含んでいるとき、投影された特徴が物体20として誤認識されることがあり、それによりアルゴリズムが不適切な結果を与えてしまう可能性がある。この問題に対しても、図9Cに示しかつ以下で詳細に論じるような、例えば、スライダ22すなわち白い長方形22を使用することが解決策となり得る。スライダは既定の位置に据えられているため、スライダ上での指の運動を容易に検出することができる。
つまり、いくつかの実施形態によれば、均一に照射されたいくつかの部分を、投影された画像に加えてもよい。この実施形態においてアルゴリズムは、画像のこの均一に照射された部分を分析し、その部分に位置している物体のみを検出する。すなわち、本実施形態において、投影された画像は均一に照射されたエリア16”すなわちスライダ22をさらに含み、このスライダ22は拡散面16上に投影された小さな白い長方形または四角形である。エリア22内には、手や指などの投影画像は存在しない。物体がエリア16”すなわちスライダ22内に入ると、プログラムによって、物体と、この物体のX座標およびY座標が検出される。つまり、この実施形態においては、均一に照射された(白い)エリア内に物体が位置しているときに、検出システムがこの物体20を単に検出するようにコンピュータがプログラムされている。物体20が一旦検出されると、検出システムはその物体の位置している場所が「分かる」。物体が白いエリアの中心に対してX方向および/またはY方向に動くと、物体の画像が変わることにより物体の運動が検出され、また均一に照射されたエリア16”は、物体20の位置を連続的に辿るように移動される。
この方法は、仮想ディスプレイまたは仮想キーボードなどの用途に使用することができ、この場合には指を照射容積18内で動かして、プロジェクタ14がスクリーン16’上に投影しているディスプレイまたはキーボード上の様々な場所をこの指で指し示す。指の上下運動を検出し、例として画像を見るための投影システム内において装置10を使用するときにズームを制御するために利用してもよいし、あるいは他の制御機能のために利用することができ、また指の水平運動は、スクリーン16’上に並んで存在している複数の画像の中から様々な画像を選択するために利用してもよい。
以下の実施例から、種々の実施形態がさらに明らかになるであろう。
実施例1
図1は、実施例1に相当する実施形態を概略的に示している。この例示的な実施形態において、プロジェクタ14および光検出器12はX軸に沿って分離して設けられている。またプロジェクタのラインはY軸に沿ったものであり、さらに細長い物体(例えば、指)の方向はこのY軸に沿っている。こういった条件で再構成された典型的な画像を図5に示す。この例示的な実施形態においてプロジェクタは、変化している画像、例えば、絵または写真を投影する。投影された画像は、同期化機構、例えば図4Aに示されている2つの明るいライン17A、17Bをさらに含んでいる。例えば、単一の検出器システムにおいて、電子機器が検出アルゴリズムを含むように構成してもよく、このアルゴリズムは以下のステップの1以上を含み得る。
図1は、実施例1に相当する実施形態を概略的に示している。この例示的な実施形態において、プロジェクタ14および光検出器12はX軸に沿って分離して設けられている。またプロジェクタのラインはY軸に沿ったものであり、さらに細長い物体(例えば、指)の方向はこのY軸に沿っている。こういった条件で再構成された典型的な画像を図5に示す。この例示的な実施形態においてプロジェクタは、変化している画像、例えば、絵または写真を投影する。投影された画像は、同期化機構、例えば図4Aに示されている2つの明るいライン17A、17Bをさらに含んでいる。例えば、単一の検出器システムにおいて、電子機器が検出アルゴリズムを含むように構成してもよく、このアルゴリズムは以下のステップの1以上を含み得る。
(i)校正ステップ:この適用を開始する際、プロジェクタは拡散面16上に同期化機構に加えて完全に白い画像を投影する。次いで、白いスクリーンの画像(画像I0)を検出器12が取得する。すなわち、白いスクリーンに相当する校正画像I0を検出してコンピュータのメモリに保存する。投影された画像の中心は、画像のエッジや角の部分よりも明るい可能性が高いことに留意されたい。
(ii)待機段階:プロジェクタは絵などの任意の画像を、投影している同期化機構(例えば、ライン17Aおよび17B)に加えて拡散面16上に投影する。同期化機構の強度はアルゴリズムによって監視される。この強度が、校正画像I0において検出された同期化機構の強度から著しく変化している場合には、同期化機構の位置している領域と物体が交差したことを意味する。次にアルゴリズムは、均一に照射されたエリア16”を画像内に(例えば、図9Cに示されているように)置く。このエリアは、例えば、画像エリアの下部側に据えられた白い長方形22でもよい。(この均一に照射されたエリアを、本書では「スライダ」またはスライダエリア22と称する。)すなわち、本実施形態においてユーザは、手、ポインタ、または指を同期化機構の近くで動かして、インタラクティブスクリーンまたはキーボードの作業を開始する。
あるいは、プロジェクタ14が画像を投影し、かつ検出システム(電子機器15と検出器12との組合せ)が常に平均の画像パワーを監視して、手、ポインタ、または指などの物体が照射容積18内に入ったかどうかを検出する。電子機器15は、映し出された物体の幅を見て、物体と拡散面との間の距離Dを、および/または物体と拡散面との間の距離Dの変動を、判定することができるように構成することが好ましい。物体20が照射エリア内に入ると、検出される散乱放射の平均パワーが変化し、これにより動いている物体が検出されたという信号が電子機器15に送られる。物体が検出されると、プロジェクタ14は白いエリア22を画像のエッジ位置にX軸に沿って投影し、すなわち白いエリア22を置く。この白いエリアがスライダである。
(iii)「照射ムラの排除」ステップ:プロジェクタが拡散面16上に一連の投影画像を生成すると、アルゴリズムはリアルタイムで画像Iiを生成し、かつこれを校正画像で除算して、新たな画像マトリクスI'iを生成する。ここで、I'i=Ii/I0が、各投影された画像に対応する。この除算によって、プロジェクタが提供する照射におけるムラが排除される。
(iv)「スライダモード」。アルゴリズムは、スライダエリア22内に入ってくる任意の細長い物体20を、例えば、画像2値化や輪郭検出のような従来の技術を用いてさらに検出する。物体20のスクリーン16’までの距離Dを、上述したように幅Wを測定することによりさらに監視する。
(v)スクリーンとの相互作用。指などの細長い物体は、エリア上またはエリア内部のその最初の位置に対して、図9Cに示すように、横方向に(例えば、左から右へ)または上下に動かしてもよい。いくつかの実施形態においては、指などの物体20が横方向に動き、かつスクリーン16’のスライダエリア22の内部に触れているとき、画像(例えば、絵)はスライドしている指の方向へと動き、次に現れる画像のためにいくらかの余裕が残される。指がスクリーンから上方に持ち上げられた場合には、画像の中心の周囲を「ズーム」するように画像を変化させる。
例えば、このアルゴリズムは、スライダエリア22沿いの画像パワーを計算することによって、指が白いエリア22内に到達した時点を検出することができる。「タッチ」動作は、スライダ画像内で指の幅Wを測定することによって検出される。例えば、「スライダ移動」動作は、指がスライダを横切って動くときに検出される。「スライダ移動」動作が検出されたとき、指がスライダエリア内で左右に動くにつれて、新たな一連の絵をその後表示してもよい。
あるいは、スライダエリア22はキーボードの画像を含んでもよく、このとき映し出されたキーを横切る指の動きは、どのキーが押されようとしているかについて情報を提供し、一方指の上下運動はキーの押圧に相当する。つまり実施例1の実施形態は、仮想キーボードとしても機能し得、すなわちこの実施形態を使用して仮想キーボードを実現することができる。このキーボードは、例えば、「タイピング用キーボード」でもよいし、あるいは音楽を演奏することが可能な仮想の「ピアノキー」でもよい。
すなわち本実施形態において、検出器および電子機器は、(i)検出器の信号から、物体および拡散面の少なくとも2D画像を再構成すること、および(ii)映し出された物体の幅Wを感知して、物体と拡散面との間の距離Dを、および/またはこの距離Dの変動を、判定すること、(iii)および/または、拡散面に対する物体の位置(例えば、XY位置)を判定すること、が可能であるように構成される。
図10Aは、指の位置を時間に応じて増減するものとして(指はスライダエリア22に沿ってX方向に移動させた)検出した、アルゴリズムの結果(画像画素における横方向位置)を示したものである。より具体的には、図10Aは、指の最初の位置がスライダエリア22の左側(スライダの中心から約205画像画素)であったことを示している。指はその後、スライダの中心から約40画像画素の位置まで右へと動き(X方向において連続的な動き)、その位置で約8秒間留まった。さらに再び指は左へと連続的な動きで移動して、スライダの中心から約210画素の位置に到達した。指はその後、その位置から(X方向において連続的な動きで)スライダの中心より約25〜30画素の位置に達するまで右へと動き、その位置で約20秒間静止した後、再び左へと動いてスライダの中心から左に約195画素の位置に達した。次いで指は、図10Aの右側に階段状の下降曲線で示したように、少しずつ徐々に右へと移動した。
指の位置に加えて、投影された画像に対する物体(指など)の角度も判定することができる。例えば指の角度は、走査ラインごとに、そのライン上あるいはそのライン上方での指のエッジ位置を検出することによって判定することができる。アルゴリズムは次いで、指のエッジ関数Y(X)を計算することができ、ここでYおよびXは投影された画像の座標である。その後、指の角度αを関数Y(X)の平均の傾きとして計算する。図10Bは、伸ばした指が角度αで傾斜している手の画像を示している。角度αに関する情報は、例えば、写真などの投影された画像をその相当する角度だけ回転させるために、その後利用することができる。
以下は、投影された画像の画像操作のために利用し得る、例示的なアルゴリズムの説明である。このアルゴリズムは、指の位置の2Dまたは3D情報を利用する。
指の画像の検出を利用するアルゴリズム:
(I)投影された画像領域内に検出された指が存在しない場合‐待機;
(II)投影された画像領域内で検出された指が1本のみ存在し、さらに;
(a)指がスクリーンに触れていない場合‐待機;
(b)指がスクリーンに触れかつX/Yにおいて動いている場合‐指の移動に従って画像を移動させる;
(c)指がスクリーンに触れかつX/Yにおいて動いていない場合‐指の回転角αに基づいて、画像を画像平面内で回転させる;
(III)投影された画像領域内で2本の指が検出され、
(a)指1がスクリーンに触れ、かつ指2がスクリーンに触れていない場合‐指2の高さに比例した大きさだけ画像をズームインする;
(b)指1がスクリーンに触れず、かつ指2がスクリーンに触れている場合‐指1の高さに比例した大きさだけ画像をズームアウトする;さらに、
(IV)2本の指のいずれも触れていない場合‐両指の高さの差に比例した振幅で画像の3D回転を実行する。
(I)投影された画像領域内に検出された指が存在しない場合‐待機;
(II)投影された画像領域内で検出された指が1本のみ存在し、さらに;
(a)指がスクリーンに触れていない場合‐待機;
(b)指がスクリーンに触れかつX/Yにおいて動いている場合‐指の移動に従って画像を移動させる;
(c)指がスクリーンに触れかつX/Yにおいて動いていない場合‐指の回転角αに基づいて、画像を画像平面内で回転させる;
(III)投影された画像領域内で2本の指が検出され、
(a)指1がスクリーンに触れ、かつ指2がスクリーンに触れていない場合‐指2の高さに比例した大きさだけ画像をズームインする;
(b)指1がスクリーンに触れず、かつ指2がスクリーンに触れている場合‐指1の高さに比例した大きさだけ画像をズームアウトする;さらに、
(IV)2本の指のいずれも触れていない場合‐両指の高さの差に比例した振幅で画像の3D回転を実行する。
すなわち、少なくとも1つの実施形態によれば、インタラクティブスクリーンを利用する方法は、
a)画像またはインタラクティブスクリーンを、このインタラクティブスクリーン上に投影するステップ、
b)インタラクティブスクリーンの付近に物体を置くステップ、
c)物体の画像を形成し、かつこの画像から物体の位置に関する情報を得るステップ、
d)前記情報を利用して、電子機器により動作を始動させるステップ、
を含む。
a)画像またはインタラクティブスクリーンを、このインタラクティブスクリーン上に投影するステップ、
b)インタラクティブスクリーンの付近に物体を置くステップ、
c)物体の画像を形成し、かつこの画像から物体の位置に関する情報を得るステップ、
d)前記情報を利用して、電子機器により動作を始動させるステップ、
を含む。
例えば、物体は1以上の指でもよく、かつ始動/実行される動作は、(i)投影された画像の少なくとも一部をズームインまたはズームアウトする動作、および/または(ii)投影された画像の少なくとも一部の回転、とし得る。例えば、この方法は、前記インタラクティブスクリーンに対する2本の指の高さ(すなわち、指とスクリーンとの間の距離D)を監視および/または判定するステップをさらに含み、2本の指の間の高さの差を利用して画像の回転を始動/実行させるものでもよい。あるいは、インタラクティブスクリーンに対する少なくとも1つの指の高さを判定および/または監視して、実行されるズームの大きさを指の高さに比例するようにしてもよい(例えば、Dの値が大きくなるにつれて、さらにズームする)。
いくつかの例示的な実施形態において、アルゴリズムは、どの指がスクリーンに触れているかを検出し、各指に関連した異なった動作を始動させる(例えば、ズーム、回転、右または左への動き、上または下への動き、特定の組の文字または記号の表示など)。
多数の物体(例えば、多数の指)が照射領域内(容積18)にある場合、多数の影が像を混同させることがある。図11は、2以上の近接した物体が照射領域内に挿入されたときにどのようなことが起こるかを概略的に示したものである。多数の影の像によって2以上の物体の像が互いに重なり合い、これにより物体を解像することが困難になる。仮想キーボード用途では、例えばキーを互いに適当な距離だけ間隔を空けて設け、ユーザの指が「タイピング」中に互いに離れた状態になるようにすることによって、この問題を回避することができる。例えば、仮想の「タイピング」キーボード用途において、投影されたキーは互いに約5mmから15mm離れていることが好ましい。これは、例えば、照射エリアに亘ってキーボードの拡大像を投影することによって達成し得る。
実施例2
上述したように、単一の軸外検出器を利用した装置10や、幅検出手法を用いたプロセスはよく機能するが、これらはポインタなどの単一の物体の検出に最もよく適しているであろう。上述したように、多数の物体が、これらの影の像が単一の軸外検出器から見て互いに重複または接触するような形で照射領域内に据えられたとき、この多数の影が像を混同させることがある。(例えば、図13Aの左上部分を参照されたい)。近接した物体の分解能の問題を解決するために、実施例2の実施形態では、間隔を空けて設けられた2つの検出器12A、12Bを利用して2つの異なる画像を生成する。これを図12に概略的に示す。2つの検出器間の距離は、例えば20mm以上でもよい。第1検出器12Aは、この検出器が直接の物体の影のみを検出するように、すなわち像が互いに重なり合うのを防ぎかつ正確な2D情報を与えるように(図13Aの左下部分参照)、プロジェクタの発光点にできる限り近づけて置かれる。第2検出器12Bは軸外に置かれ(例えば、第1検出器から距離X離れた位置)、かつ検出器12Aから「見える」像とは異なる像が「見える」(図13Bの左上部分参照)。例えば、第1検出器12Aはプロジェクタから10mm以内に位置付けてもよく、また第2検出器12Bは第1検出器12Aから少なくとも30mm離れた位置に位置付けてもよい。図12の実施形態において、物体に関する3D情報は、軸上検出器12Aと軸外検出器12Bとで夫々得られた画像における差を分析することによって、コンピュータ15または類似の装置から得ることができる。より具体的には、プロジェクタの近傍に据えられた検出器(12A)で検出された物体の影を、プロジェクタからさらに離して据えられている検出器(12B)で検出された物体の影と比較することによって、3D情報を判定することができる。
上述したように、単一の軸外検出器を利用した装置10や、幅検出手法を用いたプロセスはよく機能するが、これらはポインタなどの単一の物体の検出に最もよく適しているであろう。上述したように、多数の物体が、これらの影の像が単一の軸外検出器から見て互いに重複または接触するような形で照射領域内に据えられたとき、この多数の影が像を混同させることがある。(例えば、図13Aの左上部分を参照されたい)。近接した物体の分解能の問題を解決するために、実施例2の実施形態では、間隔を空けて設けられた2つの検出器12A、12Bを利用して2つの異なる画像を生成する。これを図12に概略的に示す。2つの検出器間の距離は、例えば20mm以上でもよい。第1検出器12Aは、この検出器が直接の物体の影のみを検出するように、すなわち像が互いに重なり合うのを防ぎかつ正確な2D情報を与えるように(図13Aの左下部分参照)、プロジェクタの発光点にできる限り近づけて置かれる。第2検出器12Bは軸外に置かれ(例えば、第1検出器から距離X離れた位置)、かつ検出器12Aから「見える」像とは異なる像が「見える」(図13Bの左上部分参照)。例えば、第1検出器12Aはプロジェクタから10mm以内に位置付けてもよく、また第2検出器12Bは第1検出器12Aから少なくとも30mm離れた位置に位置付けてもよい。図12の実施形態において、物体に関する3D情報は、軸上検出器12Aと軸外検出器12Bとで夫々得られた画像における差を分析することによって、コンピュータ15または類似の装置から得ることができる。より具体的には、プロジェクタの近傍に据えられた検出器(12A)で検出された物体の影を、プロジェクタからさらに離して据えられている検出器(12B)で検出された物体の影と比較することによって、3D情報を判定することができる。
2つの検出器を使用するときの理想的な構成は、図12、13B、および13Cで示されているように、これらの検出器が1方向に(例えば、X軸に沿って)変位し、細長い物体20(例えば指)がこの軸(X軸)に略沿った方向を指し、かつプロジェクタのラインLiが他方の軸(Y)に沿っているものである。2つの検出器から得られた画像(図14の上部および下部参照)を比較して(例えば、互いに差し引いて)、より良い画像情報を生み出すことができる。図12、13B、および13Cに示されている実施形態において、走査式プロジェクタ14は遅い走査軸と速い走査軸とを有する。2つの検出器は、これらの検出器の位置に沿ったラインがこの速い軸方向に沿ったものではなく、好適には遅い軸方向に沿ったものとなるように位置付けられる。本実施形態においては、細長い物体の長さが、最初にこの速い軸方向に沿って(例えば、速い軸方向から30°以内に)配向されることが好ましい。
実施例3
図14は、こういった条件下で得られた画像を示している。より具体的には、図14の上の左側は軸外検出器12Bにより得られた画像である。図14の上の右側は、同じ画像を2値化して描いたものである。図14の下の左側は、軸上検出器12Aにより得られた画像である。図14の下の右側は、軸上検出器と軸外検出器とにより得られた画像の差として計算された偽彩色画像を示したものである。
図14は、こういった条件下で得られた画像を示している。より具体的には、図14の上の左側は軸外検出器12Bにより得られた画像である。図14の上の右側は、同じ画像を2値化して描いたものである。図14の下の左側は、軸上検出器12Aにより得られた画像である。図14の下の右側は、軸上検出器と軸外検出器とにより得られた画像の差として計算された偽彩色画像を示したものである。
図14では、全ての指が拡散面(スクリーン16’)に触れていた。図15の画像は、中指が持ち上げられたときに得られたものである。図15の上の左部分には、中指に隣接した暗いエリアが描かれている。これは、持ち上げられた指により生成された影である。影のサイズWは、指の端部がスクリーンからどの程度持ち上げられたか(距離D)を示す。下の右の画像に見られるように、指のエッジでの青色エリアがかなり大きいが(図14の下の右側のものと比較して)、これは軸外検出器12Bから見た影がより長いためである。図15の下の右側は、軸上検出器により提供された正規化された画像から、軸外検出器により得られた正規化された画像を差し引いて得られた偽彩色画像である。(暗い青色のエリア(丸が付されたエリア参照)は負の数に対応する。)その検出システムで2つの空間的に分離されている光検出器を利用している1つの例示的な実施形態において、動いている物体を検出するためのアルゴリズム(すなわち、「タッチ」および位置検出アルゴリズム)は以下のステップを含む。
a)校正ステップ:プロジェクタ14が拡散面16上に完全に白いスクリーンを投影しているときに、校正画像I01およびI02を取得する。校正画像I01は軸上検出器12Aにより得られた画像に相当し、また校正画像I02は軸外検出器12Bにより得られた画像に相当する。すなわち、校正画像I01およびI02は、2つの検出器から見た白いスクリーンに相当する。これらの校正画像は、取得した後にコンピュータのメモリに保存してもよい。
b)画像I1およびI2のリアルタイムでの取得。プロジェクタ14が拡散面16上に一連の投影画像を生成すると、アルゴリズムが一連の画像対I1、I2を生成する(画像I1、I2はリアルタイムで取得された画像に相当し、画像I1は軸上検出器12Aで取得され、かつ画像I2は軸外検出器12Bで取得された画像に相当する)。
c)画像A1、A2およびBの計算。画像I1、I2が生成された後、アルゴリズムはこれらの画像を校正画像で除算することにより正規化し、新たな画像マトリクスA1およびA2を生成する。ここで、Ai=Ii/I0iが、各投影された画像に対応する。この除算によって、照射のムラが排除される。すなわち、A1=I1/I01およびA2=I2/I02であり、ここで本書において除算とは、2つの画像マトリクスの対応している単一要素の一方を他方で割ることを意味する。つまり、マトリクスIiにおける全ての要素が、校正マトリクスI0iの対応している要素で除算される。その後、2つの画像(画像マトリクス)A1およびA2を比較することにより、画像Bが計算される。これは、例えば、1つの検出器から得られた画像マトリクスを他方の検出器で得られた画像マトリクスから差し引くことによって行うことができる。本実施形態においては、B=A2−A1である。
d)軸上画像A1(すなわち、軸上検出器に対応する画像)から、2値化および輪郭検出などの従来の方法を用いて指の横の位置を得る。
e)物体が検出されたら、物体(例えば指)の端部の周囲にウィンドウを画成する。マトリクスBのウィンドウ内の画素(P)のうち、特定の閾値を下回っているものの個数を数える。物体(指など)とスクリーンとの間の距離は、この数(P)に比例する。我々の研究室で使用した例示的な実施形態においては、8画素未満が−0.7の閾値未満であった場合に指がスクリーンに触れているものと見なした。この数はほとんどの指でうまく機能するように思われたが、例えばマニキュアをした指などの特別な事例に対処するために、時には何らかの再校正が必要となることもあるであろう。
したがって、動いている物体を検出する方法は、
a)走査式プロジェクタにより照射されているエリアの少なくとも一部内に、物体を置くステップ、
b)プロジェクタの走査ミラーの動き、または走査式プロジェクタにより提供されるライン走査の開始時点および/または終了時点を、少なくとも1つの光検出器で取得された入力と同期させるステップ、
c)少なくとも1つの光検出器で物体を検出するステップ、および、
d)走査式プロジェクタにより照射されているエリアの少なくとも一部に対する、物体の位置を判定するステップ、
を含む。
a)走査式プロジェクタにより照射されているエリアの少なくとも一部内に、物体を置くステップ、
b)プロジェクタの走査ミラーの動き、または走査式プロジェクタにより提供されるライン走査の開始時点および/または終了時点を、少なくとも1つの光検出器で取得された入力と同期させるステップ、
c)少なくとも1つの光検出器で物体を検出するステップ、および、
d)走査式プロジェクタにより照射されているエリアの少なくとも一部に対する、物体の位置を判定するステップ、
を含む。
一実施の形態によれば、この方法は、
a)インタラクティブスクリーンまたは画像を、走査式プロジェクタを用いて投影するステップ、
b)走査式プロジェクタにより照射されているエリアの少なくとも一部内に、物体を置くステップ、
c)プロジェクタの走査ミラーの動きを検出システムと同期させて、少なくとも1つの検出器により得られた時間依存信号を、物体の少なくとも2D画像に変換するステップ、
d)スクリーン16からの物体の距離D、またはこの距離Dの変動を、物体の影の、形状、サイズ、または幅Wを分析することによって検出するステップ、および
e)走査式プロジェクタで投影されたインタラクティブスクリーンまたは画像と物体とが相互作用したときに、前記エリアの少なくとも一部に対する物体の位置を判定するステップ、
を含む。
a)インタラクティブスクリーンまたは画像を、走査式プロジェクタを用いて投影するステップ、
b)走査式プロジェクタにより照射されているエリアの少なくとも一部内に、物体を置くステップ、
c)プロジェクタの走査ミラーの動きを検出システムと同期させて、少なくとも1つの検出器により得られた時間依存信号を、物体の少なくとも2D画像に変換するステップ、
d)スクリーン16からの物体の距離D、またはこの距離Dの変動を、物体の影の、形状、サイズ、または幅Wを分析することによって検出するステップ、および
e)走査式プロジェクタで投影されたインタラクティブスクリーンまたは画像と物体とが相互作用したときに、前記エリアの少なくとも一部に対する物体の位置を判定するステップ、
を含む。
いくつかの実施形態によれば、空間的に分離されている少なくとも2つの検出器によって物体の画像を得、かつこれらの画像を、物体の位置に関する詳細な情報を得るために互いに比較する。2つの検出器は少なくとも20mm離れていることが好ましい。
図16は、このアルゴリズムを利用した用途の一例を示している。プロジェクタ14が、文字を既定位置に含んだキーボードの画像を投影している。物体20(指)の位置が監視されて、アルゴリズムはさらに、いつ指がスクリーンに触れているかを検出する。文字が位置している場所は分かっているため、アルゴリズムが、指がスクリーンに触れた位置に最も近い文字を見つけ出し、さらにこの文字を、キーボード画像の上側に投影する単語を作るためにファイルに加える。キーが押されるたびに電子機器は音を発して、ユーザになんらかのフィードバックを与える。さらに、指がスクリーンに触れている時間が長すぎたためにキーを誤って2度押してしまうことのないように、アルゴリズムは、「タッチ」が所与の指に対して検出されたときに、この指が前の画像で未だスクリーンに触れていなかったことをチェックする。
ユーザにさらなるフィードバックを提供するために、いくつかの追加の機能をアルゴリズムに組み込むことも可能であろう。一例として、多数の指が使用される場合、各指に対する音を異なるものとしてもよい。
図16Aに示されている投影画像は、特別なキー(「Keyboard」)を含み得る。このキーが押されると、プロジェクタは様々なキーボードまたは書式設定(例えば、AZERTY、QWERTY、大文字、小文字(undercase)、フォント、テンキー、または他の言語)の、一連の選択肢を投影する。このプログラムはその後、投影されるキーパッドの種類をユーザの選択に従って変更し、すなわち投影されるキーパッドの種類をユーザの指示に従って選択する。
さらに、指の画像情報を利用して、より精巧な機能を実行することができる。一例としてアルゴリズムは、図14に示されているように、1本の指の代わりに多数の指の端部に位置している影を監視することができる。多数の指の位置を監視することにより、アルゴリズムは、どの指がスクリーンのどの位置を打っているかを判定することができ、また様々な機能を様々な指に関連付けることができる。図16Bは、例えば、拡散面上に投影された、変更されたキーボードを示している。この画像は多数の分割されたエリアから成り、これらの夫々が4種類の異なる文字を含んでいる。指がこれらのエリアのうちの1つに触れると、アルゴリズムによって、いずれの指が触れたのかが判定され、さらにどの指がこのエリアに触れたかに基づいて、選択されるべき文字が選定される。図16Bで説明すると、例えば第2の指が上部エリアの2番目に触れると、そのエリア内の2番目の文字である文字「T」が選択される。いくつかの例示的な実施形態において、アルゴリズムは、いずれの指がスクリーンに触れているかを検出して、各指に関連した異なる動作や、あるいはその指に関連した特有の動作を始動させる(例えば、ズーム、回転、右または左への動き、上または下への動き、特定の組の文字または記号の表示など)。
画質は、不均一な室内照明を補償することによって(例えば、不均一な室内照明に起因するデータを排除することによって)、また画像のコントラストを改善することによって最適化することができる。検出器によって収集されるパワーは、走査式プロジェクタが発した光と室内照明からの光との和である。結果として、室内照明が変化すると、コントラストや画像パワー合計などの画像のパラメータが影響を受け、画像を処理する際にエラーを生じさせる可能性がある。
室内照明が画像に寄与しないようにするために、アルゴリズムは、例えば帰線時間中などのレーザの電源が切られているときに受けた信号を分析してもよい。これらの時間に亘る平均パワーを、次に、レーザのスイッチが入れられている間の信号から差し引く。最適な画質を得るためには、スクリーンの拡散係数と物体の拡散係数との間の差に応じたコントラストを最適化することが重要である。図17Aおよび17Bは、緑色光のみ、または赤色光のみを集めたときに得られた手の画像である。図から分かるように、緑色光で照射された手(図17A)のコントラストの方が、赤色光で照射された画像(図17B)よりも著しく優れており、これは、赤色光の代わりに緑色光で照射されたときの方が、肌の吸収係数がより高いという事実に起因する。
すなわち、検出器の前に緑色フィルタを挿入すると、画像のコントラストを改善することができる。緑色フィルタの使用は、アルゴリズム内で考慮されるべき色が1つのみとなるため、画像内容の補正アルゴリズムに対していくつかの利点を呈する。さらに、グリーンレーザの波長に中心を置いた狭スペクトルのフィルタを置くことで、周囲の室内光のほとんどを検出システムによって除去することができる。
他に明確に述べられていなければ、本書に明記されるいずれの方法も、そのステップを特定の順序で実行する必要があると解釈されることを全く意図していない。したがって、方法の請求項においてこれらのステップが行われる順序が実際に述べられていない場合、あるいは請求項または説明の中でこれらのステップが特定の順序に限定されるべきであると具体的に述べられていない場合には、何らかの特定の順序が推測されることは全く意図されていない。
本発明の精神および範囲から逸脱することなく、種々の改変および変形が作製可能であることは当業者には明らかであろう。本発明の精神および内容を組み込んだ開示の実施形態の変更形態、コンビネーション、サブコンビネーション、および変形形態が、当業者には思い浮かぶであろうことから、本発明は、添付の請求項およびその同等物の範囲内にある全てのものを含むと解釈されるべきである。
10 装置
12 光検出器
14 レーザ走査式プロジェクタ
15 電子機器
16 拡散面
18 照射容積
20 物体
22 スライダ
12 光検出器
14 レーザ走査式プロジェクタ
15 電子機器
16 拡散面
18 照射容積
20 物体
22 スライダ
Claims (5)
- 仮想インタラクティブスクリーン装置において、
(i)レーザ走査式プロジェクタであって、該レーザ走査式プロジェクタにより照射される拡散面上に光を投影するものであり、かつ少なくとも1つの走査ミラーを含んでいる、レーザ走査式プロジェクタ、
(ii)前記拡散面と前記走査式プロジェクタにより照射されているエリア内に入る少なくとも1つの物体とにより散乱された光を、時間の関数として検出する、少なくとも1つの検出器であって、該検出器と前記プロジェクタとが同期化されている、検出器、および、
(iii)(a)前記検出器の信号から、前記物体と前記拡散面との画像を再構成すること、および(b)前記拡散面に対する前記物体の位置を判定すること、が可能な電子機器、
を備えていることを特徴とする装置。 - (i)前記プロジェクタが、前記電子機器に提供される同期化情報を生成し、かつ前記電子機器が、前記検出器から受け取った時間依存信号情報を、画像マトリクスに変換するよう構成されており、および/または、
(ii)前記走査式プロジェクタが、新たな画像フレームのたびに、または任意の新たな画像ラインで、前記電子機器に同期パルスを提供する、または(iii)前記走査式プロジェクタが、新たな画像フレームのたびに、または任意の新たな画像ラインで、前記電子機器に同期パルスを提供し、かつ前記プロジェクタの走査ミラーが該走査ミラーの固有周波数で励振され、さらに前記同期パルスが該固有周波数で発せられて、前記ミラーが該パルスと同調する、
ことを特徴とする請求項1記載の装置。 - 前記電子機器が、映し出された前記物体の幅を用いて、前記物体と前記拡散面との間の距離Dを、および/または前記物体と前記拡散面との間の距離Dの変動を、判定することが可能なものであることを特徴とする請求項1記載の装置。
- 検出された前記幅が所与の時間間隔の間に急速に2回減少しかつ同じ低水準に2回達したときに、この動作に対して前記装置がマウスのダブルクリックとして応答するようなアルゴリズムを該装置が含み、このとき前記装置が(i)フォトダイオードであって、CCDアレイではなく、かつレンズのカメラではない、単一の光検出器、あるいは(ii)互いに空間的に分離されている少なくとも2つの検出器、を含むものであることを特徴とする請求項2記載の装置。
- インタラクティブスクリーンを使用する方法であって、
a)画像またはインタラクティブスクリーンを、走査式プロジェクタを用いて投影するステップ、
b)前記走査式プロジェクタにより照射されているエリアの少なくとも一部内に、物体を置くステップ、
c)前記プロジェクタの走査ミラーの動きを、該走査式プロジェクタにより提供されるライン走査の開始時点または終了時点で、少なくとも1つの光検出器で取得された入力と同期させるステップ、
d)前記物体の影の幅を評価することにより、前記少なくとも1つの光検出器で該物体を検出するステップ、および、
e)前記走査式プロジェクタで投影されたインタラクティブスクリーンと前記物体とが相互作用したときに、前記エリアの少なくとも一部に対する該物体の位置を判定するステップ、
を含むことを特徴とする方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US32981110P | 2010-04-30 | 2010-04-30 | |
US61/329,811 | 2010-04-30 | ||
PCT/US2011/034079 WO2011137156A1 (en) | 2010-04-30 | 2011-04-27 | Laser scanning projector device for interactive screen applications |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013525923A true JP2013525923A (ja) | 2013-06-20 |
Family
ID=44247955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013508194A Withdrawn JP2013525923A (ja) | 2010-04-30 | 2011-04-27 | インタラクティブスクリーン用途のためのレーザ走査式プロジェクタ装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20110267262A1 (ja) |
JP (1) | JP2013525923A (ja) |
KR (1) | KR20130061147A (ja) |
CN (1) | CN103154868A (ja) |
WO (1) | WO2011137156A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015001729A (ja) * | 2013-06-18 | 2015-01-05 | 船井電機株式会社 | プロジェクタ |
JP2017520049A (ja) * | 2014-06-03 | 2017-07-20 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | ジェスチャ認識のための画像マトリクスを生成するためのモジュール、システムおよび方法 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2977964B1 (fr) * | 2011-07-13 | 2013-08-23 | Commissariat Energie Atomique | Procede d'acquisition d'un angle de rotation et des coordonnees d'un centre de rotation |
US9030445B2 (en) | 2011-10-07 | 2015-05-12 | Qualcomm Incorporated | Vision-based interactive projection system |
DE102012206851A1 (de) * | 2012-04-25 | 2013-10-31 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ermitteln einer im Lichtkegel eines projizierten Bildes ausgeführten Geste |
US8994495B2 (en) | 2012-07-11 | 2015-03-31 | Ford Global Technologies | Virtual vehicle entry keypad and method of use thereof |
JP5971053B2 (ja) * | 2012-09-19 | 2016-08-17 | 船井電機株式会社 | 位置検出装置及び画像表示装置 |
CN103777857A (zh) | 2012-10-24 | 2014-05-07 | 腾讯科技(深圳)有限公司 | 实现视频画面转动的方法和装置 |
CN104020894B (zh) * | 2013-02-28 | 2019-06-28 | 现代自动车株式会社 | 用于识别触摸的显示装置 |
JP2014203212A (ja) * | 2013-04-03 | 2014-10-27 | 船井電機株式会社 | 入力装置及び入力方法 |
CN103412681A (zh) * | 2013-04-22 | 2013-11-27 | 深圳市富兴科技有限公司 | 一种智能化3d投影虚拟触控显示技术 |
CN103412680A (zh) * | 2013-04-22 | 2013-11-27 | 深圳市富兴科技有限公司 | 一种智能3d投影虚拟触控显示技术 |
EP2899566B1 (de) | 2014-01-24 | 2018-08-22 | Sick Ag | Verfahren zum Konfigurieren eines Laserscanners und Konfigurationsobjekt dafür |
TWI499938B (zh) * | 2014-04-11 | 2015-09-11 | Quanta Comp Inc | 觸控系統 |
JP6314688B2 (ja) * | 2014-06-25 | 2018-04-25 | 船井電機株式会社 | 入力装置 |
EP3032502A1 (en) * | 2014-12-11 | 2016-06-15 | Assa Abloy Ab | Authenticating a user for access to a physical space using an optical sensor |
TW201710113A (zh) | 2015-06-02 | 2017-03-16 | 康寧公司 | 車輛投影系統 |
CN105700748B (zh) * | 2016-01-13 | 2019-06-04 | 北京京东尚科信息技术有限公司 | 一种触控处理的方法和装置 |
CN106372608A (zh) * | 2016-09-06 | 2017-02-01 | 乐视控股(北京)有限公司 | 物体状态变化的检测方法、装置及终端 |
CN109842808A (zh) * | 2017-11-29 | 2019-06-04 | 深圳光峰科技股份有限公司 | 投影装置的控制方法、投影装置以及存储装置 |
CN110119227B (zh) * | 2018-02-05 | 2022-04-05 | 英属开曼群岛商音飞光电科技股份有限公司 | 光学触控装置 |
US10698132B2 (en) | 2018-04-19 | 2020-06-30 | Datalogic Ip Tech S.R.L. | System and method for configuring safety laser scanners with a defined monitoring zone |
US11435853B2 (en) * | 2019-01-03 | 2022-09-06 | Motorola Mobility Llc | Self-aligning user interface |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6710770B2 (en) * | 2000-02-11 | 2004-03-23 | Canesta, Inc. | Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device |
US20030132921A1 (en) * | 1999-11-04 | 2003-07-17 | Torunoglu Ilhami Hasan | Portable sensory input device |
US7774075B2 (en) * | 2002-11-06 | 2010-08-10 | Lin Julius J Y | Audio-visual three-dimensional input/output |
JP4612853B2 (ja) * | 2005-03-29 | 2011-01-12 | キヤノン株式会社 | 指示位置認識装置及びそれを有する情報入力装置 |
US8018579B1 (en) * | 2005-10-21 | 2011-09-13 | Apple Inc. | Three-dimensional imaging and display system |
US9696808B2 (en) * | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
US8519983B2 (en) * | 2007-12-29 | 2013-08-27 | Microvision, Inc. | Input device for a scanned beam display |
US8427727B2 (en) * | 2008-01-22 | 2013-04-23 | Alcatel Lucent | Oscillating mirror for image projection |
JP5277703B2 (ja) * | 2008-04-21 | 2013-08-28 | 株式会社リコー | 電子機器 |
JP5202395B2 (ja) * | 2009-03-09 | 2013-06-05 | 株式会社半導体エネルギー研究所 | タッチパネル、電子機器 |
US20110164191A1 (en) * | 2010-01-04 | 2011-07-07 | Microvision, Inc. | Interactive Projection Method, Apparatus and System |
-
2011
- 2011-04-26 US US13/094,086 patent/US20110267262A1/en not_active Abandoned
- 2011-04-27 JP JP2013508194A patent/JP2013525923A/ja not_active Withdrawn
- 2011-04-27 WO PCT/US2011/034079 patent/WO2011137156A1/en active Application Filing
- 2011-04-27 CN CN2011800199537A patent/CN103154868A/zh active Pending
- 2011-04-27 KR KR1020127031379A patent/KR20130061147A/ko not_active Application Discontinuation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015001729A (ja) * | 2013-06-18 | 2015-01-05 | 船井電機株式会社 | プロジェクタ |
JP2017520049A (ja) * | 2014-06-03 | 2017-07-20 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | ジェスチャ認識のための画像マトリクスを生成するためのモジュール、システムおよび方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20130061147A (ko) | 2013-06-10 |
WO2011137156A1 (en) | 2011-11-03 |
US20110267262A1 (en) | 2011-11-03 |
CN103154868A (zh) | 2013-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013525923A (ja) | インタラクティブスクリーン用途のためのレーザ走査式プロジェクタ装置 | |
US9557811B1 (en) | Determining relative motion as input | |
US8847924B2 (en) | Reflecting light | |
US20190392247A1 (en) | Enhanced Contrast for Object Detection and Characterization By Optical Imaging Based on Differences Between Images | |
US7313255B2 (en) | System and method for optically detecting a click event | |
KR101298384B1 (ko) | 상호작용형 디스플레이의 표면을 위한 입력 방법 | |
JP4883970B2 (ja) | 光周波数を用いて周囲光のキャンセルを行うための方法及びそのシステム | |
WO2012124730A1 (ja) | 検出装置、入力装置、プロジェクタ、及び電子機器 | |
JP6075122B2 (ja) | システム、画像投影装置、情報処理装置、情報処理方法およびプログラム | |
JP6240609B2 (ja) | 視覚ベースの対話式投影システム | |
CN105593786B (zh) | 对象位置确定 | |
US20140055364A1 (en) | System and method for a virtual keyboard | |
US20120162077A1 (en) | System and method for a virtual multi-touch mouse and stylus apparatus | |
WO2016121518A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR101990001B1 (ko) | 가상의 터치 스크린이 구현되는 컴퓨터 입력 시스템 | |
WO2019163066A1 (ja) | なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体 | |
US20140009443A1 (en) | Projection Touch System and Projection Touch Method Thereof | |
US9323341B2 (en) | Method and device for determining gestures in the beam region of a projector | |
US20150185321A1 (en) | Image Display Device | |
JP6368593B2 (ja) | 画像処理プログラム、情報処理システム、画像処理方法 | |
JP2018196426A (ja) | 毛穴検出方法及び毛穴検出装置 | |
JP2012226507A (ja) | 発光体識別装置、発光体識別方法、および発光体識別プログラム | |
CN218825699U (zh) | 一种具有刷脸与刷掌功能的支付终端 | |
JP2011118465A (ja) | 位置検出装置、撮像装置、位置検出方法、位置検出プログラムおよび記録媒体 | |
JP2014127056A (ja) | 入力装置及び画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140701 |