JP2008511069A

JP2008511069A - 半透明表面を有するスクリーンとともに使用されるユーザ入力の装置、システム、方法、およびコンピュータ・プログラム

Info

Publication number: JP2008511069A
Application number: JP2007529818A
Authority: JP
Inventors: ピンハネズ、クラウディオ; ピンガリ、ゴパル; ジェルゼン、フレドリック、シー; レバス、アンソニー; ポドラセク、マーク、エドワード
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2004-08-27
Filing date: 2005-04-15
Publication date: 2008-04-10
Also published as: EP1782415A2; WO2006025872A2; WO2006025872A3; TW200608294A; CN101385069B; US20060044282A1; CN101385069A; KR20070045188A

Abstract

【課題】スクリーンの反対側を見るカメラによって生成されるイメージの処理によって、ユーザが半透明スクリーンの表面のどこにいつ触れたかの検出を可能にするユーザ・インターフェース入力の装置および方法を提供する。
【解決手段】装置は、半透明スクリーンと、ユーザとの相互作用が行われる第２の側と反対のスクリーンの第１の側を結像するように配置された画像取込デバイスと、画像取込デバイスの出力に結合された画像プロセッサであって、スクリーンの第２の側の領域に人が接触した場所または時間のうちの少なくとも１つを、接触領域から発する光の周囲の領域に対する強度の変化によって判定するための画像プロセッサを備える。
【選択図】図１

Description

同時係属仮特許出願からの優先権の主張
本特許出願は、２００４年８月２７日出願の米国仮特許出願第６０／６０５，１１５号からの米国特許法セクション１１９（ｅ）の下での優先権を主張するものであり、この米国仮特許出願第６０／６０５，１１５号の開示は、その全体が参照によって本明細書に組み込まれている。

本発明の教示は、全般的にはユーザ・インターフェース（ＵＩ）のシステムおよびデバイスに関し、より具体的には、タッチ・スクリーンを使用するＵＩシステムに関し、さらに具体的には、半透明のスクリーンまたはパネルを使用するＵＩタッチ・スクリーン・システムに関する。

半透明パネルがタイプの入力パネルまたは入力スクリーンとして好適である。たとえば、米国特許第６４１４６７２Ｂ２号、"Information Input Apparatus" by Rekimoto et al.を参照することができる。

一般に、タッチ・スクリーンを作成するのに使用される伝統的な技法は、スクリーンに電気感知型の１以上のガラスをオーバーレイすることによる。しかし、この手法は、破壊行為および他の要因の可能性のゆえに、店頭などの戸外ディスプレイに適してはおらず、さらに、大型スクリーンとして使用される場合に非常に高価である。

もう１つの手法では、スクリーンの片側にＬＥＤまたは類似するデバイスなどの発光素子を設け、スクリーンの反対側に光を感知する要素を設ける。手の相互作用が、特定のＬＥＤが発する光を塞ぐことによって検出される。しかし、この手法は、店頭のガラスの外側にＬＥＤまたは光感知アレイのうちの少なくとも１つを設ける必要があり、これらが破壊行為にさらされるという不利益がある。

同様に、レーザスキャンおよびドップラ・レーダーをスクリーンのフロント側に設置して、ユーザとの相互作用を判定することができるが、類似する不利益を有する。たとえば、"Sensor Systems for Interactive Surfaces", J. Paradiso, K.Hsiao, J. Strickon, J. Lifton, and A. Adler, IBM Systems Journal, Volume 39,Nos. 3 & 4, October 2000, pp. 892-914、および"The Magic Carpet: PhysicalSensing for Immersive Environments", J. Paradiso, C. Abler, KY. Hsiao, M.Reynolds, in Proc. of the CHI '97 Conference on Human Factors in ComputingSystems, Extended Abstracts, ACM Press, NY, pp. 277-278(1997)を参照することができる。

ガラス・ウィンドウとともに使用されるもう１つの技法は、マイクロホンおよびサウンド三角測量を使用して、ユーザがガラスをノックした時を判定する。この方法は、"Passive Acoustic Sensing for Tracking Knocks Atop LargeInteractive Displays", Joseph A. Paradiso, Che King Leo, Nisha Checka,Kaijen Hsiao, in the 2002 Proceedings of the 2002 IEEE International Conferenceon Sensors, Volume 1, Orlando, Florida, June 11-14, 2002, pp. 521-527に記載されている。この手法の潜在的な不利益に、センサをウィンドウに直接に接触させ、それらに配線を走らせる必要と、ガラスなどの固い表面の必要とが含まれる。具体的に言うと、この手法は、柔らかいプラスチックの背面投影スクリーンとともに使用するのには適さない。

米国仮特許出願第６０／６０５，１１５号米国特許第６４１４６７２Ｂ２号米国特許第６４３１７１１Ｂ１号 "Sensor Systems forInteractive Surfaces", J. Paradiso, K. Hsiao, J. Strickon, J. Lifton, andA. Adler, IBM Systems Journal, Volume 39, Nos. 3 & 4, October 2000, pp.892-914 "The Magic Carpet: PhysicalSensing for Immersive Environments", J. Paradiso, C. Abler, KY. Hsiao, M.Reynolds, in Proc. of the CHI '97 Conference on Human Factors in ComputingSystems, Extended Abstracts, ACM Press, NY, pp. 277-278(1997) "Passive Acoustic Sensing forTracking Knocks Atop Large Interactive Displays", Joseph A. Paradiso, CheKing Leo, Nisha Checka, Kaijen Hsiao, in the 2002 Proceedings of the 2002 IEEEInternational Conference on Sensors, Volume 1, Orlando, Florida, June 11-14,2002, pp. 521-527

カメラを使用して、半透明画像を用いてユーザとの相互作用を検出することができる。カメラが、ユーザと同じ側に置かれている場合には、普通のコンピュータ・ビジョン・ジェスチャ認識技法を使用して、相互作用を検出することができる。しかし、この状況では、破壊行為の可能性ならびに適当な位置にカメラを取り付けることの難しさの問題が、明瞭な不利益である。

半透明表面のリア側にカメラを置き、その結果、このカメラを破壊行為から簡単に保護できるようにすることが好ましいはずである。しかし、そのような状況では、このカメラによって取り込まれるユーザの画像が、極端にぼける可能性があり、これによって、伝統的なジェスチャ認識技法の使用が不可能になる。上で注記したRekimoto他の手法では、カメラおよびプロジェクタが、ＩＲフィルタを取り付けられる必要があり、赤外線照明も必要である。この方法の重要な不利益は、店頭ウィンドウが直射日光にさらされる場合など、半透明スクリーンがかなりの量の環境赤外線光にさらされる状況で使用できないことである。

本願の譲受人に譲渡された米国特許第６４３１７１１Ｂ１号、"Multiple-Surface Display Projector with Interactive InputCapability", by Claudio S. Pinhanezも参照することができる。

これらの教示の現在の好ましい実施形態に従って、前述および他の問題が克服され、他の利益が実現される。

本発明の実施形態は、情報入力装置、方法、コンピュータ・プログラムおよびプログラム担体を提供する。この装置は、半透明スクリーンと、ユーザとの相互作用が行われる第２の側と反対の前記スクリーンの第１の側を結像するように配置された画像取込デバイスと、前記画像取込デバイスの出力に結合された画像プロセッサであって、前記スクリーンの前記第２の側の領域に人が接触した場所または時間のうちの少なくとも１つを、前記接触領域から発する光の周囲の領域に対する強度の変化によって判定するための画像プロセッサを備える。

本発明の実施形態によるユーザ入力を検出する方法は、ユーザとの相互作用が行われる第２の側と反対のスクリーンの第１の側を結像するように配置された画像取込デバイスを有する半透明のスクリーンを有するシステムを設けることを含む。この方法は、スクリーンの第２の側の領域に人が接触した場所または時間のうちの少なくとも１つを、接触領域から発する光の周囲の領域に対する強度の変化を検出することによって判定するステップを含む。

さらに、本発明の実施形態によれば、ユーザ入力を検出する動作を実行するためにディジタル処理装置によって実行可能な機械可読命令のプログラムを有形に実施する信号担持媒体が提供される。この動作は、ユーザとの相互作用が行われる第２の側と反対のスクリーンの第１の側を結像するように配置された画像取込デバイスを有する半透明のスクリーンを有するシステムを設けることに応答して、人がスクリーンの第２の側の領域に接触する場所および時のうちの少なくとも１つを、触れられる領域から発する光の、囲む領域に対する強度の変化を検出することによって判定することを含む。

さらに、本発明の実施形態によれば、半透明の半透明スクリーンと、ユーザがスクリーンに接触する第２の側と反対のスクリーンの第１の側を結像するように配置された画像取込デバイスと、スクリーンの第１の側を照明し、第１の側と第２の側との間の照明差を提供するように配置された少なくとも１つの光源と、ユーザがスクリーンの第２の側の領域に接触する場所および時のうちの少なくとも１つを、触れられる領域から発する光の、囲む領域に対する強度の変化によって判定するために、画像取込デバイスの出力に結合された画像プロセッサとを含む、タッチ・スクリーン・システムが提供される。スクリーンの第２の側の入射光が、スクリーンの第１の側の入射光より明るい場合には、スクリーンとの接触点の画像が、シルエット化され、囲む領域より暗く見え、スクリーンの第１の側の入射光が、スクリーンの第２の側の入射光より明るい場合には、スクリーンとの接触点の画像が、明るくされ、囲む領域より明るく見える。

これらの教示の前述のおよび他の態様は、添付図面とともに読まれる時に、以下の好ましい実施形態の詳細な説明でより明白になる。

図１に、２つの入力の状況の下でのユーザ入力システム１０の現在の好ましい実施形態の基本構造を示す。ユーザ入力システム１０には、半透明のスクリーン１２と、本明細書では便宜上スクリーン１２の「リア」側と呼ばれる第１の側１２Ａに配置されたカメラ１４などの画像取込デバイスとが含まれる。ユーザは、本明細書において便宜上スクリーン１２の「フロント」側と呼ばれるスクリーン１２の第２の側１２Ｂに相対的に置かれると仮定する。スクリーン１２のリア側１２Ａを照らすように配置された少なくとも１つのリア光源１６と、おそらくは、スクリーン１２のフロント側１２Ｂを照らすように配置された少なくとも１つのフロント光源１８とがある。カメラ１４から画像データ出力を受け取るように配置された、メモリ２２を有するデータ・プロセッサ２０があると仮定する。データ・プロセッサ２０は、独立型のＰＣまたはカメラ１４に組み込まれたプロセッサとすることができ、カメラ１４と同一の位置に置くか、カメラ１４から離して置くことができる。カメラ１４とデータ・プロセッサ２０との間のリンク２１は、ローカル配線とすることができ、あるいは、有線接続および／または無線接続を含むことができ、リンク２１の少なくとも一部を、インターネットなどのデータ通信ネットワークを介して伝えることができる。メモリ２２は、カメラ１４から受け取られる生の画像データならびに処理された画像データを保管することができ、図３に示され下で説明される論理流れ図を実施する処理を実行するようにデータ・プロセッサ２０に指示するように動作可能なコンピュータ・プログラムも保管することができる。メモリ２２は、任意の適当な形をとることができ、半導体ベースのメモリ媒体および回転式ディスク・ベースのメモリ媒体を含む、固定式および／または取り外し可能のメモリ・デバイスおよびメモリ媒体を含むことができる。

データ・プロセッサ２０は、（カメラ１４の出力がディジタル出力でない場合に）カメラ１４によってキャプチャされた各フレームをディジタル化し、保管することができる。以下で説明するように、データ・プロセッサ２０は、図３に示された処理に従って２つの連続するフレームを比較することによって、イメージの処理も行う。スクリーン１２の片側または両側での光環境の変化がある場合があるが、スクリーン１２とのユーザ接触によって引き起こされる変化は、通常は非常に強く、明瞭に画定された境界を示す。閾値処理などのコンピュータ・ビジョン技法を使用することによって、（直接にあるいはポインタもしくはスタイラスまたは何らかの他の物体の使用を介してのいずれかで）ユーザがスクリーンに接触（タッチ）することによって引き起こされる特有の変化を検出することが可能になる。

スクリーン１２は、たとえば、壁、床、ウィンドウ、または家具の表面を形成することができ、あるいは、その一部とすることができる。スクリーン１２は、平坦、曲面、または互いに隣接するか互いから分離された複数の表面からなるようにすることができる。スクリーン１２は、たとえば、ガラスまたはポリマから構成することができる。ユーザ入力の検出は、スクリーン１２のフロント、リア、またはこれに近接して配置された物体に関連付けることができる。

本発明の現在の好ましい実施形態の説明のために、スクリーン１２の少なくとも１つの表面などの半透明表面は、光を透過させるが、光線の十分な散乱を引き起こして、見る人が、その表面を通して見られる物体の明確な画像を知覚しないようにすると同時に、見る人が、その表面を通して見られる物体の色および輪郭を区別できるようにする。スクリーン１２は、本明細書では、半透明である少なくとも１つの主要な表面を有する限り、「半透明スクリーン」に含まれる。

本発明の実施形態によれば、ある入力シナリオ（状況Ａ）で、ユーザの手は、スクリーン１２、具体的にはフロント側１２Ｂに接触しないと仮定される。状況Ａでは、カメラ１４に来る破線Ａ１は、カメラ１４によって見られるユーザの指の画像（点Ａ）から入来する光の主方向に対応する。半透明のスクリーン１２上の原点に達する破線は、フロント光源１８から入来する光に対応する。状況Ａでのスクリーンのリア側１２Ａの点Ａでの光は、フロント光源１８から入来する光とリア光源１６から入来する光の合計であり、このフロント光源１８から入来する光は、この場合の半透明効果に起因して、スクリーン１２のリア側１２Ａで複数の方向に均一に散乱される。その代わりに、リア光源１６からの光はスクリーン１２によって反射される。したがって、状況Ａでは、ユーザの指の位置（点Ａ）に対応する、カメラ１４によって得られる画像は、フロント光源１８（この場合には散乱される）とリア光源１６（反射される）の両方からの寄与を含む。

第２の入力シナリオ（状況Ｂ）では、ユーザの手（たとえば、ユーザの人差し指の指先）が、スクリーン１２のフロント側１２Ｂに接触していると仮定される。状況Ｂでは、ユーザの指の接触点（点Ｂ）からカメラ１４に来る線は、点Ｂからカメラのアパーチャに入来する光の主方向に対応する。ユーザの指は、半透明のスクリーン１２と接触しているので、フロント光源１８から発する光は、指先によって塞がれ、スクリーン１２のフロント側１２Ｂに達しない。したがって、状況Ｂでのスクリーン１２のリア側１２Ａの点Ｂでの光は、リア光源１６だけから来、リア側１２Ａから反射された光とユーザの指先の皮膚によって反射された光との合計に対応する。したがって、状況Ｂでは、カメラ１４によって得られる、ユーザの指の位置（点Ｂ）に対応する画像は、リア光源１６から入来する光の反射だけに起因する。点Ｂの周囲の領域内の、ユーザの指によって覆われる点は、点Ａと類似する特性を有する（すなわち、カメラ１４に達する光は、フロント光源１８とリア光源１６の両方から発する光である）ことがわかる。

スクリーン１２上の点Ａおよび／または点Ｂの正確な位置は、カメラ１４座標からスクリーン１２座標への変換からたやすく判定することができる。

したがって、本発明の一態様は、ユーザ入力を検出する動作を実行するためにディジタル処理装置によって実行可能な機械可読命令のプログラムを有形に実施する信号担持媒体であることを諒解されたい。この動作には、ユーザとの相互作用が行われる第２の側と反対のスクリーンの第１の側を結像するように配置された画像取込デバイスを有する半透明のスクリーンを有するシステムを設けることに応答して、人がスクリーンの第２の側の領域に接触する場所および時のうちの少なくとも１つを、触れられる領域から発する光の、囲む領域に対する強度の変化を検出することによって判定することが含まれる。

図２に、ユーザがスクリーン１２に接触する時に、フロント光源１８とリア光源１６との間の差分に従ってカメラ１４によって得られるイメージの例を示す。フロント光源１８がリア光源１６より明るい場合に対応する、画像の上の行（２Ａと示されている）に示されているように、スクリーン１２に接触することによって、接触点に暗い領域が作られる。フロント光源１８は、リア光源１６より明るいので、接触している状況は、接触点でのユーザの指の皮膚をフロント光源１８の影響から覆い隠す。この状況では、ユーザの指は、リア光源１６から入来する光だけを反射し、この光は、フロント光源１８より暗く、これによって、指先のシルエット効果が生じる。画像の第２の下側の行（２Ｂと示されている）は、リア光源１６がフロント光源１８より明るい、反対の効果を示す。この状況では、指がスクリーン１２に接触する時に、その指は、リア光源１６から生じる光のほとんどを反射し、この光はフロント光源１８より明るいので、指の画像は、カメラ１４からはより明るく見える。図２の最後（右端）の列は、同一の行の２つの前の画像の間の絶対差を示す。たやすくわかるように、各行の２つの前の画像の間の最大の絶対差は、正確にフロント側１２Ｂのユーザが接触する点で発生する。

図３に、１以上のユーザが順次または同時のいずれかでスクリーン１２に接触する状況を検出する方法の１サイクルを示す論理流れ図を示す。この論理流れ図は、図１のデータ・プロセッサ２０によって実行されるプログラム・コードを表現している。この手順は、カメラ１４によって作られたビデオ・ストリームの１つのディジタル化されたフレームをグラブすること（１１０）によって開始される（０１０）。カメラのビデオ出力がアナログ形式である場合には、アナログ・ビデオ信号が、この点でディジタル化されることが好ましい。次のステップでは、グラブされたフレームを、前のサイクルにキャプチャされたフレーム（１００）から画素ごとに減算して（１２０）、差分画像を作る。これに続く計算を単純にするために、本発明の非限定的な実施形態は、各画素の差分の絶対値を使用する。差分画像をスキャンし、最大の値を有する画素を検出し、メモリ２２に保管されたデータ構造内で一緒にクラスタ化する（１３０）。そのようなクラスタが見つからない場合に（１４０）、この手順は、終了にジャンプし、次のサイクルで前のフレーム（１００）として使用するために現在のフレームを保存し（１６０）、このサイクルを完了する（３００）。大きい差分値の少なくとも１つのクラスタが見つかる場合に（１４０）、この手順は、各検出されたクラスタを別々に検査する（１５０）。クラスタごとに、この手順は、現在のクラスタ・データおよび前のクラスタ・データ（２１０）のいずれかまたは両方を考慮して、タッチ・イベントを生成することが適当であるかどうかを判定する（２００）。この評価には、大きい差分値画素のクラスタのサイズの判定と、大きい差分値画素のクラスタの形状の判定とのうちの１つまたは複数を含めることができるが、もちろんこれらに限定はされない。クラスタが、イベントの生成に適当であることがわかった場合には、この手順は、検出されたタッチ・イベントを生成し、クライアント・アプリケーションまたはシステムにディスパッチする（２２０）。タッチ・イベントを生成（２２０）した後に、または、クラスタがタッチ・イベントの生成に適当でないと思われる場合（（２００）からのＮｏ経路）に、この手順は、将来のサイクルでの使用（２１０）のためにクラスタ・データを保存する（２３０）。すべてのクラスタを検査（１５０）した後に、この手順は、次のサイクルで使用するために現在のフレームを保存し（１６０）、現在のサイクルを完了する（３００）。

本発明の非限定的な態様は、スクリーン１２を通過するフロント光源１８からの光の量が、皮膚によって反射されるリア光源１６からの光の量と異なると仮定する。そうでない場合に、変化は、コンピュータ・ビジョン・システムによって検出可能ではない。しかし、両方の光レベルが類似する状況が、まれに発生し、フロント光またはリア光の量を増やすことによって補償することができる。具体的に言うと、フロント光源１８をリア光源１６より明るくすることが好ましいことがわかっている。

図２の議論で注記したように、スクリーン１２のリア側１２Ａを通過する前で生成された光の量が、リア側表面から反射されるリア光より多い場合に、フロント側１２Ｂとのユーザの接触点が、シルエット化され、暗い点が作成される（行２Ａ）。画像ストリームの連続するフレーム（たとえば、毎秒３０枚のレートで生成されるフレーム）の差分をとることによって、データ・プロセッサ２０は、ユーザがスクリーン１２に接触した時を検出でき、接触の持続時間も検出することができる。接触の瞬間に、光の差分のゆえに、画像に著しく不連続な変化があることに留意されたい。反対の状況すなわち、ユーザの指の皮膚によって反射されるリア光が、フロント光源１８からリア側１２Ａを通過する光より明るい場合（行２Ｂ）に、やはり、接触の瞬間の画像に明瞭な変化を観察することができる。

図３で説明した手順では、画像ディファレンシング（ｉｍａｇｅｄｉｆｆｅｒｅｎｃｉｎｇ）と呼ばれるものなど、比較的基本的なコンピュータ・ビジョン法を使用することができる。画像ディファレンシングの使用の１つの非限定的な利益は、手順が、スクリーン１２のフロント側１２Ｂに対する、および環境照明の漸次の変化に対するユーザの動きに対応しやすいことである。しかし、ユーザがスクリーンに接触する時以外のスクリーン１２の後画像の変化がほとんどない、もう１つの実施形態では、バックグラウンド除去法に基づく方法論を使用することができる。この場合に、表面の画像は、ユーザとの相互作用がないことがわかっている状況（たとえば、較正フェーズ中）で撮影される。この基準画像が、次に、カメラ１４によってディジタル化された各フレームと比較される。ユーザがフロント側１２Ｂに接触する時に、強い光の変化が、接触点で発生する（前に説明したように）。この場合に、スクリーン１２に接触しているユーザの手の動きを追跡すること、ならびにユーザがどれほど長くスクリーン１２に接触するかを検出することが可能である。類似する手法は、統計的技法を使用して基準画像をゆっくりと更新して、環境および照明条件の変化に対処することができる。

本発明のもう１つの実施形態は、スクリーン１２の半透明表面を、スライド・プロジェクタ、ビデオ・プロジェクタ、または照明器具などの投影システムと組合せ、その表面を対話型グラフィカル・ディスプレイに変換する。そのような実施形態では、前述の動作が、それでも有効である。というのは、フロント光源１８が、投影される画像よりかなり明るい場合に、リア側１２Ａのカメラ１４から撮影される画像が、実質的に投影によって影響されないからである。したがって、ユーザの手の接触点は、それでも、データ・プロセッサ２０ビジョン・システムによって検出可能な強いシルエットを生成する。しかし、背面投影される画像が、リア側１２Ａを通過するフロント光よりかなり明るい場合には、投影される画像の変化が、フロント側１２Ｂとのユーザの接触として誤って認識され得る状況がありえる。しかし、この潜在的な問題に対する解決策がある、すなわち、ａ）相互作用の領域を、投影されるイメージから解放することができ、コンピュータ・ビジョン・システムに、これらの領域だけでの相互作用を探すように指示することができ、ｂ）差分パターンの形状を、コンピュータ・ビジョンおよびパターン認識方法（統計的方法および学習ベースの方法を含む）によって分析することができ、特定の種類のユーザとの相互作用（指で触ることなど）に似た形状だけが、受け入れられる。この後者の解決策は、上で図２および３に関して説明した一般的な事例での検出性能を改善するのに使用することもできる。

もう１つの実施形態で、複数のユーザが、ユーザ入力システム１０を同時に使用することができ、あるいは、両手で相互作用することができる。接触点が適度に離れている限り、図３で説明した手順は、スクリーン１２のフロント側１２Ｂとの接触の複数の領域を検出する。

本発明のもう１つの実施形態で、データ・プロセッサ２０は、スクリーン１２のフロント側１２Ｂまたはリア側１２Ａでの光源レベルを監視する少なくとも１つの光センサ（光センサ）２４を備えて、この２つの側面の間の照明の差の量を判定する。この実施形態は、さらに、データ・プロセッサ２０がリア光源１６およびフロント光源１８の一方または両方の輝度を制御することを可能にし、その結果、輝度の差を制御できるようにすることによって機能を向上することができる。光源制御は、図１では、データ・プロセッサ２０からリア光源１６への線２６によって示されている。

一般に、光センサ２４は、環境光レベルの差を判定して、ユーザ入力システム１０が使用可能であることを保証するために、および／またはスケール・ファクタもしくはある他のパラメータとしての画像処理アルゴリズムへの入力として、使用することができる。光センサ２４は、データ・プロセッサ２０またはある他のネットワーク・デバイスに結合され、その結果、画像処理アルゴリズムが、ユーザ入力システム１０がある期待される性能レベルで動作するのに十分な環境光差があるかどうかを自動的に判定するために環境光レベルを得られるようにすることが好ましい。半透明のスクリーン１２のフロント側またはリア側からの光レベルを増減する能力があることが好ましい。この場合に、データ・プロセッサ２０に、輝度制御２６を設けることができる。光センサ２４および輝度制御２６は、データ・プロセッサ２０がスクリーン１２のフロント側またはリア側の輝度レベルを変更できるような形で一緒に使用できることが好ましい。

もう１つの実施形態で、システムが、カメラ１４および／またはプロジェクタを複数のスクリーン１２のそれぞれに伴うように向けることができると仮定して、複数のスクリーン１２および単一のカメラ１４またはプロジェクタ／カメラ・システムを有するシステムを使用することができる。この場合に、複数のスクリーン１２を、順次または同時のいずれかで、単一の光源によってまたは複数の光源によって照射することができる。

前述の説明に基づいて、本発明が、その一態様において、カメラ１４と、カメラ１４からの画像ストリームを処理するデータ・プロセッサ２０とを使用する、半透明表面を有するスクリーン１２の入力の装置および方法を提供することを諒解されたい。カメラ１４は、スクリーン１２の、ユーザ入力システム１０の１以上のユーザと反対側に置かれる。表面が半透明なので、ユーザおよびその手の画像が、激しくぼける可能性がある。しかし、ユーザがフロント側１２Ｂに接触する時に、その表面上の接触点の画像は、表面の両側からの入射光の間の差によって、表面の残りよりかなり明るいまたはかなり暗いのいずれかになる。ユーザの側の入射光が、カメラ側より明るい場合には、接触点は、シルエット化され、したがって、かなりより暗いものとなる。ユーザの側の入射光が、カメラ側より暗い場合には、表面と接触するユーザの皮膚が、カメラ側から入来する光を反射し、したがって、接触点は、背景よりかなり明るいものとなる。ユーザが表面に接触した時間を検出するために、画像ディファレンシング技法を使用することができる。この非限定的な場合に、連続するフレームが、互いから減算され、ユーザが表面に接触した時に、接触点での輝度のかなりの差を、閾値処理機構によってまたは動き検出アルゴリズムによってたやすく検出できるようになっている。この装置および方法は、スクリーン１２の異なる領域での複数同時の相互作用が互いに適度に離れている限り、これらの相互作用に対処する。

本発明の少なくとも１つの実施形態で、リア光源１６だけを設けることができ、フロント光源１８を、環境照明（たとえば、日中の太陽光および夜の街路照明）だけによって提供できることに留意されたい。この場合に、スクリーン１２のフロント側１２Ｂでの照明の変化するレベルに対処するために、リア光源の輝度に対する輝度制御２６を設けることが望ましい可能性がある。

さらに、本発明の少なくとも１つの実施形態で、ユーザ入力システム１０によって検出されるユーザ入力を使用して、半透明のスクリーン１２に投影されるイメージを制御できることに留意されたい。

さらに、本発明の少なくとも１つの実施形態で、ユーザ入力システム１０によって検出されるユーザ入力を、指または手など、特定の身体部分あるいは義肢を認識するためにデータ・プロセッサ２０によって使用できることに留意されたい。

本発明の実施形態による装置および方法は、普通の技法に対する複数の利益を有する。たとえば、本発明による実施形態は、ユーザに関してスクリーン１２の反対側に配置されたカメラ１４によって撮影される画像を使用する。したがって、本発明は、カメラ１４などのシステム・ハードウェアを環境の影響から保護することが望まれる、店頭および類似の状況で使用することができる。

本発明の実施形態による装置および方法は、サウンド、レーザー、ドップラ・レーダー、およびＬＥＤアレイに基づく通常の方法およびシステムと異なって、１以上のユーザによる複数同時入力をも可能にする。

さらに、本発明の実施形態による装置および方法は、ＩＲフィルタまたは特殊な照明を必要としない。したがって、より単純で安価なユーザ入力システムが実現可能となり、このシステムは、店頭が直射日光にさらされる時など、スクリーン１２が相当量の赤外線光にさらされる状況でも使用することができる。

タッチベースの入力装置を示す単純化されたシステム・レベル・ブロック図である。異なる前後の環境光条件の下での画像差分処理の結果を示す図である。タッチ・イベント検出画像処理手順の１サイクルを示す論理流れ図である。

Claims

半透明スクリーンと、
ユーザとの相互作用が行われる第２の側と反対の前記スクリーンの第１の側を結像するように配置された画像取込デバイスと、
前記画像取込デバイスの出力に結合された画像プロセッサであって、前記スクリーンの前記第２の側の領域に人が接触した場所または時間のうちの少なくとも１つを、前記接触領域から発する光の周囲の領域に対する強度の変化によって判定するための画像プロセッサと、
を備える、情報入力装置。
前記画像プロセッサが、画像ディファレンシング技法を使用する、請求項１に記載の情報入力装置。
前記画像プロセッサが、バックグラウンド除去技法を使用する、請求項１に記載の情報入力装置。
前記スクリーンの前記第１の側を照射するように配置された少なくとも１つの光源をさらに備える、請求項１に記載の情報入力装置。
前記スクリーンの前記第２の側を照射するように配置された少なくとも１つの光源をさらに備える、請求項４に記載の情報入力装置。
前記スクリーンの前記第２の側の入射光が前記スクリーンの前記第１の側の入射光より明るい場合に、前記スクリーンとの接触領域の画像がシルエット化されて前記周囲の領域より暗く見え、前記スクリーンの前記第１の側の入射光が前記スクリーンの前記第２の側の入射光より明るい場合に、前記スクリーンとの前記接触領域の画像が明るくされて前記周囲の領域より明るく見える、請求項１に記載の情報入力装置。
前記画像プロセッサが、前記スクリーンの前記第１の側の第１の画像を前記スクリーンの前記第１の側の第２の画像と比較することによって前記接触領域の位置を検出する、請求項６に記載の情報入力装置。
前記画像プロセッサが、前記スクリーンの前記第１の側の第１の画像を前記スクリーンの前記第１の側の第２の画像と比較することによって前記接触時間を検出する、請求項６に記載の情報入力装置。
単一のカメラによって順次または同時のうちのいずれかでサービスされる複数のスクリーンがある、請求項１に記載の情報入力装置。
前記スクリーンが、イメージング・デバイスによって生成される投影されるイメージを表示するように配置される、請求項１に記載の情報入力装置。
ユーザとの相互作用が行われる第２の側と反対の前記スクリーンの第１の側を結像するように配置された画像取込デバイスを有する半透明のスクリーンを有するシステムにおいて、ユーザ入力を検出する方法であって、
前記スクリーンの前記第２の側の領域に人が接触した場所または時間のうちの少なくとも１つを、前記接触領域から発する光の周囲の領域に対する強度の変化を検出することによって判定するステップを含む、方法。
検出することが、画像ディファレンシング技法を使用する、請求項１１に記載の方法。
検出することが、バックグラウンド除去技法を使用する、請求項１１に記載の方法。
前記スクリーンの前記第１の側を照射するように配置された少なくとも１つの光源を設けることをさらに含む、請求項１１に記載の方法。
前記スクリーンの前記第２の側を照射するように配置された少なくとも１つの追加光源を設けることをさらに含む、請求項１４に記載の方法。
前記スクリーンの前記第２の側の入射光が、前記スクリーンの前記第１の側の入射光より明るい場合に、検出することは、前記スクリーンとの前記接触点の画像が、シルエット化され、前記囲む領域より暗く見えることを検出し、前記スクリーンの前記第１の側の入射光が、前記スクリーンの前記第２の側の入射光より明るい場合に、検出することは、前記スクリーンとの前記接触点の画像が、明るくされ、前記囲む領域より明るく見えることを検出する、請求項１１に記載の方法。
検出することが、前記スクリーンの前記第１の側の第１の画像を前記スクリーンの前記第１の側の第２の画像と比較することによって前記接触点の位置を検出する、請求項１６に記載の方法。
検出することが、前記スクリーンの前記第１の側の第１の画像を前記スクリーンの前記第１の側の第２の画像と比較することによって前記接触の時間を検出する、請求項１６に記載の方法。
設けられ、単一のカメラによって順次または同時にサービスされる複数のスクリーンがある、請求項１１に記載の方法。
イメージング・デバイスによって生成される投影されるイメージを前記スクリーンに表示することをさらに含む、請求項１１に記載の方法。
前記スクリーンの前記第２の側への入射光と前記スクリーンの前記第１の側への入射光との間の差分を検出するステップと、前記検出された差を使用して少なくとも１つの光源の前記輝度を制御するステップと、をさらに含む、請求項１１に記載の方法。
ユーザ入力を検出する動作を実行するためにディジタル処理装置によって実行可能な機械可読命令のプログラムを有形に実施する信号担持媒体であって、前記動作が、ユーザとの相互作用が行われる第２の側と反対の前記スクリーンの第１の側を結像するように配置された画像取込デバイスを有する半透明のスクリーンを有するシステムを設けることに応答して、人が前記スクリーンの前記第２の側の領域に接触する場所および時のうちの少なくとも１つを、前記触れられる領域から発する光の、囲む領域に対する強度の変化を検出することによって判定することを含む、信号担持媒体。
検出することが、画像ディファレンシング技法を使用する、請求項２２に記載の信号担持媒体。
検出することが、バックグラウンド除去技法を使用する、請求項２２に記載の信号担持媒体。
設けることが、さらに、前記スクリーンの前記第１の側を照射するように配置された少なくとも１つの光源を設ける、請求項２２に記載の信号担持媒体。
設けることが、さらに、前記スクリーンの前記第２の側を照射するように配置された少なくとも１つの追加光源を設ける、請求項２５に記載の信号担持媒体。
前記スクリーンの前記第２の側の入射光が、前記スクリーンの前記第１の側の入射光より明るい場合に、検出することは、前記スクリーンとの前記接触点の画像が、シルエット化され、前記囲む領域より暗く見えることを検出し、前記スクリーンの前記第１の側の入射光が、前記スクリーンの前記第２の側の入射光より明るい場合に、検出することは、前記スクリーンとの前記接触点の画像が、明るくされ、前記囲む領域より明るく見えることを検出する、請求項２２に記載の信号担持媒体。
検出することが、前記スクリーンの前記第１の側の第１の画像を前記スクリーンの前記第１の側の第２の画像と比較することによって前記接触点の位置を検出する、請求項２７に記載の信号担持媒体。
検出することが、前記スクリーンの前記第１の側の第１の画像を前記スクリーンの前記第１の側の第２の画像と比較することによって前記接触の時間を検出する、請求項２７に記載の信号担持媒体。
設けられ、単一のカメラによって順次または同時にサービスされる複数のスクリーンがある、請求項２２に記載の信号担持媒体。
イメージング・デバイスによって生成される投影されるイメージを前記スクリーンに表示することをさらに含む、請求項２２に記載の信号担持媒体。
前記スクリーンの前記第２の側への入射光と前記スクリーンの前記第１の側への入射光との間の差を検出することと、少なくとも１つの光源の前記輝度を制御するのに前記検出された差を使用することとをさらに含む、請求項２２に記載の信号担持媒体。
半透明スクリーンと、
ユーザが前記スクリーンに接触する第２の側と反対の前記スクリーンの第１の側を結像するように配置された画像取込デバイスと、
前記スクリーンの前記第１の側を照明し、前記第１の側と前記第２の側との間の照明差を提供するように配置された少なくとも１つの光源と、
前記ユーザが前記スクリーンの前記第２の側の領域に接触する場所および時のうちの少なくとも１つを、前記触れられる領域から発する光の、囲む領域に対する強度の変化によって判定するために、前記画像取込デバイスの前記出力に結合された画像プロセッサであって、前記スクリーンの前記第２の側の入射光が、前記スクリーンの前記第１の側の入射光より明るい場合に、前記スクリーンとの前記接触点の画像が、シルエット化され、前記囲む領域より暗く見え、前記スクリーンの前記第１の側の入射光が、前記スクリーンの前記第２の側の入射光より明るい場合に、前記スクリーンとの前記接触点の画像が、明るくされ、前記囲む領域より明るく見える、画像プロセッサと
を含む、タッチ・スクリーン・システム。
前記スクリーンが、ウィンドウの少なくとも一部を含み、前記第２の側が、前記ウィンドウの戸外側である、請求項３３に記載のタッチ・スクリーン・システム。
前記スクリーンの前記第２の側での照明の量の関数として照明の前記少なくとも１つの源の前記輝度レベルを調整する光源制御をさらに含む、請求項３４に記載のタッチ・スクリーン・システム。