JP2014512031A - タッチレス・インタラクティブ・ディスプレイシステム - Google Patents

Abstract

タッチレス・インタラクティブ・ディスプレイシステムは、ディスプレイを境する表示領域（２０４）を有する該ディスプレイ（２０２）を備える。ディスプレイのエッジに沿って反射面（３００）が配置される。一つの光学センサ（１００）が反射面の反対側に配置されて反射面と対向しており、これによって、該光学センサは、一次的な非反射視野と、反射面から反射される二次的な反射視野とを有する。一次視野は、表示領域全体よりも小さい表示領域の第１の部分をカバーし、反射視野は、表示領域の第２の部分をカバーし、これによって、表示領域の第１の部分及び第２の部分により表示領域全体をカバーしている。該光学センサとプロセッサ（２０６）が、その第１と第２の視野の少なくとも一方の範囲内に配置された物体（１１０）を、物体がディスプレイにタッチすることなく、検出するように動作する。

Description

本発明は、広くは、ディスプレイシステムに関し、より具体的には、タッチレス・インタラクティブ・ディスプレイシステムに関するものである。

エンタテイメント環境または小売環境において見られるようなインタラクティブ・ディスプレイシステムは、様々なユーザインタフェースで実現することが可能である。そのようなインタフェースには、最も単純なキーボードおよび／またはマウスと、より高度な一体型タッチスクリーンおよび３次元奥行きカメラシステムとを含むことができる。キーボードおよびマウスは機械的損傷を受けやすいデバイスであり、一度損傷すれば、インタラクティブ・ディスプレイを使用できなくなり、これは特に小売環境においては望ましくない。また、キーボードおよびマウスは、このようなデバイスに公共の場所で多くの人が接触すると不衛生であるとみなされることが多くなっている。

タッチスクリーンによって、公衆デジタルディスプレイにユーザとの対話性を持たせることができる。しかしながら、従来のタッチスクリーンは、身体による画面へのタッチを促すものであり、これは、同じく多くの人がタッチスクリーンに接触することで不衛生であるとみなされることが多くなっている。また、従来のタッチスクリーンは、特に４０インチよりも大きいサイズでは、ディスプレイまたはモニタのコストの２倍を超える。

ユーザの手または指など、カメラの視野内に配置された物体の空間における位置を検出することが可能な３次元奥行き（すなわち、タイム・オブ・フライト（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）または構造化光）カメラシステムが導入されている。ところが、観測視野が円錐形であり、ディスプレイ画面が矩形であることから、死角が形成され、ディスプレイ画面の全範囲を取り込むためには複数のカメラを利用することが必要となる。これによって、インタラクティブ・ディスプレイには、複雑さおよびコストを増大させるハードウェア要件および計算要件が追加される。あるいは、カメラがディスプレイ画面から遠く離れていれば、一つのカメラでディスプレイ画面の全範囲をカバーすることができる。しかし、この場合、カメラの位置検出能力および精度が大幅に低下する。

必要とされているのは、タッチスクリーンのユーザになじみのあるタッチジェスチャによく似ていながら、それらを拡張した、身体による画面との接触を必要としないものであって、単一の光学センサを用いた、ロバストかつ低コストの非接触インタラクティビティの手法である。

３次元奥行きカメラの視野の上面図および側面図である。 ディスプレイの正面図であり、単一の３次元奥行きカメラの視野および死角を示している。 ディスプレイの正面図であり、本発明の第１の実施形態による単一の３次元奥行きカメラの視野を示している。 ディスプレイの正面図であり、本発明の第２の実施形態による単一の３次元奥行きカメラを示している。 ディスプレイの正面図であり、本発明の第３の実施形態による単一の３次元奥行きカメラの視野を示している。 ディスプレイの正面図であり、本発明の第４の実施形態による単一の３次元奥行きカメラの視野を示している。 ディスプレイの正面図であり、本発明の第５の実施形態による単一の３次元奥行きカメラの視野を示している。 ディスプレイの側面図であり、本発明の第６の実施形態による単一の３次元奥行きカメラの視野を示している。 ディスプレイの側面図であり、本発明の第７の実施形態による単一の３次元奥行きカメラの視野を示している。 ディスプレイの側面図であり、本発明の第８の実施形態による複数の検出奥行きを有する視野を示している。 本発明による方法の簡略ブロック図である。

添付の図面では、個々の図面の全体にわたって、同等または機能的に類似した要素を同様の参照符号で示しており、また、これらの図面は以下の詳細な説明とともに本明細書に組み込まれてその一部をなし、そして、請求項に係る発明を含むコンセプトの実施形態をさらに例示するため、およびそれらの実施形態の各種原理および効果について説明するために供するものである。

図中の要素は、単純化および明確化して示すものであり、必ずしも縮尺通りに描かれてはいないことは、当業者であれば理解できるであろう。例えば、本発明の実施形態についての理解の向上を促すため、図中の要素のいくつかの寸法は、他の要素に対して拡大されている場合がある。

図面において、装置および方法の構成要素は、適宜、一般的な記号で表示しており、また、本明細書の記載の助けを借りて当業者に容易に明らかとなるであろう詳細によって開示を不明瞭にすることがないよう、本発明の実施形態の理解に関係するような具体的詳細のみを示している。

本発明は、タッチスクリーンのユーザになじみのあるタッチジェスチャによく似ていながら、それらを拡張した、身体による画面との接触を必要としないものであって、単一の光学センサを用いた、ロバストかつ低コストの非接触インタラクティビティの手法のための新たな技術を提供する。特に、本発明は、タッチスクリーン・インタフェースをエミュレートするため、インタラクティブ・ディスプレイの近くに設置された奥行き検出カメラといった単一の光学センサを用いて、ディスプレイ画面の前の空間内でジェスチャを検出する。具体的には、このカメラによって、シングルタッチ、マルチタッチ、シングルまたはマルチタッチスワイプを含むスマートフォンのタッチスクリーン・インタフェースと、さらにはデスクトップコンピュータの通常のマウス・インタラクションを、いずれもユーザは身体をディスプレイ画面に接触させることなく、エミュレートすることができる。好ましくは、コンパクトなフォームファクタを提供するため、センサはディスプレイに装着される。

図１は、光学センサ１００の視野の上面図および側面図である。好ましくは、光学センサは、３次元奥行き（すなわち、タイム・オブ・フライトまたは構造化光）カメラであり、これは、ディスプレイ画面の表面の前にある該カメラの前の空間に配置された物体の位置を検出することができる。カメラの視野は、一般に円錐または角錐空間であるが、任意の形状を想定することができる。あるいは、カメラは、２次元デバイスとすることができる。一般に、カメラは、当技術分野で知られているように、画素を採用した電荷結合素子を含んでいる。ユーザの手または指など、カメラの視野内に配置された物体１１０が、電荷結合素子の一つまたは複数の画素によって検出される。物体を検出する具体的な画素によって、物体のＡおよびＢ位置が特定される。カメラのタイム・オブ・フライトまたは構造化光による機能によって、物体までの距離Ｄが測定される。一例では、Ａ、Ｂ、Ｄは、カメラの光軸を基準とする球面座標であり、この場合、光軸からの物体の角度位置を、周知の幾何学的原理を用いて、視野の下にあるディスプレイ表面の直交Ｘ、Ｙ座標への物体１１０の垂直投影に変換することができる。

本発明は、その最も基本的な実施形態において、ディスプレイの境界によって画定される表示領域を有する該ディスプレイと、例えば構造化光カメラといった一つの奥行きカメラ（ｄｅｐｔｈ ｃａｍｅｒａ）とを備えるタッチレス・インタラクティブ・ディスプレイシステムを提供する。奥行きカメラは、表示領域全体と、表示領域の平面に垂直な奥行きを持つ空間とをカバーする視野を有する。本実施形態では、奥行きカメラ及びディスプレイにプロセッサが接続されており、奥行きカメラ及びプロセッサは、ディスプレイ上方の奥行きの範囲内で、視野内に配置された物体を、その物体がディスプレイにタッチすることなく、検出するように機能する。

図２は、ディスプレイ２０２の正面図で示すさらなる実施形態であり、３次元奥行きカメラといった単一の光学センサ１００の視野および死角を示している。センサはプロセッサ２０６に接続されており、それは、別個のデバイスとするか、またはカメラ自体の中に組み込むことができる。プロセッサは、センサからの画像情報を処理して、センサの視野内の物体の位置を特定するように動作する。プロセッサ２０６（または別個のプロセッサ）は、ディスプレイ２０２をタッチレス駆動インタフェースにより駆動するためのオペレーティングシステムを含んでおり、これによって、ジェスチャおよび他のユーザ入力を認識し、様々なパッシブ画像もしくはビデオ、または所望のインタラクティブ機能に応じたインタラクティブ画像もしくはビデオを表示する。プロセッサ（複数の場合もある）は、限定するものではないが、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マイクロコントローラ、コンピュータ、ドライバ、メモリデバイス、特定用途向け集積回路、および／または論理回路などの基本的構成要素を備えることができる。このようなデバイスは、一般に、高級設計言語もしくは記述を用いて、コンピュータ命令を用いて、メッセージング／シグナリング・フロー図を用いて、および／または論理フロー図を用いて表現されたアルゴリズムおよび／またはプロトコルを実現するように構成されている。この場合、アルゴリズムまたは論理フローが与えられると、当業者であれば、その所与の論理を実行するユーザ装置を実現するために利用することができる数多くの設計および開発技法を承知している。よって、プロセッサとは、周知の装置であって、本明細書の説明に従って本発明の種々の実施形態を実施するように構成されたものを意味している。

ディスプレイ２０２は、該ディスプレイの表面範囲の境界によって画定される表示面領域２０４を有している。センサ１００は、ディスプレイ表面の上方を向いている。センサは、ディスプレイに対してちょうど平行に向けることもできるが、センサの視野が広がる円錐または角錐（または他の）形状であることを考えると、ディスプレイ上方の空間をより良くカバーするためには、センサは、ディスプレイ表面から斜め上方に向けることが好ましい。本例で示す視野は表示領域２０４の角まで広がっているが、視野は図示のものよりも広くすることができることは認識されなければならない。ただし、詳細は後述するが、それをより狭くすることは望ましくない。（美的および物理的制約により左右される）多くのシステム構成において、センサは、上記のようにディスプレイに近接していることが必要とされる。そのような場合、単一の３次元奥行きカメラの限られた視野と最小分解距離とによって死角が形成され、それらには、カメラの視野の外側の空間（すなわち、死角２および３）と、さらにカメラの出口円錐付近の空間（すなわち、死角１）を含み得る。従って、視野の外側に配置された（ここでは、死角２に示す）物体１１０は、通常は検出することができない。

図３を参照して、本発明は、ディスプレイ２０２の境界の一部に沿ってディスプレイ表面に対して垂直に配置される略平坦な反射面３００を導入している。好ましくは、反射面は、センサからの赤外線を反射するように機能するミラーストリップ（ｍｉｒｒｏｒ ｓｔｒｉｐ）である。光学センサ１００は、反射面３００と反対側のディスプレイ２０２のエッジに沿った境界に隣接して、反射面に向けて配置される。好ましくは、センサは、コンパクトなフォームファクタを提供するためにディスプレイに装着されるが、ディスプレイから離れた位置に設置することもできる。図２にあるように、光学センサは、右に向かって、一次的な非反射視野を有している。一方、本発明によれば、反射面によって、反射面からセンサに向けて左側に反射される反射視野が提供される。反射面は、センサから反射面の距離にある視野の広がりに少なくとも等しい長さと、インタラクティブ・システムの所望の奥行きの半分未満の奥行きとを有する。実際には、本発明によれば、一次的な非反射視野は、表示領域全体よりも小さい表示領域の第１の部分をカバーし、反射視野は、表示領域の第２の部分をカバーし、これによって、表示領域の第１の部分及び第２の部分が表示領域全体をカバーしている。

光学センサとプロセッサは、その第１の視野及び第２の視野のうちの少なくとも一方内に配置された物体１１０を検出するように動作する。奥行きカメラは、ディスプレイの平面の上方の物体を検出することができるので、物体がディスプレイ２０２にタッチする必要はない。つまり、表示領域２０４の平面に垂直なディスプレイ上方の奥行きにおいて、物体を検出することができる。本例では、センサ１００は、パス３０２と３０４を足した合計長さに等しい距離にある物体１１０の像を取得する。物体の位置が実際には反射視野に沿って折り返されたものであることをプロセッサが知るためには、プロセッサは、カメラから反射面までの校正された距離Ｄ_ｃと、ディスプレイ表面に対するセンサの光軸の鉛直角（ｖｅｒｔｉｃａｌ ａｎｇｌｅ）とを把握する必要がある。プロセッサが、カメラで測定された距離（パス３０２と３０４を足したもの）がＤ_ｃより大きいと判断した場合、プロセッサは、周知の幾何学的手法を用いて、実際の３０２と３０４のパスを計算することで、表示領域に投影された物体のＸ、Ｙ座標を決定することができる。

校正された距離Ｄ_ｃは、校正手順において、反射面に沿ったいくつかの点に、特に端点に物体を配置することで、自動または手動のいずれかにより決定することができ、これは、ディスプレイ上でユーザ指示を与えるプロセッサによって実施することができる。センサがディスプレイに隣接して配置されていない場合、校正には、センサに最も近いエッジに沿って、特にそのエッジの端点に物体を配置することをさらに含むことができる。

物体は、センサの光軸にちょうど沿って配置されることがあり得る。この場合、反射が物体自体によって遮られる可能性がある。この問題を回避するためには、図４に示すように反射面３００が二つの平坦なピース４００を含み、その二つの平坦なピースの面が互いに対して傾斜していることが有効となり得る。これによると、位置検出精度を僅かに犠牲にして、シャドーイングまたは不明瞭化（ｏｂｓｃｕｒａｔｉｏｎ）を解消するために、各物体の２通りの反射４０２、４０３を利用するので、物体自体が遮ることで生じる狭い死角でさえ排除される。

図５を参照して、センサ１００の光軸は反射面３００に対して垂直である必要はなく、あるいはセンサが反射面のちょうど反対側に配置されている必要はない。図示のような構成でも、通常は死角になり得る物体１１０が同じく良好に検出される。この構成は、効果的に、より大型のディスプレイにでも、反射ミラーを用いて単一のセンサからの死角なく適合させることができる。これは、このシステム構成によって、センサがディスプレイ自体に近接して収容されるか、またはそのケース内に組み込まれることが決定づけられる場合に、好ましい実施形態である。

図６は、表示領域から離れた位置にセンサ１００を配置することによって、ある一つの死角を排除するように用いることができる本発明の一実施形態を示している。この場合、カメラの出口円錐付近の死角が排除される。

図７は、複数の反射視野を提供するために、反射面３００に平行な第２の反射面７００を反対側に備える、本発明の一実施形態を示している。このソリューションは、表示領域２０４のサイズが大きすぎる場合、または一つのみの反射で表示領域２０４全体を取り込むには、使用しているカメラの視野が狭すぎる場合に用いることができる。このように、２つの平行な反射面による多重反射を利用して、非常に大きなディスプレイをカバーすることができる。このアプローチは、奥行きカメラの最大識別距離によってのみ制限される。先と同じく、プロセッサは、物体１１０の実際の位置を特定するためには、２つの反射面の間の距離を把握することが必要である。先と同様に、互いに対して傾斜したセグメント化された反射面を用いることが、物体の不明瞭化またはシャドーイングを防ぐために有効となり得る。

上記実施形態は、表示領域の近傍内の物体を検出するためのものであるが、表示領域面の平面から、より大きい垂直奥行きで物体を検出する本発明の能力が、有用となり得る。例えば、ディスプレイの側面図を示す図８の実施形態では、光学センサ１００は、表示領域から離れた位置に配置されており、この場合、一次視野は、反射面３００の奥行きよりも深く、これによって、光学センサとプロセッサ２０６により、表示領域から離れたものの動きを検出することができる。本例では、ディスプレイ２０２上の事前設定された（広告などの）情報のパッシブ画像によって、小売店内のユーザを引き付けることができ、そしてセンサが、一次視野内に近づくユーザ８００の動きを検出することができる。ユーザがより深く一次視野内に近づいて、ディスプレイに届く範囲内にユーザ８０２がいると、プロセッサは、ディスプレイ上にインタラクティブ情報を表示するため、インタラクティブ・モードに切り替えるようにディスプレイに指示することができ、そのインタラクティブ情報は、ユーザがディスプレイにタッチすることなく、光学センサの一次視野および／または反射視野のいずれかの範囲内に配置されたユーザの指または手（すなわち、物体）の位置に応じて変更することができる。

図９は、センサによる、より大きな奥行きの検出の別の利用法を提示している。先と同様に、本実施形態は、ディスプレイの側面図を示しており、光学センサ１００は表示領域から離れた位置に配置されている。本実施形態では、一次視野内に配置された中間ミラー（９００）によって、一次視野を、センサから下向きに表示領域に平行に方向転換させた近視野部分９０４と、遠視野部分９０２とに分割している。近視野部分は、表示領域に近接した奥行きに配置された物体１１０を検出するため、第１の視野及び第２の視野を含み、表示領域に近接した奥行きをカバーしており、一方、遠視野部分は、表示領域から離れた奥行きにおける動きおよびジェスチャを検出するため、表示領域から離れた奥行きをカバーしている。光学センサとプロセッサ２０６により、遠視野部分９０２において、表示領域から離れたものの動きを検出することができる。先と同様の例において、ディスプレイ２０２上の事前設定された（広告などの）情報のパッシブ画像によって、小売店内のユーザを引き付けることができ、そしてセンサが、一次視野の遠視野部分の中に近づくユーザ８００の動きを検出することができる。ユーザ８０２が近視野部分の一次視野および／または反射視野のいずれかの範囲内に指または手（すなわち、物体）を配置することで、ユーザがディスプレイにタッチすることなくディスプレイに届き得るようになると、プロセッサは、ディスプレイ上にインタラクティブ情報を表示するため、インタラクティブ・モードに切り替えるようにディスプレイに指示することができ、そのインタラクティブ情報は、ユーザがディスプレイにタッチすることなく、光学センサの一次視野および／または反射視野のいずれかの範囲内に配置されたユーザの指または手（すなわち、物体）の位置に応じて変更することができる。

上記実施形態のいずれにおいても、プロセッサは、ユーザとセンサとのインタラクションを、ユーザとタッチスクリーンとのインタラクションと同様に解釈するように構成することができると、想定される。これには、シングルタッチ、マルチタッチ、およびシングルまたはマルチタッチスワイプと、さらにはデスクトップコンピュータの通常のマウスまたはキーボード・インタラクションを実現するため、センサの視野内のいくつかの物体の位置を解釈することを含むことができる。

さらに、本発明は、現在のタッチスクリーンでは利用できない機能を提供することができる。例えば、ディスプレイの側面図を示す図１０を参照して、視野を、ディスプレイ２０２の平面に垂直な別々の奥行き範囲において、表示領域の上方の異なる体積の空間１００２、１００４として画定される複数のタッチ面に分割することができる。本例では、ディスプレイ２０２に近いほうの第１の領域１００２と、ディスプレイから遠いほうの第２の領域１００４との、２つのタッチ面がある。これら別々のタッチ面を用いて、各面の範囲内での物体の配置に応じて、ユーザに異なる機能を提供することができる。例えば、インタラクティブ・アイコンをディスプレイに表示することができ、この場合、ユーザが自身の手（物体１１０）を第２の面１００４の範囲内に配置することで、そのアイコンの機能を起動することなく、プロセッサに、ユーザの手の位置の下にあるアイコンをハイライト表示させることができる。ユーザは、自身の手を第２の面１００４の範囲内で移動させることで、種々のアイコンを、それらの機能を起動することなくハイライト表示させることができる。（既にハイライト表示された）インタラクティブ・アイコンを選択するため、ユーザが自身の手を、よりディスプレイに近い第１の面１００２の範囲内の位置１００６に移動させた場合にのみ、プロセッサは、その選択されたアイコンの機能を起動する。別の例では、ディスプレイはキーボードを表示した状態とすることができ、この場合、第２の面１００４に指を移動させると、ユーザがさらに第１の面１００２に指を移動させることでアクティブにされた場合の正しいキーを選択していることをユーザに確認するため、キーボードの文字がハイライト表示される。

図１１は、本発明によるディスプレイとのタッチレス・インタラクションのための方法のフローチャートを示している。
方法は、ディスプレイの境界により画定される表示領域と、境界の一部に沿ってディスプレイ表面に対して垂直に配置される反射面と、反射面の反対側に配置される光学センサとを提供すること１１００により開始し、このとき、光学センサは、反射面と対向しており、反射面に向かう一次視野と、反射面から反射される二次視野とを有し、この場合、一次視野は、表示領域全体よりも小さい表示領域の第１の部分をカバーし、二次視野は、表示領域の第２の部分をカバーし、これによって、表示領域の第１の部分及び第２の部分が表示領域全体をカバーしている。オプションとして、この提供するステップにより、視野を、ディスプレイの平面に垂直な別々の奥行き範囲において、表示領域上方の異なる体積の空間（１００２，１００４）として画定される複数のタッチ面に分割する。

次のステップには、物体がディスプレイにタッチすることなく、その第１と第２の視野の少なくとも一方の範囲内に配置された物体を検出すること１１０２が含まれる。このステップには、表示領域の上方（例えば、近視野）に配置された物体の位置を検出すること１１０８を含むことができる。このステップは、さらに、表示領域の平面に垂直な物体の奥行きを検出することを含むことができる。このステップは、さらに、表示領域から離れた奥行き（例えば、遠視野）における動きを検出すること１１０６を含むことができる。

表示領域から離れた奥行き（例えば、遠視野）において動きが検出１１０６された場合は、事前設定された情報のパッシブ画像をディスプレイ上に表示１１１０することができる。続いて、表示領域に近接した奥行き（例えば、近視野）に物体が配置された場合は、インタラクティブ情報がディスプレイ上に表示１１１２され、この場合、実際に表示される情報は、物体がディスプレイにタッチすることなく、光学センサの視野内に配置された物体の位置に応じたものである。

オプションのステップには、一次視野を近視野部分と遠視野部分とに分割すること１１０４が含まれ、このとき、近視野部分は、第１の視野と第２の視野とを含み、表示領域に近接した奥行きをカバーしており、一方、遠視野部分は、表示領域から離れた奥行きをカバーしている。

別のオプションでは、視野がいくつかの異なるタッチ面に分割されている場合に、ディスプレイのユーザに異なる機能を提供するため、検出することは、各面の範囲内で物体を検出することを含むことができる。

好ましくは、反射面に沿ったいくつかの点に物体を配置することにより、センサを校正すること１１１４ができる。センサがディスプレイに隣接して配置されていない場合、校正には、さらに、センサに最も近いエッジに沿って物体を配置することを含むことができる。

本発明は、効果的に、コンパクトなフォームファクタを提供するためディスプレイに装着されて、表示領域全体をカバーすることができる単一カメラシステムを提供する。本発明は、ユーザが身体により画面にタッチすることなく、ユーザになじみのあるタッチ・エクスペリエンスを提供する。実際のタッチスペースは、画面からかなり離れているものの、平面状のタッチスクリーンのような感覚をエクスペリエンスに与えるのに十分な近さとすることができる。ユーザが画面にタッチする必要がないことは、衛生状態がより良好であり、ディスプレイへの損傷がなく、ディスプレイのクリーニングの必要がより少ないという利点がある。また、本発明によれば、ユーザは、タッチスクリーンでは問題となる手袋をはめた手を用いることが可能となる。

上記明細書では、具体的な実施形態について記載している。しかしながら、当業者であれば分かるように、下記の請求項で規定する発明の範囲から逸脱することなく、様々な変形および変更を実施することができる。よって、本明細書および図面は、限定的意味ではなく例示的意味のものとみなされるべきであり、そのような変形はすべて本教示の範囲に含まれるものとする。

効果、利点、問題の解決法、ならびにいずれかの効果、利点、解決法をもたらし得る、またはより顕著にし得るいずれの要素も、請求項の一部またはすべての重要な、必要な、または本質的な特徴もしくは要素と解釈されるべきではない。本発明は、本出願の係属中になされる補正を含む添付の請求項と、発行時におけるそれらの請求項のすべての均等物とによってのみ規定される。

また、本明細書において、「第１の」および「第２の」、「上部」および「下部」などの関係を示す用語は、あるエンティティまたはアクションを他のエンティティまたはアクションと区別するためにのみ使用され得るものであり、必ずしも、そのようなエンティティ間またはアクション間の実際のそのような関係または順序を要件としたり、意味したりするものではない。「備える」、「備えている」、「有する」、「有している」、「含む」、「含んでいる」、「包含する」、「包含している」という表現、またはそれらの他の変化形は、非排他的包含を包括するものであり、よって、要素のリストを備え、有し、含み、包含するプロセス、方法、物品、もしくは装置は、それらの要素のみを含むのではなく、明示的に列挙されていない他の要素、またはそのようなプロセス、方法、物品、もしくは装置に固有の他の要素を含み得る。「（単数の）〜を備える」、「（単数の）〜を有する」「（単数の）〜を含む」、「（単数の）〜を包含する」とされる要素は、さらなる制約がない限り、その要素を備え、有し、含み、包含するプロセス、方法、物品、もしくは装置における追加の同等の要素の存在を除外するものではない。「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、「本質的に（ｅｓｓｅｎｔｉａｌｌｙ）」、「略（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、「約（ａｂｏｕｔ）」という表現、またはこれらの他のバージョンは、当業者には明らかなように、「近いこと」と定義され、この表現は、限定するものではない一実施形態において１０％以内と定義され、別の一実施形態では５％以内、別の一実施形態では１％以内、別の一実施形態では０．５％以内と定義される。本明細書で使用される場合の「結合された」という表現は、「接続された」と定義されるが、必ずしも直接的ではなく、必ずしも機械的ではない。ある特定の方法で「構成された」デバイスまたは構造は、少なくともその方法で構成されるが、ただし、記載されていない方法で構成することもできる。

一部の実施形態は、マイクロプロセッサ、デジタル信号プロセッサ、特注プロセッサ、およびフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）など、一つまたは複数の汎用または専用プロセッサ（または「処理装置」）と、該一つまたは複数のプロセッサを制御することで本明細書に記載の方法および／または装置の機能の一部、多く、またはすべてを、いくつかの非プロセッサ回路と連携して実現するための独自の内蔵のプログラム命令（ソフトウェアとファームウェアの両方を含む）と、で構成され得ることは理解されよう。あるいは、一部またはすべての機能を、内蔵のプログラム命令を持たない状態機械によって、または一つ以上の特定用途向け集積回路（ＡＳＩＣ）において、実現することができ、この場合、各機能または機能のいくつかの組合せがカスタムロジックとして実装される。当然のことながら、これら２つのアプローチを併用することができる。

また、一実施形態では、請求項に係る本明細書に記載の方法を実施するようにコンピュータ（例えば、プロセッサを備えるもの）をプログラムするためのコンピュータ可読コードが格納されたコンピュータ可読記憶媒体として実現することができる。このようなコンピュータ可読記憶媒体の例として、限定するものではないが、ハードディスク、ＣＤ‐ＲＯＭ、光学記憶装置、磁気記憶装置、ＲＯＭ（リード・オンリ・メモリ）、ＰＲＯＭ（プログラマブルＲＯＭ）、ＥＰＲＯＭ（消去可能ＰＲＯＭ）、ＥＥＰＲＯＭ（電気的消去可能ＰＲＯＭ）、およびフラッシュメモリが含まれる。また、例えば、使用可能時間、現在の技術、経済的な考慮により、場合によってはかなりの労力と設計上の選択の可能性があるにせよ、本明細書で開示されたコンセプトおよび原理に従うことで、当業者であれば、そのようなＩＣ用のソフトウェア命令およびプログラムを生成することが、最小限の試みで容易に可能であると予想される。

本開示の要約書は、読者が技術的開示の本質を迅速に確認することを可能とするために提供される。それが請求項の範囲または意味を解釈または限定するために用いられることはないという理解のもとに提出される。また、上記の詳細な説明では、開示を合理化する目的で、種々の機能が、いくつかの実施形態にグループ化されていることが分かる。この開示方法は、請求項に係る実施形態が各請求項に明示的に記載された特徴よりも多くの特徴を必要とするという意図を反映するものと解釈されるべきではない。むしろ、以下の請求項にある通り、発明の主題は、一つの開示された実施形態のすべての特徴よりも少ない特徴にある。よって、以下の請求項は、本明細書における詳細な説明に組み込まれており、各請求項は個別に請求される主題として独立している。

Claims (15)

1. タッチレス・インタラクティブ・ディスプレイシステムであって、
   表示領域（２０４）を有するディスプレイ（２０２）であって、前記表示領域（２０４）は、前記ディスプレイの境界によって画定される、前記ディスプレイ（２０２）と、
   前記ディスプレイ（２０２）の表面に対して垂直に、前記境界の一部に沿って配置された反射面（３００）と、
   前記反射面の反対側に配置された一つの奥行き検出カメラ（１００）であって、該奥行き検出カメラは、前記ディスプレイの上方の空間を隔てて前記反射面と対向しており、前記反射面に向かう一次視野と、前記反射面から反射される反射視野とを有し、前記一次視野は、前記表示領域の全体よりも小さい前記表示領域の第１の部分をカバーし、前記反射視野は、前記表示領域の第２の部分をカバーすることにより、前記表示領域の前記第１の部分及び前記第２の部分が、前記表示領域の全体をカバーする、前記奥行き検出カメラ（１００）と、
   前記奥行き検出カメラ（１００）及び前記ディスプレイ（２０２）に接続されたプロセッサ（２０６）と
   を備え、
   前記奥行き検出カメラ及び前記プロセッサは、前記表示領域の前記第１の部分及び前記第２の部分のそれぞれの上方の前記一次視野及び前記反射視野のうちの少なくとも一方内に配置された物体（１１０）を、該物体が前記ディスプレイ（２０２）にタッチすることなく、検出するように動作する、システム。
2. 前記奥行き検出カメラ（１００）は、前記境界に隣接して配置されている、請求項１に記載のシステム。
3. 前記奥行き検出カメラ（１００）及び前記プロセッサ（２０６）は、前記奥行き検出カメラからの前記物体（１１０）の距離と、前記奥行き検出カメラの光軸からの前記物体（１１０）の角度位置とを検出するように動作する、請求項１に記載のシステム。
4. 前記反射面（３００）は、二つの平坦なピース（４００）を含み、該二つの平坦なピースの面は互いに対して傾斜している、請求項１に記載のシステム。
5. 複数の反射視野を提供するため、前記反射面（３００）の反対側に、前記反射面（３００）と平行な第２の反射面（７００）をさらに備える、請求項１に記載のシステム。
6. 前記奥行き検出カメラ（１００）及び前記プロセッサ（２０６）は、前記表示領域（２０４）の平面に垂直な前記物体（１１０）の奥行きを検出するように動作する、請求項１に記載のシステム。
7. 前記奥行き検出カメラ（１００）が、前記表示領域から離れた位置に配置され、前記一次視野が、前記反射面（３００）の奥行きよりも深いことにより、前記奥行き検出カメラ及び前記プロセッサ（２０６）が、前記表示領域から離れたものの動きを検出することが可能である、請求項６に記載のシステム。
8. 前記一次視野を近視野部分と遠視野部分とに分割するため、前記一次視野に配置された中間ミラー（９００）をさらに備え、前記近視野部分は、前記表示領域に近接した奥行きに配置された物体（１１０）を検出するため、前記一次視野と前記反射視野とを含む、前記表示領域に近接した奥行きをカバーしており、前記遠視野部分は、前記表示領域から離れた奥行きにおける動きを検出するため、前記表示領域から離れた奥行きをカバーしている、請求項７に記載のシステム。
9. 前記表示領域から離れた奥行きにおいて動きが検出された場合、前記プロセッサ（２０６）は、事前設定された情報を前記ディスプレイに表示するように前記ディスプレイ（２０２）に指示し、前記表示領域（２０４）に近接した奥行きに配置された物体（１１０）が検出された場合、前記プロセッサは、該物体が前記ディスプレイにタッチすることなく、前記奥行きカメラの視野内に配置された該物体の位置に応じて、インタラクティブ情報を前記ディスプレイに表示するように前記ディスプレイに指示する、請求項８に記載のシステム。
10. 前記反射面に沿ったいくつかの点に物体を配置することによって、前記視野を校正することが可能である、請求項９に記載のシステム。
11. 前記視野は、前記プロセッサによって、前記ディスプレイの平面に垂直な別々の奥行き範囲において、前記表示領域の上方の異なる体積の空間（１００２，１００４）として画定される複数のタッチ面に分割され、異なるタッチ面によって、各面内での物体の配置に応じた異なる機能が前記ディスプレイのユーザに提供される、請求項１に記載のシステム。
12. ディスプレイとのタッチレス・インタラクションのための方法であって、
    ディスプレイの境界によって画定された表示領域と、前記ディスプレイの表面に対して垂直に、前記境界の一部に沿って配置された反射面と、前記反射面の反対側に配置された一つの奥行き検出カメラとを提供することであって、前記奥行き検出カメラは、前記ディスプレイの上方の空間を隔てて前記反射面と対向しており、前記反射面に向かう一次視野と、前記反射面から反射される二次視野とを有し、前記一次視野は、前記表示領域の全体よりも小さい前記表示領域の第１の部分をカバーし、前記二次視野は、前記表示領域の第２の部分をカバーすることにより、前記表示領域の前記第１の部分及び前記第２の部分が、前記表示領域の全体をカバーする、前記提供すること、
    前記表示領域の前記第１の部分及び前記第２の部分のそれぞれの上方の前記一次視野と反射視野のうちの少なくとも一方内に配置された物体を、該物体が前記ディスプレイにタッチすることなく、検出すること
    を含む方法。
13. 前記一次視野を近視野部分と遠視野部分とに分割することをさらに含み、前記近視野部分は、前記一次視野と前記反射視野とを含む、前記表示領域に近接した奥行きをカバーしており、前記遠視野部分は、前記表示領域から離れた奥行きをカバーしており、前記検出することは、前記表示領域に近接した奥行きに配置された物体を検出すること、前記表示領域から離れた奥行きにおける動きを検出することを含む、請求項１２に記載の方法。
14. 前記検出することによって、前記表示領域から離れた奥行きにおいて動きが検出された場合、事前設定された情報を前記ディスプレイに表示することをさらに含み、前記検出することによって、前記表示領域に近接した奥行きに配置された物体が検出された場合、該物体が前記ディスプレイにタッチすることなく、前記奥行きカメラの視野内に配置された該物体の位置に応じて、インタラクティブ情報を前記ディスプレイに表示することをさらに含む、請求項１３に記載の方法。
15. 前記提供すること（１１００）によって、前記視野を、前記ディスプレイの平面に垂直な別々の奥行き範囲において、前記表示領域の上方の異なる体積の空間（１００２，１００４）として画定される複数のタッチ面に分割し、前記検出することによって、各面内で物体を検出して、異なる機能を前記ディスプレイのユーザに提供することが可能である、請求項１２に記載の方法。