JP2011505639A - 画面と指示体との間でインタラクションを行うためのインタラクション装置 - Google Patents

Abstract

本発明は、透明なパネル（２）の背後に配置された少なくとも１つの画面（３）とこのパネル（２）の前に存在する少なくとも１つの指示体（４）との間でインタラクションを行うためのインタラクション装置であって、前記パネル（２）の背後に配置された少なくとも２つのカメラ（６、７）を具備し、この各カメラ（６、７）には偏向ユニット（８、９）が付設されており、この偏向ユニットによって少なくとも１つの光路（１０．１）を、パネル（２）の近傍および前方のインタラクション領域（１１）からカメラ（６、７）内へ案内することができ、さらに、前記カメラ（６、７）の少なくとも２つにとって視認可能であるように導かれた指示体（４）の位置を求めるために、各カメラ（６、７）に接続されたコンピュータユニット（１２）を具備しており、しかも、少なくとも前記インタラクション領域（１１）が赤外光を用いてストロボ照明可能であり、かつ、前記カメラ（６、７）が、赤外線感応カメラであり、このストロボ照明と同期可能であるインタラクション装置（１）に関する。

Description

本発明は、透明なパネルの背後に配置された少なくとも１つの画面とこのパネルの前に存在する少なくとも１つの指示体との間でインタラクションを行うためのインタラクション装置であって、前記パネルの背後に配置された少なくとも２つのカメラを具備し、このカメラの光軸が、パネルに対してほぼ垂直に整向されており、その際、各カメラには偏向ユニットが付設されており、この偏向ユニットによって光路をパネルの近傍および前方のインタラクション領域からカメラ内へ案内することができ、さらに、カメラの少なくとも２つにとって視認可能であるように導かれた指示体の位置を求めるために、各カメラに接続されたコンピュータユニットを具備するインタラクション装置に関する。

インタラクティブな画面は、タッチスクリーンという名称で知られており、画面上で、ユーザが指示体、例えば自らの指を移動させる。画面上における指示体の位置あるいは移動は、機械センサを用いて検出される。所定のアクションが、指示体の位置または他のアクション、例えば画面の所定の領域を押すというアクションに応じて引き起こされる。このようなシステムは、汚損や擦過による機械的な消耗を被り、そのために保守コストが大きくなるので、永続的な利用、例えば公共領域などでの利用にはただ条件付きでのみ有効である。

従って、受動表面に対する指示体の位置を光学的検出によって求めるシステムが開発されている。特許文献１では、ウインドウを通じてユーザが画面とインタラクションを行うための装置が開示されている。ウインドウを通じて見える画面領域が、受動的な接触面として用いられる。このシステムは、接触面の近傍にある指示体を光学的手段によって記録するための記録ユニットを有する。記録ユニットに接続されたコンピュータユニットが、記録ユニットによって記録された信号から、接触面の近傍にある指示体の位置を算定することができる。画面は、ウインドウの背後に、すなわちユーザからウインドウによって分け隔てられた位置に配置されている。記録ユニットは、例えば２つのカメラを有し、同じくウインドウの背後に配置されている。接触面の上方または下方に配置された偏向ユニット、例えばミラーまたはプリズムを用いて、光路が記録ユニットから接触面の前方の領域へ案内される。コントラストを増大させるために、接触面の前方の領域が、赤外光を用いて照明される。この赤外光は、記録ユニットと同じ光路を有する。接触面を基準にして、偏向ユニットに対向するように反射面が配置されている。これらの反射面は、赤外光を反射して背景として働き、この背景の前で、コントラストが増大した指示体を検出することができる。そして、指示体の位置が、例えば三角測量によって求められる。

カメラを用いた同様のインタラクティブシステムが、例えば、特許文献２、特許文献３および特許文献４で開示されている。これらの文献は、互いに重なり合った視野を持つ少なくとも２つのカメラを具備した撮像ユニットを利用することを教示している。これらのカメラは、フレームによって画定された接触面を有する。接触面上または接触面近傍における指示体の存在は、接触面の、２つの連続する画像の間に見られる相違を解析することによって検出される。指示体が存在する場合、撮影された画像データは、選出された、画像の下部領域のみが評価されるように処理される。

カメラベースの公知のインタラクティブシステムには、撮像ユニットによって撮影された画像が、他の光源からの光、例えば周囲からの直接入射光、制御光または反射光によってしばしば歪みが生じるという問題が内在している。このような外部光源からの光は、指示体から出る光よりも高い強度を有することが多い。通例、カメラ制御部は最大強度に合わせて調整されるので、指示体の検出が困難または不可能になることが多い。また、撮影された画像は、しばしば、周囲の照明の変化、例えば昼間と夜間の変化に対して非常に感応性が高い。これらの事情により、指示体の位置を決定する際に誤りが生じる。

これらの誤りを低減するために、接触面の前方の領域を照明するための赤外線照明を、適当な赤外線感度を有するカメラと共に用いることができる。コントラストは、さらに上述の反射面によって改良することが可能である。照明された指示体は、こうしてコントラストを高めて検出することができる。ただし、その分、このシステムは、より複雑かつより高コストになる。

ユーザと画面との間に二重ガラスを施したウインドウの場合、また別の問題が生じる。光が、これらの窓ガラスの間で反射されて撮像ユニットに達し、撮影された画像を歪めてしまうことで、指示体の位置の決定を困難または不可能にする。

米国特許第７０３４８０７号明細書 国際公開第０２／０３３１６号パンフレット 欧州特許出願公開第１４２０３３５号明細書 独国特許出願公開第１０１６３６４８号明細書

従って、本発明の課題は、画面と指示体との間でインタラクションを行うための、改良されたインタラクション装置を提示することである。

この課題は、本発明において、請求項１に記載の特徴を有するインタラクション装置によって解決される。

有利な別形態が、従属請求項に記載されている。

透明なパネルの背後に配置された少なくとも１つの画面とこのパネルの前に存在する少なくとも１つの指示体との間でインタラクションを行うための、本発明に係るインタラクション装置は、前記パネルの背後に配置された少なくとも２つのカメラを具備し、このカメラの光軸が、特に好ましくは、パネルに対してほぼ垂直に整向されている。この各カメラには偏向ユニットが付設されており、この偏向ユニットによって光路をパネルの近傍および前方のインタラクション領域からカメラ内へ案内することができる。各カメラにはコンピュータユニットが接続されていて、これらのカメラの少なくとも２つに視認可能であるように導かれた指示体の位置を求めるために用いられる。インタラクション領域は、赤外光を用いてストロボ照明される。これらのカメラは、赤外線感応カメラであり、ストロボ照明と同期される。赤外線照明は、透明パネルの前に位置する人物には知覚されないが、適当な感度を有するカメラの場合に撮像のコントラストを改善する。通常のデジタルカメラは、一般的にそれ自体が赤外線感応性を有する。しかし、これらの赤外線感度は、大抵、適当な赤外線阻止フィルタによって抑制される。本発明で利用する場合、このフィルタは不要であり、従って、カメラに関連して発生するコストは、増大するよりもむしろ減少する。ストロボ照明を用い、かつ、このストロボ照明にカメラを同期させる場合の利点は、可変の周囲照明が撮像に及ぼす作用を大幅に排除できることであり、これは特に、大きな赤外成分を有する強い太陽光入射の場合に当てはまる。写真用カメラでフラッシュ撮影する場合と同じように、照明が当たる瞬間に、指示体の、一種のスナップショットが生じ、これにより、モーションブラーが発生しなくなり、従って、指示体を明確に識別でき、ストロボパルスの時点における指示体の位置を厳密に決定することができる。ここでは、同期とは、ストロボ照明が、カメラのシャッター時間に対して所定の関係にあることを意味するものとする。必ずしも同時である必要はない。ストロボパルスは、特に好ましくはカメラの露光時間よりも短い。コンピュータユニットに対するカメラの接続は、直接的な接続であっても、間接的な接続であってもよい。間接的な接続の場合、カメラは、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）に接続しておくことができ、このＦＰＧＡから画像がコンピュータユニットに供給される。

ストロボ照明は、例えば各カメラの視点から個別に当てることができ、カメラのシャッター時間を連続的に少しずつずらすことで、各カメラのストロボパルスが、他のどのカメラの撮像にも投影を生じないようにして、指示体の位置の識別または決定が困難にならないようにすることができる。

ストロボ照明はまた、全てのカメラの視点から同じ時点に行うこともでき、これにより、位置決定、例えば三角測量による位置決定の精度が、可能な限り最大となる。

透明パネルとしては、例えばウインドウが可能であり、その背後に画面が配置されている。偏向ユニットは、ミラーまたはプリズムを有することができ、ミラーまたはプリズムは、透明パネルの前方におけるカメラの光軸上に位置する。インタラクション領域とは、指示体、例えば指の位置または移動が検出される、パネルの前方領域のことである。カメラおよびそれに付随する偏向ユニットは、特に好ましくは透明パネルの隅に配置されている。この場合、カメラと偏向ユニットとの各組み合わせについては、開口角９０°の視野で充分にパネル全体をカバーできる。

ストロボ照明には、特に近赤外領域の赤外光が用いられる。従って、波長域は、７００ｎｍから１．４μｍの間ということである。特に有利であるのは、８００ｎｍ程度の波長である。なぜなら、ウインドウには断熱ガラスが用いられることが多く、１μｍ以上の赤外線放射を吸収するからである。

好ましくは、各カメラに赤外線透過フィルタが備えられている。この措置により、昼光の波長領域の光は除去され、その結果、インタラクション装置の機能が、周囲光の状況の違いによって影響を受けない、あるいは、ほとんど受けない。

ストロボ照明を行うために、照明手段は、カメラの領域に配置され、特に、照明光路が偏向ユニットを介して少なくともインタラクション領域内へ案内可能であるように配置される。これにより、照明に利用される光の大部分が、その光が来た方向と同じ方向に反射されるので、指示体の特に有効な照明が可能となる。

指示体の位置は、好ましくは、三角測量によって求められる。このために、少なくとも２つのカメラによって撮影された、指示体を含む画像が必要とされる。指示体は、各画像において識別され、位置が突き止められる。偏向ユニットを具備するカメラが適宜較正されている場合、画像における指示体の位置から、偏向された光軸に対して指示体が位置する角度を推測することができる。少なくとも２つのカメラについてこれらの角度が決定されている場合、これらのカメラ間の基線長を知ることで、カメラ位置に対する指示体の位置を決定することができる。カメラがその取り付け位置で較正されることにより、費用対効果に優れたカメラ光学系を用いることが可能となり、歪みなどの結像誤差に関して、高い要求事項を満たす必要がなくなる。較正は次のように行うことができる。すなわち、例えば、カメラを取り付けた状態で、フレーム片または他の較正体が、カメラの視野領域あるいは偏向ユニットによって偏向された光路の領域において所定の位置に保持され、この位置がコンピュータユニットに通知されるようにすることで、較正は行われる。較正体は、光学的に容易に識別できるポイントまたは構造体を有し、これらのポイントまたは構造体が、コンピュータユニットによってカメラの画像の中で見出され、フレーム片の既知の位置と共にこれらを基にして画像の歪み補正が行われる。

これらのカメラは、好ましくは、ストロボ照明と同期されているだけでなく、カメラ同士も相互に同期されている。例えば、全てのカメラをＦＰＧＡ（フィールドプログラマブルゲートアレイ）に接続しておき、ＦＰＧＡのフレームバッファにカメラの画像を一時保存することができる。次に、ＦＰＧＡは、時間的に相互に関連する画像を、例えばＵＳＢインターフェースまたはＩＥＥＥ１３９４インターフェースを介してコンピュータユニットに送るか、あるいは、画像の、ある種の前処理、例えば指示体の識別または位置決定を事前に行う。

また別の実施形態では、少なくとも１つの光路を、インタラクション領域よりもパネルから遠い位置にある、パネルの前方の所在領域から、偏向ユニットを経て、または偏向ユニットの近傍を通過して、カメラ内へ案内することができ、その際、この所在位置にいる人物が少なくとも部分的にカメラの視野領域内に位置するように、この光路は案内可能である。このようにして、インタラクション時、人物の属性または動作を考慮することができる。例えば、画面に表示された内容が、これらの属性または動作に応じて変更される。カメラを追加するコストは不要である。また、人物を撮影するためのカメラを１つまたは複数追加することも可能であり、追加されたカメラも、パネルの前に配置しておくことができる。

この目的のために、偏向ユニットは、ビームスプリッタとして構成しておくことができる。ビームスプリッタは、大抵、半透過鏡または部分透過鏡を用いて実現される。これらの透過鏡では、到達する光の一部が反射され、他の一部が鏡を透過する。また、ビームスプリッタは、プリズムを用いても実現できる。また別の可能な方法は、２部材以上で構成された鏡を偏向ユニットに装備するという方法であり、この場合、部材の１つが、所在領域の方向からの光路を、別の１つの部材が、インタラクション領域の方向からの光路をカメラへ案内する。偏向ユニットは、さらに別の光学素子、例えばレンズを含んでいてもよい。

さらに別の実施形態では、コンピュータユニットに人物の顔の光学的な検出機能が備えられている。検出された顔から一連の特徴を抽出することができ、画面上に内容をインタラクティブに表示する際にこれらの特徴を考慮することが可能である。例えば、生体測定上の特徴に基づいて認識された、コンピュータユニットで既に認知されている顔を利用して、使用者プロフィールが作成あるいは維持管理される。これは、人物の入力事項から導き出された興味対象や好みを、その認識された人物に割り付けておき、後に接触した際、画面上に内容を表示するときにこれらの興味対象や好みを考慮に入れるという方法によって行われる。

１つの好ましい実施形態では、指示体、特に指の光学的な検出機能、例えばパターン認識を用いた検出機能が、コンピュータユニットに備えられている。この場合、人物または人物の顔を認識するために事前に実装されているアルゴリズムを用いることができる。

人物が複数のカメラによって撮影される場合、三角測量を用いて、属性として人物の体の大きさを判定することができる。体の大きさから、例えば、その人物が大人であるか、子供であるかを推定することができる。表示内容は、当該のターゲットグループに合わせて調整することが可能である。

人物の年齢は、体の大きさ以外に顔の特徴からも推定できる。

さらに、人物の性別も、体の大きさおよび／または顔から認識可能な場合がある。このようにして、表示内容、例えば衣服、化粧品、技術製品などを性別および年齢に合わせて提示することが可能となる。

さらに、例えば、眼鏡装用者を非眼鏡装用者と区別して、適した内容を画面上に表示することで眼鏡装用者に意図的に働きかけることも可能である。

人物の顔を充分精緻に検知する場合、画面を基準にして、人物の視線方向を検知することができる。視標追跡（アイトラッキング）は、既にかなり以前からカメラの合焦時に用いられている。本インタラクション装置では、画面のどの表示内容に、その人物が注意を向けているかを知ることができ、従って、たとえ、その人物が、指または指示体を用いてインタラクションに積極的に加わることをまだ躊躇している時点であっても、表示内容を適合させることができる。

特に好ましい１つの実施形態では、人物のアバターが画面上に表示され、このアバターは、その人物の撮像から作成される。このために、特に好ましくは、複数のカメラの撮像が用いられ、これにより、人物の立体的な似姿を作成することができる。アバターには、例えば、自動的に、または他のインタラクションを通じて、指示体によって行われたアクションに基づいて、仮想的に、提示された衣服、眼鏡または他の装身具を装着させることが可能であり、これにより、その商品がその人にどの程度似合いそうかを確認してもらうことで、購買意欲を高めることができる。また、アバターは、当該の人物に製品を説明すること、あるいは、仮想的な販売員の役割を担うことも可能である。

アバターは、鏡像として表示することができる。完全に左右対称である人間はほとんどいないので、普段自分が見ている鏡像としての姿の方が、正像の姿、すなわち他の人々や映像および写真が伝える姿よりも慣れ親しんでいる。特に試着の際に、鏡像表示によって、無用な戸惑いが生じるのを防ぐことができる。

好ましくは、カメラへの光路を抑制するための遮蔽手段が備えられている。このような不所望な光路は、例えば、太陽光または人工照明による反射または直接入射である。この遮蔽手段によって、カメラにより撮影される画像の歪み、および、ダイナミックレンジの制限が低減される。

また別の実施形態では、少なくとも１つの光学検出器と少なくとも１つの照明手段とが、透明パネルの表面間における全反射により少なくとも１つの光路が照明手段から光学検出器まで延びるように配置されている。その際、指示体としての指で透明パネルに触れると、全反射が妨げられることで、光学検出器に指紋を記録することができる。このようにして、当該の人物を指紋によって識別あるいは確認できる。ユーザプロフィールまたは諸機能の擬人化のために利用すること、例えばユーザログインの場合に利用すること以外に、このような形態のインタラクション装置は、人物の監視および位置測定のためにも適している。

また、透明パネルにおける鏡像の指示体を含む、前記インタラクション領域の鏡像を検知して、この鏡像の指示体から実際の指示体までの距離を決定することによって、指示体から透明パネルまでの距離を求めることも可能である。指示体が移動した場合、例えばソフトキーをクリックするためにパネルへ指示体が導かれる場合、移動方向は、連続する撮像から容易に求めることができ、しかも、その際、パネルに対する指示体の姿勢のせいで決定に誤りが生じることがない。指示体とそれの鏡像との間隔がゼロである場合、パネルの接触が確実に検出される。

カメラが充分な解像度を有する場合、人物の眼球についての虹彩認識機能、あるいは、識別または認証を行うためのバーコード認識機能を備えておくことができる。

人物を同定するための付加的な機構を備えておくこともできる。例えば、アクティブＲＦＩＤチップまたはパッシブＲＦＩＤチップあるいは携帯電話を検出することができる。さらに、画面をインタラクティブ操作することでユーザ名およびパスワードを入力する機能を備えておくことができる。

音声入力および音出力による付加的な音響インタラクション機能を備えておくこともできる。

例えばショートメッセージ（ＳＭＳ）および／またはマルチメディアメッセージ（ＭＭＳ）を送信および／または受信することによって、携帯電話またはＰＤＡを介して画面とのインタラクションを行う機能を備えておくことができる。例えば、キャッシュレスの支払い手続きを行える人物が携帯電話を用いて通信を行うための機構を備えておくことができる。

カメラは、画面に配置しておくことも、別個に配置しておくことも可能である。

カメラ、赤外光源および画面のために冷却機構を備えておくことができ、これにより、太陽入射光が強い場合にも、これらの構成要素の寿命を長くすることが可能である。

赤外光源としては、狭帯域光源、例えばレーザーが可能である。このような赤外光源を用いることで、特に良好に画定されたビームをインタラクション領域へ導くことができる。例えば、光を格子網状に投影することができ、これにより、位置決定が容易になる。

本インタラクション装置は、例えば、仮想的な社会（オンラインコミュニティ）、結婚相談所において、および、イベント会場でのイベントを別の会場で観ることを可能にするいわゆるイベントガイドシステムにおいて、人物を識別および追跡するために用いることができる。その際、インタラクションは、これらのソーシャルネットワーク内にいる別の人々とメッセージを交換するために用いられる。

さらに、音響インタラクションのための手段を備えておくことができる。例えば、人が、音声による応答または命令を与えることができる。あるいは、このインタラクションシステムは、音響手段を有すること、例えばウインドウの前に立っている人々が話すといった方法が可能であることで、種々のインタラクションの可能性があることを示唆している。音響インタラクションの手段、特にマイクロフォンおよびスピーカーは、偏向ユニットの中に設置しておくことができる。しかしまた、音響による通信は、かなり短い区間についてならば、例えばガラス製の透明パネルを通してでも行うことができる。

画面上に、インタラクティブな映像を表示することも可能である。

以下において、本発明の実施例について、図面を参照しながら詳述する。

透明パネルの背後に配置された画面とこのパネルの前に存在する指示体との間でインタラクションを行うためのインタラクション装置を示す。 透明パネルに対する指示体の移動の推移を示す。

図１は、透明パネル２の背後に配置された画面３とこのパネル２の前に存在する指示体４との間でインタラクションを行うためのインタラクション装置１を示す。画面３上には、例えば、操作されるべきメニュー項目または仮想的なスイッチ（ソフトキー）が表示される。透明パネル２の前、例えばウインドウの前にいる人物５が、指示体４として指を用いる。透明パネル２の背後には、２つのカメラ６、７が、その光軸６．１、７．１が透明パネル２に対してほぼ垂直に向くように配置されており、これにより、反射を少なく保つことができる。カメラ６、７にはそれぞれ偏向ユニット８、９が付設されており、これらによって、光路１０．１が、パネル２の直ぐ近くのインタラクション領域１１からそれぞれのカメラ６、７へ案内される。

コンピュータユニット１２が、各カメラ６、７に接続されており、両カメラ６、７に視認可能であるように導かれた指示体４の位置を求めるために用いられる。カメラ６、７の領域には、それぞれ赤外光源１３、１４が備えられており、これらによって、インタラクション領域１１は、赤外光を用いてストロボ照明することが可能である。それに応じて、カメラ６、７は、赤外線感応性を有するように構成されており、また、ストロボ照明と同期されている。その際、カメラ６、７および赤外光源１３、１４は、コンピュータユニット１２によって制御することができる。インタラクション領域１１の照明は、光路１０．２の少なくとも一部分を偏向ユニット８、９によって偏向することで実施される。

指示体４の位置を決定するために、まず、赤外光源１３、１４の１つが、光パルスを送出して、付随するカメラ６、７の視点からインタラクション領域１１に照明を当てる。このカメラ６、７は、この時点にはシャッターを開いており、指示体４を含むインタラクション領域１１を撮影する。このカメラ６、７のシャッターが再び閉じられたとき、もう一方のカメラ７、６のシャッターが開かれて、付随する赤外光源１４、１３から適当な光パルスが送出される。両画像において、例えばパターン認識法を用いて指示体４が識別され、例えば三角測量を用いてその位置が決定される。一連の撮影は、指示体４の位置を、移動が素早い場合にも精確に検知できるように、可能な限り時間的に密に連続して行う必要がある。撮影は、例えば、４０ｍｓというオーダーの時間間隔で行うことができる。連続して決定された、指示体４の複数の位置から、動きを求めることができる。画面３上で、その位置または動きに対応するアクションを実行し、それに応じて表示内容を変更することが可能である。

他の光路１０．３を、インタラクション領域１１よりも透明パネル２から遠い位置にある、パネル２の前方の所在領域１５から、偏向ユニット８、９の近傍を通過してカメラ６、７へと案内することができ、その際、所在領域１５に存在する人物５が少なくとも部分的にカメラ６、７の視野領域内に位置するように、この光路を案内することができる。この図では、所在領域１５は、破線によってインタラクション領域１１から区分されている。

人物を撮影および／または検出するための光路１０．３は、また、偏向ユニット８、９によって導くことも可能である。このために、偏向ユニット８、９をビームスプリッタとして構成しておくことができる。また別の可能な方法は、２部材以上で構成された鏡を偏向ユニット８、９に装備するという方法であり、この場合、部材の１つが、所在領域１５の方向からの光路１０．３を、別の１つの部材が、インタラクション領域１１の方向からの光路１０．１をカメラ６、７へ案内する。偏向ユニット８、９は、さらに別の光学素子、例えばレンズを含んでいてもよい。また、本インタラクション装置１は、所在領域１５にいる人物５の検出を伴わなくても実現可能である。

それぞれ偏向ユニット８、９を具備する、別の個数のカメラ６、７を備えておくことも可能である。例えば、カメラ６、７を、ウインドウとして構成された透明パネル２の四隅に配置することが可能である。

このインタラクション装置１は、自動切符販売機などの自動販売機での利用にも適している。

あるいは、ストロボ照明とカメラ６、７のシャッター開放とを、同時に行うことも可能であり、これにより、位置決定の精度が極めて高くなる。

偏向ユニット８、９は、ミラーまたはプリズムを有してもよい。

ストロボ照明のためには、特に、近赤外領域の赤外光が用いられる。

好ましくは、各カメラ６、７にはフィルタが備えられており、このフィルタにより、カメラ６、７には赤外領域の波長だけが供給される。フィルタとしては、赤外線透過フィルタが可能であり、あるいはまた、赤外光のみをカメラ６、７内へ反射する、偏向ユニット上に施された層が可能である。フィルタは、特に狭帯域に構成しておくことができ、例えば、８７０ｎｍから８８０ｎｍまでの波長の光のみが供給されるように構成することができる。

赤外光源１３、１４は、また別の個所に配置しておくことも可能であり、例えば、透明パネル２の前方の偏向ユニット８、９領域に配置でき、これにより、光路１０．２を偏向ユニット８、９によって案内する必要がなくなる。

カメラ６、７の較正は、好ましくは、カメラ６、７を取り付けた状態で、フレーム片または他の較正体が、カメラ６、７の視野領域あるいは偏向ユニット８、９によって偏向された光路１０．１の領域において所定の位置に保持され、この位置がコンピュータユニット１２に通知されることによって実施される。

カメラ６、７をＦＰＧＡ（フィールドプログラマブルゲートアレイ）に接続しておき、ＦＰＧＡのフレームバッファにカメラ６、７の画像を一時保存することができる。次に、ＦＰＧＡは、時間的に相互に関連する画像を、例えばＵＳＢインターフェースまたはＩＥＥＥ１３９４インターフェースを介してコンピュータユニット１２に送るか、あるいは、ある種の前処理、例えば指示体４の識別または位置決定を事前に行う。

また、コンピュータユニット１２に人物５の顔の光学的な検出機能を備えておくことができる。検出された顔から一連の特徴を抽出することができ、画面１２上に内容をインタラクティブに表示する際にこれらの特徴を考慮することが可能である。例えば、生体測定上の特徴に基づいて認識された、コンピュータユニット１２で既に認知されている顔を利用して、使用者プロフィールが作成あるいは維持管理される。これは、人物５の入力事項から導き出された興味対象や好みを、その認識された人物５に割り付けておき、後に接触した際、画面１２上に内容を表示するときにこれらの興味対象や好みを考慮に入れるという方法によって行われる。

指示体４として、ペンや雨傘のようなものも検出可能である。指示体４、特に指は、コンピュータユニット１２においてパターン認識を用いて識別できる。同様に、画像における強度が大きい領域を、ヒストグラムを用いて、指示体４が存在する可能性が高い場所として識別することが可能である。

人物５が複数のカメラ６、７によって撮影される場合、三角測量を用いて、属性として人物５の体の大きさを判定することができる。体の大きさから、例えば、その人物５が大人であるか、子供であるかを推定することができる。人物５の年齢は、体の大きさ以外に顔の特徴からも推測できる。

さらに、人物５の性別も、体の大きさおよび／または顔から認識可能な場合がある。このようにして、表示内容、例えば衣服、化粧品、技術製品などを性別および年齢に合わせて提示することが可能となる。

さらに、例えば、眼鏡装用者を非眼鏡装用者と区別して、適した内容を画面上に表示することで眼鏡装用者に意図的に働きかけることも可能である。

人物５の顔を充分精緻に検知する場合、画面１２を基準にして、人物５の視線方向を検知することができ、これにより、画面１２のどの表示内容に、その人物５が注意を向けているかを知ることが可能であり、それに合わせて表示内容を適合させることができる。

また、人物５のアバターを画面１２上に表示することができ、アバターは、その人物５の撮像から作成される。このアバターには、例えば、自動的に、または他のインタラクションを通じて、指示体４によって行われたアクションに基づいて、仮想的に、提示された衣服、眼鏡または他の装身具を装着させることができる。アバターは、鏡像として表示することが可能である。

また、遮蔽手段を備えておくことができ、この遮蔽手段により、太陽光または人工照明による反射または直接入射から生じる、カメラ６、７への光路を抑制することが可能である。

光学検出器と少なくとも１つの照明手段とを備えておくこともでき、これらは、少なくとも１つの光路が、透明パネル２の表面間における全反射により照明手段から光学検出器まで延びるように配置されている。その際、指示体４としての指で透明パネル２に触れると、全反射が妨げられることで、光学検出器に指紋を記録することができる。特に３つ以上のカメラ６、７を用いる場合、例えば複数の人物５がインタラクションに参加する際に、あるいは、１人の人物５がインタラクションのために２本の指を用いる際に、２つ以上の指示体４の位置を同時に検出する機能を備えておくことができる。２本の指を位置決めして、それらの指を互いに引き離す動作は、例えば、ズームインして表示内容を拡大せよという要求であると、コンピュータユニット１２に解釈させることができる。

また、例えば幅の広いウインドウの背後にいる複数の人物５とインタラクションを行うために、透明パネル２の背後に２つ以上の画面３を備えておくことも可能である。この場合、各画面３に２つのカメラ６、７が必要とされるわけではない。カメラ６、７を工夫して配置することによって、複数の指示体４および／または人物５を検知することが可能である。

また、人物５に照明を当てるために、赤外光源１３、１４の光路１０．２を所在領域へ導くこともできる。

図２には、カメラ６、７の視点から見た、透明パネル２に対する指示体４の移動の推移の例が示されている。カメラ６、７は、偏向ユニット８、９の作用によって、インタラクション領域１１と透明パネル２におけるその鏡像１１’との両方を検知する。これは、パネルに対するカメラ６、７の視角が非常にフラットであるためにパネル２に全反射が生じるからである。指示体４がインタラクション領域１１にある場合、また、鏡像の指示体４’も鏡像１１’に見られる。指示体４から透明パネル２までの距離は、鏡像の指示体４’から指示体４までの距離を決定することによって求められる。この図には、時間ｔを横軸に同一の指示体４とその鏡像の指示体４’とが示されており、時点ｔ１からｔ３までの間、指示体はパネル２に接近し、時点ｔ４にパネル２に接触し、その後、時点ｔ５からｔ６までの間、パネル２から遠ざかっている。指示体４と鏡像の指示体４’との間隔がゼロになると、パネル２の接触が確実に検出される。例えば、ソフトキー、リンクまたは画面３上に表示された他の内容に対する「クリック動作」を検出することが可能である。

１ インタラクション装置
２ 透明パネル
３ 画面
４ 指示体
４’ 鏡像の指示体４’
５ 人物
６、７ カメラ
６．１、７．１ 光軸
８、９ 偏向ユニット
１０．１、１０．２、１０．３ 光路
１１ インタラクション領域
１１’ インタラクション領域の鏡像
１２ コンピュータユニット
１３、１４ 赤外光源
１５ 所在領域

Claims (23)

1. 透明なパネル（２）の背後に配置された少なくとも１つの画面（３）とこのパネル（２）の前に存在する少なくとも１つの指示体（４）との間でインタラクションを行うためのインタラクション装置であって、前記パネル（２）の背後に配置された少なくとも２つのカメラ（６、７）を具備し、この各カメラ（６、７）には偏向ユニット（８、９）が付設されており、この偏向ユニットによって少なくとも１つの光路（１０．１）を、パネル（２）の近傍および前方のインタラクション領域（１１）からカメラ（６、７）内へ案内することができ、さらに、前記カメラ（６、７）の少なくとも２つにとって視認可能であるように導かれた指示体（４）の位置を求めるために、各カメラ（６、７）に接続されたコンピュータユニット（１２）を具備するインタラクション装置において、
   少なくとも前記インタラクション領域（１１）を、赤外光を用いてストロボ照明することが可能であり、かつ、前記カメラ（６、７）が赤外線感応カメラであり、このカメラをストロボ照明と同期させることが可能であることを特徴とするインタラクション装置（１）。
2. 前記ストロボ照明のために、近赤外領域の赤外光が備えられていることを特徴とする請求項１に記載のインタラクション装置（１）。
3. 前記各カメラ（６、７）のために赤外線透過フィルタが備えられていることを特徴とする請求項２に記載のインタラクション装置（１）。
4. 照明の光路（１０．２）を前記偏向ユニット（８、９）を介して少なくとも前記インタラクション領域（１１）内へ案内できるように、ストロボ照明のための赤外光源（１３、１４）が前記カメラ（６、７）の領域に配置されていることを特徴とする請求項１〜３のいずれか１つに記載のインタラクション装置（１）。
5. 前記指示体（４）の位置を、三角測量を用いて求めることができることを特徴とする請求項１〜４のいずれか１つに記載のインタラクション装置（１）。
6. 前記カメラ（６、７）が相互に同期されていることを特徴とする請求項１〜５のいずれか１つに記載のインタラクション装置（１）。
7. 少なくとも１つの光路（１０．３）を、前記インタラクション領域（１１）よりも透明パネル（２）から遠い位置にある、パネル（２）前方の所在領域（１５）から、前記偏向ユニット（８、９）を経て、または前記偏向ユニット（８、９）の近傍を通過して、前記カメラ（６、７）へと案内することができ、その際、この所在領域（１５）に存在する人物（５）が少なくとも部分的に前記カメラ（６、７）の視野領域内に位置するように、この光路を案内することが可能であることを特徴とする請求項１〜６のいずれか１つに記載のインタラクション装置（１）。
8. 前記偏向ユニット（８、９）がビームスプリッタとして構成されていることを特徴とする請求項７に記載のインタラクション装置（１）。
9. 人物（５）の顔の光学的な検出機能が、前記コンピュータユニット（１２）に備えられていることを特徴とする請求項７または８のいずれかに記載のインタラクション装置（１）。
10. パターン認識を用いた、前記指示体（４）の光学的な検出機能が、前記コンピュータユニット（１２）に備えられていることを特徴とする請求項１〜９に記載のインタラクション装置（１）。
11. 属性として、人物（５）の体の大きさを判定できることを特徴とする請求項７〜１０のいずれか１つに記載のインタラクション装置（１）。
12. 属性として、体の大きさおよび／または顔から人物（５）の年齢を判定できることを特徴とする請求項１０または１１のいずれかに記載のインタラクション装置（１）。
13. 属性として、体の大きさおよび／または顔から人物（５）の性別を判定できることを特徴とする請求項１０〜１２のいずれか１つに記載のインタラクション装置（１）。
14. 属性として、人物（５）が装用する眼鏡を検出できることを特徴とする請求項７〜１３のいずれか１つに記載のインタラクション装置（１）。
15. 画面（１２）に対する、人物（５）の視線方向を検知できることを特徴とする請求項１０〜１４のいずれか１つに記載のインタラクション装置（１）。
16. 前記指示体（４）および／または人物（５）の挙動に応じて、および／または人物（５）について得られた属性に応じて、前記画面（１２）上に表示される内容を変更できることを特徴とする請求項１〜１５のいずれか１つに記載のインタラクション装置（１）。
17. 人物（５）のアバターを前記画面（１２）上に表示できることを特徴とする請求項７〜１６に記載のインタラクション装置（１）。
18. 前記アバターを鏡像として表示できることを特徴とする請求項１７に記載のインタラクション装置（１）。
19. 前記カメラ（６、７）への不所望な光路を抑制するための遮蔽手段が備えられていることを特徴とする請求項１〜１８のいずれか１つに記載のインタラクション装置（１）。
20. 少なくとも１つの光学検出器と少なくとも１つの照明手段とが、前記透明パネル（２）の表面間における全反射により少なくとも１つの光路がこの照明手段から光学検出器まで延びるように配置されており、指示体（４）としての指で前記透明パネル（２）に触れると、全反射が妨げられることで、この光学検出器に指紋が記録できることを特徴とする請求項１〜１９のいずれか１つに記載のインタラクション装置（１）。
21. 前記透明パネル（２）における鏡像の指示体（４’）を含む、前記インタラクション領域（１１）の鏡像（１１’）を検知して、この鏡像の指示体（４’）から前記指示体（４）までの距離を決定することによって、前記指示体（４）から透明パネル（２）までの距離を求めることができることを特徴とする請求項１〜２０のいずれか１つに記載のインタラクション装置（１）。
22. 人物（５）の携帯電話との通信を行うための機構が備えられており、この機構を介してキャッシュレスの支払い手続きが行えることを特徴とする請求項１〜２１のいずれか１つに記載のインタラクション装置（１）。
23. 音響インタラクションのための手段が備えられていることを特徴とする請求項１〜２２のいずれか１つに記載のインタラクション装置（１）。

Images