JP2022515608A

JP2022515608A - 大面積透明タッチインターフェースにおける視差補正のためのシステム及び／又は方法

Info

Publication number: JP2022515608A
Application number: JP2021534693A
Authority: JP
Inventors: アレキサンダーソボレフ
Original assignee: Guardian Glass LLC
Current assignee: Guardian Glass LLC
Priority date: 2018-12-31
Filing date: 2019-12-31
Publication date: 2022-02-21
Also published as: EP3906458A1; CA3117612A1; US20220075477A1; WO2020141446A1; CN113168228A

Abstract

本発明の特定の例示的実施形態は、例えば、大面積透明タッチインターフェース及び／又は同様のものが実装される状況で、視差補正目的のための視点を動的に判定することに関する。ユーザの視点及び容量性タッチパネルの場所を検出して、リアルタイムでそのユーザによってタッチされた点を検出するためにコンピュータビジョンソフトウェアライブラリ及び１つ以上のカメラを活用することによって、タッチパネルを通過する、及びユーザの視野内にある任意の／全ての標的に向かう、３次元ベクトルを識別することが可能になる。このベクトルが標的と交差する場合、その標的は、ユーザのタッチの焦点として選択され、適切なフィードバックが与えられ得る。これらの技術は、有利には、ユーザが、透明タッチパネル「越しに」１つ以上の物理的又は仮想的な関心対象の物体と対話することを可能にする。【選択図】図１

Description

（関連出願）
本出願は、２０１８年１２月３１日出願の米国特許仮出願第６２／７８６，６７９号の利益を主張し、その全体が参照によって本明細書に組み込まれる。

（発明の分野）
本発明の特定の例示的実施形態は、大面積透明タッチインターフェースにおける視差補正のためのシステム及び／又は方法に関する。より具体的には、本発明の特定の例示的実施形態は、例えば、大面積透明タッチインターフェース及び／又は同様のものが実装される状況で、視差補正目的のための視点を動的に判定することに関する。

ユーザがタッチパネルと対話するとき、ユーザは、典型的には、ガラス越しに見える物体を指差す。物体がタッチパネルのガラス又は他の透明表面上にあるように見えるとき、タッチ点を物体場所と相関させるためのソフトウェアベースのインターフェースを実装することが非常に単純である。これは、典型的には、スマートフォン、タブレット、ラップトップ、並びに他の携帯用及び多くの場合、手持ちディスプレイ及びタッチインターフェースを有する場合である。

図１は、例えば、タッチパネル１０２の裏（ユーザに面していない）側の「表面」に位置する関心対象の物体１００の非常に単純な場合を概略的に示す。第１の人間ユーザ１０４ａは、タッチパネル１０２の前（ユーザに面する対向）面に接触して、関心対象の物体１００を選択するか、又は関心対象の物体１００と別様に対話することができる。関心対象の物体１００がタッチ場所に近接しているため、タッチ点を関心対象の物体１００の場所と相関させることが容易である（例えば、タッチパネル１０２にマッピングされたＸ－Ｙ座標を使用して）。ユーザの視線１０６ａがタッチパネル１０２の前（ユーザに面する）面と交差する場所と、関心対象の物体１００が位置する場所との間に密接な対応が存在する。

関心対象の物体がタッチ面から「外」に移動する場合（より薄いガラスが使用されるとき、タッチセンサとディスプレイとの間に間隙が存在するときなどに起こり得る）、物体がユーザに見える場所とタッチ入力場所を相関させることは、より困難になり得る。例えば、画像場所とタッチ入力場所との変位が存在し得る。

この変位は、図２に概略的に示される。つまり、図２は、関心対象の物体１００’がタッチパネル１０２の裏（ユーザに面していない）側の「後方」に、そこから「外」に、又はそこから離間されて位置する場合を概略的に示す。関心対象の物体１００’を選択又は関心対象の物体１００’と別様に対話するために、タッチパネル１０２の前（ユーザに面する）面をタッチしようとしている第１の人間ユーザ１０４ａは、関心対象の物体１００’がタッチ場所から離間されているため、困難に遭遇し得る。ユーザの視線１０６ａ’がタッチパネル１０２の前（ユーザに面する）面と交差する場所と、タッチパネル１０２上のタッチ場所と、関心対象の物体１００’がタッチパネル１０２に対して位置する場所との間に密接な対応がもはや存在しない。上記のように、この状況は、関心対象の物体１００’が移動される場合、関心対象の物体１００’が依然としてタッチパネル１０２の裏面上にあるが、前部タッチインターフェースと裏面との間の大きい間隙が存在する場合、タッチパネル１０２内のガラス又は他の透明媒体が厚い場合などに生じ得る。

この問題に対処するための現在の技術は、既知の変位を補正すること、想定される視角に基づいて仮定を行うことなどを含む。既知の変位を考慮することが可能であり得ることもあるが（例えば、ガラス厚さ、タッチパネルの構成などの静的及び既知の因子に基づいて）、視角に関する仮定は、常に行うことができない。例えば、図３は、タッチパネル１０２の裏（ユーザに面していない）側の「後方」に、そこから「外」に、又は離間されて位置する、関心対の物体１００’と対話しようとしている、異なる視角１０６ａ’、１０６ｂ’を有する第１及び第２の人間ユーザ１０４ａ、１０４ｂを概略的に示す。第１及び第２のユーザ１０４ａ、１０４ｂは、関心対象の物体１００’を選択又は関心対象の物体１００’と別様に対話しようとする際に、タッチパネル１０２上の異なる場所を明確にタッチする。本質的に、視角が人ごとに変化する場合、基本的に、異なるタッチ入力場所と画像場所との間のように保証された変位が存在することになる。単一のユーザが物体と対話しようとする場合でも、この現在の手法は、ユーザがタッチパネルの表面に対して左右に、上下に、内外に、ユーザ自身の角度などを移動する場合に結果的に生じ得る１人の視角の変化に対して常に動的に調整することはできない。したがって、現在の解決策は、動的な動きを考慮すると、常に非常に有効ではない。

図４は、関心対象の物体１００’’がタッチパネル１０２から遠くなるにつれて、図３の変位問題がどのように悪化するかを概略的に示す。つまり、異なるユーザ視点からのタッチ入力場所間の差が、例えば、異なる場所への関心対象の物体の動きによる、異なる視線角度１０６ａ’’及び１０６ｂ’’に基づいて増加することが図４から容易に分かり得る。両方のユーザ１０４ａ、１０４ｂが同じ物体を指差している場合でも、ユーザのタッチ入力は、タッチパネル１０２上の劇的に異なる場所にある。既存のタッチ技術によると、この差は、多くの場合、誤った選択及び／又は関連付けられた動作を結果的にもたらすことになる。

上記の問題は、事前に既知の場所を有する物体に関連して議論されてきた。これらの問題は、物体（複数可）が事前に既知ではない、及び／又は動的である場合、更により問題となり得る。したがって、タッチインターフェースが、様々な条件（例えば、異なる高さ及び／又は位置のユーザに対して、移動する単一のユーザに対して、異なる位置の物体に対して、移動する単一の物体に対して、異なる視力レベル及び／若しくは移動性、並びに／又はタッチインターフェースがどのように一般的に機能するかの異なる理解を有する人物に対して、など）下で有効に機能するために、１つ以上の関心対象の物体に関して、異なるユーザ視点に対して動的に調整する技術を提供することが望ましいことが理解されるであろう。

一般に、異なる視認場所／視角（例えば、法線から外れた角度を含む）から透明平面を見るとき、平面とその後方の任意の所与の物体との間の距離は、所与の物体と平面との間の視覚的に知覚される位置合わせの変位（視差）を作り出す。上記に基づいて、透明タッチパネルの文脈では、例えば、タッチ面とディスプレイ面との間の距離は、対話されている対象物とその知覚される位置との間の変位を作り出す。物体の距離が大きいほど、観察者に見えるこの変位が大きくなる。したがって、視差効果は、従来の小面積ディスプレイでは、制御可能であるが、ディスプレイサイズがより大きくなると、対話されることになる物体がタッチ及びディスプレイ面から更に離間されるためなどで、視差効果が顕著になり得る。例えば、視差問題は、タッチガラスインターフェースを有する自動販売機、ビル、自動車、博物館展示、進路確認アプリケーション、観測エリアのスマートウィンドウなどで特に問題となり得る。

視差問題は、ある距離で配置された物体（実際又は画面上のいずれか）を選択するために、タッチインターフェースとして透明平面を使用することから生じる。タッチ面の後方の選択可能な物体の視覚的変位は、ユーザがタッチ面の前部に物理的にタッチしなければならない場所もまた、それらの現在の視認場所／視角によって直接影響される様式で変位されることを意味する。

特定の例示的実施形態は、これら及び／又は他の懸念事項に対処する。例えば、本発明の特定の例示的実施形態は、１つ以上の関心対象の物体に関して、異なるユーザ視点に対して動的に調整するタッチインターフェースのための技術に関する。特定の例示的実施形態は、例えば、タッチ面上の選択された場所が、ユーザの視点から選択可能な物体に対応するか否かを動的に判定することによって、視差問題を補償することに関する。

本発明の特定の例示的実施形態は、例えば、大面積透明タッチインターフェース及び／又は同様のものが実装される状況で、視差補正目的のための視点を動的に判定することに関する。ユーザの視点及び容量性タッチパネルの場所を検出して、リアルタイムでそのユーザによってタッチされた点を検出するためにコンピュータビジョンソフトウェアライブラリ及び１つ以上のカメラを活用することによって、タッチパネルを通過する、及びユーザの視野内にある任意の／全ての標的に向かう、３次元ベクトルを識別することが可能になる。このベクトルが標的と交差する場合、その標的は、ユーザのタッチの焦点として選択され、適切なフィードバックが与えられ得る。これらの技術は、有利には、ユーザが、透明タッチパネル「越しに」１つ以上の物理的又は仮想的な関心対象の物体と対話することを可能にする。

特定の例示的実施形態では、拡張現実システムが提供される。固定位置にある少なくとも１つの透明タッチパネルが、視認場所と複数の関心対象の物体との間に介在しており、各関心対象の物体が、共通座標系内で表現可能なそれぞれの場所を有する。少なくとも１つのカメラが、視認場所に概ね向かって配向されている。処理リソースが、少なくとも１つのプロセッサ及びメモリを含む。処理リソースは、少なくとも１つの透明タッチパネルから受信されたタッチ関連データから、タッチダウンイベントが行われたか否かを判定するように構成されている。処理リソースは、タッチダウンイベントが行われたという判定に応答して、受信されたタッチ関連データから、行われたタッチダウンイベントと関連付けられたタッチ座標を判定することと、少なくとも１つのカメラから視認場所の画像を取得することと、取得された画像内で認識された身体追跡及び／又は顔から、視線座標を計算することと、タッチ座標及び視線座標を、共通座標系内の対応する座標に変換することと、共通座標系内の場所のうちの１つが、共通座標系内の視線座標から共通座標系内のタッチ座標を通って、かつタッチ座標を越えて延在する仮想線の閾値距離内にあるか否かを判定することと、共通座標系内の場所のうちの１つが、共通座標系内の視線座標から共通座標系内のタッチ座標を通って、かつタッチ座標を越えて延在する仮想線の閾値距離内にあるという判定に応答して、場所のうちの１つと関連付けられた関心対象の物体をタッチされた物体として指定し、タッチされた物体に合わせて調整された聴覚的及び／又は視覚的出力を生成することと、を行うように更に構成されている。

特定の例示的実施形態では、拡張現実システムが提供される。複数の透明タッチパネルが、視認場所と複数の関心対象の物体との間に介在しており、各関心対象の物体が、共通座標系内で表現可能なそれぞれの物理的場所を有する。イベントバスが、透明タッチパネルによってイベントバスに発行されたタッチ関連イベントを受信するように構成されており、各タッチ関連イベントが、タッチ関連イベントを発行した透明タッチパネルの識別子を含む。少なくとも１つのカメラが、視認場所に概ね向かって配向されている。コントローラが、イベントバスに出版されたタッチ関連イベントを購読することと、イベントバスを介して受信されたタッチ関連イベントから抽出されたタッチ関連データから、タップが行われたか否かを判定することと、を行うように構成されている。コントローラは、タップが行われたという判定に応答して、タッチ関連データから、行われたタップと関連付けられたタッチ座標を判定することであって、タッチ座標が、共通座標系内で表現可能である、判定することと、透明タッチパネルのうちのどれがタップされたかを判定することと、少なくとも１つのカメラから視認場所の画像を取得することと、取得された画像内で認識された身体追跡及び／又は顔から、視線座標を計算することであって、視線座標が、共通座標系内で表現可能である、計算することと、共通座標系内の物理的場所のうちの１つが、共通座標系内の視線座標から共通座標系内のタッチ座標を通って、かつタッチ座標を越えて延在する仮想線の閾値距離内にあるか否かを判定することと、共通座標系内の物理的場所のうちの１つが、共通座標系内の視線座標から共通座標系内のタッチ座標を通って、かつタッチ座標を越えて延在する仮想線の閾値距離内にあるという判定に応答して、物理的場所のうちの１つと関連付けられた関心対象の物体をタッチされた物体として指定し、タッチされた物体に合わせて調整された視覚的出力を生成することと、を行うように更に構成されている。

特定の例示的実施形態では、２つの先行する段落及び以下に説明されるシステムのうちのいずれかのシステムを使用する方法が提供される。特定の例示的実施形態では、２つの先行する段落及び以下に説明されるシステムのうちのいずれかのシステムを構成する方法が提供される。特定の例示的実施形態では、コンピュータによって実行されると、そのような方法の一方又は両方を実行する命令を含むプログラムを有形的に記憶する非一時的コンピュータ可読記憶媒体が提供される。特定の例示的実施形態では、２つの先行する段落及び以下に説明されるシステムのうちのいずれかのシステムと共に使用するためのコントローラが提供される。特定の例示的実施形態では、２つの先行する段落及び以下に説明されるシステムのうちのいずれかのシステムと共に使用するための透明タッチパネルが提供される。更に、以下の説明から理解されるように、異なるエンドデバイス／アプリケーションが、２つの先行する段落及び以下に説明されるシステムのうちのいずれかの技術と関連して使用され得る。これらのエンドデバイスとしては、例えば、店頭、店内ディスプレイ、博物館展示、絶縁ガラス（insulating glass、ＩＧ）窓、又は他のユニットなどが挙げられる。

本明細書に記載の特徴、態様、利点、及び例示的実施形態は、更なる実施形態を実現するために組み合わされてよい。

これら及び他の特徴及び利点は、図面と併せて、例示的な実施形態の以下の詳細な説明を参照することによって、より良好かつより完全に理解され得る。

タッチパネルの裏（ユーザに面していない）側の「表面」に位置する関心対象の物体を概略的に示す。関心対象の物体がタッチパネルの裏（ユーザに面していない）側の「後方」に、そこから「外」に、又はそこから離間されて位置する場合を概略的に示す。タッチパネルの裏（ユーザに面していない）側の「後方」に、そこから「外」に、又は離間されて位置する、関心対の物体と対話しようとしている、異なる視角を有する第１及び第２の人間ユーザを概略的に示す。関心対象の物体がタッチパネルから遠くなるにつれて、図３の変位問題がどのように悪化するかを概略的に示す。特定の例示的実施形態による、視差を補正するための手法を概略的に例示する。特定の例示的実施形態による、視差を補正するための手法を概略的に例示する。特定の例示的実施形態と関連して使用され得る視差を補正するための手法を示すフローチャートである。特定の例示的実施形態の較正手順と関連して使用され得るチェッカーボードパターンの「生の」画像を示す。例示的な歪みのないパターンを示す。正の半径方向（バレル）歪みを示す。負の半径方向（ピンクッション）歪みを示す。例示的な顔に対する有向勾配ヒストグラムの表現である。特定の例示的実施形態による、ユーザ視点を位置特定するためのフローチャートである。特定の例示的実施形態と関連して使用され得る、例示的なガラス構成ファイルである。特定の例示的実施形態による、視差補正のためのタッチドライバと関連して使用され得るハードウェア構成要素を示すブロック図である。特定の例示的実施形態による、タッチドライバと共に使用するためのプロセスを示すフローチャートである。特定の例示的実施形態と関連して使用され得る、重複する顔を除去するための例示的なプロセスを示すフローチャートである。特定の例示的実施形態で標的識別がどのように実施され得るかを示すフローチャートである。特定の例示的実施形態による、タップが受信されたときに行われ得る例示的なプロセスを示すフローチャートである。例示的な店頭の描写であり、特定の例示的実施形態の技術がどのようにその中に組み込まれ得るかを実証する。例示的な店頭の描写であり、特定の例示的実施形態の技術がどのようにその中に組み込まれ得るかを実証する。例示的な店頭の描写であり、特定の例示的実施形態の技術がどのようにその中に組み込まれ得るかを実証する。ディスプレイケースの描写であり、特定の例示的実施形態の技術がどのようにその中に組み込まれ得るかを実証する。例示的なカスタム博物館展示の描写であり、特定の例示的実施形態の技術がどのようにその中に組み込まれ得るかを実証する。例示的なカスタム博物館展示の描写であり、特定の例示的実施形態の技術がどのようにその中に組み込まれ得るかを実証する。例示的なカスタム博物館展示の描写であり、特定の例示的実施形態の技術がどのようにその中に組み込まれ得るかを実証する。例示的なカスタム博物館展示の描写であり、特定の例示的実施形態の技術がどのようにその中に組み込まれ得るかを実証する。例示的なカスタム博物館展示の描写であり、特定の例示的実施形態の技術がどのようにその中に組み込まれ得るかを実証する。例示的なカスタム博物館展示の描写であり、特定の例示的実施形態の技術がどのようにその中に組み込まれ得るかを実証する。ヘッドアップディスプレイが特定の例示的実施形態と関連してどのように使用され得るかを概略的に例示する。

本発明の特定の例示的実施形態は、例えば、大面積透明タッチインターフェース及び／又は同様のものが実装される状況で、視差補正目的のための視点を動的に判定することに関する。これらの技術は、有利には、ユーザが、透明タッチパネル「越しに」１つ以上の物理的又は仮想的な関心対象の物体と対話することを可能にする。図５は、特定の例示的実施形態による、視差を補正するための手法を概略的に例示する。図５に示されるように、１つ以上のカメラ５０６は、ユーザ５０４が関心対象の物体５００を見ると、タッチパネル５０２に提供される。タッチパネル５０２は、関心対象の物体５００とユーザ５０４との間に介在する。カメラ（複数可）５０６は、広い視野を有する。例えば、特定の例示的実施形態では、単一の３６０度視野カメラが使用され得るが、異なる例示的実施形態は、各々が広い視野（例えば、１２０～１８０度）を有する別個のユーザに面するカメラ及び物体に面するカメラを含み得る。カメラ（複数可）５０６は、その前方のユーザ５０４、及びその後方の関心対象の物体５００の両方のビューを有する。カメラ（複数可）５０６を介して取得された画像及び／又はビデオデータを使用して、ユーザ５０４が追跡される。例えば、ユーザジェスチャ５０８、頭部／顔位置及び／又は配向５１０、視線角度５１２などは、カメラ（複数可）５０６を介して取得された画像及び／又はビデオデータから判定され得る。タッチパネル５０２と対話する複数の潜在的な人々（例えば、タッチパネル５０２と対話し得るか、又は対話しない場合がある、関心対象の物体５００の反対側のタッチパネル５０２の側面の複数の人々）が存在する場合、判定は、それらの人々のうちのどの１人以上がタッチパネル５０２と対話しているかを判定するために行われ得る。取得されたジェスチャ及び／又は視線角度情報に基づいて、ユーザ５０４の視点が判定され得る。この視点情報は、タッチパネル５０２からのタッチ入力情報と相関されて、例えば、ユーザの視点からの視差を補償することを助け、正確なタッチ検出が関心対象の対象５００に対して実施されることを確保することを助け得る。

図５と同様に、図６に概略的に示されるように、ユーザの視点（Ａ）及び容量性タッチパネル５０２の場所を検出して、リアルタイムでそのユーザによってタッチされた点（Ｂ）を検出するためにコンピュータビジョンソフトウェアライブラリ及び１つ以上のカメラ（例えば、ＵＳＢウェブカメラ）を活用することによって、タッチパネル５０２を通過する、及びユーザの視野６０４内にある任意の／全ての標的６０２ａ～６０２ｃに向かう、３次元ベクトルを識別することが可能になる。このベクトルが標的（Ｃ）と交差する場合、その標的６０２ｃは、ユーザのタッチの焦点として選択され、適切なフィードバックが与えられ得る。特定の例示的実施形態では、標的探索アルゴリズムは、より良好な精度を潜在的に提供するために、ラーピング（lerping）（線形補間）関数の代わりに、又はそれと共に手法を使用するために、リファクタリングされ得る。例えば、代替的又は追加的な戦略は、符号付き距離公式、関心対象の物体の既知の位置についてのみ試験すること（例えば、ユーザから外へのラーピングの代わりに、各関心対象の物体は、ヒットしたかどうかを見るためにチェックされる）などの実装を含み得る。

上記から理解されるように、また、以下のより詳細な説明から更に明確になるように、特定の例示的実施形態は、ユーザ及び関心対象のコンテンツを「見る」こと、タッチ領域を狭くすること、ユーザとコンテンツとの間を相関することなどができる。加えて、特定の例示的実施形態の技術は、例えば、静止画像及び／又は移動する画像、実生活背景などの様々なコンテンツタイプに適合可能であるが、また、様々な異なる用途において考えられる使用のための様々な出力タイプ（例えば、聴覚的、視覚的、投影、照明（例えば、ＬＥＤ若しくは他の照明）、ヘッドアップディスプレイ（head-up display、ＨＵＤ）、別個のディスプレイデバイス（専用ディスプレイデバイス、ユーザモバイルデバイスなどを含む）、拡張現実システム、触覚、及び／又は他の出力タイプなど）を提供することもできる。

平坦な矩形のタッチパネルが様々な図面に概略的に示されているが、異なるタッチパネル形状及び配向が、異なる例示的実施形態と関連して実装され得ることが理解されるであろう。例えば、特定の例示的実施形態では、平坦な又は湾曲したタッチパネルが使用され得、特定の例示的実施形態は、他の幾何学的形状（特定の例示的実施形態では、博物館又は他のカスタム解決策に望ましい場合がある）を使用し得る。パネルの幾何学的形状を事前に設定し、構成ファイルを介してその情報をローカルコントローラに提供することは、この点に関して有用であり得る。ＬｉｇｈｔＦｏｒｍ又は同様のものによって提供されるものなどの走査技術が、例えば、第１のパネルをプロジェクタに位置合わせし、次いで、全ての連続するパネルを第１のパネルに位置合わせするために、特定の例示的実施形態で使用され得る。これは、非常に容易な現場内設置及び較正を支援し得る。視差調整のために、投影されたパターンは、取り込まれた形態の２つのカメラであり得、それらのカメラ（同様にタッチセンサ）の変位が計算され得る。

図７は、特定の例示的実施形態と関連して使用され得る視差を補正するための手法を示すフローチャートである。ステップ７０２では、シーンの画像及び／又はビデオが、ユーザに面する広視野カメラを使用して、及び／又は３６０度カメラ若しくは複数のカメラのユーザに面する側から取得される。特定の例示的実施形態では、「標準」（例えば、３６０度未満）視野カメラのアレイが使用され得る。所望される視野は、その中の生成ユニット又はモジュールの幅などの因子によって駆動され得、少なくともいくつかの事例では、カメラの数及びタイプは、所望される視野によって影響され得る。ステップ７０４では、どのユーザがタッチパネルと対話している可能性があるかを判定するために、規則が適用される。取得された画像の半球投影上のユーザの視認位置が、ステップ７０６で、顔、眼、ジェスチャ、及び／又は他の身体追跡ソフトウェア技術を使用して導出される。ステップ７０８では、ユーザが見ているシーンの画像及び／又はビデオが、標的に面する広視野カメラを使用して、及び／又は３６０度カメラの標的に面する側から取得される。ステップ７１０では、標的シーン内の１つ以上の物体が識別される。例えば、コンピュータビジョンソフトウェアは、物体を動的に識別するために使用され得、所定の物体場所などが読み取られ得る。前向きカメラから取得されたユーザの位置及び視線方向は、ステップ７１２で、後向きカメラを使用して取得された標的シーン内の物体（複数可）と相関される。ステップ７１４におけるこの情報は、タッチパネルからのタッチ入力と相関されて、ユーザが見ていた特定の物体に対して行われた「選択」又は他の操作を検出し、適切な出力がステップ７１６で生成される。図７のプロセスは、特定の例示的実施形態で選択的にトリガされ得る。例えば、図７のプロセスは、ユーザがタッチパネルに対して比較的近接して（例えば、所定の距離）近づいたことを近接センサが検出することに応答して、タッチイベントが検出された際、ホバーアクションに基づいてなどで開始され得る。
例示的実装

例示的実装に関する詳細が以下に提供される。この例示的実装は、特定の例示的実施形態の概念を実証することを助けるために提供され、その態様は、具体的に特許請求の範囲に記載されない限り、本質的に非限定的であることが理解されるであろう。例えば、例示的ソフトウェアライブラリ、画像投影技術、使用事例、構成要素構成などに関する説明は、具体的に特許請求の範囲に記載されていない限り、本質的に非限定的である。
ユーザの視点を位置特定するための例示的技術

特定の例示的実施形態では、コンピュータビジョン関連ソフトウェアライブラリが、特定の例示的実施形態で、ユーザの視点及び３次元空間内のその座標を判定することを助けるために使用され得る。例えば、Ｄｌｉｂ及びＯｐｅｎＣＶが、これに関して使用され得る。

これらから取得された画像を使用してカメラを較正することが望ましい場合がある。較正情報は、例えば、レンズ歪みを「除去」すること、カメラの視点及び視野に関連した実世界単位の物体のサイズ及び場所を測定することなどのために使用され得る。特定の例示的実施形態では、較正手順は、カメラを用いて一連のチェッカーボード画像を取り込むことと、そのカメラの歪み係数、固有パラメータ、及び外因性パラメータを提供するＯｐｅｎＣＶプロセスを介して一連のチェッカーボード画像を実行することを伴い得る。図８は、例えば、特定の例示的実施形態の較正手順と関連して使用され得るチェッカーボードパターンの「生の」画像を示す。

歪み係数は、いくつかの事例では、カメラの半径方向歪み及び接線歪み係数を表すものとして考えられ得、任意選択的に、薄いプリズム歪み係数を同様に含むように作製され得る。固有パラメータは、カメラの光学中心及び焦点距離を表すが、外因性パラメータは、３Ｄシーン内のカメラの場所を表す。

いくつかの事例では、較正手順は、カメラごとに１回実施され得る。しかしながら、正確なデータが収集される前に、いくつかの較正試行が行われ得ることが見出されている。データ品質は、取り込み解像度、存在する周囲光の量、取り込まれたボードの数、チェッカーボードパターンの様々なボード位置、平坦性及びコントラスト、並びに取り込み中のボードの静止度との正の相関を有するように見える。また、レンズ内に存在する歪みの量が劇的に増加するにつれて、このデータの品質が低下するようであることも見出されている。この挙動は、魚眼レンズを較正することをより困難にし得る。不十分な較正は、不十分な歪み除去を結果的にもたらし、最終的には、不十分な顔検出及び姿勢推定に陥る。したがって、較正は、上記の特性が肯定的に考慮される条件、又は複数の較正操作が良好なデータを取得するために望ましい可能性があると理解される状況下で実行され得る。

一旦、この較正データが取得されると、カメラは、カメラの特性が、それが提供する画像のサイズ／形状、又はその画像内に含有される物品のサイズ／形状を歪ませる（レンズ、焦点距離、取り込み解像度などの変化の結果として）やり方で変更されていない限り、再較正を必要としないはずである。更に、１つのカメラから取得された較正データは、例えば、カメラがどのように製造されるかに依存して、同じ正確なモデルの第２のカメラによって生成された画像を処理するために使用され得る。

較正プロセスは、より正確な較正ファイルを生成するために更に最適化され得、これにより、視点場所の精度を改善し得ることが理解されるであろう。更に、特定の例示的実施形態では、例えば、カメラ及びそのレンズの関連特性に関するより高精度なデータが事前に取得され得る場合、カメラ較正ファイルを全体的に又は部分的にハードコードすることが可能であり得る。これは、カメラ較正プロセスの不正確さが、全体的に又は部分的に回避されることを可能にし得る。

較正は、カメラのレンズについての情報を収集することを支援し、その結果、より正確な測定が、「歪み除去」、及び特定の例示的実施形態で有用な他の複雑な方法のために行われ得る。歪み除去に関して、図９Ａは、例示的な歪みのないパターンを示し、図９Ｂは、正の半径方向（バレル）歪みを示し、図９Ｃは、負の半径方向（ピンクッション）歪みを示すことに留意されたい。これらの歪みは、特定の例示的実施形態で補正され得る。例えば、特定の例示的実施形態における歪み除去は、較正中に収集されたデータを、各画像が生成される際に、各画像を「歪み除去する」ために適用することを伴い得る。特定の例示的実施形態の歪み除去アルゴリズムは、画像コンテンツが、現実世界にそれがあるように、又はカメラが全く歪みを有していない場合にそれが見えるように、カメラの画像の画素データを再構築しようとする。魚眼及び／又は非魚眼カメラが特定の例示的実施形態で使用され得るが、魚眼カメラから取得された画像上の歪み除去は、他のカメラタイプによって生成された画像よりも多くの処理電力を必要とする場合があることが理解される。特定の例示的実施形態では、歪み除去は、任意の顔検出、姿勢推定などを実施する前に使用されるカメラのタイプにかかわらず実施されることになる。ＯｐｅｎＣＶのｉｎｉｔＵｎｄｉｓｔｏｒｔＲｅｃｔｉｆｙＭａｐ（）及びｒｅｍａｐ（）関数が、特定の例示的実施形態に関連して使用され得る。

「歪みのない」画像リソースを確立した後、リソースが提供する画像及び／又はビデオ内の顔を検出することを開始することが可能である。ＯｐｅｎＣＶは、このために使用され得るが、Ｄｌｉｂの顔検出ツールは、より正確であり、より少ない偽陽性を提供することが見出されている。したがって、特定の例示的実施形態は、手法に基づいて、有向勾配ヒストグラム、すなわち、ＨＯＧを使用する顔検出と関連してＤｌｉｂを使用する。これは、画像がより小さい部分のグリッドに分割され、これらの部分で視覚的勾配の大きさが増大する様々な方向が検出されることを意味する。ＨＯＧ手法の背後の一般的な考え方は、物体自体の形状及びサイズを推測するために、物体上の影の形状、サイズ、及び方向を使用することが可能であることである。この勾配マップから、物体の輪郭を表す一連の点が導出され得、それらの点は、既知の物体を表す点のマップに対して一致され得る。特定の例示的実施形態の「既知の」物体は、人間の顔である。図１０は、例示的な顔に対する有向勾配ヒストグラムの表現である。

異なる点の顔モデルが、異なる例示的実施形態で使用され得る。例えば、特定の例示的実施形態では、６８点の顔モデルが使用され得る。６８点のモデルは、精度の観点から縁を有するが、５点のモデルの使用が、特定の例示的実施形態では、非常に高い性能でありため、使用され得ることが見出されている。例えば、５点のモデルは、複数のカメラフィードを一度に処理しながら利用可能なより多くのリソースを保つ際に有用であり得る。これらのモデルの両方は、顔の正面が画像内で明確に視認可能であるときに最良に機能する。赤外線（ＩＲ）照明及び／又はＩＲ照明されたカメラは、顔が照明されることを確実にし、したがって、正面の顔撮像を支援するために使用され得る。ＩＲ照明は、ユーザを妨害するものではないため有利であり、全体的なシステムにとって、顔の特徴を取り込むことを助け得、このため、精度を改善することを助け得るため、有利である。ＩＲ照明は、例えば、低光状況（博物館で典型的）及び高照明環境（例えば、ウォッシュアウトが発生し得る場合）を含む、様々な設定で有用であり得る。

Ｄｌｉｂの形状予測アルゴリズムは、特定の例示的実施形態で、精度を改善することを助けるために使用され得る。カメラの位置決めは、正確な顔取り込み及び特徴検出を支援するために、特定の用途に合わせて調整され得る。例えば、多くのシーンは、自身よりも下にあるものと対話する人々を伴い、そのため、より低いカメラを有することが、下を見るとき、及び上から撮像される場合に頭部が顔を別様に遮るときに、データを取り込むことを助け得ることが見出されている。一般に、カメラは、ほとんどの対話が起こる可能性が高い場所を考慮して配置され得、この場所は、眼の高さ若しくはその上、又は代替的に眼の高さの下であり得る。特定の例示的実施形態では、複数のカメラが、例えば、異なる高さの個人、垂直に離間された対話エリアなどを考慮するために、ユニット内に配置され得る。そのような状況では、あまり妨害されない、及び／又はより多くの顔特徴を提供するカメラからの画像が、顔検出のために使用され得る。

顔検出は、画像内の顔のランドマーク点を見つけるものと考えられ得る。一方、姿勢推定は、顔検出中に検出されたそれらのランドマーク点と、既知の顔モデルの静的ランドマーク点との間の位置の差を見つけるものと考えられ得る。これらの差は、２次元画像点から３次元測定値を推定するために、カメラ自体に関する情報（例えば、較正中に以前に収集された情報に基づく）と併せて使用され得る。この技術的課題は、通常、透視ｎ点（Perspective-n-Point、ＰｎＰ）と呼ばれ、ＯｐｅｎＣＶは、特定の例示的実施形態の文脈で、それを解決するために使用され得る。

ビデオを取り込むとき、ＰｎＰもまた、反復的に解かれ得る。これは、特定の例示的実施形態で、顔の最後の既知の場所を、新しい画像内でその顔を再び見つけることを支援するために使用することによって実施される。新しいフレームごとに繰り返し実行する姿勢推定は、高い性能コストを伴い得るが、そうすることは、より一貫した正確な測定値を提供することを助け得る。例えば、非常に不正確なデータのスパイクは、反復的に解くときに非常に稀である。

カメラが誰かの顔の側面に向けられているとき、検出は、多くの場合、成功する可能性が低い。顔を妨害するもの（髭、眼鏡、帽子など）もまた、何であれ、検出を困難にし得る。しかしながら、特定の例示的実施形態では、顔姿勢推定に対する畳み込みニューラルネットワーク（ＣＮＮ）ベースの手法が、顔輪郭の潜在的により良好な結果を提供し、他の課題を解決する際に実装され得る。Ｊｅｔｓｏｎｔｋ２で実行されるＯｐｅｎＰｏｓｅは、全身ポーズのための１５ｆｐｓのフレームレートを達成し得、ＣＮＮベースの手法が、このデータ上で実行され得る。代替的に、又は追加的に、ＣＮＮベースの手法は、タッチ時に撮影された静止画像上で実行され得る。

図１１は、特定の例示的実施形態による、ユーザ視点を位置特定するためのフローチャートである。ステップ１１０２では、コンピュータビジョンのために使用されることになるカメラごとに、モジュールは、そのカメラの較正データを作成するために実行される。上記のように、較正は、特定の例示的実施形態では、自動であり得、前もって（例えば、設置、配備、及び／又はアクティブ化の前に）潜在的に行われ得る。例えば、上記のように、グリッド又は他の既知の幾何学的構成を投影し、予想されるものと比較して示されるものの歪みを調べることが可能である。特定の例示的実施形態では、別個の較正ファイルが、各カメラに対して作成され得る。この較正データ作成操作は、所与のカメラに対して、そのカメラが正常に較正された後に繰り返される必要はない（例えば、カメラの特性が、例えば、レンズの交換などによって変化しない限り）。ステップ１１０４では、関連するカメラ較正データは、メインアプリケーションに読み込まれ、それらのカメラへの接続は、それら自体のプロセスで開かれて、読み出しフレームを開始し、それらを共有メモリフレームバッファにコピーする。ステップ１１０６では、フレームが、共有メモリフレームバッファから取得され、そのカメラの較正データを使用して歪み除去される。フレームの取出し及び歪み除去は、特定の例示的実施形態では、それ自体の処理スレッドで実施され得る。マルチコア処理が、特定の例示的実施形態で、例えば、スループットの改善、一定のスループットによる精度の向上などを助けるために実装され得ることに留意されたい。

歪み除去されたフレームは、ステップ１１０８でそれらに対して実施される正面顔検出を有する。特定の例示的実施形態では、画面上の最も面積を占める顔形状のみが通過される。最大の顔に沿ってのみ通過することによって、全ての顔に対する姿勢推定を実行する作業を回避することによって、性能が改善され得る。この戦略に対する１つの考えられる不利な面は、注目がカメラに最も近い顔に与えられる可能性が高く、タッチガラスインターフェースに最も近い顔ではないことである。この手法は、それでもなお、特定の例示的事例で良好に機能し得る。特定の例示的実施形態では、最大の顔のみを使用するこの手法は、例えば、これらの欠点の一部を回避することを助けるように、特定の例示的実施形態では、後のデータ処理でｚ軸ソート又は他のアルゴリズムで補足又は置換され得る。深さを判定するための画像処理技術は、既知であり、異なる例示的実施形態で使用され得る。これは、カメラ、タッチ場所、タッチパネルなどに最も近い顔を判定することを助け得る。動き又は身体追跡は、複数の考えられるユーザのうちのどのユーザがタッチパネルと対話したかの判定を支援するために使用され得る。つまり、動き又は身体追跡は、事後に、タッチパネルにタッチする手に接続された腕、その腕に接続された身体、及びその身体に接続された頭部を判定するために使用され得、そのため、顔追跡などが、本明細書に説明されるように実施され得る。身体追跡は、頭部及び／又は顔追跡を含み、視線座標などは、いくつかの事例では、身体追跡から推測され得る。

ステップ１１１０で判定されるように任意の顔が検出される場合、その顔検出からのデータは、ステップ１１１２では、使用されるカメラからの較正データと共に、姿勢推定を介して実行される。これは、使用されるカメラに関して、検出された顔の並進ベクトル（「ｔｖｅｃ」）及び回転ベクトル（「ｒｖｅｃ」）座標を提供する。顔が以前のフレーム内に位置している場合、その場所は、特定の例示的実施形態では、姿勢推定を反復的に実施するために活用され、それによって、いくつかの事例では、より正確な結果を提供し得る。顔が見失われた場合、ｔｖｅｃ及びｒｖｅｃのキャッシュされた変数は、リセットされ得、アルゴリズムは、別の顔が見つかったときにスクラッチから開始し得る。これらのローカル顔座標から、ユーザの眼の間に直接位置する点のローカル座標を判定することが可能になる。この点は、特定の例示的実施形態のユーザの視点として使用され得る。共有メモリ場所（例えば、各カメラに１つ）内の顔データバッファが、ステップ１１１４で、変換された座標内の直近のユーザの顔の場所を反映するために更新される。ステップ１１０６～１１１０は、メインアプリケーションが実行している間に連続的に実行され得ることに留意されたい。

特定の例示的実施形態では、画像及び／又はビデオ取得は、上記に論じられたように共有メモリバッファ内にコンテンツを配置し得る。コンテンツは、例えば、静止画像、ビデオファイル、ビデオファイルから抽出された個々のフレームなどであり得る。本明細書に論じられる顔検出及び姿勢推定操作は、共有メモリバッファからのコンテンツ上で実施され得、そこからの出力は、例えば、更なる処理のために（例えば、タップ座標を顔座標情報とマッピング処理するために）、共有メモリバッファ又は別個の共有メモリ顔データバッファに戻され得る。

特定の例示的実施形態は、ユーザの優位眼を判定しようとし得る。これは、いくつかの事例では、ユーザの「視点」を優位眼に向かって、又は優位眼に完全にシフトすることによって、ユーザの標的選択の精度を改善することを助け得る。特定の例示的実施形態では、顔（及びそれらの視点）は、コンピュータビジョン技術を通じて純粋に位置特定される。精度は、特定の例示的実施形態では、立体カメラ及び／又は赤外線センサを使用して、姿勢推定アルゴリズムを補足するか、又は更に置換することによって、改善され得る。

ここで、上記に示唆された顔データバッファプロトコル及び構造に関する例示的な詳細が提供される。特定の例示的実施形態では、顔データバッファは、共有メモリスペース内に位置する１７要素のｎｐ．ａｒｒａｙである。１７要素配列内の位置０は、データが有効な顔であるか否かを示す。データが無効である場合、このビデオストリーム内に検出された顔が存在しないことを意味し、位置０は、０に等しくなる。一方、この位置の１は、有効な顔が存在することを示すことになる。値が０である場合、この構造の位置要素もまた、０であり得、それらは、単に、顔が検出された最後の位置を保持し得る。

残りの要素は、シーン原点に対する、検出された顔の形状及び位置に関するデータである。以下の表は、配列構造の内容に関する詳細を提供する：

これらの値を構文解析するために、それらは、ｎｐ．ａｒｒａｙから、適切な形状（複数可）である１つ以上の他のｎｐ．ａｒｒａｙにコピーされ得る。例えば、ｐｙｔｈｏｎオブジェクト「ｆａｃｅ．ｐｙ」は、コピー及び形状変換を実施し得る。ｔｖｅｃ及びｒｖｅｃ配列は、各々、３×１配列であり得、２Ｄ顔形状配列は、５×２配列であり得る。

上記に示唆されたように、身体追跡は、特定の例示的実施形態で使用され得る。内蔵身体追跡（ＧＰＵサポートも有するＯｐｅｎＰｏｓｅのような）を有する市販のコンピュータビジョンフレームワークへの切り替えは、ユーザがより広範な角度から検出されることを可能にすることによって、ユーザ場所検出に追加の安定性を提供し得る。身体追跡はまた、同じ「骨格」に接続されたユーザの頭部（及び最終的には視点）に対するタッチ点の近接度における指の相関を容易にし得るため、複数のユーザがタッチパネルと一度に連動することを可能にし得る。
ユーザのタッチ点を位置特定するための例示的技術

様々なタッチ感知技術が、異なる例示的実施形態と関連して使用され得る。これは、例えば、安定かつ正確な様式でタッチ入力に応答するために非常に迅速である傾向がある、容量性タッチ感知を含む。より正確なタッチパネルを使用すると、複数のタッチ入力を一度に許容することにより、視差ハードウェアを制御するために標準又は他のタッチ画面ジェスチャを使用する可能性を有利に開く。

例は、ＲａｓｐｉａｎＳｔｒｅｔｃｈＬｉｔｅ（ｋｅｒｎｅｌｖｅｒｓｉｏｎ４．１４）を実行するＲａｓｐｂｅｒｒｙＰｉ３上のプログラム論理自体の環境で実行される、局所化されたタッチデータを認識、変換、及び投稿することに関連するプログラム論理を用いて構築された。この例では、２つのタッチセンサ、すなわち、８０及び２０タッチ変形例を含んだ。各センサは、それ自体のコントローラを有していた。３ＭＴｏｕｃｈＳｙｓｔｅｍｓ９８－１１００－０５７９－４が、２０タッチセンサ用に提供され、３ＭＴｏｕｃｈＳｙｓｔｅｍｓ９８－１１００－０８５１－７コントローラが、８０タッチセンサ用に提供された。Ｐｙｔｈｏｎに書き込まれたドライバが、これらのコントローラからのデータを初期化及び読み出すために使用された。同じＰｙｔｈｏｎコードが、各コントローラ上で使用された。

メッセージバスと関連して実装される、出版／購読型モデル、又はその変形例に基づくタッチパネルメッセージブローカが、制御論理にタッチ関連イベントを配信することを助けるために使用され得る。例では、Ｐｉ３は、バックグラウンドサービスとしてモスキートと呼ばれるオープンソースＭＱＴＴブローカを実行した。この出版／購読型サービスは、タッチパネルとその現在の状態を知ることを望んだアプリケーションとの間のメッセージバスとして使用された。バス上のメッセージは、トピックに分割され、これらは、どのパネルが何の目的のために何のデータを同報したかを正確に識別するために使用され得る。個々のドライバは、使用される異なるタッチコントローラとの通信を容易にするために使用され、これらのドライバは、ブローカに接続されたクライアントを実装した。

ガラス構成ファイルは、例えば、ＵＳＢアドレス、寸法、シーン内の位置などのセンサの態様を定義し得る。詳細については以下の例示的ファイルを参照されたい。構成ファイルは、「／ｇｌａｓｓ／ｃｏｎｆｉｇ」のＭＱＴＴトピックを購読した任意のクライアントに送信され得る。構成ファイルは、ドライバが起動したとき、及び要求がトピック「／ｇｌａｓｓ／ｃｏｎｆｉｇ／ｇｅｔ」に出版されたときに、バス上に発せられ得る。図１２は、特定の例示的実施形態と関連して使用され得る、例示的なガラス構成ファイルである。

以下の表は、特定の例示的実施形態でバスに発せられ得るタッチセンサに関するＭＱＴＴトピックのリストを提供する。

上記に基づいて、図１３は、特定の例示的実施形態による、視差補正のためのタッチドライバと関連して使用され得るハードウェア構成要素を示すブロック図である。図１３は、ＺＩＦコントローラによって第１及び第２のシステムドライバ１３０４ａ、１３０４ｂにそれぞれ接続されている、第１及び第２の透明タッチパネル１３０２ａ、１３０２ｂを示す。第１及び第２のシステムドライバ１３０４ａ、１３０４ｂは、次に、ＵＳＢ接続を介してローカルコントローラ１３０６に接続される。ローカルコントローラ１３０６は、タッチパネル１３０２ａ、１３０２ｂとの対話に基づいて、制御ドライバ１３０４ａ、１３０４ｂからデータを受信し、対応するイベントをイベントバス１３０８に（例えば、上記のトピック上で）発する。イベントバス１３０８に出版されたイベントは、遠隔コンピューティングシステム１３１０で選択的に（例えば、出版／購読型モデル又はその変形例に従って）受信され得る。遠隔コンピューティングシステム１３１０は、イベントを受信し、受信されたイベントに基づいて関連する出力を生成するように構成されている、例えば、少なくとも１つのプロセッサ及びメモリなどの処理リソースを含み得る。例えば、遠隔コンピューティングシステム１３１０の処理リソースは、タッチ入力に基づいて、音声、ビデオ、及び／又は他のフィードバックを生成し得る。１つ以上のカメラ１３１２は、上記のように遠隔コンピューティングシステム１３１０に接続され得る。特定の例示的実施形態では、ローカルコントローラ１３０６は、ネットワーク接続を介してイベントバス１３０８と通信し得る。

異なる例示的実施形態では、より多い又は少ないタッチパネルが使用され得ることが理解されるであろう。また、異なる例示的実施形態では、同じ又は異なるインターフェース、接続などが使用され得ることも理解されるであろう。特定の例示的実施形態では、ローカルコントローラは、遠隔コンピューティングシステムによって取り扱われるものとして上記の操作を実施し得、逆もまた同様である。特定の例示的実施形態では、ローカルコントローラ及び遠隔コンピューティングシステムのうちの１つは、省略されてもよい。

図１４は、特定の例示的実施形態による、タッチドライバと共に使用するためのプロセスを示すフローチャートである。起動は、ステップ１４０２で示されるように、タッチパネル構成ファイルに関連するプロセスによって開始する。ローカルコントローラは、ステップ１４０４で、ＵＳＢ又はタッチパネルドライバへの他の適切な接続を開く。タッチパネルドライバは、ステップ１４０６で、それらのそれぞれの状態に関するレポートをローカルコントローラに送信する。この状態情報は、関連付けられたタッチパネルが接続され、給電され、タッチ情報を送信する準備ができていることなどを示し得る。タッチパネルドライバのうちの１つが実行し始めると、それは、ステップ１４０８に示されるように、それがＭＱＴＴブローカを介して管理するパネルに関連するガラス構成データを発する。このメッセージは、「新しい」タッチパネルが使用の準備が整っているということをメインアプリケーションに警告し、また、それが属するシーンの文脈で、ガラスパネルの形状及び配向も定義する。このデータが再び具体的に求められない限り（例えば、ローカルコントローラ上で実行しているメインアプリケーションによって）、これは、一度のみ送信される。

ドライバは、ステップ１４１０でタッチパネルからデータを読み出す。データは、典型的には、チャンクで出力され、したがって、所定のサイズのチャンクで読み出され得る。特定の例示的実施形態では、図１４のステップ１４１０に示されるように、６４バイトのチャンクが読み出され得る。この点に関して、図１３、図１４が基づく例示的なシステムは、タッチパネル上にタッチセンサを含み、タッチセンサの各々が、一度に１０のタッチに関するデータを登録及び出力し得る。一度により多くのタッチを読み取ることが所望される場合、より多くのデータが読み出される必要があり得ることが理解されるであろう。チャンクサイズがどのサイズあるかにかかわらず、ステップ１４１２は、各チャンクが所定のサイズに従って適切に読み出されていることを確認し、適切なときに、ドライバに、より多くのデータを読み出すように促す。

タッチは、ステップ１４１４で、ドライバによって読み取られる。ステップ１４１６で判定される際に、読み取られるより多くのタッチが存在する場合、プロセスは、ステップ１４１０に戻る。そうでなければ、タッチレポートが生成される。つまり、タッチがタッチパネル上に物理的に配置されると、そのドライバは、適切な単位（例えば、ミリメートル）に変換されたタッチのローカル座標を有するタッチメッセージ又はタッチレポートを発する。このメッセージはまた、タッチが発生したときのタイムスタンプ、タッチの状態（この場合は、下）、及びタッチされたパネルの一意の識別子も含む。同一の「タップ」メッセージもまた、この時点で送信され、これは、上述の「タッチ」メッセージとは別個に購読され得る。タップメッセージを購読することは、パネルにわたる任意のドラッグ又は他の動きとは対照的に、パネル上の指の着地を追跡することが所望される場合に考慮され得る。タッチが設定されたタッチパネルにわたって物理的に移動すると、ドライバは、元のダウンタッチメッセージと同じデータフォーマットを有する「ダウン」タッチメッセージを発し続ける。タッチが最終的にタッチパネルから持ち上げられると、別のタッチメッセージが、「ｕｐ」状態を除いて以前のタッチメッセージと同じデータフォーマットで送信される。新しいタッチが発生するといつでも、これらの操作が繰り返される。そうでなければ、ドライバは、単にイベントを待機することを実行する。

この手順は、ローカルコントローラがステップ１４１８でタッチレポートを読み出すことを伴う。タッチレポートのタイプに関する判定が、ステップ１４２０で行われる。タッチダウンイベントは、ステップ１４２２でイベントバスに発せられている好適なイベントを結果的にもたらし、タッチアップイベントは、ステップ１４２４でイベントバスに発せられている好適なイベントを結果的にもたらす。上記に論じられた例は、タッチ／タップイベントに関するが、本明細書に説明される技術は、例えば、スワイプ、スライド、ピンチ、リサイズ、ラビング、及び／又は他の操作などの、一般的に使用されるタッチジェスチャを検出するように構成され得ることが理解されるであろう。そのようなタッチジェスチャは、いくつかの事例では、より魅力的なユーザ体験を提供し得る、及び／又はより広範なユーザアクションを可能にし得る（例えば、少数の標的を含むシーンで）。
選択可能な標的を位置特定するための例示的技術

顔検出に使用されるものと同様のコンピュータビジョン技術を介して、標的が撮像されているシーン内の周りで移動する際に、標的をリアルタイムで追跡することが可能である。しかしながら、シーン内の全ての選択可能な標的が静的である場合、このリアルタイム追跡を必要としないことが理解されるであろう。例えば、既知の標的は、メインアプリケーションが実行する前にマッピングされ得る。所与のシーンの各標的の中心又は他の場所にＡｒＵｃｏ又は他のマーカを配置することによって、コンピュータビジョンを使用して、その標的の中心又は他の場所を推定することが可能である。各標的の場所データを一意の識別子及び半径若しくは主要距離値に紐付けることによって、例えば、各特定の標的が占有する空間は、ローカル座標系内にマッピングされ得る。このデータは、収集された後、様々なシーンで後から使用され得るファイルに保存され得る。特定の例示的実施形態では、マーカは、例えば、それらが関連付けられている物体を伴ってか、又は伴わずに、個別に、かつ独立して移動可能であり得る。したがって、標的マッピングは、特定の例示的実施形態では動的又は静的に行われ得る。

任意の標的を占有する空間は、特定の例示的実施形態で球体によって表され得る。しかしながら、他の標準的な幾何学的形状が、異なる例示的実施形態で使用されてもよい。例えば、所与の標的の実際の幾何学的形状を識別及び記憶することによって、それが占有する空間が、より正確に表され、潜在的により正確な標的選択を支援し得る。

いくつかの事例では、標的は、移動されることができないため、ＡｒＵｃｏ又は他のマーカは、この標的の外側に配置され得、報告されたデータは、その標的の真の中心又は他の基準場所を見つけるために手動で補正され得る。しかしながら、特定の例示的実施形態では、ＡｒＵｃｏ又は他のマーカを使用する代わりに標的自体を検出するために使用され得る標的モデルを訓練することによって、ＡｒＵｃｏ又は他のマーカを標的場所に手動で配置及びセンタリングすることによって誘発されるヒューマンエラーを低減することが可能であり得る。この標的モデルは、有利には、いくつかの事例では、ＡｒＵｃｏ又は他のマーカを、それが表す標的に適用する必要性を排除し得る。特定の例示的実施形態では、物体の場所は、物体の輪郭の２次元投影として定義され、それによって、いくつかの事例では、ユーザの視点とタッチ場所との間の計算されたベクトルとの交点を判定するための他の画像処理ルーチンを開き得る。追加的、又は代替的に、物体は、共通の２Ｄ投影形状（例えば、円、正方形、又は矩形など）、３Ｄ形状（例えば、球体、正方形、矩形プリズムなど）などとして定義され得る。共通の形状、輪郭、又は他のタグ付け手法が使用されるか否かにかかわらず、物体の表現は、特定の例示的実施形態では、物体の中心から発出する加重勾配であり得る。勾配手法を使用することは、特定の例示的実施形態では、例えば、どの物体が、近接する物体間の勾配に基づいて選択される可能性が高いかを判定することを助けるために、有利であり得る。例えば、関心対象の物体に近接するか、又は重なり合う場合、判定は、複数の勾配のうちのどれが対話によって関係付けられるかに関して行われ、それらのそれぞれの勾配の重みを判定し、より高い加重勾配を有する物体を、選択されている関心対象の物体であるとみなし得る。関心対象の物体を判定するための他の技術が、異なる例示的実施形態で使用されてもよい。

コンピュータビジョンを用いた標的マッピングは、顔追跡と関連して上記に説明されたものと同様の困難に遭遇し得る。したがって、同様の改善が、特定の例示的実施形態で標的マッピングを改善するために活用され得る。例えば、立体カメラ及び／又は赤外線センサを使用すること、カメラ較正プロセスを最適化すること、カメラ較正データなどをハードコードすることによって、収集された標的場所の精度を向上することが可能になる。
例示的シーン管理技術

シーンの全ての構成要素がグローバル座標空間内で観測可能でない限り、それらの構成要素間の関係を知ることができない場合がある。顔、タッチ、及び標的の場所データを収集するための上記に論じられた技術は、ローカル座標空間内でそのようにする。コンピュータビジョンが関与するとき、顔及び標的場所と同様に、そのローカル座標空間の原点は、典型的には、使用されるカメラの光学中心にあると考えられる。タッチパネルが関与するとき、タッチ場所と同様に、そのローカル座標空間の原点は、典型的には、使用されるタッチパネルの左上の角にあると考えられる。これらのデバイス上の原点と所定のグローバル原点との間の物理的差異を測定することによって、任意の提供されたローカル座標をグローバル座標空間に変換するために十分な情報を収集することが可能になる。これらの変換は、標準的な３次元幾何学的並進及び回転アルゴリズムを使用して実行時に実施され得る。

各タッチパネルが、それに適用された個々のタッチを報告し、他のパネルに適用されたタッチを報告しないため、タッチインターフェースは、一般に、別個のソースからの重複するタッチポイントを報告しない。しかしながら、マルチカメラコンピュータビジョンプロセスによって報告された場所について、同じとは言えない。カメラ視野内でいくつかの重なり合いがあることが可能であり、かつ多くの場合望ましいため、１つの物体が別個のカメラによって各々提供された別個の画像で数回検出され得ることも可能である。このため、顔の場所データのプールから重複するユーザを除去することが望ましい場合がある。

図１５は、特定の例示的実施形態と関連して使用され得る、重複する顔を除去するための例示的なプロセスを示すフローチャートである。ステップ１５０２では、現在既知のグローバルな顔の場所は、それらが供給されたカメラフィードに基づいてグループに編成される。ステップ１５０４では、各グループからの各顔は、例えば、そのグループ内に任意の重複を有するかどうかを判定するために、その顔がないグループからの全ての顔と比較される。これは、中心又は他の定義された点が、互いに既定の近接度（例えば、３００ｍｍ）以内にない顔を非重複として処理することによって実施され得る。特定の例示的実施形態では、顔の場所は、その顔により近い、その他のグループからの他の顔がない場合、別のグループからの顔の場所の重複であると単に考えられる。グループ内の顔は、同一のカメラソースから導出された各顔が、異なる顔（したがって、異なるユーザ）を表すと考えられ得る信頼性が高いため、互いに比較される必要がないことが理解されるであろう。

ステップ１５０６では、顔が重複しているか否かに関しての判定が行われる。重複する顔は、ステップ１５０８で、それらがどのカメラからのものであるかにかかわらず、新しいグループに一緒に配置される。より多くの重複が発見されると、それらは、それらの他の重複と同じグループに配置される。ステップ１５１０では、重複なしの顔が、それら自体の新しいグループに配置される。各新しいグループは、ここで、各個々のユーザの顔の既知の場所（複数可）を表すべきである。

重複する顔の場所の各グループは、ステップ１５１２で平均化される。ステップ１５１４では、各平均の顔の場所は、ユーザの顔の場所の単一のソースとして導出された場所のグループの値を置換する。その結果、任意のカメラによって現在取り込まれているユーザの量と一致する既知のユーザの顔の場所の単一のリストが存在するべきである。

特定の例示的実施形態では、ユーザがタッチインターフェースをタップするとき、現在のシーン内の全ての既知のグローバルな場所（例えば、ユーザの顔、タッチ、及び標的）の目録が得られる。次いで、これらの別個の構成要素の関係が、選択が行われたかどうかを確認するために分析される。この点に関して、図１６は、特定の例示的実施形態で標的識別がどのように実施され得るかを示すフローチャートである。タップデータは、ステップ１６０２で受信される。共有メモリバッファからの最新の顔データは、ステップ１６０４で取得される。

最も近いユーザの視点で始まり、現在のタッチ点又は現在のタップ場所で終わる３次元ベクトル／線が、ステップ１６０６で定義される。そのベクトル又は線は、ステップ１６０８では、任意の標的を合理的に越えている終点に向かってタッチインターフェースを「通って」延在される。距離は、例えば、最も遠い既知の標的場所のｚ座標に基づいて、所定の限界（例えば、５０％超、２倍など）であり得る。ステップ１６１０では、線形補間が、タッチインターフェースを越えて延在する線の部分上に位置する高密度の一連の点を見つけるために使用される。

一度に、タッチインターフェースから外向きに（又はいくつかの他の所定の順序で）、ステップ１６１２で、これらの補間された点のうちのいずれかが、各既知の標的の占有空間内に位置するか否かが判定される。各標的が占有する空間が球体によって現在表されているため、チェックは、所与の標的の中心から補間された点までの距離がその標的の既知の半径未満であるか否かを単純に判定することを伴い得る。プロセスは、ステップ１６１４に示されるように、チェックするためのより多くの点が存在する間、繰り返す。例えば、本明細書の説明から理解されることになるように、ユーザが対話し得る各関心対象の物体は、共通座標系内に位置し、共通座標系内の場所のうちの１つが、共通座標系内の視線座標から共通座標系内のタッチ座標を通って、かつタッチ座標を越えて延在する、仮想線の閾値距離内に入るか否かに関して判定が行われ得る。例えば、図４の物体１００’’と交差する視線角度１０６ａ’’、図５の物体５００と交差する視線角度５１２、並びに図６の点Ａ～Ｃ及び標的６０２ｃと共に、対応する説明を参照されたい。

一旦、これらの補間された点のうちの１つが所与の標的内にあると判定されると、その標的が選択されるとみなされ、情報がステップ１６１６でイベントバスに発せられる。例えば、選択された標的のＩＤは、ＭＱＴＴトピック「／ｐｒｏｊｅｃｔｏｒ／ｓｅｌｅｃｔｅｄ／ｉｄ」を介して発せられ得る。交差分析のための標的及び点は、ステップ１６１８に示されるように、停止する。全ての点が単一の標的交差を見つけることなく分析される場合、標的が選択されず、ユーザのタップが消失されたと考慮される。ここでも、交差分析のための目標及び点は、ステップ１６１８に示されるように、停止する。特定の例示的実施形態は、標的がベクトルの所定の距離内などにある場合、タッチされるべき標的と考慮し得る。言い換えると、幾分の許容差が、特定の例示的実施形態で許容され得る。

図１７は、特定の例示的実施形態による、タップが受信されたときに行われ得る例示的なプロセスを示すフローチャートである。シーン管理に関与するメインアプリケーションは、カメラ（複数可）及びタッチパネルに必要な全ての構成情報を引き込み、それらが提供するローカルデータを連続的に収集するプロセスを初期化する。その情報は、イベントバス１３０８に出力される。ステップ１７０２では、タップ又は他のタッチ関連イベントが発生したか否かに関して判定が行われる。否定の場合、アプリケーションは、ステップ１７０４に示されるように、イベントバス１３０８上に発せられることになる関連イベントを待機し続ける。肯定の場合、ローカルデータは、ステップ１７０６で、例えば、メインアプリケーションで収集されているように、グローバル座標空間に変換される。ローカル原点とグローバル原点との間の測定値は、ＪＳＯＮ又は他の構造化ファイルに記録され得る。しかしながら、特定の例示的実施形態では、ハードウェア構成ウィザードは、カメラ較正後、かつメインアプリケーションがこのプロセスを支援するために実行する前に、実行され得る。

グローバル変換後、顔データがステップ１７０８で取得され、ステップ１７１０で顔データが統合され、重複するデータが排除される。図１５及びこの点に関して関連付けられた説明を参照されたい。ステップ１７１２で最も近い顔が識別され、ステップ１７１４で選択された顔が有効であるか否かが判定される。有効な顔が見つからない場合、ステップ１７０４に示されるように、プロセスは、待機し続ける。しかしながら、有効な顔が見つかった場合、ステップ１７１６で、タップ及び顔データが処理される。つまり、標的選択は、図１６と関連して上記に説明されたように、線形補間を介して実施される。標的が選択される場合、ユーザは、適切なフィードバックを提供される。次いで、プロセスは、例えば、ステップ１７０４に戻ることによって、更なる入力を待機し得る。

補間された点を使用して、標的が選択されたか否かを検出する手法は、いくつかの事例では、それらの点の間にいくつかの死角を残し得ることが理解されるであろう。線の標的交差は、これらの死角で消失され得る可能性がある。この問題は、標的交差のために線全体（それに沿った点のみの代わりに）をチェックすることによって回避され得る。標的が球体によって現在表されているため、標準線－球体交差が、この問題に対処することを助けるために、特定の例示的実施形態で活用され得る。この手法はまた、タップ当たりの数学的チェックが結果的により少なくなり得るため、特定の例示的事例で、より高い性能であることも証明し得る。死角問題を回避するための別のやり方は、光線－球体交差を使用することを伴い得る。この技術は、標的の深さを越えて線の終点を設定する必要がないため、有利であり得る。これらの技術は、上記の線形補間技術の代わりに、又はそれらと一緒に使用され得る。

特定の例示的実施形態は、選択目的の較正及び／又は確認のためにカーソルを投影し得る。特定の例示的実施形態では、カーソルは、選択が行われた後に表示され得、ユーザは、選択を確認すること、物体検出のための初期較正及び／又は訓練を提供することなどのために、カーソルを手動で移動させ得る。
例示的店頭使用事例

本明細書に開示される技術は、特定の例示的実施形態では、店頭と関連して使用され得る。店頭は、いくつかの事例では、大判の、パネル化された、潜在的に壁高のユニットであり得る。タッチパネルは、絶縁ガラス（ＩＧ）ユニットに接続されるか、又は別様に構築され得る。ＩＧユニットは、典型的には、基板の周縁の周囲に提供されたスペーサシステムを介して互いに分離された第１及び第２の実質的に平行な基板（例えば、ガラス基板）を含む。基板間の間隙又は空洞は、不活性ガス（例えば、アルゴン、クリプトン、キセノンなど）及び／又は酸素で充填され得る。特定の例示的実施形態では、透明タッチパネルが、基板のうちの１つに代わり得る。他の例示的実施形態では、透明タッチパネルは、基板のうちの１つに積層されるか、又は別様に接続され得る。更に別の例では、透明タッチパネルは、基板のうちの１つから離間され得、例えば、三重（又は他の）ＩＧユニットを有効に形成する。透明タッチパネルは、例えば、通行人がそれと対話する機会を有するように、最も外側の基板であり得、店舗又は他の会場の外側に配向され得る。

図１８Ａ～図１８Ｃは、例示的な店頭の描写であり、特定の例示的実施形態の技術がどのようにその中に組み込まれ得るかを実証する。図１８に示されるように、ユーザ１８０２は、透明ディスプレイ１８０６を有する店頭１８０４に接近する。透明ディスプレイ１８０６は、「通常の」窓であるように見え、その後方に腕時計１８０８、及び数個の異なる色／材料の見本選択肢１８１０を有する。腕時計１８０８は、面１８０８ａ及びバンド１８０８ｂを含む。腕時計１８０８及び／又は見本１８１０は、異なる事例で、現実又は仮想の物体であり得る。見本は、この例では球体形状であるが、異なる例示的実施形態では、他のサイズ、形状、質感などが使用されてもよい。

ユーザ１８０２は、ここでは、静的ではなく動的である店頭１８０４と対話することができる。いくつかの事例では、ユーザ対話は、暗黙的又は明示的に（例えば、ディスプレイ上に表示されたメッセージを有することなどによって）促され得る。この事例における対話は、ユーザ１８０２が色見本１８１０のうちの１つを選択して、時計バンド１８０８ｂの色を変化させることができることを伴う。したがって、対話は、現実又は仮想の物体を使用して「透過的に」発生する。この場合、着色は、タッチされた物体と位置合わせして提供されず、代わりに別個の標的と位置合わせされて提供される。異なる例示的実施形態は、タッチされた物体と位置合わせされた着色を提供してもよい（例えば、変化した外観又は選択を示すために強調の形態としてなど）。

図１８Ｂでは、較正されたカメラ１８１２は、ユーザ１８０２、及び透明ディスプレイ１８０６の後方の物体（この場合、時計バンドの色及び／又は材料の配列である）を見る。ユーザ１８０２は、表示されるべきバンド色に対応する色見本において、透明ディスプレイ１８０６上を単純に指す。システムは、どの色が選択されているかを判定し、それに応じて時計バンド１８０８ｂの色を変更する。図１８Ｂに示されるように、例えば、タッチ位置Ｔ及び視点Ｐが判定される。視点Ｐからタッチ位置Ｔを通過する線Ｘの延長が計算され、物体Ｏと交差するように判定される。

時計バンド１８０８ｂの色は、例えば、プロジェクションマッピングされたモックアップを変更することによって変更され得る。つまり、時計バンド１８０８ｂに対応する物理的製品は、特定の実施形態例では、透明ディスプレイ１８０６の後方に存在し得る。プロジェクタ又は他の照明源は、ユーザ１８０２によって選択された色に基づいて選択的に照明し得る。

図１８Ｃから理解されるように、ユーザの眼を介して、体験は、窓を通して見る際に、シームレスであり、直感的である。ユーザは、所望の物体においてガラス上で単にタッチするだけであり、次いで、結果が提供される。例えば、設計されたインターフェースに依存して、ドラッグ、ドロップ、及びマルチタッチジェスチャもまた、可能である。例えば、ユーザは、色を時計バンドまでドラッグし、それをそこでドロップして、色変化をトリガすることができる。

図１８Ａ～図１８Ｃに示され、それらの図と関連して説明される例は、大型のプロジェクションマッピングされた物理的物品を伴うが、他の出力タイプが提供され得ることが理解されるであろう。例えば、更新可能なディスプレイは、ガラス上に投影されること（例えば、ヘッドアップディスプレイなどとして）などによって、従来のディスプレイデバイス（例えば、ＬＣＤデバイスなどのフラットパネルディスプレイ）上に提供され得る。特定の例示的実施形態では、ディスプレイデバイスは、ユーザのモバイルデバイス（例えば、スマートフォン、タブレット、又は他のデバイス）であってもよい。ユーザのモバイルデバイスは、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、ＮＦＣ、及び／又は他の通信プロトコルを介して制御システムと同期し得る。いくつかの事例では、対話用のカスタムウェブページが生成され、ユーザに対して表示され得る。他の事例では、モバイルデバイス上で実行している別個のアプリが、店頭に近接したときにアクティブ化され、次いで、対話に基づいてアクティブ化及び更新され得る。

同様に、この手法は、店内ディスプレイの自立型ガラス壁（例えば、衣類及び靴区分の角にあるマネキンスタンドの正面）又は開放型ディスプレイと関連して使用され得る。
例示的ディスプレイケース使用事例

例示的店頭使用事例と関連して上記に説明されたものと同じ又は同様の技術は、例えば、小売及び／又は他の施設のディスプレイケースに使用され得る。ディスプレイケースは、窓サイズの標準ユニットなどであり得る。図１９は、ディスプレイケースの描写であり、特定の例示的実施形態の技術がどのようにその中に組み込まれ得るかを実証する。図１９の例は、図１８Ａ～１８Ｃと関連して上記に論じられた例に関連し、同様に機能し得る。

特定の例示的実施形態では、ディスプレイケースは、食料品店などの冷凍庫又は冷蔵庫であり得、例えば、エネルギーを節約し、より興味深い体験を提供するために、顧客が冷却器のドアを開かずに、代わりに、選択を行うために単純にガラス又は他の透明媒体をタッチして、商品販売機が自動販売機であったかのように、選択された物品（例えば、１パイントのアイスクリーム）を送達させる。
例示的博物館使用事例

博物館は、多くの場合、訪問者がそれらの展示にタッチすることをやめるように望む。ただし、対話は、依然として、多くの場合、訪問者と連動するやり方として望ましい。特定の例示的実施形態の技術は、これらの懸念に対処することを助け得る。例えば、店頭タイプのディスプレイ、ディスプレイケースタイプのディスプレイなどが、直前の２つの使用事例で論じられたものと同様の様式で構築され得る。そのようにすると、特定の例示的実施形態は、タッチすることを望む人々の本来の傾向の利点を得つつ、新しい経験を提供し、情報の隠れた深さを明らかにすることができる。

図２０Ａ～図２０Ｆは、例示的なカスタム博物館展示の描写であり、特定の例示的実施形態の技術がどのようにその中に組み込まれ得るかを実証する。図２０Ａに示されるように、ユーザ２０００は、ガラス又は他の透明筐体２００４の後方に位置する、大型の物理的地形２００２と対話する。透明筐体２００４は、タッチパネルを供給し、この例では、展示物を少なくとも部分的に包囲し、ユーザのタッチ及び／又は他の対話を追跡する。例えば、ユーザ２０００が関心対象の場所を発見すると、ユーザ２０００は、それらを単に指し、地形２００２及び／又はその部分が、より多くの又は異なる情報を提示するために変化する。特定の例示的実施形態では、物理的地形２００２の色は、その下に位置するモデル上に投影され得る。

図２０Ｂに示されるように、ユーザがマップ上の場所をタッチすると、更なる情報を有するディスプレイエリア２００６が提供され得る。ディスプレイエリアは、地形２００２上に投影され得るもの、筐体２００４上に示され得るもの（例えば、ヘッドアップディスプレイエリアで）、展示に接続された別個のディスプレイデバイスを介して表示され得るもの、ユーザのモバイルデバイスを介して表示され得るもの（例えば、博物館又は他のブランドのアプリ上で実行する）、訪問者に与えられたハードウェアの専用部品上に示され得るものなどである。

特定の例示的実施形態では、ディスプレイエリア２００６の位置は、動的に判定され得る。例えば、タッチされた物体に合わせて調整された視覚的出力は、少なくとも１つの透明タッチパネルのエリア上に投影され得、エリアは、視線座標から視認されるときに、関心対象の物体と重なり合わないエリア、タッチされた物体上に重ねられるように見えるエリア（例えば、タッチしているユーザの視点から）、タッチされた物体に隣接するが、それに重ならないように見えるエリア（例えば、タッチしているユーザの視点から）などである。特定の例示的実施形態では、ディスプレイエリア２００６の位置は、専用エリアであってもよい。特定の例示的実施形態では、複数のディスプレイエリアが複数のユーザに対して提供され得、それらのディスプレイエリアの場所は、他のユーザ（複数可）を妨害せずに選択するユーザに視認可能であるように、動的に選択され得る。

ディスプレイエリア２００６に示されるべきものの判定は、何の物体が選択されているかの判定に基づいて実施され得る。この点に関して、ユーザの視点及びタッチポイントの場所が判定され、それを通過する線が計算される。その線が地形２００２上の任意の事前に識別された物体と交差する場合、その物体は、選択されると判定される。選択に基づいて、ディスプレイエリア２００６内に表示されるべきコンテンツのルックアップが実施され得、コンテンツ自体が、好適なコンピュータ可読記憶媒体に対して検索され得る。動的な物理的／デジタル投影は、例えば、テキスト、音声、ビデオ、鮮明な拡張現実体験などの多種多様なマルチメディアコンテンツを提供するように設計され得る。この点に関して、ＡＲ体験は、必ずしもユーザが嵩張るヘッドセットを着用する必要がなく、複雑なコントローラをどのように使用するかを学習する必要がない。

図２０Ｂのディスプレイエリア２００６は、ＱＲ又は他のコードを含み得、モバイルデバイスなどを使用して、ユーザが、展示の一部分に関するより多くの情報を取得することを可能にする。特定の例示的実施形態では、ディスプレイエリア２００６自体が、対話の対象であり得る。例えば、ユーザは、パンジェスチャを使用して、スクロールアップ又はダウンして、追加のコンテンツを見ることができる（例えば、より多くのテキストを読む、更なる写真を見るなど）。特定の例示的実施形態では、これらの投影されたディスプレイエリア２００６、及び／又はその中のエリア（例えば、一般に、スクロールバーなど、及びユーザインターフェース要素）は、ユーザが対話し得る関心対象の物体として処理され得る。この点に関して、システムは、選択的又はレイヤオブジェクトを実装し得、それにより、ディスプレイエリア２００６は、ユーザがトップレベル選択を最初に行った場合に、線形補間などのみで考慮されることになるサブオブジェクトの一種として処理される。この種の複数のレイヤ又は入れ子は、異なる例示的実施形態で提供され得る。この手法は、博物館展示及び他の文脈に適用され得る。

図２０Ｃは、ディスプレイエリア２００６が地形自体にどのように提供され得るかを示す。図２０Ｄ～図２０Ｅは、例えば、ディスプレイエリア２００６が依然として表示されている間に、選択に関するより多くの情報を明らかにするために、全体又は一部の地形がどのように変化され得るかを示す。基礎をなす物理的モデルは、投影において、ディスプレイがユーザに対して「平坦」であると思われるように考慮され得る。

図２０Ｆは、画像を地形２００２上に投影する１つ以上のプロジェクタを示す。プロジェクションマッピングは、通常のプロジェクタと同程度に単純に機能するが、投影される表面の形状及び地形を考慮する。この結果は、透明ディスプレイと関連付けられたコストを伴わずに、非常に目を引くものである。プロジェクションマッピングは、そのグラフィックスが１つの視点のみではなく、多くの角度から視認可能である点で有利である。図２０Ｆはまた、カメラ２０１０が、特定の例示的実施形態で、例えば、システム全体のタッチ及び顔検出を支援するために、どのようにディスプレイ自体に組み込まれ得るかを示す。

上記のように、様々な出力デバイスが、異なる例示的実施形態で使用され得る。博物館展示の例示的使用事例、及び／又は他の使用事例では、ディスプレイタイプは、任意選択のコールアウトライトを有する印刷されたテキストパネル（古典的な博物館タイプの展示のような）、固定オフモデルディスプレイデバイス、固定オンモデルディスプレイデバイス、可動モデル及び／又はディスプレイ、アニマトロニクス、公共音声、モバイル／タブレットプライベート音声及び／又はビデオなどを含み得る。

マップ例が説明されたが、他の例示的な使用が、本明細書に開示される技術の利点を獲得し得ることが理解されるであろう。例えば、同様の構成は、車体及びエンジンの断面、家具及びそのアセンブリ、関連する歴史的イベント、ツールを指し、プロセスを例示するためのワークショップカウンタ、外側の模様の種類及び内部器官を示すための動物彫刻などの態様を示すために使用され得る。
例示的ヘッドアップディスプレイの使用事例

上記に示されたように、本明細書に説明される技術は、ヘッドアップディスプレイと関連して使用され得る。図２１は、この点についての例を示す。つまり、図２１では、前向きカメラ２１００が、ユーザ２１０２の視点を判定するために使用されるが、一方、標的に面するカメラは、タッチパネル２１０４と対話しているときに、ユーザ２１０２が見るもの（例えば、物体Ｏ）を識別するために使用される。例示的情報ディスプレイは、ＣＰＵ２１１０の制御下で、ＨＵＤ反射器２１０８によって反射されることになる画像を提供するヘッドアップディスプレイプロジェクタ２１０６によって提供され得る。
他の例示的使用事例

本明細書に開示される技術は、多種多様な異なる使用事例と関連して使用され得、上記の特定の例は、非網羅的である。一般に、障壁などの後方に関心対象の何かが存在する任意の場所で、透明タッチインターフェースは、ユーザの注意を引き、新規かつ魅力的な双方向体験を提供するために使用され得る。タッチ機能は、そのような障壁に一体化されてもよい。この意味の障壁は、平坦、湾曲、又は別様の形状であってもよく、少なくとも予想される対話場所で透明である部分的又は完全な障壁であり得る。一体型及び自立型壁の使用事例は、例えば、小売店頭、小売店内の販売ディスプレイ、博物館／動物園／史跡、観光地／展望台／進路確認場所、スポーツスタジアム、産業用の監視環境／制御室などを含む。小さい及び中程度の打抜きユニット（ショーケース及びディスプレイケース）は、例えば、小売ディスプレイケース（特に、高価値及び／又はカスタム用品）、博物館／動物園、レストラン及び食料品注文カウンタ、レストラン及び食料品の冷蔵、自動販売、輸送若しくは他の車両（例えば、航空機、自動車、バス、ボートなど、並びにその中の及び／又はその上の壁、ディスプレイ、窓など）、ゲーム、並びに／又は他のシナリオで使用され得る。カスタム解決策は、例えば、パブリックアート、マーケティング／公共イベント／パフォーマンス、センターピース、及び／又は他の環境内で提供され得る。観測エリアでは、例えば、少なくとも１つの透明タッチパネルは、障壁であり得、選択可能な物体は、ランドマーク又は観測エリアから視認可能な他の特徴（例えば、建物、道路、川及び山などの自然の特徴物など）であり得る。観測エリアは、現実又は仮想であってもよいことが理解されるであろう。「現実」の観測又は眺望エリアは、人工モニュメントから高層ビル、自然界までの範囲の様々な状況で提示されることが知られている。しかしながら、仮想観測エリアは、例えば、高層ビルを有していない都市、谷などの自然風景などのために、同様に提供され得る。特定の例示的実施形態では、ドローンなどが、静的対話のためのパノラマ画像を取得するために使用され得る。特定の例示的実施形態では、ドローンなどは、例えば、動的対話のために制御され得る。

いくつかの更なるユーザインターフェース（user interface、ＵＩ）、ユーザ体験（user experience、ＵＸ）、及び／又はヒューマン－マシン対話技術が、上記の例の代わりに、又はそれらと一緒に使用され得る。以下の説明は、数個のそのような概念を列挙する：

特定の例示的実施形態では、グラフィックスは、それらがグラフィックスを視認しているユーザのための視点内にあるように表面上に投影され得る（例えば、ユーザが表面に対して法線上にいないとき、及び／又は表面が平坦ではないとき）。この効果は、例えば、複数のユーザが、一度、システムと連動されたときに、どの視覚的情報がどのユーザに向かっているかを直感的に識別するために使用され得る。このようにして、特定の例示的実施形態は、個々の通行人に情報を標的化し得る。有利には、グラフィックスの使い勝手は、１つの視点から、及び／又は同じ若しくは同様のエリア内の視聴者のグループに対して向上され得る。視差システム内のカメラは、インターフェースを使用するグループ又は個人であるか否かを識別し、それに応じて出力を調整し得る。

特定の例示的実施形態は、ゲームをプレイしている２人のユーザの間のグラフィックスの視点をシフトすることを伴い得る（例えば、ユーザが表面に対して法線上にいないとき、又は表面が平坦ではないとき）。この効果は、例えば、要素が相手との間で前後に移動するゲーム（例えば、テニス又はパドルゲームなど）をプレイするときを含む、様々な状況で有用であり得る。ユーザのグループが同じディスプレイと対話するとき、グラフィックスは、各人の視点に残り得る。これは、グループ内の各ユーザが「主要な」視点にシフトする際などに、自動的に行われ得る。これは、例えば、ゲーム要素が１人のプレイヤから別のプレイヤに移動するとき（例えば、テニスボール、攻撃効果、魔法などを伴う場合であり得るように、１つのキャラクタから別のキャラクタに効果が発射又は送られるときなど）、１つのキャラクタによって対話されているゲーム要素が別のキャラクタに影響を及ぼすとき（例えば、１つのキャラクタが第２のキャラクタの上で爆弾を渡して、それらの作業を開始し、視点の所有者が、そのハンドオフに伴って変化する、爆弾の信管を抜くゲーム）、シーン要素が要素に最も近いユーザの視点を採用するとき（例えば、城の周囲を飛ぶユニコーンがユーザに接近すると、ユニコーンがユーザの正しい視点に入ってくる）などを含む、様々なシナリオで適用可能であり得る。

特定の例示的実施形態は、複数の並べて表示された視差認識透明タッチパネルユニットにわたるユーザ視点を追跡することを伴い得る。この効果は、有利には、ユーザがマルチユニットの視差認識設備にわたって移動している場合であっても、連続データ又は他の対話型体験（例えば、ユーザがインターフェースのサイトマップ内にいる場合）を提供するために使用され得る。例えば、情報は、より持続的に、かつ体験全体を通して使用可能に作製され得る。また、ゲームのための対話原動力としても使用され得る（例えば、投影された形状を、視認されていると考えられる視点に一致させることを伴う）。ユーザは、例えば、目標を達成するために、複数の視差ユニットにわたって彼／彼女の身体を移動させなければならず、この手法は、それを支援し得る。

特定の例示的実施形態は、優位眼識別回避策を提供することができる。１つの問題は、ユーザが常に２つの不揃いの視点（右眼のもの、左眼のもの）を受容しており、ユーザがタッチ選択を行うとき、ユーザは、一般に、優位眼の視点のみを使用しているか、又はユーザは、両方からのビューを平均化している。特定の例示的実施形態は、この問題に対処し得る。例えば、平均眼位置が使用され得る。この手法では、どちらの眼が優位であることを理解しようとする代わりに、検出は、両眼の間の直接的な点に基づき得る。この手法は、いずれかの眼のための直接的な視線を提供しないが、いくつかの事例では、全ての眼優位性に適応し、使用時に一貫することによって、タッチ検出を改善し得る。インターフェースを迅速に使用し、両眼を開くように促すと、ほとんど気にならない。別の手法は、１つの眼（例えば、右眼）のみを使用することである。この例示的な手法では、システムは、集団の３分の２が右眼優位であるため、右眼のみを使用するように恒久的にロックされ得る。全ての実装にわたって一貫性がある場合、ユーザは、適合することができるはずである。右眼のみの手法では、左眼優位について認識可能な誤差が生じることになるが、この誤差は容易に識別され、それに従って調整され得る。この手法はまた、ユーザがインターフェースを使用している間に、ユーザに片眼を閉じるように促す場合もある。更に別の例示的な手法は、アクティブ制御、例えば、ユーザがシステムを使用している間にどちらの眼がユーザにとって優位であるかを判定することを伴う。１つの例示的実施形態では、ユーザは、接近時に片眼を閉じ得、コンピュータビジョンシステムは、眼が閉じられたことを識別し、開いている眼を視線位置として使用することになる。視覚的フィードバックが、これら及び／又は他の手法の精度をアップグレードするために使用され得る。例えば、システムが考えるユーザが指している場所の強調を示すことによって、システムがどちらの眼からユーザの視線を引いているかの指示を提供し得る。例えば、ホバーは、強調の場所を開始させ得、ユーザに選択を微調整する時間を与え、次いで、タッチによる選択を確認する。このインジケータはまた、システムが眼／指の視線を検出すると、すぐに、かついつでも開始し得る。システムは、経時的に学習すること、平均位置を使用するように適合すること、左又は右眼の優位などを考慮することなどを行い得る。

特定の例示的実施形態では、タッチインターフェースは、３Ｄ及び／又は他の投影されたグラフィックスの視点を回転及び変化させるために使用され得る。例えば、物体を操作するゲームプレイヤ又は３Ｄモデラは、回転、ズームイン／アウト、焦点距離の増加／減少（透視投影／正投影）などを行うことができ得る。博物館マップ例では、例えば、この対話は、マップテクスチャ内の「起伏」の量を変化させ得る（例えば、それを平坦に見えるようする、誇張された地形を有するなど）。別の例として、プレイヤからプレイヤに爆弾を渡す上記の例では、それらのプレイヤは、２つのやり方で複数の角度から爆弾を調査し得、１つ目のやり方は、物体の周囲を移動し、プレイヤの視線に視点変化を駆動させることにより、２つ目のやり方は、タッチと対話して、同様の効果を得るために物体を回転させる／歪ませる／視覚的に操作し得るジェスチャを開始することによる。

特定の例示的実施形態の技術は、多面視差設備でユーザの選択と関連して互いに使用され得る。例えば、複数の個人が異なる側面から視差インターフェースと連動する場合、複数の個人が関心対象の物体の代わりに、又は関心対象の物体として、対向するユーザを選択したときに、特別な効果が開始され得る。例えば、システムが両方のユーザの座標を取り込んでいるため、ユーザが対話のために互いに選択することを可能にするように、万事、準備が整っている。これは、両方の当事者が同じ情報を得るように体験をリンクするために、共同ゲーム又は教育で使用され得る。

本明細書に説明されている技術はまた、視差認識インターフェースと対話するユーザのグループが、それに対するインターフェース要素として、スマートフォン、タブレットなど使用することを可能にする（例えば、それらの画面が視差認識インターフェースを向いている場合）。例えば、他のユーザが選択し得る、１人のユーザによって保持された画面上に表示された物品をコンピュータビジョンシステムが識別し得ること、システムがまた、インターフェース体験の一部として、それらのモバイルディスプレイ上に表示されているものを変更し得ることなどである。これは、例えば、他のユーザがそれらの画面上に有するものに基づいて、ユーザが他のユーザ（又はそれらのモバイルデバイス）を選択しなければならない（視差インターフェースを介して）「ＳｉｍｏｎＳａｙｓ」形式のゲームなどを含む、様々な効果を可能にし得る。別の例として、投影テーブル（博物館マップ概念のような）上に投影された情報吹出しが、ユーザのデバイス上に表示されているものに基づいて、ユーザにマッチングされるか、又は別様にドラッグされてユーザとペアリングされなければならない、情報マッチングゲームが提供され得る。別の例として、テーブル上の吹出しは、質問を有し得、ユーザにドラッグされたときに、回答が明らかにされ得る。この例について、関心対象のユーザ上のディスプレイは、存在する必要はないが、モバイルデバイスは、識別子として使用され得る。

モジュール式システムが、上記及び／又は他の文脈で配備され得ることが理解されるであろう。ローカルコントローラは、特定の例示的実施形態で、例えば、システム内に設置された透明タッチパネルの除去、及び新たな透明タッチパネルの設置を可能にするように構成され得る。モジュール又は他のシステムでは、潜在的に重なり合うビューを有する複数のカメラが提供され得る。異なるけれども重なり合う視認場所のエリアは、各カメラについて定義され得る。１つ、２つ、又はそれ以上のカメラが、マルチタッチパネルシステム内の各タッチパネルと関連付けられてもよい。特定の例示的実施形態では、複数のカメラの視認可能エリアが、重なり合ってもよく、視認場所の画像は、少なくとも１つのカメラ及び少なくとも１つの追加のカメラからの複合物として取得され得る。追加的、又は代替的に、特定の例示的実施形態では、座標空間が相関され得、顔の位置が重なり合うエリアに出現する場合（例えば、両方の空間内の同様の場所に位置座標が存在するとき）、同じ顔が存在すると仮定され得る。そのような場合、ユーザが対話しているタッチセンサの座標、又は両方の平均が、一緒に使用され得る。この手法は、いくつかの複合手法よりもプロセッサ集約的ではない点で有利であり得る、及び／又は複合線に沿って存在する視覚的誤差を回避することを助け得る。これらの及び／又は他の手法が、単一のユーザによる複数のパネルにわたるタッチアクションを追跡するために使用され得る。

任意の好適なタッチパネルが、異なる例示的実施形態と関連して使用され得る。これは、例えば、容量性タッチパネル、抵抗性タッチパネル、レーザベースのタッチパネル、カメラベースのタッチパネル、赤外線検出（ＩＲ光によるカーテンタッチシステムを含む）、大面積透明タッチ電極であって、低放射率（低Ｅ）コーティングを支持するガラス基板を含むコーティングされた物品を含み、低Ｅコーティングがタッチ電極中にパターン化されている、大面積透明タッチ電極などを含み得る。例えば、全体の内容が参照によって本明細書に組み込まれる、米国特許第１０，０８２，９２０号、同第１０，０７８，４０９号、及び同第９，９０４，４３１号を参照されたい。

２０１８年９月２６日出願の米国特許出願第６２／７３６，５３８号に開示されている視点シフト及び／又は他の技術が、本発明の例示的実施形態と関連して使用され得ることが理解されるであろう。’５３８出願の内容全体は、参照により本明細書に組み込まれる。

特定の例示的実施形態が、ガラス基板に関連して説明されてきたが、ガラスの代わりに又はガラスと共に他の透明パネルタイプが使用され得ることが理解されるであろう。特定の例示的実施形態は、大面積透明タッチインターフェースと関連して説明されている。一般に、これらのインターフェースは、電話又は他の手持ちデバイスよりも大きいものであり得る。場合によって、これらのインターフェースは、ディスプレイケースと少なくとも同じ大きさになる。当然ながら、本明細書に開示される技術は、スマートフォン、タブレット、ゲームデバイスなどの手持ちデバイス、及びラップトップなどと関連して使用され得ることが理解されるであろう。

本明細書で使用するとき、用語「～上」及び「～によって支持されている」などは、明示的に記載されない限り、２つの要素が互いに直接隣接していることを意味するものと解釈されるべきではない。換言すれば、第１の層は、第２の層との間に１つ以上の層が存在する場合であっても、第２の層「上」又は「によって支持されている」とされ得る。

先行する段落の特徴に加えて、特定の例示的実施形態では、関心対象の物体の場所は、物体の中心、物体の輪郭の２次元投影などとして定義され得る。

２つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、取得された画像は、複数の顔及び／又は身体を含み得る。視線座標の計算は、複数の顔及び／又は身体のうちのどれが、取得された画像内で最大であるかを判定することと、最大の顔及び／又は身体からの視線座標を計算することと、を含み得る。視線座標の計算は、代替的又は追加的に、複数の顔及び／又は身体のうちのどれが、取得された画像内で最大であるかを判定することと、そこからの視線座標を判定することと、を含み得る。視線座標の計算は、代替的又は追加的に、複数の顔及び／又は身体のうちのどれが、少なくとも１つの透明タッチパネルに最も近いかを判定することと、そこからの視線座標を判定することと、を含み得る。視線座標の計算は、代替的又は追加的に、複数の顔及び／又は身体のうちのどれが、タッチダウンイベントと関連付けられているかを判定するために、動き追跡を適用することと、そこからの視線座標を判定することと、を含み得る。例えば、動き追跡が、腕の接近を検出することを含み得、視線座標の判定が、タッチダウンイベントとの腕の検出された接近の同時発生に依存し得る。視線座標の計算は、代替的又は追加的に、複数の顔及び／又は身体のうちのどれが、タッチダウンイベントと関連付けられているかを判定するために、Ｚソートアルゴリズムを適用することと、そこからの視線座標を判定することと、を含み得る。

３つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、視線座標は、身体追跡から推測され得る。

４つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、身体追跡は、頭部追跡を含み得る。

５つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、視線座標は、頭部追跡から推測され得る。例えば、顔は、頭部追跡で認識され得る、及び／又は頭部追跡から推測され得る。頭部追跡は、いくつかの事例では、顔追跡を含み得る。

６つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、閾値距離は、仮想線との接触を必要とし得る。

７つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、仮想線が、少なくとも１つの透明パネルから最も遠い関心対象の物体と少なくとも同じ程度遠くに離れた仮想深さまで延在され得る。

８つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、共通座標系内の場所のうちの１つが、共通座標系内の視線座標から共通座標系内のタッチ座標を通って、かつタッチ座標を越えて延在する仮想線の閾値距離内にあるか否かの判定が、線形補間を介して検出され得る。

９つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、ディスプレイデバイスは、タッチされた物体に合わせて調整された生成された視覚的出力を表示するように制御可能であり得る。

１０個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、プロジェクタが提供され得る。例えば、プロジェクタは、タッチされた物体に合わせて調整された生成された視覚的出力を、少なくとも１つの透明タッチパネル上に投影するように制御可能であり得る。

１１個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、タッチされた物体に合わせて調整された生成された視覚的出力が、視線座標から視認されるときに、関心対象の物体と重なり合わない、及び／又は関心対象の物体を覆い隠さない、少なくとも１つの透明タッチパネルのエリア、視線座標から視認されるときに、タッチされた物体上に重ねられるように見える、少なくとも１つの透明タッチパネルのエリア、視線座標から視認されるときに、タッチされた物体に隣接するが、それに重ならないように見える、少なくとも１つの透明タッチパネルのエリア、どの関心対象の物体がタッチされたかにかかわらず、少なくとも１つの透明タッチパネルの指定されたエリア、タッチされた物体、視認場所の反対側の少なくとも１つの透明タッチパネルの側面上のエリア、投影されることになるエリアの形状及び／又は地形を考慮して、視認場所の反対側の少なくとも１つの透明タッチパネルの側面上のエリアなどに投影されるか、又は別様に表示され得る。

１２個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、１つ以上のライト（例えば、ＬＥＤ（複数可）など）が、タッチされた物体に合わせて調整された生成された視覚的出力としてアクティブ化され得る。例えば、特定の例示的実施形態では、１つ以上のライトは、タッチされた物体を照明し得る。

１３個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、１つ以上のフラットパネルディスプレイが、タッチされた物体に合わせて調整された生成された視覚的出力に従って制御可能であり得る。

１４個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、１つ以上の機械構成要素が、タッチされた物体に合わせて調整された生成された視覚的出力に従って移動可能であり得る。

１５個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、タッチされた物体に合わせて調整された生成された視覚的出力は、タッチされた物体に関連するテキスト、タッチされた物体に関連するビデオ、及び／又は着色（例えば、タッチされた物体と位置合わせされた）を含み得る。

１６個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、近接センサが提供され得る。例えば、少なくとも１つの透明タッチパネルは、タッチ関連データを収集するように制御され得る、少なくとも１つのカメラは、近接センサからの出力に基づいて画像を取得するように構成され得る、近接センサは、実施されているホバー操作を示すタッチ関連データに基づいてアクティブ化可能であり得るなどである。

１７個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、少なくとも１つのカメラは、ビデオを取り込むように構成され得る。例えば、動き追跡は、取り込まれたビデオと関連して実装され得る、取得された画像は、取り込まれたビデオから抽出され得るなどである。

１８個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、少なくとも１つの追加のカメラが、視認場所に概ね向かって配向され得る。例えば、少なくとも１つのカメラ及び少なくとも１つの追加のカメラから取得された画像が、少なくとも１つの透明タッチパネルとの複数の別個の対話を検出するために使用され得る。例えば、少なくとも１つのカメラ及び少なくとも１つの追加のカメラの可視エリアは、重なり合ってもよく、視認場所の画像は、少なくとも１つのカメラと少なくとも１つの追加のカメラとの複合物として取得され得る、視線座標の計算が、少なくとも１つのカメラ及び少なくとも１つの追加のカメラによって取得された重複する顔及び／又は身体検出を除去することを含み得るなどである。

１９個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、関心対象の物体の場所が、拡張現実システムとのユーザ対話の前に、共通座標系内に固定及び定義され得る。

２０個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、関心対象の物体の場所が、マーカを用いてタグ付けされ得、共通座標系内の場所のうちの１つが、共通座標系内の視線座標から共通座標系内のタッチ座標を通って、かつタッチ座標を越えて延在する仮想線の閾値距離内にあるか否かの判定が、それぞれのマーカと関連して実施され得る。いくつかの事例では、マーカは、個別に、かつ独立して移動可能であり得る。

２１個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、関心対象の物体の場所が、拡張現実システムとのユーザ対話の際に、共通座標系内で移動可能であり得る。

２２個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、物体が、物理的物体及び／又は仮想物体であり得る。例えば、仮想物体は、視認場所の反対側の少なくとも１つの透明タッチパネルの側面上のエリア上に投影され得、例えば、仮想物体の投影は、エリアの形状及び／又は地形を考慮する。

２３個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、少なくとも１つの透明タッチパネルは、ディスプレイケース内の窓であり得る。

２４個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、少なくとも１つの透明タッチパネルは、店頭の窓又は店内ディスプレイの自立型ガラス壁、観測点の障壁、自動販売機内に含まれるもの、車両の窓などであり得る。

２５個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、少なくとも１つの透明タッチパネルが、低放射率（低Ｅ）コーティングを支持するガラス基板を含むコーティングされた物品であり得、例えば、低Ｅコーティングが、タッチ電極中にパターン化されている。

２６個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、少なくとも１つの透明タッチパネルは、容量性タッチ技術を含み得る。

先行する段落の特徴に加えて、特定の例示的実施形態では、各タッチ関連イベントが、関連付けられたタッチ関連イベントタイプを有し得、タッチ関連イベントタイプが、タップ、タッチダウン、タッチオフ、及びホバーイベントタイプなどを含む。

２つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、異なる透明タッチパネルが、異なるそれぞれのトピックを有するイベントバスにイベントを発し得る。

３つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、透明タッチパネルが、モジュール式であり得、コントローラが、システム内に設置された透明タッチパネルの除去、及び新たな透明タッチパネルの設置を可能にするように構成され得る。

４つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、各々視認場所に概ね向かって配向された複数のカメラが提供され得る。いくつかの実施態様では、各カメラが、視認場所の別個の重なり合わないエリアを包含する視野を有し得る。他の実施態様では、各カメラが、別個であるが重なり合うエリアを包含する視野を有し得る。

５つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、各カメラが、透明タッチパネルのうちの１つと関連付けられ得る。

６つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、カメラのうちの２つが、透明タッチパネルの各々１つと関連付けられ得る。

特定の例示的実施形態では、３３個の先行する段落のうちのいずれかのシステムを使用する方法が提供される。特定の例示的実施形態では、３３個の先行する段落のうちのいずれかのシステムを構成する方法が提供される。特定の例示的実施形態では、コンピュータによって実行されると、そのような方法の一方又は両方を実行する命令を含むプログラムを有形的に記憶する非一時的コンピュータ可読記憶媒体が提供される。特定の例示的実施形態では、３３個の先行する段落のうちのいずれかのシステムと共に使用するためのコントローラが提供される。特定の例示的実施形態では、３３個の先行する段落のうちのいずれかのシステムと共に使用するための透明タッチパネルが提供される。

異なるエンドデバイス／アプリケーションが、３４個の先行する段落のうちのいずれかの技術と関連して使用され得る。これらのエンドデバイスとしては、例えば、店頭、店内ディスプレイ、博物館展示、絶縁ガラス（ＩＧ）窓、又は他のユニットなどが挙げられる。

例えば、店頭に関して、特定の例示的実施形態は、店舗の店頭であって、透明タッチパネル（複数可）が、店頭用の窓であり、視認場所が、店舗の外部にある、かかる拡張現実システムを備える、店舗の店頭を提供する。例えば、店内ディスプレイに関して、特定の例示的実施形態は、店舗用の店内ディスプレイであって、かかる拡張現実システムを備え、透明タッチパネル（複数可）が、店内ディスプレイ用のケース内及び／又は透明障壁の後方に組み込まれており、関心対象の物体が、ケース内及び／又は透明障壁の後方に位置する、店舗用の店内ディスプレイを提供する。例えば、博物館展示によると、特定の例示的実施形態は、博物館展示であって、かかる拡張現実システムを備え、透明タッチパネル（複数可）が、博物館展示を少なくとも部分的に取り囲む、博物館展示を提供する。

先行する段落の特徴に加えて、特定の例示的実施形態では、関心対象の物体が、店舗内にあり得る。

２つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、関心対象の物体が、ユーザインターフェース要素であり得る。

３つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、ユーザインターフェース要素が、エンドデバイス／配置で表示された物品に対する視覚的変化を促すために使用され得る。

４つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、ディスプレイデバイスが、例えば、ディスプレイデバイスを介して表示されている物品と共に、提供され得る。

５つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、ユーザインターフェース要素との対話が、エンドデバイス／配置内で表示された物品への視覚的変化、ユーザのモバイルデバイスを介して表示された物品への視覚的変化などを促し得る。

６つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、例えば、博物館展示用途では、視覚的変化が、投影されている物品の形状及び／又は地形を考慮し得る。

７つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、例えば、博物館展示用途では、博物館展示が、マップを含み得る。

８つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、例えば、博物館展示用途では、ユーザインターフェース要素が、マップ上の関心対象の点であり得る。

９つの先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、例えば、博物館展示用途では、タッチされた物体に合わせて調整された生成された視覚的出力が、対応する選択された関心対象の点に関する情報を含み得る。

１０個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、例えば、博物館展示用途では、タッチされた物体に合わせて調整された生成された視覚的出力が、ディスプレイの他のエリアを顕著に妨害しない、ユーザによって知覚可能なエリア及び配向において提供され得る。

１１個の先行する段落のうちのいずれかの特徴に加えて、特定の例示的実施形態では、例えば、博物館展示用途では、生成された視覚的出力の場所及び／又は配向が、視線座標計算と関連してユーザの場所を介して判定され得る。

ＩＧ窓又は他の単位構成について、例えば、少なくとも１つの透明タッチパネルは、その中の最も外側の基板であり得る、少なくとも１つの透明タッチパネルは、スペーサシステムと関連して、ガラス基板から離間され得る、少なくとも１つの透明タッチパネルは、少なくとも１つの基板に積層され、スペーサシステムと関連して別のガラス基板から離間され得るなどである。

本発明は、現在実用的で好ましい実施形態と考えられるものと関連して説明されたが、本発明は、開示される実施形態及び／又は蒸着技術に限定されるものではなく、寧ろ、添付の特許請求の範囲の趣旨及び範囲内に含まれる様々な修正及び同等の構成を網羅することを意図するものであることを理解されたい。

Claims

拡張現実システムであって、
視認場所と複数の関心対象の物体との間の固定位置に介在する少なくとも１つの透明タッチパネルであって、各前記関心対象の物体が、共通座標系内で表現可能なそれぞれの場所を有する、少なくとも１つの透明タッチパネルと、
前記視認場所に概ね向かって配向された少なくとも１つのカメラと、
少なくとも１つのプロセッサ及びメモリを含む処理リソースと、を備え、前記処理リソースが、
前記少なくとも１つの透明タッチパネルから受信されたタッチ関連データから、タッチダウンイベントが行われたか否かを判定することと、
タッチダウンイベントが行われたという判定に応答して、
前記受信されたタッチ関連データから、行われた前記タッチダウンイベントと関連付けられたタッチ座標を判定することと、
前記少なくとも１つのカメラから前記視認場所の画像を取得することと、
前記取得された画像内で認識された身体追跡及び／又は顔から、視線座標を計算することと、
前記タッチ座標及び前記視線座標を、前記共通座標系内の対応する座標に変換することと、
前記共通座標系内の前記場所のうちの１つが、前記共通座標系内の前記視線座標から前記共通座標系内の前記タッチ座標を通って、かつ前記タッチ座標を越えて延在する仮想線の閾値距離内にあるか否かを判定することと、
前記共通座標系内の前記場所のうちの１つが、前記共通座標系内の前記視線座標から前記共通座標系内の前記タッチ座標を通って、かつ前記タッチ座標を越えて延在する仮想線の閾値距離内にあるという判定に応答して、前記場所のうちの１つと関連付けられた前記関心対象の物体をタッチされた物体として指定し、前記タッチされた物体に合わせて調整された聴覚的及び／又は視覚的出力を生成することと、を行うように構成されている、拡張現実システム。
前記関心対象の物体の前記場所が、前記物体の中心として定義される、請求項１に記載のシステム。
前記関心対象の物体の前記場所が、前記物体の輪郭の２次元投影として定義される、請求項１に記載のシステム。
前記取得された画像が、複数の顔及び／又は身体を含み、前記視線座標の計算は、
前記複数の顔及び／又は身体のうちのどれが、前記取得された画像内で最大であるかを判定することと、
前記最大の顔及び／又は身体から前記視線座標を計算することと、を含む、請求項１～３のいずれか一項に記載のシステム。
前記取得された画像が、複数の顔及び／又は身体を含み、
前記視線座標の前記計算は、前記複数の顔及び／又は身体のうちのどれが、前記取得された画像内で最大であるかを判定することと、そこからの前記視線座標を判定することと、を含む、請求項１～３のいずれか一項に記載のシステム。
前記取得された画像が、複数の顔及び／又は身体を含み、
前記視線座標の前記計算は、前記複数の顔及び／又は身体のうちのどれが、前記少なくとも１つの透明タッチパネルに最も近いかを判定することと、そこからの前記視線座標を判定することと、を含む、請求項１～３のいずれか一項に記載のシステム。
前記取得された画像が、複数の顔及び／又は身体を含み、
前記視線座標の前記計算は、前記複数の顔及び／又は身体のうちのどれが、前記タッチダウンイベントと関連付けられているかを判定するために、動き追跡を適用することと、そこからの前記視線座標を判定することと、を含む、請求項１～３のいずれか一項に記載のシステム。
前記動き追跡が、腕の接近を検出することを含み、前記視線座標の前記判定が、前記タッチダウンイベントとの前記腕の前記検出された接近の同時発生に依存する、請求項７に記載のシステム。
前記視線座標が、前記身体追跡から推測される、請求項１～３のいずれか一項に記載のシステム。
前記身体追跡が、頭部追跡を含む、請求項１～３のいずれか一項に記載のシステム。
前記視線座標が、前記頭部追跡から推測される、請求項１０に記載のシステム。
前記顔が、前記頭部追跡で認識される、及び／又は前記頭部追跡から推測される、請求項１０に記載のシステム。
前記頭部追跡が、顔追跡を含む、請求項１０に記載のシステム。
前記取得された画像が、複数の顔及び／又は身体を含み、
前記視線座標の前記計算は、前記複数の顔及び／又は身体のうちのどれが、前記タッチダウンイベントと関連付けられているかを判定するために、Ｚソートアルゴリズムを適用することと、そこからの前記視線座標を判定することと、を含む、請求項１～３のいずれか一項に記載のシステム。
前記閾値距離が、前記仮想線との接触を必要とする、請求項１～１４のいずれか一項に記載のシステム。
前記仮想線が、前記少なくとも１つの透明パネルから最も遠い前記関心対象の物体と少なくとも同じ程度遠くに離れた仮想深さまで延在されている、請求項１～１５のいずれか一項に記載のシステム。
前記共通座標系内の前記場所のうちの１つが、前記共通座標系内の前記視線座標から前記共通座標系内の前記タッチ座標を通って、かつ前記タッチ座標を越えて延在する仮想線の閾値距離内にあるか否かの前記判定が、線形補間を介して検出される、請求項１～１６のいずれか一項に記載のシステム。
前記タッチされた物体に合わせて調整された前記生成された視覚的出力を表示するように制御可能なディスプレイデバイスを更に備える、請求項１～１７のいずれか一項に記載のシステム。
プロジェクタを更に備える、請求項１～１７のいずれか一項に記載のシステム。
前記プロジェクタが、前記タッチされた物体に合わせて調整された前記生成された視覚的出力を、前記少なくとも１つの透明タッチパネル上に投影するように制御可能である、請求項１９に記載のシステム。
前記タッチされた物体に合わせて調整された前記生成された視覚的出力が、前記視線座標から視認されるときに、前記関心対象の物体と重なり合わない、及び／又は前記関心対象の物体を覆い隠さない、前記少なくとも１つの透明タッチパネルのエリア上に投影される、請求項２０に記載のシステム。
前記タッチされた物体に合わせて調整された前記生成された視覚的出力が、前記視線座標から視認されるときに、前記タッチされた物体上に重ねられるように見える、前記少なくとも１つの透明タッチパネルのエリア上に投影される、請求項２０に記載のシステム。
前記タッチされた物体に合わせて調整された前記生成された視覚的出力が、前記視線座標から視認されるときに、前記タッチされた物体に隣接するが、前記タッチされた物体上に重ねられずに見える、前記少なくとも１つの透明タッチパネルのエリア上に投影される、請求項２０に記載のシステム。
前記タッチされた物体に合わせて調整された前記生成された視覚的出力が、どの関心対象の物体がタッチされたかにかかわらず、前記少なくとも１つの透明タッチパネルの指定されたエリア上に投影される、請求項２０に記載のシステム。
前記プロジェクタが、前記タッチされた物体に合わせて調整された前記生成された視覚的出力を、前記タッチされた物体上に投影するように制御可能である、請求項１９に記載のシステム。
前記プロジェクタが、前記タッチされた物体に合わせて調整された前記生成された視覚的出力を、前記視認場所の反対側の前記少なくとも１つの透明タッチパネルの側面上のエリア上に投影するように制御可能である、請求項１９に記載のシステム。
前記プロジェクタが、前記タッチされた物体に合わせて調整された前記生成された視覚的出力を、前記視認場所の反対側の前記少なくとも１つの透明タッチパネルの側面上のエリア上に投影するように制御可能であり、投影されることになる前記エリアの形状及び／又は地形を考慮する、請求項１９に記載のシステム。
前記タッチされた物体に合わせて調整された前記生成された視覚的出力としてアクティブ化される１つ以上のライトを更に備える、請求項１～１７のいずれか一項に記載のシステム。
前記１つ以上のライトが、ＬＥＤ（複数可）である、請求項２８に記載のシステム。
前記１つ以上のライトが、前記タッチされた物体を照明する、請求項２８又は２９に記載のシステム。
前記タッチされた物体に合わせて調整された前記生成された視覚的出力に従って制御可能である１つ以上のフラットパネルディスプレイを更に備える、請求項１～１７のいずれか一項に記載のシステム。
前記タッチされた物体に合わせて調整された前記生成された視覚的出力に従って移動可能である１つ以上の機械構成要素を更に備える、請求項１～１７のいずれか一項に記載のシステム。
前記タッチされた物体に合わせて調整された前記生成された視覚的出力が、前記タッチされた物体に関連するテキストを含む、請求項１～３２のいずれか一項に記載のシステム。
前記タッチされた物体に合わせて調整された前記生成された視覚的出力が、前記タッチされた物体に関連するビデオを含む、請求項１～３２のいずれか一項に記載のシステム。
前記タッチされた物体に合わせて調整された前記生成された視覚的出力が、着色を含む、請求項１～３２のいずれか一項に記載のシステム。
前記着色が、前記タッチされた物体と整合されて提供される、請求項３５に記載のシステム。
近接センサを更に備える、請求項１～３６のいずれか一項に記載のシステム。
前記少なくとも１つの透明タッチパネルが、タッチ関連データを収集するように制御される、及び／又は前記少なくとも１つのカメラが、前記近接センサからの出力に基づいて前記画像を取得するように構成されている、請求項３７に記載のシステム。
前記近接センサが、実施されているホバー操作を示すタッチ関連データに基づいてアクティブ化可能である、請求項３７又は３８に記載のシステム。
前記少なくとも１つのカメラが、ビデオを取り込むように構成されている、請求項１～３９のいずれか一項に記載のシステム。
動き追跡が、取り込まれたビデオと関連して実装されている、請求項４０に記載のシステム。
前記取得された画像が、取り込まれたビデオから抽出される、請求項４０又は４１に記載のシステム。
前記視認場所に概ね向かって配向された少なくとも１つの追加のカメラを更に備える、請求項１～４２のいずれか一項に記載のシステム。
前記少なくとも１つのカメラ及び前記少なくとも１つの追加のカメラから取得された画像が、前記少なくとも１つの透明タッチパネルとの複数の別個の対話を検出するために使用される、請求項４３に記載のシステム。
前記少なくとも１つのカメラ及び前記少なくとも１つの追加のカメラの可視エリアが、重なり合い、前記視認場所の前記画像が、前記少なくとも１つのカメラと前記少なくとも１つの追加のカメラとの複合物として取得される、請求項４３又は４４に記載のシステム。
前記視線座標の前記計算が、前記少なくとも１つのカメラ及び前記少なくとも１つの追加のカメラによって取得された重複する顔及び／又は身体検出を除去することを含む、請求項４５に記載のシステム。
前記関心対象の物体の前記場所が、前記拡張現実システムとのユーザ対話の前に、前記共通座標系内に固定及び定義されている、請求項１～４６のいずれか一項に記載のシステム。
前記関心対象の物体の前記場所が、マーカを用いてタグ付けされており、
前記共通座標系内の前記場所のうちの１つが、前記共通座標系内の前記視線座標から前記共通座標系内の前記タッチ座標を通って、かつ前記タッチ座標を越えて延在する仮想線の閾値距離内にあるか否かの前記判定が、前記それぞれのマーカと関連して実施される、請求項１～４６のいずれか一項に記載のシステム。
前記マーカが、個別に、かつ独立して移動可能である、請求項４８に記載のシステム。
前記関心対象の物体の前記場所は、ユーザが前記拡張現実システムとの対話する際に、前記共通座標系内で移動可能である、請求項１～４６のいずれか一項に記載のシステム。
前記物体が、物理的物体である、請求項１～５０のいずれか一項に記載のシステム。
前記物体が、仮想物体である、請求項１～５０のいずれか一項に記載のシステム。
前記仮想物体が、前記視認場所の反対側の前記少なくとも１つの透明タッチパネルの側面上のエリア上に投影される、請求項５２に記載のシステム。
前記仮想物体の前記投影が、前記エリアの形状及び／又は地形を考慮する、請求項５３に記載のシステム。
前記少なくとも１つの透明タッチパネルが、ディスプレイケース内の窓である、請求項１～５４のいずれか一項に記載のシステム。
前記少なくとも１つの透明タッチパネルが、店頭の窓又は店内ディスプレイの自立型ガラス壁である、請求項１～５４のいずれか一項に記載のシステム。
前記少なくとも１つの透明タッチパネルが、観測点の障壁である、請求項１～５４のいずれか一項に記載のシステム。
前記少なくとも１つの透明タッチパネルが、自動販売機内に含まれている、請求項１～５４のいずれか一項に記載のシステム。
前記少なくとも１つの透明タッチパネルが、車両内の窓である、請求項１～５４のいずれか一項に記載のシステム。
前記少なくとも１つの透明タッチパネルが、低放射率（低Ｅ）コーティングを支持するガラス基板を含むコーティングされた物品であり、前記低Ｅコーティングが、タッチ電極中にパターン化されている、請求項１～５９のいずれか一項に記載のシステム。
前記少なくとも１つの透明タッチパネルが、容量性タッチ技術を含む、請求項１～５９のいずれか一項に記載のシステム。
拡張現実システムであって、
視認場所と複数の関心対象の物体との間に介在する複数の透明タッチパネルであって、各前記関心対象の物体が、共通座標系内で表現可能なそれぞれの物理的場所を有する、複数の透明タッチパネルと、
イベントバスであって、前記透明タッチパネルによって前記イベントバスに発行されたタッチ関連イベントを受信するように構成されており、各タッチ関連イベントが、前記タッチ関連イベントを発行した前記透明タッチパネルの識別子を含む、イベントバスと、
前記視認場所に概ね向かって配向された少なくとも１つのカメラと、
コントローラであって、前記イベントバスに出版された前記タッチ関連イベントを購読することと、
前記イベントバスを介して受信されたタッチ関連イベントから抽出されたタッチ関連データから、タップが行われたか否かを判定することと、
タップが行われたという判定に応答して、
前記タッチ関連データから、行われた前記タップと関連付けられたタッチ座標を判定することであって、前記タッチ座標が、前記共通座標系内で表現可能である、判定することと、
前記透明タッチパネルのうちのどれがタップされたかを判定することと、
前記少なくとも１つのカメラから前記視認場所の画像を取得することと、
前記取得された画像内で認識された身体追跡及び／又は顔から、視線座標を計算することであって、前記視線座標が、前記共通座標系内で表現可能である、計算することと、
前記共通座標系内の前記物理的場所のうちの１つが、前記共通座標系内の前記視線座標から前記共通座標系内の前記タッチ座標を通って、かつ前記タッチ座標を越えて延在する仮想線の閾値距離内にあるか否かを判定することと、
前記共通座標系内の前記物理的場所のうちの１つが、前記共通座標系内の前記視線座標から前記共通座標系内の前記タッチ座標を通って、かつ前記タッチ座標を越えて延在する仮想線の閾値距離内にあるという判定に応答して、前記物理的場所のうちの１つと関連付けられた前記関心対象の物体をタッチされた物体として指定し、前記タッチされた物体に合わせて調整された視覚的出力を生成することと、を行うように構成されている、コントローラと、を備える、拡張現実システム。
各タッチ関連イベントが、関連付けられたタッチ関連イベントタイプを有し、タッチ関連イベントタイプが、タップ、タッチダウン、タッチオフ、及びホバーイベントタイプを含む、請求項６２に記載のシステム。
異なる透明タッチパネルが、異なるそれぞれのトピックを有する前記イベントバスにイベントを発する、請求項６２又は６３に記載のシステム。
前記透明タッチパネルが、モジュール式であり、前記コントローラが、前記システム内に設置された透明タッチパネルの除去、及び新たな透明タッチパネルの設置を可能にするように構成されている、請求項６２～６４のいずれか一項に記載のシステム。
複数のカメラを更に備え、各々が、前記視認場所に概ね向かって配向されている、請求項６２～６５のいずれか一項に記載のシステム。
各前記カメラが、前記視認場所の別個の重なり合わないエリアを包含する視野を有する、請求項６６に記載のシステム。
各前記カメラが、前記視認場所の別個であるが重なり合うエリアを包含する視野を有する、請求項６６に記載のシステム。
各前記カメラが、前記透明タッチパネルのうちの１つと関連付けられている、請求項６６～６８のいずれか一項に記載のシステム。
前記カメラのうちの２つが、前記透明タッチパネルの各々１つと関連付けられている、請求項６６～６９のいずれか一項に記載のシステム。
請求項１～７０のいずれか一項に記載のシステムを使用する方法。
請求項１～７０のいずれか一項に記載のシステムを構成する方法。
コンピュータによって実行されると、請求項７１又は請求項７２に記載の方法を実行する命令を含むプログラムを有形的に記憶する非一時的コンピュータ可読記憶媒体。
請求項１～７０のいずれか一項に記載のシステムと共に使用するためのコントローラ。
請求項１～７０のいずれか一項に記載のシステムと共に使用するための透明タッチパネル。
店舗の店頭であって、前記透明タッチパネル（複数可）が、前記店頭用の窓であり、前記視認場所が、前記店舗の外部にある、請求項１～７０のいずれか一項に記載の拡張現実システムを備える、店舗の店頭。
前記関心対象の物体が、前記店舗内にある、請求項７６に記載の店頭。
前記関心対象の物体が、ユーザインターフェース要素である、請求項７６に記載の店頭。
前記ユーザインターフェース要素との対話が、前記店頭に表示された物品への視覚的変化を促す、請求項７８に記載の店頭。
ディスプレイデバイスを更に備え、前記物品が、前記ディスプレイデバイスを介して表示される、請求項７９に記載の店頭。
前記ユーザインターフェース要素との対話が、前記店頭に表示されたプロジェクションマッピングされた物品への視覚的変化を促す、請求項７８に記載の店頭。
店舗用の店内ディスプレイであって、請求項１～７０のいずれか一項に記載の拡張現実システムを備え、前記透明タッチパネル（複数可）が、前記店内ディスプレイ用のケース内及び／又は透明障壁の後方に組み込まれており、前記関心対象の物体が、前記ケース内及び／又は前記透明障壁の後方に位置する、店舗用の店内ディスプレイ。
前記関心対象の物体が、ユーザインターフェース要素である、請求項８２に記載の店内ディスプレイ。
前記ユーザインターフェース要素との対話が、前記店内ディスプレイに表示された物品への視覚的変化を促す、請求項８３に記載の店内ディスプレイ。
ディスプレイデバイスを更に備え、前記物品が、前記ディスプレイデバイスを介して表示される、請求項８４に記載の店内ディスプレイ。
前記ユーザインターフェース要素との対話が、前記店内ディスプレイに表示されたプロジェクションマッピングされた物品への視覚的変化を促す、請求項８３に記載の店内ディスプレイ。
前記ユーザインターフェース要素との対話が、ユーザのモバイルデバイスを介して表示された物品への視覚的変化を促す、請求項８３に記載の店内ディスプレイ。
博物館展示であって、請求項１～７０のいずれか一項に記載の拡張現実システムを備え、前記透明タッチパネル（複数可）が、前記博物館展示を少なくとも部分的に取り囲む、博物館展示。
前記関心対象の物体が、ユーザインターフェース要素である、請求項８８に記載の博物館展示。
前記ユーザインターフェース要素との対話が、前記博物館展示に表示された物品への視覚的変化を促す、請求項８９に記載の博物館展示。
ディスプレイデバイスを更に備え、前記物品が、前記ディスプレイデバイスを介して表示される、請求項９０に記載の博物館展示。
前記ユーザインターフェース要素との対話が、前記博物館展示に表示されたプロジェクションマッピングされた物品への視覚的変化を促す、請求項８９に記載の博物館展示。
前記視覚的変化が、投影されている前記物品の形状及び／又は地形を考慮する、請求項９２に記載の博物館展示。
前記博物館展示が、マップを含む、請求項８９～９３のいずれか一項に記載の博物館展示。
前記ユーザインターフェース要素が、前記マップ上の関心対象の点である、請求項９４に記載の博物館展示。
前記タッチされた物体に合わせて調整された前記生成された視覚的出力が、対応する選択された関心対象の点に関する情報を含む、請求項９５に記載の博物館展示。
前記タッチされた物体に合わせて調整された前記生成された視覚的出力が、前記ディスプレイの他のエリアを顕著に妨害しない、ユーザによって知覚可能なエリア及び配向において提供される、請求項８８～９６のいずれか一項に記載の博物館展示。
前記生成された視覚的出力の前記場所及び／又は配向が、前記視線座標計算と関連して前記ユーザの前記場所を介して判定される、請求項９７に記載の博物館展示。
請求項１～７０のいずれか一項に記載のシステムと共に使用するための絶縁ガラス（ＩＧ）窓又は他のユニット。
前記少なくとも１つの透明タッチパネルが、その中の最も外側の基板である、請求項９９に記載のＩＧ窓又は他のユニット。
前記少なくとも１つの透明タッチパネルが、スペーサシステムと関連して、ガラス基板から離間されている、請求項９９又は１００に記載のＩＧ窓又は他のユニット。
前記少なくとも１つの透明タッチパネルが、少なくとも１つの基板に積層され、スペーサシステムと関連して別のガラス基板から離間されている、請求項９９又は１００に記載のＩＧ窓又は他のユニット。