JP2015118556A - コントロールデバイスのための拡張現実オーバーレイ - Google Patents

Abstract

【課題】コントロールデバイスのための拡張現実オーバーレイを提供する。【解決手段】シースルーディスプレイと外向きイメージセンサーを含むシースルーディスプレイデバイス１０８によりコントロールデバイス１０２のための操作情報を提供する方法であって、シースルーディスプレイを通して見ることができるシーンのイメージを取得すること、及びシーン内のコントロールデバイスを検出することを含み、コントロールデバイスのインタラクティブな要素の機能に関連する情報を取り出すこと、及びインタラクティブな要素の機能に関連するイメージデータによってコントロールデバイスのインタラクティブな要素の外観を拡張するイメージをシースルーディスプレイに表示することを含む。【選択図】図１

Description

本発明は、コントロールデバイスのための拡張現実オーバーレイに関する。

[0001]コントロールデバイスを利用する場合、ユーザーは、コントロールデバイスのボタンなどのインタラクティブな要素の機能が不明な場合がある。そのような入力の機能に関する情報は、オンラインで検索すること、画面上の又は印刷されたユーザーマニュアルを調べることなどによって、試行錯誤によるテストを通じて得ることができる。

しかし、このような解決策はいくつかの状況では不便であることがある。たとえば、オンラインリソースやユーザーマニュアルは、見つけることが困難であったり、いくつかのコントロールデバイスのために利用できない場合がある。さらに、試行錯誤によるテストは、望ましくない命令がコントロールデバイスから制御される装置へと渡されることにつながることがある。

[0002]シースルー（see-through）ディスプレイデバイス上にコントロールデバイスの操作情報（instructional information）を提供することに関する実施例が本明細書に開示されている。例えば、１つの開示された実施例は、シースルーディスプレイを介して見ることができるシーンのイメージを取得すること、シーン内のコントロールデバイスを検出すること、コントロールデバイスのインタラクティブな要素の機能に関連する情報を取得すること、インタラクティブな要素の機能に関連するイメージデータによりコントロールデバイスのインタラクティブな要素の外観を拡張するイメージをシースルーディスプレイ上に表示することを含む方法を提供する。

[0003]この概要は、詳細な説明で以下にさらに説明される概念の選択を簡略化した形で紹介するために提供される。この概要は、特許請求される主題の重要な特徴又は不可欠な特徴を特定することを意図しておらず、特許請求される主題の範囲を限定するために使用されることも意図していない。さらに、特許請求される主題は、本開示の任意の部分で述べる任意の又はすべての欠点を解決する実施例に限定されるものではない。

[0004]コントロールデバイスの実施例を含む例示的な物理的空間を概略的に示す。 [0003]本開示の実施例によるシースルーディスプレイデバイスの例示的な実施例を示す。 [0006]図２の実施例のブロック図を示す。 [0007]コントロールデバイスの別の実施例を示す。 [0008]本開示の実施例による図４Ａのコントロールデバイスの例示的な拡張を示す。 [0009]図４Ａのコントロールデバイスの別の例示的な拡張を示す。 [0010]図４Ａのコントロールデバイスの例示的な複数段階の拡張を示す。 図４Ａのコントロールデバイスの例示的な複数段階の拡張を示す。 図４Ａのコントロールデバイスの例示的な複数段階の拡張を示す。 [0011]コントロールデバイスの別の実施例を示す。 [0012]図７Ａのコントロールデバイスの例示的な拡張を示す。 [0013]コントロールデバイスの別の実施例を示す。 [0014]図８Ａのコントロールデバイスの例示的な拡張を示す。 [0015]車両のダッシュボードの実施例の例示的な拡張を示す。 [0016]コントロールデバイスの実施例を含む別の例示的な物理的空間を概略的に示す。 [0017]シースルーディスプレイデバイスを介してコントロールデバイスのための操作情報を提供する方法の実施例を示すフローチャートである。 [0018]シースルーディスプレイデバイスにコントロールデバイスの動作に関する操作情報を提供する方法の実施例を示すフローチャートである。 [0019]コンピューティングシステムの例示的な実施例のブロック図である。

[0020]上述したように、コントロールデバイスのユーザーは、コントロールデバイス上のインタラクティブな要素の機能に関する情報を取得することを望む場合がある。したがって、シースルーディスプレイデバイスを介してそのような情報を提供することに関連する実施例が本明細書に開示される。例えば、以下により詳細に記載されるように、シースルーディスプレイデバイスは、コントロールデバイスのインタラクティブな要素の機能に関する情報を、コントロールデバイスのユーザーの視野（view）上に表示される拡張現実イメージ（augmented reality images）として提供するように構成されてもよい。

[0021]図１は、コントロールデバイス１０２を含む物理空間１００の例示的な実施例を示しており、関連するコンピューティングデバイス１０６を制御するためにコントロールデバイス１０２とインタラクトするユーザー１０４を示す。限定的でない例として、コントロールデバイス１０２は、ビデオゲームコントローラーであってもよいし、コンピューティングデバイス１０６は、ビデオゲームコンソールであってもよい。コントロールデバイス及び関連するコンピューティングデバイスの他の例は、パーソナルコンピューターのキーボードや他の入力デバイス、オーディオ／ビジュアル機器のリモコン、自動車のダッシュボードコントロール、テレビのリモコン、キオスクのための他の電子アイテムキーパッドなどを含むが、これらに限定されない。

[0022]ユーザー１０４は、シースルーディスプレイデバイスを介してコントロールデバイス１０２を見ることができ、その実施例が１０８において示されている。図示されるシースルーディスプレイデバイス１０８は、ユーザー１０４の両方の手がコントロールデバイス１０２などの他の物体と自由にインタラクトすることを可能にする、ヘッドマウントデバイス（ＨＭＤ）の形態をとる。シースルーディスプレイデバイス１０８は、ユーザー１０４に対する物理空間１００の外観の視覚的な拡張を可能にするように構成されるシースルーディスプレイシステムを含む。換言すれば、シースルーディスプレイは、実際の物理空間１００に対するオーバーレイとして表示される１つ又は複数の仮想オブジェクトに加えて、実際の物理空間１００をユーザー１０４が直接的に見ることができるように、物理空間１００からの光がシースルーディスプレイを通過することを可能にする。

[0023]限定的でない例において、ユーザー１０４の視線（gaze）１１０がコントロールデバイス１０２に向けられると、シースルーディスプレイデバイス１０８は、コントロールデバイスの１つ又は複数の機能に関する情報の形で１つ又は複数の仮想オブジェクトを表示することができる。表示される情報は任意の適切な方法で得ることができる。例えば、表示される情報は、コンピューティングデバイス１０６、ネットワーク１１２を介してリモートコンピューティングデバイス１０７（リモートコントロールデバイスは、コントロールデバイスの機能に関する情報を格納するデータベース１０７ａと通信することができる）、コントロールデバイス１０２などから受信することができる。

[0024]本開示に係るシースルーディスプレイデバイスは、図１のヘッドマウントシースルーディスプレイデバイス１０８などのＨＭＤデバイスを含むがこれに限定されない、任意の適切な形態をとることができる。図２は、シースルーディスプレイシステム２００を含むシースルーディスプレイデバイス１０８の例示的な実施例を示し、図３は、シースルーディスプレイシステム２００のブロック図を示す。

[0025]シースルーディスプレイシステム２００は、シースルーディスプレイサブシステム２０４の一部を形成する１つ又は複数のレンズ２０２を備え、イメージは、レンズ２０２上に投影することができるか、又はレンズ２０２に組み込まれたシースルーイメージ生成要素（例えば透明なＯＬＥＤディスプレイ）によって生成することができる。シースルーディスプレイシステム２００は、さらに、ユーザーが見ている背景シーン及び／又は物理空間のイメージを取得するように構成された１つ又は複数の外向き（outward-facing）イメージセンサー２０６を備え、ユーザーからの音声コマンドなどの音を検出するように構成された１つ又は複数のマイクロフォン２０８を含むことができる。外向きイメージセンサー２０６は、１つもしくは複数の深度センサー（depth sensors）及び／又は１つもしくは複数の２次元イメージセンサーを含むことができる。

[0026]シースルーディスプレイシステム２００は、さらに、上述したように、ユーザーのそれぞれの目の視線の方向を検出するように構成された視線検出サブシステム２１０を含んでもよい。視線検出サブシステム２１０は、任意の適切な方法で、ユーザーの目のそれぞれの視線方向を決定するように構成されてもよい。例えば、図示される実施例では、視線検出サブシステム２１０は、ユーザーの各眼球から反射する光の輝きを引き起こすように構成される、赤外光源などの１つ又は複数の閃光源（glint sources）２１２、及び、ユーザーの各眼球のイメージを取得するように構成される、内向き（inward-facing）センサーなどの１つ又は複数のイメージセンサー２１４を備える。イメージセンサー２１４を介して収集したイメージデータから決定されるようなユーザーの眼球からの輝きの変化は、視線の方向を決定するために使用することができる。さらに、ユーザーの目から発射される視線が外部ディスプレイと交差する位置は、ユーザーが注視する物体（例えば、外部ディスプレイに表示される仮想物体）を決定するために使用することができる。視線検出サブシステム２１０は、任意の適切な数及び構成の光源及びイメージセンサーを有することができる。

[0027]シースルーディスプレイシステム２００は、さらなるセンサーをさらに備えることができる。例えば、シースルーディスプレイシステム２００は、シースルーディスプレイシステム２００の位置を決定することができるようにする全地球測位（ＧＰＳ）サブシステム２１６を含むことができる。例えば、シースルーディスプレイシステム２００の位置は、ユーザーの視野内のコントロールデバイスを識別するために使用されてもよい。

[0028]シースルーディスプレイシステム２００は、さらに、ユーザーがシースルーディスプレイシステム２００を着用したときにユーザーの頭部の動きを検出する１つ又は複数のモーションセンサー２１８を含むことができる。モーションデータは、視線検出のために、及び、外向きイメージセンサー２０６からのイメージのぼやけの補正を助けるためのイメージ安定化のために、視線追跡（アイトラッキング）輝きデータ（eye-tracking glint data）及び外向きイメージデータとともに、使用することができる可能性がある。モーションデータの使用により、外向きイメージセンサー２０６からのイメージデータが解像できない場合でも、視線位置の変化を追跡することが可能になる。同様に、モーションセンサー２１８、ならびにマイクロフォン２０８及び視線検出サブシステム２１０は、また、ユーザー入力デバイスとして使用することができ、ユーザーは、目、首、及び／又は頭部のジェスチャーを介して、並びに言葉によるコマンドを介して、シースルーディスプレイシステム２００とインタラクトすることができる。任意の他の適切なセンサー及び／又はセンサーの組み合わせを利用することができるので、図２及び図３に示されるセンサーは例示の目的のために示されており、いかなるようにも限定することを意図していないことが理解されよう。

[0029]シースルーディスプレイシステム２００は、さらに、センサーと通信する論理サブシステム２２２及びデータ保持サブシステム２２４を有するコントローラー２２０、視線検出サブシステム２１０、並びにシースルーディスプレイサブシステム２０４を備えている。データ保持サブシステム２２４は、その上に格納された、センサーからの入力を受け取って解釈し、（コントロールデバイス、コントロールデバイスによって制御されるコンピューティングデバイス、又は通信サブシステム２２６を介して別のコンピューティングデバイスと通信することによって）ユーザーが注視しているコントロールデバイス及び／又はコンピューティングデバイスの存在及び同一性を判断し、シースルーディスプレイデバイス２０４、１つもしくは複数のスピーカー２２８及び／又は他の出力デバイスを介してコントロールデバイス及び／又はコンピューティングデバイスに関する情報を受け取って提示するために、論理サブシステム２２２によって実行可能な命令を含む。

[0030]図示されるシースルーディスプレイデバイス１０８は、例示の目的のために記載されており、したがって限定することを意図するものではないことが理解されよう。従って、シースルーディスプレイデバイスは、本開示の範囲から逸脱することなく、示されたもの以外に、さらなる及び／又は代替的なセンサー、カメラ、マイクロフォン、入力デバイス、出力デバイスなどを含むことができることを理解すべきである。さらに、シースルーディスプレイデバイス並びにその様々なセンサー及びサブコンポーネントの物理的な構成は、本開示の範囲から逸脱することなく、様々な異なる形態をとることができる。

[0031]ここで図４Ａを参照すると、例示的なコントロールデバイスがビデオゲームコントローラー４００として示されている。ビデオゲームコントローラー４００は、１つ又は複数のインタラクティブな要素４０２（その２つの例が４０２ａ及び４０２ｂにおいて示される）を含んでもよい。限定的でない例では、インタラクティブな要素４０２は、ビデオゲームコンソール（図４Ａには示されない）上で実行中のビデオゲームアプリケーションに指示を提供するために押すことができるユーザー作動可能なハードウェアボタンであってもよい。インタラクティブな要素４０２はまた、ジョイスティック、方向パッド、ソフトウェアボタン、タッチセンサー式入力デバイス、ダイヤル、トリガー、ノブ、モーションセンサーなどを含むことができる。インタラクティブな要素４０２についての図示された構成は例示の目的のために示されるものであり、任意の適切な数、構成、及び種類のインタラクティブな要素がビデオゲームコントローラー４００に含まれてもよいことが理解されよう。

[0032]図４Ｂは、シースルーディスプレイデバイスを介してビデオゲームコントローラー４００を見るユーザーの視点からのビデオゲームコントローラー４００を示す。破線４０４は、シースルーディスプレイデバイスの例示的な視野を表す。シースルーディスプレイデバイスを通して見る場合、インタラクティブな要素の外観は、インタラクティブな要素の１つ又は複数の機能に関連する情報を提供するために拡張（増強、augment）することができる。図４Ｂにおいて、そのような拡張は、コントロールデバイスのインタラクティブな要素を覆うイメージ４０６として示されている。各イメージ４０６は、それが表示されるインタラクティブな要素４０２の機能の指示（indication）をユーザーに提供してもよい。

[0033]任意の適切な情報を、インタラクティブな要素を覆うイメージに表示することができる。図示される実施例では、イメージ４０６のいくつかは、イメージの下に位置するインタラクティブボタンに関連付けられた武器又は攻撃のタイプについてのグラフィック表現を含む。例えば、４０６ａにおいて示されるように、剣のグラフィック表現は、関連するボタンを押すとユーザーがゲームアプリケーションにおいて剣による攻撃を実行することができることを示してもよい。イメージ４０６は、さらに又は代替的にテキストを含んでもよい。例えば、４０６ｂにおいて示されるように、「移動」という語は、関連付けられたジョイスティック４０２ｂとインタラクトすることで、ユーザーがビデオゲームアプリケーションのキャラクターを様々な方向に移動させることができることを示してもよい。

[0034]図４Ｂに図示されて上で説明されたイメージは例示の目的のために提示されるものであり、任意の適切なグラフィック表現を、ビデオゲームコントローラー４００のインタラクティブな要素４０２に関する情報を提供するために表示してもよいことが理解されよう。例えば、イメージは、ビデオゲームコントローラーのインタラクティブな要素に関する情報を提供するアイコン、ピクチャー、ビデオなどを含むことができる。さらに、イメージは、インタラクティブな要素４０２に関連するオーディオ又はビデオクリップの存在を示してもよい。このような実施例では、ユーザーは、再生を開始するオーディオ又はビデオクリップを選択することができ、またオーディオ又はビデオクリップは自動化された方法で開始することができる。

[0035]図５は、図４Ａのコントロールデバイスの別の例示的な拡張を示す。図示される実施例では、イメージ５０６は、テキストベースのポップアップ（fly-outs）やツールチップの形態をとる。ポップアップ又はツールチップは、関連するインタラクティブな要素を記述したテキスト情報、及び／又は任意の他の適切な情報を有するテキストボックスを含むことができる。他の例は、アイコン、ピクチャー、アニメーション、ビデオを含むが、これらに限定されない。

[0036]幾つかの実施例では、ビデオゲームコントローラー４００が制御しているアプリケーションは、ゲームプレイ中に状態を変化することがある。このような状態変化は、ビデオゲームコントローラー４００のインタラクティブな要素の機能に影響を及ぼし得る。例えば、インタラクティブな要素は、異なるゲームシーンにおいて異なる機能を有してもよい。同様に、単一のシーンにおいても、インタラクティブな要素は、他のコントロールと組み合わせて作動される場合に対して、単独で作動される場合に、異なる機能を有していてもよい。あるゲームから別のゲームへの変更は、ビデオゲームコントローラー４００のインタラクティブな要素の機能に影響を及ぼし得る状態変化の別の例である。

[0037]したがって、シースルーディスプレイデバイスは、インタラクティブな要素の現在の機能が正しく表示されるように、このような状態変化に対するイメージ応答（imagery response）の拡張を変更してもよい。いくつかの実施例ではこのような更新がアニメートされる一方、他の実施例では任意の他の適切な移行が使用されてもよい。

[0038]拡張イメージ（augmenting imagery）はまた、複数段階の入力を実行する方法を示して指示するために使用することができる。図６Ａ−６Ｃはこのような拡張の表示の例示的な実施例を示す。図６Ａに示すように、ポップアップ６０８が表示され、（特定の一連のユーザー入力、ゲームアプリケーション内で特定の仮想位置に入ること、ゲームアプリケーション内で新しい仮想アイテムを獲得することによって）特別な攻撃が利用可能であることを示す。

[0039]ポップアップ６０８を表示した後、シースルーディスプレイデバイスは、図６Ｂに示すように、複数段階入力の次のステップを示してもよい。いくつかの実施例では、第１のフレーム（例えば、図６Ａに示すフレーム）が所定の時間の間表示された後に、次のステップの図が自動的に表示される。他の実施例では、例えば、インタラクティブな要素を作動すること（例えば、ボタンを押すこと）、視線を要素に向けること、音声コマンドを提供すること、ジェスチャーを実行することなど、ユーザーのアクションの際に、次のステップの図が表示されてもよい。

[0040]図６Ｂは、複数段階入力の第２のステップの表示を示す。このステップでは、矢印６１０が表示されて、反時計回りの円で左ジョイスティックを動かすようにユーザーに指示する。いくつかの実施例では、左ジョイスティック上に表示される矢印６１０及び／又は任意の拡張は、モーションが入力の組み合わせのステップに含まれるというさらなる指示を提供するためにアニメートすることができる。続いて、図６Ｃは、押すべき特定のインタラクティブな要素４０２を示す陰影付きのオーバーレイイメージ６１２として、複数段階入力の最後のステップの表示を示す。

[0041]各ステップ及び／又は複数段階入力に関するさらなる情報は、他の拡張イメージを介して表示することができる。例えば、図６Ｃでは、ポップアップ６１４は、アニメーション及び／又は入力の組み合わせに関するさらなる情報を表示する格納できる（引っ込めることができる、retractable）テキストボックス拡張機能（extension）６１６を備える。図示される実施例では、テキストボックス拡張機能６１６は、特殊な攻撃の例示的な実行を示すビデオへのハイパーリンクを含むことができる。他の実施例では、テキストボックス拡張機能６１６は、特殊な攻撃を実行するためのさらなる命令、特殊な攻撃に関連する埋め込まれたビデオ又はオーディオクリップのうちの１つ又は複数を含んでもよい。いくつかの実施例では、このようなテキストボックス拡張機能６１６は、ポップアップ６１４に関連付けられる対応するコントロールの選択に基づいて広げたり引っ込めたりすることができる。

[0042]図７Ａは、複数のキー７０２を含むキーボード７００の形態のコントロールデバイスの別の例示的な実施例を示す。キー７０２は、タッチセンサー式の入力デバイス上の物理ボタン又はソフトウェアベースの「ソフトキー」であってもよい。１つ又は複数のキー７０２は、制御される特定のアプリケーション、コンピューティングデバイスなどに基づいて、異なる機能を有していてもよい。例えば、いくつかの用途において、キー７０２ａはキーボード７００のコントロールキーとすることができ、キー７０２ｂはキーボード７００の文字キーとすることができ、キー７０２ｃはキーボード７００の方向キーとすることができる。

[0043]他の用途では、これらのキーは異なる機能を有してもよい。例えば、文字キー７０２ｂはビデオゲームにおける方向キーとして使用されてもよい。したがって、図７Ｂは、これらのさまざまな機能に関する情報を提供する拡張イメージ（augmentation image）によるキーボード７００の例示的な拡張を示す。例えば、コントロールキー７０２ａにおける「ＣＴＲＬ」のマークは、「ＲＵＮ」などのオーバーレイテキストを表示するために覆い隠されてもよい。同様に、「Ｗ」、「Ａ」、「Ｓ」、「Ｄ」のキー７０２ｂはすべて、方向矢印キー７０２ｃと同じ色のオーバーレイを有して、これらのキーが方向キー（例えば、上、左、下、右）として関連する機能を有していることを示してもよい。拡張イメージ（augmenting images）は、下にあるキーボードのマークを完全に覆い隠してもよいし、下にあるキーボードのマークが目に見えるままとなるように、部分的に透明であってもよい。拡張イメージのこれらの特定の実施例は例示の目的のために提示されるものであり、任意の他の適切な拡大イメージを使用することができるので、いかなる方法によっても限定的であることを意図するものではないことが理解されるであろう。

[0044]拡張イメージは、さらに、１つ又は複数のユーザー設定によって制御可能であってもよい。例えば、ユーザーは、イメージを拡張するときに使用する言語及び／又は文字のセットを選択してもよい。このような設定はまた、選択された言語にない、シースルーディスプレイデバイスによって検出された任意のテキストを自動的に翻訳するために使用することができる。ユーザー設定はまた、カラーオーバーレイ又は他の拡張イメージに使用するべき好ましい色及び／又は配色を選択するために使用されてもよい。例えば、色覚異常をもつユーザーによって検出可能な色のバリエーションを表示するために、色覚異常モードが選択されてもよい。これらの実施例は例示の目的のために提示されるものであり、拡張イメージの任意の適切な態様を制御するためにユーザー選択が使用されてもよいことが理解されよう。

[0045]図８Ａは、テレビ、オーディオ受信機、マルチメディアデバイスなどにユーザー入力を提供するために使用することができるリモコン８００の形態のコントロールデバイスの別の実施例を示す。リモートコントロールデバイス８００は、ボタン８０２などの複数のユーザー作動可能なインタラクティブな要素を含んでもよく、それらは、制御されるコンピューティングデバイス、制御されるアプリケーション、制御されるアプリケーションの状態などに基づいて、異なる機能を有してもよい。

[0046]図８Ｂは、シースルーディスプレイデバイスを介してリモートコントロールデバイス８００上に表示された拡張イメージの例を示す。図８Ｂに示すように、ボタン８０２は、リモートコントロールデバイス８００のボタンの機能に関する情報を表示する拡張イメージ８０４、８０６及び８０８によって拡張されている。例えば、リモートコントロールデバイス８００は、制御されている異なるデバイスに対応する複数のモードを有していてもよい。したがって、図示されるように、各モードは、８０４において「ＴＶ］で示されるようなグラフィックオーバーレイによって指定される。さらに、ＤＶＤプレイヤー制御マーク（indicia）８０６によって示されるように、各モード内のインタラクティブな要素の機能を表すマークが表示されてもよい。ポップアップ８０８はまた、ボリュームやチャネルを変える機能を示すものとして示される。さらに、拡張イメージ８０４、８０６及び８０８は、モード変化に応じて動的に更新することができる。

[0047]図９は、シースルーディスプレイデバイスを介して見られるような、ユーザー作動可能なコントロール９０２及びディスプレイ９０４を含む、車両ダッシュボード９００のコントロールの形態のコントロールデバイスの別の実施例を示す。時折、ユーザーは、制御又は表示の機能に関する情報を望むことがある。したがって、ユーザーは、例えば、音声コマンド、ジェスチャー（すなわち、要素に触れること又は要素を指すこと）、（視線９０６で示すような）視線、又は他の適切な方法によって、より多くの情報（例えば、特定のインジケーターライト（indicator light））が望まれるダッシュボード要素を示すことができる。これに応答して、シースルーディスプレイデバイスは、９０８において示されるように、指定された要素の機能を表示してもよい。いくつかの実施例では、拡張イメージ９０８は、車両及び／又は運転者の状態（例えば、車両が移動しているか又は閾値を超える速度で移動していると判定された場合）に応じて表示されない場合がある。任意の適切な車両及び／又は他の機械的デバイスのためのコントロールの外観を同様に拡張することができることが理解されよう。

[0048]図１０は、キオスク１００２の形態のコントロールデバイスを含む環境の形態の別の例示的な物理空間１０００を概略的に示す。キオスク１００２は、ユーザー１００６によって作動可能なボタン１００４などのインタラクティブな要素を含んでもよく、ボタンはキオスク１００２の状態に基づいて異なる機能を有することができる。例えば、キオスク１００２は現金自動預け払い機（ＡＴＭ）であってもよく、ボタン１００４は、メニューシステム内の現在位置に基づいて異なる機能を提供してもよい。

[0049]シースルーディスプレイデバイス１００８は、ユーザー１００６及び／又はシースルーディスプレイデバイス１００８の視野内のキオスク１００２の存在を検出することができ、それに応答して、キオスク１００２を特定するための情報を要求するか又は取り出すことができる。加えて又は代替的に、シースルーディスプレイデバイス１００８は、キオスク１００２によって放出されるビーコン信号を識別することによって、キオスク１００２上又は近くに位置するバーコード又はＱコードをスキャンして識別することによって、シースルーディスプレイデバイスの深度センサー又は撮像センサーによって取得されるキオスク１００２のイメージを認識することによって、キオスク１００２に関する情報を含むユーザー入力を受け取ることによって、及び／又は他の任意の適切な方法で、キオスク１００２を検出してもよい。

[0050]シースルーディスプレイデバイス１００８は、ピアツーピア接続を介して、ネットワークアクセスポイントを介して、又は任意の適切な方法で、キオスク１００２に直接接続することができる。接続されると、キオスク１００２は、ボタン１００４の機能を識別する情報をシースルーディスプレイデバイス１００８に送信することができる。キオスク１００２によって送信された情報は、キオスク１００２の状態の変化に応じて動的に更新されてもよい。このように、シースルーディスプレイデバイス１００８は、現在のボタンの機能が正しく表示されることを保証するために、拡張イメージを更新することができる。

[0051]図１１は、シースルーディスプレイデバイスを介してコントロールデバイスのための操作情報を表示する方法１１００の実施例を示すフローチャートを示す。１１０２において、シースルーディスプレイデバイスは、図１−３に関して上記により詳細に説明するように、例えばイメージセンサーを用いて、シースルーディスプレイを通して見ることができるシーンのイメージを取得する。１１０４において、シースルーディスプレイデバイスは、例えば、シーンについて取得されたイメージデータの分析によって、シーン内のコントロールデバイスを検出する。シースルーディスプレイデバイスは、さらに、例えば分類機能を介して、１１０６において、コントロールデバイスを識別することができる。いくつかの実施例において、本明細書に開示されるこのような識別及び／又は他のプロセスがリモートサービスを介して行われてもよいことが理解されるであろう。

[0052]コントロールデバイスを検出して識別した後、シースルーディスプレイデバイスは、１１０８において、コントロールデバイスのインタラクティブな要素の機能に関する情報を取得する。このような情報は任意の適切な方法で取得することができる。例えば、いくつかの例において、コントロールデバイスが既知のコントロールデバイス（例えば、ユーザーのリモートコントロールデバイス）である場合及び／又は制御されるアプリケーションが既知のアプリケーションである場合などに、情報はローカルに格納されてもよい。このような例では、シースルーディスプレイデバイスは、ローカルストレージから情報を取り出すことができる。他の例では、シースルーディスプレイデバイスは、コントロールデバイス、ネットワークベースのサービス、及び／又は任意の他の適切な場所から情報を取り出すことができる。

[0053]いくつかの実施例では、情報は、コントロールデバイスのインタラクティブな要素のサブセットについて取得することができる。例えば、幾つかの実施例では、シースルーディスプレイデバイスは、１１１０において選択されたインタラクティブな要素におけるユーザーの視線を検出し、その要素についての情報を得ることができる。視線検出はまた、（例えば、車のダッシュボードの例において）他の要素の情報が取得された他の要素を除外して選択された要素の情報を表示するために使用することができる。

[0054]１１１２において、シースルーディスプレイデバイスは、インタラクティブな要素の機能に関連したイメージデータでインタラクティブな要素を拡張するイメージを表示する。このようなイメージデータは、グラフィック要素、テキスト、アニメーションなどを含むがこれらに限定されない任意の適切な情報を含むことができる。さらに、上述のように、いくつかの実施例では、シースルーディスプレイデバイスは、現在関心のない情報を表示することによって引き起こされ得る注意散漫を低減するために、１１１４において示されるように、別のインタラクティブな要素を除外して、選択されたインタラクティブな要素を拡張するように構成されてもよい。

[0055]上述したように、コントロールデバイスのインタラクティブな要素の機能は、いくつかの例では変更することがある。したがって、方法１１００は、１１１６において、インタラクティブな要素の機能の変更を検出することを含む。そのような変更は、制御されるアプリケーションにおける変更、制御されるアプリケーションの状態の変化及び／又は任意の他の適切な変更から生じ得る。これに応答して、シースルーディスプレイデバイスは、１１１８において示されるように、新しい機能に関連する更新された情報を提供する更新されたイメージを表示することができる。例えば、シースルーディスプレイデバイスは、更新された情報を受信及び／又は取得して、当該更新された情報を１つ又は複数のさらなる又は代替的な拡張イメージとして表示することができる。これは、現在の情報が表示されることを保証する助けとなる。

[0056]上述したように、いくつかの例では、シースルーディスプレイデバイスは、コントロールデバイスのインタラクティブな要素の現在の機能に関する情報を受け取ることができる。図１２は、コントロールデバイスから、シースルーディスプレイデバイスなどの別のコンピューティングデバイスにそのような情報を提供する方法１２００の実施例を示すフローチャートを示す。方法１２００は、１２０２において、シースルーディスプレイデバイスとの接続を確立することを含む。任意の適切なタイプの接続が確立されてもよい。例としては、限定されるものではないが、直接的な有線及び／又は無線接続（例えばＷｉＦｉ直接接続、ブルートゥースなど）、ならびにネットワークアクセスポイントを介した接続が挙げられる。

[0057]１２０４において、方法１２００は、コントロールデバイスの１つ又は複数のユーザー作動可能なコンポーネントの現在の機能に関する情報を求める要求を、第２のコンピューティングデバイスから受け取ることを含む。これは、１２０６において、要求とともにコントロールデバイス識別情報を受け取ることを含んでもよい。これはまた、１２０７において、イメージデータ又は未知のコントロールデバイスを捕捉する他のデータ、及びデータからコントロールデバイスを識別する要求を受け取ることを含んでもよい。

[0058]要求に応答して、第１のコンピューティングデバイスは１２０８において第２のコンピューティングデバイスに情報を送信する。これは、さらに、１２０９において、要求されたコントロールデバイスの機能情報の送信を支援するために（例えば、１つ又は複数の分類機能によるイメージデータの分類を介して）コントロールデバイスを識別することを含んでもよい。さらに、いくつかの実施例において、第１のコンピューティングデバイスは、１２１０においてコントロールデバイスのユーザー作動可能なコンポーネントの複数のマッピングを送信してもよく、当該複数のマッピングは、それぞれ、１２０６において受け取られたアプリケーション情報に関連付けられたアプリケーションの異なる状態に対応する。接続を確立してシースルーディスプレイデバイスと通信するコンピューティングデバイスは、リモートサービスを実行するサーバー、キオスクなどを含むがこれらに限定されない、任意の適切なコンピューティングデバイスとすることができる。

[0059]いくつかの実施例では、上述した方法及びプロセスは、１つ又は複数のコンピューターを含むコンピューティングシステムに関係してもよい。特に、本明細書に記載される方法及びプロセスは、コンピューターアプリケーション、コンピューターサービス、コンピューターＡＰＩ、コンピューターライブラリー、及び／又は他のコンピュータープログラム製品として実施することができる。

[0060]図１３は、上述の方法及びプロセスの１つ又は複数を実行することができる限定的でないコンピューティングシステム１３００を概略的に示す。コンピューティングシステム１３００は簡略化して示されている。実質的に任意のコンピューターアーキテクチャーを本開示の範囲から逸脱することなく使用できることが理解されるべきである。別の実施例では、コンピューティングシステム１３００は、メインフレームコンピューター、サーバコンピューター、デスクトップコンピューター、ラップトップコンピューター、タブレットコンピューター、ホームエンターテイメントコンピューター、ネットワークコンピューティングデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス、ゲームデバイス、ヘッドマウントディスプレイデバイス、シースルーディスプレイデバイスなどの形態をとることができる。

[0061]コンピューティングシステム１３００は、論理サブシステム１３０２及びデータ保持サブシステム１３０４を含む。コンピューティングシステム１３００は、必要に応じて、ディスプレイサブシステム１３０６、センサーサブシステム１３０８、通信サブシステム１３１０及び／又は図１３には示されていない他のコンポーネントを含んでもよい。コンピューティングシステム１３００はまた、必要に応じて、例えば、キーボード、マウス、ゲームコントローラー、カメラ、マイクロフォン、及び／又はタッチスクリーンなどのユーザー入力デバイスを含んでもよい。

[0062]論理サブシステム１３０２は、１つ又は複数の命令を実行するように構成された１つ又は複数の物理デバイスを含むことができる。例えば、論理サブシステムは、１つ又は複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリー、オブジェクト、コンポーネント、データ構造、又は他の論理構造の一部である１つ又は複数の命令を実行するように構成されてもよい。そのような命令は、タスクを実行し、データ型を実装し、１つ又は複数のデバイスの状態を変換し、又はそうでなければ所望の結果に到達するために実施されてもよい。

[0063]論理サブシステムは、ソフトウェア命令を実行するように構成された１つ又は複数のプロセッサーを含んでもよい。さらに又は代替的に、論理サブシステムは、ハードウェア又はファームウェア命令を実行するように構成された１つ又は複数のハードウェア又はファームウェア論理マシンを含むことができる。論理サブシステムのプロセッサーは、シングルコア又はマルチコアであってもよく、その上で実行されるプログラムは、並列又は分散処理するように構成することができる。論理サブシステムは、必要に応じて、リモートに配置され及び／又は協調処理するように構成することができる複数のデバイスにわたって分散している個々のコンポーネントを含むことができる。論理サブシステムの１つ又は複数の態様は、クラウドコンピューティング構成で構成されるリモートでアクセス可能なネットワーク化されたコンピューティングデバイスによって仮想化されて実行されてもよい。

[0064]データ保持サブシステム１３０４は、本明細書に記載される方法及びプロセスを実施する論理サブシステムにより実行可能なデータ及び／又は命令を保持するように構成された１つ又は複数の物理的な持続性デバイスを含んでもよい。このような方法及びプロセスが実施される場合、データ保持サブシステム１３０４の状態は、（例えば、異なるデータを保持するように）変換されてもよい。

[0065]データ保持サブシステム１３０４は、取り外し可能な媒体及び／又は組み込みデバイスを含むことができる。データ保持サブシステム１３０４は、とりわけ、光メモリーデバイス（例えば、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイディスクなど）、半導体メモリーデバイス（例えば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなど）及び／又は磁気メモリーデバイス（例えば、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、テープドライブ、ＭＲＡＭなど）を含んでいてもよい。データ保持サブシステム１３０４は、以下の特性の１つ又は複数をもつデバイスを含むことができる：揮発性、不揮発性、動的、静的、読み取り／書き込み、読み取り専用、ランダムアクセス、シーケンシャルアクセス、位置アドレス可能、ファイルアドレス可能、コンテンツアドレス可能。いくつかの実施例では、論理サブシステム１３０２及びデータ保持サブシステム１３０４は、特定用途向け集積回路又はシステムオンチップなどの１つ又は複数の共通のデバイスに統合することができる。

[0066]図１３はまた、本明細書に記載される方法及びプロセスを実施するために実行可能なデータ及び／又は命令を格納及び／又は転送するために使用することができる、取り外し可能なコンピューター読み取り可能な記憶媒体１３１２の形態のデータ保持サブシステムの態様を示す。取り外し可能なコンピューター読み取り可能な記憶媒体１３１２は、とりわけ、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイディスク、ＥＥＰＲＯＭ、及び／又はフロッピー（登録商標）ディスクの形態をとることができる。

[0067]データ保持サブシステム１３０４は１つ又は複数の物理的な持続性デバイスを含むことが理解されるべきである。対照的に、いくつかの実施例では、本明細書に記載された命令の態様は、少なくとも有限の機関の間物理デバイスによって保持されない純粋な信号（例えば、電磁信号、光信号等）によって一時的な方法で伝播させることができる。さらに、本開示に関係するデータ及び／又は他の形態の情報は、純粋な信号によって伝播させることができる。

[0068]「プログラム」という用語は、１つ又は複数の特定の機能を実行するように実施されるコンピューティングシステム１３００の態様を説明するために使用されてもよい。いくつかの場合において、そのようなプログラムは、データ保持サブシステム１３０４によって保持された命令を実行する論理サブシステム１３０２を介してインスタンス化することができる。異なるプログラムが、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリー、ルーチン、ＡＰＩ、関数などからインスタンス化されてもよいことが理解されるべきである、同じプログラムが、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、関数などによってインスタンス化されてもよい。「プログラム」という用語は、実行可能ファイル、データファイル、ライブラリー、ドライバー、スクリプト、データベースレコードなどの各々又はグループを包含することを意味する。

[0069]本明細書で使用されるとき、「サービス」は、複数のユーザーセッションにわたって実行可能であり、１つ又は複数のシステムコンポーネント、プログラム、及び／又は他のサービスにとって利用可能である、アプリケーションプログラムとすることができることを理解されたい。いくつかの実施例では、サービスは、クライアントからの要求に応答してサーバ上で実行することができる。

[0070]含まれる場合、ディスプレイサブシステム１３０６は、データ保持サブシステム１３０４が保持するデータの視覚的表現を提示するために使用することができる。例えば、上述したように、ディスプレイサブシステム１３０６はシースルーディスプレイであってもよい。本明細書に記載される方法及びプロセスはデータ保持サブシステムによって保持されたデータを変更し、従って、データ保持サブシステムの状態を変換し、ディスプレイサブシステム１３０６の状態は、同様に、基礎となるデータの変更を視覚的に表すために変換されてもよい。ディスプレイサブシステム１３０６は、実質的に任意の種類の技術を利用して１つ又は複数のディスプレイデバイスを含むことができる。このようなディスプレイデバイスは、共有エンクロージャー内で論理サブシステム１３０２及び／又はデータ保持サブシステム１３０４と組み合わせてもよく、また、このようなディスプレイデバイスは周辺ディスプレイデバイスであってもよい。

[0071]含まれる場合、通信サブシステム１３１０は、コンピューティングシステム１３００を１つ又は複数の他のコンピューティングデバイスと通信可能に接続するように構成することができる。例えば、シースルーディスプレイデバイスの例では、通信サブシステム１３１０は、１つ又は複数の他のシースルーディスプレイデバイス、ゲームコンソール、キオスク、コントロールデバイス及び／又は他の任意のコンピューティングデバイスにコンピューティングシステム１３００を通信可能に結合するように構成されてもよい。通信サブシステム１３１０は、１つ又は複数の異なる通信プロトコルと互換性のある有線及び／又は無線通信デバイスを含むことができる。限定的でない例として、通信サブシステムは、無線電話網、無線ローカルエリアネットワーク、有線ローカルエリアネットワーク、無線広域ネットワーク、有線広域ネットワークなどを介して通信するように構成されてもよい。いくつかの実施例において、通信サブシステムは、コンピューティングシステム１３００が、インターネットなどのネットワークを介して他のデバイスとの間でメッセージを送受信することを可能にしてもよい。

[0072]上述したように、センサーサブシステム１３０８は、異なる物理現象（例えば、可視光、赤外光、加速度、姿勢、位置など）を感知するように構成された１つ又は複数のセンサーを含むことができる。例えば、センサーサブシステム１３０８は、１つ又は複数のイメージセンサー、加速度計などのモーションセンサー、タッチパッド、タッチスクリーン、及び／又は任意の他の適切なセンサーを含んでもよい。したがって、センサーサブシステム１３０８は、例えば、論理サブシステム１３０２に観測情報を提供するように構成されてもよい。上述したように、イメージデータ、モーションセンサーデータ、及び／又は任意の他の適切なセンサーデータなどの観測情報は、ユーザーが行った特定のジェスチャーを決定し、ユーザーの視線を検出し、物体認識を行うことなどのタスクを実行するために使用することができる。

[0073]幾つかの実施例では、センサーサブシステム１３０８は、構造化光カメラ、飛行時間型カメラ、ステレオカメラシステム、又は任意の他の適切な深度分解能のカメラを含むがこれらに限定されない深度カメラ（例えば、図２の外向きセンサー２０６）を含むことができる。

[0074]いくつかの実施例では、センサーサブシステム１３０８は可視光カメラを含むことができる。実質的に任意のタイプのデジタルカメラ技術を、本開示の範囲から逸脱することなく使用することができる。限定的でない例として、可視光カメラは、電荷結合素子イメージセンサーを含むことができる。

[0075]本明細書に記載する構成及び／又は手法は例示の目的のために提示されるものであり、多くの変形が可能であるので、これらの具体的な実施例又は例は限定的な意味で考えるべきではないことが理解されるべきである。本明細書に記載の特定のルーチン又は方法は、任意の数の処理ストラテジーのうちの１つ又は複数を表すことができる。このように、説明された様々な動作は、説明された順序で、他の順序で、並行して実行することができ、又はいくつかの場合においては省略されてもよい。同様に、上述の処理の順序は変更してもよい。

[0076]本開示の主題は、本明細書に開示される様々なプロセス、システム及び構成、他の特徴、機能、動作並びに／又は特性のすべての新規で非自明な組み合わせ及びサブコンビネーションのほか、それらの任意の及びすべての均等物を含む。

Claims (10)

1. シースルーディスプレイ及び外向きイメージセンサーを備えるシースルーディスプレイデバイスにおいて、コントロールデバイスのための操作情報を提供する方法であって、
   シースルーディスプレイを介して見ることができるシーンのイメージを取得するステップと、
   前記シーン内のコントロールデバイスを検出するステップと、
   前記コントロールデバイスのインタラクティブな要素の機能に関する情報を取り出すステップと、
   前記インタラクティブな要素の機能に関連するイメージデータによって前記コントロールデバイスの前記インタラクティブな要素の外観を拡張するイメージを前記シースルーディスプレイに表示するステップと
   を含む方法。
2. 前記イメージは前記インタラクティブな要素の機能に関連するグラフィック要素を含み、前記グラフィック要素は前記シースルーディスプレイ上で前記インタラクティブな要素の上に表示される請求項１に記載の方法。
3. 前記イメージは前記インタラクティブな要素を記述するテキスト情報を有するテキストボックスを含む請求項１に記載の方法。
4. 前記テキストボックスの選択を受け取るステップと、それに応答して前記シースルーディスプレイデバイス上にさらなる情報を表示するステップとをさらに含む請求項３に記載の方法。
5. 前記イメージはアニメーションを含む請求項１に記載の方法。
6. 前記情報を取り出すステップは、前記コントロールデバイス及びネットワークベースのサービスのうちの１つ又は複数から前記情報を取り出すステップを含む請求項１に記載の方法。
7. 携帯型シースルーディスプレイデバイスであって、
   イメージセンサーと、
   シースルーディスプレイと、
   論理サブシステムと、
   前記シースルーディスプレイを介して見ることができるシーンのイメージを取得し、
   前記シーン内のコントロールデバイスを検出し、
   前記コントロールデバイスのインタラクティブな要素の機能に関する情報を取り出し、
   前記シースルーディスプレイ上に、前記コントロールデバイスの前記インタラクティブな要素の外観を拡張するイメージを表示し、前記イメージは前記インタラクティブな要素の機能に関連し、
   前記インタラクティブな要素の機能の変化を検出し、
   前記機能の変化に関連する更新された情報を提供する更新されたイメージを表示する
   ための前記論理サブシステムによって実行可能な命令を含むデータ保持サブシステムと
   を備える携帯型シースルーディスプレイデバイス。
8. 前記命令は、前記コントロールデバイスにより制御されるアプリケーションの現在の状態の変化を検出することにより、前記インタラクティブな要素の機能の変化を検出するように実行可能である請求項７に記載のデバイス。
9. 前記命令は、前記シーン内のキーボードを検出し、前記キーボードによって制御されるアプリケーションに従って前記キーボードのキーの外観を拡張するイメージを前記シースルーディスプレイ上に表示するように実行可能である請求項７に記載のデバイス。
10. 前記コントロールデバイスの選択されたインタラクティブな要素において前記シースルーディスプレイデバイスのユーザーの視線を検出するように構成される内向きセンサーをさらに備え、前記命令は、別のインタラクティブな要素ではなく前記選択されたインタラクティブな要素の外観を拡張するイメージを表示するようにさらに実行可能である請求項７に記載のデバイス。

Images