JP2017513093A

JP2017513093A - 注視の検出を介した遠隔デバイスの制御

Info

Publication number: JP2017513093A
Application number: JP2016552519A
Authority: JP
Inventors: ウィライラット，ウィーラパン; トゥクラール，バイブハブ; エデン，イブラヒム; ニスター，デイビッド
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2014-03-12
Filing date: 2015-03-09
Publication date: 2017-05-25
Also published as: RU2016136371A3; RU2016136371A; EP3117417A1; AU2015229755A1; EP3117417B1; CN106104650A; WO2015138271A1; MX2016011540A; CA2939532A1; US20150261293A1; TW201535155A; KR20160135242A

Abstract

注視を利用した遠隔デバイスの制御に関する実施形態が開示される。例えば、開示される実施形態の１つは、コンピューティングデバイスにおいて、ユーザの注視の方向を検出するステップと、注視の方向に位置する遠隔制御可能デバイスを制御するための前記ユーザからのインジケーションを検出するステップと、遠隔制御可能デバイスをユーザが制御できるようにコントローラデバイスのユーザインターフェースを適合するステップとを含む方法を提供する。

Description

[0001] 技術の進歩に伴い、人々が日常的に使用する電子デバイスの数が増えてきている。例えば、人は、スマートフォン、ビデオゲーム機、家庭娯楽システム、および多数の他の電子デバイスと頻繁に対話することがある。そのようなデバイスを最大に活用するには、ユーザはデバイスを積極的に制御しなければならない。しかし、多数のデバイスを制御するには、ユーザがデバイス間を移動したり、デバイスごとに異なるユーザインターフェースを操作したり、数個の遠隔制御送信器を手元に置いておくことが必要となる場合がある。

[0002] 注視を利用した遠隔デバイスの制御に関する実施形態が開示される。例えば、開示される実施形態の１つは、コンピューティングデバイスにおいて、ユーザの注視の方向を検出するステップと、注視の方向に位置する遠隔制御可能デバイスを制御するためのユーザからのインジケーションを検出するステップと、遠隔制御可能デバイスをユーザが制御できるようにコントローラデバイスのユーザインターフェースを適合するステップとを含む方法を提供する。

[0003] この概要は、下記の詳細な説明でさらに説明する概念のいくつかを簡略化した形態で紹介するために提供される。この概要は、特許請求の主題の主要な特徴または必須の特徴を明らかにすることを意図せず、特許請求の主題の範囲を限定するために使用することも意図しない。さらに、特許請求の主題は、本開示の任意の箇所に記載される不都合点のいずれかまたはすべてを解決する実装に限定されない。

[0004]本開示の実施形態による、ユーザが遠隔から電子デバイスを制御することができる例示的環境の態様を示す図である。 [0005]本開示の実施形態による、コンピュータシステムおよび相互接続されたシステムの態様を示す高水準模式図である。 [0006]本開示の実施形態による、装着型ディスプレイシステムの態様を示す図である。 [0007]本開示の実施形態による、図３の装着型ディスプレイシステムの右または左の光学系の態様を示す図である。 [0008]本開示の実施形態による、ユーザが遠隔から電子デバイスを制御することを可能にする例示的方法を説明する図である。 [0009]本開示の実施形態による、注視または手のジェスチャを介した遠隔制御可能デバイスのユーザインターフェースの操作を説明する図である。

[0010] 本明細書に開示される実施形態は、ユーザが多数の電子デバイスを遠隔から直感的に制御することを可能にする。一手法では、ユーザは、制御しようとするデバイスを、単に注視することによって選択することができる。あるデバイスを制御することをユーザが意図しているとシステムが決定すると、システムは、そのデバイスに固有のユーザインターフェースを表示するか、またはそのデバイスの制御を可能にするように既存のユーザインターフェースを適合する。そして、そのユーザインターフェースを通じてユーザの入力が受け取られ、適切な制御信号が送信されて制御を実行する。

[0011] 図１は、個人の住居のリビングルームまたは居間の形態である例示的な環境１０の態様を示す図である。ただし、本明細書に記載のシステムおよび方法は、小売り環境やサービス環境などの他の環境でも適用することができる。図１の環境は、ユーザ１４が楽しむための家庭娯楽システム１２を備えている。図１では、ユーザ１４は立った姿勢で示しているが、他の状況ではユーザは座っているか、横になっている場合もある。

[0012] 家庭娯楽システム１２は、大型ディスプレイ１６およびスピーカ１８を含み、これらはいずれも動作可能にコンピュータシステム２０に結合されている。また、家庭娯楽システムは、オーディオビデオ（ＡＶ）受信機２２およびケーブルボックス２４も含む。図の家庭娯楽システムは例として提供されるものであり、開示される実施形態は他の適切なデバイス構成でも利用できることは理解されよう。構成によっては、例えば、ディスプレイ１６が、ユーザに装着されるヘッドウェアやアイウェアに内蔵された接眼（near-eye）ディスプレイに置き換えられる場合もある。

[0013] 引き続き図１で、環境１０は、家庭娯楽システム１２の電子デバイス以外に、ユーザ１４が制御できる各種の電子デバイスを含んでいる。そのようなデバイスには、例として、室内照明システム２６およびサーモスタット２８が含まれる。図の環境は、スマートフォンやタブレットコンピュータ等のモバイルコンピューティングデバイス３０も含んでいる。

[0014] 環境１０は、環境内にある他の電子デバイスを制御するように構成された１つまたは複数の電子デバイスも含む場合がある。図１では、例えば、ユーザ１４が汎用リモコン送信機３２を手に持っているのが示されている。汎用リモコン送信機は、環境内の遠隔制御可能デバイス、例えばとりわけ、ディスプレイ１６、ＡＶ受信機２２、ケーブルボックス２４、室内照明システム２６、サーモスタット２８、スマートフォン３０、および／またはコンピューティングデバイス２０に適切な制御信号（赤外線、電波、Bluetooth（登録商標）等）を送信するように構成することができる。実施形態によっては、モバイルコンピューティングデバイス３０などの他のデバイスがコントローラデバイスとして使用される場合もある。

[0015] 上記のように、本明細書に開示される実施形態では、ユーザ１４は単に電子デバイスを注視するだけで、制御したい電子デバイスを選択することができる。そのために、コンピュータシステム２０は、環境１０内のどこに遠隔制御可能電子デバイスがあるかを定義するデータを備えている。実施形態によっては、このデータの少なくとも一部分が環境撮像システムを通じて取得される場合がある。他の実施形態では、このデータは、下記で説明するようにユーザ入力によって取得される場合もある。さらに、コンピュータシステム２０は、ユーザがコントローラデバイスを介して遠隔制御可能デバイスを利便に制御できるように、そのコントローラデバイスのユーザインターフェースを適合するためのデータを備えることができる。図示する実施形態では、ユーザの注視がケーブルボックスにあることを検出するのに応答して、ケーブルボックス２４用のユーザインターフェースが表示される。他の例では、リモコン３２、スマートフォン３０、または別の遠隔制御可能デバイスを制御するために使用できる他の適切なコントローラデバイスのユーザインターフェースを、コンピューティングデバイスが適合することができる。

[0016] 実施形態によっては、環境撮像システムが奥行きカメラまたはカラーカメラを備える場合がある。環境撮像システムは、例えば視覚システム３８の撮影コンポーネント群を共用するか、および／または環境内に他の撮影デバイス（図示せず）を含むことができる。実施形態によっては、環境撮像システムは、ユーザが手に持って環境内を歩き回ることによって遠隔制御可能デバイスを撮像する場合もある。さらに他の実施形態では、環境撮像システムは、ユーザに装着されるアイウェアやヘッドウェアに内蔵される場合もある。位置追跡コンポーネント群で、環境撮像システムによって撮影された画像データを現実世界の座標にマッピングすることができる。下流で行われる画像データの分析を通じて様々な遠隔制御可能デバイスの場所を確定し、コンピュータシステム２０で維持されるマップに記憶することができる。そのマップに注視追跡コンポーネント群がアクセスして、ユーザが遠隔制御可能デバイスのいずれかを注視しているかどうかを決定することができる。環境の撮像で得られる利点はあるものの、この機能は実施形態によっては省略してもよく、代替の方法を使用して環境内の遠隔制御可能デバイスの場所を確定することができる。

[0017] さらに、コンピュータシステム２０の性質は、本開示の異なる実施形態ごとに異なる可能性がある。実施形態によっては、コンピュータシステムは、ビデオゲームシステム、ならびに／または音楽および／もしくは映像を再生するように構成されたマルチメディアシステムである場合もある。他の実施形態では、コンピュータシステムは、インターネットの閲覧や生産アプリケーションに使用される汎用コンピュータシステムである場合もある。コンピュータシステム２０は、本開示の範囲から逸脱することなく、上記の目的のいずれかもしくはすべて、および／または他の該当する目的に合わせて構成することができる。

[0018] コンピュータシステム２０は、１人または複数のユーザから各種形態のユーザ入力を受け付けるように構成される。そのため、キーボード、マウス、タッチ画面、ゲームパッド、またはジョイスティックコントローラ（図面には示さず）などのユーザ入力装置が、動作可能にコンピュータシステムに結合され、それを使用してデータを直接入力することができる。コンピュータシステム２０は、１人または複数のユーザからいわゆる自然ユーザ入力（NUI）も受け付けるように構成される。ＮＵＩを仲介するために、ＮＵＩシステム３６がコンピュータシステムに含まれる。ＮＵＩシステムは、ＮＵＩの各種側面を捉え、それに対応する、動作を行わせることが可能な入力をコンピュータシステムに提供するように構成される。そのために、ＮＵＩシステムは、周辺の感覚コンポーネントから低水準の入力を受け取り、そのようなコンポーネントには、種々の他のコンポーネント（例えば環境を撮像するように構成されたカメラ）の中でも特に、視覚システム３８および聴覚システム４０が含まれる。

[0019] 聴覚システム４０は、ユーザ１４から、また環境１０内の鳴っている電話やストリーミングオーディオなどの他の音源から、発声や他の可聴入力を拾う１つまたは複数のマイクロフォンを含むことができ、１つまたは複数のマイクロフォンを備える場合がある。例によっては、聴覚システム４０は、指向性のマイクロフォンアレイを備える場合がある。視覚システム３８は、ユーザのジェスチャ、眼の場所、ならびに他の身体のジェスチャおよび／または姿勢の情報などの入力を、視覚システムによって取得された画像データを介して検出するように構成される。図の実施形態では、視覚システムと聴覚システムは共通の筐体を共有しているが、他の実施形態ではそれぞれ別個のコンポーネントである場合もある。さらに他の実施形態では、視覚システム、聴覚システム、およびＮＵＩシステムがコンピュータシステムの中に組み込まれる場合もある。コンピュータシステムおよびその周辺の感覚コンポーネントは、図面に示すように有線の通信リンクを介して、または他の適切な方式で結合することができる。

[0020] 図２は、例示的な実施形態におけるコンピュータシステム２０および周辺システムの態様を示す高水準模式図である。図のコンピュータシステムはオペレーティングシステム（OS）４２を含み、これはソフトウェアおよび／またはファームウェアとして具現化することができる。コンピュータシステムは１つまたは複数のアプリケーション４４も含み、これは、例えば、ビデオゲームアプリケーション、デジタルメディアプレーヤ、インターネットブラウザ、写真編集ソフト、ワードプロセッサ、および／または表計算アプリケーションなどである。コンピュータシステム２０、視覚システム３８、聴覚システム４０、および環境撮像システム３４（例えば、環境を別の視点から撮像する、視覚システム３８の外部にあるカメラ）のいずれかまたはすべてが、各自の機能を支援するために必要に応じて適切なデータ記憶機構、命令記憶機構、および論理ハードウェアを含むことができる。

[0021] 図２の実施形態では、視覚システム３８は、１つまたは複数の奥行きカメラ４６、および１つまたは複数のカラーカメラ４８を備える。各奥行きカメラは、ユーザ１４および環境１０の時間分解された連続した奥行きマップを取得するように構成することができる。本明細書で使用される用語「奥行きマップ」は、撮像された場面の対応する領域（Ｘ_ｉ，Ｙ_ｉ）に位置合わせされた画素の配列を意味し、奥行き値Ｚ_ｉが、画素ごとに、対応する領域の奥行きを示す。「奥行き」は、奥行きカメラの光軸に平行な座標と定義することができ、奥行きカメラからの距離が増すにつれて増大する。動作上、奥行きカメラは２次元画像データを取得するように構成され、そのデータから下流の処理を介して奥行きマップが得られる。

[0022] 一般に、奥行きカメラ４６の性質は、本開示の様々な実施形態ごとに異なる可能性がある。一実施形態では、奥行きカメラ内部の立体的に配向された２つの撮像アレイから得られる輝度または色のデータを互いと位置合わせし、それを使用して奥行きマップを構築することができる。他の実施形態では、奥行きカメラは、多数の離散した特徴、例えば線や点からなる構造化赤外線（IR）照明パターンを被写体に投射するように構成される場合がある。奥行きカメラの撮像アレイは、被写体で反射されて戻ってくる構造化照明を撮像するように構成することができる。撮像された被写体の様々な領域内にある隣接する特徴間の間隔に基づいて、被写体の奥行きマップを構築することができる。さらに他の実施形態では、奥行きカメラが、パルス状の赤外線照明を被写体に向けて投影することができる。被写体で反射されて戻ってくるパルス状の照明を検出するように、奥行きカメラの撮像アレイの対を構成することができる。両アレイが、パルス状照明に同期された１つの電子シャッターを備えることができるが、それぞれのアレイの積分時間が異なる場合があり、それにより、照明源から被写体、そしてアレイへと移るパルス状照明の画素で分解した飛行時間を、２つのアレイの対応する素子で受光された光の相対量に基づいて判別することができる。

[0023] 各カラーカメラ４８は、観察対象のシーンからの可視光を、例えば赤、緑、青等の複数のチャネルで撮像し、撮像された光を画素のアレイにマッピングすることができる。これに代えて、光をグレースケールで撮像する単色カメラが使用される場合もある。カメラ内で露光されたすべての画素に対応する色値または輝度値がまとまって１つのデジタルカラー画像を構築する。実施形態によっては、カラーカメラの画素が奥行きカメラの画素と位置合わせされる場合がある。そのようにすると、観察されたシーンの部位ごとに、色の情報と奥行きの情報の両方を評価することができる。

[0024] ＮＵＩシステム３６は、視覚システム３８、聴覚システム４０、および環境撮像システム３４からの低水準の入力（すなわち信号）を処理して、動作を行わせることが可能な高水準入力をコンピュータシステム２０に提供する。例えば、ＮＵＩシステムは、聴覚システム４０からのオーディオ信号に音または声認識を行うことができる。声認識で、対応するテキスト形式のコマンドまたは他の高水準コマンドを生成することができ、それがコンピュータシステムに受信される。図２に示す実施形態では、ＮＵＩシステムは、音声認識エンジン５０、ジェスチャ認識エンジン５２、顔認識エンジン５４、注視検出エンジン５６、および環境マッピングエンジン５８を備える。

[0025] 音声認識エンジン５０は、聴覚システム４０からのオーディオデータを処理し、ユーザの音声中の特定の単語やフレーズを認識し、それに対応するコンピュータシステム２０のＯＳ４２またはアプリケーション４４への、動作を行わせることが可能な入力を生成するように構成される。ジェスチャ認識エンジン５２は、少なくとも視覚システム３８からの奥行きデータを処理して、奥行きデータから１つまたは複数の人間の被写体を識別し、識別された被写体の各種の骨格の特徴を算出し、その骨格の特徴から各種の姿勢またはジェスチャの情報を収集するように構成され、その情報がＯＳまたはアプリケーションに供給される。顔認識エンジン５４は、視覚システムからの画像データを処理して、現在のユーザの顔の特徴を分析するように構成される。顔の特徴を分析することによって現在のユーザを識別することができ、例えばコンピュータシステムに記憶されているユーザプロフィールと照合することができる。顔認識エンジン５４で許可を実施することもでき、それによって特定に基づいて様々なレベルの制御権をユーザに与えることができる。より具体的な例として、ユーザは、子どもにはサーモスタットや他の家庭内システムの制御装置を制御させないことを選択することができ、顔の認識および／または他の識別法を使用してその方針を実施することができる。そのような許可は他の適切な方式でも実装可能であることが理解されよう。

[0026] 環境マッピングエンジン５８は、環境内の各種の遠隔制御可能電子デバイスの位置を含む環境１０のマップを作成するように構成される。環境マッピングエンジンは、直接のユーザ入力を含む、そのような位置を定義する適切な形式の入力を受け取るように構成することができる。一例では、ユーザは、単に制御したいデバイスの方向を注視して、そこにあるデバイスを識別することができる。ユーザは、例えば、デバイスの識別を声に出して言う（例えば検出されたデバイスの一覧と、それらのデバイスに関連付けられた識別がユーザに表示される）ことにより、またはキーボード、キーパッド、ゲームコントローラ、もしくは他の入力装置を介して識別を入力することにより、または他の適切な方式で、デバイスを識別することができる。そのようにして、それぞれの遠隔制御可能デバイスが各自の位置に関連付けられる。さらに、このプロセス中に、例えば、遠隔制御したいデバイスのパスワードを入力するか、または他の適切なペアリング処理を行うことにより、遠隔制御可能デバイスとコンピューティングデバイスとのペアリングを実現することができる。場所とペアリングの情報はコンピュータシステムの不揮発性メモリに記憶され、後に、ユーザがどの遠隔制御可能デバイスを制御したいのかを決定するために使用され、また制御対象のデバイスに通信接続するためにも使用される場合がある。別の実施形態では、環境マッピングエンジンは、環境撮像システム３４から入力を受け取ることができる。それに応じて、環境マッピングエンジンは、電子デバイスの画像の特性（例えば、大きさ、形状、色）に基づいて、またはバーコードやロゴなどの適切な識別マーカーに基づいて、または他の適切な方式で、各種の電子デバイスを認識するように構成することができる。

[0027] 他の実施形態では、環境マッピングエンジンは、複数の信号（例えば電波や他の適切な波長）受信機に動作可能に結合することができる。信号受信機は、環境１０内の遠隔制御可能電子デバイスに取り付けられた送信ビーコンから識別信号を受信するように構成することができる。環境内に受信機が空間的に分散した状態では、環境マッピングエンジンは、それぞれの遠隔制御可能電子デバイスの場所を三角測量で求めることによってマップを作成するように構成することができる。

[0028] 引き続き図２で、注視検出エンジン５６は、視覚システム３８からのデータを処理して、ユーザの頭部の向きを識別し、および／またはユーザの１つもしくは複数の眼に関する特徴を識別するように構成される。そのような眼に関する特徴には、瞳孔の中心、瞳孔の輪郭、虹彩の中心、虹彩の輪郭、および／または、ユーザの眼の角膜で反射された既知の光源からの１つもしくは複数の鏡面反射（「グリント（glint）光源」からの「グリント」と呼ばれることがある）が含まれる。頭部の向きまたは眼の特徴の位置に基づいて、注視検出エンジンは、ユーザの注視ベクトルを推定し、ユーザの注視の方向を検出することができる。さらに、注視検出エンジンは、環境マッピングエンジン５８で維持されている遠隔制御可能電子デバイスのマップにアクセスするように構成することができる。そのようにして、ユーザの注視ベクトルをマップ上に描画して、ユーザが注視している遠隔制御可能デバイスがあれば、いつでも決定することができる。

[0029] 図２で、コンピュータシステム２０は、ハードウェアインターフェース６０に動作可能に結合され、インターフェース６０は、環境内にある各種遠隔制御可能デバイスの制御を提供する。そのために、ハードウェアインターフェースは、コンピュータシステムから送られた制御コマンドを、コンピュータシステムで受け取られたユーザ入力に従って変換し、対応する制御信号を遠隔制御可能デバイスに出力する。実施形態によっては、ハードウェアインターフェースは、遠隔制御可能デバイスが受信するように構成された制御信号の種類に対応する１つまたは複数の信号送信器、例えば赤外線や電波等を備える場合がある。他の実施形態では、ハードウェアインターフェースは、遠隔制御可能デバイスの少なくとも一部を有線で制御する場合がある。さらに他の実施形態では、ハードウェアインターフェースは、汎用リモコン送信機３２などの周辺コントローラデバイスと通信し、制御するように構成される場合がある。その場合、ハードウェアインターフェースは、送信機が現在ペアリングされている遠隔制御可能デバイスを切り替えるコンピュータからの制御出力を変換することができる。

[0030] 多数の他の実施形態も企図されることから、上述の図面および記載は制限的な意味に解釈すべきでない。実施形態によっては、上記のディスプレイまたは感覚コンポーネント群は、ユーザに装着されるアイウェアまたはヘッドウェアに内蔵される場合がある。これに応じて、図３に、装着型の立体ディスプレイシステム６２の態様を示す。図のディスプレイシステムは通常のアイウェアに似る。ディスプレイシステムは、耳にかけるフレーム６４と、装着者の顔に配置される鼻ブリッジ６６を含む。ディスプレイシステムは、右側表示窓６８Ｒおよび左側表示窓６８Ｌも備える。実施形態によっては、右側および左側の表示窓６８は、装着者から見て全体または一部が透明であり、装着者は自身の周囲をはっきりと見ることができる。

[0031] 実施形態によっては、表示像は、実時間でコンピュータシステム２０からディスプレイシステム６２に送信される。ディスプレイシステム６２のマイクロコントローラ７０は、右側および左側の光学系７２Ｒおよび７２Ｌに動作可能に結合されている。図の実施形態では、マイクロコントローラは、左右の光学系と共にディスプレイシステムのフレームの内部に隠されている。マイクロコントローラは、コンピュータシステム２０から表示像を受信できるようにする適切な入出力（IO）コンポーネント群を含むことができる。ディスプレイシステム６２の動作中、マイクロコントローラ７０は、右側光学系７２Ｒに適切な制御信号を送信し、それにより右側光学系が右側表示窓６８Ｒに右表示画像を形成する。同様に、マイクロコントローラは左側光学系７２Ｌに適切な制御信号を送信し、それにより左側光学系が左側表示窓６８Ｌに左表示画像を形成する。

[0032] 図４は、非制限的な一実施形態における右または左の光学系７２およびそれに関連付けられた表示窓６８の態様を示す。光学系は、バックライト７４および液晶ディスプレイ（LCD）マトリクス７６を含む。バックライトは、発光ダイオード（LED）、例えば白色ＬＥＤの集合や、分散された赤色、緑色、および青色ＬＥＤを含むことができる。バックライトは、バックライトの発光をＬＣＤマトリクスを通じて誘導するように配置され、ＬＣＤマトリクスは、マイクロコントローラ７０からの制御信号に基づいて表示画像を形成する。ＬＣＤマトリクスは、矩形のグリッドまたは他の形状に配置された、個々にアドレス指定可能な多数の画素を含むことができる。実施形態によっては、赤色光を発する画素が、マトリクス内で緑色光および青色光を発する画素と並べて置かれ、ＬＣＤマトリクスでカラー画像を形成することができる。ＬＣＤマトリクスとして、一実施形態では、ＬＣＯＳ（liquid-crystal-on-silicon）マトリクスを用いることができる。他の実施形態では、ＬＣＤマトリクスの代わりにデジタル微小鏡面（micromirror）アレイが使用されるか、または能動ＬＣＤマトリクスが代わりに使用される場合もある。さらに他の実施形態では、スキャンビーム技術を使用して左右の表示画像を形成することができる。

[0033] 引き続き図４で、光学系７２は、ディスプレイシステム６２の装着者の右眼もしくは左眼７８の瞳孔の位置および／または虹彩の位置を感知するように構成された眼追跡コンポーネント群も含む。図４の実施形態では、眼追跡コンポーネント群は、装着者の眼で反射されたアイランプ８０からの光を撮像する撮像システムの形態である。アイランプは、眼に光を当てるように構成された赤外線または近赤外線ＬＥＤを含むことができる。一実施形態では、アイランプは、比較的狭い角度の照明を提供して、眼の角膜８４に鏡面グリント８２を作り出すことができる。撮像システムは、アイランプの発光波長範囲内の光を撮像するように構成された少なくとも１つのカメラ８６を含む。このカメラは、眼で反射されたアイランプの光を撮影するように配置されるか、または他の形で構成される。カメラからの画像データが、マイクロコントローラ７０またはコンピュータシステム２０内の関連付けられたロジックに伝達される。そのロジックで画像データが処理されて、瞳孔の中心８８、瞳孔の輪郭９０、および／または角膜からの１つもしくは複数の鏡面グリント８２などの特徴を分解することができる。それに加えて、またはそれに代えて、虹彩の中心や虹彩の輪郭が分解される場合もある。画像データ中のそのような特徴の場所を、特徴点を眼の注視ベクトル９２に関係付けるモデル、例えば多項モデルの入力パラメータとして使用することができる。

[0034] 場合によっては、ＬＣＤマトリクス７６からの表示画像が、ディスプレイシステム６２の装着者が直接見るには適さない場合がある。詳細には、表示画像が装着者の眼からずれていたり、望ましくないバージェンス（vergence）があったり、および／または非常に小さい射出瞳である場合がある。そのような問題を考慮して、ＬＣＤマトリクスからの表示画像は、装着者の眼に向かう途中にさらに調整される場合がある。図４の実施形態では、ＬＣＤマトリクス７６からの表示画像が、レンズ９６を通じて縦方向瞳拡大器９４に受け取られる。縦方向瞳拡大器は、表示画像を下げて装着者の視野の中に入れ、その際に表示画像の射出瞳を「縦」方向に拡大する。縦方向瞳拡大器９４から、表示画像は横方向瞳拡大器に受け取られる。横方向瞳拡大器は表示窓６８の内部に結合するか、または表示窓６８として実施することができる。他の実施形態では、横方向瞳拡大器は表示窓とは別個にすることができる。いずれの場合も、横方向瞳拡大器は、表示画像の射出瞳を「横」方向に拡大する。横方向瞳拡大器と縦方向瞳拡大器を通過することにより、表示画像は、ほぼ眼を覆うエリアに提示される。

[0035] 上記の構成は、注視を利用した遠隔デバイスの制御の各種方法を可能にする。次いで、そのような方法のいくつかを、引き続き上記の構成を参照して例として説明する。ただし、本明細書に記載される方法および本開示の範囲にある他の方法は、異なる構成でも可能にすることができることは理解されよう。

[0036] 図５は、注視を利用して１つまたは複数の遠隔制御可能デバイスを制御する例示的方法９８を説明する図である。方法９８の１００で、１つまたは複数の遠隔制御可能デバイスの場所が、コンピュータシステム２０のデータ記憶媒体内にマッピングされる。一実施形態では、遠隔制御可能デバイスの場所は、直接のユーザ入力を介してマッピングすることができる。言い換えると、ユーザが１つまたは複数のデバイスの座標を入力するか、注視しているデバイスを識別しながら一度に１つずつデバイスを注視することによって、各デバイスをそれがある場所に関連付けることができる。実施形態によっては、このプロセスの一部として、デバイスの対話式のペアリングを行うこともできる。他の実施形態では、遠隔制御可能デバイスの場所は、上記のように、環境撮像システムを通じて取得された画像データと、画像データからの遠隔制御可能デバイスの識別とに基づいてマッピングすることができる。さらに他の実施形態では、遠隔制御可能デバイスの場所は、コンピュータシステムに動作可能に結合された感覚コンポーネント群で受信される信号に基づいてマッピングされる。信号は、遠隔制御可能電子デバイスに位置する送信機から発信される可能性がある。

[0037] １０２で、コンピュータシステムのユーザの注視の方向が検出される。注視の方向は、ユーザの方に向けられた視覚システムの１つまたは複数のカメラから得られる、ユーザの頭部、顔、および／または眼の画像を取得することによって検出することができる。一実施形態では、画像は、ユーザの顔の大まかな向きを定義する場合がある。他の実施形態では、画像はさらに、瞳孔の中心、瞳孔の輪郭、またはユーザの角膜からの鏡面グリントなど、ユーザの眼に関する特徴を定義する場合もある。そして、頭部、顔、および／または眼の画像を注視検出エンジン５６で分析して、ユーザの注視ベクトルを算出する。ディスプレイ１６を含む実施形態では、遠隔制御可能な物体を選択するための注視は、ディスプレイの表示可能な境界の外側にある箇所に向けられる可能性がある。

[0038] １０４で、現在の注視の方向が、場所がすでにマッピングされている遠隔制御可能デバイスの１つの場所と一致すると決定される。そのような決定は、例えば、ユーザの注視ベクトルを、遠隔制御可能デバイスの場所がマッピングされている座標系と同じ座標系に描くことによって行うことができる。

[0039] １０６で、任意選択により、ユーザの顔を顔認識エンジン５４で認識することができる。実施形態および使用の事例によっては、下記で詳しく説明するように、遠隔デバイスの制御は、システムを利用する特定のユーザに応じて異なる形で進行する可能性がある。したがって、顔認識を使用してユーザを識別し、それにより下流の処理に通知を出すことができる。

[0040] １０８で、注視の方向に配置されている遠隔制御可能デバイスを制御するためのユーザからのインジケーションが検出される。一実施形態では、遠隔制御可能デバイスを制御しようとする意思は、単にユーザの注視の休止によって示すことができる。言い換えると、ユーザはデバイスを２秒間や５秒間などの閾値時間にわたって注視して、そのデバイスを制御したい意思を示すことができる。

[0041] さらに他の実施形態では、遠隔制御可能デバイスを制御したい意思は、付帯インジケーションを通じて伝達される。この目的に適する付帯インジケーションの１つはユーザの音声であり、音声は聴覚システム４０を介して受け取られ、音声認識エンジン５０で認識することができる。例えば、ユーザは「電源オン」と言うことにより、注視しているデバイスの電源を入れることができる。他の適切な付帯インジケーションには、視覚システム３８を介して受け取られ、ジェスチャ認識エンジン５２で解釈される、ユーザの手または身体のジェスチャが含まれ得る。一例として、ユーザは遠隔制御可能デバイスを見ながら一方の手を挙げることにより、デバイスの電源を入れたいことを示すことができる。

[0042] １１０で、ユーザの注視の方向にある遠隔制御可能デバイスをユーザが制御できるようにするために、コントローラデバイスのユーザインターフェースが適合される。本開示の種々の実施形態では、ユーザインターフェースの適合の性質は種々の形態を取る可能性がある。上記のように、各種のコントローラデバイスが本方法に対応可能である。実施形態によっては、コントローラデバイスは、ディスプレイ（例えばテレビ、コンピュータモニタ、専用ディスプレイ等）に動作可能に結合された娯楽システムやゲームシステムである場合もある。その場合、適合されたユーザインターフェースは、ディスプレイに提示された、選択された遠隔制御可能デバイスのユーザインターフェースを含むことができる。適合されたユーザインターフェースがディスプレイに提示される実施形態では、インターフェース表示の操作も可能にされる。操作の適切なモードには、これらに限定されないが、音声による操作、手のジェスチャによる操作、および注視の方向による操作が含まれる。ユーザインターフェースがユーザの注視の方向に基づいて操作される実施形態では、ユーザの注視はディスプレイ上の箇所に向けることができる。

[0043] 図６は、ユーザ１４が注視の方向または手のジェスチャに基づいてディスプレイ１６に提示されたＵＩを操作する使用事例を説明する図である。視覚システム３８（または他の適切な注視検出システム、例えば頭部装着ディスプレイ）からの画像データに基づいて、注視検出エンジン５６は、ユーザが注視している点に対応する表示画面の座標（X，Y）を算出するように構成することができる。同様に、ジェスチャ検出エンジン５２は、ユーザの身体に固定された座標系１１２に対するユーザの手の位置に基づいて、同様の座標を算出するように構成することができる。そのようにして、ユーザは、遠隔制御可能デバイスを制御するために設けられた各種のＵＩ要素を操作することができる。

[0044] 他の実施形態では、コントローラデバイスは、汎用リモコンなどの手持ち型のデバイスである場合もある。その場合、コントローラデバイスのユーザインターフェースを適合する動作は、デバイスの押しボタンまたは他のコントロールの効果を変える、また実施形態によっては、押しボタンまたは他のコントロールの外観を変えることを含む可能性がある。他の実施形態では、遠隔制御可能デバイスを制御するためのユーザインターフェースの適合は、視覚的な適合以外の適合を含む場合もある。さらに他の実施形態では、ユーザインターフェースは視覚を利用するものでない場合もある。そのようなユーザインターフェースは、全体または一部が、上記の視覚システムおよび／または聴覚システムを通じて受け取られる声やジェスチャなどの自然ユーザ入力に依拠する場合がある。

[0045] 次いで図５に戻ると、使用事例によっては、デバイスは、システムを利用している特定のユーザに応じて異なる形で制御されることがある。例えば、子どもがゲームシステムやケーブルボックスを制御できることは容認できるが、子どもがサーモスタットを調整できることは容認できない可能性がある。さらに、ユーザの中には、特定のデバイスでは単純なユーザインターフェースと対話することを好み、一方、他のユーザは、同じデバイスでもより複雑な制御を望む場合もある。したがって、１１０でコントローラデバイスのユーザインターフェースが適合される詳細な方式は、１０６における顔認識および／または他の適切な生体識別方法（例えば声の認識）で明らかになるユーザの特定に依存する可能性がある。例えば、ユーザの顔が子どもの顔と認識された場合、システムは、特定のデバイス用のＵＩの提示を抑制するか、単純化されたＵＩを提示することができる。

[0046] １１４で、ユーザからの入力がコントローラデバイスで受信される。コントローラデバイスが汎用リモコンなどの適合可能な手持ち型デバイスである実施形態では、ユーザ入力は、ユーザによって駆動される押しボタンまたは他のコントロールを介して受信することができる。上記のように、そのようなコントロールの効果およびおそらくは外観は、１１０で、制御しようとする特定のデバイスに応じて適合することができる。例えば、それぞれのリモコンボタンに設けられた個別に制御可能な画面を制御して、そのボタンの現在の機能を表示することができる。他の非制限的な実施形態では、ユーザ入力は、手もしくは身体のジェスチャの形態、または注視の形態で受け取られる場合がある。例えば、ユーザインターフェースは１１０で、ＵＩ要素の集まりをディスプレイに提示するように適合される場合がある。その場合、ディスプレイの範囲内でのユーザの注視方向を使用して該当するＵＩ要素をアクティブにして、要求される動作を行わせることができる。１１６で、受信された入力に基づいて、選択された遠隔制御可能デバイスに信号が送信されて、その結果その遠隔制御可能デバイスを制御する。

[0047] 事例によっては、同じトリガーに応答して２つ以上の遠隔制御可能デバイスが同時に制御される場合がある。例示的な事例の１つは、ユーザが映画をストリーミングしており、電話が鳴ったことでそれが中断される場合であり、電話機はユーザの環境内にあるが、ユーザの手元にはない。この出来事により、ユーザは鳴っている電話の方向を注視し、それにより電話機が制御する第１のデバイスとして選択される。ユーザが手を挙げるか、「電話に出る」と言うと、システムは、例えば電話機を室内のオーディオに接続したり、ディスプレイにＵＩを提示して音を消したり電話を切ることができるようにするなど、様々な方式で電話機を遠隔制御できるようにすることができる。１１８で、システムは、映画のストリーミングを自動的に一時停止して、第２の遠隔制御可能デバイス、例えばＤＶＲやケーブルボックスの制御を実行することもできる。この例では、映画を一時停止する動作は、同時に第２のユーザインターフェースをディスプレイに提示することを伴う場合もある。第２のユーザインターフェースは、例えば、映像のストリーミングを停止または再開するオプションを提供することができる。

[0048] 上述の説明から明らかであるように、本明細書に記載の方法およびプロセスは、１つまたは複数の計算機からなるコンピュータシステムに結びつけることができる。そのような方法およびプロセスは、コンピュータアプリケーションプログラムもしくはサービス、アプリケーションプログラミングインターフェース（API）、ライブラリ、および／または他のコンピュータプログラム製品として実装される可能性がある。

[0049] 図２に簡略化した形態で示すのは、本明細書に記載の方法およびプロセスを支援するために使用されるコンピュータシステム２０の非制限的な例である。コンピュータシステムは、論理機械１２０および命令記憶機械１２２を含む。コンピュータシステムは、ディスプレイ１６、通信システム１２４、および図２には図示しない各種構成要素も含む。

[0050] それぞれの論理機械１２０は、命令を実行するように構成された１つまたは複数の物理装置を含む。例えば、論理機械は、１つまたは複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、または他の論理構成体の一部である命令を実行するように構成される可能性がある。そのような命令を実装して、タスクを行う、データ型を実装する、１つもしくは複数の構成要素の状態を変化させる、技術的効果を実現する、または他の形で要求される結果を達成することができる。

[0051] 各論理機械１２０は、ソフトウェア命令を実行するように構成された１つまたは複数のプロセッサを含むことができる。それに加えて、またはそれに代えて、論理機械は、ハードウェア命令またはファームウェア命令を実行するように構成された１つまたは複数のハードウェアまたはファームウェアの論理機械を含む場合もある。論理機械のプロセッサは、シングルコアである場合も、マルチコアである場合もあり、プロセッサで実行される命令は、順次処理、並列処理、および／または分散処理されるように構成される可能性がある。論理機械の個々の構成要素は、任意選択により、２つ以上の別個の装置に分散することもでき、それぞれの装置は、遠隔に位置するか、および／または連携した処理を行うように構成される。論理機械の態様は、クラウドコンピューティング構成で構成された、遠隔からアクセス可能なネットワーク化されたコンピューティングデバイスによって仮想化し、実行することができる。

[0052] 各命令記憶機械１２２は、本明細書に記載される方法およびプロセスを実装するために関連付けられた論理機械１２０によって実行可能な命令を保持するように構成された、１つまたは複数の物理装置を含む。そのような方法およびプロセスが実装されると、命令記憶機械の状態は、例えば異なるデータを保持するなど、変化する場合がある。命令記憶機械には、取り外し可能装置および／または内蔵装置が含まれ、とりわけ、光学メモリ（例えば、CD、DVD、HD-DVD、Blu-Rayディスク等）、半導体メモリ（例えば、RAM、EPROM、EEPROM等）、および／または磁気メモリ（例えば、ハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、MRAM等）が含まれる。命令記憶機械には、揮発性、不揮発性、動的、静的、読み書き両用、読出し専用、ランダムアクセス、順次アクセス、場所でアドレス指定可能、ファイルでアドレス指定可能、および／または内容でアドレス指定可能な装置が含まれる可能性がある。

[0053] 各命令記憶機械１２２は１つまたは複数の物理装置を含むことが認識されよう。ただし、本明細書に記載される命令の態様は、代わりに、物理装置によって有限の持続時間にわたって保持されるのでない通信媒体（例えば電磁気信号や光学信号等）で伝搬されることも可能である。

[0054] 論理機械および命令記憶機械の態様は、共に統合して１つまたは複数のハードウェア論理構成要素にすることができる。そのようなハードウェア論理構成要素には、例えば、利用者書き換え可能ゲートアレイ（FPGA）、特定プログラム用途および特定用途向け集積回路（PASIC/ASIC）、特定プログラム用途および特定用途向け標準製品（PSSP/ASSP）、システムオンチップ（SOC）、および複雑プログラム可能論理デバイス（CPLD）が含まれ得る。

[0055] 用語「モジュール」、「プログラム」、および「エンジン」は、特定の機能を行うために実装されるコンピュータシステムの態様を記述するために使用される場合がある。場合によっては、モジュール、プログラム、またはエンジンは、命令記憶機械に保持されている命令を実行する論理機械を介して具現化される場合がある。同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数等から異なるモジュール、プログラム、および／またはエンジンが具現化される場合があることは理解されよう。同様に、同じモジュール、プログラム、および／またはエンジンが、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、関数等によって具現化される場合もある。用語「モジュール」、「プログラム」、および「エンジン」は、実行ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコード等の個々または群を包含する。

[0056] 通信システム１２４は、コンピュータシステムを１つまたは複数の他の機械に通信的に結合するように構成することができる。通信システムは、１つまたは複数の異なる通信プロトコルと互換性のある有線および／または無線の通信装置を含む可能性がある。非制限的な例として、通信システムは、無線電話網、または有線もしくは無線のローカルエリアネットワークもしくはワイドエリアネットワークを介した通信を行うように構成することができる。実施形態によっては、通信システムは、計算機が、インターネットなどのネットワークを介して他の装置との間でメッセージを送信および／または受信できるようにすることができる。

[0057] 本明細書に開示される構成および／または手法は本質的に例示的なものであり、また多数の変形例が可能であることから、それらの具体的な実施形態や例は、制限的な意味に解釈すべきでないことは理解されよう。本明細書に記載される具体的なルーチンまたは方法は、任意数の処理手段の１つまたは複数を表す可能性がある。そのため、図示および／または記載される種々の動作は、図示および／もしくは記載される順序で行われる場合も、他の順序で行われる場合も、並行して行われる場合も、または省略される場合もある。同様に、上記のプロセスの順序は変更することができる。

[0058] 本開示の主題は、本明細書に開示される各種のプロセス、システムおよび構成、ならびに他の特徴、機能、動作、および／または特性の新規で非自明のすべての組み合わせおよびサブコンビネーション、ならびにそれらの均等物すべてを含む。

Claims

注視方向検出器を備えたコンピューティングシステムで、注視を利用して遠隔デバイスを制御する方法であって、
前記注視方向検出器からのデータを介して、ユーザの注視の方向を検出するステップと、
前記注視の方向に位置する遠隔制御可能デバイスを制御するための前記ユーザからのインジケーションを検出するステップと、
前記遠隔制御可能デバイスをユーザが制御できるようにコントローラデバイスのユーザインターフェースを適合するステップと、
注視の方向を介して前記コントローラデバイスの前記ユーザインターフェースと対話している前記ユーザからの入力を受信するステップと、
前記受信された入力に基づいて、前記遠隔制御可能デバイスに信号を送信して前記遠隔制御可能デバイスを制御するステップと
を含む方法。
前記コントローラデバイスが、前記ユーザが見ることが可能なディスプレイを含み、前記適合されたユーザインターフェースが前記ディスプレイに提示される請求項１に記載の方法。
前記遠隔制御可能デバイスを制御するためのインジケーションが、前記注視の方向の休止を含む請求項１に記載の方法。
前記遠隔制御可能デバイスを制御するためのインジケーションが音声を含む請求項１に記載の方法。
前記遠隔制御可能デバイスを制御するためのインジケーションがジェスチャを含む請求項１に記載の方法。
前記ユーザの顔を認識するステップをさらに含み、前記コントローラデバイスの前記ユーザインターフェースが、認識された顔に基づいて異なる形で適合される請求項１に記載の方法。
前記コントローラデバイスが娯楽システムからなる請求項１に記載の方法。
前記コントローラデバイスが手持ち型デバイスからなる請求項１に記載の方法。
前記遠隔制御可能デバイスが第１の遠隔制御可能デバイスであり、前記方法は、１つまたは複数の他の遠隔制御可能デバイスを同時に制御するステップをさらに含む請求項１に記載の方法。
注視を利用して遠隔デバイスを制御するシステムであって、
動作可能に命令記憶機械に結合された論理機械を備え、前記命令記憶機械は、前記論理機械に、
注視方向検出器からのデータを介して、決定された注視の方向に配置されている遠隔制御可能デバイスを制御するためのユーザからのインジケーションを検出させ、
前記遠隔制御可能デバイスとは別個の表示装置を介して、前記遠隔制御可能デバイスをユーザが制御することができるユーザインターフェースを表示させ、
前記ユーザからの入力を受信させ、
前記受信された入力に基づいて、前記遠隔制御可能デバイスに信号を送信して前記遠隔制御可能デバイスを制御するための
命令を保持しているシステム。
前記命令を実行して、前記ディスプレイの外側の箇所に向けられた注視を検出することによって前記ユーザからの前記インジケーションを検出することができる請求項１０に記載のシステム。
前記命令を実行して、前記ディスプレイ上の箇所に向けられた注視を介して前記ユーザからの前記入力を受信することができる請求項１０に記載のシステム。
前記ディスプレイおよび注視方向検出器が、装着型デバイス内で前記記憶機械および論理機械と一体化されている請求項１０に記載のシステム。