JP2016503217A

JP2016503217A - 拡張現実デバイスを制御するための装置および方法

Info

Publication number: JP2016503217A
Application number: JP2015552830A
Authority: JP
Inventors: リウ、ケシー; キム、フレデリック・ディー．; レンシュラー・マーティン・エイチ．
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2013-01-13
Filing date: 2014-01-10
Publication date: 2016-02-01
Anticipated expiration: 2034-01-10
Also published as: EP2943853A1; US20190278367A1; CN104937519A; US10359841B2; WO2014110437A1; KR102159313B1; CN109901722A; KR20150107781A; CN104937519B; JP6254193B2; CN109901722B; EP2943853B1; US11366515B2; ES2899753T3; US20140198129A1

Abstract

装置、方法、およびコンピュータ・プログラム製品が提供される。装置は、現実のシーンにおける第１の領域上の視線を検知し、第１の領域を囲んでおり、現実のシーンにおける少なくとも第２の領域を除外する境界を設定し、境界内の第１の領域上の物体認識手順を実行し、少なくとも第２の領域上の物体認識手順を実行することを控える。

Description

[0001]本開示は一般に、拡張現実デバイスを制御するための装置および方法に関する。

[0002]モバイル・デバイス・ディスプレイ上の拡張現実のためのユーザ・インタフェースは、十分に直感的ではない。モバイル・デバイスにおける拡張現実とインタラクト（interacting）する従来の方法は、ユーザが、拡張コンテンツに対するターゲットの近傍のデバイスを示し、さらなる制御のためにモバイル・デバイスのディスプレイに触れることを必要とする。これは、ディスプレイを見ることと、現実のシーンにおいて実際の物体を見ることとの間でのコンスタントなコンテンツ切換を必要とする。したがって、拡張現実とインタラクトする従来の方法は、十分に直観的ではない。そのため、拡張現実とインタラクトする改善された方法は、効率のみならず、ユーザ体験および制御をも高めることが必要とされる。

[0003]コンテンツを表示するように構成されたヘッド・マウント式の光学デバイスのような高度なモバイル・デバイスを用いて、視野が非常に拡大される。したがって、興味のある物体を示し、拡張させるための効率的な処理技法およびヘテロジニアスなユーザ入力が、拡張現実システムのために役に立つ機能である。

[0004]本開示の態様では、装置、方法、およびコンピュータ・プログラム製品が提供される。装置は、現実のシーンにおける第１の領域における視線を検知し、第１の領域を囲む境界を設定し、その境界は現実のシーンにおける少なくとも第２の領域を除外し、境界内の第１の領域において物体認識手順を実行し、少なくとも第２の領域において物体認識手順を実行することを控える。

[0005]図１は、コンテンツを表示するように構成された光学デバイスを例示するブロック図である。 [0006]図２は、現実のシーンを例示する。 [0007]図３は、光学デバイスのレンズを介してユーザによって観察されている現実のシーンを例示する。 [0008]図４は、光学デバイスのレンズを介してユーザによって観察されている現実のシーンを例示する。 [0009]図５は、光学デバイスのレンズを介してユーザによって観察されている現実のシーンを例示する。 [0010]図６は、光学デバイスのレンズを介してユーザによって観察されている現実のシーンを例示する。 [0011]図７は、光学デバイスのレンズを介してユーザによって観察されている現実のシーンを例示する。 [0012]図８は、光学デバイスのレンズを介してユーザによって観察されている現実のシーンを例示する。 [0013]図９は、光学デバイスのレンズを介してユーザによって観察されている現実のシーンを例示する。 [0014]図１０は、光学デバイスのレンズを介してユーザによって観察されている現実のシーンを例示する。 [0015]図１１は、コンテンツを表示するように構成された光学デバイスのための方法のフローチャートである。 [0016]図１２は、コンテンツを表示するように構成された光学デバイスのための方法のフローチャートである。 [0017]図１３は、コンテンツを表示するように構成された光学デバイスのための方法のフローチャートである。 [0018]図１４は、コンテンツを表示するように構成された光学デバイスのための方法のフローチャートである。 [0019]図１５は、コンテンツを表示するように構成された光学デバイスのための方法のフローチャートである。 [0020]図１６は、コンテンツを表示するように構成された光学デバイスのための方法のフローチャートである。 [0021]図１７は、典型的な装置における異なるモジュール／手段／構成要素の動作を例示する概念的なフロー図である。 [0022]図１８は、処理システムを適用する装置のためのハードウェア実装の例を例示する図解である。

[0023]添付図面とともに以下に説明する詳細な説明は、さまざまな構成の説明として意図されており、本明細書に記載された概念が実現される唯一の構成を表すことは意図されていない。この詳細な説明は、さまざまな概念の完全な理解を提供することを目的とした具体的な詳細を含んでいる。しかしながら、これらの概念は、これら具体的な詳細無しで実現されうることが当業者に明らかになるであろう。いくつかの事例では、周知の構成および構成要素が、このような概念を曖昧にすることを避けるために、ブロック図形式で示されている。

[0024]拡張現実デバイスを制御するためのいくつかの態様が、さまざまな装置および方法に関して示されるであろう。これらの装置および方法は、さまざまなブロック、モジュール、構成要素、回路、ステップ、処理、アルゴリズム等によって、後述する詳細な説明に記述されており、添付図面に例示される。（集合的に「要素」と称される）これらの要素は、電子ハードウェア、コンピュータ・ソフトウェア、またはこれら任意の組み合わせを用いて実現されうる。それら要素がハードウェアとしてまたはソフトウェアとして実現されるかは、特定のアプリケーションおよびシステム全体に課せられている設計制約に依存する。

[0025]例として、要素、要素の任意の部分、または、要素の任意の組み合わせは、１または複数のプロセッサを含む「処理システム」を用いて実現されうる。プロセッサの例は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、順序回路、ゲート・ロジック、ディスクリート・ハードウェア回路、およびこの開示の全体にわたって記載されたさまざまな機能を実行するように構成されたその他の適切なハードウェアを含んでいる。処理システムにおける１または複数のプロセッサは、ソフトウェアを実行しうる。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはその他で称されるに関わらず、命令群、命令群セット、コード、コード・セグメント、プログラム・コード、プログラム、サブプログラム、ソフトウェア・モジュール、アプリケーション、ソフトウェア・アプリケーション、パッケージ・ソフト、ルーチン、サブルーチン、オブジェクト、実行形式、実行スレッド、手順、機能等を意味するように広く解釈されるものとする。

[0026]したがって、１または複数の典型的な実施形態では、記載された機能は、ハードウェア、ソフトウェア、ファームウェア、あるいはそれらの任意の組み合わせによって実現されうる。ソフトウェアで実現される場合、これら機能は、コンピュータ読取可能な媒体上に格納されるか、あるいは、コンピュータ読取可能な媒体上の１または複数の命令群またはコードとして符号化されうる。コンピュータ読取可能な媒体は、コンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされうる利用可能な任意の媒体である。例として、限定することなく、このようなコンピュータ読取可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたはその他の光ディスク記憶装置、磁気ディスク記憶装置またはその他の磁気記憶デバイス、あるいは、所望のプログラム・コード手段を命令群またはデータ構造の形式で搬送または格納するために使用され、しかも、コンピュータによってアクセスされうるその他任意の媒体を備えうる。本明細書で使用されるようにディスク（ｄｉｓｋおよびｄｉｓｃ）は、コンパクト・ディスク（ｄｉｓｃ）（ＣＤ）、レーザ・ディスク（ｄｉｓｃ）（登録商標）、光ディスク（ｄｉｓｃ）、デジタル多用途ディスク（ｄｉｓｃ）（ＤＶＤ）、フロッピー（登録商標）ディスク（ｄｉｓｋ）、Ｂｌｕ−ｒａｙ（登録商標）ディスク（ｄｉｓｃ）を含む。ここで、ｄｉｓｋは通常、データを磁気的に再生し、ｄｉｓｃは、レーザを用いてデータを光学的に再生する。上記の組み合わせもまた、コンピュータ読取可能な媒体の範囲内に含まれるべきである。

[0027]図１は、コンテンツを表示するように構成された光学デバイス１００を例示する図解である。図１に図示されるように、光学デバイス１００は、フレーム１０２と、つる１０４，１０６と、フレーム１０２に搭載されたレンズ１０８，１１０とを含む。光学デバイス１００はさらに、背面カメラ１１２，１１８と、正面カメラ１１４，１２０と、センサ１１６，１２２とを含む。態様では、センサ１１６，１２２の各々は、ハンド・ジェスチャを検知するための１つまたは複数の近接タイプ・センサと、音声コマンドを検知するための１つまたは複数のマイクロホンとを含みうる。

[0028]態様では、光学デバイス１００は、ユーザが直観的な方式で毎日の環境とインタラクトすることを可能にする拡張現実（ＡＲ）ディスプレイ（「ＡＲグラス」または「ヘッド・マウント・ディスプレイ」とも称される）として構成されうる。１つの構成では、レンズ１０８および／またはレンズ１１０は、ユーザが、光学デバイス１００を装着した場合に、現実のシーンをクリアに観察することを可能にする、ガラスまたはプラスチックのようなクリアまたは透明な材料から形成されうる。光学デバイス１００は、当該技術分野で周知の方法を用いて、レンズ１０８および／またはレンズ１１０を介して、デジタルＡＲ画像のようなコンテンツを投影するように構成されうる。したがって、ユーザは、光学デバイス１００を装着している間、現実のシーンと、投影されたデジタル・コンテンツとを同時に観察しうる。

[0029]態様では、図１に関して、正面カメラ１１４および／または背面カメラ１２０が、ユーザの視野をキャプチャしうる。ユーザがレンズ１０８，１１０を介して現実のシーンを観察すると、背面カメラ１１２および／または背面カメラ１１８は、ユーザの視線を検知しうる。レンズ１０８，１１０を介してユーザによって観察されたような現実のシーンの例が、図２に例示されている。図２に図示されるように、現実のシーン２００は、前景に自動車２０２を含み、背景にマーケット２０４、バス標識２０６、およびビルディング２０８を含んでいる。

[0030]図３は、光学デバイス１００のレンズ１０８，１１０を介してユーザによって観察される現実のシーン３００を例示する。図３では、ユーザは、自動車２０２を見つめ、光学デバイス１００は、現実のシーン３００内の領域におけるユーザの視線を検知しうる。ここで、自動車２０２は、背面カメラ１１２および／または背面カメラ１１８を用いて位置決めされる。その後、光学デバイス１００は、領域を囲む境界３１０を設定しうる。光学デバイス１００は、境界３１０内の領域において物体認識手順を実行し、境界３１０の外側の領域において物体認識手順を実行することを控えうる。

[0031]図４は、光学デバイス１００のレンズ１０８，１１０を介してユーザによって観察される現実のシーン４００を例示する。図４では、自動車２０２が道路４２２に沿って移動すると、ユーザがこの自動車２０２を見つめ、光学デバイス１００は、ユーザの視線が、移動している自動車２０２を追うと、この視線を検知しうる。図４に図示されるように、光学デバイス１００は先ず、ユーザの検知された視線に対応する現実のシーン４００の領域に、境界４０９を設定しうる。その後、ユーザの視線が自動車２０２を追うと、光学デバイス１００は、ユーザの視線を追跡し、検知された視線に対応する現実のシーン４００の領域に境界４１０を動的に設定しうる。光学デバイス１００はその後、境界４１０内の領域において物体認識手順を実行し、境界４１０の外側の領域において物体認識手順を実行することを控えうる。

[0032]図５は、光学デバイス１００のレンズ１０８，１１０を介してユーザによって観察される現実のシーン５００を例示する。図５では、ユーザは、自動車２０２を見つめ、光学デバイス１００は、現実のシーン５００内の領域におけるユーザの視線を検知しうる。ここで、自動車２０２は、背面カメラ１１２および／または背面カメラ１１８を用いて位置決めされる。その後、光学デバイス１００は、領域を囲む境界５１０を設定しうる。光学デバイス１００は、境界５１０内の領域において物体認識手順を実行し、境界５１０の外側の領域において物体認識手順を実行することを控えうる。態様では、物体認識手順が、物体の判定に失敗したのであれば、光学デバイス１００は、境界５１０のサイズを動的に調節しうる。例えば、図５に図示されるように、物体認識手順が、境界５１０内の自動車２０２を特定することができないのであれば、光学デバイス１００は、境界５１０のサイズを、境界５２０のサイズへと拡大させうる。１つの構成では、境界のサイズは、予め決定された量、拡大されうる。例えば、モバイル・デバイスは、オリジナルの境界のサイズを２倍にすることにより、境界のサイズを拡大させうる。

[0033]別の態様では、図６に図示されるように、光学デバイス１００は境界のサイズを縮小させうる。例えば、光学デバイス１００のバッテリ電力レベルが低く、光学デバイス１００が省電力状態で動作しているのであれば、光学デバイス１００は、境界６３０を、現実のシーン６００の境界６４０のサイズへと縮小させうる。１つの構成では、境界のサイズは、予め決定された量、縮小されうる。例えば、光学デバイス１００は、オリジナルの境界のサイズの半分に、境界のサイズを縮小させうる。光学デバイス１００はその後、境界６４０内の領域において物体認識手順を実行し、境界６４０の外側の領域において物体認識手順を実行することを控えうる。したがって、境界のサイズを縮小し、縮小された境界内の領域において物体認識手順を実行することによって、光学デバイス１００は、物体を認識するために必要な処理量を低減し、もって、バッテリ電力を節約しうる。

[0034]図７は、光学デバイス１００のレンズ１０８，１１０を介してユーザによって観察される現実のシーン７００を例示する。図７では、ユーザは、バス標識２０６を見つめ、光学デバイス１００は、現実のシーン７００の領域におけるユーザの視線を検知しうる。ここで、バス標識２０６は、背面カメラ１１２および／または背面カメラ１１８を用いて位置決めされる。光学デバイス１００は、領域を囲む境界７１０を設定しうる。光学デバイス１００はその後、境界７１０内の領域において物体認識手順を実行し、境界７１０の外側の領域において物体認識手順を実行することを控えうる。態様では、光学デバイス１００は、図８の現実のシーン８００に図示されるような、境界７１０内の現実のシーン７００の一部の拡大（「ズーム」とも称される）を調節しうる。態様では、光学デバイス１００は、センサ１１６および／またはセンサ１２２を介して受け取られた音声コマンドおよび／またはハンド・ジェスチャに応じて拡大を実行しうる。１つの構成では、ハンド・ジェスチャは、「ピンチ・ズーム」ジェスチャでありうる。別の態様では、ユーザの視線の持続期間が、時間しきい値を超えた場合、光学デバイス１００は、拡大を実行しうる。別の態様では、光学デバイス１００は、物体をより良好に見せるために、境界７１０内の物体が時間しきい値を超える前に認識された場合に、拡大を実行しうる。１つの構成では、光学デバイス１００によって物体に近接して表示される（図８に図示されていない）アプリケーション・アイコンもまた拡大されうる。

[0035]図９は、光学デバイス１００のレンズ１０８，１１０を介してユーザによって観察される現実のシーン９００を例示する。図９では、ユーザが、自動車２０２を見つめ、光学デバイス１００が、現実のシーン９００の領域におけるユーザの視線を検知しうる。ここで、自動車２０２は、背面カメラ１１２および／または背面カメラ１１８を用いて位置決めされる。その後、光学デバイス１００は、領域を囲む境界９１０を設定しうる。光学デバイス１００は、１つまたは複数の写真編集ツールを含む写真編集インタフェース９１２を表示しうる。これは、正面カメラ１１４および／または正面カメラ１２０を用いて現実のシーン９００の写真をキャプチャする前に、境界９１０内の領域を編集するために使用されうる。例えば、写真編集ツールは、アート・フィルタ・アプリケーション・ツール９１４、および／または、例えば、クリップ・アート挿入ツール、彩度ツール、セピア・トーン変換ツール、および黒白変換ツールのようなその他の写真編集ツールを含みうる。態様では、写真編集ツールは、センサ１１６および／またはセンサ１２２を介して受け取られたハンド・ジェスチャおよび／または音声コマンドに応じて、適用または無効化されうる。光学デバイス１００は、以前に説明された写真編集ツールを用いて編集されたような現実のシーン９００の写真をキャプチャおよび記憶しうる。

[0036]図１０は、光学デバイス１００のレンズ１０８，１１０を介してユーザによって観察される現実のシーン１０００を例示する。図１０では、ユーザが、自動車２０２を見つめ、光学デバイス１００が、現実のシーン１０００の領域におけるユーザの視線を検知しうる。ここで、自動車２０２は、背面カメラ１１２および／または背面カメラ１１８を用いて位置決めされる。その後、光学デバイス１００は、領域を囲む境界１０１０を設定しうる。光学デバイス１００はその後、境界１０１０内の領域において物体認識手順を実行し、境界１０１０の外側の領域において物体認識手順を実行することを控えうる。光学デバイス１００はその後、自動車２０２を認識し、図１０に図示されているように、自動車２０２を強調しうる。図１０の構成では、光学デバイス１００は、センサ１１６および／またはセンサ１２２を介して受け取られたハンド・ジェスチャおよび／または音声コマンドに応じて、光学デバイス１００のメモリに、認識された自動車２０２を記憶しうる。ユーザは、その後、自動車１００２を見つめ、光学デバイス１００は、現実のシーン１０００の領域におけるユーザの視線を検知しうる。ここで、自動車１００２は、背面カメラ１１２および／または背面カメラ１１８を用いて位置決めされる。光学デバイス１００は、領域を囲む境界１０１２を設定しうる。光学デバイス１００はその後、境界１０１２内の領域において物体認識手順を実行し、境界１０１２の外側の領域において物体認識手順を実行することを控えうる。その後、光学デバイス１００は、自動車１００２を認識しうる。光学デバイス１００は、センサ１１６および／またはセンサ１２２を介して受け取られたハンド・ジェスチャおよび／または音声コマンドに応じて、光学デバイス１００のメモリに、認識された自動車１００２を記憶しうる。その後、光学デバイス１００は、以前に認識され記憶された自動車２０２を、自動車１００２と比較しうる。光学デバイス１００は、自動車２０２が、自動車１００２と同じであるか、または異なっているのかを示しうる。

[0037]図１１は、コンテンツを表示するように構成された光学デバイスのための方法のフローチャート１１００である。ステップ１１０２において、光学デバイス１００は、現実のシーンにおける第１の領域における視線を検知する。態様では、図１に示すように、ユーザが、光学デバイス１００のレンズ１０８，１１０を介して現実のシーンを観察すると、背面カメラ１１２および／または背面カメラ１１８が、ユーザの視線を検知しうる。現実のシーンは、光学デバイス１００のユーザの視野内の物理的環境を含みうる。レンズ１０８，１１０を介してユーザによって観察されるような現実のシーンの例が、図２に例示されている。図２に図示されるように、現実のシーン２００は、前景に自動車２０２を含み、背景にマーケット２０４、バス標識２０６、およびビルディング２０８を含んでいる。他の態様では、現実のシーンは、自宅、事務所、または図書館の内部のような屋内の現実のシーンでありうる。例えば、ユーザが、自動車２０２を見つめ、光学デバイス１００は、現実のシーン２００の領域におけるユーザの視線を検知しうる。ここで、自動車２０２は、背面カメラ１１２および／または背面カメラ１１８を用いて位置決めされる。

[0038]ステップ１１０４では、光学デバイス１００が、第１の領域を囲む境界を設定する。この境界は、現実のシーンにおける少なくとも第２の領域を除外している。例えば、図３に関して、光学デバイス１００は、自動車２０２が位置決めされる現実のシーン３００の領域を囲む境界３１０を設定しうる。態様では、この境界は、ユーザが光学デバイス１００を用いて現実のシーンを観察すると、現実のシーン３００の一部を覆い隠すように、光学デバイス１００のレンズ１０８および／またはレンズ１１０において表示されうる。本明細書では、光学デバイス１００によって設定された境界が、長方形の形状を有するものとして記載されているが、境界は、円形状のような多くの異なる形状のうちの何れかを有することが理解されるべきである。

[0039]ステップ１１０６では、光学デバイス１００が、境界内の第１の領域において物体認識手順を実行する。例えば、図３に関して、光学デバイス１００は、境界３１０内の領域において物体認識手順を実行しうる。１つの構成では、光学デバイス１００は、正面カメラ１１４および／または正面カメラ１２０を用いて現実のシーン３００の画像をキャプチャし、境界３１０内の領域に対応する画像の領域において物体認識アルゴリズムを適用することによって、物体認識手順を実行しうる。光学デバイス１００は、物体を認識するために、物体認識アルゴリズムによって生成されたデータが、物体データベース内の物体の何れかに一致するか否かを判定するために、このデータを、物体データベースと比較しうる。態様では、データベースは、光学デバイス１００内に記憶されうる。例えば、図３に関して、光学デバイス１００は、物体認識アルゴリズムによって生成されたデータが、物体データベースにおいて自動車として特定された物体に一致していると判定しうる。

[0040]ステップ１１０８では、光学デバイス１００は、少なくとも第２の領域において物体認識手順を実行することを控える。例えば、図３に関して、光学デバイス１００は、境界３１０の外側の、現実のシーン３００の領域において物体認識手順を実行することを控えうる。

[0041]図１２は、コンテンツを表示するように構成された光学デバイスのための方法のフローチャート１２００である。ステップ１２０２において、光学デバイス１００は、現実のシーンにおける第１の領域における視線を検知する。態様では、図１に示すように、ユーザが、光学デバイス１００のレンズ１０８，１１０を介して現実のシーンを観察すると、背面カメラ１１２および／または背面カメラ１１８が、ユーザの視線を検知しうる。現実のシーンは、光学デバイス１００のユーザの視野内の物理的環境を含みうる。レンズ１０８，１１０を介してユーザによって観察されるような現実のシーンの例が、図２に例示されている。図２に図示されるように、現実のシーン２００は、前景に自動車２０２を含み、背景にマーケット２０４、バス標識２０６、およびビルディング２０８を含んでいる。他の態様では、現実のシーンは、自宅、事務所、または図書館の内部のような屋内の現実のシーンでありうる。例えば、ユーザは自動車２０２を見つめ、光学デバイス１００は、現実のシーン２００の領域におけるユーザの視線を検知しうる。ここで、自動車２０２は、背面カメラ１１２および／または背面カメラ１１８を用いて位置決めされる。

[0042]ステップ１２０４では、光学デバイス１００が、第１の領域を囲む境界を設定する。この境界は、現実のシーンにおける少なくとも第２の領域を除外している。例えば、図４に関して、光学デバイス１００は、自動車２０２が位置決めされる領域を囲む境界４０９を設定しうる。態様では、ユーザが光学デバイス１００を用いて現実のシーンを観察すると、境界が、現実のシーンの一部に重なるように、光学デバイス１００のレンズ１０８および／またはレンズ１１０において表示されうる。本明細書では、光学デバイス１００によって設定された境界が、長方形の形状を有するものとして記載されているが、境界は、円形状のような多くの異なる形状のうちの何れかを有することが理解されるべきである。

[0043]ステップ１２０６では、光学デバイス１００が、境界内の第１の領域において物体認識手順を実行する。例えば、図４に関して、光学デバイス１００は、境界４０９内の領域において物体認識手順を実行しうる。１つの構成では、光学デバイス１００は、正面カメラ１１４および／または正面カメラ１２０を用いて現実のシーン４００の画像をキャプチャし、境界４０９内の領域に対応する画像の領域において物体認識アルゴリズムを適用することによって、物体認識手順を実行しうる。光学デバイス１００は、物体を認識するために、物体認識アルゴリズムによって生成されたデータが、物体データベース内の物体の何れかに一致するか否かを判定するために、このデータを、物体データベースと比較しうる。態様では、データベースは、光学デバイス１００内に記憶されうる。例えば、図４に関して、光学デバイス１００は、物体認識アルゴリズムによって生成されたデータが、物体データベースにおいて自動車として特定された物体に一致していると判定しうる。

[0044]ステップ１２０８では、光学デバイス１００は、少なくとも第２の領域において物体認識手順を実行することを控える。例えば、図４に関して、光学デバイス１００は、境界４０９の外側の、現実のシーン４００の領域において物体認識手順を実行することを控えうる。

[0045]ステップ１２１０では、光学デバイス１００は、現実のシーンにおける第３の領域における視線を検知する。例えば、ユーザは、自動車２０２が道路４２２に沿って移動すると、自動車２０２を見つめ、光学デバイス１００は、現実のシーン４００の領域においてユーザの視線を検知しうる。ここで、自動車２０２は、背面カメラ１１２および／または背面カメラ１１８を用いて位置決めされる。

[0046]ステップ１２１２では、光学デバイス１００が、第３の領域を囲む境界を設定する。この境界は、現実のシーンにおける少なくとも第４の領域を除外する。例えば、図４に関して、光学デバイス１００は、自動車２０２が位置決めされる領域を囲む境界４１０を設定しうる。態様では、ユーザが光学デバイス１００を用いて現実のシーンを観察すると、境界が、現実のシーンの一部に重なるように、光学デバイス１００のレンズ１０８および／またはレンズ１１０において表示されうる。

[0047]ステップ１２１４では、光学デバイス１００が、境界内の第３の領域において物体認識手順を実行する。例えば、図４に関して、光学デバイス１００は、境界４１０内の領域において物体認識手順を実行しうる。１つの構成では、光学デバイス１００は、正面カメラ１１４および／または正面カメラ１２０を用いて現実のシーン４００の画像をキャプチャし、境界４１０内の領域に対応する画像の領域において物体認識アルゴリズムを適用することによって、物体認識手順を実行しうる。光学デバイス１００は、物体を認識するために、物体認識アルゴリズムによって生成されたデータが、物体データベース内の物体の何れかに一致するか否かを判定するために、このデータを、物体データベースと比較しうる。態様では、データベースは、光学デバイス１００内に記憶されうる。例えば、図４に関して、光学デバイス１００は、物体認識アルゴリズムによって生成されたデータが、物体データベースにおいて自動車として特定された物体に一致していると判定しうる。

[0048]ステップ１２１６では、光学デバイス１００が、少なくとも第４の領域において物体認識手順を実行することを控える。例えば、図４に関して、光学デバイス１００は、境界４１０の外側の、現実のシーン４００の領域において物体認識手順を実行することを控えうる。

[0049]図１３は、コンテンツを表示するように構成された光学デバイスのための方法のフローチャート１３００である。ステップ１３０２において、光学デバイス１００は、現実のシーンにおける第１の領域における視線を検知する。態様では、図１に示すように、ユーザが、光学デバイス１００のレンズ１０８，１１０を介して現実のシーンを観察すると、背面カメラ１１２および／または背面カメラ１１８が、ユーザの視線を検知しうる。現実のシーンは、光学デバイス１００のユーザの視野内の物理的環境を含みうる。レンズ１０８，１１０を介してユーザによって観察されるような現実のシーンの例が、図２に例示されている。図２に図示されるように、現実のシーン２００は、前景に自動車２０２を含み、背景にマーケット２０４、バス標識２０６、およびビルディング２０８を含んでいる。他の態様では、現実のシーンは、自宅、事務所、または図書館の内部のような屋内の現実のシーンでありうる。例えば、ユーザは自動車２０２を見つめ、光学デバイス１００は、現実のシーン２００の領域におけるユーザの視線を検知しうる。ここで、自動車２０２は、背面カメラ１１２および／または背面カメラ１１８を用いて位置決めされる。

[0050]ステップ１３０４では、光学デバイス１００が、第１の領域を囲む境界を設定する。この境界は、現実のシーンにおける少なくとも第２の領域を除外している。例えば、図３に関して、光学デバイス１００は、自動車２０２が位置決めされる領域を囲む境界３１０を設定しうる。態様では、境界は、光学デバイス１００のレンズ１０８および／またはレンズ１１０に表示され、これによって、ユーザが、光学デバイス１００を用いて現実のシーンを観察すると、この境界が、現実のシーンのユーザの視野重なるようになる。本明細書では、光学デバイス１００によって設定された境界が、長方形の形状を有するものとして記載されているが、境界は、円形状のような多くの異なる形状のうちの何れかを有することが理解されるべきである。

[0051]ステップ１３０６では、光学デバイス１００が、境界内の第１の領域において物体認識手順を実行する。例えば、図３に関して、光学デバイス１００は、境界３１０内の領域において物体認識手順を実行しうる。１つの構成では、光学デバイス１００は、１つまたは複数の画像フレームを生成するために、正面カメラ１１４および／または正面カメラ１２０を用いて、現実のシーン３００の１つまたは複数の画像をキャプチャすることによって、物体認識手順を実行しうる。その後、光学デバイス１００は、境界３１０内の領域に対応する１つまたは複数の画像フレームの領域において物体認識アルゴリズムを適用しうる。光学デバイス１００は、物体を認識するために、各画像フレームについて物体認識アルゴリズムによって生成されたデータを、物体データベースと比較し、このデータが、物体データベースにおける物体の何れかにマッチするか否かを判定しうる。態様では、データベースは、光学デバイス１００内に記憶されうる。例えば、図３に関して、光学デバイス１００は、物体認識アルゴリズムによって生成されたデータが、物体データベースにおいて自動車として特定された物体に一致していると判定しうる。

[0052]ステップ１３０８では、光学デバイス１００は、少なくとも第２の領域において物体認識手順を実行することを控える。例えば、図３に関して、光学デバイス１００は、境界３１０の外側の、現実のシーン３００の領域において物体認識手順を実行することを控えうる。

[0053]ステップ１３１０では、光学デバイス１００は、物体が境界内で認識された連続回数のカウントを記憶する。１つの構成では、このカウントは、連続する画像フレームの各々において、境界内で物体が認識された回数を表しうる。態様では、光学デバイス１００はさらに、正しく認識された各物体を記憶しうる。

[0054]ステップ１３１２では、光学デバイス１００は、カウントがしきい値を超えたか否かを判定しうる。例えば、しきい値は、予め決定された整数でありうる。カウントがしきい値を超えるのであれば、ステップ１３１４において、光学デバイス１００は、物体を強調しうる。態様では、光学デバイス１００は、物体が位置する領域に対応する光学デバイス１００のレンズ１０８および／またはレンズ１１０の領域に透明色（例えば、黄色）を表示することによって、物体を強調しうる。これによって、ユーザが物体を観察する場合、物体が強調されるように見える。別の態様では、光学デバイス１００はさらに、カウントが、予め決定された期間内にしきい値を超えたか否かを判定し、予め決定された期間を超えているのであれば、最も早期の画像フレームを落としうる。

[0055]ステップ１３１６では、光学デバイス１００は、物体に近接したアイコンを表示しうる。態様では、光学デバイス１００は、物体が位置しているところに近接した領域に対応する光学デバイス１００のレンズ１０８および／またはレンズ１１０の領域にアイコンを表示しうる。１つの構成では、アイコンは、光学デバイス１００の機能を開始するように構成されうる。別の構成では、アイコンは、物体に関連する情報を提供するように構成されうる。

[0056]カウントがしきい値を超えない（１３１２）のであれば、ステップ１３０２において、光学デバイス１００は、現実のシーンにおける第１の領域における視線を検知する。

[0057]図１４は、コンテンツを表示するように構成された光学デバイスのための方法のフローチャート１４００である。ステップ１４０２において、光学デバイス１００は、現実のシーンにおける第１の領域における視線を検知する。１つの構成では、光学デバイス１００は、音声コマンドおよび／またはハンド・ジェスチャに応じて、視線検知を開始しうる。態様では、図１に示すように、ユーザが、光学デバイス１００のレンズ１０８，１１０を介して現実のシーンを観察すると、背面カメラ１１２および／または背面カメラ１１８が、ユーザの視線を検知しうる。現実のシーンは、光学デバイス１００のユーザの視野内の物理的環境を含みうる。レンズ１０８，１１０を介してユーザによって観察されるような現実のシーンの例が、図２に例示されている。図２に図示されるように、現実のシーン２００は、前景に自動車２０２を含み、背景にマーケット２０４、バス標識２０６、およびビルディング２０８を含んでいる。他の態様では、現実のシーンは、自宅、事務所、または図書館の内部のような屋内の現実のシーンでありうる。例えば、ユーザが、自動車２０２を見つめ、光学デバイス１００は、現実のシーン２００の領域におけるユーザの視線を検知しうる。ここで、自動車２０２は、背面カメラ１１２および／または背面カメラ１１８を用いて位置決めされる。

[0058]ステップ１４０４では、光学デバイス１００が、第１の領域を囲む境界を設定する。この境界は、現実のシーンにおける少なくとも第２の領域を除外している。例えば、図３に関して、光学デバイス１００は、第１の領域を囲む境界３１０を設定しうる。態様では、境界は、光学デバイス１００のレンズ１０８および／またはレンズ１１０に表示されうる。これによって、ユーザが、光学デバイス１００を用いて、現実のシーンを観察すると、境界が、現実のシーンのユーザの視野に重なるようになる。本明細書では、光学デバイス１００によって設定された境界が、長方形の形状を有するものとして記載されているが、境界は、円形状のような多くの異なる形状のうちの何れかを有することが理解されるべきである。

[0059]ステップ１４０６では、光学デバイス１００が、境界内の第１の領域において物体認識手順を実行する。例えば、図３に関して、光学デバイス１００は、境界３１０内の領域において物体認識手順を実行しうる。１つの構成では、光学デバイス１００は、１つまたは複数の画像フレームを生成するために、正面カメラ１１４および／または正面カメラ１２０を用いて、現実のシーン３００の１つまたは複数の画像をキャプチャすることによって、物体認識手順を実行しうる。その後、光学デバイス１００は、境界３１０内の領域に対応する１つまたは複数の画像フレームの領域において物体認識アルゴリズムを適用しうる。光学デバイス１００は、物体を認識するために、各画像フレームについて物体認識アルゴリズムによって生成されたデータを、物体データベースと比較し、このデータが、物体データベースにおける物体の何れかにマッチするか否かを判定しうる。態様では、データベースは、光学デバイス１００内に記憶されうる。例えば、図３に関して、光学デバイス１００は、物体認識アルゴリズムによって生成されたデータが、物体データベースにおいて自動車として特定された物体に一致していると判定しうる。

[0060]ステップ１４０８では、光学デバイス１００は、少なくとも第２の領域において物体認識手順を実行することを控える。例えば、図３に関して、光学デバイス１００は、境界３１０の外側の、現実のシーン３００の領域において物体認識手順を実行することを控えうる。

[0061]ステップ１４１０では、光学デバイス１００は、物体が境界内において認識された回数のカウントを記憶する。１つの構成では、カウントは、画像フレームのうちの１つまたは複数における境界内において物体が認識された回数を表しうる。態様では、光学デバイス１００はさらに、正しく認識された各物体を記憶しうる。

[0062]ステップ１４１２では、光学デバイス１００は、物体のタイプ、履歴、およびユーザ設定のうちの少なくとも１つに基づいて、しきい値を動的に設定しうる。態様では、しきい値は整数でありうる。例えば、物体のタイプが、ビルディングのように、静止しており、識別することが単純である場合、より低いしきい値が使用されうる。別の例として、物体のタイプが自動車のように、移動しており、識別することがより困難である場合、より高いしきい値が使用されうる。

[0063]ステップ１４１４では、光学デバイス１００は、カウントがしきい値を超えたか否かを判定しうる。カウントがしきい値を超えるのであれば、ステップ１４１６において、光学デバイス１００は、物体を強調しうる。態様では、光学デバイス１００は、物体が位置する領域に対応する光学デバイス１００のレンズ１０８および／またはレンズ１１０の領域に透明色（例えば、黄色）を表示することによって、物体を強調しうる。これによって、ユーザが物体を観察する場合、物体が強調されるように見える。別の態様では、光学デバイス１００はさらに、カウントが、予め決定された期間内にしきい値を超えたか否かを判定し、予め決定された期間を超えているのであれば、最も早期の画像フレームを落としうる。

[0064]ステップ１４１８では、光学デバイス１００は、物体に近接したアイコンを表示しうる。態様では、光学デバイス１００は、物体が位置しているところに近接した領域に対応する光学デバイス１００のレンズ１０８および／またはレンズ１１０の領域にアイコンを表示しうる。１つの構成では、アイコンは、光学デバイス１００の機能を開始するように構成されうる。別の構成では、アイコンは、物体に関連する情報を提供するように構成されうる。

[0065]カウントがしきい値を超えない（１４１４）のであれば、ステップ１４０２において、光学デバイス１００は、現実のシーンにおける第１の領域における視線を検知する。

[0066]図１５は、コンテンツを表示するように構成された光学デバイスのための方法のフローチャート１５００である。ステップ１５０２において、光学デバイス１００は、現実のシーンにおける第１の領域における視線を検知する。１つの構成では、光学デバイス１００は、音声コマンドおよび／またはハンド・ジェスチャに応じて、視線検知を開始しうる。態様では、図１に示すように、ユーザが、光学デバイス１００のレンズ１０８，１１０を介して現実のシーンを観察すると、背面カメラ１１２および／または背面カメラ１１８が、ユーザの視線を検知しうる。現実のシーンは、光学デバイス１００のユーザの視野内の物理的環境を含みうる。レンズ１０８，１１０を介してユーザによって観察されるような現実のシーンの例が、図２に例示されている。図２に図示されるように、現実のシーン２００は、前景に自動車２０２を含み、背景にマーケット２０４、バス標識２０６、およびビルディング２０８を含んでいる。他の態様では、現実のシーンは、自宅、事務所、または図書館の内部のような屋内の現実のシーンでありうる。例えば、ユーザは自動車２０２を見つめ、光学デバイス１００は、現実のシーン２００の領域におけるユーザの視線を検知しうる。ここで、自動車２０２は、背面カメラ１１２および／または背面カメラ１１８を用いて位置決めされる。

[0067]ステップ１５０４では、光学デバイス１００が、第１の領域を囲む境界を設定する。この境界は、現実のシーンにおける少なくとも第２の領域を除外している。例えば、図３に関して、光学デバイス１００は、自動車２０２が位置決めされる現実のシーン２００の領域を囲む境界３１０を設定しうる。態様では、ユーザが光学デバイス１００を用いて現実のシーンを観察すると、境界が、現実のシーンの一部に重なるように、光学デバイス１００のレンズ１０８および／またはレンズ１１０において表示されうる。本明細書では、光学デバイス１００によって設定された境界が、長方形の形状を有するものとして記載されているが、境界は、円形状のような多くの異なる形状のうちの何れかを有することが理解されるべきである。

[0068]ステップ１５０６では、光学デバイス１００は、音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つを受け取る。態様では、音声コマンドおよびジェスチャ・コマンドは、光学デバイス１００のセンサ１１６および／またはセンサ１２２を介して受け取られうる。

[0069]ステップ１５０８では、光学デバイス１００は、音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つに応じて、境界内の第１の領域の拡大を調節しうる。例えば、図７における現実のシーン７００に関して、光学デバイス１００は、図８の現実のシーン８００において図示されるような、境界７１０内の現実のシーン７００の部分の拡大を調節しうる。態様では、光学デバイス１００は、音声コマンドおよび／またはハンド・ジェスチャに応じて拡大を実行しうる。１つの構成では、ハンド・ジェスチャは、「ピンチ・ズーム」ジェスチャであり、ユーザが、ピンチ・ジェスチャを実行すると、境界７１０内の現実のシーン７００の一部の拡大が増加される。

[0070]ステップ１５１０では、光学デバイス１００が、境界内の第１の領域において物体認識手順を実行する。例えば、図３に関して、光学デバイス１００は、境界３１０内の領域において物体認識手順を実行しうる。１つの構成では、光学デバイス１００は、正面カメラ１１４および／または正面カメラ１２０を用いて現実のシーン３００の画像をキャプチャし、境界３１０内の領域に対応する画像の領域において物体認識アルゴリズムを適用することによって、物体認識手順を実行しうる。光学デバイス１００は、物体を認識するために、物体認識アルゴリズムによって生成されたデータが、物体データベース内の物体の何れかに一致するか否かを判定するために、このデータを、物体データベースと比較しうる。態様では、データベースは、光学デバイス１００内に記憶されうる。例えば、図３に関して、光学デバイス１００は、物体認識アルゴリズムによって生成されたデータが、物体データベースにおいて自動車として特定された物体に一致していると判定しうる。

[0071]ステップ１５１２では、光学デバイス１００は、少なくとも第２の領域において物体認識手順を実行することを控える。例えば、図３に関して、光学デバイス１００は、境界３１０の外側の、現実のシーン３００の領域において物体認識手順を実行することを控えうる。

[0072]ステップ１５１４では、光学デバイス１００は、境界内の第１の領域の中心へとズームする動作、境界を拡大する動作、または省電力状態に入る動作、のうちの少なくとも１つを実行する。態様では、ユーザの視線の持続時間が、時間しきい値を超える場合、光学デバイス１００は、境界内の第１の領域の中心にズームしうる。その他の態様では、物体をより良好に見るために、境界内の物体が、時間しきい値を超える前に認識された場合、光学デバイス１００は、境界内の第１の領域の中心にズームしうる。１つの構成では、光学デバイス１００はまた、物体に近接した１つまたは複数のアプリケーション・アイコンへズームしうる。

[0073]例えば、図５に関して、物体認識手順が物体を判定することに失敗したのであれば、光学デバイス１００は、境界５１０のサイズを動的に調節しうる。例えば、物体認識手順が、境界５１０内の自動車２０２を識別することができないのであれば、光学デバイス１００は、境界５１０のサイズを、境界５２０のサイズに拡大させうる。１つの構成では、境界のサイズは、予め決定された量、拡大されうる。例えば、光学デバイス１００は、オリジナルの境界のサイズを２倍にすることにより、境界のサイズを拡大させうる。

[0074]ステップ１５１６では、光学デバイス１００は少なくとも１つの写真編集ツールを表示する。態様では、図９に関して、光学デバイス１００は、１つまたは複数の写真編集ツールを含む写真編集インタフェース９１２を表示しうる。例えば、写真編集ツールは、アート・フィルタ・アプリケーション・ツール９１４、および／または、例えば、クリップ・アート挿入ツール、彩度ツール、セピア・トーン変換ツール、および黒白変換ツールのようなその他の写真編集ツールを含みうる。態様では、写真編集ツールは、センサ１１６および／またはセンサ１２２を介して受け取られたハンド・ジェスチャおよび／または音声コマンドに応じて、適用または無効化されうる。

[0075]ステップ１５１８では、光学デバイス１００は、音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つに基づいて、少なくとも１つの写真編集ツールを使用して、境界内の第１の領域を編集しうる。例えば、図９に関して、少なくとも１つの写真編集ツールは、正面カメラ１１４および／または正面カメラ１２０を用いて、現実のシーン９００の写真をキャプチャする前に、境界９１０内の領域を編集するために使用されうる。

[0076]ステップ１５２０では、光学デバイス１００は、編集された第１の領域の画像を記憶しうる。例えば、図９に関して、光学デバイス１００は、以前に説明された写真編集ツールを使用して編集されたものとして現実のシーン９００の写真をキャプチャおよび記憶しうる。

[0077]図１６は、コンテンツを表示するように構成された光学デバイスのための方法のフローチャート１６００である。ステップ１６０２において、光学デバイス１００は、現実のシーンにおける第１の領域における視線を検知する。態様では、図１０に示すように、ユーザが、光学デバイス１００のレンズ１０８，１１０を介して現実のシーンを観察すると、背面カメラ１１２および／または背面カメラ１１８が、ユーザの視線を検知しうる。現実のシーンは、光学デバイス１００のユーザの視野内の物理的環境を含みうる。レンズ１０８，１１０を介してユーザによって観察されるような現実のシーンの例が、図１０に例示されている。図１０に図示されるように、現実のシーン１０００は、前景に自動車２０２を含み、背景にマーケット２０４、バス標識２０６、およびビルディング２０８を含んでいる。他の態様では、現実のシーンは、自宅、事務所、または図書館の内部のような屋内の現実のシーンでありうる。例えば、ユーザは自動車２０２を見つめ、光学デバイス１００は、現実のシーン１０００の領域におけるユーザの視線を検知しうる。ここで、自動車２０２は、背面カメラ１１２および／または背面カメラ１１８を用いて位置決めされる。

[0078]ステップ１６０４では、光学デバイス１００が、第１の領域を囲む境界を設定する。この境界は、現実のシーンにおける少なくとも第２の領域を除外している。例えば、図１０に関して、光学デバイス１００は、自動車２０２が位置決めされる領域を囲む境界１０１０を設定しうる。態様では、ユーザが光学デバイス１００を用いて現実のシーンを観察すると、境界が、現実のシーンの一部を覆い隠すように、光学デバイス１００のレンズ１０８および／またはレンズ１１０において表示されうる。本明細書では、光学デバイス１００によって設定された境界が、長方形の形状を有するものとして記載されているが、境界は、円形状のような多くの異なる形状のうちの何れかを有することが理解されるべきである。

[0079]ステップ１６０６では、光学デバイス１００が、境界内の第１の領域において物体認識手順を実行する。例えば、図１０に関して、光学デバイス１００は、境界１０１０内の領域において物体認識手順を実行しうる。１つの構成では、光学デバイス１００は、正面カメラ１１４および／または正面カメラ１２０を用いて現実のシーン１０００の画像をキャプチャし、境界１０１０内の領域に対応する画像の領域において物体認識アルゴリズムを適用することによって、物体認識手順を実行しうる。光学デバイス１００は、物体を認識するために、物体認識アルゴリズムによって生成されたデータが、物体データベース内の物体の何れかに一致するか否かを判定するために、このデータを、物体データベースと比較しうる。態様では、データベースは、光学デバイス１００内に記憶されうる。例えば、図１０に関して、光学デバイス１００は、物体認識アルゴリズムによって生成されたデータが、物体データベースにおいて自動車として特定された物体に一致していると判定しうる。

[0080]ステップ１６０８では、光学デバイス１００は、少なくとも第２の領域において物体認識手順を実行することを控える。例えば、図１０に関して、光学デバイス１００は、境界１０１０の外側の、現実のシーン１０００の領域において物体認識手順を実行することを控えうる。

[0081]ステップ１６１０では、モバイル・デバイスは、第１の音声コマンドおよび第１のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第１の認識された物体を記憶する。例えば、図１０に関して、光学デバイス１００は、第１の音声コマンドおよび第１のジェスチャ・コマンドのうちの少なくとも１つに応じて、光学デバイス１００のメモリ内に自動車２０２を記憶しうる。

[0082]ステップ１６１２では、光学デバイス１００は、第２の音声コマンドおよび第２のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第２の認識された物体を記憶する。例えば、図１０に関して、光学デバイス１００は、境界１０１２内の自動車１００２を認識し、第２の音声コマンドおよび第２のジェスチャ・コマンドのうちの少なくとも１つに応じて、光学デバイス１００のメモリに、自動車１００２を記憶しうる。

[0083]ステップ１６１４では、光学デバイス１００は、少なくとも第１の認識された物体を、第２の認識された物体と比較する。態様では、光学デバイス１００は、自動車２０２が、自動車１００２と同じであるか、または、異なっているのかを示しうる。

[0084]図１７は、典型的な装置１７０２における異なるモジュール／手段／構成要素の動作を例示する概念的なフロー図１７００である。装置１７０２は、図１に図示される光学デバイス１００のような光学デバイスでありうる。装置１７０２は、視線検知モジュール１７０３、境界設定モジュール１７０４、物体認識モジュール１７０６、物体認識禁止モジュール１７０８、受け取りモジュール１７１０、拡大調節モジュール１７１２、写真編集ツール表示モジュール１７１４、編集モジュール１７１６、しきい値設定モジュール１７１８、判定モジュール１７２０、記憶モジュール１７２２、比較モジュール１７２４、強調モジュール１７２６、アイコン表示モジュール１７２８、および、動作実行モジュール１７３０を含む。

[0085]態様では、視線検知モジュール１７０３は、現実のシーンの領域におけるユーザの視線を検知する。境界設定モジュール１７０４は、現実のシーンの領域を囲む境界を設定する。物体認識モジュール１７０６は、境界内の領域において物体認識手順を実行する。１つの構成では、物体認識手順は、現実のシーンの複数の画像フレームのうちの１つまたは複数について境界内の第１の領域において実行される。物体認識禁止モジュール１７０８は、境界の外側の領域において物体認識手順を実行することを控える。視線検知モジュール１７０３は、現実のシーンにおける第３の領域における視線を検知し、境界設定モジュール１７０４は、現実のシーンにおける少なくとも第４の領域を除外しながら、第３の領域を囲む境界を設定しうる。

[0086]態様では、記憶モジュール１７２２は、境界内で物体が認識された連続回数である第１のカウントまたは、境界内で物体が認識された回数である第２のカウントを記憶する。判定モジュール１７２０は、第１のカウントまたは第２のカウントがしきい値を超えたか否かを判定する。第１のカウントまたは第２のカウントがしきい値を超えた場合、強調モジュール１７２６が、物体を強調する。第１のカウントまたは第２のカウントがしきい値を超えた場合、アイコン表示モジュール１７２８が、物体に近接したアイコンを表示する。

[0087]別の態様では、記憶モジュール１７２２が、第１の音声コマンドおよび第１のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第１の認識された物体を記憶し、第２の音声コマンドおよび第２のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第２の認識された物体を記憶する。比較モジュール１７２４はその後、第１の認識された物体が、第２の認識された物体と同じであるか異なっているかを判定するために、少なくとも、第１の認識された物体を、第２の認識された物体と比較する。

[0088]態様では、物体認識手順は、現実のシーンの複数の画像フレームの１つまたは複数について、境界内の第１の領域において実行され、記憶モジュール１７２２は、物体が境界内で認識された回数のカウントを記憶する。しきい値設定モジュール１７１８は、物体のタイプ、履歴、およびユーザ設定のうちの少なくとも１つに基づいて、しきい値を動的に設定する。判定モジュール１７２０は、カウントが、しきい値を超えたか否かを判定する。カウントがしきい値を超えた場合、強調モジュール１７２６が、物体を強調する。カウントがしきい値を超えた場合、アイコン表示モジュール１７２８が、物体に近接したアイコンを表示する。

[0089]動作実行モジュール１７３０は、物体が境界内の第１の領域で認識されていないのであれば、省電力状態に入る動作、境界を拡大させる動作、または、境界内の第１の領域の中心へとズームする動作、のうちの少なくとも１つを実行する。

[0090]受け取りモジュール１７１０は、音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つを受け取る。拡大調節モジュール１７１２は、音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つに応じて、境界内の第１の領域の拡大を調節する。

[0091]写真編集ツール表示モジュール１７１４は、少なくとも１つの写真編集ツールを表示する。編集モジュール１７１６は、音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つに基づいて、少なくとも１つの写真編集ツールを使用して、境界内の第１の領域を編集する。記憶モジュール１７２２は、編集された第１の領域の画像を記憶する。

[0092]装置は、図１１−１６の前述したフローチャートにおけるアルゴリズムのステップの各々を実行する追加モジュールを含みうる。そのため、図１１−１６の前述したフローチャートにおける各ステップは、モジュールによって実行され、この装置は、これらモジュールのうちの１または複数を含みうる。これらモジュールは、前述した処理／アルゴリズムを実行するように特別に構成された１または複数のハードウェア構成要素であるか、前述した処理／アルゴリズムを実行するように構成されたプロセッサによって実行されうるか、プロセッサによる実施のためにコンピュータ読取可能な媒体内に格納されうるか、またはこれらのいくつかの組み合わせでありうる。

[0093]図１８は、処理システム１８１４を適用する装置１７０２’のためのハードウェア実装の例を例示する概念図である。処理システム１８１４は、一般にバス１８２４によって表されるバス・アーキテクチャを用いて実現されうる。バス１８２４は、全体的な設計制約および処理システム１８１４の特定のアプリケーションに依存して、任意の数の相互接続バスおよびブリッジを含みうる。バス１８２４は、プロセッサ１８０４、モジュール１７０３，１７０４，１７０６，１７０８，１７１０，１７１２，１７１４，１７１６，１７１８，１７２０，１７２２，１７２４，１７２６，１７２８および１７３０、ならびにコンピュータ読取可能な媒体１８０６によって表される１つまたは複数のプロセッサ・モジュールおよび／またはハードウェア・モジュールを含むさまざまな回路をともに接続する。バス１８２４はさらに、例えば、タイミング・ソース、周辺機器、電圧制御装置、および電力管理回路のようなその他さまざまな回路をリンクしうる。これらは、当該技術分野で良く知られているので、さらなる説明はしない。

[0094]処理システム１８１４は、コンピュータ読取可能な媒体１８０６に接続されたプロセッサ１８０４を含む。プロセッサ１８０４は、コンピュータ読取可能な媒体１８０６に格納されたソフトウェアの実行を含む一般的な処理を担当する。ソフトウェアは、プロセッサ１８０４によって実行された場合、処理システム１８１４に対して、任意の特定の装置のために記載されたさまざまな機能を実行させる。コンピュータ読取可能な媒体１８０６はまた、ソフトウェアが実行されている場合に、プロセッサ１８０４によって操作されるデータを格納するためにも使用されうる。処理システムはさらに、モジュール１７０３，１７０４，１７０６，１７０８，１７１０，１７１２，１７１４，１７１６，１７１８，１７２０，１７２２，１７２４，１７２６，１７２８および１７３０のうちの少なくとも１つを含む。これらモジュールは、プロセッサ１８０４において動作するソフトウェア・モジュールでありうるか、コンピュータ読取可能な媒体１８０６に常駐／格納されうるか、プロセッサ１８０４に接続された１または複数のハードウェア・モジュールであるか、またはこれらのいくつかの組み合わせでありうる。

[0095]１つの構成において、装置１７０２／１７０２’は、現実のシーンにおける第１の領域における視線を検知するための手段と、第１の領域を囲む境界を設定するための手段であって、この境界は、現実のシーンにおける少なくとも第２の領域を除外する、設定するための手段と、境界内の第１の領域において物体認識手順を実行するための手段と、少なくとも第２の領域において物体認識手順を実行することを控えるための手段と、現実のシーンにおける第３の領域における視線を検知するための手段と、現実のシーンにおける少なくとも第４の領域を除外しながら、第３の領域を囲む境界を設定するための手段と、境界内で物体が認識される連続回数である第１のカウントと、境界内で物体が認識される回数である第２のカウントとを記憶するための手段と、第１のカウントまたは第２のカウントがしきい値を超えたか否かを判定するための手段と、第１のカウントまたは第２のカウントがしきい値を超えた場合に、物体を強調するための手段と、第１のカウントまたは第２のカウントがしきい値を超えた場合に、物体に近接したアイコンを表示するための手段と、少なくとも１つの動作を実行するための手段であって、少なくとも１つの動作は、物体が境界内の第１の領域において認識されていないのであれば、省電力状態に入る動作、境界を拡大する動作、または、境界内の第１の領域の中心へとズームする動作、のうちの少なくとも１つを含む、実行するための手段と、物体が境界において認識された回数であるカウントを記憶するための手段と、物体のタイプ、履歴、およびユーザ設定のうちの少なくとも１つに基づいて、しきい値を動的に設定するための手段と、カウントがしきい値を超えたか否かを判定するための手段と、カウントがしきい値を超えた場合に、物体を強調するための手段と、カウントがしきい値を超えた場合に、物体に近接したアイコンを表示するための手段と、音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つを受け取るための手段と、音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つに応じて、境界内の第１の領域の拡大を調節するための手段と、少なくとも１つの写真編集ツールを表示するための手段と、音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つに基づいて、少なくとも１つの写真編集ツールを用いて、境界内の第１の領域を編集するための手段と、編集された第１の領域の画像を記憶するための手段と、第１の音声コマンドおよび第１のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第１の認識された物体を記憶するための手段と、第２の音声コマンドおよび第２のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第２の認識された物体を記憶するための手段と、少なくとも第１の認識された物体と第２の認識された物体とを比較するための手段と、を含む。

[0096]前述した手段は、前述した手段によって記載されている機能を実行するように構成された装置１７０２’の処理システム１８１４および／または装置１７０２の前述したモジュールのうちの１または複数でありうる。

[0097]したがって、境界のサイズを縮小し、縮小された境界内の領域において物体認識手順を実行することによって、光学デバイスは、物体を認識するために必要な処理の量を低減し、もって、バッテリ電力を節約しうる。さらに、本明細書に開示された態様は、ハンド・ジェスチャ、目／頭追跡、および音声コマンドを調整することによって、拡張現実とのインタラクションを改善する。

[0098]開示された処理のステップの具体的な順序または階層は、典型的なアプローチの例示であることが理解される。設計選択に基づいて、これら処理におけるステップの具体的な順序または階層は、再構成されうることが理解される。さらに、いくつかのステップは、結合または省略されうる。方法請求項は、さまざまなステップの要素を、サンプル順で示しており、示された具体的な順序または階層に限定されないことが意味される。

[0099]前述の記載は、いかなる当業者であっても、ここで開示されたさまざまな態様を実現できるように提供される。これらの態様に対するさまざまな変形例は、当業者に容易に明らかになり、本明細書に定義された一般的な原理は、他の態様にも適用可能である。したがって、特許請求の範囲は、本明細書に示された態様に限定されず、請求項の文言と首尾一貫したすべての範囲が与えられることが意図されており、ここで、単数形による要素への参照は、明確に述べられていないのであれば、「１および１のみ」を意味するのではなく、「１または複数」を意味することが意図されている。特に明記されていない限り、用語「いくつか」は、１または複数を称する。当業者に周知であるか、または、後に周知になるべき本開示を通じて記載されたさまざまな態様の要素に対するすべての構造的および機能的な等価物が、参照によって本明細書に明確に組み込まれており、請求項に含められていると意図される。さらに、本明細書で開示されたいずれも、このような開示が請求項において明示的に述べられているかに関わらず、公衆に対して放棄されたものとは意図されていない。請求項の要素が、「〜する手段」という文言を用いて明示的に示されていないのであれば、請求項の何れの要素も、ミーンズ・プラス・ファンクション（ｍｅａｎｓｐｌｕｓｆｕｎｃｔｉｏｎ）として解釈されるべきではない。

[0099]前述の記載は、いかなる当業者であっても、ここで開示されたさまざまな態様を実現できるように提供される。これらの態様に対するさまざまな変形例は、当業者に容易に明らかになり、本明細書に定義された一般的な原理は、他の態様にも適用可能である。したがって、特許請求の範囲は、本明細書に示された態様に限定されず、請求項の文言と首尾一貫したすべての範囲が与えられることが意図されており、ここで、単数形による要素への参照は、明確に述べられていないのであれば、「１および１のみ」を意味するのではなく、「１または複数」を意味することが意図されている。特に明記されていない限り、用語「いくつか」は、１または複数を称する。当業者に周知であるか、または、後に周知になるべき本開示を通じて記載されたさまざまな態様の要素に対するすべての構造的および機能的な等価物が、参照によって本明細書に明確に組み込まれており、請求項に含められていると意図される。さらに、本明細書で開示されたいずれも、このような開示が請求項において明示的に述べられているかに関わらず、公衆に対して放棄されたものとは意図されていない。請求項の要素が、「〜する手段」という文言を用いて明示的に示されていないのであれば、請求項の何れの要素も、ミーンズ・プラス・ファンクション（ｍｅａｎｓｐｌｕｓｆｕｎｃｔｉｏｎ）として解釈されるべきではない。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
コンテンツを表示するように構成された光学デバイスを制御する方法であって、前記方法は下記を備える、
現実のシーンにおける第１の領域上の視線を検知することと、
前記第１の領域を囲む境界を設定すること、前記境界は、前記現実のシーンにおける少なくとも第２の領域を除外する、と、
前記境界内の前記第１の領域上の物体認識手順を実行することと、
前記少なくとも第２の領域上の物体認識手順を実行することを控えること。
［Ｃ２］
前記現実のシーンにおける第３の領域上の視線を検知することと、
前記現実のシーンにおける少なくとも第４の領域を除外しながら、前記第３の領域を囲む境界を設定することと、
をさらに備えるＣ１に記載の方法。
［Ｃ３］
前記物体認識手順を実行することは、前記現実のシーンの複数の画像フレームのうちの１つまたは複数に関する前記境界内の第１の領域上の物体認識手順を実行することを備え、前記方法はさらに、
前記境界内で物体が認識された連続回数である第１のカウントと、前記境界内で物体が認識された回数である第２のカウントとを、メモリに記憶することを備える、Ｃ１に記載の方法。
［Ｃ４］
前記第１のカウントまたは前記第２のカウントがしきい値を超えたか否かを判定することと、
前記第１のカウントまたは前記第２のカウントがしきい値を超えた場合に、前記物体を強調することと、
前記第１のカウントまたは前記第２のカウントがしきい値を超えた場合に、前記物体に近接したアイコンを表示することと、
をさらに備えるＣ３に記載の方法。
［Ｃ５］
前記境界内の第１の領域において物体が認識されない場合、前記方法はさらに、前記境界内の第１の領域の中心へとズームする動作、前記境界を拡大する動作、または、省電力状態に入る動作、のうちの少なくとも１つを実行することを備える、Ｃ１に記載の方法。
［Ｃ６］
前記物体認識手順を実行することは、前記現実のシーンの複数の画像フレームのうちの１つまたは複数について、前記境界内の第１の領域上の物体認識手順を実行することを備え、前記方法はさらに、
前記境界内で物体が認識された回数のカウントをメモリに記憶することを備える、Ｃ１に記載の方法。
［Ｃ７］
物体のタイプ、履歴、およびユーザ設定のうちの少なくとも１つに基づいて、しきい値を動的に設定することと、
前記カウントが、前記しきい値を超えたか否かを判定することと、
前記カウントが前記しきい値を超えた場合、前記物体を強調することと、
前記カウントが前記しきい値を超えた場合、前記物体に近接したアイコンを表示することと、
をさらに備える、Ｃ６に記載の方法。
［Ｃ８］
音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つを受け取ることと、
前記音声コマンドおよび前記ジェスチャ・コマンドのうちの少なくとも１つに応じて、前記境界の第１の領域の拡大を調節することと、
をさらに備えるＣ１に記載の方法。
［Ｃ９］
少なくとも１つの写真編集ツールを表示することと、
音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つに基づいて、前記少なくとも１つの写真編集ツールを用いて、前記境界内の第１の領域を編集することと、
前記編集された第１の領域の画像を記憶することと、
をさらに備えるＣ１に記載の方法。
［Ｃ１０］
第１の音声コマンドおよび第１のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第１の認識された物体を記憶することと、
第２の音声コマンドおよび第２のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第２の認識された物体を記憶することと、
少なくとも前記第１の認識された物体と、前記第２の認識された物体とを比較することと、
をさらに備えるＣ１に記載の方法。
［Ｃ１１］
コンテンツを表示するように構成された光学デバイスを制御するための装置であって、前記装置は下記を備える、
現実のシーンにおける第１の領域上の視線を検知するための手段と、
前記第１の領域を囲む境界を設定するための手段、前記境界は、前記現実のシーンにおける少なくとも第２の領域を除外する、と、
前記境界内の前記第１の領域上の物体認識手順を実行するための手段と、
前記少なくとも第２の領域上の物体認識手順を実行することを控えるための手段。
［Ｃ１２］
前記現実のシーンにおける第３の領域上の視線を検知するための手段と、
前記現実のシーンにおける少なくとも第４の領域を除外しながら、前記第３の領域を囲む境界を設定するための手段と、
をさらに備えるＣ１１に記載の装置。
［Ｃ１３］
前記物体認識手順を実行するための手段は、前記現実のシーンにおける複数の画像フレームのうちの１つまたは複数について、前記境界内の第１の領域上の物体認識手順を実行するように構成され、前記装置はさらに、
前記境界内で物体が認識された連続回数である第１のカウント、または、前記境界内で物体が認識された回数である第２のカウントを記憶するための手段を備える、Ｃ１１に記載の装置。
［Ｃ１４］
前記第１のカウントまたは前記第２のカウントがしきい値を超えたか否かを判定するための手段と、
前記第１のカウントまたは前記第２のカウントが前記しきい値を超えた場合に、前記物体を強調するための手段と、
前記第１のカウントまたは前記第２のカウントが前記しきい値を超えた場合に、前記物体に近接したアイコンを表示するための手段と、
をさらに備えるＣ１１に記載の装置。
［Ｃ１５］
少なくとも１つの動作を実行するための手段をさらに備え、前記少なくとも１つの動作は、前記境界内の第１の領域において物体が認識されていない場合省電力状態に入る動作、前記境界を拡大する動作、または前記境界内の第１の領域の中心へとズームする動作、のうちの少なくとも１つを備える、Ｃ１１に記載の装置。
［Ｃ１６］
前記物体認識手順を実行するための手段は、前記現実のシーンの複数の画像フレームのうちの１つまたは複数について、前記境界内の第１の領域上の物体認識手順を実行するように構成され、前記装置はさらに、
前記境界内において物体が認識された回数のカウントを記憶するための手段を備える、Ｃ１１に記載の装置。
［Ｃ１７］
物体のタイプ、履歴、およびユーザ設定のうちの少なくとも１つに基づいて、しきい値を動的に設定するための手段と、
前記カウントが、前記しきい値を超えたか否かを判定するための手段と、
前記カウントが前記しきい値を超えた場合、前記物体を強調するための手段と、
前記カウントが前記しきい値を超えた場合、前記物体に近接したアイコンを表示するための手段と、
をさらに備えるＣ１６に記載の装置。
［Ｃ１８］
音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つを受け取るための手段と、
前記音声コマンドおよび前記ジェスチャ・コマンドのうちの少なくとも１つに応じて、前記境界内の第１の領域の拡大を調節するための手段と、
をさらに備えるＣ１１に記載の装置。
［Ｃ１９］
少なくとも１つの写真編集ツールを表示するための手段と、
音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つに基づいて、前記少なくとも１つの写真編集ツールを使用して、前記境界内の第１の領域を編集するための手段と、
前記編集された第１の領域の画像を記憶するための手段と、
をさらに備えるＣ１１に記載の装置。
［Ｃ２０］
第１の音声コマンドおよび第１のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第１の認識された物体を記憶するための手段と、第２の音声コマンドおよび第２のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第２の認識された物体を記憶するための手段と、少なくとも前記第１の認識された物体と、前記第２の認識された物体とを比較するための手段と、をさらに備えるＣ１１に記載の装置。
［Ｃ２１］
コンテンツを表示するように構成された光学デバイスを制御するための装置であって、前記装置は下記を備える、
現実のシーンにおける第１の領域上の視線を検知し、
前記第１の領域を囲む境界を設定し、前記境界は、前記現実のシーンにおける少なくとも第２の領域を除外する、
前記境界内の前記第１の領域上の物体認識手順を実行し、
前記少なくとも第２の領域上の物体認識手順を実行することを控える、
ように構成された処理システム。
［Ｃ２２］
前記処理システムはさらに、
前記現実のシーンにおける第３の領域上の視線を検知し、
前記現実のシーンにおける少なくとも第４の領域を除外しながら、前記第３の領域を囲む境界を設定するように構成された、Ｃ２１に記載の装置。
［Ｃ２３］
前記物体認識手順は、前記現実のシーンの複数の画像フレームのうちの１つまたは複数について、前記境界内の第１の領域上の物体認識手順を実行することによって実行され、前記処理システムはさらに、
前記境界内で物体が認識された連続回数である第１のカウントまたは、前記境界内で物体が認識された回数である第２のカウントをメモリに記憶するように構成された、Ｃ２１に記載の装置。
［Ｃ２４］
前記処理システムはさらに、
前記第１のカウントまたは前記第２のカウントがしきい値を超えているか否かを判定し、
前記第１のカウントまたは前記第２のカウントがしきい値を超えている場合、前記物体を強調し、
前記第１のカウントまたは前記第２のカウントがしきい値を超えている場合、前記物体に近接したアイコンを表示する、
ように構成された、Ｃ２３に記載の装置。
［Ｃ２５］
前記処理システムはさらに、前記境界内の第１の領域において物体が認識されていない場合省電力状態に入る動作、前記境界を拡大する動作、または、前記境界内の第１の領域の中心へとズームする動作、のうちの少なくとも１つを実行するように構成された、Ｃ２１に記載の装置。
［Ｃ２６］
前記物体認識手順は、前記現実のシーンの複数の画像フレームのうちの１つまたは複数について、前記境界内の第１の領域上の体認識手順を実行することによって実行され、前記処理システムはさらに、
前記境界内で物体が認識された回数のカウントをメモリに記憶するように構成された、Ｃ２１に記載の装置。
［Ｃ２７］
前記処理システムはさらに、
物体のタイプ、履歴、およびユーザ設定のうちの少なくとも１つに基づいて、しきい値を動的に設定し、
前記カウントが、前記しきい値を超えたか否かを判定し、前記カウントが前記しきい値を超えた場合、前記物体を強調し、
前記カウントが前記しきい値を超えた場合、前記物体に近接したアイコンを表示する、
ように構成された、Ｃ２６に記載の装置。
［Ｃ２８］
前記処理システムはさらに、
音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つを受け取り、
前記音声コマンドおよび前記ジェスチャ・コマンドのうちの少なくとも１つに応じて、前記境界内の第１の領域の拡大を調節する、
ように構成された、Ｃ２１に記載の装置。
［Ｃ２９］
前記処理システムはさらに、
少なくとも１つの写真編集ツールを表示し、
音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つに基づいて、前記少なくとも１つの写真編集ツールを使用して、前記境界内の第１の領域を編集し、
前記編集された第１の領域の画像を記憶する、
ように構成された、Ｃ２１に記載の装置。
［Ｃ３０］
前記処理システムはさらに、
第１の音声コマンドおよび第１のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第１の認識された物体を記憶し、
第２の音声コマンドおよび第２のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第２の認識された物体を記憶し、
少なくとも前記第１の認識された物体と、前記第２の認識された物体とを比較する、
ように構成された、Ｃ２１に記載の装置。
［Ｃ３１］
コンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品は下記を備える、
現実のシーンにおける第１の領域上の視線を検知することと、
前記第１の領域を囲む境界を設定すること、前記境界は、前記現実のシーンにおける少なくとも第２の領域を除外する、と、
前記境界内の前記第１の領域上の物体認識手順を実行することと、
前記少なくとも第２の領域上の物体認識手順を実行することを控えることと、
のためのコードを備えるコンピュータ読取可能な媒体。
［Ｃ３２］
前記コンピュータ読取可能な媒体はさらに、
前記現実のシーンにおける第３の領域上の視線を検知することと、
前記現実のシーンにおける少なくとも第４の領域を除外しながら、前記第３の領域を囲む境界を設定することと、
のためのコードを備える、Ｃ３１に記載のコンピュータ・プログラム製品。
［Ｃ３３］
前記物体認識手順を実行することは、前記現実のシーンの複数の画像フレームのうちの１つまたは複数について、前記境界内の第１の領域上の物体認識手順を実行することを備え、前記コンピュータ読取可能な媒体はさらに、
前記境界内で物体が認識された連続回数である第１のカウントと、前記境界内で物体が認識された回数である第２のカウントとを、メモリに記憶するためのコードを備える、Ｃ３１に記載のコンピュータ・プログラム製品。
［Ｃ３４］
前記コンピュータ読取可能な媒体はさらに、
前記第１のカウントまたは前記第２のカウントがしきい値を超えているか否かを判定することと、
前記第１のカウントまたは前記第２のカウントがしきい値を超えている場合、前記物体を強調することと、
前記第１のカウントまたは前記第２のカウントがしきい値を超えている場合、前記物体に近接したアイコンを表示することと、
のためのコードを備える、Ｃ３３に記載のコンピュータ・プログラム製品。
［Ｃ３５］
前記コンピュータ読取可能な媒体はさらに、前記境界内の第１の領域において物体が認識されていない場合省電力状態に入る動作、前記境界を拡大する動作、または、前記境界内の第１の領域の中心へとズームする動作、のうちの少なくとも１つを実行するためのコードを備える、Ｃ３１に記載のコンピュータ・プログラム製品。
［Ｃ３６］
前記物体認識手順を実行することは、前記現実のシーンの複数の画像フレームのうちの１つまたは複数について、前記境界内の第１の領域上の物体認識手順を実行することを備え、前記コンピュータ読取可能な媒体はさらに、
前記境界内で物体が認識された回数のカウントをメモリに記憶するためのコードを備える、Ｃ３１に記載のコンピュータ・プログラム製品。
［Ｃ３７］
前記コンピュータ読取可能な媒体はさらに、
物体のタイプ、履歴、およびユーザ設定のうちの少なくとも１つに基づいて、しきい値を動的に設定することと、
前記カウントが、前記しきい値を超えたか否かを判定することと、
前記カウントが前記しきい値を超えた場合、前記物体を強調することと、
前記カウントが前記しきい値を超えた場合、前記物体に近接したアイコンを表示することと、
のためのコードを備える、Ｃ３６に記載のコンピュータ・プログラム製品。
［Ｃ３８］
前記コンピュータ読取可能な媒体はさらに、
音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つを受け取ることと、
前記音声コマンドおよび前記ジェスチャ・コマンドのうちの少なくとも１つに応じて、前記境界内の第１の領域の拡大を調節することと、
のためのコードを備える、Ｃ３１に記載のコンピュータ・プログラム製品。
［Ｃ３９］
前記コンピュータ読取可能な媒体はさらに、
少なくとも１つの写真編集ツールを表示することと、
音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つに基づいて、前記少なくとも１つの写真編集ツールを使用して、前記境界内の第１の領域を編集することと、
前記編集された第１の領域の画像を記憶することと、
のためのコードを備える、Ｃ３１に記載のコンピュータ・プログラム製品。
［Ｃ４０］
前記コンピュータ読取可能な媒体はさらに、
第１の音声コマンドおよび第１のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第１の認識された物体を記憶することと、
第２の音声コマンドおよび第２のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第２の認識された物体を記憶することと、
少なくとも前記第１の認識された物体と、前記第２の認識された物体とを比較することと、
のためのコードを備える、Ｃ３１に記載のコンピュータ・プログラム製品。

Claims

コンテンツを表示するように構成された光学デバイスを制御する方法であって、前記方法は下記を備える、
現実のシーンにおける第１の領域上の視線を検知することと、
前記第１の領域を囲む境界を設定すること、前記境界は、前記現実のシーンにおける少なくとも第２の領域を除外する、と、
前記境界内の前記第１の領域上の物体認識手順を実行することと、
前記少なくとも第２の領域上の物体認識手順を実行することを控えること。
前記現実のシーンにおける第３の領域上の視線を検知することと、
前記現実のシーンにおける少なくとも第４の領域を除外しながら、前記第３の領域を囲む境界を設定することと、
をさらに備える請求項１に記載の方法。
前記物体認識手順を実行することは、前記現実のシーンの複数の画像フレームのうちの１つまたは複数に関する前記境界内の第１の領域上の物体認識手順を実行することを備え、前記方法はさらに、
前記境界内で物体が認識された連続回数である第１のカウント、または前記境界内で物体が認識された回数である第２のカウントを、メモリに記憶することを備える、請求項１に記載の方法。
前記第１のカウントまたは前記第２のカウントがしきい値を超えたか否かを判定することと、
前記第１のカウントまたは前記第２のカウントがしきい値を超えた場合に、前記物体を強調することと、
前記第１のカウントまたは前記第２のカウントがしきい値を超えた場合に、前記物体に近接したアイコンを表示することと、
をさらに備える請求項３に記載の方法。
前記境界内の第１の領域において物体が認識されない場合、前記方法はさらに、前記境界内の第１の領域の中心へとズームする動作、前記境界を拡大する動作、または、省電力状態に入る動作、のうちの少なくとも１つを実行することを備える、請求項１に記載の方法。
前記物体認識手順を実行することは、前記現実のシーンの複数の画像フレームのうちの１つまたは複数について、前記境界内の第１の領域上の物体認識手順を実行することを備え、前記方法はさらに、
前記境界内で物体が認識された回数のカウントをメモリに記憶することを備える、請求項１に記載の方法。
物体のタイプ、履歴、およびユーザ設定のうちの少なくとも１つに基づいて、しきい値を動的に設定することと、
前記カウントが、前記しきい値を超えたか否かを判定することと、
前記カウントが前記しきい値を超えた場合、前記物体を強調することと、
前記カウントが前記しきい値を超えた場合、前記物体に近接したアイコンを表示することと、
をさらに備える、請求項６に記載の方法。
音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つを受け取ることと、
前記音声コマンドおよび前記ジェスチャ・コマンドのうちの少なくとも１つに応じて、前記境界内の第１の領域の拡大を調節することと、
をさらに備える請求項１に記載の方法。
少なくとも１つの写真編集ツールを表示することと、
音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つに基づいて、前記少なくとも１つの写真編集ツールを用いて、前記境界内の第１の領域を編集することと、
前記編集された第１の領域の画像を記憶することと、
をさらに備える請求項１に記載の方法。
第１の音声コマンドおよび第１のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第１の認識された物体を記憶することと、
第２の音声コマンドおよび第２のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第２の認識された物体を記憶することと、
少なくとも前記第１の認識された物体と、前記第２の認識された物体とを比較することと、
をさらに備える請求項１に記載の方法。
コンテンツを表示するように構成された光学デバイスを制御するための装置であって、前記装置は下記を備える、
現実のシーンにおける第１の領域上の視線を検知するための手段と、
前記第１の領域を囲む境界を設定するための手段、前記境界は、前記現実のシーンにおける少なくとも第２の領域を除外する、と、
前記境界内の前記第１の領域上の物体認識手順を実行するための手段と、
前記少なくとも第２の領域上の物体認識手順を実行することを控えるための手段。
前記現実のシーンにおける第３の領域上の視線を検知するための手段と、
前記現実のシーンにおける少なくとも第４の領域を除外しながら、前記第３の領域を囲む境界を設定するための手段と、
をさらに備える請求項１１に記載の装置。
前記物体認識手順を実行するための手段は、前記現実のシーンにおける複数の画像フレームのうちの１つまたは複数について、前記境界内の第１の領域上の物体認識手順を実行するように構成され、前記装置はさらに、
前記境界内で物体が認識された連続回数である第１のカウント、または前記境界内で物体が認識された回数である第２のカウントを記憶するための手段を備える、請求項１１に記載の装置。
前記第１のカウントまたは前記第２のカウントがしきい値を超えたか否かを判定するための手段と、
前記第１のカウントまたは前記第２のカウントが前記しきい値を超えた場合に、前記物体を強調するための手段と、
前記第１のカウントまたは前記第２のカウントが前記しきい値を超えた場合に、前記物体に近接したアイコンを表示するための手段と、
をさらに備える請求項１１に記載の装置。
少なくとも１つの動作を実行するための手段をさらに備え、前記少なくとも１つの動作は、前記境界内の第１の領域において物体が認識されていない場合省電力状態に入る動作、前記境界を拡大する動作、または前記境界内の第１の領域の中心へとズームする動作、のうちの少なくとも１つを備える、請求項１１に記載の装置。
前記物体認識手順を実行するための手段は、前記現実のシーンの複数の画像フレームのうちの１つまたは複数について、前記境界内の第１の領域上の物体認識手順を実行するように構成され、前記装置はさらに、
前記境界内において物体が認識された回数のカウントを記憶するための手段を備える、請求項１１に記載の装置。
物体のタイプ、履歴、およびユーザ設定のうちの少なくとも１つに基づいて、しきい値を動的に設定するための手段と、
前記カウントが、前記しきい値を超えたか否かを判定するための手段と、
前記カウントが前記しきい値を超えた場合、前記物体を強調するための手段と、
前記カウントが前記しきい値を超えた場合、前記物体に近接したアイコンを表示するための手段と、
をさらに備える請求項１６に記載の装置。
音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つを受け取るための手段と、
前記音声コマンドおよび前記ジェスチャ・コマンドのうちの少なくとも１つに応じて、前記境界内の第１の領域の拡大を調節するための手段と、
をさらに備える請求項１１に記載の装置。
少なくとも１つの写真編集ツールを表示するための手段と、
音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つに基づいて、前記少なくとも１つの写真編集ツールを使用して、前記境界内の第１の領域を編集するための手段と、
前記編集された第１の領域の画像を記憶するための手段と、
をさらに備える請求項１１に記載の装置。
第１の音声コマンドおよび第１のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第１の認識された物体を記憶するための手段と、第２の音声コマンドおよび第２のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第２の認識された物体を記憶するための手段と、少なくとも前記第１の認識された物体と、前記第２の認識された物体とを比較するための手段と、をさらに備える請求項１１に記載の装置。
コンテンツを表示するように構成された光学デバイスを制御するための装置であって、前記装置は下記を備える、
現実のシーンにおける第１の領域上の視線を検知し、
前記第１の領域を囲む境界を設定し、前記境界は、前記現実のシーンにおける少なくとも第２の領域を除外する、
前記境界内の前記第１の領域上の物体認識手順を実行し、
前記少なくとも第２の領域上の物体認識手順を実行することを控える、
ように構成された処理システム。
前記処理システムはさらに、
前記現実のシーンにおける第３の領域上の視線を検知し、
前記現実のシーンにおける少なくとも第４の領域を除外しながら、前記第３の領域を囲む境界を設定するように構成された、請求項２１に記載の装置。
前記物体認識手順は、前記現実のシーンの複数の画像フレームのうちの１つまたは複数について、前記境界内の第１の領域上の物体認識手順を実行することによって実行され、前記処理システムはさらに、
前記境界内で物体が認識された連続回数である第１のカウント、または前記境界内で物体が認識された回数である第２のカウントをメモリに記憶するように構成された、請求項２１に記載の装置。
前記処理システムはさらに、
前記第１のカウントまたは前記第２のカウントがしきい値を超えているか否かを判定し、
前記第１のカウントまたは前記第２のカウントがしきい値を超えている場合、前記物体を強調し、
前記第１のカウントまたは前記第２のカウントがしきい値を超えている場合、前記物体に近接したアイコンを表示する、
ように構成された、請求項２３に記載の装置。
前記処理システムはさらに、前記境界内の第１の領域において物体が認識されていない場合省電力状態に入る動作、前記境界を拡大する動作、または、前記境界内の第１の領域の中心へとズームする動作、のうちの少なくとも１つを実行するように構成された、請求項２１に記載の装置。
前記物体認識手順は、前記現実のシーンの複数の画像フレームのうちの１つまたは複数について、前記境界内の第１の領域上の物体認識手順を実行することによって実行され、前記処理システムはさらに、
前記境界内で物体が認識された回数のカウントをメモリに記憶するように構成された、請求項２１に記載の装置。
前記処理システムはさらに、
物体のタイプ、履歴、およびユーザ設定のうちの少なくとも１つに基づいて、しきい値を動的に設定し、
前記カウントが、前記しきい値を超えたか否かを判定し、前記カウントが前記しきい値を超えた場合、前記物体を強調し、
前記カウントが前記しきい値を超えた場合、前記物体に近接したアイコンを表示する、
ように構成された、請求項２６に記載の装置。
前記処理システムはさらに、
音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つを受け取り、
前記音声コマンドおよび前記ジェスチャ・コマンドのうちの少なくとも１つに応じて、前記境界内の第１の領域の拡大を調節する、
ように構成された、請求項２１に記載の装置。
前記処理システムはさらに、
少なくとも１つの写真編集ツールを表示し、
音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つに基づいて、前記少なくとも１つの写真編集ツールを使用して、前記境界内の第１の領域を編集し、
前記編集された第１の領域の画像を記憶する、
ように構成された、請求項２１に記載の装置。
前記処理システムはさらに、
第１の音声コマンドおよび第１のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第１の認識された物体を記憶し、
第２の音声コマンドおよび第２のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第２の認識された物体を記憶し、
少なくとも前記第１の認識された物体と、前記第２の認識された物体とを比較する、
ように構成された、請求項２１に記載の装置。
コンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品は下記を備える、
現実のシーンにおける第１の領域上の視線を検知することと、
前記第１の領域を囲む境界を設定すること、前記境界は、前記現実のシーンにおける少なくとも第２の領域を除外する、と、
前記境界内の前記第１の領域上の物体認識手順を実行することと、
前記少なくとも第２の領域上の物体認識手順を実行することを控えることと、
のためのコードを備えるコンピュータ読取可能な媒体。
前記コンピュータ読取可能な媒体はさらに、
前記現実のシーンにおける第３の領域上の視線を検知することと、
前記現実のシーンにおける少なくとも第４の領域を除外しながら、前記第３の領域を囲む境界を設定することと、
のためのコードを備える、請求項３１に記載のコンピュータ・プログラム製品。
前記物体認識手順を実行することは、前記現実のシーンの複数の画像フレームのうちの１つまたは複数について、前記境界内の第１の領域上の物体認識手順を実行することを備え、前記コンピュータ読取可能な媒体はさらに、
前記境界内で物体が認識された連続回数である第１のカウント、または前記境界内で物体が認識された回数である第２のカウントとを、メモリに記憶するためのコードを備える、請求項３１に記載のコンピュータ・プログラム製品。
前記コンピュータ読取可能な媒体はさらに、
前記第１のカウントまたは前記第２のカウントがしきい値を超えているか否かを判定することと、
前記第１のカウントまたは前記第２のカウントがしきい値を超えている場合、前記物体を強調することと、
前記第１のカウントまたは前記第２のカウントがしきい値を超えている場合、前記物体に近接したアイコンを表示することと、
のためのコードを備える、請求項３３に記載のコンピュータ・プログラム製品。
前記コンピュータ読取可能な媒体はさらに、前記境界内の第１の領域において物体が認識されていない場合省電力状態に入る動作、前記境界を拡大する動作、または、前記境界内の第１の領域の中心へとズームする動作、のうちの少なくとも１つを実行するためのコードを備える、請求項３１に記載のコンピュータ・プログラム製品。
前記物体認識手順を実行することは、前記現実のシーンの複数の画像フレームのうちの１つまたは複数について、前記境界内の第１の領域上の物体認識手順を実行することを備え、前記コンピュータ読取可能な媒体はさらに、
前記境界内で物体が認識された回数のカウントをメモリに記憶するためのコードを備える、請求項３１に記載のコンピュータ・プログラム製品。
前記コンピュータ読取可能な媒体はさらに、
物体のタイプ、履歴、およびユーザ設定のうちの少なくとも１つに基づいて、しきい値を動的に設定することと、
前記カウントが、前記しきい値を超えたか否かを判定することと、
前記カウントが前記しきい値を超えた場合、前記物体を強調することと、
前記カウントが前記しきい値を超えた場合、前記物体に近接したアイコンを表示することと、
のためのコードを備える、請求項３６に記載のコンピュータ・プログラム製品。
前記コンピュータ読取可能な媒体はさらに、
音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つを受け取ることと、
前記音声コマンドおよび前記ジェスチャ・コマンドのうちの少なくとも１つに応じて、前記境界内の第１の領域の拡大を調節することと、
のためのコードを備える、請求項３１に記載のコンピュータ・プログラム製品。
前記コンピュータ読取可能な媒体はさらに、
少なくとも１つの写真編集ツールを表示することと、
音声コマンドおよびジェスチャ・コマンドのうちの少なくとも１つに基づいて、前記少なくとも１つの写真編集ツールを使用して、前記境界内の第１の領域を編集することと、
前記編集された第１の領域の画像を記憶することと、
のためのコードを備える、請求項３１に記載のコンピュータ・プログラム製品。
前記コンピュータ読取可能な媒体はさらに、
第１の音声コマンドおよび第１のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第１の認識された物体を記憶することと、
第２の音声コマンドおよび第２のジェスチャ・コマンドのうちの少なくとも１つに応じて、少なくとも第２の認識された物体を記憶することと、
少なくとも前記第１の認識された物体と、前記第２の認識された物体とを比較することと、
のためのコードを備える、請求項３１に記載のコンピュータ・プログラム製品。