JP2016509705A - 視線追跡を使用して拡張現実を可能にする - Google Patents

Abstract

視線追跡を使用して拡張現実アプリケーションを可能にすることに関する方法および装置が開示される。本開示による例示的な方法は、ユーザによって閲覧可能なシーンの画像をユーザに表示するステップと、そのユーザの視線を示す情報を受信するステップと、その視線情報に基づいて、画像内の関心領域を判断するステップと、その関心領域に基づいて、画像セグメントを判断するステップと、その画像セグメントに関するオブジェクト認識プロセスを開始するステップと、そのオブジェクト認識プロセスの結果を表示するステップとを含む。

Description

本明細書で開示する主題は、背面カメラを備えた電子デバイスに関し、より詳細には、たとえば、モバイル電子デバイス内で拡張現実(AR)とともに使用するための方法、装置、およびシステムに関する。

モバイルコンピューティングデバイス(モバイルデバイス)はワイヤレス通信システムを介した様々な情報へのアクセスをユーザに提供する。一例として、ワイヤレスセルラーネットワークおよび/またはWi-FiもしくはWiMAXなどのワイヤレスローカルエリアネットワークとの使用に対応したモバイルデバイスは、インターネットの膨大な情報リソースへのアクセスをユーザに提供する。モバイルデバイスにより、ユーザは、コンピュータ生成グラフィカルコンテンツに統合されるか、またはコンピュータ生成グラフィカルコンテンツによって拡張されるターゲットオブジェクトのリアルタイムビューを提供する拡張現実環境を探索することもできる。たとえば、モバイルデバイスに搭載されたカメラをグラフィカルディスプレイとともに使用して、モバイルデバイスのカメラビューにキャプチャされた関心ターゲットに関係する補足情報をユーザに提示することができる。そのような補足情報は、モバイルデバイスのカメラビューにキャプチャされた現実世界のオブジェクトをオーバーレイする情報層を形成することができる。この機能は、概して、拡張現実(AR)ビューモードと呼ばれる。ARビューでは、カメラビューにキャプチャされたオブジェクトは、ユーザが情報層に容易にアクセスするのを可能にするために、ディスプレイスクリーンと整合するように遷移され得る。

モバイルデバイスはARモードビューを有することが可能であり、ARターゲットオブジェクトはグラフィカルディスプレイスクリーン上に提示され得る。状況によっては、ユーザに表示されるARターゲットオブジェクトの数は多数であり得る。ARターゲットオブジェクトは、ビュースクリーンを散らかす場合があり、これはユーザのビューを混乱させる可能性があり、モバイルデバイスの処理能力を要求し得る。

Mishra、Aloimonos、Fah、「Active Segmentation with Fixation」、International Conference on Computer Vision(ICCV)、2009年

本開示による、視線追跡を使用して拡張現実アプリケーションを可能にするための方法の例は、ユーザによって閲覧可能なシーンの画像をユーザに表示するステップと、ユーザの視線を示す情報を受信するステップと、その視線情報に基づいて、画像内の関心領域を判断するステップと、その関心領域のロケーション(location)に基づいて、シーンの画像内にオブジェクトタグを表示させるステップと、その関心領域がそのオブジェクトタグ上またはその周囲に留まる場合、拡張現実情報を表示するステップとを含む。

方法の実装形態は、以下の特徴のうちの1つまたは複数を含むことができる。ユーザに表示される画像は、モバイルデバイスに結合された第1のカメラでキャプチャ可能であり、視線情報は、モバイルデバイスに結合された第2のカメラでキャプチャされた画像に基づいて判断され得る。関心領域がそのオブジェクトタグ上またはその周囲に留まらない場合、そのオブジェクトタグを非表示にするステップ。背面カメラまたは視線追跡ツールを使用して、視線情報を受信することができる。オブジェクトタグはアイコンであり得る。関心領域のグラフィカル表現は、画像上に表示され得る。グラフィカル表現は、1つもしくは複数の円、または他のグラフィカルアイコンであってよい。画像は前面カメラでキャプチャされ得る。

本開示による、視線追跡を使用してオブジェクト認識を可能にするための方法の例は、ユーザによって閲覧可能なシーンの画像をユーザに表示するステップと、ユーザの視線を示す情報を受信するステップと、その視線情報に基づいて、画像内の関心領域を判断するステップと、その関心領域に基づいて、画像セグメントを判断するステップと、その画像セグメントに関するオブジェクト認識プロセスを開始するステップと、そのオブジェクト認識プロセスの結果を表示するステップとを含む。

方法の実装形態は、以下の特徴のうちの1つまたは複数を含むことができる。開始するステップは、オブジェクト認識プロセスを実行するステップを含み得る。開始するステップは、その画像セグメントを遠隔サーバに提供するステップと、遠隔サーバからオブジェクト認識結果を受信するステップとを含むことができ、表示するステップは、そのオブジェクト認識結果に基づいて、拡張現実情報を表示するステップを含み得る。遠隔サーバからポーズ情報を受信するステップ、およびそのポーズ情報に基づいて、拡張現実情報を表示するステップ。画像は、モバイルデバイスに結合された第1のカメラでキャプチャ可能であり、視線情報は、モバイルデバイスに結合された第2のカメラでキャプチャされた画像に基づいて判断され得る。オブジェクト認識プロセスの結果は、拡張現実情報の表示を含み得る。関心領域がその画像セグメント上またはその周囲に留まる場合、拡張現実情報を表示するステップ。オブジェクト認識プロセスの結果を表示するステップは、オブジェクトタグを表示するステップを含み得る。関心領域がそのオブジェクトタグ上またはその周囲に留まる場合、拡張現実情報を表示するステップ。画像セグメント境界線を表示するステップ。

本開示による、視線追跡を使用して、ロケーションベースの拡張現実情報を表示するための方法の例は、モバイルデバイス上に画像を表示するステップと、モバイルデバイスのロケーションに基づいて、ロケーションベースの拡張現実オブジェクトを判断するステップと、画像内にアイコンを表示するステップであって、画像内のアイコンの位置(position)が、ロケーションベースの拡張現実オブジェクトに関連するロケーション情報、または画像内に見ることができる現実世界のオブジェクトのロケーションに基づく、表示するステップと、ユーザの視線に基づいて、画像内の関心領域を判断するステップと、ロケーションベースの拡張現実オブジェクトに関連する拡張現実情報、または、関心領域がアイコンの位置とオーバーレイする場合、現実世界のオブジェクトをモバイルデバイス上に表示するステップとを含む。

方法の実装形態は、以下の特徴のうちの1つまたは複数を含むことができる。画像は、モバイルデバイス上の前面カメラで取得され得る。モバイルデバイス上の背面カメラを使用して、ユーザの視線を判断することができる。画像は、アプリケーション内に表示されたファイルであり得る。関心領域のグラフィカル表現が表示され得る。

本開示による方法の例は、モバイルデバイスの第1のカメラによってキャプチャされた第1の画像をモバイルデバイス上に表示するステップと、モバイルデバイスの第2のカメラによってキャプチャされた第2の画像に基づいて、モバイルデバイスのユーザの注視(gaze)を判断するステップと、判断された注視に基づいて、第1の画像内の関心領域を判断するステップと、判断された関心領域に少なくとも一部基づいて、モバイルデバイスにおいて、拡張現実機能に関連する1つまたは複数の動作を実行するステップとを含む。

方法の実装形態は、以下の特徴のうちの1つまたは複数を含むことができる。1つまたは複数の動作は、実質的に関心領域内にある第1の画像内のオブジェクトに関連する拡張情報を表示するステップを含み得る。1つまたは複数の動作は、実質的に関心領域内にある第1の画像内のオブジェクトを追跡するステップを含み得る。1つまたは複数の動作は、実質的に関心領域内にある第1の画像内のオブジェクトに関して実行されるオブジェクト認識を含み得る。拡張現実機能はさらに、モバイルデバイスのロケーションに基づき得る。

本開示による、画像分割を使用してオブジェクト追跡を可能にするための方法の例は、第1のカメラ方位からユーザによって閲覧可能なシーンの第1の画像をユーザに表示するステップと、ユーザの視線を示す情報を受信するステップと、視線情報に基づいて、第1の画像内の関心領域を判断するステップと、関心領域に基づいて、画像セグメントを判断するステップと、画像セグメントに関するオブジェクト追跡プロセスを実行して、その画像セグメントの第1のポーズを判断するステップと、画像セグメントの第1のポーズに基づいて、第1のARポーズで拡張現実オブジェクトを表示するステップとを含む。

方法の実装形態は、以下の特徴のうちの1つまたは複数を含むことができる。第2の画像が画像セグメントを含むように、第2のカメラ方位からユーザによって閲覧可能なシーンの第2の画像をユーザに表示するステップ、その画像セグメントに関するオブジェクト追跡プロセスを実行して、その画像セグメントの第2のポーズを判断するステップ、およびその画像セグメントの第2のポーズに基づいて、第2の拡張現実ポーズで拡張現実オブジェクトを表示するステップ。オブジェクト追跡プロセスを実行するステップは、画像セグメントを遠隔サーバに提供するステップを含み得る。

本開示による、視線追跡を使用してオブジェクト認識を可能にするための方法の例は、ユーザによって閲覧可能なシーンの画像をユーザに表示するステップと、ユーザの視線を示す情報を受信するステップと、視線情報に基づいて、画像内の関心領域を判断するステップと、その関心領域に基づいて、画像セグメントを判断するステップと、その画像セグメントを遠隔サーバに提供するステップと、遠隔サーバからオブジェクト認識結果を受信するステップと、オブジェクト認識結果に基づいて、拡張現実情報を表示するステップとを含む。一実装形態では、この方法は、遠隔サーバからポーズ情報を受信して、そのポーズ情報に基づいて、拡張現実情報を表示することができる。

本開示による、視線追跡を使用してオブジェクト認識を可能にするための装置の例は、メモリと、そのメモリに結合された少なくとも1つのプロセッサであって、ユーザによって閲覧可能なシーンの画像をユーザに表示して、そのユーザの視線を示す情報を受信して、その視線情報に基づいて、画像内の関心領域を判断して、その関心領域に基づいて、画像セグメントを判断して、その画像セグメントに関するオブジェクト認識プロセスを開始して、そのオブジェクト認識プロセスの結果を表示するように構成された、少なくとも1つのプロセッサとを含む。

本開示による、視線追跡を使用してロケーションベースの拡張現実情報を表示するための装置の例は、メモリと、そのメモリに結合された少なくとも1つのプロセッサであって、モバイルデバイス上に画像を表示することと、モバイルデバイスのロケーションに基づいて、ロケーションベースの拡張現実オブジェクトを判断することと、画像内にアイコンを表示することであって、画像内のアイコンの位置が、ロケーションベースの拡張現実オブジェクトに関連するロケーション情報、または画像内に見ることができる現実世界のオブジェクトのロケーションに基づく、表示することと、ユーザの視線に基づいて、画像内の関心領域を判断することと、ロケーションベースの拡張現実オブジェクトに関連する拡張現実情報、または、関心領域がアイコンの位置とオーバーレイする場合、現実世界のオブジェクトをモバイルデバイス上に表示することとを行うように構成された、少なくとも1つのプロセッサとを含む。

本開示による、視線追跡を使用してオブジェクト認識を可能にするための装置の例は、ユーザによって閲覧可能なシーンの画像をユーザに表示するための手段と、そのユーザの視線を示す情報を受信するための手段と、その視線情報に基づいて、画像内の関心領域を判断するための手段と、その関心領域に基づいて、画像セグメントを判断するための手段と、その画像セグメントに関するオブジェクト認識プロセスを開始するための手段と、そのオブジェクト認識プロセスの結果を表示するための手段とを含む。

本開示に基づく、視線追跡を使用してロケーションベースの拡張現実情報を表示するための装置の例は、モバイルデバイス上に画像を表示するための手段と、モバイルデバイスのロケーションに基づいて、ロケーションベースの拡張現実オブジェクトを判断するための手段と、画像内にアイコンを表示するための手段であって、画像内のアイコンの位置が、ロケーションベースの拡張現実オブジェクトに関連するロケーション情報、または画像内に見ることができる現実世界のオブジェクトのロケーションに基づく、表示するための手段と、ユーザの視線に基づいて、画像内の関心領域を判断するための手段と、ロケーションベースの拡張現実オブジェクトに関連する拡張現実情報、または、関心領域がアイコンの位置とオーバーレイする場合、現実世界のオブジェクトをモバイルデバイス上に表示するための手段とを含む。

本開示による非一時的コンピュータ記憶媒体の例は、プロセッサに、ユーザによって閲覧可能なシーンの画像をユーザに表示することと、ユーザの視線を示す情報を受信することと、その視線情報に基づいて、画像内の関心領域を判断することと、その関心領域に基づいて、画像セグメントを判断することと、その画像セグメントに関するオブジェクト認識プロセスを開始することと、オブジェクト認識プロセスの結果を表示することとを行わせるように構成されたプロセッサ実行可能命令を含む。

本開示による非一時的コンピュータ記憶媒体の例は、プロセッサに、モバイルデバイス上に画像を表示することと、モバイルデバイスのロケーションに基づいて、ロケーションベースの拡張現実オブジェクトを判断することと、その画像内にアイコンを表示することであって、画像内のアイコンの位置がロケーションベースの拡張現実オブジェクトに関連するロケーション情報、または画像内に見ることができる現実世界のオブジェクトのロケーションに基づく、表示することと、ユーザの視線に基づいて、画像内の関心領域を判断することと、ロケーションベースの拡張現実オブジェクトに関連する拡張現実情報、またはその関心領域がアイコンの位置とオーバーレイする場合、現実世界のオブジェクトをモバイルデバイス上に表示することとを行わせるように構成されたプロセッサ実行可能命令を含む。

本明細書で説明する項目および/または技法は、以下の能力のうちの1つまたは複数、ならびに言及されていない他の能力を提供することができる。シーンの画像は、モバイルデバイスの前面カメラでキャプチャ可能であり、ユーザの視線は、モバイルデバイス上の背面カメラによって追跡され得る。ユーザの視線のロケーションに基づいて、関心領域を判断することができる。関心領域のロケーションに基づいて、画像分割プロセスを開始することができる。画像セグメントに関するオブジェクト認識を実行することができる。関心領域のロケーションおよび留まり時間(linger time)に基づいて、拡張現実情報を提示することができる。オブジェクトタグを表示することができる。他の能力を提供することができ、本開示によるすべての実装形態が論じられる任意の能力、ましてやすべての能力を提供しなければならないとは限らない。さらに、述べられるもの以外の手段によって上述の効果を達成することが可能であってよく、言及した項目/技法が必ずしも述べられる効果をもたらすとは限らないことがある。

非限定的かつ非網羅的な態様が、以下の図面を参照して説明され、別段規定されない限り、様々な図面を通じて、同様の参照番号は同様の部分を指す。

本発明の実施形態の実施に用いられるデバイスの一部分を組み込む例示的なコンピュータシステムを示す図である。 本発明の実施形態を実行するデバイスの例示的な図である。 モバイルデバイス上の背面カメラで視線追跡を実行するための例示的な先行技術のプロセスフローである。 視線追跡を使用して、モバイルデバイス上の前面カメラでキャプチャされた画像上の関心領域を識別することを例示する図である。 ARオブジェクトタグで散らかった画像の例示的な図である。 ユーザの注視のロケーションに応じてARオブジェクトタグが表示される画像の例示的な図である。 ユーザの注視がARオブジェクトタグ上に配置された画像の例示的な図である。 ディスプレイにわたってロケーションベースの拡張情報で散らかった画像の例示的な図である。 ロケーションベースの拡張情報がどこに利用可能であるかを示すアイコンを備えた画像の例示的な図である。 視線追跡に基づいて、画像分割およびオブジェクト認識を実行するように構成されたデバイスの例示的な図である。 視線追跡実装形態を用いたグループビデオ会議の図である。 視線のロケーションに基づいて拡張オブジェクトを示すための、ある例示的なプロセスを示すプロセスフロー図である。 視線のロケーションの近傍内でオブジェクト認識を実行するための、ある例示的なプロセスを示すプロセスフロー図である。 ロケーションベースの拡張現実オブジェクトに関するアイコンを表示するための、ある例示的なプロセスを示すプロセスフロー図である。

近年、多くのモバイルデバイスは、複数のカメラ、すなわち、前面カメラ、背面カメラなどを有し、将来、さらに多くのカメラがモバイルデバイス内に含まれる可能性がある。大部分の拡張現実アプリケーションにおいて、前面カメラは画像ターゲットを見るのに対して、背面カメラはそのモバイルデバイスを操作しているユーザに向くことができる。たとえば、背面カメラは、ユーザの注視下にある現在のオブジェクトである、ディスプレイスクリーン上のロケーションを判断するために使用され得るユーザの目の画像をキャプチャすることができる。この機能は、概して、視線追跡と呼ばれる。視線追跡を使用して、ディスプレイスクリーン上の画像内のユーザの関心を評価することができる。

視線追跡を使用して拡張現実アプリケーションを可能にすることに関係する実装形態が、モバイルコンピューティングの文脈において開示される。建物、道路標識、雑誌広告、広告掲示板、文書、ならびに他の現実世界2Dおよび3Dオブジェクトなどのターゲットオブジェクトは、モバイルデバイスのARビューモードの前面カメラでキャプチャ可能である。モバイルデバイス上の背面カメラによってキャプチャされた情報を用いてユーザの視線を判断することができる。拡張現実情報は、たとえば、能動的な分割およびオブジェクト認識技法を適用して、ターゲット領域ならびに/またはオブジェクトの電子表現を取得することによって判断され得る。オブジェクト認識パイプラインは、ユーザの視線によって定義された関心領域に基づき得る。関心領域は、能動的な分割アルゴリズムによって判断され得る。そのようなセグメントは、関心領域内のターゲットオブジェクトのARビューから取得されたその関連記述子を有する複数の(キー)ポイントを含み得る。画像セグメントは、色彩、テクスチャ、境界、および密度などの画像特徴に基づき得る。分割の粗さ(coarseness)は、モバイルデバイス、もしくは遠隔サーバのアプリケーション能力または処理能力に依存し得る。ユーザは、利用可能な処理能力、または電力要件に基づいて、操作性能を改善するための分割アルゴリズムを選択することができる。拡張現実環境をサポートする情報層は、抽出されたターゲットオブジェクトのそのような電子表示に添付され得る1つまたは複数の提示領域および/またはアクティブ化領域の適用を通じて、モバイルデバイスユーザによって定義され得る。

メディアコンテンツアイテムが拡張現実環境内に提示されるロケーション(たとえば、位置および/または方位)を定義するために、メディアコンテンツアイテムの提示領域がユーザによって当該拡張現実環境に展開され得る。ユーザの視線のロケーションならびに/または推定されたモバイルデバイス位置および/もしくは方位に応答して、関連提示領域におけるメディアコンテンツアイテムの提示をどのようにして、かつ/もしくはいつ可能にすること、および/または開始することができるかに関する条件を定義するために、メディアコンテンツアイテムに関するアクティブ化領域がユーザによって拡張現実環境内に展開され得る。アクティブ化領域は、拡張現実環境から非拡張現実ビュー(すなわち、アプリケーション)への遷移を開始するためにユーザの視線内にあり得る。遷移は、ユーザの視線がそのアクティブ化領域上に留まる時間に基づく段階を含み得る。

図1は、本発明の実施形態の実施に用いられるデバイスの一部分を組み込む例示的なコンピュータシステムを示す。図1に示すコンピュータシステムは、下で説明するコンピュータ化デバイスの一部分として組み込まれ得る。たとえば、コンピュータシステム100は、モバイルデバイスまたはスマートフォンの構成要素のうちのいくつかを表現し得る。モバイルデバイスは、カメラのような入力感覚ユニットを備えた任意のコンピューティングデバイスであってよく、ディスプレイユニットを含むことも可能である。モバイルデバイスの例は、ビデオゲーム機、タブレット、スマートフォン、および任意の他のハンドヘルドデバイスを含むが、これらに限定されない。図1は、本明細書で説明する様々な他の実施形態によって提供される方法を実行し得、かつ/または、ホストコンピュータシステム、リモートキオスク/端末、販売時点管理デバイス、モバイルデバイス、セットトップボックスおよび/もしくはコンピュータシステムとして機能し得る、コンピュータシステム100の一実施形態の概略図を与える。図1は、単に、様々な構成要素の一般化された図を提供することを意図しており、様々な構成要素の一部または全部は適宜利用され得る。したがって、図1は、個々のシステム要素をどのようにすれば比較的分離された形で実装できるか、または比較的より一体的な形で実装できるかを大まかに示す。

コンピュータシステム100は、バス102を介して電気的に結合され得る(あるいはその他の様式で、適宜、通信し得る)ハードウェア要素を含むように示されている。ハードウェア要素は、1つもしくは複数の汎用プロセッサおよび/または1つもしくは複数の専用プロセッサ(デジタル信号処理チップ、グラフィックスアクセラレーションプロセッサなど)を限定なしに含む1つもしくは複数のプロセッサ104と、1つもしくは複数のカメラ、(慣性センサを含む)センサ、マウス、キーボードなどを限定なしに含み得る1つもしくは複数の入力デバイス108と、図4〜図10のデバイスディスプレイなど、ディスプレイユニットを限定なしに含み得る1つもしくは複数の出力デバイス110とを含み得る。入力デバイス108に加えて、図2に示すような前面カメラ204および背面カメラ206を、それぞれ、第1のカメラ120および第2のカメラ122として実装することができる。さらに、いくつか実施形態では、入力および出力デバイスを、たとえば、タッチスクリーンまたは容量性ディスプレイと一体化することができる。

コンピュータシステム100は、1つもしくは複数の非一時的記憶デバイス106をさらに含むこと(および/またはそれらと通信すること)ができ、非一時的記憶デバイス106は、限定することなく、ローカルおよび/もしくはネットワークアクセス可能なストレージを備えることができ、かつ/または限定することなく、プログラム可能、フラッシュ更新可能などであり得る、ディスクドライブ、ドライブアレイ、光記憶デバイス、ランダムアクセスメモリ(「RAM」)および/もしくは読取り専用メモリ(「ROM」)などのソリッドステート記憶デバイスを含み得る。そのような記憶デバイスは、限定することなく、様々なファイルシステム、データベース構造体などを含む、任意の適切なデータストレージを実装するように構成され得る。デバイスストレージは、本明細書で論じるいくつかの実施形態で使用され得る。

コンピュータシステム100は、通信サブシステム112も含むことができ、通信サブシステム112は、限定することなく、モデム、ネットワークカード(ワイヤレスまたはワイヤード)、赤外線通信デバイス、(Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備などの)ワイヤレス通信デバイスおよび/またはチップセットなどを含むことができる。通信サブシステム112は、(一例を挙げると、以下で説明するネットワークなど)ネットワーク、他のコンピュータシステム、および/または本明細書で説明した任意の他のデバイスとデータを交換することを可能にし得る。多くの実施形態では、コンピュータシステム100は、上で説明したRAMまたはROMデバイスを含み得る非一時的作業メモリ114をさらに備えることになる。

コンピュータシステム100は、本明細書で説明するように、オペレーティングシステム116、デバイスドライバ、実行可能ライブラリ、および/もしくは様々な実施形態によって提供されるコンピュータプログラムを含み得、かつ/または方法を実装し、かつ/あるいは他の実施形態によって実現されるシステムを構成するように設計され得る、1つもしくは複数のアプリケーションプログラム118などの他のコードを含む、作業メモリ114内に現在配置されているものとして図示されている、ソフトウェア要素を含むこともできる。単に例として、上記で論じた方法に関して説明した1つまたは複数の手順は、コンピュータ(および/もしくはコンピュータ内のプロセッサ)によって実行可能なコードならびに/または命令として実装することも可能であり、次いで、一態様において、そのようなコードおよび/または命令は、説明した方法に従って1つもしくは複数のオペレーションを実行するように汎用コンピュータ(または他のデバイス)を構成し、かつ/あるいは適合させるために使用され得る。

これらの命令および/またはコードのセットは、上で説明した記憶デバイス106などのコンピュータ可読記憶媒体上に記憶され得る。場合によっては、記憶媒体は、コンピュータシステム100などのコンピュータシステム内に組み込まれることが可能である。他の実施形態では、記憶媒体は、そこに記憶された命令/コードを用いて汎用コンピュータをプログラム、構成、および/または適合させるために使用され得るように、コンピュータシステムから分離され得(たとえば、コンパクトディスクなどの取外し可能媒体)、かつ/またはインストールパッケージ内に備えられ得る。これらの命令は、コンピュータシステム100によって実行可能であり、かつ/または、(たとえば、様々な一般的に利用できるコンパイラ、インストールプログラム、圧縮/解凍ユーティリティなどのいずれかを使用して)コンピュータシステム100上にコンパイルおよび/またはインストールすると、実行可能コードの形態を取るソースおよび/またはインストール可能コード(installable code)の形態を取り得る、実行可能コードの形態を取り得る。

大幅な変形が、特定の要件に従ってなされ得る。たとえば、カスタマイズされたハードウェアが使用されることも可能であり、かつ/または特定の要素が、ハードウェア、(アプレットなどのポータブルソフトウェアを含む)ソフトウェア、もしくは両方で実装されることも可能である。さらに、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイスへの接続を用いることができる。

いくつかの実施形態は、本開示による方法を実行するために、(コンピュータシステム100など)コンピュータシステムを用いることができる。たとえば、説明した方法の手順のうちのいくつかまたはすべては、作業メモリ114に含まれる(オペレーティングシステム116、および/またはアプリケーションプログラム118などの他のコード内に組み込まれ得る)1つもしくは複数の命令の1つもしくは複数のシーケンスを実行しているプロセッサ104に応答して、コンピュータシステム100によって実行され得る。そのような命令は、記憶デバイス106のうちの1つまたは複数など、別のコンピュータ可読媒体から作業メモリ114内に読み込まれ得る。単に例として、作業メモリ114内に収容されている命令のシーケンスを実行すると、本明細書で説明する方法の1つまたは複数の手順をプロセッサ104に実行させることができる。

本明細書で使用する「機械可読媒体」および「コンピュータ可読媒体」という用語は、特定の方式で機械を動作させるデータを供給することに関与する任意の媒体を指す。コンピュータシステム100を使用して実装される一実施形態では、様々なコンピュータ可読媒体が、実行のためにプロセッサ104に命令/コードを与えることに関与し、かつ/またはそのような命令/コード(たとえば、信号)を記憶および/もしくは搬送するために使用されることがある。多くの実装形態では、コンピュータ可読媒体は、物理的および/または有形の記憶媒体である。そのような媒体は、限定はしないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形態を取り得る。不揮発性媒体には、たとえば、記憶デバイス106などの光ディスクおよび/または磁気ディスクが含まれる。揮発性媒体は、限定はしないが、作業メモリ114などの動的メモリを含む。伝送媒体は、限定はしないが、バス102、ならびに通信サブシステム112(および/または通信サブシステム112が他のデバイスとの通信を提供する媒体)の様々な構成要素を備える線を含めて、同軸ケーブル、銅線、および光ファイバーを含む。したがって、伝送媒体はまた、(限定はしないが、無線波通信および赤外線データ通信中に生成されるような無線波、音波、ならびに/または光波を含めて)波の形態を取り得る。

一般的な形態の物理的および/または有形コンピュータ可読媒体には、たとえば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気媒体、CD-ROM、任意の他の光媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理的媒体、RAM、PROM、EPROM、FLASH(登録商標)-EPROM、任意の他のメモリチップもしくはカートリッジ、後に説明するような搬送波、または、コンピュータが命令および/もしくはコードを読み取ることができる任意の他の媒体が含まれる。

様々な形態のコンピュータ可読媒体は、実行用にプロセッサ104に1つまたは複数の命令の1つまたは複数のシーケンスを搬送することに関与する場合がある。単に例として、命令は、最初に、遠隔コンピュータの磁気ディスクおよび/または光ディスク上に搬送される場合がある。遠隔コンピュータは、そのダイナミックメモリ内に命令をロードし、コンピュータシステム100によって受信および/または実行されるべき伝送媒体上の信号として命令を送信する場合がある。電磁信号、音響信号、光信号などの形態であり得るこれらの信号は、すべて、本発明の様々な実施形態による、命令が符号化され得る搬送波の例である。

通信サブシステム112(および/またはその構成要素)は、一般に信号を受信することになり、次いで、バス102は、信号(および/または、信号によって搬送されるデータ、命令など)を作業メモリ114に搬送することができ、プロセッサ104は、作業メモリ114から命令を取り出し、実行する。作業メモリ114によって受信された命令は、オプションで、プロセッサ104による実行の前または後のいずれかに、非一時的記憶デバイス106上に記憶され得る。

上記で論じた方法、システム、およびデバイスは例である。様々な実施形態において、様々な手順または構成要素を、適宜、省略し、置換し、または加えることができる。たとえば、代替構成では、説明する本方法は、説明する順序とは異なる順序で実行されてもよく、ならびに/または、様々な段階が加えられ、省略され、および/もしくは組み合わされてもよい。また、いくつかの実施形態に関して説明する特徴が、様々な他の実施形態と組み合わされてもよい。実施形態の様々な態様および要素を同様に組み合わせることができる。また、技術は発展し、したがって、要素の多くは、本開示の範囲をそれらの特定の例に限定しない例である。

実施形態の完全な理解を与えるために、説明に具体的な詳細が与えられている。しかしながら、実施形態は、これらの具体的な詳細なしに実施され得る。たとえば、実施形態が不明瞭になることを避けるために、よく知られている回路、プロセス、アルゴリズム、構造、および技法は、不必要な詳細を記載せずに示されている。この説明は、例示的な実施形態のみを提供し、本発明の範囲、適用可能性、または構成を限定しようとするものではない。むしろ、これらの実施形態の上述の説明は、本発明の実施形態を実装することを可能にする説明を当業者に提供することになる。本発明の趣旨および範囲から逸脱することなく、要素の機能および構成に様々な変更を行うことができる。

また、いくつかの実施形態をフロー図またはブロック図として示すプロセスとして説明した。各々は動作を逐次プロセスとして説明し得るが、動作の多くは並行してまたは同時に実行され得る。加えて、動作の順序は並べ替えられ得る。プロセスは、図に含まれていない追加のステップを有し得る。さらに、本方法の実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実装され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、関連するタスクを実行するプログラムコードまたはコードセグメントは、記憶媒体などのコンピュータ可読媒体に記憶され得る。プロセッサは関連するタスクを実行し得る。

いくつかの実施形態について説明してきたが、様々な変更、代替構造、および均等物は、本開示の趣旨から逸脱することなく使用され得る。たとえば、上記の要素は単により大きいシステムの構成要素であってもよく、他のルールが本発明の適用に優先してもよく、または他の方法で本発明の適用を修正してもよい。また、上記の要素が考慮される前、間、または後に、いくつかのステップを行うことができる。したがって、上記の説明は、本開示の範囲を制限しない。

図2は、本発明の実施形態を実行するデバイス200の例示的な図である。一実施形態では、図2は、図1を参照して説明されたデバイスの1つまたは複数の構成要素を使用する移動局を表すことができる。しかしながら、本発明の実施形態は、スマートフォンまたはタブレットを使用することに限定されず、図1に類似した、本発明の実施形態を実行するのに適した能力を備えた任意のデバイスを使用することができる。そのようなデバイスは、モバイルデバイス、デジタルカメラ、カムコーダ、タブレット、PDA、または任意の他の類似のデバイスを含み得る。図2は、スマートフォンの表側および裏側を表す。電話は、ディスプレイ208と第1のカメラ206とを含む。ディスプレイ208は、図1を参照して議論される出力デバイス110であってよい。スマートフォンの表側に結合され、ユーザに向けられた第1のカメラは、背面カメラと呼ばれる場合がある。スマートフォンの後側は第2のカメラ204を含む。スマートフォンの後側に結合され、ユーザから離れる方向に向けられた第2のカメラは、前面カメラと呼ばれる場合がある。背面カメラはデバイスのユーザに面することができ、前面カメラはデバイスのユーザから離れる方向に面することができる。前面カメラと背面カメラは両方とも、入力デバイス108の実装形態であってよく、または図1を参照して議論された、第1のカメラ120および第2のカメラ122として実装されることも可能である。図2のデバイス200は、例示にすぎず、限定ではない。複数のカメラと異なる方位とを有する他のデバイスを使用することが可能である。たとえば、デバイス200は、ヘッドマウントディスプレイ(HMD)であってよく、異なるフォームファクタを有し得る。デバイス200は、ディスプレイと複数の光路とを含む写真機器(たとえば、デジタルカメラまたはビデオレコーダ)であり得る。他のデバイスが使用されてもよい。いくつかの実施形態では、第1のカメラ120および第2のカメラ122は、たとえば、カメラがモバイルデバイスのエッジに一体化されるほか、カメラがモバイルデバイスの後および/または前に存在するとき、互いに対して角をなすように、配置される。

図3を参照すると、モバイルデバイス上の背面カメラで視線追跡を実行するための例示的な先行技術のプロセスフロー300が示される。しかしながら、プロセス300は、例にすぎず、制限ではない。プロセス300は、たとえば、段階を追加する、削除する、または、並べ替えることによって変更され得る。視線追跡情報を受信するための他のプロセスを使用することが可能である。段階302で、モバイルデバイス200は、背面カメラ206を利用して、1つまたは複数のプロセッサ104にビデオフレームを提供することができる。プロセスは、顔検出アルゴリズムを利用して、ユーザの顔を識別して、目の座標を目検出アルゴリズム306に渡すオプションのステップ304を含み得る。視線追跡情報は、ユーザの虹彩の相対的な位置に基づき得る。たとえば、段階308で、目検出アルゴリズムは、目の座標を虹彩検出アルゴリズムに渡すことができる。段階310で、目から主な特徴を抽出するために、虹彩の座標を前処理アルゴリズムに渡すことができる。たとえば、虹彩のサイズおよび点をマッピングして、固定サイズのセグメントを選択することができる。段階312で、セグメント内の各画素の輝度を使用して、値を学習アルゴリズムに入力することができる。例として、学習アルゴリズムに関してニューラルネットワークを使用することができる。一例では、ニューラルネットワークは、対称的なシグモイド活性化関数(symmetric sigmoid activation function)を有する基本的な2層ネットワークである。ニューラルネットワークの精度を高めるために追加の層を使用することが可能である。段階314で、(x,y)スクリーン座標用に2つの出力ニューロンを使用することができる。スクリーン座標は、デバイス100上で実行するアプリケーションによって使用され得る関心領域に関する基礎であり得る。

図1および図2をさらに参照しながら、図4を参照すると、視線追跡を使用して、デバイス402上の前面カメラでキャプチャされた画像上の関心領域を識別することを例示する図が示される。一実施形態では、デバイス402はモバイルデバイス100である。デバイス402は、前面カメラ(図示せず)と、背面カメラ406と、ディスプレイ408とを含む。ディスプレイ408内の画像は、道路標識404と、背景光増強領域(background light enhancing region)410と、関心領域のグラフィカル表現412と、関心領域414とを含む。操作中、ユーザは前面カメラを、道路標識404など、リアルタイムシーンに向けることができる。画像は、カメラビューモードまたはARビューモードでディスプレイ408上に提示され得る。画像をメモリ114内に記憶することも可能である。背面カメラ406を使用して、視線追跡アルゴリズム(たとえば、図3)に基づいて、関心領域414を判断することができる。一実施形態では、ディスプレイ408は、ユーザの目を照らすのを助けるために、背景光増強領域410をアクティブにすることができる。たとえば、ディスプレイ408の領域を明るい白色に設定して、ユーザの顔および目により多くの光を与えることができる。一実施形態では、領域410は画像の周囲のフレームを形成し得る。ディスプレイ408の隅に、円もしくは明るい点、または異なる形など、他の形状およびパターンを使用することができる。増強領域410の形状を使用して、視線プロセス300の段階310で、カメラ406が主な特徴を検出するのを助けることができる。

一実施形態では、関心領域414は、ユーザにフィードバックを提供するために、1つまたは複数の円412など、グラフィカル表現によってディスプレイ408上に提示され得る。円412の直径はユーザの注視が領域内に残る時間量に応じてよい(たとえば、時間が長ければ長いほど、直径はより大きくなる)。複数の円を使用して、ユーザの注視がディスプレイ408上を移動するにつれて追跡効果を生み出すことができる。他の形状または表示を使用することが可能であるため、円は例にすぎず、限定ではない。

関心領域414のロケーションは、画像分割アルゴリズムに関するシードロケーション(seed location)として使用され得る。たとえば、分割アルゴリズムは、ターゲットオブジェクト(たとえば、標識404)の境界を判断することができ、後続の画像処理をそのセグメントによって画定された領域に限定することが可能である。分割の使用は、画像認識に必要とされる処理電力を削減し得る。結果として、関心領域414がARターゲットオブジェクト(たとえば、道路標識404)を含む領域内に留まるとき、デバイス402は、画像セグメントを判断して、そのセグメントに関する画像認識を実行して、その画像認識に関連する任意のAR情報を提示するように構成され得る。一例では、AR情報は、画像上に表示される追加のデータを表すARオブジェクトタグであってよい。一実施形態では、関心領域414が、ARオブジェクトタグを含む、ディスプレイ408の領域上に留まる場合、デバイス402は、追加のAR情報を提示するか、または別のアプリケーション(たとえば、道路地図もしくはナビゲーションアプリケーション)を実行するように構成され得る。関心領域が別のロケーションに移動する場合、AR情報はディスプレイからフェードしてよい。

図4をさらに参照しながら、図5を参照すると、ARオブジェクトタグ504の収集物で散らかった画像502の例示的な図が示される。この例では、デバイス402はモバイルデバイス100である。デバイス402は、前面カメラ(図示せず)と、背面カメラ406と、ディスプレイ408とを含む。ディスプレイ408内の画像は、画像502と、いくつかのオブジェクトタグ504とを含む。画像502は、前面カメラ(図示せず)からの入力、またはメモリから取り出された画像ファイルに基づき得る。個々のオブジェクトタグの各々は、AR情報が画像502の少なくとも一部に関連するという表示をユーザに提供する。オブジェクトタグ504は、デバイス402の地理的ロケーションに基づいてサーバから取り出されたロケーションベースの情報であってよい。一実施形態では、オブジェクトタグ504は、画像分割および認識プロセスの結果であり得るか、または画像ファイル(たとえば、メタデータ)に関連し得る。図5に提示される例は、ユーザの視線追跡情報の受信に依存しない。ユーザが関心を持つ、画像の領域を知らない結果として、デバイス402はオブジェクトタグ504のすべてを同時に表示することができる。したがって、画像502はARオブジェクトタグ504の収集物で散らかり、これは、ユーザによる画像内容の閲覧をわかりにくくする。

図5をさらに参照しながら、図6Aを参照すると、ユーザの注視のロケーションに応じてARオブジェクトタグ504-1が表示される画像502の例示的な図が示される。図6Aは、ユーザの視線情報を組み込んで、図5の例を続ける。ディスプレイ408は、画像502と、単一のオブジェクトタグ504-1と、エンパイヤーステートビルディング(Empire State Building)505を含む画像セグメントと、ユーザの視線を処理することによって判断された関心領域506とを含む。図5に示したいくつかのオブジェクトタグ504と対照的に、関心領域506に対するその近接性に基づいて、単一のオブジェクトタグ504-1が示される。デバイス402は、背面カメラ406と(すなわち、メモリ114内に記憶された)視線追跡アルゴリズムとを利用して、ユーザの注視のロケーションに基づいて、関心領域506を識別するように構成され得る。関心領域506がARターゲットオブジェクトに関連する位置上またはその付近を通過するまで、いくつかのオブジェクトタグ504は非表示状態に留まることが可能である。この例では、図6Aに示すように、「エンパイヤーステートビルディング」テキストは、オブジェクトタグであり、ユーザの注視がエンパイヤーステートビルディングを含む、画像のセグメント上またはその付近を通過すると、出現し得る。拡張現実情報が利用可能であることを示すために、画像セグメントは、境界線または他のグラフィック増強(たとえば、明るくすること、色彩変更、隆起させること)で強調表示され得る。しかしながら、図6Aには、そのような強調表示は示されておらず、エンパイヤーステートビルディングを取り囲むセグメントラインも示されていない。一実施形態では、画像が移動する場合(たとえば、カメラの方位が変更するとき)、オブジェクトタグが移動することになるように、オブジェクトタグのロケーションは関連する画像セグメント上またはその付近にある位置を維持する。関心領域506とオブジェクトタグ504-1との間の距離は、直交座標系(たとえば、ディスプレイ408上の画素)に基づき得る。画像分割および認識プロセスを使用して、ARターゲットオブジェクトを認識し、次いで、1つまたは複数のオブジェクトタグと関連付けることができる。一実施形態では、オブジェクトタグ504-1は
、追加の拡張現実情報が利用可能であることを示すことができる。図6Aの例では、ユーザがエンパイヤーステートビルディングを含む、画像のセグメント上または「エンパイヤーステートビルディング」テキスト(すなわち、オブジェクトタグ)上のその注視を延長する(すなわち、そこに留まる)場合、追加の拡張現実情報をユーザに提示することができる。前に説明したように、拡張現実情報は、メディアファイル、ハイパーリンク、GUIオブジェクト、対話型アイコン、1つもしくは複数のアプリケーションの実行、または当技術分野で知られている他の拡張現実特徴など、スクリーン上に出現する追加の情報であり得るが、それに限定されない。

図6Aをさらに参照しながら、図6Bを参照すると、ユーザの注視がARオブジェクトタグ504-1上に配置された画像502'の例示的な図が示される。ディスプレイ408は、移動リアルタイム画像502'と、関心領域506と、オブジェクトタグ504-1とを含む。リアルタイム画像モード(すなわち、カメラモード)で、ユーザはデバイス402を動かないように保持しようとする場合がある。デバイス402が移動する結果として、ディスプレイ408上の画像も位置を移動させる可能性がある。図6Bに示す例では、ユーザはデバイス402を移動させ、これは画像502を移動させて、502'にする。移動画像502'は、ユーザおよび画像処理アルゴリズムがターゲットオブジェクトを認識して、ユーザの注視がターゲットオブジェクト上に留まっているかどうかを判断する際に問題を提示する可能性がある。一実施形態では、エンパイヤーステートビルディング505を含む画像セグメントを最初に認識した後、オブジェクトタグ504-1が表示され得る。オブジェクトタグ504-1のロケーションは、ディスプレイ408に対して一定の状態に留まる位置に固定され得る。結果として、画像502'が移動する場合(すなわち、ユーザが前を向いているカメラの方位を変えるとき)でも、オブジェクトタグ504-1はディスプレイ408上の位置に固定された状態に留まるように見えることになる。ユーザは、次いで、関心領域506をオブジェクトタグ504-1上に留まらせて、追加の拡張現実情報にアクセスすることができる。オブジェクトタグ504-1が留まることになる持続期間は、事前設定された期間(たとえば、1秒、2秒、5秒)、もしくは別のターゲットオブジェクトを検出するなど、動的なイベント、またはユーザがディスプレイ408を見ていないという判断に基づき得る。ある持続期間の間、オブジェクトタグ504-1をディスプレイ408上の固定位置に配置させる能力は、(たとえば、ディスプレイ408内のターゲットオブジェクトの相対的な移動により)ドリフトする注視に関する継続的な調整を削減できるという点で、視線追跡アルゴリズムの効率を改善し得る。

図4をさらに参照しながら、図7を参照すると、ディスプレイにわたってロケーションベースの拡張情報で散らかった画像702の例示的な図が示される。ディスプレイ408は、いくつかのオブジェクトタグ704を有する画像702を示す。一実施形態では、デバイス402は、衛星測位システム(SPS)アンテナを経由して、SPS信号を受信することができる衛星測位システム(SPS)受信機を含み得る。SPS受信機は、衛星測位システム(SPS)信号を全部または一部処理して、SPS信号を使用して、デバイス402のロケーションを判断することもできる。いくつかの実施形態では、SPS受信機と連携して、プロセッサ104、メモリ114、DSPおよび専用プロセッサ(図示せず)を利用して、SPS信号を全部もしくは一部処理すること、ならびに/またはデバイス402のロケーションを計算することも可能である。Google StreetViewおよびYelp Monocleなど、既存のアプリケーションは、ロケーション情報を利用して、デバイス402のロケーションおよび方位に基づいて、オブジェクトタグを表示することができる。たとえば、図7に示すように、ユーザがデバイス402の前面カメラをストリートビューに向けるとき、システムはロケーションおよび方向情報を利用して、データベースを検索して、いくつかのオブジェクトタグ704をディスプレイ408上に提示することができる。オブジェクトタグ704は、対応する事業またはアトラクションの近似位置に出現し得る。そのようなアプリケーションの実装形態が発展すると、そのようなストリートビューは図7に示すように、潜在的なオブジェクトタグで散らかる場合がある。

図7をさらに参照しながら、図8を参照すると、ロケーションベースの拡張情報がどこに利用可能であるかを示すアイコン804を備えた画像802の例示的な図が示される。ディスプレイ408は、いくつかのオブジェクトタグアイコン804と、特定のアイコン804-1と、関心領域806と、第2のオブジェクトタグ808とを有する画像802を示す。一実施形態では、図7に示したテキストタグ704をオブジェクトタグアイコン804と置換して、画像802内の散らかりを削減することができる。たとえば、図8に示すように、オブジェクトタグアイコン804は、稲光であり、拡張現実情報に関連する事業またはアトラクションの近似ロケーションに配置される。様々な異なる形状、オブジェクト、およびサイズを使用して、画像802上の散らかりを削減するのを助けることができるため、オブジェクトタグアイコン804は、例にすぎず、限定ではない。

オブジェクトタグアイコン804を表示することに加えて、デバイス402は、背面カメラ406を利用して、視線追跡を実行して、ユーザの注視に基づいて、関心領域806を判断することができる。この例では、ユーザが特定のオブジェクトタグアイコン804-1上またはその付近を注視すると、第2のオブジェクトタグ808が出現し得る。図8の例では、ユーザは、劇場およびブロードウェイ芝居「マンマミーア(Mamma Mia)」と関連付けられたオブジェクトタグアイコン804-1上に留まる。関心領域806がオブジェクトタグアイコン804-1上に留まるとき、ユーザに追加の情報または選択肢を提示するために、第2のオブジェクトタグ808が表示され得る。一実施形態では、第2のオブジェクトタグ808は、画像802に対してジオリファレンスされる(geo-referenced)必要がなく、前面カメラの方位にかかわらず、同じスクリーン位置内に留まることができる。ユーザは、次いで、その注視を第2のオブジェクトタグ808の位置上に留めて、追加の拡張現実情報にアクセスすることができる。たとえば、ユーザは、第2のオブジェクトタグ808の「批評(Review)」テキスト上に留まることができ、デバイス402は、芝居の現在の批評を有するポップアップウィンドウで応答することができる。ユーザは、その注視を第2のオブジェクトタグ808の「チケット(Ticket)」テキスト上に留めることもでき、デバイス402はチケット注文アプリケーションに遷移することができる。他の情報およびアプリケーションを使用することができるため、第2のオブジェクトタグ808内のテキストフィールドは例である。さらに、拡張現実情報を提示するためのトリガは、スクリーン位置および/またはユーザの注視のジオリファレンス座標(たとえば、x、y、z座標)に基づき得る。第2のオブジェクトタグ808内のテキストフィールドのコンテンツは、追加の拡張現実情報の提示をトリガすることも可能である。たとえば、デバイス402は、ユーザの関心領域806内の語またはシンボルを識別するように構成可能であり、その情報を拡張現実コンテンツデータベースに対する検索入力として使用することができる。

図4をさらに参照しながら、図9を参照すると、視線追跡に基づいて画像分割およびオブジェクト認識を実行する例示的な図が示される。デバイス402は、前面カメラ(図示せず)と、背面カメラ406と、ディスプレイ408とを含む。ディスプレイ408内の画像は、画像にわたって広がったいくつかの現実世界のオブジェクトを含む画像902を示す。この例では、現実世界のオブジェクトは、第1のDVDケース904-1と、第2のDVDケース904-2と、第3のDVDケース904-3と、第4のDVDケース904-4とを含む。画像902はまた、関心領域906と、画像セグメント908と、例示的な感嘆符オブジェクトタグ910とを含む。操作中、デバイス402は、前面カメラ(図示せず)が現実世界のオブジェクトの画像902をキャプチャするように配置され得る。デバイス402はカメラビューモード、ARモードであってよく、または画像は、前にメモリ内に記憶されたファイルに基づき得る。ユーザが画像902を注視すると、視線追跡プロセス300を用いて背面カメラ406を使用して、関心領域906を判断することができる。関心領域906のロケーションを使用して、二段階の拡張現実プロセスを開始することができる。第1のステップで、関心領域906のロケーションを使用して、セグメント908を判断する。第2のステップで、セグメント908に関して画像認識プロセスが実行されて、関連する拡張現実情報が提示され得る。たとえば、関心領域906が第1のDVDケース904-1上に留まるとき、デバイス402は画像分割アルゴリズムを開始して、画像セグメント908を判断することができる。一実施形態では、分割プロセスの結果は、セグメントの周囲に強調表示された境界(たとえば、図9に示すような、画像セグメント境界線)として表示され得る。デバイス402は、次いで、そのセグメントに関して1つまたは複数のオブジェクト検出パイプラインを実行することができる。一実施形態では、デバイス402は、セグメント画像情報を遠隔サーバに送ることができ、遠隔サーバはそのセグメントに関するオブジェクト検出アルゴリズムを実行することができる。いずれの実施形態でも、オブジェクト検出アルゴリズムの結果は、オブジェクトタグおよび追加の拡張現実情報がディスプレイ408上に提示され得ることを示すことができる。たとえば、オブジェクト検出の結果は、第1のDVDケース904-1に関連する拡張現実情報が存在し、表示するために利用可能であることを示すことができる。一実施形態では、関心領域906がセグメント908上に留まるとき、拡張現実情報を表示することができる。一実施形態では、オブジェクトタグ(たとえば、感嘆符オブジェクトタグ910)をまず表示して、拡張現実情報が利用可能であることをユーザに警告することができる。次いで、関心領域906が表示されたオブジェクトタグ(たとえば、感嘆符オブジェクトタグ910)上に留まる場合、拡張現実情報が表示され得る。

セグメント908は、表示された拡張情報がターゲットオブジェクトを追う(たとえば、追跡する)ように、拡張現実追跡アルゴリズムに対する入力として提供されることも可能である。プロセッサ104は、セグメント908に関してポーズ推定および/または追跡アルゴリズムを実行するように構成され得る。操作中、追跡アルゴリズムは、レンダリングされた拡張現実情報が前面カメラ204の位置および方位に対応するビュー内に表示されるのを可能にし得る。たとえば、デバイス202が第1の方位にあるとき、拡張現実オブジェクトは第1のARポーズで表示され得る。デバイス202が第2の方位にあるとき、拡張オブジェクトは第2のARポーズで表示され得る。セグメント908をオブジェクト検出および/または追跡アルゴリズムに提供することは、オブジェクトを検出および/または追跡するために必要とされる計算上の複雑さの量を削減することができ、したがって、拡張現実アプリケーションのための電力消耗を削減することができる。一実施形態では、オブジェクト検出アルゴリズムは、遠隔サーバ上で実行され得る。たとえば、モバイルデバイスは、画像セグメントを判断して、画像セグメントデータを遠隔サーバに送ることができる。遠隔サーバは、画像セグメントに関して、オブジェクト認識プロセス、および、オプションで、オブジェクト追跡プロセスを実行するように構成され得る。遠隔サーバは、オブジェクト認識プロセスの結果、および、オプションで、ポーズ情報をモバイルデバイスに戻すことができる。セグメント908を識別して、セグメント908を遠隔サーバに送るプロセスは、遠隔サーバ(たとえば、ネットワーク、クラウド)に送信されるデータの量を削減し得る。

限定ではなく、例として、関心領域906は、画像分割アルゴリズムに関するシード点を定義することができるか、もしくは関心領域906は、オブジェクトの中心を定義することができるか、または関心領域906は、画像の前景を確立することができる(参照により本明細書に組み込まれている、Mishra、Aloimonos、Fah「Active Segmentation with Fixation」、International Conference on Computer Vision(ICCV)、2009年を参照されたい)。他の分割アルゴリズムを使用することが可能である。能動的な分割アルゴリズムを使用して、画像の境界エッジ断片を判断することができる。分割の粗さは、分割アルゴリズムおよび/またはモバイルデバイス100の利用可能な処理能力に応じてよい。画像内のセグメントは画像全体よりも小さい。サイズの削減は、削減されたメモリおよび処理要件に対応し得、これはモバイルデバイス100に関するオブジェクト認識処理を可能にすることができるか、または改善することができる。遠隔処理アプリケーションでは、セグメントを画像認識処理のために遠隔サーバに提供することができる。セグメントだけを遠隔サーバに提供することは、機密情報を含み得る画像全体が提供されないという点で、追加のセキュリティ利点を提供し得る。

一実施形態では、オブジェクト検出アルゴリズムは、画像セグメント908をダウンサンプリングして、そのセグメント内で特徴検出を実行することができる。操作中、ユーザの注視がセグメント908(すなわち、DVDケース904-1)上に留まると、後続の画像認識プロセスに基づいて、拡張現実情報が表示され得る。拡張現実情報は、オブジェクトタグ、またはDVDケース904-1に関連する映画の予告編、オンライン小売店へのリンク、もしくは他のタイプのテーマに関する動画など、他の情報であってよい。他の形態の拡張現実情報を提示することも可能である。

図10を参照すると、視線追跡実装形態を用いたグループビデオ会議の図が示される。デバイス402は、ネットワーク接続(図示せず)と、背面カメラ406と、ディスプレイ408とを含む。ディスプレイ408内の画像は、複数のビデオ会議参加者(たとえば、1004-1、1004-2、1004-3、1004-4、1004-5、1004-6)と、1つまたは複数の遠隔ユーザ注視ロケーションフィードバックアイコン1006-1、1006-4と、関心領域1008と、ビデオ会議制御アイコン1010とのビデオ表現を含む画像1002を示す。操作中、ビデオ会議出席者の準リアルタイム(near-real time)画像を表示するように構成されたグループビデオ会議アプリケーションを備えたデバイス402を使用することができる。たとえば、会議アプリケーションは、参加者1004(すなわち、1004-1〜1004-6)の顔のビューを含み得る会議画像1002を提示することができる。背面カメラ406を使用して、ユーザの顔をキャプチャして、他の参加者に提示すことができる。視線追跡アルゴリズムを備えたカメラ406を使用して、関心領域1008を判断することもできる。ユーザの注視が参加者のうちの1人の画像のうちの1つ(たとえば、1004-5)の上に留まると、その参加者の画像を拡張して、ディスプレイ408の中央に置くことができる。たとえば、関心領域1008(すなわち、ユーザの注視)がより低い中央の画像1004-5上に留まると、画像1004-5が拡張されて、ディスプレイ408の中央に向けて上方に移動される。関心領域1008が遠くに離れるとき、画像1004-5はその元のより低い中央のロケーションに戻ることができる。

関心領域1008のロケーションに基づいて追加の機能にアクセスすることができる。たとえば、ミュート、トーク、チャット、音量、通信断などの特徴は、選択された画像上にビデオ会議制御アイコン1010として出現し得る。ユーザは、その注視(すなわち、関心領域1008)の焦点をアイコン上に置くことによって、これらの制御特徴にアクセスすることができる。他の機能は、アイコンおよび/もしくは参加者用のソーシャルメディアサイトへのリンクを提供すること、またはその参加者に関する連絡先情報を表示することを含み得る。アイコンのサイズおよび間隔は、視線アルゴリズムの敏感性、カメラ406とユーザとの間の距離、ディスプレイ408の解像度に依存し得る。

一実施形態では、ユーザの関心領域1008情報を、ビデオ会議データストリーム内に含めて、他の参加者に提供することができる。関心領域情報を使用して、関心の表示を参加者のうちの1人または複数に提供することができる。遠隔ユーザ注視ロケーションフィードバックアイコン1006-1、1006-4を使用して、遠隔ユーザが現在ローカルユーザの画像を見ていることを示すことができる。たとえば、遠隔ビデオ会議電話参加者が、現在、そのスクリーン上でローカルユーザの画像を見ている場合、そのローカルユーザに対して、遠隔ユーザ注視ロケーションフィードバックアイコン1006-1(たとえば、両目、または他のアイコン)をディスプレイ408上に提示することができる。図10に示す例を使用すると、左上の画像1004-1および右下の画像1004-4に関連する遠隔参加者は、現在、そのそれぞれのスクリーン上でそのローカルユーザの画像を見ている。ローカルユーザは、遠隔参加者1004-1、1004-4に関するそれぞれの画像上に表示された、1つまたは複数の遠隔ユーザ注視ロケーションフィードバックアイコン1006-1、1006-4を介して遠隔参加者の関心領域情報に気づくことができる。

操作中、図2、図6Aおよび図6Bをさらに参照しながら、図11を参照すると、デバイス200を使用して視線ロケーションに基づいて拡張オブジェクトを示すためのプロセス1100は示された段階を含む。しかしながら、プロセス1100は、例にすぎず、制限ではない。プロセス1100は、たとえば、段階を追加する、削除する、または、並べ替えることによって変更され得る。「拡張現実情報」という用語は、概して、ユーザの動作に応答して、ユーザに提示される追加情報を指す。たとえば、ユーザは、前面カメラ204をターゲットオブジェクトに向けることができ、デバイス200は、その拡張現実情報がターゲットオブジェクトに関連することを示すためのオブジェクトタグを提示することができる。一実施形態では、オブジェクトタグ504を提示すること、テキストタグ704を表示すること、オブジェクトタグアイコン804を表示すること、および第2のオブジェクトタグ808を表示することなど、様々な形態のオブジェクトタグを使用することができる。他のグラフィカル要素をオブジェクトタグとして使用することができる。拡張現実情報は、ユーザの注視がターゲットオブジェクトおよび/またはオブジェクトタグ上に留まるときに提示され得る。限定ではなく、例として、拡張現実情報は、画像、動画、URLアドレス、対話型ゲーム、または他のアプリケーションなど、ターゲットに関連する他の情報であり得る。

段階1102で、ユーザは、デバイス200を1つまたは複数のターゲットオブジェクトに向けることができ、グラフィカルディスプレイ208上でターゲット画像502をユーザに表示することができる。ターゲット画像502は、前面カメラ204を介して(すなわち、カメラビューモードもしくはARビューモードで)取得され得るか、またはメモリ114内に記憶されたファイル(たとえば、ウェブダウンロード)であり得る。画像は、関連するオブジェクトタグ、およびネットワークサーバ上に記憶されるか、またはメモリ114上に局所的に記憶された拡張現実情報を有し得る。

段階1104で、デバイス200は、ユーザの視線に基づいて、関心領域を判断することができる。一実施形態では、メモリ114は、プロセッサ104に、視線処理アルゴリズムを実行させて、ターゲット画像502上の関心領域を判断させるように構成されたコンピュータ可読命令を含み得る。限定ではなく、例として、視線アルゴリズムは図3に示すようであってよい。他の視線アルゴリズムおよび装置を使用することができる。一実施形態では、関心領域は、アイトラッキング(eye tracking)ツール(たとえば、LC Technologies EyeFollower、Eye Tracker)、アイトラッキンググラス(たとえば、Tobii(登録商標)Technology)、またはヘッドマウントディスプレイ(たとえば、Google Glasses)によって判断され得る。関心領域506は、ユーザにフィードバックを提供するために、ディスプレイ208上に提示され得る。関心領域506の形状およびサイズは、ユーザの注視の速度および方向に基づいて変化し得る。プロセッサ104は、追跡(たとえば、ユーザの目が画像上をパンするにつれて、前の関心領域を示すこと)、および留まり時間(たとえば、留まり時間が長ければ長いほど、円はより大きくなる)など、オプションの特徴を用いて、関心領域506を表示するように構成され得る。

段階1106で、デバイス402は、関心領域506に対する近接性に基づいて、オブジェクトタグを表示することができる。ターゲット画像502は、拡張現実情報に関連する1つもしくは複数の特徴またはセグメントを含み得る。たとえば、拡張現実情報との関連付けは、画像認識プロセス、ロケーションサービスに基づき得るか、または静止画像用のメタデータ内に含まれ得る。特徴またはセグメントのロケーションはディスプレイ上の直交座標(たとえば、画素のロケーション)を参照し得る。メモリ114は、プロセッサ104に関心領域と特定の特徴またはセグメントのロケーションとの間の距離を判断させるように構成された命令を含み得る。一例では、関心領域506がセグメントの特定の特徴を通過するか、または当該特徴に近接するとき、オブジェクトタグ504-1を示すことができる(すなわち、可視特性を真に設定することができる)。同様に、関心領域506がセグメントのその特定の特徴から離れると、オブジェクトタグ504-1を非表示にすることができる(すなわち、可視特性を偽にすることができる)。オブジェクトタグの表示状態と非表示状態との間の遷移は、フェードであってよく、消滅であってよく、スワイプであってよく、または他のグラフィカル遷移であってもよい。

段階1108で、プロセッサ104は、関心領域506が特徴もしくは表示されたオブジェクトタグ504-1上またはその付近に留まっているかどうかを判断するように構成され得る。視線技術の敏感性は、関心領域が留まっていることを判断するのに必要とされる時間量に影響を及ぼす可能性がある。留まり持続期間(linger duration)の例は、0.25秒、0.5秒、0.75秒、1.0秒、1.5秒を含み得る。拡張現実情報の特性に基づいて、他の留まり時間を使用することも可能である。図6Aを参照すると、関心領域506のロケーションは、画像特徴上またはその付近に残る場合がある。一例では、図6Bを参照すると、関心領域のロケーションは、オブジェクトタグ504-1を含む、ディスプレイ内の領域上またはその付近に残る場合がある。

段階1110で、プロセッサ104は、拡張現実情報をディスプレイ208上に提示するように構成され得る。一例では、拡張現実情報は、ユーザに表示される追加テキストまたはグラフィカル情報であり得る。段階1106で提示されるオブジェクトタグは、確定された留まり持続期間しきい値が満たされたとき、拡張現実情報に遷移し得る。拡張現実情報は、プロセッサ104にターゲットオブジェクトに関連し得るソフトウェアアプリケーション(たとえば、ウェブブラウザ、地図アプリケーション、メディアプレイヤなど)を実行させるように構成された命令を含み得る。他の拡張現実情報を表示することが可能である。

段階1112で、関心領域が特徴またはオブジェクトタグ504-1を含む、画像の領域上に留まらない(すなわち、その領域から離れる)場合、関連するオブジェクトタグ504-1は表示状態から非表示状態に遷移し得る。プロセスは段階1104に続くことができる。

操作中、例として図9をさらに参照しながら、図12を参照すると、デバイス402を使用して視線ロケーションの近傍内のオブジェクト認識を実行するためのプロセス1200は示された段階を含む。しかしながら、プロセス1200は、例にすぎず、制限ではない。プロセス1200は、たとえば、段階を追加する、削除する、または、並べ替えることによって変更され得る。

段階1202で、ユーザはデバイス402上の前面カメラを1つまたは複数のターゲットオブジェクトに向ける。プロセッサ104は、ディスプレイ上でターゲット画像902をユーザに表示するように構成される。典型的なARアプリケーションでは、ターゲット画像902は前面カメラを介して獲得される。たとえば、ユーザはデバイス402を、標識、広告掲示板、消費者製品、または他の現実世界のオブジェクトに向けることができ、画像はカメラビューモードまたはARビューモードで表示される。

段階1204で、プロセッサ104は、ユーザからの視線に基づいて、関心領域906を判断するように構成され得る。説明したように、メモリ114内に記憶された視線追跡アルゴリズムは、背面カメラを利用して、関心領域906を判断することができる。他の視線追跡ハードウェアおよびソフトウェアを使用することも可能である。

段階1206で、プロセッサ104は、関心領域906のロケーションに基づいて、画像分割アルゴリズムを実行するように構成され得る。一実施形態では、関心領域が、あらかじめ判断された時間(たとえば、0.5秒、1秒、2秒、4秒)の間、画像902のあらかじめ判断された領域(たとえば、10正方画素、30正方画素、100正方画素、200正方画素)上に留まる場合、画像分割アルゴリズムを実行することができる。関心領域906を使用して、画像分割プロセスに関するシード点を定義することができる。関心領域を使用して、オブジェクトの中心を定義すること、または画像の前景を確立することができる。関心領域906のロケーションを他の分割アルゴリズムに対する入力として使用して、関心セグメントを識別することができる。一実施形態では、画像分割アルゴリズムは、画像内のセグメントを判断して、関心領域906のロケーションを使用して、オブジェクト認識アルゴリズムによって処理するためのセグメントのうちの1つまたは複数を選択することができる。

段階1208で、プロセッサ104、または遠隔サーバは、画像セグメントに関するオブジェクト認識を実行するように構成され得る。一実施形態では、オブジェクト検出アルゴリズムは、画像セグメント908をダウンサンプリングして、そのセグメント内で特徴検出を実行することができる。一実施形態では、特徴検出技法は、概して、キーポイントの位置特定およびセグメント内の特徴記述子の抽出を実行するためのスケール不変特徴変換(SIFT)に関して説明される。オブジェクト認識の場合、特徴記述子のデータベースは定められており、他の区別情報はトレーニング画像から導出され得る。次いで、特徴記述子が画像セグメントから抽出されて、所与の問合せ画像のコンテンツを評価する目的でデータベースに問い合わせるために使用され得る。拡張現実または視覚探索アプリケーションの場合、デバイス402は、画像をキャプチャして、分割アルゴリズムを実行して、セグメント内の特徴を画像、特徴、およびメタデータ情報のデータベースと比較することができる。このデータベースをネットワーク上のサーバ上に記憶することができ、局所的処理のためにデバイス402によって取り出すことができるか、またはその代わりに、ネットワークリソースを使用して処理されるように、問合せを遠隔サーバに送信することができる。

段階1210で、プロセッサ104は、関心領域906が画像セグメント908によって定義された、画像902の領域上に留まっているかどうかを判断するように構成され得る。セグメント908上の関心領域906の留まり時間が確立されたしきい値(たとえば、1.0秒、1.5秒、2.0秒、3.0秒)を超える場合、デバイス402は、段階1212で、そのオブジェクトに関連する拡張現実情報を表示することができる。たとえば、第1のDVDケース904-1に関連する拡張現実情報は、映画の予告編、オンラインストア、対話型ゲーム、または他のアプリケーションであり得る。関心領域906がセグメント908上に留まらない場合、プロセスは段階1204を繰り返すことができる。いくつかの実施形態では、段階1210の実行はオプションである。

操作中、図7および図8をさらに参照しながら、図13を参照すると、デバイス402を使用してロケーションベースの拡張現実オブジェクトに関するアイコンを表示するための例示的なプロセス1300は示された段階を含む。しかしながら、プロセス1300は、例にすぎず、制限ではない。プロセス1300は、たとえば、段階を追加する、削除する、または、並べ替えることによって変更され得る。

段階1302で、デバイス402は、前面カメラで画像を取得することができる。一実施形態では、画像702は、カメラビューモードまたはARビューモードでディスプレイ408上に提示されるストリートビューであり得る。図8に示すように、ターゲット画像は、ブラウザまたは他のアプリケーション(たとえば、Google Streetview、Yelp Monocle)内に表示されるファイルであり得る。デバイス402は、ロケーションベースのサービスシステムとロケーション情報を交換することができる。たとえば、ロケーション情報は、当技術分野で知られているGPS位置、WiFiベースの位置、または他の測位技法に基づき得る。ロケーション情報は、オンボードGPSチップおよび他の内部センサから導出されるような近似ヘディング(approximate heading)を含むことも可能である。ロケーションベースのサービスシステムは、ロケーション情報に基づいて、拡張現実情報をデバイス402に提供することができる。たとえば、図7を参照すると、ロケーションベースのサービスシステムは、画像702内に示されるロケーションに関連するオブジェクトタグ704を提供することができる。

一実施形態では、段階1304で、デバイス402は、オブジェクトタグ、オブジェクトアイコン、および第2のオブジェクトタグを含む拡張現実オブジェクトと、他の拡張現実情報とをロケーションベースのサービスシステムまたは他のネットワーク接続されたリソースから受信することができる。拡張現実オブジェクトをあらかじめメモリ114内に記憶することも可能である。拡張現実情報は、画像802内のオブジェクトに対してジオリファレンスされる(たとえば、地理的ロケーションに基づいて索引付けされる)ことが可能である。段階1306で、デバイス402は、ロケーション情報を利用して、画像702上の適切なロケーションに1つまたは複数のアイコン804を表示するように構成され得る。

段階1308で、デバイス402は、ユーザの視線のロケーションに基づいて、関心領域806を判断することができる。たとえば、デバイスは、背面カメラ406とメモリ114内に記憶された視線アルゴリズムとを利用することができる。一実施形態では、関心領域は、Tobii(登録商標)Technologyグラスなどの他のアイトラッキング技術、またはヘッドマウント注視トラッキング技術から判断され得る。関心領域806の表現を表示して、その関心領域の現在の位置に関するフィードバックをユーザに提供することができる。たとえば、図8に示すように、関心領域806は、前に説明したような、1つまたは複数の拡張可能な円であり得る。関心領域のグラフィカル表現の他の例は、拡大鏡アイコン、影効果、くぼみ(sunken)効果、浮彫(raised)効果、バブル(bubble)効果、矢印アイコン、または眼球アイコンを含むが、これらに限定されない。

段階1310で、プロセッサ104は、関心領域806がアイコン804上またはその付近に留まる時間量を判断するように構成され得る。留まり時間量および位置公差は、アイトラッキング技術の敏感度、および/または画像内の利用可能な拡張現実情報の密度に基づいて変化し得る。たとえば、留まり時間はおよそ1秒、2秒、または3秒であってよく、位置公差はおよそ5画素、10画素、または20画素であってよい。他の値を使用することができる。関心領域806がアイコン804上に留まらない場合、プロセッサ104は、段階1308で説明したように、関心領域を判断し続けるように構成され得る。

段階1312で、プロセッサ104は、ロケーションに関連する拡張現実情報が第2のオブジェクトタグ808を含むかどうかを判断するように構成され得る。第2のオブジェクトタグ808は、テキスト、別のアイコン、または他のGUIプログラミングオブジェクト(たとえば、リストボックス、コンボボックス、ラジオボタン、コマンドボタンなど)を含み得る。第2のオブジェクトタグが利用可能な場合、段階1314で、第2のオブジェクトタグを表示することができる。一実施形態では、第2のオブジェクトタグ808は、画像802に対してジオリファレンスされることが可能であり、したがって、画像802がディスプレイ408上を移動すると(すなわち、前面カメラの方位が変わると)移動することになる。第2のオブジェクトタグ808は、ディスプレイ408上の位置に対して参照されることが可能であり、したがって、(もしあれば)画像802の移動に関係なく、短期間(たとえば、1秒、2秒、5秒)の間、ディスプレイ408上の同じ(すなわち弱まった(dampened))相対的位置もしくはその近くに残る。

段階1316で、デバイス402は、関心領域が第2のオブジェクトタグ808上に留まっているかどうかを判断するように構成され得る。第2のオブジェクトタグに関する留まり時間の持続期間は、段階1310で説明したように、オブジェクトアイコン804上で使用される留まり時間よりも短くてよいが、そうでなくてもよい。一実施形態では、第2のオブジェクトタグ808は、複数の選択オプションを含むリストボックスであり得る。第2のオブジェクトタグ808のサイズをディスプレイ408上で拡張して、第2のオブジェクトタグ808のターゲットサイズを拡大することができる。拡大されたターゲットサイズは、視線追跡アルゴリズムの効率を改善することができ、視線追跡選択結果を改善することができる。

段階1318で、デバイス402は、拡張現実情報を表示するように構成され得る。拡張現実情報の例は、GUIオブジェクト、メディアファイル、ハイパーテキスト、または1つもしくは複数のアプリケーション(たとえば、ウェブブラウザ、ゲーム、マッピングソフトウェア、ソーシャルネットワークアプリケーション)を実行することを含み得るが、これらに限定されない。

別段に明記されていない限り、以下の議論から明らかなように、本明細書全体にわたって、「処理する」、「算出する」、「計算する」、「識別する」、「判断する」、「確立する」、「取得する」などの用語を利用する議論は、専用コンピュータまたは同様の専用電子コンピューティングデバイスなど、特定の装置の動作またはプロセスを指すことを諒解されたい。したがって、本明細書の文脈において、専用コンピュータまたは同様の専用電子コンピューティングデバイスは、メモリ、レジスタ、もしくは他の情報記憶デバイス、伝送デバイス、または、専用コンピュータもしくは同様の専用電子コンピューティングデバイスのディスプレイデバイスの中に、通常は物理的で電子的な量または磁気的な量として表される信号を、操作あるいは変換することができる。この特定の特許出願の文脈では、「特定の装置」という用語は、汎用コンピュータがプログラムソフトウェアからの命令に従って特定の機能を実施するようにプログラムされると、そのような汎用コンピュータを含むことができる。

本明細書を通じて「一例」、「例」、「いくつかの例」または「例示的な実装形態」への言及は、特徴および/もしくは例に関して説明する特定の特徴、構造物または特性が、特許請求する主題の少なくとも1つの特徴および/または例に含まれ得ることを意味する。したがって、本明細書の様々な場所における「一例では」、「例」、「いくつかの例では」もしくは「いくつかの実装形態では」という語句または他の同様の語句の出現は、同じ特徴、例および/または限定にすべて言及しているとは限らない。さらに、特定の特徴、構造物または特性は、1つもしくは複数の例および/または特徴に組み合わされることがある。

本明細書において説明される方法およびモバイルデバイスは、アプリケーションに応じて種々の手段によって実装することができる。たとえば、これらの方法論は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せで実装され得る。ハードウェアの実装形態の場合、処理ユニットは、本明細書で説明される機能を実行するように設計された、1つもしくは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、他の電子ユニット、またはそれらの組合せ内で実装することができる。本明細書において、「制御論理」という用語は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組合せによって実装される論理を包含する。

ファームウェアおよび/またはソフトウェアの実装形態の場合、それらの方法は、本明細書において説明される機能を実行するモジュール(たとえば、手順、関数など)によって実装することができる。命令を有形に具現化するいずれの機械可読媒体も、本明細書で説明される方法の実装において使用され得る。たとえば、ソフトウェアコードは、メモリに記憶され、処理ユニットによって実行され得る。メモリは、処理ユニット内に実装され、または処理ユニットの外部に実装される可能性がある。本明細書において用いられるときに、「メモリ」という用語は、長期、短期、揮発性、不揮発性、または他の記憶デバイスのいずれかのタイプを指しており、任意の特定のタイプのメモリもしくはメモリの数には限定されず、またはメモリが格納される媒体のタイプに関して限定されない。

コンピュータ可読媒体における記憶に加えて、命令および/またはデータは、通信装置に含まれる伝送媒体における信号として提供され得る。たとえば、通信装置は、命令およびデータを示す信号を有する送受信機を含むことができる。命令およびデータは、少なくとも1つのプロセッサに特許請求の範囲において概説する機能を実装させるように構成される。すなわち、通信装置は、開示する機能を実行するための情報を示す信号を有する伝送媒体を含む。第1の時間において、通信装置中に含まれる伝送媒体は、開示する機能を実行するための情報の第1の部分を含んでよく、一方、第2の時間において、通信装置中に含まれる伝送媒体は、開示する機能を実行するための情報の第2の部分を含んでよい。

本開示は、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などの、種々のワイヤレス通信ネットワークとともに実装することができる。「ネットワーク」および「システム」という用語は、しばしば互換的に使用される。「位置」および「ロケーション」という用語は、しばしば互換的に使用される。WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワーク、ロングタームエボリューション(LTE:Long Term Evolution)ネットワーク、WiMAX(IEEE802.16)ネットワークなどとすることができる。CDMAネットワークは、cdma2000、広帯域CDMA(W-CDMA(登録商標))などの1つまたは複数の無線アクセス技術(RAT)を実装することができる。cdma2000は、IS-95規格、IS-2000規格、およびIS-856規格を含む。TDMAネットワークは、移動通信用グローバスシステム(GSM(登録商標):Global System for Mobile Communications)、デジタル先進移動電話システム(D-AMPS:Digital Advanced Mobile Phone System)、または何らかの他のRATを実装することができる。GSM(登録商標)およびW-CDMA(登録商標)は、「第3世代パートナーシッププロジェクト」(3GPP)という名称の組織からの文書に記述される。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の組織からの文書に記載されている。3GPPおよび3GPP2の文書は、公的に入手可能である。WLANは、IEEE802.11xネットワークであり得、またWPANはBluetooth(登録商標)ネットワーク、IEEE802.15x、または何らかの他のタイプのネットワークであり得る。また、本技法は、WWAN、WLAN、および/またはWPANの任意の組合せとともに実装することができる。

移動局は、セルラー通信デバイスもしくは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、またはワイヤレス通信および/もしくはナビゲーション信号を受信することができる他の適切なモバイルデバイスなどのデバイスを指す。「移動局」という用語はまた、短距離ワイヤレス接続、赤外線接続、ワイヤライン接続、または他の接続などによって、パーソナルナビゲーションデバイス(PND)と通信するデバイスを、衛星信号受信、支援データ受信、および/もしく位置関連処理がそのデバイスにおいて行われるか、またはPNDにおいて行われるかにかかわらず含むことが意図される。また、「移動局」は、インターネット、Wi-Fi、または他のネットワークなどを介してサーバとの通信が可能である、ワイヤレス通信デバイス、コンピュータ、ラップトップなどを含むすべてのデバイスを、衛星信号受信、支援データ受信、および/もしくは位置関連処理がそのデバイスにおいて行われるか、サーバにおいて行われるか、またはネットワークに関連する別のデバイスにおいて行われるかにかかわらず含むことが意図される。上記のデバイスの任意の動作可能な組合せも「移動局」と見なされる。

何かが「最適化される」、「必要とされる」という指摘または他の指摘は、最適化されるシステム、または「必要とされる」要素が存在するシステムのみに本開示が適用されること(もしくは他の指摘に起因する他の制限)を示すものではない。これらの指摘は、特定の説明された実装形態のみを指している。当然、多くの実装形態が可能である。本技法は、開発中であるか今後開発されるプロトコルを含む、本明細書で論じるプロトコル以外のプロトコルで使用できる。

同じ基本的な根底をなす機構および方法を依然として使用しながら、開示される実施形態の多くの可能な変更および組合せを使用できることを、当業者は認識されよう。上記の説明は、説明の目的で、特定の実施形態に関して書かれている。しかしながら、上記の例示的な議論は網羅的なものでも、あるいは本開示を開示された厳密な形態に限定しようとするものでもない。多くの修正および変形が、上記の教示に鑑みて可能である。本開示の原理およびその実際の適用について説明するために、また、企図される特定の用途に合わせて様々な修正を加えて本開示および様々な実施形態を他の当業者が最善の形で利用できるように、実施形態が選択され、説明されている。

100 コンピュータシステム、出力デバイス、モバイルデバイス
102 バス
104 プロセッサ
106 非一時的記憶デバイス
108 入力デバイス
110 出力デバイス
112 通信サブシステム
114 非一時的作業メモリ、作業メモリ、メモリ
116 オペレーティングシステム
118 アプリケーションプログラム
120 第1のカメラ
122 第2のカメラ
200 デバイス、モバイルデバイス
204 前面カメラ、第2のカメラ
206 背面カメラ、第1のカメラ
208 ディスプレイ、グラフィカルディスプレイ
300 先行技術のプロセスフロー、プロセス、視線プロセス
306 目検出アルゴリズム
402 デバイス
404 道路標識
406 背面カメラ、カメラ
408 ディスプレイ
410 背景光増強領域、領域
412 関心領域のグラフィカル表示
414 関心領域
502 画像、ターゲット画像
502' 画像、移動リアルタイム画像、移動画像
504 オブジェクトタグ
504-1 単一のオブジェクトタグ
505 エンパイヤーステートビルディング
506 関心領域
702 画像
704 オブジェクトタグ
802 画像
804 アイコン、オブジェクトタグアイコン
804-1 特定のアイコン
806 関心領域
808 第2のオブジェクトタグ
902 画像、ターゲット画像
904-1 第1のDVDケース、DVDケース
904-2 第2のDVDケース
904-3 第3のDVDケース
904-4 第4のDVDケース
906 関心領域
908 画像セグメント、セグメント
910 感嘆符オブジェクトタグ
1002 画像、会議画像
1004 参加者
1004-1 ビデオ会議参加者、参加者、画像、遠隔参加者
1004-2 ビデオ会議参加者、参加者
1004-3 ビデオ会議参加者、参加者
1004-4 ビデオ会議参加者、参加者、画像、遠隔参加者
1004-5 ビデオ会議参加者、参加者、画像
1004-6 ビデオ会議参加者、参加者
1006-1 遠隔ユーザ注視ロケーションフィードバックアイコン
1006-4 遠隔ユーザ注視ロケーションフィードバックアイコン
1008 関心領域
1010 ビデオ会議制御アイコン

Claims (31)

1. 視線追跡を使用してオブジェクト認識を可能にするための方法であって、
   ユーザによって閲覧可能なシーンの画像を前記ユーザに表示するステップと、
   前記ユーザの視線を示す情報を受信するステップと、
   前記視線情報に基づいて、前記画像内の関心領域を判断するステップと、
   前記関心領域に基づいて、画像セグメントを判断するステップと、
   前記画像セグメントに関するオブジェクト認識プロセスを開始するステップと、
   前記オブジェクト認識プロセスの結果を表示するステップと
   を含む方法。
2. 開始する前記ステップが、前記オブジェクト認識プロセスを実行するステップを含む、請求項1に記載の方法。
3. 開始する前記ステップが、前記画像セグメントを遠隔サーバに提供するステップと、前記遠隔サーバからオブジェクト認識結果を受信するステップとを含み、表示する前記ステップが、前記オブジェクト認識結果に基づいて、拡張現実情報を表示するステップを含む、請求項1に記載の方法。
4. 前記遠隔サーバからポーズ情報を受信するステップと、
   前記ポーズ情報に基づいて、前記拡張現実情報を表示するステップと
   を含む、請求項3に記載の方法。
5. 前記画像が、モバイルデバイスに結合された第1のカメラでキャプチャされ、前記視線情報が、前記モバイルデバイスに結合された第2のカメラでキャプチャされた画像に基づいて判断される、請求項1に記載の方法。
6. 前記オブジェクト認識プロセスの結果を表示する前記ステップが、拡張現実情報を表示するステップを含む、請求項1に記載の方法。
7. 前記関心領域が前記画像セグメント上またはその周囲に留まる場合、前記拡張現実情報を表示するステップを含む、請求項6に記載の方法。
8. 前記オブジェクト認識プロセスの結果を表示する前記ステップが、オブジェクトタグを表示するステップを含む、請求項1に記載の方法。
9. 前記関心領域が前記オブジェクトタグ上またはその周囲に留まる場合、拡張現実情報を表示するステップを含む、請求項8に記載の方法。
10. 画像セグメント境界線を表示するステップを含む、請求項1に記載の方法。
11. 視線追跡を使用してオブジェクト認識を可能にするための装置であって、
    メモリと、
    前記メモリに結合された少なくとも1つのプロセッサであって、
    ユーザによって閲覧可能なシーンの画像を前記ユーザに表示させ、
    前記ユーザの視線を示す情報を受信し、
    前記視線情報に基づいて、前記画像内の関心領域を判断し、
    前記関心領域に基づいて、画像セグメントを判断し、
    前記画像セグメントに関するオブジェクト認識プロセスを開始し、
    前記オブジェクト認識プロセスの結果を表示させる
    ように構成される、少なくとも1つのプロセッサと
    を備える装置。
12. 前記少なくとも1つのプロセッサが、前記オブジェクト認識プロセスを実行するように構成される、請求項11に記載の装置。
13. 前記少なくとも1つのプロセッサが、前記画像セグメントを遠隔サーバに提供し、前記遠隔サーバからオブジェクト認識結果を受信し、前記オブジェクト認識結果に基づいて、拡張現実情報を表示させるように構成される、請求項11に記載の装置。
14. 前記少なくとも1つのプロセッサが、
    前記遠隔サーバからポーズ情報を受信し、
    前記ポーズ情報に基づいて、前記拡張現実情報を表示させる
    ように構成される、請求項13に記載の装置。
15. 前記少なくとも1つのプロセッサが、モバイルデバイスに結合された第1のカメラで前記画像をキャプチャし、前記モバイルデバイスに結合された第2のカメラでキャプチャされた画像に基づいて前記視線情報を判断するように構成される、請求項11に記載の装置。
16. 前記少なくとも1つのプロセッサが、拡張現実情報を表示させるように構成される、請求項11に記載の装置。
17. 前記少なくとも1つのプロセッサが、前記関心領域が前記画像セグメント上またはその周囲に留まる場合、前記拡張現実情報を表示させるように構成される、請求項16に記載の装置。
18. 前記少なくとも1つのプロセッサが、前記オブジェクト認識プロセスの結果に基づいて、オブジェクトタグを表示させるように構成される、請求項11に記載の装置。
19. 前記少なくとも1つのプロセッサが、前記関心領域が前記オブジェクトタグ上またはその周囲に留まる場合、拡張現実情報を表示させるように構成される、請求項18に記載の装置。
20. 前記少なくとも1つのプロセッサが、画像セグメント境界線を表示させるように構成される、請求項11に記載の装置。
21. 視線追跡を使用してオブジェクト認識を可能にするための装置であって、
    ユーザによって閲覧可能なシーンの画像を前記ユーザに表示するための手段と、
    前記ユーザの視線を示す情報を受信するための手段と、
    前記視線情報に基づいて、前記画像内の関心領域を判断するための手段と、
    前記関心領域に基づいて、画像セグメントを判断するための手段と、
    前記画像セグメントに関するオブジェクト認識プロセスを開始するための手段と、
    前記オブジェクト認識プロセスの結果を表示するための手段と
    を備える装置。
22. 開始するための前記手段が、前記オブジェクト認識プロセスを実行するための手段を備える、請求項21に記載の装置。
23. 開始するための前記手段が、前記画像セグメントを遠隔サーバに提供するための手段と、前記遠隔サーバからオブジェクト認識結果を受信するための手段とを備え、表示するための前記手段が、前記オブジェクト認識結果に基づいて、拡張現実情報を表示するための手段を備える、請求項21に記載の装置。
24. 前記遠隔サーバからポーズ情報を受信するための手段と、
    前記ポーズ情報に基づいて、前記拡張現実情報を表示するための手段と
    を備える、請求項23に記載の装置。
25. 前記画像が、モバイルデバイスに結合された第1のカメラでキャプチャされ、前記視線情報が、前記モバイルデバイスに結合された第2のカメラでキャプチャされた画像に基づいて判断される、請求項21に記載の装置。
26. 前記オブジェクト認識プロセスの結果を表示するための前記手段が、拡張現実情報を表示するための手段を備える、請求項21に記載の装置。
27. 前記関心領域が前記画像セグメント上またはその周囲に留まる場合、前記拡張現実情報を表示するための手段を備える、請求項26に記載の装置。
28. 前記オブジェクト認識プロセスの結果を表示するための前記手段が、オブジェクトタグを表示するための手段を備える、請求項21に記載の装置。
29. 前記関心領域が前記オブジェクトタグ上またはその周囲に留まる場合、拡張現実情報を表示するための手段を備える、請求項28に記載の装置。
30. 画像セグメント境界線を表示するための手段を備える、請求項21に記載の装置。
31. プロセッサに、
    ユーザによって閲覧可能なシーンの画像を前記ユーザに表示することと、
    前記ユーザの視線を示す情報を受信することと、
    前記視線情報に基づいて、前記画像内の関心領域を判断することと、
    前記関心領域に基づいて、画像セグメントを判断することと、
    前記画像セグメントに関するオブジェクト認識プロセスを開始することと、
    前記オブジェクト認識プロセスの結果を表示することと
    を行わせるように構成されたプロセッサ実行可能命令を備える非一時的コンピュータ可読記憶媒体。

Images