JP2017525052A - 表示のためにキャプチャ画像の視野を調整する技術 - Google Patents

表示のためにキャプチャ画像の視野を調整する技術 Download PDF

Info

Publication number
JP2017525052A
JP2017525052A JP2017505822A JP2017505822A JP2017525052A JP 2017525052 A JP2017525052 A JP 2017525052A JP 2017505822 A JP2017505822 A JP 2017505822A JP 2017505822 A JP2017505822 A JP 2017505822A JP 2017525052 A JP2017525052 A JP 2017525052A
Authority
JP
Japan
Prior art keywords
mobile computing
computing device
user
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017505822A
Other languages
English (en)
Inventor
リーフ，ドロア
モラン，アミット
ホレシ，ニザン
Original Assignee
インテル コーポレイション
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション, インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2017525052A publication Critical patent/JP2017525052A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Architecture (AREA)

Abstract

モバイルコンピューティング装置で表示するためにキャプチャ画像の視野を調整する技術は、第１のカメラによりユーザの第１の画像を、及び第２のカメラにより現実世界環境の第２の画像をキャプチャするステップを有する。モバイルコンピューティング装置は、前記キャプチャした第１の画像に基づき前記モバイルコンピューティング装置に対する前記ユーザの目の位置を、及び前記キャプチャした第２の画像に基づき前記モバイルコンピューティング装置からの前記現実世界環境の中のオブジェクトの距離を決定する。モバイルコンピューティング装置は、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記決定した距離と、前記モバイルコンピューティング装置に対する前記ユーザの目の前記決定した位置と、前記モバイルコンピューティング装置の少なくとも１つの装置パラメータと、に基づき、前記ディスプレイへの前記第２のカメラによりキャプチャした前記現実世界環境の逆投影を生成する。

Description

［関連出願の参照］
本願は、米国特許出願番号第１４／４８８５１６号、名称「TECHNOLOGIES FOR ADJUSTING A PERSPECTIVE OF A CAPTURED IMAGE FOR DISPLAY」、２０１４年９月１７日出願の優先権を主張する。
拡張現実システムは、仮想キャラクタ及びオブジェクトを物理的場所に投影することにより、現実世界環境と仮想世界環境とを融合し、それにより、没入型経験及び新規な相互作用モデルを可能にする。特に、幾つかの拡張現実システムでは、（例えば、現実世界環境のキャプチャ画像又はビデオストリームに仮想キャラクタの２又は３次元レンダリングをオーバレイすることにより）仮想キャラクタ又はオブジェクトは、現実世界環境のキャプチャ画像に挿入されることがある。幾つかのシステムでは、キャプチャ画像の中で認識される物理的オブジェクトは、該物理的オブジェクトに関連付けられる仮想オブジェクトにより置き換えられる場合がある。例えば、キャプチャ画像の中で認識される車両は、認識され、アニメ又は漫画のような車両により置き換えられても良い。拡張現実システムは、固定及びモバイルコンピューティング装置の両方に実装されている。幾つかのモバイル拡張現実システムでは、モバイルコンピューティング装置のカメラ（例えば、ディスプレイと反対側に配置されるスマートフォンのカメラ）が現実世界環境の画像をキャプチャする。拡張現実システムは、次に、キャプチャ画像に拡張現実変更を行い、モバイルコンピューティング装置のディスプレイに拡張画像を（例えばリアルタイムに）表示する。このように、ユーザは、彼又は彼女の実際の現実世界環境に対応する仮想世界を見ることができる。しかしながら、モバイルコンピューティング装置のユーザ及びカメラは、現実世界環境の異なる視野を有するので、没入型経験は、閉塞された視覚フローにより不快である。例えば、ユーザの視野から、現実世界オブジェクト（例えば、モバイルコンピューティング装置の周囲にあるもの）は、拡張現実レンダリングにおいて複製される。
本願明細書に記載された概念は例を用いて説明されるが、添付の図面に限定されない。説明を簡単且つ明確にするため、図中に示された要素は、必ずしも縮尺通りに描かれていないことが理解される。適切に検討されるとき、対応する又は類似の要素を示すために、参照符号は図の間で繰り返されている。
表示のためにキャプチャ画像の視野を調整するモバイルコンピューティング装置の少なくとも一実施形態の簡略ブロック図である。 図１のモバイルコンピューティング装置により確立される環境の少なくとも一実施形態の簡略ブロック図である。 図１のモバイルコンピューティング装置による、表示のためにキャプチャ画像の視野を調整する方法の少なくとも１つの実施形態の簡略ブロック図である。 図１のモバイルコンピューティング装置の現実世界環境の逆投影を生成する方法の少なくとも１つの実施形態の簡略ブロック図である。 図４の方法の実行中に、図１のモバイルコンピューティング装置を保持するユーザの簡略図である。 図１のモバイルコンピューティング装置の現実世界環境の逆投影を生成する方法の少なくとも１つの他の実施形態の簡略ブロック図である。 種々の角度関係を示す図１のモバイルコンピューティング装置を保持するユーザの簡略図である。 種々の角度関係を示す図１のモバイルコンピューティング装置を保持するユーザの簡略図である。 図１のモバイルコンピューティング装置の現実世界環境の簡略図である。 図１のモバイルコンピューティング装置を保持するユーザの簡略図、及び調整視野を有しないモバイルコンピューティング装置に表示される対応するキャプチャ画像である。 図１のモバイルコンピューティング装置を保持するユーザの簡略図、及び図３の方法による調整視野を有するモバイルコンピューティング装置に表示される対応するキャプチャ画像である。
本発明の概念は種々の変更及び代替の形式の余地があるが、それらの特定の実施形態が例として図に示され本願明細書で詳細に記載される。しかしながら、理解されるべき点は、本開示の概念が開示された特定の形式に限定されないこと、むしろ全ての変形、等価物及び代案が本開示及び特許請求の範囲と調和することである。本願明細書において「一実施形態」、「ある実施形態」又は「説明のための実施形態」等のような記載は、記載された実施形態が特定の機能、構造又は特徴を含むこと、しかし各実施形態が特定の機能、構造又は特徴を必ずしも含んでも又はまなくてもよいことを意味する。更に、このような記載は、必ずしも同一の実施形態を参照しない。更に、特定の機能、構造又は特徴がある実施形態に関連して記載されるとき、明示的に記載されているか否かに拘わらず、このような機能、構造又は特徴を他の実施形態と組み合わせて実施することは、当業者の知識の範囲内である。さらに、「少なくとも１つのＡ、Ｂ、及びＣ」の形式のリストに含まれる項目は（Ａ）、（Ｂ）、（Ｃ）、（Ａ及びＢ）、（Ｂ及びＣ）、又は（Ａ、Ｂ、及びＣ）を意味し得ることが理解されるべきである。さらに、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の形式のリストに含まれる項目は（Ａ）、（Ｂ）、（Ｃ）、（Ａ及びＢ）、（Ｂ及びＣ）、又は（Ａ、Ｂ、及びＣ）を意味し得る。
開示の実施形態は、幾つかの例では、ハードウェア、ファームウェア、ソフトウェア又はそれらの如何なる組み合わせで実施されてもよい。開示の実施形態は、１又は複数の一時的又は非一時的機械可読（例えば、コンピュータ読み取り可能な）記憶媒体により運ばれ又はそれに格納される、１又は複数のプロセッサにより読み取られ及び実行され得る命令としても実装されても良い。機械可読記憶媒体は、任意の記憶装置、メカニズム、又は機械により読み取り可能な形式で情報を格納し又は送信する他の物理的構造（例えば、揮発性若しくは不揮発性メモリ、メディアディスク、又は他のメディア装置）として実現されても良い。
図中、幾つかの構造又は方法の特徴は、特定の構成及び／又は順序で示され得る。しかしながら、このような特定の構成及び／又は順序は必要ではない場合があることが理解されるべきである。むしろ、幾つかの実施形態では、このような特徴は、説明のための図の中に示されるものと異なる方法及び／又は順序で配置されても良い。さらに、特定の図の中の構造又は方法の特徴の包含は、そのような特徴が全ての実施形態において必要であることを意味せず、幾つかの実施形態では、含まれなくても良く又は他の特長と組み合わせられても良い。
図１を参照すると、表示のためにキャプチャ画像の視野を調整するモバイルコンピューティング装置１００が示される。使用中、以下に更に詳述するように、モバイルコンピューティング装置１００は、モバイルコンピューティング装置１００のユーザの画像と、モバイルコンピューティング装置１００の現実世界環境の画像と、をキャプチャするよう構成される。モバイルコンピューティング装置１００は、さらに、モバイルコンピューティング装置１００に対するユーザの目の位置を決定するために、キャプチャしたユーザの画像を分析する。後述するように、そうすることにより、モバイルコンピューティング装置１００は、ユーザのモバイルコンピューティング装置１００までの距離を決定し、キャプチャした画像の中のユーザの目の位置を識別し／検出できる。さらに、モバイルコンピューティング装置１００は、モバイルコンピューティング装置１００に対する、キャプチャした現実世界環境の中の１又は複数のオブジェクト（例えば、キャプチャしたシーンの中の主要オブジェクト及び／又は他のオブジェクト）の距離を決定する。例えば、後述するように、モバイルコンピューティング装置１００は、現実世界環境のキャプチャした画像を分析し、深さ又は距離センサデータを利用し、又は個々の実施形態に依存してオブジェクトの相対距離を決定しても良い。モバイルコンピューティング装置１００は、モバイルコンピューティング装置１００に対する現実世界オブジェクトの距離と、モバイルコンピューティング装置１００に対するユーザの目の位置と、１又は複数の装置パラメータと、に基づき、モバイルコンピューティング装置１００のディスプレイ１２０への現実世界環境の逆投影を決定する。後述するように、逆投影は、逆投影画像、逆投影画像を生成するために使用可能なデータセット（例えば、ピクセル値）、及び／又は対応する逆投影画像を示す他のデータとして実現されても良い。後述するように、装置パラメータは、例えば、モバイルコンピューティング装置１００のカメラの焦点長、ディスプレイ１２０若しくはモバイルコンピューティング装置１００自体のサイズ、互いに対する又は基準点に対するモバイルコンピューティング装置１００のコンポーネントの位置、及び／又はモバイルコンピューティング装置１００に関連する他の関連情報を含んでも良い。モバイルコンピューティング装置１００は、決定した逆投影に基づき画像を表示し、そうするときに、仮想オブジェクト、キャラクタ、及び／又は景色を適用し、或いは拡張現実のために画像を変更しても良い。本願明細書に記載の技術は、ディスプレイ１２０に逆投影画像をもたらす。したがって、ディスプレイ１２０で見える画像は、直接に又はほぼ直接に、現実世界にマッピングし、ユーザが、まるで窓を通して現実世界環境を見ているように感じることができる。つまり、説明のための実施形態では、表示される画像は、ユーザと同じ視野から見えるモバイルコンピューティング装置１００により隠されるものと同じコンテンツを含む。
モバイルコンピューティング装置１００は、本願明細書に記載された機能を実行可能な任意の種類のコンピュータ装置として実現されてもよい。例えば、モバイルコンピューティング装置１００は、スマートフォン、セルラフォン、ウェアラブルコンピューティング装置、パーソナルデジタルアシスタント、モバイルインターネット装置、タブレットコンピュータ、ノートブック、ノートブック、ウルトラブック、ラップトップコンピュータ、及び／又は任意の他のモバイルコンピューティング／通信装置として実現されても良い。図１に示すように、説明のためのモバイルコンピューティング装置１００は、プロセッサ１１０、入力／出力（Ｉ／Ｏ）サブシステム１１２、メモリ１１４、データ記憶装置１１６、カメラシステム１１８、ディスプレイ１２０、１又は複数のセンサ１２２、通信回路１２４を有する。もちろん、モバイルコンピューティング装置１００は、他の実施形態では、標準的なコンピューティング装置に一般的に見られるコンポーネントのような（例えば、種々の入力／出力装置、及び／又は他のコンポーネント）他の又は追加のコンポーネントを有しても良い。さらに、幾つかの実施形態では、説明のためのコンポーネントのうちの１又は複数は、別のコンポーネントに組み込まれ、或いはその一部を形成しても良い。例えば、メモリ１１４、又はその部分は、幾つかの実施形態ではプロセッサ１１０に組み込まれても良い。
プロセッサ１１０は、本願明細書に記載された機能を実行可能な任意の種類のプロセッサとして具現化されてもよい。例えば、プロセッサ１１０は、単一の又はマルチコアプロセッサ、デジタル信号プロセッサ、マイクロコントローラ、又は他のプロセッサ若しくは処理／制御回路として実現されても良い。同様に、メモリ１１４は、本願明細書に記載の機能を実行可能な任意の種類の揮発性若しくは不揮発性メモリ又はデータ記憶装置として実現されても良い。動作中、メモリ１１４は、オペレーティングシステム、アプリケーション、プログラム、ライブラリ、及びドライバのような、モバイルコンピューティング装置１００の動作中に使用される種々のデータ及びソフトウェアを格納しても良い。メモリ１１４は、プロセッサ１１０、メモリ１１４、及びモバイルコンピューティング装置１００の他のコンポーネントとの入力／出力動作を実現する回路及び／又はコンポーネントとして実現され得るＩ／Ｏサブシステム１１２を介してプロセッサ１１０に通信可能に結合される。例えば、Ｉ／Ｏサブシステム１１２は、メモリコントローラハブ、入力／出力制御ハブ、ファームウェア装置、通信リンク（つまり、ポイントツーポイントリンク、バスリンク、ワイヤ、ケーブル、光導波路、印刷回路基板のトレース、等）、及び／又は入力／出力動作を実現する他のコンポーネント及びサブシステムとして実現され又はそれを含んでも良い。幾つかの実施形態では、Ｉ／Ｏサブシステム１１２は、システムオンチップ（ＳｏＣ）の一部を形成し、プロセッサ１１０、メモリ１１４、及びモバイルコンピューティング装置１００の他のコンポーネントと一緒に単一の集積回路チップに組み込まれても良い。
データ記憶装置１１６は、例えばメモリ素子及び回路、メモリカード、ハードディスクドライブ、固体ドライブ、又は他のデータ記憶装置のようなデータの短期若しくは長期記憶のために構成される任意の種類の装置として実現されてもよい。説明のための実施形態では、データ記憶装置１１６は、モバイルコンピューティング装置１００の装置パラメータ１３０を格納しても良い。理解されるべきことに、特定の装置パラメータ１３０は、個々の実施形態に依存して変化しても良い。装置パラメータ１３０は、例えば、モバイルコンピューティング装置１００、ディスプレイ１２０、及び／又はモバイルコンピューティング装置１００の別のコンポーネントのサイズ／形状に関連する情報又はデータ、モバイルコンピューティング装置１００の１又は複数のカメラに関する固有パラメータ又は他のデータ（例えば、焦点長、主点、ズーム情報、等）、基準点に対するモバイルコンピューティング装置１００のコンポーネントの位置（例えば、モバイルコンピューティング装置１００のコンポーネントの相対位置を識別する座標系）、及び／又はコンピューティング装置１００に関連する他の情報を含んでも良い。さらに、幾つかの実施形態では、データ記憶装置１１６及び／又はメモリ１１４は、モバイルコンピューティング装置１００の動作中に有用な種々の他のデータを格納しても良い。
カメラシステム１１８は、画像又はビデオ（つまり、画像又はフレームの集合）をキャプチャするよう構成され及び本願明細書に記載の機能を実行可能な複数のカメラを有する。理解されるべきことに、カメラシステム１１８のカメラの各々は、スチルカメラ、ビデオカメラ、又はビデオ及び／又は画像をキャプチャ可能な他の装置のような、画像をキャプチャするのに適する任意の周辺機器又は統合装置として実現されても良い。説明のための実施形態では、カメラシステム１１８は、ユーザ対向カメラ１２６、及び環境対向カメラ１２８を有する。以下に示すように、ユーザ対向カメラ１２６、環境対向カメラ１２８、及び／又はカメラシステム１１８の他のカメラは、２次元（２Ｄ）カメラ（例えば、ＲＧＢカメラ）又は３次元（３Ｄ）カメラとして実現されても良い。このような３Ｄカメラは、例えば、深度カメラ、二焦点カメラ、及び／又はその他の場合、深さ画像、チャネル若しくはストリームを生成可能なカメラを有する。例えば、１又は複数のカメラは、赤外線（ＩＲ）プロジェクタ及びＩＲセンサを備え、ＩＲセンサがＩＲプロジェクタによりシーンに投影されるＩＲ光パターンを分析することにより、シーンの中のオブジェクトの深度値を推定できるようにしても良い。別の実施形態では、カメラシステム１１８のカメラのうちの１又は複数は、シーンの少なくとも２つの異なる視点から画像をキャプチャするよう構成される、少なくとも２つのレンズ及び対応するセンサを有する（例えば、ステレオカメラ）。
以下に更に詳述するように、ユーザ対向カメラ１２６は、モバイルコンピューティング装置１００のユーザの画像をキャプチャするよう構成される。特に、ユーザ対向カメラ１２６は、ユーザの顔の画像をキャプチャする。該画像は、モバイルコンピューティング装置１００に対する（例えば、ユーザ対向カメラ１２６に対する又はモバイルコンピューティング装置１００の別の基準点に対する）ユーザの目の位置を決定するために分析されても良い。環境対向カメラ１２８は、モバイルコンピューティング装置１００の現実世界環境の画像をキャプチャする。説明のための実施形態では、ユーザ対向カメラ１２６及び環境対向カメラ１２８は、モバイルコンピューティング装置１００の反対側に位置付けられ、したがって、反対方向の視野を有する。特に、ユーザ対向カメラ１２６は、モバイルコンピューティング装置１００のディスプレイ１２０と同じ側にあるので、ユーザ対向カメラ１２６は、ユーザがディスプレイ１２０を閲覧するとき彼女の画像をキャプチャできる。
モバイルコンピューティング装置１００のディスプレイ１２０は、モバイルコンピューティング装置１００のユーザに情報が表示できる任意の種類のディスプレイとして実現されても良い。さらに、ディスプレイ１２０は、例えば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、陰極線管（ＣＲＴ）ディスプレイ、プラズマディスプレイ、タッチスクリーンディスプレイ、及び／又は他のディスプレイ技術を含む任意の適切なディスプレイ技術として実現されても良く、或いはそれを使用しても良い。図１の説明のための実施形態には１つのディスプレイ１２０のみが示されるが、他の実施形態では、モバイルコンピューティング装置１００は複数のディスプレイ１２０を有しても良い。
図１に示すように、モバイルコンピューティング装置１００は、本願明細書に記載の機能を実行する際に有用なデータを収集するよう構成される１又は複数のセンサ１２２を有しても良い。例えば、センサ１２２は、モバイルコンピューティング装置１００からのオブジェクトの距離を決定するために使用できる深度センサを有しても良い。さらに、幾つかの実施形態では、センサ１２２は、モバイルコンピューティング装置１００の相対的方向を決定するために、加速度計、ジャイロスコープ、及び／又は磁力計を有しても良い。種々の実施形態において、センサ１２２は、例えば、近接性センサ、光学センサ、光センサ、音響センサ、温度センサ、動きセンサ、圧電センサ、及び／又は他の種類のセンサとして実現されても良く又はそれを含んでも良い。もちろん、モバイルコンピューティング装置１００は、センサ１２２の使用を実現するよう構成されるコンポーネント及び／又は装置も有しても良い。
通信回路１２４は、任意の通信回路、モバイルコンピューティング装置１００と他のリモート装置との間の通信をネットワーク（図示しない）を介して可能にできる装置、又はそれらの集合として実現されても良い。例えば、幾つかの実施形態では、モバイルコンピューティング装置１００は、本願明細書に記載の機能のうちの１又は複数（例えば、逆投影の決定）を、リモートコンピューティング装置にオフロードしても良い。通信回路１２４は、このような通信を達成するために、任意の１又は複数の通信技術（例えば、無線又は有線通信）及び関連プロトコル（例えば、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）、ＷｉＭＡＸ、等）を使用するよう構成されても良い。
図２を参照すると、使用中、モバイルコンピューティング装置１００は、モバイルコンピューティング装置１００のディスプレイ１２０上で表示するためにキャプチャ画像の視野（perspective）を調整するための環境２００を確立する。後述するように、モバイルコンピューティング装置１００は、ユーザ対向カメラ１２６によりユーザの画像を、及び環境対向カメラ１２８によりモバイルコンピューティング装置１００の現実世界環境の画像をキャプチャする。さらに、モバイルコンピューティング装置は、ユーザ対向カメラ１２６によりキャプチャした画像に基づきモバイルコンピューティング装置１００に対するユーザの目の位置を、及び環境対向カメラ１２８によりキャプチャした画像に基づきモバイルコンピューティング装置１００に対する現実世界環境の中のオブジェクトの距離を、決定する。モバイルコンピューティング装置１００は、次に、ディスプレイ１２０への現実世界オブジェクトの逆投影を生成し、生成した逆投影に基づき、ディスプレイ１２０に対応する画像を表示する（例えば、拡張現実変更を含む）。
モバイルコンピューティング装置１００の説明のための環境２００は、画像キャプチャモジュール２０２、視標追跡モジュール２０４、オブジェクト距離決定モジュール２０６、画像投影モジュール２０８、表示モジュール２１０を有する。環境２００のモジュールの各々は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組合せとして実現されても良い。例えば、一実施形態では、環境２００のモジュールの各々は、回路（例えば、画像キャプチャ回路、視標追跡回路、オブジェクト距離決定回路、画像投影回路、及び表示回路）として実現されても良い。さらに、幾つかの実施形態では、説明のためのモジュールのうちの１又は複数は、別のモジュールの一部を形成しても良い。例えば、幾つかの実施形態では、画像投影モジュール２０８は、表示モジュール２１０の一部を形成しても良い。
画像キャプチャモジュール２０２は、カメラシステム１１８（例えば、ユーザ対向カメラ１２６及び環境対向カメラ１２８）を制御して、個々のカメラ１２６、１２８の視野の中の画像をキャプチャする。例えば、本願明細書に記載のように、ユーザ対向カメラ１２６は、（例えば、目の検出／追跡のために）ユーザの顔の画像をキャプチャするよう構成される。理解されるべきことに、モバイルコンピューティング装置１００は、ユーザの目のうち片目又は両目を検出し及び／又は追跡しても良い。したがって、説明のための実施形態では、モバイルコンピューティング装置１００による分析のためにユーザ対向カメラ１２６によりキャプチャされる画像は、ユーザの目のうちの少なくとも１つを含む。視標追跡及び分析は、本願明細書では折に触れて、説明の簡単さ及び明確さのためにユーザの片目を参照して議論されるが、本願明細書に記載の技術は、ユーザの目の両方の検出／追跡に等しく適用される。さらに、本願明細書に記載のように、環境対向カメラ１２８は、モバイルコンピューティング装置１００の現実世界環境の画像をキャプチャするよう構成される。理解されるべきことに、キャプチャしたシーンは、任意の数の主要オブジェクト（例えば、異なる又はその他の場合には重要なオブジェクト）を含んでも良い。しかしながら、簡単のために、このようなキャプチャ画像は、単一の主要オブジェクトを有するとして本願明細書に記載される場合が多い。
視標追跡モジュール２０４は、モバイルコンピューティング装置１００に対する（例えば、ユーザ対向カメラ１２６又は別の基準点に対する）ユーザの目の場所／位置を決定する。そうするとき、視標追跡モジュール２０４は、ユーザ対向カメラ１２６によりキャプチャした画像の中の１又は複数の人物の目の存在を検出し、追跡されるべきキャプチャ画像の中の目の位置（つまり、目に関連する画像の部分）を決定する。そうするために、視標追跡モジュール２０４は、任意の適切な技術、アルゴリズム、及び／又は画像フィルタ（例えば、エッジ検出及び画像セグメント化）を使用しても良い。幾つかの実施形態では、視標追跡モジュール２０４は、キャプチャ画像の中のユーザの顔の場所を決定し、及び、例えばユーザの目の位置を特定するために分析されるキャプチャ画像の領域を削減するために、ユーザの顔の場所を利用する。さらに、幾つかの実施形態では、視標追跡モジュール２０４は、ユーザの目を分析して、ユーザの目の様々な特性／特徴（例えば、輝き位置、虹彩位置、瞳孔位置、虹彩−瞳孔コントラスト、目のサイズ／形状、及び／又は他の特性）を決定し、ユーザの注視方向を決定する。ユーザの注視方向は、例えば、ユーザがディスプレイ１２０を見ているか否かを決定して、ユーザの注視が向けられている環境対向カメラ１２８によりキャプチャされるシーンの中のオブジェクト（例えば、主要オブジェクト）を識別し、（例えば３次元空間において）ユーザの目の相対的な場所又は位置を決定するために、及び／又は他の目的のために使用されても良い。さらに、幾つかの実施形態では、視標追跡モジュール２０４は、ユーザの頭の方向を更に決定し、或いは、その他の場合にはユーザの頭の姿勢を決定しても良い。
後述するように、モバイルコンピューティング装置１００に対するユーザの目の位置を決定する際に、視標追跡モジュール２０４は、モバイルコンピューティング装置１００に対する（例えば、ユーザ対向カメラ１２６又は別の基準点に対する）ユーザの目の距離を決定する。理解されるべきことに、視標追跡モジュール２０４は、そうするために、任意の適切なアルゴリズム及び／又は技術を利用しても良い。例えば、幾つかの実施形態では、ユーザ対向カメラ１２６は、キャプチャしたシーンの中のオブジェクトの距離に対応するデータ（例えば、深度ストリーム又は深度画像）を生成可能な深度カメラ又は他の３Ｄカメラとして実現されても良い。別の実施形態では、視標追跡モジュール２０４は、モバイルコンピューティング装置１００からユーザの顔の距離を推定するために、人物の顔の知られている概算の大きさと関連して顔検出を使用しても良い。更に別の実施形態では、視標追跡モジュール２０４は、ユーザの角膜（つまり、輝き）及び／又は瞳孔から外れた光の反射を発見するために、ユーザの目に対応するキャプチャ画像の領域を分析しても良い。これらの反射に基づき、視標追跡モジュール２０４は、モバイルコンピューティング装置１００に対するユーザの目の場所又は位置を（例えば、３次元空間で）決定しても良い。さらに、幾つかの実施形態では、視標追跡モジュール２０４は、モバイルコンピューティング装置１００に対するユーザの目の場所を決定するためにキャプチャ画像の中のユーザの目の場所に関連して、センサ１２２により生成されるデータ（例えば、深度／距離情報）を利用しても良い。
オブジェクト距離決定モジュール２０６は、モバイルコンピューティング装置１００に対する（例えば、環境対向カメラ１２８又はモバイルコンピューティング装置１００の別の基準点に対する）、環境対向カメラ１２８によりキャプチャした現実世界環境の中の１又は複数のオブジェクトの距離を決定する。上述のように、環境対向カメラ１２８の視界の中の、したがってそれによりキャプチャされた現実世界環境は、任意の数のオブジェクトを含み得る。したがって、個々の実施形態に依存して、オブジェクト距離決定モジュール２０６は、モバイルコンピューティング装置１００からのオブジェクトの各々の距離、又はモバイルコンピューティング装置１００からのオブジェクトの部分集合（例えば、単一のオブジェクト）の距離、を決定しても良い。例えば、幾つかの実施形態では、オブジェクト距離決定モジュール２０６は、距離を決定すべきキャプチャ画像の中の主要オブジェクトを識別する。このような主要オブジェクトは、例えば、ユーザの注視が向けられるオブジェクト、又はシーンの中の中心的オブジェクトであっても良い。幾つかの実施形態では、オブジェクト距離決定モジュール２０６は、簡単のために、シーンの中のオブジェクトの各々がモバイルコンピューティング装置１００からほぼ等距離にあると仮定する。さらに、幾つかの実施形態では、オブジェクト距離決定モジュール２０６は、オブジェクトの距離がモバイルコンピューティング装置１００から所定距離にあると仮定し又はそのように設定する。例えば、所定距離は、環境対向カメラ１２８の焦点長より有意に大きな値、無限遠を近似する値（例えば、利用可能な数値空間の中の最大数値）、又は別の所定距離値であっても良い。議論を容易にするために、無限遠を表す数値は、ここでは単に「無限遠」として参照されても良い。
理解されるべきことに、オブジェクト距離決定モジュール２０６は、任意の適切な技術及び／又はアルゴリズムを用いて、モバイルコンピューティング装置１００に対する現実世界環境の中のオブジェクトの距離を決定しても良い。例えば、幾つかの実施形態では、オブジェクト距離決定モジュール２０６は、モバイルコンピューティング装置１００に対するユーザの距離を決定することを参照して上述した（つまり、視標追跡モジュール２０４による）技術及びアルゴリズムのうちの１又は複数を使用しても良い。特に、環境対向カメラ１２８は、キャプチャ画像の中のオブジェクトの距離を決定するために深度データを生成する深度カメラ又は他の３Ｄカメラとして実現されても良い。追加又は代替で、オブジェクト距離決定モジュール２０６は、幾つかの実施形態では、モバイルコンピューティング装置１００までのオブジェクトの距離を推定するために、特定のオブジェクトの大きさに関する格納されたデータを参照しても良い。更に別の実施形態では、オブジェクト距離決定モジュール２０６は、センサ１２２により生成されるデータ（例えば、深度／距離情報）を利用して、モバイルコンピューティング装置１００に対するオブジェクトの距離及び／又は位置を決定しても良い。もちろん、幾つかの実施形態では、オブジェクト距離決定モジュール２０６は、特定のオブジェクトの距離を所定値に割り当てても良い。例えば、オブジェクト距離決定モジュール２０６は、オブジェクトの距離が所定の閾を超えると決定することに応答して、オブジェクトが無限に遠くにあると仮定しても良い。つまり、幾つかの実施形態では、少なくともモバイルコンピューティング装置１００から閾距離（例えば、４メートル）にあるオブジェクトは、それらが例えばモバイルコンピューティング装置１００から無限に遠くにあるかのうように扱われても良い。このような実施形態は、計算の差異が無視できるようになることを認識し得る（例えば、１０メートル及び２０メートルの距離に基づく計算は、ほぼ同じ結果を生じ得る）。後述のように、モバイルコンピューティング装置１００に対する（例えば、カメラ１２８に対する）オブジェクトの距離は、モバイルコンピューティング装置１００に対するオブジェクトの場所を決定するために、及び（装置パラメータ１３０に基づき）現実世界環境の逆投影を生成するために、使用されても良い。
画像投影モジュール２０８は、ディスプレイ１２０への、環境対向カメラ１２８によりキャプチャした現実世界環境の逆投影を生成する。説明のための実施形態では、画像投影モジュール２０８は、モバイルコンピューティング装置１００に対する現実世界環境の中のオブジェクトの距離（例えば、無限遠、所定距離、又は決定された距離）、モバイルコンピューティング装置１００に対するユーザの目の位置／場所、及び／又はモバイルコンピューティング装置１００の装置パラメータ１３０（例えば、カメラ１２６、１２８の固有パラメータ、モバイルコンピューティング装置１００又はディスプレイ１２０のサイズ、等）に基づき逆投影を生成する。上述のように、ディスプレイ１２０への現実世界環境を逆（つまりユーザの目に向けて）投影することにより、モバイルコンピューティング装置１００により隠される視覚的コンテンツがディスプレイ１２０に表示される。したがって、ユーザは、まるで彼女が窓を通して見ているように感じることができる。言い換えると、周辺のオブジェクトが表示される画像の中で二重にならないので、視覚的連続性が保たれる。理解されるべきことに、画像投影モジュール２０８は、モバイルコンピューティング装置１００のディスプレイ１２０上での表示のために逆投影画像を生成する任意の適切な技術及び／又はアルゴリズムを利用しても良い。後述するように、図４〜８は、そうするための説明のための実施形態を示す。
表示モジュール２１０は、モバイルコンピューティング装置１００のユーザが閲覧するためにディスプレイ１２０上で画像をレンダリングする。例えば、表示モジュール２１０は、画像投影モジュール２０８によりディスプレイ１２０上に生成される逆投影に基づき、画像をレンダリングしても良い。もちろん、幾つかの実施形態では、逆投影は、伝統的なシーンの中でディスプレイ１２０に「投影」されなくても良い。むしろ、対応する画像は、ディスプレイ１２０上でレンダリングするために生成されても良い。さらに、上述のように、幾つかの実施形態では、表示モジュール２１０は、拡張現実のために仮想オブジェクト、キャラクタ、及び／又は環境を含むよう逆投影画像を変更し、ディスプレイ１２０上で変更した画像をレンダリングしても良い。
通信モジュール２１２は、対応するネットワークを通じるモバイルコンピューティング装置１００とリモート装置との間の通信を処理する。例えば、幾つかの実施形態では、モバイルコンピューティング装置１００は、本願明細書に記載のモバイルコンピューティング装置１００の機能のうちの１又は複数をリモートコンピューティング装置にオフロードするために（例えば、逆投影画像の決定又は拡張現実の画像の変更のために）、リモートコンピューティング装置と通信しても良い。もちろん、このような分析に関連付けられる関連データは、リモートコンピューティング装置により送信され、モバイルコンピューティング装置１００の通信モジュール２１２により受信されても良い。
図３を参照すると、使用中、モバイルコンピューティング装置１００は、モバイルコンピューティング装置１００による表示のためにキャプチャ画像の視野を調整するための方法３００を実行しても良い。説明のための方法３００は、ブロック３０２及び３１０で開始する。ブロック３０２で、モバイルコンピューティング装置１００は、ユーザ対向カメラ１２６により、ユーザの顔の画像をキャプチャする。個々の実施形態に依存して、ユーザ対向カメラ１２６は、分析のために連続的に（例えば、ビデオストリームとして）又はユーザ入力（例えば、ボタン押下）に応答して、画像をキャプチャしても良い。ブロック３０４で、モバイルコンピューティング装置１００は、キャプチャ画像の中のユーザの目を識別する。上述のように、そうするために、モバイルコンピューティング装置１００は、任意の適切な技術及び／又はアルゴリズム（例えば、エッジ検出及び／又は画像セグメント化）を利用しても良い。さらに、個々の実施形態に依存して、モバイルコンピューティング装置１００は、ユーザの目のうちの片目又は両目の場所を決定し及び利用しても良い。
ブロック３０６で、モバイルコンピューティング装置１００は、ユーザ対向カメラ１２６又はモバイルコンピューティング装置１００の別の基準点に対するユーザの目の位置を決定する。そうする際に、モバイルコンピューティング装置１００は、ユーザ対向カメラ１２６に対するユーザの又はより詳細にはユーザの目の距離を決定する。上述のように、モバイルコンピューティング装置１００は、例えば、ユーザ対向カメラ１２６により生成される（つまり、ユーザ対向カメラ１２６が深度カメラ又は他の３Ｄカメラである場合）深度画像又は他の深度情報、ユーザ注視情報、センサ１２２により生成される距離情報、装置パラメータ１３０、及び／又は他の関連データに基づき、このような決定を行っても良い。ユーザ対向カメラ１２６に対するユーザの距離は、ユーザ対向カメラ１２６又はモバイルコンピューティング装置１００の他の基準点に対するユーザの目の位置を決定するために、キャプチャ画像の中のユーザの目の場所と関連して使用されても良い。装置パラメータ１３０は、モバイルコンピューティング装置１００のコンポーネントの互いに対する場所に関する情報を含んでも良く、それにより、原点のような基準点を有する座標系を確立する。原点であるとして選択される基準点は、個々の実施形態に依存して変化しても良く、例えば、ユーザ対向カメラ１２６の場所、環境対向カメラ１２８の場所、ディスプレイ１２０の中心、又は別の適切な場所であっても良い。
図示のように、図３の説明のための実施形態では、ブロック３０２〜３０８及びブロック３１０〜３１４は、並行して生じる。しかしながら、他の実施形態では、これらのブロックは順次実行されても良い。ブロック３１０で、モバイルコンピューティング装置１００は、環境対向カメラ１２８により、モバイルコンピューティング装置１００の現実世界環境の画像をキャプチャする。ユーザ対向カメラ１２６と同様に、分析のために連続的に（例えば、ビデオストリームとして）又はボタン押下のようなユーザ入力に応答して、画像をキャプチャしても良い。例えば、幾つかの実施形態では、ユーザは、モバイルコンピューティング装置１００がブロック３０２及び３１０の各々を実行する方法３００の実行を開始するために、何らかの入力を提供しても良い。上述のように、説明のための実施形態では、環境対向カメラ１２８は、ユーザ対向カメラ１２６と反対側に位置付けられる。したがって、環境対向カメラ１２８は、ユーザと同様の（つまり、同じ全体的方向の）視界を有する。
ブロック３１２で、モバイルコンピューティング装置１００は、ユーザ対向カメラ１２８又はモバイルコンピューティング装置１００の別の基準点に対する対応する現実世界環境の中の１又は複数のオブジェクトの距離を決定する。上述のように、モバイルコンピューティング装置１００は、例えば、環境対向カメラ１２８により生成される（つまり、環境対向カメラ１２８が深度カメラ又は他の３Ｄカメラである場合）深度画像、センサ１２２により生成される距離情報、装置パラメータ１３０、及び／又は他の関連データに基づき、このような決定を行っても良い。さらに、相対距離が決定されるオブジェクトは、個々の実施形態に依存して変化しても良い。例えば、上述のように、幾つかの実施形態では、モバイルコンピューティング装置１００は、キャプチャ画像の中の各々のオブジェクト又は各々の主要オブジェクトの相対距離を決定しても良い。一方で、他の実施形態では、モバイルコンピューティング装置１００は、キャプチャ画像の中の中心的オブジェクト（例えば、ユーザの注視が向けられる又はその他の場合には主要オブジェクトであると決定されるオブジェクト）の相対距離のみを決定しても良い。さらに、上述のように、モバイルコンピューティング装置１００は、ブロック３１４で、オブジェクトの距離を所定の距離に設定しても良い。
ブロック３１６で、モバイルコンピューティング装置１００は、モバイルコンピューティング装置１００に対する現実世界オブジェクトの距離（例えば、決定された距離又は所定距離）、モバイルコンピューティング装置１００に対するユーザの目の位置、及び／又は１又は複数の装置パラメータ１３０（例えば、カメラ１２６、１２８の固有パラメータ、モバイルコンピューティング装置１００又はディスプレイ１２０のサイズ、等）に基づき逆投影を生成する。上述のように、モバイルコンピューティング装置１００は、そうするために、任意の適切なアルゴリズム及び／又は技術を用いて逆投影を生成しても良い。例えば、幾つかの実施形態では、モバイルコンピューティング装置１００は、図４に示すような方法４００を実行することにより逆投影を生成しても良い。他の実施形態では、図６に示すような方法６００を実行することにより逆投影を生成しても良い。もちろん、図４及び９が説明のために提供され、本願明細書に記載の概念を限定しないことが理解されるべきである。
逆投影が決定された後に、ブロック３１８で、モバイルコンピューティング装置１００は、生成された逆投影に基づき、ディスプレイ１２０上に画像を表示する。そうする際に、ブロック３２０で、モバイルコンピューティング装置１００は、上述のように拡張現実の目的で逆投影又は対応する画像を変更しても良い。例えば、モバイルコンピューティング装置１００は、ディスプレイ１２０上でレンダリングするために、仮想キャラクタ、オブジェクト、及び／又は他の仮想特徴を、構築され／生成された逆投影画像に組み込んでも良い。もちろん、幾つかの実施形態では、閲覧者が、まるでディスプレイ１２０が窓であり、その窓を通じて彼女がモバイルコンピューティング装置１００により隠されている現実世界環境を見ることができると真に感じるように、モバイルコンピューティング装置１００は、拡張現実又は他の目的のために逆投影を変更しなくても良い。
図４を参照すると、説明のための方法４００は、ブロック４０２で開始する。ブロック４０２では、モバイルコンピューティング装置１００は、逆投影を生成すべきか否かを決定する。生成すべきである場合、ブロック４０４で、モバイルコンピューティング装置１００は、図５に示すようなディスプレイ１２０の次の表示ピクセル５０６を通り現実世界オブジェクト５０８への、ユーザの目５０４からの視線５０２を決定する。理解されるべきことに、どの表示ピクセル５０６が「次の」表示ピクセル５０６を構成するかは、個々の実施形態に依存して変化しても良い。説明のための実施形態では、モバイルコンピューティング装置１００は、視線５０２が方法４００の実行中に「次の」表示ピクセル５０６として未だ決定されていない表示ピクセル５０６を選択する。更に理解されるべきことに、他の実施形態では、モバイルコンピューティング装置１００は、ディスプレイ１２０の別のサブ領域（つまり、例えば異なる粒度レベルにおける表示ピクセル以外のサブ領域）を通る視線５０２を決定しても良い。
上述のように、モバイルコンピューティング装置１００の装置パラメータ１３０は、モバイルコンピューティング装置１００の種々のコンポーネントの相対位置に関するデータを含み、例えば、原点のような何らかの基準点を有する３次元座標系を確立しても良い。例えば、幾つかの実施形態では、環境対向カメラ１２８は、原点であっても良い。理解されるべきことに、ディスプレイ１２０上の全てのピクセル／点は、環境対向カメラ１２８に対して何らかの点に位置を特定される。したがって、幾つかの実施形態では、モバイルコンピューティング装置１００は、上述の分析に基づき、ユーザの目５０４及びオブジェクト５０８の対応する３次元座標を決定する。理解されるべきことに、ユーザの目５０４、表示ピクセル５０６、及びオブジェクト５０８の座標又は相対位置を備えることにより、モバイルコンピューティング装置１００は、説明のための実施形態において、ユーザの目５０４から表示ピクセル５０６の各々を通りオブジェクト５０８に至る対応する視線５０２を決定する。
ブロック４０６で、モバイルコンピューティング装置１００は、対応する視線５０２が向けられる現実世界オブジェクトの位置／場所５１０に対応する、環境対向カメラ１２８によりキャプチャされる現実世界環境の画像（図３のブロック３１０を参照）の画像ピクセルを識別する。例えば、環境対向カメラ１２８の固有パラメータ（例えば、焦点長）及びオブジェクト５０８の現実世界座標又は相対位置のような装置パラメータ１３０に基づき、モバイルコンピューティング装置１００は、環境対向カメラ１２８によりキャプチャされた画像が現実世界環境からキャプチャ画像座標へどのように投影されるかを決定しても良い。このような実施形態では、モバイルコンピューティング装置１００は、それにより、視線５０２が向けられる現実世界座標に関連する画像ピクセル（つまり、位置５１０）を識別しても良い。
ブロック４０８で、モバイルコンピューティング装置１００は、任意の表示ピクセル５０６が残っているか否かを決定する。残っている場合、方法４００はブロック４０４に戻り、モバイルコンピューティング装置１００は、ユーザの目５０４から次の表示ピクセル５０６を通り現実世界オブジェクト５０８へ至る視線５０２を決定する。言い換えると、モバイルコンピューティング装置１００は、ディスプレイ１２０の各々の表示ピクセル５０６（又はディスプレイ１２０の他のサブ領域）について、ユーザの目５０４から対応する表示ピクセル５０６を通り現実世界環境の中のオブジェクト５０８へ至る視線５０２を決定し、各々の決定した視線５０２について、対応する視線５０２が向けられる現実世界環境の中のオブジェクトの場所に対応する、環境対向カメラ１２８によりキャプチャされた現実世界環境の画像の画像ピクセルを識別する。ブロック４１０で、モバイルコンピューティング装置１００は、モバイルコンピューティング装置１００において表示するために、識別された画像ピクセルからの画像（例えば、逆投影画像）を構築する。説明のための実施形態では、モバイルコンピューティング装置１００は、生成された画像の適切な画像座標にある識別された画像ピクセルを有する画像を生成する。言い換えると、モバイルコンピューティング装置１００は、視線５０２が向けられるディスプレイ１２０上の対応する点に各々の視線５０２が向けられる場所からの視覚的コンテンツを逆投影しても良い。
図６を参照すると、使用中、モバイルコンピューティング装置１００は、上述のようにモバイルコンピューティング装置１００の現実世界環境の逆投影を生成するための方法６００を実行しても良い。説明のための方法６００は、ブロック６０２で開始する。ブロック６０２では、モバイルコンピューティング装置１００は、逆投影を生成すべきか否かを決定する。生成すべきである場合、ブロック６０４で、モバイルコンピューティング装置１００は、図７〜８に関連して示されるような、ユーザ対向カメラ１２６（又はモバイルコンピューティング装置１００の他の基準点）に対するユーザ７０６の距離７０４と、装置パラメータ１３０と、に基づき、ユーザの視野からのモバイルコンピューティング装置１００の角サイズ７０２を決定する。上述のように、装置パラメータ１３０は、例えば、モバイルコンピューティング装置１００及び／又はモバイルコンピューティング装置１００のコンポーネントのサイズ、形状、及び他の特性を含んでも良い。理解されるべきことに、オブジェクトの角サイズは、オブジェクトからの所与の距離にある基準点（例えば、閲覧者又はカメラ）からのオブジェクトを包含するために必要な視角を示す。説明のための実施形態では、オブジェクト（例えば、モバイルコンピューティング装置１００）の視野点（例えば、ユーザの目又は環境対向カメラ１２８）からの角サイズは、δ＝２ａｒｃｔａｎ（ｄ／２Ｄ）に従い決定される。ここで、δはオブジェクトの角サイズであり、ｄは対応するオブジェクトの実際のサイズであり、Ｄは、対応するオブジェクトと視野点（つまり、その点から角サイズが決定される点）との間の距離である。
他の実施形態では、しかしながら、オブジェクトの角サイズは、他の方法で決定されても良い。更に理解されるべきことに、角サイズは本願明細書では２次元を参照して議論されることが多いが、本願明細書に記載の技術は、３次元にも同様に適用できる（例えば、水平角サイズ及び垂直角サイズの両方に従い、オブジェクトの斜め方向に渡る角サイズを決定し、３次元サイズを２次元に投影し、上述の角サイズの式の３次元に相当するものを利用する、等）。
ブロック６０６で、モバイルコンピューティング装置１００は、ユーザ７０６に対する現実世界オブジェクト７１０の距離７０８を決定する。説明のための実施形態では、モバイルコンピューティング装置１００は、ユーザ７０６のユーザ対向カメラ１２６までの距離７０４（図３のブロック３０８を参照）と、現実世界オブジェクト７１０の環境対向カメラ１２８又はモバイルコンピューティング装置１００の他の基準点までの距離７１０（図３のブロック３１２を参照）と、に基づきこのような決定を行う。そうする際に、モバイルコンピューティング装置１００は、幾つかの実施形態では、ユーザ７０６、モバイルコンピューティング装置１００、及びオブジェクト７１０が相対的に同一線上にあると仮定し、ユーザ７０６と現実世界オブジェクト７１０との間の距離７０８を決定するために２つの前に計算した距離を加算する（例えば、オブジェクトがユーザから遠い場合）。他の実施形態では、モバイルコンピューティング装置１００は、ユーザ７０６と現実世界オブジェクト７１０との間の距離７０８を決定するために更に高度なアルゴリズムを利用しても良い。例えば、モバイルコンピューティング装置１００は、モバイルコンピューティング装置１００、ユーザ７０６（又はより詳細にはユーザの目）、及びオブジェクト７１０の互いに対する又は特定の基準点（例えば所定の原点）に対する相対位置、モバイルコンピューティング装置１００及びユーザ７０６とモバイルコンピューティング装置１００との間の及びモバイルコンピューティング装置１００とオブジェクト７１０との間の（例えば三角形の特性に基づき）知られている距離７０４、７１２に基づき、このような決定を行っても良い。
ブロック６０８で、モバイルコンピューティング装置１００は、モバイルコンピューティング装置１００によりユーザの視野から隠される現実世界オブジェクト７１０の領域７１４を決定する。図示の実施形態では、モバイルコンピューティング装置１００は、ユーザの視野からのモバイルコンピューティング装置１００の角サイズ７０２と、ユーザ７０６に対する現実世界オブジェクト７１０の距離７０８と、に基づき、このような決定を行う。
ブロック６１０で、モバイルコンピューティング装置１００は、ユーザの視野から隠される現実世界オブジェクトの領域７１４と、現実世界オブジェクトの環境対向カメラ１２８までの距離７１２と、に基づき、環境対向カメラ１２８の補正ズーム倍率を決定する。言い換えると、モバイルコンピューティング装置１００は、モバイルコンピューティング装置１００によりユーザの視野から隠されるオブジェクト７１０の領域７１４に対応する画像を環境対向カメラ１２８によりキャプチャするために必要な、環境対向カメラ１２８のズーム倍率を決定する。上述のように、装置パラメータ１３０は、カメラ１２８の固有パラメータ（例えば、焦点長、画像投影パラメータ、等）を含んでも良い。理解されるべきことに、このような装置パラメータ１３０は、幾つかの実施形態では、カメラ１２８から特定の距離にある環境の特定の領域をキャプチャすることに対応するズーム倍率を特定するために使用されても良い。幾つかの実施形態では、ズーム倍率は、環境対向カメラ１２８が、モバイルコンピューティング装置１００によりユーザの視野から隠されるオブジェクトの領域７１４から、オブジェクト７１０の視覚的コンテンツ（例えば、オブジェクト７１０の特徴）に対応する画像ピクセルのみを有する画像をキャプチャするように、決定される。
説明のための実施形態のブロック６１２で、補正ズーム倍率を決定するために、モバイルコンピューティング装置１００は、ユーザの視野から隠される現実世界オブジェクト７１０の領域７１４に対応する、環境対向カメラ１２８の視野からの現実世界オブジェクト７１０の領域７１８の角サイズ７１６を決定する。モバイルコンピューティング装置１００は、例えば、装置パラメータ１３０及び／又は対応する形状に基づき、このような決定を行っても良い。つまり、幾つかの実施形態では、モバイルコンピューティング装置１００は、領域７１４のサイズ、距離７１２、及び上述の角サイズの式に基づき、角サイズ７１６を決定しても良い。理解されるべきことに、幾つかの実施形態では、領域７１８及び領域７１４は、同じ領域である。一方で、他の実施形態では、これらの領域はある程度異なっても良い。同様に、補正ズーム倍率は、（例えば、技術的、ハードウェア、及び／又は空間的制限に基づき）領域７１８を生成するために必要な精細なズームと異なっても良い。ブロック６１４で、モバイルコンピューティング装置１００は、モバイルコンピューティング装置１００において表示するために、補正ズーム倍率により画像を生成する。例えば、幾つかの実施形態で、モバイルコンピューティング装置１００は、同じ視野からであるが異なるズーム倍率を有する環境対向カメラ１２８により、新しい画像をキャプチャしても良い。他の実施形態では、モバイルコンピューティング装置１００は、例えば、所望のズーム倍率及び他の特性を有する画像を生成するために、環境対向カメラ１２８によりキャプチャされる元の画像を変更しても良い。
図９〜１１を参照すると、モバイルコンピューティング装置１００の（例えば図９を参照）及びモバイルコンピューティング装置１００を保持するユーザの（例えば図１０−１１を参照）現実世界環境９００の簡略図が示される。上述のように、現実世界環境９００は、環境対向カメラ１２８によりキャプチャされ、ディスプレイ１２０上でレンダリングされても良い。さらに、拡張現実システムが利用される状況では、キャプチャ画像は、例えば、モバイルコンピューティング装置１００における表示のために、仮想キャラクタ、オブジェクト、又は他の特徴をキャプチャ画像に組み込むために変更されても良い。図３の方法３００が利用されない実施形態では（つまり、キャプチャ画像又は拡張現実のために変更されたバージョンがモバイルコンピューティング装置１００のディスプレイ１２０に表示される場合）、ディスプレイ１２０に表示される画像９０２は、モバイルコンピューティング装置１００の周辺の現実世界環境９００の中で見える現実世界オブジェクト９０４を含む（例えば、次１０を参照）。言い換えると、ユーザに見える特定の現実世界オブジェクト９０４は、表示画像９０２の中で複製され、それにより視覚フローを遮っている。しかしながら、図３の方法３００が利用される実施形態では、ディスプレイ１２０において表示される画像９０６は、ユーザと同じ視野から見えるモバイルコンピューティング装置１００により隠されるものと同じコンテンツを含む。表示画像９０６と背景の現実世界環境９００との間の視覚的連続性が維持されるので、ユーザは、まるで彼女が窓を通じて現実世界環境９００を見ているように感じる。
本願明細書に開示の技術の説明のための例が以下に与えられる。本技術の一実施形態は、以下に記載する例のうちの任意の１又は複数及びそれらの任意の組合せを含んでも良い。
例１は、表示のためにキャプチャ画像の視野を調整するモバイルコンピューティング装置であって、前記モバイルコンピューティング装置は、ディスプレイと、第１のカメラ及び第２のカメラを備えるカメラシステムであって、前記カメラシステムは、（ｉ）前記第１のカメラで前記モバイルコンピューティング装置のユーザの第１の画像と、（ｉｉ）前記第２のカメラで前記モバイルコンピューティング装置の現実世界環境の第２の画像と、をキャプチャする、カメラシステムと、前記第１のキャプチャ画像に基づき、前記モバイルコンピューティング装置に対する前記ユーザの目の位置を決定する視標追跡モジュールと、前記第２のキャプチャ画像に基づき、前記モバイルコンピューティング装置に対する前記現実世界環境の中のオブジェクトの距離を決定するオブジェクト距離決定モジュールと、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記決定された距離と、前記モバイルコンピューティング装置に対する前記ユーザの目の前記決定された位置と、前記モバイルコンピューティング装置の少なくとも１つの装置パラメータと、に基づき、前記第２のカメラによりキャプチャされた前記現実世界環境の前記ディスプレイへの逆投影を生成する画像生成モジュールと、を有するモバイルコンピューティング装置を含む。
例２は、例１の主題を含み、前記逆投影を生成することは、前記ディスプレイの各々の表示ピクセルについて、前記ユーザの目から対応する表示ピクセルを通じて前記現実世界環境の中の前記オブジェクトへの視線を決定することと、各々の決定した視線について、前記対応する視線が向けられる前記現実世界環境の中の前記オブジェクトの位置に対応する、前記現実世界環境の前記キャプチャした第２の画像の画像ピクセルを識別することと、前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記識別した画像ピクセルに基づき、逆投影画像を構築することと、を含む。
例３は、例１及び２のうちにいずれかの主題を含み、前記逆投影を生成することは、前記ユーザの視野からの前記モバイルコンピューティング装置の角サイズを決定することと、前記ユーザに対する前記現実世界環境の中の前記オブジェクトの距離を決定することと、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの領域を決定することと、前記モバイルコンピューティング装置により隠される前記オブジェクトの前記決定された領域と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記第２のカメラの補正ズーム倍率を決定することと、前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記補正ズーム倍率に基づき、逆投影画像を生成することと、を含む。
例４は、例１〜３のいずれかの主題を含み、前記補正ズーム倍率を決定することは、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する、前記第２のカメラの視野からの前記オブジェクトの領域の角サイズを決定することを含む。
例５は、例１〜４のいずれかの主題を含み、前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する画像を前記第２のカメラでキャプチャするために必要なズーム倍率である。
例６は、例１〜５のいずれかの主題を含み、前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域から、前記オブジェクトの特徴に対応する画像ピクセルのみを有する画像を前記第２のカメラでキャプチャするために必要なズーム倍率である。
例７は、例１〜６のいずれかの主題を含み、前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズを決定することは、前記モバイルコンピューティング装置に対する前記ユーザの目の距離と、前記モバイルコンピューティング装置のサイズと、に基づき、前記ユーザの視野からの前記モバイルコンピューティング装置の角サイズを決定することを含み、前記ユーザに対する前記オブジェクトの前記距離を決定することは、前記モバイルコンピューティング装置に対する前記ユーザの目の前記距離と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記ユーザに対する前記オブジェクトの前記距離を決定することを含み、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域を決定することは、前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズと、前記ユーザに対する前記オブジェクトの前記距離と、に基づき、前記モバイルコンピューティング装置により隠される前記オブジェクトの前記領域の前記角サイズを決定することを含む。
例８は、例１〜７のいずれかの主題を含み、角サイズδは、δ＝２ａｒｃｔａｎ（ｄ／２Ｄ）に従い決定され、ｄは対応するオブジェクトの実際のサイズであり、Ｄは、前記対応するオブジェクトと点との間の距離であり、前記点は、前記角サイズが決定される視野である。
例９は、例１〜８のいずれかの主題を含み、前記ユーザの前記第１の画像をキャプチャすることは、前記ユーザの顔の画像をキャプチャすることを有し、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定することは、前記ユーザの顔の前記画像の中の前記ユーザの目の場所を識別することを有する。
例１０は、例１〜８のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定することは、前記ユーザの目の前記モバイルコンピューティング装置までの距離を決定することを有する。
例１１は、例１〜１０のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定することは、前記第１のカメラに対する前記ユーザの目の位置を決定することを含み、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定することは、前記第２のカメラに対する前記オブジェクトの距離を決定することを含む。
例１２は、例１〜１１のいずれかの主題を含み、前記第１のカメラは、前記ディスプレイに対して、前記第２のカメラの視界と反対方向の視界を有する。
例１３は、例１〜１２のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定することは、前記モバイルコンピューティング装置に対する前記オブジェクトの距離を所定の距離に設定することを含む。
例１４は、例１〜１３のいずれかの主題を含み、前記所定の距離は、前記第２のカメラの焦点長より大きい。
例１５は、例１〜１４のいずれかの主題を含み、前記第２のカメラによりキャプチャされた前記現実世界環境の前記生成された逆投影に基づき、前記ディスプレイに画像を表示する表示モジュール、を更に有する。
例１６は、例１〜１５のいずれかの主題を含み、前記生成された逆投影に基づき前記画像を表示することは、拡張現実特徴を含むよう変更された前記逆投影に対応する画像を表示することを含む。
例１７は、例１〜１６のいずれかの主題を含み、前記少なくとも１つの装置パラメータは、（ｉ）前記第２のカメラの焦点長、（ｉｉ）前記ディスプレイのサイズ、（ｉｉｉ）前記モバイルコンピューティング装置のサイズ、又は（ｉｖ）基準点に対する前記モバイルコンピューティング装置のコンポーネントの位置、のうちの少なくとも１つを含む。
例１８は、モバイルコンピューティング装置で表示するためにキャプチャ画像の視野を調整する方法であって、前記方法は、前記モバイルコンピューティング装置の第１のカメラにより、前記モバイルコンピューティング装置のユーザの第１の画像をキャプチャするステップと、前記モバイルコンピューティング装置により、前記キャプチャした第１の画像に基づき、前記モバイルコンピューティング装置に対する前記ユーザの目の位置を決定するステップと、前記第１のカメラと異なる前記モバイルコンピューティング装置の第２のカメラにより、前記モバイルコンピューティング装置の現実世界環境の第２の画像をキャプチャするステップと、前記モバイルコンピューティング装置により、前記キャプチャした第２の画像に基づき、前記モバイルコンピューティング装置に対する前記現実世界環境の中のオブジェクトの距離を決定するステップと、前記モバイルコンピューティング装置により、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記決定した距離と、前記モバイルコンピューティング装置に対する前記ユーザの目の前記決定した位置と、前記モバイルコンピューティング装置の少なくとも１つの装置パラメータと、に基づき、前記モバイルコンピューティング装置のディスプレイへの、前記第２のカメラによりキャプチャした前記現実世界環境の逆投影を生成するステップと、を有する方法を含む。
例１９は、例１８の主題を含み、前記逆投影を生成するステップは、前記ディスプレイの各々の表示ピクセルについて、前記ユーザの目から対応する表示ピクセルを通じて前記現実世界環境の中の前記オブジェクトへの視線を決定するステップと、各々の決定した視線について、前記対応する視線が向けられる前記現実世界環境の中の前記オブジェクトの位置に対応する、前記現実世界環境の前記キャプチャした第２の画像の画像ピクセルを識別するステップと、前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記識別した画像ピクセルに基づき、逆投影画像を構築するステップと、を含む。
例２０は、例１８及び１９のうちにいずれかの主題を含み、前記逆投影を生成するステップは、前記ユーザの視野からの前記モバイルコンピューティング装置の角サイズを決定するステップと、前記ユーザに対する前記現実世界環境の中の前記オブジェクトの距離を決定するステップと、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの領域を決定するステップと、前記モバイルコンピューティング装置により隠される前記オブジェクトの前記決定された領域と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記第２のカメラの補正ズーム倍率を決定するステップと、前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記補正ズーム倍率に基づき、逆投影画像を生成するステップと、を含む。
例２１は、例１８〜２０のいずれかの主題を含み、前記補正ズーム倍率を決定するステップは、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する、前記第２のカメラの視野からの前記オブジェクトの領域の角サイズを決定するステップを含む。
例２２は、例１８〜２１のいずれかの主題を含み、前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する画像を前記第２のカメラでキャプチャするために必要なズーム倍率である。
例２３は、例１８〜２２のいずれかの主題を含み、前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域から、前記オブジェクトの特徴に対応する画像ピクセルのみを有する画像を前記第２のカメラでキャプチャするために必要なズーム倍率である。
例２４は、例１８〜２３のいずれかの主題を含み、前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズを決定するステップは、前記モバイルコンピューティング装置に対する前記ユーザの目の距離と、前記モバイルコンピューティング装置のサイズと、に基づき、前記ユーザの視野からの前記モバイルコンピューティング装置の角サイズを決定するステップを含み、前記ユーザに対する前記オブジェクトの前記距離を決定するステップは、前記モバイルコンピューティング装置に対する前記ユーザの目の前記距離と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記ユーザに対する前記オブジェクトの前記距離を決定するステップを含み、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域を決定するステップは、前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズと、前記ユーザに対する前記オブジェクトの前記距離と、に基づき、前記モバイルコンピューティング装置により隠される前記オブジェクトの前記領域を決定するステップを含む。
例２５は、例１８〜２４のいずれかの主題を含み、角サイズδは、δ＝２ａｒｃｔａｎ（ｄ／２Ｄ）に従い決定され、ｄは対応するオブジェクトの実際のサイズであり、Ｄは、前記対応するオブジェクトと点との間の距離であり、前記点は、前記角サイズが決定される視野である。
例２６は、例１８〜２５のいずれかの主題を含み、前記ユーザの前記第１の画像をキャプチャするステップは、前記ユーザの顔の画像をキャプチャするステップを有し、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定するステップは、前記ユーザの顔の前記画像の中の前記ユーザの目の場所を識別するステップを有する。
例２７は、例１８〜２６のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定するステップは、前記ユーザの目の前記モバイルコンピューティング装置までの距離を決定するステップを有する。
例２８は、例１８〜２７のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定するステップは、前記第１のカメラに対する前記ユーザの目の位置を決定するステップを含み、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定するステップは、前記第２のカメラに対する前記オブジェクトの距離を決定するステップを含む。
例２９は、例１８〜２８のいずれかの主題を含み、前記第１のカメラは、前記ディスプレイに対して、前記第２のカメラの視界と反対方向の視界を有する。
例３０は、例１８〜２９のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定するステップは、前記モバイルコンピューティング装置に対する前記オブジェクトの距離を所定の距離に設定するステップを含む。
例３１は、例１８〜３０のいずれかの主題を含み、前記所定の距離は、前記第２のカメラの焦点長より大きい。
例３２は、例１８〜３１のいずれかの主題を含み、前記モバイルコンピューティング装置により、前記第２のカメラによりキャプチャされた前記現実世界環境の前記生成された逆投影に基づき、前記ディスプレイに画像を表示するステップ、を更に有する。
例３３は、例１８〜３２のいずれかの主題を含み、前記生成された逆投影に基づき前記画像を表示するステップは、拡張現実特徴を含むよう変更された前記逆投影に対応する画像を表示するステップを含む。
例３４は、例１８〜３３のいずれかの主題を含み、前記少なくとも１つの装置パラメータは、（ｉ）前記第２のカメラの焦点長、（ｉｉ）前記ディスプレイのサイズ、（ｉｉｉ）前記モバイルコンピューティング装置のサイズ、又は（ｉｖ）基準点に対する前記モバイルコンピューティング装置のコンポーネントの位置、のうちの少なくとも１つを含む。
例３５は、プロセッサと複数の命令を格納しているメモリとを備えるモバイルコンピューティング装置を有し、前記命令は、プロセッサにより実行されると、前記モバイルコンピューティング装置に例１８〜３４のいずれかに記載の方法を実行させる、モバイルコンピューティング装置を含む。
例３６は、複数の命令を有する１又は複数の機械可読記憶媒体であって、前記命令は、実行されることに応答して、請求項１８乃至３４のいずれかに記載の方法を実行するモバイルコンピューティング装置を生じる、１又は複数の機械可読記憶媒体を含む。
例３７は、表示するためにキャプチャ画像の視野を調整するモバイルコンピューティング装置であって、前記モバイルコンピューティング装置は、前記モバイルコンピューティング装置の第１のカメラにより、前記モバイルコンピューティング装置のユーザの第１の画像をキャプチャする手段と、前記キャプチャした第１の画像に基づき、前記モバイルコンピューティング装置に対する前記ユーザの目の位置を決定する手段と、前記第１のカメラと異なる前記モバイルコンピューティング装置の第２のカメラにより、前記モバイルコンピューティング装置の現実世界環境の第２の画像をキャプチャする手段と、前記キャプチャした第２の画像に基づき、前記モバイルコンピューティング装置に対する前記現実世界環境の中のオブジェクトの距離を決定する手段と、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記決定した距離と、前記モバイルコンピューティング装置に対する前記ユーザの目の前記決定した位置と、前記モバイルコンピューティング装置の少なくとも１つの装置パラメータと、に基づき、前記モバイルコンピューティング装置のディスプレイへの、前記第２のカメラによりキャプチャした前記現実世界環境の逆投影を生成する手段と、を有するモバイルコンピューティング装置を含む。
例３８は、例３７の主題を含み、前記逆投影を生成する手段は、前記ディスプレイの各々の表示ピクセルについて、前記ユーザの目から対応する表示ピクセルを通じて前記現実世界環境の中の前記オブジェクトへの視線を決定する手段と、各々の決定した視線について、前記対応する視線が向けられる前記現実世界環境の中の前記オブジェクトの位置に対応する、前記現実世界環境の前記キャプチャした第２の画像の画像ピクセルを識別する手段と、前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記識別した画像ピクセルに基づき、逆投影画像を構築する手段と、を含む。
例３９は、例３７及び３８のうちにいずれかの主題を含み、前記逆投影を生成する手段は、前記ユーザの視野からの前記モバイルコンピューティング装置の角サイズを決定する手段と、前記ユーザに対する前記現実世界環境の中の前記オブジェクトの距離を決定する手段と、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの領域を決定する手段と、前記モバイルコンピューティング装置により隠される前記オブジェクトの前記決定された領域と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記第２のカメラの補正ズーム倍率を決定する手段と、前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記補正ズーム倍率に基づき、逆投影画像を生成する手段と、を含む。
例４０は、例３７〜３９のいずれかの主題を含み、前記補正ズーム倍率を決定する手段は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する、前記第２のカメラの視野からの前記オブジェクトの領域の角サイズを決定する手段を含む。
例４１は、例３７〜４０のいずれかの主題を含み、前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する画像を前記第２のカメラでキャプチャするために必要なズーム倍率である。
例４２は、例３７〜４１のいずれかの主題を含み、前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域から、前記オブジェクトの特徴に対応する画像ピクセルのみを有する画像を前記第２のカメラでキャプチャするために必要なズーム倍率である。
例４３は、例３７〜４２のいずれかの主題を含み、前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズを決定する手段は、前記モバイルコンピューティング装置に対する前記ユーザの目の距離と、前記モバイルコンピューティング装置のサイズと、に基づき、前記ユーザの視野からの前記モバイルコンピューティング装置の角サイズを決定する手段を含み、前記ユーザに対する前記オブジェクトの前記距離を決定する手段は、前記モバイルコンピューティング装置に対する前記ユーザの目の前記距離と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記ユーザに対する前記オブジェクトの前記距離を決定する手段を含み、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域を決定する手段は、前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズと、前記ユーザに対する前記オブジェクトの前記距離と、に基づき、前記モバイルコンピューティング装置により隠される前記オブジェクトの前記領域を決定する手段を含む。
例４４は、例３７〜４３のいずれかの主題を含み、角サイズδは、δ＝２ａｒｃｔａｎ（ｄ／２Ｄ）に従い決定され、ｄは対応するオブジェクトの実際のサイズであり、Ｄは、前記対応するオブジェクトと点との間の距離であり、前記点は、前記角サイズが決定される視野である。
例４５は、例３７〜４４のいずれかの主題を含み、前記ユーザの前記第１の画像をキャプチャする手段は、前記ユーザの顔の画像をキャプチャする手段を有し、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定する手段は、前記ユーザの顔の前記画像の中の前記ユーザの目の場所を識別する手段を有する。
例４６は、例３７〜４５のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定する手段は、前記ユーザの目の前記モバイルコンピューティング装置までの距離を決定する手段を有する。
例４７は、例３７〜２７のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定する手段は、前記第１のカメラに対する前記ユーザの目の位置を決定する手段を含み、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定する手段は、前記第２のカメラに対する前記オブジェクトの距離を決定する手段を含む。
例４８は、例３７〜４７のいずれかの主題を含み、前記第１のカメラは、前記ディスプレイに対して、前記第２のカメラの視界と反対方向の視界を有する。
例４９は、例３７〜４８のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定する手段は、前記モバイルコンピューティング装置に対する前記オブジェクトの距離を所定の距離に設定する手段を含む。
例５０は、例３７〜４９のいずれかの主題を含み、前記所定の距離は、前記第２のカメラの焦点長より大きい。
例５１は、例３７〜５０のいずれかの主題を含み、前記第２のカメラによりキャプチャされた前記現実世界環境の前記生成された逆投影に基づき、前記ディスプレイに画像を表示する手段、を更に有する。
例５２は、例３７〜５１のいずれかの主題を含み、前記生成された逆投影に基づき前記画像を表示する手段は、拡張現実特徴を含むよう変更された前記逆投影に対応する画像を表示する手段を含む。
例５３は、例３７〜５２のいずれかの主題を含み、前記少なくとも１つの装置パラメータは、（ｉ）前記第２のカメラの焦点長、（ｉｉ）前記ディスプレイのサイズ、（ｉｉｉ）前記モバイルコンピューティング装置のサイズ、又は（ｉｖ）基準点に対する前記モバイルコンピューティング装置のコンポーネントの位置、のうちの少なくとも１つを含む。

Claims (26)

  1. 表示のためにキャプチャ画像の視野を調整するモバイルコンピューティング装置であって、前記モバイルコンピューティング装置は、
    ディスプレイと、
    第１のカメラ及び第２のカメラを備えるカメラシステムであって、前記カメラシステムは、（ｉ）前記第１のカメラで前記モバイルコンピューティング装置のユーザの第１の画像と、（ｉｉ）前記第２のカメラで前記モバイルコンピューティング装置の現実世界環境の第２の画像と、をキャプチャする、カメラシステムと、
    前記キャプチャした第１の画像に基づき、前記モバイルコンピューティング装置に対する前記ユーザの目の位置を決定する視標追跡モジュールと、
    前記キャプチャした第２の画像に基づき、前記モバイルコンピューティング装置に対する前記現実世界環境の中のオブジェクトの距離を決定するオブジェクト距離決定モジュールと、
    前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記決定された距離と、前記モバイルコンピューティング装置に対する前記ユーザの目の前記決定された位置と、前記モバイルコンピューティング装置の少なくとも１つの装置パラメータと、に基づき、前記第２のカメラによりキャプチャされた前記現実世界環境の前記ディスプレイへの逆投影を生成する画像生成モジュールと、
    を有するモバイルコンピューティング装置。
  2. 前記逆投影を生成することは、
    前記ディスプレイの各々の表示ピクセルについて、前記ユーザの目から対応する表示ピクセルを通じて前記現実世界環境の中の前記オブジェクトへの視線を決定することと、
    各々の決定した視線について、前記対応する視線が向けられる前記現実世界環境の中の前記オブジェクトの位置に対応する、前記現実世界環境の前記キャプチャした第２の画像の画像ピクセルを識別することと、
    前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記識別した画像ピクセルに基づき、逆投影画像を構築することと、
    を含む、請求項１に記載のモバイルコンピューティング装置。
  3. 前記逆投影を生成することは、
    前記ユーザの視野からの前記モバイルコンピューティング装置の角サイズを決定することと、
    前記ユーザに対する前記現実世界環境の中の前記オブジェクトの距離を決定することと、
    前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの領域を決定することと、
    前記モバイルコンピューティング装置により隠される前記オブジェクトの前記決定された領域と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記第２のカメラの補正ズーム倍率を決定することと、
    前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記補正ズーム倍率に基づき、逆投影画像を生成することと、
    を含む、請求項１に記載のモバイルコンピューティング装置。
  4. 前記補正ズーム倍率を決定することは、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する、前記第２のカメラの視野から前記オブジェクトの領域の角サイズを決定することを含む、請求項３に記載のモバイルコンピューティング装置。
  5. 前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する画像を前記第２のカメラでキャプチャするために必要なズーム倍率である、請求項３に記載のモバイルコンピューティング装置。
  6. 前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域から、前記オブジェクトの特徴に対応する画像ピクセルだけを有する画像を、前記第２のカメラでキャプチャするために必要なズーム倍率である、請求項５に記載のモバイルコンピューティング装置。
  7. 前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズを決定することは、前記モバイルコンピューティング装置に対する前記ユーザの目の距離と、前記モバイルコンピューティング装置のサイズと、に基づき、前記ユーザの視野からの前記モバイルコンピューティング装置の角サイズを決定することを含み、
    前記ユーザに対する前記オブジェクトの前記距離を決定することは、前記モバイルコンピューティング装置に対する前記ユーザの目の前記距離と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記ユーザに対する前記オブジェクトの前記距離を決定することを含み、
    前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域を決定することは、前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズと、前記ユーザに対する前記オブジェクトの前記距離と、に基づき、前記モバイルコンピューティング装置により隠される前記オブジェクトの前記領域の前記角サイズを決定することを含む、
    請求項３に記載のモバイルコンピューティング装置。
  8. 角サイズδは、δ＝２ａｒｃｔａｎ（ｄ／２Ｄ）に従い決定され、ｄは対応するオブジェクトの実際のサイズであり、Ｄは、前記対応するオブジェクトと点との間の距離であり、前記点は、前記角サイズが決定される視野である、請求項３に記載のモバイルコンピューティング装置。
  9. 前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定することは、前記第１のカメラに対する前記ユーザの目の位置を決定することを含み、
    前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定することは、前記第２のカメラに対する前記オブジェクトの距離を決定することを含む、
    請求項１乃至８のいずれか一項に記載のモバイルコンピューティング装置。
  10. 前記第１のカメラは、前記ディスプレイに対して、前記第２のカメラの視界と反対方向の視界を有する、請求項１乃至８のいずれか一項に記載のモバイルコンピューティング装置。
  11. 前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定することは、前記モバイルコンピューティング装置に対する前記オブジェクトの距離を所定の距離に設定することを含む、請求項１に記載のモバイルコンピューティング装置。
  12. 前記第２のカメラによりキャプチャされた前記現実世界環境の前記生成された逆投影に基づき、前記ディスプレイに画像を表示する表示モジュール、を更に有する請求項１に記載のモバイルコンピューティング装置。
  13. 前記生成された逆投影に基づき前記画像を表示することは、拡張現実特徴を含むよう変更された前記逆投影に対応する画像を表示することを含む、請求項１２に記載のモバイルコンピューティング装置。
  14. 前記少なくとも１つの装置パラメータは、（ｉ）前記第２のカメラの焦点長、（ｉｉ）前記ディスプレイのサイズ、（ｉｉｉ）前記モバイルコンピューティング装置のサイズ、又は（ｉｖ）基準点に対する前記モバイルコンピューティング装置のコンポーネントの位置、のうちの少なくとも１つを含む、請求項１乃至８のいずれか一項に記載のモバイルコンピューティング装置。
  15. モバイルコンピューティング装置で表示するためにキャプチャ画像の視野を調整する方法であって、前記方法は、
    前記モバイルコンピューティング装置の第１のカメラにより、前記モバイルコンピューティング装置のユーザの第１の画像をキャプチャするステップと、
    前記モバイルコンピューティング装置により、前記キャプチャした第１の画像に基づき、前記モバイルコンピューティング装置に対する前記ユーザの目の位置を決定するステップと、
    前記第１のカメラと異なる前記モバイルコンピューティング装置の第２のカメラにより、前記モバイルコンピューティング装置の現実世界環境の第２の画像をキャプチャするステップと、
    前記モバイルコンピューティング装置により、前記キャプチャした第２の画像に基づき、前記モバイルコンピューティング装置に対する前記現実世界環境の中のオブジェクトの距離を決定するステップと、
    前記モバイルコンピューティング装置により、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記決定した距離と、前記モバイルコンピューティング装置に対する前記ユーザの目の前記決定した位置と、前記モバイルコンピューティング装置の少なくとも１つの装置パラメータと、に基づき、前記モバイルコンピューティング装置のディスプレイへの、前記第２のカメラによりキャプチャした前記現実世界環境の逆投影を生成するステップと、
    を有する方法。
  16. 前記逆投影を生成するステップは、
    前記ディスプレイの各々の表示ピクセルについて、前記ユーザの目から対応する表示ピクセルを通じて前記現実世界環境の中の前記オブジェクトへの視線を決定するステップと、
    各々の決定した視線について、前記対応する視線が向けられる前記現実世界環境の中の前記オブジェクトの位置に対応する、前記現実世界環境の前記キャプチャした第２の画像の画像ピクセルを識別するステップと、
    前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記識別した画像ピクセルに基づき、逆投影画像を構築するステップと、
    を含む、請求項１５に記載の方法。
  17. 前記逆投影を生成するステップは、
    前記モバイルコンピューティング装置に対する前記ユーザの目の距離と、前記モバイルコンピューティング装置のサイズと、に基づき、前記ユーザの視線からの前記モバイルコンピューティング装置の角サイズを決定するステップと、
    前記モバイルコンピューティング装置に対する前記ユーザの目の前記距離と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記ユーザに対する前記現実世界環境の中の前記オブジェクトの距離を決定するステップと、
    前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズと、前記ユーザに対する前記オブジェクトの前記距離と、に基づき、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの領域を決定するステップと、
    前記モバイルコンピューティング装置により隠される前記オブジェクトの前記決定された領域と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記第２のカメラの補正ズーム倍率を決定するステップと、
    前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記補正ズーム倍率に基づき、逆投影画像を生成するステップと、
    を有する、請求項１５に記載の方法。
  18. 前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する画像を前記第２のカメラでキャプチャするために必要なズーム倍率である、請求項１７に記載の方法。
  19. 前記ユーザの前記第１の画像をキャプチャするステップは、前記ユーザの顔の画像をキャプチャするステップを有し、
    前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定するステップは、前記ユーザの顔の前記画像の中の前記ユーザの目の場所を識別するステップを有する、
    請求項１５に記載の方法。
  20. 前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定するステップは、前記ユーザの目の前記モバイルコンピューティング装置までの距離を決定するステップを有する、請求項１５に記載の方法。
  21. 前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定するステップは、前記第１のカメラに対する前記ユーザの目の位置を決定するステップを含み、
    前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定するステップは、前記第２のカメラに対する前記オブジェクトの距離を決定するステップを含む、
    請求項１５に記載の方法。
  22. 前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定するステップは、前記モバイルコンピューティング装置に対する前記オブジェクトの距離を所定の距離に設定するステップを含む、請求項１５に記載の方法。
  23. 前記モバイルコンピューティング装置により、前記第２のカメラによりキャプチャされた前記現実世界環境の前記生成された逆投影に基づき、前記ディスプレイに画像を表示するステップ、を更に有する請求項１５に記載の方法。
  24. 前記少なくとも１つの装置パラメータは、（ｉ）前記第２のカメラの焦点長、（ｉｉ）前記ディスプレイのサイズ、（ｉｉｉ）前記モバイルコンピューティング装置のサイズ、又は（ｉｖ）基準点に対する前記モバイルコンピューティング装置のコンポーネントの位置、のうちの少なくとも１つを含む、請求項１５に記載の方法。
  25. コンピュータプログラムであって、プロセッサに、請求項１５乃至２４のいずれか一項に記載の方法を実行するモバイルコンピューティング装置を構成させる、コンピュータプログラム。
  26. 請求項２５に記載のコンピュータプログラムを格納するコンピュータ可読記憶媒体。
JP2017505822A 2014-09-17 2015-08-17 表示のためにキャプチャ画像の視野を調整する技術 Pending JP2017525052A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/488,516 2014-09-17
US14/488,516 US9934573B2 (en) 2014-09-17 2014-09-17 Technologies for adjusting a perspective of a captured image for display
PCT/US2015/045517 WO2016043893A1 (en) 2014-09-17 2015-08-17 Technologies for adjusting a perspective of a captured image for display

Publications (1)

Publication Number Publication Date
JP2017525052A true JP2017525052A (ja) 2017-08-31

Family

ID=55455242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017505822A Pending JP2017525052A (ja) 2014-09-17 2015-08-17 表示のためにキャプチャ画像の視野を調整する技術

Country Status (6)

Country Link
US (1) US9934573B2 (ja)
EP (1) EP3195595B1 (ja)
JP (1) JP2017525052A (ja)
KR (1) KR102291461B1 (ja)
CN (1) CN106662930B (ja)
WO (1) WO2016043893A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924414A (zh) * 2018-06-27 2018-11-30 维沃移动通信有限公司 一种拍摄方法及终端设备
WO2020110283A1 (ja) * 2018-11-30 2020-06-04 マクセル株式会社 表示装置

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101511442B1 (ko) * 2013-10-28 2015-04-13 서울과학기술대학교 산학협력단 카메라를 통해 ｌｅｄ-ｉｄ/ｒｆ 통신을 수행하는 스마트 디바이스와 이를 이용한 위치 기반 서비스 제공 시스템 및 방법
CN104102349B (zh) * 2014-07-18 2018-04-27 北京智谷睿拓技术服务有限公司 内容分享方法和装置
CN105527825B (zh) * 2014-09-28 2018-02-27 联想(北京)有限公司 电子设备和显示方法
US9727977B2 (en) * 2014-12-29 2017-08-08 Daqri, Llc Sample based color extraction for augmented reality
US9554121B2 (en) * 2015-01-30 2017-01-24 Electronics And Telecommunications Research Institute 3D scanning apparatus and method using lighting based on smart phone
US9818037B2 (en) * 2015-02-04 2017-11-14 Invensense, Inc. Estimating heading misalignment between a device and a person using optical sensor
JP2016163166A (ja) * 2015-03-02 2016-09-05 株式会社リコー 通信端末、面談システム、表示方法及びプログラム
US10134188B2 (en) * 2015-12-21 2018-11-20 Intel Corporation Body-centric mobile point-of-view augmented and virtual reality
IL245339A (en) * 2016-04-21 2017-10-31 Rani Ben Yishai Method and system for verification of registration
DE112016007015T5 (de) * 2016-07-29 2019-03-21 Mitsubishi Electric Corporation Anzeigevorrichtung, anzeigesteuervorrichtung und anzeigesteuerverfahren
US10963044B2 (en) * 2016-09-30 2021-03-30 Intel Corporation Apparatus, system and method for dynamic modification of a graphical user interface
US20180160093A1 (en) * 2016-12-05 2018-06-07 Sung-Yang Wu Portable device and operation method thereof
US11240487B2 (en) 2016-12-05 2022-02-01 Sung-Yang Wu Method of stereo image display and related device
US10469819B2 (en) * 2017-08-17 2019-11-05 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd Augmented reality display method based on a transparent display device and augmented reality display device
CN109427089B (zh) 2017-08-25 2023-04-28 微软技术许可有限责任公司 基于环境光照条件的混合现实对象呈现
CA3075773A1 (en) 2017-09-21 2019-03-28 Becton, Dickinson And Company Hazardous contaminant collection kit and rapid testing
CA3075766A1 (en) 2017-09-21 2019-03-28 Becton, Dickinson And Company Hazardous contaminant collection kit and rapid testing
CN209559735U (zh) 2017-09-21 2019-10-29 贝克顿·迪金森公司 用于引导收集有害污染物样本的系统
US11391748B2 (en) 2017-09-21 2022-07-19 Becton, Dickinson And Company High dynamic range assays in hazardous contaminant testing
US11002642B2 (en) 2017-09-21 2021-05-11 Becton, Dickinson And Company Demarcation template for hazardous contaminant testing
WO2019060265A1 (en) 2017-09-21 2019-03-28 Becton, Dickinson And Company SAMPLING SYSTEMS AND TECHNIQUES FOR COLLECTING HAZARDOUS CONTAMINANTS WITH HIGH CAPTURING AND RELOADING EFFECTIVENESS
CN111278565B (zh) * 2017-09-21 2022-03-01 贝克顿·迪金森公司 用于有害污染物测试的增强现实装置
US10547790B2 (en) * 2018-06-14 2020-01-28 Google Llc Camera area locking
CN109040617B (zh) * 2018-08-16 2021-01-15 五八有限公司 图像呈现方法、装置、设备及计算机可读存储介质
TWI719343B (zh) * 2018-08-28 2021-02-21 財團法人工業技術研究院 資訊顯示方法及其顯示系統
KR102164879B1 (ko) * 2018-11-20 2020-10-13 한국과학기술원 사용자 초점 일치형 증강 현실 제공 방법 및 장치
WO2020152585A1 (en) * 2019-01-21 2020-07-30 Insightness Ag Transparent smartphone
CN212748381U (zh) 2019-01-28 2021-03-19 贝克顿·迪金森公司 一种有害污染物检测系统和一种有害污染物收集装置
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
EP3966595A4 (en) * 2019-07-23 2023-04-12 R-Go Robotics Ltd TECHNIQUES FOR CO-OPTIMIZING MOVEMENT AND SENSORY CONTROL
US11106929B2 (en) * 2019-08-29 2021-08-31 Sony Interactive Entertainment Inc. Foveated optimization of TV streaming and rendering content assisted by personal devices
WO2021040107A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 Ar 장치 및 그 제어 방법
KR102359601B1 (ko) * 2019-11-29 2022-02-08 한국과학기술원 투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치
US11538199B2 (en) * 2020-02-07 2022-12-27 Lenovo (Singapore) Pte. Ltd. Displaying a window in an augmented reality view
CN111552076B (zh) * 2020-05-13 2022-05-06 歌尔科技有限公司 一种图像显示方法、ar眼镜及存储介质
GB2603947A (en) * 2021-02-22 2022-08-24 Nokia Technologies Oy Method and apparatus for depth estimation relative to a mobile terminal
CN114666557A (zh) * 2022-03-31 2022-06-24 苏州三星电子电脑有限公司 移动计算设备以及图像显示方法
CN114779940B (zh) * 2022-05-07 2024-07-23 大连理工大学 一种适用于三维vr场景中的用户视场角调整方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0415764A (ja) * 1990-05-01 1992-01-21 Canon Inc 画像処理装置
JP2006148347A (ja) * 2004-11-17 2006-06-08 Fuji Photo Film Co Ltd 画像表示システム
JP2011109695A (ja) * 2011-01-14 2011-06-02 Casio Computer Co Ltd 撮影装置及びプログラム
JP2011151598A (ja) * 2010-01-21 2011-08-04 Konami Digital Entertainment Co Ltd 画像表示装置、画像加工方法、および、プログラム
JP2012080193A (ja) * 2010-09-30 2012-04-19 Nec Casio Mobile Communications Ltd 携帯端末、カメラの倍率調整方法およびプログラム
JP2013258583A (ja) * 2012-06-13 2013-12-26 Ntt Docomo Inc 撮像画像表示装置、撮像画像表示方法、プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3338618B2 (ja) 1996-10-07 2002-10-28 ミノルタ株式会社 実空間画像と仮想空間画像の表示方法及び表示装置
US6069608A (en) * 1996-12-03 2000-05-30 Sony Corporation Display device having perception image for improving depth perception of a virtual image
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
JP3913076B2 (ja) 2002-02-20 2007-05-09 キヤノン株式会社 画像合成処理装置
JP4679661B1 (ja) 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
KR101330805B1 (ko) 2010-08-18 2013-11-18 주식회사 팬택 증강 현실 제공 장치 및 방법
TWI435593B (zh) 2010-12-30 2014-04-21 Altek Corp 立體影像拍攝方法
US8953022B2 (en) * 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
US8754831B2 (en) * 2011-08-02 2014-06-17 Microsoft Corporation Changing between display device viewing modes
US20130083007A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Changing experience using personal a/v system
US8965741B2 (en) * 2012-04-24 2015-02-24 Microsoft Corporation Context aware surface scanning and reconstruction
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
US9142019B2 (en) * 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US20140267411A1 (en) * 2013-03-15 2014-09-18 Elwha Llc Indicating observation or visibility patterns in augmented reality systems
US9286727B2 (en) * 2013-03-25 2016-03-15 Qualcomm Incorporated System and method for presenting true product dimensions within an augmented real-world setting
US9390561B2 (en) * 2013-04-12 2016-07-12 Microsoft Technology Licensing, Llc Personal holographic billboard
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0415764A (ja) * 1990-05-01 1992-01-21 Canon Inc 画像処理装置
JP2006148347A (ja) * 2004-11-17 2006-06-08 Fuji Photo Film Co Ltd 画像表示システム
JP2011151598A (ja) * 2010-01-21 2011-08-04 Konami Digital Entertainment Co Ltd 画像表示装置、画像加工方法、および、プログラム
JP2012080193A (ja) * 2010-09-30 2012-04-19 Nec Casio Mobile Communications Ltd 携帯端末、カメラの倍率調整方法およびプログラム
JP2011109695A (ja) * 2011-01-14 2011-06-02 Casio Computer Co Ltd 撮影装置及びプログラム
JP2013258583A (ja) * 2012-06-13 2013-12-26 Ntt Docomo Inc 撮像画像表示装置、撮像画像表示方法、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冨岡 誠 MAKOTO TOMIOKA: "カメラ内蔵タブレット型拡張現実感における実画像幾何補正 Rectification of Real Images for On-Board Ca", 情報処理学会研究報告 ２０１２（平成２４）年度▲５▼ ［ＣＤ−ＲＯＭ］, JPN6018004903, JP, ISSN: 0003739851 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924414A (zh) * 2018-06-27 2018-11-30 维沃移动通信有限公司 一种拍摄方法及终端设备
CN108924414B (zh) * 2018-06-27 2019-12-10 维沃移动通信有限公司 一种拍摄方法及终端设备
WO2020110283A1 (ja) * 2018-11-30 2020-06-04 マクセル株式会社 表示装置
JPWO2020110283A1 (ja) * 2018-11-30 2021-10-14 マクセル株式会社 表示装置
JP7146944B2 (ja) 2018-11-30 2022-10-04 マクセル株式会社 表示装置
US11483483B2 (en) 2018-11-30 2022-10-25 Maxell, Ltd. Display apparatus
US11831976B2 (en) 2018-11-30 2023-11-28 Maxell, Ltd. Display apparatus

Also Published As

Publication number Publication date
KR102291461B1 (ko) 2021-08-20
EP3195595A1 (en) 2017-07-26
CN106662930B (zh) 2020-03-13
KR20170031733A (ko) 2017-03-21
US20160078680A1 (en) 2016-03-17
EP3195595B1 (en) 2021-04-07
WO2016043893A1 (en) 2016-03-24
CN106662930A (zh) 2017-05-10
EP3195595A4 (en) 2018-04-25
US9934573B2 (en) 2018-04-03

Similar Documents

Publication Publication Date Title
JP2017525052A (ja) 表示のためにキャプチャ画像の視野を調整する技術
US11747893B2 (en) Visual communications methods, systems and software
US12008151B2 (en) Tracking and drift correction
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
TWI610571B (zh) 顯示方法及其系統與電腦可讀取記錄媒體
TWI701941B (zh) 圖像處理方法及裝置、電子設備及儲存介質
JP2015114818A (ja) 情報処理装置、情報処理方法及びプログラム
TW202009786A (zh) 可由頭部操控的電子裝置與其操作方法
CN111857461B (zh) 图像显示方法、装置、电子设备及可读存储介质
WO2023101881A1 (en) Devices, methods, and graphical user interfaces for capturing and displaying media
JPWO2020071029A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US11212502B2 (en) Method of modifying an image on a computational device
CN115202475A (zh) 显示方法、装置、电子设备及计算机可读存储介质
JP6479835B2 (ja) 入出力装置、入出力プログラム、および入出力方法
CN115867238A (zh) 视觉辅助
JP7012983B2 (ja) 顔画像処理装置
US20230403386A1 (en) Image display within a three-dimensional environment
US20220180473A1 (en) Frame Rate Extrapolation
WO2024163514A1 (en) Devices, methods, and graphical user interfaces for displaying sets of controls in response to gaze and/or gesture inputs
CN115834858A (zh) 显示方法、装置、头戴显示设备及存储介质
JP2024095393A (ja) 制御装置
TW202215113A (zh) 虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體
KR20160013501A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180515

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181009