JP2017525052A - 表示のためにキャプチャ画像の視野を調整する技術 - Google Patents
表示のためにキャプチャ画像の視野を調整する技術 Download PDFInfo
- Publication number
- JP2017525052A JP2017525052A JP2017505822A JP2017505822A JP2017525052A JP 2017525052 A JP2017525052 A JP 2017525052A JP 2017505822 A JP2017505822 A JP 2017505822A JP 2017505822 A JP2017505822 A JP 2017505822A JP 2017525052 A JP2017525052 A JP 2017525052A
- Authority
- JP
- Japan
- Prior art keywords
- mobile computing
- computing device
- user
- image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title description 7
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000003190 augmentative effect Effects 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 2
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 241000556720 Manga Species 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
- G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
- G06F2200/163—Indexing scheme relating to constructional details of the computer
- G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Architecture (AREA)
Abstract
モバイルコンピューティング装置で表示するためにキャプチャ画像の視野を調整する技術は、第1のカメラによりユーザの第1の画像を、及び第2のカメラにより現実世界環境の第2の画像をキャプチャするステップを有する。モバイルコンピューティング装置は、前記キャプチャした第1の画像に基づき前記モバイルコンピューティング装置に対する前記ユーザの目の位置を、及び前記キャプチャした第2の画像に基づき前記モバイルコンピューティング装置からの前記現実世界環境の中のオブジェクトの距離を決定する。モバイルコンピューティング装置は、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記決定した距離と、前記モバイルコンピューティング装置に対する前記ユーザの目の前記決定した位置と、前記モバイルコンピューティング装置の少なくとも1つの装置パラメータと、に基づき、前記ディスプレイへの前記第2のカメラによりキャプチャした前記現実世界環境の逆投影を生成する。
Description
[関連出願の参照]
本願は、米国特許出願番号第14/488516号、名称「TECHNOLOGIES FOR ADJUSTING A PERSPECTIVE OF A CAPTURED IMAGE FOR DISPLAY」、2014年9月17日出願の優先権を主張する。
本願は、米国特許出願番号第14/488516号、名称「TECHNOLOGIES FOR ADJUSTING A PERSPECTIVE OF A CAPTURED IMAGE FOR DISPLAY」、2014年9月17日出願の優先権を主張する。
拡張現実システムは、仮想キャラクタ及びオブジェクトを物理的場所に投影することにより、現実世界環境と仮想世界環境とを融合し、それにより、没入型経験及び新規な相互作用モデルを可能にする。特に、幾つかの拡張現実システムでは、(例えば、現実世界環境のキャプチャ画像又はビデオストリームに仮想キャラクタの2又は3次元レンダリングをオーバレイすることにより)仮想キャラクタ又はオブジェクトは、現実世界環境のキャプチャ画像に挿入されることがある。幾つかのシステムでは、キャプチャ画像の中で認識される物理的オブジェクトは、該物理的オブジェクトに関連付けられる仮想オブジェクトにより置き換えられる場合がある。例えば、キャプチャ画像の中で認識される車両は、認識され、アニメ又は漫画のような車両により置き換えられても良い。拡張現実システムは、固定及びモバイルコンピューティング装置の両方に実装されている。幾つかのモバイル拡張現実システムでは、モバイルコンピューティング装置のカメラ(例えば、ディスプレイと反対側に配置されるスマートフォンのカメラ)が現実世界環境の画像をキャプチャする。拡張現実システムは、次に、キャプチャ画像に拡張現実変更を行い、モバイルコンピューティング装置のディスプレイに拡張画像を(例えばリアルタイムに)表示する。このように、ユーザは、彼又は彼女の実際の現実世界環境に対応する仮想世界を見ることができる。しかしながら、モバイルコンピューティング装置のユーザ及びカメラは、現実世界環境の異なる視野を有するので、没入型経験は、閉塞された視覚フローにより不快である。例えば、ユーザの視野から、現実世界オブジェクト(例えば、モバイルコンピューティング装置の周囲にあるもの)は、拡張現実レンダリングにおいて複製される。
本願明細書に記載された概念は例を用いて説明されるが、添付の図面に限定されない。説明を簡単且つ明確にするため、図中に示された要素は、必ずしも縮尺通りに描かれていないことが理解される。適切に検討されるとき、対応する又は類似の要素を示すために、参照符号は図の間で繰り返されている。
表示のためにキャプチャ画像の視野を調整するモバイルコンピューティング装置の少なくとも一実施形態の簡略ブロック図である。
図1のモバイルコンピューティング装置により確立される環境の少なくとも一実施形態の簡略ブロック図である。
図1のモバイルコンピューティング装置による、表示のためにキャプチャ画像の視野を調整する方法の少なくとも1つの実施形態の簡略ブロック図である。
図1のモバイルコンピューティング装置の現実世界環境の逆投影を生成する方法の少なくとも1つの実施形態の簡略ブロック図である。
図4の方法の実行中に、図1のモバイルコンピューティング装置を保持するユーザの簡略図である。
図1のモバイルコンピューティング装置の現実世界環境の逆投影を生成する方法の少なくとも1つの他の実施形態の簡略ブロック図である。
種々の角度関係を示す図1のモバイルコンピューティング装置を保持するユーザの簡略図である。
種々の角度関係を示す図1のモバイルコンピューティング装置を保持するユーザの簡略図である。
図1のモバイルコンピューティング装置の現実世界環境の簡略図である。
図1のモバイルコンピューティング装置を保持するユーザの簡略図、及び調整視野を有しないモバイルコンピューティング装置に表示される対応するキャプチャ画像である。
図1のモバイルコンピューティング装置を保持するユーザの簡略図、及び図3の方法による調整視野を有するモバイルコンピューティング装置に表示される対応するキャプチャ画像である。
本発明の概念は種々の変更及び代替の形式の余地があるが、それらの特定の実施形態が例として図に示され本願明細書で詳細に記載される。しかしながら、理解されるべき点は、本開示の概念が開示された特定の形式に限定されないこと、むしろ全ての変形、等価物及び代案が本開示及び特許請求の範囲と調和することである。本願明細書において「一実施形態」、「ある実施形態」又は「説明のための実施形態」等のような記載は、記載された実施形態が特定の機能、構造又は特徴を含むこと、しかし各実施形態が特定の機能、構造又は特徴を必ずしも含んでも又はまなくてもよいことを意味する。更に、このような記載は、必ずしも同一の実施形態を参照しない。更に、特定の機能、構造又は特徴がある実施形態に関連して記載されるとき、明示的に記載されているか否かに拘わらず、このような機能、構造又は特徴を他の実施形態と組み合わせて実施することは、当業者の知識の範囲内である。さらに、「少なくとも1つのA、B、及びC」の形式のリストに含まれる項目は(A)、(B)、(C)、(A及びB)、(B及びC)、又は(A、B、及びC)を意味し得ることが理解されるべきである。さらに、「A、B、及びCのうちの少なくとも1つ」の形式のリストに含まれる項目は(A)、(B)、(C)、(A及びB)、(B及びC)、又は(A、B、及びC)を意味し得る。
開示の実施形態は、幾つかの例では、ハードウェア、ファームウェア、ソフトウェア又はそれらの如何なる組み合わせで実施されてもよい。開示の実施形態は、1又は複数の一時的又は非一時的機械可読(例えば、コンピュータ読み取り可能な)記憶媒体により運ばれ又はそれに格納される、1又は複数のプロセッサにより読み取られ及び実行され得る命令としても実装されても良い。機械可読記憶媒体は、任意の記憶装置、メカニズム、又は機械により読み取り可能な形式で情報を格納し又は送信する他の物理的構造(例えば、揮発性若しくは不揮発性メモリ、メディアディスク、又は他のメディア装置)として実現されても良い。
図中、幾つかの構造又は方法の特徴は、特定の構成及び/又は順序で示され得る。しかしながら、このような特定の構成及び/又は順序は必要ではない場合があることが理解されるべきである。むしろ、幾つかの実施形態では、このような特徴は、説明のための図の中に示されるものと異なる方法及び/又は順序で配置されても良い。さらに、特定の図の中の構造又は方法の特徴の包含は、そのような特徴が全ての実施形態において必要であることを意味せず、幾つかの実施形態では、含まれなくても良く又は他の特長と組み合わせられても良い。
図1を参照すると、表示のためにキャプチャ画像の視野を調整するモバイルコンピューティング装置100が示される。使用中、以下に更に詳述するように、モバイルコンピューティング装置100は、モバイルコンピューティング装置100のユーザの画像と、モバイルコンピューティング装置100の現実世界環境の画像と、をキャプチャするよう構成される。モバイルコンピューティング装置100は、さらに、モバイルコンピューティング装置100に対するユーザの目の位置を決定するために、キャプチャしたユーザの画像を分析する。後述するように、そうすることにより、モバイルコンピューティング装置100は、ユーザのモバイルコンピューティング装置100までの距離を決定し、キャプチャした画像の中のユーザの目の位置を識別し/検出できる。さらに、モバイルコンピューティング装置100は、モバイルコンピューティング装置100に対する、キャプチャした現実世界環境の中の1又は複数のオブジェクト(例えば、キャプチャしたシーンの中の主要オブジェクト及び/又は他のオブジェクト)の距離を決定する。例えば、後述するように、モバイルコンピューティング装置100は、現実世界環境のキャプチャした画像を分析し、深さ又は距離センサデータを利用し、又は個々の実施形態に依存してオブジェクトの相対距離を決定しても良い。モバイルコンピューティング装置100は、モバイルコンピューティング装置100に対する現実世界オブジェクトの距離と、モバイルコンピューティング装置100に対するユーザの目の位置と、1又は複数の装置パラメータと、に基づき、モバイルコンピューティング装置100のディスプレイ120への現実世界環境の逆投影を決定する。後述するように、逆投影は、逆投影画像、逆投影画像を生成するために使用可能なデータセット(例えば、ピクセル値)、及び/又は対応する逆投影画像を示す他のデータとして実現されても良い。後述するように、装置パラメータは、例えば、モバイルコンピューティング装置100のカメラの焦点長、ディスプレイ120若しくはモバイルコンピューティング装置100自体のサイズ、互いに対する又は基準点に対するモバイルコンピューティング装置100のコンポーネントの位置、及び/又はモバイルコンピューティング装置100に関連する他の関連情報を含んでも良い。モバイルコンピューティング装置100は、決定した逆投影に基づき画像を表示し、そうするときに、仮想オブジェクト、キャラクタ、及び/又は景色を適用し、或いは拡張現実のために画像を変更しても良い。本願明細書に記載の技術は、ディスプレイ120に逆投影画像をもたらす。したがって、ディスプレイ120で見える画像は、直接に又はほぼ直接に、現実世界にマッピングし、ユーザが、まるで窓を通して現実世界環境を見ているように感じることができる。つまり、説明のための実施形態では、表示される画像は、ユーザと同じ視野から見えるモバイルコンピューティング装置100により隠されるものと同じコンテンツを含む。
モバイルコンピューティング装置100は、本願明細書に記載された機能を実行可能な任意の種類のコンピュータ装置として実現されてもよい。例えば、モバイルコンピューティング装置100は、スマートフォン、セルラフォン、ウェアラブルコンピューティング装置、パーソナルデジタルアシスタント、モバイルインターネット装置、タブレットコンピュータ、ノートブック、ノートブック、ウルトラブック、ラップトップコンピュータ、及び/又は任意の他のモバイルコンピューティング/通信装置として実現されても良い。図1に示すように、説明のためのモバイルコンピューティング装置100は、プロセッサ110、入力/出力(I/O)サブシステム112、メモリ114、データ記憶装置116、カメラシステム118、ディスプレイ120、1又は複数のセンサ122、通信回路124を有する。もちろん、モバイルコンピューティング装置100は、他の実施形態では、標準的なコンピューティング装置に一般的に見られるコンポーネントのような(例えば、種々の入力/出力装置、及び/又は他のコンポーネント)他の又は追加のコンポーネントを有しても良い。さらに、幾つかの実施形態では、説明のためのコンポーネントのうちの1又は複数は、別のコンポーネントに組み込まれ、或いはその一部を形成しても良い。例えば、メモリ114、又はその部分は、幾つかの実施形態ではプロセッサ110に組み込まれても良い。
プロセッサ110は、本願明細書に記載された機能を実行可能な任意の種類のプロセッサとして具現化されてもよい。例えば、プロセッサ110は、単一の又はマルチコアプロセッサ、デジタル信号プロセッサ、マイクロコントローラ、又は他のプロセッサ若しくは処理/制御回路として実現されても良い。同様に、メモリ114は、本願明細書に記載の機能を実行可能な任意の種類の揮発性若しくは不揮発性メモリ又はデータ記憶装置として実現されても良い。動作中、メモリ114は、オペレーティングシステム、アプリケーション、プログラム、ライブラリ、及びドライバのような、モバイルコンピューティング装置100の動作中に使用される種々のデータ及びソフトウェアを格納しても良い。メモリ114は、プロセッサ110、メモリ114、及びモバイルコンピューティング装置100の他のコンポーネントとの入力/出力動作を実現する回路及び/又はコンポーネントとして実現され得るI/Oサブシステム112を介してプロセッサ110に通信可能に結合される。例えば、I/Oサブシステム112は、メモリコントローラハブ、入力/出力制御ハブ、ファームウェア装置、通信リンク(つまり、ポイントツーポイントリンク、バスリンク、ワイヤ、ケーブル、光導波路、印刷回路基板のトレース、等)、及び/又は入力/出力動作を実現する他のコンポーネント及びサブシステムとして実現され又はそれを含んでも良い。幾つかの実施形態では、I/Oサブシステム112は、システムオンチップ(SoC)の一部を形成し、プロセッサ110、メモリ114、及びモバイルコンピューティング装置100の他のコンポーネントと一緒に単一の集積回路チップに組み込まれても良い。
データ記憶装置116は、例えばメモリ素子及び回路、メモリカード、ハードディスクドライブ、固体ドライブ、又は他のデータ記憶装置のようなデータの短期若しくは長期記憶のために構成される任意の種類の装置として実現されてもよい。説明のための実施形態では、データ記憶装置116は、モバイルコンピューティング装置100の装置パラメータ130を格納しても良い。理解されるべきことに、特定の装置パラメータ130は、個々の実施形態に依存して変化しても良い。装置パラメータ130は、例えば、モバイルコンピューティング装置100、ディスプレイ120、及び/又はモバイルコンピューティング装置100の別のコンポーネントのサイズ/形状に関連する情報又はデータ、モバイルコンピューティング装置100の1又は複数のカメラに関する固有パラメータ又は他のデータ(例えば、焦点長、主点、ズーム情報、等)、基準点に対するモバイルコンピューティング装置100のコンポーネントの位置(例えば、モバイルコンピューティング装置100のコンポーネントの相対位置を識別する座標系)、及び/又はコンピューティング装置100に関連する他の情報を含んでも良い。さらに、幾つかの実施形態では、データ記憶装置116及び/又はメモリ114は、モバイルコンピューティング装置100の動作中に有用な種々の他のデータを格納しても良い。
カメラシステム118は、画像又はビデオ(つまり、画像又はフレームの集合)をキャプチャするよう構成され及び本願明細書に記載の機能を実行可能な複数のカメラを有する。理解されるべきことに、カメラシステム118のカメラの各々は、スチルカメラ、ビデオカメラ、又はビデオ及び/又は画像をキャプチャ可能な他の装置のような、画像をキャプチャするのに適する任意の周辺機器又は統合装置として実現されても良い。説明のための実施形態では、カメラシステム118は、ユーザ対向カメラ126、及び環境対向カメラ128を有する。以下に示すように、ユーザ対向カメラ126、環境対向カメラ128、及び/又はカメラシステム118の他のカメラは、2次元(2D)カメラ(例えば、RGBカメラ)又は3次元(3D)カメラとして実現されても良い。このような3Dカメラは、例えば、深度カメラ、二焦点カメラ、及び/又はその他の場合、深さ画像、チャネル若しくはストリームを生成可能なカメラを有する。例えば、1又は複数のカメラは、赤外線(IR)プロジェクタ及びIRセンサを備え、IRセンサがIRプロジェクタによりシーンに投影されるIR光パターンを分析することにより、シーンの中のオブジェクトの深度値を推定できるようにしても良い。別の実施形態では、カメラシステム118のカメラのうちの1又は複数は、シーンの少なくとも2つの異なる視点から画像をキャプチャするよう構成される、少なくとも2つのレンズ及び対応するセンサを有する(例えば、ステレオカメラ)。
以下に更に詳述するように、ユーザ対向カメラ126は、モバイルコンピューティング装置100のユーザの画像をキャプチャするよう構成される。特に、ユーザ対向カメラ126は、ユーザの顔の画像をキャプチャする。該画像は、モバイルコンピューティング装置100に対する(例えば、ユーザ対向カメラ126に対する又はモバイルコンピューティング装置100の別の基準点に対する)ユーザの目の位置を決定するために分析されても良い。環境対向カメラ128は、モバイルコンピューティング装置100の現実世界環境の画像をキャプチャする。説明のための実施形態では、ユーザ対向カメラ126及び環境対向カメラ128は、モバイルコンピューティング装置100の反対側に位置付けられ、したがって、反対方向の視野を有する。特に、ユーザ対向カメラ126は、モバイルコンピューティング装置100のディスプレイ120と同じ側にあるので、ユーザ対向カメラ126は、ユーザがディスプレイ120を閲覧するとき彼女の画像をキャプチャできる。
モバイルコンピューティング装置100のディスプレイ120は、モバイルコンピューティング装置100のユーザに情報が表示できる任意の種類のディスプレイとして実現されても良い。さらに、ディスプレイ120は、例えば、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、陰極線管(CRT)ディスプレイ、プラズマディスプレイ、タッチスクリーンディスプレイ、及び/又は他のディスプレイ技術を含む任意の適切なディスプレイ技術として実現されても良く、或いはそれを使用しても良い。図1の説明のための実施形態には1つのディスプレイ120のみが示されるが、他の実施形態では、モバイルコンピューティング装置100は複数のディスプレイ120を有しても良い。
図1に示すように、モバイルコンピューティング装置100は、本願明細書に記載の機能を実行する際に有用なデータを収集するよう構成される1又は複数のセンサ122を有しても良い。例えば、センサ122は、モバイルコンピューティング装置100からのオブジェクトの距離を決定するために使用できる深度センサを有しても良い。さらに、幾つかの実施形態では、センサ122は、モバイルコンピューティング装置100の相対的方向を決定するために、加速度計、ジャイロスコープ、及び/又は磁力計を有しても良い。種々の実施形態において、センサ122は、例えば、近接性センサ、光学センサ、光センサ、音響センサ、温度センサ、動きセンサ、圧電センサ、及び/又は他の種類のセンサとして実現されても良く又はそれを含んでも良い。もちろん、モバイルコンピューティング装置100は、センサ122の使用を実現するよう構成されるコンポーネント及び/又は装置も有しても良い。
通信回路124は、任意の通信回路、モバイルコンピューティング装置100と他のリモート装置との間の通信をネットワーク(図示しない)を介して可能にできる装置、又はそれらの集合として実現されても良い。例えば、幾つかの実施形態では、モバイルコンピューティング装置100は、本願明細書に記載の機能のうちの1又は複数(例えば、逆投影の決定)を、リモートコンピューティング装置にオフロードしても良い。通信回路124は、このような通信を達成するために、任意の1又は複数の通信技術(例えば、無線又は有線通信)及び関連プロトコル(例えば、Ethernet(登録商標)、Bluetooth(登録商標)、WiFi(登録商標)、WiMAX、等)を使用するよう構成されても良い。
図2を参照すると、使用中、モバイルコンピューティング装置100は、モバイルコンピューティング装置100のディスプレイ120上で表示するためにキャプチャ画像の視野(perspective)を調整するための環境200を確立する。後述するように、モバイルコンピューティング装置100は、ユーザ対向カメラ126によりユーザの画像を、及び環境対向カメラ128によりモバイルコンピューティング装置100の現実世界環境の画像をキャプチャする。さらに、モバイルコンピューティング装置は、ユーザ対向カメラ126によりキャプチャした画像に基づきモバイルコンピューティング装置100に対するユーザの目の位置を、及び環境対向カメラ128によりキャプチャした画像に基づきモバイルコンピューティング装置100に対する現実世界環境の中のオブジェクトの距離を、決定する。モバイルコンピューティング装置100は、次に、ディスプレイ120への現実世界オブジェクトの逆投影を生成し、生成した逆投影に基づき、ディスプレイ120に対応する画像を表示する(例えば、拡張現実変更を含む)。
モバイルコンピューティング装置100の説明のための環境200は、画像キャプチャモジュール202、視標追跡モジュール204、オブジェクト距離決定モジュール206、画像投影モジュール208、表示モジュール210を有する。環境200のモジュールの各々は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組合せとして実現されても良い。例えば、一実施形態では、環境200のモジュールの各々は、回路(例えば、画像キャプチャ回路、視標追跡回路、オブジェクト距離決定回路、画像投影回路、及び表示回路)として実現されても良い。さらに、幾つかの実施形態では、説明のためのモジュールのうちの1又は複数は、別のモジュールの一部を形成しても良い。例えば、幾つかの実施形態では、画像投影モジュール208は、表示モジュール210の一部を形成しても良い。
画像キャプチャモジュール202は、カメラシステム118(例えば、ユーザ対向カメラ126及び環境対向カメラ128)を制御して、個々のカメラ126、128の視野の中の画像をキャプチャする。例えば、本願明細書に記載のように、ユーザ対向カメラ126は、(例えば、目の検出/追跡のために)ユーザの顔の画像をキャプチャするよう構成される。理解されるべきことに、モバイルコンピューティング装置100は、ユーザの目のうち片目又は両目を検出し及び/又は追跡しても良い。したがって、説明のための実施形態では、モバイルコンピューティング装置100による分析のためにユーザ対向カメラ126によりキャプチャされる画像は、ユーザの目のうちの少なくとも1つを含む。視標追跡及び分析は、本願明細書では折に触れて、説明の簡単さ及び明確さのためにユーザの片目を参照して議論されるが、本願明細書に記載の技術は、ユーザの目の両方の検出/追跡に等しく適用される。さらに、本願明細書に記載のように、環境対向カメラ128は、モバイルコンピューティング装置100の現実世界環境の画像をキャプチャするよう構成される。理解されるべきことに、キャプチャしたシーンは、任意の数の主要オブジェクト(例えば、異なる又はその他の場合には重要なオブジェクト)を含んでも良い。しかしながら、簡単のために、このようなキャプチャ画像は、単一の主要オブジェクトを有するとして本願明細書に記載される場合が多い。
視標追跡モジュール204は、モバイルコンピューティング装置100に対する(例えば、ユーザ対向カメラ126又は別の基準点に対する)ユーザの目の場所/位置を決定する。そうするとき、視標追跡モジュール204は、ユーザ対向カメラ126によりキャプチャした画像の中の1又は複数の人物の目の存在を検出し、追跡されるべきキャプチャ画像の中の目の位置(つまり、目に関連する画像の部分)を決定する。そうするために、視標追跡モジュール204は、任意の適切な技術、アルゴリズム、及び/又は画像フィルタ(例えば、エッジ検出及び画像セグメント化)を使用しても良い。幾つかの実施形態では、視標追跡モジュール204は、キャプチャ画像の中のユーザの顔の場所を決定し、及び、例えばユーザの目の位置を特定するために分析されるキャプチャ画像の領域を削減するために、ユーザの顔の場所を利用する。さらに、幾つかの実施形態では、視標追跡モジュール204は、ユーザの目を分析して、ユーザの目の様々な特性/特徴(例えば、輝き位置、虹彩位置、瞳孔位置、虹彩−瞳孔コントラスト、目のサイズ/形状、及び/又は他の特性)を決定し、ユーザの注視方向を決定する。ユーザの注視方向は、例えば、ユーザがディスプレイ120を見ているか否かを決定して、ユーザの注視が向けられている環境対向カメラ128によりキャプチャされるシーンの中のオブジェクト(例えば、主要オブジェクト)を識別し、(例えば3次元空間において)ユーザの目の相対的な場所又は位置を決定するために、及び/又は他の目的のために使用されても良い。さらに、幾つかの実施形態では、視標追跡モジュール204は、ユーザの頭の方向を更に決定し、或いは、その他の場合にはユーザの頭の姿勢を決定しても良い。
後述するように、モバイルコンピューティング装置100に対するユーザの目の位置を決定する際に、視標追跡モジュール204は、モバイルコンピューティング装置100に対する(例えば、ユーザ対向カメラ126又は別の基準点に対する)ユーザの目の距離を決定する。理解されるべきことに、視標追跡モジュール204は、そうするために、任意の適切なアルゴリズム及び/又は技術を利用しても良い。例えば、幾つかの実施形態では、ユーザ対向カメラ126は、キャプチャしたシーンの中のオブジェクトの距離に対応するデータ(例えば、深度ストリーム又は深度画像)を生成可能な深度カメラ又は他の3Dカメラとして実現されても良い。別の実施形態では、視標追跡モジュール204は、モバイルコンピューティング装置100からユーザの顔の距離を推定するために、人物の顔の知られている概算の大きさと関連して顔検出を使用しても良い。更に別の実施形態では、視標追跡モジュール204は、ユーザの角膜(つまり、輝き)及び/又は瞳孔から外れた光の反射を発見するために、ユーザの目に対応するキャプチャ画像の領域を分析しても良い。これらの反射に基づき、視標追跡モジュール204は、モバイルコンピューティング装置100に対するユーザの目の場所又は位置を(例えば、3次元空間で)決定しても良い。さらに、幾つかの実施形態では、視標追跡モジュール204は、モバイルコンピューティング装置100に対するユーザの目の場所を決定するためにキャプチャ画像の中のユーザの目の場所に関連して、センサ122により生成されるデータ(例えば、深度/距離情報)を利用しても良い。
オブジェクト距離決定モジュール206は、モバイルコンピューティング装置100に対する(例えば、環境対向カメラ128又はモバイルコンピューティング装置100の別の基準点に対する)、環境対向カメラ128によりキャプチャした現実世界環境の中の1又は複数のオブジェクトの距離を決定する。上述のように、環境対向カメラ128の視界の中の、したがってそれによりキャプチャされた現実世界環境は、任意の数のオブジェクトを含み得る。したがって、個々の実施形態に依存して、オブジェクト距離決定モジュール206は、モバイルコンピューティング装置100からのオブジェクトの各々の距離、又はモバイルコンピューティング装置100からのオブジェクトの部分集合(例えば、単一のオブジェクト)の距離、を決定しても良い。例えば、幾つかの実施形態では、オブジェクト距離決定モジュール206は、距離を決定すべきキャプチャ画像の中の主要オブジェクトを識別する。このような主要オブジェクトは、例えば、ユーザの注視が向けられるオブジェクト、又はシーンの中の中心的オブジェクトであっても良い。幾つかの実施形態では、オブジェクト距離決定モジュール206は、簡単のために、シーンの中のオブジェクトの各々がモバイルコンピューティング装置100からほぼ等距離にあると仮定する。さらに、幾つかの実施形態では、オブジェクト距離決定モジュール206は、オブジェクトの距離がモバイルコンピューティング装置100から所定距離にあると仮定し又はそのように設定する。例えば、所定距離は、環境対向カメラ128の焦点長より有意に大きな値、無限遠を近似する値(例えば、利用可能な数値空間の中の最大数値)、又は別の所定距離値であっても良い。議論を容易にするために、無限遠を表す数値は、ここでは単に「無限遠」として参照されても良い。
理解されるべきことに、オブジェクト距離決定モジュール206は、任意の適切な技術及び/又はアルゴリズムを用いて、モバイルコンピューティング装置100に対する現実世界環境の中のオブジェクトの距離を決定しても良い。例えば、幾つかの実施形態では、オブジェクト距離決定モジュール206は、モバイルコンピューティング装置100に対するユーザの距離を決定することを参照して上述した(つまり、視標追跡モジュール204による)技術及びアルゴリズムのうちの1又は複数を使用しても良い。特に、環境対向カメラ128は、キャプチャ画像の中のオブジェクトの距離を決定するために深度データを生成する深度カメラ又は他の3Dカメラとして実現されても良い。追加又は代替で、オブジェクト距離決定モジュール206は、幾つかの実施形態では、モバイルコンピューティング装置100までのオブジェクトの距離を推定するために、特定のオブジェクトの大きさに関する格納されたデータを参照しても良い。更に別の実施形態では、オブジェクト距離決定モジュール206は、センサ122により生成されるデータ(例えば、深度/距離情報)を利用して、モバイルコンピューティング装置100に対するオブジェクトの距離及び/又は位置を決定しても良い。もちろん、幾つかの実施形態では、オブジェクト距離決定モジュール206は、特定のオブジェクトの距離を所定値に割り当てても良い。例えば、オブジェクト距離決定モジュール206は、オブジェクトの距離が所定の閾を超えると決定することに応答して、オブジェクトが無限に遠くにあると仮定しても良い。つまり、幾つかの実施形態では、少なくともモバイルコンピューティング装置100から閾距離(例えば、4メートル)にあるオブジェクトは、それらが例えばモバイルコンピューティング装置100から無限に遠くにあるかのうように扱われても良い。このような実施形態は、計算の差異が無視できるようになることを認識し得る(例えば、10メートル及び20メートルの距離に基づく計算は、ほぼ同じ結果を生じ得る)。後述のように、モバイルコンピューティング装置100に対する(例えば、カメラ128に対する)オブジェクトの距離は、モバイルコンピューティング装置100に対するオブジェクトの場所を決定するために、及び(装置パラメータ130に基づき)現実世界環境の逆投影を生成するために、使用されても良い。
画像投影モジュール208は、ディスプレイ120への、環境対向カメラ128によりキャプチャした現実世界環境の逆投影を生成する。説明のための実施形態では、画像投影モジュール208は、モバイルコンピューティング装置100に対する現実世界環境の中のオブジェクトの距離(例えば、無限遠、所定距離、又は決定された距離)、モバイルコンピューティング装置100に対するユーザの目の位置/場所、及び/又はモバイルコンピューティング装置100の装置パラメータ130(例えば、カメラ126、128の固有パラメータ、モバイルコンピューティング装置100又はディスプレイ120のサイズ、等)に基づき逆投影を生成する。上述のように、ディスプレイ120への現実世界環境を逆(つまりユーザの目に向けて)投影することにより、モバイルコンピューティング装置100により隠される視覚的コンテンツがディスプレイ120に表示される。したがって、ユーザは、まるで彼女が窓を通して見ているように感じることができる。言い換えると、周辺のオブジェクトが表示される画像の中で二重にならないので、視覚的連続性が保たれる。理解されるべきことに、画像投影モジュール208は、モバイルコンピューティング装置100のディスプレイ120上での表示のために逆投影画像を生成する任意の適切な技術及び/又はアルゴリズムを利用しても良い。後述するように、図4〜8は、そうするための説明のための実施形態を示す。
表示モジュール210は、モバイルコンピューティング装置100のユーザが閲覧するためにディスプレイ120上で画像をレンダリングする。例えば、表示モジュール210は、画像投影モジュール208によりディスプレイ120上に生成される逆投影に基づき、画像をレンダリングしても良い。もちろん、幾つかの実施形態では、逆投影は、伝統的なシーンの中でディスプレイ120に「投影」されなくても良い。むしろ、対応する画像は、ディスプレイ120上でレンダリングするために生成されても良い。さらに、上述のように、幾つかの実施形態では、表示モジュール210は、拡張現実のために仮想オブジェクト、キャラクタ、及び/又は環境を含むよう逆投影画像を変更し、ディスプレイ120上で変更した画像をレンダリングしても良い。
通信モジュール212は、対応するネットワークを通じるモバイルコンピューティング装置100とリモート装置との間の通信を処理する。例えば、幾つかの実施形態では、モバイルコンピューティング装置100は、本願明細書に記載のモバイルコンピューティング装置100の機能のうちの1又は複数をリモートコンピューティング装置にオフロードするために(例えば、逆投影画像の決定又は拡張現実の画像の変更のために)、リモートコンピューティング装置と通信しても良い。もちろん、このような分析に関連付けられる関連データは、リモートコンピューティング装置により送信され、モバイルコンピューティング装置100の通信モジュール212により受信されても良い。
図3を参照すると、使用中、モバイルコンピューティング装置100は、モバイルコンピューティング装置100による表示のためにキャプチャ画像の視野を調整するための方法300を実行しても良い。説明のための方法300は、ブロック302及び310で開始する。ブロック302で、モバイルコンピューティング装置100は、ユーザ対向カメラ126により、ユーザの顔の画像をキャプチャする。個々の実施形態に依存して、ユーザ対向カメラ126は、分析のために連続的に(例えば、ビデオストリームとして)又はユーザ入力(例えば、ボタン押下)に応答して、画像をキャプチャしても良い。ブロック304で、モバイルコンピューティング装置100は、キャプチャ画像の中のユーザの目を識別する。上述のように、そうするために、モバイルコンピューティング装置100は、任意の適切な技術及び/又はアルゴリズム(例えば、エッジ検出及び/又は画像セグメント化)を利用しても良い。さらに、個々の実施形態に依存して、モバイルコンピューティング装置100は、ユーザの目のうちの片目又は両目の場所を決定し及び利用しても良い。
ブロック306で、モバイルコンピューティング装置100は、ユーザ対向カメラ126又はモバイルコンピューティング装置100の別の基準点に対するユーザの目の位置を決定する。そうする際に、モバイルコンピューティング装置100は、ユーザ対向カメラ126に対するユーザの又はより詳細にはユーザの目の距離を決定する。上述のように、モバイルコンピューティング装置100は、例えば、ユーザ対向カメラ126により生成される(つまり、ユーザ対向カメラ126が深度カメラ又は他の3Dカメラである場合)深度画像又は他の深度情報、ユーザ注視情報、センサ122により生成される距離情報、装置パラメータ130、及び/又は他の関連データに基づき、このような決定を行っても良い。ユーザ対向カメラ126に対するユーザの距離は、ユーザ対向カメラ126又はモバイルコンピューティング装置100の他の基準点に対するユーザの目の位置を決定するために、キャプチャ画像の中のユーザの目の場所と関連して使用されても良い。装置パラメータ130は、モバイルコンピューティング装置100のコンポーネントの互いに対する場所に関する情報を含んでも良く、それにより、原点のような基準点を有する座標系を確立する。原点であるとして選択される基準点は、個々の実施形態に依存して変化しても良く、例えば、ユーザ対向カメラ126の場所、環境対向カメラ128の場所、ディスプレイ120の中心、又は別の適切な場所であっても良い。
図示のように、図3の説明のための実施形態では、ブロック302〜308及びブロック310〜314は、並行して生じる。しかしながら、他の実施形態では、これらのブロックは順次実行されても良い。ブロック310で、モバイルコンピューティング装置100は、環境対向カメラ128により、モバイルコンピューティング装置100の現実世界環境の画像をキャプチャする。ユーザ対向カメラ126と同様に、分析のために連続的に(例えば、ビデオストリームとして)又はボタン押下のようなユーザ入力に応答して、画像をキャプチャしても良い。例えば、幾つかの実施形態では、ユーザは、モバイルコンピューティング装置100がブロック302及び310の各々を実行する方法300の実行を開始するために、何らかの入力を提供しても良い。上述のように、説明のための実施形態では、環境対向カメラ128は、ユーザ対向カメラ126と反対側に位置付けられる。したがって、環境対向カメラ128は、ユーザと同様の(つまり、同じ全体的方向の)視界を有する。
ブロック312で、モバイルコンピューティング装置100は、ユーザ対向カメラ128又はモバイルコンピューティング装置100の別の基準点に対する対応する現実世界環境の中の1又は複数のオブジェクトの距離を決定する。上述のように、モバイルコンピューティング装置100は、例えば、環境対向カメラ128により生成される(つまり、環境対向カメラ128が深度カメラ又は他の3Dカメラである場合)深度画像、センサ122により生成される距離情報、装置パラメータ130、及び/又は他の関連データに基づき、このような決定を行っても良い。さらに、相対距離が決定されるオブジェクトは、個々の実施形態に依存して変化しても良い。例えば、上述のように、幾つかの実施形態では、モバイルコンピューティング装置100は、キャプチャ画像の中の各々のオブジェクト又は各々の主要オブジェクトの相対距離を決定しても良い。一方で、他の実施形態では、モバイルコンピューティング装置100は、キャプチャ画像の中の中心的オブジェクト(例えば、ユーザの注視が向けられる又はその他の場合には主要オブジェクトであると決定されるオブジェクト)の相対距離のみを決定しても良い。さらに、上述のように、モバイルコンピューティング装置100は、ブロック314で、オブジェクトの距離を所定の距離に設定しても良い。
ブロック316で、モバイルコンピューティング装置100は、モバイルコンピューティング装置100に対する現実世界オブジェクトの距離(例えば、決定された距離又は所定距離)、モバイルコンピューティング装置100に対するユーザの目の位置、及び/又は1又は複数の装置パラメータ130(例えば、カメラ126、128の固有パラメータ、モバイルコンピューティング装置100又はディスプレイ120のサイズ、等)に基づき逆投影を生成する。上述のように、モバイルコンピューティング装置100は、そうするために、任意の適切なアルゴリズム及び/又は技術を用いて逆投影を生成しても良い。例えば、幾つかの実施形態では、モバイルコンピューティング装置100は、図4に示すような方法400を実行することにより逆投影を生成しても良い。他の実施形態では、図6に示すような方法600を実行することにより逆投影を生成しても良い。もちろん、図4及び9が説明のために提供され、本願明細書に記載の概念を限定しないことが理解されるべきである。
逆投影が決定された後に、ブロック318で、モバイルコンピューティング装置100は、生成された逆投影に基づき、ディスプレイ120上に画像を表示する。そうする際に、ブロック320で、モバイルコンピューティング装置100は、上述のように拡張現実の目的で逆投影又は対応する画像を変更しても良い。例えば、モバイルコンピューティング装置100は、ディスプレイ120上でレンダリングするために、仮想キャラクタ、オブジェクト、及び/又は他の仮想特徴を、構築され/生成された逆投影画像に組み込んでも良い。もちろん、幾つかの実施形態では、閲覧者が、まるでディスプレイ120が窓であり、その窓を通じて彼女がモバイルコンピューティング装置100により隠されている現実世界環境を見ることができると真に感じるように、モバイルコンピューティング装置100は、拡張現実又は他の目的のために逆投影を変更しなくても良い。
図4を参照すると、説明のための方法400は、ブロック402で開始する。ブロック402では、モバイルコンピューティング装置100は、逆投影を生成すべきか否かを決定する。生成すべきである場合、ブロック404で、モバイルコンピューティング装置100は、図5に示すようなディスプレイ120の次の表示ピクセル506を通り現実世界オブジェクト508への、ユーザの目504からの視線502を決定する。理解されるべきことに、どの表示ピクセル506が「次の」表示ピクセル506を構成するかは、個々の実施形態に依存して変化しても良い。説明のための実施形態では、モバイルコンピューティング装置100は、視線502が方法400の実行中に「次の」表示ピクセル506として未だ決定されていない表示ピクセル506を選択する。更に理解されるべきことに、他の実施形態では、モバイルコンピューティング装置100は、ディスプレイ120の別のサブ領域(つまり、例えば異なる粒度レベルにおける表示ピクセル以外のサブ領域)を通る視線502を決定しても良い。
上述のように、モバイルコンピューティング装置100の装置パラメータ130は、モバイルコンピューティング装置100の種々のコンポーネントの相対位置に関するデータを含み、例えば、原点のような何らかの基準点を有する3次元座標系を確立しても良い。例えば、幾つかの実施形態では、環境対向カメラ128は、原点であっても良い。理解されるべきことに、ディスプレイ120上の全てのピクセル/点は、環境対向カメラ128に対して何らかの点に位置を特定される。したがって、幾つかの実施形態では、モバイルコンピューティング装置100は、上述の分析に基づき、ユーザの目504及びオブジェクト508の対応する3次元座標を決定する。理解されるべきことに、ユーザの目504、表示ピクセル506、及びオブジェクト508の座標又は相対位置を備えることにより、モバイルコンピューティング装置100は、説明のための実施形態において、ユーザの目504から表示ピクセル506の各々を通りオブジェクト508に至る対応する視線502を決定する。
ブロック406で、モバイルコンピューティング装置100は、対応する視線502が向けられる現実世界オブジェクトの位置/場所510に対応する、環境対向カメラ128によりキャプチャされる現実世界環境の画像(図3のブロック310を参照)の画像ピクセルを識別する。例えば、環境対向カメラ128の固有パラメータ(例えば、焦点長)及びオブジェクト508の現実世界座標又は相対位置のような装置パラメータ130に基づき、モバイルコンピューティング装置100は、環境対向カメラ128によりキャプチャされた画像が現実世界環境からキャプチャ画像座標へどのように投影されるかを決定しても良い。このような実施形態では、モバイルコンピューティング装置100は、それにより、視線502が向けられる現実世界座標に関連する画像ピクセル(つまり、位置510)を識別しても良い。
ブロック408で、モバイルコンピューティング装置100は、任意の表示ピクセル506が残っているか否かを決定する。残っている場合、方法400はブロック404に戻り、モバイルコンピューティング装置100は、ユーザの目504から次の表示ピクセル506を通り現実世界オブジェクト508へ至る視線502を決定する。言い換えると、モバイルコンピューティング装置100は、ディスプレイ120の各々の表示ピクセル506(又はディスプレイ120の他のサブ領域)について、ユーザの目504から対応する表示ピクセル506を通り現実世界環境の中のオブジェクト508へ至る視線502を決定し、各々の決定した視線502について、対応する視線502が向けられる現実世界環境の中のオブジェクトの場所に対応する、環境対向カメラ128によりキャプチャされた現実世界環境の画像の画像ピクセルを識別する。ブロック410で、モバイルコンピューティング装置100は、モバイルコンピューティング装置100において表示するために、識別された画像ピクセルからの画像(例えば、逆投影画像)を構築する。説明のための実施形態では、モバイルコンピューティング装置100は、生成された画像の適切な画像座標にある識別された画像ピクセルを有する画像を生成する。言い換えると、モバイルコンピューティング装置100は、視線502が向けられるディスプレイ120上の対応する点に各々の視線502が向けられる場所からの視覚的コンテンツを逆投影しても良い。
図6を参照すると、使用中、モバイルコンピューティング装置100は、上述のようにモバイルコンピューティング装置100の現実世界環境の逆投影を生成するための方法600を実行しても良い。説明のための方法600は、ブロック602で開始する。ブロック602では、モバイルコンピューティング装置100は、逆投影を生成すべきか否かを決定する。生成すべきである場合、ブロック604で、モバイルコンピューティング装置100は、図7〜8に関連して示されるような、ユーザ対向カメラ126(又はモバイルコンピューティング装置100の他の基準点)に対するユーザ706の距離704と、装置パラメータ130と、に基づき、ユーザの視野からのモバイルコンピューティング装置100の角サイズ702を決定する。上述のように、装置パラメータ130は、例えば、モバイルコンピューティング装置100及び/又はモバイルコンピューティング装置100のコンポーネントのサイズ、形状、及び他の特性を含んでも良い。理解されるべきことに、オブジェクトの角サイズは、オブジェクトからの所与の距離にある基準点(例えば、閲覧者又はカメラ)からのオブジェクトを包含するために必要な視角を示す。説明のための実施形態では、オブジェクト(例えば、モバイルコンピューティング装置100)の視野点(例えば、ユーザの目又は環境対向カメラ128)からの角サイズは、δ=2arctan(d/2D)に従い決定される。ここで、δはオブジェクトの角サイズであり、dは対応するオブジェクトの実際のサイズであり、Dは、対応するオブジェクトと視野点(つまり、その点から角サイズが決定される点)との間の距離である。
他の実施形態では、しかしながら、オブジェクトの角サイズは、他の方法で決定されても良い。更に理解されるべきことに、角サイズは本願明細書では2次元を参照して議論されることが多いが、本願明細書に記載の技術は、3次元にも同様に適用できる(例えば、水平角サイズ及び垂直角サイズの両方に従い、オブジェクトの斜め方向に渡る角サイズを決定し、3次元サイズを2次元に投影し、上述の角サイズの式の3次元に相当するものを利用する、等)。
ブロック606で、モバイルコンピューティング装置100は、ユーザ706に対する現実世界オブジェクト710の距離708を決定する。説明のための実施形態では、モバイルコンピューティング装置100は、ユーザ706のユーザ対向カメラ126までの距離704(図3のブロック308を参照)と、現実世界オブジェクト710の環境対向カメラ128又はモバイルコンピューティング装置100の他の基準点までの距離710(図3のブロック312を参照)と、に基づきこのような決定を行う。そうする際に、モバイルコンピューティング装置100は、幾つかの実施形態では、ユーザ706、モバイルコンピューティング装置100、及びオブジェクト710が相対的に同一線上にあると仮定し、ユーザ706と現実世界オブジェクト710との間の距離708を決定するために2つの前に計算した距離を加算する(例えば、オブジェクトがユーザから遠い場合)。他の実施形態では、モバイルコンピューティング装置100は、ユーザ706と現実世界オブジェクト710との間の距離708を決定するために更に高度なアルゴリズムを利用しても良い。例えば、モバイルコンピューティング装置100は、モバイルコンピューティング装置100、ユーザ706(又はより詳細にはユーザの目)、及びオブジェクト710の互いに対する又は特定の基準点(例えば所定の原点)に対する相対位置、モバイルコンピューティング装置100及びユーザ706とモバイルコンピューティング装置100との間の及びモバイルコンピューティング装置100とオブジェクト710との間の(例えば三角形の特性に基づき)知られている距離704、712に基づき、このような決定を行っても良い。
ブロック608で、モバイルコンピューティング装置100は、モバイルコンピューティング装置100によりユーザの視野から隠される現実世界オブジェクト710の領域714を決定する。図示の実施形態では、モバイルコンピューティング装置100は、ユーザの視野からのモバイルコンピューティング装置100の角サイズ702と、ユーザ706に対する現実世界オブジェクト710の距離708と、に基づき、このような決定を行う。
ブロック610で、モバイルコンピューティング装置100は、ユーザの視野から隠される現実世界オブジェクトの領域714と、現実世界オブジェクトの環境対向カメラ128までの距離712と、に基づき、環境対向カメラ128の補正ズーム倍率を決定する。言い換えると、モバイルコンピューティング装置100は、モバイルコンピューティング装置100によりユーザの視野から隠されるオブジェクト710の領域714に対応する画像を環境対向カメラ128によりキャプチャするために必要な、環境対向カメラ128のズーム倍率を決定する。上述のように、装置パラメータ130は、カメラ128の固有パラメータ(例えば、焦点長、画像投影パラメータ、等)を含んでも良い。理解されるべきことに、このような装置パラメータ130は、幾つかの実施形態では、カメラ128から特定の距離にある環境の特定の領域をキャプチャすることに対応するズーム倍率を特定するために使用されても良い。幾つかの実施形態では、ズーム倍率は、環境対向カメラ128が、モバイルコンピューティング装置100によりユーザの視野から隠されるオブジェクトの領域714から、オブジェクト710の視覚的コンテンツ(例えば、オブジェクト710の特徴)に対応する画像ピクセルのみを有する画像をキャプチャするように、決定される。
説明のための実施形態のブロック612で、補正ズーム倍率を決定するために、モバイルコンピューティング装置100は、ユーザの視野から隠される現実世界オブジェクト710の領域714に対応する、環境対向カメラ128の視野からの現実世界オブジェクト710の領域718の角サイズ716を決定する。モバイルコンピューティング装置100は、例えば、装置パラメータ130及び/又は対応する形状に基づき、このような決定を行っても良い。つまり、幾つかの実施形態では、モバイルコンピューティング装置100は、領域714のサイズ、距離712、及び上述の角サイズの式に基づき、角サイズ716を決定しても良い。理解されるべきことに、幾つかの実施形態では、領域718及び領域714は、同じ領域である。一方で、他の実施形態では、これらの領域はある程度異なっても良い。同様に、補正ズーム倍率は、(例えば、技術的、ハードウェア、及び/又は空間的制限に基づき)領域718を生成するために必要な精細なズームと異なっても良い。ブロック614で、モバイルコンピューティング装置100は、モバイルコンピューティング装置100において表示するために、補正ズーム倍率により画像を生成する。例えば、幾つかの実施形態で、モバイルコンピューティング装置100は、同じ視野からであるが異なるズーム倍率を有する環境対向カメラ128により、新しい画像をキャプチャしても良い。他の実施形態では、モバイルコンピューティング装置100は、例えば、所望のズーム倍率及び他の特性を有する画像を生成するために、環境対向カメラ128によりキャプチャされる元の画像を変更しても良い。
図9〜11を参照すると、モバイルコンピューティング装置100の(例えば図9を参照)及びモバイルコンピューティング装置100を保持するユーザの(例えば図10−11を参照)現実世界環境900の簡略図が示される。上述のように、現実世界環境900は、環境対向カメラ128によりキャプチャされ、ディスプレイ120上でレンダリングされても良い。さらに、拡張現実システムが利用される状況では、キャプチャ画像は、例えば、モバイルコンピューティング装置100における表示のために、仮想キャラクタ、オブジェクト、又は他の特徴をキャプチャ画像に組み込むために変更されても良い。図3の方法300が利用されない実施形態では(つまり、キャプチャ画像又は拡張現実のために変更されたバージョンがモバイルコンピューティング装置100のディスプレイ120に表示される場合)、ディスプレイ120に表示される画像902は、モバイルコンピューティング装置100の周辺の現実世界環境900の中で見える現実世界オブジェクト904を含む(例えば、次10を参照)。言い換えると、ユーザに見える特定の現実世界オブジェクト904は、表示画像902の中で複製され、それにより視覚フローを遮っている。しかしながら、図3の方法300が利用される実施形態では、ディスプレイ120において表示される画像906は、ユーザと同じ視野から見えるモバイルコンピューティング装置100により隠されるものと同じコンテンツを含む。表示画像906と背景の現実世界環境900との間の視覚的連続性が維持されるので、ユーザは、まるで彼女が窓を通じて現実世界環境900を見ているように感じる。
本願明細書に開示の技術の説明のための例が以下に与えられる。本技術の一実施形態は、以下に記載する例のうちの任意の1又は複数及びそれらの任意の組合せを含んでも良い。
例1は、表示のためにキャプチャ画像の視野を調整するモバイルコンピューティング装置であって、前記モバイルコンピューティング装置は、ディスプレイと、第1のカメラ及び第2のカメラを備えるカメラシステムであって、前記カメラシステムは、(i)前記第1のカメラで前記モバイルコンピューティング装置のユーザの第1の画像と、(ii)前記第2のカメラで前記モバイルコンピューティング装置の現実世界環境の第2の画像と、をキャプチャする、カメラシステムと、前記第1のキャプチャ画像に基づき、前記モバイルコンピューティング装置に対する前記ユーザの目の位置を決定する視標追跡モジュールと、前記第2のキャプチャ画像に基づき、前記モバイルコンピューティング装置に対する前記現実世界環境の中のオブジェクトの距離を決定するオブジェクト距離決定モジュールと、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記決定された距離と、前記モバイルコンピューティング装置に対する前記ユーザの目の前記決定された位置と、前記モバイルコンピューティング装置の少なくとも1つの装置パラメータと、に基づき、前記第2のカメラによりキャプチャされた前記現実世界環境の前記ディスプレイへの逆投影を生成する画像生成モジュールと、を有するモバイルコンピューティング装置を含む。
例2は、例1の主題を含み、前記逆投影を生成することは、前記ディスプレイの各々の表示ピクセルについて、前記ユーザの目から対応する表示ピクセルを通じて前記現実世界環境の中の前記オブジェクトへの視線を決定することと、各々の決定した視線について、前記対応する視線が向けられる前記現実世界環境の中の前記オブジェクトの位置に対応する、前記現実世界環境の前記キャプチャした第2の画像の画像ピクセルを識別することと、前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記識別した画像ピクセルに基づき、逆投影画像を構築することと、を含む。
例3は、例1及び2のうちにいずれかの主題を含み、前記逆投影を生成することは、前記ユーザの視野からの前記モバイルコンピューティング装置の角サイズを決定することと、前記ユーザに対する前記現実世界環境の中の前記オブジェクトの距離を決定することと、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの領域を決定することと、前記モバイルコンピューティング装置により隠される前記オブジェクトの前記決定された領域と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記第2のカメラの補正ズーム倍率を決定することと、前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記補正ズーム倍率に基づき、逆投影画像を生成することと、を含む。
例4は、例1〜3のいずれかの主題を含み、前記補正ズーム倍率を決定することは、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する、前記第2のカメラの視野からの前記オブジェクトの領域の角サイズを決定することを含む。
例5は、例1〜4のいずれかの主題を含み、前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する画像を前記第2のカメラでキャプチャするために必要なズーム倍率である。
例6は、例1〜5のいずれかの主題を含み、前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域から、前記オブジェクトの特徴に対応する画像ピクセルのみを有する画像を前記第2のカメラでキャプチャするために必要なズーム倍率である。
例7は、例1〜6のいずれかの主題を含み、前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズを決定することは、前記モバイルコンピューティング装置に対する前記ユーザの目の距離と、前記モバイルコンピューティング装置のサイズと、に基づき、前記ユーザの視野からの前記モバイルコンピューティング装置の角サイズを決定することを含み、前記ユーザに対する前記オブジェクトの前記距離を決定することは、前記モバイルコンピューティング装置に対する前記ユーザの目の前記距離と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記ユーザに対する前記オブジェクトの前記距離を決定することを含み、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域を決定することは、前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズと、前記ユーザに対する前記オブジェクトの前記距離と、に基づき、前記モバイルコンピューティング装置により隠される前記オブジェクトの前記領域の前記角サイズを決定することを含む。
例8は、例1〜7のいずれかの主題を含み、角サイズδは、δ=2arctan(d/2D)に従い決定され、dは対応するオブジェクトの実際のサイズであり、Dは、前記対応するオブジェクトと点との間の距離であり、前記点は、前記角サイズが決定される視野である。
例9は、例1〜8のいずれかの主題を含み、前記ユーザの前記第1の画像をキャプチャすることは、前記ユーザの顔の画像をキャプチャすることを有し、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定することは、前記ユーザの顔の前記画像の中の前記ユーザの目の場所を識別することを有する。
例10は、例1〜8のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定することは、前記ユーザの目の前記モバイルコンピューティング装置までの距離を決定することを有する。
例11は、例1〜10のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定することは、前記第1のカメラに対する前記ユーザの目の位置を決定することを含み、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定することは、前記第2のカメラに対する前記オブジェクトの距離を決定することを含む。
例12は、例1〜11のいずれかの主題を含み、前記第1のカメラは、前記ディスプレイに対して、前記第2のカメラの視界と反対方向の視界を有する。
例13は、例1〜12のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定することは、前記モバイルコンピューティング装置に対する前記オブジェクトの距離を所定の距離に設定することを含む。
例14は、例1〜13のいずれかの主題を含み、前記所定の距離は、前記第2のカメラの焦点長より大きい。
例15は、例1〜14のいずれかの主題を含み、前記第2のカメラによりキャプチャされた前記現実世界環境の前記生成された逆投影に基づき、前記ディスプレイに画像を表示する表示モジュール、を更に有する。
例16は、例1〜15のいずれかの主題を含み、前記生成された逆投影に基づき前記画像を表示することは、拡張現実特徴を含むよう変更された前記逆投影に対応する画像を表示することを含む。
例17は、例1〜16のいずれかの主題を含み、前記少なくとも1つの装置パラメータは、(i)前記第2のカメラの焦点長、(ii)前記ディスプレイのサイズ、(iii)前記モバイルコンピューティング装置のサイズ、又は(iv)基準点に対する前記モバイルコンピューティング装置のコンポーネントの位置、のうちの少なくとも1つを含む。
例18は、モバイルコンピューティング装置で表示するためにキャプチャ画像の視野を調整する方法であって、前記方法は、前記モバイルコンピューティング装置の第1のカメラにより、前記モバイルコンピューティング装置のユーザの第1の画像をキャプチャするステップと、前記モバイルコンピューティング装置により、前記キャプチャした第1の画像に基づき、前記モバイルコンピューティング装置に対する前記ユーザの目の位置を決定するステップと、前記第1のカメラと異なる前記モバイルコンピューティング装置の第2のカメラにより、前記モバイルコンピューティング装置の現実世界環境の第2の画像をキャプチャするステップと、前記モバイルコンピューティング装置により、前記キャプチャした第2の画像に基づき、前記モバイルコンピューティング装置に対する前記現実世界環境の中のオブジェクトの距離を決定するステップと、前記モバイルコンピューティング装置により、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記決定した距離と、前記モバイルコンピューティング装置に対する前記ユーザの目の前記決定した位置と、前記モバイルコンピューティング装置の少なくとも1つの装置パラメータと、に基づき、前記モバイルコンピューティング装置のディスプレイへの、前記第2のカメラによりキャプチャした前記現実世界環境の逆投影を生成するステップと、を有する方法を含む。
例19は、例18の主題を含み、前記逆投影を生成するステップは、前記ディスプレイの各々の表示ピクセルについて、前記ユーザの目から対応する表示ピクセルを通じて前記現実世界環境の中の前記オブジェクトへの視線を決定するステップと、各々の決定した視線について、前記対応する視線が向けられる前記現実世界環境の中の前記オブジェクトの位置に対応する、前記現実世界環境の前記キャプチャした第2の画像の画像ピクセルを識別するステップと、前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記識別した画像ピクセルに基づき、逆投影画像を構築するステップと、を含む。
例20は、例18及び19のうちにいずれかの主題を含み、前記逆投影を生成するステップは、前記ユーザの視野からの前記モバイルコンピューティング装置の角サイズを決定するステップと、前記ユーザに対する前記現実世界環境の中の前記オブジェクトの距離を決定するステップと、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの領域を決定するステップと、前記モバイルコンピューティング装置により隠される前記オブジェクトの前記決定された領域と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記第2のカメラの補正ズーム倍率を決定するステップと、前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記補正ズーム倍率に基づき、逆投影画像を生成するステップと、を含む。
例21は、例18〜20のいずれかの主題を含み、前記補正ズーム倍率を決定するステップは、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する、前記第2のカメラの視野からの前記オブジェクトの領域の角サイズを決定するステップを含む。
例22は、例18〜21のいずれかの主題を含み、前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する画像を前記第2のカメラでキャプチャするために必要なズーム倍率である。
例23は、例18〜22のいずれかの主題を含み、前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域から、前記オブジェクトの特徴に対応する画像ピクセルのみを有する画像を前記第2のカメラでキャプチャするために必要なズーム倍率である。
例24は、例18〜23のいずれかの主題を含み、前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズを決定するステップは、前記モバイルコンピューティング装置に対する前記ユーザの目の距離と、前記モバイルコンピューティング装置のサイズと、に基づき、前記ユーザの視野からの前記モバイルコンピューティング装置の角サイズを決定するステップを含み、前記ユーザに対する前記オブジェクトの前記距離を決定するステップは、前記モバイルコンピューティング装置に対する前記ユーザの目の前記距離と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記ユーザに対する前記オブジェクトの前記距離を決定するステップを含み、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域を決定するステップは、前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズと、前記ユーザに対する前記オブジェクトの前記距離と、に基づき、前記モバイルコンピューティング装置により隠される前記オブジェクトの前記領域を決定するステップを含む。
例25は、例18〜24のいずれかの主題を含み、角サイズδは、δ=2arctan(d/2D)に従い決定され、dは対応するオブジェクトの実際のサイズであり、Dは、前記対応するオブジェクトと点との間の距離であり、前記点は、前記角サイズが決定される視野である。
例26は、例18〜25のいずれかの主題を含み、前記ユーザの前記第1の画像をキャプチャするステップは、前記ユーザの顔の画像をキャプチャするステップを有し、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定するステップは、前記ユーザの顔の前記画像の中の前記ユーザの目の場所を識別するステップを有する。
例27は、例18〜26のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定するステップは、前記ユーザの目の前記モバイルコンピューティング装置までの距離を決定するステップを有する。
例28は、例18〜27のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定するステップは、前記第1のカメラに対する前記ユーザの目の位置を決定するステップを含み、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定するステップは、前記第2のカメラに対する前記オブジェクトの距離を決定するステップを含む。
例29は、例18〜28のいずれかの主題を含み、前記第1のカメラは、前記ディスプレイに対して、前記第2のカメラの視界と反対方向の視界を有する。
例30は、例18〜29のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定するステップは、前記モバイルコンピューティング装置に対する前記オブジェクトの距離を所定の距離に設定するステップを含む。
例31は、例18〜30のいずれかの主題を含み、前記所定の距離は、前記第2のカメラの焦点長より大きい。
例32は、例18〜31のいずれかの主題を含み、前記モバイルコンピューティング装置により、前記第2のカメラによりキャプチャされた前記現実世界環境の前記生成された逆投影に基づき、前記ディスプレイに画像を表示するステップ、を更に有する。
例33は、例18〜32のいずれかの主題を含み、前記生成された逆投影に基づき前記画像を表示するステップは、拡張現実特徴を含むよう変更された前記逆投影に対応する画像を表示するステップを含む。
例34は、例18〜33のいずれかの主題を含み、前記少なくとも1つの装置パラメータは、(i)前記第2のカメラの焦点長、(ii)前記ディスプレイのサイズ、(iii)前記モバイルコンピューティング装置のサイズ、又は(iv)基準点に対する前記モバイルコンピューティング装置のコンポーネントの位置、のうちの少なくとも1つを含む。
例35は、プロセッサと複数の命令を格納しているメモリとを備えるモバイルコンピューティング装置を有し、前記命令は、プロセッサにより実行されると、前記モバイルコンピューティング装置に例18〜34のいずれかに記載の方法を実行させる、モバイルコンピューティング装置を含む。
例36は、複数の命令を有する1又は複数の機械可読記憶媒体であって、前記命令は、実行されることに応答して、請求項18乃至34のいずれかに記載の方法を実行するモバイルコンピューティング装置を生じる、1又は複数の機械可読記憶媒体を含む。
例37は、表示するためにキャプチャ画像の視野を調整するモバイルコンピューティング装置であって、前記モバイルコンピューティング装置は、前記モバイルコンピューティング装置の第1のカメラにより、前記モバイルコンピューティング装置のユーザの第1の画像をキャプチャする手段と、前記キャプチャした第1の画像に基づき、前記モバイルコンピューティング装置に対する前記ユーザの目の位置を決定する手段と、前記第1のカメラと異なる前記モバイルコンピューティング装置の第2のカメラにより、前記モバイルコンピューティング装置の現実世界環境の第2の画像をキャプチャする手段と、前記キャプチャした第2の画像に基づき、前記モバイルコンピューティング装置に対する前記現実世界環境の中のオブジェクトの距離を決定する手段と、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記決定した距離と、前記モバイルコンピューティング装置に対する前記ユーザの目の前記決定した位置と、前記モバイルコンピューティング装置の少なくとも1つの装置パラメータと、に基づき、前記モバイルコンピューティング装置のディスプレイへの、前記第2のカメラによりキャプチャした前記現実世界環境の逆投影を生成する手段と、を有するモバイルコンピューティング装置を含む。
例38は、例37の主題を含み、前記逆投影を生成する手段は、前記ディスプレイの各々の表示ピクセルについて、前記ユーザの目から対応する表示ピクセルを通じて前記現実世界環境の中の前記オブジェクトへの視線を決定する手段と、各々の決定した視線について、前記対応する視線が向けられる前記現実世界環境の中の前記オブジェクトの位置に対応する、前記現実世界環境の前記キャプチャした第2の画像の画像ピクセルを識別する手段と、前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記識別した画像ピクセルに基づき、逆投影画像を構築する手段と、を含む。
例39は、例37及び38のうちにいずれかの主題を含み、前記逆投影を生成する手段は、前記ユーザの視野からの前記モバイルコンピューティング装置の角サイズを決定する手段と、前記ユーザに対する前記現実世界環境の中の前記オブジェクトの距離を決定する手段と、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの領域を決定する手段と、前記モバイルコンピューティング装置により隠される前記オブジェクトの前記決定された領域と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記第2のカメラの補正ズーム倍率を決定する手段と、前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記補正ズーム倍率に基づき、逆投影画像を生成する手段と、を含む。
例40は、例37〜39のいずれかの主題を含み、前記補正ズーム倍率を決定する手段は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する、前記第2のカメラの視野からの前記オブジェクトの領域の角サイズを決定する手段を含む。
例41は、例37〜40のいずれかの主題を含み、前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する画像を前記第2のカメラでキャプチャするために必要なズーム倍率である。
例42は、例37〜41のいずれかの主題を含み、前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域から、前記オブジェクトの特徴に対応する画像ピクセルのみを有する画像を前記第2のカメラでキャプチャするために必要なズーム倍率である。
例43は、例37〜42のいずれかの主題を含み、前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズを決定する手段は、前記モバイルコンピューティング装置に対する前記ユーザの目の距離と、前記モバイルコンピューティング装置のサイズと、に基づき、前記ユーザの視野からの前記モバイルコンピューティング装置の角サイズを決定する手段を含み、前記ユーザに対する前記オブジェクトの前記距離を決定する手段は、前記モバイルコンピューティング装置に対する前記ユーザの目の前記距離と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記ユーザに対する前記オブジェクトの前記距離を決定する手段を含み、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域を決定する手段は、前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズと、前記ユーザに対する前記オブジェクトの前記距離と、に基づき、前記モバイルコンピューティング装置により隠される前記オブジェクトの前記領域を決定する手段を含む。
例44は、例37〜43のいずれかの主題を含み、角サイズδは、δ=2arctan(d/2D)に従い決定され、dは対応するオブジェクトの実際のサイズであり、Dは、前記対応するオブジェクトと点との間の距離であり、前記点は、前記角サイズが決定される視野である。
例45は、例37〜44のいずれかの主題を含み、前記ユーザの前記第1の画像をキャプチャする手段は、前記ユーザの顔の画像をキャプチャする手段を有し、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定する手段は、前記ユーザの顔の前記画像の中の前記ユーザの目の場所を識別する手段を有する。
例46は、例37〜45のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定する手段は、前記ユーザの目の前記モバイルコンピューティング装置までの距離を決定する手段を有する。
例47は、例37〜27のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定する手段は、前記第1のカメラに対する前記ユーザの目の位置を決定する手段を含み、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定する手段は、前記第2のカメラに対する前記オブジェクトの距離を決定する手段を含む。
例48は、例37〜47のいずれかの主題を含み、前記第1のカメラは、前記ディスプレイに対して、前記第2のカメラの視界と反対方向の視界を有する。
例49は、例37〜48のいずれかの主題を含み、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定する手段は、前記モバイルコンピューティング装置に対する前記オブジェクトの距離を所定の距離に設定する手段を含む。
例50は、例37〜49のいずれかの主題を含み、前記所定の距離は、前記第2のカメラの焦点長より大きい。
例51は、例37〜50のいずれかの主題を含み、前記第2のカメラによりキャプチャされた前記現実世界環境の前記生成された逆投影に基づき、前記ディスプレイに画像を表示する手段、を更に有する。
例52は、例37〜51のいずれかの主題を含み、前記生成された逆投影に基づき前記画像を表示する手段は、拡張現実特徴を含むよう変更された前記逆投影に対応する画像を表示する手段を含む。
例53は、例37〜52のいずれかの主題を含み、前記少なくとも1つの装置パラメータは、(i)前記第2のカメラの焦点長、(ii)前記ディスプレイのサイズ、(iii)前記モバイルコンピューティング装置のサイズ、又は(iv)基準点に対する前記モバイルコンピューティング装置のコンポーネントの位置、のうちの少なくとも1つを含む。
Claims (26)
- 表示のためにキャプチャ画像の視野を調整するモバイルコンピューティング装置であって、前記モバイルコンピューティング装置は、
ディスプレイと、
第1のカメラ及び第2のカメラを備えるカメラシステムであって、前記カメラシステムは、(i)前記第1のカメラで前記モバイルコンピューティング装置のユーザの第1の画像と、(ii)前記第2のカメラで前記モバイルコンピューティング装置の現実世界環境の第2の画像と、をキャプチャする、カメラシステムと、
前記キャプチャした第1の画像に基づき、前記モバイルコンピューティング装置に対する前記ユーザの目の位置を決定する視標追跡モジュールと、
前記キャプチャした第2の画像に基づき、前記モバイルコンピューティング装置に対する前記現実世界環境の中のオブジェクトの距離を決定するオブジェクト距離決定モジュールと、
前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記決定された距離と、前記モバイルコンピューティング装置に対する前記ユーザの目の前記決定された位置と、前記モバイルコンピューティング装置の少なくとも1つの装置パラメータと、に基づき、前記第2のカメラによりキャプチャされた前記現実世界環境の前記ディスプレイへの逆投影を生成する画像生成モジュールと、
を有するモバイルコンピューティング装置。 - 前記逆投影を生成することは、
前記ディスプレイの各々の表示ピクセルについて、前記ユーザの目から対応する表示ピクセルを通じて前記現実世界環境の中の前記オブジェクトへの視線を決定することと、
各々の決定した視線について、前記対応する視線が向けられる前記現実世界環境の中の前記オブジェクトの位置に対応する、前記現実世界環境の前記キャプチャした第2の画像の画像ピクセルを識別することと、
前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記識別した画像ピクセルに基づき、逆投影画像を構築することと、
を含む、請求項1に記載のモバイルコンピューティング装置。 - 前記逆投影を生成することは、
前記ユーザの視野からの前記モバイルコンピューティング装置の角サイズを決定することと、
前記ユーザに対する前記現実世界環境の中の前記オブジェクトの距離を決定することと、
前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの領域を決定することと、
前記モバイルコンピューティング装置により隠される前記オブジェクトの前記決定された領域と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記第2のカメラの補正ズーム倍率を決定することと、
前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記補正ズーム倍率に基づき、逆投影画像を生成することと、
を含む、請求項1に記載のモバイルコンピューティング装置。 - 前記補正ズーム倍率を決定することは、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する、前記第2のカメラの視野から前記オブジェクトの領域の角サイズを決定することを含む、請求項3に記載のモバイルコンピューティング装置。
- 前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する画像を前記第2のカメラでキャプチャするために必要なズーム倍率である、請求項3に記載のモバイルコンピューティング装置。
- 前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域から、前記オブジェクトの特徴に対応する画像ピクセルだけを有する画像を、前記第2のカメラでキャプチャするために必要なズーム倍率である、請求項5に記載のモバイルコンピューティング装置。
- 前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズを決定することは、前記モバイルコンピューティング装置に対する前記ユーザの目の距離と、前記モバイルコンピューティング装置のサイズと、に基づき、前記ユーザの視野からの前記モバイルコンピューティング装置の角サイズを決定することを含み、
前記ユーザに対する前記オブジェクトの前記距離を決定することは、前記モバイルコンピューティング装置に対する前記ユーザの目の前記距離と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記ユーザに対する前記オブジェクトの前記距離を決定することを含み、
前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域を決定することは、前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズと、前記ユーザに対する前記オブジェクトの前記距離と、に基づき、前記モバイルコンピューティング装置により隠される前記オブジェクトの前記領域の前記角サイズを決定することを含む、
請求項3に記載のモバイルコンピューティング装置。 - 角サイズδは、δ=2arctan(d/2D)に従い決定され、dは対応するオブジェクトの実際のサイズであり、Dは、前記対応するオブジェクトと点との間の距離であり、前記点は、前記角サイズが決定される視野である、請求項3に記載のモバイルコンピューティング装置。
- 前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定することは、前記第1のカメラに対する前記ユーザの目の位置を決定することを含み、
前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定することは、前記第2のカメラに対する前記オブジェクトの距離を決定することを含む、
請求項1乃至8のいずれか一項に記載のモバイルコンピューティング装置。 - 前記第1のカメラは、前記ディスプレイに対して、前記第2のカメラの視界と反対方向の視界を有する、請求項1乃至8のいずれか一項に記載のモバイルコンピューティング装置。
- 前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定することは、前記モバイルコンピューティング装置に対する前記オブジェクトの距離を所定の距離に設定することを含む、請求項1に記載のモバイルコンピューティング装置。
- 前記第2のカメラによりキャプチャされた前記現実世界環境の前記生成された逆投影に基づき、前記ディスプレイに画像を表示する表示モジュール、を更に有する請求項1に記載のモバイルコンピューティング装置。
- 前記生成された逆投影に基づき前記画像を表示することは、拡張現実特徴を含むよう変更された前記逆投影に対応する画像を表示することを含む、請求項12に記載のモバイルコンピューティング装置。
- 前記少なくとも1つの装置パラメータは、(i)前記第2のカメラの焦点長、(ii)前記ディスプレイのサイズ、(iii)前記モバイルコンピューティング装置のサイズ、又は(iv)基準点に対する前記モバイルコンピューティング装置のコンポーネントの位置、のうちの少なくとも1つを含む、請求項1乃至8のいずれか一項に記載のモバイルコンピューティング装置。
- モバイルコンピューティング装置で表示するためにキャプチャ画像の視野を調整する方法であって、前記方法は、
前記モバイルコンピューティング装置の第1のカメラにより、前記モバイルコンピューティング装置のユーザの第1の画像をキャプチャするステップと、
前記モバイルコンピューティング装置により、前記キャプチャした第1の画像に基づき、前記モバイルコンピューティング装置に対する前記ユーザの目の位置を決定するステップと、
前記第1のカメラと異なる前記モバイルコンピューティング装置の第2のカメラにより、前記モバイルコンピューティング装置の現実世界環境の第2の画像をキャプチャするステップと、
前記モバイルコンピューティング装置により、前記キャプチャした第2の画像に基づき、前記モバイルコンピューティング装置に対する前記現実世界環境の中のオブジェクトの距離を決定するステップと、
前記モバイルコンピューティング装置により、前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記決定した距離と、前記モバイルコンピューティング装置に対する前記ユーザの目の前記決定した位置と、前記モバイルコンピューティング装置の少なくとも1つの装置パラメータと、に基づき、前記モバイルコンピューティング装置のディスプレイへの、前記第2のカメラによりキャプチャした前記現実世界環境の逆投影を生成するステップと、
を有する方法。 - 前記逆投影を生成するステップは、
前記ディスプレイの各々の表示ピクセルについて、前記ユーザの目から対応する表示ピクセルを通じて前記現実世界環境の中の前記オブジェクトへの視線を決定するステップと、
各々の決定した視線について、前記対応する視線が向けられる前記現実世界環境の中の前記オブジェクトの位置に対応する、前記現実世界環境の前記キャプチャした第2の画像の画像ピクセルを識別するステップと、
前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記識別した画像ピクセルに基づき、逆投影画像を構築するステップと、
を含む、請求項15に記載の方法。 - 前記逆投影を生成するステップは、
前記モバイルコンピューティング装置に対する前記ユーザの目の距離と、前記モバイルコンピューティング装置のサイズと、に基づき、前記ユーザの視線からの前記モバイルコンピューティング装置の角サイズを決定するステップと、
前記モバイルコンピューティング装置に対する前記ユーザの目の前記距離と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記ユーザに対する前記現実世界環境の中の前記オブジェクトの距離を決定するステップと、
前記ユーザの視野からの前記モバイルコンピューティング装置の前記角サイズと、前記ユーザに対する前記オブジェクトの前記距離と、に基づき、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの領域を決定するステップと、
前記モバイルコンピューティング装置により隠される前記オブジェクトの前記決定された領域と、前記モバイルコンピューティング装置に対する前記オブジェクトの前記距離と、に基づき、前記第2のカメラの補正ズーム倍率を決定するステップと、
前記モバイルコンピューティング装置の前記ディスプレイに表示するために、前記補正ズーム倍率に基づき、逆投影画像を生成するステップと、
を有する、請求項15に記載の方法。 - 前記補正ズーム倍率は、前記モバイルコンピューティング装置により前記ユーザの視野から隠される前記オブジェクトの前記領域に対応する画像を前記第2のカメラでキャプチャするために必要なズーム倍率である、請求項17に記載の方法。
- 前記ユーザの前記第1の画像をキャプチャするステップは、前記ユーザの顔の画像をキャプチャするステップを有し、
前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定するステップは、前記ユーザの顔の前記画像の中の前記ユーザの目の場所を識別するステップを有する、
請求項15に記載の方法。 - 前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定するステップは、前記ユーザの目の前記モバイルコンピューティング装置までの距離を決定するステップを有する、請求項15に記載の方法。
- 前記モバイルコンピューティング装置に対する前記ユーザの目の前記位置を決定するステップは、前記第1のカメラに対する前記ユーザの目の位置を決定するステップを含み、
前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定するステップは、前記第2のカメラに対する前記オブジェクトの距離を決定するステップを含む、
請求項15に記載の方法。 - 前記モバイルコンピューティング装置に対する前記現実世界環境の中の前記オブジェクトの前記距離を決定するステップは、前記モバイルコンピューティング装置に対する前記オブジェクトの距離を所定の距離に設定するステップを含む、請求項15に記載の方法。
- 前記モバイルコンピューティング装置により、前記第2のカメラによりキャプチャされた前記現実世界環境の前記生成された逆投影に基づき、前記ディスプレイに画像を表示するステップ、を更に有する請求項15に記載の方法。
- 前記少なくとも1つの装置パラメータは、(i)前記第2のカメラの焦点長、(ii)前記ディスプレイのサイズ、(iii)前記モバイルコンピューティング装置のサイズ、又は(iv)基準点に対する前記モバイルコンピューティング装置のコンポーネントの位置、のうちの少なくとも1つを含む、請求項15に記載の方法。
- コンピュータプログラムであって、プロセッサに、請求項15乃至24のいずれか一項に記載の方法を実行するモバイルコンピューティング装置を構成させる、コンピュータプログラム。
- 請求項25に記載のコンピュータプログラムを格納するコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/488,516 | 2014-09-17 | ||
US14/488,516 US9934573B2 (en) | 2014-09-17 | 2014-09-17 | Technologies for adjusting a perspective of a captured image for display |
PCT/US2015/045517 WO2016043893A1 (en) | 2014-09-17 | 2015-08-17 | Technologies for adjusting a perspective of a captured image for display |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017525052A true JP2017525052A (ja) | 2017-08-31 |
Family
ID=55455242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017505822A Pending JP2017525052A (ja) | 2014-09-17 | 2015-08-17 | 表示のためにキャプチャ画像の視野を調整する技術 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9934573B2 (ja) |
EP (1) | EP3195595B1 (ja) |
JP (1) | JP2017525052A (ja) |
KR (1) | KR102291461B1 (ja) |
CN (1) | CN106662930B (ja) |
WO (1) | WO2016043893A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108924414A (zh) * | 2018-06-27 | 2018-11-30 | 维沃移动通信有限公司 | 一种拍摄方法及终端设备 |
WO2020110283A1 (ja) * | 2018-11-30 | 2020-06-04 | マクセル株式会社 | 表示装置 |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101511442B1 (ko) * | 2013-10-28 | 2015-04-13 | 서울과학기술대학교 산학협력단 | 카메라를 통해 led-id/rf 통신을 수행하는 스마트 디바이스와 이를 이용한 위치 기반 서비스 제공 시스템 및 방법 |
CN104102349B (zh) * | 2014-07-18 | 2018-04-27 | 北京智谷睿拓技术服务有限公司 | 内容分享方法和装置 |
CN105527825B (zh) * | 2014-09-28 | 2018-02-27 | 联想(北京)有限公司 | 电子设备和显示方法 |
US9727977B2 (en) * | 2014-12-29 | 2017-08-08 | Daqri, Llc | Sample based color extraction for augmented reality |
US9554121B2 (en) * | 2015-01-30 | 2017-01-24 | Electronics And Telecommunications Research Institute | 3D scanning apparatus and method using lighting based on smart phone |
US9818037B2 (en) * | 2015-02-04 | 2017-11-14 | Invensense, Inc. | Estimating heading misalignment between a device and a person using optical sensor |
JP2016163166A (ja) * | 2015-03-02 | 2016-09-05 | 株式会社リコー | 通信端末、面談システム、表示方法及びプログラム |
US10134188B2 (en) * | 2015-12-21 | 2018-11-20 | Intel Corporation | Body-centric mobile point-of-view augmented and virtual reality |
IL245339A (en) * | 2016-04-21 | 2017-10-31 | Rani Ben Yishai | Method and system for verification of registration |
DE112016007015T5 (de) * | 2016-07-29 | 2019-03-21 | Mitsubishi Electric Corporation | Anzeigevorrichtung, anzeigesteuervorrichtung und anzeigesteuerverfahren |
US10963044B2 (en) * | 2016-09-30 | 2021-03-30 | Intel Corporation | Apparatus, system and method for dynamic modification of a graphical user interface |
US20180160093A1 (en) * | 2016-12-05 | 2018-06-07 | Sung-Yang Wu | Portable device and operation method thereof |
US11240487B2 (en) | 2016-12-05 | 2022-02-01 | Sung-Yang Wu | Method of stereo image display and related device |
US10469819B2 (en) * | 2017-08-17 | 2019-11-05 | Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd | Augmented reality display method based on a transparent display device and augmented reality display device |
CN109427089B (zh) | 2017-08-25 | 2023-04-28 | 微软技术许可有限责任公司 | 基于环境光照条件的混合现实对象呈现 |
CA3075773A1 (en) | 2017-09-21 | 2019-03-28 | Becton, Dickinson And Company | Hazardous contaminant collection kit and rapid testing |
CA3075766A1 (en) | 2017-09-21 | 2019-03-28 | Becton, Dickinson And Company | Hazardous contaminant collection kit and rapid testing |
CN209559735U (zh) | 2017-09-21 | 2019-10-29 | 贝克顿·迪金森公司 | 用于引导收集有害污染物样本的系统 |
US11391748B2 (en) | 2017-09-21 | 2022-07-19 | Becton, Dickinson And Company | High dynamic range assays in hazardous contaminant testing |
US11002642B2 (en) | 2017-09-21 | 2021-05-11 | Becton, Dickinson And Company | Demarcation template for hazardous contaminant testing |
WO2019060265A1 (en) | 2017-09-21 | 2019-03-28 | Becton, Dickinson And Company | SAMPLING SYSTEMS AND TECHNIQUES FOR COLLECTING HAZARDOUS CONTAMINANTS WITH HIGH CAPTURING AND RELOADING EFFECTIVENESS |
CN111278565B (zh) * | 2017-09-21 | 2022-03-01 | 贝克顿·迪金森公司 | 用于有害污染物测试的增强现实装置 |
US10547790B2 (en) * | 2018-06-14 | 2020-01-28 | Google Llc | Camera area locking |
CN109040617B (zh) * | 2018-08-16 | 2021-01-15 | 五八有限公司 | 图像呈现方法、装置、设备及计算机可读存储介质 |
TWI719343B (zh) * | 2018-08-28 | 2021-02-21 | 財團法人工業技術研究院 | 資訊顯示方法及其顯示系統 |
KR102164879B1 (ko) * | 2018-11-20 | 2020-10-13 | 한국과학기술원 | 사용자 초점 일치형 증강 현실 제공 방법 및 장치 |
WO2020152585A1 (en) * | 2019-01-21 | 2020-07-30 | Insightness Ag | Transparent smartphone |
CN212748381U (zh) | 2019-01-28 | 2021-03-19 | 贝克顿·迪金森公司 | 一种有害污染物检测系统和一种有害污染物收集装置 |
US11494953B2 (en) * | 2019-07-01 | 2022-11-08 | Microsoft Technology Licensing, Llc | Adaptive user interface palette for augmented reality |
EP3966595A4 (en) * | 2019-07-23 | 2023-04-12 | R-Go Robotics Ltd | TECHNIQUES FOR CO-OPTIMIZING MOVEMENT AND SENSORY CONTROL |
US11106929B2 (en) * | 2019-08-29 | 2021-08-31 | Sony Interactive Entertainment Inc. | Foveated optimization of TV streaming and rendering content assisted by personal devices |
WO2021040107A1 (ko) * | 2019-08-30 | 2021-03-04 | 엘지전자 주식회사 | Ar 장치 및 그 제어 방법 |
KR102359601B1 (ko) * | 2019-11-29 | 2022-02-08 | 한국과학기술원 | 투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치 |
US11538199B2 (en) * | 2020-02-07 | 2022-12-27 | Lenovo (Singapore) Pte. Ltd. | Displaying a window in an augmented reality view |
CN111552076B (zh) * | 2020-05-13 | 2022-05-06 | 歌尔科技有限公司 | 一种图像显示方法、ar眼镜及存储介质 |
GB2603947A (en) * | 2021-02-22 | 2022-08-24 | Nokia Technologies Oy | Method and apparatus for depth estimation relative to a mobile terminal |
CN114666557A (zh) * | 2022-03-31 | 2022-06-24 | 苏州三星电子电脑有限公司 | 移动计算设备以及图像显示方法 |
CN114779940B (zh) * | 2022-05-07 | 2024-07-23 | 大连理工大学 | 一种适用于三维vr场景中的用户视场角调整方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0415764A (ja) * | 1990-05-01 | 1992-01-21 | Canon Inc | 画像処理装置 |
JP2006148347A (ja) * | 2004-11-17 | 2006-06-08 | Fuji Photo Film Co Ltd | 画像表示システム |
JP2011109695A (ja) * | 2011-01-14 | 2011-06-02 | Casio Computer Co Ltd | 撮影装置及びプログラム |
JP2011151598A (ja) * | 2010-01-21 | 2011-08-04 | Konami Digital Entertainment Co Ltd | 画像表示装置、画像加工方法、および、プログラム |
JP2012080193A (ja) * | 2010-09-30 | 2012-04-19 | Nec Casio Mobile Communications Ltd | 携帯端末、カメラの倍率調整方法およびプログラム |
JP2013258583A (ja) * | 2012-06-13 | 2013-12-26 | Ntt Docomo Inc | 撮像画像表示装置、撮像画像表示方法、プログラム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3338618B2 (ja) | 1996-10-07 | 2002-10-28 | ミノルタ株式会社 | 実空間画像と仮想空間画像の表示方法及び表示装置 |
US6069608A (en) * | 1996-12-03 | 2000-05-30 | Sony Corporation | Display device having perception image for improving depth perception of a virtual image |
US6798429B2 (en) * | 2001-03-29 | 2004-09-28 | Intel Corporation | Intuitive mobile device interface to virtual spaces |
JP3913076B2 (ja) | 2002-02-20 | 2007-05-09 | キヤノン株式会社 | 画像合成処理装置 |
JP4679661B1 (ja) | 2009-12-15 | 2011-04-27 | 株式会社東芝 | 情報提示装置、情報提示方法及びプログラム |
US8964298B2 (en) * | 2010-02-28 | 2015-02-24 | Microsoft Corporation | Video display modification based on sensor input for a see-through near-to-eye display |
KR101330805B1 (ko) | 2010-08-18 | 2013-11-18 | 주식회사 팬택 | 증강 현실 제공 장치 및 방법 |
TWI435593B (zh) | 2010-12-30 | 2014-04-21 | Altek Corp | 立體影像拍攝方法 |
US8953022B2 (en) * | 2011-01-10 | 2015-02-10 | Aria Glassworks, Inc. | System and method for sharing virtual and augmented reality scenes between users and viewers |
US8754831B2 (en) * | 2011-08-02 | 2014-06-17 | Microsoft Corporation | Changing between display device viewing modes |
US20130083007A1 (en) * | 2011-09-30 | 2013-04-04 | Kevin A. Geisner | Changing experience using personal a/v system |
US8965741B2 (en) * | 2012-04-24 | 2015-02-24 | Microsoft Corporation | Context aware surface scanning and reconstruction |
US20140152558A1 (en) * | 2012-11-30 | 2014-06-05 | Tom Salter | Direct hologram manipulation using imu |
US9142019B2 (en) * | 2013-02-28 | 2015-09-22 | Google Technology Holdings LLC | System for 2D/3D spatial feature processing |
US20140267411A1 (en) * | 2013-03-15 | 2014-09-18 | Elwha Llc | Indicating observation or visibility patterns in augmented reality systems |
US9286727B2 (en) * | 2013-03-25 | 2016-03-15 | Qualcomm Incorporated | System and method for presenting true product dimensions within an augmented real-world setting |
US9390561B2 (en) * | 2013-04-12 | 2016-07-12 | Microsoft Technology Licensing, Llc | Personal holographic billboard |
US9256987B2 (en) * | 2013-06-24 | 2016-02-09 | Microsoft Technology Licensing, Llc | Tracking head movement when wearing mobile device |
US20150123966A1 (en) * | 2013-10-03 | 2015-05-07 | Compedia - Software And Hardware Development Limited | Interactive augmented virtual reality and perceptual computing platform |
-
2014
- 2014-09-17 US US14/488,516 patent/US9934573B2/en active Active
-
2015
- 2015-08-17 WO PCT/US2015/045517 patent/WO2016043893A1/en active Application Filing
- 2015-08-17 EP EP15842700.5A patent/EP3195595B1/en active Active
- 2015-08-17 CN CN201580043825.4A patent/CN106662930B/zh active Active
- 2015-08-17 JP JP2017505822A patent/JP2017525052A/ja active Pending
- 2015-08-17 KR KR1020177003808A patent/KR102291461B1/ko active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0415764A (ja) * | 1990-05-01 | 1992-01-21 | Canon Inc | 画像処理装置 |
JP2006148347A (ja) * | 2004-11-17 | 2006-06-08 | Fuji Photo Film Co Ltd | 画像表示システム |
JP2011151598A (ja) * | 2010-01-21 | 2011-08-04 | Konami Digital Entertainment Co Ltd | 画像表示装置、画像加工方法、および、プログラム |
JP2012080193A (ja) * | 2010-09-30 | 2012-04-19 | Nec Casio Mobile Communications Ltd | 携帯端末、カメラの倍率調整方法およびプログラム |
JP2011109695A (ja) * | 2011-01-14 | 2011-06-02 | Casio Computer Co Ltd | 撮影装置及びプログラム |
JP2013258583A (ja) * | 2012-06-13 | 2013-12-26 | Ntt Docomo Inc | 撮像画像表示装置、撮像画像表示方法、プログラム |
Non-Patent Citations (1)
Title |
---|
冨岡 誠 MAKOTO TOMIOKA: "カメラ内蔵タブレット型拡張現実感における実画像幾何補正 Rectification of Real Images for On-Board Ca", 情報処理学会研究報告 2012(平成24)年度▲5▼ [CD−ROM], JPN6018004903, JP, ISSN: 0003739851 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108924414A (zh) * | 2018-06-27 | 2018-11-30 | 维沃移动通信有限公司 | 一种拍摄方法及终端设备 |
CN108924414B (zh) * | 2018-06-27 | 2019-12-10 | 维沃移动通信有限公司 | 一种拍摄方法及终端设备 |
WO2020110283A1 (ja) * | 2018-11-30 | 2020-06-04 | マクセル株式会社 | 表示装置 |
JPWO2020110283A1 (ja) * | 2018-11-30 | 2021-10-14 | マクセル株式会社 | 表示装置 |
JP7146944B2 (ja) | 2018-11-30 | 2022-10-04 | マクセル株式会社 | 表示装置 |
US11483483B2 (en) | 2018-11-30 | 2022-10-25 | Maxell, Ltd. | Display apparatus |
US11831976B2 (en) | 2018-11-30 | 2023-11-28 | Maxell, Ltd. | Display apparatus |
Also Published As
Publication number | Publication date |
---|---|
KR102291461B1 (ko) | 2021-08-20 |
EP3195595A1 (en) | 2017-07-26 |
CN106662930B (zh) | 2020-03-13 |
KR20170031733A (ko) | 2017-03-21 |
US20160078680A1 (en) | 2016-03-17 |
EP3195595B1 (en) | 2021-04-07 |
WO2016043893A1 (en) | 2016-03-24 |
CN106662930A (zh) | 2017-05-10 |
EP3195595A4 (en) | 2018-04-25 |
US9934573B2 (en) | 2018-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017525052A (ja) | 表示のためにキャプチャ画像の視野を調整する技術 | |
US11747893B2 (en) | Visual communications methods, systems and software | |
US12008151B2 (en) | Tracking and drift correction | |
JP6747504B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
TWI610571B (zh) | 顯示方法及其系統與電腦可讀取記錄媒體 | |
TWI701941B (zh) | 圖像處理方法及裝置、電子設備及儲存介質 | |
JP2015114818A (ja) | 情報処理装置、情報処理方法及びプログラム | |
TW202009786A (zh) | 可由頭部操控的電子裝置與其操作方法 | |
CN111857461B (zh) | 图像显示方法、装置、电子设备及可读存储介质 | |
WO2023101881A1 (en) | Devices, methods, and graphical user interfaces for capturing and displaying media | |
JPWO2020071029A1 (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
US11212502B2 (en) | Method of modifying an image on a computational device | |
CN115202475A (zh) | 显示方法、装置、电子设备及计算机可读存储介质 | |
JP6479835B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
CN115867238A (zh) | 视觉辅助 | |
JP7012983B2 (ja) | 顔画像処理装置 | |
US20230403386A1 (en) | Image display within a three-dimensional environment | |
US20220180473A1 (en) | Frame Rate Extrapolation | |
WO2024163514A1 (en) | Devices, methods, and graphical user interfaces for displaying sets of controls in response to gaze and/or gesture inputs | |
CN115834858A (zh) | 显示方法、装置、头戴显示设备及存储介质 | |
JP2024095393A (ja) | 制御装置 | |
TW202215113A (zh) | 虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體 | |
KR20160013501A (ko) | 홀로그래피 터치 방법 및 프로젝터 터치 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180515 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181009 |