JP2019514101A - 物理環境の視覚画像を仮想現実に統合するための空間関係 - Google Patents

物理環境の視覚画像を仮想現実に統合するための空間関係 Download PDF

Info

Publication number
JP2019514101A
JP2019514101A JP2018546902A JP2018546902A JP2019514101A JP 2019514101 A JP2019514101 A JP 2019514101A JP 2018546902 A JP2018546902 A JP 2018546902A JP 2018546902 A JP2018546902 A JP 2018546902A JP 2019514101 A JP2019514101 A JP 2019514101A
Authority
JP
Japan
Prior art keywords
physical objects
user
image
physical
head mounted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2018546902A
Other languages
English (en)
Other versions
JP2019514101A5 (ja
Inventor
エヴァン・ロバート・ヒルドレス
フランシス・バーナード・マクドゥーガル
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2019514101A publication Critical patent/JP2019514101A/ja
Publication of JP2019514101A5 publication Critical patent/JP2019514101A5/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

物理環境においてヘッドマウントディスプレイとともに使用するための方法は、物理環境の深度情報を取得するステップと、物理環境の視覚画像をキャプチャするステップとを含む。この方法はまた、深度情報に基づいて、ヘッドマウントディスプレイのユーザと物理環境内に含まれる1つまたは複数の物理対象との間の空間関係を判定するステップを含む。視覚画像は、次いで、1つまたは複数の物理対象を含むセグメント化画像を生成するために、空間関係に基づいてセグメント化される。セグメント化画像は、次いで、仮想画像と1つまたは複数の物理対象の両方をヘッドマウントディスプレイ上に表示するために仮想画像上でオーバレイされる。

Description

本開示の態様は、一般に、仮想現実に関し、詳細には、物理環境の視覚画像をヘッドマウントディスプレイ上に提示される仮想画像に統合することに関する。
仮想現実(VR)は、没入型のマルチメディア環境またはコンピュータシミュレーション環境をユーザに提供する急成長技術である。そのような環境は、ユーザの物理的存在を架空の世界または現実の場所をモデルにした世界にシミュレートすることができる。VR技術は、仮想環境内でユーザの経験を改善するために、グラフィックス拡張、オーディオ拡張、および他の知覚的拡張をユーザに提示することができる。
しかしながら、今日のVR技術の一部には依然として課題がある。たとえば、多くのVRヘッドセットは、実世界のユーザの視野(すなわち、物理環境)を遮断する。すなわち、より没入型の外観をユーザに提示するために、VRヘッドセットは、VRヘッドセットのディスプレイ以外のすべてのユーザの視野を完全にまたは大部分遮断する場合がある。したがって、VRヘッドセットを装着して、VRシミュレーションに関与する間、ユーザはその実世界環境を視覚的に感知し、相互作用することを妨げられることが多い。VRヘッドセットを着用している間の実世界の視覚的感知のこの欠如は、いくつかの困難および/または問題をユーザにもたらし得る。たとえば、ユーザは、自らの手をコンピュータキーボード上で方向づける試みを妨げられるか、または少なくとも妨害される場合がある。別の例では、ユーザは、飲料や電話など、所望の物体に手を伸ばすことができない場合がある。さらに別の例では、ユーザは、別の人物が室内に入ってくること、またはその近傍に入ってくることに気づかない場合がある。さらにまた、ユーザは、自らが踏み出そうとしている壁に手遅れになるまで気づかない場合すらある。
いくつかの従来のVRシステムは、ユーザの手を追跡し、次いで、その手の表現(たとえば、アバター)をVRシミュレーション内に提供する追跡システムを提供する。しかしながら、そのようなシステムは、一般に、VRシミュレーション内に存在する仮想対象のみと相互作用する機構をユーザに提供することに限定され、上記で論じた問題にはほとんど役立たない。
一態様では、物理環境においてヘッドマウントディスプレイとともに使用するための方法は、物理環境の深度情報を取得するステップと、物理環境の視覚画像をキャプチャするステップとを含む。この方法はまた、深度情報に基づいて、ヘッドマウントディスプレイのユーザと物理環境内に含まれる1つまたは複数の物理対象との間の空間関係を判定するステップを含む。視覚画像は、次いで、1つまたは複数の物理対象を含むセグメント化画像を生成するために、空間関係に基づいてセグメント化される。セグメント化画像は、次いで、ヘッドマウントディスプレイを用いて、仮想画像と1つまたは複数の物理対象の両方を表示するために仮想画像上でオーバレイされる。
別の態様では、ヘッドマウントディスプレイは、物理環境の深度情報をキャプチャするための手段と、物理環境の視覚画像をキャプチャするための視覚カメラとを含む。ヘッドマウントディスプレイはまた、深度情報に基づいて、ヘッドマウントディスプレイのユーザと物理環境内に含まれる1つまたは複数の物理対象との間の空間関係を判定するための手段を含む。ヘッドマウントディスプレイ内にさらに含まれるのは、1つまたは複数の物理対象を含むセグメント化画像を生成するために、空間関係に基づいて視覚画像をセグメント化するための手段、およびヘッドマウントディスプレイを用いて仮想画像を表示するための手段である。ヘッドマウントディスプレイは、仮想画像と視覚カメラによってキャプチャされた1つまたは複数の物理対象の両方を表示するために、セグメント化画像を仮想画像上にオーバレイするための手段をさらに含む。
別の態様は、ヘッドマウントディスプレイに関する。ヘッドマウントディスプレイは、視覚カメラとディスプレイとを含む。ヘッドマウントディスプレイはまた、少なくとも1つのプロセッサと、少なくとも1つのプロセッサに結合された少なくとも1つのメモリとを含む。少なくとも1つのプロセッサおよび少なくとも1つのメモリは、(i)物理環境の深度情報を取得することであって、物理環境が1つまたは複数の物理対象を含む、取得することと、(ii)視覚カメラを用いて物理環境の視覚画像をキャプチャすることと、(iii)深度情報に基づいて、ヘッドマウントディスプレイのユーザと物理環境内に含まれる1つまたは複数の物理対象との間の空間関係を判定することと、(iv)1つまたは複数の物理対象を含むセグメント化画像を生成するために、空間関係に基づいて視覚画像をセグメント化することと、(v)ディスプレイを用いて仮想画像を表示することと、(vi)仮想画像と視覚カメラによってキャプチャされた1つまたは複数の物理対象の両方を表示するために、セグメント化画像を仮想画像上にオーバレイすることとを行うようにヘッドマウントディスプレイに指示するように構成される。
さらに別の態様では、非一時的コンピュータ可読媒体は、その上にプログラムコードを記憶する。プログラムコードは、実行されると、ヘッドマウントディスプレイに、(i)物理環境の深度情報を取得することであって、物理環境が1つまたは複数の物理対象を含む、取得することと、(ii)視覚カメラを用いて物理環境の視覚画像をキャプチャすることと、(iii)深度情報に基づいて、ヘッドマウントディスプレイのユーザと物理環境内に含まれる1つまたは複数の物理対象との間の空間関係を判定することと、(iv)1つまたは複数の物理対象を含むセグメント化画像を生成するために、空間関係に基づいて視覚画像をセグメント化することと、(v)ヘッドマウントディスプレイを用いて仮想画像を表示することと、(vi)仮想画像と視覚カメラによってキャプチャされた1つまたは複数の物理対象の両方を表示するために、セグメント化画像を仮想画像上にオーバレイすることとを行わせる命令を含む。
この「発明の概要」は、請求項の範囲または意味を解釈または限定するために使用されることはないという理解の下で提出される。この「発明の概要」は、特許請求される主題の主要な特徴または不可欠な特徴を特定することを意図するものではなく、特許請求される主題の範囲を判定するのを支援するものとして使用されることも意図していない。
本明細書で論じるプロセスを実行することが可能なヘッドマウントディスプレイを示す機能ブロック図である。 本明細書で説明する技術の1つまたは複数の実装形態による、物理環境内のヘッドマウントディスプレイのユーザを示す図である。 本明細書で説明する技術の1つまたは複数の実装形態による、深度情報に基づいてユーザの手の視覚画像を仮想画像に統合するプロセスを示す図である。 本明細書で説明する技術の1つまたは複数の実装形態による、物理環境の視覚画像を仮想現実に統合するために空間関係を利用するプロセスを示すフローチャートである。 本明細書で説明する技術の1つまたは複数の実装形態による、ユーザと物理対象との間の空間関係に基づいて、物理対象の視覚画像を仮想画像に統合するプロセスを示す図である。 本明細書で説明する技術の1つまたは複数の実装形態による、距離に基づいてユーザと物理対象との間の空間関係を判定する例示的な実装形態を示す図である。 本明細書で説明する技術の1つまたは複数の実装形態による、第1のハンドジェスチャに基づいてユーザと物理対象との間の空間関係を判定する例示的な実装形態を示す図である。 本明細書で説明する技術の1つまたは複数の実装形態による、第2のハンドジェスチャに基づいてユーザと物理対象との間の空間関係を判定する例示的な実装形態を示す図である。 本明細書で説明する技術の1つまたは複数の実装形態による、物理環境の過去のモデルに基づいて、物理対象の視覚画像を仮想画像に統合するプロセスを示す図である。 本明細書で教示する、物理環境の視覚画像を統合するよう構成されたユーザデバイスにおいて採用され得る構成要素のいくつかの見本態様を示す簡略ブロック図である。
発明を実施するための形態は、添付の図面を参照する。図では、参照番号の(1つまたは複数の)最も左の桁は、その参照番号が最初に表示された図を識別する。同様の特徴および構成要素には図面を通して同じ参照符号が使用される。
図1は、本明細書で論じるプロセスを実行することが可能なヘッドマウントディスプレイ(HMD)100を示す機能ブロック図である。一例では、HMD100は、以下で説明する、プロセス400など、物理環境の視覚画像を仮想現実画像に統合することが可能なユーザデバイスである。概して、制御ユニット106は、視覚カメラ102から物理環境の視覚画像103を受信するように結合される。制御ユニット106は、次いで、視覚画像103をVRエンジン122によって生成される仮想画像に統合するように構成される。仮想画像は、次いで、ディスプレイ126によってユーザに表示される。一実装形態では、ディスプレイ126、視覚カメラ102、深度カメラ104、制御ユニット106、センサ107、および/またはユーザインターフェース108は、HMD100のユーザによって装着可能な単一ユニットに統合される。別の実装形態では、制御ユニット106はHMD100とは別個である。すなわち、制御ユニット106は、ワイヤード接続またはワイヤレス接続によってHMD100に結合された、コンピュータ、電話、タブレットコンピュータ、「ファブレット(電話+タブレット)」コンピュータ、スマートフォン、ラップトップコンピュータおよびデスクトップコンピュータなどによって実装され得る。したがって、制御ユニット106は、HMD100と通信するためのアプリケーションプログラミングインターフェース(API)または他のインターフェースを含み得る。制御ユニット106がHMD100に統合されているか、または別個に実装されるかにかかわらず、いくつかの態様では、視覚カメラ102、オプションの深度カメラ104、およびセンサ107は、以下でより詳細に論じるように、HMD100内でディスプレイ126に統合される。
一実装形態では、視覚カメラ102は、RGBカメラなどのカラーカメラである。視覚カメラ102は、実世界シーン(すなわち、物理環境)の視覚画像103をキャプチャして、視覚画像103を制御ユニット106に提供するように構成される。視覚カメラ102は、単一の単眼カメラ、ステレオカメラ、および/または全方向カメラを含み得る。一態様では、視覚カメラ102は、カメラパラメータ(たとえば、焦点距離、光心の置換、径方向のひずみ、および接線ひずみなど)が知られるように、較正される。さらに、上記で論じたように、視覚カメラ102はHMD100に統合される。ユーザ(すなわち、装着者)によるHMD100の方向の変更が視覚カメラ102の方向に同じまたはそれと同様の変化をもたらすように、視覚カメラ102はHMD100に統合され得る。
HMD100はまた、オプションの深度カメラ104を含む。深度カメラ104は、深度情報105を制御ユニット106に提供するように構成される。いくつかの態様では、深度カメラ104は、飛行時間(ToF)カメラなどの測距カメラである。他の態様では、深度カメラ104は、構造化軽量カメラまたはステレオカメラである。深度情報105は、物理環境の3次元(3D)点群を含み得る。したがって、ユーザ(すなわち、装着者)によるHMD100の方向の変更が深度カメラ104の方向に同じまたは同様の変化をもたらすように、深度カメラ104はHMD100に統合され得る。しかしながら、上述のように、深度カメラ104はオプションであってよい。すなわち、いくつかの実装形態では、深度情報105は、1つまたは複数のモデルベースの追跡アルゴリズムの使用により、視覚画像103自体から導出され得る。たとえば、1つまたは複数の視覚画像103に基づいて深度情報105を生成するために、制御ユニット106は同時ローカライゼーションおよびマッピング(SLAM:Simultaneous Localization And Mapping)アルゴリズムを利用することができる。SLAMアルゴリズムは、物理環境の3Dマップを構築するために、視覚カメラ102によってキャプチャされた着信画像シーケンスから3D点を再構築することができる。本明細書の教示に従って、視覚画像103から深度情報105を生成するための他の知られているアルゴリズムを実装することができる。
図1には、センサ107も示されている。一態様では、センサ107は、視覚画像103および/または深度情報105から導出され得る動きデータとは無関係である運動および/または方向情報を提供するための動きセンサを含む。例として、センサ107は、加速度計(たとえば、MEMSデバイス)、ジャイロスコープ、地磁気センサ(たとえば、コンパス)、高度計(たとえば、気圧高度計)、および/または任意の他のタイプの運動検出センサを含み得る。さらに、センサ107は、複数の異なるタイプのデバイスを含み、動き情報を提供するためにその出力を結合することができる。たとえば、センサ107は、多軸加速度計および方向センサの組合せを使って、2Dおよび/または3D座標系での位置を計算することが可能になる。視覚カメラ102と同様に、センサ107が測定した方向の変化がユーザ(すなわち、装着者)によるHMD100の方向の変更を表すように、センサ107はHMD100に統合され得る。
HMD100はまた、HMD100によって生成されたVRシーンを表示することが可能なディスプレイ126を含むユーザインターフェース108を含む。上述のように、VRシーンは、視覚カメラ102によってキャプチャされた物理環境の実世界(すなわち、物理)対象を含み得る。ユーザインターフェース108は、オプションのキーパッド128、またはユーザが情報をHMD100に入力することができる他の入力デバイスを含んでもよい。ユーザインターフェース108はまた、マイクロフォン130とスピーカ132とを含んでもよい。
制御ユニット106は、視覚カメラ102、深度カメラ104、センサ107、およびユーザインターフェース108に接続され、これらと通信する。制御ユニット106は、視覚カメラ102から受信された視覚画像103を受け入れて処理する。制御ユニット106はまた、HMD100のポーズを追跡するためにセンサ107から受信されたデータを受け入れて処理する。制御ユニット106は、処理ユニット110および関連するメモリ116、ハードウェア112、ファームウェア114、ソフトウェア118、ならびにグラフィックスエンジン124によって構成されてもよい。
制御ユニット106は、仮想現実(VR)エンジン122をさらに含み得る。VRエンジン122は、図4のプロセス400を参照して以下で説明するように、物理環境の視覚画像を仮想現実画像に統合することに関する1つまたは複数の手順を実行するように構成され得る。視覚カメラ102によってキャプチャされた視覚画像103ならびに深度カメラ104によって生成された深度情報105およびセンサ107によって生成されたデータは、VRエンジン122に提供され得る。VRエンジン122は、次いで、VRシーンの視覚要素をHMD100上の画像内にレンダリングするか、またはさもなければ、生成することができる。
処理ユニット110およびVRエンジン122は、明確にするために別々に示されているが、単一のユニットであってもよく、かつ/または、処理ユニット110内で実行されているソフトウェア118内の命令に基づいて処理ユニット110内で実装されてもよい。処理ユニット110、およびVRエンジン122は、必ずしも必要ないが、1つまたは複数のマイクロプロセッサ、組込みプロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含むことができる。プロセッサおよび処理ユニットという用語は、特定のハードウェアではなくシステムによって実装される機能を表す。さらに、本明細書で使用する「メモリ」という用語は、長期メモリ、短期メモリ、またはHMD100に関連付けられる他のメモリを含む、任意のタイプのコンピュータ記憶媒体を指し、任意の特定のタイプまたは数のメモリ、またはメモリが記憶されるタイプの媒体に限定されない。
本明細書で説明するプロセスは、アプリケーションに応じて様々な手段によって実装されてもよい。たとえば、これらのプロセスは、ハードウェア112、ファームウェア114、ハードウェア112とソフトウェア118の組合せ、またはそれらの任意の組合せ内に実装されてもよい。ハードウェア実装形態の場合、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明する機能を実行するように設計された他の電子ユニット、またはそれらの組合せ内に実装されてもよい。
ファームウェアならびに/またはハードウェアおよびソフトウェアの組合せ実装形態の場合、プロセスは、本明細書で説明する機能を実行するモジュール(たとえば、手順、関数など)によって実装されてもよい。命令を具体的に実施する任意のコンピュータ可読媒体は、本明細書で説明するプロセスを実装する際に使用され得る。たとえば、プログラムコードはメモリ116内に記憶されて、処理ユニット110によって実行され得る。メモリは、処理ユニット110内に、または処理ユニット110の外部に実装されてもよい。
各機能は、ファームウェアおよび/またはハードウェア/ソフトウェアの組合せにおいて実装される場合、コンピュータ可読媒体上の1つまたは複数の命令またはコードとして記憶されてもよい。これらの例には、データ構造により符号化された非一時的コンピュータ可読媒体、およびコンピュータプログラムにより符号化されたコンピュータ可読媒体が含まれる。コンピュータ可読媒体には、物理的コンピュータ記憶媒体が含まれる。記憶媒体は、コンピュータによってアクセスすることのできる任意の入手可能な媒体であってもよい。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、フラッシュメモリ、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、または所望のプログラムコードを命令もしくはデータ構造の形で記憶するのに使用することができ、かつコンピュータによってアクセスすることのできる任意の他の媒体を含む可能性があり、本明細書で使用するディスク(disk)およびディスク(disc)には、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびブルーレイディスク(disc)が含まれ、ディスク(disk)は通常、データを磁気的に再生するが、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
図2は、本明細書で説明する技術の1つまたは複数の実装形態による、物理環境200内のヘッドマウントディスプレイ(HMD)204のユーザ202を示す。一例では、HMD204は、図1のHMD100として実装され得る。HMD204の図示の例は、ディスプレイ126と、視覚カメラ102と、深度カメラ104とを含むとして示されている。しかしながら、上述のように、深度カメラ104はオプションであってよく、HMD204は、ユーザ202が物理環境200内を移動すると、HMD204の方向測定を提供するための動きセンサ(たとえば、センサ107)をさらに含み得る。
図2に示すように、ユーザ202は、1つまたは複数の物理対象を含む物理環境200内に位置する。これらの物理対象は、テーブル/デスク212と、キーボード214と、モニタ216とを含み得る。しかしながら、壁、扉、飲料、電話、別の人物など、任意の物理対象が物理環境200内に含まれてよい。上述のように、HMD204のディスプレイ126は、物理環境200のユーザ202の視野の少なくとも一部分を遮断する場合がある。すなわち、HMD204を装着していないとき、ユーザ202は物理環境200の妨害されていない視野218を有し得る。しかしながら、HMD204を装着しているとき、視野218の一部またはすべてがHMD204自体によってさえぎられる。したがって、本明細書の教示によれば、HMD204は、ユーザ202が、HMD204を取り外す必要かつ/またはVRシミュレーションを中断する必要なしに、物理環境を感知すること、および/または物理環境と相互作用することを可能にするために、物理対象(たとえば、212、214、216)のうちの1つまたは複数の視覚画像をユーザ202に表示されている仮想画像に統合するように構成される。
一態様では、HMD204はディスプレイ126に統合された視覚カメラ102を含み、それにより、視覚カメラ102によってキャプチャされた物理環境200の視野はユーザ202の妨害されている視野218である。すなわち、ユーザ202がHMD204を装着していなかった場合、視覚カメラ102の視野はユーザ202の視野と同じかまたは同様であり得る。
HMD204はまた、深度情報(たとえば、点群)をキャプチャするためにヘッドマウントディスプレイ126に統合された深度カメラ104を含み得る。深度カメラ104の視野は、視覚カメラ102の視野(たとえば、視野218)と同じかまたは同様であり得る。
動作中、HMD204は、深度カメラ104によってキャプチャされた深度情報に基づいて、視覚カメラ102によってキャプチャされた物理環境200の視覚画像をセグメント化するように構成される。しかしながら、上述のように、深度カメラ104はオプションであってよい。したがって、いくつかの実装形態では、深度情報105は、1つまたは複数のモデルベースの追跡アルゴリズム(たとえば、SLAMアルゴリズム)の使用により、視覚画像103自体から導出され得る。以下でより詳細に説明するように、視覚画像のセグメント化は、物理環境200内に存在する物理対象のうちの1つまたは複数を含むセグメント化画像を生成することができる。たとえば、セグメント化画像は、ユーザの手210を単独で、デスク212を単独で、キーボード214を単独で、モニタ216を単独で、またはそれらの何らかの組合せを含み得る。HMD204は、次いで、ディスプレイ126を介して、セグメント化画像をユーザ202に表示されている仮想画像上にオーバレイし、これにより、物理環境200の視覚画像をVRに統合する。
それに応じて、ユーザ202は、次いで、HMD204を取り外す必要なしに、かつ/またはVRシミュレーション(たとえば、ゲームプレイ)を中断する必要なしに、物理環境200を感知すること、および/または物理環境200と相互作用することが可能であり得る。たとえば、物理環境200の視覚画像をVRに統合することは、ユーザ202が、自らの手210をキーボード214上で正確に方向づけること、デスク/テーブル212上に置かれている対象(すなわち、飲料)に手を伸ばすこと、別の人物が物理環境に入ってくることまたはユーザ202の注意を引こうとしていることを感知すること、および/またはユーザがまさに接触しようとしている物理的障害(たとえば、ユーザがまさに足を踏み入れようとしている壁)を感知することを可能にし得る。いくつかの態様によれば、HMD204は物理対象が何であるかを分類または理解する必要がなく、それにより、任意の物理対象のVRシミュレーション内への提示をサポートする。
図3は、本明細書で説明する技術の1つまたは複数の実装形態による、深度情報に基づいてユーザの手の視覚画像を仮想画像に統合するプロセスを示す。物理環境200の深度画像302は、HMD204の深度カメラ104によってキャプチャされ得る。一態様では、深度カメラ104および/またはVRエンジン122は、深度画像302に基づいて、物理環境200の3D点群などの深度情報105を生成するように構成され得る。しかしながら、他の例では、深度情報105は、視覚カメラ102によって生成された視覚画像103に適用される1つまたは複数のアルゴリズムによって導出され得る。たとえば、図3は、視覚カメラ102によってキャプチャされた物理環境200の視覚画像304を示す。示すように、視覚画像304は、ユーザ202の手210、デスク/テーブル212、キーボード214、およびモニタ216の画像データを含む。VRエンジン122は、深度画像302(すなわち、深度情報)に基づいて視覚画像304をセグメント化し、次いで、深度画像302内に含まれた深度情報に基づいて、視覚画像304の部分を前景対象として分類するように構成され得る。VRエンジン122は、視覚画像の部分(たとえば、物理対象に対応する部分)を前景対象として分類するように構成されるが、VRエンジン122は、何が物理対象であるかを分類または理解せずに、この前景分類を完了することができる。したがって、視覚画像304は、VRエンジン122が何の事前知識も有さない任意の物理対象を含み得る。図3の例では、手210は、VRエンジン122によって深度画像302の前景対象として分類され、そこからアルファマスク306が生成される。VRエンジン122は、次いで、セグメント化画像308を生成するために、アルファマスク306を視覚画像304に適用する。示すように、セグメント化画像308は手210のみの画像データを含む。したがって、手は視覚画像304内に含まれた他の物理対象からセグメント化されている。
VRエンジン122はまた、ディスプレイ126によってユーザ202に表示される仮想画像310を生成する。仮想画像310は、ユーザ202が現在関与しているVRシミュレーション(たとえば、ゲーム)の部分であり得る。VRエンジン122は、次いで、セグメント化画像308を仮想画像310上にオーバレイして、ディスプレイ126を介して結合画像312をユーザ202に提示する。したがって、結合画像312は、仮想画像310と視覚カメラ102によってキャプチャされた物理対象(たとえば、手210)の両方を含む。一態様では、VRエンジン122は、結合画像312内の仮想画像310により整合する手210の外観を生み出すために、仮想シーン照明(virtual scene lighting)に従ってセグメント化画像308を調整することができ、それにより、ユーザ202が感じる没入感覚を高める。例として、仮想シーン照明に従ってセグメント化画像308を調整することは、アルファマスク306を視覚画像304に適用するときにVRエンジン122によって実装され得る。この例では、VRエンジン122は、3D点群に基づいて、検出された前景対象(たとえば、手210)の3Dメッシュを生成することができる。手210に対応する視覚画像304の一部分は、次いで、3Dメッシュ上にマッピングされて、セグメント化画像308を生成する。
VRシミュレーションに応じて、物理対象(たとえば、手210)が仮想画像310内の近接した仮想対象によって遮断され得るように、深度画像302によって提供される深度情報を利用することができる。たとえば、VRエンジン122は、レンダリングされたVRシーンのzバッファを深度画像302によって提供された深度情報と比較して、1つまたは複数の仮想対象が結合画像312内の手210の前に提示される(すなわち、手210を遮断する)べきかどうかを判定することができる。
上記で論じたように、自らの手を見ることが単に可能であることに加えて、ユーザ202は、HMD204を取り外す必要なく、かつ/またはVRシミュレーションを中断することなく、物理環境200内の1つまたは複数の他の物理対象を感知することおよび/またはそれと相互作用することが可能であることを望む場合がある。したがって、図4は、本明細書で説明する技術の1つまたは複数の実装形態による、物理環境の視覚画像を仮想現実に統合するために空間関係を利用するプロセス400を示すフローチャートである。プロセス400は、図1のHMD100および/または図2のHMD204によって実行される1つの可能なプロセスである。
プロセスブロック402で、物理環境200の深度情報105がキャプチャされる。上述のように、深度情報105は、深度カメラ104によってキャプチャされ得、かつ/または1つまたは複数のモデルベースのアルゴリズムを視覚カメラ102によってキャプチャされた1つまたは複数の視覚画像に適用することによってキャプチャされ得る。深度情報105は、物理環境200の3D点群を含み得る。
プロセスブロック404で、視覚カメラ102は、物理環境200の視覚画像103をキャプチャする。視覚画像103はカラー(たとえば、RGB)画像であってよく、または視覚画像103はグレースケール画像であってもよい。次に、プロセスブロック406で、VRエンジン122は、深度情報105に基づいて、HMDのユーザ(たとえば、HMD204のユーザ202)と物理環境200内に含まれた1つまたは複数の物理対象(たとえば、デスク/テーブル212、キーボード214、およびモニタ216)との間の空間関係を判定する。以下でより詳細に論じるように、空間関係の判定は、ユーザ202が物理対象にタッチしているかどうか、ユーザ202と物理対象との間の距離、ユーザ202のハンドジェスチャ、および/または物理環境200の1つまたは複数の過去のモデルに部分的に基づき得る。
プロセスブロック408で、VRエンジン122は、1つまたは複数の物理対象を含むセグメント化画像を生成するために、空間関係に基づいて視覚画像103をセグメント化する。一例では、視覚画像103をセグメント化することは、3D点群に基づいて1つまたは複数の物理対象の3Dメッシュを生成することを含む。1つまたは複数の物理対象に対応する視覚画像103の一部分は、次いで、3Dメッシュ上にマッピングされて、セグメント化画像を生成する。次に、プロセスブロック410で、VRエンジン122は、ディスプレイ126上に表示するためにVRシミュレーションの一部分として仮想画像を提示/生成する。プロセスブロック412で、VRエンジン122は、仮想画像と視覚カメラ102によってキャプチャされた1つまたは複数の物理対象の両方を表示するために、セグメント化画像を仮想画像上にオーバレイする。
図5は、本明細書で説明する技術の1つまたは複数の実装形態による、ユーザと物理対象との間の空間関係に基づいて、物理対象の視覚画像を仮想画像に統合するプロセスを示す。
物理環境200の深度画像502は、HMD204の深度カメラ104によってキャプチャされる。図5はまた、視覚カメラ102によってキャプチャされた物理環境200の視覚画像504を示す。示すように、視覚画像504は、ユーザ202の手210、デスク/テーブル212、キーボード214、およびモニタ216の画像データを含む。VRエンジン122は、たとえば、センサ107によって判定されたHMD204の位置および方向に従って、深度画像502を変換するように構成され得る。別の例では、VRエンジン122は、深度画像502を過去の深度画像と比較して、(センサ107の援助を用いてまたは用いずに)変換を判定する登録プロセスによって深度画像502を変換することができる。静的対象を背景として識別するために、変換された深度画像502は、次いで、過去の深度画像506と結合される。たとえば、深度画像502を過去の深度画像506と比較することは、デスク/テーブル212、キーボード214、およびモニタ216がすべて静的対象であり、それにより背景として分類されるが、手210は前景として分類されることを明らかにする。
VRエンジン122は、次いで、前景アルファマスク508を生成するために、深度画像502を過去の深度画像506と比較することによって、視覚画像504をセグメント化することができる。次に、VRエンジン122は、識別された前景対象にタッチしているかまたはそれに近い背景対象を識別する。たとえば、VRエンジン122は、手210(前景対象)に近いかまたはそれにタッチしているとしてキーボード214(すなわち、背景対象)を識別することができ、それにより、VRエンジンは、キーボード214のみを含む背景アルファマスク510をやはり生成するために、視覚画像504をセグメント化することができる。一例では、背景アルファマスク510を生成するために視覚画像504をセグメント化することは、表面構造および/または視覚的外観(たとえば、色および/またはテクスチャ)など、背景対象の特性に基づいて選択された背景対象を拡張して、背景対象全体をセグメント化することを含む。これにより、手210が単にキーボード214の一部分にタッチしているかまたはそれに近いにもかかわらず、キーボード214全体に対応する背景アルファマスク510を生成することができる。いくつかの実装形態では、比較的大きな背景対象(たとえば、壁)の全体をセグメント化することができる。しかしながら、他の実装形態では、大きな背景対象の一部分のみがセグメント化される場合、比較的大きな背景対象(たとえば、壁)は部分的にのみセグメント化され得る。たとえば、VRエンジン122は、ユーザに最も近い対象上の点のしきい値距離内にある大きな背景対象(たとえば、壁)の一部分のみをセグメント化するように構成され得る。例として、VRエンジン122は、ユーザ202がキーボード214にタッチしていることを認識し、それにより、キーボード214全体が結合画像516内に出現するように、キーボード214全体をセグメント化することができる。しかしながら、ユーザ202がデスク/テーブル212にタッチしていることをVRエンジン122が認識するとき、仮想画像の遮断を低減するために、ユーザ202の手が届く範囲内にあるデスク/テーブル212の部分のみが結合画像516内に出現し得る。
VRエンジン122は、次いで、前景アルファマスク508を背景アルファマスク510と結合させて結合アルファマスク512を生成し、結合アルファマスク512は、次いで、セグメント化画像514を生成するために、視覚画像504に適用される。図5に示すように、セグメント化画像514は、1つまたは複数の物理対象(すなわち、キーボード214)ならびに視覚カメラ102によってキャプチャされた手210を含む。
VRエンジン122は、次いで、セグメント化画像514を仮想画像上にオーバレイして、ディスプレイ126を介して結合画像516をユーザ202に表示する。したがって、結合画像516は、仮想画像、ならびに視覚カメラ102によってキャプチャされた物理対象(たとえば、手210)を含む。一態様では、VRエンジン122は、結合画像516内の仮想画像により整合する手210の外観を生み出すために、仮想シーン照明に従ってセグメント化画像514を調整することができる。一例では、VRエンジン122は、3D点群に基づいて、検出された前景対象(たとえば、手210)および検出された背景対象(たとえば、キーボード214)の3Dメッシュを生成することによってセグメント化画像514を調整することができる。手210およびキーボード214に対応する視覚画像504の部分は、次いで、3Dメッシュ上にマッピングされて、(調整された)セグメント化画像514を生成する。
いくつかの実装形態では、VRエンジン122は、仮想画像がセグメント化画像514によって完全に遮断されないように、セグメント化画像514を仮想画像上にオーバレイするとき、ユーザの手210および/またはキーボード214の透明度を調節することができる。すなわち、物理対象がユーザのニーズに対して十分に可視である(たとえば、ユーザがキーボード上で手を正確に方向づけることを可能にする)が、VRシミュレーションを著しく妨害しない(たとえば、ゲームプレイを著しく遮断しない)ように、セグメント化画像514の透明度を調整することができる。一態様では、VRエンジン122は、1つまたは複数の物理対象が完全に透明になるまでのある時間期間にわたって、セグメント化画像514内に含まれた1つまたは複数の物理対象の透明度を増大させることができる。例として、キーボード214が結合画像516の視野からフェードアウトする前に、ユーザ202がキーボード214上で自らの手を方向づけることを可能にするために、ある時間期間にわたってキーボード214の透明度を増大させることができる。いくつかの実装形態では、背景対象の透明度は、前景対象の透明度とは無関係に制御され得る。たとえば、VRエンジン122は、前景対象(すなわち、手210)が完全に不透明である間に背景対象(すなわち、キーボード214)が部分的に透明であるように、前景アルファマスク508を背景アルファマスク510と結合するときに背景対象の透明度を調整することができる。上記で論じたように、比較的大きな背景対象の場合、VRエンジン122は、ユーザに最も近い対象上の点のしきい値距離内にある物理対象の点のみをセグメント化することができる。したがって、背景アルファマスク510を生成するとき、VRエンジン122は、ユーザから遠い物理対象の部分がユーザにより近い物理対象の部分よりもより透明になるように、物理対象上のその点からの距離に比例するように背景対象の透明度を調整することができる。
上述のように、ユーザと物理環境内の1つまたは複数の物理対象との間の空間関係の判定は、ユーザが物理対象をタッチしているかどうかおよび/または物理対象に近いかどうかに基づき得る。したがって、HMD100のVRエンジン122は、ユーザと物理環境200内の1つまたは複数の物理対象との間の距離を判定するように構成可能であり、この場合、距離がしきい値未満である場合のみ、1つまたは複数の物理対象はセグメント化画像(たとえば、516)内に含まれる。しきい値の値は、ユーザが1つまたは複数の物理対象をタッチしている場合、セグメント化画像が1つまたは複数の物理対象を含むように選択され得る。しきい値の値はまた、ユーザが1つまたは複数の物理対象に少なくとも近い場合、セグメント化画像が1つまたは複数の物理対象を含むように選択され得る。したがって、図6は、本明細書で説明する技術の1つまたは複数の実装形態による、距離に基づいてユーザと物理対象との間の空間関係を判定する例示的な実装形態を示す。
図6は、ユーザ202の手210および物理環境200内に位置する1つまたは複数の物理対象(キーボード214およびモニタ216)を示す。したがって、HMD100は、手210と物理対象214、216との間の距離602、604をそれぞれ判定することによって、ユーザと1つまたは複数の物理対象との間の距離を判定するように構成され得る。すなわち、図示の例は、ユーザの手と物理対象との間の距離に基づいて、ユーザと物理対象との間の空間関係を判定することを含む。しかしながら、他の例は、ユーザの他の側面と物理対象との間の距離を判定することを含み得る。たとえば、距離は、ユーザの身体(たとえば、上半身)から物理対象までの距離、ユーザの足から物理対象までの距離、および/またはユーザの頭から物理対象までの距離に基づき得る。さらに、ユーザと物理対象との間の距離の判定は、ユーザ自身の物理的属性の利用を含む必要はなく、代わりに、ユーザ制御されたインジケータの利用を含む。たとえば、ユーザは、スタイラス、ポインタ、タグ、または他のマーカーを(たとえば、自らの手の中に握ることによって)制御することができ、この場合、判定される距離は、ユーザ制御されたインジケータと物理対象との間の距離である。いくつかの実装形態では、ユーザと物理対象との間の距離は、HMD100内に含まれた1つまたは複数のセンサおよび/またはカメラからのデータに基づいて判定され得る。たとえば、HMD100は、視覚画像103、深度情報105、および/またはセンサ107によって提供されたデータのうちの1つまたは複数に基づいて、ユーザと1つまたは複数の物理対象との間の距離を判定することができる。
さらに、いくつかの例では、図6に示す距離602および604は、それぞれ、対象214および216の表面、エッジ、または境界上の点までの距離であってよい。しかしながら、他の例では、距離602および604は、それぞれの対象全体を表す位置(たとえば、中央、角などの基準位置)までの距離であってよい。例として、プロセス400を再度参照すると、プロセスブロック406で、視覚画像はまだセグメント化されておらず、したがって、物理対象の全体を表す位置はまだ知られていない可能性がある。プロセスブロック406は、次いで、ユーザからある距離内のまたは空間エリア内の点群のシード点を選択することができる。プロセスブロック408は、次いで、選択されたシード点に基づいて、物理対象のうちの1つまたは複数をセグメント化するステップを含み、この場合、それらのシード点は、(たとえば、色、テクスチャ、および/または形状均一性に基づいて)その境界が検出されるまで物理対象を展開するために使用される。物理対象の境界が判定されると、VRエンジン122は、次いで、その対象がユーザのしきい値距離内または定義された空間エリア(以下で論じる)内にあるかどうかを決定するために、物理対象全体を表す位置を判定することができる。
図6に示すように、手はキーボード214から第1の距離602にあり、モニタ216からより大きな第2の距離604にある。第1の距離602および第2の距離604は各々、それぞれの物理対象をセグメント化画像内に含めるかどうかを判定するためにしきい値と比較され得る。たとえば、しきい値の値はまた、手210が1つまたは複数の物理対象に少なくとも近い場合、セグメント化画像が1つまたは複数の物理対象を含むように選択され得る。したがって、距離602は、キーボード214がセグメント化画像内に含まれるようにしきい値未満であるが、距離604はしきい値以上であり、したがって、モニタ216はセグメント化画像内に含まれない。
別の例では、しきい値の値は、ユーザが1つまたは複数の物理対象をタッチしている場合のみ、セグメント化画像が1つまたは複数の物理対象を含むように選択され得る。すなわち、しきい値の値は、ゼロであって(または、ゼロに近くて)よい。したがって、距離602および604は、手210がキーボード214にもモニタ216にもタッチしていないことを示し、したがって、いずれの物理対象もセグメント化画像内に含まれなくてよい。
いくつかの態様では、ユーザと物理対象との間の距離は、HMD100のディスプレイ126上に表示される物理対象の透明度を調整するために使用され得る。すなわち、VRエンジン122は、ユーザと1つまたは複数の物理対象との間の距離に基づいて、セグメント化画像内に含まれた1つまたは複数の物理対象の透明度を調整するように構成され得る。一実装形態では、物理対象の透明度は、ユーザと物理対象との間の初期距離に基づいて設定されてよく、その場合、距離が縮小されると透明度は低減され得る(物理対象をより可視にする)。たとえば、図6を参照すると、キーボード214の透明度は、キーボード214が少なくとも部分的に透明である(たとえば、図5の結合画像516内で部分的に透明である)ように、当初、距離602に基づいて設定され得る。次いで、手210がキーボード214に向かって移動すると、それにより、距離602が縮小され、透明度を低減することができ、手210がキーボード214に近づけば近づくほどキーボード214はより可視になる。一実装形態では、キーボード214の透明度は、距離602の縮小に比例して低減され得る。
いくつかの実装形態では、1つまたは複数の物理対象は、ユーザのハンドジェスチャまたはハンドポーズに基づいて、HMD100のディスプレイ126によって表示されるVRシーンに統合され得る。すなわち、ユーザと1つまたは複数の物理対象との間の空間関係は、部分的に、ユーザの手のハンドジェスチャを認識して、セグメント化画像内に含めるための1つまたは複数の物理対象を識別することによって判定され得る。いくつかの例では、ヘッドマウントディスプレイ(たとえば、HMD100)は、ハンドジェスチャの認識に応じて、3D点群内に、かつユーザの手に近接して空間エリアを生成する。セグメント化画像は、次いで、空間エリア内に少なくとも部分的に位置する物理対象のみを含み得る。
たとえば、図7は、本明細書で説明する技術の1つまたは複数の実装形態による、第1のハンドジェスチャに基づいてユーザと物理対象との間の空間関係を判定する実装形態を示す。図7の手210は手を開いたジェスチャであり、この場合、手210は指を広げた状態で開いている。手を開いたジェスチャの認識に応じて、HMD100は、座標系702によって定義された3D点群内にクローズド3D形状(closed 3D shape)である空間エリアを生成することができる。本明細書で使用するクローズド3D形状は、すべての側面上に境界を有する任意の3D形状である。図7に示す例では、クローズド3D形状は球体710であるが、立方体、立方形、角錐、円錐、プリズム、円筒など他のクローズド3D形状も同様に実装され得る。さらに、球体710は手210を中心として一致し、方向づけられる。いくつかの態様では、球体710の中心は手210の中心である。しかしながら、他の例では、球体710は、手210からオフセットされ得る(たとえば、球体710は、球体710の表面が手210に接するように配置され得る)。球体710また、直径712を含む。いくつかの実装形態では、直径712は、手210の指同士の間の広がり714に比例する。したがって、ユーザ202が指同士の間の広がり714を変更すると、直径712はそれに応じて動的に変化し得る。すなわち、広がり714が増大すると直径712は比例して増大し、その逆も同様である。
図7は、3D点群内に表されたいくつかの物理対象704、706、および708をさらに示す。物理対象704は、完全に球体710内に位置し、したがって、VRエンジン122によって生成されたセグメント化画像内に含まれる。物理対象706は、球体710内に少なくとも部分的に位置し、したがって、セグメント化画像内にも含まれる。しかしながら、物理対象708はいずれの部分も、球体710内に位置せず、したがって、セグメント化画像から除去され得る。
図8は、本明細書で説明する技術の1つまたは複数の実装形態による、第2のハンドジェスチャに基づいてユーザと物理対象との間の空間関係を判定する例示的な実装形態を示す。図8の例では、手210は、指をさしているジェスチャであり、この場合、手210は伸ばした少なくとも1本の指804を含む。指を伸ばしたジェスチャの認識に応じて、HMD100は、座標系702によって定義された3D点群内にオープン空間エリアである空間エリアを生成することができる。本明細書で使用するオープン空間エリアは、すべての側面上に境界を有さない2D形状または3D形状を指す場合がある。すなわち、オープン空間エリアの少なくとも1つの側面はオープン空間エリアが点群内に動的に拡張され得るように、境界がない状態であり得る。図8に示す例では、オープン空間エリアは円錐形状806によって定義されるが、立方体、立方形、角錐、円錐、プリズム、円筒など他のオープン形状も同様に実装され得る。さらに、円錐形状806は指804から3D点群内に拡張する。したがって、円錐形状806は、指804の先に一致する頂点808を含み得る。しかしながら、他の例では、頂点808は指804の先からオフセットされ得る。
円錐形状806はまた、座標系702に従って指804の方向810に基づいて指804から離れて拡張するとして示されている。いくつかの実装形態では、円錐形状806の方向812は、指804の方向810と同じまたは同様である。したがって、ユーザ202が指804の方向810を変更すると、円錐形状806の方向812はそれに応じて動的に変化し得る。すなわち、ユーザが物理環境200内のあるエリアを指すと、円錐形状806の方向812は、そのエリア内に位置する1つまたは複数の物理対象を包含するように変化し得る。図8に示すように、物理対象814は、円錐形状806内に少なくとも部分的に位置し、したがって、セグメント化画像内に含まれる。
いくつかの実装形態では、HMD100および/またはHMD204のユーザは、別の人物または対象が物理環境内に入るとき、またはユーザの近傍に近づくときに感知することを望む場合がある。したがって、いくつかの態様は、1つまたは複数の物理対象が物理環境にとって新しい物理対象であるかどうかを判定することによって、ユーザと1つまたは複数の物理対象との間の空間関係を判定することを含み得る。たとえば、図9は、本明細書で説明する技術の1つまたは複数の実装形態による、物理環境の過去のモデルに基づいて、物理対象の視覚画像を仮想画像に統合するプロセスを示す。
物理環境200の深度画像902は、HMD204の深度カメラ104によってキャプチャされる。図9はまた、視覚カメラ102によってキャプチャされた物理環境200の視覚画像904を示す。示すように、視覚画像904は、物理環境200に入った人物916および壁918の画像データを含む。VRエンジン122は、たとえば、センサ104によって判定されたHMD204の位置および方向に従って、深度画像902を変換するように構成され得る。静的対象を既存の背景対象として識別するために、変換された深度画像902は、次いで、過去のモデル(すなわち、過去の深度画像906)と結合される。たとえば、深度画像902を過去の深度画像906と比較することは、壁918がすべて静的対象であり、それにより、既存の背景対象として分類されるが、人物916は新しい背景対象として分類されることを明らかにする。
VRエンジン122は、次いで、背景デルタマスク908を生成するために、深度画像902を過去の深度画像906と比較することによって、視覚画像904をセグメント化することができる。VRエンジン122は、次いで、セグメント化画像910を生成するために、背景デルタマスク908を視覚画像904に適用する。図9に示すように、セグメント化画像910は、視覚カメラ102によってキャプチャされた1つまたは複数の新しい物理対象(すなわち、人物916)を含む。
VRエンジン122は、次いで、セグメント化画像910を仮想画像912上にオーバレイして、ディスプレイ126を介して結合画像914をユーザ202に表示する。したがって、結合画像914は、仮想画像912、ならびに視覚カメラ102によってキャプチャされた人物916を含む。一態様では、VRエンジン122は、結合画像914内の仮想画像912により整合する人物916の外観を生み出すために、仮想シーン照明に従ってセグメント化画像910を調整することができる。例として、VRエンジン122は、背景デルタマスク908を視覚画像904に適用するとき、仮想シーン照明に従って、セグメント化画像910を調整するように構成され得る。すなわち、VRエンジン122は、3D点群に基づいて、検出された新しい物理対象(たとえば、人物916)の3Dメッシュを生成することができ、この場合、人物916に対応する視覚画像904の部分は、次いで、3Dメッシュ上にマッピングされて、セグメント化画像910を生成する。
図10は、本明細書で教示する、物理環境の視覚画像を統合するよう構成されたユーザデバイス装置1000において採用され得る構成要素のいくつかの見本態様を示す簡略ブロック図である。ユーザデバイス装置1000は、図1のHMD100および/または図2のHMD204の1つの可能な実装形態であり、相互に関連する一連の機能モジュールとして表される。
物理環境の深度情報をキャプチャするためのモジュール1010は、少なくともいくつかの態様では、たとえば、図1の深度カメラ104および/または視覚カメラ102に対応し得る。物理環境の視覚画像をキャプチャするためのモジュール1020は、少なくともいくつかの態様では、たとえば、図1の視覚カメラ102に対応し得る。深度情報に基づいてヘッドマウントディスプレイのユーザと物理環境内に含まれる1つまたは複数の物理対象との間の空間関係を判定するためのモジュール1030は、いくつかの態様では、たとえば、図1のVRエンジン122に対応し得る。1つまたは複数の物理対象を含むセグメント化画像を生成するために、空間関係に基づいて視覚画像をセグメント化するためのモジュール1040は、いくつかの態様では、たとえば、図1のVRエンジン122に対応し得る。ヘッドマウントディスプレイを用いて仮想画像を提示するためのモジュール1050は、いくつかの態様では、たとえば、図1のディスプレイ126と組み合わせたVRエンジン122に対応し得る。仮想画像と視覚カメラによってキャプチャされた1つまたは複数の物理対象の両方を提示するためにセグメント化画像を仮想画像上にオーバレイするためのモジュール1060は、いくつかの態様では、たとえば、図1のヘッドマウントディスプレイ126と組み合わせたVRエンジン122に対応し得る。
図1のモジュール1010〜1060の機能は、本明細書の教示と矛盾しない様々な方法で実装されてもよい。いくつかの設計では、これらのモジュール1010〜1060の機能は、1つまたは複数の電気構成要素として実装されてもよい。いくつかの設計では、これらのモジュール1010〜1060の機能は、1つまたは複数のプロセッサ構成要素を含む処理システムとして実装されてもよい。いくつかの設計では、これらのモジュール1010〜1060の機能は、たとえば、1つまたは複数の集積回路(たとえば、ASIC)の少なくとも一部分を使用して実装されてもよい。本明細書で説明するように、集積回路は、プロセッサ、ソフトウェア、他の関連する構成要素、またはそれらの何らかの組合せを含む場合がある。したがって、それぞれに異なるモジュールの機能は、たとえば、集積回路の異なるサブセットとして実装されてもよく、ソフトウェアモジュールのセットの異なるサブセットとして実装されてもよく、またはその組合せとして実装されてもよい。また、(たとえば、集積回路の、および/またはソフトウェアモジュールのセットの)所与のサブセットは、2つ以上のモジュールに関する機能の少なくとも一部分を実現する場合があることが諒解されよう。
加えて、図10によって表された構成要素および機能、ならびに本明細書で説明した他の構成要素および機能は、任意の適切な手段を用いて実装され得る。そのような手段はまた、少なくとも部分的に、本明細書で教示するように対応する構造を使用して実装されてもよい。たとえば、図10の「ためのモジュール」構成要素とともに上記で説明した構成要素は、同様に指定された「ための手段」機能にも対応し得る。したがって、いくつかの態様では、そのような手段の1つまたは複数は、プロセッサ構成要素、集積回路、または本明細書において教示される他の適切な構造のうちの1つまたは複数を使用して実装されてもよい。
1つまたは複数の実装形態は、本明細書で特定の用途に関する例示を参照して説明されている。これらの実装形態は限定を意図しないことを理解されたい。本明細書で提供される教示に対するアクセスを有する当業者は、その範囲内およびこの技術がかなり有用であろう追加分野範囲内に追加の修正、用途、および実装形態を認識するであろう。例示的な実装形態の上記の説明において、説明のために、特許請求される実装形態をより良好に説明する目的で特定の数、材料、構成、および他の詳細が記載されている。しかしながら、特許請求の範囲は本明細書で説明した例以外の詳細を使用して実施され得ることは当業者には明らかであろう。他の場合には、例示的な実装形態の説明を明瞭にするために、よく知られている特徴は省略または簡素化されている。
100 ヘッドマウントディスプレイ(HMD)
102 視覚カメラ
103 視覚画像
104 深度カメラ
105 深度情報
106 制御ユニット
107 センサ
108 ユーザインターフェース
110 処理ユニット
112 ハードウェア
114 ファームウェア
116 メモリ
118 ソフトウェア
122 VRエンジン、仮想現実(VR)エンジン
124 グラフィックスエンジン
126 ディスプレイ、ヘッドマウントディスプレイ
128 キーパッド
130 マイクロフォン
132 スピーカ
200 物理環境
202 ユーザ
204 ヘッドマウントディスプレイ(HMD)
210 手
212 テーブル/デスク、物理対象
214 キーボード、物理対象、対象
216 モニタ、物理対象、対象
218 視野
302 深度画像
304 視覚画像
306 アルファマスク
308 セグメント化画像
310 仮想画像
312 結合画像
400 プロセス
502 深度画像
504 視覚画像
506 過去の深度画像
508 前景アルファマスク
510 背景アルファマスク
512 結合アルファマスク
514 セグメント化画像
516 結合画像
602 距離、第1の距離
604 距離、第2の距離
702 座標系
704 物理対象
706 物理対象
708 物理対象
710 球体
712 直径
714 広がり
804 指
806 円錐形状
808 頂点
810 方向
812 方向
814 物理対象
902 深度画像
904 視覚画像
906 過去の深度画像
908 背景デルタマスク
910 セグメント化画像
912 仮想画像
914 結合画像
916 人物
918 壁
1000 ユーザデバイス装置
1010 モジュール
1020 モジュール
1030 モジュール
1040 モジュール
1050 モジュール
1060 モジュール

Claims (46)

  1. 物理環境においてヘッドマウントディスプレイとともに使用するための方法であって、
    前記物理環境の深度情報を取得するステップであって、前記物理環境が1つまたは複数の物理対象を含む、取得するステップと、
    視覚カメラを用いて前記物理環境の視覚画像をキャプチャするステップと、
    前記深度情報に基づいて、前記ヘッドマウントディスプレイのユーザと前記物理環境内に含まれる前記1つまたは複数の物理対象との間の空間関係を判定するステップと、
    前記1つまたは複数の物理対象を含むセグメント化画像を生成するために、前記空間関係に基づいて前記視覚画像をセグメント化するステップと、
    仮想画像を前記ヘッドマウントディスプレイ上に表示するステップと、
    前記仮想画像と前記視覚カメラによってキャプチャされた前記1つまたは複数の物理対象の両方を表示するために、前記セグメント化画像を前記仮想画像上にオーバレイするステップと
    を含む、方法。
  2. 前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定する前記ステップが、前記ユーザと前記1つまたは複数の物理対象との間の距離を判定するステップを含み、前記視覚画像をセグメント化する前記ステップが、前記距離がしきい値未満である場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるステップを含む、請求項1に記載の方法。
  3. 前記しきい値の値が、前記ユーザが前記1つまたは複数の物理対象をタッチしている場合、前記セグメント化画像が前記1つまたは複数の物理対象を含むように選択される、請求項2に記載の方法。
  4. 前記しきい値の値が、前記ユーザが前記1つまたは複数の物理対象に少なくとも近い場合、セグメント化画像が1つまたは複数の物理対象を含むように選択される、請求項2に記載の方法。
  5. 前記ユーザと前記1つまたは複数の物理対象との間の前記距離が、前記ユーザの手と前記1つまたは複数の物理対象との間の距離である、請求項2に記載の方法。
  6. 前記セグメント化画像を前記仮想画像上にオーバレイする前記ステップが、前記ユーザと前記1つまたは複数の物理対象との間の前記距離に基づいて、前記視覚カメラによってキャプチャされた前記1つまたは複数の物理対象の透明度を調整するステップを含む、請求項2に記載の方法。
  7. 前記1つまたは複数の物理対象の前記透明度を調整する前記ステップが、前記ユーザと前記1つまたは複数の物理対象との間の前記距離の縮小に比例して前記透明度を低減させるステップを含む、請求項6に記載の方法。
  8. 前記セグメント化画像を前記仮想画像上にオーバレイする前記ステップが、前記仮想画像が前記1つまたは複数の物理対象によって完全に遮断されないように、前記視覚カメラによってキャプチャされた前記1つまたは複数の物理対象の透明度を調整するステップを含む、請求項1に記載の方法。
  9. 前記1つまたは複数の物理対象が完全に透明になるまでのある時間期間にわたって、前記仮想画像内の前記1つまたは複数の物理対象の前記透明度を増大させるステップをさらに含む、請求項8に記載の方法。
  10. 前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定する前記ステップが、前記セグメント化画像内に含めるための前記1つまたは複数の物理対象を識別するために、前記ユーザの手のハンドジェスチャを認識するステップを含む、請求項1に記載の方法。
  11. 前記深度情報が前記物理環境の3次元(3D)点群を含み、前記方法が、
    前記ハンドジェスチャの認識に応じて、前記3D点群内に、かつ前記ユーザの前記手に近接して空間エリアを生成するステップをさらに含み、前記視覚画像をセグメント化する前記ステップが、前記1つまたは複数の物理対象が前記空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるステップを含む、請求項10に記載の方法。
  12. 前記空間エリアを生成する前記ステップが、前記ハンドジェスチャの認識に応じて、クローズド3D形状を生成するステップを含み、前記視覚画像をセグメント化する前記ステップが、前記1つまたは複数の物理対象が前記クローズド3D形状内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるステップを含む、請求項11に記載の方法。
  13. 前記ハンドジェスチャが手を開いたジェスチャであり、前記クローズド3D形状が球体である、請求項12に記載の方法。
  14. 前記球体が前記ユーザの前記手を中心として方向づけられ、前記ユーザの前記手の指の広がりに比例する直径を有する、請求項13に記載の方法。
  15. 前記空間エリアを生成する前記ステップが、前記ハンドジェスチャの認識に応じて、前記ユーザの前記手から前記3D点群内に拡張するオープン空間エリアを生成するステップを含み、前記視覚画像をセグメント化する前記ステップが、前記1つまたは複数の物理対象が前記オープン空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるステップを含む、請求項11に記載の方法。
  16. 前記ハンドジェスチャが指をさすハンドジェスチャであり、前記オープン空間エリアが、前記ユーザの前記手の指における頂点を有する円錐形状によって定義されたエリアであり、前記円錐形状が、前記指の方向に基づいて、前記指から離れて前記物理環境内に拡張する、請求項15に記載の方法。
  17. セグメント化画像を生成するために、前記空間関係に基づいて前記視覚画像をセグメント化する前記ステップが、前記仮想画像の仮想シーン照明に従って前記セグメント化画像を調整するステップを含む、請求項1に記載の方法。
  18. 前記深度情報が、前記物理環境の3次元(3D)点群を含み、前記仮想画像の前記仮想シーン照明に従って前記セグメント化画像を調整する前記ステップが、
    前記3D点群に基づいて前記1つまたは複数の物理対象の3Dメッシュを生成するステップと、
    前記視覚画像の一部分を前記1つまたは複数の物理対象の前記3Dメッシュ上にマッピングするステップと
    を含む、請求項17に記載の方法。
  19. 前記視覚画像をセグメント化する前記ステップが、前記深度情報に基づいて、前記物理環境内に含まれる1つまたは複数の他の物理対象から前記1つまたは複数の物理対象をセグメント化するステップを含む、請求項1に記載の方法。
  20. 前記視覚画像をセグメント化する前記ステップが、前記1つまたは複数の物理対象および前記視覚カメラによってキャプチャされた前記ユーザの手を含めるために前記セグメント化画像を生成するステップを含む、請求項1に記載の方法。
  21. 前記視覚カメラによってキャプチャされた前記物理環境の視野が、前記ヘッドマウントディスプレイによって妨害される前記ユーザの視野である、請求項1に記載の方法。
  22. 前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定する前記ステップが、
    前記物理環境の過去のモデルを取得するステップと、
    前記過去のモデルに基づいて、前記1つまたは複数の物理対象が前記物理環境にとって新しい物理対象であるかどうかを判定するステップとを含み、前記視覚画像をセグメント化する前記ステップが、前記1つまたは複数の物理対象が前記物理環境にとって新しい物理対象であるとの判定に応じて、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるステップを含む、請求項1に記載の方法。
  23. ヘッドマウントディスプレイであって、
    物理環境の深度情報を取得するための手段であって、前記物理環境が1つまたは複数の物理対象を含む、取得するための手段と、
    前記物理環境の視覚画像をキャプチャするための視覚カメラと、
    前記深度情報に基づいて、前記ヘッドマウントディスプレイのユーザと前記物理環境内に含まれる前記1つまたは複数の物理対象との間の空間関係を判定するための手段と、
    前記1つまたは複数の物理対象を含むセグメント化画像を生成するために、前記空間関係に基づいて前記視覚画像をセグメント化するための手段と、
    仮想画像を前記ヘッドマウントディスプレイ上に表示するための手段と、
    前記仮想画像と前記視覚カメラによってキャプチャされた前記1つまたは複数の物理対象の両方を表示するために、前記セグメント化画像を前記仮想画像上にオーバレイするための手段と
    を含む、ヘッドマウントディスプレイ。
  24. 前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定するための前記手段が、前記ユーザと前記1つまたは複数の物理対象との間の距離を判定するための手段を含み、前記視覚画像をセグメント化するための前記手段が、前記距離がしきい値未満である場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるための手段を含む、請求項23に記載のヘッドマウントディスプレイ。
  25. 前記ユーザと前記1つまたは複数の物理対象との間の前記距離が、前記ユーザの手と前記1つまたは複数の物理対象との間の距離である、請求項24に記載のヘッドマウントディスプレイ。
  26. 前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定するための前記手段が、前記セグメント化画像内に含めるための前記1つまたは複数の物理対象を識別するために、前記ユーザの手のハンドジェスチャを認識するための手段を含む、請求項23に記載のヘッドマウントディスプレイ。
  27. 前記深度情報が前記物理環境の3次元(3D)点群を含み、前記ヘッドマウントディスプレイが、
    前記ハンドジェスチャの認識に応じて、前記3D点群内に、かつ前記ユーザの前記手に近接して空間エリアを生成するための手段をさらに含み、前記視覚画像をセグメント化するための前記手段が、前記1つまたは複数の物理対象が前記空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるための手段を含む、請求項26に記載のヘッドマウントディスプレイ。
  28. 前記空間エリアを生成するための前記手段が、前記ハンドジェスチャの認識に応じて、クローズド3D形状を生成するための手段を含み、前記視覚画像をセグメント化するための前記手段が、前記1つまたは複数の物理対象が前記クローズド3D形状内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるための手段を含む、請求項27に記載のヘッドマウントディスプレイ。
  29. 前記空間エリアを生成するための前記手段が、前記ハンドジェスチャの認識に応じて、前記ユーザの前記手から前記3D点群内に拡張するオープン空間エリアを生成するための手段を含み、前記視覚画像をセグメント化するための前記手段が、前記1つまたは複数の物理対象が前記オープン空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるための手段を含む、請求項27に記載のヘッドマウントディスプレイ。
  30. 前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定するための前記手段が、
    前記物理環境の過去のモデルを取得するための手段と、
    前記過去のモデルに基づいて、前記1つまたは複数の物理対象が前記物理環境にとって新しい物理対象であるかどうかを判定するための手段とを含み、前記視覚画像をセグメント化するための前記手段が、前記1つまたは複数の物理対象が前記物理環境にとって新しい物理対象であるとの判定に応じて、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるための手段を含む、請求項23に記載のヘッドマウントディスプレイ。
  31. ヘッドマウントディスプレイであって
    視覚カメラと、
    ディスプレイと、
    少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに結合された少なくとも1つのメモリとを含み、前記少なくとも1つのプロセッサおよび前記少なくとも1つのメモリが、
    物理環境の深度情報を取得することであって、前記物理環境が1つまたは複数の物理対象を含む、取得することと、
    前記視覚カメラを用いて前記物理環境の視覚画像をキャプチャすることと、
    前記深度情報に基づいて、前記ヘッドマウントディスプレイのユーザと前記物理環境内に含まれる前記1つまたは複数の物理対象との間の空間関係を判定することと、
    前記1つまたは複数の物理対象を含むセグメント化画像を生成するために、前記空間関係に基づいて前記視覚画像をセグメント化することと、
    仮想画像を前記ディスプレイ上に表示することと、
    前記仮想画像と前記視覚カメラによってキャプチャされた前記1つまたは複数の物理対象の両方を表示するために、前記セグメント化画像を前記仮想画像上にオーバレイすることと
    を行うように前記ヘッドマウントディスプレイに指示するように構成される、ヘッドマウントディスプレイ。
  32. 前記少なくとも1つのプロセッサおよび前記少なくとも1つのメモリが、
    前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の距離を判定することによって、前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定し、
    前記距離がしきい値未満である場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めることによって前記視覚画像をセグメント化する
    ように前記ヘッドマウントディスプレイに指示するようにさらに構成される、請求項31に記載のヘッドマウントディスプレイ。
  33. 前記ユーザと前記1つまたは複数の物理対象との間の前記距離が、前記ユーザの手と前記1つまたは複数の物理対象との間の距離である、請求項32に記載のヘッドマウントディスプレイ。
  34. 前記少なくとも1つのプロセッサおよび前記少なくとも1つのメモリが、
    前記セグメント化画像内に含めるための前記1つまたは複数の物理対象を識別するために、前記ユーザの手のハンドジェスチャを認識することによって、前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定する
    ように前記ヘッドマウントディスプレイに指示するようにさらに構成される、請求項31に記載のヘッドマウントディスプレイ。
  35. 前記深度情報が前記物理環境の3次元(3D)点群を含み、前記少なくとも1つのプロセッサおよび前記少なくとも1つのメモリが、
    ハンドジェスチャの認識に応じて、前記3D点群内に、かつ前記ユーザの手に近接して空間エリアを生成し、
    前記1つまたは複数の物理対象が前記空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めることによって前記視覚画像をセグメント化する
    ように前記ヘッドマウントディスプレイに指示するようにさらに構成される、請求項31に記載のヘッドマウントディスプレイ。
  36. 前記少なくとも1つのプロセッサおよび前記少なくとも1つのメモリが、
    前記ハンドジェスチャの認識に応じて、クローズド3D形状を生成することによって前記空間エリアを生成し、
    前記1つまたは複数の物理対象が前記クローズド3D形状内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めることによって、前記視覚画像をセグメント化する
    ように前記ヘッドマウントディスプレイに指示するようにさらに構成される、請求項35に記載のヘッドマウントディスプレイ。
  37. 前記少なくとも1つのプロセッサおよび前記少なくとも1つのメモリが、
    前記ハンドジェスチャの認識に応じて、前記ユーザの前記手から前記3D点群内に拡張するオープン空間エリアを生成することによって、前記空間エリアを生成し、
    前記1つまたは複数の物理対象が前記オープン空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めることによって、前記視覚画像をセグメント化する
    ように前記ヘッドマウントディスプレイに指示するようにさらに構成される、請求項35に記載のヘッドマウントディスプレイ。
  38. 前記少なくとも1つのプロセッサおよび前記少なくとも1つのメモリが、
    前記物理環境の過去のモデルを取得し、
    前記過去のモデルに基づいて、前記1つまたは複数の物理対象が前記物理環境にとって新しい物理対象であるかどうかを判定し、
    前記1つまたは複数の物理対象が前記物理環境にとって新しい物理対象であるとの判定に応じて、前記1つまたは複数の物理対象を前記セグメント化画像内に含めることによって、前記視覚画像をセグメント化する
    ことによって、前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定するように前記ヘッドマウントディスプレイに指示するようにさらに構成される、請求項31に記載のヘッドマウントディスプレイ。
  39. 深度カメラをさらに含み、前記少なくとも1つのプロセッサおよび前記少なくとも1つのメモリが、前記深度カメラを用いて前記物理環境の前記深度情報をキャプチャするように前記ヘッドマウントディスプレイに指示するようにさらに構成される、請求項31に記載のヘッドマウントディスプレイ。
  40. プログラムコードを記憶する非一時的コンピュータ可読記憶媒体であって、前記プログラムコードが、実行されると、ヘッドマウントディスプレイに、
    物理環境の深度情報を取得することであって、前記物理環境が1つまたは複数の物理対象を含む、取得することと、
    視覚カメラを用いて前記物理環境の視覚画像をキャプチャすることと、
    前記深度情報に基づいて、前記ヘッドマウントディスプレイのユーザと前記物理環境内に含まれる前記1つまたは複数の物理対象との間の空間関係を判定することと、
    前記1つまたは複数の物理対象を含むセグメント化画像を生成するために、前記空間関係に基づいて前記視覚画像をセグメント化することと、
    仮想画像を前記ヘッドマウントディスプレイ上に表示することと、
    前記仮想画像と前記視覚カメラによってキャプチャされた前記1つまたは複数の物理対象の両方を表示するために、前記セグメント化画像を前記仮想画像上にオーバレイすることと
    を行わせる命令を含む、非一時的コンピュータ可読記憶媒体。
  41. 前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定するための前記命令が、前記ユーザと前記1つまたは複数の物理対象との間の距離を判定するための命令を含み、前記視覚画像をセグメント化するための前記命令が、前記距離がしきい値未満である場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるための命令を含む、請求項40に記載の非一時的コンピュータ可読記憶媒体。
  42. 前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定するための前記命令が、前記セグメント化画像内に含めるための前記1つまたは複数の物理対象を識別するために、前記ユーザの手のハンドジェスチャを認識するための命令を含む、請求項40に記載の非一時的コンピュータ可読記憶媒体。
  43. 前記深度情報が前記物理環境の3次元(3D)点群を含み、前記非一時的コンピュータ可読記憶媒体が、
    前記ハンドジェスチャの認識に応じて、前記3D点群内に、かつ前記ユーザの前記手に近接して空間エリアを生成し、
    前記1つまたは複数の物理対象が前記空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めることによって前記視覚画像をセグメント化する
    ように前記ヘッドマウントディスプレイに指示するための命令をさらに含む、請求項42に記載の非一時的コンピュータ可読記憶媒体。
  44. 前記空間エリアを生成するための前記命令が、前記ハンドジェスチャの認識に応じて、クローズド3D形状を生成するための命令を含み、前記視覚画像をセグメント化するための前記命令が、前記1つまたは複数の物理対象が前記クローズド3D形状内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるための命令を含む、請求項43に記載の非一時的コンピュータ可読記憶媒体。
  45. 前記空間エリアを生成するための前記命令が、前記ハンドジェスチャの認識に応じて、前記ユーザの前記手から前記3D点群内に拡張するオープン空間エリアを生成するための命令を含み、前記視覚画像をセグメント化するための前記命令が、前記1つまたは複数の物理対象が前記オープン空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるための命令を含む、請求項43に記載の非一時的コンピュータ可読記憶媒体。
  46. 前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定するための前記命令が、
    前記物理環境の過去のモデルを取得し、
    前記過去のモデルに基づいて、前記1つまたは複数の物理対象が前記物理環境にとって新しい物理対象であるかどうかを判定し、
    前記1つまたは複数の物理対象が前記物理環境にとって新しい物理対象であるとの判定に応じて、前記1つまたは複数の物理対象を前記セグメント化画像内に含めることによって、前記視覚画像をセグメント化する
    ように前記ヘッドマウントディスプレイに指示するための命令を含む、請求項40に記載の非一時的コンピュータ可読記憶媒体。
JP2018546902A 2016-03-24 2017-01-23 物理環境の視覚画像を仮想現実に統合するための空間関係 Ceased JP2019514101A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/080,363 US10665019B2 (en) 2016-03-24 2016-03-24 Spatial relationships for integration of visual images of physical environment into virtual reality
US15/080,363 2016-03-24
PCT/US2017/014554 WO2017164971A2 (en) 2016-03-24 2017-01-23 Spatial relationships for integration of visual images of physical environment into virtual reality

Publications (2)

Publication Number Publication Date
JP2019514101A true JP2019514101A (ja) 2019-05-30
JP2019514101A5 JP2019514101A5 (ja) 2020-02-20

Family

ID=58018228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018546902A Ceased JP2019514101A (ja) 2016-03-24 2017-01-23 物理環境の視覚画像を仮想現実に統合するための空間関係

Country Status (9)

Country Link
US (1) US10665019B2 (ja)
EP (3) EP3433704B1 (ja)
JP (1) JP2019514101A (ja)
KR (1) KR102745506B1 (ja)
CN (2) CN108780357B (ja)
BR (1) BR112018069351A2 (ja)
CA (1) CA3015508A1 (ja)
TW (1) TW201737024A (ja)
WO (1) WO2017164971A2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021009647A (ja) * 2019-07-03 2021-01-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 仮想現実制御装置、仮想現実ヘッドセット、仮想現実制御方法およびプログラム
JP2022120553A (ja) * 2021-02-05 2022-08-18 株式会社カプコン プログラム及び表示制御装置
JP2022537817A (ja) * 2019-06-28 2022-08-30 マジック リープ， インコーポレイテッド 動的オクルージョンのための高速の手のメッシュ化
JP2023505900A (ja) * 2019-12-13 2023-02-13 テレフオンアクチーボラゲット エルエム エリクソン（パブル） メモリおよびデバイスのトラッキングを使用する拡張現実アプリケーションにおけるオクルージョンハンドリングのための方法と関連装置
JP2023554671A (ja) * 2020-12-22 2023-12-28 メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー 仮想現実における部分パススルー
WO2025022740A1 (ja) * 2023-07-26 2025-01-30 キヤノン株式会社 制御装置
JP7745726B1 (ja) * 2024-09-30 2025-09-29 カバー株式会社 映像生成装置、映像生成システム、および映像生成方法

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11714880B1 (en) 2016-02-17 2023-08-01 Ultrahaptics IP Two Limited Hand pose estimation for machine learning based gesture recognition
US11841920B1 (en) 2016-02-17 2023-12-12 Ultrahaptics IP Two Limited Machine learning based gesture recognition
US11854308B1 (en) 2016-02-17 2023-12-26 Ultrahaptics IP Two Limited Hand initialization for machine learning based gesture recognition
WO2017180730A1 (en) * 2016-04-12 2017-10-19 R-Stor Inc. Method and apparatus for presenting imagery within a virtualized environment
GB2551473A (en) * 2016-04-29 2017-12-27 String Labs Ltd Augmented media
US10639510B2 (en) * 2017-03-20 2020-05-05 The Trustees Of Columbia University In The City Of New York Human musculoskeletal support and training system methods and devices
US20180267615A1 (en) * 2017-03-20 2018-09-20 Daqri, Llc Gesture-based graphical keyboard for computing devices
US11184574B2 (en) 2017-07-17 2021-11-23 Facebook, Inc. Representing real-world objects with a virtual reality environment
DE102017218215B4 (de) 2017-10-12 2024-08-01 Audi Ag Verfahren zum Betreiben einer am Kopf tragbaren elektronischen Anzeigeeinrichtung und Anzeigesystem zum Anzeigen eines virtuellen Inhalts
JP7087364B2 (ja) * 2017-12-04 2022-06-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システムおよびプログラム
JP2019100995A (ja) * 2017-12-08 2019-06-24 株式会社トプコン 測量画像表示制御装置、測量画像表示制御方法および測量画像表示制御用プログラム
EP3508882A1 (en) * 2018-01-09 2019-07-10 Vivior AG An apparatus and a method for passive scanning of an object or a scene
CN108479067B (zh) * 2018-04-12 2019-09-20 网易（杭州）网络有限公司 游戏画面的渲染方法和装置
US20210097754A1 (en) * 2018-06-22 2021-04-01 Hewlett-Packard Development Company, L.P. Virtual display monitors
US11348252B1 (en) * 2018-07-12 2022-05-31 Nevermind Capital Llc Method and apparatus for supporting augmented and/or virtual reality playback using tracked objects
US11983990B2 (en) 2018-08-22 2024-05-14 Aristocrat Technologies Australia Pty Limited Gaming machine and method for evaluating player reactions
US10593152B1 (en) 2018-08-22 2020-03-17 Aristocrat Technologies Australia Pty Limited Gaming machine and method for evaluating player reactions
US11880911B2 (en) 2018-09-07 2024-01-23 Apple Inc. Transitioning between imagery and sounds of a virtual environment and a real environment
US11403822B2 (en) 2018-09-21 2022-08-02 Augmntr, Inc. System and methods for data transmission and rendering of virtual objects for display
WO2020070630A1 (en) 2018-10-02 2020-04-09 Within Unlimited, Inc. Methods, systems and devices supporting real-time shared virtual reality environment
US11320911B2 (en) * 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Hand motion and orientation-aware buttons and grabbable objects in mixed reality
US11189130B2 (en) 2019-01-23 2021-11-30 Aristocrat Technologies Australia Pty Limited Gaming machine security devices and methods
US20200242280A1 (en) 2019-01-30 2020-07-30 Augmntr, Inc. System and methods of visualizing an environment
US11133993B2 (en) * 2019-02-28 2021-09-28 At&T Intellectual Property I, L.P. Augmented/mixed reality virtual venue pipeline optimization
JP7089114B2 (ja) * 2019-03-29 2022-06-21 株式会社ソニー・インタラクティブエンタテインメント 境界表示制御装置、境界表示制御方法及びプログラム
US11004269B2 (en) * 2019-04-22 2021-05-11 Microsoft Technology Licensing, Llc Blending virtual environments with situated physical reality
US11263866B2 (en) 2019-05-31 2022-03-01 Aristocrat Technologies, Inc. Securely storing machine data on a non-volatile memory device
US11308761B2 (en) 2019-05-31 2022-04-19 Aristocrat Technologies, Inc. Ticketing systems on a distributed ledger
US10890983B2 (en) 2019-06-07 2021-01-12 Facebook Technologies, Llc Artificial reality system having a sliding menu
US11334212B2 (en) 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US12147607B1 (en) 2019-07-11 2024-11-19 Apple Inc. Transitioning between environments
US11189103B2 (en) * 2019-08-01 2021-11-30 Apple Inc. Visual search refinement for computer generated rendering environments
US11307647B2 (en) 2019-09-11 2022-04-19 Facebook Technologies, Llc Artificial reality triggered by physical object
US11132058B1 (en) * 2019-09-12 2021-09-28 Facebook Technologies, Llc Spatially offset haptic feedback
US11409364B2 (en) * 2019-09-13 2022-08-09 Facebook Technologies, Llc Interaction with artificial reality based on physical objects
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
CN112835445B (zh) * 2019-11-25 2024-04-26 华为技术有限公司 虚拟现实场景中的交互方法、装置及系统
CN112887631B (zh) * 2019-11-29 2022-08-12 北京字节跳动网络技术有限公司 在视频中显示对象的方法、装置、电子设备及计算机可读存储介质
KR102702585B1 (ko) 2019-12-03 2024-09-04 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11195371B2 (en) 2019-12-04 2021-12-07 Aristocrat Technologies, Inc. Preparation and installation of gaming devices using blockchain
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11107280B1 (en) * 2020-02-28 2021-08-31 Facebook Technologies, Llc Occlusion of virtual objects in augmented reality by physical objects
US11636726B2 (en) * 2020-05-08 2023-04-25 Aristocrat Technologies, Inc. Systems and methods for gaming machine diagnostic analysis
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11514690B2 (en) * 2020-06-30 2022-11-29 Sony Interactive Entertainment LLC Scanning of 3D objects with a second screen device for insertion into a virtual environment
US11656679B2 (en) * 2020-08-27 2023-05-23 Microsoft Technology Licensing, Llc Manipulator-based image reprojection
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11580703B1 (en) * 2020-09-15 2023-02-14 Meta Platforms Technologies, Llc Adaptive model updates for dynamic and static scenes
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
WO2022140432A1 (en) * 2020-12-22 2022-06-30 Facebook Technologies, Llc Partial passthrough in virtual reality
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11644890B2 (en) * 2021-02-11 2023-05-09 Qualcomm Incorporated Image capturing in extended reality environments
US12183035B1 (en) 2021-03-08 2024-12-31 Meta Platforms, Inc. System and method for positioning a 3D eyeglasses model
AU2021436510B2 (en) * 2021-03-24 2024-04-04 Shanghai Huizi Cosmetics Co., Ltd. Method and system for extracting nail contours
US11436806B1 (en) * 2021-04-07 2022-09-06 Penumbra, Inc. Dual perspective rendering in virtual reality
US12223797B2 (en) 2021-05-14 2025-02-11 Aristocrat Technologies, Inc. Slidable gaming chair including return-to-home feature
US11676348B2 (en) 2021-06-02 2023-06-13 Meta Platforms Technologies, Llc Dynamic mixed reality content in virtual reality
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11521361B1 (en) 2021-07-01 2022-12-06 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US20230024386A1 (en) 2021-07-09 2023-01-26 Aristocrat Technologies, Inc. Data collection cloud system for electronic gaming machines
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
TWI797761B (zh) * 2021-10-04 2023-04-01 邦鼎科技有限公司 虛擬實境的顯示方法
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
TW202324172A (zh) 2021-11-10 2023-06-16 美商元平台技術有限公司 自動建立人工實境世界
CN118265962B (zh) * 2021-11-19 2025-01-03 苹果公司 用于电子设备应用程序的场景信息访问
US12093447B2 (en) 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US11726578B1 (en) 2022-02-11 2023-08-15 Meta Platforms Technologies, Llc Scrolling and navigation in virtual reality
US20230260239A1 (en) * 2022-02-14 2023-08-17 Meta Platforms, Inc. Turning a Two-Dimensional Image into a Skybox
US12067688B2 (en) 2022-02-14 2024-08-20 Meta Platforms Technologies, Llc Coordination of interactions of virtual objects
US12149802B2 (en) * 2022-03-14 2024-11-19 Htc Corporation Real-world view display method, video pass-through system and non-transitory computer readable storage medium
US12164741B2 (en) 2022-04-11 2024-12-10 Meta Platforms Technologies, Llc Activating a snap point in an artificial reality environment
US11836205B2 (en) 2022-04-20 2023-12-05 Meta Platforms Technologies, Llc Artificial reality browser configured to trigger an immersive experience
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
GB2619552B (en) * 2022-06-10 2024-09-18 Sony Interactive Entertainment Europe Ltd Computer implemented method and system for providing an augmented reality entertainment environment
US20230419617A1 (en) 2022-06-22 2023-12-28 Meta Platforms Technologies, Llc Virtual Personal Interface for Control and Travel Between Virtual Worlds
DE102022206395A1 (de) * 2022-06-24 2024-01-04 Siemens Aktiengesellschaft Verfahren zum Simulieren eines Raums als virtuelle Realität mittels einer Simulationsvorrichtung, Computerprogrammprodukt, computerlesbares Speichermedium sowie Simulationsvorrichtung
US12154231B2 (en) * 2022-07-20 2024-11-26 Qualcomm Incorporated Late stage occlusion based rendering for extended reality (XR)
US12277301B2 (en) 2022-08-18 2025-04-15 Meta Platforms Technologies, Llc URL access to assets within an artificial reality universe on both 2D and artificial reality interfaces
US12097427B1 (en) 2022-08-26 2024-09-24 Meta Platforms Technologies, Llc Alternate avatar controls
US12175603B2 (en) 2022-09-29 2024-12-24 Meta Platforms Technologies, Llc Doors for artificial reality universe traversal
US12218944B1 (en) * 2022-10-10 2025-02-04 Meta Platform Technologies, LLC Group travel between artificial reality destinations
US12444152B1 (en) 2022-10-21 2025-10-14 Meta Platforms Technologies, Llc Application multitasking in a three-dimensional environment
US12547237B1 (en) 2022-10-24 2026-02-10 Meta Platforms Technologies, Llc Artificial reality input for two-dimensional virtual objects
US12541918B2 (en) 2022-10-28 2026-02-03 Samsung Electronics Co., Ltd. System and method for surface properties reconstruction and positioning of digitized 3D objects
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US12400414B2 (en) 2023-02-08 2025-08-26 Meta Platforms Technologies, Llc Facilitating system user interface (UI) interactions in an artificial reality (XR) environment
US12387449B1 (en) 2023-02-08 2025-08-12 Meta Platforms Technologies, Llc Facilitating system user interface (UI) interactions in an artificial reality (XR) environment
US20240281070A1 (en) * 2023-02-16 2024-08-22 Meta Platforms Technologies, Llc Simultaneous Controller and Touch Interactions
US12548245B2 (en) 2023-03-31 2026-02-10 Meta Platforms Technologies, Llc Rendering an artificial reality environment based on a defined hierarchy of multiple states including multiple artificial reality experiences with augments
US20240337915A1 (en) * 2023-04-04 2024-10-10 Aspeed Technology Inc. Image projection method for virtual tour
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment
US12366914B2 (en) * 2023-05-31 2025-07-22 Apple Inc. Dynamic proximity boundary for detecting proximate objects
US20250078423A1 (en) 2023-09-01 2025-03-06 Samsung Electronics Co., Ltd. Passthrough viewing of real-world environment for extended reality headset to support user safety and immersion
CN119576111A (zh) * 2023-09-05 2025-03-07 珠海莫界科技有限公司 头戴式显示设备的控制方法、装置、设备及存储介质
CN119888136A (zh) * 2023-10-23 2025-04-25 万有引力（宁波）电子科技有限公司 对外显示系统、头戴式显示设备、控制方法及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025918A (ja) * 2007-07-17 2009-02-05 Canon Inc 画像処理装置、画像処理方法
JP2011258204A (ja) * 2010-06-04 2011-12-22 Thomson Licensing 仮想環境におけるオブジェクトの選択方法
JP2013041431A (ja) * 2011-08-16 2013-02-28 Fujitsu Ltd 入力装置、入力制御方法及び入力制御プログラム
WO2014188798A1 (ja) * 2013-05-21 2014-11-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
WO2016014875A2 (en) * 2014-07-25 2016-01-28 Microsoft Technology Licensing, Llc Smart transparency for holographic objects
WO2016014877A1 (en) * 2014-07-25 2016-01-28 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
WO2016038253A1 (en) * 2014-09-11 2016-03-17 Nokia Technologies Oy Method, apparatus and computer program for displaying an image

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7343566B1 (en) 2002-07-10 2008-03-11 Apple Inc. Method and apparatus for displaying a window for a user interface
US7359564B2 (en) * 2004-10-29 2008-04-15 Microsoft Corporation Method and system for cancellation of ambient light using light frequency
US20100182340A1 (en) * 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments
EP2482760B1 (en) * 2009-09-30 2020-03-25 National ICT Australia Limited Object tracking for artificial vision
MX2012010238A (es) 2010-03-05 2013-01-18 Sony Comp Entertainment Us Mantenimiento de vistas multiples en un espacio virtual estable compartido.
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9245193B2 (en) * 2011-08-19 2016-01-26 Qualcomm Incorporated Dynamic selection of surfaces in real world for projection of information thereon
US8890812B2 (en) * 2012-10-25 2014-11-18 Jds Uniphase Corporation Graphical user interface adjusting to a change of user's disposition
EP2951811A4 (en) * 2013-01-03 2016-08-17 Meta Co DIGITAL EYES FOR EXTRAMISSIVE SPATIAL IMAGING, PROCESSES AND SYSTEMS FOR VIRTUAL OR ENLARGED VISIBILITY, MANIPULATION, PRODUCTION OR INTERACTION WITH OBJECTS, MATERIALS, OR OTHER UNITS
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US10509533B2 (en) * 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US20160210785A1 (en) * 2013-10-03 2016-07-21 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
US9607437B2 (en) * 2013-10-04 2017-03-28 Qualcomm Incorporated Generating augmented reality content for unknown objects
KR20150101612A (ko) * 2014-02-27 2015-09-04 엘지전자 주식회사 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법
US20150262412A1 (en) 2014-03-17 2015-09-17 Qualcomm Incorporated Augmented reality lighting with dynamic geometry
JP2017520336A (ja) * 2014-03-17 2017-07-27 コア スポーツ テクノロジー グループＣｏｒｅ Ｓｐｏｒｔｓ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ 人体および物体運動への生体力学フィードバックを送達するための方法およびシステム
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
MA41117A (fr) * 2014-12-05 2017-10-10 Myfiziq Ltd Imagerie d'un corps
CN104536579B (zh) 2015-01-20 2018-07-27 深圳威阿科技有限公司 交互式三维实景与数字图像高速融合处理系统及处理方法
US9779512B2 (en) * 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
CN104657103B (zh) * 2015-03-16 2017-06-16 哈尔滨工业大学 基于深度摄像机的手持cave投影系统
EP3332313B1 (en) * 2015-08-06 2019-10-09 PCMS Holdings, Inc. Methods and systems for providing haptic feedback for virtual 3d objects
US10497177B1 (en) * 2017-09-19 2019-12-03 Bentley Systems, Incorporated Tool for onsite augmentation of reality meshes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025918A (ja) * 2007-07-17 2009-02-05 Canon Inc 画像処理装置、画像処理方法
JP2011258204A (ja) * 2010-06-04 2011-12-22 Thomson Licensing 仮想環境におけるオブジェクトの選択方法
JP2013041431A (ja) * 2011-08-16 2013-02-28 Fujitsu Ltd 入力装置、入力制御方法及び入力制御プログラム
WO2014188798A1 (ja) * 2013-05-21 2014-11-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
WO2016014875A2 (en) * 2014-07-25 2016-01-28 Microsoft Technology Licensing, Llc Smart transparency for holographic objects
WO2016014877A1 (en) * 2014-07-25 2016-01-28 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
WO2016038253A1 (en) * 2014-09-11 2016-03-17 Nokia Technologies Oy Method, apparatus and computer program for displaying an image

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022537817A (ja) * 2019-06-28 2022-08-30 マジック リープ， インコーポレイテッド 動的オクルージョンのための高速の手のメッシュ化
JP7711002B2 (ja) 2019-06-28 2025-07-22 マジック リープ， インコーポレイテッド 動的オクルージョンのための高速の手のメッシュ化
JP2021009647A (ja) * 2019-07-03 2021-01-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 仮想現実制御装置、仮想現実ヘッドセット、仮想現実制御方法およびプログラム
JP7242448B2 (ja) 2019-07-03 2023-03-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 仮想現実制御装置、仮想現実制御方法およびプログラム
JP2023505900A (ja) * 2019-12-13 2023-02-13 テレフオンアクチーボラゲット エルエム エリクソン（パブル） メモリおよびデバイスのトラッキングを使用する拡張現実アプリケーションにおけるオクルージョンハンドリングのための方法と関連装置
JP7461478B2 (ja) 2019-12-13 2024-04-03 テレフオンアクチーボラゲット エルエム エリクソン（パブル） メモリおよびデバイスのトラッキングを使用する拡張現実アプリケーションにおけるオクルージョンハンドリングのための方法と関連装置
US12307732B2 (en) 2019-12-13 2025-05-20 Telefonaktiebolaget Lm Ericsson (Publ) Methods for handling occlusion in augmented reality applications using memory and device tracking and related apparatus
JP2023554671A (ja) * 2020-12-22 2023-12-28 メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー 仮想現実における部分パススルー
JP2022120553A (ja) * 2021-02-05 2022-08-18 株式会社カプコン プログラム及び表示制御装置
JP7678274B2 (ja) 2021-02-05 2025-05-16 株式会社カプコン プログラム及び表示制御装置
WO2025022740A1 (ja) * 2023-07-26 2025-01-30 キヤノン株式会社 制御装置
JP7745726B1 (ja) * 2024-09-30 2025-09-29 カバー株式会社 映像生成装置、映像生成システム、および映像生成方法

Also Published As

Publication number Publication date
EP3855288B1 (en) 2024-01-17
CN114138118B (zh) 2024-05-07
KR102745506B1 (ko) 2024-12-20
EP4332742A3 (en) 2024-05-22
EP3433704B1 (en) 2020-12-23
US10665019B2 (en) 2020-05-26
TW201737024A (zh) 2017-10-16
WO2017164971A2 (en) 2017-09-28
US20170278304A1 (en) 2017-09-28
CN108780357B (zh) 2021-11-23
CN108780357A (zh) 2018-11-09
EP3855288C0 (en) 2024-01-17
EP3433704A2 (en) 2019-01-30
EP4332742A2 (en) 2024-03-06
CN114138118A (zh) 2022-03-04
CA3015508A1 (en) 2017-09-28
KR20180122637A (ko) 2018-11-13
WO2017164971A3 (en) 2017-11-02
BR112018069351A2 (pt) 2019-01-22
EP3855288A1 (en) 2021-07-28
EP4332742B1 (en) 2026-02-18

Similar Documents

Publication Publication Date Title
EP4332742B1 (en) Spatial relationships for integration of visual images of physical environment into virtual reality
US20250118034A1 (en) Location-based virtual element modality in three-dimensional content
US10922889B2 (en) Directing user attention
US20230082063A1 (en) Interactive augmented reality experiences using positional tracking
US11043031B2 (en) Content display property management
JP5877219B2 (ja) 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果
US20210183158A1 (en) Placement and manipulation of objects in augmented reality environment
JP2023541275A (ja) 環境内のオブジェクトと相互作用する方法
CN120276590A (zh) 增强设备
US12366926B2 (en) Finger orientation touch detection
US11863963B2 (en) Augmented reality spatial audio experience
US11281337B1 (en) Mirror accessory for camera based touch detection
CN119068015A (zh) 响应于低光照条件的手部抠图

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210506

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211004

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20220221