JP2018530797A - 仮想現実においてハンドヘルド電子装置を追跡するためのシステム - Google Patents
仮想現実においてハンドヘルド電子装置を追跡するためのシステム Download PDFInfo
- Publication number
- JP2018530797A JP2018530797A JP2017556673A JP2017556673A JP2018530797A JP 2018530797 A JP2018530797 A JP 2018530797A JP 2017556673 A JP2017556673 A JP 2017556673A JP 2017556673 A JP2017556673 A JP 2017556673A JP 2018530797 A JP2018530797 A JP 2018530797A
- Authority
- JP
- Japan
- Prior art keywords
- electronic device
- visual marker
- pattern
- handheld
- handheld electronic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003550 marker Substances 0.000 claims abstract description 159
- 230000000007 visual effect Effects 0.000 claims abstract description 117
- 230000003287 optical effect Effects 0.000 claims description 67
- 238000000034 method Methods 0.000 claims description 42
- 230000000875 corresponding effect Effects 0.000 claims description 20
- 230000003993 interaction Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 230000001788 irregular Effects 0.000 claims description 9
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 240000007320 Pinus strobus Species 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003954 pattern orientation Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
本願は、2015年7月7日に出願された米国出願第62/189,292号に基づく優先権を主張する2016年6月27日に出願された米国出願第15/193,777号の継続出願であり、それに基づく優先権を主張し、その内容全体を本明細書に引用により援用する。本願は、2015年7月7日に出願された米国出願第62/189,292号に基づく優先権を主張し、その内容全体を本明細書に引用により援用する。
本明細書は、概して、拡張現実および/または仮想現実環境における電子装置の検出および追跡に関する。
拡張現実(augmented reality:AR)および/または仮想現実(virtual reality:VR)システムは、3次元(3D)没入型仮想環境を生成することができる。ユーザは、この仮想環境を、さまざまな電子装置との対話を通して体験し得る。これらの電子装置は、たとえば、ディスプレイを含むヘルメットまたはその他のヘッドマウントデバイス、ユーザがディスプレイ装置を見るときに用いる眼鏡またはゴーグル、センサが装着された手袋、センサを含む外部ハンドヘルドデバイス、およびその他のこのような電子装置を含む。仮想環境に没入したときの、ユーザの仮想環境との対話は、たとえば電子装置の物理的移動および/または操作により、仮想環境と対話し、これを個人専用にし、制御することなど、さまざまな形態を取り得る。
ある局面において、方法は、第1の電子装置を第2の電子装置と、第1の電子装置と第2の電子装置とが周囲環境の中で動作中に相互通信するように、作動的に結合するステップを含み得る。第2の装置は、周囲環境の中で動作中に仮想環境を生成し表示するように構成されている。上記方法はまた、第1の電子装置または第2の電子装置のうちの一方の上にある少なくとも1つの視覚マーカーを、第1の電子装置または第2の電子装置のうちの他方のセンサによって検出するステップと、少なくとも1つの視覚マーカーにおいて検出された特徴に基づいて、周囲環境の中における第1の電子装置の動きを検出し追跡するステップと、検出し追跡した、周囲環境の中における第1の電子装置の動きを、仮想環境の中における対応する動作に変換するステップとを含み得る。よって、この方法は、たとえば、周囲環境における第1の電子装置の動きを、第2の電子装置がユーザに提供する仮想環境における対話および/または動きのような、対応する動作として、ユーザが体験できるという効果をもたらす。
たとえばヘッドマウントディスプレイ(head mounted display:HMD)デバイスを装着し3D仮想環境に没入しているユーザは、仮想環境を探検し、仮想環境の中の仮想の物体、特徴などと、たとえば、身体的な対話(たとえば手/腕のジェスチャー、頭部の動き、歩行など)および/またはHMDおよび/またはそれとは別の電子装置の操作を通して対話することにより、仮想環境を体験することができる。たとえば、いくつかの実装例において、HMDが、たとえば、コントローラ、ジャイロマウス、スマートフォンまたはその他のこのようなハンドヘルド電子装置のようなハンドヘルド電子装置と、ペアリングされる場合がある。ユーザは、HMDとペアリングされたハンドヘルド電子装置を操作することにより、HMDによって生成された仮想環境と対話することができる。
Claims (21)
- 第1の電子装置を第2の電子装置と、前記第1の電子装置と前記第2の電子装置とが周囲環境の中で動作中に相互通信するように、作動的に結合するステップを含み、前記第2の装置は、前記周囲環境の中で動作中に仮想環境を生成し表示するように構成され、
前記第1の電子装置または前記第2の電子装置のうちの一方の上にある少なくとも1つの視覚マーカーを、前記第1の電子装置または前記第2の電子装置のうちの他方のセンサによって検出するステップと、
前記少なくとも1つの視覚マーカーにおいて検出された特徴に基づいて、前記周囲環境の中における前記第1の電子装置の動きを検出し追跡するステップと、
前記検出し追跡した、前記周囲環境の中における前記第1の電子装置の動きを、前記仮想環境の中における対応する動作に変換するステップとを含む、方法。 - 前記少なくとも1つの視覚マーカーを検出するステップおよび前記周囲環境の中における前記第1の電子装置の動きを検出し追跡するステップは、
前記第1の電子装置の光学センサを用いて光学データを収集するステップを含み、前記光学データは前記第2の電子装置の画像を含み、
前記収集した光学データをスキャンし前記スキャンした光学データにおける複数の所定の特徴を検出するステップと、
前記検出した複数の所定の特徴を、前記第2の電子装置の上にある前記少なくとも1つの視覚マーカーの既知の画像と比較するステップと、
前記複数の所定の特徴の検出に基づいて、前記収集した光学データにおいて前記少なくとも1つの視覚マーカーを識別するステップと、
前記識別した少なくとも1つの視覚マーカーに基づいて、前記第1の電子装置に対する前記第2の電子装置の相対的な位置を求めるステップとを含む、請求項1に記載の方法。 - 前記検出した複数の所定の特徴は、複数のコーナーまたは複数のエッジのうちの少なくとも一方の不規則なパターンを含み、
前記検出した複数の所定の特徴を前記少なくとも1つの視覚マーカーの既知の画像と比較するステップおよび前記収集した光学データにおいて前記少なくとも1つの視覚マーカーを識別するステップは、
前記検出した複数の所定の特徴の前記不規則なパターンの向きを、前記少なくとも1つの視覚マーカーの前記既知の画像における対応する複数の特徴の向きと比較するステップと、
前記比較に基づいて、前記第1の電子装置に対する前記第2の電子装置の相対的な位置および向きを求めるステップとを含む、請求項2に記載の方法。 - 前記第1の電子装置の光学センサを用いて光学データを収集するステップは、
前記第2の電子装置の画像を、前記第1の電子装置の赤外線センサを用い赤外線投光器で照明して取得するステップを含み、前記少なくとも1つの視覚マーカーは、前記赤外線投光器で照明されている間、前記赤外線センサのみに見える前記第1の電子装置上の赤外線パターンを含む、請求項3に記載の方法。 - 前記少なくとも1つの視覚マーカーを検出するステップおよび前記周囲環境の中における前記第1の電子装置の動きを検出し追跡するステップは、
前記第2の電子装置の位置を逆変換し前記第2の電子装置に対する前記第1の電子装置の相対的な位置を求めるステップと、
前記第1の電子装置の現在の位置と、前記第1の電子装置の過去の位置とを比較することにより、前記第1の電子装置の動きを追跡するステップとを含む、請求項2に記載の方法。 - 前記第1の電子装置はハンドヘルドコントローラであり、前記第2の電子装置はヘッドマウントディスプレイ装置であり、
前記光学センサは前記ハンドヘルドコントローラの前面カメラであり、前記少なくとも1つの視覚マーカーは、前記ヘッドマウントディスプレイ装置の第1の表面上の第1の2次元バーコードと、前記ヘッドマウントディスプレイ装置の第2の表面上の第2の2次元バーコードとを含む、請求項5に記載の方法。 - 前記少なくとも1つの視覚マーカーを検出するステップおよび前記周囲環境の中における前記第1の電子装置の動きを検出し追跡するステップは、
前記第2の電子装置の光学センサを用いて画像データを収集するステップを含み、前記光学データは前記第1の電子装置の画像を含み、
前記収集した光学データをスキャンし前記スキャンした光学データにおける複数の所定の特徴を検出するステップと、
前記検出した複数の所定の特徴を、前記第2の電子装置の上にある前記少なくとも1つの視覚マーカーの既知の画像と比較するステップと、
前記収集した光学データにおいて前記少なくとも1つの視覚マーカーを識別するステップと、
前記複数の所定の特徴の検出に基づく前記識別した少なくとも1つの視覚マーカーに基づいて前記第2の電子装置に対する前記第1の電子装置の相対的な位置を求めるステップと、
前記第1の電子装置の現在の位置を前記第1の電子装置の過去の位置と比較することにより、前記第1の電子装置の動きを追跡するステップとを含む、請求項1に記載の方法。 - 前記検出した複数の所定の特徴は、複数のコーナーまたは複数のエッジのうちの少なくとも一方の不規則なパターンを含み、
前記検出した複数の所定の特徴を前記少なくとも1つの視覚マーカーの既知の画像と比較し前記収集した光学データに基づいて前記少なくとも1つの視覚マーカーを識別するステップは、
前記検出した複数の所定の特徴の前記不規則なパターンの向きを、前記少なくとも1つの視覚マーカーの既知の画像における対応する複数の特徴の向きと比較するステップと、
前記比較に基づいて、前記第1の電子装置に対する前記第2の電子装置の相対的な位置および向きを求めるステップとを含む、請求項7に記載の方法。 - 前記第2の電子装置の光学センサを用いて光学データを収集するステップは、
前記第1の電子装置の画像を、前記第2の電子装置の赤外線センサを用い赤外線投光器で照明して取得するステップを含み、前記少なくとも1つの視覚マーカーは、前記赤外線投光器で照明されている間、前記赤外線センサに見える前記第1の電子装置上の定められた赤外線パターンを含む、請求項8に記載の方法。 - 前記第1の電子装置はハンドヘルドコントローラであり、前記第2の電子装置はヘッドマウントディスプレイ装置であり、
前記光学センサは前記ヘッドマウントディスプレイ装置上のカメラであり、前記視覚マーカーは前記ハンドヘルドコントローラのディスプレイ画面上にレンダリングされたまたは前記ハンドヘルドコントローラの外面上に位置する2次元バーコードである、請求項7に記載の方法。 - 光学センサとプロセッサとを含むハンドヘルド電子装置を備え、前記ハンドヘルド電子装置は、筐体の外面上に複数の視覚マーカーを有するヘッドマウント電子装置に作動的に結合されるように構成されており、
前記ハンドヘルド電子装置は、前記ハンドヘルド電子装置の前記光学センサによって取得した画像と、前記取得した画像における所定の特徴の識別とに基づいて、前記ヘッドマウント電子装置に対する前記ハンドヘルド電子装置の相対的な位置および動きを求めるように構成され、前記所定の特徴は前記複数の視覚マーカーに対応する、システム。 - 前記複数の視覚マーカーは、
前記ヘッドマウント電子装置の第1の表面上の第1の視覚マーカーと、
前記ヘッドマウント電子装置の第2の表面上の第2の視覚マーカーとを含む、請求項11に記載のシステム。 - 前記第1の視覚マーカーは、前記ヘッドマウント電子装置の前記第1の表面に対応付けられた第1のパターンによって定められ、前記第1のパターンは、第1の非繰返しパターンまたは第1の複数の明確なコーナーのうちの少なくとも一方を含み、
前記第2の視覚マーカーは、前記ヘッドマウント電子装置の前記第2の表面に対応付けられた第2のパターンによって定められ、前記第2のパターンは、第2の非繰返しパターンまたは第2の複数の明確なコーナーのうちの少なくとも一方を含む、請求項12に記載のシステム。 - 前記第1のパターンは、前記ヘッドマウント電子装置の前記第1の表面に対応付けられた第1の赤外線パターンであり、前記第2のパターンは、前記ヘッドマウント電子装置の前記第2の表面に対応付けられた第2の赤外線パターンであり、
前記ハンドヘルド電子装置の前記光学センサは、赤外線投光器と赤外線センサとを含み、前記第1のパターンおよび前記第2のパターンが前記赤外線投光器によって照明されている間、前記第1のパターンおよび前記第2のパターンは前記赤外線センサのみに見える、請求項13に記載のシステム。 - 前記ヘッドマウント電子装置に対する前記ハンドヘルド電子装置の相対的な位置および動きを求めるとき、前記ハンドヘルド電子装置は、
前記光学センサが収集した画像において検出された前記第1のパターンの向きを、前記第1の視覚マーカーの既知の画像に含まれる前記第1のパターンの向きと比較し、
前記光学センサが収集した画像において検出された前記第2のパターンの向きを、前記第2の視覚マーカーの既知の画像に含まれる前記第2のパターンの向きと比較し、
前記比較に基づいて、前記第1の電子装置に対する前記第2の電子装置の相対的な位置および向きを求めるように、
構成されている、請求項13に記載のシステム。 - 前記第1の視覚マーカーは、前記ヘッドマウント電子装置の前面に対応付けられた第1の2次元バーコードを含み、前記第2の視覚マーカーは、前記ヘッドマウント電子装置の下面に対応付けられた第2の2次元バーコードを含む、請求項12に記載のシステム。
- 前記第1の表面は前記ヘッドマウント電子装置の前面であり、前記第2の表面は、前記ヘッドマウント電子装置の下面である、請求項12に記載のシステム。
- 前記ヘッドマウント電子装置はプロセッサを含み、前記プロセッサは、
前記ヘッドマウント電子装置の光学センサを用いて前記ハンドヘルド電子装置の画像を取得し、
前記光学センサによって取得した画像において複数の所定の特徴を検出し、
前記検出した複数の所定の特徴を、前記複数の視覚マーカーの既知の画像と比較し、
前記比較に基づいて少なくとも1つの視覚マーカーを識別し、
前記識別した少なくとも1つの視覚マーカーに基づいて、前記ヘッドマウント電子装置に対する前記ハンドヘルド電子装置の相対的な位置を求めるように、
構成されている、請求項11に記載のシステム。 - 前記識別した少なくとも1つの視覚マーカーは、前記ハンドヘルド電子装置のディスプレイ画面上にレンダリングされたまたは前記ハンドヘルド電子装置の外面上に位置する2次元バーコードである、請求項18に記載のシステム。
- 前記ハンドヘルド電子装置はハンドヘルドコントローラまたはスマートフォンであり、
周囲環境における前記ハンドヘルド電子装置の動きは、前記ヘッドマウント電子装置によって生成された仮想環境における対応する対話に変換される、請求項11に記載のシステム。 - プロセッサ上で実行されると、請求項1に記載の方法を実行する命令を含むコンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562189292P | 2015-07-07 | 2015-07-07 | |
US62/189,292 | 2015-07-07 | ||
US15/193,777 US10083544B2 (en) | 2015-07-07 | 2016-06-27 | System for tracking a handheld device in virtual reality |
US15/193,777 | 2016-06-27 | ||
PCT/US2016/039813 WO2017007637A1 (en) | 2015-07-07 | 2016-06-28 | System for tracking a handheld device in virtual reality |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018530797A true JP2018530797A (ja) | 2018-10-18 |
JP6895390B2 JP6895390B2 (ja) | 2021-06-30 |
Family
ID=56611554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017556673A Active JP6895390B2 (ja) | 2015-07-07 | 2016-06-28 | 仮想現実においてハンドヘルド電子装置を追跡するためのシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US10083544B2 (ja) |
EP (1) | EP3320413B1 (ja) |
JP (1) | JP6895390B2 (ja) |
KR (1) | KR102038638B1 (ja) |
CN (1) | CN107646098A (ja) |
WO (1) | WO2017007637A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021056220A (ja) * | 2019-09-27 | 2021-04-08 | アップル インコーポレイテッドApple Inc. | 位置認識機能を備えた視覚マーカ |
WO2021112107A1 (ja) * | 2019-12-04 | 2021-06-10 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2021096407A (ja) * | 2019-12-18 | 2021-06-24 | 富士通クライアントコンピューティング株式会社 | 検出装置、情報処理装置、および、情報処理システム |
WO2023181151A1 (ja) * | 2022-03-23 | 2023-09-28 | 株式会社ソニー・インタラクティブエンタテインメント | マーカー装置、コンピュータシステム、方法およびプログラム |
JP7466694B2 (ja) | 2020-05-18 | 2024-04-12 | グーグル エルエルシー | 低電力セミパッシブ相対6自由度トラッキング |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10334076B2 (en) * | 2016-02-22 | 2019-06-25 | Google Llc | Device pairing in augmented/virtual reality environment |
US10099122B2 (en) * | 2016-03-30 | 2018-10-16 | Sony Interactive Entertainment Inc. | Head-mounted display tracking |
US10650591B1 (en) | 2016-05-24 | 2020-05-12 | Out of Sight Vision Systems LLC | Collision avoidance system for head mounted display utilized in room scale virtual reality system |
US10664993B1 (en) | 2017-03-13 | 2020-05-26 | Occipital, Inc. | System for determining a pose of an object |
US11494986B2 (en) * | 2017-04-20 | 2022-11-08 | Samsung Electronics Co., Ltd. | System and method for two dimensional application usage in three dimensional virtual reality environment |
US10444865B2 (en) * | 2017-05-01 | 2019-10-15 | Google Llc | Tracking of position and orientation of objects in virtual reality systems |
GB2555501B (en) * | 2017-05-04 | 2019-08-28 | Sony Interactive Entertainment Europe Ltd | Head mounted display and method |
US10719125B2 (en) | 2017-05-09 | 2020-07-21 | Microsoft Technology Licensing, Llc | Object and environment tracking via shared sensor |
CN109844694B (zh) * | 2017-06-15 | 2020-08-25 | 腾讯科技(深圳)有限公司 | 使用集线器连接两个不同环境的系统和方法 |
US20180374269A1 (en) * | 2017-06-21 | 2018-12-27 | INVRSE Reality Limited | Augmented reality and virtual reality mobile device user interface automatic calibration |
CN109983424B (zh) | 2017-06-23 | 2022-06-24 | 腾讯科技(深圳)有限公司 | 虚拟现实场景中的对象选中方法和装置以及虚拟现实设备 |
GB2566924B (en) * | 2017-07-27 | 2022-08-03 | Mo Sys Engineering Ltd | Positioning system |
US10754496B2 (en) | 2017-08-24 | 2020-08-25 | Microsoft Technology Licensing, Llc | Virtual reality input |
US20190068900A1 (en) * | 2017-08-30 | 2019-02-28 | Lenovo (Singapore) Pte. Ltd. | Display Component Emitting Both Visible Spectrum and Infrared Spectrum Light |
US10796487B2 (en) * | 2017-09-27 | 2020-10-06 | Fisher-Rosemount Systems, Inc. | 3D mapping of a process control environment |
US11861136B1 (en) * | 2017-09-29 | 2024-01-02 | Apple Inc. | Systems, methods, and graphical user interfaces for interacting with virtual reality environments |
JP7027109B2 (ja) * | 2017-10-13 | 2022-03-01 | 任天堂株式会社 | 姿勢位置推測システム、姿勢位置推測方法、および姿勢位置推測装置 |
US10866652B2 (en) | 2017-11-13 | 2020-12-15 | Samsung Electronics Co., Ltd. | System and method for distributed device tracking |
KR102122600B1 (ko) * | 2018-03-07 | 2020-06-12 | 매직 립, 인코포레이티드 | 주변 디바이스들의 시각적 추적 |
US10969600B2 (en) * | 2018-03-08 | 2021-04-06 | Apple Inc. | Electronic devices with optical markers |
EP3557378B1 (en) * | 2018-04-16 | 2022-02-23 | HTC Corporation | Tracking system for tracking and rendering virtual object corresponding to physical object and the operating method for the same |
CN111989643A (zh) | 2018-04-19 | 2020-11-24 | 惠普发展公司,有限责任合伙企业 | 从触摸表面设备向虚拟现实设备的输入 |
CN110555358B (zh) | 2018-06-01 | 2023-09-12 | 苹果公司 | 用于检测和识别ar/vr场景中的特征部的方法和设备 |
US11086124B2 (en) | 2018-06-13 | 2021-08-10 | Reavire, Inc. | Detecting velocity state of a device |
US10962783B2 (en) * | 2018-06-19 | 2021-03-30 | Apple Inc. | Electronic devices having electrically adjustable optical layers |
US11244509B2 (en) | 2018-08-20 | 2022-02-08 | Fisher-Rosemount Systems, Inc. | Drift correction for industrial augmented reality applications |
US11036284B2 (en) | 2018-09-14 | 2021-06-15 | Apple Inc. | Tracking and drift correction |
US11189054B2 (en) * | 2018-09-28 | 2021-11-30 | Apple Inc. | Localization and mapping using images from multiple devices |
CN109785381B (zh) * | 2018-12-06 | 2021-11-16 | 苏州炫感信息科技有限公司 | 一种光学惯性融合空间定位方法及定位系统 |
US11461906B2 (en) * | 2018-12-31 | 2022-10-04 | Numeric Engineering, Inc. | Systems and methods for monitoring offshore structures |
CN111813214B (zh) * | 2019-04-11 | 2023-05-16 | 广东虚拟现实科技有限公司 | 虚拟内容的处理方法、装置、终端设备及存储介质 |
US10699087B1 (en) * | 2019-07-10 | 2020-06-30 | Zebra Technologies Corporation | Alternative method to interact with a user interface using standard barcode scanners paired up with an augmented reality heads up display |
US10916062B1 (en) * | 2019-07-15 | 2021-02-09 | Google Llc | 6-DoF tracking using visual cues |
US10942585B2 (en) * | 2019-07-22 | 2021-03-09 | Zspace, Inc. | Trackability enhancement of a passive stylus |
KR20210067525A (ko) | 2019-11-29 | 2021-06-08 | 이보람 | 버츄얼 카메라 트랙킹 시스템, 이를 이용한 mr 환경 실시간 합성시스템 |
US11348320B2 (en) | 2020-04-02 | 2022-05-31 | Samsung Electronics Company, Ltd. | Object identification utilizing paired electronic devices |
JP7057393B2 (ja) * | 2020-06-24 | 2022-04-19 | 株式会社電通 | プログラム、ヘッドマウントディスプレイ及び情報処理装置 |
US11816887B2 (en) | 2020-08-04 | 2023-11-14 | Fisher-Rosemount Systems, Inc. | Quick activation techniques for industrial augmented reality applications |
US11930420B1 (en) | 2020-09-15 | 2024-03-12 | Apple Inc. | Handheld electronic devices with contextual input-output capabilities |
US11845001B2 (en) * | 2021-01-14 | 2023-12-19 | Htc Corporation | Calibration system and method for handheld controller |
EP4105764A1 (en) * | 2021-06-18 | 2022-12-21 | Auki Labs Ltd | A computer implemented method for positioning and orienting an electronic device in a shared virtual space |
US11693491B1 (en) * | 2021-08-23 | 2023-07-04 | Waleed Abdulla | Tracking a paired peripheral input device based on a contact criterion |
US11625787B1 (en) * | 2022-05-03 | 2023-04-11 | Capital One Services, Llc | Augmented reality vehicle display systems |
JP2024018242A (ja) * | 2022-07-29 | 2024-02-08 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
WO2024122801A1 (ko) * | 2022-12-09 | 2024-06-13 | 삼성전자주식회사 | 외부 전자 장치의 위치에 기반하여 시각적 객체를 표시하기 위한 전자 장치 및 그 방법 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5574479A (en) * | 1994-01-07 | 1996-11-12 | Selectech, Ltd. | Optical system for determining the roll orientation of a remote unit relative to a base unit |
JP2004233201A (ja) * | 2003-01-30 | 2004-08-19 | Canon Inc | 位置姿勢計測方法 |
JP2008527572A (ja) * | 2005-01-12 | 2008-07-24 | スィンクオプティクス インコーポレイテッド | ハンドヘルドビジョン型絶対ポインティングシステム |
JP2011186856A (ja) * | 2010-03-09 | 2011-09-22 | Nec Corp | ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 |
US20130278635A1 (en) * | 2011-08-25 | 2013-10-24 | Sartorius Stedim Biotech Gmbh | Assembling method, monitoring method, communication method, augmented reality system and computer program product |
WO2014188798A1 (ja) * | 2013-05-21 | 2014-11-27 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
US20140362110A1 (en) * | 2013-06-08 | 2014-12-11 | Sony Computer Entertainment Inc. | Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8010180B2 (en) | 2002-03-06 | 2011-08-30 | Mako Surgical Corp. | Haptic guidance system and method |
US7852317B2 (en) * | 2005-01-12 | 2010-12-14 | Thinkoptics, Inc. | Handheld device for handheld vision based absolute pointing system |
US9897805B2 (en) | 2013-06-07 | 2018-02-20 | Sony Interactive Entertainment Inc. | Image rendering responsive to user actions in head mounted display |
US8581738B2 (en) * | 2011-08-25 | 2013-11-12 | Sartorius Stedim Biotech Gmbh | Assembling method, monitoring method, and augmented reality system used for indicating correct connection of parts |
JP5538483B2 (ja) * | 2012-06-29 | 2014-07-02 | 株式会社ソニー・コンピュータエンタテインメント | 映像処理装置、映像処理方法、および映像処理システム |
US20140168261A1 (en) * | 2012-12-13 | 2014-06-19 | Jeffrey N. Margolis | Direct interaction system mixed reality environments |
US10137361B2 (en) * | 2013-06-07 | 2018-11-27 | Sony Interactive Entertainment America Llc | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system |
US9630105B2 (en) * | 2013-09-30 | 2017-04-25 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
US9274340B2 (en) * | 2014-02-18 | 2016-03-01 | Merge Labs, Inc. | Soft head mounted display goggles for use with mobile computing devices |
-
2016
- 2016-06-27 US US15/193,777 patent/US10083544B2/en active Active
- 2016-06-28 KR KR1020177030775A patent/KR102038638B1/ko active IP Right Grant
- 2016-06-28 WO PCT/US2016/039813 patent/WO2017007637A1/en active Application Filing
- 2016-06-28 CN CN201680025893.2A patent/CN107646098A/zh active Pending
- 2016-06-28 EP EP16748177.9A patent/EP3320413B1/en active Active
- 2016-06-28 JP JP2017556673A patent/JP6895390B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5574479A (en) * | 1994-01-07 | 1996-11-12 | Selectech, Ltd. | Optical system for determining the roll orientation of a remote unit relative to a base unit |
JP2004233201A (ja) * | 2003-01-30 | 2004-08-19 | Canon Inc | 位置姿勢計測方法 |
JP2008527572A (ja) * | 2005-01-12 | 2008-07-24 | スィンクオプティクス インコーポレイテッド | ハンドヘルドビジョン型絶対ポインティングシステム |
JP2011186856A (ja) * | 2010-03-09 | 2011-09-22 | Nec Corp | ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 |
US20130278635A1 (en) * | 2011-08-25 | 2013-10-24 | Sartorius Stedim Biotech Gmbh | Assembling method, monitoring method, communication method, augmented reality system and computer program product |
WO2014188798A1 (ja) * | 2013-05-21 | 2014-11-27 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
US20140362110A1 (en) * | 2013-06-08 | 2014-12-11 | Sony Computer Entertainment Inc. | Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021056220A (ja) * | 2019-09-27 | 2021-04-08 | アップル インコーポレイテッドApple Inc. | 位置認識機能を備えた視覚マーカ |
JP7080946B2 (ja) | 2019-09-27 | 2022-06-06 | アップル インコーポレイテッド | 位置認識機能を備えた視覚マーカ |
WO2021112107A1 (ja) * | 2019-12-04 | 2021-06-10 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2021096407A (ja) * | 2019-12-18 | 2021-06-24 | 富士通クライアントコンピューティング株式会社 | 検出装置、情報処理装置、および、情報処理システム |
JP7466694B2 (ja) | 2020-05-18 | 2024-04-12 | グーグル エルエルシー | 低電力セミパッシブ相対6自由度トラッキング |
WO2023181151A1 (ja) * | 2022-03-23 | 2023-09-28 | 株式会社ソニー・インタラクティブエンタテインメント | マーカー装置、コンピュータシステム、方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20170011553A1 (en) | 2017-01-12 |
KR20170130580A (ko) | 2017-11-28 |
JP6895390B2 (ja) | 2021-06-30 |
KR102038638B1 (ko) | 2019-10-30 |
CN107646098A (zh) | 2018-01-30 |
US10083544B2 (en) | 2018-09-25 |
EP3320413A1 (en) | 2018-05-16 |
EP3320413B1 (en) | 2020-01-01 |
WO2017007637A1 (en) | 2017-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6895390B2 (ja) | 仮想現実においてハンドヘルド電子装置を追跡するためのシステム | |
US10642344B2 (en) | Manipulating virtual objects with six degree-of-freedom controllers in an augmented and/or virtual reality environment | |
JP6907366B2 (ja) | 拡張および/または仮想現実環境におけるタッチスクリーンホバーの検出 | |
US11181986B2 (en) | Context-sensitive hand interaction | |
CN109891367B (zh) | 在增强和/或虚拟现实环境中使用手势生成虚拟符号表面 | |
CN107667328B (zh) | 用于在增强和/或虚拟现实环境中跟踪手持设备的系统 | |
CN109074149B (zh) | 用于增强或虚拟现实环境的头戴式参考系中的对象跟踪 | |
CN109074154B (zh) | 增强和/或虚拟现实中的悬停触摸输入补偿 | |
CN115720651A (zh) | 利用对象操纵的增强现实体验 | |
KR102338835B1 (ko) | 증강 및/또는 가상 현실 환경에서의 세션 종료 검출 | |
KR20190067227A (ko) | 가상 현실 시스템을 위한 입력 제어기 안정화 기법 | |
CN113243000A (zh) | 用于增强现实对象的捕捉范围 | |
CN114868099A (zh) | 抗滑移注视跟踪用户界面 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180301 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190619 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200227 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200227 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200305 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200310 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200529 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200602 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20201117 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210126 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210330 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210511 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6895390 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |