JP2017142813A - 仮想現実システムの較正 - Google Patents
仮想現実システムの較正 Download PDFInfo
- Publication number
- JP2017142813A JP2017142813A JP2017044754A JP2017044754A JP2017142813A JP 2017142813 A JP2017142813 A JP 2017142813A JP 2017044754 A JP2017044754 A JP 2017044754A JP 2017044754 A JP2017044754 A JP 2017044754A JP 2017142813 A JP2017142813 A JP 2017142813A
- Authority
- JP
- Japan
- Prior art keywords
- rigid body
- headset
- virtual reality
- locator
- calibration data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 76
- 238000005259 measurement Methods 0.000 claims abstract description 46
- 230000004044 response Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 35
- 210000003128 head Anatomy 0.000 description 27
- 230000008569 process Effects 0.000 description 17
- 230000001133 acceleration Effects 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000001720 vestibular Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 239000013256 coordination polymer Substances 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- GGWBHVILAJZWKJ-UHFFFAOYSA-N dimethyl-[[5-[2-[[1-(methylamino)-2-nitroethenyl]amino]ethylsulfanylmethyl]furan-2-yl]methyl]azanium;chloride Chemical compound Cl.[O-][N+](=O)C=C(NC)NCCSCC1=CC=C(CN(C)C)O1 GGWBHVILAJZWKJ-UHFFFAOYSA-N 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Abstract
Description
図1は、VRコンソール110が動作する仮想現実(virtual reality : VR)システム環境100の一実施形態のブロック図である。図1に示されるシステム環境100は、VRヘッドセット105と、撮像デバイス135と、VR入力インターフェース140とを備え、それぞれがVRコンソール110に結合されている。図1は、1つのVRヘッドセット105、1つの撮像デバイス135、及び1つのVR入力インターフェース140を含む例としてのシステム100を示すが、他の実施形態では、任意の数のこれらの構成要素がシステム100に含まれ得る。例えば、それぞれが関連付けられたVR入力インターフェース140を有し、1つ又は複数の撮像デバイス135によってモニタされる複数のVRヘッドセット105があり得、各VRヘッドセット105、VR入力インターフェース140、及び撮像デバイス135は、VRコンソール110と通信する。代替の構成では、異なる及び/又は追加の構成要素がシステム環境100に含まれ得る。
図4は、図1と併せて上述したシステム環境100等のVRシステムを較正するプロセスの一実施形態のフローチャートである。他の実施形態では、プロセスは、図4に示されるステップとは異なる、追加の、又はより少数のステップを含む。さらに、幾つかの実施形態では、図4と併せて説明されるステップは、異なる順序で実行してもよい。
剛体の予測不可能な動きを追跡する剛体追跡システムが提示される。そのような剛体追跡システムは、仮想現実、拡張現実、ゲーミング、教育、トレーニング、及びセラピーに有用であり得る。
位置追跡は、VRでの新しい問題ではない。様々な技術を使用して多くの試みがなれてきた:少数を挙げれば、単一又は複数のカメラ、構造化された光、飛行時間、及び磁気センサ。解決策は、コスト、消費電力、精度、必要な計算、及び環境制約によって様々である。そのために、幾つかの実施形態は、単一の安価で低解像度のカメラに頼る位置追跡解決策を記述する。
各LEDのIDが分かると、LEDの既知の3Dモデルを所与として、剛体追跡システムは、LEDの観測射影を最良に説明するVRヘッドセットの6Dポーズ(3D位置及び向き)が何であるかという従来の射影幾何学的形状問題を解決する準備ができる。
第1の変形であるブートストラップは、剛体追跡システムがLEDを最初に撮像するときに行われる。剛体追跡システムは前に識別問題を解決しており、これは、フレーム内の明るいドットの幾つかのIDの推測を有し得ることを意味する。しかし、剛体追跡システムは注意しなければならない。IDの幾つかは誤っている可能性があり、ドットの幾つかはまだ識別されていないことがあり、ドットの幾つかは、環境内の他の光源によるものであり得る。ブートストラップ中、剛体追跡システムは、これらの全ての競合を素早く解決し、VRヘッドセットのポーズを計算する必要がある。
ポーズ推定問題の第2の変形ははるかに容易である。幸運なことに、第2の変形が、剛体追跡システムが大半のときに解決する必要があるものである。剛体追跡システムは、インクリメントモードである場合、現在のフレームでのポーズを計算するための開始点として、前のフレームからのVRヘッドセットのポーズを使用することができる。これがいかに機能するか。一言では、予測である。インクリメントモード中、剛体追跡システムは、ビジョン及びIMUからの情報を融合して、VRヘッドセットがあると予期される場所を計算する。次に、剛体追跡システムは、予測を観測と照合し、必要に応じて補正を実行する。
関心エリア
追加のシステム構成要素:追跡中の体の外部の少なくとも1つの静止デジタルカメラ、追跡中の体にしっかりと取り付けられる1つの慣性測定ユニット、並びに慣性測定ユニット、カメラ、及びメインCPUの構成要素間で情報を送受信するデジタルハードウェアを用いて、体表面に配置された多数の変調LEDに起因して、剛体追跡システムは、高精度及びオクルージョンロバスト性を達成する。
剛体追跡システムにおいて、慣性測定は3軸加速度計を含む。
剛体追跡システムにおいて、表面LEDは、同一平面になく、近傍LED間に十分な隔たりを提供する入念なパターンに配置される。
剛体追跡システムにおいて、LEDの変調はデジタルハードウェア構成要素によって制御される。
剛体追跡システムにおいて、LEDは、可視光スペクトル又は赤外線スペクトルであり得る。
上述した方法において、カメラ画像、場合によっては磁力計測定値が、向きヨーデッドレコニングエラー(orientation tilt dead-reckoning error)の補償に使用される。
上述した方法において、LED変調レベルが、連続カメラ画像にわたりデジタル符号化された識別子を提供し、それにより、LED識別問題を解決する。
上述した方法において、連続してシャッタが開く間の時間間隔にわたるジャイロスコープ及び加速度計からの測定値が利用される。
上述した方法において、新しい位置及び向きの推定が、画像での予期されるLEDの中心位置と画像でのLEDの測定位置との不一致であるエラーを最適化するまで、予測推定を繰り返し摂動させる。
本開示の実施形態の上記説明は、例示のために提示され、網羅的である、すなわち本開示を開示される厳密な形態に限定する意図はない。多くの変更及び変形が上記開示に鑑みて可能であることを当業者は理解することができる。
Claims (20)
- システムであって、
仮想現実(VR)ヘッドセットであって、前記仮想現実ヘッドセットに配置された複数のロケータと、前記仮想現実ヘッドセット上の参照点の1つ又は複数の中間推定位置を含む高速較正データを出力するように構成される慣性測定ユニット(IMU)とを含み、前記1つ又は複数の中間推定位置は、前記仮想現実ヘッドセットの推定された位置を示し、各中間推定位置は、位置時刻値により後続する中間推定位置から隔てられる、前記仮想現実ヘッドセットと、
前記仮想現実ヘッドセットの外部にある撮像デバイスであって、該撮像デバイスは、前記仮想現実ヘッドセットの複数の画像を取得し、前記仮想現実ヘッドセットに配置された複数のロケータの観測ロケータの部分を示す一連の画像を含む低速較正データを出力するように構成され、各画像は、前記位置時刻値よりも大きな画像時刻値により、前記一連中の後続画像から隔てられる、前記撮像デバイスと、
仮想現実コンソールと、を備え、
前記仮想現実コンソールは、
プロセッサと、
前記プロセッサに結合され、命令を含むメモリと、を備え、
前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
低速較正データ及び高速較正データを用いて前記仮想現実ヘッドセットを追跡すること、を実行させる、システム。 - 前記慣性測定ユニットは、角速度を測定する3軸ジャイロスコープを含む、請求項1に記載されたシステム。
- 前記慣性測定ユニットは、3軸加速度計を含む、請求項1に記載されたシステム。
- 前記慣性測定ユニットは、3軸磁力計を含む、請求項1に記載されたシステム。
- 前記複数のロケータは、同一平面ではない仮想現実ヘッドセットのパターンで配置される、請求項1に記載されたシステム。
- 前記複数のロケータは、複数の発光ダイオード(LED)である、請求項1に記載されたシステム。
- 前記複数の発光ダイオードは、時間間隔にわたり2つ以上の所定の輝度レベルのうちの1つを維持するように変調される、請求項6に記載されたシステム。
- 前記複数の発光ダイオードの変調は、振幅変調、周波数変調、及びこれらの組合せからなるグループから選択される、請求項7に記載されたシステム。
- 前記複数の発光ダイオードは、可視帯域及び赤外線帯域からなるグループから選択された特定の帯域の光を発する、請求項6に記載されたシステム。
- 前記複数のロケータは、赤外線帯域で照射し、
前記仮想現実ヘッドセットの外面は、赤外線帯域で可視であり、可視帯域で不透明である、請求項7に記載されたシステム。 - 前記プロセッサによって実行されると、前記プロセッサに、
前記仮想現実ヘッドセットに関連付けられた記憶ヘッドセットモデルを使用して、前記仮想現実ヘッドセットにあり、前記低速較正データからの少なくとも1つの画像に含まれるロケータにそれぞれ対応するモデルロケータを識別すること、
前記仮想現実ヘッドセットのモデルを使用して、前記仮想現実ヘッドセットにあり、前記低速較正データからの少なくとも1つの画像に含まれる前記ロケータの1つ又は複数の推定位置を生成すること、
1つ又は複数の較正パラメータを調整して、前記仮想現実ヘッドセットにあり、前記低速較正データからの少なくとも1つの画像に含まれる前記ロケータの1つ又は複数の調整推定位置と対応するモデルロケータの位置との相対距離が閾値未満であるように、前記推定位置を調整すること、
少なくとも部分的に、前記仮想現実ヘッドセットにあり、前記低速較正データからの少なくとも1つの画像に含まれる前記ロケータの1つ又は複数の調整推定位置に基づいて、前記参照点の較正位置を生成することであって、較正位置には、前記低速較正データからの画像が関連付けられる、前記較正位置を生成すること、
少なくとも部分的に、前記参照点の較正位置に基づいて、前記参照点の1つ又は複数の予測位置を特定することであって、予測位置には、前記低速較正データからの後続画像間の時間が関連付けられる、前記予測位置を特定すること、
前記参照点の中間推定位置が、前記参照点の特定された予測位置の閾値距離内にあるように、前記較正パラメータの1つ又は複数を調整すること、を実行させる較正命令をさらに備える請求項1に記載のシステム。 - 前記仮想現実ヘッドセットは、1つ以上のロケータをそれぞれ有する前部剛体及び後部剛体を含み、
前記前部剛体は、前記慣性測定ユニットを含む、請求項1に記載されたシステム。 - 前記前部剛体は、弾性ヘッドバンドによって後部剛体に非剛性結合される、請求項12に記載されたシステム。
- 較正命令をさらに備え、
前記較正命令は、前記プロセッサによって実行されると、前記プロセッサに、
前記低速較正データを使用して、特定の画像時刻値での前記後部剛体の観測位置を特定すること、
前記高速較正データと、前記前部剛体と前記後部剛体との較正オフセットを示す位置ベクトルとを使用して、前記特定の画像時刻値での前記後部剛体の予測位置を特定すること、
前記観測位置と前記予測位置との差が閾値よりも大きいと判断すること、
前記後部剛体の観測位置と前記後部剛体の予測位置との差が閾値よりも大きいとの判断に応答して、前記観測位置と前記予測位置との差が前記閾値未満であるようなオフセット値により、前記位置ベクトルを調整すること、
前記高速較正データ及び調整された位置ベクトルに基づいて、前記画像時刻値後に発生する後続画像時刻値に関連付けられた前記一連の画像からの画像での前記後部剛体の後続予測位置を特定すること、を実行させる、請求項12に記載されたシステム。 - システムであって、
仮想現実(VR)ヘッドセットであって、前記仮想現実ヘッドセットに配置された複数のロケータと、前記仮想現実ヘッドセット上の参照点の1つ又は複数の中間推定位置を含む高速較正データを出力するように構成される慣性測定ユニット(IMU)とを含み、前記1つ又は複数の中間推定位置は、前記仮想現実ヘッドセットの推定された位置を示し、各中間推定位置は、位置時刻値により後続する中間推定位置から隔てられる、前記仮想現実ヘッドセットと、
前記仮想現実ヘッドセット上の前記複数のロケータの観測ロケータの部分を示す一連の画像を含む低速較正データを出力するように構成される撮像デバイスであって、各画像は、前記位置時刻値よりも大きな画像時刻値により、前記一連中の後続画像から隔てられる、前記撮像デバイスと、
仮想現実コンソールと、を備え、
前記仮想現実コンソールは、
プロセッサと、
前記プロセッサに結合され、命令を含むメモリと、を備え、
前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
低速較正データ及び高速較正データを用いて前記仮想現実ヘッドセットを追跡すること、を実行させる、システム。 - 前記複数のロケータは、時間間隔にわたり2つ以上の所定の輝度レベルのうちの1つを維持するように変調される発光ダイオード(LED)を含む、請求項15に記載されたシステム。
- 前記複数の発光ダイオードの変調は、振幅変調、周波数変調、及びこれらの組合せからなるグループから選択される、請求項16に記載されたシステム。
- 前記複数の発光ダイオードは、可視帯域及び赤外線帯域からなるグループから選択された特定の帯域の光を発する、請求項16に記載されたシステム。
- 前記複数の発光ダイオードは、赤外線帯域で照射し、
前記仮想現実ヘッドセットの外面は、赤外線帯域で可視であり、可視帯域で不透明である、請求項18に記載されたシステム。 - 前記仮想現実ヘッドセットは、1つ以上のロケータをそれぞれ有する前部剛体及び後部剛体を含み、
前記前部剛体は、前記慣性測定ユニットを含む、請求項15に記載されたシステム。
Applications Claiming Priority (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461923895P | 2014-01-06 | 2014-01-06 | |
US61/923,895 | 2014-01-06 | ||
US201462088088P | 2014-12-05 | 2014-12-05 | |
US201462088085P | 2014-12-05 | 2014-12-05 | |
US62/088,088 | 2014-12-05 | ||
US62/088,085 | 2014-12-05 | ||
US14/589,755 | 2015-01-05 | ||
US14/589,755 US9524580B2 (en) | 2014-01-06 | 2015-01-05 | Calibration of virtual reality systems |
US14/589,774 US9600925B2 (en) | 2014-01-06 | 2015-01-05 | Calibration of multiple rigid bodies in a virtual reality system |
US14/589,774 | 2015-01-05 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016543235A Division JP6110573B2 (ja) | 2014-01-06 | 2015-01-06 | 仮想現実システムの較正 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017142813A true JP2017142813A (ja) | 2017-08-17 |
JP6381711B2 JP6381711B2 (ja) | 2018-08-29 |
Family
ID=53495596
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016543235A Active JP6110573B2 (ja) | 2014-01-06 | 2015-01-06 | 仮想現実システムの較正 |
JP2017044754A Active JP6381711B2 (ja) | 2014-01-06 | 2017-03-09 | 仮想現実システムの較正 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016543235A Active JP6110573B2 (ja) | 2014-01-06 | 2015-01-06 | 仮想現実システムの較正 |
Country Status (11)
Country | Link |
---|---|
US (4) | US9524580B2 (ja) |
EP (1) | EP3017591B1 (ja) |
JP (2) | JP6110573B2 (ja) |
KR (2) | KR101762297B1 (ja) |
CN (2) | CN105850113B (ja) |
AU (1) | AU2015203932B2 (ja) |
BR (1) | BR112016013563A8 (ja) |
CA (1) | CA2930773C (ja) |
IL (1) | IL245813A (ja) |
MX (1) | MX348608B (ja) |
WO (1) | WO2015103621A1 (ja) |
Families Citing this family (188)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9052161B2 (en) * | 2005-12-19 | 2015-06-09 | Raydon Corporation | Perspective tracking system |
US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
US10188309B2 (en) | 2013-11-27 | 2019-01-29 | North Inc. | Systems, articles, and methods for electromyography sensors |
US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
US9524580B2 (en) * | 2014-01-06 | 2016-12-20 | Oculus Vr, Llc | Calibration of virtual reality systems |
US9880632B2 (en) | 2014-06-19 | 2018-01-30 | Thalmic Labs Inc. | Systems, devices, and methods for gesture identification |
TWM491843U (zh) * | 2014-07-24 | 2014-12-11 | Shou-Lan Zhang | 可攜式虛擬實境眼鏡 |
JP2017524159A (ja) | 2014-08-03 | 2017-08-24 | ポゴテック インク | ウェアラブルカメラシステム、並びにカメラシステム又は他の電子デバイスをウェアラブル物品に取り付けるための装置及び方法 |
KR20170118054A (ko) | 2014-12-23 | 2017-10-24 | 포고텍, 인크. | 무선 카메라 시스템 및 방법들 |
US9659411B2 (en) * | 2015-01-14 | 2017-05-23 | Oculus Vr, Llc | Passive locators for a virtual reality headset |
EP3062142B1 (en) | 2015-02-26 | 2018-10-03 | Nokia Technologies OY | Apparatus for a near-eye display |
US10271042B2 (en) | 2015-05-29 | 2019-04-23 | Seeing Machines Limited | Calibration of a head mounted eye tracking system |
US10481417B2 (en) | 2015-06-10 | 2019-11-19 | PogoTec, Inc. | Magnetic attachment mechanism for electronic wearable device |
RU2017145375A (ru) | 2015-06-10 | 2019-07-10 | Поготек, Инк. | Очки с магнитной дорожкой для электронного носимого устройства |
US10073531B2 (en) * | 2015-10-07 | 2018-09-11 | Google Llc | Electronic device pose identification based on imagery and non-image sensor data |
DE102015012961B4 (de) * | 2015-10-08 | 2022-05-05 | Kastanienbaum GmbH | Robotersystem |
JP6517358B2 (ja) | 2015-10-08 | 2019-05-22 | 株式会社ソニー・インタラクティブエンタテインメント | 制御装置、ヘッドマウントディスプレイ、制御システム、制御方法及びプログラム |
JP6556015B2 (ja) * | 2015-10-09 | 2019-08-07 | ソニー株式会社 | 情報処理装置、位置および/または姿勢の推定方法、およびコンピュータプログラム |
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
US10341787B2 (en) | 2015-10-29 | 2019-07-02 | PogoTec, Inc. | Hearing aid adapted for wireless power reception |
CN105391858A (zh) * | 2015-11-04 | 2016-03-09 | 深圳维爱特科技有限公司 | 虚拟现实眼镜及其控制方法、装置和系统 |
US10440355B2 (en) * | 2015-11-06 | 2019-10-08 | Facebook Technologies, Llc | Depth mapping with a head mounted display using stereo cameras and structured light |
US9805512B1 (en) | 2015-11-13 | 2017-10-31 | Oculus Vr, Llc | Stereo-based calibration apparatus |
JP6663040B2 (ja) * | 2016-01-12 | 2020-03-11 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 奥行き情報取得方法および装置、ならびに画像取得デバイス |
CN105487233B (zh) * | 2016-02-03 | 2019-01-04 | 深圳多哚新技术有限责任公司 | 一种vr眼镜以及其散热结构 |
WO2017132863A1 (zh) * | 2016-02-03 | 2017-08-10 | 深圳多哚新技术有限责任公司 | 一种vr眼镜以及其散热结构 |
US10422976B2 (en) | 2016-02-26 | 2019-09-24 | Samsung Electronics Co., Ltd. | Aberration corrected optical system for near-eye displays |
US11558538B2 (en) | 2016-03-18 | 2023-01-17 | Opkix, Inc. | Portable camera system |
US10717001B2 (en) | 2016-03-25 | 2020-07-21 | Zero Latency PTY LTD | System and method for saving tracked data in the game server for replay, review and training |
US10486061B2 (en) | 2016-03-25 | 2019-11-26 | Zero Latency Pty Ltd. | Interference damping for continuous game play |
US9916496B2 (en) | 2016-03-25 | 2018-03-13 | Zero Latency PTY LTD | Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects |
US10421012B2 (en) | 2016-03-25 | 2019-09-24 | Zero Latency PTY LTD | System and method for tracking using multiple slave servers and a master server |
US10071306B2 (en) | 2016-03-25 | 2018-09-11 | Zero Latency PTY LTD | System and method for determining orientation using tracking cameras and inertial measurements |
US10099122B2 (en) * | 2016-03-30 | 2018-10-16 | Sony Interactive Entertainment Inc. | Head-mounted display tracking |
US20170300116A1 (en) * | 2016-04-15 | 2017-10-19 | Bally Gaming, Inc. | System and method for providing tactile feedback for users of virtual reality content viewers |
US10509469B2 (en) | 2016-04-21 | 2019-12-17 | Finch Technologies Ltd. | Devices for controlling computers based on motions and positions of hands |
US10890600B2 (en) | 2016-05-18 | 2021-01-12 | Google Llc | Real-time visual-inertial motion tracking fault detection |
US10802147B2 (en) * | 2016-05-18 | 2020-10-13 | Google Llc | System and method for concurrent odometry and mapping |
US11017610B2 (en) | 2016-05-18 | 2021-05-25 | Google Llc | System and method for fault detection and recovery for concurrent odometry and mapping |
US20170363885A1 (en) * | 2016-06-20 | 2017-12-21 | PogoTec, Inc. | Image alignment systems and methods |
DE102016111707B4 (de) * | 2016-06-27 | 2019-08-14 | Volkswagen Aktiengesellschaft | Verfahren und System zum Erfassen einer Relativposition eines mobilen Endgeräts in Bezug auf ein Fahrzeug |
CN106123901B (zh) * | 2016-07-20 | 2019-08-06 | 上海乐相科技有限公司 | 一种定位方法及装置 |
WO2018022657A1 (en) * | 2016-07-25 | 2018-02-01 | Ctrl-Labs Corporation | System and method for measuring the movements of articulated rigid bodies |
US10409371B2 (en) | 2016-07-25 | 2019-09-10 | Ctrl-Labs Corporation | Methods and apparatus for inferring user intent based on neuromuscular signals |
US11179066B2 (en) | 2018-08-13 | 2021-11-23 | Facebook Technologies, Llc | Real-time spike detection and identification |
US11216069B2 (en) | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
EP3487457B1 (en) | 2016-07-25 | 2023-09-06 | Facebook Technologies, LLC. | Adaptive system for deriving control signals from measurements of neuromuscular activity |
US20200073483A1 (en) | 2018-08-31 | 2020-03-05 | Ctrl-Labs Corporation | Camera-guided interpretation of neuromuscular signals |
WO2018022602A1 (en) | 2016-07-25 | 2018-02-01 | Ctrl-Labs Corporation | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors |
US10687759B2 (en) | 2018-05-29 | 2020-06-23 | Facebook Technologies, Llc | Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods |
US20190121306A1 (en) | 2017-10-19 | 2019-04-25 | Ctrl-Labs Corporation | Systems and methods for identifying biological structures associated with neuromuscular source signals |
US11331045B1 (en) | 2018-01-25 | 2022-05-17 | Facebook Technologies, Llc | Systems and methods for mitigating neuromuscular signal artifacts |
US10915165B2 (en) | 2016-07-29 | 2021-02-09 | Emmanuel Lusinchi | Methods and systems for controlling a displacement of a virtual point of view in a virtual reality environment |
US10212414B2 (en) | 2016-08-01 | 2019-02-19 | Microsoft Technology Licensing, Llc | Dynamic realignment of stereoscopic digital consent |
CN107690067B (zh) * | 2016-08-05 | 2019-06-21 | 成都理想境界科技有限公司 | 头戴式显示设备帧率的检测方法及装置 |
CN106054392B (zh) * | 2016-08-10 | 2018-12-04 | 深圳多哚新技术有限责任公司 | Vr设备中光学镜头与显示屏的对准方法及系统 |
US10751609B2 (en) | 2016-08-12 | 2020-08-25 | Zero Latency PTY LTD | Mapping arena movements into a 3-D virtual world |
CN106354205A (zh) * | 2016-08-25 | 2017-01-25 | 安徽协创物联网技术有限公司 | 一种可穿戴虚拟现实实现系统 |
CN109952135B (zh) * | 2016-09-30 | 2023-05-26 | 索尼互动娱乐股份有限公司 | 具有差分渲染和声音定位的无线头戴式显示器 |
CA3043932A1 (en) * | 2016-10-20 | 2018-04-26 | Spookfish Innovations Pty Ltd | An aerial camera boresight calibration system |
CN106338712A (zh) * | 2016-10-21 | 2017-01-18 | 泉州装备制造研究所 | 一种基于相机通信的可见光室内定位方法及系统 |
CN106485788B (zh) * | 2016-10-21 | 2019-02-19 | 重庆虚拟实境科技有限公司 | 一种游戏引擎混合现实拍摄方法 |
US10591584B2 (en) * | 2016-10-25 | 2020-03-17 | GM Global Technology Operations LLC | Radar calibration with known global positioning of static objects |
CN107024980A (zh) * | 2016-10-26 | 2017-08-08 | 阿里巴巴集团控股有限公司 | 基于增强现实的用户位置定位方法及装置 |
CN106546238B (zh) * | 2016-10-26 | 2020-09-01 | 北京小鸟看看科技有限公司 | 可穿戴设备及在可穿戴设备中确定用户位移的方法 |
WO2018089533A1 (en) | 2016-11-08 | 2018-05-17 | PogoTec, Inc. | A smart case for electronic wearable device |
CN106657609A (zh) * | 2016-11-18 | 2017-05-10 | 成都六维人科技有限公司 | 一种虚拟现实设备及其控制装置和方法 |
KR102540236B1 (ko) * | 2016-12-05 | 2023-06-02 | 삼성전자주식회사 | 이미지 처리 장치 및 시스템 |
US10248191B2 (en) * | 2016-12-12 | 2019-04-02 | Microsoft Technology Licensing, Llc | Virtual rigid framework for sensor subsystem |
JP2018107695A (ja) * | 2016-12-27 | 2018-07-05 | フォーブ インコーポレーテッド | 推定システム、推定方法及び推定プログラム |
US10650552B2 (en) | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
EP4300160A2 (en) | 2016-12-30 | 2024-01-03 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
US10437343B2 (en) | 2017-01-06 | 2019-10-08 | Samsung Electronics Co., Ltd. | Augmented reality control of internet of things devices |
TWI664533B (zh) * | 2017-01-18 | 2019-07-01 | 宏達國際電子股份有限公司 | 定位裝置及方法 |
CN110832439B (zh) | 2017-04-27 | 2023-09-29 | 奇跃公司 | 发光用户输入设备 |
US10705113B2 (en) | 2017-04-28 | 2020-07-07 | Finch Technologies Ltd. | Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems |
US10785471B1 (en) * | 2017-05-12 | 2020-09-22 | Facebook Technologies, Llc | Upsampling content for head-mounted displays |
US10540006B2 (en) | 2017-05-16 | 2020-01-21 | Finch Technologies Ltd. | Tracking torso orientation to generate inputs for computer systems |
US10379613B2 (en) | 2017-05-16 | 2019-08-13 | Finch Technologies Ltd. | Tracking arm movements to generate inputs for computer systems |
US10304207B2 (en) | 2017-07-07 | 2019-05-28 | Samsung Electronics Co., Ltd. | System and method for optical tracking |
TWI687087B (zh) * | 2017-07-13 | 2020-03-01 | 新加坡商聯發科技(新加坡)私人有限公司 | 呈現超出全方位媒體的vr媒體的方法和裝置 |
US10578870B2 (en) | 2017-07-26 | 2020-03-03 | Magic Leap, Inc. | Exit pupil expander |
CN107560637B (zh) * | 2017-08-21 | 2021-02-19 | 歌尔光学科技有限公司 | 头戴显示设备校准结果验证方法及头戴显示设备 |
CN109491087B (zh) | 2017-09-11 | 2022-09-20 | 杜比实验室特许公司 | 用于ar/vr/mr的模块化拆卸式可穿戴装置 |
KR102402457B1 (ko) | 2017-09-15 | 2022-05-26 | 삼성전자 주식회사 | 콘텐츠 처리 방법 및 이를 지원하는 전자 장치 |
CN108876891B (zh) * | 2017-11-27 | 2021-12-28 | 北京旷视科技有限公司 | 人脸图像数据采集方法及人脸图像数据采集装置 |
CN109862345B (zh) * | 2017-11-30 | 2022-09-30 | 京东方科技集团股份有限公司 | 视场角测试方法和系统 |
CN111448497B (zh) | 2017-12-10 | 2023-08-04 | 奇跃公司 | 光波导上的抗反射涂层 |
US10521011B2 (en) | 2017-12-19 | 2019-12-31 | Finch Technologies Ltd. | Calibration of inertial measurement units attached to arms of a user and to a head mounted device |
CN115826240A (zh) | 2017-12-20 | 2023-03-21 | 奇跃公司 | 用于增强现实观看设备的插入件 |
US20220178692A1 (en) * | 2017-12-21 | 2022-06-09 | Mindmaze Holding Sa | System, method and apparatus of a motion sensing stack with a camera system |
CN108151738B (zh) * | 2017-12-22 | 2019-07-16 | 北京轻威科技有限责任公司 | 带姿态解算的可编码主动光标识球 |
US10509464B2 (en) | 2018-01-08 | 2019-12-17 | Finch Technologies Ltd. | Tracking torso leaning to generate inputs for computer systems |
US11016116B2 (en) | 2018-01-11 | 2021-05-25 | Finch Technologies Ltd. | Correction of accumulated errors in inertial measurement units attached to a user |
US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
US10970936B2 (en) | 2018-10-05 | 2021-04-06 | Facebook Technologies, Llc | Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment |
US10817795B2 (en) | 2018-01-25 | 2020-10-27 | Facebook Technologies, Llc | Handstate reconstruction based on multiple inputs |
WO2019147949A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Real-time processing of handstate representation model estimates |
US10937414B2 (en) | 2018-05-08 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for text input using neuromuscular information |
WO2019147958A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | User-controlled tuning of handstate representation model parameters |
US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
WO2019147996A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Calibration techniques for handstate representation modeling using neuromuscular signals |
WO2019148002A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Techniques for anonymizing neuromuscular signal data |
US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
WO2019147956A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Visualization of reconstructed handstate information |
US11567573B2 (en) | 2018-09-20 | 2023-01-31 | Meta Platforms Technologies, Llc | Neuromuscular text entry, writing and drawing in augmented reality systems |
CA3087738A1 (en) | 2018-02-06 | 2019-08-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
CN110163885B (zh) * | 2018-02-12 | 2022-06-03 | 杭州海康威视数字技术股份有限公司 | 一种目标跟踪方法及装置 |
US11526216B2 (en) * | 2018-02-23 | 2022-12-13 | Telefonaktiebolaget Lm Ericsson (Publ) | Coordinating alignment of coordinate systems used for a computer generated reality device and a haptic device |
KR102050059B1 (ko) * | 2018-03-13 | 2020-01-08 | 서강대학교 산학협력단 | 헤드 마운티드 디스플레이의 자기 보정 장치 및 방법 |
CN112136152A (zh) | 2018-03-15 | 2020-12-25 | 奇跃公司 | 由观看设备的部件变形导致的图像校正 |
US10475196B2 (en) * | 2018-03-22 | 2019-11-12 | Microsoft Technology Licensing, Llc | Hybrid depth detection and movement detection |
WO2019204638A1 (en) | 2018-04-19 | 2019-10-24 | Pcms Holdings, Inc. | Systems and methods employing predictive overfilling for virtual reality |
US11454783B2 (en) | 2018-04-25 | 2022-09-27 | Samsung Electronics Co., Ltd. | Tiled triplet lenses providing a wide field of view |
US10416755B1 (en) | 2018-06-01 | 2019-09-17 | Finch Technologies Ltd. | Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system |
DK201870351A1 (en) | 2018-05-07 | 2020-01-13 | Apple Inc. | Devices and Methods for Measuring Using Augmented Reality |
CN109974581B (zh) * | 2018-05-07 | 2021-07-13 | 苹果公司 | 使用增强现实进行测量的设备和方法 |
US11474593B2 (en) | 2018-05-07 | 2022-10-18 | Finch Technologies Ltd. | Tracking user movements to control a skeleton model in a computer system |
US10592001B2 (en) | 2018-05-08 | 2020-03-17 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
US10623743B1 (en) * | 2018-05-22 | 2020-04-14 | Facebook Technologies, Llc | Compression of captured images including light captured from locations on a device or object |
WO2019226259A1 (en) | 2018-05-25 | 2019-11-28 | Ctrl-Labs Corporation | Methods and apparatus for providing sub-muscular control |
US11204491B2 (en) | 2018-05-30 | 2021-12-21 | Magic Leap, Inc. | Compact variable focus configurations |
EP3803450A4 (en) | 2018-05-31 | 2021-08-18 | Magic Leap, Inc. | POSITIONING A RADAR HEAD |
WO2019236495A1 (en) * | 2018-06-05 | 2019-12-12 | Magic Leap, Inc. | Homography transformation matrices based temperature calibration of a viewing system |
EP3803545A4 (en) | 2018-06-08 | 2022-01-26 | Magic Leap, Inc. | AUGMENTED REALITY VIEWER WITH AUTOMATED SURFACE SELECTION PLACEMENT AND CONTENT ALIGNMENT PLACEMENT |
WO2019241701A1 (en) | 2018-06-14 | 2019-12-19 | Ctrl-Labs Corporation | User identification and authentication with neuromuscular signatures |
CN108965863B (zh) * | 2018-06-21 | 2019-09-17 | 歌尔股份有限公司 | 相机光学中心和vr透镜中心对齐的控制方法及装置 |
WO2020010097A1 (en) | 2018-07-02 | 2020-01-09 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
US11856479B2 (en) | 2018-07-03 | 2023-12-26 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality along a route with markers |
WO2020010226A1 (en) | 2018-07-03 | 2020-01-09 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
WO2020018892A1 (en) | 2018-07-19 | 2020-01-23 | Ctrl-Labs Corporation | Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device |
CN110826375B (zh) * | 2018-08-10 | 2022-08-12 | 广东虚拟现实科技有限公司 | 显示方法、装置、终端设备及存储介质 |
WO2020023543A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Viewing device with dust seal integration |
WO2020023545A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Temperature dependent calibration of movement detection devices |
US11009941B2 (en) | 2018-07-25 | 2021-05-18 | Finch Technologies Ltd. | Calibration of measurement units in alignment with a skeleton model to control a computer system |
US11112862B2 (en) | 2018-08-02 | 2021-09-07 | Magic Leap, Inc. | Viewing system with interpupillary distance compensation based on head motion |
EP3830631A4 (en) | 2018-08-03 | 2021-10-27 | Magic Leap, Inc. | NON-FUSED POSE DRIFT CORRECTION OF A FUSED TOTEM IN A USER INTERACTION SYSTEM |
US11100713B2 (en) | 2018-08-17 | 2021-08-24 | Disney Enterprises, Inc. | System and method for aligning virtual objects on peripheral devices in low-cost augmented reality/virtual reality slip-in systems |
EP3857342A4 (en) | 2018-09-26 | 2021-12-01 | Facebook Technologies, LLC. | NEUROMUSCULAR CONTROL OF PHYSICAL OBJECTS IN AN ENVIRONMENT |
US10785413B2 (en) | 2018-09-29 | 2020-09-22 | Apple Inc. | Devices, methods, and graphical user interfaces for depth-based annotation |
WO2020081090A1 (en) * | 2018-10-18 | 2020-04-23 | Hewlett-Packard Development Company, L.P. | Video capture device positioning based on participant movement |
WO2020102237A1 (en) | 2018-11-13 | 2020-05-22 | Opkix, Inc. | Wearable mounts for portable camera |
WO2020102412A1 (en) | 2018-11-16 | 2020-05-22 | Magic Leap, Inc. | Image size triggered clarification to maintain image sharpness |
CN113423341A (zh) | 2018-11-27 | 2021-09-21 | 脸谱科技有限责任公司 | 用于可穿戴电极传感器系统的自动校准的方法和装置 |
CN109711302B (zh) * | 2018-12-18 | 2019-10-18 | 北京诺亦腾科技有限公司 | 模型参数校准方法、装置、计算机设备和存储介质 |
US10802282B2 (en) | 2018-12-21 | 2020-10-13 | Microsoft Technology Licensing, Llc | Controlling light source intensities on optically trackable object |
CN109801341B (zh) * | 2019-01-30 | 2020-11-03 | 北京经纬恒润科技有限公司 | 一种标定靶的位置校验方法及装置 |
US11425189B2 (en) | 2019-02-06 | 2022-08-23 | Magic Leap, Inc. | Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors |
JP7247636B2 (ja) * | 2019-02-15 | 2023-03-29 | 株式会社Jvcケンウッド | 画像調整システム、画像調整装置、及び画像調整方法 |
US10905383B2 (en) | 2019-02-28 | 2021-02-02 | Facebook Technologies, Llc | Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces |
US11624757B2 (en) | 2019-03-04 | 2023-04-11 | Meta Platforms, Inc. | Modeling poses of tracked objects by predicting sensor data |
JP2022523852A (ja) | 2019-03-12 | 2022-04-26 | マジック リープ, インコーポレイテッド | 第1および第2の拡張現実ビューア間でのローカルコンテンツの位置合わせ |
KR102222136B1 (ko) * | 2019-04-15 | 2021-03-04 | 주식회사 스토익엔터테인먼트 | 가상 현실 컨텐츠 제어 장치, 가상 현실 어트랙션 및 이의 보정 방법 |
WO2020223636A1 (en) | 2019-05-01 | 2020-11-05 | Magic Leap, Inc. | Content provisioning system and method |
CN109976535B (zh) * | 2019-05-05 | 2022-12-02 | 北京七鑫易维信息技术有限公司 | 一种校准方法、装置、设备及存储介质 |
JP2022542363A (ja) | 2019-07-26 | 2022-10-03 | マジック リープ, インコーポレイテッド | 拡張現実のためのシステムおよび方法 |
US10809797B1 (en) | 2019-08-07 | 2020-10-20 | Finch Technologies Ltd. | Calibration of multiple sensor modules related to an orientation of a user of the sensor modules |
CN110688002B (zh) * | 2019-09-06 | 2023-12-19 | 广东虚拟现实科技有限公司 | 虚拟内容的调整方法、装置、终端设备及存储介质 |
JP7360282B2 (ja) * | 2019-09-10 | 2023-10-12 | 株式会社東海理化電機製作所 | 制御装置、制御方法、及びプログラム |
US10976863B1 (en) | 2019-09-19 | 2021-04-13 | Finch Technologies Ltd. | Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user |
US11175729B2 (en) | 2019-09-19 | 2021-11-16 | Finch Technologies Ltd. | Orientation determination based on both images and inertial measurement units |
CN112578901A (zh) * | 2019-09-30 | 2021-03-30 | Oppo广东移动通信有限公司 | 眼球追踪校准方法及相关设备 |
WO2021097323A1 (en) | 2019-11-15 | 2021-05-20 | Magic Leap, Inc. | A viewing system for use in a surgical environment |
US10705597B1 (en) | 2019-12-17 | 2020-07-07 | Liteboxer Technologies, Inc. | Interactive exercise and training system and method |
US11138771B2 (en) | 2020-02-03 | 2021-10-05 | Apple Inc. | Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments |
US11727650B2 (en) | 2020-03-17 | 2023-08-15 | Apple Inc. | Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments |
CN111583310B (zh) * | 2020-04-29 | 2023-06-30 | 南京睿悦信息技术有限公司 | 一种用于虚拟现实和增强现实设备的虚实配准方法及装置 |
CN111988534B (zh) * | 2020-07-23 | 2021-08-20 | 首都医科大学附属北京朝阳医院 | 一种基于多摄像头的画面拼接方法和装置 |
CN112015269A (zh) * | 2020-08-03 | 2020-12-01 | 深圳市瑞立视多媒体科技有限公司 | 头显设备的显示校正方法、设备及存储介质 |
US20230306633A1 (en) * | 2020-08-18 | 2023-09-28 | Foresight Automotive Ltd. | System and method for pose estimation of sensors using motion and angular shift |
KR20220030641A (ko) * | 2020-09-03 | 2022-03-11 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 동작 방법 |
US20220075447A1 (en) * | 2020-09-08 | 2022-03-10 | Google Llc | Persistent calibration of extended reality systems |
US11615595B2 (en) | 2020-09-24 | 2023-03-28 | Apple Inc. | Systems, methods, and graphical user interfaces for sharing augmented reality environments |
CN112541932B (zh) * | 2020-11-30 | 2024-03-26 | 西安电子科技大学昆山创新研究院 | 基于双光相机不同焦距变换参数的多源图像配准方法 |
US11662805B2 (en) * | 2020-12-30 | 2023-05-30 | Snap Inc. | Periodic parameter estimation for visual-inertial tracking systems |
WO2022146786A1 (en) * | 2020-12-30 | 2022-07-07 | Snap Inc. | Periodic parameter estimation visual-inertial tracking systems |
US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
US11941764B2 (en) | 2021-04-18 | 2024-03-26 | Apple Inc. | Systems, methods, and graphical user interfaces for adding effects in augmented reality environments |
US11688101B2 (en) | 2021-05-18 | 2023-06-27 | Snap Inc. | Intrinsic parameters estimation in visual tracking systems |
WO2022246388A1 (en) * | 2021-05-18 | 2022-11-24 | Snap Inc. | Intrinsic parameters estimation in visual tracking systems |
BE1029715B1 (nl) * | 2021-08-25 | 2023-03-28 | Rods&Cones Holding Bv | Geautomatiseerde kalibratie van hoofdgedragen handenvrije camera |
CN114286075A (zh) * | 2021-12-01 | 2022-04-05 | 北京新奥特图腾科技有限公司 | 校正参数调整方法、装置、电子设备及可读介质 |
WO2023130046A1 (en) * | 2021-12-30 | 2023-07-06 | Canon U.S.A., Inc. | Systems and methods for virtual reality immersive calling |
WO2022266556A1 (en) * | 2022-08-09 | 2022-12-22 | Innopeak Technology, Inc. | Methods and systems for motion prediction |
US11914800B1 (en) | 2022-10-28 | 2024-02-27 | Dell Products L.P. | Information handling system stylus with expansion bay and replaceable module |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005107247A (ja) * | 2003-09-30 | 2005-04-21 | Canon Inc | 位置姿勢推定方法および装置 |
JP2007071782A (ja) * | 2005-09-08 | 2007-03-22 | Canon Inc | 位置姿勢計測システム及びその計測方法、並びに制御プログラム |
JP2008065416A (ja) * | 2006-09-05 | 2008-03-21 | Shimadzu Corp | ヘッドモーショントラッカ装置 |
JP2008289645A (ja) * | 2007-05-24 | 2008-12-04 | Shimadzu Corp | モーショントラッカ装置 |
JP2013258614A (ja) * | 2012-06-13 | 2013-12-26 | Sony Computer Entertainment Inc | 画像生成装置および画像生成方法 |
JP6110573B2 (ja) * | 2014-01-06 | 2017-04-05 | オキュラス ブイアール,エルエルシー | 仮想現実システムの較正 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7428001B2 (en) * | 2002-03-15 | 2008-09-23 | University Of Washington | Materials and methods for simulating focal shifts in viewers using large depth of focus displays |
US7002551B2 (en) | 2002-09-25 | 2006-02-21 | Hrl Laboratories, Llc | Optical see-through augmented reality modified-scale display |
US6867753B2 (en) | 2002-10-28 | 2005-03-15 | University Of Washington | Virtual image registration in augmented display field |
CN100416336C (zh) * | 2003-06-12 | 2008-09-03 | 美国西门子医疗解决公司 | 校准真实和虚拟视图 |
JP4757142B2 (ja) | 2006-08-10 | 2011-08-24 | キヤノン株式会社 | 撮影環境校正方法及び情報処理装置 |
CN100487568C (zh) * | 2007-05-29 | 2009-05-13 | 南京航空航天大学 | 具有视线跟踪功能的增强现实自然交互式头盔 |
EP2012170B1 (en) | 2007-07-06 | 2017-02-15 | Harman Becker Automotive Systems GmbH | Head-tracking system and operating method thereof |
US8678282B1 (en) * | 2010-11-29 | 2014-03-25 | Lockheed Martin Corporation | Aim assist head-mounted display apparatus |
US9217867B2 (en) | 2011-03-24 | 2015-12-22 | Seiko Epson Corporation | Head-mounted display device and control method for the head-mounted display device |
WO2012172719A1 (ja) * | 2011-06-16 | 2012-12-20 | パナソニック株式会社 | ヘッドマウントディスプレイおよびその位置ずれ調整方法 |
US9897805B2 (en) * | 2013-06-07 | 2018-02-20 | Sony Interactive Entertainment Inc. | Image rendering responsive to user actions in head mounted display |
US8611015B2 (en) * | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
CN103179692A (zh) * | 2011-12-26 | 2013-06-26 | 陈建新 | 基于ZigBee/IEEE802.15.4的人体运动追踪系统 |
US9529426B2 (en) * | 2012-02-08 | 2016-12-27 | Microsoft Technology Licensing, Llc | Head pose tracking using a depth camera |
US20130285885A1 (en) | 2012-04-25 | 2013-10-31 | Andreas G. Nowatzyk | Head-mounted light-field display |
CN203314184U (zh) * | 2013-02-04 | 2013-12-04 | 浙江铭众生物医学创业投资有限公司 | 头戴式设备 |
US9239460B2 (en) * | 2013-05-10 | 2016-01-19 | Microsoft Technology Licensing, Llc | Calibration of eye location |
US20140362110A1 (en) * | 2013-06-08 | 2014-12-11 | Sony Computer Entertainment Inc. | Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user |
US9303999B2 (en) * | 2013-12-30 | 2016-04-05 | Google Technology Holdings LLC | Methods and systems for determining estimation of motion of a device |
CN106255916B (zh) * | 2014-03-14 | 2019-08-09 | 索尼互动娱乐股份有限公司 | 跟踪头戴式显示器(hmd)的方法和系统以及用于hmd头带调整的校准 |
US10198865B2 (en) | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
-
2015
- 2015-01-05 US US14/589,755 patent/US9524580B2/en active Active
- 2015-01-05 US US14/589,774 patent/US9600925B2/en active Active
- 2015-01-06 JP JP2016543235A patent/JP6110573B2/ja active Active
- 2015-01-06 WO PCT/US2015/010344 patent/WO2015103621A1/en active Application Filing
- 2015-01-06 CA CA2930773A patent/CA2930773C/en not_active Expired - Fee Related
- 2015-01-06 KR KR1020167017722A patent/KR101762297B1/ko active IP Right Grant
- 2015-01-06 CN CN201580003318.8A patent/CN105850113B/zh active Active
- 2015-01-06 KR KR1020177020194A patent/KR102121994B1/ko active IP Right Grant
- 2015-01-06 AU AU2015203932A patent/AU2015203932B2/en not_active Ceased
- 2015-01-06 CN CN201810054065.2A patent/CN108107592B/zh active Active
- 2015-01-06 BR BR112016013563A patent/BR112016013563A8/pt not_active Application Discontinuation
- 2015-01-06 MX MX2016008908A patent/MX348608B/es active IP Right Grant
- 2015-01-06 EP EP15733225.5A patent/EP3017591B1/en active Active
-
2016
- 2016-05-24 IL IL245813A patent/IL245813A/en not_active IP Right Cessation
- 2016-11-08 US US15/346,138 patent/US9779540B2/en active Active
-
2017
- 2017-01-10 US US15/402,422 patent/US10001834B2/en active Active
- 2017-03-09 JP JP2017044754A patent/JP6381711B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005107247A (ja) * | 2003-09-30 | 2005-04-21 | Canon Inc | 位置姿勢推定方法および装置 |
JP2007071782A (ja) * | 2005-09-08 | 2007-03-22 | Canon Inc | 位置姿勢計測システム及びその計測方法、並びに制御プログラム |
JP2008065416A (ja) * | 2006-09-05 | 2008-03-21 | Shimadzu Corp | ヘッドモーショントラッカ装置 |
JP2008289645A (ja) * | 2007-05-24 | 2008-12-04 | Shimadzu Corp | モーショントラッカ装置 |
JP2013258614A (ja) * | 2012-06-13 | 2013-12-26 | Sony Computer Entertainment Inc | 画像生成装置および画像生成方法 |
JP6110573B2 (ja) * | 2014-01-06 | 2017-04-05 | オキュラス ブイアール,エルエルシー | 仮想現実システムの較正 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6381711B2 (ja) | 仮想現実システムの較正 | |
JP7026214B2 (ja) | ヘッドマウントディスプレイ追跡システム | |
EP3469458B1 (en) | Six dof mixed reality input by fusing inertial handheld controller with hand tracking | |
US10878236B2 (en) | Eye tracking using time multiplexing | |
JP6586523B2 (ja) | 構造化光を用いた視線追跡 | |
US10740924B2 (en) | Tracking pose of handheld object | |
US11127380B2 (en) | Content stabilization for head-mounted displays | |
US10504243B2 (en) | Calibration system for a head-mounted display tracking system | |
CN110658914A (zh) | 边界区域的闪烁追踪 | |
Plopski et al. | Tracking systems: Calibration, hardware, and peripherals | |
US20230206622A1 (en) | Information processing device, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180219 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180709 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180717 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6381711 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |