JP2019535004A - 仮想現実または拡張現実ディスプレイシステムにおける磁気センサおよび光学センサの較正 - Google Patents

仮想現実または拡張現実ディスプレイシステムにおける磁気センサおよび光学センサの較正 Download PDF

Info

Publication number
JP2019535004A
JP2019535004A JP2019514092A JP2019514092A JP2019535004A JP 2019535004 A JP2019535004 A JP 2019535004A JP 2019514092 A JP2019514092 A JP 2019514092A JP 2019514092 A JP2019514092 A JP 2019514092A JP 2019535004 A JP2019535004 A JP 2019535004A
Authority
JP
Japan
Prior art keywords
conductive loop
calibration
waveform
conductive
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019514092A
Other languages
English (en)
Other versions
JP6948387B2 (ja
JP2019535004A5 (ja
Inventor
スコット デイビッド ノートマン,
スコット デイビッド ノートマン,
マイケル ウッズ,
マイケル ウッズ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2019535004A publication Critical patent/JP2019535004A/ja
Publication of JP2019535004A5 publication Critical patent/JP2019535004A5/ja
Priority to JP2021151814A priority Critical patent/JP2022008432A/ja
Application granted granted Critical
Publication of JP6948387B2 publication Critical patent/JP6948387B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/0023Electronic aspects, e.g. circuits for stimulation, evaluation, control; Treating the measured signals; calibration
    • G01R33/0029Treating the measured signals, e.g. removing offset or noise
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/0023Electronic aspects, e.g. circuits for stimulation, evaluation, control; Treating the measured signals; calibration
    • G01R33/0035Calibration of single magnetic sensors, e.g. integrated calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R23/00Arrangements for measuring frequencies; Arrangements for analysing frequency spectra
    • G01R23/16Spectrum analysis; Fourier analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/0005Geometrical arrangement of magnetic sensor elements; Apparatus combining different magnetic sensor types
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R35/00Testing or calibrating of apparatus covered by the other groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring Magnetic Variables (AREA)

Abstract

仮想現実(VR)または拡張現実(AR)デバイス(58)内の磁気および光学センサの整合を較正するためのシステム(900、1300)。本システムは、コントローラ(910)と、波形生成器(920)と、電気駆動部(930)とを含むことができる。波形生成器は、コントローラの制御下で、較正波形を生産することができる。本システムはまた、較正波形に対応する電流で励起される、伝導性ループ(302、304)を含むことができる。コントローラは、波形生成器に、第1の較正波形を生成させ、ディスプレイデバイス内の第1のタイプの磁気センサ(604)を較正し、第2の較正波形を生成させ、ディスプレイデバイス内の第2のタイプの磁気センサ(102)を較正することができる。

Description

(関連出願の相互参照)
本願は、2016年9月26日に出願され“SYSTEMS AND METHODS FOR AUGMENTED REALITY”と題された米国特許出願第62/400,079号に対する優先権の利益を主張するものであり、該出願の全体は、参照により本明細書中に援用される。
現代のコンピューティングおよびディスプレイ技術は、仮想現実(「VR」)、拡張現実(「AR」)、および複合現実(「MR」)システムの開発を促進している。VRシステムは、ユーザが体験するためのシミュレートされた環境を作成する。これは、頭部搭載型ディスプレイを通して、コンピュータ生成画像をユーザに提示することによって行われることができる。本画像は、感覚体験を作成し、これは、ユーザをシミュレートされた環境に没入させる。VRシナリオは、典型的には、実際の実世界画像もまた導入するのではなく、コンピュータ生成画像のみの提示を伴う。
ARシステムは、概して、実世界環境をシミュレートされた要素で補完する。例えば、ARシステムは、ユーザに、頭部搭載型ディスプレイを介して、周囲実世界環境のビューを提供し得る。しかしながら、コンピュータ生成画像もまた、ディスプレイ上に提示され、実世界環境を向上させることができる。本コンピュータ生成画像は、実世界環境にコンテキスト的に関連する、要素を含むことができる。そのような要素は、シミュレートされたテキスト、画像、オブジェクト等を含むことができる。MRシステムは、シミュレートされたオブジェクトもまた実世界環境の中に導入する、ARシステムのタイプであるが、これらのオブジェクトは、典型的には、より優れた相互作用の程度を特徴とする。シミュレートされた要素は、多くの場合、リアルタイムで相互作用することができる。
いくつかの実施形態では、仮想現実(VR)または拡張現実(AR)ディスプレイデバイス内の2つ以上の磁気センサの整合を較正するためのシステムであって、コントローラと、コントローラの制御下で、第1の較正波形および第2の較正波形を生成するように構成される、波形生成器と、第1の伝導性ループを通して通過する第1の軸に直交する第1の平面に配向される、第1の伝導性ループと、第1の平面と平行な第2の平面に配向され、第1の軸に沿って第1の伝導性ループから離間される、第2の伝導性ループと、波形生成器に接続され、第1および第2の較正波形を受信し、対応する第1および第2の電気出力電流を生成し、第1および第2の電気出力電流を第1の伝導性ループおよび第2の伝導性ループに提供する、電気駆動部とを備え、コントローラは、波形生成器に、第1の較正波形を生成させ、ディスプレイデバイス内の第1のタイプの磁気センサを較正させ、第2の較正波形を生成させ、ディスプレイデバイス内の第2のタイプの磁気センサを較正させるように構成される、システムが、開示される。
いくつかの実施形態では、仮想現実(VR)または拡張現実(AR)ディスプレイデバイス内の2つ以上の磁気センサの整合を較正するための方法であって、第1の較正波形を生成するステップと、第1の較正波形を用いて、第1の伝導性ループを通して通過する第1の軸に直交する第1の平面に配向される、第1の伝導性ループと、第1の平面と平行な第2の平面に配向され、第1の軸に沿って第1の伝導性ループから離間される、第2の伝導性ループとを励起するステップと、ディスプレイデバイスの第1のタイプの磁気センサを使用して、第1の較正波形で励起されるときの第1および第2の伝導性ループによって生産された磁場の配向を示す、第1の測定値を決定するステップと、第2の較正波形を生成するステップと、第2の較正波形を用いて、第1および第2の伝導性ループを励起するステップと、ディスプレイデバイスの第2のタイプの磁気センサを使用して、第2の較正波形で励起されるときの第1および第2の伝導性ループによって生産された磁場の配向を示す、第2の測定値を決定するステップと、第1の測定値と第2の測定値を比較するステップとを含む、方法が、示される。
いくつかの実施形態では、仮想現実(VR)または拡張現実(AR)ディスプレイデバイス内の1つ以上の磁気センサおよび1つ以上の光学センサの整合を較正するためのシステムであって、第1の伝導性ループを通して通過する第1の軸に直交する第1の平面に配向される、第1の伝導性ループと、第1の平面と平行な第2の平面に配向され、第1の軸に沿って第1の伝導性ループから離間される、第2の伝導性ループと、第1の伝導性ループおよび第2の伝導性ループに対して所定の空間関係に支持される、1つ以上の光学基準マーカとを備える、システムが、開示される。
いくつかの実施形態では、仮想現実(VR)または拡張現実(AR)ディスプレイデバイス内の1つ以上の磁気センサおよび1つ以上の光学センサの整合を較正するための方法であって、較正波形を生成するステップと、較正波形を用いて、第1の伝導性ループを通して通過する第1の軸に直交する第1の平面に配向される、第1の伝導性ループと、第1の平面と平行な第2の平面に配向され、第1の軸に沿って第1の伝導性ループから離間される、第2の伝導性ループとを励起するステップと、ディスプレイデバイスの磁気センサを使用して、較正波形で励起されるときの第1および第2の伝導性ループによって生産された磁場の配向を示す、第1の測定値を決定するステップと、ディスプレイデバイスの光学センサを用いて、第1の伝導性ループおよび第2の伝導性ループに対する光学基準マーカの空間関係を示す、第2の測定値を決定するステップと、第1の測定値と第2の測定値を比較するステップとを含む、方法が、開示される。
本明細書に説明される主題の1つ以上の実施形態の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。
図1は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、拡張現実シナリオの例証を描写する。
図2A−2Dは、ウェアラブルシステムの実施例を図式的に図示する。 図2A−2Dは、ウェアラブルシステムの実施例を図式的に図示する。 図2A−2Dは、ウェアラブルシステムの実施例を図式的に図示する。 図2A−2Dは、ウェアラブルシステムの実施例を図式的に図示する。
図3は、クラウドコンピューティングアセットとローカル処理アセットとの間の協調を図式的に図示する。
図4は、電磁(EM)追跡システムの例示的システム図を図式的に図示する。
図5は、電磁追跡システムの実施形態の例示的機能を説明する、フローチャートである。
図6は、ARシステムとともに組み込まれる、電磁追跡システムの実施例を図式的に図示する。
図7は、ARデバイスのコンテキストにおける電磁追跡システムの実施例の機能を説明する、フローチャートである。
図8は、ARシステムの実施形態のコンポーネントの実施例を図式的に図示する。
図9は、頭部搭載型ウェアラブルAR/VRシステム内の磁力計の整合を較正するためのシステムのブロック図である。
図10Aは、図9に示される磁場生成ユニットの第1の例示的実施形態を図示する。
図10Bは、図10Aに示される伝導性ループ構成によって生産された磁場線の断面略図である。
図10Cは、図9に示される磁場生成ユニットの例示的多軸実施形態を図示する。
図11は、第1の伝導性ループおよび第2の伝導性ループによって生産された均一磁場の試験体積内に位置付けられる、頭部搭載型ウェアラブルAR/VRシステムの略図である。
図12は、ウェアラブルAR/VRシステム内の2つの異なるタイプの磁力計の整合を較正するための例示的方法のフローチャートである。
図13は、頭部搭載型ウェアラブルAR/VRシステム内の磁力計および光学センサの整合を較正するためのシステムのブロック図である。
図14は、光学基準マーカを用いて磁場生成ユニットの例示的実施形態内に位置付けられる、頭部搭載型ウェアラブルAR/VRシステムの略図である。
図15は、ウェアラブルAR/VRシステム内の磁気センサおよび光学センサの整合を較正するための例示的方法のフローチャートである。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
(AR、VR、および位置特定システムの概要)
図1では、拡張現実場面(4)が、描写されており、AR技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム(1120)を特徴とする、実世界公園状設定(6)が見える。これらのアイテムに加え、AR技術のユーザはまた、実世界プラットフォーム(1120)上に立っているロボット像(1110)と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ(2)とが「見える」と知覚するが、これらの要素(2、1110)は、実世界には存在しない。ヒト視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適かつ自然な感覚で豊かな提示を促進する、VRまたはAR技術を生成することは、困難である。
頭部装着型VRまたはARディスプレイ(またはヘルメット搭載型ディスプレイもしくはスマートグラス)は、典型的には、ユーザの頭部に少なくとも緩く結合され、したがって、ユーザの頭部が移動すると、移動し得る。ユーザの頭部の運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部姿勢の変化を考慮するように更新されることができる。実施例として、頭部装着型ディスプレイを装着するユーザが、ディスプレイ上の3次元(3−D)オブジェクトの仮想表現を視認し、3−Dオブジェクトが現れる面積の周囲を歩き回る場合、その3−Dオブジェクトは、視点毎に再レンダリングされ、彼らが実空間を占有するオブジェクトの周囲を歩き回っているような知覚をユーザに与えることができる。頭部装着型ディスプレイが、仮想空間内に複数のオブジェクト(例えば、豊かな仮想世界)を提示するために使用される場合、頭部の姿勢の測定(例えば、ユーザの頭部の場所および配向)が、ユーザの動的に変化する頭部場所および配向に合致するように場面を再レンダリングし、仮想空間内への没入感の増加を提供するために使用されることができる。
ARシステムでは、頭部の姿勢の検出または計算は、ユーザにとって意味をなす様式において、ディスプレイシステムが実世界内の空間を占有するように現れるように、仮想オブジェクトをレンダリングすることを可能にすることができる。加えて、ユーザの頭部またはARシステムと連動したハンドヘルドデバイス(「トーテム」とも称され得る)、触知デバイス、または他の実際の物理的オブジェクト等の実オブジェクトの位置および/または配向の検出もまた、ディスプレイシステムが、ディスプレイ情報をユーザに提示し、ユーザが、ARシステムのある側面と効率的に相互作用することを可能にすることを促進し得る。ユーザの頭部が、実世界内で動き回るにつれて、仮想オブジェクトは、仮想オブジェクトが実世界に対して安定したまま現れるように、頭部の姿勢の関数として再レンダリングされ得る。少なくともAR用途に関して、物理的オブジェクトと空間的に連動した仮想オブジェクトの設置(例えば、2または3次元において物理的オブジェクトに空間的に近接して現れるように提示される)は、些細な問題ではあり得ない。例えば、頭部の移動が、周囲環境の視点からの仮想オブジェクトの設置を有意に複雑にし得る。これは、視点が周囲環境の画像として捕捉され、次いで、エンドユーザに投影もしくは表示されるかどうか、またはエンドユーザが周囲環境の視点を直接知覚するかどうかに当てはまる。例えば、頭部の移動は、エンドユーザの視野を変化させる可能性が高く、これは、種々の仮想オブジェクトがエンドユーザの視野に表示される場所に対する更新を要求する可能性が高いであろう。加えて、頭部移動は、多種多様な範囲および速度で生じ得る。頭部移動速度は、異なる頭部移動間においてだけではなく、単一頭部移動の範囲内またはそれを横断して変動し得る。例えば、頭部移動速度は、始点から増加し得(例えば、線形または非線形)、終点に到達するにつれて、減少し得、頭部の移動の始点と終点との間のある場所で最大速度を得る。高速頭部移動は、特定の表示または投影技術の能力さえ超え、均一および/または平滑運動としてエンドユーザに現れる画像をレンダリングし得る。
頭部追跡正確度および待ち時間(例えば、ユーザがその頭部を移動させてから、画像が更新され、ユーザに表示されるまでの経過時間)は、VRおよびARシステムにとって課題となっている。特に、ユーザの視野の実質的部分を仮想要素で充填する、ディスプレイシステムに関して、頭部追跡の正確度が高く、頭部運動の最初の検出からディスプレイによってユーザの眼に送達される光の更新までの全体的システム待ち時間が非常に短い場合、有利である。待ち時間が長い場合、システムは、ユーザの前庭と視感覚系との間に不整合をもたらし、乗り物酔いまたは3D酔いにつながり得る、ユーザ知覚シナリオを生成させ得る。システム待ち時間が長い場合、仮想オブジェクトの見掛け場所は、高速頭部運動の間、不安定に現れ得る。
頭部装着型ディスプレイシステムに加え、他のディスプレイシステムもまた、正確かつ短い待ち時間の頭部の姿勢検出から恩恵を受け得る。これらとして、ディスプレイが、ユーザの身体に装着されず、例えば、壁または他の表面上に搭載される、頭部追跡型ディスプレイシステムが挙げられる。頭部追跡型ディスプレイは、場面上に窓のように作用し得、ユーザがその頭部を「窓」に対して移動させるにつれて、場面は、ユーザの変化する視点に合致するように、再レンダリングされる。他のシステムとして、頭部装着型ディスプレイが光を実世界上に投影する、頭部装着型投影システムが挙げられる。
加えて、現実的拡張現実体験を提供するために、ARシステムは、ユーザと相互作用するように設計されてもよい。例えば、複数のユーザが、仮想ボールおよび/または他の仮想オブジェクトを用いて、ボールゲームをプレーしてもよい。1人のユーザが、仮想ボールを「キャッチ」し、ボールを別のユーザに投げ返してもよい。別の実施形態では、第1のユーザは、仮想ボールを打つためのトーテム(例えば、ARシステムに通信可能に結合されるバット状オブジェクト)を提供されてもよい。他の実施形態では、仮想ユーザインターフェースは、ユーザが多くのオプションのうちの1つを選択することを可能にするために、ARユーザに提示されてもよい。ユーザは、トーテム、触知デバイス、ウェアラブルコンポーネントを使用し、または単に、仮想画面をタッチし、システムと相互作用してもよい。
ユーザの頭部の姿勢および配向を検出することならびに空間内の実オブジェクトの物理的場所を検出することは、ARシステムが、仮想コンテンツを効果的かつ享受可能な様式で表示することを可能にする。しかしながら、これらの能力は、ARシステムにとって有利であるが、達成することが困難であり得る。言い換えると、ARシステムは、実オブジェクト(例えば、ユーザの頭部、トーテム、触知デバイス、ウェアラブルコンポーネント、ユーザの手等)の物理的場所を認識し、実オブジェクトの物理的座標をユーザに表示されている1つ以上の仮想オブジェクトに対応する仮想座標に相関させなければならない。これは、概して、1つ以上のオブジェクトの位置および配向を高速レートで追跡する非常に正確なセンサならびにセンサ認識システムを要求する。現在のアプローチは、満足のゆく速度または精度規格において位置特定を行い得ない。したがって、ARおよびVRデバイスのコンテキストにおいて、より優れた位置特定システムの必要がある。
(例示的ARおよびVRシステムならびにコンポーネント)
図2A−2Dを参照すると、いくつかの一般的コンポーネントオプションが、図示される。図2A−2Dの議論に従う、発明を実施するための形態の部分では、種々のシステム、サブシステム、およびコンポーネントが、ヒトVRならびに/またはARのための高品質かつ快適に知覚されるディスプレイシステムを提供する目的に対処するために提示される。
図2Aに示されるように、ARシステムユーザ(60)は、ユーザの眼の正面に位置付けられるディスプレイシステム(62)に結合されるフレーム(64)構造を特徴とする、頭部搭載型コンポーネント(58)を装着するように描写される。スピーカ(66)が、描写される構成においてフレーム(64)に結合され、ユーザの外耳道に隣接して位置付けられる(一実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供する)。ディスプレイ(62)は、有線導線または無線コネクティビティ等によって、ローカル処理およびデータモジュール(70)に動作可能に結合(68)され、これは、フレーム(64)に固定して取り付けられる、図2Bの実施形態に示されるようにヘルメットまたは帽子(80)に固定して取り付けられる、ヘッドホンに内蔵される、図2Cの実施形態に示されるようにリュック式構成においてユーザ(60)の胴体(82)に除去可能に取り付けられる、または図2Dの実施形態に示されるようにベルト結合式構成においてユーザ(60)の臀部(84)に除去可能に取り付けられる等、種々の構成において搭載されてもよい。
ローカル処理およびデータモジュール(70)は、電力効率の良いプロセッサまたはコントローラならびにフラッシュメモリ等のデジタルメモリを備えてもよく、両方とも、a)画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ等、フレーム(64)に動作可能に結合され得る、センサから捕捉されるデータ、および/またはb)可能性として、処理または読出後、ディスプレイ(62)への通過のために、遠隔処理モジュール(72)および/または遠隔データリポジトリ(74)を使用して、入手かつ/もしくは処理され得る、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。ローカル処理およびデータモジュール(70)は、有線または無線通信リンク等を介して、遠隔モジュール(72、74)が、相互に動作可能に結合され、ローカル処理およびデータモジュール(70)へのリソースとして利用可能であるように、これらの遠隔処理モジュール(72)および遠隔データリポジトリ(74)に動作可能に結合(76、78)されてもよい。
一実施形態では、遠隔処理モジュール(72)は、データおよび/または画像情報を分析および処理するように構成される、1つ以上の比較的に高性能なプロセッサまたはコントローラを備えてもよい。一実施形態では、遠隔データリポジトリ(74)は、比較的に大規模なデジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。一実施形態では、全てのデータは、記憶されてもよく、全ての算出は、ローカル処理およびデータモジュール内で行われ、任意の遠隔モジュールから完全に自律的使用を可能にしてもよい。
ここで図3を参照すると、概略図は、例えば、ユーザの頭部(120)に結合される頭部搭載型コンポーネント(58)およびユーザのベルト(308)に結合されるローカル処理およびデータモジュール(70)内に常駐し得る、クラウドコンピューティングアセット(46)とローカル処理アセットとの間の協調を図示する。したがって、コンポーネント70はまた、図3に示されるように、「ベルトパック」70とも称され得る。一実施形態では、1つ以上のサーバシステム(110)等のクラウド(46)アセットは、有線または無線ネットワーキング等を介して、(無線は、モバイル式のために好ましく、有線は、所望され得る、ある高帯域幅または高データ量転送のために好ましい)、直接、上記に記載されるように、ユーザの頭部(120)およびベルト(308)に結合されるプロセッサおよびメモリ構成等のローカルコンピューティングアセットの一方または両方(40、42)に動作可能に結合(115)される。ユーザにローカルのこれらのコンピューティングアセットは同様に、図8を参照して以下に議論される有線結合(68)等、有線および/または無線コネクティビティ構成(44)を介して、相互に動作可能に結合されてもよい。一実施形態では、ユーザの頭部(120)に搭載される低慣性および小型サブシステムを維持するために、ユーザとクラウド(46)との間の一次転送は、ベルト(308)に搭載されるサブシステムとクラウドとの間のリンクを介してもよく、頭部搭載型サブシステム(120)は、主に、例えば、パーソナルコンピューティング周辺コネクティビティ用途において現在採用されるような超広帯域(「UWB」)コネクティビティ等の無線コネクティビティを使用して、ベルトベースのサブシステム(308)にデータテザリングされる。
効率的ローカルおよび遠隔処理協調ならびに図2Aに示されるユーザインターフェースもしくはユーザディスプレイシステム(62)またはその変形例等のユーザのための適切なディスプレイデバイスを用いることで、ユーザの現在の実際または仮想場所に関する1つの世界の側面は、ユーザに転送もしくは「パス」され、効率的方式で更新され得る。言い換えると、世界のマップが、ユーザのARシステム上に部分的に常駐し、かつクラウドリソース内に部分的に常駐し得る記憶場所において、継続的に更新され得る。マップ(「パス可能世界モデル」とも称される)は、ラスタ画像、3−Dおよび2−D点、パラメータ情報、ならびに実世界についての他の情報を備える、大型データベースであってもよい。ますます多くのARユーザが、その実環境についての情報を継続的に捕捉するにつれて(例えば、カメラ、センサ、IMU等を通して)、マップは、ますます正確かつ完全となる。
上記に記載されるような構成を用いることで、クラウドコンピューティングリソース上に常駐し、そこから配信されることができる、1つの世界モデルが存在し、そのような世界は、リアルタイムビデオデータまたは同等物の回送を試みるために好ましい比較的に低帯域幅形態において、1人以上のユーザに「パス可能」となり得る。像の近くに立っている人(例えば、図1に示されるように)の拡張体験は、クラウドベースの世界モデルによって情報提供されてもよく、そのサブセットは、彼らおよび彼らのローカルディスプレイデバイスにパスされ、ビューを完成させてもよい。机上にあるパーソナルコンピュータと同程度に単純であり得る、遠隔ディスプレイデバイスに向かって着座している人が、その情報の同一セクションをクラウドから効率的にダウンロードし、それをそのディスプレイ上にレンダリングさせることもできる。実際、実際に像の近くに居る公園内に存在する1人の人物は、遠隔に位置する友人と公園内を散歩してもよく、友人は、仮想および拡張現実を通して参加する。本システムは、通りの場所、木々の場所、像の場所を把握する必要があるであろうが、クラウド上のその情報を用いることで、参加する友人は、クラウドから、シナリオの側面をダウンロードし、次いで、実際に公園内に居る人物に対してローカルな拡張現実に沿って歩行を開始することができる。
3次元(3−D)点が、環境から捕捉されてもよく、それらの画像または点を捕捉するカメラの姿勢(例えば、世界に対するベクトルおよび/または原位置情報)が、これらの点または画像が、本姿勢情報と「タグ付けされる」、もしくは関連付けられ得るように、決定されてもよい。次いで、第2のカメラによって捕捉された点は、第2のカメラの姿勢を決定するために利用されてもよい。言い換えると、第1のカメラからのタグ付けされた画像との比較に基づいて、第2のカメラを配向および/または位置特定することができる。次いで、本知識は、テクスチャを抽出する、マップを作成するため、および実世界の仮想コピーを作成するために利用されてもよい(その時点で、位置合わせされる2つのカメラが周囲に存在するため)。
したがって、基礎レベルでは、一実施形態では、人物装着型システムは、3−D点およびその点を生成した2−D画像の両方を捕捉するために利用されることができ、これらの点および画像は、クラウド記憶および処理リソースに送信されてもよい。それらはまた、内蔵姿勢情報とともにローカルにキャッシュされてもよい(すなわち、タグ付けされた画像をキャッシュする)。したがって、クラウドは、すぐ使える状態の(すなわち、利用可能なキャッシュ内において)タグ付けされた2−D画像(例えば、3−D姿勢とタグ付けされた)を3−D点とともに有し得る。ユーザが、動的なものを観察している場合、また、クラウドに、運動に関する付加的情報を送信してもよい(例えば、別の人物の顔を見ている場合、ユーザは、顔のテクスチャマップを撮影し、周囲世界がその他の点では基本的に静的であっても、それを最適化された周波数でプッシュすることができる)。オブジェクト認識装置およびパス可能世界モデルに関するさらなる情報は、「System and method for augmented and virtual reality」と題された米国特許公開第2014/0306866号(参照することによって本明細書にその全体として組み込まれる)とともに、Magic Leap, Inc.(Plantation, Florida)によって開発されたもの等の拡張および仮想現実システムに関連する、以下の付加的開示、すなわち、米国特許公開第2015/0178939号、米国特許公開第2015/0205126号、米国特許公開第2014/0267420号、米国特許公開第2015/0302652号、米国特許公開第2013/0117377号、および米国特許公開第2013/0128230号(それぞれ、参照することによってその全体として本明細書に組み込まれる)に見出され得る。
GPSおよび他の位置特定情報が、そのような処理のための入力として利用されてもよい。ユーザの頭部、トーテム、手のジェスチャ、触知デバイス等の非常に正確な位置特定が、適切な仮想コンテンツをユーザに表示するために、有利であり得る。
頭部搭載型デバイス(58)は、デバイスの装着者の眼の正面に位置付け可能なディスプレイを含んでもよい。ディスプレイは、ライトフィールドディスプレイを備えてもよい。ディスプレイは、複数の深度平面において画像を装着者に提示するように構成されてもよい。ディスプレイは、回折要素を伴う平面導波管を備えてもよい。本明細書に開示される実施形態のいずれかと併用可能なディスプレイ、頭部搭載型デバイス、および他のARコンポーネントの実施例は、米国特許公開第2015/0016777号に説明される。米国特許公開第2015/0016777号は、参照することによってその全体として本明細書に組み込まれる。
(電磁位置特定の実施例)
高精度位置特定を達成するための1つのアプローチは、ユーザのARヘッドセット、ベルトパック、および/または他の補助デバイス(例えば、トーテム、触知デバイス、ゲーム器具等)上に方略的に設置される、電磁センサと結合される電磁場(EM)の使用を伴い得る。電磁追跡システムは、典型的には、少なくとも、電磁場エミッタと、少なくとも1つの電磁場センサとを備える。電磁場エミッタは、ARヘッドセットの装着者の環境内の既知の空間(および/または時間的)分布を有する、電磁場を生成する。電磁場センサは、センサの場所において生成された電磁場を測定する。これらの測定および生成された電磁場の分布の知識に基づいて、エミッタに対する電磁場センサの姿勢(例えば、位置および/または配向)が、決定されることができる。故に、センサが取り付けられるオブジェクトの姿勢が、決定されることができる。
ここで図4を参照すると、電磁追跡システムの例示的システム図(例えば、Johnson & Johnson Corporationの子会社であるBiosense, Polhemus, Inc.(Colchester, Vermont)等の組織によって開発されたもの、Sixense Entertainment, Inc.(LosGatos, California)、および他の追跡装置製造企業によって製造されたもの等)が、図示される。1つ以上の実施形態では、電磁追跡システムは、既知の磁場を放出するように構成される、電磁場エミッタ402を備える。図4に示されるように、電磁場エミッタは、電力供給源(例えば、電流、バッテリ等)に結合され、電力をエミッタ402に提供してもよい。
1つ以上の実施形態では、電磁場エミッタ402は、磁場を生成する、いくつかのコイル(例えば、相互に垂直に位置付けられ、場をX、Y、およびZ方向に生成する、少なくとも3つのコイル)を備える。本磁場は、座標空間(例えば、X−Y−Zデカルト座標空間)を確立するために使用される。これは、システムが、既知の磁場と関連してセンサの位置(例えば、(X,Y,Z)位置)をマップすることを可能にし、センサの位置および/または配向を決定することに役立つ。1つ以上の実施形態では、電磁センサ404a、404b等が、1つ以上の実オブジェクトに取り付けられてもよい。電磁センサ404は、電流が放出される電磁場を通して誘発され得る、より小さいコイルを備えてもよい。概して、「センサ」コンポーネント(404)は、エミッタ(402)によって放出される磁場から流入する磁束を捕捉するように位置付けられる/配向される立方体または他の容器等の小型構造内にともに結合される、3つの異なるように配向される(例えば、相互に対して直交して配向される等)コイルのセット等の小型コイルまたはループを備えてもよく、これらのコイルを通して誘発される電流を比較することによって、かつ相互に対するコイルの相対的位置および配向を把握することによって、エミッタに対するセンサの相対的位置および配向が、計算され得る。
電磁追跡センサに動作可能に結合される、コイルおよび慣性測定ユニット(「IMU」)コンポーネントの挙動に関する1つ以上のパラメータが、電磁場エミッタが結合される座標系に対するセンサ(およびそれが取り付けられるオブジェクト)の位置および/または配向を検出するために、測定されてもよい。1つ以上の実施形態では、複数のセンサが、電磁エミッタと連動して使用され、座標空間内のセンサのそれぞれの位置および配向を検出してもよい。電磁追跡システムは、3つの方向(すなわち、X、Y、およびZ方向)において、さらに、2つまたは3つの配向角度において、位置を提供してもよい。1つ以上の実施形態では、IMUの測定は、コイルの測定と比較され、センサの位置および配向を決定してもよい。1つ以上の実施形態では、電磁(EM)データおよびIMUデータは両方とも、カメラ、深度センサ、および他のセンサ等の種々の他のデータ源とともに、位置および配向を決定するために組み合わせられてもよい。本情報は、コントローラ406に伝送されてもよい(例えば、無線通信、Bluetooth(登録商標)等)。1つ以上の実施形態では、姿勢(または位置および配向)は、従来のシステムにおいて比較的に高リフレッシュレートで報告されてもよい。従来、電磁場エミッタは、テーブル、手術台、壁、または天井等の比較的に安定した大型オブジェクトに結合され、1つ以上のセンサは、医療デバイス、ハンドヘルドゲームコンポーネント、または同等物等のより小型のオブジェクトに結合される。代替として、図6を参照して以下に説明されるように、電磁追跡システムの種々の特徴が、採用され、より安定したグローバル座標系に対する空間内を移動する2つのオブジェクト間の位置および/または配向における変化もしくはデルタが追跡され得る、構成を生成してもよい。言い換えると、構成は、図6に示されており、電磁追跡システムの変動が、利用され、頭部搭載型コンポーネントとハンドヘルドコンポーネントとの間の位置および配向デルタを追跡し得る一方、(例えば、ユーザにローカルの室内環境の)グローバル座標系に対する頭部の姿勢は、システムの頭部搭載型コンポーネントに結合され得る外向き捕捉カメラを使用して、同時位置特定およびマッピング(「SLAM」)技法等によって別様に決定される。
コントローラ406は、電磁場生成器402を制御してもよく、また、データを種々の電磁センサ404から捕捉してもよい。システムの種々のコンポーネントは、任意の電気機械的または無線/Bluetooth(登録商標)手段を通して相互に結合されてもよいことを理解されたい。コントローラ406はまた、既知の磁場および磁場に関連する座標空間に関するデータを備えてもよい。本情報は、次いで、既知の電磁場に対応する座標空間に関連してセンサの位置および配向を検出するために使用される。
電磁追跡システムの1つの利点は、最小限の待ち時間および高分解能を伴って非常に正確な追跡結果を生成することができることである。加えて、電磁追跡システムは、必ずしも、光学追跡装置に依拠せず、ユーザの視線内にないセンサ/オブジェクトは、容易に追跡され得る。
電磁場(「v」)の強度は、コイル送信機(例えば、電磁場エミッタ402)からの距離(「r」)の三次関数として低下することを理解されたい。したがって、アルゴリズムは、電磁場エミッタからの距離に基づいて、使用されてもよい。コントローラ406は、そのようなアルゴリズムを用いて、電磁場エミッタからの可変距離におけるセンサ/オブジェクトの位置および配向を決定するように構成されてもよい。センサが電磁エミッタから離れて移動するにつれて、電磁場の強度の急減を前提として、正確度、効率、および短待ち時間の観点から、最良結果が、より近い距離において達成され得る。典型的電磁追跡システムでは、電磁場エミッタは、電流(例えば、差込式電力供給源)によって給電され、電磁場エミッタから半径20フィート以内に位置するセンサを有する。センサと場エミッタとの間の半径が短いほど、AR用途を含む、多くの用途においてより望ましくあり得る。
ここで図5を参照すると、典型的電磁追跡システムの機能を説明する例示的フロー図が、簡単に説明される。502では、既知の電磁場が、放出される。1つ以上の実施形態では、磁場エミッタは、磁場を生成してもよく、各コイルは、電場を一方向(例えば、X、Y、またはZ)に生成させ得る。磁場は、恣意的波形を用いて生成されてもよい。1つ以上の実施形態では、軸のそれぞれに沿った磁場成分は、他の方向に沿った他の磁場成分と若干異なる周波数で発振してもよい。504では、電磁場に対応する座標空間が、決定され得る。例えば、図4の制御406は、電磁場に基づいて、エミッタの周囲の座標空間を自動的に決定してもよい。506では、センサ(既知のオブジェクトに取り付けられ得る)におけるコイルの挙動が、検出され得る。例えば、コイルにおいて誘発される電流が、計算されてもよい。他の実施形態では、コイルの回転または任意の他の定量化可能挙動が、追跡および測定されてもよい。508では、本挙動は、センサおよび/または既知のオブジェクトの位置または配向を検出するために使用されてもよい。例えば、コントローラ406は、センサにおけるコイルの挙動を種々の位置または配向に相関させる、マッピングテーブルを参考にしてもよい。これらの計算に基づいて、座標空間内の位置が、センサの配向とともに、決定されてもよい。
ARシステムのコンテキストでは、電磁追跡システムの1つ以上のコンポーネントは、モバイルコンポーネントの正確な追跡を促進するために、修正される必要があり得る。上記に記載されるように、ユーザの頭部の姿勢および配向の追跡は、多くのAR用途において望ましくあり得る。ユーザの頭部の姿勢および配向の正確な決定は、ARシステムが、正しい仮想コンテンツをユーザに表示することを可能にする。例えば、仮想場面は、実際の建物の背後に隠れているモンスタを含み得る。建物と関連したユーザの頭部の姿勢および配向に応じて、仮想モンスタのビューは、現実的AR体験が提供されるように修正される必要があり得る。または、トーテム、触知デバイス、もしくは仮想コンテンツと相互作用するある他の手段の位置および/または配向は、ARユーザがARシステムと相互作用することを可能にする際に重要であり得る。例えば、多くのゲーム用途では、ARシステムは、仮想コンテンツと関連した実オブジェクトの位置および配向を検出しなければならない。または、仮想インターフェースを表示するとき、トーテム、ユーザの手、触知デバイス、またはARシステムとの相互作用のために構成される任意の他の実オブジェクトの位置が、システムがコマンド等を理解するために、表示される仮想インターフェースと関連して把握されることができる。光学追跡および他の方法を含む、従来の位置特定方法は、典型的には、長待ち時間および低分解能問題に悩まされ、仮想コンテンツのレンダリングを多くの拡張現実用途において困難にする。
1つ以上の実施形態では、図4および5に関連して議論される、電磁追跡システムは、放出される電磁場に関連して1つ以上のオブジェクトの位置および配向を検出するようにARシステムに適合されてもよい。典型的電磁システムは、大型かつ嵩張る電磁エミッタ(例えば、図4における402)を有する傾向にあって、これは、頭部搭載型ARデバイスにとって問題となる。しかしながら、より小型の電磁エミッタ(例えば、ミリメートル範囲内)が、ARシステムのコンテキストにおいて既知の電磁場を放出するために使用されてもよい。
ここで図6を参照すると、電磁追跡システムは、ハンドヘルドコントローラ606の一部として組み込まれる電磁場エミッタ(602)とともに、示されるように、ARシステムとともに組み込まれてもよい。コントローラ606は、ARヘッドセット(またはベルトパック70)に対して独立して移動可能であることができる。例えば、ユーザは、コントローラ606をその手の中に保持することができる、またはコントローラは、ユーザの手または腕に搭載され得る(例えば、指輪もしくはブレスレットとして、またはユーザによって装着される手袋の一部として)。1つ以上の実施形態では、ハンドヘルドコントローラは、ゲームシナリオにおいて使用されるため、または豊かなユーザ体験をAR環境内で提供するため、もしくはユーザがARシステムと相互作用することを可能にするためのトーテムであってもよい(例えば、多自由度コントローラ)。他の実施形態では、ハンドヘルドコントローラは、触知デバイスであってもよい。さらに他の実施形態では、電磁場エミッタは、単に、ベルトパック70の一部として組み込まれてもよい。ハンドヘルドコントローラ606は、電磁場エミッタ(602)に給電する、バッテリ610または他の電力供給源を備えてもよい。電磁場エミッタ(602)はまた、他のコンポーネントに対する電磁場エミッタ(602)の位置および/または配向の決定を補助するように構成される、IMUコンポーネント650を備える、またはそれに結合されてもよいことを理解されたい。これは、電磁場エミッタ(602)およびセンサ(604)の両方がモバイル式である場合、特に有利であり得る。図6の実施形態に示されるように、ベルトパックではなく、ハンドヘルドコントローラ内に電磁場エミッタ602を設置することは、電磁場エミッタがベルトパックにおいてリソースを競合するのではなく、むしろ、ハンドヘルドコントローラ606においてその独自のバッテリ源を使用することを確実にすることに役立つ。さらに他の実施形態では、電磁場エミッタ(602)は、ARヘッドセット上に配置されることができ、センサ604は、コントローラ606またはベルトパック70上に配置されることができる。
1つ以上の実施形態では、電磁センサ604は、1つ以上のIMUまたは付加的磁束捕捉コイル(608)等、他の感知デバイスとともに、ユーザのヘッドセット上の1つ以上の場所に設置されてもよい。例えば、図6に示されるように、センサ(604、608)は、ヘッドセット(58)の片側または両側に設置されてもよい。これらのセンサは、非常に小型(故に、ある場合には、低感度であり得る)に加工されるため、複数のセンサを有することは、効率および精度を改良し得る。1つ以上の実施形態では、1つ以上のセンサはまた、ベルトパック70またはユーザの身体の任意の他の部分上に設置されてもよい。センサ(604、608)は、無線でまたはBluetooth(登録商標)を通してセンサ(およびそれが取り付けられるARヘッドセット)の姿勢および配向を決定する、コンピューティング装置と通信してもよい。1つ以上の実施形態では、コンピューティング装置は、ベルトパック70に常駐してもよい。他の実施形態では、コンピューティング装置は、ヘッドセット自体またはさらにハンドヘルドコントローラ606に常駐してもよい。コンピューティング装置は、ひいては、マッピングデータベース(例えば、パス可能世界モデル、座標空間等)を備え、姿勢を検出し、実オブジェクトおよび仮想オブジェクトの座標を決定してもよく、さらに、1つ以上の実施形態では、クラウドリソースおよびパス可能世界モデルに接続してもよい。
上記に説明されるように、従来の電磁エミッタは、ARデバイスにおいて使用するために嵩張りすぎ得る。したがって、電磁場エミッタは、従来のシステムと比較してより小型のコイルを使用して、コンパクトに加工されてもよい。しかしながら、電磁場の強度が場エミッタからの距離の三次関数として減少することを前提として、電磁センサ604と電磁場エミッタ(602)との間の半径が短いほど(例えば、約3〜3.5フィート)、図4に詳述されるもの等の従来のシステムと比較して、電力消費を低減させ得る。
本側面は、1つ以上の実施形態では、コントローラ606および電磁場エミッタ(602)に給電し得る、バッテリ610の寿命を延長させるために利用されてもよい。または、他の実施形態では、本側面は、電磁場エミッタ(602)において磁場を生成するコイルのサイズを縮小させるために利用されてもよい。しかしながら、同一の強度の磁場を得るために、電力は、増加される必要があり得る。これは、ハンドヘルドコントローラ606においてコンパクトにフィットし得る、コンパクトな電磁場エミッタユニット(602)を可能にする。
いくつかの他の変更が、ARデバイスのために電磁追跡システムを使用するときに行われてもよい。本姿勢報告レートは、非常に良好であるが、ARシステムは、さらにより効率的な姿勢報告レートを要求してもよい。この目的を達成するために、IMUベースの姿勢追跡が、(加えて、または代替として)センサ内で使用されてもよい。有利には、IMUは、姿勢検出プロセスの効率を増加させるために、可能な限り安定したままでなければならない。IMUは、最大50〜100ミリ秒、安定したままであるように加工されてもよい。いくつかの実施形態は、姿勢更新が10〜20Hzのレートで報告されることを可能にし得る、外部姿勢推定器モジュールを利用してもよいことを理解されたい(例えば、IMUは、経時的にドリフトし得る)。IMUを合理的レートに安定して保つことによって、姿勢更新レートは、10〜20Hzまで著しく低下され得る(従来のシステムにおけるより高い周波数と比較して)。
電磁追跡システムが、例えば、10%デューティサイクルにおいて起動され得る場合(例えば、100ミリ秒毎にのみ接地にピングする)、これは、ARシステムにおける電力を節約する別の方法となるであろう。これは、電磁追跡システムが、100ミリ秒毎に10ミリ秒にわたってウェイクアップし、姿勢推定値を生成することを意味するであろう。これは、直接、電力消費節約につながり、ひいては、ARデバイスのサイズ、バッテリ寿命、およびコストに影響を及ぼし得る。
1つ以上の実施形態では、デューティサイクルの本低減は、1つのみではなく、2つのハンドヘルドコントローラ(図示せず)を提供することによって方略的に利用されてもよい。例えば、ユーザは、2つのトーテム等を要求する、ゲームをプレーしてもよい。または、マルチユーザゲームでは、2人のユーザが、その独自のトーテム/ハンドヘルドコントローラを有し、ゲームをプレーしてもよい。1つではなく、2つのコントローラ(例えば、手毎の対称コントローラ)が、使用されるとき、コントローラは、オフセットデューティサイクルで動作してもよい。同一概念はまた、例えば、マルチプレーヤゲームをプレーしている2人の異なるユーザによって利用されるコントローラにも適用されてもよい。
ここで図7を参照すると、ARデバイスのコンテキストにおける電磁追跡システムを説明する例示的フロー図が、説明される。702では、ポータブル(例えば、ハンドヘルド)コントローラが、磁場を放出する。704では、電磁センサ(ヘッドセット、ベルトパック等上に設置される)が、磁場を検出する。706では、ヘッドセット/ベルトの姿勢(例えば、位置または配向)は、センサにおけるコイル/IMUの挙動に基づいて決定される。708では、姿勢情報が、コンピューティング装置(例えば、ベルトパックまたはヘッドセットにおける)に伝達される。710では、随意に、マッピングデータベース(例えば、パス可能世界モデル)は、実世界座標(例えば、ヘッドセット/ベルトの姿勢に関して決定される)と仮想世界座標を相関させるために調べられてもよい。712では、仮想コンテンツは、ARヘッドセットにおいてユーザに送達され、ユーザに表示されてもよい(例えば、本明細書に説明されるライトフィールドディスプレイを介して)。上記に説明されるフロー図は、例証目的にすぎず、限定として読み取られるべきではないことを理解されたい。
有利には、図6に概略されるものに類似する電磁追跡システムの使用は、姿勢追跡を可能にする(例えば、頭部位置および配向、トーテムおよび他のコントローラの位置ならびに配向)。これは、ARシステムが、光学追跡技法と比較して、より高い正確度およびより短い待ち時間を伴って、仮想コンテンツを投影することを可能にする(少なくとも部分的に、決定された姿勢に基づいて)。
図8を参照すると、多くの感知コンポーネントを特徴とする、システム構成が、図示される。頭部搭載型ウェアラブルコンポーネント(58)は、ここでは、図9A−9Fを参照して以下に説明されるように、制御および急速解除モジュール(86)もまた特徴とする、物理的マルチコア導線を使用して、ベルトパック等のローカル処理およびデータモジュール(70)に動作可能に結合(68)されて示される。ローカル処理およびデータモジュール(70)は、ここでは、低電力Bluetooth(登録商標)等の無線接続によって、ハンドヘルドコンポーネント(606)に動作可能に結合(100)される。ハンドヘルドコンポーネント(606)はまた、低電力Bluetooth(登録商標)等の無線接続等によって、直接、頭部搭載型ウェアラブルコンポーネント(58)に動作可能に結合(94)されてもよい。概して、IMUデータが、種々のコンポーネントの座標姿勢検出に通過される場合、数百または数千サイクル/秒もしくはより高い範囲内等、高周波数接続が、望ましい。センサ(604)および送信機(602)ペアリング等による電磁位置特定感知のためには、数十サイクル/秒が、適正であり得る。また、壁(8)等のユーザの周囲の実世界内の固定オブジェクトを表す、グローバル座標系(10)も示される。
クラウドリソース(46)はまた、それぞれ、ローカル処理およびデータモジュール(70)に、頭部搭載型ウェアラブルコンポーネント(58)に、壁(8)またはグローバル座標系(10)に対して固定される他のアイテムに結合され得るリソースに動作可能に結合(42、40、88、90)されてもよい。壁(8)に結合される、またはグローバル座標系(10)に対して既知の位置および/もしくは配向を有する、リソースは、無線送受信機(114)、電磁エミッタ(602)および/または受信機(604)、赤外線LEDビーコン等の所与のタイプの放射線を放出または反射させるように構成されるビーコンもしくは反射体(112)、セルラーネットワーク送受信機(110)、レーダエミッタまたは検出器(108)、LIDARエミッタまたは検出器(106)、GPS送受信機(118)、既知の検出可能パターン(122)を有するポスタまたはマーカ、およびカメラ(124)を含んでもよい。
頭部搭載型ウェアラブルコンポーネント(58)は、赤外線カメラ(124)のための赤外線エミッタ(130)等のカメラ(124)検出器を補助するように構成される光エミッタ(130)に加え、図示されるような類似コンポーネントを特徴とする。頭部搭載型ウェアラブルコンポーネント(58)はまた、1つ以上の歪みゲージ(116)を特徴とし、これは、頭部搭載型ウェアラブルコンポーネント(58)のフレームまたは機械的プラットフォームに固定して結合され、電磁受信機センサ(604)またはディスプレイ要素(62)等のコンポーネント間のそのようなプラットフォームの偏向を決定するように構成されてもよく、図8に描写される眼鏡様プラットフォーム上の突出部の上方の部分等のプラットフォームの薄い部分等においてプラットフォームの屈曲が生じた場合、それを理解することが重要であり得る。
頭部搭載型ウェアラブルコンポーネント(58)はまた、プロセッサ(128)と、1つ以上のIMU(102)とを特徴とする。コンポーネントはそれぞれ、好ましくは、プロセッサ(128)に動作可能に結合される。ハンドヘルドコンポーネント(606)およびローカル処理およびデータモジュール(70)は、類似コンポーネントを特徴とするように図示される。図8に示されるように、そのように多くの感知およびコネクティビティ手段を用いることで、そのようなシステムは、重く、電力を大量に消費し、大型で、かつ比較的に高価である可能性が高い。しかしながら、例証目的のために、そのようなシステムは、非常に高レベルのコネクティビティ、システムコンポーネント統合、および位置/配向追跡を提供するために利用されてもよい。例えば、そのような構成を用いることで、種々の主要モバイルコンポーネント(58、70、606)は、Wi−Fi、GPS、またはセルラー信号三角測量を使用して、グローバル座標系に対する位置の観点から位置特定されてもよく、ビーコン、電磁追跡(本明細書に説明されるように)、レーダ、およびLIDIRシステムはさらに、場所および/または配向情報ならびにフィードバックを提供してもよい。マーカおよびカメラもまた、相対および絶対位置ならびに配向に関するさらなる情報を提供するために利用されてもよい。例えば、頭部搭載型ウェアラブルコンポーネント(58)に結合されて示されるもの等の種々のカメラコンポーネント(124)は、コンポーネント(58)が他のコンポーネントに対して配向される場所およびその状態を決定するために、同時位置特定およびマッピングプロトコル、すなわち、「SLAM」において利用され得る、データを捕捉するために利用されてもよい。
頭部搭載型ウェアラブルコンポーネント(58)およびそのセンサの他の特徴および実施形態は、2017年8月22日に出願され、「AUGUMENTED REALITY DISPLAY DEVICE WITH DEEP LEARNING SENSORS」と題された米国特許出願第15/683,664号(その全内容は、参照することによって本明細書に組み込まれる)に説明される。
本明細書に議論されるように、頭部搭載型ウェアラブルAR/VRシステム(58)は、3次元空間内のシステムの場所および/または配向を決定するための種々のセンサを含むことができる。例えば、磁気センサおよび光学センサは、本目的のために使用されることができる。好適な磁気センサは、上記に議論される電磁センサ(604)等の磁力計を含んでもよく、これは、エミッタ(602)からの磁場の検出に基づいて、AR/VRシステム(58)の場所および/または配向を決定することに役立つために使用されることができる。別の好適な磁気センサは、IMU(102)に内蔵された磁力計であって、これは、地球の磁場の検出に基づいて、AR/VRシステム(58)の場所および/または配向を決定することに役立ち得る。一方、好適な光学センサは、例えば、外向きに面した可視光または赤外線カメラを含むことができ、これも同様に、AR/VRシステム(58)および他のオブジェクトの両方の場所および/または配向を決定することに役立てるために使用されることができる。
ウェアラブルAR/VRシステム(58)が、可能性として、異なるタイプの複数のセンサを使用して、システム自体または別のオブジェクトの位置および/または配向を検出するとき、種々のセンサが共通整合方向を共有することが有利であり得る(すなわち、共通整合方向ではない場合、整合方向におけるオフセットが、把握される)。これは、センサのうちの1つによって行われる測定が、一貫した様式において、センサのうちの別の1つによって行われる測定と組み合わせられる、または比較されることを可能にする。しかしながら、製造公差または他の要因が、種々のセンサ間の未知の不整合をもたらし、したがって、それらのセンサからの測定が、AR/VRシステム(58)自体または別のオブジェクトの位置および/または配向を測定するために使用されるとき、位置合わせ誤差を生じさせ得る。AR/VRシステム(58)の種々の磁気および/または光学センサ間の不整合は、本開示に説明される整合較正システムおよび技法を使用することによって、補償されることができる。
図9は、頭部搭載型ウェアラブルAR/VRシステム(58)内の磁力計の整合を較正するためのシステム(900)のブロック図である。較正システム(900)は、磁場生成ユニット(940)を含み、大きさおよび/または方向において好適に均一である磁場を頭部搭載型ウェアラブルAR/VRシステム(58)およびその統合された磁力計(950a、950b)の周囲に生産する。本均一磁場は、磁場に暴露されるとき、磁力計(950a、950b)のそれぞれから出力される大きさおよび/または方向測定値間に存在し得る、任意の差異を測定または別様に特性評価する目的のために使用されることができる。磁場生成ユニット(940)の実施例は、図10A−10Cに図示される。較正システム(900)はまた、コントローラ(910)と、波形生成器(920)と、磁場生成ユニット(940)と併用され、整合のために較正されている異なるタイプの磁力計(950a、950b)に基づいて、異なるタイプの磁場を生産し得る、電気駆動部(930)とを含むことができる。
図10Aは、図9に示される磁場生成ユニット(940)の第1の例示的実施形態(940a)を図示する。図示される実施形態では、磁場生成ユニット(940a)は、第1の伝導性ループ(302)と、第2の伝導性ループ(304)とを含む。いくつかの実施形態では、伝導性ループ(302、304)はそれぞれ、複数の巻数のワイヤのコイルであってもよい。伝導性ループ(302、304)は、円形、正方形である、または他の形状を有してもよい。いくつかの実施形態では、2つの伝導性ループ(302、304)は、同一サイズおよび形状を有するが、これは、必ずしも、要求されない。
図10Aは、平行平面に配向され、共通軸に沿って離間される、第1および第2の伝導性ループ(302、304)を示す。具体的には、伝導性ループ(302、304)はそれぞれ、x−y平面と平行な平面に配向され、垂直z−軸上に心合されて示される。伝導性ループ(302、304)は、フレームによって、相互に対して定位置に支持されてもよい。フレームは、固定されてもよい、または伝導性ループをAR/VRシステム(58)に対して異なる配向に再配向するように移動可能であってもよい。代替として、伝導性ループは、AR/VRシステム(58)に直接搭載される、または別様にそれと統合されてもよい。そのような構成は、磁力計(950a、950b)のより定期的較正を可能にし得る。
図示される実施形態では、伝導性ループ(302、304)は両方とも、共通半径Rを伴う円形であって、それらは、伝導性ループの半径Rに対応する距離だけz−軸に沿って分離される。(z−軸に沿った分離距離は、例えば、第1の伝導性ループ(302)上の任意の所与の点から第2の伝導性ループ(304)上の同様の点まで測定されてもよい。)各伝導性ループ(302、304)は、同一巻数を伴うワイヤのコイルであることができる。図10Aに示される構成は、Helmholtzコイル構成である。
伝導性ループ(302、304)は、第1の伝導性ループ(302)を通して通過する電流Iがまた、同一方向において、第2の伝導性ループ(304)も通して通過するような様式において、電気的に直列に接続される。例えば、伝導性ループ(302、304)がそれぞれ、ワイヤのコイルである場合、両コイルは、電流Iが、一貫した方向において、両伝導性ループ(302、304)の周囲を流動するように、同一方向に巻着されることができる。
電流Iは、電気駆動部(930)によって提供されることができる。電気駆動部(930)は、例えば、増幅器を含むことができ、これは、波形生成器(920)によって生産された電気信号を増幅させる。波形生成器(920)は、コントローラ(910)からの制御入力に基づいて、種々の電気波形を生産可能なものであることができる。例えば、電気波形は、直流電流(DC)電気波形(すなわち、一定波形)と、種々の交流電流(AC)波形(すなわち、周期的かどうかにかかわらず、時変波形)とを含むことができる。これらの異なる電気波形はそれぞれ、磁場を磁場生成ユニット(940)内に生産するために使用される、較正波形であることができ、これは、整合のために較正されている磁力計(950a、950b)のうちの1つの較正のために非常に好適である。コントローラ(910)は、処理デバイスであることができ、これは、較正ルーチン、較正波形等を記憶するためのメモリを含む。コントローラ(910)はまた、コマンドをユーザまたは頭部搭載型ウェアラブルAR/VRシステム(58)等のデバイスから受信し、較正ルーチンを行うためのインターフェースを含むことができる。コントローラ(910)はまた、ウェアラブルAR/VRシステム(58)と通信し、較正されるべき具体的磁力計モデルを決定してもよい。本モデル情報に基づいて、コントローラ(910)は、1つ以上の電気較正波形を選択し、磁力計のそれぞれを較正しながら使用することができる。
2つのみの伝導性ループ(302、304)が、図10Aに示される実施形態では図示されるが、他の実施形態は、異なる数の伝導性ループを含んでもよい。例えば、図10A−10Cに示されるHelmholtzコイル構成とは対照的に、伝導性ループは、代替として、Merrittコイル構成またはRubenコイル構成において配列されることができる。これらの構成はそれぞれ、正方形形状の伝導性ループを採用してもよい。加えて、これらの構成は、2つを上回る伝導性コイルを含んでもよい。Merrittコイル構成では、3つまたは4つの正方形形状の伝導性ループが、提供されることができ、各伝導性ループは、正方形形状のコイルの辺の長さの半分に対応する距離だけ軸に沿って隣接するループから分離される。Rubenコイル構成では、第5の伝導性ループが、追加されることができ、異なる分離距離が、ループ間で使用されることができる。伝導性ループ間の間隔および/または各伝導性ループに提供されるワイヤの巻数の比率は、当技術分野において公知の数式を使用して決定されることができる。異なるコイル構成が、磁場生成ユニット(940)の異なる実施形態において使用されることができるが、一般に、伝導性ループの構成は、その均一性が目前の用途のために十分である磁場を生成するように選択される。特定の用途のために、磁場生成ユニット(940)のある実施形態が提供することができるものより均一な磁場が必要とされる場合、伝導性ループのサイズの増加は、改良された磁場均一性を所与の体積の空間内にもたらし得る。
図10Bは、図10Aに示される伝導性ループ構成によって生産された磁場線の断面略図である。図面は、伝導性ループ(302、304)毎の上部区分(ドットを伴う)および下部区分(「x」を伴う)を示す。これらのマーキングは、伝導性ループの上部区分では、ページから退出し、伝導性ループの下部区分では、ページの中に進入するような様式において、電流Iが第1の伝導性ループ(302)および第2の伝導性ループ(304)の両方を通して通過することを図示する。これは、左/右磁場をループの内側の空間(306)の体積内に生産する。空間(306)の試験体積内の磁場は、大きさおよび方向の両方において均一であって、したがって、その空間内に位置するAR/VRシステム(56)の磁力計(950a、950b)を使用して、一貫した較正測定を実施することを可能にする。
図10Aおよび10Bに示される伝導性ループの配列は、単一方向における磁場を試験体積(306)内に生産する。しかしながら、AR/VRシステム(58)内の磁力計(950a、950b)は、複数の方向(例えば、3つの直交方向)における磁場を測定可能な多軸センサであってもよい。したがって、いくつかの実施形態では、磁場生成ユニット(940)は、多軸センサの較正を促進するように、均一磁場を1つを上回る方向に生産するように設計されてもよい。
図10Cは、図9に示される磁場生成ユニット(940)の例示的多軸実施形態(940b)を図示する。多軸実施形態(940b)は、平行平面に配向され、共通の第1の軸(例えば、x−軸)に沿って離間される、第1の対(310)の伝導性ループを含む。また、同様に、平行平面に配向され、共通の第2の軸(例えば、y−軸)に沿って離間される、第2の対(312)の伝導性ループと、平行平面に配向され、共通の第3の軸(例えば、z−軸)に沿って離間される、第3の対(314)の伝導性ループとを含む。第1の軸、第2の軸、および第3の軸は全て、相互に直交する。各対のループ(310、312、314)は、均一磁場を対のループの縦軸に沿った、他の対のループによって生産された磁場に直交する、方向に生成する。図10Cは、Helmholtzコイル構成において配列される各対の伝導性ループを示し、円形ループは、ループの半径に対応する距離だけ離間されるが、多軸磁場生成ユニットの他の実施形態は、他の構成の伝導性ループを使用し、均一磁場を生産してもよい。図示されるように、磁場生成ユニット(940)の多軸実施形態(940b)はまた、フレームを含み、種々の伝導性ループを相互に対して定位置に支持してもよい。
図11は、第1の伝導性ループ(302)および第2の伝導性ループ(304)によって生産された均一磁場の試験体積(306)内に位置付けられる、頭部搭載型ウェアラブルAR/VRシステム(58)の略図である。いくつかの実施形態では、試験体積(306)は、少なくとも約30cmの辺を伴う立方体空間であるが、他のサイズが、他の実施形態では使用されてもよい。図示されるAR/VRシステム(58)は、2つの磁力計を含む。本実施形態では、第1の磁力計は、本明細書に説明される電磁センサ(604)である。すでに議論されたように、電磁センサ(604)は、1つ以上のコイルを含んでもよく、これは、コイルを通して通過する磁場に応答して、電流を誘導生成する。電流は、磁場の変化に応答してのみ誘発される。電磁センサ(604)は、誘発される電流に基づいて、磁場の強度および/または配向を測定するため、本タイプの磁力計は、変化する磁場(時間変動または空間変動にかかわらず)を測定する。磁場の変化が、したがって、磁場生成ユニット(940)を使用して、本タイプの磁力計を較正するために必要とされる。図11における図示されるAR/VRシステム(58)はまた、IMU(102)を含む。IMU(102)は、地球の局所磁場等の静的磁場を測定可能なDC磁力計を含むことができる。例えば、IMU(102)内の磁力計は、ホール効果磁力計であってもよい。静的磁場が、したがって、磁場生成ユニット(940)を使用して本タイプの磁力計を較正するために必要とされ得る。他のタイプの磁力計は、これらの磁力計の較正が他の特性を伴う磁場から利点を享受し得るように、異なる性質を有してもよい。較正システム(900)は、有利には、種々の性質を伴う磁場を生産し、種々のタイプの磁力計に好適にすることができる。
搭載部が、ウェアラブルAR/VRシステム(58)を磁場生成ユニット(940)の試験体積(306)内に支持するために提供されることができる。いくつかの実施形態では、搭載部は、固定されてもよい一方、他の実施形態では、搭載部は、ウェアラブルAR/VRシステム(58)を試験体積(306)内に再位置付けするように、移動可能であってもよい(例えば、1つ以上のモータ、アクチュエータ等を使用して、電気機械的に移動可能である)。例えば、較正動作は、磁力計の第1の測定軸が、概して、磁場生成ユニット(940)によって生産された磁場と整合されるように位置付けられる、ウェアラブルAR/VRシステム(58)を用いて実施されることができる。次いで、ウェアラブルAR/VRシステム(58)は、磁力計の第2の測定軸が、概して、磁場と整合されるように再位置付けされることができ、第2の較正動作が、実施されることができる。本プロシージャは、磁力計の測定軸毎に繰り返されることができる。このように、多軸磁力計は、単一軸磁場生成ユニット(940)を用いてさえ、較正されることができる。そのような実施形態では、移動可能な搭載部の配向は、コントローラ(910)によって制御されることができる。類似プロシージャは、代わりに、ウェアラブルAR/VRシステム(58)に対して磁場生成ユニット(940)の配向を移動させる(例えば、1つ以上のモータ、アクチュエータ等使用して、移動可能なフレームを用いて)ことによって採用されることができる。
図12は、ウェアラブルAR/VRシステム(58)内の2つの異なるタイプの磁力計の整合を較正するための例示的方法(1200)のフローチャートである。方法(1200)は、ブロック1210から開始し、コントローラ(910)が、コマンドを波形生成器(920)に発行し、第1の電気較正波形を生産する。第1の電気較正波形の性質(例えば、大きさ、周波数等)は、較正されるべき第1のタイプの磁力計の検出性質に基づいて選択されてもよい。例えば、第1の電気較正波形は、周期的AC電気波形であってもよく、選択された周波数は、その整合が較正されている磁力計に調整される。ブロック1220では、電気駆動部(930)は、第1の電気較正波形に対応する電流Iを用いて、磁場生成ユニット(940)の伝導性ループを励起する。第1の電気較正波形は、AC波形であるため、時変AC磁場は、磁場生成ユニット(940)によって生産される。ブロック1230では、伝導性ループが、励起される間、電磁センサ(604)等の第1の磁力計が、AC磁場によって電磁センサ(604)内に誘発される1つ以上の電流に基づいて生成された磁場を測定する。測定値は、磁場生成ユニット(940)によって生産された磁場の強度および/または方向であることができる。測定値は、次いで、AR/VRシステム(58)のメモリ内に記憶されることができる。
方法(1200)のブロック1240では、コントローラ(910)が、コマンドを波形生成器(920)に発行し、第2の電気較正波形を生産する。第2の電気較正波形の性質(例えば、大きさ、周波数等)が、較正されるべき第2のタイプの磁力計の検出性質に基づいて選択されてもよい。例えば、第2の電気較正波形は、DC電気波形であってもよい。ブロック1250では、電気駆動部(930)が、第2の電気較正波形に対応する電流を用いて、磁場生成ユニット(940)の伝導性ループを励起する。第2の電気較正波形は、DC波形であるため、同様に、DC磁場を生産する。ブロック1260では、伝導性ループが、励起される間、IMU(102)等の第2の磁力計が、生成された磁場を測定する。測定値は、磁場生成ユニット(940)によって生産された磁場の強度および/または方向であることができる。これらの測定値は同様に、AR/VRシステム(58)のメモリ内に記憶されることができる。いくつかの実施形態では、IMU(102)または別のデバイスが、第2の電気較正波形を使用して生産された較正磁場の不在下で測定を実施することによって、地球の局所磁場を決定するために使用されることができる。地球の局所磁場は、次いで、較正磁場のIMUの測定値から除去されることができる(例えば、ベクトル減算によって)。代替として、地球の局所磁場の測定は、IMU(102)または別個のデバイスによって行われることができ、磁場生成ユニット(940)は、IMU(102)が第2の電気較正波形を使用して生産された較正磁場を測定する間、地球の局所磁場を相殺するために使用されることができる(例えば、大きさが等しく方向が反対の磁場を生産することによって)。
すでに簡単に議論されたように、第1および第2の電気較正波形は、第1のタイプの磁力計および異なる第2のタイプの磁力計によって直接定可能な個別の磁場を生産するように、コントローラ(910)によって選択されることができる。異なるタイプの磁力計は、異なる物理的原理に基づいて機能するため、異なる磁力計は、明確に異なる性質を伴う異なるタイプの磁場を検出し得る、または異なるタイプの磁場は、異なる磁力計により良好に好適であり得る。第1の較正波形は、第2の較正波形と明確に異なり得、第1のタイプの磁力計によって測定可能であるが、第2の磁力計によって測定不可能である、または第2のタイプの磁力計によってより第1のタイプの磁力計によってより容易に測定可能である、1つ以上の性質(例えば、大きさ、周波数等)を有し得る。同様に、第2の較正波形は、第1の較正波形と明確に異なり得、第2のタイプの磁力計によって測定可能であるが、第1のタイプの磁力計によって測定不可能である、または第1のタイプの磁力計によってより第2のタイプの磁力計によってより容易に測定可能である、1つ以上の性質(例えば、大きさ、周波数等)を有し得る。
磁力計(102、604)を較正するために使用される、第1および第2の電気較正波形は、異なる性質を有し得るが、それにもかかわらず、それらは同一磁場生成ユニット(940)によって、同一配向を伴って生成される。故に、第1および第2の電気較正波形のそれぞれを使用して生産された磁場の整合方向は、相互に物理的に位置合わせされる。第1および第2の磁力計(102、604)によって生産された測定値は、したがって、1つ以上の較正/補正値を生産するために使用されることができ、これは、2つの磁力計の整合配向における任意の差異を特性評価し得る。実際、1つ以上のそのような値の生産は、較正方法(1200)のブロック1270において生じるものである。
ブロック1270では、第1および第2の磁力計(102、604)から取得される測定値が、1つ以上の較正/補正値を生成するために比較される(例えば、1つ以上の数学演算を使用して)。本計算は、例えば、ウェアラブルAR/VRシステム(58)によって実施されることができる。実施例として、第1および第2の磁力計(102、604)は両方とも、個別の印加される磁場の方向の測定を生成してもよい。方向測定が異なる場合、方向測定値間のオフセット角度(1つ以上の次元において)が、決定されることができる。本オフセット角度は、次いで、1つ以上の較正値を規定するために使用されることができ、これは、ウェアラブルAR/VRシステム(58)を使用中、磁力計(102、604)のいずれかまたは両方によって生産された測定値に適用されてもよい。例えば、磁力計のうちの1つによって生産された測定値は全て、データがARシステムによって使用または別様に作用される前に、オフセット角度または他の較正/補正値に基づいて調節されてもよい。
較正方法(1200)は、磁力計(102、604)の測定軸毎に繰り返されることができる。すでに議論されたように、これは、磁力計(102、604)の測定軸毎に、ウェアラブルAR/VRシステム(58)または磁場生成ユニット(940)のいずれかを他方に対して再配向することによって遂行されることができる。代替として、磁場生成ユニット(940)の多軸実施形態(940b)が、使用される場合、較正方法は、単に、伝導性ループ対(310、312、314)毎に実施されることができる。同一電気較正波形が、測定軸毎に使用されることができる、または異なる波形が、異なる測定軸のために使用されることができる。さらに、各磁力計または磁力計の各測定軸の較正のために生成された磁場が、異なる時間に印加されることができるが、また、並行して、または部分的重複時間において、磁場を印加することも可能性として考えられ得る。例えば、1つの磁力計が、AC磁場のみを検出し、他方の磁力計が、DC磁場のみを検出する場合、較正プロセスを加速させるように、AC磁場およびDC磁場の両方を同時に印加することが可能性として考えられ得る。
すでに議論されたように、いくつかの実施形態では、磁気および光学センサの組み合わせが、ウェアラブルAR/VRシステム(58)の位置および/または配向を決定するために使用される。図13−15は、したがって、磁気センサおよび光学センサの両方の整合方向を較正するためのシステムおよび方法を図示する。
図13は、頭部搭載型ウェアラブルAR/VRシステム(58)内の磁力計および光学センサの整合を較正するためのシステム(1300)のブロック図である。図9に示される較正システム(900)のように、図13に示される較正システム(1300)は、磁場生成ユニット(1340)を含み、均一磁場を頭部搭載型ウェアラブルAR/VRシステム(58)およびその統合された磁力計(950)の周囲に生産する。較正システム(1300)はまた、コントローラ(910)と、波形生成器(920)と、電気駆動部(930)とを含むことができる。これらのコンポーネントは全て、上記に説明されるように機能することができる。しかしながら、磁場生成ユニット(1340)はまた、1つ以上の光学基準マーカを含むことができる。光学基準マーカは、磁場生成ユニット(1340)によって生産された磁場に対して較正された位置および/または配向を有することができる。したがって、磁気センサ(950)および光学センサ(1360)は両方とも、本システム(1300)を使用して較正されることができる。
図14は、光学基準マーカ(1340)を用いて磁場生成ユニットの例示的実施形態内に位置付けられる、頭部搭載型ウェアラブルAR/VRシステム(58)の略図である。図示されるように、磁場生成ユニット(1340)は、第1の伝導性ループ(302)と、第2の伝導性ループ(304)とを含むことができる。これらの伝導性ループ(302、304)は、1つ以上の磁場を印加するために使用されることができ、これは、次いで、すでに本明細書で議論されたように、ウェアラブルAR/VRシステム(58)と統合された磁力計(102、604)によって測定されることができる。
しかし、磁場生成ユニット(1340)はまた、1つ以上の光学基準マーカ(316)を含むことができる。光学基準マーカ(316)は、カメラ等の光学センサによって認識可能な任意のマークであってもよい。光学基準マーカ(316)は、市松模様またはArucoマーカ等の平坦特徴を有してもよい、もしくはテクスチャ化または別様に3次元の特徴を有してもよい。光学基準マーカ(316)は、静的または動的(例えば、電子ディスプレイによって提示されるマーカを変化させる等)であってもよい。いくつかの実施形態では、光学基準マーカ(316)は、基板材料の中にエッチングされてもよい、もしくはコーティングまたは陽極酸化を用いて形成されてもよい。
光学基準マーカ(316)は、フレームまたは他の支持構造によって支持されることができる、または基準マーカ(316)は、伝導性ループ(302、304)自体に搭載されることができる。しかしながら、いずれの場合も、基準マーカ(316)の空間関係(例えば、場所および/または配向)は、伝導性ループ(302、304)の軸に対して位置合わせされることができる。基準マーカ(316)の場所および/または配向は、ウェアラブルAR/VRシステム(58)と統合された1つ以上の光学センサ(1360)によって検出および測定されることができる。いくつかの実施形態では、光学センサ(1360)は、赤外線または可視光カメラ(124)であってもよい。図14に図示される構成は、磁気センサ(102、604)が光学センサ(124)と既知の方法で整合されることを確実にする機会を提供する。
図15は、ウェアラブルAR/VRシステム(58)内の磁気センサおよび光学センサの整合を較正するための例示的方法(1500)のフローチャートである。方法(1500)は、ブロック1510から開始し、コントローラ(910)が、コマンドを波形生成器(920)に発行し、電気較正波形を生産する。ブロック1520では、電気駆動部(930)が、電気較正波形に対応する電流Iを用いて、磁場生成ユニット(1340)の伝導性ループ(302、304)を励起する。ブロック1530では、伝導性ループが、励起される間、磁力計(例えば、電磁センサ(604)またはIMU(102))が、磁場生成ユニット(1340)によって生産された磁場の大きさおよび/または方向を測定する。測定値は、次いで、AR/VRシステム(58)のメモリ内に記憶されことができる。
ブロック1540では、ウェアラブルAR/VRシステム(58)内の光学センサ(例えば、カメラ(124))のうちの1つ以上のものが、光学基準マーカ(316)の位置および/または配向の測定を実施する。本情報は、カメラ付帯較正アルゴリズムを使用して各光学センサの整合方向を決定するために使用されることができる。これらの測定値は、次いで、同様に、AR/VRシステム(58)のメモリ内に記憶されることができる。光学センサによる測定は、磁力計によって実施される磁場測定の前、間、または後に実施されることができる。
次いで、ブロック1550では、磁力計(例えば、102、604)から取得される測定値が、1つ以上の較正補正値を生成するために、光学センサ(1360)から取得されるものと比較されることができる(例えば、1つ以上の数学演算を使用して)。本計算は、例えば、ウェアラブルAR/VRシステム(58)によって実施されることができる。実施例として、磁力計(例えば、102、604)は、印加される磁場の方向の測定値を生成してもよい。これらの測定値は、磁力計の整合方向のインジケーションに対応し得る。一方、光学センサ(1360)は、光学基準マーカ(316)に対するその検出された空間関係に基づいて、その整合方向の測定値を生成してもよい。方向測定が異なる場合、方向測定値間のオフセット角度(1つ以上の次元において)が、決定されることができる。本オフセット角度は、次いで、1つ以上の較正補正値を規定するために使用されることができ、これは、ウェアラブルAR/VRシステム(58)を使用中、磁力計および光学センサのいずれかまたは両方によって生産された測定値に適用されてもよい。例えば、磁力計および/または光学センサによって生産された測定は全て、データがAR/VRシステムによって使用または別様に作用される前に、オフセット角度または他の較正補正値に基づいて調節されてもよい。
工場較正設定では、本明細書に説明されるもの等の複数の較正システム(例えば、900、1300)が、相互に隣接して位置してもよい。較正システムの動作は、隣接するシステムが隣接するシステムにおける読取値に干渉するであろう磁場を生産しないようにタイミングが図られてもよい。いくつかの実施形態では、較正システムの群が、時系列化されてもよい一方、他の実施形態では、1つおき、または2つおき、または3つおき等の較正ステーションが、機能分離を提供するように同時に動作されてもよい。
(付加的考慮点)
本明細書に説明される、ならびに/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能(例えば、論理もしくは算術)またはステップを実装するための1つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク(または分散)コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、パーソナルエリアネットワーク(PAN)、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線もしくは無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本発明は、対象デバイスを使用して行われ得る方法を含む。方法は、そのような好適なデバイスを提供するという行為を含んでもよい。そのような提供は、エンドユーザによって行われてもよい。換言すれば、「提供する」行為は、単に、エンドユーザが、対象方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順序で、ならびに事象の記載された順序で実行されてもよい。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要もしくは必須ではない。
とりわけ、「〜できる(can)」、「〜し得る(could)」、「〜し得る(might)」、「〜し得る(may)」、「例えば(e.g.)」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および/もしくはステップが、1つ以上の実施形態に対していかようにも要求されること、または1つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/もしくはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「〜を備える」、「〜を含む」、「〜を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つ以上の」もしくは「少なくとも1つ」を意味するように解釈されるべきである。本明細書で具体的に定義されないことを除いて、本明細書で使用される全ての技術的および科学的用語は、請求項の妥当性を維持されながら、可能な限り広義に一般的に理解される意味として与えられるべきである。さらに、請求項は、任意の随意の要素を除外するように草案されてもよいことに留意されたい。
本明細書で使用されるように、項目のリスト「〜のうちの少なくとも1つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「A、B、またはCのうちの少なくとも1つ」は、A、B、C、AおよびB、AおよびC、BおよびC、ならびにA、B、およびCを網羅することが意図される。語句「X、Y、およびZのうちの少なくとも1つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がX、Y、またはZのうちの少なくとも1つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Xのうちの少なくとも1つ、Yのうちの少なくとも1つ、およびZのうちの少なくとも1つがそれぞれ存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、もしくは連続的順序で実施されること、または、全ての図示される動作が実施されることは必要ないと認識されるべきである。さらに、図面は、フローチャートの形態で1つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (28)

  1. 仮想現実(VR)または拡張現実(AR)ディスプレイデバイス内の2つ以上の磁気センサの整合を較正するためのシステムであって、前記システムは、
    コントローラと、
    前記コントローラの制御下で、第1の較正波形および第2の較正波形を生成するように構成される波形生成器と、
    第1の伝導性ループであって、前記第1の伝導性ループは、前記第1の伝導性ループを通して通過する第1の軸に直交する第1の平面に配向される、第1の伝導性ループと、
    前記第1の平面と平行な第2の平面に配向され、前記第1の軸に沿って前記第1の伝導性ループから離間される第2の伝導性ループと、
    前記波形生成器に接続された電気駆動部であって、前記電気駆動部は、前記第1および第2の較正波形を受信し、対応する第1および第2の電気出力電流を生成し、前記第1および第2の電気出力電流を前記第1の伝導性ループおよび前記第2の伝導性ループに提供する、電気駆動部と
    を備え、
    前記コントローラは、前記波形生成器に、前記第1の較正波形を生成させ、前記ディスプレイデバイス内の第1のタイプの磁気センサを較正させ、前記第2の較正波形を生成させ、前記ディスプレイデバイス内の第2のタイプの磁気センサを較正させるように構成される、システム。
  2. 前記コントローラは、前記ディスプレイデバイスと通信し、較正されるべき磁気センサを識別し、前記磁気センサの識別に基づいて、前記第1および第2の較正波形を選択するように構成される、請求項1に記載のシステム。
  3. 前記第1のタイプの磁気センサは、誘導磁力計を備え、前記第1の較正波形は、交流電流波形を含む、請求項1に記載のシステム。
  4. 前記第2のタイプの磁気センサは、静磁場磁力計を備え、前記第2の較正波形は、直流電流波形を含む、請求項1に記載のシステム。
  5. 前記第1の伝導性ループおよび前記第2の伝導性ループは、前記電気出力電流が前記第1の伝導性ループおよび前記第2の伝導性ループの両方の周囲を同一方向に進行するように、前記電気駆動部に接続される、請求項1に記載のシステム。
  6. 前記第1の伝導性ループおよび前記第2の伝導性ループは、同一形状を有する、請求項1に記載のシステム。
  7. 前記第1の伝導性ループおよび前記第2の伝導性ループは、同一サイズを有する、請求項1に記載のシステム。
  8. 前記第1の伝導性ループおよび前記第2の伝導性ループは、円形であり、半径を有し、前記第1の伝導性ループおよび前記第2の伝導性ループは、前記半径に対応する距離だけ前記第1の軸に沿って離間される、請求項7に記載のシステム。
  9. 前記ディスプレイデバイスに取り付けられ、それを前記第1および第2の伝導性ループに対して第1の所定の空間関係に支持するように構成される、搭載部をさらに備える、請求項1に記載のシステム。
  10. 前記搭載部に接続されたアクチュエータをさらに備え、前記アクチュエータは、前記ディスプレイデバイスを前記第1および第2の伝導性ループに対して第2の所定の空間関係に移動させるように構成される、請求項9に記載のシステム。
  11. 第3の伝導性ループであって、前記第3の伝導性ループは、前記第3の伝導性ループを通して通過する第2の軸に直交する第3の平面に配向され、前記第2の軸は、前記第1の軸に直交する、第3の伝導性ループと、
    前記第3の平面と平行な第4の平面に配向され、前記第2の軸に沿って前記第3の伝導性ループから離間される、第4の伝導性ループと
    をさらに備える、請求項1に記載のシステム。
  12. 第5の伝導性ループであって、前記第5の伝導性ループは、前記第5の伝導性ループを通して通過する第3の軸に直交する第5の平面に配向され、前記第3の軸は、前記第1および第2の軸に直交する、第5の伝導性ループと、
    フレームによって支持され、前記第5の平面と平行な第6の平面に配向され、前記第3の軸に沿って前記第5の伝導性ループから離間される、第6の伝導性ループと
    をさらに備える、請求項11に記載のシステム。
  13. 前記システムはさらに、光学センサの整合を較正するように構成され、前記システムはさらに、前記第1の伝導性ループおよび前記第2の伝導性ループに対して所定の空間関係に配向される1つ以上の光学基準マーカを備える、請求項1に記載のシステム。
  14. 前記光学センサは、カメラを備える、請求項13に記載のシステム。
  15. 前記1つ以上の光学基準マーカは、2次元または3次元特徴を含む、請求項13に記載のシステム。
  16. 仮想現実(VR)または拡張現実(AR)ディスプレイデバイス内の1つ以上の磁気センサおよび1つ以上の光学センサの整合を較正するためのシステムであって、前記システムは、
    第1の伝導性ループであって、前記第1の伝導性ループは、前記第1の伝導性ループを通して通過する第1の軸に直交する第1の平面に配向される、第1の伝導性ループと、
    前記第1の平面と平行な第2の平面に配向され、前記第1の軸に沿って前記第1の伝導性ループから離間される第2の伝導性ループと、
    前記第1の伝導性ループおよび前記第2の伝導性ループに対して所定の空間関係に支持される1つ以上の光学基準マーカと
    を備える、システム。
  17. 前記1つ以上の光学基準マーカは、前記第1の伝導性ループまたは前記第2の伝導性ループに搭載される、請求項16に記載のシステム。
  18. コントローラと、
    前記コントローラの制御下で較正波形を生成するように構成される波形生成器と、
    前記波形生成器に接続された電気駆動部であって、前記電気駆動部は、前記較正波形を受信し、対応する電気出力電流を生成し、前記電気出力電流を前記第1の伝導性ループおよび前記第2の伝導性ループに提供する、電気駆動部と
    をさらに備える、請求項16に記載のシステム。
  19. 仮想現実(VR)または拡張現実(AR)ディスプレイデバイス内の2つ以上の磁気センサの整合を較正するための方法であって、前記方法は、
    第1の較正波形を生成するステップと、
    前記第1の較正波形を用いて、第1の伝導性ループを通して通過する第1の軸に直交する第1の平面に配向される第1の伝導性ループと、前記第1の平面と平行な第2の平面に配向され、前記第1の軸に沿って前記第1の伝導性ループから離間される第2の伝導性ループとを励起するステップと、
    前記ディスプレイデバイスの第1のタイプの磁気センサを使用して、前記第1の較正波形で励起されるときの前記第1および第2の伝導性ループによって生産された磁場の配向を示す第1の測定値を決定するステップと、
    第2の較正波形を生成するステップと、
    前記第2の較正波形を用いて、前記第1および第2の伝導性ループを励起するステップと、
    前記ディスプレイデバイスの第2のタイプの磁気センサを使用して、前記第2の較正波形で励起されるときの前記第1および第2の伝導性ループによって生産された磁場の配向を示す第2の測定値を決定するステップと、
    前記第1の測定値と前記第2の測定値を比較するステップと
    を含む、方法。
  20. 前記第1および第2の測定値の比較に基づいて、較正値を決定するステップをさらに含む、請求項19に記載の方法。
  21. 前記較正値を前記ディスプレイデバイスのメモリ内に記憶するステップをさらに含む、請求項20に記載の方法。
  22. 前記較正値に基づいて、前記第1または第2の磁気センサからの読取値を修正しながら、前記ディスプレイデバイスを使用して、アプリケーションを実行するステップをさらに含む、請求項21に記載の方法。
  23. 仮想現実(VR)または拡張現実(AR)ディスプレイデバイス内の1つ以上の磁気センサおよび1つ以上の光学センサの整合を較正するための方法であって、前記方法は、
    較正波形を生成するステップと、
    前記較正波形を用いて、第1の伝導性ループを通して通過する第1の軸に直交する第1の平面に配向される第1の伝導性ループと、前記第1の平面と平行な第2の平面に配向され、前記第1の軸に沿って前記第1の伝導性ループから離間される第2の伝導性ループとを励起するステップと、
    前記ディスプレイデバイスの磁気センサを使用して、前記較正波形で励起されるときの前記第1および第2の伝導性ループによって生産された磁場の配向を示す第1の測定値を決定するステップと、
    前記ディスプレイデバイスの光学センサを用いて、前記第1の伝導性ループおよび前記第2の伝導性ループに対する光学基準マーカの空間関係を示す第2の測定値を決定するステップと、
    前記第1の測定値と前記第2の測定値を比較するステップと
    を含む、方法。
  24. 前記光学基準マーカの空間関係を示す前記測定値を決定するステップは、前記光学基準マーカの位置または配向を決定するステップを含む、請求項23に記載の方法。
  25. 前記光学基準マーカの空間関係を示す前記測定値に基づいて、前記光学センサの整合方向を示す値を決定するステップをさらに含む、請求項23に記載の方法。
  26. 前記第1および第2の測定値の比較に基づいて、較正値を決定するステップをさらに含む、請求項23に記載の方法。
  27. 前記較正値を前記ディスプレイデバイスのメモリ内に記憶するステップをさらに含む、請求項26に記載の方法。
  28. 前記較正値に基づいて、前記磁気センサまたは前記光学センサからの読取値を修正しながら、前記ディスプレイデバイスを使用して、アプリケーションを実行するステップをさらに含む、請求項27に記載の方法。
JP2019514092A 2016-09-26 2017-09-25 仮想現実または拡張現実ディスプレイシステムにおける磁気センサおよび光学センサの較正 Active JP6948387B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021151814A JP2022008432A (ja) 2016-09-26 2021-09-17 仮想現実または拡張現実ディスプレイシステムにおける磁気センサおよび光学センサの較正

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662400079P 2016-09-26 2016-09-26
US62/400,079 2016-09-26
PCT/US2017/053306 WO2018058063A1 (en) 2016-09-26 2017-09-25 Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021151814A Division JP2022008432A (ja) 2016-09-26 2021-09-17 仮想現実または拡張現実ディスプレイシステムにおける磁気センサおよび光学センサの較正

Publications (3)

Publication Number Publication Date
JP2019535004A true JP2019535004A (ja) 2019-12-05
JP2019535004A5 JP2019535004A5 (ja) 2021-07-26
JP6948387B2 JP6948387B2 (ja) 2021-10-13

Family

ID=61686058

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019514092A Active JP6948387B2 (ja) 2016-09-26 2017-09-25 仮想現実または拡張現実ディスプレイシステムにおける磁気センサおよび光学センサの較正
JP2021151814A Pending JP2022008432A (ja) 2016-09-26 2021-09-17 仮想現実または拡張現実ディスプレイシステムにおける磁気センサおよび光学センサの較正

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021151814A Pending JP2022008432A (ja) 2016-09-26 2021-09-17 仮想現実または拡張現実ディスプレイシステムにおける磁気センサおよび光学センサの較正

Country Status (9)

Country Link
US (3) US10534043B2 (ja)
EP (1) EP3516485A4 (ja)
JP (2) JP6948387B2 (ja)
KR (3) KR102626257B1 (ja)
CN (2) CN114706478A (ja)
AU (2) AU2017330454B2 (ja)
CA (1) CA3036709A1 (ja)
IL (1) IL265498A (ja)
WO (1) WO2018058063A1 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
WO2018058063A1 (en) 2016-09-26 2018-03-29 Magic Leap, Inc. Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
EP3631491A4 (en) * 2017-06-01 2021-02-24 TerraNet AB VEHICLE SELF-POSITIONING
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
CN111448497B (zh) 2017-12-10 2023-08-04 奇跃公司 光波导上的抗反射涂层
US11187923B2 (en) 2017-12-20 2021-11-30 Magic Leap, Inc. Insert for augmented reality viewing device
CA3030409A1 (en) * 2018-01-19 2019-07-19 Ascension Technology Corporation Calibrating a magnetic transmitter
CA3030247A1 (en) * 2018-01-19 2019-07-19 Ascension Technology Corporation Calibrating a magnetic sensor
US10516929B2 (en) * 2018-03-06 2019-12-24 Bose Corporation Audio device
JP7344896B2 (ja) 2018-03-15 2023-09-14 マジック リープ, インコーポレイテッド 視認デバイスのコンポーネントの変形に起因する画像補正
US10902680B2 (en) * 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method
US10916066B2 (en) * 2018-04-20 2021-02-09 Edx Technologies, Inc. Methods of virtual model modification
WO2019232282A1 (en) 2018-05-30 2019-12-05 Magic Leap, Inc. Compact variable focus configurations
EP3803450A4 (en) * 2018-05-31 2021-08-18 Magic Leap, Inc. POSITIONING A RADAR HEAD
WO2019236495A1 (en) 2018-06-05 2019-12-12 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
CN112513785A (zh) 2018-06-08 2021-03-16 奇跃公司 具有自动表面选择放置和内容取向放置的增强现实观看器
US11087538B2 (en) * 2018-06-26 2021-08-10 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality images at display locations that do not obstruct user's view
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
CN112740665A (zh) 2018-08-02 2021-04-30 奇跃公司 基于头部运动的瞳孔间距离补偿的观察系统
EP3830631A4 (en) 2018-08-03 2021-10-27 Magic Leap, Inc. NON-FUSED POSE DRIFT CORRECTION OF A FUSED TOTEM IN A USER INTERACTION SYSTEM
US11393170B2 (en) 2018-08-21 2022-07-19 Lenovo (Singapore) Pte. Ltd. Presentation of content based on attention center of user
US10991139B2 (en) 2018-08-30 2021-04-27 Lenovo (Singapore) Pte. Ltd. Presentation of graphical object(s) on display to avoid overlay on another item
US10937191B2 (en) * 2018-10-23 2021-03-02 Dell Products, Lp Predictive simultaneous localization and mapping system using prior user session positional information
WO2020102412A1 (en) 2018-11-16 2020-05-22 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
JP7399426B2 (ja) * 2019-01-11 2023-12-18 Tdk株式会社 磁場校正装置及びこれを用いた磁気計測装置のキャリブレーション方法
EP4369151A2 (en) 2019-02-06 2024-05-15 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
US10932027B2 (en) 2019-03-03 2021-02-23 Bose Corporation Wearable audio device with docking or parking magnet having different magnetic flux on opposing sides of the magnet
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ, インコーポレイテッド 第1および第2の拡張現実ビューア間でのローカルコンテンツの位置合わせ
US11067644B2 (en) 2019-03-14 2021-07-20 Bose Corporation Wearable audio device with nulling magnet
US11061081B2 (en) 2019-03-21 2021-07-13 Bose Corporation Wearable audio device
US11076214B2 (en) 2019-03-21 2021-07-27 Bose Corporation Wearable audio device
DE102020110212A1 (de) * 2019-04-16 2020-10-22 Ascension Technology Corporation Positions- und Orientierungsbestimmung mit einer Helmholtz-Vorrichtung
WO2020223636A1 (en) 2019-05-01 2020-11-05 Magic Leap, Inc. Content provisioning system and method
US11272282B2 (en) 2019-05-30 2022-03-08 Bose Corporation Wearable audio device
CN110427104B (zh) * 2019-07-11 2022-11-04 成都思悟革科技有限公司 一种手指运动轨迹校准系统及方法
US11367368B2 (en) * 2019-07-12 2022-06-21 Universal City Studios Llc Electronic display with deformable surface
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
WO2021190280A1 (en) * 2020-03-24 2021-09-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. System and method for augmented tele-cooperation
CN111475019A (zh) * 2020-03-30 2020-07-31 广州幻境科技有限公司 一种虚拟现实的手势交互系统和方法
TWI758950B (zh) * 2020-11-13 2022-03-21 大陸商昆山瑞創芯電子有限公司 應用於顯示面板的校準方法及校準裝置
CN114527864B (zh) * 2020-11-19 2024-03-15 京东方科技集团股份有限公司 增强现实文字显示系统、方法、设备及介质
GB2608186A (en) * 2021-06-25 2022-12-28 Thermoteknix Systems Ltd Augmented reality system
US11797127B1 (en) * 2021-11-16 2023-10-24 Alken Inc. Hybrid tracking with auto-correction
US11822736B1 (en) 2022-05-18 2023-11-21 Google Llc Passive-accessory mediated gesture interaction with a head-mounted device
KR102613926B1 (ko) * 2023-07-12 2023-12-14 (주)위플로 비행체용 캘리브레이션 장치 및 이를 구비한 비행체용스테이션 장치
KR102612741B1 (ko) * 2023-08-10 2023-12-13 (주)위플로 비행체용 스테이션을 이용하여 비행체 내의 항법 센서를캘리브레이션 하는 제어 장치 및 그 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0712906A (ja) * 1993-06-22 1995-01-17 Hitachi Ltd 磁界測定装置の校正用コイル
JPH0916921A (ja) * 1995-06-29 1997-01-17 Fujitsu Ltd 磁気抵抗素子の試験装置及びその試験方法
JPH09503410A (ja) * 1993-10-06 1997-04-08 バイオセンス,インコーポレイテッド 位置および配向の磁気測定
JPH1152036A (ja) * 1997-08-04 1999-02-26 Murata Mfg Co Ltd 磁界検出素子の感度校正方法およびその感度校正方法を用いる磁界検出素子の感度校正装置
US6073043A (en) * 1997-12-22 2000-06-06 Cormedica Corporation Measuring position and orientation using magnetic fields
JP2002229730A (ja) * 2000-11-30 2002-08-16 Mixed Reality Systems Laboratory Inc 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
JP2013036941A (ja) * 2011-08-10 2013-02-21 Yamaha Corp 磁気センサの検査装置及び検査方法
EP2634802A1 (en) * 2012-02-29 2013-09-04 BlackBerry Limited Single package imaging and inertial navigation sensors, and methods of manufacturing the same
US20140168264A1 (en) * 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
WO2016141373A1 (en) * 2015-03-05 2016-09-09 Magic Leap, Inc. Systems and methods for augmented reality

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4109199A (en) * 1977-10-17 1978-08-22 The United States Of America As Represented By The Secretary Of The Navy Three axis magnetometer calibration checking method and apparatus
US4843865A (en) * 1988-02-29 1989-07-04 Digicourse, Inc. Method of calibrating a compass heading
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5373857A (en) * 1993-06-18 1994-12-20 Forte Technologies, Inc. Head tracking apparatus
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
JPH1144538A (ja) * 1997-07-25 1999-02-16 Tokin Corp 地磁気の検出方法
US6538617B2 (en) 2000-02-08 2003-03-25 Concorde Microsystems, Inc. Two-axis, single output magnetic field sensing antenna
JP2002365350A (ja) * 2001-06-06 2002-12-18 Fuji Electric Co Ltd 磁気検出装置
IL165314A (en) * 2004-11-21 2009-08-03 Elbit Ltd Electromagnetic tracker
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8825426B2 (en) * 2010-04-09 2014-09-02 CSR Technology Holdings Inc. Method and apparatus for calibrating a magnetic sensor
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
WO2012088478A1 (en) 2010-12-24 2012-06-28 Chunyu Gao An ergonomic head mounted display device and optical system
EP2705435B8 (en) 2011-05-06 2017-08-23 Magic Leap, Inc. Massive simultaneous remote digital presence world
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
KR101944846B1 (ko) 2011-10-28 2019-02-01 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR102376368B1 (ko) 2011-11-23 2022-03-17 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
KR102095330B1 (ko) 2012-04-05 2020-03-31 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
CN107817555A (zh) 2012-06-11 2018-03-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9767712B2 (en) * 2012-07-10 2017-09-19 Lincoln Global, Inc. Virtual reality pipe welding simulator and setup
US9740006B2 (en) 2012-09-11 2017-08-22 Magic Leap, Inc. Ergonomic head mounted display device and optical system
BR112015008132A8 (pt) * 2012-10-12 2018-01-02 Geotech Airborne Ltd Sistema de recepção eletromagnético para varredura geofísica e método para a calibragem de um sistema de recepção eletromagnético para varredura geofísica
CN105122105B (zh) 2013-01-15 2018-06-15 奇跃公司 超高分辨率扫描光纤显示器
EP2967322A4 (en) 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
JP6326482B2 (ja) 2013-03-15 2018-05-16 マジック リープ, インコーポレイテッドMagic Leap,Inc. 表示システムおよび方法
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9400164B2 (en) * 2013-07-22 2016-07-26 Allegro Microsystems, Llc Magnetic field sensor and related techniques that provide an angle correction module
KR102462848B1 (ko) 2013-10-16 2022-11-03 매직 립, 인코포레이티드 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN107272199B (zh) 2013-11-27 2023-04-07 奇跃公司 虚拟和增强现实系统与方法
WO2015117043A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
JP6525436B2 (ja) 2014-01-31 2019-06-05 マジック リープ, インコーポレイテッドMagic Leap,Inc. 多焦点表示システムおよび方法
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
AU2015201655B2 (en) 2014-04-07 2020-01-02 Xcalibur Mph Switzerland Sa Electromagnetic receiver tracking and real-time calibration system and method
KR102173699B1 (ko) 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
WO2015184413A1 (en) 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
US9626764B2 (en) * 2014-07-01 2017-04-18 Castar, Inc. System and method for synchronizing fiducial markers
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
EP3420413A1 (en) * 2016-02-22 2019-01-02 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
AU2017317599B2 (en) 2016-08-22 2021-12-23 Magic Leap, Inc. Augmented reality display device with deep learning sensors
WO2018058063A1 (en) 2016-09-26 2018-03-29 Magic Leap, Inc. Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0712906A (ja) * 1993-06-22 1995-01-17 Hitachi Ltd 磁界測定装置の校正用コイル
JPH09503410A (ja) * 1993-10-06 1997-04-08 バイオセンス,インコーポレイテッド 位置および配向の磁気測定
JPH0916921A (ja) * 1995-06-29 1997-01-17 Fujitsu Ltd 磁気抵抗素子の試験装置及びその試験方法
JPH1152036A (ja) * 1997-08-04 1999-02-26 Murata Mfg Co Ltd 磁界検出素子の感度校正方法およびその感度校正方法を用いる磁界検出素子の感度校正装置
US6073043A (en) * 1997-12-22 2000-06-06 Cormedica Corporation Measuring position and orientation using magnetic fields
JP2002229730A (ja) * 2000-11-30 2002-08-16 Mixed Reality Systems Laboratory Inc 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
JP2013036941A (ja) * 2011-08-10 2013-02-21 Yamaha Corp 磁気センサの検査装置及び検査方法
EP2634802A1 (en) * 2012-02-29 2013-09-04 BlackBerry Limited Single package imaging and inertial navigation sensors, and methods of manufacturing the same
US20140168264A1 (en) * 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
WO2016141373A1 (en) * 2015-03-05 2016-09-09 Magic Leap, Inc. Systems and methods for augmented reality

Also Published As

Publication number Publication date
US20200096575A1 (en) 2020-03-26
US11531072B2 (en) 2022-12-20
KR102626257B1 (ko) 2024-01-16
AU2017330454B2 (en) 2022-08-18
EP3516485A4 (en) 2020-06-03
AU2022211911A1 (en) 2022-09-01
EP3516485A1 (en) 2019-07-31
US11150310B2 (en) 2021-10-19
KR20190057325A (ko) 2019-05-28
CN114706478A (zh) 2022-07-05
JP6948387B2 (ja) 2021-10-13
CA3036709A1 (en) 2018-03-29
WO2018058063A1 (en) 2018-03-29
US20180088185A1 (en) 2018-03-29
US10534043B2 (en) 2020-01-14
CN109791435A (zh) 2019-05-21
CN109791435B (zh) 2022-04-12
JP2022008432A (ja) 2022-01-13
IL265498A (en) 2019-05-30
KR102357876B1 (ko) 2022-01-28
US20220034978A1 (en) 2022-02-03
AU2017330454A1 (en) 2019-04-11
KR20220018626A (ko) 2022-02-15
KR20240011881A (ko) 2024-01-26
NZ751731A (en) 2021-11-26

Similar Documents

Publication Publication Date Title
JP6948387B2 (ja) 仮想現実または拡張現実ディスプレイシステムにおける磁気センサおよび光学センサの較正
JP2019535004A5 (ja)
JP7297028B2 (ja) 拡張現実のためのシステムおよび方法
US11836284B2 (en) Sensor fusion for electromagnetic tracking
KR102331164B1 (ko) 증강 현실을 위한 시스템들 및 방법들
JP7455121B2 (ja) 電磁追跡のための周囲電磁歪み補正
NZ751731B2 (en) Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200924

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200924

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210301

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210430

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20210602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210820

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210916

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210917

R150 Certificate of patent or registration of utility model

Ref document number: 6948387

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150