JP2020518909A - 周辺デバイスの視覚的追跡 - Google Patents

周辺デバイスの視覚的追跡 Download PDF

Info

Publication number
JP2020518909A
JP2020518909A JP2019558710A JP2019558710A JP2020518909A JP 2020518909 A JP2020518909 A JP 2020518909A JP 2019558710 A JP2019558710 A JP 2019558710A JP 2019558710 A JP2019558710 A JP 2019558710A JP 2020518909 A JP2020518909 A JP 2020518909A
Authority
JP
Japan
Prior art keywords
handheld
handheld device
data
wearable
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019558710A
Other languages
English (en)
Other versions
JP6785385B2 (ja
Inventor
リッジ， ロン リラズ
リッジ， ロン リラズ
ザカリー シー． ナインステット，
ザカリー シー． ナインステット，
サミュエル エー． ミラー，
サミュエル エー． ミラー，
バラク フリードマン，
バラク フリードマン，
ライオネル アーネスト エドウィン，
ライオネル アーネスト エドウィン，
エリック シー． ブロウィ，
エリック シー． ブロウィ，
ウィリアム ハドソン ウェルチ，
ウィリアム ハドソン ウェルチ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2020518909A publication Critical patent/JP2020518909A/ja
Application granted granted Critical
Publication of JP6785385B2 publication Critical patent/JP6785385B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Input (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

ウェアラブルデバイスに対するハンドヘルドデバイスの位置特定を実施するための技法が、開示される。慣性測定ユニット（ＩＭＵ）等のハンドヘルドデバイスに搭載される、少なくとも１つのセンサが、世界に対するハンドヘルドデバイスの移動を示すハンドヘルドデータを取得し得る。ハンドヘルドデバイスまたはウェアラブルデバイスのいずれかに搭載される、結像デバイスが、他のデバイスに添着される、いくつかの基準を含有する基準画像を捕捉し得る。画像内に含有される、基準の数が、決定される。基準の数に基づいて、ウェアラブルデバイスに対するハンドヘルドデバイスの位置および配向のうちの少なくとも１つが、第１の動作状態、第２の動作状態、または第３の動作状態に従って、画像およびハンドヘルドデータに基づいて更新される。

Description

（関連出願の相互参照）
本願は、２０１８年３月７日に出願され“ＶＩＳＵＡＬ ＴＲＡＣＫＩＮＧ ＯＦ ＰＥＲＩＰＨＥＲＡＬ ＤＥＶＩＣＥＳ”と題された米国仮特許出願第６２／６４０，００９号および２０１８年３月７日に出願され“ＶＩＳＵＡＬ ＴＲＡＣＫＩＮＧ ＯＦ ＰＥＲＩＰＨＥＲＡＬ ＤＥＶＩＣＥＳ”と題された米国仮特許出願第６２／６４０，２９９号に対する優先権を主張するものであり、これらの全体の開示は、あらゆる目的のために、本明細書中に完全に記載されているかのように、参照により本明細書中に援用される。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式で視認者に提示される。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張のデジタルまたは仮想画像情報の提示を伴う。
これらのディスプレイ技術において成された進歩にもかかわらず、当技術分野において、拡張現実システム、特に、ディスプレイシステムに関連する改良された方法、システム、およびデバイスの必要性がある。
本発明は、概して、周辺デバイスの位置特定（位置、配向、および／または距離）に関する。より具体的には、本発明の実施形態は、ウェアラブルデバイスに対するハンドヘルドデバイスの位置特定のためのシステム、デバイス、および方法を提供する。本開示の部分は、拡張現実（ＡＲ）システムを参照して説明されるが、本開示は、種々の用途に適用可能である。
本発明の第１の側面によると、ウェアラブルデバイスに対するハンドヘルドデバイスの位置特定を実施する方法が、提供される。本方法は、ハンドヘルドデバイスに搭載される少なくとも１つのセンサによって、世界に対するハンドヘルドデバイスの移動を示すハンドヘルドデータを取得するステップを含んでもよい。いくつかの実施形態では、ハンドヘルドデータを取得するステップは、ハンドヘルドデバイスに搭載される慣性測定ユニット（ＩＭＵ）によって、ハンドヘルドデバイスの線形加速および回転速度を検出するステップを含む。いくつかの実施形態では、ハンドヘルドデータを取得するステップは、ハンドヘルドデバイスに搭載されるハンドヘルドカメラによって、ハンドヘルドデバイスを囲繞する１つ以上の特徴を含有する世界画像を捕捉するステップを含む。本方法はさらに、ウェアラブルデバイスに搭載されるウェアラブルカメラによって、ウェアラブルデバイスに対するハンドヘルドデバイスの移動を示す基準データを取得するステップを含んでもよい。いくつかの実施形態では、基準データを取得するステップは、ウェアラブルカメラによって、ハンドヘルドデバイスに添着される複数のＬＥＤのうちのハンドヘルドデバイスに添着されるいくつかの発光ダイオード（ＬＥＤ）を含有する、基準画像を捕捉するステップを含む。
本方法はさらに、基準画像内に含有されるＬＥＤの数を決定するステップを含んでもよい。本方法はさらに、ＬＥＤの数が３以上であることの決定に応答して、基準データのみに基づいて、第１の動作状態に従って、ウェアラブルデバイスに対するハンドヘルドデバイスの位置および配向を更新するステップを含んでもよい。本方法はさらに、ＬＥＤの数が１または２と等しいことの決定に応答して、基準データおよびハンドヘルドデータに基づいて、第２の動作状態に従って、ウェアラブルデバイスに対するハンドヘルドデバイスの位置および配向を更新するステップを含んでもよい。本方法はさらに、ＬＥＤの数がゼロと等しいことの決定に応答して、ハンドヘルドデータのみに基づいて、第３の動作状態に従って、ウェアラブルデバイスに対するハンドヘルドデバイスの位置および配向を更新するステップを含んでもよい。
本発明の第２の側面によると、ウェアラブルデバイスに対するハンドヘルドデバイスの位置特定を実施する方法が、提供される。本方法は、ハンドヘルドデバイスに搭載される少なくとも１つのセンサによって、世界に対するハンドヘルドデバイスの移動を示すハンドヘルドデータを取得するステップを含んでもよい。本方法はまた、第１のデバイスに搭載される結像デバイスによって、ウェアラブルデバイスに対するハンドヘルドデバイスの移動を示す基準データを取得するステップを含んでもよい。いくつかの実施形態では、第１のデバイスは、ハンドヘルドデバイスまたはウェアラブルデバイスのいずれかである。いくつかの実施形態では、基準データを取得するステップは、結像デバイスによって、第１のデバイスと異なる第２のデバイスに添着されるいくつかの基準を含有する基準画像を捕捉するステップを含む。いくつかの実施形態では、第２のデバイスは、ハンドヘルドデバイスまたはウェアラブルデバイスのいずれかである。本方法はさらに、基準画像内に含有される基準の数を決定するステップを含んでもよい。本方法はさらに、基準画像内に含有される基準の数に基づいて、基準データおよびハンドヘルドデータに基づいて、第１の動作状態または第２の動作状態に従って、ウェアラブルデバイスに対するハンドヘルドデバイスの位置および配向を更新するステップを含んでもよい。
いくつかの実施形態では、ハンドヘルドデータを取得するステップは、ハンドヘルドデバイスに搭載されるＩＭＵによって、ハンドヘルドデバイスの回転移動を検出するステップを含む。いくつかの実施形態では、結像デバイスは、ハンドヘルドデバイスに搭載され、いくつかの基準を含む、複数の基準は、ウェアラブルデバイスに添着される。いくつかの実施形態では、結像デバイスは、ウェアラブルデバイスに搭載され、いくつかの基準を含む、複数の基準は、ハンドヘルドデバイスに添着される。いくつかの実施形態では、結像デバイスは、ハンドヘルドデバイスに搭載され、いくつかの基準を含む、複数の基準は、ウェアラブルデバイスに添着される。いくつかの実施形態では、ハンドヘルドデータを取得するステップは、ハンドヘルドデバイスに搭載される第２のハンドヘルド結像デバイスによって、ハンドヘルドデバイスを囲繞する１つ以上の特徴を含有する世界画像を捕捉するステップを含む。いくつかの実施形態では、結像デバイスは、ウェアラブルデバイスに搭載され、いくつかの基準を含む、単一基準は、ハンドヘルドデバイスに添着される。そのような実施形態では、ハンドヘルドデータを取得するステップは、ハンドヘルドデバイスに搭載される第２のハンドヘルド結像デバイスによって、ハンドヘルドデバイスを囲繞する１つ以上の特徴を含有する世界画像を捕捉するステップを含む。
いくつかの実施形態では、結像デバイスは、ウェアラブルデバイスに搭載され、いくつかの基準を含む、複数の基準は、ハンドヘルドデバイスに添着される。そのような実施形態では、ハンドヘルドデータを取得するステップは、ハンドヘルドデバイスに搭載される第２のハンドヘルド結像デバイスによって、ハンドヘルドデバイスを囲繞する１つ以上の特徴を含有する世界画像を捕捉するステップを含む。本方法はさらに、基準の数が３以上であることの決定に応答して、基準データに基づいて、第１の動作状態に従って、ウェアラブルデバイスに対するハンドヘルドデバイスの位置および配向を更新するステップを含んでもよい。本方法はさらに、基準の数が１または２と等しいことの決定に応答して、基準データおよびハンドヘルドデータに基づいて、第２の動作状態に従って、ウェアラブルデバイスに対するハンドヘルドデバイスの位置および配向を更新するステップを含んでもよい。本方法はさらに、基準の数がゼロと等しいことの決定に応答して、ハンドヘルドデータに基づいて、第３の動作状態に従って、ウェアラブルデバイスに対するハンドヘルドデバイスの位置および配向を更新するステップを含んでもよい。いくつかの実施形態では、ウェアラブルデバイスに対するハンドヘルドデバイスの位置および配向は、基準データのみに基づいて、第１の動作状態に従って更新される。いくつかの実施形態では、ウェアラブルデバイスに対するハンドヘルドデバイスの位置および配向は、ハンドヘルドデータのみに基づいて、第３の動作状態に従って更新される。
本発明の第３の側面によると、ウェアラブルデバイスに対するハンドヘルドデバイスの位置特定を実施するためのシステムが、提供される。本システムは、ウェアラブルデバイスを含んでもよい。本システムはまた、ハンドヘルドデバイスを含んでもよい。本システムはさらに、ウェアラブルデバイスおよびハンドヘルドデバイスに通信可能に結合される、１つ以上のプロセッサを含んでもよい。いくつかの実施形態では、１つ以上のプロセッサは、ハンドヘルドデバイスに搭載される少なくとも１つのセンサによって、世界に対するハンドヘルドデバイスの移動を示すハンドヘルドデータを取得するステップを含む、動作を実施するように構成される。動作はまた、第１のデバイスに搭載される結像デバイスによって、ウェアラブルデバイスに対するハンドヘルドデバイスの移動を示す基準データを取得するステップを含んでもよい。いくつかの実施形態では、第１のデバイスは、ハンドヘルドデバイスまたはウェアラブルデバイスのいずれかである。いくつかの実施形態では、基準データを取得するステップは、結像デバイスによって、第１のデバイスと異なる第２のデバイスに添着されるいくつかの基準を含有する基準画像を捕捉するステップを含む。いくつかの実施形態では、第２のデバイスは、ハンドヘルドデバイスまたはウェアラブルデバイスのいずれかである。動作はさらに、基準画像内に含有される基準の数を決定するステップを含んでもよい。動作はさらに、基準画像内に含有される基準の数に基づいて、基準データおよびハンドヘルドデータに基づいて、第１の動作状態または第２の動作状態に従って、ウェアラブルデバイスに対するハンドヘルドデバイスの位置および配向を更新するステップを含んでもよい。
いくつかの実施形態では、ハンドヘルドデータを取得するステップは、ハンドヘルドデバイスに搭載されるＩＭＵによって、ハンドヘルドデバイスの回転移動を検出するステップを含む。いくつかの実施形態では、結像デバイスは、ハンドヘルドデバイスに搭載され、いくつかの基準を含む、複数の基準は、ウェアラブルデバイスに添着される。いくつかの実施形態では、結像デバイスは、ウェアラブルデバイスに搭載され、いくつかの基準を含む、複数の基準は、ハンドヘルドデバイスに添着される。いくつかの実施形態では、結像デバイスは、ハンドヘルドデバイスに搭載され、いくつかの基準を含む、複数の基準は、ウェアラブルデバイスに添着される。そのような実施形態では、ハンドヘルドデータを取得するステップは、ハンドヘルドデバイスに搭載される第２のハンドヘルド結像デバイスによって、ハンドヘルドデバイスを囲繞する１つ以上の特徴を含有する世界画像を捕捉するステップを含む。いくつかの実施形態では、結像デバイスは、ウェアラブルデバイスに搭載され、いくつかの基準を含む、単一基準は、ハンドヘルドデバイスに添着される。そのような実施形態では、ハンドヘルドデータを取得するステップは、ハンドヘルドデバイスに搭載される第２のハンドヘルド結像デバイスによって、ハンドヘルドデバイスを囲繞する１つ以上の特徴を含有する世界画像を捕捉するステップを含む。いくつかの実施形態では、結像デバイスは、ウェアラブルデバイスに搭載され、いくつかの基準を含む、複数の基準は、ハンドヘルドデバイスに添着される。そのような実施形態では、ハンドヘルドデータを取得するステップは、ハンドヘルドデバイスに搭載される第２のハンドヘルド結像デバイスによって、ハンドヘルドデバイスを囲繞する１つ以上の特徴を含有する世界画像を捕捉するステップを含む。
いくつかの実施形態では、動作はさらに、基準の数が３以上であることの決定に応答して、基準データに基づいて、第１の動作状態に従って、ウェアラブルデバイスに対するハンドヘルドデバイスの位置および配向を更新するステップを含む。いくつかの実施形態では、動作はさらに、基準の数が１または２と等しいことの決定に応答して、基準データおよびハンドヘルドデータに基づいて、第２の動作状態に従って、ウェアラブルデバイスに対するハンドヘルドデバイスの位置および配向を更新するステップを含む。いくつかの実施形態では、動作はさらに、基準の数がゼロと等しいことの決定に応答して、ハンドヘルドデータに基づいて、第３の動作状態に従って、ウェアラブルデバイスに対するハンドヘルドデバイスの位置および配向を更新するステップを含む。
従来の技法に優る多数の利点が、本発明を用いて達成される。例えば、本発明の実施形態は、一連の磁気コイルを採用する、電磁追跡システム等の従来の技法より高い正確度のハンドヘルドデバイスの位置特定をもたらす。本発明の実施形態はまた、ヘッドセット上に装備された正面に面したまたは側面に面した世界カメラ等、ＡＲシステムによってすでに利用されているハードウェアを利用してもよい。実施形態は、ＡＲシステム以外にも、別のデバイスに対する１つのデバイスの位置特定が重要である用途に拡張され得る。本発明の他の利点は、容易に当業者に明白となるであろう。
図１は、本明細書に説明されるある実施形態による、ウェアラブルＡＲデバイスを通して視認されるような拡張現実（ＡＲ）場面を図示する。
図２は、ＡＲシステムの種々の可能性として考えられるコンポーネントを図示する。
図３は、視覚的追跡システムがウェアラブルデバイスおよびハンドヘルドデバイスを有するＡＲシステムとともにどのように組み込まれ得るかの実施例を図示する。
図４は、位置特定タスクの略図を図示する。
図５は、ＡＲシステムの例示的構成を図示する。
図６は、図５に図示される例示的構成を使用して位置特定を実施する、方法を図示する。
図７は、ＡＲシステムの例示的構成を図示する。
図８は、図７に図示される例示的構成を使用して位置特定を実施する、方法を図示する。
図９は、ＡＲシステムの例示的構成を図示する。
図１０は、図９に図示される例示的構成を使用して位置特定を実施する、方法を図示する。
図１１Ａは、ＡＲシステムの例示的構成を図示する。
図１１Ｂは、ＡＲシステムの例示的構成を図示する。
図１２は、図１１Ａおよび１１Ｂに図示される例示的構成を使用して位置特定を実施する、方法を図示する。
図１３は、前述で図示される例示的構成のいずれかを使用して位置特定を実施する、方法を図示する。
図１４は、本明細書に説明されるいくつかの実施形態による、簡略化されたコンピュータシステムを図示する。
従来の仮想現実（ＶＲ）または拡張現実（ＡＲ）システムでは、周辺デバイスの６自由度追跡は、ユーザのＡＲヘッドセット、ベルトパック、および／または他の補助デバイス（例えば、トーテム、触知デバイス、ゲーム用機器等）上に方略的に設置された一連の電磁センサおよびエミッタを組み込むことによって達成される。典型的には、電磁追跡システムは、少なくとも１つの電磁場エミッタと、少なくとも１つの電磁場センサとを含む。放出される電磁場は、既知の分布を有するため、検出された場は、周辺デバイスの位置および／または配向を決定するために分析され得る。そのようなシステムは、位置特定問題の単純ソリューションをもたらすが、より高い正確度の位置特定をもたらす、付加的ソリューションの必要がある。本発明の実施形態は、電磁追跡システムに取って代わる、またはそれを補完することができる。
本発明の実施形態は、ウェアラブルデバイス（例えば、ヘッドセット）に対するハンドヘルドデバイス（例えば、トーテム）の高正確度位置特定を実施するための視覚的追跡システムを提供する。結像デバイスが、デバイスのうちの１つに搭載され、他のデバイスに添着される１つ以上の基準の画像を捕捉してもよい。付加的結像デバイスが、種々の環境マーカを捕捉するために、ハンドヘルドデバイスに搭載されてもよい。捕捉された画像内の基準の数に基づいて、基準データ（すなわち、局所基準を有する基準画像に基づくデータ）およびハンドヘルドデータ（世界基準を有する、ハンドヘルドデバイスに搭載されるセンサから集められたデータ）を異なるように利用する、異なるデータ処理スキームが、実装されてもよい。本明細書では、動作状態と称される、各データ処理スキームは、ウェアラブルデバイスに対するハンドヘルドデバイスの位置および／または配向の正確な推定を可能にし得る。追跡システムは、ＡＲシステムに、推定された位置特定を知らせてもよく、ＡＲシステムは、位置特定情報を使用して、ユーザにとって快適であると感じる仮想コンテンツを生成してもよい。
図１は、本明細書に説明されるある実施形態による、ウェアラブルＡＲデバイスを通して視認されるようなＡＲ場面を図示する。ＡＲ場面１００が、描写され、ＡＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１０６が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１１０と、マルハナバチの擬人化のように見える飛んでいる漫画状アバタキャラクタ１０２とを「見える」と知覚するが、これらの要素（キャラクタ１０２および像１１０）は、実世界には存在しない。ヒト視知覚および神経系が非常に複雑であることに起因して、他の仮想または実世界画像要素の中への仮想画像要素の快適であって自然のように感じる豊かな提示を促進する、ＶＲまたはＡＲ技術を生産することは困難である。
図２は、ＡＲシステムの種々の可能性として考えられるコンポーネントを図示する。図示される実施形態では、ＡＲシステムユーザ２６０は、ユーザの眼の正面に位置付けられるディスプレイシステム２６２に結合されるフレーム２６４構造を特徴とする、頭部搭載型コンポーネント２５８装着しているように描写される。スピーカ２６６が、描写される構成では、フレーム２６４に結合され、ユーザの外耳道に隣接して位置付けられる（一実施形態では、示されない別のスピーカが、ユーザの他の外耳道に隣接して位置付けられ、ステレオ／調節可能音制御を提供する）。ディスプレイ２６２は、有線導線または無線コネクティビティ等によって、ローカル処理およびデータモジュール２７０に動作可能に結合され（２６８によって示されるように）、これは、フレーム２６４に固定して取り付けられる、ヘルメットまたは帽子に固定して取り付けられる、リュック式構成において、ユーザ２６０の胴体に除去可能に取り付けられる、またはベルト結合式構成において、ユーザ２６０の腰部に除去可能に取り付けられる等、種々の構成において搭載されてもよい。
ローカル処理およびデータモジュール２７０は、電力効率的プロセッサまたはコントローラおよびフラッシュメモリ等のデジタルメモリを備えてもよく、両方とも、ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等のフレーム２６４に動作可能に結合され得る、センサから捕捉されるデータ、および／またはｂ）可能性として、処理または読出後、ディスプレイ２６２への通過のために、遠隔処理モジュール２７２および／または遠隔データリポジトリ２７４を使用して、入手および／または処理されるデータの処理、キャッシュ、および記憶を補助するために利用されてもよい。
ローカル処理およびデータモジュール２７０は、これらの遠隔モジュール２７２、２７４が、相互に動作可能に結合され、ローカル処理およびデータモジュール２７０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、遠隔処理モジュール２７２および遠隔データリポジトリ２７４に動作可能に結合されてもよい（２７６、２７８によって示されるように）。一実施形態では、遠隔処理モジュール２７２は、データおよび／または画像情報を分析および処理するように構成される、１つ以上の比較的に強力なプロセッサまたはコントローラを備えてもよい。一実施形態では、遠隔データリポジトリ２７４は、比較的に大規模なデジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。一実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール内で実施され、任意の遠隔モジュールからの完全に自律的な使用を可能にする。
図３は、視覚的追跡システムが、ウェアラブルデバイス３０２（例えば、ヘッドセット）と、ハンドヘルドデバイス３０４（例えば、コントローラ）とを有するＡＲシステムの中にどのように組み込まれ得るかの実施例を図示する。いくつかの実施形態では、ハンドヘルドデバイス３０４は、ユーザが入力をＡＲシステムに提供することを可能にする、ハンドヘルドコントローラであってもよい。例えば、ハンドヘルドデバイス３０４は、ゲーム用シナリオにおいて使用されるためのトーテムであってもよい。ハンドヘルドデバイス３０４は、触知デバイスであってもよく、種々のセンサタイプを利用する、１つ以上の触知表面を含んでもよい。ＡＲシステムの動作の間、ユーザは、ハンドヘルドデバイス３０４を能動的に把持することによって、および／または取付機構（例えば、ストラップの周囲のラップ）をユーザの手に固着することによって、ハンドヘルドデバイス３０４をその左手または右手に保持してもよい。
ハンドヘルドデバイス３０４は、基準がハンドヘルドデバイス３０４の外部の結像デバイスの視野内にあり得るように、ハンドヘルドデバイス３０４の１つ以上の外部表面に沿って位置付けられる、１つ以上の基準（本明細書では、ハンドヘルド基準３２２と称される）を含んでもよい。ハンドヘルド基準３２２は、結像デバイスが、ハンドヘルド基準３２２のうちの１つ以上のものの画像を捕捉することによって、ハンドヘルドデバイス３０４に対するその位置および／または配向を決定し得るように、相互に対して既知の関係を有してもよい。ハンドヘルド基準３２２は、動的、静的、電動式、非電動式であってもよく、いくつかの実施形態では、相互から区別可能であってもよい。例えば、第１の基準は、第１の波長を有する、発光ダイオード（ＬＥＤ）であってもよく、第２の基準は、第２の波長を有する、ＬＥＤであってもよい。代替として、または加えて、異なる基準は、異なる明度を有してもよく、および／または異なる周波数でパルス駆動してもよい（例えば、第１の基準は、１００Ｈｚでパルス駆動してもよく、第２の基準は、１５０Ｈｚでパルス駆動してもよい）。
ハンドヘルドデバイス３０４は、ウェアラブルデバイス３０２および／またはハンドヘルドデバイス３０４の周囲のいくつかの特徴が、ハンドヘルドデバイス３０４がユーザによって保持されているとき、結像デバイスの視野内にあるように位置付けられる、１つ以上の結像デバイス（本明細書では、ハンドヘルド結像デバイス３２６と称される）を含んでもよい。例えば、正面ハンドヘルド結像デバイス３２６Ａが、その視野が、ユーザから離れるように、ハンドヘルドデバイス３０４の周囲の１つ以上の特徴に向かって配向されるように位置付けられてもよく、背面ハンドヘルド結像デバイス３２６Ｂが、その視野が、ウェアラブルデバイス３０２に向かって配向されるように位置付けられてもよい。ハンドヘルド結像デバイス３２６は、１つ以上の正面に面した結像デバイスおよび／または１つ以上の背面に面した結像デバイスを含み、所望の累積視野を作成してもよい。いくつかの実施形態では、ハンドヘルド結像デバイス３２６は、カメラ等の光学デバイスであってもよく、静止画または動画を捕捉してもよい。
ハンドヘルドデバイス３０４は、ハンドヘルドデバイス３０４の回転および線形移動がハンドヘルドＩＭＵ３２４によって同様に被られるように、ハンドヘルドデバイス３０４内にしっかりと固着される、慣性測定ユニット（ＩＭＵ）（本明細書では、ハンドヘルドＩＭＵ３２４と称される）を含んでもよい。いくつかのインスタンスでは、ハンドヘルドＩＭＵ３２４は、１つ以上の加速度計（例えば、３つ）、１つ以上のジャイロスコープ（例えば、３つ）、１つ以上の磁力計（例えば、３つ）、および／または未加工測定値を処理されたデータに変換するためのデジタル信号処理ハードウェアおよびソフトウェアを含んでもよい。例えば、ハンドヘルドＩＭＵ３２４は、３つの軸毎に、加速度計、ジャイロスコープ、および磁力計を含んでもよい。軸毎に、ハンドヘルドＩＭＵ３２４は、線形位置、線形速度、線形加速、回転位置、回転速度、および／または回転加速のうちの１つ以上のものを出力してもよい。代替として、または加えて、ハンドヘルドＩＭＵ３２４は、未加工データを出力してもよく、そこから、前述の形態の処理されたデータのいずれかが、計算されてもよい。
ハンドヘルドデバイス３０４は、ハンドヘルド基準３２２、ハンドヘルド結像デバイス３２６、ハンドヘルドＩＭＵ３２４、およびハンドヘルドデバイス３０４の任意の他のコンポーネントに給電する、再充電可能および／または交換可能バッテリ３２８または他の電力供給源を備えてもよい。図３に図示されないが、ハンドヘルドデバイス３０４は、ウェアラブルデバイス３０２および／またはベルトパック３４０との無線通信を可能にするための回路を含んでもよい。例えば、ハンドヘルド結像デバイス３２６およびハンドヘルドＩＭＵ３２４を使用して、データを検出または捕捉することに応じて、ハンドヘルドデバイス３０４は、未加工または処理されたデータをウェアラブルデバイス３０２および／またはベルトパック３４０に伝送してもよい。
ウェアラブルデバイス３０２は、基準が背面ハンドヘルド結像デバイス３２６Ｂの視野内にあり得るように、ウェアラブルデバイス３０６の１つ以上の外部表面に沿って位置付けられる、１つ以上の基準（本明細書では、ウェアラブル基準３０６と称される）を含んでもよい。ウェアラブル基準３０６は、結像デバイスが、ウェアラブル基準３０６のうちの１つ以上のものの画像を捕捉することによって、ウェアラブルデバイス３０６に対するその位置および／または配向を決定し得るように、相互に対して既知の関係を有してもよい。ウェアラブル基準３０６は、動的、静的、電動式、非電動式であってもよく、いくつかの実施形態では、相互から区別可能であってもよい。例えば、第１の基準は、第１の波長を有する、ＬＥＤであってもよく、第２の基準は、第２の波長を有する、ＬＥＤであってもよい。代替として、または加えて、異なる基準は、異なる明度を有してもよく、および／または異なる周波数でパルス駆動してもよい。
ウェアラブルデバイス３０２は、ハンドヘルドデバイス３０４がユーザによって保持されているとき、ハンドヘルドデバイス３０４（具体的には、ハンドヘルド基準３２２）が結像デバイスの視野内にあるように位置付けられる、１つ以上の結像デバイス（本明細書では、ウェアラブル結像デバイス３１０と称される）を含んでもよい。例えば、１つ以上のウェアラブル結像デバイス３１０は、ウェアラブルデバイス３０２の光学シースルーコンポーネントの上方、下方、および／または側面において、ウェアラブルデバイス３０２上で正面に面して位置付けられてもよい。一実施形態では、２つのウェアラブル結像デバイス３１０が、ウェアラブルデバイス３０２の光学シースルーコンポーネントの両側上に位置付けられてもよい。いくつかの実施形態では、ウェアラブル結像デバイス３１０は、カメラ等の光学デバイスであってもよく、静止画または動画を捕捉してもよい。
ウェアラブルデバイス３０２は、ウェアラブルデバイス３０２の回転および線形移動がウェアラブルＩＭＵ３０８によって同様に被られるように、ウェアラブルデバイス３０２内でしっかりと固着される、ＩＭＵ（本明細書では、ウェアラブルＩＭＵ３０８と称される）を含んでもよい。いくつかのインスタンスでは、ウェアラブルＩＭＵ３０８は、１つ以上の加速度計（例えば、３つ）、１つ以上のジャイロスコープ（例えば、３つ）、１つ以上の磁力計（例えば、３つ）、および／または未加工測定を処理されたデータに変換するためのデジタル信号処理ハードウェアおよびソフトウェアを含んでもよい。例えば、ウェアラブルＩＭＵ３０８は、３つの軸毎に、加速度計、ジャイロスコープ、および磁力計を含んでもよい。軸毎に、ウェアラブルＩＭＵ３０８は、線形位置、線形速度、線形加速、回転位置、回転速度、および／または回転加速のうちの１つ以上のものを出力してもよい。代替として、または加えて、ウェアラブルＩＭＵ３０８は、未加工データを出力してもよく、そこから、前述の形態の処理されたデータのいずれかが、計算されてもよい。
いくつかの実施形態では、ＡＲシステムは、ベルトパック３４０を含んでもよく、これは、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置特定を実施するためのコンピューティング装置（例えば、１つ以上のプロセッサおよび関連付けられたメモリ）を含んでもよい。代替として、または加えて、コンピューティング装置は、ウェアラブルデバイス３０２自体またはさらにハンドヘルドデバイス３０４内に常駐してもよい。コンピューティング装置は、（有線および／または無線接続を介して）未加工または処理されたデータをウェアラブルＩＭＵ３０８、ウェアラブル結像デバイス３１０、ハンドヘルドＩＭＵ３２４、およびハンドヘルド結像デバイス３２６のそれぞれから受信してもよく、ハンドヘルドデバイス３０４の地理的空間位置（ウェアラブルデバイス３０２の地理的空間位置に対する）およびハンドヘルドデバイス３０４の配向（ウェアラブルデバイス３０２の配向に対する）を算出してもよい。コンピューティング装置は、ひいては、マッピングデータベース３４２（例えば、パス可能世界モデル、座標空間等）を備え、姿勢を検出し、実オブジェクトおよび仮想オブジェクトの座標を決定してもよく、さらに、１つ以上の実施形態では、クラウドリソースおよびパス可能世界モデルに接続してもよい。いくつかの実施形態では、ウェアラブル結像デバイス３１０および／またはハンドヘルド結像デバイス３２６を使用して捕捉された画像は、パス可能世界モデルを構築するために使用されてもよい。例えば、特徴は、捕捉された画像内で検出されてもよく、収集されたデータ（例えば、疎点）は、パス可能世界モデルまたは別様に環境マップを構築するために使用されてもよい。
図４は、ハンドヘルドデバイス３０４の位置および配向がウェアラブルデバイス３０２に対して決定される、ＡＲシステムによって実施されるような位置特定タスクの略図を図示する。図示される略図では、ウェアラブルデバイス３０２は、世界基準に対する（ＸＷＰ、ＹＷＰ、ＺＷＰ）として定義される地理的空間位置（「ウェアラブル位置」）と、世界基準に対する（ＸＷＯ、ＹＷＯ、ＺＷＯ）として定義される配向（「ウェアラブル配向」）とを有する。いくつかのインスタンスでは、ウェアラブルデバイス３０２の地理的空間位置は、経度、緯度、および仰角値で表され、ウェアラブルデバイス３０２の配向は、ピッチ角度、ヨー角度、およびロール角度値で表される。
図示されるように、ハンドヘルドデバイス３０４は、ウェアラブルデバイス３０２の地理的空間位置（ＸＷＰ、ＹＷＰ、ＺＷＰ）に対する（Ｘ’ＨＰ、Ｙ’ＨＰ、Ｚ’ＨＰ）として定義される地理的空間位置（「ハンドヘルド位置」）と、ウェアラブルデバイス３０２の配向（ＸＷＯ、ＹＷＯ、ＺＷＯ）に対する（Ｘ’ＨＯ、Ｙ’ＨＯ、Ｚ’ＨＯ）として定義される配向（「ハンドヘルド配向」）とを有する。いくつかのインスタンスでは、ハンドヘルドデバイス３０４の地理的空間位置は、Ｘ、Ｙ、およびＺデカルト値で表され、ハンドヘルドデバイス３０４の配向は、ピッチ角度、ヨー角度、およびロール角度値で表される。１つの具体的実施例として、ハンドヘルドデバイス３０４が、ユーザによって保持されているとき、ハンドヘルドデバイス３０４の地理的空間位置は、（０．７ｍ、−０．５ｍ、０．１ｍ）と等しくなり得、ハンドヘルドデバイス３０４の配向は、（１０．２°、−４６．２°、１５．２°）と等しくなり得る。
図５は、ＡＲシステム５００の例示的構成を図示し、ウェアラブルデバイス３０２は、１つ以上のウェアラブル基準３０６を含み、ハンドヘルドデバイス３０４は、ハンドヘルドデバイス３０４が通常動作においてユーザによって保持されている間、少なくとも部分的に、かつ少なくとも一時的に、ウェアラブル基準３０６を含む、視野を有する、１つ以上の背面に面したハンドヘルド結像デバイス３２６を含む。ＡＲシステム５００は、ハンドヘルドＩＭＵ３２４等、ハンドヘルドデバイス３０４に搭載される、付加的センサを含んでもよい。そのような構成の１つの利点は、ハンドヘルドデバイス３０４が、ウェアラブルデバイス３０２に対する自らの位置特定を実施するために必要とされる、全てのデータを有し、それによって、ウェアラブルデバイス３０２にかかる処理負荷を低減させることであり得る。ＡＲシステム５００は、ウェアラブルＩＭＵ３０８等、ウェアラブルデバイス３０２に搭載される、付加的センサを含んでもよい。
図６は、ＡＲシステム５００を使用してウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置特定を実施する、方法６００を図示する。方法６００の１つ以上のステップは、省略されてもよく、または図示される実施形態と異なる順序で実施されてもよく、方法６００の１つ以上のステップは、ウェアラブルデバイス３０２、ハンドヘルドデバイス３０４、および／またはベルトパック３４０内に位置する、１つ以上の処理装置において実施されてもよい。
ステップ６０２では、画像（「基準画像」）が、ハンドヘルド結像デバイス３２６によって捕捉される。基準画像は、ウェアラブル基準３０６のうちのいくつかの基準を含有してもよい。例えば、３つのウェアラブル基準３０６が存在する場合、基準画像は、ゼロ、１つ、２つ、または３つの基準を含有することを決定するために分析されてもよい。
ステップ６０４では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、例えば、基準画像に基づいて計算される。例えば、基準画像は、ウェアラブル基準３０６のうちの任意の基準の場所を決定するために分析されてもよく、位置および／または配向は、基準画像内の基準の場所およびウェアラブル基準３０６間の既知の物理的関係に基づいて、決定されてもよい。ハンドヘルドデバイス３０４の位置および／または配向は、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の姿勢を決定するために使用されてもよい。ステップ６０４の出力は、基準データ６３０と称される。
ステップ６１０では、世界に対する（および／またはウェアラブルデバイス３０２に対する）少なくともハンドヘルドデバイス３０４の回転移動を示すデータ（「ＩＭＵデータ」）が、ハンドヘルドＩＭＵ３２４によって検出される。ＩＭＵデータは、回転速度または未加工データを含んでもよく、そこから、回転速度が、計算されてもよい。いくつかの実施形態では、ＩＭＵデータはまた、ハンドヘルドデバイス３０４の線形移動を示し、線形加速または未加工データを含んでもよく、そこから、線形加速が、計算されてもよい。
ステップ６１２では、ハンドヘルドデバイス３０４の位置および／または配向が、ＩＭＵデータに基づいて計算される。いくつかの実施形態では、世界に対するハンドヘルドデバイス３０４の位置および／または配向が、計算され（世界に対する前の既知および／または推定された配向を使用して）、および／または、いくつかの他の実施形態では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、計算される（ウェアラブルデバイス３０２に対する前の既知および／または推定された配向を使用して）。
ステップ６１４では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、基準データ６３０および／またはハンドヘルドデータ６３２に基づいて計算される。基準データ６３０は、基準画像および／またはステップ６０４において実施される基準画像に基づく位置および／または配向計算を含んでもよい。ハンドヘルドデータ６３２は、ＩＭＵデータおよび／またはステップ６１２において実施されるＩＭＵデータに基づく位置および／または配向計算を含んでもよい。ステップ６１４における位置および配向計算は、基準画像に見出される基準の数に基づいて、種々の動作状態のうちの１つに従って実施されてもよい。各動作状態は、基準データ６３０およびハンドヘルドデータ６３２を異なるように取り扱ってもよく、他のタイプのデータに対して、１つのタイプのデータにより強調を置いてもよい。動作状態は、図１３を参照してさらに詳細に説明される。
ステップ６１６では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、例えば、ＡＲシステム５００を動作させる際に使用するための外部デバイスおよび／またはプロセスに出力される。例えば、位置および／または配向は、仮想コンテンツを生成および表示するために、ＡＲシステム５００に出力されてもよい。
図７は、ＡＲシステム７００の例示的構成を図示し、ウェアラブルデバイス３０２は、ハンドヘルドデバイス３０４が通常動作においてユーザによって保持されている間、少なくとも部分的に、および少なくとも一時的に、ハンドヘルド基準３２２を含む、視野を有する、１つ以上のウェアラブル結像デバイス３１０を含み、ハンドヘルドデバイス３０４は、１つ以上のハンドヘルド基準３２２を含む。ＡＲシステム７００は、ハンドヘルドＩＭＵ３２４等、ハンドヘルドデバイス３０４に搭載される、付加的センサを含んでもよい。そのような構成の１つの利点は、ハンドヘルドデバイス３０４の簡略化および低電力消費であり得る。ＡＲシステム７００は、ウェアラブルＩＭＵ３０８等、ウェアラブルデバイス３０２に搭載される、付加的センサを含んでもよい。
図８は、ＡＲシステム７００を使用してウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置特定を実施する、方法８００を図示する。方法８００の１つ以上のステップは、省略されてもよく、または図示される実施形態と異なる順序で実施されてもよく、方法８００の１つ以上のステップは、ウェアラブルデバイス３０２、ハンドヘルドデバイス３０４、および／またはベルトパック３４０内に位置する、１つ以上の処理装置において実施されてもよい。
ステップ８０２では、画像（「基準画像」）が、ウェアラブル結像デバイス３１０によって捕捉される。基準画像は、ハンドヘルド基準３２２のうちのいくつかの基準を含有してもよい。例えば、３つのハンドヘルド基準３２２が存在する場合、基準画像は、ゼロ、１つ、２つ、または３つの基準を含有することを決定するために分析されてもよい。
ステップ８０４では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、例えば、基準画像に基づいて計算される。例えば、基準画像は、ハンドヘルド基準３２２のうちの任意の基準の場所を決定するために分析されてもよく、位置および／または配向は、基準画像内の基準の場所およびハンドヘルド基準３２２間の既知の物理的関係に基づいて決定されてもよい。ハンドヘルドデバイス３０４の位置および／または配向は、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の姿勢を決定するために使用されてもよい。ステップ８０４の出力は、基準データ８３０と称される。
ステップ８１０では、世界に対する少なくともハンドヘルドデバイス３０４の回転移動を示す、データ（「ＩＭＵデータ」）が、ハンドヘルドＩＭＵ３２４によって検出される。ＩＭＵデータは、回転速度または未加工データを含んでもよく、そこから、回転速度が、計算されてもよい。いくつかの実施形態では、ＩＭＵデータはまた、ハンドヘルドデバイス３０４の線形移動を示し、線形加速または未加工データを含んでもよく、そこから、線形加速が、計算されてもよい。
ステップ８１２では、ハンドヘルドデバイス３０４の位置および／または配向が、ＩＭＵデータに基づいて計算される。いくつかの実施形態では、世界に対するハンドヘルドデバイス３０４の位置および／または配向が、計算され（世界に対する前の既知および／または推定された配向を使用して）、および／または、いくつかの実施形態では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、計算される（ウェアラブルデバイス３０２に対する前の既知および／または推定された配向を使用して）。ステップ８１２の出力は、ハンドヘルドデータ８３２と称され得る。
ステップ８１４では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、基準データ８３０および／またはハンドヘルドデータ８３２に基づいて計算される。基準データ８３０は、基準画像および／またはステップ８０４において実施される基準画像に基づく位置および／または配向計算を含んでもよい。ハンドヘルドデータ８３２は、ＩＭＵデータおよび／またはステップ８１２において実施されるＩＭＵデータに基づく位置および／または配向計算を含んでもよい。ステップ８１４における位置および／または配向計算は、基準画像に見出される基準の数に基づいて、種々の動作状態のうちの１つに従って実施されてもよい。各動作状態は、基準データ８３０およびハンドヘルドデータ８３２を異なるように取り扱ってもよく、他のタイプのデータと比較して、１つのタイプのデータにより強調を置いてもよい。動作状態は、図１３を参照してさらに詳細に説明される。
ステップ８１６では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、例えば、ＡＲシステム７００を動作させる際に使用するための外部デバイスおよび／またはプロセスに出力される。例えば、位置および／または配向は、仮想コンテンツを生成および表示するために、ＡＲシステム７００に出力されてもよい。
図９は、ＡＲシステム９００の例示的構成を図示し、ハンドヘルドデバイス３２６は、ハンドヘルドデバイス３０４がユーザによって保持されている間、少なくとも部分的に、および少なくとも一時的に、１つ以上の周囲特徴３４４を含む視野を有する、正面ハンドヘルド結像デバイス３２６Ａと、ハンドヘルドデバイス３０４が通常動作においてユーザによって保持されている間、少なくとも部分的に、および少なくとも一時的に、１つ以上のウェアラブル基準３０６を含む視野を有する、背面ハンドヘルド結像デバイス３２６Ｂとを含む。例示的構成では、複数のウェアラブル基準３２２が、ウェアラブルデバイス３０２に添着される。ＡＲシステム９００は、ハンドヘルドＩＭＵ３２４等、ハンドヘルドデバイス３０４に搭載される、付加的センサを含んでもよい。そのような構成の１つの利点は、複数の結像デバイスによって提供される増加された正確度であり得る。ＡＲシステム９００は、ウェアラブルＩＭＵ３０８等、ウェアラブルデバイス３０２に搭載される、付加的センサを含んでもよい。
図１０は、ＡＲシステム９００を使用してウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置特定を実施する、方法１０００を図示する。方法１０００の１つ以上のステップは、省略されてもよく、または図示される実施形態と異なる順序で実施されてもよく、方法１０００の１つ以上のステップは、ウェアラブルデバイス３０２、ハンドヘルドデバイス３０４、および／またはベルトパック３４０内に位置する、１つ以上の処理装置において実施されてもよい。
ステップ１００２では、画像（「基準画像」）が、背面ハンドヘルド結像デバイス３２６Ｂによって捕捉される。基準画像は、ウェアラブル基準３０６のうちのいくつかの基準を含有してもよい。例えば、３つのウェアラブル基準３０６が存在する場合、基準画像は、ゼロ、１つ、２つ、または３つの基準を含有することを決定するために分析されてもよい。
ステップ１００４では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、例えば、基準画像に基づいて計算される。例えば、基準画像は、ウェアラブル基準３０６のうちの任意の基準の場所を決定するために分析されてもよく、位置および／または配向は、基準画像内の基準の場所およびウェアラブル基準３０６間の既知の物理的関係に基づいて、決定されてもよい。ハンドヘルドデバイス３０４の位置および／または配向は、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の姿勢を決定するために使用されてもよい。ステップ１００４の出力は、基準データ１０３０と称される。
ステップ１００６では、画像（「世界画像」）は、正面ハンドヘルド結像デバイス３２６Ａによって捕捉される。世界画像は、周囲特徴３４４を含有してもよい。
ステップ１００８では、世界に対するハンドヘルドデバイス３０４の位置および／または配向が、世界画像に基づいて計算される。いくつかのインスタンスでは、世界画像は、ビジュアルオドメトリ技法を使用して、前の世界画像と比較され、ハンドヘルドデバイス３０４の移動を推定し、これは、世界画像のそれぞれ内の特徴検出を実施し、世界画像間の対応を確立するステップを含んでもよい。世界画像内の検出された特徴の移動と最も一致する、ハンドヘルドデバイス３０４の移動ベクトルが、次いで、計算されてもよい。ステップ１００８の出力は、ハンドヘルドデータ１０３２と称される。
ステップ１０１０では、世界に対する少なくともハンドヘルドデバイス３０４の回転移動を示す、データ（「ＩＭＵデータ」）が、ハンドヘルドＩＭＵ３２４によって検出される。ＩＭＵデータは、回転速度または未加工データを含んでもよく、そこから、回転速度が、計算されてもよい。いくつかの実施形態では、ＩＭＵデータはまた、ハンドヘルドデバイス３０４の線形移動を示し、線形加速または未加工データを含んでもよく、そこから、線形加速が、計算されてもよい。
ステップ１０１２では、ハンドヘルドデバイス３０４の位置および／または配向が、ＩＭＵデータに基づいて計算される。いくつかの実施形態では、世界に対するハンドヘルドデバイス３０４の位置および／または配向が、計算され（世界に対する前の既知および／または推定された配向を使用して）、および／またはいくつかの実施形態では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、計算される（ウェアラブルデバイス３０２に対する前の既知および／または推定された配向を使用して）。ステップ１０１２の出力は、ハンドヘルドデータ１０３２と称される。
ステップ１０１４では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、基準データ１０３０および／またはハンドヘルドデータ１０３２に基づいて計算される。基準データ１０３０は、基準画像および／またはステップ１００４において実施される基準画像に基づく位置および／または配向計算を含んでもよい。ハンドヘルドデータ１０３２は、世界画像、ステップ１００８において実施される世界画像に基づく位置および／または配向計算、ＩＭＵデータ、および／またはステップ１０１２において実施されるＩＭＵデータに基づく位置および配向計算を含んでもよい。ステップ１０１４における位置および／または配向計算は、基準画像に見出される基準の数に基づいて、種々の動作状態のうちの１つに従って実施されてもよい。各動作状態は、基準データ１０３０およびハンドヘルドデータ１０３２を異なるように取り扱ってもよく、他のタイプのデータに対して、１つのタイプのデータにより強調を置いてもよい。動作状態は、図１３を参照してさらに詳細に説明される。
ステップ１０１６では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、例えば、ＡＲシステム９００を動作させる際に使用するための外部デバイスおよび／またはプロセスに出力される。例えば、位置および／または配向は、仮想コンテンツを生成および表示するために、ＡＲシステム９００に出力されてもよい。
図１１Ａは、ＡＲシステム１１００Ａの例示的構成を図示し、ウェアラブルデバイス３０２は、ハンドヘルドデバイス３０４が通常動作においてユーザによって保持されている間、少なくとも部分的に、および少なくとも一時的に、ハンドヘルド基準３２２を含む視野を有する、１つ以上のウェアラブル結像デバイス３１０を含み、ハンドヘルドデバイス３０４は、ハンドヘルドデバイス３０４が通常動作においてユーザによって保持されている間、少なくとも部分的に、および少なくとも一時的に、１つ以上の周囲特徴３４４を含む視野を有する、１つ以上のハンドヘルド結像デバイス３２６を含む。図１１Ａに図示される例示的構成では、単一ハンドヘルド基準３２２が、ハンドヘルドデバイス３０４に添着される。ＡＲシステム１１００は、ハンドヘルドＩＭＵ３２４等、ハンドヘルドデバイス３０４に搭載される、付加的センサを含んでもよい。図１１Ａに図示される構成の利点は、複数の結像デバイスによって提供される増加された正確度および単一基準場所によって制約される間の位置および配向を計算する算出効率を含む。ＡＲシステム１１００Ａは、ウェアラブルＩＭＵ３０８等、ウェアラブルデバイス３０２に搭載される、付加的センサを含んでもよい。
図１１Ｂは、ＡＲシステム１１００Ｂの例示的構成を図示し、ウェアラブルデバイス３０２は、ハンドヘルドデバイス３０４が通常動作においてユーザによって保持されている間、少なくとも部分的に、および少なくとも一時的に、ハンドヘルド基準３２２を含む視野を有する、１つ以上のウェアラブル結像デバイス３１０を含み、ハンドヘルドデバイス３０４は、ハンドヘルドデバイス３０４が通常動作においてユーザによって保持されている間、少なくとも部分的に、および少なくとも一時的に、１つ以上の周囲特徴３４４を含む視野を有する、１つ以上のハンドヘルド結像デバイス３２６を含む。図１１Ｂに図示される例示的構成では、複数のハンドヘルド基準３２２が、ハンドヘルドデバイス３０４に添着される。ＡＲシステム１１００Ｂは、ハンドヘルドＩＭＵ３２４等、ハンドヘルドデバイス３０４に搭載される、付加的センサを含んでもよい。そのような構成の利点は、複数の結像デバイスによって提供される増加された正確度および基準ベースの追跡とビジュアルオドメトリ技法を組み合わせることによる増加されたロバスト性を含む。ＡＲシステム１１００Ｂは、ＩＭＵ等、ウェアラブルデバイス３０２に搭載される、付加的センサを含んでもよい。
図１２は、図１１ＡのＡＲシステム１１００Ａまたは図１１ＢのＡＲシステム１１００Ｂを使用してウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置特定を実施する、方法１２００を図示する。方法１２００の１つ以上のステップは、省略されてもよく、または図示される実施形態と異なる順序で実施されてもよく、方法１２００の１つ以上のステップは、ウェアラブルデバイス３０２、ハンドヘルドデバイス３０４、および／またはベルトパック３４０内に位置する、１つ以上の処理装置において実施されてもよい。
ステップ１２０２では、画像（「基準画像」）が、ウェアラブル結像デバイス３１０によって捕捉される。基準画像は、いくつかのハンドヘルド基準３２２を含有してもよい。例えば、図１１Ａに関して、１つのハンドヘルド基準３２２が存在する場合、基準画像は、ゼロまたは１つの基準を含有することを決定するために分析されてもよい。例えば、図１１Ｂに関して、３つのハンドヘルド基準３２２が存在する場合、基準画像は、ゼロ、１つ、２つ、または３つの基準を含有することを決定するために分析されてもよい。
ステップ１２０４では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、例えば、基準画像に基づいて計算される。例えば、図１１Ａに関して、基準画像は、基準の場所を決定するために分析されてもよく、位置および／または配向に関する制約は、基準画像内の基準の場所に基づいて決定されてもよい。例えば、図１１Ｂに関して、基準画像は、任意の基準の場所を決定するために分析されてもよく、位置および／または配向は、基準画像内の基準の場所およびウェアラブル基準３０６間の既知の物理的関係に基づいて、決定されてもよい。
ステップ１２０６では、画像（「世界画像」）が、ハンドヘルド結像デバイス３２６によって捕捉される。世界画像は、周囲特徴３４４を含有してもよい。
ステップ１２０８では、世界に対するハンドヘルドデバイス３０４の位置および／または配向が、世界画像に基づいて計算される。いくつかのインスタンスでは、世界画像は、ビジュアルオドメトリ技法を使用して、前の世界画像と比較され、ハンドヘルドデバイス３０４の移動を推定し、これは、世界画像のそれぞれ内の特徴検出を実施し、世界画像間の対応を確立するステップを含んでもよい。世界画像内の検出された特徴の移動と最も一致する、ハンドヘルドデバイス３０４の移動ベクトルが、次いで、計算されてもよい。ステップ１２０８の出力は、ハンドヘルドデータ１２３２と称される。
ステップ１２１０では、世界に対する少なくともハンドヘルドデバイス３０４の回転移動を示す、データ（「ＩＭＵデータ」）が、ハンドヘルドＩＭＵ３２４によって検出される。ＩＭＵデータは、回転速度または未加工データを含んでもよく、そこから、回転速度が、計算されてもよい。いくつかの実施形態では、ＩＭＵデータはまた、ハンドヘルドデバイス３０４の線形移動を示し、線形加速または未加工データを含んでもよく、そこから、線形加速が、計算されてもよい。
ステップ１２１２では、ハンドヘルドデバイス３０４の位置および／または配向が、ＩＭＵデータに基づいて計算される。いくつかの実施形態では、世界に対するハンドヘルドデバイス３０４の位置および／または配向が、計算され（世界に対する前の既知および／または推定された配向を使用して）、および／または、いくつかの実施形態では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、計算される（ウェアラブルデバイス３０２に対する既知および／または推定された配向を使用して）。ステップ１２１２の出力は、ハンドヘルドデータ１２３２と称される。
ステップ１２１４では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、基準データ１２３０および／またはハンドヘルドデータ１２３２に基づいて計算される。例えば、図１１Ａに関して、基準データ１２３０は、基準画像および／またはステップ１２０４において実施される基準画像に基づく位置および／または配向計算に関する制約を含んでもよい。例えば、図１１Ｂに関して、基準データ１２３０は、基準画像および／またはステップ１２０４において実施される基準画像に基づく位置および／または配向計算を含んでもよい。ハンドヘルドデータ１２３２は、世界画像、ステップ１２０８において実施される世界画像に基づく位置および／または配向計算、ＩＭＵデータ、および／またはステップ１２１２において実施されるＩＭＵデータに基づく位置および／または配向計算を含んでもよい。ステップ１２１４における位置および／または配向計算は、基準画像に見出される基準の数に基づいて、種々の動作状態のうちの１つに従って実施されてもよい。各動作状態は、基準データ１２３０およびハンドヘルドデータ１２３２を異なるように取り扱ってもよく、他のタイプのデータに対して、１つのタイプのデータにより強調を置いてもよい。動作状態は、図１３を参照してさらに詳細に説明される。
ステップ１２１６では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、例えば、ＡＲシステム１１００を動作させる際に使用するための外部デバイスおよび／またはプロセスに出力される。例えば、位置および／または配向は、仮想コンテンツを生成および表示するために、ＡＲシステム１１００に出力されてもよい。
図１３は、ＡＲシステム５００、７００、９００、１１００のうちの任意の１つ、または任意のそれらの組み合わせを使用してウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置特定を実施する、方法１３００を図示する。方法１３００の１つ以上のステップは、省略されてもよく、または図示される実施形態と異なる順序で実施されてもよく、方法１３００の１つ以上のステップは、ウェアラブルデバイス３０２、ハンドヘルドデバイス３０４、および／またはベルトパック３４０内に位置する、１つ以上の処理装置において実施されてもよい。
ステップ１３０２では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の移動を示す、データ（「基準データ」）が、結像デバイスを使用して取得される。ステップ１３０２を実施するステップは、ステップ１３０４、１３０６の一方または両方を実施するステップを含んでもよい。ステップ１３０４では、いくつかのウェアラブル基準３０６を含有する、画像（「基準画像」）が、背面ハンドヘルド結像デバイス３２６Ｂによって捕捉される。ステップ１３０６では、いくつかのハンドヘルド基準３２２を含有する、画像（「基準画像」）が、ウェアラブル結像デバイス３１０によって捕捉される。
ステップ１３０８では、世界に対する少なくともハンドヘルドデバイス３０４の回転移動を示す、データ（「ハンドヘルドデータ」）が、検出される。ステップ１３０８を実施するステップは、ステップ１３１０、１３１２の一方または両方を実施するステップを含んでもよい。
ステップ１３１０では、画像（「世界画像」）が、周囲特徴３４４を含有する、正面ハンドヘルド結像デバイス３２６Ａによって捕捉される。ステップ１３１２では、世界に対する少なくともハンドヘルドデバイス３０４の回転移動を示す、データ（「ＩＭＵデータ」）が、ハンドヘルドＩＭＵ３２４によって検出される。ＩＭＵデータは、回転速度または未加工データを含んでもよく、そこから、回転速度が、計算されてもよい。いくつかの実施形態では、ＩＭＵデータはまた、ハンドヘルドデバイス３０４の線形移動を示し、線形加速または未加工データを含んでもよく、そこから、線形加速が、計算されてもよい。
ステップ１３１４では、基準画像内に含有される基準の数が、観察される基準の場所（例えば、ピクセル場所）とともに決定される。
ステップ１３１６では、ウェアラブルデバイス３０２に対するハンドヘルドデバイス３０４の位置および／または配向が、３つの動作状態のうちの１つに従って、計算／推定／更新される。動作状態は、基準画像内で観察される基準の数に基づいて選択される。図示される実施形態では、第１の動作状態（「状態１」）は、３つ以上の基準が基準画像内で観察されるときに選択され、第２の動作状態（「状態２」）は、１つまたは２つの基準が基準画像内で観察されるときに選択され、第３の動作状態（「状態３」）は、ゼロ基準が基準画像内で観察されるときに選択される。状態間の切替は、新しい基準画像が捕捉される度に、または所定のインターバルで生じ得る。例えば、ステップ１３１６は、基準データ（例えば、基準画像）およびハンドヘルドデータ（例えば、世界画像およびＩＭＵ配向）の一方または両方に基づいて、各カメラフレームにおいて実施されてもよい。ステップ１３１６はさらに、前の位置および／または配向計算を組み込み、推定正確度を改良してもよい。
第１の動作状態（「状態１」）によると、位置および／または配向は、（完全６自由度において）高正確度で、例えば、基準データのみに基づいて、計算され得る。４つ以上の基準が、観察されるとき、位置は、完全に解決されることができる。正確に３つの基準が、観察されるとき、位置に対して２つの可能性として考えられる解が存在し、そのうちの１つは、付加的処理および／または以前に計算された位置との比較に基づいて、破棄され得る。いくつかの実施形態では、ハンドヘルドデータが、計算正確度を補完および改良するために使用されてもよい。いくつかの実施形態では、拡張カルマンフィルタが、採用され、前の位置および／または配向計算に基づいて、正確度を改良してもよい。
第２の動作状態（「状態２」）によると、位置および／または配向は、例えば、基準データおよびハンドヘルドデータの両方を使用して計算されてもよい。２つの基準が、観察されるとき、基準データは、制約された位置および／または配向が計算されることを可能にし、ハンドヘルドデータは、基準データによって課された制約下で計算を完了するために使用されてもよい。いくつかの実施形態では、拡張カルマンフィルタが、採用され、前の位置および／または配向計算に基づいて、正確度を改良してもよい。第２の動作状態下で実施される計算は、第１の動作状態下で実施される計算ほど全体的に正確ではなくてもよい。
第３の動作状態（「状態３」）によると、位置および配向は、例えば、ハンドヘルドデータ（すなわち、デッドレコニング）のみに基づいて計算されてもよい。いくつかの実施形態では、拡張カルマンフィルタが、採用され、前の位置および／または配向計算に基づいて、正確度を改良してもよい。第３の動作状態下で実施される計算は、第１または第２の動作状態下で実施される計算ほど全体的に正確ではなくてもよい。
ステップ１３１８では、ＩＭＵバイアス補正が、実施され、ステップ１３１６において入力として提供されるＩＭＵデータの正確度を増加させてもよい。ＩＭＵデータは、経時的にドリフトし得るため、周期的更新は、ＩＭＵデータを再較正することができる。いくつかの実施形態では、バイアス更新が、第１の動作状態が選択されるときのみ提供され、高正確度バイアス更新が、提供されることができる。いくつかの実施形態では、バイアス更新は、両状態が基準データをその計算において利用するため、第１の動作状態または第２の動作状態のいずれかが選択されるときに提供される。バイアス更新は、各カメラフレームまたは所定のインターバルにおいて提供されることができる。
図１４は、本明細書に説明されるいくつかの実施形態による、簡略化されたコンピュータシステム１４００を図示する。図１４は、種々の実施形態によって提供される方法のステップの一部または全部を実施することができる、コンピュータシステム１４００の一実施例の略図を提供する。図１４は、種々のコンポーネントの一般化された例証を提供するためだけに意図され、そのいずれかまたは全てが、必要に応じて利用されてもよいことに留意されたい。図１４は、したがって、広義には、個々のシステム要素が、比較的に分離された様式または比較的により統合された様式においてどのように実装され得るかを図示する。
コンピュータシステム１４００は、バス１４０５を介して電気的に結合されることができる、または必要に応じて別様に通信し得る、ハードウェア要素を備えるように示される。ハードウェア要素は、限定ではないが、デジタル信号処理チップ、グラフィック加速プロセッサ、および／または同等物等、１つ以上の汎用プロセッサおよび／または１つ以上の特殊目的プロセッサを含む、１つ以上のプロセッサ１４１０と、限定ではないが、マウス、キーボード、カメラ、および／または同等物を含むことができる、１つ以上の入力デバイス１４１５と、限定ではないが、ディスプレイデバイス、プリンタ、および／または同等物を含むことができる、１つ以上の出力デバイス１４２０とを含んでもよい。
コンピュータシステム１４００はさらに、限定ではないが、ローカルおよび／またはネットワークアクセス可能記憶装置を備えることができ、および／または、限定ではないが、プログラム可能である、フラッシュ更新可能である、および／または同等物であることができる、ディスクドライブ、ドライブアレイ、光学記憶デバイス、ランダムアクセスメモリ（「ＲＡＭ」）等のソリッドステート記憶デバイス、および／または読取専用メモリ（「ＲＯＭ」）を含むことができる、１つ以上の非一過性記憶デバイス１４２５を含む、および／またはそれと通信してもよい。そのような記憶デバイスは、限定ではないが、種々のファイルシステム、データベース構造、および／または同等物を含む、任意の適切なデータ記憶を実装するように構成されてもよい。
コンピュータシステム１４００はまた、限定ではないが、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、８０２．１１デバイス、ＷｉＦｉデバイス、ＷｉＭａｘデバイス、セルラー通信設備等、および／または同等物等のモデム、ネットワークカード（無線または有線）、赤外線通信デバイス、無線通信デバイス、および／またはチップセットを含むことができる、通信サブシステム１４１９を含み得る。通信サブシステム１４１９は、１つ以上の入力および／または出力通信インターフェースを含み、データが、一実施例として挙げるために以下に説明されるネットワーク等のネットワーク、他のコンピュータシステム、テレビ、および／または本明細書に説明される任意の他のデバイスと交換されることを可能にしてもよい。所望の機能性および／または他の実装関心事に応じて、ポータブル電子デバイスまたは類似デバイスは、通信サブシステム１４１９を介して、画像および／または他の情報を通信してもよい。他の実施形態では、ポータブル電子デバイス、例えば、第１の電子デバイスは、コンピュータシステム１４００、例えば、電子デバイスの中に入力デバイス１４１５として組み込まれてもよい。いくつかの実施形態では、コンピュータシステム１４００はさらに、作業メモリ１４３５を備え、これは、上記に説明されるようなＲＡＭまたはＲＯＭデバイスを含むことができる。
コンピュータシステム１４００はまた、種々の実施形態によって提供されるコンピュータプログラムを備え得る、および／または本明細書に説明されるような他の実施形態によって提供される方法を実装および／またはシステムを構成するように設計され得る、１つ以上のアプリケーションプログラム１４４５等のオペレーティングシステム１４４０、デバイスドライバ、実行可能ライブラリ、および／または他のコードを含む、作業メモリ１４３５内に現在位置するものとして示される、ソフトウェア要素を含むことができる。単に、一例として、前述の方法に関して説明される１つ以上のプロシージャは、コンピュータおよび／またはコンピュータ内のプロセッサによって実行可能なコードおよび／または命令として実装され得、ある側面では、次いで、そのようなコードおよび／または命令は、説明される方法に従って１つ以上の動作を実施するように汎用コンピュータまたは他のデバイスを構成および／または適合するために使用されることができる。
これらの命令および／またはコードのセットは、上記に説明される記憶デバイス１４２５等の非一過性コンピュータ可読記憶媒体上に記憶されてもよい。ある場合には、記憶媒体は、コンピュータシステム１４００等のコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、コンピュータシステムと別個である、例えば、コンパクトディスク等の可撤性媒体である、および／または記憶媒体が、汎用コンピュータをその上に記憶される命令／コードを用いてプログラム、構成、および／または適合するために使用され得るように、インストールパッケージ内に提供され得る。これらの命令は、コンピュータシステム１４００によって実行可能である、実行可能コードの形態をとり得る、および／または、例えば、種々の概して利用可能なコンパイラ、インストールプログラム、圧縮／解凍ユーティリティ等のいずれかを使用したコンピュータシステム１４００上へのコンパイルおよび／またはインストールに応じて、次いで、実行可能コードの形態をとる、ソースおよび／またはインストール可能コードの形態をとり得る。
実質的変形例が、具体的要件に従って作製されてもよいことが、当業者に明白となるであろう。例えば、カスタマイズされたハードウェアもまた、使用され得る、および／または特定の要素が、ハードウェア、アプレット等のポータブルソフトウェアを含む、ソフトウェア、または両方内に実装され得る。さらに、ネットワーク入力／出力デバイス等の他のコンピューティングデバイスへの接続も、採用されてもよい。
前述のように、一側面では、いくつかの実施形態は、コンピュータシステム１４００等のコンピュータシステムを採用し、本技術の種々の実施形態による方法を実施してもよい。一式の実施形態によると、そのような方法のプロシージャの一部または全部は、プロセッサ１４１０が、オペレーティングシステム１４４０の中に組み込まれ得る、１つ以上の命令の１つ以上のシーケンス、および／または作業メモリ１４３５内に含有される、アプリケーションプログラム１４４５等の他のコードを実行することに応答して、コンピュータシステム１４００によって実施される。そのような命令は、記憶デバイス１４２５のうちの１つ以上のもの等の別のコンピュータ可読媒体から作業メモリ１４３５の中に読み取られてもよい。単に、一例として、作業メモリ１４３５内に含有される命令のシーケンスの実行は、プロセッサ１４１０に、本明細書に説明される方法の１つ以上のプロシージャを実施させ得る。加えて、または代替として、本明細書に説明される方法の一部は、特殊ハードウェアを通して実行されてもよい。
用語「機械可読媒体」および「コンピュータ可読媒体」は、本明細書で使用されるように、機械を具体的方式で動作させるデータを提供することに関わる、任意の媒体を指す。コンピュータシステム１４００を使用して実装される、ある実施形態では、種々のコンピュータ可読媒体は、実行のための命令／コードをプロセッサ１４１０に提供する際に関わり得る、および／またはそのような命令／コードを記憶および／または搬送するために使用され得る。多くの実装では、コンピュータ可読媒体は、物理的および／または有形記憶媒体である。そのような媒体は、不揮発性媒体または揮発性媒体の形態をとってもよい。不揮発性媒体は、例えば、記憶デバイス１４２５等の光学および／または磁気ディスクを含む。揮発性媒体は、限定ではないが、作業メモリ１４３５等の動的メモリを含む。
一般的形態の物理的および／または有形コンピュータ可読媒体は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュ−ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、またはコンピュータが命令および／またはコードを読み取ることができる、任意の他の媒体を含む。
種々の形態のコンピュータ可読媒体が、実行のための１つ以上の命令の１つ以上のシーケンスをプロセッサ１４１０に搬送する際に関わってもよい。単に、一例として、命令は、最初に、遠隔コンピュータの磁気ディスクおよび／または光学ディスク上で搬送されてもよい。遠隔コンピュータは、命令をその動的メモリの中にロードし、コンピュータシステム１４００によって受信および／または実行される伝送媒体を経由して、命令を信号として送信し得る。
通信サブシステム１４１９および／またはそのコンポーネントは、概して、信号を受信し、バス１４０５が、次いで、信号および／または信号によって搬送されるデータ、命令等を作業メモリ１４３５に搬送し得、そこから、プロセッサ１４１０が、命令を読み出し、実行する。作業メモリ１４３５によって受信された命令は、随意に、プロセッサ１４１０による実行前または後のいずれかにおいて、非一過性記憶デバイス１４２５上に記憶されてもよい。
前述の方法、システム、およびデバイスは、実施例である。種々の構成は、必要に応じて、種々のプロシージャまたはコンポーネントを省略、代用、または追加してもよい。例えば、代替構成では、本方法は、説明されるものと異なる順序で実施されてもよく、および／または種々の段階は、追加される、省略される、および／または組み合わせられてもよい。また、ある構成に関して説明される特徴は、種々の他の構成において組み合わせられてもよい。構成の異なる側面および要素は、類似様式で組み合わせられてもよい。また、技術は、進歩するものであって、したがって、要素の多くは、実施例であって、本開示の範囲または請求項を限定するものではない。
具体的詳細が、実装を含む、例示的構成の完全な理解を提供するために説明に与えられる。しかしながら、構成は、これらの具体的詳細を伴わずに実践されてもよい。例えば、周知の回路、プロセス、アルゴリズム、構造、および技法は、構成を曖昧にすることを回避するために、不必要な詳細を伴わずに示されている。本説明は、例示的構成のみを提供し、請求項の範囲、可用性、または構成を限定するものではない。むしろ、構成の前述の説明は、当業者に説明される技法を実装するための有効な説明を提供するであろう。種々の変更が、本開示の精神または範囲から逸脱することなく、要素の機能および配列に行われてもよい。
また、構成は、概略フローチャートまたはブロック図として描写される、プロセスとして説明され得る。それぞれ、シーケンシャルプロセスとして動作を説明し得るが、動作の多くは、並行して、または同時に実施されてもよい。加えて、動作の順序は、再配列されてもよい。プロセスは、図内に含まれない付加的ステップを有してもよい。さらに、本方法の実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、または任意のそれらの組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコード内に実装されるとき、必要タスクを実施するためのプログラムコードまたはコードセグメントは、記憶媒体等の非一過性コンピュータ可読媒体内に記憶されてもよい。プロセッサは、説明されるタスクを実施してもよい。
いくつかの例示的構成が説明されたが、種々の修正、代替構造、および均等物が、本開示の精神から逸脱することなく、使用されてもよい。例えば、前述の要素は、より大きいシステムのコンポーネントであってもよく、他のルールが、本技術の適用に優先する、または別様にそれを修正してもよい。また、いくつかのステップは、前述の要素が検討される前、間、または後に行われてもよい。故に、前述の説明は、請求項の範囲を束縛するものではない。
本明細書および添付の請求項で使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈によって明確に別様に示されない限り、複数参照を含む。したがって、例えば、「ユーザ」の言及は、複数のそのようなユーザを含み、「プロセッサ」の言及は、１つ以上のプロセッサおよび当業者に公知のその均等物等の言及を含む。
また、単語「ｃｏｍｐｒｉｓｅ（〜を備える）」、「ｃｏｍｐｒｉｓｉｎｇ（〜を備える）」、「ｃｏｎｔａｉｎｓ（〜を含有する）」、「ｃｏｎｔａｉｎｉｎｇ（〜を含有する）」、「ｉｎｃｌｕｄｅ（〜を含む）」、「ｉｎｃｌｕｄｉｎｇ（〜を含む）」、および「ｉｎｃｌｕｄｅｓ（〜を含む）」は、本明細書および以下の請求項で使用されるとき、述べられた特徴、整数、コンポーネント、またはステップの存在を規定するために意図されるが、それらは、１つ以上の他の特徴、整数、コンポーネント、ステップ、行為、またはグループの存在または追加を除外するものではない。
また、本明細書に説明される実施例および実施形態は、例証目的のためだけのものであり、それに照らして、種々の修正または変更が、当業者に示唆され、本願の精神および範囲および添付される請求項の範囲内に含まれるものであることを理解されたい。

Claims (20)

  1. ウェアラブルデバイスに対するハンドヘルドデバイスの位置特定を実施する方法であって、前記方法は、
    前記ハンドヘルドデバイスに搭載される少なくとも１つのセンサによって、前記ハンドヘルドデバイスの移動を示すハンドヘルドデータを取得することであって、前記ハンドヘルドデータを取得することは、
    前記ハンドヘルドデバイスに搭載される慣性測定ユニット（ＩＭＵ）によって、前記ハンドヘルドデバイスの線形加速および回転速度を検出することと、
    前記ハンドヘルドデバイスに搭載されるハンドヘルドカメラによって、前記ハンドヘルドデバイスを囲繞する１つ以上の特徴を含有する世界画像を捕捉することと
    を含む、ことと、
    前記ウェアラブルデバイスに搭載されるウェアラブルカメラによって、前記ハンドヘルドデバイスの移動を示す基準データを取得することであって、前記基準データを取得することは、
    前記ウェアラブルカメラによって、前記ハンドヘルドデバイスに添着される複数の基準のうちのいくつかの基準を含有する基準画像を捕捉すること
    を含む、ことと、
    前記基準画像内の基準の数を決定することと、
    前記基準の数が３以上であることの決定に応答して、前記基準データのみに基づいて、第１の動作状態に従って、前記ハンドヘルドデバイスの位置および配向のうちの少なくとも１つを更新することと、
    前記基準の数が１または２と等しいことの決定に応答して、前記基準データおよび前記ハンドヘルドデータに基づいて、第２の動作状態に従って、前記ハンドヘルドデバイスの位置および配向のうちの少なくとも１つを更新することと、
    前記基準の数がゼロと等しいことの決定に応答して、前記ハンドヘルドデータのみに基づいて、第３の動作状態に従って、前記ハンドヘルドデバイスの位置および配向のうちの少なくとも１つを更新することと
    を含む、方法。
  2. 前記複数の基準は、発光ダイオード（ＬＥＤ）を備える、請求項１に記載の方法。
  3. ウェアラブルデバイスに対するハンドヘルドデバイスの位置特定を実施する方法であって、前記方法は、
    前記ハンドヘルドデバイスに搭載される慣性測定ユニット（ＩＭＵ）によって、前記ハンドヘルドデバイスの移動を示すハンドヘルドデータを取得することと、
    第１のデバイスに搭載される結像デバイスによって、前記ハンドヘルドデバイスの移動を示す基準データを取得することであって、前記第１のデバイスは、前記ハンドヘルドデバイスまたは前記ウェアラブルデバイスのいずれかであり、前記基準データを取得することは、
    前記結像デバイスによって、前記第１のデバイスと異なる第２のデバイスに添着されるいくつかの基準を含有する基準画像を捕捉することであって、前記第２のデバイスは、前記ハンドヘルドデバイスまたは前記ウェアラブルデバイスのいずれかである、こと
    を含む、ことと、
    前記基準画像内に含有される基準の数を決定することと、
    前記基準画像内に含有される基準の数に基づいて、前記基準データおよび前記ハンドヘルドデータに基づいて、第１の動作状態または第２の動作状態に従って、前記ハンドヘルドデバイスの位置および配向を更新することと
    を含む、方法。
  4. 前記複数の基準は、発光ダイオード（ＬＥＤ）を備える、請求項３に記載の方法。
  5. 前記結像デバイスは、前記ハンドヘルドデバイスに搭載され、前記いくつかの基準を含む複数の基準は、前記ウェアラブルデバイスに添着される、請求項３に記載の方法。
  6. 前記結像デバイスは、前記ウェアラブルデバイスに搭載され、前記いくつかの基準を含む複数の基準は、前記ハンドヘルドデバイスに添着される、請求項３に記載の方法。
  7. 前記結像デバイスは、前記ハンドヘルドデバイスに搭載され、前記いくつかの基準を含む１つ以上の基準は、前記ウェアラブルデバイスに添着され、前記ハンドヘルドデータを取得することは、
    前記ハンドヘルドデバイスに搭載される第２のハンドヘルド結像デバイスによって、前記ハンドヘルドデバイスを囲繞する１つ以上の特徴を含有する世界画像を捕捉すること
    を含む、請求項３に記載の方法。
  8. 前記結像デバイスは、前記ウェアラブルデバイスに搭載され、前記いくつかの基準を含む複数の基準は、前記ハンドヘルドデバイスに添着され、前記ハンドヘルドデータを取得することは、
    前記ハンドヘルドデバイスに搭載される第２のハンドヘルド結像デバイスによって、前記ハンドヘルドデバイスを囲繞する１つ以上の特徴を含有する世界画像を捕捉すること
    を含む、請求項３に記載の方法。
  9. 前記基準の数が３以上であることの決定に応答して、前記基準データに基づいて、前記第１の動作状態に従って、前記ハンドヘルドデバイスの位置および配向のうちの少なくとも１つを更新することと、
    前記基準の数が１または２と等しいことの決定に応答して、前記基準データおよび前記ハンドヘルドデータに基づいて、前記第２の動作状態に従って、前記ハンドヘルドデバイスの位置および配向のうちの少なくとも１つを更新することと
    をさらに含む、請求項３に記載の方法。
  10. 前記基準の数がゼロと等しいことの決定に応答して、前記ハンドヘルドデータに基づいて、第３の動作状態に従って、前記ハンドヘルドデバイスの位置および配向のうちの少なくとも１つを更新することをさらに含む、請求項９に記載の方法。
  11. 前記ハンドヘルドデバイスの位置および配向のうちの少なくとも１つは、前記基準データのみに基づいて、前記第１の動作状態に従って更新され、
    前記ハンドヘルドデバイスの位置および配向のうちの少なくとも１つは、前記ハンドヘルドデータのみに基づいて、前記第３の動作状態に従って更新される、請求項１０に記載の方法。
  12. ウェアラブルデバイスに対するハンドヘルドデバイスの位置特定を実施するためのシステムであって、前記システムは、
    前記ウェアラブルデバイスと、
    前記ハンドヘルドデバイスと、
    前記ウェアラブルデバイスおよび前記ハンドヘルドデバイスに通信可能に結合される１つ以上のプロセッサであって、前記１つ以上のプロセッサは、
    前記ハンドヘルドデバイスに搭載される慣性測定ユニット（ＩＭＵ）によって、前記ハンドヘルドデバイスの移動を示すハンドヘルドデータを取得することと、
    第１のデバイスに搭載される結像デバイスによって、前記ハンドヘルドデバイスの移動を示す基準データを取得することであり、前記第１のデバイスは、前記ハンドヘルドデバイスまたは前記ウェアラブルデバイスのいずれかであって、前記基準データを取得することは、
    前記結像デバイスによって、前記第１のデバイスと異なる第２のデバイスに添着されるいくつかの基準を含有する基準画像を捕捉することであって、前記第２のデバイスは、前記ハンドヘルドデバイスまたは前記ウェアラブルデバイスのいずれかである、こと
    を含む、ことと、
    前記基準画像内に含有される基準の数を決定することと、
    前記基準画像内に含有される基準の数に基づいて、前記基準データおよび前記ハンドヘルドデータに基づいて、第１の動作状態または第２の動作状態に従って、前記ハンドヘルドデバイスの位置および配向のうちの少なくとも１つを更新することと
    を含む動作を実施するように構成される、１つ以上のプロセッサと
    を備える、システム。
  13. 前記複数の基準は、発光ダイオード（ＬＥＤ）を備える、請求項１２に記載のシステム。
  14. 前記結像デバイスは、前記ハンドヘルドデバイスに搭載され、前記いくつかの基準を含む複数の基準は、前記ウェアラブルデバイスに添着される、請求項１２に記載のシステム。
  15. 前記結像デバイスは、前記ウェアラブルデバイスに搭載され、前記いくつかの基準を含む複数の基準は、前記ハンドヘルドデバイスに添着される、請求項１２に記載のシステム。
  16. 前記結像デバイスは、前記ハンドヘルドデバイスに搭載され、前記いくつかの基準を含む複数の基準は、前記ウェアラブルデバイスに添着され、前記ハンドヘルドデータを取得することは、
    前記ハンドヘルドデバイスに搭載される第２のハンドヘルド結像デバイスによって、前記ハンドヘルドデバイスを囲繞する１つ以上の特徴を含有する世界画像を捕捉すること
    を含む、請求項１２に記載のシステム。
  17. 前記結像デバイスは、前記ウェアラブルデバイスに搭載され、前記いくつかの基準を含む１つ以上の基準は、前記ハンドヘルドデバイスに添着され、前記ハンドヘルドデータを取得することは、
    前記ハンドヘルドデバイスに搭載される第２のハンドヘルド結像デバイスによって、前記ハンドヘルドデバイスを囲繞する１つ以上の特徴を含有する世界画像を捕捉すること
    を含む、請求項１２に記載のシステム。
  18. 前記動作はさらに、
    前記基準の数が３以上であることの決定に応答して、前記基準データに基づいて、前記第１の動作状態に従って、前記ハンドヘルドデバイスの位置および配向のうちの少なくとも１つを更新することと、
    前記基準の数が１または２と等しいことの決定に応答して、前記基準データおよび前記ハンドヘルドデータに基づいて、前記第２の動作状態に従って、前記ハンドヘルドデバイスの位置および配向のうちの少なくとも１つを更新することと
    を含む、請求項１２に記載のシステム。
  19. 前記動作はさらに、
    前記基準の数がゼロと等しいことの決定に応答して、前記ハンドヘルドデータに基づいて、第３の動作状態に従って、前記ハンドヘルドデバイスの位置および配向のうちの少なくとも１つを更新すること
    を含む、請求項１８に記載のシステム。
  20. 前記ハンドヘルドデバイスの位置および配向のうちの少なくとも１つは、前記基準データのみに基づいて、前記第１の動作状態に従って更新され、
    前記ハンドヘルドデバイスの位置および配向のうちの少なくとも１つは、前記ハンドヘルドデータのみに基づいて、前記第３の動作状態に従って更新される、請求項１９に記載のシステム。
JP2019558710A 2018-03-07 2019-03-06 周辺デバイスの視覚的追跡 Active JP6785385B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862640009P 2018-03-07 2018-03-07
US62/640,009 2018-03-07
US201862640299P 2018-03-08 2018-03-08
US62/640,299 2018-03-08
PCT/US2019/021025 WO2019173524A1 (en) 2018-03-07 2019-03-06 Visual tracking of peripheral devices

Publications (2)

Publication Number Publication Date
JP2020518909A true JP2020518909A (ja) 2020-06-25
JP6785385B2 JP6785385B2 (ja) 2020-11-18

Family

ID=67847404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019558710A Active JP6785385B2 (ja) 2018-03-07 2019-03-06 周辺デバイスの視覚的追跡

Country Status (10)

Country Link
US (4) US10860090B2 (ja)
EP (2) EP4212222A1 (ja)
JP (1) JP6785385B2 (ja)
KR (2) KR102345492B1 (ja)
CN (2) CN110494792B (ja)
AU (2) AU2019231697B2 (ja)
CA (2) CA3139648A1 (ja)
IL (2) IL269587B (ja)
NZ (1) NZ757418A (ja)
WO (1) WO2019173524A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3139648A1 (en) 2018-03-07 2019-09-12 Magic Leap, Inc. Visual tracking of peripheral devices
US11265387B2 (en) * 2019-11-13 2022-03-01 At&T Intellectual Property I, L.P. Synchronizing multiple user devices in an immersive media environment using time-of-flight light patterns
JP2021077262A (ja) * 2019-11-13 2021-05-20 セイコーエプソン株式会社 頭部装着型表示装置、入力方式方法の切り替え方法、及び、その切り替えプログラム
US11128636B1 (en) 2020-05-13 2021-09-21 Science House LLC Systems, methods, and apparatus for enhanced headsets
US20210398314A1 (en) * 2020-06-17 2021-12-23 Qualcomm Incorporated Low power visual tracking systems
US11954268B2 (en) * 2020-06-30 2024-04-09 Snap Inc. Augmented reality eyewear 3D painting
US20230132644A1 (en) * 2021-10-28 2023-05-04 Meta Platforms Technologies, Llc Tracking a handheld device
US20240069651A1 (en) * 2022-08-30 2024-02-29 Htc Corporation Virtual reality tracker and tracker correction position method
GB2624929A (en) * 2022-12-01 2024-06-05 Sony Interactive Entertainment Inc Systems and methods for mapping and localisation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090209343A1 (en) * 2008-02-15 2009-08-20 Eric Foxlin Motion-tracking game controller
WO2014188798A1 (ja) * 2013-05-21 2014-11-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
JP2016527536A (ja) * 2013-06-07 2016-09-08 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイでユーザーの動きに応答する画像レンダリング
WO2017007637A1 (en) * 2015-07-07 2017-01-12 Google Inc. System for tracking a handheld device in virtual reality
US20170357333A1 (en) * 2016-06-09 2017-12-14 Alexandru Octavian Balan Passive optical and inertial tracking in slim form-factor
US20180004308A1 (en) * 2016-06-30 2018-01-04 Daniel Joseph McCulloch Camera-Based Input Device

Family Cites Families (175)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5704151A (en) 1995-03-24 1998-01-06 James Paul West Portable battery-powered safety lock
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US6577738B2 (en) 1996-07-17 2003-06-10 American Technology Corporation Parametric virtual speaker and surround-sound system
CA2307877C (en) 1997-10-30 2005-08-30 The Microoptical Corporation Eyeglass interface system
US6757068B2 (en) 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
US8019121B2 (en) 2002-07-27 2011-09-13 Sony Computer Entertainment Inc. Method and system for processing intensity from input devices for interfacing with a computer program
US8287373B2 (en) * 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
JP4292927B2 (ja) 2003-09-16 2009-07-08 カシオ計算機株式会社 ペン型データ入力装置及び該プログラム
JP4364002B2 (ja) 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
JP2005252732A (ja) 2004-03-04 2005-09-15 Olympus Corp 撮像装置
JP4373286B2 (ja) 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
US20060103633A1 (en) 2004-11-17 2006-05-18 Atrua Technologies, Inc. Customizable touch input module for an electronic device
US20060181521A1 (en) 2005-02-14 2006-08-17 Atrua Technologies, Inc. Systems for dynamically illuminating touch sensors
US7548230B2 (en) 2005-05-27 2009-06-16 Sony Computer Entertainment Inc. Remote input device
KR100811160B1 (ko) 2005-06-02 2008-03-07 삼성전자주식회사 사용자명령을 3차원적으로 입력가능한 전자장치
KR100538572B1 (ko) 2005-06-14 2005-12-23 (주)멜파스 시각적 입력 피드백을 포함하는 사용자 접촉 기반의 디지털기기 제어 장치 및 방법
JP4682927B2 (ja) 2005-08-03 2011-05-11 セイコーエプソン株式会社 静電型超音波トランスデューサ、超音波スピーカ、音声信号再生方法、超音波トランスデューサの電極の製造方法、超音波トランスデューサの製造方法、超指向性音響システム、および表示装置
JP4914124B2 (ja) 2006-06-14 2012-04-11 パナソニック株式会社 音像制御装置及び音像制御方法
DE102006037545B4 (de) 2006-08-10 2015-05-28 Ferton Holding S.A. Bedienelement und Verfahren zur Eingabe von Werten an einem medizinischen Gerät
US20100020229A1 (en) 2007-04-30 2010-01-28 General Electric Company Wearable personal video/audio device method and system
JP4857196B2 (ja) 2007-05-31 2012-01-18 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
US20090002218A1 (en) 2007-06-28 2009-01-01 Matsushita Electric Industrial Co., Ltd. Direction and holding-style invariant, symmetric design, touch and button based remote user interaction device
JP4626671B2 (ja) 2008-04-24 2011-02-09 ソニー株式会社 入力装置及び制御システム
TWI360068B (en) 2008-05-30 2012-03-11 Asustek Comp Inc Pointing device and method for determining rotatio
JP2010015535A (ja) 2008-06-02 2010-01-21 Sony Corp 入力装置、制御システム、ハンドヘルド装置及び校正方法
US8620009B2 (en) 2008-06-17 2013-12-31 Microsoft Corporation Virtual sound source positioning
DK3266367T3 (da) * 2008-07-24 2021-06-07 Massachusetts Inst Technology Systemer og fremgangsmåder til billeddannelse ved anvendelse af absorption
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US8138938B2 (en) 2008-10-28 2012-03-20 The Boeing Company Hand-held positioning interface for spatial query
WO2011010414A1 (ja) 2009-07-21 2011-01-27 株式会社ソニー・コンピュータエンタテインメント ゲーム装置
JP5453006B2 (ja) 2009-07-21 2014-03-26 株式会社ソニー・コンピュータエンタテインメント ゲーム装置
CN102781527B (zh) 2009-12-24 2015-07-22 索尼电脑娱乐公司 无线装置配对方法
US8665177B2 (en) 2010-02-05 2014-03-04 Kopin Corporation Touch sensor for controlling eyewear
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
WO2011156195A2 (en) 2010-06-09 2011-12-15 Dynavox Systems Llc Speech generation device with a head mounted display unit
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
EP2656135B1 (en) 2010-12-24 2022-05-04 Magic Leap, Inc. Freeform waveguide prism
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
WO2012154620A2 (en) 2011-05-06 2012-11-15 Magic Leap, Inc. Massive simultaneous remote digital presence world
US8179604B1 (en) 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
US20130083018A1 (en) 2011-09-30 2013-04-04 Kevin A. Geisner Personal audio/visual system with holographic objects
CN103105926A (zh) * 2011-10-17 2013-05-15 微软公司 多传感器姿势识别
US20130104085A1 (en) 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface
EP3258671B1 (en) * 2011-10-28 2018-09-05 Magic Leap, Inc. System and method for augmented and virtual reality
BR112014012615A2 (pt) 2011-11-23 2017-06-13 Magic Leap Inc sistema de exibição de realidade aumentada e virtual tridimensional
US9497501B2 (en) 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
EP2618564A1 (en) 2012-01-18 2013-07-24 Harman Becker Automotive Systems GmbH Method for operating a conference system and device for a conference system
JP6044079B2 (ja) 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2013124741A1 (en) 2012-02-21 2013-08-29 Comsa Radu Mircea Augmented reality system
JP5970872B2 (ja) 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US8831255B2 (en) 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US9096920B1 (en) 2012-03-22 2015-08-04 Google Inc. User interface method
NZ700887A (en) 2012-04-05 2016-11-25 Magic Leap Inc Wide-field of view (fov) imaging devices with active foveation capability
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN104737061B (zh) 2012-06-11 2018-01-16 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9041622B2 (en) 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US9152226B2 (en) 2012-06-15 2015-10-06 Qualcomm Incorporated Input method designed for augmented reality goggles
US9384737B2 (en) 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
US9740006B2 (en) 2012-09-11 2017-08-22 Magic Leap, Inc. Ergonomic head mounted display device and optical system
WO2014096900A1 (en) 2012-12-18 2014-06-26 Nokia Corporation Spatial audio apparatus
WO2014108728A2 (en) 2013-01-08 2014-07-17 Ayotle Sas Methods and systems for controlling a virtual interactive surface and interactive display systems
IL301489B1 (en) 2013-01-15 2024-04-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
JP6079268B2 (ja) 2013-01-29 2017-02-15 セイコーエプソン株式会社 画像表示装置
EP2967322A4 (en) 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
KR20230113418A (ko) 2013-03-15 2023-07-28 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
EP2797313A1 (en) 2013-04-26 2014-10-29 Elvesjö, John Computer graphics presentation system and method
US20140328505A1 (en) 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
US10019057B2 (en) 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US20140362110A1 (en) 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
GB201310373D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable Apparatus and systems
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
GB201310364D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
KR20150026336A (ko) 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP6200756B2 (ja) 2013-10-02 2017-09-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ポインティング装置、ポインティング方法、及び、ポインティング装置用プログラム
CN105829953B (zh) 2013-10-16 2019-05-28 奇跃公司 具有可调节的瞳距的虚拟或增强现实头戴设备
WO2015065494A1 (en) * 2013-11-04 2015-05-07 Bodhi Technology Ventures Llc Detecting stowing or unstowing of a mobile device
US9111076B2 (en) 2013-11-20 2015-08-18 Lg Electronics Inc. Mobile terminal and control method thereof
US20150138065A1 (en) 2013-11-21 2015-05-21 Nvidia Corporation Head-mounted integrated interface
JP2017505933A (ja) * 2013-11-26 2017-02-23 シェフィ，ヨァヴ 実在の物体上に固定された仮想画像を生成する方法及びシステム
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US10175478B2 (en) 2014-05-30 2019-01-08 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
US10585486B2 (en) 2014-01-03 2020-03-10 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
NZ722903A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
WO2015117043A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
CA2841371A1 (en) 2014-01-31 2015-07-31 Usquare Soft Inc. Devices and methods for portable processing and application execution
CA3027407A1 (en) * 2014-02-18 2015-08-27 Merge Labs, Inc. Head mounted display goggles for use with mobile computing devices
WO2015123771A1 (en) 2014-02-18 2015-08-27 Sulon Technologies Inc. Gesture tracking and control in augmented and virtual reality
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2015139005A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Methods and systems tracking head mounted display (hmd) and calibrations for hmd headband adjustments
WO2015139002A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
US9163933B1 (en) 2014-03-28 2015-10-20 Rockwell Collins, Inc. Wearable head tracking system
US9542011B2 (en) * 2014-04-08 2017-01-10 Eon Reality, Inc. Interactive virtual reality systems and methods
WO2015157862A1 (en) 2014-04-14 2015-10-22 Tremolant Inc. Augmented reality communications
US9495801B2 (en) 2014-05-01 2016-11-15 Microsoft Technology Licensing, Llc Pose tracking an augmented reality device
CN106537290B (zh) 2014-05-09 2019-08-27 谷歌有限责任公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法
CA2926861C (en) * 2014-05-21 2017-03-07 Millennium Three Technologies Inc Fiducial marker patterns, their automatic detection in images, and applications thereof
JP2015228009A (ja) 2014-06-03 2015-12-17 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報送受信システム、および、コンピュータープログラム
JP6355978B2 (ja) 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
WO2015192117A1 (en) 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
DE102014009298A1 (de) 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
US20150382130A1 (en) 2014-06-27 2015-12-31 Patrick Connor Camera based adjustments to 3d soundscapes
GB2528699B (en) 2014-07-29 2017-05-03 Sony Computer Entertainment Europe Ltd Image processing
US10444849B2 (en) 2014-09-01 2019-10-15 Yinbo Li Multi-surface controller
US10509865B2 (en) * 2014-09-18 2019-12-17 Google Llc Dress form for three-dimensional drawing inside virtual reality environment
US9984505B2 (en) 2014-09-30 2018-05-29 Sony Interactive Entertainment Inc. Display of text information on a head-mounted display
KR101960654B1 (ko) 2014-10-14 2019-03-22 아스일 나이어 후세인 신체 특성에 관한 데이터를 포착하고 출력하기 위한 시스템, 디바이스, 및 방법
US10705619B2 (en) * 2014-11-21 2020-07-07 Abhishek Johri System and method for gesture based data and command input via a wearable device
KR101651535B1 (ko) * 2014-12-02 2016-09-05 경북대학교 산학협력단 Hmd 디바이스 및 그 제어 방법
CN107111339A (zh) 2014-12-24 2017-08-29 电子部品研究院 可穿戴电子设备
US10571696B2 (en) 2014-12-26 2020-02-25 Cy Vision Inc. Near-to-eye display device
US10265621B2 (en) 2015-01-20 2019-04-23 Disney Enterprises, Inc. Tracking specific gestures relative to user movement
US9787846B2 (en) 2015-01-21 2017-10-10 Microsoft Technology Licensing, Llc Spatial audio signal processing for objects with associated audio content
JP6465672B2 (ja) * 2015-01-29 2019-02-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
KR101627652B1 (ko) 2015-01-30 2016-06-07 가우디오디오랩 주식회사 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
US10180734B2 (en) * 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
NZ735465A (en) 2015-03-05 2021-07-30 Magic Leap Inc Systems and methods for augmented reality
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10412173B2 (en) 2015-04-22 2019-09-10 Panasonic Avionics Corporation Passenger seat pairing system
EP3289430B1 (en) 2015-04-27 2019-10-23 Snap-Aid Patents Ltd. Estimating and using relative head pose and camera field-of-view
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US20160378204A1 (en) * 2015-06-24 2016-12-29 Google Inc. System for tracking a handheld device in an augmented and/or virtual reality environment
CN105117016A (zh) 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的交互手柄
EP4254145A3 (en) 2015-09-16 2023-11-01 Magic Leap, Inc. Head pose mixing of audio files
JP6684559B2 (ja) 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US10338673B2 (en) 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
FR3046489B1 (fr) 2016-01-05 2018-01-12 Mimi Hearing Technologies GmbH Encodeur ambisonique ameliore d'une source sonore a pluralite de reflexions
US10324293B2 (en) * 2016-02-23 2019-06-18 Compedia Software and Hardware Development Ltd. Vision-assisted input within a virtual world
US9774979B1 (en) 2016-03-03 2017-09-26 Google Inc. Systems and methods for spatial audio adjustment
JP2017163432A (ja) 2016-03-10 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7052719B2 (ja) 2016-03-10 2022-04-12 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
CA3021964A1 (en) * 2016-04-26 2017-11-02 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
CN105975082B (zh) 2016-05-27 2019-01-15 北京小鸟看看科技有限公司 一种应用于虚拟现实头戴设备的手柄控制器
US20170352184A1 (en) * 2016-06-06 2017-12-07 Adam G. Poulos Optically augmenting electromagnetic tracking in mixed reality
US10254546B2 (en) * 2016-06-06 2019-04-09 Microsoft Technology Licensing, Llc Optically augmenting electromagnetic tracking in mixed reality
US10146335B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US20170354864A1 (en) 2016-06-11 2017-12-14 Sony Interactive Entertainment Inc. Directional Interface Object
US10037626B2 (en) * 2016-06-30 2018-07-31 Microsoft Technology Licensing, Llc Interaction with virtual objects based on determined restrictions
US9972119B2 (en) 2016-08-11 2018-05-15 Microsoft Technology Licensing, Llc Virtual object hand-off and manipulation
KR102357273B1 (ko) 2016-08-22 2022-02-08 매직 립, 인코포레이티드 가상, 증강, 및 혼합 현실 시스템들 및 방법들
USD797743S1 (en) 2016-08-22 2017-09-19 Magic Leap, Inc. Totem controller
KR102462271B1 (ko) 2016-09-26 2022-11-03 스냅 인코포레이티드 광학 코드들에 의한 디바이스 페어링
US10440240B2 (en) * 2016-09-30 2019-10-08 Sony Interactive Entertainment Inc. Systems and methods for reducing an effect of occlusion of a tracker by people
US10088902B2 (en) * 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
DK3545385T3 (da) 2016-11-25 2021-10-04 Sensoryx AG Bærbart bevægelsessporingssystem
US10452133B2 (en) * 2016-12-12 2019-10-22 Microsoft Technology Licensing, Llc Interacting with an environment using a parent device and at least one companion device
US10451439B2 (en) 2016-12-22 2019-10-22 Microsoft Technology Licensing, Llc Dynamic transmitter power control for magnetic tracker
US10650552B2 (en) * 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
US10373342B1 (en) * 2017-01-10 2019-08-06 Lucasfilm Entertainment Company Ltd. Content generation in an immersive environment
CN106815859B (zh) * 2017-01-13 2019-07-16 大连理工大学 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法
US10843068B2 (en) * 2017-01-18 2020-11-24 Xvisio Technology Corp. 6DoF inside-out tracking game controller
US11740690B2 (en) * 2017-01-27 2023-08-29 Qualcomm Incorporated Systems and methods for tracking a controller
US10433094B2 (en) 2017-02-27 2019-10-01 Philip Scott Lyren Computer performance of executing binaural sound
WO2018182274A1 (ko) 2017-03-27 2018-10-04 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치
AU2018244316B2 (en) 2017-03-28 2022-09-29 Magic Leap, Inc. Augmented reality system with spatialized audio tied to user manipulated virtual object
US10726574B2 (en) * 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
IL270146B1 (en) 2017-04-27 2024-03-01 Magic Leap Inc Light emitting assembly for illuminating light patterns
US10496157B2 (en) * 2017-05-09 2019-12-03 Microsoft Technology Licensing, Llc Controlling handheld object light sources for tracking
US10817128B2 (en) * 2017-07-11 2020-10-27 Logitech Europe S.A. Input device for VR/AR applications
US10152141B1 (en) * 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
CN107767450B (zh) * 2017-10-31 2021-05-28 南京维睛视空信息科技有限公司 一种基于sparse-slam的实时建图方法
US10816334B2 (en) * 2017-12-04 2020-10-27 Microsoft Technology Licensing, Llc Augmented reality measurement and schematic system including tool having relatively movable fiducial markers
US10514545B2 (en) * 2017-12-08 2019-12-24 Facebook Technologies, Llc Selective tracking of a head-mounted display
US10325411B1 (en) * 2017-12-13 2019-06-18 The Charles Stark Draper Laboratory, Inc. Egocentric odometry system for maintaining pose alignment between real and virtual worlds
US10558260B2 (en) * 2017-12-15 2020-02-11 Microsoft Technology Licensing, Llc Detecting the pose of an out-of-range controller
US10773169B2 (en) * 2018-01-22 2020-09-15 Google Llc Providing multiplayer augmented reality experiences
CA3139648A1 (en) 2018-03-07 2019-09-12 Magic Leap, Inc. Visual tracking of peripheral devices
US10628711B2 (en) * 2018-04-24 2020-04-21 Microsoft Technology Licensing, Llc Determining pose of handheld object in environment
US10535199B1 (en) * 2018-06-18 2020-01-14 Facebook Technologies, Llc Systems and methods for determining a safety boundary for a mobile artificial reality user

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090209343A1 (en) * 2008-02-15 2009-08-20 Eric Foxlin Motion-tracking game controller
WO2014188798A1 (ja) * 2013-05-21 2014-11-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
JP2016527536A (ja) * 2013-06-07 2016-09-08 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイでユーザーの動きに応答する画像レンダリング
WO2017007637A1 (en) * 2015-07-07 2017-01-12 Google Inc. System for tracking a handheld device in virtual reality
US20170357333A1 (en) * 2016-06-09 2017-12-14 Alexandru Octavian Balan Passive optical and inertial tracking in slim form-factor
US20180004308A1 (en) * 2016-06-30 2018-01-04 Daniel Joseph McCulloch Camera-Based Input Device

Also Published As

Publication number Publication date
US20220113792A1 (en) 2022-04-14
EP3593198B1 (en) 2023-03-08
KR20190122266A (ko) 2019-10-29
AU2019231697A1 (en) 2019-10-10
AU2019231697B2 (en) 2020-01-30
IL269587B (en) 2021-07-29
EP3593198A1 (en) 2020-01-15
CA3059064A1 (en) 2019-09-12
AU2020202820A1 (en) 2020-05-21
CN110494792B (zh) 2021-07-09
JP6785385B2 (ja) 2020-11-18
US20200026348A1 (en) 2020-01-23
CA3059064C (en) 2022-01-04
AU2020202820B2 (en) 2020-10-15
US11181974B2 (en) 2021-11-23
US20230195212A1 (en) 2023-06-22
WO2019173524A1 (en) 2019-09-12
KR102345492B1 (ko) 2021-12-29
CN110494792A (zh) 2019-11-22
EP3593198A4 (en) 2020-03-18
CN113426098A (zh) 2021-09-24
US11625090B2 (en) 2023-04-11
CA3139648A1 (en) 2019-09-12
KR20200067959A (ko) 2020-06-12
IL284819B (en) 2022-05-01
NZ757418A (en) 2020-06-26
IL284819A (en) 2021-08-31
US11989339B2 (en) 2024-05-21
US20210116991A1 (en) 2021-04-22
KR102122600B1 (ko) 2020-06-12
EP4212222A1 (en) 2023-07-19
US10860090B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
US11625090B2 (en) Visual tracking of peripheral devices
JP5927966B2 (ja) 表示制御装置、表示制御方法、及びプログラム
WO2016031105A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11600049B2 (en) Perimeter estimation from posed monocular video
US20210263592A1 (en) Hand and totem input fusion for wearable systems
US20220026981A1 (en) Information processing apparatus, method for processing information, and program
US11994676B2 (en) Method and system for resolving hemisphere ambiguity in six degree of freedom pose measurements

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191028

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191028

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201026

R150 Certificate of patent or registration of utility model

Ref document number: 6785385

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250