JP2017536618A - ウェアラブル可視化デバイスのための仮想測定ツール - Google Patents

ウェアラブル可視化デバイスのための仮想測定ツール Download PDF

Info

Publication number
JP2017536618A
JP2017536618A JP2017522617A JP2017522617A JP2017536618A JP 2017536618 A JP2017536618 A JP 2017536618A JP 2017522617 A JP2017522617 A JP 2017522617A JP 2017522617 A JP2017522617 A JP 2017522617A JP 2017536618 A JP2017536618 A JP 2017536618A
Authority
JP
Japan
Prior art keywords
user
measurement tool
virtual measurement
points
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017522617A
Other languages
English (en)
Inventor
ベヴィス，ジョナサン
ファイト，ニコラス
ヒル，デイビット
マーフィー，ブライアン
パウロヴィッチ，ジョン
トーマス，マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2017536618A publication Critical patent/JP2017536618A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/012—Dimensioning, tolerancing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザに拡張現実および／または仮想現実体験を提供するために装備されるヘッドセット、メガネ、またはゴーグル等のウェアラブル可視化デバイスにおいて仮想測定ツールを生成し、表示する技法が開示される。ある特定の実施形態では、デバイスは、例えば、ジェスチャー認識、視線追跡、および／または発話認識を使用することによる、ユーザからの入力に基づいて、ユーザが居る３次元空間における異なる場所において、複数の点をそれぞれ決定することによってツールを生成する。デバイスは、ツールが、ユーザに対して、ユーザの環境のリアルタイムで現実の視野に重なって見えるようにツールを表示する。

Description

[0001] 本発明の少なくとも１つの実施形態は、表示関連技術に関し、より詳細には、拡張現実または仮想現実表示デバイス等のウェアラブル可視化デバイスのための仮想測定ツールに関する。
[0002] 何千年もの間、人間は、自分達の環境を定量化し、より良く理解するためにさまざまなタイプの測定ツールを発明し、それらに頼っている。例えば、比較的短い空間距離を測定するために、何世紀にもわたってルーラが頼りにされている。巻尺はルーラを現代的に適応させたものであり、その後最近になって、レーザルーラおよび他のアクティブな測定ツールが発明された。
[0003] しかしながら、従来のルーラ、巻尺、およびレーザルーラ等の、普通の人には手頃である簡易な空間測定ツールには、ある欠点がある。例えば、これらのツールには、面積測定および容積測定等のより複雑な測定を行う能力が欠如している。また、多くの状況で、人は、一か所である物体を測定し、その物体が別の場所に収まるかどうかを判断することを望む場合がある。例えば、人は、自宅用に新しい家具を１点購入したい場合がある。典型的には、その状況で、この人は、自宅における利用可能な空間を測定後、家具店に行って、関心のある家具を何点か測定して、それら家具がその空間に収まるのかどうかを（またはその逆も同様に）判断しようとする。その場合、この人は、この利用可能な空間（またはこの家具製品）の寸法を覚えるか書き留めるかのどちらかを必要とし、これは不便である。
[0004] ここで紹介される技術は、ユーザに拡張現実および／または仮想現実（「ＡＲ／ＶＲ」）体験を提供するために装備されるヘッドセット、メガネ、またはゴーグル等のウェアラブル可視化デバイスにおいて仮想測定ツール（以下の説明では単に「ツール」とも呼ばれる）を生成し、表示する技法を含む。ある特定の実施形態では、デバイスは、例えば、ジェスチャー認識、視線追跡、発話認識、またはこれらの何らかの組み合わせを使用することによる、ユーザからの入力に基づいて、ユーザが居る３次元（３Ｄ）空間（環境）（例えば部屋）における異なる場所において、複数の点をそれぞれ決定することによってツールを生成する。デバイスは、ツールが、ユーザに対して、ユーザの環境のリアルタイムで実世界の視野に重なって見えるようにツールを表示する。
[0005] さまざまな実施形態において、ツールは、ユーザに対して、ホログラフィックルーラまたは同様の測定ツールとして表示され得る。ツールを定義するために使用される点は、３Ｄ空間における異なる点に固定させることができ、それによって、ツールは、ユーザに対して、ユーザがその３Ｄ空間を移動する場合でも、空間の固定された場所および方位にとどまるように見える。該点の少なくとも１つは、物理的オブジェクト上の対応する点に固定させることができる。例えば、ジェスチャー認識、視線追跡、および／または発話認識によって、ユーザは、６つの自由度のいずれかで（例えば、３つの直交軸のいずれかに沿った並進またはこれを中心とした回転で）ツールを移動させることもでき、ツールのサイズ、形状、単位、および他の特性を指定するまたは調節することができる。
[0006] 場合によっては、ツールは、基本的に、空間の２つのユーザ指定の点の間の単なる線または非常に細い矩形として表示できる。しかしながら、他の例では、ツールは、３つ以上のユーザ指定の点において頂点を有する２次元（２Ｄ）多角形、または４つ以上のユーザ指定の点における頂点を有する３Ｄ容積の形を取ることができる。これらの実施形態のいずれかにおいて、ツールは、ユーザに対して表示される際に、値および単位を含む目盛を含むことができる。さらに、デバイスは、決定された点のうちの任意の２つの間の長さの値、決定された点のうちの任意の３つ以上の間の面積の値、または、決定された点のうちの任意の４つ以上の間の容積の値を、自動的に計算し、ユーザに対して表示することができる。また、ある特定の実施形態において、デバイスは、ユーザが、任意の対応する測定値および設定を含む、メモリにおけるツールの状態を保存すること、および、該状態を異なる場所でリロードする／再表示することを可能にする。デバイスは、ユーザが居る３Ｄ空間（例えば部屋）においてデバイスから物体までの距離を測定するための深さカメラまたは他の同様のセンサを含むことができる。その距離情報に基づいて、デバイスは、その３Ｄ空間における面の３Ｄメッシュモデルを生成することができ、該３Ｄメッシュモデルを使用して、複数の決定された点の空間座標を特定することができる。複数の決定された点のうちの１つまたは複数を、３Ｄ空間における物体の１つまたは複数に空間的に関連付けることができる。
[0007] 技法の他の態様は、添付の図および詳細な説明から明らかとなるであろう。
[0008] この発明の概要は発明を実施するための形態においてさらに後述される選抜した概念を簡略化された形態で紹介するために提供される。この発明の概要は、特許請求される主題の重要な特徴または本質的な特徴を特定するように意図するものでもなく、特許請求される主題の範囲を限定するために使用されることを意図するものでもない。
[0009] 本発明の１つまたは複数の実施形態は、例として示され、添付の図面の図において限定するものではない。該図面において、同様の参照記号は同様の要素を指示する。
[0010]ＡＲ／ＶＲヘッドセットの一例を示す図である。 [0011]ＡＲ／ＶＲヘッドセットのある特定のコンポーネントのハイレベルブロック図である。 [0012]ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。 ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。 ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。 ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。 ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。 ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。 ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。 ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。 ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。 ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。 ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。 ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。 ＡＲ／ＶＲヘッドセットによるユーザの視野の例を示す図である。 [0013]仮想測定ツールと連系したヘッドセットによって行われ得るプロセスの一例を示す図である。 [0014]仮想測定ツールを提供するプロセスの一例をより詳細に示す図である。 [0015]シナリオ例に従って、仮想測定ツールを生成し、表示するプロセスをより詳細に示す図である。
[0016] この説明において、「一実施形態」または「１つの実施形態」等への言及は、説明される特定の特徴、機能、構造、または特性がここで紹介される技法の少なくとも１つの実施形態に含まれることを意味する。本明細書におけるこのような文言が現れる際、必ずしも全て同じ実施形態に言及するわけではない。他方で、言及される実施形態はまた、必ずしも相互に排他的というわけではない。
[0017] ここで紹介される技術は、ホログラフィックルーラ等の仮想（例えばホログラフィック）測定ツール（「ツール」）を生成し、表示するウェアラブル可視化デバイスを含む。可視化デバイスは、例えば、ＡＲ／ＶＲ体験をユーザに提供するために装備されるヘッドセット、メガネ、またはゴーグルとすることができる。このツールによって、デバイスのユーザ（例えば、着用者）は自身の近辺の物体または空間に関連付けられる距離、面積、および容積を容易に測定することができる。このデバイスによって、ユーザは、例えば、ジェスチャー、視線、もしくは発話、または、これらの任意の組み合わせでツールを容易に使用し、操作することができる。ユーザは、必要とするどんな長さ、サイズ、または形状にもツールをカスタマイズすることができる。さらに、ツールの状態は、メモリに保存でき、異なる環境においてリロード／再表示可能である。
［0018］ 図１は、ここで紹介される技法に従って、仮想測定ツールを提供できるＡＲ／ＶＲヘッドセットの一例を示す。しかしながら、ここで紹介される技法は、マシンで生成された画像をユーザの環境のリアルタイムで実世界の視野に重ね合わせる（重ねる）ことができる基本的に任意のタイプの可視化デバイスにおいて実装可能であることは留意されたい。示されるヘッドセット１はヘッドバンド２を含み、このヘッドバンド２によって、ヘッドセット１はユーザの頭部に取り外し可能に装着できる。ヘッドセット１は、ヘッドバンド２の剛性によって、および／または、図１に示されない締結機構によって簡易に適所に保持できる。ヘッドハンド２には、１つまたは複数の透明なまたは半透明なレンズ３が取り付けられ、このレンズは１つまたは複数の透明なまたは半透明なＡＲ／ＶＲ表示デバイス４を含み、これらそれぞれは、片目または両目に対してユーザの環境の視野に画像を重ね合わせることができる。ＡＲ／ＶＲ表示デバイス４の細部はここで紹介される技法と密接な関係はなく、ユーザの環境のリアルタイムで実世界の視野にマシンで生成された画像を重ね合わせることができる表示デバイスは当技術分野で既知であり、かかる性能を有する任意の既知のまたは便利な機構が使用可能である。
[0019] ヘッドセット１は、さらに、（例えば、音声コマンドを認識する際に使用するために）ユーザからの発話を入力するためのマイクロホン５と、音をユーザに出力するための１つまたは複数のオーディオスピーカ６と、実世界の空間におけるユーザの頭部の位置および方位を追跡する際に使用するための１つまたは複数の目追跡カメラ７と、目追跡カメラ７によって使用するための１つまたは複数の照明光源８と、近傍の面への距離を検出し、測定する際に使用するための１つまたは複数の深さカメラ９と、ユーザの環境の標準的な映像をキャプチャする、および／または該環境におけるユーザの場所を特定する際に使用するための１つまたは複数の外方に向けられた可視スペクトルカメラ１０と、前述の要素の少なくともいくつかを制御し、関連のデータ処理機能を果たす回路構成１１とを含む。回路構成１１は、例えば、１つまたは複数のプロセッサと１つまたは複数のメモリとを含むことができる。他の実施形態において、前述のコンポーネントがヘッドセット１上の異なる場所に位置決め可能であることは留意されたい。さらに、いくつかの実施形態は、前述のコンポーネントのいくつかを省略可能である、および／または上述されない追加のコンポーネントを含むことができる。
[0020] 図２は、ここで紹介される技法のいくつかの実施形態に従って、ＡＲ／ＶＲヘッドセット２０のある特定のコンポーネントのハイレベルブロック図である。図２におけるヘッドセット２０およびコンポーネントは図２におけるヘッドセット１を表すものであってよい。図２において、ヘッドセット２０の機能コンポーネントは、以下の、つまり、プロセッサ２１、メモリ２２、透明なまたは半透明なＡＲ／ＶＲ表示デバイス２３、オーディオスピーカ２４、深さカメラ２５、目追跡カメラ２６、マイクロホン２７、および通信デバイス２８のそれぞれの１つまたは複数のインスタンスを含み、これら全ては相互接続部２９によって共に（直接的にまたは間接的に）結合される。相互接続部２９は、１つまたは複数の導電性トレース、バス、ポイントツーポイント接続、コントローラ、アダプタ、無線リンク、ならびに／または、他の従来の接続デバイスおよび／もしくは媒体であってよい、または含むことができ、これらのうちの少なくともいくつかは互いから独立して動作可能である。
[0021] プロセッサ２１は、ヘッドセット２０の動作全体を個々におよび／またはまとめて制御し、さまざまなデータ処理機能を果たす。さらに、プロセッサ２１は、上述される仮想測定ツールを生成し、表示するための計算およびデータ処理機能の少なくとも一部を提供することができる。それぞれのプロセッサ２１は、例えば、１つまたは複数の汎用プログラマブルマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、モバイルアプリケーションプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、もしくはプログラマブルゲートアレイ（ＰＧＡ）等、または、このようなデバイスの組み合わせとすることができる、またはこれらを含むことができる。
[0022] ここで紹介される技法の態様を実行するようにプロセッサ２１を構成するデータおよび命令（コード）３０は、１つまたは複数のメモリ２２に記憶できる。それぞれのメモリ２２は、１つまたは複数の物理的記憶デバイスとすることができる、またはこれを含むことができる。該物理的記憶デバイスは、ランダムアクセスメモリ（ＲＡＭ）、（消去可能およびプログラマブルとすることができる）読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、小型ハードディスクドライブ、もしくは他の適したタイプの記憶デバイス、または、このようなデバイスの組み合わせの形態であってよい。
[0023] １つまたは複数の通信デバイス２８によって、ヘッドセット２０は、パーソナルコンピュータまたはゲーム機等の別個の外部処理システムに対して、データおよび／またはコマンドを受信でき、データおよび／またはコマンドを送ることができる。それぞれの通信デバイス２８は、例えば、ユニバーサルシリアルバス（ＵＳＢ）アダプタ、Ｗｉ−Ｆｉ（登録商標）トランシーバ、Ｂｌｕｅｔｏｏｔｈ（登録商標）もしくはＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）トランシーバ、イーサネット（登録商標）アダプタ、ケーブルモデム、ＤＳＬモデム、セルラートランシーバ（例えば、３Ｇ、ＬＴＥ／４Ｇまたは５Ｇ）、またはベースバンドプロセッサ等、あるいはこれらの組み合わせとすることができる、またはこれらを含むことができる。
[0024] それぞれの深さカメラ２５は、例えば、近傍の物体までの距離を測定するタイムオブフライト原理を適用することができる。深さカメラ２５によって取得される距離情報は、ユーザの環境における面の３Ｄメッシュモデルを構築するために（例えばプロセッサ２１によって）使用される。それぞれの目追跡カメラ２６は、例えば、図１における照明光源７等の、ヘッドセット上の１つまたは複数の近赤外線光源によって放出される近赤外光の、瞳および／または角膜反射光からの鏡面反射に基づいて視線方向を検出する近赤外線カメラとすることができる。このような反射の検出を可能にするために、ヘッドセットのレンズ（例えば、図１におけるレンズ３）の内面は、ＩＲ光に対して反射するが可視光を透過する物質で被覆されてよく、このような物質は当技術分野では既知である。この手法によって、ＩＲ光源からの照明は、ユーザの目に対してレンズの内面で跳ね返ることができ、該照明は反射されて（場合によっては再びレンズの内面を介して）目追跡カメラに戻る。
[0025] 上述されるコンポーネントのいずれかまたは全ては上述されるそれらの機能性に関して完全に内蔵可能であるが、いくつかの実施形態では、１つまたは複数のプロセッサ２１が、他のコンポーネントに関連付けられた処理機能の少なくとも一部を提供することは留意されたい。例えば、深さカメラ２５に関連付けられる深さ検出のためのデータ処理の少なくとも一部はプロセッサ２１によって行われてよい。同様に、視線追跡カメラ２６に関連付けられる視線追跡のためのデータ処理の少なくとも一部はプロセッサ２１によって行われてよい。同じく、ＡＲ／ＶＲ表示装置２３をサポートする画像処理の少なくとも一部はプロセッサ２１によって行われてよく、以下同様である。
[0026] ＡＲ／ＶＲヘッドセットが仮想測定ツールをどのように提供できるかについての例がここで、図３Ａ〜図３Ｈを参照して説明される。図３Ａ〜図３ＨはＡＲ／ＶＲヘッドセットによる（例えば、図１におけるレンズ３および表示デバイス４による）ユーザの視野のさまざまな例を示す。特に、図３Ａは、ヘッドセットを付けたユーザが、ヘッドセットを着用しながら自宅の部屋で立っている間にもたらされるであろう視野の中央部を示す（周辺視覚はページサイズが限定されるためこの図では切られている）。ユーザは、例えば、コーヒーテーブル３２の周りに置かれたソファ３１および椅子３２を見ることができる。ヘッドセットは、ユーザがヘッドセットのさまざまな機能を使用できるように、１つまたは複数のホログラフィックアイコン３４、または、ユーザの視界における他のユーザインターフェース要素を表示できる。例えば、ユーザインターフェース要素のうちの１つは、仮想測定ツールの動作を選択する／開始するためのアイコン３５（または他の同等の要素）であってよい。
[0027] ヘッドセットは、操作される間、ヘッドセットの深さカメラを使用して、ユーザの近辺における（例えば数メートル内の）面全ての、または少なくともユーザの視界内の近傍の面全ての、ユーザから（すなわちヘッドセットから）の距離を含む３Ｄメッシュモデルを構築する。深さ検出（例えばタイムオブフライト）を使用することによって近傍の面の３Ｄメッシュモデルを生成する技法は、当技術分野では既知であり、本明細書において説明される必要はない。従って、図３Ａの例における３Ｄメッシュモデルは、ソファ３１、椅子３２、およびコーヒーテーブル３３の少なくとも全ての可視の面のみならず、部屋の壁、床、天井、窓、および場合によっては、壁等に装着されるカーテン、芸術品（図示せず）等のより小さな特徴さえもモデル化することになる。３Ｄメッシュモデルはヘッドセット上のメモリに記憶可能である。３Ｄメッシュモデル、および視覚追跡システム（例えばカメラ１０）からの画像データを使用することによって、ヘッドセットにおける回路構成（例えばプロセッサ２１）は、どんな時でも、部屋の中のユーザの正確な位置を特定することができる。３Ｄメッシュモデルは、毎秒数回等頻繁に自動的に更新可能である。
[0028] ここで、ユーザが、コーヒーテーブル３３を新しいものに取り替えたいと思っているが、同様のサイズのコーヒーテーブルに取り替えて、部屋における同じ場所に維持したがっていると仮定する。そのため、ユーザは、ツールを使用してコーヒーテーブル３３の寸法を測定することを決めることができる。このことを行うために、ユーザは最初に、ツールを選択するまたは開始するためのコマンドを入力する。このコマンドは、特に指定のない限り、この説明に述べられる全ての他のユーザコマンドのように、例えば、ハンドジェスチャー、音声によるコマンド、もしくはユーザの視線をベースにしたアクション（例えば、表示されるホログラフィックアイコン上でのユーザの視線の一時静止した行動）、またはこれらのタイプの入力の組み合わせとすることができる。
[0029] この例において、ユーザがツールを選択後、ユーザは、この例では仮想測定ツールのユーザが最初に所望したエンドポイントである２つの点３７を指定するためのヘッドセットへの入力を行う。他の実施形態では、ユーザに対する空間の所定の初期設定の場所および方位で、ツールを最初に表示してもよい。このシナリオ例では、点３７は、コーヒーテーブル３３の上面の別個の隅に対応する。ユーザは、例えば、コーヒーテーブルの各隅において（ユーザの視点から）指で指図した「タップ」ジェスチャーを行うことによって、または、各隅をポイントし、「点の位置を合わせる」等の適切なコマンドを話すことによって、各点３７を指定することができる。ユーザの入力を既に作成された部屋の３Ｄメッシュモデルと相関させることによって、ヘッドセットにおけるプロセッサは、ユーザが識別することを意図した最も可能性の高い３Ｄ空間座標を特定することができる。しかしながら、この文脈における点３７が必ずしも物理的オブジェクトの隅に一致する必要はないことは留意されたい。例えば、ユーザは、ツールのエンドポイント３７を、ユーザの近辺のまたはさらには空中に浮かんでいる任意の（ヘッドセットが認識した）面上にあるものとして指定することができる。本例においてみられるように、ユーザの入力が物理的オブジェクト上のある点を指定するように思われる場合、プロセッサはその物体に対して点を関連付け、該点を固定させることになる。物理的オブジェクト上のある点に対して自動的にエンドポイントを位置決めし、固定させるこのプロセスは、「スナップ」と呼ばれる。スナップの特徴は、実世界の磁力と同様に作用し、仮想ルーラ３８は、ユーザが何らかの入力（例えば、視線、発話、またはジェスチャー）によって仮想ルーラ３８を引き離す意図を明確に指示するまで、その物理的オブジェクトに「くっつく」ように見えるであろう。
[0030] 本例において、ユーザが２つの点３７を指定していると、ヘッドセットは、２つの点３７を接続する、ホログラフィック（仮想）線３８、すなわち仮想ルーラを表示する。従って、この例では、線３８は、コーヒーテーブル３３の上面のより長い縁部のうちの１つに沿って伸びる。線３８には、フィートおよびインチ、ならびに／またはそれらの端数等の単位を指示するハッシュマークおよび／または数字が注釈として付けられてよい。
[0031] 本例に見られるように、仮想ルーラ３８が物体に固定させられる時、初期設定によるヘッドセットは、ユーザがその機能性を修正する入力を行わない限り、ユーザが部屋を動き回る場合でも、ユーザには、仮想ルーラ３８が同じ方位でその物体に固定されたままのように見えるようにその表示を調節することができる。ユーザは、図３Ｃおよび図３Ｄに示されるように、仮想ルーラ３８を物体から固定解除し、該ルーラ３８を空間の中であちこち移動させることを選択することができる。図３Ｃにおいて、例えば、ユーザは、仮想ルーラ３８をコーヒーテーブル３３から垂直に上げている（平行移動させている）。図３Ｄにおいて、ユーザは、仮想ルーラ３８を垂直軸を中心に回転させている。ユーザは、仮想ルーラ３８を３つの直交座標軸（例えば、ｘ、ｙ、およびｚ）のいずれかに沿って並進で移動させることができ、また、該ルーラを３つの直交軸のいずれかを中心に回転させることができる。このこともまた、音声によるコマンド、ジェスチャー、もしくはユーザの視線の変化、またはこれらの組み合わせ等の任意の適したコマンドによって達成可能である。
[0032] 仮想ルーラ３８を最初から物体に固定させるのではなく、ユーザは代わりに、仮想ルーラ３８が初めは空間に浮かんでいるように、仮想ルーラ３８をインスタンス化して、その後（任意選択により）物理的オブジェクトに該ルーラ３８を「スナップ」することができる。仮想ルーラ３８は、ローカル環境の３Ｄメッシュにおいて表される任意の縁部または面にスナップできる。ヘッドセットは、音声によるコマンド、ジェスチャー、もしくはユーザの物体に対する視線の一時静止等のさまざまな入力のいずれかに基づいてスナップするユーザの意図を推論することができる。この判断／推論は、物理的オブジェクトがユーザにどれほど近いか、および／または該物体がユーザの視界のどれくらい中央にあるかに基づいてもよい。
[0033] 本明細書に記載されるような仮想測定ツールは、ユーザがただ２つのエンドポイントではなく３つ以上の関連の点を指定できるようにすることによって、（２Ｄ）多角形の形態を有することもできる。このような例では、ヘッドセットは、多角形のそれぞれの側部の長さに加えて、多角形の面積の値を自動的に計算し、ユーザに対して表示することができる。例えば、ここで図３Ｅを参照して、ユーザはコーヒーテーブル３３がどれくらいの面積を占めるかを知りたいと思っている場合があり、それに応じて、ユーザは、ツールを、コーヒーテーブル３３の上面に対応する矩形４０の形態になるように定義することができる。図３Ｅには示されないが、ツールの多角形の実施形態の表示は、線形の実施形態と同様に単位および値を含むこともできる。ヘッドセットは、その面積を自動的に計算し、表示することもできる（例えば、本例では「８ｆｔ２」）。場合によっては、ユーザは、上述されるように（図３Ｂ）最初のエンドポイントを定義する際に３つ以上の点の全てを最初に指定することができ、代替的には、ユーザは、（上述されるような）２つの点の間の単なる線としてツールを最初に定義し、次いで、１つまたは複数の追加の点を加えて、ツールを多角形または３Ｄ容積に拡張することができる。ヘッドセットはこの点においてユーザの意図を推論するさまざまな技法のいずれかを使用することができる。例えば、ユーザが時間内に比較的共に近いまたは全て同じ物理的オブジェクト上の３つ以上の点を最初に指定する場合、ユーザがツールを多角形として定義することを望んでいると推論することができる。ユーザがツールを線として最初に定義する場合、ユーザは、例えばコマンド（例えば、「点を加える」と言うこと）によって後に１つまたは複数の点を加えて、線を多角形に変換することができる、または、ヘッドセットは、ユーザの振る舞いに基づいて点を加えるというユーザの意図を推論することができる。線形の測定ツール（例えば仮想ルーラ３８）の例に見られるように、ユーザは、多角形状のツールを並進および回転によって移動させることができる。
[0034] 同様に、ツールは、ユーザが４つ以上の関連の点を指定できるようにすることによって、３Ｄ物体の形態を有することもできる。かかる例では、ヘッドセットは、ツールの容積の値のみならず、物体のそれぞれの側部のいずれの面積および長さの値も自動的に計算し、ユーザに対して表示することができる。例えば、ここで図３Ｆを参照すると、ユーザは、ツールを、コーヒーテーブルの外部空間の「覆い」を表す矩形ボックス５０として定義することができる。図３Ｅには示されないが、ツールの多角形の実施形態の表示は、線形の実施形態と同様に、単位および値を含んでもよい。ヘッドセットは、示されるように、ツールの容積（ボックス５０）を自動的に計算し、表示することもできる（例えば、本例では「８ｆｔ３」）。線形および２Ｄ仮想測定ツールの例に見られるように、ユーザは３Ｄツールを並進および回転によって移動させることもできる。
[0035] 場合によっては、ヘッドセットによって、ユーザは、任意の対応する測定値および設定を含むツールの現在の状態をメモリに保存し、異なる場所でリロード／再表示することができる。例えば、本例では、ユーザは、ツールをその現在の形態で保存し、家具店等別の場所でそれを再表示することを望んでいる場合がある。従って、図３Ｇに示されるように、ユーザは、（例えば、「保存する」と言うことによって、または表示される対応するアイコン３４を選択するための適切なハンドジェスチャーを行うことによって）適切なコマンドを入力することができる。後に、ユーザが家具店を訪れる時、図３Ｈに示されるように、ユーザは、適切なコマンドによって（例えば、「ロードする」と言うことによって、または表示される対応するアイコン３４を選択するための適切なハンドジェスチャーを行うことによって）、ヘッドセットに、メモリからツールをロードさせ、ツールを再表示させることができる。ユーザは、ツールの位置および方位を調節することで、店における物理的オブジェクト（例えば新しいコーヒーテーブル）に適合させて、ユーザがその物体を測定可能とすることができる。
[0036] 仮想測定ツールのためのさまざまな他の使用法のシナリオが考えられる。例えば、ヘッドセットによってユーザは一連の３つ以上のエンドポイントを指定可能とすることができ、それら３つ以上のエンドポイントによって定義されるセグメントの長さの和を自動的に計算し、表示することができる。この使用法のシナリオの一例が図３Ｉに示される。ここで、仮想ルーラ５８は、３つのエンドポイント６３によって定義される２つの接続される線形セグメント６１からできており、それぞれのセグメントの長さおよび２つのセグメントの長さの和が示される。さらに、図３Ｊに示されるように、ヘッドセットの面認識機能を使用することによって、ユーザは、経時的に（または距離閾値に基づいて）複数のエンドポイントを生成することによって１つまたは複数の面を仮想ルーラ５９で「包む」ことができ、ヘッドセットは、それぞれのセグメントの長さおよびセグメントの長さの和を自動的に計算し、表示することができる。
[0037] さらに、仮想測定ツールは、直線でインスタンス化されなくてもよい。例えば、図３Ｋに示されるように、ユーザは（例えば、ハンドジェスチャーを使用することによって）仮想ルーラ７０を曲線／不規則な線として定義することができ、ヘッドセットは、それでもなお（例えば、１つまたは複数の対応する中心点を中心とした１つまたは複数の半径に仮想ルーラを分割し、その後、それぞれの半径の長さを計算することによって）仮想ルーラの全体の長さを計算することができる。ツールが線形または湾曲／不規則なセグメント（またはそれらの組み合わせ）の形態であるかどうかにかかわらず、ユーザは、そのエンドポイントを併せて「スナップ」して、図３Ｌにおける形状７２等の囲まれた２Ｄ形状を形成することができる。その場合、ヘッドセットは、新しく定義された形状によって囲まれた面積を自動的に計算し、表示することができる。さらに、図３Ｍに示されるように、ユーザは、適切なコマンドを入力することによって、任意の２Ｄ形状から（容積７４等の）３Ｄ形状を作成することができる。この場合、ヘッドセットはまた、３Ｄ形状によって囲まれる全容積を自動的に計算し、表示することができる。
[0038] 図４は、いくつかの実施形態に従って、仮想測定ツールを提供するためにヘッドセットによって（例えばプロセッサ２１によって）行われ得るプロセスの一例を示す。最初に、ステップ４０１では、ヘッドセットは、ジェスチャー認識、視線追跡、および／または発話認識等を使用することによるユーザからの入力に基づいて、ユーザが居る３Ｄ空間における異なる場所において、複数の点をそれぞれ定義することによって仮想測定ツールを生成する。次いで、ステップ４０２では、ヘッドセットは、仮想測定ツールがユーザに対して、ユーザが居る３Ｄ空間のリアルタイムで実世界の視野に重なって見えるように、該ツールをユーザに対して表示する。
[0039] 図５は、いくつかの実施形態に従って、仮想測定ツールを提供するプロセスの一例をより詳細に示す。ヘッドセットが初めに電源が入れられ初期化される時、ステップ５０１におけるヘッドセットはその深さセンサを使用して、ヘッドセットからユーザの環境における近傍の面までの距離を測定する。ヘッドセットは次いで、ステップ５０２において、測定された距離に基づいてそれら面の３Ｄメッシュモデルを生成する。３Ｄメッシュモデル面を生成する任意の既知のまたは便利な技法がこのステップで使用できる。しばらくして、必ずしもステップ５０２の結果としてというわけではないが、ヘッドセットはステップ５０３において仮想測定ツールを選択するユーザ入力を受信する。ヘッドセットはその後、ステップ５０４において、ユーザの環境における空間の２つ以上の点を指定するためのユーザ入力（例えば、１つまたは複数のジェスチャー、音声によるコマンド、および／または視線ベースのコマンド）を受信する。ステップ５０５において、ヘッドセットは、３Ｄメッシュモデルに（少なくとも一部）基づいて、それぞれのユーザ指定の点の最も可能性の高い３Ｄ座標を特定することによってユーザ指定の点を決定する。ステップ５０６では、ヘッドセットは、ツールのエンドポイントまたは頂点として決定された点を使用して測定ツールをユーザに対して表示する。
[0040] 図６は、シナリオ例に従って、ツールを生成し、表示するプロセスをより詳細に示す。ステップ６０１では、ヘッドセットは、空間の２つ以上の点を指定するユーザ入力（例えば、１つまたは複数のジェスチャー、音声によるコマンド、および／または視線ベースのコマンド）を受信する。ステップ６０２では、ヘッドセットは、３Ｄメッシュモデルに基づいて、それぞれの点の最も可能性の高い３Ｄ座標を特定する。この例では、このステップはさらに、点のうちの少なくとも１つをユーザの近辺における物体上のある点に関連付けることを含み、このことはさらに、物体の点を固定させることを含むことができる。その結果、ユーザがこの環境を移動しても、（ツールのエンドポイントまたは頂点を定義する）点は、ユーザの視点からはその物体に固定されたままとなる。
[0041] 示されたシナリオ例において、ユーザが２つの点のみを指定している場合（ステップ６０３）、ヘッドセットは、ステップ６０６においてそれら２つの点を接続する線として（任意選択により、単位および値を指示して）測定ツールを定義し、表示する。ヘッドセットはまた、その線の長さを計算し、ユーザに対して表示する。プロセスは次いでステップ６０４に進む。ステップ６０４では、ユーザが３つ以上の点を指定しており、（例えば面積の）２Ｄ測定を行うことを所望する指示を（明示的または暗示的のいずれかで）している場合、ステップ６０８におけるヘッドセットは、３つ以上の点を接続する多角形として測定ツールを定義し、表示する。ヘッドセットはまた、ステップ６０９においてその多角形の面積を計算し、表示後、ステップ６０４に進む。ステップ６０４では、ユーザが４つ以上の点を指定しており、（例えば容積の）３Ｄ測定を行うことを所望する指示を（明示的または暗示的のいずれかで）している場合、ステップ６１０におけるヘッドセットは、４つ以上の点を接続する３Ｄ容積として測定ツールを定義し、表示する。ヘッドセットはまた、ステップ６１１においてツールによって囲まれる容積を計算し、表示する。
[0042] 上述される技法の変形では、共有されるＡＲ環境において協働する複数のユーザによって、仮想測定ツールは、インスタンス化および／または使用が可能である。例えば、それぞれが上述されるような可視化デバイスを使用する２人以上のユーザは、共有される物理的空間を共に測定でき、それぞれ、空間の測定およびマークアップ全体に寄与する実世界における点を確立することができる。かかる実施形態において、２つ以上の可視化デバイスは、直接的に、または別個の処理デバイス（例えばコンピュータ）によって互いに通信することができる、または、可視化デバイスは、測定を調整するような別個の処理デバイスと別々に通信し、可視化デバイスの全ての機能を表示することができる。
[0043] それをもとに、ウェアラブルＡＲ／ＶＲ表示システムにおいて使用するための仮想（ホログラフィック）測定ツールが説明されている。
[0044] 上述されるマシン実装動作は、ソフトウェアによってプログラムされる／構成されるプログラマブル回路構成によって、もしくは専用回路構成によって完全に、または、かかる形態の組み合わせによって実装可能である。このような専用回路構成は（あるとすれば）、例えば、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、システムオンチップシステム（ＳＯＣ）等の形態とすることができる。
[0045] ここで紹介された技法を実装するためのソフトウェアは、マシン可読記憶媒体上に記憶されてよく、１つまたは複数の汎用もしくは専用プログラマブルマイクロプロセッサによって実行可能である。「マシン可読媒体」という用語は、本明細書で使用されるように、マシンによってアクセス可能な形態で情報を記憶できる任意の機構を含む（マシンは、例えば、コンピュータ、ネットワークデバイス、携帯電話、携帯情報端末（ＰＤＡ）、製造用工具、１つまたは複数のプロセッサを有する任意のデバイス等であってよい）。例えば、マシンアクセス可能媒体は、記録可能／記録不可能な媒体（例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス等）等を含む。
[0046] 本明細書において紹介される技術のある特定の実施形態は、以下の番号が付けられた実施例に要約される。
[0047] １．ユーザによって着用される可視化デバイスによって、ユーザの少なくとも１つのジェスチャーを認識すること、ユーザの視線を追跡すること、またはユーザの発話を認識することのうちの少なくとも１つに基づいて、ユーザが居る３次元空間における異なる場所において、複数の点をそれぞれ決定することによって、仮想測定ツールを生成することと、仮想測定ツールが、ユーザに対して、ユーザが居る３次元空間の現実の視野に重なって見えるように、可視化デバイスによってユーザに対して仮想測定ツールを表示することと、を含む、方法。
[0048] ２．仮想測定ツールを生成することは、ユーザがその３次元空間を移動する際に、仮想測定ツールが、ユーザに対して、空間の固定された場所および方位にとどまるように見えるように、複数の点を３次元空間における対応する異なる点に固定させることを含む、実施例１に記載される方法。
[0049] ３．仮想測定ツールを生成することは、複数の点のうちの少なくとも１つを、ユーザが居る３次元空間における物理的オブジェクト上の対応する点に空間的に関連付けることを含む、実施例１または実施例２に記載される方法。
[0050] ４．仮想測定ツールを生成することは、仮想測定ツールの少なくとも一部を複数の点のうちの２つの間の線として生成することを含む、実施例１〜３のいずれかに記載される方法。
[0051] ５．仮想測定ツールを生成することは、複数の点のうちの３つ以上において頂点を有する多角形として仮想測定ツールを生成することを含む、実施例１〜４のいずれかに記載される方法。
[0052] ６．仮想測定ツールを生成することは、複数の点のうちの４つ以上において頂点を有する３次元容積として仮想測定ツールを生成することを含む、実施例１〜５のいずれかに記載される方法。
[0053] ７．仮想測定ツールを表示することは、仮想測定ツール上にまたはこれに近接して測定尺度を表示することを含む、実施例１〜６のいずれかに記載される方法。
[0054] ８．複数の点に基づいて、長さ、面積、または容積を可視化デバイスによって計算することと、長さ、面積、または容積を可視化デバイスによってユーザに出力することとをさらに含む、実施例１〜７のいずれかに記載される方法。
[0055] ９．ユーザが居る３次元空間は第１の３次元空間であり、第１のユーザコマンドに応答して仮想測定ツールをメモリに保存することと、可視化デバイスによる仮想測定ツールの表示を中止することと、ユーザが第２の３次元空間に移動した後の第２のユーザコマンドに応答して、ユーザが第２の３次元空間に居る間に、メモリから仮想測定ツールを読み出し、仮想測定ツールをユーザに再表示することとをさらに含み、再表示することは仮想測定ツールを第２の３次元空間における物体に空間的に関連付けることを含む、実施例１〜８のいずれかに記載される方法。
[0056] １０．可視化デバイスから、ユーザが居る３次元空間における物体までの距離を測定するために深さセンサを使用することと、測定された距離に基づいて、ユーザが居る３次元空間における面の３Ｄメッシュモデルを生成することと、少なくとも１つのユーザ入力に基づいて、複数の点の空間座標を特定するために３Ｄメッシュモデルを使用することとをさらに含み、複数の点の空間座標を特定するために３Ｄメッシュモデルを使用することは、上記の物体のうちの１つに空間的に関連付けられる、複数の点のうちの少なくとも１つの場所を決定することを含む、実施例１〜９のいずれかに記載される方法。
［0057］ １１．仮想測定ツールの場所または方位に対する調節を、ユーザのジェスチャーを認識すること、ユーザの視線を追跡すること、またはユーザの発話を認識することのうちの少なくとも１つによって特定することと、該調節に基づいて、ユーザに対して表示される仮想線形測定ツールの場所または方位を調節することとをさらに含む、実施例１〜１０のいずれかに記載される方法。
[0058] １２．可視化デバイスから、可視化デバイスのユーザが居る第１の囲まれた空間における物体までの距離を測定するために頭部装着型可視化デバイス上の深さセンサを使用することと、測定された距離に基づいて、第１の囲まれた空間における面の３Ｄメッシュモデルを生成することと、複数の点を、上記物体のうちの１つに空間的に関連付けられる、複数の点のうちの少なくとも１つの場所を特定することを含んで、ユーザからの少なくとも１つの入力に従って、それぞれ、第１の囲まれた空間の異なる場所において決定することによって、仮想測定ツールを可視化デバイスによって生成することであって、上記少なくとも１つの入力は、ユーザのジェスチャー、ユーザの視線方向、またはユーザの発話のうちの少なくとも１つを含む、生成することと、仮想測定ツールが、ユーザに対して、第１の囲まれた空間の現実の視野に重なって見えるように、可視化デバイスによって仮想測定ツールをユーザに対して表示することと、を含む方法であって、上記表示することは、仮想測定ツール上にまたはこれに近接して測定尺度を表示することを含み、仮想測定ツールを生成することは、ユーザが第１の囲まれた空間を移動する際に、仮想測定ツールが、ユーザに対して、空間の固定された場所および方位にとどまるように見えるように、複数の点を第１の囲まれた空間における対応する異なる点に固定させることと、仮想測定ツールの場所または方位に対する調節を、ユーザのジェスチャーを認識すること、ユーザの視線を追跡すること、またはユーザの発話を認識することのうちの少なくとも１つによって特定することと、該調節に基づいて、ユーザに対して表示される仮想線形測定ツールの場所または方位を調節することと、を含む、方法。
[0059] １３．仮想測定ツールを生成することは、仮想測定ツールの少なくとも一部を複数の点のうちの２つの間の線として生成することを含む、実施例１２に記載される方法。
[0060] １４．仮想測定ツールを生成することは、複数の点のうちの３つ以上において頂点を有する多角形として仮想測定ツールの少なくとも一部を生成すること、または、複数の点のうちの４つ以上において頂点を有する３次元容積として仮想測定ツールの少なくとも一部を生成することのうちの少なくとも１つを含む、実施例１２または実施例１３に記載される方法。
[0061] １５．複数の点に基づいて長さ、面積、または容積を可視化デバイスによって計算することと、長さ、面積、または容積を可視化デバイスによってユーザに出力することとをさらに含む、実施例１２〜１４のいずれかに記載される方法。
[0062] １６．頭部装着型可視化デバイスをユーザの頭部に装着するための頭部取り付け具と、頭部取り付け具に結合され、生成された画像をユーザに表示するための少なくとも部分的に透明な表示面と、ユーザからの入力を受信し、ジェスチャー認識および視線検出を行うように構成された入力サブシステムと、ユーザの環境における物体の場所を特定するための深さセンサと、表示面、入力サブシステム、および深さセンサに結合され、入力サブシステムを介して受信されるユーザからの少なくとも１つの入力に従って、ユーザの環境の異なる場所において、複数の点をそれぞれ決定することによって仮想測定ツールを生成し、複数の点のうちの少なくとも１つの場所がユーザの環境における物体のうちの１つに空間的に関連付けられるように特定されるように、および、表示面に、距離、面積、または容積の指示と共に仮想測定ツールをユーザに対して表示させ、ユーザがその環境を移動する際に、仮想測定ツールが、ユーザに対して、空間の固定された場所および方位にとどまるように見えるように構成されたプロセッサと、を含む、頭部装着型可視化デバイス。
[0063] １７．プロセッサは、ユーザのジェスチャーまたはユーザの視線のうちの少なくとも１つに基づいて仮想測定ツールの場所または方位に対する調節を特定するように、および、該調節に基づいて、ユーザに対して表示される仮想線形測定ツールの場所または方位を調節するようにさらに構成される、実施例１６に記載される頭部装着型可視化デバイス。
[0064] １８．プロセッサは、複数の点のうちの３つ以上において頂点を有する多角形として仮想測定ツールを生成するように構成される、実施例１６に記載される頭部装着型可視化デバイス。
[0065] １９．プロセッサは、複数の点のうちの４つ以上において頂点を有する３次元容積として仮想測定ツールを生成するように構成される、実施例１６〜１８のいずれかに記載される頭部装着型可視化デバイス。
[0066] ２０．メモリをさらに含み、プロセッサは、第１のユーザ入力に応答して仮想測定ツールをメモリに保存するように、表示面による仮想測定ツールの表示を中止するように、および、ユーザが第２の環境に移動した後の第２のユーザ入力に応答して、メモリから仮想測定ツールを読み出し、仮想測定ツールを第２の環境における物体に空間的に関連付けることを含んで、ユーザが第２の環境に居る間に、表示面に、仮想測定ツールをユーザに対して再表示させるようにさらに構成される、実施例１６〜１９のいずれかに記載される頭部装着型可視化デバイス。
[0067] ２１．ユーザの少なくとも１つのジェスチャーを認識すること、ユーザの視線を追跡すること、またはユーザの発話を認識することのうちの少なくとも１つに基づいて、ユーザが居る３次元空間における異なる場所において、複数の点をそれぞれ決定することによって仮想測定ツールを生成する手段と、仮想測定ツールが、ユーザに対して、ユーザが居る３次元空間の現実の視野に重なって見えるようにユーザに対して仮想測定ツールを表示する手段とを含む、装置。
[0068] ２２．仮想測定ツールを生成する手段は、ユーザが３次元空間を移動する際に、仮想測定ツールが、ユーザに対して、空間の固定された場所および方位にとどまるように見えるように、複数の点を３次元空間における対応する異なる点に固定させる手段を含む、実施例２１に記載される装置。
[0069] ２３．仮想測定ツールを生成する手段は、複数の点のうちの少なくとも１つを、ユーザが居る３次元空間における物理的オブジェクト上の対応する点に空間的に関連付ける手段を含む、実施例２１または実施例２２に記載される装置。
[0070] ２４．仮想測定ツールを生成する手段は、仮想測定ツールの少なくとも一部を複数の点のうちの２つの間の線として生成する手段を含む、実施例２１〜２３のいずれかに記載される装置。
[0071] ２５．仮想測定ツールを生成する手段は、複数の点のうちの３つ以上において頂点を有する多角形として仮想測定ツールを生成する手段を含む、実施例２１〜２４のいずれかに記載される装置。
[0072] ２６．仮想測定ツールを生成する手段は、複数の点のうちの４つ以上において頂点を有する３次元容積として仮想測定ツールを生成する手段を含む、実施例２１〜２５のいずれかに記載される装置。
[0073] ２７．仮想測定ツールを表示する手段は、仮想測定ツール上にまたはこれに近接して測定尺度を表示する手段を含む、実施例２１〜２６のいずれかに記載される装置。
[0074] ２８．複数の点に基づいて、長さ、面積、または容積を計算する手段と、長さ、面積、または容積をユーザに出力する手段とをさらに含む、実施例２１〜２７のいずれかに記載される装置。
[0075] ２９．ユーザが居る３次元空間は第１の３次元空間であり、第１のユーザコマンドに応答して仮想測定ツールをメモリに保存する手段と、仮想測定ツールの表示を中止する手段と、ユーザが第２の３次元空間に移動した後の第２のユーザコマンドに応答して、ユーザが第２の３次元空間に居る間に、メモリから仮想測定ツールを読み出し、仮想測定ツールをユーザに再表示する手段とをさらに含み、再表示することは仮想測定ツールを第２の３次元空間における物体に空間的に関連付けることを含む、実施例２１〜２８のいずれかに記載される装置。
[0076] ３０．可視化デバイスから、ユーザが居る３次元空間における物体までの距離を測定するために深さセンサを使用する手段と、測定された距離に基づいて、ユーザが居る３次元空間における面の３Ｄメッシュモデルを生成する手段と、少なくとも１つのユーザ入力に基づいて、複数の点の空間座標を特定するために３Ｄメッシュモデルを使用する手段とをさらに含み、複数の点の空間座標を特定するために３Ｄメッシュモデルを使用する手段は、上記の物体のうちの１つに空間的に関連付けられる、複数の点のうちの少なくとも１つの場所を特定する手段を含む、実施例２１〜２９のいずれかに記載される装置。
[0077] ３１．仮想測定ツールの場所または方位に対する調節を、ユーザのジェスチャーを認識すること、ユーザの視線を追跡すること、またはユーザの発話を認識することのうちの少なくとも１つによって特定する手段と、該調節に基づいて、ユーザに対して表示される仮想線形測定ツールの場所または方位を調節する手段とをさらに含む、実施例２１〜３０のいずれかに記載される装置。
[0078] 上述される特徴および機能のいずれかまたは全ては、当業者には明らかとなるように、別段上記で述べられている場合、または、いずれのかかる実施形態もその機能または構造により不適合である場合を除いて、互いに組み合わせ可能である。物理的可能性に反するものでない限り、（ｉ）本明細書に記載される方法／ステップが任意の順序および／または任意の組み合わせで行われてよく、（ｉｉ）各実施形態のコンポーネントが任意のやり方で組み合わせられてよいということが想定される。
[0079] 構造的特徴および／または行動に特有の言語で主題について説明されているが、添付の特許請求の範囲において定められる主題が、上述される特有の特徴または行動に必ずしも限定されないことは理解されたい。もっと正確に言えば、上述される特有の特徴または行動は、特許請求項を実施する例として開示され、他の同等の特徴および行動は特許請求の範囲内にあることが意図される。

Claims (15)

  1. ユーザによって着用される可視化デバイスによって、前記ユーザの少なくとも１つのジェスチャーを認識すること、前記ユーザの視線を追跡すること、または前記ユーザの発話を認識することのうちの少なくとも１つに基づいて、前記ユーザが居る３次元空間における異なる場所において、複数の点をそれぞれ決定することによって、仮想測定ツールを生成することと、
    前記仮想測定ツールが、前記ユーザに対して、前記ユーザが居る前記３次元空間の現実の視野に重なって見えるように、前記可視化デバイスによって前記ユーザに対して前記仮想測定ツールを表示することと、を含む、方法。
  2. 前記仮想測定ツールを生成することは、前記ユーザが前記３次元空間を移動する際に、前記仮想測定ツールが、前記ユーザに対して、空間の固定された場所および方位にとどまるように見えるように、前記複数の点を前記３次元空間における対応する異なる点に固定させることを含む、請求項１に記載の方法。
  3. 前記仮想測定ツールを生成することは、前記複数の点のうちの少なくとも１つを、前記ユーザが居る前記３次元空間における物理的オブジェクト上の対応する点に空間的に関連付けることを含む、請求項１または２に記載の方法。
  4. 前記仮想測定ツールを生成することは、前記仮想測定ツールの少なくとも一部を前記複数の点のうちの２つの間の線として生成することを含む、請求項１〜３のいずれか一項に記載の方法。
  5. 前記仮想測定ツールを生成することは、前記複数の点のうちの３つ以上において頂点を有する多角形として前記仮想測定ツールを生成することを含む、請求項１〜４のいずれか一項に記載の方法。
  6. 前記仮想測定ツールを生成することは、前記複数の点のうちの４つ以上において頂点を有する３次元容積として前記仮想測定ツールを生成することを含む、請求項１〜５のいずれか一項に記載の方法。
  7. 前記複数の点に基づいて、長さ、面積、または容積を前記可視化デバイスによって計算することと、
    前記長さ、前記面積、または前記容積を前記可視化デバイスによって前記ユーザに出力することと、をさらに含む、請求項１〜６のいずれか一項に記載の方法。
  8. 前記ユーザが居る前記３次元空間は第１の３次元空間であり、
    第１のユーザコマンドに応答して前記仮想測定ツールをメモリに保存することと、
    前記可視化デバイスによる前記仮想測定ツールの表示を中止することと、
    前記ユーザが第２の３次元空間に移動した後の第２のユーザコマンドに応答して、前記ユーザが前記第２の３次元空間に居る間に、前記メモリから前記仮想測定ツールを読み出し、前記仮想測定ツールを前記ユーザに再表示することと、をさらに含み、前記再表示することは前記仮想測定ツールを前記第２の３次元空間における物体に空間的に関連付けることを含む、請求項１〜７のいずれか一項に記載の方法。
  9. 前記可視化デバイスから、前記ユーザが居る前記３次元空間における物体までの距離を測定するために深さセンサを使用することと、
    測定された前記距離に基づいて、前記ユーザが居る前記３次元空間における面の３Ｄメッシュモデルを生成することと、
    前記少なくとも１つのユーザ入力に基づいて、前記複数の点の空間座標を決定するために前記３Ｄメッシュモデルを使用することと、をさらに含み、前記複数の点の空間座標を特定するために前記３Ｄメッシュモデルを使用することは、前記物体のうちの１つに空間的に関連付けられる、前記複数の点のうちの少なくとも１つの場所を特定することを含む、請求項１〜８のいずれか一項に記載の方法。
  10. 前記仮想測定ツールの場所または方位に対する調節を、前記ユーザのジェスチャーを認識すること、前記ユーザの視線を追跡すること、または前記ユーザの発話を認識することのうちの少なくとも１つによって特定することと、前記調節に基づいて、前記ユーザに対して表示される仮想線形測定ツールの前記場所または方位を調節することとをさらに含む、請求項１〜９のいずれか一項に記載の方法。
  11. 頭部装着型可視化デバイスであって、
    前記頭部装着型可視化デバイスをユーザの頭部に装着するための頭部取り付け具と、
    前記頭部取り付け具に結合され、生成された画像を前記ユーザに表示するための少なくとも部分的に透明な表示面と、
    前記ユーザからの入力を受信し、ジェスチャー認識および視線検出を行うように構成された入力サブシステムと、
    前記ユーザの環境における物体の場所を特定するための深さセンサと、
    前記表示面、前記入力サブシステム、および前記深さセンサに結合され、
    前記入力サブシステムを介して受信される前記ユーザからの少なくとも１つの入力に従って、前記ユーザの前記環境の異なる場所において、複数の点をそれぞれ決定することによって仮想測定ツールを生成し、前記複数の点のうちの少なくとも１つの場所が前記ユーザの前記環境における前記物体のうちの１つに空間的に関連付けられるように特定され、および、
    前記表示面に、距離、面積、または容積の指示と共に前記仮想測定ツールを前記ユーザに対して表示させ、前記ユーザが前記環境を移動する際に、前記仮想測定ツールが、前記ユーザに対して、空間の固定された場所および方位にとどまるように見えるように
    構成されたプロセッサと、を含む、頭部装着型可視化デバイス。
  12. 前記プロセッサは、前記ユーザのジェスチャーまたは前記ユーザの視線のうちの少なくとも１つに基づいて前記仮想測定ツールの場所または方位に対する調節を特定し、および、前記調節に基づいて、前記ユーザに対して表示される仮想線形測定ツールの場所または方位を調節するようにさらに構成される、請求項１１に記載の頭部装着型可視化デバイス。
  13. 前記プロセッサは、前記複数の点のうちの３つ以上において頂点を有する多角形として前記仮想測定ツールを生成するように構成される、請求項１１または１２に記載の頭部装着型可視化デバイス。
  14. 前記プロセッサは、前記複数の点のうちの４つ以上において頂点を有する３次元容積として前記仮想測定ツールを生成するように構成される、請求項１１〜１３のいずれか一項に記載の頭部装着型可視化デバイス。
  15. メモリをさらに含み、前記プロセッサは、
    第１のユーザ入力に応答して前記仮想測定ツールを前記メモリに保存し、
    前記表示面による前記仮想測定ツールの表示を中止し、および、
    前記ユーザが第２の環境に移動した後の第２のユーザ入力に応答して、前記メモリから前記仮想測定ツールを読み出し、前記仮想測定ツールを前記第２の環境における物体に空間的に関連付けることを含む、前記ユーザが前記第２の環境に居る間に、前記表示面に、前記仮想測定ツールを前記ユーザに対して再表示させるように、さらに構成される、請求項１１〜１４のいずれか一項に記載の頭部装着型可視化デバイス。
JP2017522617A 2014-11-25 2015-11-16 ウェアラブル可視化デバイスのための仮想測定ツール Pending JP2017536618A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201414553668A 2014-11-25 2014-11-25
US14/553,668 2014-11-25
US14/610,999 US20160147408A1 (en) 2014-11-25 2015-01-30 Virtual measurement tool for a wearable visualization device
US14/610,999 2015-01-30
PCT/US2015/060777 WO2016085682A1 (en) 2014-11-25 2015-11-16 Virtual measurement tool for a wearable visualization device

Publications (1)

Publication Number Publication Date
JP2017536618A true JP2017536618A (ja) 2017-12-07

Family

ID=56010205

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017522617A Pending JP2017536618A (ja) 2014-11-25 2015-11-16 ウェアラブル可視化デバイスのための仮想測定ツール

Country Status (6)

Country Link
US (1) US20160147408A1 (ja)
EP (1) EP3224697A1 (ja)
JP (1) JP2017536618A (ja)
KR (1) KR20170087501A (ja)
CN (1) CN107003728A (ja)
WO (1) WO2016085682A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6388744B1 (ja) * 2017-09-08 2018-09-12 三菱電機株式会社 測距装置および測距方法
JP2020047238A (ja) * 2018-09-19 2020-03-26 未來市股▲ふん▼有限公司 仮想現実システムにおける視線追跡によるパスワード認証方法
JP2021043135A (ja) * 2019-09-13 2021-03-18 株式会社東芝 放射線量分布表示システムおよび放射線量分布表示方法
JP2021521557A (ja) * 2018-05-07 2021-08-26 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 拡張現実を使用して測定するためのデバイス及び方法
JP2021125216A (ja) * 2020-02-03 2021-08-30 アップル インコーポレイテッドApple Inc. 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
WO2021235316A1 (ja) * 2020-05-21 2021-11-25 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11818455B2 (en) 2018-09-29 2023-11-14 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US9715865B1 (en) * 2014-09-26 2017-07-25 Amazon Technologies, Inc. Forming a representation of an item with light
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10795558B2 (en) * 2015-06-07 2020-10-06 Apple Inc. Device, method, and graphical user interface for providing and interacting with a virtual drawing aid
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
CN114327043A (zh) * 2016-02-02 2022-04-12 索尼公司 信息处理装置、信息处理方法和记录介质
EP3242228A1 (en) * 2016-05-02 2017-11-08 Artag SARL Managing the display of assets in augmented reality mode
US20170337745A1 (en) 2016-05-23 2017-11-23 tagSpace Pty Ltd Fine-grain placement and viewing of virtual objects in wide-area augmented reality environments
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
CN109478769A (zh) * 2016-07-26 2019-03-15 三菱电机株式会社 缆线可动区域显示装置、缆线可动区域显示方法和缆线可动区域显示程序
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10444506B2 (en) 2017-04-03 2019-10-15 Microsoft Technology Licensing, Llc Mixed reality measurement with peripheral tool
US10692287B2 (en) 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
DE102017207995A1 (de) * 2017-05-11 2018-11-15 Homag Gmbh Verfahren zum Anpassen eines virtuellen Objekts
CN107145237A (zh) * 2017-05-17 2017-09-08 上海森松压力容器有限公司 虚拟场景内的数据测量方法及装置
US10573061B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Saccadic redirection for virtual reality locomotion
US10573071B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Path planning for virtual reality locomotion
US10481599B2 (en) 2017-07-24 2019-11-19 Motorola Solutions, Inc. Methods and systems for controlling an object using a head-mounted display
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
CN107506040A (zh) * 2017-08-29 2017-12-22 上海爱优威软件开发有限公司 一种空间路径规划方法及系统
US10621746B2 (en) * 2017-11-07 2020-04-14 Symbol Technologies, Llc Methods and apparatus for rapidly dimensioning an object
DE102017128588A1 (de) 2017-12-01 2019-06-06 Prüftechnik Dieter Busch AG System und verfahren zur erfassung und darstellung von messpunkten auf einer körperfläche
US10816334B2 (en) 2017-12-04 2020-10-27 Microsoft Technology Licensing, Llc Augmented reality measurement and schematic system including tool having relatively movable fiducial markers
CN107976183A (zh) * 2017-12-18 2018-05-01 北京师范大学珠海分校 一种空间数据测量方法及装置
US10832345B1 (en) 2018-02-08 2020-11-10 United Services Automobile Association (Usaa) Systems and methods for employing augmented reality in appraisal operations
US20190253700A1 (en) * 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
US20190266793A1 (en) * 2018-02-23 2019-08-29 Lowe's Companies, Inc. Apparatus, systems, and methods for tagging building features in a 3d space
CN108917703A (zh) * 2018-03-30 2018-11-30 京东方科技集团股份有限公司 距离测量方法及装置、智能设备
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
AU2019100486B4 (en) * 2018-05-07 2019-08-01 Apple Inc. Devices and methods for measuring using augmented reality
CN109974581B (zh) * 2018-05-07 2021-07-13 苹果公司 使用增强现实进行测量的设备和方法
EP3567453B1 (en) * 2018-05-07 2021-07-21 Apple Inc. Devices and methods for measuring using augmented reality
US11614849B2 (en) * 2018-05-15 2023-03-28 Thermo Fisher Scientific, Inc. Collaborative virtual reality environment for training
CN108844505A (zh) * 2018-05-30 2018-11-20 链家网（北京）科技有限公司 测算房屋空间尺寸的方法和装置
US20190377538A1 (en) 2018-06-08 2019-12-12 Curious Company, LLC Information Presentation Through Ambient Sounds
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
CN109084700B (zh) * 2018-06-29 2020-06-05 上海摩软通讯技术有限公司 物品的三维位置信息获取方法及系统
US10650600B2 (en) 2018-07-10 2020-05-12 Curious Company, LLC Virtual path display
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
US10902678B2 (en) * 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
US11232635B2 (en) * 2018-10-05 2022-01-25 Magic Leap, Inc. Rendering location specific virtual content in any location
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US10855896B1 (en) * 2018-12-13 2020-12-01 Facebook Technologies, Llc Depth determination using time-of-flight and camera assembly with augmented pixels
US10791282B2 (en) 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
US10791286B2 (en) 2018-12-13 2020-09-29 Facebook Technologies, Llc Differentiated imaging using camera assembly with augmented pixels
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
US11062523B2 (en) * 2019-07-15 2021-07-13 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Creation authoring point tool utility to recreate equipment
US11328485B2 (en) * 2019-08-23 2022-05-10 Tencent America LLC Method and apparatus for displaying an augmented-reality image corresponding to a microscope view
US11227446B2 (en) * 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11030793B2 (en) * 2019-09-29 2021-06-08 Snap Inc. Stylized image painting
US11568605B2 (en) 2019-10-15 2023-01-31 Magic Leap, Inc. Cross reality system with localization service
US10902623B1 (en) 2019-11-19 2021-01-26 Facebook Technologies, Llc Three-dimensional imaging with spatial and temporal coding for depth camera assembly
US11562542B2 (en) 2019-12-09 2023-01-24 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
US11194160B1 (en) 2020-01-21 2021-12-07 Facebook Technologies, Llc High frame rate reconstruction with N-tap camera sensor
US11302074B2 (en) * 2020-01-31 2022-04-12 Sony Group Corporation Mobile device 3-dimensional modeling
EP4104145A4 (en) 2020-02-13 2024-01-24 Magic Leap Inc CROSS-REALLY SYSTEM PRIORITIZING GEOLOCALIZATION INFORMATION FOR LOCALIZATION
WO2021163306A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with accurate shared maps
CN115398314A (zh) 2020-02-13 2022-11-25 奇跃公司 使用多分辨率帧描述符进行地图处理的交叉现实系统
CN111324957B (zh) * 2020-02-19 2022-03-11 湖南大学 基于弹性虚拟尺的钢轨垂向波磨提取方法
CA3110696A1 (en) * 2020-02-27 2021-08-27 Latham Pool Products, Inc. Augmented reality visualizer and measurement system for swimming pool components
US20220005273A1 (en) 2020-07-01 2022-01-06 Wacom Co., Ltd. Dynamic three-dimensional surface sketching
US11380059B2 (en) * 2020-11-20 2022-07-05 Procore Technologies, Inc. Computer system and methods for optimizing distance calculation
CN112945136B (zh) * 2021-01-29 2022-07-01 中煤科工集团重庆研究院有限公司 用于边坡风险监测的监测点位遴选方法及系统
US20220261085A1 (en) * 2021-02-12 2022-08-18 Apple Inc. Measurement based on point selection
US11417054B1 (en) * 2021-03-17 2022-08-16 Facebook Technologies, Llc. Mixed reality objects in virtual reality environments
US20220319059A1 (en) * 2021-03-31 2022-10-06 Snap Inc User-defined contextual spaces
US20230418430A1 (en) * 2022-06-24 2023-12-28 Lowe's Companies, Inc. Simulated environment for presenting virtual objects and virtual resets

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333219B2 (en) * 2005-03-29 2008-02-19 Mitutoyo Corporation Handheld metrology imaging system and method
WO2012135545A1 (en) * 2011-03-29 2012-10-04 Qualcomm Incorporated Modular mobile connected pico projectors for a local multi-user collaboration
US9696897B2 (en) * 2011-10-19 2017-07-04 The Regents Of The University Of California Image-based measurement tools
JP6092530B2 (ja) * 2012-06-18 2017-03-08 キヤノン株式会社 画像処理装置、画像処理方法
US10412594B2 (en) * 2014-07-31 2019-09-10 At&T Intellectual Property I, L.P. Network planning tool support for 3D data
US9754419B2 (en) * 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6388744B1 (ja) * 2017-09-08 2018-09-12 三菱電機株式会社 測距装置および測距方法
CN113340199B (zh) * 2018-05-07 2023-06-20 苹果公司 使用增强现实进行测量的设备和方法
US11808562B2 (en) 2018-05-07 2023-11-07 Apple Inc. Devices and methods for measuring using augmented reality
JP2021521557A (ja) * 2018-05-07 2021-08-26 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 拡張現実を使用して測定するためのデバイス及び方法
JP7097991B2 (ja) 2018-05-07 2022-07-08 アップル インコーポレイテッド 拡張現実を使用して測定するためのデバイス及び方法
US11391561B2 (en) 2018-05-07 2022-07-19 Apple Inc. Devices and methods for measuring using augmented reality
CN113340199A (zh) * 2018-05-07 2021-09-03 苹果公司 使用增强现实进行测量的设备和方法
JP2020047238A (ja) * 2018-09-19 2020-03-26 未來市股▲ふん▼有限公司 仮想現実システムにおける視線追跡によるパスワード認証方法
US11818455B2 (en) 2018-09-29 2023-11-14 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
JP7293057B2 (ja) 2019-09-13 2023-06-19 株式会社東芝 放射線量分布表示システムおよび放射線量分布表示方法
JP2021043135A (ja) * 2019-09-13 2021-03-18 株式会社東芝 放射線量分布表示システムおよび放射線量分布表示方法
JP7041327B1 (ja) 2020-02-03 2022-03-23 アップル インコーポレイテッド 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
JP7139394B2 (ja) 2020-02-03 2022-09-20 アップル インコーポレイテッド 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
US11797146B2 (en) 2020-02-03 2023-10-24 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
JP2021125216A (ja) * 2020-02-03 2021-08-30 アップル インコーポレイテッドApple Inc. 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
JP2021125215A (ja) * 2020-02-03 2021-08-30 アップル インコーポレイテッドApple Inc. 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
JP2022059612A (ja) * 2020-02-03 2022-04-13 アップル インコーポレイテッド 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
WO2021235316A1 (ja) * 2020-05-21 2021-11-25 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments

Also Published As

Publication number Publication date
EP3224697A1 (en) 2017-10-04
US20160147408A1 (en) 2016-05-26
CN107003728A (zh) 2017-08-01
KR20170087501A (ko) 2017-07-28
WO2016085682A1 (en) 2016-06-02

Similar Documents

Publication Publication Date Title
JP2017536618A (ja) ウェアラブル可視化デバイスのための仮想測定ツール
US11699271B2 (en) Beacons for localization and content delivery to wearable devices
US10168767B2 (en) Interaction mode selection based on detected distance between user and machine interface
KR102222974B1 (ko) 홀로그램 스냅 그리드
KR102450659B1 (ko) 3차원 시각화 시스템의 오브젝트 배치 보조
US11393154B2 (en) Hair rendering method, device, electronic apparatus, and storage medium
US9696547B2 (en) Mixed reality system learned input and functions
CN115917498A (zh) 使用语音和文字字幕的增强现实体验
US20180310116A1 (en) Emulating spatial perception using virtual echolocation
CN111373349B (zh) 用于在增强现实环境中导航的方法、设备及存储介质
US11156838B2 (en) Mixed reality measurement with peripheral tool
US11089427B1 (en) Immersive augmented reality experiences using spatial audio
US10983661B2 (en) Interface for positioning an object in three-dimensional graphical space
US10816334B2 (en) Augmented reality measurement and schematic system including tool having relatively movable fiducial markers
US11740313B2 (en) Augmented reality precision tracking and display
CN115917465A (zh) 使用卷帘快门相机的视觉惯性追踪
CN115836269A (zh) 增强现实环境增强
CN117999529A (zh) 输入设备的多模态跟踪
US11789266B1 (en) Dynamic sensor selection for visual inertial odometry systems
US11593868B1 (en) Real-time virtual try-on item modeling

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20170620