JP2016536715A - 深度センサを用いた構造のモデル化 - Google Patents

深度センサを用いた構造のモデル化 Download PDF

Info

Publication number
JP2016536715A
JP2016536715A JP2016542098A JP2016542098A JP2016536715A JP 2016536715 A JP2016536715 A JP 2016536715A JP 2016542098 A JP2016542098 A JP 2016542098A JP 2016542098 A JP2016542098 A JP 2016542098A JP 2016536715 A JP2016536715 A JP 2016536715A
Authority
JP
Japan
Prior art keywords
physical environment
input data
user input
received user
digital surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016542098A
Other languages
English (en)
Other versions
JP2016536715A5 (ja
JP6469706B2 (ja
Inventor
ディーター・シュマルスティーグ
ゲルハルト・ライトマイア
タン・クオック・グエン
ラファエル・ディヴィッド・アンドレ・グラセット
トビアス・マーティン・ラングロッツ
ハートマット・セイヒッター
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2016536715A publication Critical patent/JP2016536715A/ja
Publication of JP2016536715A5 publication Critical patent/JP2016536715A5/ja
Application granted granted Critical
Publication of JP6469706B2 publication Critical patent/JP6469706B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20096—Interactive definition of curve of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

物理環境のデジタル表現を構築するための技術を提示している。いくつかの実施形態では、方法は、物理環境を示す画像データを取得するステップと、取得された画像データに基づいて、物理環境における少なくとも1つの位置に対応するユーザから、ジェスチャ入力データを受け取るステップと、受け取ったジェスチャ入力データに対応する少なくとも1つの位置の近傍の物理環境における少なくとも1つの不連続性を検出するステップと、受け取られたジェスチャ入力データおよび少なくとも1つの不連続性に基づいて、物理環境における表面に対応するデジタル表面を生成するステップとを含む。

Description

本開示は、一般に、拡張現実環境に関し、より詳しくは、物理環境をリアルタイムでモデル化することに関する。
拡張現実(AR)環境では、ユーザは、AR機能を可能にするために、自分の物理的な周囲のモデルを取得することを所望し得る。たとえば、ユーザは、壁、床、および天井の表面、および机のテーブル表面を含み得る、自分のオフィスの眺めの重要な構造をモデル化することを所望し得る。現実の物理環境をモデル化する現在の方法は、異なる表面を互いに区別する能力に欠け、代わりに、カメラビューからの各ポイントに対して関連付けられた深さを示すポイントの稠密な再構築を単に生成しているにすぎない。さらに、ポイントのこの集合は、どのポイントが壁に属しているか、または、どのポイントが机に属しているか等を区別するための如何なる手段も含んでいないことがあり得る。そのようなセマンティックな意味付けを欠くことは、ARの壁または机表面とインタラクトすることを困難にする。さらに、ポイントのこの集合を生成することは、きわめてプロセッサ集約的であり、リアルタイム使用にあまり適していないことがあり得る。
本発明の実施形態は、この問題および他の問題を解決する。
本開示は、一般に、拡張現実環境に関し、より詳しくは、物理環境をリアルタイムでモデル化することに関する。
直観的なユーザ入力およびユーザの物理環境に基づいて、拡張現実(AR)環境をモバイルデバイスにおいてリアルタイムでモデル化するための方法および装置を提示している。いくつかの実施形態では、ユーザは、本開示のシステムおよび方法に基づいて、ユーザの物理環境の表面を表す幾何学形状を生成し得る。いくつかの実施形態では、ユーザによるそのような表面の大まかな指定だけが必要であり、いくつかのケースでは、迅速で不正確な入力が受け入れ可能であり得る。いくつかの実施形態では、たとえば、深度カメラからの入力のような、モバイルデバイスへのセンサ機能が、ユーザが十分に指定できない表面の残りの部分を推論するために使用され得る。いくつかの実施形態では、方法およびアプリケーションは、マニュアルユーザインターフェースを含む一方、他の実施形態では、より「半自動的な」ユーザインターフェースが適用され得る。
産業における既知の方法を用いて、深度センサは、極めて詳細な情報を含む3次元(3D)再構築を生成し得る。これは、いかなるセマンティックも存在しない多くの幾何学的なプリミティブを含み得るモデルになる。しかしながら、多くのアプリケーションのために、必要とされ得るすべては、少ない数のポリゴンから構成される幾何学モデルであり、これは、有り余るほど多くの詳細ではなく、環境の重要な構造を表す。モデル化された構造は、幾何学的な面、エッジおよび頂点、および単なるボリュームからなるポリゴンモデルを含み得る。そのような幾何学モデルは、構造モデルと称され得る。たとえば、単純な部屋は、4つの壁、床、天井、ドアおよび窓の合計8つのポリゴンを含み得る。これらの幾何学構造は、複雑さは低く、しばしば、直角または並行なエッジのような制約を有することに注目されたい。
さらに、構造にセマンティックな意味付けを与えることが重要であり得る。たとえば、ドアは、隣接した部屋にアクセスするために使用され得る。または、実際の表面上に仮想的な物体が留まるように制約され得る。あるいは、窓が、上下にスライドし得る。拡張現実(AR)におけるインタラクションの場合、関連情報を備えた簡素化された構造モデルが、モバイルデバイスにおいて、構造モデルに関連付けられた情報のリアルタイム処理を可能にし得る。したがって、本発明の実施形態は、ドアのための1つの長方形のように、現実世界からの重要な要素を、少ない数のポリゴンを用いて表すことを提案する。
物理環境のデジタル表現を構築するための例示的な方法は、物理環境を示す画像データを取得するステップと、取得された画像データに基づいて、物理環境における少なくとも1つの位置に対応するユーザ入力データを受け取るステップと、受け取られたユーザ入力データに対応する少なくとも1つの位置の近傍の物理環境における少なくとも1つの不連続性を検出するステップと、受け取られたユーザ入力データおよび少なくとも1つの不連続性に基づいて、物理環境における表面に対応するデジタル表面を生成するステップとを含み得る。この方法のいくつかの実施形態では、受け取られたユーザ入力データは、デジタル表面の少なくとも1つのエッジを指定する。他の実施形態では、受け取られたユーザ入力データは、デジタル表面の少なくとも1つの平面を指定する。さらに他の実施形態では、受け取られたユーザ入力データは、デジタル表面の一部として含まれている複数のポイントを、取得された画像データに基づいて物理環境内に備える。
いくつかの実施形態では、画像データは、物理環境に関する幾何学的な深度情報を含み得る。いくつかの実施では、この例示的な方法は、少なくとも1つの不連続性を検出し得る。これは、少なくとも2つの平面の表面が交差する物理環境において検出するステップを含み得る。いくつかの実施では、受け取られたユーザ入力データは、2次元座標における入力データを含み得る。そして、生成されたデジタル表面は、3次元座標における出力データを含み得る。この例示的な方法はさらに、デジタル表面に関連付けられた少なくとも1つの機能を定義するセマンティック入力を受け取るステップを含み得る。
物理環境のデジタル表現を構築するための例示的なモバイルデバイスは、物理環境を示す画像データを取得するためにモバイルデバイスに接続されたカメラを含み得る。さらに、モバイルデバイスは、取得された画像データに基づいて、物理環境における少なくとも1つの位置に対応するユーザ入力データを受け取るステップと、受け取られたユーザ入力データに対応する少なくとも1つの位置の近傍の物理環境における少なくとも1つの不連続性を検出するステップと、受け取られたユーザ入力データおよび少なくとも1つの不連続性に基づいて、物理環境における表面に対応するデジタル表面を生成するステップとのための、メモリに接続されたプロセッサを含み得る。モバイルデバイスのいくつかの実施形態では、受け取られたユーザ入力データは、デジタル表面の少なくとも1つのエッジを指定する。他の実施形態では、受け取られたユーザ入力データは、デジタル表面の少なくとも1つの平面を指定する。さらに他の実施形態では、受け取られたユーザ入力データは、デジタル表面の一部として含まれている複数のポイントを、取得された画像データに基づいて物理環境内に備える。
いくつかの実施形態では、画像データは、物理環境に関する幾何学的な深度情報を含み得る。いくつかの実施では、この例示的なモバイルデバイスの構成要素は、少なくとも1つの不連続性を検出し得る。これは、少なくとも2つの平面の表面が交差する物理環境において検出するステップを含み得る。いくつかの実施では、受け取られたユーザ入力データは、2次元座標における入力データを含み得、生成されたデジタル表面は、3次元座標における出力データを含み得る。例示的なモバイルデバイスはさらに、デジタル表面に関連付けられた少なくとも1つの機能を定義するセマンティック入力を受け取るための構成要素を含み得る。
物理環境のデジタル表現を構築するための例示的なモバイルデバイスは、物理環境を示す画像データを取得するためにモバイルデバイスに接続されたカメラを含み得る。さらに、モバイルデバイスは、取得された画像データに基づいて、物理環境における少なくとも1つの位置に対応するユーザ入力データを受け取るステップと、受け取られたユーザ入力データに対応する少なくとも1つの位置の近傍の物理環境における少なくとも1つの不連続性を検出するステップと、受け取られたユーザ入力データおよび少なくとも1つの不連続性に基づいて、物理環境における表面に対応するデジタル表面を生成するステップとのための、メモリに接続されたプロセッサを含み得る。モバイルデバイスのいくつかの実施形態では、受け取られたユーザ入力データは、デジタル表面の少なくとも1つのエッジを指定する。他の実施形態では、受け取られたユーザ入力データは、デジタル表面の少なくとも1つの平面を指定する。さらに他の実施形態では、受け取られたユーザ入力データは、デジタル表面の一部として含まれている複数のポイントを、取得された画像データに基づいて物理環境内に備える。
いくつかの実施形態では、画像データは、物理環境に関する幾何学的な深度情報を含み得る。いくつかの実施では、この例示的なモバイルデバイスの構成要素は、少なくとも1つの不連続性を検出し得る。これは、少なくとも2つの平面の表面が交差する物理環境において検出するステップを含み得る。いくつかの実施では、受け取られたユーザ入力データは、2次元座標における入力データを含み得る。そして、生成されたデジタル表面は、3次元座標における出力データを含み得る。例示的なモバイルデバイスはさらに、デジタル表面に関連付けられた少なくとも1つの機能を定義するセマンティック入力を受け取るための構成要素を含み得る。
例示的な非一時的コンピュータ可読記憶媒体であって、非一時的コンピュータ可読記憶媒体は、プロセッサによって実行可能な命令を備え、この命令は、物理環境のデジタル表現を構築するための命令を備え、物理環境を示す画像データを取得し、取得された画像データに基づいて、物理環境における少なくとも1つの位置に対応するユーザ入力データを受け取り、受け取られたユーザ入力データに対応する少なくとも1つの位置の近傍の物理環境における少なくとも1つの不連続性を検出し、受け取られたユーザ入力データおよび少なくとも1つの不連続性に基づいて、物理環境における表面に対応するデジタル表面を生成する機能を含み得る。非一時的コンピュータ可読記憶媒体のいくつかの実施形態では、受け取られたユーザ入力データは、デジタル表面の少なくとも1つのエッジを指定する。他の実施形態では、受け取られたユーザ入力データは、デジタル表面の少なくとも1つの平面を指定する。さらに他の実施形態では、受け取られたユーザ入力データは、デジタル表面の一部として含まれている複数のポイントを、取得された画像データに基づいて物理環境内に備える。
いくつかの実施形態では、画像データは、物理環境に関する幾何学的な深度情報を含み得る。いくつかの実施では、非一時的コンピュータ可読記憶媒体に記憶された命令は、少なくとも1つの不連続性を検出し得る。これは、少なくとも2つの平面の表面が交差する物理環境において検出するステップを含み得る。いくつかの実施では、受け取られたユーザ入力データは、2次元座標における入力データを含み得る。そして、生成されたデジタル表面は、3次元座標における出力データを含み得る。この例示的な非一時的コンピュータ可読記憶媒体はさらに、デジタル表面に関連付けられた少なくとも1つの機能を定義するセマンティック入力を受け取るための命令を含み得る。
物理環境のデジタル表現を構築するための例示的な装置は、物理環境を示す画像データを取得するための手段と、取得された画像データに基づいて、物理環境における少なくとも1つの位置に対応するユーザ入力データを受け取るための手段と、受け取られたユーザ入力データに対応する少なくとも1つの位置の近傍の物理環境における少なくとも1つの不連続性を検出するための手段と、受け取られたユーザ入力データおよび少なくとも1つの不連続性に基づいて、物理環境における表面に対応するデジタル表面を生成するための手段とを含み得る。この装置のいくつかの実施形態では、受け取られたユーザ入力データは、デジタル表面の少なくとも1つのエッジを指定する。他の実施形態では、受け取られたユーザ入力データは、デジタル表面の少なくとも1つの平面を指定する。さらに他の実施形態では、受け取られたユーザ入力データは、デジタル表面の一部として含まれている複数のポイントを、取得された画像データに基づいて物理環境内に備える。
いくつかの実施形態では、画像データは、物理環境に関する幾何学的な深度情報を含み得る。いくつかの実施では、この例示的な装置は、少なくとも1つの不連続性を検出するための手段を含み得る。これは、少なくとも2つの平面の表面が交差する物理環境において検出するための手段を含み得る。いくつかの実施では、受け取られたユーザ入力データは、2次元座標における入力データを含み得る。そして、生成されたデジタル表面は、3次元座標における出力データを含み得る。この例示的な装置はさらに、デジタル表面に関連付けられた少なくとも1つの機能を定義するセマンティック入力を受け取るための手段を含み得る。
以下に続く詳細記載がより良く理解され得るために、上記は、例の特徴および技術的利点をむしろ広く概説している。追加の特徴および利点が、以下に記載されるであろう。開示された概念および特定の例は、本開示の同じ目的を実行するために他の構成を修正または設計するための基礎として容易に利用され得る。そのような等価な構成は、添付された請求項の精神および範囲から逸脱していない。構成および動作の方法の両方に関し、関連付けられた利点とともに、本明細書に開示された概念の特性であると信じられている特徴は、添付図面と関連して考慮された場合に、以下の記載からより良く理解されるであろう。これら図面の各々は、例示および説明のみを目的として提供されており、請求項の限定の定義として提供されていない。
本開示の態様が、例によって例示される。以下の説明は、全体を通じて同一の参照番号が同一の要素を参照するために使用されている図面を参照して提供される。1つまたは複数の技術の様々な詳細が本明細書に記載されているが、他の技術もまた可能である。いくつかの事例では、周知の構成およびデバイスが、様々な技術について説明することを容易にするために、ブロック図形式で図示されている。
本開示によって提供される例の本質および利点のさらなる理解は、いくつかの図面を通じて同一の参照番号が類似の構成要素を参照するために使用されている図面および明細書の残りの部分を参照して実現され得る。いくつかの事例では、複数の類似の構成要素のうちの1つを示すために、サブラベルが参照番号に関連付けられている。既存のサブラベルへの明記のない参照番号に参照された場合、この参照番号は、そのようなすべての類似の構成要素を参照している。
本開示の様々な実施形態を実現し得る例示的なデバイスである。 いくつかの実施形態に従う例示的な用途のケースの図示である。 いくつかの実施形態に従う例示的な用途のケースの図示である。 いくつかの実施形態に従う例示的な用途のケースの図示である。 モバイルデバイス上の十字線カーソル、および、モバイルデバイスカメラの現在のビューに対応する投影を例示する図である。 ユーザによるエッジの選択の例示的な処理を例示する図である。 ユーザによるエッジの選択の例示的な処理を例示する図である。 ユーザによるエッジの選択の例示的な処理を例示する図である。 ユーザによる平面の指定の例示的な処理を例示する図である。 面および平面を選択するための別の例示的なカーソルタイプを例示する図である。 面および平面を選択するための別の例示的なカーソルタイプを例示する図である。 面および平面を選択するための別の例示的なカーソルタイプを例示する図である。 構造モデルにおける物体に自由度(DOF)を関連付けるステップを例示する図である。 構造モデルにおける物体に自由度(DOF)を関連付けるステップを例示する図である。 物体に3つのDOFを関連付けるための例を例示する図である。 幾何学的な面を指定する例示的な処理を例示する図である。 幾何学的な面を指定する例示的な処理を例示する図である。 関心領域へカーソルを大まかに指し示すことによって平面を指定するための例を例示する図である。 関心領域へカーソルを大まかに指し示すことによって平面を指定するための例を例示する図である。 本発明の1つの実施形態に従ってモバイルデバイスにおいて実現される例示的なモジュールのためのブロック図である。 いくつかの実施形態に従う方法を例示する例示的なフローチャートである。 いくつかの実施形態に従うコンピューティングデバイスのブロック図である。
いくつかの例示的な実施形態が、その一部を形成する添付図面に関して記載されるであろう。本開示の1つまたは複数の態様が実現され得る特定の実施形態が以下に記載されているが、他の実施形態も使用され、添付された請求項の精神または本開示の範囲から逸脱することなく、様々な修正がなされ得る。
直観的なユーザ入力およびユーザの物理環境に基づいて、拡張現実(AR)環境をモバイルデバイスにおいてリアルタイムでモデル化するための方法および装置を提示している。いくつかの実施形態では、ユーザは、本開示のシステムおよび方法に基づいて、ユーザの物理環境の表面を表す幾何学形状を生成し得る。いくつかの実施形態では、ユーザによるそのような表面の大まかな指定だけが必要であり、いくつかのケースでは、迅速で不正確な入力が受け入れ可能であり得る。いくつかの実施形態では、たとえば、深度カメラからの入力のような、モバイルデバイスへのセンサ機能が、ユーザが十分に指定できない表面の残りの部分を推論するために使用され得る。いくつかの実施形態では、方法およびアプリケーションは、マニュアルユーザインターフェースを含む一方、他の実施形態では、より「半自動的な」ユーザインターフェースが適用され得る。
産業における既知の方法を用いる場合には、深度センサは、極めて詳細な情報を含む3次元(3D)再構築を生成し得る。これは、いかなるセマンティックも存在しない多くの幾何学的なプリミティブを含み得るモデルになる。廉価な深度センサは、屋内環境のためのリアルタイムの密な再構築を提供し得る。結果的に得られる3Dモデルは、拡張現実(AR)のために使用され得るが、幾何学モデルは、ミリメートルスケールの詳細度を有し、かなりの処理および記憶リソースを消費する。
多くのアプリケーションのために、必要とされ得るすべては、少ない数のポリゴンから構成される幾何学モデルであり、これは、有り余るほど多くの詳細ではなく、環境の重要な構造を表す。モデル化された構造は、幾何学的な面、エッジおよび頂点、および単なるボリュームからなるポリゴンモデルを含み得る。そのような幾何学モデルは、構造モデルと称され得る。たとえば、単純な部屋は、4つの壁、床、天井、ドアおよび窓の合計8つのポリゴンを含み得る。これらの幾何学構造は、複雑さは低く、しばしば、直角または並行なエッジのような制約を有することに注目されたい。さらに、構造にセマンティックな意味付けを与えることが重要であり得る。たとえば、ドアは、隣接した部屋にアクセスするために使用され得る。または、実際の表面上に仮想的な物体が留まるように制約され得る。あるいは、窓が、上下にスライドし得る。拡張現実(AR)におけるインタラクションの場合、関連情報を備えた簡素化された構造モデルが、モバイルデバイスにおいて、構造モデルに関連付けられた情報のリアルタイム処理を可能にし得る。したがって、本発明の実施形態は、ドアのための1つの長方形のように、現実世界からの重要な要素を、少ない数のポリゴンを用いて表すことを提案する。
いくつかの実施形態に従って、本開示の方法および装置は、ARモデル化ユーザインターフェースのための深度センサの使用を例示しており、このインターフェースは、ユーザが、構造モデルを入力するために、「仮想レーザポインタ」メタファーを用いて幾何学形状を追跡することを可能にする。いくつかの実施では、このシステムは、3D再構築から、ユーザによって意図されている形状を推論し得るので、迅速で不正確な入力が受け入れ可能であり得る。さらに、モバイルデバイスは、ユーザへリアルタイムビジュアルフィードバックを提供するように構成され得る。
本開示は、環境において深度カメラ装置をスイープし、モバイルユーザインターフェースを用いて構造モデルへメッシュを細密化することによって取得される密なメッシュの推定値を組み合わせる空間ARモデル化技術を例示する。いくつかの実施形態では、メッシュは、3D次元空間のための複数のデータポイントを称し得る。モバイルユーザインターフェースは、ARビューにおける頂点、エッジ、および平面を決定するためのユーザ入力または3Dジェスチャを検出するように構成され得る。モバイルユーザインターフェースはさらに、ARビューにおける構成にセマンティックを関連付けるように構成され得る。たとえば、ドロップダウンメニューは、ユーザが、ドアを、窓やフレーム等のような多くの他のセマンティックから「ドア」セマンティックに関連付けることを可能にし得る。これらの例および他は、以下により詳細に記載されるであろう。
図1を参照して示すように、例示的なコンピューティングデバイス100は、本開示の1つまたは複数の態様を実現するように構成され得る。たとえば、コンピューティングデバイス100は、スマートフォン、タブレットコンピュータ、携帯情報端末、または、コンピューティングデバイス100が画像データまたは他のデータを入力の形態として受け取ることを可能にする1つまたは複数のセンサが搭載された他のモバイルデバイスであり得る。別の例において、コンピューティングデバイス100は、ヘッドマウント型のデバイスまたは他の任意のコンピューティングデバイスであり得る。いくつかの実施形態では、コンピューティングデバイス100は、モバイルデバイスでなく、たとえば、デスクトップコンピュータ、ゲーム機、固定センサまたはカメラ、または、ワイヤレスまたは有線でともに接続されたマシンのシステムであり得る。コンピューティングデバイス100は、1つまたは複数の正面カメラ110または背面カメラ、モノレンズカメラ、深度カメラ、レーザセンサ、ソナーセンサ、および/または、他のセンサを、装備しているか、これらと通信可能に接続されているか、および/または、そうでない場合には、これらを含み得る。モバイルデバイスはまた、デバイスとのインタラクトのための1つまたは複数のユーザインターフェースを含み得る。たとえば、モバイルデバイスは、ユーザがデータを入力するためにインタラクトし得るタッチスクリーン120を含み得る。ユーザは、そのようなインターフェースによって、幾何学構造を定義し、輪郭を描くことが可能となり得る。別のインターフェースは、ジェスチャを検出し、このジェスチャを、モバイルデバイスへのコマンドとして解釈するためのジェスチャ認識システムを含み得る。1つまたは複数のセンサを含んでいることに加えて、コンピューティングデバイス100は、以下により詳細に記載されるように、1つまたは複数のプロセッサ、メモリユニット、および/または、他のハードウェア構成要素をも含み得る。
1つまたは複数の構成では、コンピューティングデバイス100は、画像、または、物理的境界を定義するための他の手段のいずれかに基づいて、コンピューティングデバイス100の無加工の周囲に関するデータを取得するために、これらのセンサのいずれかおよび/またはすべてを単独で、または組み合わせて使用し得る。たとえば、コンピューティングデバイス100は、コンピューティングデバイス100の無加工の周囲の1つまたは複数のグラフィックビューを得るために1つまたは複数のカメラを使用し得る。より複雑な例として、コンピューティングデバイス100内の1つまたは複数のカメラと組み合わされた1つまたは複数のプロセッサが、経時的に記録および/または受け取られた複数の画像を介して、無加工の周囲を見るために使用され得る。特定の例において、無加工の周囲は、テーブルまたは他の平らな表面、およびテーブルの上に置かれた複数の物体を含み得る。コンピューティングデバイス100は、複数の角度または観点からテーブルを見るために1つまたは複数のカメラを利用し、テーブルおよびその上にある物体に関する画像データの複数のフレームを提供する。これらの画像データは、ここでは例として記載されているが、コンピューティングデバイス100内の1つまたは複数のセンサを介してであるか、または、ワイヤレス手段または有線手段を介してであるかに関わらず、コンピューティングデバイス100によって取得された任意の他の種類のデータは、本開示の1つまたは複数の態様の実施の一部として考慮され得る。
図2Aは、例示的なオフィス空間を例示する。図2Bは、深度センサを用いて可能とされた、モバイルデバイスによって表示されるオフィス空間の表示を例示する。図2Cは、オフィス空間の再構築されたモデルを例示する。本発明の実施形態によれば、モバイルデバイス100は、構造モデルを生成し得る。
図2Aを参照して示すように、モバイルデバイス100を使用するユーザは、部屋200をモデル化し得る。この例において、関心領域(図2Aにおける2つの壁204と206との間のエッジ)において、図2Bに図示されるように、ユーザは、モバイルデバイス100を向き得る。本発明の実施形態は、直交エッジ(デバイス100上に表示された直交空間カーソル)を推定することによってビジュアルフィードバックを即座に提供し、現在の推定された平面(強調された長方形204'および206')のサポート領域を強調し得る。図2Cは、再構築された平面を例示する。いくつかの実施形態では、図2Bに図示されるように、ユーザが、図2Cからの構造(たとえば、長方形)を、図2Aからの実在する物体に関連付けることを可能にするために、モバイルデバイスは、再構築された構造モデルを、オフィス空間のビューの先頭にオーバレイする。
図2A、図2Bおよび図2Cにおいて図示される例示的な使用のケースと整合して、本発明の実施形態は、深度センサフレームワークによって支援されている間、ユーザによる構造モデルの生成をインタラクティブに可能にするためのユーザインターフェースを提供する。ユーザが、適切な構造モデルをあまり認識することなく漸増的に構築することを可能にする、例示的なジェスチャの集合が記載される。図2Bに例示されるように、いくつかの実施形態では、フィードバックは、モバイルデバイス100のディスプレイ上におけるARインターフェースに図示される登録されたグラフィックによって即座に提供され得る。
本発明の実施形態は、構造モデルを生成するために、さほど正確ではなく必要なユーザインタラクションを、深度センサからの3D情報の自動的な再構築と組み合わせる。ユーザインタラクションを自動的な再構築と組み合わせることによって、ほとんどのケースにおいて、ユーザによる長々としたインタラクションも、ユーザに対して即座にフィードバックを提供することも必要なく、構造モデルの高速かつ正確な構築を可能とする。さらに、いくつかの実施形態によれば、提案されるシステムにおいて、環境において物体をモデル化するためのみならず、モデル化された物体に対してセマンティックを割り当てるために、ジェスチャのようなユーザ入力が、使用され得る。
いくつかの実施形態では、エッジを単独で指定することによって、ユーザは、あまり努力をせずに生成される構造モデルの形状を、正確に、効率的に、かつ直感的に制御し得る。たとえば、ユーザは、単に、ポリゴンのアウトラインをエッジ毎に「描画」でき得る。本発明の実施形態によれば、追加の形状が、自動的に推論され得る。提供されたインターフェースのような本発明の実施形態は、より良好な制御を可能とし、モバイルデバイス100において構造モデルを生成するための計算負荷の低い技術を提供する。
さらに、本発明の実施形態は、ユーザが、モバイルデバイスにおいてリアルタイムで、構造モデルを即座に生成し、様々な構造にセマンティックを関連付けることを可能にする。たとえば、モバイルデバイスは、窓のための構造モデルを長方形として生成し、長方形に、窓のセマンティックを関連付けるためのインターフェースをユーザに提供し得る。たとえば、窓というセマンティックは、窓はガラスから構成され、したがって、透明であるか、または、一方向にスライドできることを含み得る。モバイルデバイスは構造モデルを生成し、構造モデルに、リアルタイムでセマンティックがなされ得るので、ユーザは、拡張現実環境において、構造モデルをそのセマンティックとともに即座に使用でき得る。
そのような拡張現実環境の例示的なアプリケーションは、ユーザが、家の一部を改造することを試みることを含み得る。部屋における様々な構造が特定され、セマンティックで注釈付けされると、このインターフェースはさらに、これらの構造を操作する機能をユーザに提供し得る。たとえば、上記の例において、窓が特定され、セマンティックで注釈付けされると、ユーザは、モバイルデバイスに対して、窓を拡大し、拡大した窓を、モバイルデバイスのディスプレイ上に、拡張現実表示でオーバレイするように指示し得る。
いくつかの実施では、モバイルデバイスは、ユーザに、マニュアルユーザインターフェースを提供し得る一方、他の実施では、モバイルデバイスは、ユーザに、半自動的なユーザインターフェースを提供し得る。マニュアルインターフェースによって、ユーザは、エッジを指定することによってモデル化処理を明確かつ十分に制御できるようになる一方、半自動的なインターフェースによって、ユーザは、自動的に推定された根本的なローカル構造から、オプションを即座に選択できるようになる。
図3を参照して示すように、例示300は、モバイルデバイス100上に表示された十字線カーソル302、および、モバイルデバイスカメラの現在のビューにおける3D対応ポイントの投影を図示している。図3は、境界エッジを明示的に指定することによって面を生成するためのマニュアルユーザインターフェースを例示する。一例では、ユーザが、背景上でモバイルデバイス100をスイープした場合、モバイルデバイス100が背景に対して追跡され、その間、ユーザは、ジェスチャ入力を実行する。スクリーンに十字線カーソル302を図示することによって、ユーザは、背景上でモバイルデバイス100をゆっくりとスイープすることができ、結果として、ボックスのエッジの上方に、十字線カーソル302を移動させることができ得る。1つの実施では、カーソル位置は毎回、十字線を介してカメラ中心から光線306を発し、この光を、環境と交差させることによって図示され得る。
1つの例示的な実施では、カーソルを移動させ、適切なジェスチャタイプを選択することによって、ユーザは、構造モデルを生成し得る。ジェスチャタイプ選択は、ジェスチャしている間、タッチスクリーン上のソフトボタンを、親指を用いて押すことによって即座になされ、したがって、このボタンが押し続けている限り、ジェスチャが活性化される。しかしながら、選択のための任意の他の技術(メニュー等)も、本発明の範囲から逸脱することなく適用され得る。
図3に戻って示すように、ユーザは、開始コーナ(310)へカーソルを大まかに指し示し、その後、「エッジ」を選択するために、モバイルデバイス100および十字線カーソルを終了コーナへ(矢印304によって示される方向で)ゆっくりと移動させる(図4A〜図4C参照)。ユーザジェスチャに従って、システムは、開始カーソル位置および現在のカーソル位置によって決定されたカバレッジエリア内のエッジ(312によって示される)を推定する。これらのカーソル位置は、エッジのための潜在的な形跡が存在するカバレッジエリアを定義する。その後、カバレッジエリアに基づいて、システムは、エッジの最適な表示を求める。いくつかの実施形態では、エッジは、ユーザによって示される光線に近い空間における直線でなければならないが、エッジは、再構築における深さまたは通常の不連続性にも近くなければならない。この例示的なインタラクション技術は、ユーザが、コーナに向けて大まかに指し示すことを必要とするが、ユーザが、コーナ間の空間においてカーソルを自由に移動することを可能にする。
図4A、図4B、および図4Cを参照して示すように、ユーザは、開始コーナ(402)を、その後、エッジの所望の終了ポイントまたは終了コーナ(404)を大まかに指し示すことよってエッジを指定する。現在のカーソル位置において、システムは、(図4Aおよび図4Cにおける二重エッジによって示されるように)エッジに関するフィードバックを推定し、ユーザへ提供する。図4Aおよび図4Cは、ユーザが、エッジを大まかに示すことを例示している。ユーザがエッジの上方にカーソルを大まかに移動させたとしても、モバイルデバイスにおいて動作するエッジ検出システムは、エッジを検出し得る。なぜなら、エッジは、2つの平面の交差によって示される強い幾何学的な特徴を表すからである。たとえば、図4Bでは、(図4Bに図示されるように)カーソルがエッジから離れ、エッジがディスプレイにおいて検出されたように直ちに図示され得ないとしても、(図4Cに示されるように)カーソルがエッジに大まかに戻り、それに従って、所望の終了ポイントに向かって移動する限り、エッジは未だに検出され得る。
モバイルデバイスによって、幾何学構造のエッジが次々に識別され得る場合、エッジの最終ポイントが、最初のエッジの開始ポイントに十分近い場合、その構造の面もまた識別され得る。そのようなシナリオでは、エッジループが自動的に閉じられ、面が識別され得る。1つの実施形態では、ユーザはまた、エッジシーケンスの現在の最終ポイントから、開始ポイントへと追加のエッジを挿入することによって、面を直ちに生成するために、「面生成」ボタンを押してもよい。
1つの実施形態では、長方形のエッジのほとんどが、指定されていないのであれば、ユーザはまた、指定されたエッジを用いて長方形が生成されるべきであることを示すために、「長方形生成」ボタンを押してもよい。このシナリオでは、システムは、長方形が生成され得るように、シーケンスを最適化する。2つまたは3つのエッジだけが現在シーケンスにあるのであれば、モバイルデバイスは、見失われたエッジを判定し得る。
図5を参照して示すように、例示500は、ユーザが、平面の平坦領域の隅々を、カーソルを連続的に指し示し、スイープすることによって、平面をどのように指定するのかを示す。図5に図示されるように、物体の面は、「平面」オプションを選択し、(502によって示されるように)特定の平坦な表面の上方でカーソルをスイープすることによって指定され得る。いくつかの実施形態では、システムは、カーソルの周囲の円錐における表面ポイントを検査し、主要平面を計算する。ユーザは、「プラス」オプションおよび「マイナス」オプションで、選択を増加または低減し得る。「平面」オプションは、より複雑な形状を備えた事例において有用であり得る。さらに、ユーザは、平面の上方をスイープすることによって、平坦ではない平面を接続することが可能であり得る。たとえば、ドアは、ドアが、単一の構造として認識されることを阻止し得る彫刻を有し得る。そのような事例では、ユーザは、ドアのための単一の長方形を生成するために、ドアの平坦ではないエッジの上方をスイープし得る。
いくつかの事例では、この場合においては、この結果は、面ではなく、無限平面であり得る。平面は、面の仕様をサポートすることが意図され得る。面がエッジのシーケンスとして定義されているのであれば、システムは、この面を、すべての平面と比較し得る。面が平面に十分近いのであれば、平面制約が面の仕様に追加され得る。言い換えれば、ユーザは、システムが平面を指定することによって、より高い精度で面を決定することを支援し得るが、これは必要ではないかもしれない。
いくつかの実施では、本発明の実施形態は、突き出したボリュームを指定することを考慮し得る。たとえば、面(「ボタン」面)が指定された後に「突き出し」オプションを押すと、ユーザは、空間における「先頭」ポイントを指定し得る。プリズムが、面を、その通常の方向に突き出すことによって構築され、これによって、プリズムの「先頭」面が、「先頭」ポイントの平面に存在するようになる。
マニュアルユーザインターフェースの代わりに、いくつかの実施形態では、半自動的なユーザインターフェースが、より高速な動作のために適用され得る。このインターフェースを用いて、ユーザは、より多くのオプションを与えられ、より多くのユーザ入力のパラメータが、動的に推論され得る。ユーザは、任意の順序で、いくつかの構造を定義することを許され、システムは、独力でより多くの情報を解明し得る。たとえば、部屋では、ユーザは、3つの平面によって交差する天井コーナへ指し示すことができ得る。モバイルデバイスは、3つの平面を推論し、構造モデルを自動的に生成し得る。
図6Aは、面を指定するための平面上カーソルを例示する。これは、推定されたエッジ、通常のコーナ、または面における直交コーナを表示する。たとえば、602に図示されるように、2つのエッジ間の角度がほとんどゼロであるので、モバイルデバイスの構成要素は、この形状に基づいて、カーソルがエッジへ向けて指し示されていると解釈し得る。同様に、604および606に図示されるように、モバイルデバイスの構成要素は、エッジ間の角度に基づいて、カーソルが通常のコーナまたは直交コーナに向けて指し示されていると解釈し得る。
図6Bは、ユーザが、空間において自由に、かつ、交差しているローカル構造の上方でカーソルを移動させている場合に、1つの平面、2つの直交する平面、または、3つの直交する平面のコーナを表示する直交空間カーソルを例示する。図6Cは、通常の空間カーソルが、その直交特性を除いて、直交空間にどのように類似しているのかを例示する。
いくつかの実施では、ユーザは、1つよりも多くのカーソルを選択するオプションを提供され、これによって、ユーザは、追加の制約を指定できるようになる。いくつかのケースでは、平面上のカーソルは、ユーザが平面を指定したことと、ユーザに対して、エッジ、任意のコーナ、または直角コーナを入力させることを仮定し得る。直交空間カーソルは、ユーザが、面、エッジ、またはコーナを指し示すことによって、1つ、2つ、または3つの隣接するポリゴンを入力することを可能にし得る。さらに、通常空間カーソルは、直交空間カーソルに類似し得るが、直角を仮定しないことがあり得る。
現在のカーソルタイプは、ユーザによって設定され得る(マニュアルモード)か、または、自動的に決定され得る(自動モード)。自動モードでは、システムは、現在の推定されたローカル構造(たとえば、カーソル位置の周囲の再構築された風景)に依存してカーソルタイプを決定し得る。視覚化されたカーソル画像は、現在のローカル構造を推定するために適応され得る。たとえば、図6Aは、現在の平面上の通常のコーナカーソルを例示している一方、カーソル画像は、推定されたコーナに適応される。
本発明のいくつか実施形態に従って、上記の、すなわち、非リジッドな付属物の例で述べたように、任意の2つの物体を、リジッドな付属物として定義してもよい。非リジッドな付属物の物体は、ドアまたは窓のような移動部品をモデル化し得る。本発明の実施形態は、たとえば、図7Aおよび図7Bそれぞれに例示されたようなターンおよびスライドのような複数の非リジッドなタイプを記述し得る。ターンの場合、2つのパラメータ、すなわち、ターンの範囲と回転ベクトルとが指定され得る。スライドは、唯一のパラメータであるスライディング方向ベクトルを受け取り得る。一般に、デバイスに関連付けられたDOF(自由度)を適切に図示するために、物体の初期状態および最終状態が、物体に関連付けられたDOFを推論するモバイルデバイスの構成要素のために図示され得る。
図7Aは、別の固定された物体の周囲を回転することができる物体をモデル化する付属物構造モデルを例示する。たとえば、図7Aは、壁のヒンジの周りを旋回するドアを例示し得る。図7Bは、別の固定された物体に沿ってスライドし得る物体を例示する付属物構造モデルを例示する。たとえば、図7Bは、1つが固定されたスライディングドアを例示し得る。
図7Aおよび図7Bに図示されるように、非リジッドな付属物モデルを提供することによって、ユーザは、ドアまたは窓のような移動部品をモデル化できるようになり得る。図7Aでは、ターン付属物のために、ユーザは先ず、ターン可能な物体と固定された物体との間の付属角度(これはまた、この付属物の回転軸でもある)を定義し得る。その後、ユーザは、ほぼ同様の回転軸でモバイルデバイス100を回転することによって、回転の範囲を定義し得る。このシステムは、それに従って、デバイス回転を、1DOF(自由度)ターン回転へ自動的にマップし得る。
図7Bでは、スライド付属物のために、ユーザは先ず、スライド平面(スライドする物体と固定された物体との間のコンタクト)を選択する必要がある。その後、ユーザは、スライディング方向を定義するために、固定された物体の主要な方位に対してモバイルデバイス100を移動させる。モバイルデバイスによって、ユーザは、現在推定されているローカル構造の方位または位置を調節できるようになり得る。これは、推定された構造を、所望される方位または位置に調節するために、それに従ってモバイルデバイス100を回転または移動させることによってなされ得る。
図8は、ユーザが、以前に述べた例示的な実施形態とそれぞれ整合してハンドルデバイスを回転または移動させることによって、物体の方位または位置をどのように操作し得るのかを例示している。たとえば、モバイルデバイスに初期状態および意図された最終状態を提供することによって、モバイルデバイスの構成要素は、図8に例示されるように、3つのDOFを推論することができ得る。
図9Aは、例示的な動作のアドバンストモードにおいて複雑な面を指定するために使用されるジェスチャの例示的な経路の開始を例示する。図9Aに図示されるように、ユーザは、面の境界においてカーソルを向け得る。曲線902によって示されるように、ユーザが、カーソルを、コーナ(直交または非直交の両方)またはエッジ(直線または非直線の両方)の周囲に大まかに移動させている間、システムは、現在のカーソル位置の周囲の領域のローカル構造を推定するエッジ(906、908、910、912)を示す関心のあるポイントへ自動的にスナップする。たとえば、図9Aにおけるエッジ904のような二重線エッジは、デバイスによって識別され、ユーザに表示されるエッジを示し得る。システムは、(たとえば、図6からの平面上カーソルを用いて)適切なカーソル形状を視覚化することによって、推定された構造に関するフィードバックをユーザへ提供し得る。ユーザは、現在推定されている構造を確認するためにボタンを押し得る。ユーザはまた、間接的な操作によって、構造の方位を調節し得る。最後に、ユーザはまた、ジェスチャを実行している間、(システムがカーソルマニュアルモードにあることを認識しているのであれば)特定のカーソルタイプをクリックすることによってローカル構造を直接的に指定し得る。
図9Bは、ユーザからのジェスチャを用いて、構造モデルのマッピングの終了を例示する。ユーザによって描画された、図9Bにおける曲線902の連続性は、関心領域におけるカーソルと、必要であれば、面のエッジ(914、916、および918)または境界を示す追加の関心ポイントとを目的とする連続的なジェスチャを実行することによって、面を生成する。ジェスチャの間、システムは、いくつかの実施形態に従って、カーソル位置の周囲のローカル構造を自動的に推定し、対応するカーソル画像を有するフィードバックを、ユーザへ即座に提供する。
図10Aに図示されるように、ユーザは、平面間のいくつかの平面および制約(たとえば、直交性)を定義するために、関心のあるローカル構造へカーソルを向ける。3D平面におけるエッジを指定することと同様に、ユーザが、経路1002に沿ってカーソルを移動させた場合、システムは、根本的な対応するローカル3D構造を自動的に推定し、平面境界を解明する。システムは、(図6において直交空間または通常空間カーソルとして例示される)適切なカーソル画像および対応する平面を視覚化することによってユーザへフィードバックを提供する。ユーザは、現在推定されている構造を受け入れるためのボタンを押すことができ得る。さらに、ユーザは、間接操作技術を用いて、現在強調されている構造の方位を調節し得る。もちろん、ユーザはまた、特定のカーソルタイプをクリックすることによって、ローカル構造を直接的に指定し得る。
図10Aおよび図10Bを参照して示すように、ユーザは、カーソルを関心領域へ大まかに指し示すことによって、平面を(1つ、2つ、または3つの平面を一度に)指定する(図10Aは、早期段階中の経路1002を図示している一方、図10Bは、後の段階中の経路1004を図示している)。システムは、適応された適切なカーソル画像および対応する平面を視覚化することによって、推定されたローカル構造のためのフィードバックを即座に提供する。たとえば、このフィードバックシステムは、モデル化されている構造を、視覚的に強調し得る(図示せず)。
同様の目的を達成することを目的とされた既存の方法に対し、本開示の多くの利点がある。たとえば、意味付けのあるモデルは、ARアプリケーションのような、モバイルデバイスのための最近のアプリケーションにおいて益々必要となっている。しかしながら、研究および産業コミュニティからの最近の試みは、そのようなモデルを直感方式で達成することに失敗している。対照的に、本開示の実施形態は、量的および質的な構造モデルを達成するために、ユーザ入力と自動推定との組合せを活用する。ユーザインターフェース内の計算困難なパラメータの制御および容易な入力を、深度センシングユニットからの計算容易な(だがマニュアルで入力するには長々とした)パラメータ/測定値の精度および自動判定と組み合わせることによって、本発明の実施形態は、効率的な構造のモデル化を可能にする。したがって、本開示の実施形態は、ユーザが、かなりの精度を提供しながら、現在の最先端技術よりもより高速かつより効率的に、セマンティックな意味付けのなされた構造モデルを生成することを可能にする。
図11は、本発明の1つの実施形態に従って、モバイルデバイス100において実現される例示的なモジュールのブロック図を例示する。モバイルデバイスは、図13に記載された1つまたは複数の構成要素を用いて実現されるコンピュータデバイスであり得る。図11に記載されたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の他の組合せを用いて実現され得る。1つの実施形態では、図11に記載されたモジュールは、任意の磁気、電子、光、または他のコンピュータ可読記憶媒体であり得るコンピュータ可読媒体1100において、ソフトウェアモジュールとして記憶され得る。1つの実施では、コンピュータ可読記憶媒体1100は、ユーザ入力モジュール1102、カメラおよびセンサモジュール1104、ジェスチャ認識モジュール1106、構造モデル生成器1108、およびディスプレイおよびフィードバックモジュール1110を含み得る。
ユーザ入力モジュール1102は、ユーザインターフェースを介してユーザ入力を受け取るように構成され得る。たとえば、1つの実施では、ユーザは、適切なモードおよび適切なカーソルタイプの選択、および上記図に記載されているようなカーソルの操作のために、モバイルデバイス100のタッチスクリーンにおいて入力を与え得る。
カメラおよびセンサモジュール1104は、モバイルデバイス100のカメラ構成要素からカメラ情報を、モバイルデバイス100上の深度センサから深度情報を、受け取るように構成され得る。
ジェスチャ認識モジュール1106は、カメラおよびセンサモジュール1104からカメラおよび深度情報を受け取るように構成され得る。ジェスチャ認識モジュール1106は、カメラからの情報を用いてジェスチャを判定し、ジェスチャにコマンドを関連付け得る。たとえば、ユーザは、適切なモードを選択し、適切なカーソルタイプを選択し、上記図に記載されているようにカーソルを操作するためにジェスチャをし得る。
構造モデル生成器1108は、ユーザ入力モジュール1102、カメラおよびセンサモジュール1104、およびジェスチャ認識モジュールの情報を受け取るように構成され得る。構造モデル生成器1108は、構造モデルを生成するために、(タッチスクリーンおよび/またはジェスチャによってなされた)ユーザ入力と、カメラおよび深度センサ情報とを組み合わせるように構成され得る。さらに、構造モデル生成器1108はまた、情報に注釈を付けることをユーザに要求することによって、セマンティック付き構造モデルから構造に注釈を付け得る。
ディスプレイおよびフィードバックモジュール1110は、モバイルデバイス100のスクリーン上に拡張現実を表示するように構成され得る。ディスプレイおよびフィードバックモジュール1110は、カメラおよびセンサモジュール1104からカメラ入力を受け取り、構造モデル生成器1108からの構造モデルをディスプレイ上にオーバレイし得る。ディスプレイおよびフィードバックモジュール1110はまた、現実のディスプレイの上方に、カーソルおよびカーソルの経路をオーバレイし得る。さらに、ディスプレイおよびフィードバックモジュール1110は、デバイスのビューからモデル化された構造に関するフィードバックをユーザへ提供するために、デバイス上において、拡張現実ビューにおける幾何学構造を強調し得る。
図12は、本開示の1つまたは複数の例示的な態様に従って、本発明の実施形態を実行するための方法を例示するフロー図である。1つまたは複数の態様によれば、本明細書に記載された方法および/または方法ステップのうちのいずれかおよび/またはすべては、たとえば、図13により詳細に記載されたモバイルデバイス100および/またはデバイスのようなモバイルデバイス100によって、および/または、モバイルデバイス100において、実現され得る。1つの実施形態では、図12に関して以下に記載された方法ステップのうちの1つまたは複数は、プロセッサ1310または別のプロセッサのような、モバイルデバイス1300のプロセッサによって実現され得る。それに加えてまたはその代わりに、本明細書に記載された方法および/または方法ステップのいずれかおよび/またはすべては、メモリ1335、ストレージ1325、または他のコンピュータ可読媒体のようなコンピュータ可読媒体に記憶されたコンピュータ可読命令のようなコンピュータ可読命令において実現され得る。
フローチャート1200は、いくつかの実施形態に従って、物理環境のデジタル表現の構築のための例示的な方法フローを例示している。ブロック1202では、物理環境を示す画像データが取得され得る。ブロック1204では、ユーザ入力データは、取得された画像データに基づいて、ユーザから受け取られ得、ジェスチャ入力データは、物理環境における少なくとも1つの位置に対応する。例示的なユーザ入力データは、本明細書に記載された任意のタイプの例示的なジェスチャおよび入力を含み得る。このユーザ入力に基づく他のタイプのユーザ入力または機能は、当業者に明らかであって、実施形態はそのように限定されない。ブロック1206では、少なくとも1つの不連続性が、受け取られたユーザ入力データに対応する少なくとも1つの位置の近傍の物理環境において検出され得る。ブロック1208では、物理環境における表面に対応するデジタル表面が、受け取られたユーザ入力データおよび少なくとも1つの不連続性に基づいて生成され得る。本明細書に記載された例示的な方法は、前述した図面および説明のうちのいずれかにおいて記載された本開示のいずれかと整合し得る。本明細書における例示的な方法を実現するための例示的なデバイスは、前述した図面および説明のいずれかにおいて既に述べられた例示的なデバイスのいずれかであり得る。
図12に例示された特定のステップは、本発明の実施形態に従って、動作のモード間を切り換える特定の方法を提供することが認識されるべきである。ステップの他のシーケンスもまた、代替実施形態においてこれに従って実行され得る。たとえば、本発明に対する代替実施形態は、別の順序で、上記概説したステップを実行し得る。さらに、追加のステップまたはステップに対する変形が、特定のアプリケーションに依存して追加または削除され得る。当業者であれば、この処理の多くの変形、修正、および代替を認識および理解するであろう。
多くの実施形態が、特定の要件に従ってなされ得る。たとえば、カスタマイズされたハードウェアもまた使用され得、および/または、特定の要素が、ハードウェア、(たとえば、アップレット等のようなポータブルソフトウェアを含む)ソフトウェア、またはその両方で実現され得る。さらに、たとえばネットワーク入力/出力デバイスのような他のコンピューティングデバイスへの接続が適用され得る。
AR環境における平面の表面の密な提示を定義する複数の態様が記載されているので、本開示の様々な態様が実現され得るコンピューティングシステムの例が、図13に関して記載されるであろう。1つまたは複数の態様によれば、図13に例示されるようなコンピュータシステムは、本明細書に記載された特徴、方法、および/または、方法ステップのうちのいずれかおよび/またはすべてを実現、実行、および/または、実施し得るモバイルデバイス100の一部として組み込まれ得る。たとえば、コンピュータシステム1300は、モバイルデバイス100の構成要素のうちのいくつかを表し得る。モバイルデバイスは、たとえばワイヤレス受信機またはモデムのような入力感知ユニットを備えた任意のコンピューティングデバイスであり得る。モバイルデバイスの例は、限定されないが、ビデオゲームコンソール、タブレット、スマートフォン、テレビ、ARゴーグル、ヘッドマウントデバイス、および移動局を含む。いくつかの実施形態では、システム1300は、前述された方法のうちのいずれかを実現するように構成される。図13は、本明細書に記載されるように、様々な他の実施形態によって提供される方法を実行し、および/または、ホストコンピュータシステム、遠隔のキオスク/端末、POSデバイス、モバイルデバイス、セットトップボックス、および/または、コンピュータシステムとして機能し得るコンピュータシステム1300の1つの実施形態の概要図を提供する。図13は、そのうちのいずれかおよび/またはすべてが適切に使用され得る様々な構成要素の一般化された例示を提供することのみが意図されている。したがって、図13は、個々のシステム要素が、どのように、相対的に分離されているか、または、相対的により統合された方式で実現され得るのかをより広く例示している。
バス1305を介して電子的に結合され得る(または、そうでなければ、適切に通信し得る)ハードウェア要素を備えるコンピュータシステム1300が図示される。ハードウェア要素は、限定することなく、1つまたは複数の汎用プロセッサ、および/または、1つまたは複数の専用目的プロセッサ(デジタル信号処理チップ、グラフィックアクセラレーションプロセッサ等)を含む1つまたは複数のプロセッサ1310と、限定することなく、ワイヤレス受信機、ワイヤレスセンサ、マウス、キーボード等を含み得る1つまたは複数の入力デバイス1315と、限定することなく、ディスプレイユニット、プリンタ等を含み得る1つまたは複数の出力デバイス1320とを含み得る。さらに、ハードウェア要素はまた、画像データを取得するための1つまたは複数のカメラ1355と、カメラのビューのフィールドの深度情報を受け取るための1つまたは複数の深度センサ1360とを含み得る。
いくつかの実施形態では、1つまたは複数プロセッサ1310は、図13に関して前述された機能のサブセットまたはすべてを実行するように構成され得る。プロセッサ1310は、たとえば、一般的なプロセッサおよび/またはアプリケーションプロセッサを備え得る。いくつかの実施形態では、プロセッサは、視覚的な追跡デバイス入力およびワイヤレスセンサ入力を処理する要素へ組み込まれる。
コンピュータシステム1300はさらに、限定することなく、ローカルおよび/またはネットワークアクセス可能なストレージを備え得る1つまたは複数の非一時的な記憶デバイス1325を含み得る(および/または、通信し得る)か、および/または、限定することなく、ディスクドライブと、ドライブアレイと、光記憶デバイスと、プログラム可能、フラッシュ更新可能等であり得るランダムアクセスメモリ(「RAM」)および/または読み取り専用メモリ(「ROM」)のようなソリッドステートデバイスとを含み得る。そのような記憶デバイスは、限定することなく、様々なファイルシステム、データベース構造等を含む任意の適切なデータ記憶装置を実現するように構成され得る。
コンピュータシステム1300はまた、限定することなく、モデム、ネットワークカード(ワイヤレスまたは有線)、赤外線通信デバイス、ワイヤレス通信デバイス、および/または、チップセット(Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信施設等)等を含み得る通信サブシステム1330を含み得る。通信サブシステム1330によって、(一例をあげると、後述するネットワークのような)ネットワーク、他のコンピュータシステム、および/または、本明細書に記載された任意の他のデバイスとの間でデータが交換されるようになり得る。多くの実施形態では、コンピュータシステム1300はさらに、前述したように、RAMまたはROMデバイスを含み得る非一時的なワーキングメモリ1335を備えるであろう。いくつかの実施形態では、通信サブシステム1330は、アクセスポイントまたはモバイルデバイスから信号を送信および受信するように構成されたトランシーバ1350とインターフェースし得る。いくつかの実施形態は、個別の単数または複数の受信機、および個別の単数または複数の送信機を含み得る。
コンピュータシステム1300はまた、本明細書に記載されたように、オペレーティングシステム1340、デバイスドライバ、実行可能なライブラリ、および/または、様々な実施形態によって提供されたコンピュータプログラムを備え得る、および/または、他の実施形態によって提供された方法を実施、および/または、システムを構成するように設計され得る、1つまたは複数のアプリケーションプログラム1345のような他のコードを含み、ワーキングメモリ1335内に現在配置されているように図示されているソフトウェア要素を備え得る。単なる例であるが、たとえば、図13に関して記載されたような、前述した方法に関連して記載された1つまたは複数の手順は、コンピュータ(および/または、コンピュータ内のプロセッサ)によって実行可能な命令および/またはコードとして実現され得、態様では、そのような命令および/またはコードは、記載された方法に従って1つまたは複数の動作を実行するために汎用コンピュータ(または他のデバイス)を設定および/または適用するために使用され得る。
これらの命令および/またはコードのセットは、たとえば前述されたような記憶デバイス1325のようなコンピュータ可読記憶媒体に格納され得る。いくつかのケースでは、記憶媒体は、コンピュータシステム1300のようなコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、コンピュータシステム(たとえば、コンパクトディスクのようなリムーバブル媒体)から分離し得る。および/または、インストールパッケージで提供され、これによって、記憶媒体は、そこに記憶されている命令/コードを用いて汎用コンピュータをプログラム、設定、および/または適用するために使用され得る。これらの命令は、コンピュータシステム1300によって実行可能な、実行可能なコードの形態をとり得、および/または、(たとえば、一般に利用可能な様々なコンパイラ、インストールプログラム、圧縮/伸張ユーティリティ等のうちのいずれかを用いて)コンパイルされ、および/または、コンピュータシステム1300にインストールされると実行可能なコードの形態をとる、ソースおよび/またはインストール可能なコードの形態をとり得る。
特定の要件に従って、実質的な変形がなされ得る。たとえば、カスタマイズされたハードウェアもまた使用され得るか、および/または、特定の要素が、ハードウェア、(たとえば、アップレット等のようなポータブルソフトウェアを含む)ソフトウェア、またはその両方で実現され得る。さらに、たとえばネットワーク入力/出力デバイスのような他のコンピューティングデバイスへの接続が適用され得る。
いくつかの実施形態は、本開示に従って方法を実行するコンピュータシステム(たとえば、コンピュータシステム1300)を適用し得る。たとえば、記載された方法の手順のうちのいくつかまたはすべては、ワーキングメモリ1335に含まれる(オペレーティングシステム1340および/または、アプリケーションプログラム1345のような他のコードに組み込まれ得る)1つまたは複数の命令のうちの1つまたは複数のシーケンスをプロセッサ1310が実行することに応じて、コンピュータシステム1300によって実行され得る。そのような命令は、たとえば記憶デバイス1325のうちの1つまたは複数のような別のコンピュータ可読媒体からワーキングメモリ1335へ読み込まれ得る。単なる例であるが、ワーキングメモリ1335に含まれた命令のシーケンスの実行は、たとえば、図13に関して記載されたような方法である、本明細書に記載された方法の1つまたは複数の手順をプロセッサ1310に対して実行させ得る。
本明細書で使用されるような「マシン可読媒体」および「コンピュータ可読媒体」という用語は、マシンを特有の方式で動作させるデータを提供することに関連する任意の媒体を称する。コンピュータシステム1300を用いて実現される実施形態では、様々なコンピュータ可読媒体が、実行のための命令/コードをプロセッサ1310に提供する際に含まれ得る、および/または、そのような命令/コードを(たとえば、信号として)記憶および/または伝送するために使用され得る。多くの実施では、コンピュータ可読媒体は、物理的および/または有形の記憶媒体である。そのような媒体は、限定しないが、不揮発性媒体、揮発性媒体、および送信媒体を含む多くの形態をとり得る。不揮発性媒体は、たとえば、記憶デバイス1325のような光ディスクおよび/または磁気ディスクを含む。揮発性媒体は、限定することなく、たとえば、ワーキングメモリ1335のような動的メモリを含む。送信媒体は、限定することなく、同軸ケーブルと、銅線と、および、バス1305を備えるワイヤのみならず、通信サブシステム1330の様々な構成要素(および/または、通信サブシステム1330が他のデバイスへ通信を提供する媒体)を含む光ファイバとを含んでいる。したがって、送信媒体はまた、(限定することなく、無線波、音響波、および/または、たとえば、無線波通信および赤外線データ通信中に生成されるような光波を含む)波の形態をとり得る。
物理的および/または有形のコンピュータ可読媒体の共通の形式は、たとえば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、あるいは任意の他の磁気媒体、CD-ROM、任意の他の光媒体、パンチカード、紙テープ、穴のパターンを備えた任意の他の物理的媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップまたはカートリッジ、以下に記載されるような搬送波、または、コンピュータが命令および/またはコードを読み取る任意の他の媒体を含む。
実行のために、1つまたは複数の命令の1つまたは複数のシーケンスをプロセッサ1310へ伝送する際に、コンピュータ可読媒体の様々な形態が含まれ得る。単なる例であるが、命令は、最初に、遠隔コンピュータの光ディスクおよび/または磁気ディスクで搬送され得る。遠隔コンピュータは、その動的メモリへ命令をロードし、命令を、コンピュータシステム1300によって受信および/または実行される信号として送信媒体を介して送信し得る。電磁気信号、音響信号、光信号等の形態をとり得るこれら信号はすべて、本発明の様々な実施形態に従って、命令がエンコードされ得る搬送波の例である。
通信サブシステム1330(および/またはその構成要素)は一般に、これら信号を受信し、バス1305はその後、信号(および/または、信号によって伝送されるデータ、命令等)をワーキングメモリ1335へ伝送し得、ここから、プロセッサ1310は、命令を取得して実行する。ワーキングメモリ1335によって受け取られた命令は、オプションとして、プロセッサ1310による実行の前または後のいずれかにおいて、非一時的な記憶デバイス1325に記憶され得る。メモリ1335は、本明細書に記載されたデータベースおよび方法のうちのいずれかに従って、少なくとも1つのデータベースを含み得る。メモリ1335は、このように、図1、図2、図3、図4、図5、図6、図7、図8、図9、図10、図11、図12および関連する説明を含む本開示のいずれかにおいて述べた値のうちのいずれかを記憶し得る。
図12に記載された方法は、図13における様々なブロックによって実施され得る。たとえば、プロセッサ1310は、フローチャート1200におけるブロックの機能のうちのいずれかを実行するように構成され得る。記憶デバイス1325は、本明細書で述べられたブロックのいずれかにおいて述べたローカルにユニークな属性またはグローバルにユニークな属性のような中間結果を記憶するように構成され得る。記憶デバイス1325はまた、本開示のいずれかと整合したデータベースを含み得る。メモリ1335は同様に、本明細書において述べられたブロックのいずれかにおいて記載された機能のいずれかを実行するために必要なデータベース値、信号の表現、または信号を記録するように構成され得る。RAMのような一時的または揮発性メモリに記憶される必要のあり得る結果はまた、メモリ1335に含まれ得、記憶デバイス1325に記憶され得るものと同様の任意の中間結果を含み得る。入力デバイス1315は、本明細書に記載された本開示に従って、衛星および/または基地局からのワイヤレス信号を受信するように構成され得る。出力デバイス1320は、本開示のいずれかに従って、画像を表示、テキストを印刷、信号を送信、および/または、他のデータの出力、を行うように構成され得る。
前述されたこれらの方法、システム、およびデバイスは例である。様々な実施形態は、様々な手順または構成要素を、適切なものとして、省略、代用、または追加し得る。たとえば、代替構成では、記載された方法は、記載されたものとは異なる順序で実行され得るか、および/または、様々な段階が、追加、省略、および/または、組み合わせられ得る。いくつかの実施形態に関して記述された特徴は、他の様々な実施形態で組み合わせられ得る。実施形態の異なる態様および要素は、同様な方式で組み合わせられ得る。技術は進化するので、これら要素の多くは、これら具体的な例に対する本開示の範囲を限定しない例である。
実施形態の完全な理解を提供するために、説明に、具体的な詳細が与えられる。しかしながら、実施形態は、これらの具体的な詳細なしで実行され得る。たとえば、周知の回路、処理、アルゴリズム、構成、および技術が、実施形態を不明瞭にしないために、不必要な詳細なしで図示されている。本記載は、例示的な実施形態のみを提供しており、本発明の範囲、適用可能性、または構成を限定することは意図されていない。むしろ、実施形態の前述した記載は、当業者に対して、本発明の実施形態を実施するための実施可能な説明を与えるであろう。様々な変更が、本発明の精神および範囲から逸脱することなく、要素の機能および構成において行われ得る。
また、いくつかの実施形態は、フロー図またはブロック図として図示されたプロセスとして記載された。各々は、動作を、連続的な処理として記載し得るが、これら動作の多くは、並行して、または、同時に実行され得る。さらに、これら動作の順序が、再配列され得る。処理は、図面に含まれていない追加のステップを有し得る。さらに、方法の実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはこれらの任意の組合せによって実現され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実現された場合、関連付けられたタスクを実行するためのコードセグメントまたはプログラムコードが、記憶媒体のようなコンピュータ可読媒体に記憶され得る。プロセッサは、関連付けられたタスクを実行し得る。
いくつかの実施形態が記載され、様々な修正、代替構成、および均等物が、本開示の精神から逸脱することなく使用され得る。たとえば、前述した要素は単に、より大きいシステムの構成要素であり、他のルールが、本発明の応用を引き継ぐか、あるいはそうでなければ修正し得る。多くのステップが、前述した要素が考慮される前、間、または後に実施され得る。したがって、前述した記載は、本開示の範囲を限定しない。
様々な例が記載された。これらの例および他の例は、以下の請求項の範囲内である。
100 モバイルデバイス
110 正面カメラ
120 タッチスクリーン
200 部屋
204 壁
204' 長方形
206 壁
206' 長方形
300 例示
302 十字線カーソル
304 矢印
306 光線
310 開始コーナ
312 エッジ
402 開始コーナ
404 終了コーナ
500 例示
502 カーソル
602 2つのエッジ間の角度
604 2つのエッジ間の角度
606 2つのエッジ間の角度
902 曲線
904 エッジ
906 エッジ
908 エッジ
910 エッジ
912 エッジ
914 エッジ
916 エッジ
918 エッジ
1002 経路
1004 経路
1100 コンピュータ可読記憶媒体
1102 ユーザ入力モジュール
1104 カメラおよびセンサモジュール
1106 ジェスチャ認識モジュール
1108 構造モデル生成器
1110 ディスプレイおよびフィードバックモジュール
1300 コンピュータシステム
1305 バス
1310 プロセッサ
1315 入力デバイス
1320 出力デバイス
1325 記憶デバイス
1330 通信サブシステム
1335 ワーキングメモリ
1340 オペレーティングシステム
1345 アプリケーションプログラム
1350 トランシーバ
1355 カメラ
1360 深度センサ

Claims (30)

  1. 物理環境のデジタル表現を構築するための方法であって、
    前記物理環境を示す画像データを取得するステップと、
    前記取得された画像データに基づいて、前記物理環境における少なくとも1つの位置に対応するユーザ入力データを受け取るステップと、
    前記受け取られたユーザ入力データに対応する少なくとも1つの位置の近傍の前記物理環境における少なくとも1つの不連続性を検出するステップと、
    前記受け取られたユーザ入力データおよび前記少なくとも1つの不連続性に基づいて、前記物理環境における表面に対応するデジタル表面を生成するステップと
    を備える方法。
  2. 前記受け取られたユーザ入力データは、前記デジタル表面の少なくとも1つのエッジを指定する、請求項1に記載の方法。
  3. 前記受け取られたユーザ入力データは、前記デジタル表面の少なくとも1つの平面を指定する、請求項1に記載の方法。
  4. 前記受け取られたユーザ入力データは、前記デジタル表面の一部として含まれている複数のポイントを、前記取得された画像データに基づいて前記物理環境内に備える、請求項1に記載の方法。
  5. 前記少なくとも1つの不連続性を検出するステップは、少なくとも2つの平面の表面が交差する前記物理環境において検出するステップを備える、請求項1に記載の方法。
  6. 前記デジタル表面に関連付けられた少なくとも1つの機能を定義するセマンティック入力を受け取るステップ、をさらに備える請求項1に記載の方法。
  7. 前記画像データは、前記物理環境に関する幾何学的な深度情報を備える、請求項1に記載の方法。
  8. 前記受け取られたユーザ入力データは、2次元座標における入力データを備え、前記生成されたデジタル表面は、3次元座標における出力データを備える、請求項1に記載の方法。
  9. 物理環境のデジタル表現を構築するためのモバイルデバイスであって、
    前記物理環境を示す画像データを取得するように構成されたカメラと、
    メモリに接続され、
    前記取得された画像データに基づいて、前記物理環境における少なくとも1つの位置に対応するユーザ入力データを受け取り、
    前記受け取られたユーザ入力データに対応する少なくとも1つの位置の近傍の前記物理環境における少なくとも1つの不連続性を検出し、
    前記受け取られたユーザ入力データおよび前記少なくとも1つの不連続性に基づいて、前記物理環境における表面に対応するデジタル表面を生成する
    ように構成されたプロセッサと
    を備えるモバイルデバイス。
  10. 前記受け取られたユーザ入力データは、前記デジタル表面の少なくとも1つのエッジを指定する、請求項9に記載のモバイルデバイス。
  11. 前記受け取られたユーザ入力データは、前記デジタル表面の少なくとも1つの平面を指定する、請求項9に記載のモバイルデバイス。
  12. 前記受け取られたユーザ入力データは、前記デジタル表面の一部として含まれている複数のポイントを、前記取得された画像データに基づいて前記物理環境内に備える、請求項9に記載のモバイルデバイス。
  13. 前記プロセッサによって、前記少なくとも1つの不連続性を検出するステップは、前記プロセッサによって、少なくとも2つの平面の表面が交差する前記物理環境において検出するステップを備える、請求項9に記載のモバイルデバイス。
  14. 前記プロセッサはさらに、前記デジタル表面に関連付けられた少なくとも1つの機能を定義するセマンティック入力を受け取るように構成された、請求項9に記載のモバイルデバイス。
  15. 前記画像データは、前記モバイルデバイスに接続された深度センサを用いて、前記物理環境に関する幾何学的な深度情報を備える、請求項9に記載のモバイルデバイス。
  16. 前記プロセッサによって受け取られたユーザ入力データは、2次元座標における入力データを備え、前記プロセッサによって生成されたデジタル表面は、3次元座標における出力データを備える、請求項9に記載のモバイルデバイス。
  17. 非一時的コンピュータ可読記憶媒体であって、前記非一時的コンピュータ可読記憶媒体は、プロセッサによって実行可能な命令を備え、前記命令は、
    物理環境を示す画像データを取得し、
    前記取得された画像データに基づいて、前記物理環境における少なくとも1つの位置に対応するユーザ入力データを受け取り、
    前記受け取られたユーザ入力データに対応する少なくとも1つの位置の近傍の前記物理環境における少なくとも1つの不連続性を検出し、
    前記受け取られたユーザ入力データおよび前記少なくとも1つの不連続性に基づいて、前記物理環境における表面に対応するデジタル表面を生成する
    ための命令を備える、非一時的コンピュータ可読記憶媒体。
  18. 前記受け取られたユーザ入力データは、前記デジタル表面の少なくとも1つのエッジを指定する、請求項17に記載の非一時的コンピュータ可読記憶媒体。
  19. 前記受け取られたユーザ入力データは、前記デジタル表面の少なくとも1つの平面を指定する、請求項17に記載の非一時的コンピュータ可読記憶媒体。
  20. 前記受け取られたユーザ入力データは、前記デジタル表面の一部として含まれている複数のポイントを、前記取得された画像データに基づいて前記物理環境内に備える、請求項17に記載の非一時的コンピュータ可読記憶媒体。
  21. 前記少なくとも1つの不連続性を検出するステップは、少なくとも2つの平面の表面が交差する前記物理環境において検出するステップを備える、請求項17に記載の非一時的コンピュータ可読記憶媒体。
  22. 前記デジタル表面に関連付けられた少なくとも1つの機能を定義するセマンティック入力を受け取るステップ、をさらに備える請求項17に記載の非一時的コンピュータ可読記憶媒体。
  23. 前記画像データは、前記物理環境に関する幾何学的な深度情報を備える、請求項17に記載の非一時的コンピュータ可読記憶媒体。
  24. 装置であって、
    物理環境を示す画像データを取得するための手段と、
    前記取得された画像データに基づいて、前記物理環境における少なくとも1つの位置に対応するユーザ入力データを受け取るための手段と、
    前記受け取られたユーザ入力データに対応する少なくとも1つの位置の近傍の前記物理環境における少なくとも1つの不連続性を検出するための手段と、
    前記受け取られたユーザ入力データおよび前記少なくとも1つの不連続性に基づいて、前記物理環境における表面に対応するデジタル表面を生成するための手段と
    を備える装置。
  25. 前記受け取られたユーザ入力データは、前記デジタル表面の少なくとも1つのエッジを指定する、請求項24に記載の装置。
  26. 前記受け取られたユーザ入力データは、前記デジタル表面の少なくとも1つの平面を指定する、請求項24に記載の装置。
  27. 前記受け取られたユーザ入力データは、前記デジタル表面の一部として含まれている複数のポイントを、前記取得された画像データに基づいて前記物理環境内に備える、請求項24に記載の装置。
  28. 前記少なくとも1つの不連続性を検出するステップは、少なくとも2つの平面の表面が交差する前記物理環境において検出するための手段を備える、請求項24に記載の装置。
  29. 前記デジタル表面に関連付けられた少なくとも1つの機能を定義するセマンティック入力を受け取るための手段、をさらに備える請求項24に記載の装置。
  30. 前記画像データは、前記物理環境に関する幾何学的な深度情報を備える、請求項24に記載の装置。
JP2016542098A 2013-09-11 2014-09-11 深度センサを用いた構造のモデル化 Active JP6469706B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361876421P 2013-09-11 2013-09-11
US61/876,421 2013-09-11
US14/250,544 US9934611B2 (en) 2013-09-11 2014-04-11 Structural modeling using depth sensors
US14/250,544 2014-04-11
PCT/US2014/055178 WO2015038765A1 (en) 2013-09-11 2014-09-11 Structural modeling using depth sensors

Publications (3)

Publication Number Publication Date
JP2016536715A true JP2016536715A (ja) 2016-11-24
JP2016536715A5 JP2016536715A5 (ja) 2017-10-05
JP6469706B2 JP6469706B2 (ja) 2019-02-13

Family

ID=52625165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016542098A Active JP6469706B2 (ja) 2013-09-11 2014-09-11 深度センサを用いた構造のモデル化

Country Status (6)

Country Link
US (2) US9934611B2 (ja)
EP (3) EP3044757B1 (ja)
JP (1) JP6469706B2 (ja)
KR (1) KR102216736B1 (ja)
CN (2) CN110070556B (ja)
WO (1) WO2015038765A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934611B2 (en) 2013-09-11 2018-04-03 Qualcomm Incorporated Structural modeling using depth sensors
CN106663365B (zh) * 2014-07-17 2019-12-10 飞利浦灯具控股公司 基于用户输入获得控制系统的手势区域定义数据的方法
US10881713B2 (en) 2015-10-28 2021-01-05 Atheer, Inc. Method and apparatus for interface control with prompt and feedback
US10248284B2 (en) * 2015-11-16 2019-04-02 Atheer, Inc. Method and apparatus for interface control with prompt and feedback
US10477157B1 (en) * 2016-03-02 2019-11-12 Meta View, Inc. Apparatuses, methods and systems for a sensor array adapted for vision computing
US10037465B2 (en) 2016-03-18 2018-07-31 Disney Enterprises, Inc. Systems and methods for generating augmented reality environments
KR20230170119A (ko) * 2016-11-15 2023-12-18 매직 립, 인코포레이티드 큐보이드 검출을 위한 딥 러닝 시스템
ES2773051T3 (es) 2017-06-16 2020-07-09 Abb Schweiz Ag Flujo de video modificado para soportar el control remoto de una grúa de contenedores
ES2865179T3 (es) * 2017-06-20 2021-10-15 Abb Schweiz Ag Cargar un contenedor en un objetivo de depósito
US10748345B2 (en) * 2017-07-07 2020-08-18 Adobe Inc. 3D object composition as part of a 2D digital image through use of a visual guide
GB2574795B (en) 2018-05-04 2022-10-05 Signaturize Holdings Ltd Generating virtual representations
GB2573571B (en) * 2018-05-11 2022-08-31 Signaturize Holdings Ltd Generating virtual representations
US11202006B2 (en) * 2018-05-18 2021-12-14 Samsung Electronics Co., Ltd. CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
CN109461214A (zh) * 2018-09-11 2019-03-12 广东康云多维视觉智能科技有限公司 用于三维模型爆炸的交互方法、系统和存储介质
US10664989B1 (en) 2018-12-19 2020-05-26 Disney Enterprises, Inc. Systems and methods to present interactive content based on detection of markers
US11508141B2 (en) * 2019-07-03 2022-11-22 Magic Leap, Inc. Simple environment solver using planar extraction
US20210373649A1 (en) * 2020-04-01 2021-12-02 Rajesh Dayal Moorjani Attaching Extended Reality (XR) Content To Physical Points Of Interest
EP4030392A1 (en) * 2021-01-15 2022-07-20 Siemens Aktiengesellschaft Creation of 3d reference outlines
US11417069B1 (en) * 2021-10-05 2022-08-16 Awe Company Limited Object and camera localization system and localization method for mapping of the real world
KR102622431B1 (ko) * 2022-12-14 2024-01-08 주식회사 맥스트 사용자 입력에 따라 인식된 평면의 정보에 기초하여 3d 모델을 생성하는 방법, 컴퓨터 프로그램 및 전자 장치
US11776206B1 (en) 2022-12-23 2023-10-03 Awe Company Limited Extended reality system and extended reality method with two-way digital interactive digital twins

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006503379A (ja) * 2002-10-15 2006-01-26 ユニバーシティ・オブ・サザン・カリフォルニア 拡張仮想環境
JP2012008867A (ja) * 2010-06-25 2012-01-12 Topcon Corp 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5712964A (en) * 1993-09-29 1998-01-27 Fujitsu Limited Computer graphics data display device and method based on a high-speed generation of a changed image
US6535210B1 (en) * 1995-06-07 2003-03-18 Geovector Corp. Vision system computer modeling apparatus including interaction with real scenes with respect to perspective and spatial relationship as measured in real-time
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US6912293B1 (en) * 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
US6850946B1 (en) * 1999-05-26 2005-02-01 Wireless Valley Communications, Inc. Method and system for a building database manipulator
US7164490B2 (en) * 2001-06-15 2007-01-16 Eastman Kodak Company Custom cut image products
US7003161B2 (en) * 2001-11-16 2006-02-21 Mitutoyo Corporation Systems and methods for boundary detection in images
US20040223053A1 (en) * 2003-05-07 2004-11-11 Mitutoyo Corporation Machine vision inspection system and method having improved operations for increased precision inspection throughput
WO2004107266A1 (en) * 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US7747067B2 (en) * 2003-10-08 2010-06-29 Purdue Research Foundation System and method for three dimensional modeling
US7277572B2 (en) * 2003-10-10 2007-10-02 Macpearl Design Llc Three-dimensional interior design system
US7181371B2 (en) * 2003-10-22 2007-02-20 Eflection, Inc. Apparatus and method for inputting measurements into a software product to construct software models of architectural structures
US7962862B2 (en) * 2003-11-24 2011-06-14 International Business Machines Corporation Method and data processing system for providing an improved graphics design tool
US7406196B2 (en) * 2004-03-19 2008-07-29 Lockheed Martin Corporation Methods and systems for automatic detection of corners of a region
US7660463B2 (en) * 2004-06-03 2010-02-09 Microsoft Corporation Foreground extraction using iterated graph cuts
EP1612509A1 (en) * 2004-07-01 2006-01-04 Sick IVP AB Optical profilometer
US7522763B2 (en) * 2004-07-30 2009-04-21 Mitutoyo Corporation Method of measuring occluded features for high precision machine vision metrology
US7425958B2 (en) * 2004-10-25 2008-09-16 Adobe Systems Incorporated Perspective editing tools for 2-D images
US8040361B2 (en) 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
US7561159B2 (en) * 2005-05-31 2009-07-14 Magnifi Group Inc. Control of animation timeline
US8625854B2 (en) * 2005-09-09 2014-01-07 Industrial Research Limited 3D scene scanner and a position and orientation system
US8650507B2 (en) * 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
US8265425B2 (en) * 2008-05-20 2012-09-11 Honda Motor Co., Ltd. Rectangular table detection using hybrid RGB and depth camera sensors
US8411086B2 (en) * 2009-02-24 2013-04-02 Fuji Xerox Co., Ltd. Model creation using visual markup languages
US8340400B2 (en) * 2009-05-06 2012-12-25 Honeywell International Inc. Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features
US20130124148A1 (en) * 2009-08-21 2013-05-16 Hailin Jin System and Method for Generating Editable Constraints for Image-based Models
US20110109617A1 (en) * 2009-11-12 2011-05-12 Microsoft Corporation Visualizing Depth
US8866845B2 (en) * 2010-03-10 2014-10-21 Empire Technology Development Llc Robust object recognition by dynamic modeling in augmented reality
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US20120120277A1 (en) * 2010-11-16 2012-05-17 Apple Inc. Multi-point Touch Focus
CN103154856B (zh) * 2010-12-29 2016-01-06 英派尔科技开发有限公司 针对手势识别的环境相关动态范围控制
KR101758058B1 (ko) * 2011-01-20 2017-07-17 삼성전자주식회사 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
US10972680B2 (en) * 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
US9153031B2 (en) * 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9117281B2 (en) * 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
US9536251B2 (en) * 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
US8965741B2 (en) 2012-04-24 2015-02-24 Microsoft Corporation Context aware surface scanning and reconstruction
US9047507B2 (en) * 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
JP5912062B2 (ja) * 2012-05-24 2016-04-27 オリンパス株式会社 撮影機器及び動画像データの記録方法
US9389420B2 (en) 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
KR102077235B1 (ko) * 2012-08-23 2020-02-14 삼성전자주식회사 정보 전송 방법 및 시스템, 디바이스와 그 기록 매체
TWI496090B (zh) * 2012-09-05 2015-08-11 Ind Tech Res Inst 使用深度影像的物件定位方法與裝置
US8995783B2 (en) * 2012-09-19 2015-03-31 Qualcomm Incorporation System for photograph enhancement by user controlled local image enhancement
US9135710B2 (en) * 2012-11-30 2015-09-15 Adobe Systems Incorporated Depth map stereo correspondence techniques
KR101896301B1 (ko) * 2013-01-03 2018-09-07 삼성전자주식회사 깊이 영상 처리 장치 및 방법
US20140363073A1 (en) * 2013-06-11 2014-12-11 Microsoft Corporation High-performance plane detection with depth camera data
US9934611B2 (en) 2013-09-11 2018-04-03 Qualcomm Incorporated Structural modeling using depth sensors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006503379A (ja) * 2002-10-15 2006-01-26 ユニバーシティ・オブ・サザン・カリフォルニア 拡張仮想環境
JP2012008867A (ja) * 2010-06-25 2012-01-12 Topcon Corp 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム

Also Published As

Publication number Publication date
EP3044757A1 (en) 2016-07-20
EP4152253B1 (en) 2024-07-17
KR20160055177A (ko) 2016-05-17
WO2015038765A1 (en) 2015-03-19
US10789776B2 (en) 2020-09-29
US9934611B2 (en) 2018-04-03
EP4152253A1 (en) 2023-03-22
EP3496036B1 (en) 2022-11-16
US20150070387A1 (en) 2015-03-12
CN110070556A (zh) 2019-07-30
CN105637559A (zh) 2016-06-01
CN105637559B (zh) 2019-03-01
EP3496036A1 (en) 2019-06-12
EP4152253C0 (en) 2024-07-17
JP6469706B2 (ja) 2019-02-13
EP3044757B1 (en) 2019-03-06
CN110070556B (zh) 2023-09-12
KR102216736B1 (ko) 2021-02-16
US20180182176A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
JP6469706B2 (ja) 深度センサを用いた構造のモデル化
KR102051418B1 (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
JP5807686B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101784328B1 (ko) 증강 현실 표면 디스플레잉
US9324305B2 (en) Method of synthesizing images photographed by portable terminal, machine-readable storage medium, and portable terminal
US9430698B2 (en) Information input apparatus, information input method, and computer program
US9495802B2 (en) Position identification method and system
US11263457B2 (en) Virtual item display simulations
CN110162236B (zh) 虚拟样板间的展示方法、装置及计算机设备
CN109584373B (zh) 协同增强现实地图界面
JP2016504611A (ja) 地図作成と自己位置推定とのための複数のセンサの使用
CN113728293A (zh) 用于基于位所的设备控制的系统和界面
JP2020509505A (ja) 拡張現実を提供するための方法、装置及びコンピュータプログラム
KR102433894B1 (ko) 맵 타겟을 생성 및 저장하는 방법 및 그 시스템
KR101558094B1 (ko) 직관적인 핸드 모션에 기반한 멀티-모달 시스템 및 그 제어 방법
WO2021121061A1 (zh) 用于设置虚拟对象的空间位置的方法和电子设备
JP2017021495A (ja) ３ｄ座標検出システム、情報処理装置、プログラム、及び３ｄ座標検出方法
TW201621651A (zh) 滑鼠模擬系統及方法
JP2021517314A (ja) 電子機器確定方法、システム、コンピュータシステムおよび読取り可能な記憶媒体
KR102160954B1 (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170825

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190116

R150 Certificate of patent or registration of utility model

Ref document number: 6469706

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250