JP2016532211A - 物理平面のデジタル表現の拡張 - Google Patents

物理平面のデジタル表現の拡張 Download PDF

Info

Publication number
JP2016532211A
JP2016532211A JP2016537924A JP2016537924A JP2016532211A JP 2016532211 A JP2016532211 A JP 2016532211A JP 2016537924 A JP2016537924 A JP 2016537924A JP 2016537924 A JP2016537924 A JP 2016537924A JP 2016532211 A JP2016532211 A JP 2016532211A
Authority
JP
Japan
Prior art keywords
grid cell
image
physical plane
physical
digital representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016537924A
Other languages
English (en)
Inventor
チ・パン
イストヴァン・シクロッシー
アイリーン・ライズナー−コルマン
マイケル・ゲルヴォーツ
パー・オラム・ニールセン
ロイ・ローレンス・アショク・イニゴ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2016532211A publication Critical patent/JP2016532211A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

物理シーンから物理平面のデジタル表現を拡張するための技法が提示される。いくつかの態様では、方法は、シーンにおける物理平面の配向および初期部分を決定するステップと、シーンの修正画像を複数のグリッドセルに再分割するステップとを含み得る。グリッドセルについて、画像シグネチャが生成され得る。平面の取得された初期部分に隣接するグリッドセルは、平面の一部を含むように決定される。反復プロセスは、取得された初期部分の少なくとも一部に隣接するグリッドセルからの各隣接グリッドセルについて実施され得、前記隣接グリッドセルの画像シグネチャが、平面の一部として含まれるとすでに決定されたグリッドセルの画像シグネチャに類似している場合、隣接グリッドセルが平面の一部として含まれるかどうかを決定する。

Description

本開示は一般に拡張現実環境に関し、より詳細には、現実世界の周囲のマシンベースの認識に関する。
拡張現実(AR)環境では、ユーザは、人工グラフィックまたは仮想グラフィックとユーザの自然周囲との統合を閲覧することができる。ARのいくつかの初期の実装形態では、ユーザは、たとえば、拡張現実ゴーグルを介して、ユーザの自然周囲の中またはその内部で任意に表示されたグラフィックを見ることができる。たとえば、ランダムなチョウのグラフィックは、そのチョウがユーザが自然に見ている何かと何らかの関連性を有するかどうかにかかわらず、ユーザが自分の自然周囲を閲覧し続けている間、ARゴーグルのビューに沿って飛んでいることがある。ARのより精巧な実装形態では、ユーザは、ARフィーチャまたはグラフィックをユーザの自然周囲のオブジェクトまたは構造に直接適用することが可能であり得る。たとえば、ユーザはチョウのグラフィックに壁またはテーブルに着地するよう指示したいと思うことがあり、このことは最初に、実際に、どこに壁またはテーブルが現にユーザの視野内にあるかをAR環境が認識することを必要とする。
他の場合には、ロボットまたは他の自動マシンは、自然周囲内でロボットを配向しようとするとき、AR分野における同様の概念および技法を適用することができる。たとえば、ロボットは、ロボットが壁またはテーブルに衝突しないように、壁およびテーブルがロボットの自然周囲内のどこにあるかを理解することを必要とし得る。他の場合には、ロボットは、たとえば、テーブルの上のカップを識別し、そのカップを持ち上げることによって、自然周囲と対話することができる。そのようなタスクを実施することは最初に、ロボットがカップ、および場合によっては、そのカップが載っているテーブルを識別するのに成功することを必要とし得る。しかしながら、既存の技法は、たとえば、リアルタイム目的に十分なほど速くないまたはエネルギー効率が良くない場合があるので、自然周囲のマシンベースの認識をリアルタイムで達成することは、解決するのが難しい問題であることが証明されている。したがって、当技術分野において、リアルタイム設定での自然周囲のマシンベースの認識の改善された方法が必要とされている。
本開示は一般に拡張現実環境に関し、より詳細には、現実世界の周囲のマシンベースの認識に関する。
物理シーンから物理平面のデジタル表現を拡張するためのシステム、方法、およびデバイスが提示される。いくつかの態様では、方法は、シーンにおける物理平面の配向および初期部分を決定するステップと、シーンの修正画像を複数のグリッドセルに再分割するステップとを含み得る。グリッドセルについて、画像シグネチャが生成され得る。平面の取得された初期部分に隣接するグリッドセルは、物理平面の一部を含むように決定され得る。反復プロセスは、取得された初期部分の少なくとも一部に隣接するグリッドセルからの各隣接グリッドセルについて実施され得、前記隣接グリッドセルの画像シグネチャが、平面の一部として含まれるとすでに決定されたグリッドセルの画像シグネチャに類似している場合、隣接グリッドセルが平面の一部として含まれるかどうかを決定する。
物理シーンから物理平面のデジタル表現を構築するための例示的な方法は、3次元空間内の物理シーンの画像における物理平面の配向および初期部分を決定するステップと、修正画像を生成するステップであって、修正画像が物理平面の少なくとも一部の前額平行ビューを含む、ステップと、修正画像を複数のグリッドセルに再分割するステップと、複数のグリッドセルの各々について、前記グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成するステップと、物理平面のデジタル表現の一部として含むべき、物理平面の取得された初期部分の少なくとも一部に隣接する1つまたは複数の初期グリッドセルを選択するステップと、1つまたは複数の初期グリッドセルに隣接する各隣接グリッドセルの画像シグネチャを物理平面のデジタル表現に現在含まれている1つまたは複数のグリッドセルの画像シグネチャと比較するステップと、所定のしきい値を満たす各グリッドセルを物理平面のデジタル表現に追加するステップとを含み得る。
物理シーンから物理平面のデジタル表現を構築するための別の例示的な方法は、3次元空間内の物理シーンにおける物理平面の配向および初期部分を決定するステップと、修正画像を生成するステップであって、修正画像が物理平面の少なくとも一部の前額平行ビューを含む、ステップと、物理平面の前額平行ビューを複数のグリッドセルに再分割するステップとを含み得る。
方法は、複数のグリッドセルの各々について、前記グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成するステップと、物理平面のデジタル表現の一部として含むべき、物理平面の取得された初期部分の少なくとも一部に隣接するグリッドセルを決定するステップと、取得された初期部分の少なくとも一部に隣接するグリッドセルからの各隣接グリッドセルについて、(a)前記隣接グリッドセルの画像シグネチャが、物理平面のデジタル表現の一部として含まれるとすでに決定されたグリッドセルの画像シグネチャに類似している場合、隣接グリッドセルが物理平面のデジタル表現の一部としてさらに含まれるかどうかを決定するステップであって、類似度が少なくとも1つの所定のしきい値基準に基づく、ステップと、物理平面のデジタル表現の一部としてすでに含まれるグリッドセルに隣接する各隣接グリッドセルについて、(a)におけるプロセスに基づいて平面の一部としてさらに含まれると決定された隣接グリッドセルが残らなくなるまで、(a)におけるプロセスを継続するステップとをさらに含み得る。
一態様では、物理平面の初期部分は、物理平面に配置された既知のオブジェクトに基づく。別の態様では、物理平面の初期部分は、物理平面を点群モデルに合わせることに基づく。
特定の態様では、画像シグネチャは、グリッドセルに関連付けられた画像情報を示す少なくとも1つのヒストグラムを備える。いくつかの実装形態では、少なくとも1つのヒストグラムは、グリッドセルに存在する色の量およびタイプの統計的表現と、グリッドセルの勾配配向と、グリッドセルに存在する色を表すグレースケール濃淡の量およびタイプとを含み得る。
いくつかの実装形態では、前記グリッドセルに関連付けられた少なくとも1つの画像特性は、3次元情報を備える。一態様では、方法は、物理平面のデジタル表現の一部として含まれないと決定された各隣接グリッドセルについて、複数の2次グリッドセルを生成するステップであって、複数の2次グリッドセルの各々の位置が前記隣接グリッドセルの位置からのオフセットに基づき、オフセットが前記隣接グリッドセルの幅および長さの範囲内にある、ステップと、複数の2次グリッドセルの各々について、2次グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成するステップと、前記2次グリッドセルの画像シグネチャが、物理平面のデジタル表現の一部として含まれるとすでに決定されたグリッドセルの画像シグネチャに類似している場合、前記2次グリッドセルが物理平面のデジタル表現の一部としてさらに含まれるかどうかを決定するステップであって、類似度が少なくとも1つの所定のしきい値基準に基づく、ステップとをさらに含み得る。
物理シーンから物理平面のデジタル表現を構築するための装置は、メモリと、1つまたは複数のプロセッサとを含み得る。1つまたは複数のプロセッサは、3次元空間内の物理シーンにおける物理平面の配向および初期部分を決定することと、物理シーンの1つまたは複数の画像を受信することと、修正画像を生成することであって、修正画像が物理平面の少なくとも一部の前額平行ビューを含む、生成することと、修正画像を複数のグリッドセルに再分割することと、複数のグリッドセルの各々について、前記グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成することと、物理平面のデジタル表現の一部として含むべき、物理平面の取得された初期部分の少なくとも一部に隣接する1つまたは複数の初期グリッドセルを選択することと、1つまたは複数の初期グリッドセルに隣接する各隣接グリッドセルの画像シグネチャを物理平面のデジタル表現に現在含まれている1つまたは複数のグリッドセルの画像シグネチャと比較することと、所定のしきい値を満たす各グリッドセルを物理平面のデジタル表現に追加することとを行うように構成され得る。
物理シーンから物理平面のデジタル表現を構築するための例示的な装置は、メモリと、画像データを受信するためのカメラと、1つまたは複数のプロセッサとを含み得る。プロセッサは、3次元空間内の物理シーンにおける物理平面の配向および初期部分を決定することと、修正画像を生成することであって、修正画像が物理平面の少なくとも一部の前額平行ビューを含む、生成することと、物理平面の前額平行ビューを複数のグリッドセルに再分割することとを行うように構成され得る。
1つまたは複数のプロセッサは、複数のグリッドセルの各々について、前記グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成することと、物理平面のデジタル表現の一部として含むべき、物理平面の取得された初期部分の少なくとも一部に隣接するグリッドセルを決定することと、取得された初期部分の少なくとも一部に隣接するグリッドセルからの各隣接グリッドセルについて、(a)前記隣接グリッドセルの画像シグネチャが、物理平面のデジタル表現の一部として含まれるとすでに決定されたグリッドセルの画像シグネチャに類似している場合、隣接グリッドセルが物理平面のデジタル表現の一部としてさらに含まれるかどうかを決定することであって、類似度が少なくとも1つの所定のしきい値基準に基づく、決定することと、物理平面のデジタル表現の一部としてすでに含まれるグリッドセルに隣接する各隣接グリッドセルについて、(a)におけるプロセスに基づいて平面の一部としてさらに含まれると決定された隣接グリッドセルが残らなくなるまで、(a)におけるプロセスを継続することとを行うようにさらに構成され得る。
一態様では、物理平面の初期部分は、物理平面に配置された既知のオブジェクトに基づく。別の態様では、物理平面の初期部分は、物理平面を点群モデルに合わせることに基づく。
特定の態様では、画像シグネチャは、グリッドセルに関連付けられた画像情報を示す少なくとも1つのヒストグラムを備える。いくつかの実装形態では、少なくとも1つのヒストグラムは、グリッドセルに存在する色の量およびタイプの統計的表現と、グリッドセルの勾配配向と、グリッドセルに存在する色を表すグレースケール濃淡の量およびタイプとを含み得る。
いくつかの実装形態では、前記グリッドセルに関連付けられた少なくとも1つの画像特性は、3次元情報を備える。一態様では、少なくとも1つの所定のしきい値基準は、平面の一部としてすでに含まれるグリッドセルの少なくとも1つのヒストグラムを隣接グリッドセルのヒストグラムと比較することに基づく。
一態様では、装置は、1つまたは複数のプロセッサによって物理平面のデジタル表現の一部として含まれないと決定された各隣接グリッドセルについて、複数の2次グリッドセルを生成することであって、複数の2次グリッドセルの各々の位置が前記隣接グリッドセルの位置からのオフセットに基づき、オフセットが前記隣接グリッドセルの幅および長さの範囲内にある、生成することと、複数の2次グリッドセルの各々について、2次グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成することと、前記2次グリッドセルの画像シグネチャが、物理平面のデジタル表現の一部として含まれるとすでに決定されたグリッドセルの画像シグネチャに類似している場合、前記2次グリッドセルが物理平面のデジタル表現の一部としてさらに含まれるかどうかを決定することであって、類似度が少なくとも1つの所定のしきい値基準に基づく、決定することとを行うようにさらに構成され得る。
非一時的コンピュータ可読記憶媒体が、プロセッサによって実行可能な命令を備え、命令が、3次元空間内の物理シーンにおける物理平面の配向および初期部分を決定することと、物理シーンの1つまたは複数の画像を受信することと、修正画像を生成することであって、修正画像が物理平面の少なくとも一部の前額平行ビューを含む、生成することと、修正画像を複数のグリッドセルに再分割することと、複数のグリッドセルの各々について、前記グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成することと、物理平面のデジタル表現の一部として含むべき、物理平面の取得された初期部分の少なくとも一部に隣接する1つまたは複数の初期グリッドセルを選択することと、1つまたは複数の初期グリッドセルに隣接する各隣接グリッドセルの画像シグネチャを物理平面のデジタル表現に現在含まれている1つまたは複数のグリッドセルの画像シグネチャと比較することと、所定のしきい値を満たす各グリッドセルを物理平面のデジタル表現に追加することとを行うための命令を備える、例示的な非一時的コンピュータ可読記憶媒体。
非一時的コンピュータ可読記憶媒体が、3次元空間内の物理シーンにおける物理平面の配向および初期部分を決定することと、修正画像を生成することであって、修正画像が物理平面の少なくとも一部の前額平行ビューを含む、生成することと、物理平面の前額平行ビューを複数のグリッドセルに再分割することとを行うための、プロセッサによって実行可能な命令を含み得る、別の例示的な非一時的コンピュータ可読記憶媒体。
命令は、複数のグリッドセルの各々について、前記グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成することと、物理平面のデジタル表現の一部として含むべき、物理平面の取得された初期部分の少なくとも一部に隣接するグリッドセルを決定することと、取得された初期部分の少なくとも一部に隣接するグリッドセルからの各隣接グリッドセルについて、(a)前記隣接グリッドセルの画像シグネチャが、物理平面のデジタル表現の一部として含まれるとすでに決定されたグリッドセルの画像シグネチャに類似している場合、隣接グリッドセルが物理平面のデジタル表現の一部としてさらに含まれるかどうかを決定することであって、類似度が少なくとも1つの所定のしきい値基準に基づく、決定することと、物理平面のデジタル表現の一部としてすでに含まれるグリッドセルに隣接する各隣接グリッドセルについて、(a)におけるプロセスに基づいて平面の一部としてさらに含まれると決定された隣接グリッドセルが残らなくなるまで、(a)におけるプロセスを継続することとを行うように構成され得る。
一態様では、物理平面の初期部分は、物理平面に配置された既知のオブジェクトに基づく。別の態様では、物理平面の初期部分は、物理平面を点群モデルに合わせることに基づく。
特定の態様では、画像シグネチャは、グリッドセルに関連付けられた画像情報を示す少なくとも1つのヒストグラムを備える。いくつかの実装形態では、少なくとも1つのヒストグラムは、グリッドセルに存在する色の量およびタイプの統計的表現と、グリッドセルの勾配配向と、グリッドセルに存在する色を表すグレースケール濃淡の量およびタイプとを含み得る。
いくつかの実装形態では、前記グリッドセルに関連付けられた少なくとも1つの画像特性は、3次元情報を備える。一態様では、命令は、1つまたは複数のプロセッサによって物理平面のデジタル表現の一部として含まれないと決定された各隣接グリッドセルについて、複数の2次グリッドセルを生成することであって、複数の2次グリッドセルの各々の位置が前記隣接グリッドセルの位置からのオフセットに基づき、オフセットが前記隣接グリッドセルの幅および長さの範囲内にある、生成することと、複数の2次グリッドセルの各々について、2次グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成することと、前記2次グリッドセルの画像シグネチャが、物理平面のデジタル表現の一部として含まれるとすでに決定されたグリッドセルの画像シグネチャに類似している場合、前記2次グリッドセルが物理平面のデジタル表現の一部としてさらに含まれるかどうかを決定することであって、類似度が少なくとも1つの所定のしきい値基準に基づく、決定することとを行うようにさらに構成され得る。
物理シーンから物理平面のデジタル表現を構築するための例示的な装置は、3次元空間内の物理シーンの画像における物理平面の配向および初期部分を決定するための手段と、修正画像を生成するための手段であって、修正画像が物理平面の少なくとも一部の前額平行ビューを含む、手段と、修正画像を複数のグリッドセルに再分割するための手段と、複数のグリッドセルの各々について、前記グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成するための手段と、物理平面のデジタル表現の一部として含むべき、物理平面の取得された初期部分の少なくとも一部に隣接する1つまたは複数の初期グリッドセルを選択するための手段と、1つまたは複数の初期グリッドセルに隣接する各隣接グリッドセルの画像シグネチャを物理平面のデジタル表現に現在含まれている1つまたは複数のグリッドセルの画像シグネチャと比較するための手段と、所定のしきい値を満たす各グリッドセルを物理平面のデジタル表現に追加するための手段とを含み得る。
物理シーンから物理平面のデジタル表現を構築するための別の例示的な装置は、3次元空間内の物理シーンにおける物理平面の配向および初期部分を決定するための手段と、修正画像を生成するための手段であって、修正画像が物理平面の少なくとも一部の前額平行ビューを含む、手段と、物理平面の前額平行ビューを複数のグリッドセルに再分割するための手段とを含み得る。
装置は、複数のグリッドセルの各々について、前記グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成するための手段と、物理平面のデジタル表現の一部として含むべき、物理平面の取得された初期部分の少なくとも一部に隣接するグリッドセルを決定するための手段と、取得された初期部分の少なくとも一部に隣接するグリッドセルからの各隣接グリッドセルについて、(a)前記隣接グリッドセルの画像シグネチャが、物理平面のデジタル表現の一部として含まれるとすでに決定されたグリッドセルの画像シグネチャに類似している場合、隣接グリッドセルが物理平面のデジタル表現の一部としてさらに含まれるかどうかを決定するための手段であって、類似度が少なくとも1つの所定のしきい値基準に基づく、手段と、物理平面のデジタル表現の一部としてすでに含まれるグリッドセルに隣接する各隣接グリッドセルについて、(a)におけるプロセスに基づいて平面の一部としてさらに含まれると決定された隣接グリッドセルが残らなくなるまで、(a)におけるプロセスを継続するための手段とをさらに含み得る。
一態様では、物理平面の初期部分は、物理平面に配置された既知のオブジェクトに基づく。別の態様では、物理平面の初期部分は、物理平面を点群モデルに合わせることに基づく。
特定の態様では、画像シグネチャは、グリッドセルに関連付けられた画像情報を示す少なくとも1つのヒストグラムを備える。いくつかの実装形態では、少なくとも1つのヒストグラムは、グリッドセルに存在する色の量およびタイプの統計的表現と、グリッドセルの勾配配向と、グリッドセルに存在する色を表すグレースケール濃淡の量およびタイプとを含み得る。
いくつかの実装形態では、前記グリッドセルに関連付けられた少なくとも1つの画像特性は、3次元情報を備える。一態様では、少なくとも1つの所定のしきい値基準は、平面の一部としてすでに含まれるグリッドセルの少なくとも1つのヒストグラムを隣接グリッドセルのヒストグラムと比較することに基づく。
一態様では、装置は、物理平面のデジタル表現の一部として含まれないと決定された各隣接グリッドセルについて、複数の2次グリッドセルを生成するための手段であって、複数の2次グリッドセルの各々の位置が前記隣接グリッドセルの位置からのオフセットに基づき、オフセットが前記隣接グリッドセルの幅および長さの範囲内にある、手段と、複数の2次グリッドセルの各々について、2次グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成するための手段と、前記2次グリッドセルの画像シグネチャが、物理平面のデジタル表現の一部として含まれるとすでに決定されたグリッドセルの画像シグネチャに類似している場合、前記2次グリッドセルが物理平面のデジタル表現の一部としてさらに含まれるかどうかを決定するための手段であって、類似度が少なくとも1つの所定のしきい値基準に基づく、手段とをさらに含み得る。
上記では、以下の詳細な説明がよりよく理解され得るように、例の特徴および技術的利点の概略をかなり広範にわたって述べている。以下で、追加の特徴および利点について説明する。開示する概念および特定の例は、本開示の同じ目的を実行するための他の構造を変更または設計するための基礎として容易に利用され得る。そのような等価な構造は、添付の特許請求の範囲の趣旨および範囲から逸脱しない。本明細書で開示する概念の特徴であると考えられる特徴は、その編成と動作方法の両方に関して、添付の図とともに検討すると、関連する利点とともに以下の説明からよりよく理解されよう。図の各々は、特許請求の範囲の限界を定めるものとしてではなく、例示および説明のみのために与えられる。
様々な実施形態の性質および利点の理解は、以下の図を参照することによって実現され得る。添付の図において、同様の構成要素または特徴は同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、参照ラベルの後に、ダッシュと、それらの同様の構成要素同士を区別する第2のラベルとを続けることによって区別され得る。第1の参照ラベルのみが本明細書で使用される場合、その説明は、第2の参照ラベルとは無関係に、同じ第1の参照ラベルを有する類似の構成要素のうちのいずれか1つに適用可能である。
本開示の様々な態様を使用するための例示的なデバイスおよびシナリオを示す図である。 本開示のいくつかの態様による、自然環境における物理平面を識別するために使用される例示的な画像を示す図である。 本開示の特定の態様による、物理平面を含む物理シーンのための例示的な修正画像を示す図である。 本開示のいくつかの態様による、エッジにおいてグリッドセルを含めるための例示的な方法を示す図である。 いくつかの実施形態による、物理平面を識別した例示的な結果を示す図である。 本開示の特定の態様による、物理平面のデジタル表現を生成するための特定のモジュールおよび構成要素を示す例示的なブロック図である。 本開示のいくつかの態様による、物理シーンから物理平面のデジタル表現を構築するための例示的な方法フローを示す流れ図である。 本開示のいくつかの態様による、物理シーンからの物理平面のデジタル表現の一部としてグリッドセルの部分を含めるための例示的な方法フローを示す流れ図である。 いくつかの実施形態によるコンピューティングデバイスのブロック図である。
次に、いくつかの例示的な実施形態について、本明細書の一部を形成する添付の図面に関連して説明する。本開示の1つまたは複数の態様が実装され得る特定の実施形態について以下で説明するが、本開示の範囲または添付の特許請求の範囲の趣旨から逸脱することなく、他の実施形態が使用され得、様々な修正が行われ得る。
「例示的」という言葉は、「一例、事例、または例示として役立つ」ことを意味するように本明細書で使用される。「例示的」として本明細書で説明するいかなる実施形態または設計も、必ずしも他の実施形態または設計よりも好ましいまたは有利なものと解釈すべきではない。
拡張現実(AR)環境において、ユーザの自然周囲に基づいて、平坦な表面の密なデジタル表現を識別および決定するための方法および装置が提示される。平坦な表面の例は、キッチンにおけるテーブルトップ、床またはカウンタースペースであり得る。以下で述べるように、平坦な表面は互換的に平面または物理平面と呼ばれることがある。
未知の現実世界シーンに基づいてARアプリケーションを構築することは、どのシーンおよびどのタイプのオブジェクトがランタイム時に再構成されるかが事前に知られていないので、困難であり得る。たとえば、自然環境において、ユーザが部屋に入っていくのか、または外に出て行くのかは、事前に知られていない。したがって、任意のタイプのシーンに基づいて精巧な拡張現実アプリケーションを作成することは非常に難しい場合がある。
一般に、シーン全体用の1つの大きい三角形メッシュなど、シーンの汎用表現を使用することが可能であり得る。場合によっては、これは誰かが再構築されたシーンをレンダリングしたいと思う場合に妥当であり得る。しかしながら、再構築されたシーンをレンダリングするだけでなく、様々な現実オブジェクトおよび仮想オブジェクトを有するレンダリングされたシーンと対話することも望ましい場合がある。現実世界オブジェクトの周りで仮想植物を育てるなどのより複雑な使用事例は、再構築されたシーンを部分にセグメント化することによって達成可能であり得る。本明細書で説明する実施形態は、汎用シーンを、変化する性質を有する個々の表面およびオブジェクトと相関する意味のある再構築された構成要素に再構築することを可能にする。
本開示の特定の実施形態は、未知の現実世界シーンを、複数のオブジェクトをその上に有する物理平面のデジタル表現(拡張現実(AR)平面とも呼ばれる)として表し得る。提案された表現は、テーブルトップまたは床などの屋内ARアプリケーション用の典型的なシナリオの大半に使用され得る。提案された表現はまた、屋外ARアプリケーションに使用され得る。
説明する実施形態に従ってシーンを表現および再構築することによって、基平面(たとえば、テーブル/床)を表す物理平面のデジタル表現について、意味のあるセグメント化が実施され得、個々のオブジェクトは物理平面のデジタル表現の上に表現され得る。特定の実施形態の場合、表現されたオブジェクトは、AR環境における物理シーンからの現実世界オブジェクトの個々の拡張および置換に使用され得る。たとえば、現実世界オブジェクトの色は異なる色を用いて拡張され得るか、または現実世界オブジェクトは仮想オブジェクトと完全に置換され得る。加えて、精巧なゲームプレーは複数のオブジェクトに基づいて生成され得る。
本明細書で提案する物理平面のデジタル表現、すなわち、AR平面は、表面の現実のエッジ(たとえば、テーブルのエッジ)に対応する境界を有し得る。提案された表現を使用して、開発者は特定の外観を有する物理平面のデジタル表現をレンダリングする(たとえば、基平面上で草を生やす)ことができる。
物理平面のデジタル表現は、修正画像からの情報を使用して導出され得る。いくつかの実装形態では、修正画像は3次元情報を有する2次元画像を含み得、3次元情報は2次元画像の特定のフィーチャに関連付けられる。他の実装形態では、修正画像は3次元画像であり得る。
以下でさらに詳細に説明するように、修正画像シーンは、物理シーンについての複数の2次元画像を解析することによって生成され得る。たとえば、特定の実施形態では、物理環境を解析するために、同時位置推定およびマッピング(SLAM:simultaneous localization and mapping)プロセスが修正画像を作成するために使用され得る。SLAMプロセスは、カメラを使用してキャプチャされている物理環境の第1の2次元画像を含み得る。2次元画像には深度情報が欠けている場合がある。次いで、カメラがある距離だけ移動され得る。この距離(および方向)が測定され得る。物理環境の第2の画像がキャプチャされ得る。移動した距離および方向を使用することによって、一致するように決定された2つの画像における複数の識別された基準点の深度が計算され得る。SLAMプロセスの実装形態は、対応する基準点の決定されたロケーションを精錬し、物理環境における追加の基準点を識別して修正画像を作成するために、より多くの画像を使用し得る。SLAMの使用に加えて、たとえば、飛行時間解析または立体カメラシステムを使用して、深度情報を含む画像をキャプチャすることなどによって、3次元マッピングプロセスのいくつかの他の形態が使用され得る。本明細書で説明するように、SLAMプロセスは例示のために使用され得るが、本発明の範囲から逸脱することなく、SLAMの代わりに他の技法が使用され得る。
いくつかの実施形態では、各基準点が深度値を有する、複数の基準点を含む点群が作成され得る。本明細書で詳述するように、SLAMプロセスを使用して取得された点群は、修正画像を作成するために使用され得る。
物理平面のデジタル表現は、物理オブジェクトが存在せず、仮想オブジェクトが、物理オブジェクトとの考えられる衝突を考慮せずに、AR環境において配置および移動され得る、平面領域を表し得る。
物理平面のデジタル表現は、多角形セルなどの複数のグリッドセルから成る平面を画定し得る。各グリッドセルは、仮想オブジェクトが別のオブジェクト(物理オブジェクトのユーザのビューなど)と衝突することなしに配置され得る、凸状の平面領域を表し得る。
図1を参照すると、例示的なARシステム100が示されている。特定の実施形態では、ARシステム100はSLAMプロセスを実施するように構成され得る。システム100は、モバイルデバイスなどのコンピューティングデバイス102を含む。モバイルデバイスは、カメラなどの入力感知ユニットとディスプレイ108とを有する任意のポータブルコンピューティングデバイスであり得る。ここでは、コンピューティングデバイス102はスマートフォンなどのモバイルデバイスであり得るが、本明細書で説明する機能はスマートフォンに限定されない。たとえば、コンピューティングデバイス102は、デジタルカメラ、カムコーダ、タブレットコンピュータ、携帯情報端末、ビデオゲームコンソール、ヘッドマウントディスプレイ(HMD)もしくは他のウェアラブルディスプレイ、プロジェクタデバイス、または他のデバイスなどの任意のポータブルデバイスまたはモバイルデバイスであり得る。さらに、モバイルデバイスの代わりに、パーソナルコンピュータ(たとえば、デスクトップコンピュータ)、または他のハンドヘルドではないデバイス、または通常はモバイルデバイスと標示されないデバイスなどのコンピューティングデバイス102が使用され得る。コンピューティングデバイス102は、現実世界の物理環境における物理オブジェクトの画像をキャプチャするためのカメラを含み得る。図示の実施形態では、円筒110(たとえば、スープの缶)がテーブル104上に存在している。
コンピューティングデバイス102は、物理環境の画像をキャプチャし、ここでは、スープの缶がその上にあるテーブル104の画像をキャプチャし、追加の像を1つまたは複数の仮想オブジェクトが補足された透明または半透明のディスプレイ上に表示することによって、現実を拡張するように構成され得る。図1では、3次元キャラクタ106は、テーブル104を含む物理環境のビュー上に重畳される。3次元キャラクタ106は任意の形態の仮想オブジェクトであってよく、ヒューマノイドキャラクタに制限されない。3次元キャラクタ106は、本明細書で詳述するように、テーブル104の表面の部分に対応するように生成された物理平面のデジタル表現上で様々なロケーションに移動することが許可され得る。特定の実施形態では、AR平面は、スープの缶がAR平面から除外されるように構築され得、したがって、3次元キャラクタ106が現れて、コンピューティングデバイス102のディスプレイに提示されたAR環境内のスープの缶と衝突するのを防ぐ。
1つまたは複数の構成では、コンピューティングデバイス102は、1つもしくは複数の画像または物理境界を画定するための他の手段のいずれかに基づいて、コンピューティングデバイス102の自然周囲についてのデータを取得するために、センサーのいずれかおよび/またはすべてを単独でまたは組み合わせて使用し得る。たとえば、コンピューティングデバイス102は、コンピューティングデバイス102の自然周囲の1つまたは複数のグラフィカルビューを取得するために、1つまたは複数のカメラを使用し得る。より複雑な例として、コンピューティングデバイス102における1つまたは複数のカメラと組み合わせた1つまたは複数のプロセッサは、経時的に記録および/または受信された複数の画像を通じて自然周囲を閲覧するために使用され得る。特定の例では、自然周囲は、テーブルまたは他の平坦な表面と、テーブルの上に置いてある複数のオブジェクトとを含み得る。コンピューティングデバイス102は、複数の角度または視点からテーブルを閲覧するために、テーブルおよびその上のオブジェクトについての画像データの複数のフレームを提供する1つまたは複数のカメラを利用し得る。ここでは、例としてこれらの画像データについて説明するが、コンピューティングデバイス102における1つまたは複数のセンサーを通じてか、またはワイヤレス手段もしくはワイヤード手段を通じてかにかかわらず、コンピューティングデバイス102によって取得された任意の他の種類のデータは、本開示の1つまたは複数の態様を実装することの一部と見なされ得る。
図2を参照すると、例示200は、いくつかの実施形態による、物理平面を決定し、境界を識別するための例示的な物理シーンを提示している。ここでは、表面202は、画像200の環境における物理平面として識別されることになる。表面202は、多色の石または小石のまだら模様の設計を有するカウンタートップであるように見える。例示的なターゲットオブジェクト204は表面202の上にあり、表面202における設計とは視覚的に異なっている。いくつかの実施形態では、表面および表面の境界を識別するための方法は、ターゲットオブジェクトなどの既知のオブジェクトを表面決定アルゴリズムのための初期開始点として使用することを含む。他の場合では、表面202の配向および位置の初期決定は、点群から取得されたデータを使用して、たとえば、同時位置推定およびマッピング(SLAM)に基づいた方法によって、または、たとえば深度センサーに基づいた方法によって、決定され得る。すなわち、SLAMなどにおける方法によって環境を表す疎または密な点の集合が与えられると、物理平面の配向および位置が仮定され得る。物理平面の配向および位置を決定するための他の技法は、本発明の範囲から逸脱することなく使用され得る。たとえば、同一平面上にある複数のフィーチャ、または類似の色を有するセルを検出することは、場合によっては、物理平面の初期の配向および位置を示し得る。図示のように、表面202は、オブジェクト206など、その上にあるいくつかのオブジェクトも含む。これらのオブジェクトを表面の決定から除くことが望ましい。
平面の配向および位置の推定が与えられると、カメラ画像における色および強度の統計値などの物理平面についての様々な画像特性またはシグネチャを見ることによって、物理平面のデジタル表現の境界を拡張するために、いくつかの実施形態によるアルゴリズムが使用され得る。一実装形態では、平面の境界は、カメラ画像におけるピクセルの色または強度に基づいた塗りつぶし(flood-filling)アルゴリズムを使用することによって決定され得る。しかしながら、これは、1つのむらのない色ではない表面(たとえば、図2におけるキッチンの御影石を使ったワークトップ200)上でもうまくいかないことがあるか、または表面(たとえば、ガラス)での反射などの影響がある。
図3は、本開示の特定の態様による、物理平面を含む物理シーンのための例示的な修正画像を示す。修正画像300は、物理平面314の少なくとも一部の前額平行ビューを含み得る。図3を参照すると、いくつかの実施形態では、シーンのための画像データ(たとえば、画像200)は、鳥瞰的なオーバーヘッドビュー300で再配向され得る。このビューは、本明細書ではカノニカルビューまたは前額平行ビュー300と呼ばれることがある。いくつかの実装形態では、修正画像は3次元情報を有する2次元画像を含み得、3次元情報は2次元画像の特定のフィーチャに関連付けられる。他の実装形態では、修正画像は3次元画像であり得る。
上記で説明したように、一実装形態では、修正画像は、物理シーンについての複数の2次元画像を解析することによって生成され得る。たとえば、異なる視点からの識別されたオブジェクトを備える物理シーンの複数の画像は、場合によっては、オブジェクトの特定のフィーチャの深度を決定し、修正画像におけるオブジェクトの境界をよりよく画定する際に使用され得、修正画像は前額平行ビューで再配向される。いくつかの実施形態では、各基準点が深度値を有する、複数の基準点を含む点群が作成され得る。本明細書で詳述するように、SLAMプロセスを使用して取得された点群は、修正画像を作成するために使用され得る。
いくつかの実施形態では、前額平行ビュー300は、たとえば、ビュー300に示すようなグリッドに配列された複数のセル(たとえば、302、302'、308、310)に再分割され得る。特定の実施形態では、修正画像の全体または部分は複数のセルに再分割される。各セルは、本明細書ではグリッドセルと呼ばれることがある。初期部分304は、オーバーヘッドビューから示される、既知のターゲットまたはオブジェクト204、たとえば、最初に平面を識別するために使用されるターゲットまたはマーカーに対応し得る。しかしながら、いくつかの実装形態では、物理平面の初期部分は、物理平面を点群モデルに合わせることに基づき得る。
いくつかの実施形態では、各グリッドセルについて、グリッドセルについての様々な画像特性を包含するシグネチャが生成され得る。いくつかの実施形態では、色の各々についての色のタイプおよびインスタンスの数(たとえば、ピクセルごと)の統計的ヒストグラムまたは配向などの3次元情報は、グリッドセルのシグネチャを表し得る。他の実施形態では、本明細書では明快のために画像シグネチャと呼ばれることがあるシグネチャは、画像がグレースケールに変換された場合の濃淡の数を表すグレースケールヒストグラム、あるいは、色および/または強度が変化する点における配向(たとえば、勾配)の集合をキャプチャし得る配向ヒストグラムなど、他のタイプのヒストグラムを含み得る。たとえば、色ヒストグラムは、たとえば、3×3に分割されたUV色空間におけるヒストグラムとすることができる。別の例として、配向ヒストグラムは、たとえば、8つの等間隔に離間した配向ビンとすることができる。いくつかの実施形態では、ヒストグラムとは異なる画像記述子は、セルグリッドの中央色、セルグリッドの色の何らかの加重平均などの画像シグネチャを表し得る。
2次元画像に対して同様のステップを実施する代わりに、修正ビューをグリッドセルに再分割し、そのような修正ビューからグリッドセルのシグネチャを解析することにより、物理平面および修正画像で利用可能なオブジェクトの3次元態様を考慮し、物理平面のより精錬されたデジタル表現を提供することが可能になり得る。たとえば、複数の2次元画像(または深度センサー)からの情報を前額平行ビューで再配向された修正画像に組み合わせることによって、物理平面上に置かれた物理オブジェクトの境界ははるかに精錬され得る。たとえば、2次元画像では、その高さのせいで物理平面上に置かれたオブジェクトは、物理的には物理平面の小さい部分に位置することができても、そのオブジェクトの影が落ちる物理平面の大部分を遮ることがある。しかしながら、修正ビューでは、修正ビューは前額平行ビューまたはトップダウンビューであるので、物理平面に位置するオブジェクトによって物理平面に開けられた実際の穴は、はるかに良い精度で推定され得る。したがって、修正画像から生成された物理平面のデジタル表現は、拡張現実のための物理平面のより正確な表現を提供し得る。
いくつかの実施形態では、物理平面を表す領域を決定するためのアルゴリズムは初期部分から始まり、初期部分は、場合によっては、平面の上にあるようにあらかじめ指定される。したがって、初期部分304を取り囲むグリッドセル、たとえば、グリッドセル302の少なくとも大部分は、平面の一部として含まれ得ると想定することが安全であろう。このようにして、平坦面の統計的モデルが構築される。平面を拡張するために、すでに物理平面のデジタル表現の一部であるセルに対する隣接グリッドセルについての統計的ヒストグラムは、物理平面のデジタル表現を形成するセルの統計値と類似しているかどうかを見るためにテストされる。テストにおける比較は、隣接グリッドセルと平面のデジタル表現の一部としてすでに含まれるセルのうちの少なくとも1つとの間で画像シグネチャを比較することに基づき得る。いくつかの所定の統計的基準に基づいてグリッドセルが十分に類似している場合、グリッドセルは物理平面のデジタル表現に追加される。そうでない場合、グリッドセルは拒否される。
まだ図3を参照すると、グリッドセル302の中の線は、グリッドセル302の画像シグネチャを表す例示的なヒストグラムを表している。グリッドセル302'はグリッドセル302と類似した画像シグネチャを有するように見えることがわかる。したがって、グリッドセル302'は平面の一部として含まれることになる。対照的に、グリッドセル308はグリッドセル302と類似した画像シグネチャを有しているようにはなかなか見えない。これは、対角線の影付き領域306が物理平面の一部ではない画像300の一部分を表すからである。たとえば、領域306は、表面ではなく、床であり得る。同様に、グリッドセル310も、十分に類似した画像シグネチャを有するようには見えない。これは、表面の上にあるオブジェクト312が存在するからであり、したがって、オブジェクト312と交わる4つのグリッドセルは、グリッドセルに全体として異なる画像シグネチャをもたせる多くの他の色、濃淡、配向などを有する。
物理平面に属するグリッドセルの部分を含むが、物理平面のデジタル表現には含まれないように物理平面のデジタル表現の境界を精錬するために、追加の精錬技法が用いられ得る。たとえば、いくつかの実施形態では、エッジグリッドセル、たとえば、セル308または310から始まる、グリッドセルの2次集合が生成され得る。グリッドセルの2次集合は、グリッドセル308または310の元の位置から、いくつかのピクセル数だけオフセットされ得る。2次グリッドセルの全体集合は、各々が異なるオフセットから導出された2次グリッドセルを含み得、たとえば、ある2次グリッドセルは(0, +1)ピクセルだけオフセットされ、別の2次グリッドセルは(0, +2)ピクセルだけオフセットされ、他の2次グリッドセルは(+1, 0)ピクセル、(+1, +1)ピクセル、(+1, +2)ピクセルだけオフセットされる、といった具合である。これらの各々は、その画像シグネチャが平面の既知のグリッドセルの画像シグネチャに十分に類似しているかどうかを見るためにテストされ得る。類似している場合、これらは含まれる。そうでない場合、これらは拒否される。このようにして、画像308または310のグリッドセルの適切な部分は、首尾よく平面の一部として含まれ得る。場合によっては、本明細書で説明する技法は、物理平面の色の漸進的な変化を許容し、さらに物理平面の検出およびデジタル表現を許容し得る。たとえば、各隣接グリッドセルの画像シグネチャは、複数のグリッドセルにわたって漸進的に変化し得、その結果、グリッドセルとその隣接グリッドセルとの間の変化は依然としてしきい値内であるが、グリッドセルと隣接グリッドセルではないグリッドセルと間の変化はしきい値内ではない場合がある。この技法は、色、テクスチャまたは他の特性を漸進的に変化させる表面について物理平面のデジタル表現を生成するための柔軟性をもたらす。
図4を参照すると、例示400は、平坦面のエッジグリッドセルのための2次グリッドセルの例示的なオフセットのより詳細なビューを示す。上述のように、例示的なグリッドセル308は最初に平面の一部として含まれないことがあるが、ある部分-全部ではなく-は依然として平面の一部として含まれるべきである。グリッドセル308から開始して生成された2次グリッドセルは、グリッドセル308の初期位置から、いくつかのピクセル数だけオフセットされ得る。ピクセル位置402'は、2次グリッドセルの左上隅の例示的な開始ピクセル位置を表す。すなわち、ピクセル位置402'は2次グリッドセル404の左上隅を表し得、ピクセル位置402'は1つもしくは複数のピクセル位置を右にシフトするおよび/または1つもしくは複数のピクセル位置をグリッドセル308のピクセル位置402から下にシフトするために可視化され得る。ピクセル位置402のシフトの各異なるオフセットにおいて、2次グリッドセルはピクセル位置402'に配置されている左上のピクセルを用いて生成され得る。
いくつかの実施形態では、2次グリッドセルのサイズは元のセルと同じであり、したがって、オフセットピクセル位置402が、たとえば、元のグリッドセル308の右および/または下にシフトすると、2次グリッドセル404の一部分は元のグリッドセル308の境界の外になる。シフトされたピクセル位置402'に従ってオフセットされた各2次グリッドセルは、前記2次グリッドセル404の画像シグネチャが物理平面のデジタル表現にすでに含まれる1つまたは複数のグリッドセルの画像シグネチャと十分に類似しているとわかった場合、平面の一部として含まれ得る。たとえば、オフセットされたピクセル位置402'は、2次グリッドセル404の左上隅を表し得る。図示のように、2次グリッドセル404の一部分はグリッドセル308の外になり、このことは、2次グリッドセル404の一部分が図示しないグリッドセル308に隣接している元のグリッドセルの一部を含むことも意味する。本明細書で説明する方法のうちのいずれかと一貫して、2次グリッドセル404のための画像シグネチャが生成され得、次いで、前記画像シグネチャは物理平面のデジタル表現の一部としてすでに含まれる画像シグネチャと比較され得る。グリッドセル404の画像シグネチャが十分に類似している場合、グリッドセル404は平面の一部として含まれ得る。したがって、最初に平坦面の一部として含まれなかった、グリッドセル308と2次グリッドセル404に共通の部分である領域406は、今では平坦面のデジタル表現の一部として含まれる。
いくつかの実施形態では、当初拒否されたグリッドセル、たとえば、グリッドセル308にわたるすべてのオフセットを調べる必要があるわけではない。たとえば、以前のグリッドセルを含むことに基づいて、次いで、上および左から開始して、物理平面がグリッドセル308の右および下に拡張することが知られている場合、含まれるピクセルと除外されるピクセルとの間のピクセルの境界線が見つかると、さらに下および右へのオフセットを有する残りの2次グリッドセルも含まれることになり、したがって、テストする必要はないはずであると想定され得る。
いくつかの実施形態では、異なる視点から取られた複数の画像は、統計的情報を前額平行グリッド構造を備える単一の修正画像に追加するために使用され得る。たとえばSLAMまたは既知のターゲットを使用するカメラビュー追跡は、これらの追加の画像を前額平行ビューにワーピングするために使用され得る。前額平行グリッドセルに投影するピクセルは、上記の単一の画像について説明したものと同様の統計的ヒストグラムを計算するために使用される。別個のヒストグラムエントリは、特定のビューにおいて物理平面を遮る可能性があるオブジェクトとして、フレームごとに維持され得る。ある一定の数のフレームが-または、いくつかの実施形態では1つのフレームでさえ-グリッドセルが物理平面を表す統計的モデルと一致することを示す場合、グリッドセルは平面に追加される(すでに物理平面のデジタル表現の一部であるセルに隣接している場合)。
図5を参照すると、例示500は、太線502によって示される、線502内の部分を物理平面のデジタル表現の部分として含む、物理シーン200のための物理平面のデジタル表現の決定の例示的な結果を示している。
図6は、本開示の特定の態様による、物理平面のデジタル表現を生成するための特定のモジュールおよび構成要素を示す例示的なブロック図である。図6で説明するモジュールは、ソフトウェア、ファームウェア、ハードウェアまたはそれらの任意の他の組合せを使用して実装され得る。一実施形態では、図6で説明するモジュールは、任意の磁気、電子、光学、または他のコンピュータ可読記憶媒体であり得るコンピュータ可読媒体600上にソフトウェアモジュールとして記憶され得る。一実装形態では、コンピュータ可読記憶媒体600は、平面選択モジュール602と、修正画像生成器モジュール604と、グリッドセル再分割器モジュール606と、隣接グリッドセル選択器モジュール608と、グリッドセル比較器モジュール610と、デジタル平面更新器モジュール612と、物理平面表現モジュール614とを含み得る。
平面選択モジュール602は、物理シーンにおける物理平面の配向および初期部分を決定する。本発明の範囲から逸脱することなく、平面の初期部分を決定するための様々な技法が使用され得る。たとえば、物理平面に置かれた既知のターゲットまたは画像は、物理平面の配向および初期部分を決定する際に使用され得る。フィーチャおよび/またはオブジェクト検出などの他の技法も、物理平面の配向および初期部分を決定する際に使用され得る。
修正画像生成器モジュール604は、物理平面の少なくとも一部の前額平行ビューを含む修正画像を生成する。一実装形態では、修正画像は、前に説明したように、物理シーンの1つもしくは複数の画像ならびに/または姿勢および配向情報を使用して生成され得る。一実装形態では、修正画像は、2次元情報および3次元情報を含む画像の表現であり得る。
グリッドセル再分割器モジュール606は、修正画像または修正画像の部分を複数のグリッドセルに再分割し得る。複数のグリッドセルの各々について、画像シグネチャは前記グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて生成され得る。画像シグネチャは、グリッドセルが物理平面のデジタル表現の一部として含まれるべきかどうかを決定する際に使用され得る。
隣接グリッドセル選択器モジュール608は、物理平面の取得された初期部分または物理平面のデジタル表現の一部としてすでに含まれる平面の部分の少なくとも一部に隣接するグリッドセルを、物理平面のデジタル表現の一部として含まれるべき潜在的な候補として選択し得る。
グリッドセル比較器モジュール610は、隣接グリッドセルが物理平面のデジタル表現の一部として含まれるべきかどうかを決定するために、隣接グリッドセルのシグネチャを物理平面のデジタル表現の一部として含まれるグリッドセルと比較する。
デジタル平面更新器モジュール612は、隣接グリッドセルのシグネチャが物理平面のデジタル表現にすでに含まれる1つまたは複数のグリッドセルのシグネチャと類似している場合、物理平面表現モジュール614を更新する。いくつかの実施形態では、類似度は少なくとも1つの所定のしきい値基準に基づく。
隣接グリッドセル選択器モジュール608は、物理平面のデジタル表現の一部としてすでに含まれるグリッドセルに隣接する各隣接グリッドセルについて、画像シグネチャの差分により、これ以上隣接グリッドセルを物理平面のデジタル表現の一部として含むことができなくなるまで、繰り返すかまたは反復することができる。
図7は、いくつかの実施形態による、物理シーンから物理平面のデジタル表現を構築するための例示的な方法フローを示す流れ図である。1つまたは複数の態様によれば、本明細書で説明する方法および/または方法プロセスのいずれかおよび/またはすべては、たとえば、モバイルデバイス102および/または図9でより詳細に説明するデバイスなどの、モバイルデバイス102によっておよび/またはモバイルデバイス102内に実装され得る。一実施形態では、図7に関して以下で説明する方法プロセスのうちの1つまたは複数は、プロセッサ910または別のプロセッサなどの、コンピューティングデバイス900のプロセッサによって実装される。追加または代替として、本明細書で説明する方法および/または方法ステップのいずれかおよび/またはすべては、メモリ935、ストレージ925または別のコンピュータ可読媒体などのコンピュータ可読媒体上に記憶されたコンピュータ可読命令などの、コンピュータ可読命令で実装され得る。
ブロック702において、コンピューティングデバイスの構成要素は、3次元空間内の物理シーンにおける平面の初期部分を決定し得る。一実装形態では、物理平面の初期部分は、物理平面に配置された既知のオブジェクトに基づいて決定され得る。別の実装形態では、物理平面の初期部分は、本発明の範囲から逸脱することなく、物理平面を点群モデルまたは任意の他の適切な技法に合わせることに基づく。何らかの発明では、画像を撮るカメラに対する平面の初期配向も決定され得る。
ブロック704において、コンピューティングデバイスの構成要素は、修正画像を生成し得、修正画像は、物理平面の少なくとも一部の前額平行ビューを含む。一実装形態では、修正画像は、前に説明したように、物理シーンの1つもしくは複数の画像ならびに/または姿勢および配向情報を使用して生成され得る。一実装形態では、修正画像は、2次元情報および3次元情報を含む画像の表現であり得る。
ブロック706において、コンピューティングデバイスの構成要素は、物理平面の前額平行ビューを備える修正画像を複数のグリッドセルに再分割し得る。各グリッドセルは、複数の2次元情報および/または3次元情報を含み得る。
ブロック708において、コンピューティングデバイスの構成要素は、複数のグリッドセルの各々について、前記グリッドセルについての少なくとも1つの画像特性に基づいて画像シグネチャを生成し得る。一実装形態では、画像シグネチャは、グリッドセルに存在する色の量およびタイプの統計的表現、グリッドセルの勾配配向、またはグリッドセルに存在する色を表すグレースケール濃淡の量およびタイプなどの、グリッドセルについての画像情報を示す少なくとも1つのヒストグラムを含み得る。
ブロック710において、コンピューティングデバイスの構成要素は、物理平面のデジタル表現の一部として含むべき、物理平面の取得された初期部分の少なくとも一部に隣接する1つまたは複数の初期グリッドセルを選択し得る。特定の実装形態では、修正画像から取得された初期部分の少なくとも一部に隣接するグリッドセルは物理平面に属すると想定され得る。
ブロック712において、コンピューティングデバイスの構成要素は、各隣接グリッドセルの画像シグネチャを平面のデジタル表現に現在含まれている1つまたは複数のグリッドセルの画像シグネチャと比較し得る。
ブロック714において、コンピューティングデバイスの構成要素は、所定のしきい値を満たす各グリッドセルを平面のデジタル表現に追加し得る。一実装形態では、前記グリッドセルに関連付けられた少なくとも1つの画像特性は、3次元情報を備える。いくつかの実装形態では、しきい値はARシステム、アプリケーションまたはユーザによって構成され得る。他の実装形態では、コンピューティングデバイスの構成要素は、画像の解像度、画像のひずみなどの画像特性に基づいて、しきい値を決定し得る。
ブロック716において、コンピューティングデバイスの構成要素は、場合によっては物理平面のデジタル表現に追加するために追加の隣接セルが依然として利用可能であるかどうかを決定する。たとえば、境界に達している場合、追加のセルは利用可能ではない可能性がある。特定の実施形態では、各残りの隣接グリッドセルについて、コンピューティングデバイスの構成要素は、画像シグネチャを平面のデジタル表現に現在含まれている1つまたは複数のグリッドセルと比較することによって、ブロック712を繰り返し、所定のしきい値を満たす各グリッドセルを平面のデジタル表現に追加することによって、ブロック714を繰り返す。さらなる評価のための追加のグリッドセルが残っていない場合、ブロック718において、コンピューティングデバイスの構成要素は、物理平面のデジタル表現を生成する。
図7に示す具体的なステップは、本発明の一実施形態による、動作モード間を切り替える特定の方法を提供することを諒解されたい。ステップの他のシーケンスも、代替実施形態においてしかるべく実施され得る。たとえば、本発明の代替実施形態は、異なる順序で、上記で概説されたステップを実施することができる。さらに、特定の適用例に応じて、追加のステップまたはステップの変形形態が追加または削除され得る。当業者であれば、プロセスの多くの変形形態、修正形態、および代替形態を認識し、諒解するであろう。
図8は、本開示のいくつかの態様による、物理シーンからの物理平面のデジタル表現の一部としてグリッドセルの部分を含めるための例示的な方法フローを示す流れ図である。1つまたは複数の態様によれば、本明細書で説明する方法および/または方法プロセスのいずれかおよび/またはすべては、たとえば、モバイルデバイス102および/または図9でより詳細に説明するデバイスなどの、モバイルデバイス102によっておよび/またはモバイルデバイス102内に実装され得る。一実施形態では、図8に関して以下で説明する方法プロセスのうちの1つまたは複数は、プロセッサ910または別のプロセッサなどの、コンピューティングデバイス900のプロセッサによって実装される。追加または代替として、本明細書で説明する方法および/または方法ステップのいずれかおよび/またはすべては、メモリ935、ストレージ925または別のコンピュータ可読媒体などのコンピュータ可読媒体上に記憶されたコンピュータ可読命令などの、コンピュータ可読命令で実装され得る。
図7のブロック712〜716において、コンピューティングデバイスの構成要素は、グリッドセルは物理平面の一部ではないと決定し、追加の隣接グリッドセルまで反復するのを停止し得る。しかしながら、この時点で、いくつかの実装形態では、境界のための精錬プロセスが以下の図7で説明するように開始し得る。単一のグリッドセルのためのプロセスについて説明するが、このプロセスは、隣接グリッドセルに類似していないと決定された、境界上のグリッドセルのすべてまたはほとんどに適用され得る。
ブロック802において、コンピューティングデバイスの構成要素は、グリッドセルが物理平面の一部ではないと決定し得る。いくつかの態様では、プロセッサは、グリッドセルが物理平面の一部ではないと決定した際に、グリッドセルのシグネチャを物理平面のデジタル表現の一部として含まれる1つまたは複数のグリッドセルのシグネチャと比較し得る。
ブロック804において、コンピューティングデバイスの構成要素は、2次グリッドセルを生成し得、2次グリッドセルの位置は、グリッドセルの位置からのオフセットに基づく。2次グリッドセルは、物理平面のより大きい部分がグリッドセルよりも2次グリッドセルに含まれるように生成され得る。
ブロック806において、コンピューティングデバイスの構成要素は、2次グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成し得る。一実装形態では、画像シグネチャは、グリッドセルに存在する色の量およびタイプの統計的表現、グリッドセルの勾配配向、またはグリッドセルに存在する色を表すグレースケール濃淡の量およびタイプなどの、グリッドセルについての画像情報を示す少なくとも1つのヒストグラムを含み得る。一態様では、少なくとも1つの所定のしきい値基準は、平面の一部としてすでに含まれるグリッドセルの少なくとも1つのヒストグラムを隣接グリッドセルのヒストグラムと比較することに基づく。一実装形態では、前記グリッドセルに関連付けられた少なくとも1つの画像特性は、3次元情報を備える。
ブロック808において、コンピューティングデバイスの構成要素は、2次グリッドセルが物理平面のデジタル表現からのグリッドセルの画像シグネチャに類似した画像シグネチャを有するかどうかを決定し得る。
ブロック810において、コンピューティングデバイスの構成要素は、2次グリッドセルが物理平面のデジタル表現からの1つまたは複数のグリッドセルの画像シグネチャに類似した画像シグネチャを有するかどうかを決定し得る。
2次グリッドセルが物理平面のデジタル表現からの1つまたは複数のグリッドセルの画像シグネチャに類似した画像シグネチャを有する場合、ブロック812において、コンピューティングデバイスの構成要素は、物理平面のデジタル表現に2次グリッドセルを含み得る。
2次グリッドセルが物理平面のデジタル表現からの1つまたは複数のグリッドセルの画像シグネチャに類似した画像シグネチャを有しない場合、コンピューティングデバイスの構成要素は、ブロック804において、新しいオフセットを用いて別の2次グリッドセルを生成することによって、再び反復し得る。
いくつかの実施形態では、2次グリッドセルのサイズは元のセルと同じであり、したがって、オフセットピクセル位置402が、たとえば、元のグリッドセル308の右および/または下にシフトすると、2次グリッドセルの一部分は元のグリッドセル308の境界の外になる。シフトされたピクセル位置402'に従ってオフセットされた各2次グリッドセルは、前記2次グリッドセルの画像シグネチャが物理平面のデジタル表現に含まれるグリッドセルの画像シグネチャと十分に類似しているとわかった場合、平面の一部として含まれ得る。たとえば、オフセットされたピクセル位置402'は、2次グリッドセル404の左上隅を表し得る。図示のように、2次グリッドセル404の一部分はグリッドセル308の外になり、このことは、2次グリッドセル404の一部分が図示しないグリッドセル308に隣接している元のグリッドセルの一部を含むことも意味する。本明細書で説明する方法のうちのいずれかと一貫して、2次グリッドセル404のための画像シグネチャが生成され得、次いで、前記画像シグネチャは物理平面のデジタル表現の一部としてすでに含まれる画像シグネチャと比較され得る。グリッドセル404の画像シグネチャが十分に類似している場合、グリッドセル404は平面の一部として含まれ得る。したがって、最初に平坦面の一部として含まれなかった、グリッドセル308と2次グリッドセル404に共通の部分である領域406は、今では平坦面の一部として含まれる。
いくつかの実装形態では、当初拒否されたグリッドセルにわたるすべてのオフセットを調べる必要があるわけではない。たとえば、境界用の隅のピクセルが十分疎に含まれていれば、その間にあるオフセットを有する残りの2次グリッドセルも含まれることになり、したがって、テストする必要はないはずであると想定され得る。
図8に示す具体的なステップは、本発明の一実施形態による、動作モード間を切り替える特定の方法を提供することを諒解されたい。ステップの他のシーケンスも、代替実施形態においてしかるべく実施され得る。たとえば、本発明の代替実施形態は、異なる順序で、上記で概説されたステップを実施することができる。さらに、特定の適用例に応じて、追加のステップまたはステップの変形形態が追加または削除され得る。当業者であれば、プロセスの多くの変形形態、修正形態、および代替形態を認識し、諒解するであろう。
多くの実施形態が、特定の要件に従って行われ得る。たとえば、カスタマイズされたハードウェアも使用されることがあり、および/または特定の要素がハードウェア、ソフトウェア(アプレットなどのポータブルソフトウェアを含む)、または両方で実装されることがある。さらに、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイスへの接続が用いられ得る。
AR環境における平坦面の密な表現を定義する複数の態様について説明してきたが、次に、本開示の様々な態様が実装され得るコンピューティングシステムの一例について図9に関して説明する。1つまたは複数の態様によれば、図9に示すようなコンピュータシステムは、本明細書で説明する特徴、方法、および/または方法ステップのいずれかおよび/またはすべてを実装、実施、および/または実行できるコンピューティングデバイスの一部として組み込まれ得る。たとえば、コンピュータシステム900は、ハンドヘルドデバイスの構成要素のうちのいくつかを表し得る。ハンドヘルドデバイスは、ワイヤレス受信機またはモデムなどの、入力感知ユニットを有する任意のコンピューティングデバイスであり得る。ハンドヘルドデバイスの例は、限定はしないが、ビデオゲームコンソール、タブレット、スマートフォン、テレビジョン、ARゴーグル、およびモバイルデバイスまたは移動局を含む。いくつかの実施形態では、システム900は、上記で説明した方法のうちのいずれかを実装するように構成される。図9は、本明細書で説明する様々な他の実施形態によって提供される方法を実施することができる、ならびに/または、ホストコンピュータシステム、リモートキオスク/端末、販売時点デバイス、モバイルデバイス、セットトップボックスおよび/もしくはコンピュータシステムとして機能することができる、コンピュータシステム900の一実施形態の概略図を与える。図9は、様々な構成要素の一般化された例示を与えることのみを意図したものであり、これらの構成要素のいずれかまたはすべてが適宜に利用され得る。したがって、図9は、どのようにすれば個々のシステム要素が比較的分離された形でまたは比較的より一体化された形で実装され得るかを大まかに示している。
バス905を介して電気的に結合され得る(または適宜に別の方法で通信し得る)ハードウェア要素を備えるコンピュータシステム900が示されている。これらのハードウェア要素は、限定はしないが、1つもしくは複数の汎用プロセッサおよび/または1つもしくは複数の専用プロセッサ(デジタル信号処理チップ、グラフィックスアクセラレーションプロセッサなど)を含む、1つまたは複数のプロセッサ910と、限定はしないが、カメラ、ワイヤレス受信機、ワイヤレスセンサー、マウス、キーボードなどを含むことができる、1つまたは複数の入力デバイス915と、限定はしないが、ディスプレイユニット、プリンタなどを含むことができる、1つまたは複数の出力デバイス920とを含み得る。いくつかの実施形態では、1つまたは複数のプロセッサ910は、図1〜図8に関して上記で説明した機能のサブセットまたはすべてを実施するように構成され得る。プロセッサ910は、たとえば、汎用プロセッサおよび/またはアプリケーションプロセッサを備え得る。いくつかの実施形態では、プロセッサは、視覚追跡デバイス入力およびワイヤレスセンサー入力を処理する要素に統合される。
コンピュータシステム900は、1つまたは複数の非一時的ストレージデバイス925をさらに含む(および/またはそれらと通信する)ことができ、非一時的ストレージデバイス925は、限定はしないが、ローカルおよび/もしくはネットワークアクセス可能なストレージを備えることができ、ならびに/または、限定はしないが、プログラム可能、フラッシュ更新可能などとすることができる、ディスクドライブ、ドライブアレイ、光ストレージデバイス、ランダムアクセスメモリ(「RAM」)および/もしくは読取り専用メモリ(「ROM」)などのソリッドステートストレージデバイスを含むことができる。そのようなストレージデバイスは、限定はしないが、様々なファイルシステム、データベース構造などを含む、任意の適切なデータストレージを実装するように構成され得る。
コンピュータシステム900は、通信サブシステム930も含むことができ、通信サブシステム930は、限定はしないが、モデム、ネットワークカード(ワイヤレスまたはワイヤード)、赤外線通信デバイス、(Bluetooth(登録商標)デバイス、902.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備などの)ワイヤレス通信デバイスおよび/またはチップセットなどを含むことができる。通信サブシステム930は、ネットワーク(一例を挙げると、以下で説明するネットワークなど)、他のコンピュータシステム、および/または本明細書で説明する任意の他のデバイスとデータを交換することを可能にし得る。多くの実施形態では、コンピュータシステム900は、上記で説明したように、RAMまたはROMデバイスを含むことができる非一時的ワーキングメモリ935をさらに備えることになる。いくつかの実施形態では、通信サブシステム930は、アクセスポイントまたはモバイルデバイスに信号を送信し、アクセスポイントまたはモバイルデバイスから信号を受信するように構成されたトランシーバ950とインターフェースし得る。いくつかの実施形態は、1つまたは複数の別個の受信機と、1つまたは複数の別個の送信機とを含み得る。
コンピュータシステム900はまた、オペレーティングシステム940、デバイスドライバ、実行可能ライブラリ、および/または1つもしくは複数のアプリケーションプログラム945などの他のコードを含む、現在、ワーキングメモリ935内に配置されたものとして示されている、ソフトウェア要素も備えることができ、他のコードは、様々な実施形態によって提供されるコンピュータプログラムを備えることができ、かつ/または本明細書で説明するように、他の実施形態によって提供される方法を実施するように、および/もしくはシステムを構成するように設計され得る。単に例として、たとえば図9に関して説明したような、上述の方法に関して説明した1つまたは複数の手順は、コンピュータ(および/またはコンピュータ内のプロセッサ)によって実行可能なコードおよび/または命令として実装することができ、次いで、一態様では、そのようなコードおよび/または命令は、説明した方法による1つまたは複数の動作を実施するために、汎用コンピュータ(または他のデバイス)を構成および/または適合するために使用され得る。
これらの命令および/またはコードのセットは、上記で説明したストレージデバイス925などのコンピュータ可読記憶媒体上に記憶され得る。場合によっては、記憶媒体は、コンピュータシステム900などのコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、記憶媒体がその上に記憶された命令/コードを用いて汎用コンピュータをプログラムする、構成する、および/または適合させるために使用され得るように、コンピュータシステムから分離され得(たとえば、コンパクトディスクなどのリムーバブル媒体)、かつ/またはインストールパッケージ内に備えられ得る。これらの命令は、コンピュータシステム900によって実行可能である、実行可能コードの形態を取ることができ、かつ/または(たとえば、様々な一般的に利用可能なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティなどのいずれかを使用して)コンピュータシステム900上にコンパイルおよび/またはインストールすると実行可能コードの形態を取る、ソースコードおよび/またはインストール可能コードの形態を取ることができる。
大幅な変形が、特定の要件に従って行われ得る。たとえば、カスタマイズされたハードウェアも使用されることがあり、および/または特定の要素がハードウェア、ソフトウェア(アプレットなどのポータブルソフトウェアを含む)、または両方で実装されることがある。さらに、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイスへの接続が用いられ得る。
いくつかの実施形態は、本開示による方法を実施するために、(コンピュータシステム900などの)コンピュータシステムを用いることができる。たとえば、説明した方法の手順のうちのいくつかまたはすべては、ワーキングメモリ935に含まれる(オペレーティングシステム940および/またはアプリケーションプログラム945などの他のコードに組み込まれ得る)1つまたは複数の命令の1つまたは複数のシーケンスを実行しているプロセッサ910に応答して、コンピュータシステム900によって実施され得る。そのような命令は、ストレージデバイス925のうちの1つまたは複数など、別のコンピュータ可読媒体からワーキングメモリ935に読み込まれ得る。単に例として、ワーキングメモリ935に含まれる命令のシーケンスの実行は、本明細書で説明した方法、たとえば図9に関して説明した方法の1つまたは複数の手順をプロセッサ910に実施させ得る。
本明細書で使用する「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械を特定の方式で動作させるデータを与えることに関与する任意の媒体を指す。コンピュータシステム900を使用して実装される一実施形態では、様々なコンピュータ可読媒体が、実行のためにプロセッサ910に命令/コードを与えることに関与することがあり、かつ/またはそのような命令/コードを(たとえば、信号として)記憶および/または搬送するために使用されることがある。多くの実装形態では、コンピュータ可読媒体は、物理的なおよび/または有形の記憶媒体である。そのような媒体は、限定はしないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形態を取り得る。不揮発性媒体は、たとえば、ストレージデバイス925などの光ディスクおよび/または磁気ディスクを含む。揮発性媒体は、限定はしないが、ワーキングメモリ935などのダイナミックメモリを含む。伝送媒体は、限定はしないが、バス905、ならびに通信サブシステム930(および/または通信サブシステム930が他のデバイスとの通信を提供する媒体)の様々な構成要素を備える電線を含めて、同軸ケーブル、銅線、および光ファイバを含む。したがって、伝送媒体はまた、(限定はしないが、無線波データ通信および赤外線データ通信中に生成されるものなどの無線波、音波、および/または光波を含む)波の形態を取ることができる。
物理的なおよび/または有形のコンピュータ可読媒体の一般的な形態は、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップまたはカートリッジ、以下で説明するような搬送波、あるいはコンピュータが命令および/またはコードを読み取ることができる任意の他の媒体を含む。
様々な形態のコンピュータ可読媒体は、実行のために1つまたは複数の命令の1つまたは複数のシーケンスをプロセッサ910に搬送することに関与し得る。単に例として、命令は最初に、リモートコンピュータの磁気ディスクおよび/または光ディスク上で搬送され得る。リモートコンピュータは、そのダイナミックメモリ内に命令をロードし、コンピュータシステム900によって受信および/または実行されるべき送信媒体上の信号として命令を送ることができる。電磁信号、音響信号、光信号などの形態であり得るこれらの信号はすべて、本発明の様々な実施形態による、命令が符号化され得る搬送波の例である。
通信サブシステム930(および/またはその構成要素)は、一般に信号を受信し、次いで、バス905は、信号(および/または、信号によって搬送されるデータ、命令など)をワーキングメモリ935に搬送することができ、プロセッサ910は、ワーキングメモリ935から命令を取り出し、実行する。ワーキングメモリ935によって受信された命令は、任意選択で、プロセッサ910による実行の前または後のいずれかに、非一時的ストレージデバイス925上に記憶され得る。メモリ935は、本明細書で説明するデータベースおよび方法のいずれかによる少なくとも1つのデータベースを含み得る。したがって、メモリ935は、図1〜図8および関連する説明を含む本開示のいずれかで説明した値のいずれかを記憶し得る。
図7および図8において説明した方法は、図9の様々なブロックによって実装され得る。たとえば、プロセッサ910は、フローチャート700およびフローチャート800におけるブロックの機能のいずれかを実施するように構成され得る。ストレージデバイス925は、本明細書で述べたブロックのいずれか内で説明したグローバル一意属性またはローカル一意属性などの中間結果を記憶するように構成され得る。ストレージデバイス925はまた、本開示のいずれかと一致するデータベースを含み得る。メモリ935は同様に、本明細書で述べたブロックのいずれかにおいて説明する機能のいずれかを実施するのに必要な信号、信号の表現、またはデータベース値を記録するように構成され得る。RAMなどの一時または揮発性メモリに記憶される必要があり得る結果はまた、メモリ935に含まれ得、ストレージデバイス925に記憶され得る中間結果に類似した任意の中間結果を含み得る。入力デバイス915は、本明細書で説明する本開示に従って、衛星および/または基地局からワイヤレス信号を受信するように構成され得る。出力デバイス920は、本開示のいずれかに従って、画像を表示し、テキストを印刷し、信号を送信し、および/または他のデータを出力するように構成され得る。
上記で説明した方法、システム、およびデバイスは、例である。様々な実施形態は、適宜に、様々な手順または構成要素を省略、置換、または追加することができる。たとえば、代替構成では、説明する本方法は、説明する順序とは異なる順序で実施されてもよく、ならびに/または、様々なステージが追加され、省略され、および/もしくは組み合わされてもよい。さらに、特定の実施形態に関して説明した特徴は、様々な他の実施形態で組み合わされ得る。実施形態の異なる態様および要素は、同様にして組み合わされ得る。また、技術は発展し、したがって、要素の多くは、本開示の範囲をそれらの特定の例に限定しない例である。
実施形態の完全な理解を与えるために、説明に具体的な詳細が与えられている。しかしながら、実施形態は、これらの具体的な詳細なしに実践され得る。たとえば、実施形態を不明瞭にすることを避けるために、よく知られている回路、プロセス、アルゴリズム、構造、および技法は、不要な詳細なしに示してきた。この説明は、例示的な実施形態のみを提供し、本発明の範囲、適用可能性、または構成を限定するものではない。むしろ、実施形態の上述の説明は、本発明の実施形態を実装することを可能にする説明を当業者に与える。本発明の趣旨および範囲から逸脱することなく、要素の機能および構成に様々な変更を行うことができる。
また、いくつかの実施形態について、流れ図またはブロック図として示すプロセスとして説明した。各々は動作を逐次プロセスとして説明し得るが、動作の多くは並行してまたは同時に実施され得る。加えて、動作の順序は並べ替えられ得る。プロセスは、図に含まれていない追加のステップを有し得る。さらに、本方法の実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実装され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、関連するタスクを実施するプログラムコードまたはコードセグメントは、記憶媒体などのコンピュータ可読媒体に記憶され得る。プロセッサは、関連するタスクを実施し得る。
いくつかの実施形態について説明してきたが、本開示の趣旨から逸脱することなく、様々な修正形態、代替構成、および等価物が使用され得る。たとえば、上記の要素は、単により大きいシステムの構成要素であり得、他のルールは、本発明の適用よりも優先するか、そうでなければ本発明の適用を修正することができる。また、上記の要素が考慮される前、考慮される間、または考慮された後に、いくつかのステップに着手することができる。したがって、上記の説明は本開示の範囲を限定しない。
様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
100 ARシステム、システム
102 モバイルデバイス、コンピューティングデバイス
104 テーブル
106 3次元キャラクタ
108 ディスプレイ
110 円筒
200 例示、画像、ワークトップ、物理シーン
202 表面
204 既知のターゲットまたはオブジェクト、ターゲットオブジェクト
206 オブジェクト
300 修正画像、画像、オーバーヘッドビュー、カノニカルビュー、前額平行ビュー、ビュー
302 グリッドセル、セル
302' グリッドセル、セル
304 初期部分
306 対角線の影付き領域、領域
308 グリッドセル、セル
310 グリッドセル、セル
312 オブジェクト
314 物理平面
400 例示
402 ピクセル位置
402' ピクセル位置
404 2次グリッドセル、グリッドセル
406 領域
500 例示
502 太線、線
600 コンピュータ可読媒体
602 平面選択モジュール
604 修正画像生成器モジュール
606 グリッドセル再分割器モジュール
608 隣接グリッドセル選択器モジュール
610 グリッドセル比較器モジュール
612 デジタル平面更新器モジュール
614 物理平面表現モジュール
700 フローチャート
800 フローチャート
900 コンピューティングデバイス、コンピュータシステム
905 バス
910 プロセッサ
915 入力デバイス
920 出力デバイス
925 ストレージデバイス
930 通信サブシステム
935 メモリ、非一時的ワーキングメモリ、ワーキングメモリ
940 オペレーティングシステム
945 アプリケーションプログラム
950 トランシーバ

Claims (30)

  1. 物理シーンから物理平面のデジタル表現を構築するための方法であって、
    3次元空間内の前記物理シーンの画像における前記物理平面の配向および初期部分を決定するステップと、
    修正画像を生成するステップであって、前記修正画像が前記物理平面の少なくとも一部の前額平行ビューを含む、ステップと、
    前記修正画像を複数のグリッドセルに再分割するステップと、
    前記複数のグリッドセルの各々について、前記グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成するステップと、
    前記物理平面の前記デジタル表現の一部として含むべき、前記物理平面の取得された初期部分の少なくとも一部に隣接する1つまたは複数の初期グリッドセルを選択するステップと、
    前記1つまたは複数の初期グリッドセルに隣接する各隣接グリッドセルの前記画像シグネチャを前記物理平面の前記デジタル表現に現在含まれている1つまたは複数のグリッドセルの前記画像シグネチャと比較するステップと、
    所定のしきい値を満たす各グリッドセルを前記物理平面の前記デジタル表現に追加するステップと
    を備える方法。
  2. 前記物理平面の前記デジタル表現の一部としてすでに含まれるグリッドセルに隣接する各隣接グリッドセルの前記画像シグネチャを前記隣接するグリッドセルと比較するステップと、
    所定のしきい値を満たす各グリッドセルを前記物理平面の前記デジタル表現に追加するステップと
    をさらに備える、請求項1に記載の方法。
  3. 前記物理平面の前記初期部分が、前記物理平面に配置された既知のオブジェクトに基づく、請求項1に記載の方法。
  4. 前記物理平面の前記初期部分が、前記物理平面を点群モデルに合わせることに基づく、請求項1に記載の方法。
  5. 前記画像シグネチャが、前記グリッドセルに関連付けられた画像情報を示す少なくとも1つのヒストグラムを備える、請求項1に記載の方法。
  6. 前記少なくとも1つのヒストグラムが、前記グリッドセルに存在する色の量およびタイプの統計的表現を備える、請求項5に記載の方法。
  7. 前記少なくとも1つのヒストグラムが、前記グリッドセルの勾配配向の統計的表現を備える、請求項5に記載の方法。
  8. 前記少なくとも1つのヒストグラムが、前記グリッドセルに存在する色を表すグレースケール濃淡の量およびタイプの統計的表現を備える、請求項5に記載の方法。
  9. 前記グリッドセルに関連付けられた前記少なくとも1つの画像特性が、3次元情報を備える、請求項1に記載の方法。
  10. 前記物理平面の前記デジタル表現の一部として含まれないと決定された各隣接グリッドセルについて、
    複数の2次グリッドセルを生成するステップであって、前記複数の2次グリッドセルの各々の位置が前記隣接グリッドセルの位置からのオフセットに基づき、前記オフセットが前記隣接グリッドセルの幅および長さの範囲内にある、ステップと、
    前記複数の2次グリッドセルの各々について、
    前記2次グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成するステップと、
    前記2次グリッドセルの前記画像シグネチャが、前記物理平面の前記デジタル表現の一部として含まれるとすでに決定されたグリッドセルの前記画像シグネチャに類似している場合、前記2次グリッドセルが前記物理平面の前記デジタル表現の一部としてさらに含まれるかどうかを決定するステップであって、類似度が少なくとも1つの所定のしきい値基準に基づく、ステップと
    をさらに備える、請求項1に記載の方法。
  11. 物理シーンから物理平面のデジタル表現を構築するための装置であって、
    メモリと、
    3次元空間内の前記物理シーンにおける前記物理平面の配向および初期部分を決定することと、
    前記物理シーンの1つまたは複数の画像を受信することと、
    修正画像を生成することであって、前記修正画像が前記物理平面の少なくとも一部の前額平行ビューを含む、生成することと、
    前記修正画像を複数のグリッドセルに再分割することと、
    前記複数のグリッドセルの各々について、前記グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成することと、
    前記物理平面の前記デジタル表現の一部として含むべき、前記物理平面の取得された初期部分の少なくとも一部に隣接する1つまたは複数の初期グリッドセルを選択することと、
    前記1つまたは複数の初期グリッドセルに隣接する各隣接グリッドセルの前記画像シグネチャを前記物理平面の前記デジタル表現に現在含まれている1つまたは複数のグリッドセルの前記画像シグネチャと比較することと、
    所定のしきい値を満たす各グリッドセルを前記物理平面の前記デジタル表現に追加することと
    ことを行うように構成された1つまたは複数のプロセッサと
    を備える装置。
  12. 前記物理平面の前記デジタル表現の一部としてすでに含まれるグリッドセルに隣接する各隣接グリッドセルの前記画像シグネチャを前記隣接するグリッドセルと比較するステップと、
    所定のしきい値を満たす各グリッドセルを前記物理平面の前記デジタル表現に追加するステップと
    をさらに備える、請求項11に記載の装置。
  13. 前記物理平面の前記初期部分が、前記物理平面に配置された既知のオブジェクトに基づく、請求項11に記載の装置。
  14. 前記物理平面の前記初期部分が、前記物理平面を点群モデルに合わせることに基づく、請求項11に記載の装置。
  15. 前記画像シグネチャが、前記グリッドセルに関連付けられた画像情報を示す少なくとも1つのヒストグラムを備える、請求項11に記載の装置。
  16. 前記少なくとも1つのヒストグラムが、前記グリッドセルに存在する色の量およびタイプの統計的表現を備える、請求項15に記載の装置。
  17. 前記少なくとも1つのヒストグラムが、前記グリッドセルの勾配配向の統計的表現を備える、請求項15に記載の装置。
  18. 前記少なくとも1つのヒストグラムが、前記グリッドセルに存在する色を表すグレースケール濃淡の量およびタイプの統計的表現を備える、請求項15に記載の装置。
  19. 前記グリッドセルに関連付けられた前記少なくとも1つの画像特性が、3次元情報を備える、請求項11に記載の装置。
  20. 前記物理平面の前記デジタル表現の一部として含まれないと決定された各隣接グリッドセルについて、前記1つまたは複数のプロセッサが、
    複数の2次グリッドセルを生成することであって、前記複数の2次グリッドセルの各々の位置が前記隣接グリッドセルの位置からのオフセットに基づき、前記オフセットが前記隣接グリッドセルの幅および長さの範囲内にある、生成することと、
    前記複数の2次グリッドセルの各々について、
    前記2次グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成することと、
    前記2次グリッドセルの前記画像シグネチャが、前記物理平面の前記デジタル表現の一部として含まれるとすでに決定されたグリッドセルの前記画像シグネチャに類似している場合、前記2次グリッドセルが前記物理平面の前記デジタル表現の一部としてさらに含まれるかどうかを決定することであって、類似度が少なくとも1つの所定のしきい値基準に基づく、決定することと
    ことを行うようにさらに構成される、請求項11に記載の装置。
  21. 非一時的コンピュータ可読記憶媒体であって、前記非一時的コンピュータ可読記憶媒体がプロセッサによって実行可能な命令を備え、前記命令が、
    3次元空間内の物理シーンにおける物理平面の配向および初期部分を決定することと、
    前記物理シーンの1つまたは複数の画像を受信することと、
    修正画像を生成することであって、前記修正画像が前記物理平面の少なくとも一部の前額平行ビューを含む、生成することと、
    前記修正画像を複数のグリッドセルに再分割することと、
    前記複数のグリッドセルの各々について、前記グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成することと、
    前記物理平面のデジタル表現の一部として含むべき、前記物理平面の取得された初期部分の少なくとも一部に隣接する1つまたは複数の初期グリッドセルを選択することと、
    前記1つまたは複数の初期グリッドセルに隣接する各隣接グリッドセルの前記画像シグネチャを前記物理平面の前記デジタル表現に現在含まれている1つまたは複数のグリッドセルの前記画像シグネチャと比較することと、
    所定のしきい値を満たす各グリッドセルを前記物理平面の前記デジタル表現に追加することと
    を行うための命令を備える、非一時的コンピュータ可読記憶媒体。
  22. 前記物理平面の前記デジタル表現の一部としてすでに含まれるグリッドセルに隣接する各隣接グリッドセルの前記画像シグネチャを前記隣接するグリッドセルと比較するステップと、
    所定のしきい値を満たす各グリッドセルを前記物理平面の前記デジタル表現に追加するステップと
    をさらに備える、請求項21に記載の非一時的コンピュータ可読記憶媒体。
  23. 前記画像シグネチャが、前記グリッドセルに関連付けられた画像情報を示す少なくとも1つのヒストグラムを備える、請求項21に記載の非一時的コンピュータ可読記憶媒体。
  24. 前記グリッドセルに関連付けられた前記少なくとも1つの画像特性が、3次元情報を備える、請求項21に記載の非一時的コンピュータ可読記憶媒体。
  25. 前記物理平面の前記デジタル表現の一部として含まれないと決定された各隣接グリッドセルについて、前記1つまたは複数のプロセッサが、
    複数の2次グリッドセルを生成することであって、前記複数の2次グリッドセルの各々の位置が前記隣接グリッドセルの位置からのオフセットに基づき、前記オフセットが前記隣接グリッドセルの幅および長さの範囲内にある、生成することと、
    前記複数の2次グリッドセルの各々について、
    前記2次グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成することと、
    前記2次グリッドセルの前記画像シグネチャが、前記物理平面の前記デジタル表現の一部として含まれるとすでに決定されたグリッドセルの前記画像シグネチャに類似している場合、前記2次グリッドセルが前記物理平面の前記デジタル表現の一部としてさらに含まれるかどうかを決定することであって、類似度が少なくとも1つの所定のしきい値基準に基づく、決定することと
    ことを行うようにさらに構成される、請求項21に非一時的コンピュータ可読記憶媒体。
  26. 物理シーンから物理平面のデジタル表現を構築するための装置であって、
    3次元空間内の前記物理シーンの画像における前記物理平面の配向および初期部分を決定するための手段と、
    修正画像を生成するための手段であって、前記修正画像が前記物理平面の少なくとも一部の前額平行ビューを含む、手段と、
    前記修正画像を複数のグリッドセルに再分割するための手段と、
    前記複数のグリッドセルの各々について、前記グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成するための手段と、
    前記物理平面の前記デジタル表現の一部として含むべき、前記物理平面の取得された初期部分の少なくとも一部に隣接する1つまたは複数の初期グリッドセルを選択するための手段と、
    前記1つまたは複数の初期グリッドセルに隣接する各隣接グリッドセルの前記画像シグネチャを前記物理平面の前記デジタル表現に現在含まれている1つまたは複数のグリッドセルの前記画像シグネチャと比較するための手段と、
    所定のしきい値を満たす各グリッドセルを前記物理平面の前記デジタル表現に追加するための手段と
    を備える装置。
  27. 前記物理平面の前記デジタル表現の一部としてすでに含まれるグリッドセルに隣接する各隣接グリッドセルの前記画像シグネチャを前記隣接するグリッドセルと比較するための手段と、
    所定のしきい値を満たす各グリッドセルを前記物理平面の前記デジタル表現に追加するための手段と
    をさらに備える、請求項26に記載の装置。
  28. 前記画像シグネチャが、前記グリッドセルに関連付けられた画像情報を示す少なくとも1つのヒストグラムを備える、請求項26に記載の装置。
  29. 前記グリッドセルに関連付けられた前記少なくとも1つの画像特性が、3次元情報を備える、請求項26に記載の装置。
  30. 前記物理平面の前記デジタル表現の一部として含まれないと決定された各隣接グリッドセルについて、
    複数の2次グリッドセルを生成するための手段であって、前記複数の2次グリッドセルの各々の位置が前記隣接グリッドセルの位置からのオフセットに基づき、前記オフセットが前記隣接グリッドセルの幅および長さの範囲内にある、手段と、
    前記複数の2次グリッドセルの各々について、
    前記2次グリッドセルに関連付けられた少なくとも1つの画像特性に基づいて画像シグネチャを生成するための手段と、
    前記2次グリッドセルの前記画像シグネチャが、前記物理平面の前記デジタル表現の一部として含まれるとすでに決定されたグリッドセルの前記画像シグネチャに類似している場合、前記2次グリッドセルが前記物理平面の前記デジタル表現の一部としてさらに含まれるかどうかを決定するための手段であって、類似度が少なくとも1つの所定のしきい値基準に基づく、手段と
    をさらに備える、請求項26に記載の装置。
JP2016537924A 2013-08-30 2014-08-29 物理平面のデジタル表現の拡張 Pending JP2016532211A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361872474P 2013-08-30 2013-08-30
US61/872,474 2013-08-30
US14/472,288 US9595125B2 (en) 2013-08-30 2014-08-28 Expanding a digital representation of a physical plane
US14/472,288 2014-08-28
PCT/US2014/053582 WO2015031855A1 (en) 2013-08-30 2014-08-29 Expanding a digital representation of a physical plane

Publications (1)

Publication Number Publication Date
JP2016532211A true JP2016532211A (ja) 2016-10-13

Family

ID=52582580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016537924A Pending JP2016532211A (ja) 2013-08-30 2014-08-29 物理平面のデジタル表現の拡張

Country Status (6)

Country Link
US (1) US9595125B2 (ja)
EP (1) EP3039647A1 (ja)
JP (1) JP2016532211A (ja)
KR (1) KR20160051804A (ja)
CN (1) CN105531740A (ja)
WO (1) WO2015031855A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607437B2 (en) * 2013-10-04 2017-03-28 Qualcomm Incorporated Generating augmented reality content for unknown objects
US9508018B2 (en) * 2014-11-24 2016-11-29 Texas Instruments Incorporated Systems and methods for object detection
US10587698B2 (en) * 2015-02-25 2020-03-10 Futurewei Technologies, Inc. Service function registration mechanism and capability indexing
KR102246841B1 (ko) * 2016-10-05 2021-05-03 매직 립, 인코포레이티드 표면 모델링 시스템들 및 방법들
US9959586B1 (en) * 2016-12-13 2018-05-01 GoAnimate, Inc. System, method, and computer program for encoding and decoding a unique signature in a video file as a set of watermarks
KR102509823B1 (ko) * 2017-12-27 2023-03-14 삼성전자주식회사 그리드 기반의 평면 추정 방법 및 장치
US11182914B2 (en) 2018-05-21 2021-11-23 Facebook Technologies, Llc Dynamic structured light for depth sensing systems based on contrast in a local area

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5644386A (en) 1995-01-11 1997-07-01 Loral Vought Systems Corp. Visual recognition system for LADAR sensors
US6191796B1 (en) 1998-01-21 2001-02-20 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with rigid and deformable surfaces in a haptic virtual reality environment
US6611622B1 (en) * 1999-11-23 2003-08-26 Microsoft Corporation Object recognition system and process for identifying people and objects in an image of a scene
US20030038802A1 (en) * 2001-08-23 2003-02-27 Johnson Richard K. Automatic delineation of heart borders and surfaces from images
US7298869B1 (en) * 2003-07-21 2007-11-20 Abernathy Donald A Multispectral data acquisition system and method
EP1920423A2 (en) * 2005-09-01 2008-05-14 GeoSim Systems Ltd. System and method for cost-effective, high-fidelity 3d-modeling of large-scale urban environments
US7957596B2 (en) * 2007-05-02 2011-06-07 Microsoft Corporation Flexible matching with combinational similarity
US20080310757A1 (en) * 2007-06-15 2008-12-18 George Wolberg System and related methods for automatically aligning 2D images of a scene to a 3D model of the scene
EP2183724B1 (en) * 2007-07-27 2019-06-26 Esri R&D Center Zurich AG Computer system and method for generating a 3d geometric model
DE102007045835B4 (de) 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US8452123B2 (en) * 2008-01-18 2013-05-28 California Institute Of Technology Distortion calibration for optical sensors
US8811771B2 (en) 2008-08-22 2014-08-19 Adobe Systems Incorporated Content aware slideshows
DE102008050049B4 (de) * 2008-10-01 2014-09-04 Siemens Aktiengesellschaft Verfahren zur Bestimmung einer die Objektgrenze eines Objekts in einem digitalen 3D-Datensatz annähernden 3D-Oberfläche
US8385599B2 (en) * 2008-10-10 2013-02-26 Sri International System and method of detecting objects
WO2010088840A1 (en) * 2009-02-06 2010-08-12 The Hong Kong University Of Science And Technology Generating three-dimensional models from images
US9098926B2 (en) * 2009-02-06 2015-08-04 The Hong Kong University Of Science And Technology Generating three-dimensional façade models from images
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US8723987B2 (en) * 2009-10-30 2014-05-13 Honeywell International Inc. Uncertainty estimation of planar features
US8396293B1 (en) 2009-12-22 2013-03-12 Hrl Laboratories, Llc Recognizing geometrically salient objects from segmented point clouds using strip grid histograms
WO2012012943A1 (en) * 2010-07-28 2012-02-02 Shenzhen Institute Of Advanced Technology Chinese Academy Of Sciences Method for reconstruction of urban scenes
CN103180883A (zh) * 2010-10-07 2013-06-26 桑格威迪公司 快速3d模型
LU91745B1 (en) * 2010-10-15 2012-04-16 Iee Sarl Range image pixel matching method
US8605992B2 (en) * 2011-04-08 2013-12-10 Microsoft Corporation Image completion using scene geometry
US8594385B2 (en) * 2011-04-19 2013-11-26 Xerox Corporation Predicting the aesthetic value of an image
US9058687B2 (en) * 2011-06-08 2015-06-16 Empire Technology Development Llc Two-dimensional image capture for an augmented reality representation
US8908962B2 (en) * 2011-09-30 2014-12-09 Ebay Inc. Item recommendations using image feature data
EP2754125B1 (en) * 2011-10-14 2017-01-18 Omron Corporation A method and apparatus for projective volume monitoring
US9117281B2 (en) * 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
US8917934B2 (en) * 2012-06-14 2014-12-23 International Business Machines Corporation Multi-cue object detection and analysis
US10733798B2 (en) * 2013-03-14 2020-08-04 Qualcomm Incorporated In situ creation of planar natural feature targets
US9008365B2 (en) * 2013-04-18 2015-04-14 Huawei Technologies Co., Ltd. Systems and methods for pedestrian detection in images
US9037396B2 (en) * 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot

Also Published As

Publication number Publication date
CN105531740A (zh) 2016-04-27
US20150062166A1 (en) 2015-03-05
KR20160051804A (ko) 2016-05-11
WO2015031855A1 (en) 2015-03-05
US9595125B2 (en) 2017-03-14
EP3039647A1 (en) 2016-07-06

Similar Documents

Publication Publication Date Title
US9595125B2 (en) Expanding a digital representation of a physical plane
CN108292362B (zh) 用于光标控制的手势识别
EP3039655B1 (en) System and method for determining the extent of a plane in an augmented reality environment
JP6423435B2 (ja) 物理的光景を表すための方法および装置
US10354129B2 (en) Hand gesture recognition for virtual reality and augmented reality devices
EP3251090B1 (en) Occlusion handling for computer vision
US8929668B2 (en) Foreground subject detection
CN106033601B (zh) 检测异常情形的方法和装置
WO2019225547A1 (ja) オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム
WO2014107538A1 (en) Stereo image matching
US11665332B2 (en) Information processing apparatus, control method thereof and storage medium
US20170109932A1 (en) Content projection apparatus, content projection method, and computer readable storage medium
CN104952056A (zh) 一种基于立体视觉的目标检测方法和系统
KR101652594B1 (ko) 증강 현실 컨텐츠 제공 장치 및 방법
WO2014006786A1 (ja) 特徴量抽出装置および特徴量抽出方法
US11195322B2 (en) Image processing apparatus, system that generates virtual viewpoint video image, control method of image processing apparatus and storage medium
CN107533637B (zh) 对有歧义的图像数据进行分类
JP7188798B2 (ja) 座標算出装置、座標算出方法、及びプログラム
US20230326052A1 (en) Estimation method, estimation apparatus and program
CN105335399A (zh) 一种信息处理方法及电子设备
CN115761045A (zh) 一种户型图生成方法、装置、设备及存储介质