JP7043601B2 - 環境モデルを生成するための方法および装置ならびに記憶媒体 - Google Patents

Description

本開示は、電子デバイス技術の分野に関し、より詳細には、環境モデルを生成するための方法および装置、記憶媒体、ならびに電子デバイスに関する。

拡張現実（ＡＲ）技術は、ユーザが目にする実環境を追加情報を含む仮想環境と合成し、合成画像を表示する。実環境を仮想環境で補足するＡＲ技術は、コンピュータグラフィックスを使用して仮想環境を生成する。さらに、コンピュータグラフィックスは、実環境に必要な情報ももたらす。

ＡＲ技術において、コンピュータグラフィックスは、実環境に必要な情報をもたらす必要があるため、実環境を認識する必要がある。

本開示の実施形態は、環境モデルを生成するための方法を提供する。この方法は、電子デバイスに適用可能である。この方法は、以下を含む。電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像が取得される。電子デバイスの運動データが、複数の取得時点において取得される。複数の画像および複数の取得時点における運動データが分析され、環境の三次元空間データが生成される。複数の画像が三次元空間データとともにパッケージされ、環境モデルが生成される。

少なくとも１つの実施形態において、複数の取得時点における運動データを取得することは、予め設定された時間期間の間、電子デバイスの初期運動データを取得することと、複数の画像を時間において初期運動データに整列させて、複数の取得時点における電子デバイスの運動データを取得することとを含む。

少なくとも１つの実施形態において、複数の取得時点における運動データを取得することは、複数の画像の取得時に複数の取得時点における電子デバイスの運動データを取得することを含む。

少なくとも１つの実施形態において、複数の画像および複数の取得時点における運動データを分析して、環境の三次元空間データを生成することは、複数の画像および複数の取得時点における運動データを分析して、環境の複数の座標点の座標データを取得することと、複数の座標点の座標データに基づいて、環境の三次元空間データを生成することとを含む。

少なくとも１つの実施形態において、複数の画像および複数の取得時点における運動データを分析して、環境の複数の座標点の座標データを取得することは、複数の画像から選択された２つの画像に基づいて同じ座標点を決定することと、２つの画像の時間間隔を決定することと、複数の取得時点における運動データから選択される時間間隔における運動データに基づいて、移動方向および移動量を決定することと、移動方向および移動量に基づいて、同じ座標点と電子デバイスとの間の相対座標を決定することと、相対座標に基づいて同じ座標点の座標データを決定することとを含む。

少なくとも１つの実施形態において、複数の画像を三次元空間データとパッケージして、環境モデルを生成することは、複数の画像から複数の座標点の各々に対応するメタ画像を取得することと、メタ画像を対応する座標点の座標データに組み合わせて、環境モデルを生成することとを含む。

少なくとも１つの実施形態において、この方法は、複数のデータ種類に基づいて環境モデルの複数のデータインタフェースを提供することをさらに含む。

本開示の実施形態は、環境モデルを生成するための装置をさらに提供する。この装置は、電子デバイスに適用可能であり、電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像を取得するように構成された第１の取得モジュールと、複数の取得時点における電子デバイスの運動データを取得するように構成された第２の取得モジュールと、複数の画像および複数の取得時点における運動データを分析して、環境の三次元空間データを生成するように構成されたデータ分析モジュールと、複数の画像を三次元空間データとパッケージして、環境モデルを生成するように構成されたモデル生成モジュールとを含む。

少なくとも１つの実施形態において、第２の取得モジュールは、予め設定された時間期間の間、電子デバイスの初期運動データを取得するように構成された第２の取得サブモジュールと、複数の画像を時間において初期運動データに整列させて、複数の取得時点における電子デバイスの運動データを取得するように構成された整列サブモジュールとを含む。

少なくとも１つの実施形態において、第２の取得モジュールは、複数の画像の取得時に複数の取得時点における電子デバイスの運動データを取得するようにさらに構成される。

少なくとも１つの実施形態において、データ分析モジュールは、複数の画像および複数の取得時点における運動データを分析して、環境の複数の座標点の座標データを取得するように構成されたデータ分析サブモジュールと、複数の座標点の座標データに基づいて、環境の三次元空間データを生成するように構成された生成サブモジュールとを含む。

少なくとも１つの実施形態において、データ分析サブモジュールは、複数の画像から選択された２つの画像に基づいて同じ座標点を決定し、２つの画像の時間間隔を決定し、複数の取得時点における運動データから選択される時間間隔における運動データに基づいて、移動方向および移動量を決定し、移動方向および移動量に基づいて、同じ座標点と電子デバイスとの間の相対座標を決定し、相対座標に基づいて同じ座標点の座標データを決定するように構成される。

少なくとも１つの実施形態において、モデル生成モジュールは、複数の画像から複数の座標点の各々に対応するメタ画像を取得するように構成された第１の取得サブモジュールと、メタ画像を対応する座標点の座標データに組み合わせて、環境モデルを生成するように構成された結合サブモジュールとを含む。

少なくとも１つの実施形態において、この装置は、複数のデータ種類に基づいて環境モデルの複数のデータインタフェースを提供するように構成されたデータ分類モジュールをさらに含む。

さらに、本開示の実施形態は、電子デバイスを提供する。電子デバイスは、メモリおよびプロセッサを含む。メモリは、コンピュータプログラムを格納するように構成される。プロセッサは、メモリに格納されたコンピュータプログラムを呼び出すことによって上述の方法を実行するように構成される。

本開示の実施形態は、コンピュータプログラムを格納した記憶媒体をさらに提供する。コンピュータプログラムは、コンピュータにおいて実行されたときに、上述の方法をコンピュータに実行させる。

本開示の実施形態を分かりやすく示すために、実施形態において使用される図面の簡単な説明を以下に示す。当然ながら、以下の説明における図面は、本開示の一部の実施形態にすぎず、当業者であれば、創造的な労働を必要とせずに、これらの図面に基づいて他の図面を得ることができるであろう。

本開示の実施形態による環境モデルを生成するための装置のハードウェア構成を示すブロック図である。 本開示の実施形態による環境モデルを生成するための方法を示すフローチャートである。 本開示の別の実施形態による環境モデルを生成するための方法を示すフローチャートである。 本開示のさらに別の実施形態による環境モデルを生成するための方法を示すフローチャートである。 本開示の実施形態による環境モデルを生成するための装置を示す第１のブロック図である。 本開示の実施形態による環境モデルを生成するための装置を示す第２のブロック図である。 本開示の実施形態による環境モデルを生成するための装置を示す第３のブロック図である。 本開示の実施形態による環境モデルを生成するための装置を示す第４のブロック図である。 本開示の実施形態による環境モデルを生成するための装置を示す第５のブロック図である。 本開示の実施形態による電子デバイスを示すブロック図である。 本開示の別の実施形態による電子デバイスを示すブロック図である。

本開示の実施形態における技術的解決策が、本開示の実施形態における図面を参照して、以下で明確かつ完全に説明される。説明される実施形態が、本開示の実施形態の一部にすぎず、本開示の実施形態のすべてではないことは明らかである。本開示の実施形態に基づいて当業者であれば創造的な努力を必要とせずに得ることができるすべての他の実施形態は、本開示の技術的範囲に含まれる。

本開示の明細書および特許請求の範囲ならびに上記の図面における「第１の」、「第２の」、「第３の（存在する場合）」、などの用語は、同種の対象物を区別するために使用されており、必ずしも特定の順序を表すために使用されているのではない。このように表された対象物は、必要に応じて入れ換えることが可能である。さらに、「・・・を備える」および「・・・を含む」という用語、ならびにそれらの任意の変種は、非排他的な包含を含むように意図されている。例えば、或る一連の行為を含むプロセスおよび方法、あるいは或る一連のモジュールまたはユニットを備える装置、電子デバイス、およびシステムは、明確に列挙されたそれらの行為あるいはモジュールまたはユニットに必ずしも限定されず、明示的には列挙されていない行為あるいはモジュールまたはユニットをさらに含んでもよく、プロセス、方法、装置、電子デバイス、またはシステムにつきものの他の行為あるいはモジュールまたはユニットをさらに含んでもよい。

本開示は、環境モデルを生成するための方法に関する。この方法は、電子デバイスに適用可能である。この方法は、電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像を取得することと、複数の取得時点における電子デバイスの運動データを取得することと、複数の画像および複数の取得時点における運動データを分析して、環境の三次元空間データを生成することと、複数の画像を三次元空間データとパッケージして、環境モデルを生成することとを含む。

本開示は、環境モデルを生成するための装置に関する。この装置は、電子デバイスに適用可能である。この装置は、第１の取得モジュール、第２の取得モジュール、データ分析モジュール、およびモデル生成モジュールを含む。第１の取得モジュールは、電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像を取得するように構成される。第２の取得モジュールは、複数の取得時点における電子デバイスの運動データを取得するように構成される。データ分析モジュールは、複数の画像および複数の取得時点における運動データを分析して、環境の三次元空間データを生成するように構成される。モデル生成モジュールは、複数の画像を三次元空間データとともにパッケージして、環境モデルを生成するように構成される。

本開示は、コンピュータプログラムを格納した記憶媒体に関する。コンピュータプログラムは、コンピュータにおいて実行されたときに、上述の方法をコンピュータに実行させる。

本開示は、電子デバイスに関する。電子デバイスは、メモリおよびプロセッサを含む。メモリは、コンピュータプログラムを格納するように構成される。プロセッサは、メモリに格納されたコンピュータプログラムを呼び出すことによって上述の方法を実行するように構成される。

本開示の実施形態において提供される環境モデルを生成するための方法は、本開示の実施形態において提供される環境モデルを生成するための装置に適用可能であってよい。環境モデルを生成するための装置を、電子デバイスに配置することができる。

図１が、環境モデルを生成するための装置のハードウェア構成を示すブロック図である。環境モデルを生成するための装置は、カメラ、モーションセンサ、データ整列ユニット、データ分析ユニット、データパッケージングユニット、およびデータ分類ユニットを含むことができる。

１つ以上の実施形態においては、カメラを、環境をキャプチャするように構成することができ、電子デバイスが、環境の画像を取得するように配置される。１つ以上の実施形態においては、カメラを、環境を継続的にキャプチャするように構成でき、すなわち、環境のビデオをキャプチャするように構成することができる。

１つ以上の実施形態において、モーションセンサは、ジャイロスコープ（角速度センサとも呼ばれる）、加速度センサ（重力センサとも呼ばれる）、などを含むことができる。モーションセンサは、電子デバイスの運動を検出し、電子デバイスの運動データを取得することができる。１つ以上の実施形態において、運動データは、電子デバイスの加速度、角速度、および角度などを含むことができる。

カメラは、１つの時点において１つの画像をキャプチャできるため、カメラが環境をキャプチャするとき、各々の取得画像は、対応するキャプチャ時点を有する。同時に、電子デバイスの運動データは瞬間のものであるため、電子デバイスの運動データは、時点につれて変化する可能性がある。

データ整列ユニットは、カメラによってキャプチャされた画像とモーションセンサによって検出された運動データとを整列させて、カメラが各々の画像をキャプチャした瞬間の電子デバイスの運動データを決定することができる。

データ分析ユニットは、データ整列ユニットによって整列させられた画像および電子デバイスの運動データを分析して、環境の三次元空間データを取得することができる。その後に、データ分析ユニットは、取得した三次元空間データをデータパッケージングユニットに送信する。

さらに、データ整列ユニットは、整列操作後の画像データをデータパッケージングユニットに送信することができる。データパッケージングユニットは、画像データを三次元空間データとパッケージして、環境の環境モデルを生成することができる。環境モデルは、三次元モデルであってよい。

１つ以上の実施形態において、環境モデルは、複数の種類のデータを含む。例えば、環境モデルは、画像データおよび空間座標データを含む。データ分類ユニットは、異なる種類のデータを分類して、複数のデータインタフェースを生成することができる。異なる種類のデータについての異なるデータインタフェースを、異なるアプリケーションによって呼び出すことができる。

本開示の実施形態は、環境モデルを生成するための方法を提供する。環境モデルを生成するための方法は、電子デバイスに適用可能であってよい。電子デバイスは、スマートフォンまたはタブレットコンピュータなどのデバイスであってよい。図２に示されるように、環境モデルを生成する方法は、以下のブロックにおける行為を含む。

ブロック１１０において、電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像が取得される。

１つ以上の実施形態において、電子デバイスは、カメラを含むことができる。電子デバイスは、カメラによって電子デバイスが位置する環境をキャプチャすることにより、電子デバイスが位置する環境の複数の画像を取得することができる。

１つ以上の実施形態において、複数の画像のキャプチャ時点は、間欠的であってよく、例えば、２つの隣接する画像の間の間隔が、１０分であってよい。１つ以上の実施形態において、複数の画像のキャプチャ時点は、連続的であってもよい。例えば、電子デバイスは、電子デバイスが位置する環境のビデオを記録することができ、このやり方で取得された複数の画像は、連続している。したがって、電子デバイスによって取得された複数の画像の各々が、１つの取得時点、すなわち１つのキャプチャ時点に対応する。

１つ以上の実施形態において、電子デバイスが位置する環境は、オフィス、スーパーマーケット、映画館、通り、アトラクション、などの任意の環境であってよい。ユーザが電子デバイスを使用しているとき、電子デバイスが位置する環境は、ユーザが位置する環境である。

ブロック１２０において、複数の取得時点における電子デバイスの運動データが取得される。

１つ以上の実施形態において、電子デバイスは、モーションセンサを含むことができる。モーションセンサは、これらに限られるわけではないが、ジャイロスコープ、加速度センサ、などを含むことができる。電子デバイスは、モーションセンサによって各々の画像の取得時点における電子デバイスの運動データを取得することができる。

１つ以上の実施形態において、運動データは、電子デバイスの加速度、角速度、および角加速度などの速度データを含むことができ、電子デバイスの配置方向および傾斜角などの姿勢データも含むことができ、電子デバイスが位置する高さなどのデータも含むことができる。

ブロック１３０において、複数の画像および複数の取得時点における運動データが分析され、環境の三次元空間データが生成される。

電子デバイスが複数の画像および複数の画像の各々の取得の時点における電子デバイスの運動データを取得した後に、複数の画像および複数の画像の各々の取得時点に対応する運動データが分析され、環境の三次元空間データが生成される。

三次元空間データは、データによって電子デバイスが位置する環境を表す。三次元空間データを通じて、電子デバイスが位置する環境内の各点の空間条件を知ることができる。例えば、電子デバイスの前方１０ｍ（メートル）に障害物が存在するか否か、障害物の形状、電子デバイスの下方０．５ｍにある物体の形状、などを、三次元空間データによって表現することができる。

ブロック１４０において、複数の画像が三次元空間データとともにパッケージされ、環境モデルが生成される。

電子デバイスが環境の三次元空間データを生成した後に、複数の画像を、三次元空間データとパッケージすることができる。すなわち、複数の画像が三次元空間データに組み合わせられ、環境の環境モデルが生成される。

環境モデルは、電子デバイスが位置する環境内の各点の画像を視覚的に表すことができる。例えば、電子デバイスの前方１０ｍにある障害物の色、電子デバイスの下方の机の上に書かれたテキストである。上記の事例を、環境モデルによって視覚的に表現することができる。

いくつかの実施形態においては、図３に示されるように、ブロック１２０における行為、すなわち複数の取得時点における電子デバイスの運動データの取得が、以下のブロックにおける行為を含むことができる。

ブロック１２１において、電子デバイスの初期運動データが、モーションセンサを使用することによって取得される。

ブロック１２２において、複数の画像の各々が、時間に関して初期運動データに整列させられ、各々の取得時点における電子デバイスの運動データが取得される。

電子デバイスは、モーションセンサを含むことができる。電子デバイスは、モーションセンサによって電子デバイスの初期運動データを取得することができる。モーションセンサは、或る時間期間にわたって電子デバイスの運動データを継続的に取得することができる。例えば、モーションセンサは、１時間における電子デバイスの運動データを継続的に取得することができる。初期運動データは、モーションセンサによって継続的に取得される。

続いて、電子デバイスは、複数の画像の各々を時間に関して初期運動データにそれぞれ整列させることができる。複数の画像の各々は、１つの取得時点、すなわち１つのキャプチャ時点に対応する。複数の画像の各々が、時間に関して初期運動データに整列させられ、すなわち、複数の画像の各々のキャプチャの時点における電子デバイスの瞬間の運動データが決定される。これにより、複数の画像の各々のキャプチャの時点における電子デバイスの運動データを取得することができる。

いくつかの実施形態において、複数の取得時点における電子デバイスの運動データは、複数の画像の取得時に同時に取得される。すなわち、複数の画像および複数の取得時点における電子デバイスの運動データは、一連のセンサによって同時に取得される。

いくつかの実施形態においては、図３に示されるように、ブロック１３０における行為、すなわち複数の画像および複数の取得時点における運動データを分析して、環境の三次元空間データを生成することは、以下のブロックにおける行為を含むことができる。

ブロック１３１において、複数の画像および複数の取得時点における運動データが分析され、環境の複数の座標点の座標データが取得される。

ブロック１３２において、環境の三次元空間データが、複数の座標点の座標データに基づいて生成される。

電子デバイスは、複数の画像および複数の画像の各々の取得時点に対応する運動データを、別々に分析することができる。電子デバイスは、複数の画像から同じ物体または同じ座標点を決定し、各々の画像に対応する運動データに基づいて複数の画像をキャプチャする間の電子デバイスの運動状態を決定することにより、物体または座標点の座標データを取得することができる。

例えば、電子デバイスは、２つの画像から同じ座標点を決定することができる。２つの画像のキャプチャ時点の間に時間差（すなわち、時間間隔）が存在する。電子デバイスは、この時間差における変位を決定する。この時間差における電子デバイスの移動方向および移動量を、変位に基づいて知ることができる。したがって、電子デバイスは、座標点と電子デバイスとの間の相対座標を取得することができ、すなわち座標点の座標データを取得することができる。

電子デバイスは、複数の画像および複数の画像の各々の取得時点における電子デバイスの運動データを分析して、複数の座標点の座標データを取得することができる。例えば、電子デバイスは、１０，０００個の座標点の座標データを取得することができる。次いで、取得した複数の座標点の座標データに基づいて、環境の三次元空間データが生成される。

いくつかの実施形態においては、図３に示されるように、ブロック１４０における行為、すなわち複数の画像を三次元空間データとパッケージして環境モデルを生成することは、以下のブロックにおける行為を含むことができる。

ブロック１４１において、複数の座標点の各々に対応するメタ画像が、複数の画像から取得される。

ブロック１４２において、メタ画像が、対応する座標点の座標データに組み合わせられ、環境モデルが生成される。

電子デバイスは、複数の画像を分析して、複数の画像から各々の座標点に対応するメタ画像を取得することができる。メタ画像を、最小の画像単位として理解することができる。座標点に対応するメタ画像は、環境内の座標点における画像を表す。各々の画像のすべての座標点におけるメタ画像の組が、この画像を構成する。

続いて、電子デバイスは、各々のメタ画像をこのメタ画像に対応する座標点の座標データに組み合わせて、環境の環境モデルを生成することができる。例えば、電子デバイスが１０，０００個の座標点を取得する場合、電子デバイスは、複数の画像から１０，０００個の座標点の各々に対応するメタ画像を取得し、各々の座標点に対応するメタ画像を対応する座標点の座標データに組み合わせることができる。すべての座標点の座標データが対応するメタ画像と組み合わせられたとき、環境モデルを取得することができる。

いくつかの実施形態において、本方法は、図４に示されるように、ブロック１４０における行為、すなわち複数の画像を三次元空間データとパッケージして環境モデルを生成することの後に、以下のブロックにおける行為を含むことができる。

ブロック１５０において、環境モデル内のデータが、複数のデータインタフェースを生成するために複数のデータ種類に基づいて分類される。

環境モデルは、複数の種類のデータを含む。例えば、環境モデルは、画像データ、空間座標データ、および座標点統計データを含む。電子デバイスは、データ種類に基づいて環境モデル内のデータを分類して、複数のデータインタフェースを生成することができる。例えば、画像データインタフェース、空間座標データインタフェース、および座標点統計データインタフェースを、異なるアプリケーションによる呼び出しのために生成することができる。

具体的な実施において、本開示は、上述した種々の行為の実行の順序に限定されず、矛盾が生じない限りにおいて、いくつかの行為を他の順序で実行しても、あるいは同時に実行してもよい。

以上から、本開示のいくつかの実施形態において提供される環境モデルを生成するための方法が以下を含むことを理解できるであろう。電子デバイスが位置する環境について、複数の画像が取得される。複数の画像は、複数の取得時点に対応している。電子デバイスの運動データが、複数の取得時点において取得される。複数の画像および複数の取得時点における運動データが分析され、環境の三次元空間データが生成される。複数の画像が三次元空間データとともにパッケージされ、環境モデルが生成される。環境モデルを生成するための方法を用いて、環境モデルを、複数の取得画像および複数の取得時点における電子デバイスの運動データに基づいて生成することができる。したがって、環境モデルを、電子デバイスが位置する環境に基づいて定めることができ、周囲の実環境を、定められた環境モデルによって効率的に認識することができる。

本開示の実施形態は、環境モデルを生成するための装置をさらに提供する。この装置は、電子デバイスに適用可能である。電子デバイスは、スマートフォンまたはタブレットコンピュータなどのデバイスであってよい。

図５に示されるように、環境モデルを生成するための装置２００は、第１の取得モジュール２０１、第２の取得モジュール２０２、データ分析モジュール２０３、およびモデル生成モジュール２０４を含むことができる。

第１の取得モジュール２０１は、電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像を取得するように構成される。

１つ以上の実施形態において、電子デバイスは、カメラを含むことができる。第１の取得モジュール２０１は、カメラが位置する環境をカメラによってキャプチャすることにより、電子デバイスが位置する環境の複数の画像を取得することができる。

１つ以上の実施形態において、複数の画像のキャプチャ時点は、間欠的であってよく、例えば、２つの隣接する画像の間の間隔が、１０分であってよい。１つ以上の実施形態において、複数の画像のキャプチャ時点は、連続的であってもよい。例えば、電子デバイスは、カメラが位置する環境のビデオを記録することができ、このやり方で取得された複数の画像は、連続している。したがって、電子デバイスによって取得された複数の画像の各々が、１つの取得時点、すなわち１つのキャプチャ時点に対応する。

１つ以上の実施形態において、電子デバイスが位置する環境は、オフィス、スーパーマーケット、映画館、通り、アトラクション、などの任意の環境であってよい。ユーザが電子デバイスを使用しているとき、電子デバイスが位置する環境は、ユーザが位置する環境である。

第２の取得モジュール２０２は、複数の取得時点における電子デバイスの運動データを取得するように構成される。

１つ以上の実施形態において、電子デバイスは、モーションセンサを含むことができる。モーションセンサは、これらに限られるわけではないが、ジャイロスコープ、加速度センサ、などを含むことができる。第２の取得モジュール２０２は、モーションセンサによって各々の画像の取得時点における電子デバイスの運動データを取得することができる。

１つ以上の実施形態において、運動データは、電子デバイスの加速度、角速度、および角加速度などの速度データを含むことができ、電子デバイスの配置方向および傾斜角などの姿勢データも含むことができ、電子デバイスが位置する高さなどのデータも含むことができる。

データ分析モジュール２０３は、複数の画像および複数の取得時点における運動データを分析して、環境の三次元空間データを生成するように構成される。

電子デバイスが複数の画像および複数の画像の各々の取得の時点における電子デバイスの運動データを取得した後に、データ分析モジュール２０３は、複数の画像および複数の画像の各々の取得時点に対応する運動データを分析して、環境の三次元空間データを生成することができる。

三次元空間データは、データによって電子デバイスが位置する環境を表す。三次元空間データを通じて、電子デバイスが位置する環境内の各点の空間条件を知ることができる。例えば、電子デバイスの前方１０ｍ（メートル）に障害物が存在するか否か、障害物の形状、電子デバイスの下方０．５ｍにある物体の形状、などを、三次元空間データによって表現することができる。

モデル生成モジュール２０４は、複数の画像を三次元空間データとともにパッケージして、環境モデルを生成するように構成される。

データ分析モジュール２０３が環境の三次元空間データを生成した後に、複数の画像を、三次元空間データとパッケージすることができる。すなわち、複数の画像が三次元空間データに組み合わせられ、環境の環境モデルが生成される。

環境モデルは、電子デバイスが位置する環境内の各点の画像を視覚的に表すことができる。例えば、電子デバイスの前方１０ｍにある障害物の色、電子デバイスの下方の机の上に書かれたテキストである。上記の事例を、環境モデルによって視覚的に表現することができる。

いくつかの実施形態においては、図６に示されるように、第２の取得モジュール２０２が、第２の取得サブモジュール２０２１および整列サブモジュール２０２２を含むことができる。

第２の取得サブモジュール２０２１は、予め設定された時間期間の間、電子デバイスの初期運動データを取得するように構成される。

整列サブモジュール２０２２は、複数の画像を時間において初期運動データにそれぞれ整列させて、複数の取得時点における電子デバイスの運動データを取得するように構成される。

電子デバイスは、モーションセンサを含むことができる。第２の取得サブモジュール２０２１は、モーションセンサによって電子デバイスの初期運動データを取得することができる。モーションセンサは、或る期間にわたって電子デバイスの運動データを継続的に取得することができる。例えば、モーションセンサは、１時間における電子デバイスの運動データを継続的に取得することができる。初期運動データは、モーションセンサによって継続的に取得される。

続いて、整列サブモジュール２０２２は、複数の画像の各々を時間に関して初期運動データにそれぞれ整列させることができる。複数の画像の各々は、１つの取得時点、すなわち１つのキャプチャ時点に対応する。複数の画像の各々が、時間に関して初期運動データに整列させられ、すなわち、複数の画像の各々のキャプチャの時点における電子デバイスの瞬間の運動データが決定される。これにより、複数の画像の各々のキャプチャの時点における電子デバイスの運動データを取得することができる。

いくつかの実施形態において、第２の取得モジュール２０２は、複数の取得時点における電子デバイスの運動データを、複数の画像の取得時に同時に取得するように構成される。

いくつかの実施形態においては、図７に示されるように、データ分析モジュール２０３が、データ分析サブモジュール２０３１および生成サブモジュール２０３２を含むことができる。

データ分析サブモジュール２０３１は、複数の画像および複数の取得時点における運動データを分析して、環境の複数の座標点の座標データを取得するように構成される。

生成サブモジュール２０３２は、複数の座標点の座標データに基づいて環境の三次元空間データを生成するように構成される。

データ分析サブモジュール２０３１は、複数の画像および複数の画像の各々の取得時点に対応する運動データを、別々に分析することができる。データ分析サブモジュール２０３１は、複数の画像から同じ物体または同じ座標点を決定し、各々の画像に対応する運動データに基づいて複数の画像をキャプチャする間の電子デバイスの運動状態を決定することにより、物体または座標点の座標データを取得することができる。

例えば、データ分析サブモジュール２０３１は、２つの画像から同じ座標点を決定することができる。２つの画像のキャプチャ時点の間に時間差が存在する。データ分析サブモジュール２０３１は、この時間差における変位を決定する。この時間差における電子デバイスの移動方向および移動量を、変位に基づいて知ることができる。したがって、データ分析サブモジュール２０３１は、座標点と電子デバイスとの間の相対座標を取得することができ、すなわち座標点の座標データを取得することができる。

データ分析サブモジュール２０３１は、複数の画像および複数の画像の各々の取得時点における電子デバイスの運動データを分析して、複数の座標点の座標データを取得することができる。例えば、データ分析サブモジュール２０３１は、１０，０００個の座標点の座標データを取得することができる。次いで、生成サブモジュール２０３２は、取得された複数の座標点の座標データに基づいて環境の三次元空間データを生成することができる。

いくつかの実施形態においては、図８に示されるように、モデル生成モジュール２０４が、第１の取得サブモジュール２０４１および結合サブモジュール２０４２を含むことができる。

第１の取得サブモジュール２０４１は、複数の画像から複数の座標点の各々に対応するメタ画像を取得するように構成される。

結合サブモジュール２０４２は、メタ画像を対応する座標点の座標データに組み合わせて、環境モデルを生成するように構成される。

第１の取得サブモジュール２０４１は、複数の画像を分析して、複数の画像から各々の座標点に対応するメタ画像を取得することができる。メタ画像を、最小の画像単位として理解することができる。座標点に対応するメタ画像は、環境内の座標点における画像を表す。各々の画像のすべての座標点におけるメタ画像の組が、この画像を構成する。

続いて、結合サブモジュール２０４２は、各々のメタ画像をこのメタ画像に対応する座標点の座標データに組み合わせて、外部環境の環境モデルを生成することができる。例えば、データ分析モジュール２０３が１０，０００個の座標点を取得する場合、第１の取得サブモジュール２０４１が、複数の画像から１０，０００個の座標点の各々に対応するメタ画像を取得し、結合サブモジュール２０４２が、各々の座標点に対応するメタ画像を対応する座標点の座標データに組み合わせることができる。すべての座標点の座標データが対応するメタ画像と組み合わせられたとき、外部環境の環境モデルを取得することができる。

いくつかの実施形態においては、図９に示されるように、装置２００が、データ分類モジュール２０５をさらに含む。

データ分類モジュール２０５は、環境モデル内のデータを複数のデータ種類に基づいて分類して、複数のデータインタフェースを生成するように構成される。

環境モデルは、複数の種類のデータを含む。例えば、環境モデルは、画像データ、空間座標データ、および座標点統計データを含む。データ分類モジュール２０５は、データ種類に基づいて環境モデル内のデータを分類して、複数のデータインタフェースを生成することができる。例えば、画像データインタフェース、空間座標データインタフェース、および座標点統計データインタフェースを、異なるアプリケーションによる呼び出しのために生成することができる。

具体的な実施において、上述のモジュールの各々は、別個のエンティティとして実現されても、あるいは任意の組み合わせにて１つまたはいくつかのエンティティとして実現されてもよい。

以上から、本開示の実施形態において提供される環境モデルを生成するための装置２００において、複数の画像が、電子デバイスが位置する環境について、第１の取得モジュール２０１によって取得されることを理解できるであろう。複数の画像は、複数の取得時点に対応している。電子デバイスの運動データが、複数の取得時点において、第２の取得モジュール２０２によって取得される。複数の画像および複数の取得時点における運動データは、環境の三次元空間データを生成するために、データ分析モジュール２０３によって分析される。複数の画像は、環境モデルを生成するために、モデル生成モジュール２０４によって三次元空間データとともにパッケージされる。環境モデルを生成するための装置により、環境モデルを、複数の取得画像および複数の取得時点における電子デバイスの運動データに基づいて生成することができる。したがって、環境モデルを、電子デバイスが位置する環境に基づいて定めることができ、周囲の実環境を、定められた環境モデルによって効率的に認識することができる。

さらに、本開示の実施形態は、電子デバイスを提供する。電子デバイスは、スマートフォンまたはタブレットコンピュータなどのデバイスであってよい。図１０に示されるように、電子デバイス３００は、プロセッサ３０１およびメモリ３０２を含むことができる。プロセッサ３０１は、メモリ３０２に電気的に接続される。

プロセッサ３０１は、電子デバイス３００の全体のさまざまな部分をさまざまなインタフェースおよび配線を使用して接続する電子デバイス３００の制御中心であり、メモリ３０２に格納されたコンピュータプログラムを実行し、あるいは呼び出し、メモリ３０２に格納されたデータを呼び出すことで、電子デバイス３００の種々の機能の実行およびデータの処理を行うことにより、電子デバイス３００の全体的な監視を実行する。

この実施形態において、電子デバイス３００のプロセッサ３０１は、１つ以上のコンピュータプログラムのプロセスに対応する命令をメモリ３０２にロードし、メモリ３０２に格納された１つ以上のコンピュータプログラムを実行することで、以下のさまざまな機能を実現する。

電子デバイスが位置する環境について、複数の画像が取得される。複数の画像は、複数の取得時点に対応している。

電子デバイスの運動データが、複数の取得時点において取得される。

複数の画像および複数の取得時点における運動データが分析され、環境の三次元空間データが生成される。

複数の画像が三次元空間データとともにパッケージされ、環境モデルが生成される。

いくつかの実施形態において、複数の画像および複数の取得時点における運動データが分析されて環境の三次元空間データが生成されるとき、プロセッサ３０１は、以下の行為を実行するように構成される。

複数の画像および複数の取得時点における運動データが分析され、環境の複数の座標点の座標データが取得される。

環境の三次元空間データが、複数の座標点の座標データに基づいて生成される。

いくつかの実施形態において、複数の画像が三次元空間データとともにパッケージされて環境モデルが生成されるとき、プロセッサ３０１は、以下の行為を実行するように構成される。

複数の座標点の各々に対応するメタ画像が、複数の画像から取得される。

メタ画像が、対応する座標点の座標データに組み合わせられ、環境モデルが生成される。

いくつかの実施形態において、電子デバイスは、モーションセンサを含む。複数の取得時点における電子デバイスの運動データが取得されるとき、プロセッサ３０１は、以下の行為を実行するように構成される。

電子デバイスの初期運動データが、モーションセンサを使用することによって取得される。

複数の画像が、時間に関して初期運動データにそれぞれ整列させられ、複数の取得時点における電子デバイスの運動データが取得される。

いくつかの実施形態において、複数の画像が三次元空間データとともにパッケージされて環境モデルが生成された後に、プロセッサ３０１は、以下の行為を実行するようにさらに構成される。

環境モデル内のデータが、複数のデータ種類に基づいて分類され、複数のデータインタフェースが生成される。

メモリ３０２を、コンピュータプログラムおよびデータを格納するように構成することができる。メモリ３０２に格納されたコンピュータプログラムは、プロセッサ３０１において実行可能な命令を含むことができる。コンピュータプログラムを、さまざまな機能モジュールに組み合わせることができる。プロセッサ３０１は、メモリ３０２に格納されたコンピュータプログラムを呼び出すことによって、さまざまな機能アプリケーションおよびデータ処理を実行することができる。

いくつかの実施形態においては、図１１に示されるように、電子デバイス３００が、無線周波数（ＲＦ）回路３０３、ディスプレイ画面３０４、制御回路３０５、入力ユニット３０６、オーディオ回路３０７、センサ３０８、および電源３０９をさらに含む。プロセッサ３０１は、無線周波数（ＲＦ）回路３０３、ディスプレイ３０４、制御回路３０５、入力ユニット３０６、オーディオ回路３０７、センサ３０８、および電源３０９に電気的に接続される。

ＲＦ回路３０３は、無線通信を通じてネットワークデバイスまたは他の電子デバイスと通信するために、無線周波数信号を受信および送信するように構成される。

ディスプレイ画面３０４は、ユーザによって入力された情報またはユーザに提供される情報、ならびに電子デバイスのさまざまなグラフィカルユーザインタフェースを表示するように構成される。グラフィカルユーザインタフェースを、画像、テキスト、アイコン、ビデオ、およびこれらの任意の組み合わせで構成することができる。

制御回路３０５は、ディスプレイ画面３０４を制御して情報を表示するために、ディスプレイ画面３０４に電気的に接続される。

入力ユニット３０６は、入力される数字、文字情報、またはユーザ特性情報（例えば、指紋）を受け取り、ユーザ設定および機能制御に関連するキーボード、マウス、ジョイスティック、光学、またはトラックボール信号を生成するように構成される。入力ユニット３０６は、指紋認識モジュールを含むことができる。

オーディオ回路３０７は、スピーカおよびマイクロホンを介してユーザと電子デバイスとの間の音声インタフェースを提供することができる。

センサ３０８は、外部環境情報を収集するように構成される。センサ３０８は、周囲明るさセンサ、加速度センサ、ジャイロスコープ、などのうちの１つ以上を含むことができる。

電源３０９は、電子デバイス３００のさまざまな構成要素に電力を供給するように構成される。いくつかの実施形態においては、電源３０９を、電力管理システムによって充放電の管理ならびに電力管理などの機能を実行できるように、電力管理システムを介してプロセッサ３０１に論理的に接続することができる。

図１１には示されていないが、電子デバイス３００は、カメラ、ブルートゥースモジュール、などをさらに含むことができ、詳細は本明細書では説明しない。

以上から、本開示の実施形態が電子デバイスをさらに提供することを、理解できるであろう。電子デバイスは、以下の行為を実行するように構成される。電子デバイスが位置する環境について、複数の画像が取得される。複数の画像は、複数の取得時点に対応している。電子デバイスの運動データが、複数の取得時点において取得される。複数の画像および複数の取得時点における運動データが分析され、環境の三次元空間データが生成される。複数の画像が三次元空間データとともにパッケージされ、環境モデルが生成される。電子デバイスによって、環境モデルを、複数の取得画像および複数の取得時点における電子デバイスの運動データに基づいて生成することができる。したがって、環境モデルを、電子デバイスが位置する環境に基づいて定めることができ、周囲の実環境を、定められた環境モデルによって効率的に認識することができる。

本開示の実施形態は、コンピュータプログラムを格納した記憶媒体をさらに提供する。コンピュータプログラムは、コンピュータにおいて実行されたときに、上述のいずれかの実施形態の方法をコンピュータに実行させる。

当業者であれば、実施形態における方法の上述のブロックにおける行為のすべてまたは一部が、コンピューティングプログラムによる関連のハードウェアへの命令によって実行されてよいことを、理解すべきである。コンピューティングプログラムを、コンピュータ可読メモリに格納することができる。コンピュータ可読メモリは、フラッシュドライブ、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク、光ディスク、などを含むことができる。

本開示の実施形態において提供される環境モデルを生成するための方法、環境モデルを生成するための装置、記憶媒体、および電子デバイスを、詳細に上述した。具体的な例は、本明細書において、本開示の原理および実施のやり方を説明するために使用されている。上述の実施形態の説明は、あくまでも本開示の方法および主要なアイデアの理解を助けるために使用されているにすぎない。他方で、当業者であれば、本開示のアイデアに従って、詳細な説明および適用の範囲に修正を加えることができる。以上の説明に鑑み、本明細書を本開示を限定するものとして解釈してはならない。

Claims (11)

1. 環境モデルを生成するための方法であって、前記方法は、電子デバイスに適用可能であり、
   前記電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像を取得するステップ（１１０）と、
   前記複数の取得時点における前記電子デバイスの運動データを取得するステップ（１２０）と、
   前記複数の画像および前記複数の取得時点における前記運動データを分析して、前記環境の三次元空間データを生成するステップ（１３０）と、
   前記複数の画像を前記三次元空間データとパッケージして、環境モデルを生成するステップ（１４０）とを含み、
   前記複数の画像および前記複数の取得時点における前記運動データを分析して、前記環境の三次元空間データを生成するステップ（１３０）は、
   前記複数の画像および前記複数の取得時点における前記運動データを分析して、前記環境の複数の座標点の座標データを取得するステップ（１３１）と、
   前記複数の座標点の前記座標データに基づいて、前記環境の前記三次元空間データを生成するステップ（１３２）とを含み、
   前記複数の画像および前記複数の取得時点における前記運動データを分析して、前記環境の複数の座標点の座標データを取得するステップ（１３１）は、
   前記複数の画像から選択された２つの画像に基づいて同じ座標点を決定するステップと、
   前記２つの画像の時間間隔を決定するステップと、
   前記複数の取得時点における前記運動データから選択される前記時間間隔における運動データに基づいて、移動方向および移動量を決定するステップと、
   前記移動方向および前記移動量に基づいて、前記同じ座標点と前記電子デバイスとの間の相対座標を決定するステップと、
   前記相対座標に基づいて前記同じ座標点の座標データを決定するステップと
   を含む方法。
2. 前記複数の取得時点における運動データを取得するステップ（１２０）は、
   予め設定された時間期間の間、前記電子デバイスの初期運動データを取得するステップ（１２１）と、
   前記複数の画像を時間において前記初期運動データに整列させて、前記複数の取得時点における前記電子デバイスの前記運動データを取得するステップ（１２２）と
   を含む、請求項１に記載の方法。
3. 前記複数の取得時点における運動データを取得するステップ（１２０）は、
   前記複数の画像の取得時に前記複数の取得時点における前記電子デバイスの前記運動データを取得するステップ
   を含む、請求項１または２に記載の方法。
4. 前記複数の画像を前記三次元空間データとパッケージして、環境モデルを生成するステップ（１４０）は、
   前記複数の画像から前記複数の座標点の各々に対応するメタ画像を取得するステップ（１４１）と、
   前記メタ画像を前記対応する座標点の前記座標データに組み合わせて、前記環境モデルを生成するステップ（１４２）と
   を含む、請求項１に記載の方法。
5. 複数のデータ種類に基づいて前記環境モデルの複数のデータインタフェースを提供するステップ（１５０）
   をさらに含む、請求項１から４のいずれか一項に記載の方法。
6. 環境モデルを生成するための装置（２００）であって、
   電子デバイスに適用可能であり、
   前記電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像を取得するように構成された第１の取得モジュール（２０１）と、
   前記複数の取得時点における前記電子デバイスの運動データを取得するように構成された第２の取得モジュール（２０２）と、
   前記複数の画像および前記複数の取得時点における前記運動データを分析して、前記環境の三次元空間データを生成するように構成されたデータ分析モジュール（２０３）と、
   前記複数の画像を前記三次元空間データとパッケージして、環境モデルを生成するように構成されたモデル生成モジュール（２０４）とを備え、
   前記データ分析モジュール（２０３）は、
   前記複数の画像および前記複数の取得時点における前記運動データを分析して、前記環境の複数の座標点の座標データを取得するように構成されたデータ分析サブモジュール（２０３１）と、
   前記複数の座標点の前記座標データに基づいて、前記環境の前記三次元空間データを生成するように構成された生成サブモジュール（２０３２）とを備え、 前記データ分析サブモジュール（２０３１）は、
   前記複数の画像から選択された２つの画像に基づいて同じ座標点を決定し、
   前記２つの画像の時間間隔を決定し、
   前記複数の取得時点における前記運動データから選択される前記時間間隔における運動データに基づいて、移動方向および移動量を決定し、
   前記移動方向および前記移動量に基づいて、前記同じ座標点と前記電子デバイスとの間の相対座標を決定し、
   前記相対座標に基づいて前記同じ座標点の座標データを決定する
   ように構成されている、装置（２００）。
7. 前記第２の取得モジュール（２０２）は、
   予め設定された時間期間の間、前記電子デバイスの初期運動データを取得するように構成された第２の取得サブモジュール（２０２１）と、
   前記複数の画像を時間において前記初期運動データに整列させて、前記複数の取得時点における前記電子デバイスの前記運動データを取得するように構成された整列サブモジュール（２０２２）と
   を含む、請求項６に記載の装置（２００）。
8. 前記第２の取得モジュール（２０２）は、
   前記複数の画像の取得時に前記複数の取得時点における前記電子デバイスの前記運動データを取得する
   ようにさらに構成されている、請求項６または７に記載の装置（２００）。
9. 前記モデル生成モジュール（２０４）は、
   前記複数の画像から前記複数の座標点の各々に対応するメタ画像を取得するように構成された第１の取得サブモジュール（２０４１）と、
   前記メタ画像を前記対応する座標点の前記座標データに組み合わせて、前記環境モデルを生成するように構成された結合サブモジュール（２０４２）と
   を備える、請求項６に記載の装置（２００）。
10. 複数のデータ種類に基づいて前記環境モデルの複数のデータインタフェースを提供するように構成されたデータ分類モジュール（２０５）
    をさらに備える、請求項６から９のいずれか一項に記載の装置（２００）。
11. コンピュータプログラムを格納したコンピュータ可読記憶媒体であって、
    前記コンピュータプログラムは、電子デバイスにおける実行時に、請求項１から５のいずれか一項に記載の方法を前記電子デバイスに実行させる、コンピュータ可読記憶媒体。

Images