JP2022014002A - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2022014002A JP2022014002A JP2020116109A JP2020116109A JP2022014002A JP 2022014002 A JP2022014002 A JP 2022014002A JP 2020116109 A JP2020116109 A JP 2020116109A JP 2020116109 A JP2020116109 A JP 2020116109A JP 2022014002 A JP2022014002 A JP 2022014002A
- Authority
- JP
- Japan
- Prior art keywords
- image
- component
- information
- information processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【課題】現実空間を表現する仮想空間の臨場感を向上させる。【解決手段】本開示の一態様に係る情報処理装置は、対象空間に含まれる1以上の構成要素に関する構成要素情報と、対象空間に対するセンシング結果とを参照して、構成要素に関連付けられる構成要素別センシング結果を特定する手段と、構成要素別センシング結果を参照して、対象空間のVR(Virtual Reality)画像を生成する手段とを具備する。【選択図】図3
Description
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
従来、仮想現実(VR:Virtual Reality)技術を用いて、住宅内覧を仮想的に体験可能なVRシステムが知られている。
特許文献1には、操作説明や操作練習を不要としながらも仮想空間を体感することができる手段を提供することを目的とした仮想現実システムが記載されている。
特許文献1には、平面間取図情報に対して高さ情報などを付加することにより立体的な住宅を作成できること、またはCAD(Computer-Aided Design)などのアプリケーションで設計した仮想建造物データを読み込むことができることが記載されている。
しかし、特許文献1の仮想現実システムにVRシステムを適用したとしても、仮想建造物データに基づいて仮想空間を提供することになるため、当該仮想空間は、現実空間(つまり、当該建造物の現実の状態)を反映していない。つまり、特許文献1の技術にVR技術を適用したとしても、現実空間を表現する仮想空間の臨場感が不十分である。
本開示の目的は、現実空間を表現する仮想空間の臨場感を向上させることである。
本開示の一態様に係る情報処理装置は、対象空間に含まれる1以上の構成要素に関する構成要素情報と、対象空間に対するセンシング結果とを参照して、構成要素に関連付けられる構成要素別センシング結果を特定する手段と、構成要素別センシング結果を参照して、対象空間のVR(Virtual Reality)画像を生成する手段とを具備する。
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
(1)情報処理システムの構成
情報処理システムの構成について説明する。図1は、本実施形態の情報処理システムの構成を示すブロック図である。
情報処理システムの構成について説明する。図1は、本実施形態の情報処理システムの構成を示すブロック図である。
図1に示すように、情報処理システム1は、情報処理装置10と、空間センサ30とを備える。空間センサ30の台数は任意である。
情報処理装置10及び空間センサ30は、ネットワーク(例えば、インターネット又はイントラネット)NWを介して接続される。
情報処理装置10及び空間センサ30は、ネットワーク(例えば、インターネット又はイントラネット)NWを介して接続される。
情報処理装置10は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、HMD(Head Mounted Display)、スマートグラス、サーバ(例えば、Webサーバ、アプリケーションサーバ、データベースサーバ、またはそれらの組み合わせ)、またはそれらの組み合わせである。
情報処理装置10は、空間センサ30から送信されるセンシングデータに基づいて、センシング情報データベースを管理する。
情報処理装置10は、センシング情報データベースを参照して、後述するVR画像を生成し、当該VR画像をユーザに対して提示する。
情報処理装置10は、空間センサ30から送信されるセンシングデータに基づいて、センシング情報データベースを管理する。
情報処理装置10は、センシング情報データベースを参照して、後述するVR画像を生成し、当該VR画像をユーザに対して提示する。
空間センサ30は、対象空間に配置される。空間センサ30は、センシングを行い、センシングデータを情報処理装置10に送信する。空間センサ30は、任意の種別のセンサ装置である。空間センサ30は、以下のいずれかであってよい。
・カメラ
・デプスカメラ
・LIDAR
・ToFカメラ
・カメラ
・デプスカメラ
・LIDAR
・ToFカメラ
センシングデータは、センサIDと、RAWデータと、センシング実施位置情報と、センシング方向情報とを含む。
センサIDは、空間センサ30を識別する情報である。
センシング実施位置情報は、空間センサ30がセンシングを行ったときの空間センサ30の位置(以下「センシング実施位置」という)に関する情報である。
例えば、センシング実施位置情報は、以下の少なくとも1つを含む。
・空間センサ30の所定の配置位置(以下「センサ配置位置」という)に対するセンシング実施位置の相対位置に関する情報
・対象空間に固有の座標系(以下「空間座標系」という)におけるセンシング実施位置の座標
例えば、センシング実施位置情報は、以下の少なくとも1つを含む。
・空間センサ30の所定の配置位置(以下「センサ配置位置」という)に対するセンシング実施位置の相対位置に関する情報
・対象空間に固有の座標系(以下「空間座標系」という)におけるセンシング実施位置の座標
センシング方向情報は、空間センサ30がセンシングを行った方向に関する情報である。
(1-1)情報処理装置の構成
情報処理装置の構成について説明する。図2は、本実施形態の情報の構成例を示すブロック図である。
情報処理装置の構成について説明する。図2は、本実施形態の情報の構成例を示すブロック図である。
図2に示すように、情報処理装置10は、記憶装置11と、プロセッサ12と、入出力インタフェース13と、通信インタフェース14とを備える。
記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
プログラムは、例えば、以下のプログラムを含む。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーション(例えば、ウェブブラウザ)のプログラム
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーション(例えば、ウェブブラウザ)のプログラム
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
プロセッサ12は、記憶装置11に記憶されたプログラムを起動することによって、情報処理装置10の機能を実現するように構成される。プロセッサ12は、コンピュータの一例である。
入出力インタフェース13は、情報処理装置10に接続される入力デバイスからユーザの指示を取得し、かつ、情報処理装置10に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、センサ(例えば、カメラ、マイクロホン、加速度センサ)、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ、スピーカ、またはそれらの組み合わせである。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、センサ(例えば、カメラ、マイクロホン、加速度センサ)、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ、スピーカ、またはそれらの組み合わせである。
通信インタフェース14は、情報処理装置10と外部装置(例えば空間センサ30)との間の通信を制御するように構成される。
(2)実施形態の概要
本実施形態の概要について説明する。図3は、本実施形態の概要の説明図である。
本実施形態の概要について説明する。図3は、本実施形態の概要の説明図である。
図3に示すように、対象空間SP(例えば、建設済みの建造物、または建設、修繕、もしくは解体作業中の建造物)には、空間センサ30-1、および空間センサ30-2が配置される。
対象空間SPは、1以上の構成要素によって構成される。一例として、構成要素は、対象空間SPの境界を規定する物理オブジェクトである。構成要素は、例えば、以下の少なくとも1つを含む。
・壁の少なくとも一部
・天井の少なくとも一部
・床の少なくとも一部
・柱の少なくとも一部
対象空間SPは、1以上の構成要素によって構成される。一例として、構成要素は、対象空間SPの境界を規定する物理オブジェクトである。構成要素は、例えば、以下の少なくとも1つを含む。
・壁の少なくとも一部
・天井の少なくとも一部
・床の少なくとも一部
・柱の少なくとも一部
空間センサ30-1、および空間センサ30-2は、一例としてデプスカメラである。
空間センサ30-1は、対象空間SPに対するセンシングを行うことで対象空間SPに関する点群データ(「センシング結果」の一例)を生成し、当該点群データを情報処理装置10へ送信する。
空間センサ30-2は、対象空間SPに対するセンシングを行うことで対象空間SPに関する点群データを生成し、当該点群データを情報処理装置10へ送信する。
空間センサ30-1は、対象空間SPに対するセンシングを行うことで対象空間SPに関する点群データ(「センシング結果」の一例)を生成し、当該点群データを情報処理装置10へ送信する。
空間センサ30-2は、対象空間SPに対するセンシングを行うことで対象空間SPに関する点群データを生成し、当該点群データを情報処理装置10へ送信する。
情報処理装置10は、構成要素情報CEIと、空間センサ30-1からの点群データと、空間センサ30-2からの点群データとを参照して、対象空間SPの構成要素に関連付けられる構成要素別点群データ(「構成要素別センシング結果」の一例)を特定する。
構成要素情報CEIは、対象空間SPに含まれる1以上の構成要素に関する情報である。一例として、構成要素情報CEIは、以下のいずれかである。
・BIM(Building Information Modeling)データそのもの、またはBIMデータを加工もしくは解析することで得られる情報
・間取り図データ(例えば、平面間取り図データまたは3次元間取り図データ)そのもの、または間取り図データを加工もしくは解析することで得られる情報
・BIM(Building Information Modeling)データそのもの、またはBIMデータを加工もしくは解析することで得られる情報
・間取り図データ(例えば、平面間取り図データまたは3次元間取り図データ)そのもの、または間取り図データを加工もしくは解析することで得られる情報
情報処理装置10は、特定した構成要素別点群データを参照して、対象空間SPの3次元画像を生成する。さらに、情報処理装置10は、生成した3次元画像に基づくVR画像VRIを生成し、ディスプレイに表示する。これにより、ユーザUSは、対象空間SPのVR画像VRIを閲覧できる。VR画像VRIには、対象空間SPに関する点群データが反映されるので、ユーザUSに臨場感のあるVR体験を提供することができる。
(3)データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置11に記憶される。
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置11に記憶される。
(3-1)空間データベース
本実施形態の空間データベースについて説明する。図4は、本実施形態の空間データベースのデータ構造を示す図である。
本実施形態の空間データベースについて説明する。図4は、本実施形態の空間データベースのデータ構造を示す図である。
図4に示すように、空間データベースは、「空間ID」フィールドと、「空間名」フィールドと、「領域ID」フィールドとを含む。各フィールドは、互いに関連付けられている。
空間データベースには、空間情報が格納される。空間情報は、空間に関する情報である。
空間データベースには、空間情報が格納される。空間情報は、空間に関する情報である。
「空間ID」フィールドには、空間識別情報が格納される。空間識別情報は、空間を識別する情報である。
「空間名」フィールドには、空間名情報が格納される。空間名情報は、空間の名称に関する情報である。
「領域ID」フィールドには、領域識別情報が格納される。領域識別情報は、空間に含まれる領域を識別する情報である。空間は、少なくとも1つの領域を含む。
(3-2)領域データベース
本実施形態の領域データベースについて説明する。図5は、本実施形態の領域データベースのデータ構造を示す図である。
本実施形態の領域データベースについて説明する。図5は、本実施形態の領域データベースのデータ構造を示す図である。
図5に示すように、領域データベースは、「領域ID」フィールドと、「領域名」フィールドと、「座標」フィールドと、「形状」フィールドと、「構成要素ID」フィールドとを含む。各フィールドは、互いに関連付けられている。
領域データベースには、領域情報が格納される。領域情報は、領域に関する情報である。
領域データベースには、領域情報が格納される。領域情報は、領域に関する情報である。
「領域ID」フィールドには、領域識別情報が格納される。領域識別情報は、空間データベース(図4)に登録される領域識別情報と共通である。
「領域名」フィールドには、領域名情報が格納される。領域名情報は、領域の名称に関する情報である。
「座標」フィールドには、領域座標情報が格納される。領域座標情報は、領域の基準点の座標(以下、「領域座標」という)に関する情報である。領域の基準点は、領域の基準となる点(例えば、中心、または重心)である。領域座標は、空間座標系で表現される。
「形状」フィールドには、領域形状情報が格納される。領域形状情報は、領域の占める空間の3次元形状、および寸法に関する情報である。
「構成要素ID」フィールドには、構成要素IDが格納される。構成要素IDは、領域を構成する構成要素を識別する情報である。
(3-3)構成要素データベース
本実施形態の構成要素データベースについて説明する。図6は、本実施形態の構成要素データベースのデータ構造を示す図である。
本実施形態の構成要素データベースについて説明する。図6は、本実施形態の構成要素データベースのデータ構造を示す図である。
図6に示すように、構成要素データベースは、「構成要素ID」フィールドと、「座標」フィールドと、「形状」フィールドと、「属性」フィールドとを含む。各フィールドは、互いに関連付けられている。
構成要素データベースには、構成要素情報が格納される。構成要素情報は、空間の構成要素に関する情報である。空間の範囲は、少なくとも1つの構成要素によって規定される。
構成要素データベースには、構成要素情報が格納される。構成要素情報は、空間の構成要素に関する情報である。空間の範囲は、少なくとも1つの構成要素によって規定される。
「構成要素ID」フィールドには、構成要素IDが格納される。構成要素IDは、領域データベース(図5)に登録される構成要素IDと共通である。
「座標」フィールドには、要素座標情報が格納される。要素座標情報は、構成要素の基準点の座標(以下「要素座標」という)に関する情報である。構成要素の基準点は、構成要素の基準となる点(例えば、中心、または重心)である。要素座標は、空間座標系で表現される。
「形状」フィールドには、要素形状情報が格納される。要素形状情報は、構成要素の2次元または3次元の形状、および寸法に関する情報である。
「属性」フィールドには、要素属性情報が格納される。要素属性情報は、構成要素の属性に関する情報である。
(3-4)センシング情報データベース
本実施形態のセンシング情報データベースについて説明する。図7は、本実施形態のセンシング情報データベースのデータ構造を示す図である。
本実施形態のセンシング情報データベースについて説明する。図7は、本実施形態のセンシング情報データベースのデータ構造を示す図である。
図7に示すように、センシング情報データベースは、「センサID」フィールドと、「時刻」フィールドと、「センシング実施位置」フィールドと、「センシング方向」フィールドと、「センシング結果」フィールドを含む。各フィールドは、互いに関連付けられている。
センシング情報データベースには、センシング情報が格納される。センシング情報は、空間センサ30によるセンシング結果に関する情報である。
センシング情報データベースには、センシング情報が格納される。センシング情報は、空間センサ30によるセンシング結果に関する情報である。
「センサID」フィールドには、センサIDが格納される。
「時刻」フィールドには、時刻情報が格納される。時刻情報は、空間センサ30がセンシングを行った時刻に関する情報である。
「センシング実施位置」フィールドには、センシング実施位置情報が格納される。
「センシング方向」フィールドには、センシング方向情報が格納される。
「構成要素別センシング結果」フィールドには、構成要素別センシング結果が格納される。構成要素別センシング結果は、各構成要素について空間センサ30によるセンシング結果に関する情報である。センシング結果は、RAWデータであってもよいし、RAWデータを加工または解析することで得られたデータ、であってもよい。
(4)情報処理
本実施形態の情報処理について説明する。
本実施形態の情報処理について説明する。
(4-1)データベース更新処理
本実施形態のデータベース更新処理について説明する。図8は、本実施形態のデータベース更新処理のフローチャートである。
本実施形態のデータベース更新処理について説明する。図8は、本実施形態のデータベース更新処理のフローチャートである。
図8に示すように、情報処理装置10は、センシングデータの取得(S110)を実行する。
具体的には、プロセッサ12は、空間センサ30から送信されたセンシングデータを取得する。センシングデータは、センサIDと、RAWデータと、センシング実施位置情報と、センシング方向情報と、を含む。
具体的には、プロセッサ12は、空間センサ30から送信されたセンシングデータを取得する。センシングデータは、センサIDと、RAWデータと、センシング実施位置情報と、センシング方向情報と、を含む。
ステップS110の後に、情報処理装置10は、RAWデータの処理(S111)を実行する。
具体的には、プロセッサ12は、ステップS110において取得したセンシングデータに含まれるRAWデータに対して所定のデータ加工処理を行うことで、RAWデータの処理結果(「センシング結果」の一例)を得る。一例として、所定のデータ加工処理は、パススルー(つまり、ステップS111の省略)、解析、または加工(例えば補正)の少なくとも1つである。
一例として、データ加工処理が解析である場合、プロセッサ12は、RAWデータを解析することにより、対象空間SPの3次元モデルの構成要素の少なくとも1つに関連付けられる出来形を計算する。出来形は、例えば3次元モデル情報と点群データとに基づいて計算可能である。
具体的には、プロセッサ12は、ステップS110において取得したセンシングデータに含まれるRAWデータに対して所定のデータ加工処理を行うことで、RAWデータの処理結果(「センシング結果」の一例)を得る。一例として、所定のデータ加工処理は、パススルー(つまり、ステップS111の省略)、解析、または加工(例えば補正)の少なくとも1つである。
一例として、データ加工処理が解析である場合、プロセッサ12は、RAWデータを解析することにより、対象空間SPの3次元モデルの構成要素の少なくとも1つに関連付けられる出来形を計算する。出来形は、例えば3次元モデル情報と点群データとに基づいて計算可能である。
ステップS111の後に、情報処理装置10は、構成要素別センシング結果の特定(S112)を実行する。
具体的には、プロセッサ12は、構成要素データベース(図6)およびステップS111において得たRAWデータの処理結果を参照して、構成要素別センシング結果を特定する。
一例としてプロセッサ12は、各構成要素の形状情報および座標情報と、ステップS111において得たセンシング結果とを参照して、当該構成要素に関わるセンシング結果(例えば、構成要素の3次元形状の実測値に相当する点群データ)を特定する。プロセッサ12は、各センシング結果に対応する構成要素を示すラベル(例えば、構成要素ID)を割り当てる。
具体的には、プロセッサ12は、構成要素データベース(図6)およびステップS111において得たRAWデータの処理結果を参照して、構成要素別センシング結果を特定する。
一例としてプロセッサ12は、各構成要素の形状情報および座標情報と、ステップS111において得たセンシング結果とを参照して、当該構成要素に関わるセンシング結果(例えば、構成要素の3次元形状の実測値に相当する点群データ)を特定する。プロセッサ12は、各センシング結果に対応する構成要素を示すラベル(例えば、構成要素ID)を割り当てる。
ステップS112の後に、情報処理装置10は、センシング情報データベースの更新(S113)を実行する。
具体的には、プロセッサ12は、ステップS110において取得したセンシングデータと、ステップS112において特定した構成要素別センシング結果とを参照して、センシング情報データベース(図7)を更新する。
一例として、プロセッサ12は、ステップS110のセンシングデータの取得時刻を示すデータを「時刻」フィールドに格納してもよいし、当該センシングデータが時刻データを含む場合には当該時刻データを「時刻」フィールドに格納してもよい。
プロセッサ12は、ステップS110のセンシングデータがセンシング実施位置情報を含む場合には当該センシング実施位置情報を「センシング実施位置」フィールドに格納する。
プロセッサ12は、ステップS110のセンシングデータがセンシング方向情報を含む場合には当該センシング方向情報を「センシング方向」フィールドに格納する。
プロセッサ12は、ステップS112において特定した構成要素別センシング結果を「センシング結果」フィールドに格納する。
具体的には、プロセッサ12は、ステップS110において取得したセンシングデータと、ステップS112において特定した構成要素別センシング結果とを参照して、センシング情報データベース(図7)を更新する。
一例として、プロセッサ12は、ステップS110のセンシングデータの取得時刻を示すデータを「時刻」フィールドに格納してもよいし、当該センシングデータが時刻データを含む場合には当該時刻データを「時刻」フィールドに格納してもよい。
プロセッサ12は、ステップS110のセンシングデータがセンシング実施位置情報を含む場合には当該センシング実施位置情報を「センシング実施位置」フィールドに格納する。
プロセッサ12は、ステップS110のセンシングデータがセンシング方向情報を含む場合には当該センシング方向情報を「センシング方向」フィールドに格納する。
プロセッサ12は、ステップS112において特定した構成要素別センシング結果を「センシング結果」フィールドに格納する。
(4-2)表示処理
本実施形態の表示処理について説明する。以降の説明では、本実施形態を不動産の内覧に適用することを前提としているが、本実施形態の適用先は不動産の内覧に限定されない。
図9は、本実施形態の表示処理のフローチャートである。図10は、図9のVRモード処理のフローチャートである。図11は、図10の編集モード処理のフローチャートである。図12は、図9の表示処理において表示される画面例を示す図である。図12は、図9の表示処理において表示される画面例を示す図である。図13は、図9の表示処理において表示される画面例を示す図である。図14は、図10のVRモード処理において表示される画面例を示す図である。図15は、図11の編集モード処理において表示される画面例を示す図である。図16は、図11の編集モード処理において表示される画面例を示す図である。図17は、図11の編集モード処理において表示される画面例を示す図である。
本実施形態の表示処理について説明する。以降の説明では、本実施形態を不動産の内覧に適用することを前提としているが、本実施形態の適用先は不動産の内覧に限定されない。
図9は、本実施形態の表示処理のフローチャートである。図10は、図9のVRモード処理のフローチャートである。図11は、図10の編集モード処理のフローチャートである。図12は、図9の表示処理において表示される画面例を示す図である。図12は、図9の表示処理において表示される画面例を示す図である。図13は、図9の表示処理において表示される画面例を示す図である。図14は、図10のVRモード処理において表示される画面例を示す図である。図15は、図11の編集モード処理において表示される画面例を示す図である。図16は、図11の編集モード処理において表示される画面例を示す図である。図17は、図11の編集モード処理において表示される画面例を示す図である。
図9に示すように、情報処理装置10は、対象空間の特定(S120)を実行する。
具体的には、プロセッサ12は、ユーザが閲覧しようとする対象空間SPを特定する。
具体的には、プロセッサ12は、ユーザが閲覧しようとする対象空間SPを特定する。
一例として、プロセッサ12は、ディスプレイに画面P10(図11)を表示する。
図11の画面P10は、デジタルオブジェクト(ボタンオブジェクトB101、ボタンオブジェクトB102、及び、ボタンオブジェクトB103)を含む。各ボタンオブジェクトは、いずれかの空間に関連付けられている。
図11の画面P10は、デジタルオブジェクト(ボタンオブジェクトB101、ボタンオブジェクトB102、及び、ボタンオブジェクトB103)を含む。各ボタンオブジェクトは、いずれかの空間に関連付けられている。
ユーザは、入力デバイスを操作して、任意のボタンオブジェクトを選択する。プロセッサ12は、ユーザの選択したボタンオブジェクトに関連付けられる空間を対象空間SPとして特定する。一例として、プロセッサ12は、ユーザの選択したボタンオブジェクトに応じた空間IDを受け取り、当該空間IDによって識別される空間を対象空間SPとして特定する。
プロセッサ12は、入力デバイスの受け付けたユーザの指示に応じて、対象空間を特定する。ユーザの指示は、例えば、タップ、クリック、キー入力、音声入力、および、ジェスチャ入力の少なくとも1つである。
ステップS120の後に、情報処理装置10は、対象空間の3次元画像の生成(S122)を実行する。
具体的には、プロセッサ12は、センシング情報データベース(図7)に保存された構成要素別センシング結果を参照して、対象空間SPの3次元画像を生成する。3次元画像は、対象空間SPの各構成要素に対応する画像オブジェクトを含む。
一例として、プロセッサ12は、第1の構成要素に対応する画像オブジェクトの表示形態と、第2の構成要素に対応する画像オブジェクトの表示形態とが異なるように、3次元画像を生成してもよい。
表示形態は、例えば、色、テクスチャ、サイズ、映像効果、またはそれらの組み合わせである。
具体的には、プロセッサ12は、センシング情報データベース(図7)に保存された構成要素別センシング結果を参照して、対象空間SPの3次元画像を生成する。3次元画像は、対象空間SPの各構成要素に対応する画像オブジェクトを含む。
一例として、プロセッサ12は、第1の構成要素に対応する画像オブジェクトの表示形態と、第2の構成要素に対応する画像オブジェクトの表示形態とが異なるように、3次元画像を生成してもよい。
表示形態は、例えば、色、テクスチャ、サイズ、映像効果、またはそれらの組み合わせである。
ステップS122の後に、情報処理装置10は、VRモード開始判定(S123)を実行する。
具体的には、プロセッサ12は、ステップS122において生成した3次元画像をディスプレイに表示し、かつ、VRモード処理を開始するか否かを判定する。
具体的には、プロセッサ12は、ステップS122において生成した3次元画像をディスプレイに表示し、かつ、VRモード処理を開始するか否かを判定する。
一例として、プロセッサ12は、ディスプレイに画面P11(図13)を表示する。
図13の画面P11は、ステップS122において生成した対象空間SPの3次元画像3DIと、デジタルオブジェクト(ボタンオブジェクトB111)とを含む。3次元画像3DIは、対象空間SPの第1の構成要素に対応する画像オブジェクトELI1と、対象空間SPの第2の構成要素に対応する画像オブジェクトELI2と、対象空間SPの第3の構成要素に対応する画像オブジェクトELI3と、対象空間SPの第4の構成要素に対応する画像オブジェクトELI4とを含む。
図13の画面P11は、ステップS122において生成した対象空間SPの3次元画像3DIと、デジタルオブジェクト(ボタンオブジェクトB111)とを含む。3次元画像3DIは、対象空間SPの第1の構成要素に対応する画像オブジェクトELI1と、対象空間SPの第2の構成要素に対応する画像オブジェクトELI2と、対象空間SPの第3の構成要素に対応する画像オブジェクトELI3と、対象空間SPの第4の構成要素に対応する画像オブジェクトELI4とを含む。
ユーザは、入力デバイスを操作して、ボタンオブジェクトB111を選択できる。プロセッサ12は、ユーザがボタンオブジェクトB111を選択すると、VRモード処理を開始すると判定する。
ステップS123の後、情報処理装置10は、VRモード処理(S124)を実行する。
具体的には、プロセッサ12は、ステップS123においてVRモード処理を開始すると判定した場合に図10のVRモード処理を行う。
具体的には、プロセッサ12は、ステップS123においてVRモード処理を開始すると判定した場合に図10のVRモード処理を行う。
図10に示すように、情報処理装置10は、視点の決定(S130)を実行する。
具体的には、プロセッサ12は、以下の少なくとも1つに基づいて、ユーザに提示するVR画像の視点を決定する。
具体的には、プロセッサ12は、以下の少なくとも1つに基づいて、ユーザに提示するVR画像の視点を決定する。
ステップS130の第1例として、プロセッサ12は、情報処理装置10が備えるユーザセンサ及び情報処理装置10に接続されたユーザセンサ(「外部装置」の一例)の少なくとも1つの検出結果に基づいて、ユーザの視線方向を特定する。ユーザセンサは、以下の少なくとも1つを含む。
・ユーザの目を含む頭部の画像を撮像するように構成されたイメージセンサ
・ユーザの視線の向きを検出するように構成されたアイトラッキングセンサ
・ユーザが装着したデバイス(一例として、ヘッドマウントディスプレイ)の傾きを検出する傾きセンサ
プロセッサ12は、ユーザの視線方向に基づいて、視点を決定する。
・ユーザの目を含む頭部の画像を撮像するように構成されたイメージセンサ
・ユーザの視線の向きを検出するように構成されたアイトラッキングセンサ
・ユーザが装着したデバイス(一例として、ヘッドマウントディスプレイ)の傾きを検出する傾きセンサ
プロセッサ12は、ユーザの視線方向に基づいて、視点を決定する。
ステップS130の第2例として、プロセッサ12は、ユーザの指示に基づいて、ユーザの視点を決定する。
ステップS130の後に、情報処理装置10は、VR画像の生成(S131)を実行する。
具体的には、プロセッサ12は、ステップS122において生成した3次元画像と、ステップS130において決定した視点とを参照して、VR画像を生成する。VR画像は、仮想空間において対象空間SPを当該視点から見たときの画像である。
具体的には、プロセッサ12は、ステップS122において生成した3次元画像と、ステップS130において決定した視点とを参照して、VR画像を生成する。VR画像は、仮想空間において対象空間SPを当該視点から見たときの画像である。
ステップS131の後に、情報処理装置10は、VR画像の表示(S132)を実行する。
具体的には、プロセッサ12は、ステップS131において生成したVR画像をディスプレイに表示する。
具体的には、プロセッサ12は、ステップS131において生成したVR画像をディスプレイに表示する。
一例として、プロセッサ12は、ディスプレイに画面P12(図14)を表示する。
画面P12は、ステップS123において生成したVR画像VRIと、デジタルオブジェクト(ボタンオブジェクトB121、及び、ボタンオブジェクトB122)を含む。
VR画像VRIは、ステップS122において生成した3次元画像3DIのうちステップS130において決定した視点から観察可能な画像オブジェクトELI1および画像オブジェクトELI2を含む。
画面P12は、ステップS123において生成したVR画像VRIと、デジタルオブジェクト(ボタンオブジェクトB121、及び、ボタンオブジェクトB122)を含む。
VR画像VRIは、ステップS122において生成した3次元画像3DIのうちステップS130において決定した視点から観察可能な画像オブジェクトELI1および画像オブジェクトELI2を含む。
ユーザは、入力デバイスを操作して、ボタンオブジェクトB121、またはボタンオブジェクトB122を選択できる。
ステップS132の後に、情報処理装置10は、終了判定(S133)を実行する。
具体的には、プロセッサ12は、図10のVRモード処理を終了するか否かを判定する。
一例として、プロセッサ12は、ユーザがボタンオブジェクトB121(図14)を選択すると、VRモード処理を終了すると判定する。
具体的には、プロセッサ12は、図10のVRモード処理を終了するか否かを判定する。
一例として、プロセッサ12は、ユーザがボタンオブジェクトB121(図14)を選択すると、VRモード処理を終了すると判定する。
ステップS133においてVRモード処理を終了すると判定すると、情報処理装置10は図10のVRモード処理を終了する。
ステップS132の後に、情報処理装置10は、編集モード遷移判定(S134)を実行する。
具体的には、プロセッサ12は、編集モードに遷移するか否かを判定する。
一例として、プロセッサ12は、ユーザがボタンオブジェクトB122(図14)を選択すると、編集モードに遷移すると判定する。
プロセッサ12は、ステップS133よりも前、またはステップS133よりも後にステップS134を実行してもよいし、ステップS133と同時にステップS134を実行してもよい。
具体的には、プロセッサ12は、編集モードに遷移するか否かを判定する。
一例として、プロセッサ12は、ユーザがボタンオブジェクトB122(図14)を選択すると、編集モードに遷移すると判定する。
プロセッサ12は、ステップS133よりも前、またはステップS133よりも後にステップS134を実行してもよいし、ステップS133と同時にステップS134を実行してもよい。
ステップS134において編集モードに遷移すると判定すると、情報処理装置10は、編集モード処理(S135)を実行する。
具体的には、プロセッサ12は、図11の編集モード処理を行う。
具体的には、プロセッサ12は、図11の編集モード処理を行う。
ステップS133においてVRモード処理を終了しないと判定し、かつステップS134において編集モードに遷移しないと判定すると、情報処理装置10は、視点の決定(S130)を再度実行する。
図11に示すように、情報処理装置10は、ユーザ指示の検出(S140)を実行する。
具体的には、プロセッサ12は、VR画像の編集に関する指示を検出する。
具体的には、プロセッサ12は、VR画像の編集に関する指示を検出する。
一例として、プロセッサ12は、ディスプレイに画面P13(図15)を表示する。
図15の画面P13は、VR画像VRIと、デジタルオブジェクト(ボタンオブジェクトB131)とを含む。
VR画像VRIは、画像オブジェクトELI1、および画像オブジェクトELI2を含む。
図15の画面P13は、VR画像VRIと、デジタルオブジェクト(ボタンオブジェクトB131)とを含む。
VR画像VRIは、画像オブジェクトELI1、および画像オブジェクトELI2を含む。
ユーザは、入力デバイスを操作して、任意の画像オブジェクトを選択する。
一例として、ユーザは、画像オブジェクトELI1を選択する。プロセッサ12は、ユーザ指示に応答して、ディスプレイに画面P13a(図16)を表示する。
画面P13aは、VR画像VRIと、ボタンオブジェクトB131と、ポインタPINとを含む。
画像オブジェクトELI1には、選択中であることを示す枠線FL1が付される。
ユーザは、入力デバイスをさらに操作する(例えば、スワイプする)ことで、選択中の画像オブジェクトを取り去る指示を情報処理装置10に与えることができる。
一例として、ユーザは、画像オブジェクトELI1を選択する。プロセッサ12は、ユーザ指示に応答して、ディスプレイに画面P13a(図16)を表示する。
画面P13aは、VR画像VRIと、ボタンオブジェクトB131と、ポインタPINとを含む。
画像オブジェクトELI1には、選択中であることを示す枠線FL1が付される。
ユーザは、入力デバイスをさらに操作する(例えば、スワイプする)ことで、選択中の画像オブジェクトを取り去る指示を情報処理装置10に与えることができる。
ステップS140の後に、情報処理装置10は、画像オブジェクトの編集(S141)を実行する。
具体的には、プロセッサ12は、ステップS140において検出したユーザ指示に応答して、VR画像を構成する画像オブジェクトを編集する。
一例として、ステップS140において画像オブジェクトELI1を取り去る指示を検出した場合には、プロセッサ12はVR画像を構成する画像オブジェクトから画像オブジェクトELI1を削除する。
具体的には、プロセッサ12は、ステップS140において検出したユーザ指示に応答して、VR画像を構成する画像オブジェクトを編集する。
一例として、ステップS140において画像オブジェクトELI1を取り去る指示を検出した場合には、プロセッサ12はVR画像を構成する画像オブジェクトから画像オブジェクトELI1を削除する。
ステップS141の後に、情報処理装置10は、VR画像の更新(S142)を実行する。
具体的には、プロセッサ12は、ステップS130(図10)と同様に、視点の決定を行う。
プロセッサ12は、ステップS141において編集された画像オブジェクトと、決定した視点とを参照して、VR画像を更新する。
具体的には、プロセッサ12は、ステップS130(図10)と同様に、視点の決定を行う。
プロセッサ12は、ステップS141において編集された画像オブジェクトと、決定した視点とを参照して、VR画像を更新する。
一例として、プロセッサ12は、ディスプレイに画面P14(図17)を表示する。
画面P14は、更新されたVR画像VRIaと、デジタルオブジェクト(ボタンオブジェクトB131)とを含む。
更新されたVR画像VRIaは、ユーザ指示により画像オブジェクトELI1が削除されている点においてVR画像VRI(図14)とは異なる。
画面P14は、更新されたVR画像VRIaと、デジタルオブジェクト(ボタンオブジェクトB131)とを含む。
更新されたVR画像VRIaは、ユーザ指示により画像オブジェクトELI1が削除されている点においてVR画像VRI(図14)とは異なる。
図11に示すように、情報処理装置10は、保存判定(S143)を実行する。
具体的には、プロセッサ12は、VR画像に対して行われた編集内容を保存するか否かを判定する。
一例として、プロセッサ12は、ユーザがボタンオブジェクトB131を選択すると、編集内容を保存すると判定する。
プロセッサ12は、ステップS140~S142よりも前、またはステップS140~S142よりも後にステップS143を実行してもよいし、ステップS140~S142と同時にステップS143を実行してもよい。
具体的には、プロセッサ12は、VR画像に対して行われた編集内容を保存するか否かを判定する。
一例として、プロセッサ12は、ユーザがボタンオブジェクトB131を選択すると、編集内容を保存すると判定する。
プロセッサ12は、ステップS140~S142よりも前、またはステップS140~S142よりも後にステップS143を実行してもよいし、ステップS140~S142と同時にステップS143を実行してもよい。
ステップS143の後、情報処理装置10は、編集内容の保存(S144)を実行する。
具体的には、プロセッサ12は、ステップS143において編集内容を保存すると判定すると、VR画像に対して行われた編集内容を表す編集内容情報を保存する。
一例として、編集内容情報は、以下の少なくとも1つである。
・対象空間SPの現在のVR画像(以降、「対象VR画像」と称する)を表す情報(例えば画像データ)
・対象空間SPの編集モード処理(図11)の開始時のVR画像(以降、「基準VR画像」と称する)と対象VR画像との差を表す情報(例えば画像データ)
・対象VR画像を構成する画像オブジェクトに関する情報
・基準VR画像を構成する画像オブジェクトと対象VR画像を構成する画像オブジェクトとの差に関する情報
・検出されたユーザ指示の履歴を示す情報
・対象VR画像に対応する構成要素情報、領域情報、または空間情報(以降、「対象情報」)と称する
・対象情報と基準3次元画像に対応する構成要素情報、領域情報、または空間情報との差を表す情報
具体的には、プロセッサ12は、ステップS143において編集内容を保存すると判定すると、VR画像に対して行われた編集内容を表す編集内容情報を保存する。
一例として、編集内容情報は、以下の少なくとも1つである。
・対象空間SPの現在のVR画像(以降、「対象VR画像」と称する)を表す情報(例えば画像データ)
・対象空間SPの編集モード処理(図11)の開始時のVR画像(以降、「基準VR画像」と称する)と対象VR画像との差を表す情報(例えば画像データ)
・対象VR画像を構成する画像オブジェクトに関する情報
・基準VR画像を構成する画像オブジェクトと対象VR画像を構成する画像オブジェクトとの差に関する情報
・検出されたユーザ指示の履歴を示す情報
・対象VR画像に対応する構成要素情報、領域情報、または空間情報(以降、「対象情報」)と称する
・対象情報と基準3次元画像に対応する構成要素情報、領域情報、または空間情報との差を表す情報
ステップS144の後に、情報処理装置10は、図11の編集モード処理を終了する。
(5)小括
以上説明したように、本実施形態の情報処理装置は、対象空間を構成する構成要素に関連付けられる構成要素別センシング結果を特定し、当該構成要素別センシング結果を参照して当該対象空間のVR画像を生成する。これにより、対象空間に関する構成要素別センシング結果が反映されたVR画像を生成できるので、当該VR画像を用いてユーザに臨場感のあるVR体験を提供することができる。
以上説明したように、本実施形態の情報処理装置は、対象空間を構成する構成要素に関連付けられる構成要素別センシング結果を特定し、当該構成要素別センシング結果を参照して当該対象空間のVR画像を生成する。これにより、対象空間に関する構成要素別センシング結果が反映されたVR画像を生成できるので、当該VR画像を用いてユーザに臨場感のあるVR体験を提供することができる。
センシング結果は、例えば、点群データである。これにより、対象空間に関する構成要素別点群データが反映されたVR画像を生成できるので、当該VR画像を用いてユーザにより臨場感のあるVR体験を提供することができる。
構成要素情報は、例えば、BIMデータ、および間取り図データの少なくとも1つに基づく情報である。これにより、予め用意されたBIMデータ、および間取り図データの少なくとも1つを活用してVR画像を生成できる。
情報処理装置は、例えば、ユーザの指示に応答して対象空間を特定する。これにより、ユーザが閲覧を希望する対象空間のVR画像をユーザに提供することができる。
情報処理装置は、例えば、対象空間の第1の構成要素に対応する画像オブジェクトの表示形態と、対象空間の第2の構成要素に対応する画像オブジェクトの表示形態とが異なるように、3次元画像を生成する。これにより、第1の構成要素と第2の構成要素とを視覚的に区別しやすいVR画像をユーザに提供することができる
情報処理装置は、例えば、VR画像を表示する。これにより、ユーザに臨場感のあるVR体験を提供することができる。
情報処理装置は、例えば、ユーザの指示に応答して、VR画像を編集する。これにより、対象空間をカスタマイズ可能なVR体験をユーザに提供することができる。
情報処理装置は、例えば、ユーザの指示に応答して、対象空間の構成要素のいずれかに対応する画像を3次元画像から削除することでVR画像を更新する。これにより、対象空間から任意の構成要素(例えば、壁の一部)を取り去るシミュレーションが可能なVR体験をユーザに提供することができる。
情報処理装置は、例えば、ユーザの指示に応答して、VR画像に対して行われた編集内容を表す編集内容情報を保存する。これにより、ユーザが対象空間に対して行ったシミュレーションの結果を保存することができる。
情報処理装置は、例えば、3次元画像を生成するために参照された構成要素情報、領域情報、または空間情報を変更することで編集内容情報を保存する。これにより、ユーザが対象空間に対して行ったシミュレーションの結果を構成要素情報、領域情報、または空間情報として保存することができる。
(6)変形例
本実施形態の変形例について説明する。
本実施形態の変形例について説明する。
(6-1)変形例1
変形例1について説明する。変形例1は、仮想空間にパーツオブジェクトを配置可能とする例である。
変形例1について説明する。変形例1は、仮想空間にパーツオブジェクトを配置可能とする例である。
変形例1の表示処理について説明する。図18は、変形例1の編集モード処理において表示される画面例を示す図である。図19は、変形例1の編集モード処理において表示される画面例を示す図である。図20は、変形例1の編集モード処理において表示される画面例を示す図である。
情報処理装置10は、図9と同様に、対象空間の特定(S120)、対象空間の3次元画像の生成(S122)、およびVRモード開始判定(S123)を実行する。
ステップS123においてVRモード処理を開始すると判定した場合に、情報処理装置10は、VRモード処理(S124)を実行する。
情報処理装置10は、図10と同様に、視点の決定(S130)、VR画像の生成(S131)、VR画像の表示(S132)、終了判定(S133)、および編集モード遷移判定(S134)を実行する。
ステップS133においてVRモード処理を終了しないと判定し、かつステップS134において編集モードに遷移しないと判定すると、情報処理装置10は、視点の決定(S130)を再度実行する。
ステップS134において編集モードに遷移すると判定すると、情報処理装置10は、編集モード処理(S135)を実行する。
図11に示すように、情報処理装置10は、ユーザ指示の検出(S140)を実行する。
具体的には、プロセッサ12は、VR画像の編集に関する指示を検出する。
具体的には、プロセッサ12は、VR画像の編集に関する指示を検出する。
一例として、プロセッサ12は、ディスプレイに画面P13b(図18)を表示する。
図18の画面P13bは、VR画像VRIと、デジタルオブジェクト(ボタンオブジェクトB131、及び、ボタンオブジェクトB132)とを含む。
VR画像VRIは、画像オブジェクトELI1、および画像オブジェクトELI2を含む。
図18の画面P13bは、VR画像VRIと、デジタルオブジェクト(ボタンオブジェクトB131、及び、ボタンオブジェクトB132)とを含む。
VR画像VRIは、画像オブジェクトELI1、および画像オブジェクトELI2を含む。
ユーザは、入力デバイスを操作して、ボタンオブジェクトB132を選択する。
プロセッサ12は、ユーザ指示に応答して、ディスプレイに画面P13c(図19)を表示する。
画面P13cは、VR画像VRIと、デジタルオブジェクト(ボタンオブジェクトB131、及び、ボタンオブジェクトB132)と、ポインタPINと、パーツランチャーPLNとを含む。
パーツランチャーPLNにおいて、仮想空間に追加可能なパーツ(例えば家具)を表す画像オブジェクトPIC1~PICの一覧が表示される。
ユーザは、入力デバイスをさらに操作することで、パーツランチャーPLN内のいずれかの画像オブジェクトを選択し、選択した画像オブジェクトを仮想空間に追加する指示を情報処理装置10に与えることができる。
プロセッサ12は、ユーザ指示に応答して、ディスプレイに画面P13c(図19)を表示する。
画面P13cは、VR画像VRIと、デジタルオブジェクト(ボタンオブジェクトB131、及び、ボタンオブジェクトB132)と、ポインタPINと、パーツランチャーPLNとを含む。
パーツランチャーPLNにおいて、仮想空間に追加可能なパーツ(例えば家具)を表す画像オブジェクトPIC1~PICの一覧が表示される。
ユーザは、入力デバイスをさらに操作することで、パーツランチャーPLN内のいずれかの画像オブジェクトを選択し、選択した画像オブジェクトを仮想空間に追加する指示を情報処理装置10に与えることができる。
ステップS140の後に、情報処理装置10は、画像オブジェクトの編集(S141)を実行する。
具体的には、プロセッサ12は、ステップS140において検出したユーザ指示に応答して、VR画像を構成する画像オブジェクトを編集する。
一例として、ステップS140において画像オブジェクトPIC3を追加する指示を検出した場合には、プロセッサ12はVR画像を構成する画像オブジェクトに画像オブジェクトPIC3を追加する。
具体的には、プロセッサ12は、ステップS140において検出したユーザ指示に応答して、VR画像を構成する画像オブジェクトを編集する。
一例として、ステップS140において画像オブジェクトPIC3を追加する指示を検出した場合には、プロセッサ12はVR画像を構成する画像オブジェクトに画像オブジェクトPIC3を追加する。
ステップS141の後に、情報処理装置10は、VR画像の更新(S142)を実行する。
具体的には、プロセッサ12は、ステップS130(図10)と同様に、視点の決定を行う。プロセッサ12は、ステップS141において編集された画像オブジェクトと、決定した視点とを参照して、VR画像を更新する。
具体的には、プロセッサ12は、ステップS130(図10)と同様に、視点の決定を行う。プロセッサ12は、ステップS141において編集された画像オブジェクトと、決定した視点とを参照して、VR画像を更新する。
一例として、プロセッサ12は、ディスプレイに画面P14a(図20)を表示する。
画面P14は、更新されたVR画像VRIbと、デジタルオブジェクト(ボタンオブジェクトB131、及び、ボタンオブジェクトB132)とを含む。
更新されたVR画像VRIbは、ユーザ指示により画像オブジェクトPIC3が追加されている点においてVR画像VRI(図14)とは異なる。
画面P14は、更新されたVR画像VRIbと、デジタルオブジェクト(ボタンオブジェクトB131、及び、ボタンオブジェクトB132)とを含む。
更新されたVR画像VRIbは、ユーザ指示により画像オブジェクトPIC3が追加されている点においてVR画像VRI(図14)とは異なる。
情報処理装置10は、図11と同様に、保存判定(S143)を実行する。
ステップS143において編集内容を保存すると判定すると、情報処理装置10は、図11と同様に、編集内容の保存(S144)を実行する。
ステップS144の後に、情報処理装置10は、変形例1の編集モード処理を終了する。
以上説明したように、変形例1の情報処理装置は、ユーザの指示に応答して、仮想空間に任意のオブジェクトを追加することでVR画像を更新する。これにより、対象空間から任意のオブジェクトを追加するシミュレーションが可能なVR体験をユーザに提供することができる。
変形例1の情報処理装置は、例えば、仮想空間に追加可能なオブジェクト一覧を表示する。これにより、ユーザは、仮想空間に追加するオブジェクトを容易に選択することができる。
(6-2)変形例2
変形例2について説明する。変形例2は、構成要素別センシング結果に欠損がある場合にセンシング結果を補う例である。
変形例2について説明する。変形例2は、構成要素別センシング結果に欠損がある場合にセンシング結果を補う例である。
変形例2の表示処理について説明する。
情報処理装置10は、図8と同様に、センシングデータの取得(S110)、およびRAWデータの処理(S111)を実行する。
ステップS111の後に、情報処理装置10は、構成要素別センシング結果の特定(S112)を実行する。
具体的には、プロセッサ12は、構成要素データベース(図6)およびステップS111において得たRAWデータの処理結果(つまり、センシング結果)を参照して、構成要素別センシング結果を特定する。
一例としてプロセッサ12は、各構成要素の形状情報および座標情報と、ステップS111において得たセンシング結果とを参照して、当該構成要素に関わるセンシング結果(例えば、構成要素の3次元形状の実測値に相当する点群データ)を特定する。
具体的には、プロセッサ12は、構成要素データベース(図6)およびステップS111において得たRAWデータの処理結果(つまり、センシング結果)を参照して、構成要素別センシング結果を特定する。
一例としてプロセッサ12は、各構成要素の形状情報および座標情報と、ステップS111において得たセンシング結果とを参照して、当該構成要素に関わるセンシング結果(例えば、構成要素の3次元形状の実測値に相当する点群データ)を特定する。
さらに、プロセッサ12は、構成要素データベースに記憶された構成要素情報に一致しないセンシング結果(以降、「欠損部分」と称する)が存在する場合に、プロセッサ12は、構成要素情報のうち、センシング結果に対応付けられていない構成要素情報を参照して、センシング結果を推定する。一例として、プロセッサ12は、欠損部分の周囲に関わるセンシング結果を参照して、当該欠損部分のセンシング結果を補間生成する。
プロセッサ12は、各センシング結果に対応する構成要素を示すラベル(例えば、構成要素ID)を割り当てる。
ステップS112の後に、情報処理装置10は、図8と同様に、センシング情報データベースの更新(S113)を実行する。
対象空間SPには、対象空間SPの設計段階で用意される情報(例えば、構成要素情報)によって定義することができない物理オブジェクト(以下「未定義オブジェクト」という)が存在し得る。未定義オブジェクトは、例えば、対象空間SPが完成した後に対象空間SPに配置される家具である。
未定義オブジェクトが配置された対象空間SPに対してセンシングを実行した場合、未定義オブジェクトは、空間センサ30と構成要素との間に位置する。この場合、未定義オブジェクトは、空間センサ30による当該構成要素のセンシングを阻害する。その結果、空間センサ30によるセンシング結果では、当該構成要素に関するセンシング結果が欠損する。
変形例2によれば、センシング結果が欠損部分を含む場合であっても、当該欠損部分に関するセンシング結果を補間する。これにより、対象空間SPに未定義オブジェクトが存在する場合であっても、構成要素に欠損部分がないVR画像を生成することができる。
未定義オブジェクトが配置された対象空間SPに対してセンシングを実行した場合、未定義オブジェクトは、空間センサ30と構成要素との間に位置する。この場合、未定義オブジェクトは、空間センサ30による当該構成要素のセンシングを阻害する。その結果、空間センサ30によるセンシング結果では、当該構成要素に関するセンシング結果が欠損する。
変形例2によれば、センシング結果が欠損部分を含む場合であっても、当該欠損部分に関するセンシング結果を補間する。これにより、対象空間SPに未定義オブジェクトが存在する場合であっても、構成要素に欠損部分がないVR画像を生成することができる。
(6-3)変形例3
変形例3について説明する。変形例3は、仮想空間においてパーツオブジェクトが配置される面(以下「仮想配置面」という)が構成要素情報を用いて定義されている例である。
変形例3について説明する。変形例3は、仮想空間においてパーツオブジェクトが配置される面(以下「仮想配置面」という)が構成要素情報を用いて定義されている例である。
仮想配置面とは、パーツオブジェクトが静止状態にある時に当該パーツオブジェクトの一部分が接触すべき面を意味する。例えば、パーツオブジェクトが対象空間SPにおいて床に配置される器物(一例として、机)のオブジェクトである場合、仮想配置面は、仮想空間の床面である。
変形例3において、仮想配置面は、構成要素情報を用いて定義されている。具体的には、仮想配置面は、パーツオブジェクトの種類(例えば、パーツオブジェクトに対応する器物が対象空間SPに配置されるときの配置の態様)毎に、当該仮想配置面を形成する少なくとも1つの構成要素IDとして定義され得る。仮想配置面を以下に例示する。
・ソファ、ベッド、またはダイニングセットのような床に置かれた状態で利用される器物に対応するパーツオブジェクトに対する仮想配置面は、仮想空間の床面を規定する構成要素情報を用いて定義される。
・照明のような天井に取り付けられた状態で利用される器物に対応するパーツオブジェクトに対する仮想配置面は、仮想空間の天井面を規定する構成要素情報を用いて定義される。
・窓、または額縁のような壁に取り付けた状態で利用される器物に対応するパーツオブジェクトに対する仮想配置面は、仮想空間の壁面を規定する構成要素情報を用いて定義される。
・ソファ、ベッド、またはダイニングセットのような床に置かれた状態で利用される器物に対応するパーツオブジェクトに対する仮想配置面は、仮想空間の床面を規定する構成要素情報を用いて定義される。
・照明のような天井に取り付けられた状態で利用される器物に対応するパーツオブジェクトに対する仮想配置面は、仮想空間の天井面を規定する構成要素情報を用いて定義される。
・窓、または額縁のような壁に取り付けた状態で利用される器物に対応するパーツオブジェクトに対する仮想配置面は、仮想空間の壁面を規定する構成要素情報を用いて定義される。
変形例3の編集モード処理において、情報処理装置10は、ユーザ指示の検出(S140)を実行する。
具体的には、プロセッサ12は、VR画像の編集に関する指示を検出する。
一例として、ユーザは、入力デバイスを操作して、パーツオブジェクトを対象空間SPに配置する指示を情報処理装置10に与える。
具体的には、プロセッサ12は、VR画像の編集に関する指示を検出する。
一例として、ユーザは、入力デバイスを操作して、パーツオブジェクトを対象空間SPに配置する指示を情報処理装置10に与える。
ステップS140の後、情報処理装置10は、画像オブジェクトの編集(S141)を実行する。
具体的には、プロセッサ12は、ステップS140において検出したユーザ指示に応答して、VR画像を構成する画像オブジェクトに対して、仮想配置面にパーツオブジェクトを配置する。
具体的には、プロセッサ12は、ステップS140において検出したユーザ指示に応答して、VR画像を構成する画像オブジェクトに対して、仮想配置面にパーツオブジェクトを配置する。
ステップS141の後に、情報処理装置10は、VR画像の更新(S142)を実行する。
具体的には、プロセッサ12は、ステップS130(図10)と同様に、視点の決定を行う。
プロセッサ12は、ステップS141において編集された画像オブジェクトと、決定した視点とを参照して、VR画像を更新する。
パーツオブジェクトは、仮想配置面に吸着するように配置される。特に、パーツオブジェクトは、描画時に既に仮想配置面に接触した状態で静止していてもよいし、仮想配置面上に存在しない始点(例えばユーザの手元)から仮想配置面に向かって移動してもよい。パーツオブジェクトの軌跡は、例えば物理エンジンを用いて演算可能である。
具体的には、プロセッサ12は、ステップS130(図10)と同様に、視点の決定を行う。
プロセッサ12は、ステップS141において編集された画像オブジェクトと、決定した視点とを参照して、VR画像を更新する。
パーツオブジェクトは、仮想配置面に吸着するように配置される。特に、パーツオブジェクトは、描画時に既に仮想配置面に接触した状態で静止していてもよいし、仮想配置面上に存在しない始点(例えばユーザの手元)から仮想配置面に向かって移動してもよい。パーツオブジェクトの軌跡は、例えば物理エンジンを用いて演算可能である。
情報処理装置10は、図11と同様に、保存判定(S143)を実行する。
ステップS143において編集内容を保存すると判定すると、情報処理装置10は、図11と同様に、編集内容の保存(S144)を実行する。
ステップS144の後に、情報処理装置10は、変形例3の編集モード処理を終了する。
以上説明したように、変形例3の情報処理装置は、ユーザの指示に応答して、対象空間SPに実在しない仮想オブジェクトを仮想空間に追加する場合に、当該仮想オブジェクトが当該仮想オブジェクトに対して定義された仮想配置面に配置されるようにVR画像を更新する。これにより、仮想空間において、仮想オブジェクトを所定の位置に容易に配置することができる。その結果、仮想空間において、仮想オブジェクトが違和感のある配置(例えば、仮想オブジェクトが空中に浮く状態、又は、仮想オブジェクトが仮想空間の境界部分(一例として、壁)に埋まったりする状態)を防止することができる。
(7)その他の変形例
記憶装置11は、ネットワークNWを介して、情報処理装置10と接続されてもよい。
記憶装置11は、ネットワークNWを介して、情報処理装置10と接続されてもよい。
上記実施形態では、情報処理装置が、ユーザの指示に応答して、当該ユーザの選択した構成要素に対応する画像オブジェクトを3次元画像から削除することでVR画像を更新する例を示した。
しかしながら、情報処理装置は、ユーザの指示に応答して、3次元画像において構成要素のいずれか(例えばユーザの選択した構成要素)に対応する画像オブジェクトの位置、姿勢、および形状の少なくとも1つを変更することでVR画像を更新してもよい。これにより、対象空間の任意の構成要素(例えば、壁の一部)の位置、姿勢、および形状の少なくとも1つを変更するシミュレーションが可能なVR体験をユーザに提供することができる。
しかしながら、情報処理装置は、ユーザの指示に応答して、3次元画像において構成要素のいずれか(例えばユーザの選択した構成要素)に対応する画像オブジェクトの位置、姿勢、および形状の少なくとも1つを変更することでVR画像を更新してもよい。これにより、対象空間の任意の構成要素(例えば、壁の一部)の位置、姿勢、および形状の少なくとも1つを変更するシミュレーションが可能なVR体験をユーザに提供することができる。
上記実施形態では、住居を空間として扱い、リビング、寝室、またはキッチンなどの住居内の部屋を領域として扱った。しかしながら、空間および領域は任意に定義されてよい。例えば、複数の物件を含んだマンション1棟を空間とし、棟内に設けられた個々の居室を領域と定義することもできる。また、領域は複数層からなる階層構造で定義されてもよいし、領域を介在させることなく空間と構成要素との関係が直接定義されてもよい。
上記実施形態では、ユーザの指示に応じて、対象空間を特定する例を示した。しかしながら、対象空間の特定後に、ユーザの指示に応じてさらに対象空間内の領域(以下、「対象領域」という)を特定するようにしてもよい。この場合に、情報処理装置は、対象領域を構成する構成要素に関連付けられる構成要素別センシング結果を特定し、当該構成要素別センシング結果を参照して当該対象領域のVR画像を生成する。
図9の対象空間の3次元画像の生成(S122)は省略されてよい。つまり、プロセッサ12は、構成要素情報および構成要素別センシング結果を参照して、VR画像を生成してもよい。
図9のVRモード開始判定(S123)は省略されてよい。つまり、プロセッサ12は、VRモード開始判定を行うことなく、VRモード処理(S124)を開始できる。
変形例1および変形例3において、仮想空間にパーツオブジェクトを配置可能な例を説明した。パーツオブジェクトは、ユーザの操作を受け付けるUI(ユーザインタフェース)オブジェクトを含んでもよい。UIオブジェクトの配置面は、例えば対象空間の床面、または壁面を規定する構成要素情報を用いて定義することができる。
変形例1および変形例3において、仮想空間にパーツオブジェクトを配置可能な例を説明した。パーツオブジェクトは、ユーザの指示に応じて移動可能としてもよい。パーツオブジェクトの軌跡は、物理エンジンを用いて演算可能である。パーツオブジェクトに与えられる外力の大きさおよび向きは、例えばユーザの指示に応じて決定される。
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
(8)付記
実施形態で説明した事項を、以下に付記する。
実施形態で説明した事項を、以下に付記する。
(付記1)
対象空間(SP)に含まれる1以上の構成要素に関する構成要素情報と、対象空間に対するセンシング結果とを参照して、構成要素に関連付けられる構成要素別センシング結果を特定する手段(S112)と、
構成要素別センシング結果を参照して、対象空間のVR(Virtual Reality)画像を生成する手段(S131)と
を具備する、情報処理装置(10)。
対象空間(SP)に含まれる1以上の構成要素に関する構成要素情報と、対象空間に対するセンシング結果とを参照して、構成要素に関連付けられる構成要素別センシング結果を特定する手段(S112)と、
構成要素別センシング結果を参照して、対象空間のVR(Virtual Reality)画像を生成する手段(S131)と
を具備する、情報処理装置(10)。
(付記2)
センシング結果は、点群データである、
付記1に記載の情報処理装置。
センシング結果は、点群データである、
付記1に記載の情報処理装置。
(付記3)
構成要素情報は、BIM(Building Information Modeling)データ、および間取り図データの少なくとも1つに基づく情報である、
付記1または付記2に記載の情報処理装置。
構成要素情報は、BIM(Building Information Modeling)データ、および間取り図データの少なくとも1つに基づく情報である、
付記1または付記2に記載の情報処理装置。
(付記4)
ユーザの指示に応答して対象空間を特定する手段(S120)をさらに具備する、
付記1乃至付記3のいずれかに記載の情報処理装置。
ユーザの指示に応答して対象空間を特定する手段(S120)をさらに具備する、
付記1乃至付記3のいずれかに記載の情報処理装置。
(付記5)
1以上の構成要素は、第1の構成要素と第2の構成要素とを含み、
VR画像を生成する手段は、VR画像のうち第1の構成要素に対応する画像の表示形態と、VR画像のうち第2の構成要素に対応する画像の表示形態とが異なるようにVR画像を生成する、
付記1乃至付記4のいずれかに記載の情報処理装置。
1以上の構成要素は、第1の構成要素と第2の構成要素とを含み、
VR画像を生成する手段は、VR画像のうち第1の構成要素に対応する画像の表示形態と、VR画像のうち第2の構成要素に対応する画像の表示形態とが異なるようにVR画像を生成する、
付記1乃至付記4のいずれかに記載の情報処理装置。
(付記6)
VR画像を表示する手段(S132)をさらに具備する、
付記1乃至付記5のいずれかに記載の情報処理装置。
VR画像を表示する手段(S132)をさらに具備する、
付記1乃至付記5のいずれかに記載の情報処理装置。
(付記7)
VR画像を生成する手段は、ユーザの指示に応答してVR画像を編集する、
付記1乃至付記6のいずれかに記載の情報処理装置。
VR画像を生成する手段は、ユーザの指示に応答してVR画像を編集する、
付記1乃至付記6のいずれかに記載の情報処理装置。
(付記8)
VR画像を生成する手段は、ユーザの指示に応答して、VR画像において、構成要素の少なくとも1つを削除する、
付記7に記載の情報処理装置。
VR画像を生成する手段は、ユーザの指示に応答して、VR画像において、構成要素の少なくとも1つを削除する、
付記7に記載の情報処理装置。
(付記9)
VR画像を生成する手段は、ユーザの指示に応答して、VR画像において、構成要素の少なくとも1つの位置、姿勢および形状の少なくとも1つを変更する、
付記7または付記8に記載の情報処理装置。
VR画像を生成する手段は、ユーザの指示に応答して、VR画像において、構成要素の少なくとも1つの位置、姿勢および形状の少なくとも1つを変更する、
付記7または付記8に記載の情報処理装置。
(付記10)
VR画像を生成する手段は、ユーザの指示に応答して、VR画像において、オブジェクトを追加する、
付記7乃至付記9のいずれかに記載の情報処理装置。
VR画像を生成する手段は、ユーザの指示に応答して、VR画像において、オブジェクトを追加する、
付記7乃至付記9のいずれかに記載の情報処理装置。
(付記11)
追加可能なオブジェクト一覧を表示する手段をさらに具備する、
付記10に記載の情報処理装置。
追加可能なオブジェクト一覧を表示する手段をさらに具備する、
付記10に記載の情報処理装置。
(付記12)
追加可能なオブジェクト毎に、構成要素情報を用いて仮想配置面が定義され、
VR画像を生成する手段は、ユーザの指示に応答して、オブジェクトが当該オブジェクトに対応する仮想配置面に配置されるようにVR画像を更新する、
付記11に記載の情報処理装置。
追加可能なオブジェクト毎に、構成要素情報を用いて仮想配置面が定義され、
VR画像を生成する手段は、ユーザの指示に応答して、オブジェクトが当該オブジェクトに対応する仮想配置面に配置されるようにVR画像を更新する、
付記11に記載の情報処理装置。
(付記13)
ユーザの指示に応答して、VR画像に対して行われた編集内容を表す編集内容情報を保存する手段(S144)をさらに具備する、
付記7乃至付記11のいずれかに記載の情報処理装置。
ユーザの指示に応答して、VR画像に対して行われた編集内容を表す編集内容情報を保存する手段(S144)をさらに具備する、
付記7乃至付記11のいずれかに記載の情報処理装置。
(付記14)
対象空間(Sp)に含まれる1以上の構成要素に関する構成要素情報と、対象空間に対するセンシング結果とを参照して、構成要素に関連付けられる構成要素別センシング結果を特定するステップ(S112)と、
構成要素別センシング結果を参照して、対象空間のVR(Virtual Reality)画像を生成するステップ(S131)と
を具備する、情報処理方法。
対象空間(Sp)に含まれる1以上の構成要素に関する構成要素情報と、対象空間に対するセンシング結果とを参照して、構成要素に関連付けられる構成要素別センシング結果を特定するステップ(S112)と、
構成要素別センシング結果を参照して、対象空間のVR(Virtual Reality)画像を生成するステップ(S131)と
を具備する、情報処理方法。
(付記15)
コンピュータに、付記1~13の何れかに記載の各手段を実現させるためのプログラム。
コンピュータに、付記1~13の何れかに記載の各手段を実現させるためのプログラム。
1 :情報処理システム
10 :情報処理装置
11 :記憶装置
12 :プロセッサ
13 :入出力インタフェース
14 :通信インタフェース
30 :空間センサ
10 :情報処理装置
11 :記憶装置
12 :プロセッサ
13 :入出力インタフェース
14 :通信インタフェース
30 :空間センサ
Claims (15)
- 対象空間に含まれる1以上の構成要素に関する構成要素情報と、前記対象空間に対するセンシング結果とを参照して、前記構成要素に関連付けられる構成要素別センシング結果を特定する手段と、
前記構成要素別センシング結果を参照して、前記対象空間のVR(Virtual Reality)画像を生成する手段と
を具備する、情報処理装置。 - 前記センシング結果は、点群データである、
請求項1に記載の情報処理装置。 - 前記構成要素情報は、BIM(Building Information Modeling)データ、および間取り図データの少なくとも1つに基づく情報である、
請求項1または請求項2に記載の情報処理装置。 - ユーザの指示に応答して前記対象空間を特定する手段をさらに具備する、
請求項1乃至請求項3のいずれかに記載の情報処理装置。 - 前記1以上の構成要素は、第1の構成要素と第2の構成要素とを含み、
前記VR画像を生成する手段は、前記VR画像のうち前記第1の構成要素に対応する画像の表示形態と、前記VR画像のうち前記第2の構成要素に対応する画像の表示形態とが異なるように前記VR画像を生成する、
請求項1乃至請求項4のいずれかに記載の情報処理装置。 - 前記VR画像を表示する手段をさらに具備する、
請求項1乃至請求項5のいずれかに記載の情報処理装置。 - 前記VR画像を生成する手段は、ユーザの指示に応答して前記VR画像を編集する、
請求項1乃至請求項6のいずれかに記載の情報処理装置。 - 前記VR画像を生成する手段は、前記ユーザの指示に応答して、前記VR画像において、前記構成要素の少なくとも1つを削除する、
請求項7に記載の情報処理装置。 - 前記VR画像を生成する手段は、前記ユーザの指示に応答して、前記VR画像において、前記構成要素の少なくとも1つの位置、姿勢および形状の少なくとも1つを変更する、
請求項7または請求項8に記載の情報処理装置。 - 前記VR画像を生成する手段は、前記ユーザの指示に応答して、前記VR画像において、オブジェクトを追加する、
請求項7乃至請求項9のいずれかに記載の情報処理装置。 - 追加可能なオブジェクト一覧を表示する手段をさらに具備する、
請求項10に記載の情報処理装置。 - 前記追加可能なオブジェクト毎に、前記構成要素情報を用いて仮想配置面が定義され、
前記VR画像を生成する手段は、前記ユーザの指示に応答して、オブジェクトが当該オブジェクトに対応する仮想配置面に配置されるように前記VR画像を更新する、
請求項11に記載の情報処理装置。 - 前記ユーザの指示に応答して、前記VR画像に対して行われた編集内容を表す編集内容情報を保存する手段をさらに具備する、
請求項7乃至請求項11のいずれかに記載の情報処理装置。 - 対象空間に含まれる1以上の構成要素に関する構成要素情報と、前記対象空間に対するセンシング結果とを参照して、前記構成要素に関連付けられる構成要素別センシング結果を特定するステップと、
前記構成要素別センシング結果を参照して、前記対象空間のVR(Virtual Reality)画像を生成するステップと
を具備する、情報処理方法。 - コンピュータに、請求項1~13の何れかに記載の各手段を実現させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020116109A JP2022014002A (ja) | 2020-07-06 | 2020-07-06 | 情報処理装置、情報処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020116109A JP2022014002A (ja) | 2020-07-06 | 2020-07-06 | 情報処理装置、情報処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022014002A true JP2022014002A (ja) | 2022-01-19 |
Family
ID=80185110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020116109A Pending JP2022014002A (ja) | 2020-07-06 | 2020-07-06 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022014002A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024070602A1 (ja) * | 2022-09-29 | 2024-04-04 | 日本電気通信システム株式会社 | 情報表示システム、情報表示方法、プログラム |
-
2020
- 2020-07-06 JP JP2020116109A patent/JP2022014002A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024070602A1 (ja) * | 2022-09-29 | 2024-04-04 | 日本電気通信システム株式会社 | 情報表示システム、情報表示方法、プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6246914B2 (ja) | 未知の対象物に対する拡張現実コンテンツの生成 | |
JP5833772B2 (ja) | 実世界オブジェクトの3dモデルおよび正しい縮尺のメタデータをキャプチャし移動させるための方法およびシステム | |
TWI567659B (zh) | 照片表示視圖的基於主題的增強 | |
KR101737725B1 (ko) | 컨텐츠 생성 툴 | |
US7420556B2 (en) | Information processing method and information processing apparatus | |
TW202113759A (zh) | 三維場景工程類比與實景融合系統及方法 | |
KR101989089B1 (ko) | 클라우드 소싱 기반의 ar 컨텐츠 템플릿을 수집하여 ar 컨텐츠를 자동으로 생성하는 방법 및 시스템 | |
JP2007293429A (ja) | 画像閲覧装置、コンピュータの制御方法及びプログラム | |
CN102663799A (zh) | 利用创作系统创建可播放场景 | |
US20210255328A1 (en) | Methods and systems of a handheld spatially aware mixed-reality projection platform | |
CN111643899A (zh) | 一种虚拟物品显示方法、装置、电子设备和存储介质 | |
US10964104B2 (en) | Remote monitoring and assistance techniques with volumetric three-dimensional imaging | |
RU2656584C1 (ru) | Система проектирования объектов в среде виртуальной реальности в реальном времени | |
US11436384B2 (en) | Computer-aided techniques for iteratively generating designs | |
KR20210086837A (ko) | 증강현실을 이용한 실내 인테리어 시뮬레이션 방법 | |
Ye et al. | ProGesAR: Mobile AR Prototyping for Proxemic and Gestural Interactions with Real-world IoT Enhanced Spaces | |
JP2022014002A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR20190014895A (ko) | 가상 현실 기반의 고인 맞춤형 추모 시스템 | |
JP6152888B2 (ja) | 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム | |
Mohan et al. | Refined interiors using augmented reality | |
EP3649644A1 (en) | A method and system for providing a user interface for a 3d environment | |
Paes et al. | The relevance of visual cues in immersive environments: Does pictorial realism matter? | |
JP2023132142A (ja) | 情報処理方法、情報処理装置、及び情報処理プログラム | |
KR20190014894A (ko) | 가상 현실 기반의 고인 맞춤형 추모 시스템 | |
WO2020067204A1 (ja) | 学習用データ作成方法、機械学習モデルの生成方法、学習用データ作成装置及びプログラム |