JP2022114626A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】空間の状態を遠隔的に把握するために有用な視覚情報を提供する。【解決手段】本開示の一態様に係る情報処理装置は、空間に関する複数の第１空間画像を取得する手段と、複数の第１空間画像を参照し、第１点群を作成する手段と、空間に関する第２点群を取得する手段と、第１点群と第２点群との位置合わせを行う手段と、第１点群と第２点群との位置合わせの結果を参照し、画像処理を行う手段とを具備する。【選択図】図３

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

空間の状態を遠隔から把握すること（例えば、不動産のオンライン内覧、工事現場の管理の遠隔化）に関するニーズがある。しかしながら、人工的に作成された空間の３次元モデルは当該空間の実態を反映していないためリアリティに欠ける。監視カメラは視野が限られる。このように、空間の状態を遠隔的に把握するために有用な視覚情報を提供することは容易でない。

特許文献１には、カメラから取得された建築中の建造物内部の映像と、予め用意した建造物内部の３ＤＣＧ群のうち上記映像に対応する３ＤＣＧ画像とを重ね合わせることが記載されている。

特開2020-160563号公報

本開示の目的は、空間の状態を遠隔的に把握するために有用な視覚情報を提供することである。

本開示の一態様に係る情報処理装置は、空間に関する複数の第１空間画像を取得する手段と、複数の第１空間画像を参照し、第１点群を作成する手段と、空間に関する第２点群を取得する手段と、第１点群と第２点群との位置合わせを行う手段と、第１点群と第２点群との位置合わせの結果を参照し、画像処理を行う手段とを具備する。

第１の実施形態の情報処理システムの構成を示すブロック図である。 第１の実施形態のクライアント装置およびサーバの構成を示すブロック図である。 第１の実施形態の概要の説明図である。 第１の実施形態の情報処理の全体フローを示す図である。 図４のステップＳ１５０の第１の例を示すフローチャートである。 図４のステップＳ１５０の第２の例を示すフローチャートである。 第２の実施形態の概要の説明図である。 第２の実施形態の空間画像データベースのデータ構造を示す図である。 第２の実施形態の情報処理の全体フローを示す図である。 第３の実施形態の概要の説明図である。 第３の実施形態の情報処理の全体フローを示す図である。

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

（１）第１の実施形態
第１の実施形態について説明する。

（１－１）情報処理システムの構成
情報処理システムの構成について説明する。図１は、第１の実施形態の情報処理システムの構成を示すブロック図である。

図１に示すように、情報処理システム１は、クライアント装置１０と、サーバ３０とを備える。
クライアント装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。

クライアント装置１０は、情報処理装置の一例である。クライアント装置１０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。

サーバ３０は、情報処理装置の一例である。サーバ３０は、例えば、ウェブサーバである。サーバ３０は、クライアント装置１０からのリクエストに応じて、対象となる空間（「対象空間」と称する）を撮影した画像（「空間画像」と称する）に関する画像処理を実行する。

空間画像は、対象空間に設置されたセンサ（図示しない）によって生成される。ここで、画像とは、光学的なセンシング結果を意味する。以降の説明において、画像は、イメージセンサによって生成された２次元画像であることとする。しかしながら、画像は、デプスカメラによって生成された点群（カラー点群を含み得る）であってもよい。

センサは、対象空間に設置される。センサは、センシングを行い、画像を生成する。センサは、画像をサーバ３０または図示しない画像サーバに送信する。センサは、任意の種別の光学センサ装置である。センサは、以下のいずれかであってよい。
・カメラ
・デプスカメラ
・ＬＩＤＡＲ（Laser Imaging Detection and Ranging）
・ＴｏＦ（Time of Flight）カメラ
・レーザスキャナ

（１－１－１）クライアント装置の構成
第１の実施形態のクライアント装置の構成について説明する。図２は、第１の実施形態のクライアント装置およびサーバの構成を示すブロック図である。

図１に示すように、クライアント装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ）のプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータ及びデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動してデータを処理することによって、クライアント装置１０の機能を実現するように構成される。プロセッサ１２は、コンピュータの一例である。記憶装置１１により記憶されるプログラム及びデータは、ネットワークを介して提供されてもよいし、コンピュータにより読み取り可能な記録媒体に記録して提供されてもよい。なお、クライアント装置１０の機能の少なくとも一部が、１又は複数の専用のハードウェアにより実現されていてもよい。

入出力インタフェース１３は、クライアント装置１０に接続される入力デバイスから信号（例えば、ユーザの指示）を取得し、かつ、クライアント装置１０に接続される出力デバイスに信号（例えば、画像信号）を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。

通信インタフェース１４は、クライアント装置１０とサーバ３０との間の通信を制御するように構成される。

（１－１－２）サーバの構成
第１の実施形態のサーバの構成について説明する。

図２に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。

記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータ及びデータベース
・情報処理の実行結果

プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するように構成される。プロセッサ３２は、コンピュータの一例である。記憶装置３１により記憶されるプログラム及びデータは、ネットワークを介して提供されてもよいし、コンピュータにより読み取り可能な記録媒体に記録して提供されてもよい。なお、サーバ３０の機能の少なくとも一部が、１又は複数の専用のハードウェアにより実現されていてもよい。

入出力インタフェース３３は、サーバ３０に接続される入力デバイスから信号（例えば、ユーザの指示）を取得し、かつ、サーバ３０に接続される出力デバイスに信号（例えば、画像信号）を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。

通信インタフェース３４は、サーバ３０とクライアント装置１０との間の通信を制御するように構成される。

（１－２）実施形態の概要
第１の実施形態の概要について説明する。図３は、第１の実施形態の概要の説明図である。

図３に示すように、カメラＣＡＭ１１は、空間ＳＰを複数の異なる視点から撮影し、複数の空間画像ＳＩ１１を生成する。
第１の例では、カメラＣＡＭ１１の位置または姿勢の少なくとも１つを変更することにより、カメラＣＡＭ１１は、複数の位置または姿勢で、空間ＳＰを複数回撮影することで、複数の空間画像ＳＩ１１を生成する。
第２の例では、カメラＣＡＭ１１は多眼カメラである。カメラＣＡＭ１１は、複数の異なる視点から同時に空間ＳＰを撮影することで、複数の空間画像ＳＩ１１を生成する。

サーバ３０は、カメラＣＡＭ１１または図示しない画像サーバから送信された複数の空間画像ＳＩ１１を取得する。サーバ３０は、複数の空間画像ＳＩ１１を参照し、点群ＰＣ１１を生成する。一例として、サーバ３０は、複数の空間画像ＳＩ１１に対してＳｆＭ（Structure from Motion）処理を行うことで、点群ＰＣ１１を生成する。

デプスカメラＤＣ１２は、空間ＳＰに対して３次元計測を行い、点群ＰＣ１２を生成する。
サーバ３０は、デプスカメラＤＣ１２または図示しない画像サーバから送信された点群ＰＣ１２を取得する。

サーバ３０は、点群ＰＣ１１と点群ＰＣ１２との位置合わせを行う。一例として、サーバ３０は、点群ＰＣ１１および点群ＰＣ１２に対してＩＰＣ（Iterative Closest Point）処理を行うことにより、点群ＰＣ１１および点群ＰＣ１２の位置合わせを実現してもよい。

サーバ３０は、点群ＰＣ１１、または点群ＰＣ１２の少なくとも１つを参照し、メッシュＭＳ１１を生成する。

サーバ３０は、点群ＰＣ１１と点群ＰＣ１２との位置合わせの結果を参照し、複数の空間画像ＳＩ１１に基づくテクスチャをメッシュＭＳ１１に貼り付ける。

これにより、サーバ３０は、空間ＳＰの状態を反映したテクスチャの貼り付けられたメッシュＭＳ１１を、当該空間ＳＰの状態を遠隔的に把握するために有用な視覚情報として提供することができる。

（１－３）情報処理
第１の実施形態の情報処理について説明する。図４は、第１の実施形態の情報処理の全体フローを示す図である。図５は、図４のステップＳ１５０の第１の例を示すフローチャートである。図６は、図４のステップＳ１５０の第２の例を示すフローチャートである。

情報処理は、開始条件が成立したことに応じて開始する。開始条件は、例えば以下の少なくとも１つを含むことができる。
・クライアント装置１０に対してユーザにより情報処理の開始指示が入力され、サーバ３０がクライアント装置１０から情報処理の開始リクエストを受信した
・対象空間に関する複数の第１空間画像を取得可能であることが、クライアント装置１０、カメラまたは画像サーバ（図示し合い）から通知された。

図４に示すように、サーバ３０は、第１空間画像の取得（Ｓ１１０）を実行する。
具体的には、プロセッサ３２は、カメラまたは画像サーバから送信された、対象空間に関する複数の第１空間画像を取得する。

複数の第１空間画像は、互いに視点が異なる。複数の第１空間画像は、ステレオカメラまたは３以上の多眼カメラによって対象空間を撮影することで生成されてもよいし、単眼カメラの位置または姿勢の少なくとも１つを変更しながら対象空間を複数回に亘って撮影することで生成されてもよい。

ステップＳ１１０の後に、サーバ３０は、第１点群の作成（Ｓ１２０）を実行する。
具体的には、プロセッサ３２は、ステップＳ１１０において取得した複数の第１空間画像を参照し、第１点群を作成する。一例として、プロセッサ３２は、複数の第１空間画像に対してＳｆＭ処理を行うことにより、第１点群を作成する。

ステップＳ１２０の後に、サーバ３０は、第２点群の取得（Ｓ１３０）を実行する。
具体的には、プロセッサ３２は、デプスカメラまたは画像サーバから送信された、対象空間に関する第２点群を取得する。一例として、第２点群は、デプスカメラが対象空間に対して３次元計測を行うことで生成される。

ステップＳ１３０の後に、サーバ３０は、点群の位置合わせ（Ｓ１４０）を実行する。
具体的には、プロセッサ３２は、ステップＳ１２０において取得した第１点群とステップＳ１３０において取得した第２点群との位置合わせを行う。一例として、プロセッサ３２は、第１点群および第２点群に対してＩＰＣ処理を行う。

ステップＳ１４０の後に、サーバ３０は、画像処理（Ｓ１５０）を実行する。
具体的には、プロセッサ３２は、ステップＳ１４０における位置合わせの結果を参照し、画像処理を行う。

画像処理（Ｓ１５０）の第１の例では、サーバ３０は、図５に示す処理を行う

図５に示すように、サーバ３０は、メッシュの作成（Ｓ１５０１）を実行する。
具体的には、プロセッサ３２は、点群を参照し、メッシュを作成する。一例として、プロセッサ３２は、第１点群、第２点群、またはこれらの組み合わせを参照し、メッシュを作成する。

ステップＳ１５０１の後に、サーバ３０は、テクスチャの貼り付け（Ｓ１５０２）を実行する。
具体的には、プロセッサ３２は、ステップＳ１１０において取得した複数の第１空間画像と、ステップＳ１４０における位置合わせの結果とを参照し、ステップＳ１５０１において作成したメッシュ毎に、第１空間画像に対応するテクスチャを生成する。プロセッサ３２は、生成したテクスチャをメッシュに貼り付ける。プロセッサ３２は、複数のメッシュに対して同一のテクスチャを貼り付けることもある。

ステップＳ１５０２を以て、サーバ３０は、画像処理（Ｓ１５０）の第１の例を終了する。

画像処理（Ｓ１５０）の第１の例によれば、リアルなテクスチャを貼られたメッシュを得ることできる。

画像処理（Ｓ１５０）の第２の例では、サーバ３０は、図５と同様に、メッシュの作成（Ｓ１５０１）を実行する。

ステップＳ１５０１の後に、サーバ３０は、メッシュとモデルの位置合わせ（Ｓ１５１０）を実行する。
具体的には、プロセッサ３２は、ステップＳ１５０１において作成したメッシュの基準座標と、対象空間の３次元形状に関する空間モデルの基準座標の位置を合わせる。これにより、プロセッサ３２は、基準座標系におけるメッシュの位置を決定する。空間モデルは、記憶装置３１に保存されている。空間モデルは、例えばＢＩＭ（Building Information Modeling）データである。プロセッサ３２は、まず複数の第１空間画像の少なくとも１つ（以下、「対象空間画像」と称する）の基準座標と、空間モデルの基準座標の位置を合わせる。これにより、プロセッサ３２は、対象空間画像とメッシュとの位置関係を元に、メッシュと空間モデルとの位置合わせを行うことができる。ここで、対象空間画像と第１点群との位置関係は、第１点群の作成（Ｓ１２０）の処理結果を元に特定可能である。そして、第１点群とメッシュとの位置関係は、点群の位置合わせ（Ｓ１４０）、およびメッシュの作成（Ｓ１５０１）の処理結果を元に特定可能である。故に、対象空間画像とメッシュとの位置関係は、ステップＳ１５１０の実行時における既知情報である。

ステップＳ１５１０の第１の例として、プロセッサ３２は、対象空間画像の撮影条件および空間モデルの座標系（以下、「基準座標系」と称する）を参照して基準座標系における対象空間画像の撮影方向を特定することで、対象空間画像と空間モデルとの位置合わせを行う。ここで、撮影条件は、対象空間画像を撮影したカメラの位置、姿勢、焦点距離、またはそれらの組み合わせである。撮影条件は、対象空間画像とともにカメラによって送信されてもよいし、記憶装置３１に予め格納されていてもよい。例えば、プロセッサ３２は、対象空間画像を撮影したカメラの現実空間の位置および姿勢に対応する基準座標系における位置および姿勢を特定する。プロセッサ３２は、特定した基準座標系における位置および姿勢と、カメラの焦点距離とを参照し、基準座標系における仮想カメラの位置および姿勢と、焦点距離とを決定する。プロセッサ３２は、仮想カメラにより空間モデルを撮影したモデル画像と、対象空間画像とを比較する。一例として、プロセッサ３２は、モデル画像から抽出した特徴量（例えばエッジ）と、対象空間画像から抽出した特徴量とを比較することにより、対象空間画像の任意の画素の基準座標系における位置を決定する。

ステップＳ１５１０の第２の例として、プロセッサ３２は、空間モデルを特定の視点から撮影したモデル画像を対象空間画像と比較し、対象空間画像と空間モデルとの位置合わせを行う。例えば、プロセッサ３２は、視点（つまり仮想カメラの原点）を所定のアルゴリズムに従って選択することと、選択した視点から仮想カメラで空間モデルを撮影してモデル画像を得ることとを、視点を変更しながら繰り返す。仮想カメラの原点を座標変換することで、視点を変更することができる。プロセッサ３２は、撮影された複数のモデル画像のうち対象空間画像との比較対象となるモデル画像（「対象モデル画像」）を決定する。対象モデル画像は、以下のいずれかであってよい。
・ユーザによって選択されたモデル画像
・所定のオブジェクト（例えば、対象空間画像における被写体の１つ）に対応するオブジェクト画像を含むモデル画像
複数のモデル画像がオブジェクト画像を含む場合に、プロセッサ３２は、オブジェクト画像の面積が最も大きいモデル画像、またはオブジェクトからの距離が最も近い視点に対応するモデル画像を対象モデル画像として決定してもよい。
プロセッサ３２は、対象モデル画像の任意の画素（「対象画素」）の基準座標系における位置を当該対象画素に対応する対象空間画像の画素の基準座標系における位置として決定する。

ステップＳ１５１１を以て、サーバ３０は、画像処理（Ｓ１５０）の第２の例を終了する。

画像処理（Ｓ１５０）の第２の例によれば、対象空間に存在し、かつ空間モデルに定義されていない３次元構造をメッシュ化することができる。作成したメッシュを空間モデルとともに表示することで、空間モデルの視覚情報を強化することができる。

画像処理（Ｓ１５０）の第３の例では、サーバ３０は、ステップＳ１４０における位置合わせの結果を参照し、第１点群と第２点群とを合成する。画像処理（Ｓ１５０）の第３の例によれば、第１点群または第２点群の情報量を補強することができる。

画像処理（Ｓ１５０）の第４の例では、サーバ３０は、前述の第１の例～第３の例のうち少なくとも２つの組み合わせを実行する。

ステップＳ１５０を以て、サーバ３０は、情報処理（図４）を終了する。

（１－４）小括
以上説明したように、第１の実施形態のサーバ３０は、対象空間を撮影した複数の第１空間画像を参照し、対象空間に関する第１点群を作成する。サーバ３０は、第１点群と、対象空間に関する第２点群との位置合わせを行い、位置合わせの結果を参照して画像処理を行う。この画像処理により、座標系の異なる視覚情報が融合される。従って、第１の実施形態のサーバ３０によれば、画像処理の結果を、対象空間の状態を遠隔的に把握するために有用な視覚情報として提供することができる。

例えば、第１の実施形態のサーバ３０は、第１点群または第２点群の少なくとも１つを参照してメッシュを作成し、かつ第１点群および第２点群の位置合わせの結果を参照して複数の第１空間画像に基づくテクスチャをメッシュに貼り付けてもよい。これにより、リアルなテクスチャを貼られたメッシュを得ることができる。

例えば、第１の実施形態のサーバ３０は、第１点群または第２点群の少なくとも１つを参照してメッシュを作成し、メッシュと対象空間の３次元形状に関する空間モデルとの位置合わせを行うことにより基準座標系におけるメッシュの位置を決定してもよい。これにより、対象空間に存在し、かつ空間モデルに定義されていない３次元構造をメッシュ化することができる。作成したメッシュを空間モデルとともに表示することで、空間モデルの視覚情報を強化することができる。

例えば、第１の実施形態のサーバ３０は、第１点群および第２点群の位置合わせの結果を参照し、第１点群と第２点群とを合成してもよい。これにより、第１点群または第２点群の情報量を補強することができる。

（２）第２の実施形態
第２の実施形態について説明する。但し、上述の実施形態と同様の説明は省略する。

（２－１）実施形態の概要
第２の実施形態の概要について説明する。図７は、第２の実施形態の概要の説明図である。

図７に示すように、カメラＣＡＭ２１は、空間ＳＰを複数の異なる視点から撮影し、複数の空間画像ＳＩ２１を生成する。サーバ３０は、カメラＣＡＭ２１または図示しない画像サーバから送信された複数の空間画像ＳＩ２１を取得する。サーバ３０は、複数の空間画像ＳＩ２１を参照し、点群ＰＣ２１を生成する。一例として、サーバ３０は、複数の空間画像ＳＩ２１に対してＳｆＭ処理を行うことにより、点群ＰＣ２１を生成する。

カメラＣＡＭ２２は、空間ＳＰを複数の異なる視点から撮影し、複数の空間画像ＳＩ２２を生成する。サーバ３０は、カメラＣＡＭ２２または図示しない画像サーバから送信された複数の空間画像ＳＩ２２を取得する。サーバ３０は、複数の空間画像ＳＩ２２を参照し、点群ＰＣ２２を生成する。一例として、サーバ３０は、複数の空間画像ＳＩ２２に対してＳｆＭ処理を行うことにより、点群ＰＣ２２を生成する。

カメラＣＡＭ２１、およびカメラＣＡＭ２２は、異なるカメラであってもよい。一例として、カメラＣＡＭ２１は固定式の監視カメラであって、カメラＣＡＭ２２は空間ＳＰ内を移動する人間が装備するウェアラブルカメラであってよい。

サーバ３０は、点群ＰＣ２１と点群ＰＣ２２との位置合わせを行う。一例として、サーバ３０は、点群ＰＣ２１および点群ＰＣ２２に対してＩＰＣ処理を行うことにより、点群ＰＣ２１および点群ＰＣ２２の位置合わせを実現してもよい。

サーバ３０は、点群ＰＣ２１と点群ＰＣ２２との位置合わせの結果を参照し、複数の空間画像ＳＩ２１のうち少なくとも１つと複数の空間画像ＳＩ２２のうち少なくとも１つとを合成する。

これにより、サーバ３０は、異なるカメラＣＡＭ２１およびＣＡＭ２２が空間ＳＰを撮影することで生成された画像の合成結果を、当該空間ＳＰの状態を遠隔的に把握するために有用な視覚情報として提供することができる。

（２－２）データベース
第２の実施形態のデータベースについて説明する。以下のデータベースは、記憶装置３１に記憶される。

（２－２－１）空間画像データベース
第２の実施形態の空間画像データベースについて説明する。図８は、第２の実施形態の空間画像データベースのデータ構造を示す図である。

空間画像データベースには、空間画像情報が格納される。空間画像情報は、空間画像に関する情報である。

図８に示すように、空間画像データベースは、カメラ毎のテーブルを含む。各テーブルは、「画像ＩＤ」フィールドと、「撮影時刻」フィールドと、「カメラ位置」フィールドと、「カメラ姿勢」フィールドと、「参照先」フィールドとを含む。各フィールドは、互いに関連付けられている。

「画像ＩＤ」フィールドには、画像ＩＤが格納される。画像ＩＤは、空間画像を識別する情報である。

「撮影時刻」フィールドには、撮影時刻情報が格納される。撮影時刻情報は、空間画像の撮影時刻に関する情報である。

「カメラ位置」フィールドは、カメラ位置情報が格納される。カメラ位置情報は、空間画像の撮影時におけるカメラの位置に関する情報である。カメラの位置は、基準座標系における位置であってもよいし、カメラ座標系における位置であってもよい。カメラ座標系は、空間画像を撮影したカメラを基準とする座標系である。カメラの位置がカメラ座標系における位置である場合に、サーバ３０は、カメラ座標系と基準座標系との対応関係を参照し、基準座標系におけるカメラの位置を特定する。

「カメラ姿勢」フィールドは、カメラ姿勢情報が格納される。カメラ姿勢情報は、空間画像の撮影時におけるカメラの姿勢に関する情報である。カメラの姿勢は、基準座標系における姿勢であってもよいし、カメラ座標系における姿勢であってもよい。カメラの姿勢がカメラ座標系における姿勢である場合に、サーバ３０は、カメラ座標系と基準座標系との対応関係を参照し、基準座標系におけるカメラの姿勢を特定する。

「参照先」フィールドは、参照先情報が格納される。参照先情報は、空間画像の参照先に関する情報である。一例として、参照先情報は、空間画像データの格納場所を特定するファイルパスである。

（２－３）情報処理
第２の実施形態の情報処理について説明する。図９は、第２の実施形態の情報処理の全体フローを示す図である。

情報処理は、サーバ３０が、クライアント装置１０から情報処理のリクエストを受信したこと、または他の開始条件が成立したことに応じて開始する。

図９に示すように、サーバ３０は図４と同様に、第１空間画像の取得（Ｓ１１０）、および第１点群の作成（Ｓ１２０）を実行する。

ステップＳ１２０の後に、サーバ３０は、第２空間画像の取得（Ｓ２３１）を実行する。
具体的には、プロセッサ３２は、カメラまたは画像サーバから送信された、対象空間に関する複数の第２空間画像を取得する。

複数の第２空間画像は、互いに視点が異なる。複数の第２空間画像は、ステレオカメラまたは３以上の多眼カメラによって対象空間を撮影することで生成されてもよいし、単眼カメラの位置または姿勢の少なくとも１つを変更しながら対象空間を複数回に亘って撮影することで生成されてもよい。第２の空間画像を撮影するカメラは、第１の空間画像を撮影するカメラと異なる。一例として、第１の空間画像は監視カメラによって撮影され、第２の空間画像はウェアラブルカメラによって撮影される。

ステップＳ２３１の後に、サーバ３０は、第２点群の作成（Ｓ２３２）を実行する。
具体的には、プロセッサ３２は、ステップＳ２３１において取得した複数の第２空間画像を参照し、第２点群を作成する。一例として、プロセッサ３２は、複数の第２空間画像に対してＳｆＭ処理を行うことにより、第２点群を作成する。

ステップＳ２３２の後に、サーバ３０は、点群の位置合わせ（Ｓ２４０）を実行する。
具体的には、プロセッサ３２は、ステップＳ１２０において取得した第１点群とステップＳ２３２において取得した第２点群との位置合わせを行う。一例として、プロセッサ３２は、第１点群および第２点群に対してＩＰＣ処理を行う。

ステップＳ２４０の後に、サーバ３０は、画像処理（Ｓ２５０）を実行する。
具体的には、プロセッサ３２は、ステップＳ２４０における位置合わせの結果を参照し、画像処理を行う。

画像処理（Ｓ２５０）の第１の例～第３の例では、それぞれ、サーバ３０は、画像処理（Ｓ１５０）の第１の例（図５）～第３の例と同様の処理を行う。

画像処理（Ｓ２５０）の第４の例では、サーバ３０は、ステップＳ２４０における位置合わせの結果を参照し、ステップＳ１１０において取得した複数の第１空間画像の少なくとも１つとステップＳ２３１において取得した複数の第２空間画像の少なくとも１つとを合成する。一例として、サーバ３０は、複数の第１空間画像のうち対象となる撮影時刻（以下、「対象撮影時刻」と称する）に関連付けられる少なくとも１つの第１空間画像と、複数の第２空間画像のうち対象撮影時刻に関連付けられる少なくとも１つの第２空間画像とを合成する。空間画像の撮影時刻と対象撮影時刻との差が閾値以下である場合に、第１空間画像及び第２空間画像は、対象撮影時刻に関連付けられ得る。

画像処理（Ｓ２５０）の第５の例では、サーバ３０は、前述の第１の例～第４の例のうち少なくとも２つの組み合わせを実行する。

ステップＳ２５０を以て、サーバ３０は、情報処理（図９）を終了する。

（２－４）小括
以上説明したように、第２の実施形態のサーバ３０は、対象空間を撮影した複数の第１空間画像を参照し、対象空間に関する第１点群を作成する。サーバ３０は、対象空間を撮影した複数の第２空間画像を参照し、対象空間に関する第２点群を作成する。サーバ３０は、第１点群と第２点群との位置合わせを行い、位置合わせの結果を参照して画像処理を行う。この画像処理により、座標系の異なる視覚情報が融合される。従って、第２の実施形態のサーバによれば、画像処理の結果を、対象空間の状態を遠隔的に把握するために有用な視覚情報として提供することができる。

例えば、第２の実施形態のサーバ３０は、第１点群および第２点群の位置合わせの結果を参照し、第１空間画像と第２空間画像とを合成してもよい。これにより、第１空間画像または第２空間画像の情報量を補強することができる。ここで、サーバ３０は、複数の第１空間画像のうち対象撮影時刻に関連付けられる少なくとも１つと第２空間画像のうち対象撮影時刻に関連付けられる少なくとも１つとを合成してもよい。これにより、時間経過に伴う物体の位置や明るさの変化の小さい空間画像同士を合成することができる。

（３）第３の実施形態
第３の実施形態について説明する。但し、上述の実施形態と同様の説明は省略する。

（３－１）実施形態の概要
第３の実施形態の概要について説明する。図１０は、第３の実施形態の概要の説明図である。

図１０に示すように、カメラＣＡＭ３１は、空間ＳＰを撮影し、空間画像ＳＩ３１を生成する。サーバ３０は、カメラＣＡＭ３１または図示しない画像サーバから送信された空間画像ＳＩ３１を取得する。

サーバ３０は、空間画像ＳＩ３１と、空間ＳＰの３次元形状に関する空間モデルＳＭ３１との位置合わせを行う。空間モデルＳＭ３１は、記憶装置３１に保存されている。空間モデルＳＭ３１は、例えばＢＩＭデータである。

サーバ３０は、空間画像ＳＩ３１と空間モデルＳＭ３１との位置合わせの結果を参照し、空間画像ＳＩ３１に基づくテクスチャを空間モデルＳＭ３１に貼り付けることで、空間モデルＳＭ３２を作成する。

これにより、サーバ３０は、空間ＳＰの状態を反映したテクスチャの貼り付けられた空間モデルＳＭ３２を、当該空間ＳＰの状態を遠隔的に把握するために有用な視覚情報として提供することができる。

（３－２）情報処理
第３の実施形態の情報処理について説明する。図１１は、第３の実施形態の情報処理の全体フローを示す図である。

情報処理は、サーバ３０が、クライアント装置１０から情報処理のリクエストを受信したこと、または他の開始条件が成立したことに応じて開始する。

図１１に示すように、サーバ３０は、空間画像の取得（Ｓ３１０）を実行する。
具体的には、プロセッサ３２は、カメラまたは画像サーバから送信された、対象空間に関する空間画像（例えば、「第１の空間画像」又は「第２の空間画像」）を取得する。

ステップＳ３１０の後に、サーバ３０は、空間画像と空間モデルとの位置合わせ（Ｓ３２０）を実行する。
具体的には、プロセッサ３２は、ステップＳ３１０において取得した空間画像と空間モデルとの位置合わせを行う。一例として、プロセッサ３２は、空間画像に含まれる各画素の位置を基準座標系における位置へ変換する。

空間画像と空間モデルとの位置合わせ（Ｓ３２０）の第１例では、プロセッサ３２は、空間画像の撮影条件および基準座標系を参照して空間画像の撮影方向を基準座標系で再現することで、空間画像と空間モデルとの位置合わせを行う。ここで、撮影条件は、空間画像を撮影したカメラの位置、姿勢、焦点距離、またはそれらの組み合わせである。撮影条件は、空間画像とともにカメラによって送信されてもよいし、記憶装置３１に予め格納されていてもよい。例えば、プロセッサ３２は、空間画像を撮影したカメラの現実空間の位置および姿勢に対応する基準座標系における位置および姿勢を特定する。プロセッサ３２は、特定した基準座標系における位置および姿勢と、カメラの焦点距離とを参照し、基準座標系における仮想カメラの位置および姿勢と、焦点距離とを決定する。プロセッサ３２は、仮想カメラにより空間モデルを撮影したモデル画像と、空間画像とを比較する。一例として、プロセッサ３２は、モデル画像から抽出した特徴量（例えばエッジ）と、空間画像から抽出した特徴量とを比較することにより、空間画像の任意の画素の基準座標系における位置を決定する。

空間画像と空間モデルとの位置合わせ（Ｓ３２０）の第２例では、プロセッサ３２は、空間モデルを特定の視点から撮影したモデル画像を空間画像と比較し、空間画像と空間モデルとの位置合わせを行う。例えば、プロセッサ３２は、視点（つまり仮想カメラの原点）を所定のアルゴリズムに従って選択することと、選択した視点から仮想カメラで空間モデルを撮影してモデル画像を得ることとを、視点を変更しながら繰り返す。仮想カメラの原点を座標変換することで、視点を変更することができる。プロセッサ３２は、撮影された複数のモデル画像のうち空間画像との比較対象となるモデル画像（「対象モデル画像」）を決定する。対象モデル画像は、以下のいずれかであってよい。
・ユーザによって選択されたモデル画像
・所定のオブジェクト（例えば、空間画像における被写体の１つ）に対応するオブジェクト画像を含むモデル画像
複数のモデル画像がオブジェクト画像を含む場合に、プロセッサ３２は、オブジェクト画像の面積が最も大きいモデル画像、またはオブジェクトからの距離が最も近い視点に対応するモデル画像を対象モデル画像として決定してもよい。
プロセッサ３２は、対象モデル画像の任意の画素（「対象画素」）の基準座標系における位置を当該対象画素に対応する空間画像の画素の基準座標系における位置として決定する。

ステップＳ３２０の後に、サーバ３０は、テクスチャの貼り付け（Ｓ３３０）を実行する。
具体的には、プロセッサ３２は、ステップＳ３１０において取得した空間画像と、ステップＳ３２０における位置合わせの結果とを参照し、空間モデルに対応するテクスチャを生成する。プロセッサ３２は、生成したテクスチャを空間モデルに貼り付ける。

ステップＳ３３０を以て、サーバ３０は、情報処理（図１１）を終了する。

（３－３）小括
以上説明したように、第３の実施形態のサーバ３０は、対象空間を撮影した空間画像と、対象空間の３次元形状に関する空間モデルとの位置合わせを行う。サーバ３０は、空間画像と空間モデルとの位置合わせの結果を参照して空間画像に基づくテクスチャを空間モデルに貼り付ける。従って、第３の実施形態のサーバによれば、リアルなテクスチャの貼られた空間モデルを、対象空間の状態を遠隔的に把握するために有用な視覚情報として提供することができる。

（４）その他の変形例
記憶装置１１は、ネットワークＮＷを介して、クライアント装置１０と接続されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。

上記の情報処理の各ステップは、クライアント装置１０及びサーバ３０の何れでも実行可能である。

フローチャートの各ステップの実行順序は、依存関係がない限りは説明した例に制限されない。

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
（５）付記
実施形態および変形例で説明した事項を、以下に付記する。

（付記１）
空間に関する複数の第１空間画像を取得する手段（Ｓ１１０）と、
複数の第１空間画像を参照し、第１点群を作成する手段（Ｓ１２０）と、
空間に関する第２点群を取得する手段（Ｓ１３０，Ｓ２３２）と、
第１点群と第２点群との位置合わせを行う手段（Ｓ１４０，Ｓ２４０）と、
第１点群と第２点群との位置合わせの結果を参照し、画像処理を行う手段（Ｓ１５０，Ｓ２５０）と
を具備する、情報処理装置（３０）。

（付記２）
画像処理を行う手段は、
第１点群または第２点群の少なくとも１つを参照し、メッシュを作成し（Ｓ１５０１）、
第１点群と第２点群との位置合わせの結果を参照し、複数の第１空間画像に基づくテクスチャをメッシュに貼り付ける（Ｓ１５０２）、
付記１に記載の情報処理装置。

（付記３）
画像処理を行う手段は、
第１点群および第２点群の少なくとも１つを参照し、メッシュを作成し（Ｓ１５０１）、
メッシュと空間の３次元形状に関する空間モデルとの位置合わせを行うことにより、空間モデルの座標系におけるメッシュの位置を決定する（Ｓ１５１０）
付記１または付記２に記載の情報処理装置。

（付記４）
空間に関する複数の第２空間画像を取得する手段（Ｓ２３１）をさらに具備し、
第２点群を取得する手段（Ｓ２３２）は、複数の第２空間画像を参照し、第２点群を取得し、
画像処理を行う手段は、第１点群と第２点群との位置合わせの結果を参照し、複数の第１空間画像の少なくとも１つと複数の第２空間画像の少なくとも１つとを合成する、
付記１に記載の情報処理装置。

（付記５）
画像処理を行う手段は、複数の第１空間画像のうち対象撮影時刻に関連付けられる少なくとも１つと複数の第２空間画像のうち対象撮影時刻に関連付けられる少なくとも１つとを合成する、
付記４に記載の情報処理装置。

（付記６）
画像処理を行う手段は、第１点群と第２点群との位置合わせの結果を参照し、第１点群と第２点群とを合成する、
付記１に記載の情報処理装置。

（付記７）
空間に関する空間画像を取得する手段（Ｓ３１０）と、
空間画像と、空間の３次元形状に関する空間モデルとの位置合わせを行う手段（Ｓ３２０）と、
位置合わせの結果を参照し、空間画像に基づくテクスチャを空間モデルに貼り付ける手段（Ｓ３３０）と
を具備する、情報処理装置（３０）。

（付記８）
コンピュータ（３０）が、
空間に関する複数の第１空間画像を取得すること（Ｓ１１０）と、
複数の第１空間画像を参照し、第１点群を作成すること（Ｓ１２０）と、
空間に関する第２点群を取得すること（Ｓ１３０，Ｓ２３２）と、
第１点群と第２点群との位置合わせを行うこと（Ｓ１４０，Ｓ２４０）と、
第１点群と第２点群との位置合わせの結果を参照し、画像処理を行うこと（Ｓ１５０，Ｓ２５０）と
を具備する、情報処理方法。

（付記９）
コンピュータ（３０）が、
空間に関する空間画像を取得すること（Ｓ３１０）と、
空間画像と、空間の３次元形状に関する空間モデルとの位置合わせを行うこと（Ｓ３２０）と、
位置合わせの結果を参照し、空間画像に基づくテクスチャを空間モデルに貼り付けること（Ｓ３３０）と
を具備する、情報処理方法。

（付記１０）
コンピュータ（３０）に、付記１～付記９の何れかに記載の各手段を実現させるためのプログラム。

１ ：情報処理システム
１０ ：クライアント装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース

Claims (10)

1. 空間に関する複数の第１空間画像を取得する手段と、
   前記複数の第１空間画像を参照し、第１点群を作成する手段と、
   前記空間に関する第２点群を取得する手段と、
   前記第１点群と前記第２点群との位置合わせを行う手段と、
   前記第１点群と前記第２点群との位置合わせの結果を参照し、画像処理を行う手段と
   を具備する、情報処理装置。
2. 前記画像処理を行う手段は、
   前記第１点群または前記第２点群の少なくとも１つを参照し、メッシュを作成し、
   前記第１点群と前記第２点群との位置合わせの結果を参照し、前記複数の第１空間画像に基づくテクスチャを前記メッシュに貼り付ける、
   請求項１に記載の情報処理装置。
3. 前記画像処理を行う手段は、
   前記第１点群および前記第２点群の少なくとも１つを参照し、メッシュを作成し、
   前記メッシュと前記空間の３次元形状に関する空間モデルとの位置合わせを行うことにより、前記空間モデルの座標系における前記メッシュの位置を決定する、
   請求項１または請求項２に記載の情報処理装置。
4. 前記空間に関する複数の第２空間画像を取得する手段をさらに具備し、
   前記第２点群を取得する手段は、前記複数の第２空間画像を参照し、前記第２点群を取得し、
   前記画像処理を行う手段は、前記第１点群と前記第２点群との位置合わせの結果を参照し、前記複数の第１空間画像の少なくとも１つと前記複数の第２空間画像の少なくとも１つとを合成する、
   請求項１に記載の情報処理装置。
5. 前記画像処理を行う手段は、前記複数の第１空間画像のうち対象撮影時刻に関連付けられる少なくとも１つと前記複数の第２空間画像のうち前記対象撮影時刻に関連付けられる少なくとも１つとを合成する、
   請求項４に記載の情報処理装置。
6. 前記画像処理を行う手段は、前記第１点群と前記第２点群との位置合わせの結果を参照し、前記第１点群と前記第２点群とを合成する、
   請求項１に記載の情報処理装置。
7. 空間に関する空間画像を取得する手段と、
   前記空間画像と、前記空間の３次元形状に関する空間モデルとの位置合わせを行う手段と、
   前記位置合わせの結果を参照し、前記空間画像に基づくテクスチャを前記空間モデルに貼り付ける手段と
   を具備する、情報処理装置。
8. コンピュータが、
   空間に関する複数の第１空間画像を取得することと、
   前記複数の第１空間画像を参照し、第１点群を作成することと、
   前記空間に関する第２点群を取得することと、
   前記第１点群と前記第２点群との位置合わせを行うことと、
   前記第１点群と前記第２点群との位置合わせの結果を参照し、画像処理を行うことと
   を具備する、情報処理方法。
9. コンピュータが、
   空間に関する空間画像を取得することと、
   前記空間画像と、前記空間の３次元形状に関する空間モデルとの位置合わせを行うことと、
   前記位置合わせの結果を参照し、前記空間画像に基づくテクスチャを前記空間モデルに貼り付けることと
   を具備する、情報処理方法。
10. コンピュータに、請求項１～請求項９の何れかに記載の各手段を実現させるためのプログラム。
    

Images