JP2020017898A - 画像共有システム、画像共有方法 - Google Patents

Abstract

【課題】同一の装置により取得された画像を複数人で共有でき、その画像を共有する鑑賞者の各々がその画像を鑑賞する視点の位置を自由に操作することができる画像共有システム、画像共有方法を提供する。【解決手段】所定領域における三次元空間の三次元形状を示す空間情報を取得する空間測定部と、前記空間情報に基づいて、前記三次元空間を復元した三次元モデルを生成する三次元モデル生成部と、鑑賞者の視点位置及び視線方向に関する視線情報を取得する視線情報取得部と、前記三次元モデル、及び前記視線情報に基づいて、前記三次元モデルを前記鑑賞者により鑑賞される鑑賞側端末装置から見える景色方向に応じた空間画像として生成する表示制御部を備える。【選択図】図１

Description

本発明は、画像共有システム、画像共有方法に関する。

近年、観光地などの様子を撮像したライブ画像や監視カメラの画像を、その撮像場所から離れた別の場所においてリアルタイムで鑑賞できる環境が整いつつある。（例えば、特許文献１）。この特許文献１に記載の技術を用いれば、観光地などの様子を３６０度撮像可能なカメラ等により撮像した画像を、通信ネットワークを介してリアルタイムで転送し、その観光地から離れた別の場所において大型の半円柱型ディスプレイ（もしくは半球ドーム型スクリーン）に投影して鑑賞者に鑑賞させることが可能である。そして、鑑賞者が装着したヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ、頭部装着型ディスプレイ）（以下、ＨＭＤという）の動きと、ＨＭＤに表示させる画像の方向とを連動させることにより、あたかもその観光地にいるかのような体験をすることが可能である。この場合、鑑賞者は、３６０度撮像可能なカメラにより撮像された画像を、ＨＭＤを装着して鑑賞しながら、右を向いたり左を向いたりすることにより鑑賞したい方向の景色を示す画像を鑑賞することができる。

特開２０１５−１７３５０６号公報

しかしながら、鑑賞者は鑑賞したい方向の風景を鑑賞することができても、カメラの撮像位置を移動させることができない。鑑賞者が鑑賞できる画像は、画像を撮像したカメラの位置からの画像に制限されてしまう。このため、鑑賞者は、例えば、観光スポットの画像を鑑賞した際に、その観光スポットを横から眺めたり、下から眺めたりしたいと思っても、カメラがその観光スポットの側面側や下方向に回り込んで撮像しない限り、その観光スポットを上から眺めたり下から眺めたりすることができない。
鑑賞者が遠隔操作を行うことにより、カメラの撮像位置を変更させるようにすれば鑑賞者が鑑賞したい位置からの画像を撮像することが可能だが、鑑賞者が複数人である場合には、複数の鑑賞者の各々に対して、遠隔操作可能なカメラが必要であり、それらを用意することは技術面、及びコスト面で困難である。

上述の課題を鑑み、本発明は、同一の装置により取得された画像を複数人で共有でき、その画像を共有する鑑賞者の各々がその画像を鑑賞する視点の位置を自由に操作することができる画像共有システム、画像共有方法を提供することを目的とする。

本発明の一態様に係る画像共有システムは、所定領域における三次元空間の三次元形状を示す空間情報を取得する空間測定部と、前記空間情報に基づいて、前記三次元空間を復元した三次元モデルを生成する三次元モデル生成部と、鑑賞者の視点位置及び視線方向に関する視線情報を取得する視線情報取得部と、前記三次元モデル、及び前記視線情報に基づいて、前記三次元モデルを前記鑑賞者により鑑賞される鑑賞側端末装置から見える景色方向に応じた空間画像として生成する表示制御部を備える。

本発明の一態様に係る画像共有システムでは、前記三次元モデルを、前記所定領域を示す場所情報、及び前記三次元モデルが作成された基準となる時間を示す日時情報に対応付けて記憶する三次元モデル記憶部を更に備え、前記三次元モデル生成部は、前記空間情報が更新される度に、前記更新された空間情報を用いて前記三次元モデルを更新し、前記表示制御部は、前記三次元モデル記憶部に記憶された前記鑑賞者の視点位置及び視線方向に応じた前記空間画像を生成し得る前記三次元モデルのうち、前記三次元モデルに対応付けられた前記日時情報が最新である前記三次元モデルを用いて前記空間画像を生成する。

本発明の一態様に係る画像共有システムでは、前記表示制御部は、前記三次元モデル記憶部に記憶された前記三次元モデルに対応付けられた前記日時情報に応じて、表示形態を変更させた前記空間画像を生成する。

本発明の一態様に係る画像共有システムでは、前記表示制御部は、基準とする所定時刻と、前記三次元モデル記憶部に記憶された前記三次元モデルに対応付けられた前記日時情報との差分を算出し、算出した差分が所定時間以上である場合に、表示形態を変更させた前記空間画像を生成する。

本発明の一態様に係る画像共有システムでは、前記空間測定部と前記三次元モデル生成部とを備え、前記三次元モデル生成部により生成された前記三次元モデルを送信する撮像側端末装置と、前記視線情報取得部と前記表示制御部とを備え、前記三次元モデルに基づく前記空間画像を、前記視線情報に応じて生成する鑑賞側端末装置を備える。

本発明の一態様に係る画像共有方法は、空間測定部が、所定領域における三次元空間の三次元形状を示す空間情報を取得し、三次元モデル生成部が、前記空間情報に基づいて、前記三次元空間を復元した三次元モデルを生成し、視線情報取得部が、鑑賞者の視点位置及び視線方向に関する視線情報を取得し、表示制御部が、前記三次元モデル、及び前記視線情報に基づいて、前記三次元モデルを前記鑑賞者により鑑賞される鑑賞側端末装置から見える景色方向に応じた空間画像として生成する。

本発明によれば、同一の装置により取得された画像を複数人で共有でき、その画像を共有する鑑賞者の各々がその画像を鑑賞する視点の位置を自由に操作することができる。

実施形態に係る画像共有システム１の構成例を示すブロック図である。 実施形態に係る撮像側端末装置１０の構成例を示すブロック図である。 実施形態に係るサーバ装置２０の構成例を示すブロック図である。 実施形態に係る鑑賞側端末装置４０の構成例を示すブロック図である。 撮像側端末装置１０が所定領域を移動する様子を示す模式図である。 三次元モデル記憶部２０４に記憶された三次元モデルの構成例を示す。 実施形態に係る画像共有システム１の動作例を示すフローチャートである。 実施形態の変形例に係る鑑賞側端末装置４０の構成例を示すブロック図である。 実施形態の変形例に係る画像共有システム１Ａの動作例を示すフローチャートである。

以下、実施形態の画像共有システム、画像共有方法を、図面を参照して説明する。

図１は、実施形態に係る画像共有システム１の構成例を示すブロック図である。画像共有システム１は、例えば、撮像側端末装置１０（撮像側端末装置１０−１、１０−２、…、１０−Ｎ、但しＮは任意の自然数）、サーバ装置２０、通信ネットワーク３０、及び鑑賞側端末装置４０（鑑賞側端末装置４０−１、４０−２、…、４０−Ｍ、但しＭは任意の自然数）を備える。撮像側端末装置１０、サーバ装置２０、及び鑑賞側端末装置４０は、通信ネットワーク３０を介して互いに通信可能に接続される。

撮像側端末装置１０は、例えば、通信機能及び測定機能を有するコンピュータである。撮像側端末装置１０は、所定領域における三次元空間を測定し、測定結果に基づいて三次元モデルを生成する。ここでの所定領域は、撮像側端末装置１０が設けられる場所の周辺の領域であり、例えば、観光地やイベント会場、博物館など、鑑賞側に鑑賞させる領域である。

撮像側端末装置１０は、例えば、所定領域にいる撮像者に携帯される端末装置である。この場合、撮像側端末装置１０は、撮像側の動きに応じて撮像側の視点から鑑賞される所定領域の三次元モデルを生成する。或いは、撮像側端末装置１０は、所定領域に設置される通信機能付きの測定装置である。この場合、撮像側端末装置１０は、自身が設置された位置から鑑賞される所定領域の三次元モデルを生成する。なお、この場合、撮像側端末装置１０は、設置位置が固定されて設置されていてもよいし、移動可能に設けられていてもよい。

撮像側端末装置１０は、例えば、赤外線等を照射し、照射した光線が所定領域における測定対象物に反射した反射光を受光することにより、照射位置から測定対象物までの距離や、測定対象物の色を測定する。撮像側端末装置１０は、所定領域における測定対象物の各々までの距離や色を示す情報を用いて三次元モデルを生成する。或いは、撮像側端末装置１０は、所定領域における測定対象物を様々な方向から撮像した画像に基づいて三次元モデルを生成するようにしてもよい。

また、撮像側端末装置１０は、所定の時間間隔で、自身の位置から鑑賞される所定領域の三次元モデルを生成する。撮像側端末装置１０は、生成した三次元モデルを、通信ネットワーク３０を介してサーバ装置２０に送信する。

サーバ装置２０は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサと、プロセッサが実行するプログラムを格納するプログラムメモリとを備えるコンピュータである。サーバ装置２０は、撮像側端末装置１０の各々により送信された三次元モデルを受信する。サーバ装置２０は、受信した三次元モデルを、撮像側端末装置１０を識別する識別情報等、三次元モデルに付随する情報と対応付けて記憶する。また、サーバ装置２０は、記憶した三次元モデルを、通信ネットワーク３０を介して鑑賞側端末装置４０に送信（配信）する。

通信ネットワーク３０は、例えば、インターネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、プロバイダ装置、無線基地局、専用回線などのうちの一部または全部を含む通信網である。

鑑賞側端末装置４０は、例えば、通信機能及び表示機能を有するコンピュータである。鑑賞側端末装置４０は、サーバ装置２０により配信された三次元モデルを受信し、受信した三次元モデルに基づく空間画像を、視線情報に応じて表示する。

ここで鑑賞側端末装置４０が表示する空間画像は、例えば、ＨＭＤに表示される画像であり、鑑賞者の視点位置から視線方向にある物体を三次元形状で示す立体画像である。或いは、鑑賞側端末装置４０が表示する空間画像は、鑑賞者の視点位置を基準として、上下方向、左右方向、及び前後方向に存在する物体をそれぞれ示す画像（キューブマップ）であってもよいし、鑑賞者の視点位置を囲む全天球画像、半天球画像、又は鑑賞者の視点位置を基準とした前後方向及び左右方向を囲む円筒形状の全周囲画像であってもよい。

また、ここでの視線情報は、鑑賞者が空間画像を鑑賞する動作に関する情報であり、例えば、モーションセンサ等のデバイスを搭載したＨＭＤにより取得される。視線情報は、例えば、鑑賞者が前進したり、しゃがみ込んだりして視点位置が移動した場合や、鑑賞者が上を見上げたり振り向いたりして視線が動いた場合の、移動方向や移動量を示す情報である。

鑑賞側端末装置４０は、例えば、鑑賞者が前進すれば、視線方向にある物体を拡大させた空間画像を表示する。また、鑑賞側端末装置４０は、例えば、鑑賞者がしゃがみ込めば、低い視線から見た物体を示す空間画像を表示する。また、鑑賞側端末装置４０は、鑑賞者が上を見上げた場合には、視線方向を上方向に変化させた場合に、その変化させた視線方向に存在する物体を示す空間画像を表示する。

なお、図１では、サーバ装置２０が一台である場合を例示して説明したが、通信ネットワーク３０上に設けられた複数のクラウドサーバであってもよい。この場合、サーバ装置２０は、通信ネットワーク３０に設けられた複数のクラウドサーバを互いに連携させることにより実現される。

図２は、実施形態に係る撮像側端末装置１０の構成例を示すブロック図である。撮像側端末装置１０は、例えば、空間測定部１１及びモデル生成部１２を備える。空間測定部１１とモデル生成部１２とは、有線、或いは赤外線やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線により通信可能に接続されている。

空間測定部１１は、所定領域の三次元空間を示す三次元モデルを生成するために必要な空間情報を取得する。空間測定部１１は、例えば、所定領域における三次元空間の測定を行う距離センサである。空間測定部１１は、所定領域にある様々な測定対象物までの距離を測定し、測定結果を示す測定情報をモデル生成部１２に出力する。或いは、空間測定部１１は、所定領域を撮像するカメラであってもよい。この場合、空間測定部１１は、所定領域にある測定対象物を撮像し、撮像した画像の画像情報をモデル生成部１２に出力する。ここで、空間測定部１１により測定された測定情報、及び空間測定部１１により撮像された画像の画像情報は、「空間情報」の一例である。

モデル生成部１２は、空間測定部１１により測定された測定情報を用いて所定領域の三次元空間を示す三次元モデルを生成する。モデル生成部１２は、例えば、ネットワーク通信部１２１、測定情報取得部１２２、三次元モデル生成部１２３、及び送信処理部１２４を備える。

ネットワーク通信部１２１は、通信ネットワーク３０と接続し、通信ネットワーク３０を介してサーバ装置２０及び鑑賞側端末装置４０と通信を行う。ネットワーク通信部１２１は、例えば、送信処理部１２４により出力された情報を取得し、取得した情報をサーバ装置２０等に送信する。

測定情報取得部１２２は、空間測定部１１により測定された測定情報を取得する。測定情報取得部１２２は、取得した測定情報を三次元モデル生成部１２３に出力する。

三次元モデル生成部１２３は、測定情報取得部１２２により取得された測定情報に基づいて、所定領域の三次元モデルを生成する。三次元モデル生成部１２３は、測定情報に含まれる所定領域にある物体まで距離を示す距離情報、及び所定領域にある物体を撮像した画像の画像情報を用いて、三次元モデルを示す三次元モデルを生成する。三次元モデル生成部１２３は、例えば、距離情報に基づいて生成される点群情報に、その点群情報により形成される物体の全部又は一部の画像情報を対応させることにより三次元モデルを生成する。三次元モデル生成部１２３は、生成した三次元モデルを送信処理部１２４に出力する。

送信処理部１２４は、三次元モデル生成部１２３により生成された三次元モデルをサーバ装置２０に送信するための処理（送信処理）を行う。送信処理には、例えば、ネットワーク上でデータが盗み見られても解読されないようにする暗号化処理、ネットワーク上で通信されるデータ容量を低減させる圧縮処理、及び通信ネットワーク３０の通信プロトコルに応じたデータパケットを作成する処理等が含まれる。送信処理部１２４は、例えば、三次元モデルに、撮像側端末装置１０の識別情報や、三次元モデルに対応する所定領域の場所を示す情報を対応付けた情報を生成し、生成した情報に対し送信処理を行うことにより送信情報を生成する。送信処理部１２４は、生成した送信情報をネットワーク通信部１２１に出力する。

図３は、実施形態に係るサーバ装置２０の構成例を示すブロック図である。サーバ装置２０は、例えば、ネットワーク通信部２０１、受信処理部２０２、送信処理部２０３、及び三次元モデル記憶部２０４を備える。

ネットワーク通信部２０１は、通信ネットワーク３０と接続し、通信ネットワーク３０を介して撮像側端末装置１０及び鑑賞側端末装置４０と通信を行う。ネットワーク通信部２０１は、例えば、撮像側端末装置１０から受信した情報を受信処理部２０２に出力する。また、ネットワーク通信部２０１は、送信処理部２０３により出力された情報を鑑賞側端末装置４０に送信する。

受信処理部２０２は、ネットワーク通信部２０１により受信された受信情報に対し、受信処理を行う。ここでの受信処理は、既に述べた送信処理に対応する処理であり、例えば、受信情報に施された暗号を解く復号処理、圧縮を解凍する解凍処理、通信ネットワーク３０の通信プロトコルに応じたデータパケットからデータ部分を抽出する処理等である。受信処理部２０２は、受信処理を行うことにより受信情報から三次元モデルを抽出する。受信処理部２０２は、抽出した三次元モデルを送信処理部２０３に出力する。

送信処理部２０３は、受信処理部２０２により抽出された三次元モデルに、三次元モデルに付随する情報を対応付ける。ここでの付随する情報とは、例えば、撮像側端末装置１０を識別する識別子（ＩＤ、Identifier）、三次元モデルに対応する所定領域や測定位置、測定方向等の場所を示す場所情報、及び画像が生成された日時等を示す情報である。送信処理部２０３は、三次元モデル、及び三次元モデルに付随する情報を三次元モデル記憶部２０４に書込んで記憶させる。

また、送信処理部２０３は、鑑賞側端末装置４０からの要求に基づいて、三次元モデル記憶部２０４に記憶させた三次元モデルを送信（配信）する。鑑賞側端末装置４０からの要求は、例えば、撮像側端末装置１０を指定して、その撮像側端末装置１０が存在する位置に対応する所定領域を鑑賞することを要求するものであってもよいし、観光地などを指定して、その観光地の今の様子を鑑賞することを要求するものであってもよい。

送信処理部２０３は、鑑賞側端末装置４０からの要求に基づいて三次元モデル記憶部２０４を参照し、鑑賞側端末装置４０からの要求に対応する空間画像に対応する三次元モデルを取得する。

ここで、送信処理部２０３は、鑑賞側端末装置４０からの要求に応じた空間画像を生成することが可能な三次元モデルが、三次元モデル記憶部２０４に複数記憶されている場合、三次元モデルに付随する日時情報を参照し、日時情報が最も新しい時刻である三次元モデルを選択する。これにより、所定領域に対応する最新の三次元モデルを配信することができるため、鑑賞側端末装置４０に、所定領域の様子をほぼリアルタイムに表示させることが可能となる。

送信処理部２０３は、取得した三次元モデルに対して送信処理を行うことにより鑑賞側端末装置４０に送信する送信情報を生成する。ここでの送信処理は、送信処理部１２４により行われる送信処理と同様の処理であるため、その説明を省略する。送信処理部２０３は、生成した送信情報をネットワーク通信部２０１に出力する。

三次元モデル記憶部２０４は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、またはＲＡＭ（Random Access Memory）などにより実現される。三次元モデル記憶部２０４は、撮像側端末装置１０により生成された三次元モデル、及び三次元モデルに付随する情報を記憶する。

図４は、実施形態に係る鑑賞側端末装置４０の構成例を示すブロック図である。鑑賞側端末装置４０は、例えば、視線位置操作部４１、空間画像生成部４２、及び表示部４３を備える。

視線位置操作部４１は、鑑賞者により操作された視点位置及び視線方向を検出する。視線位置操作部４１は、例えば、モーションセンサやジャイロセンサ等、ユーザの動作を取得するデバイスであってよい。或いは、視線位置操作部４１は、キーボード、マウス、タッチパッド、タッチパネル、スタイラス、またはトラックボールなど、鑑賞側により指定（操作）された空間画像における視点位置等を示す命令が入力されるデバイスであってもよい。視線位置操作部４１は、検出した鑑賞側の視点位置及び視線方向を示す情報（視線情報）を空間画像生成部４２に出力する。

空間画像生成部４２は、サーバ装置２０により配信された三次元モデル、及び視線位置操作部４１により取得された視線情報に基づいて、表示部４３に表示させる空間画像の画像情報を生成する。空間画像生成部４２は、例えば、ネットワーク通信部４２１、受信処理部４２２、視線情報取得部４２３、及び表示制御部４２４を備える。

ネットワーク通信部４２１は、通信ネットワーク３０と接続し、通信ネットワーク３０を介して撮像側端末装置１０及びサーバ装置２０と通信を行う。ネットワーク通信部４２１は、例えば、サーバ装置２０から受信した三次元モデルを受信処理部４２２に出力する。

受信処理部４２２は、ネットワーク通信部４２１により受信された受信情報に対し、受信処理を行う。ここでの受信処理は、受信処理部２０２により行われる受信処理と同様の処理であるため、その説明を省略する。受信処理部４２２は、受信処理を行うことにより受信情報から三次元モデル及び三次元モデルに付随する情報を抽出し、抽出した三次元モデル等を表示制御部４２４に出力する。

視線情報取得部４２３は、視線位置操作部４１により検出された視線情報を取得する。視線情報取得部４２３は、取得した視線情報を表示制御部４２４に出力する。

表示制御部４２４は、受信処理部４２２により抽出された三次元モデル、及び視線情報取得部４２３により取得された視線情報に基づいて、表示部４３に表示させる空間画像の画像情報を生成する。表示制御部４２４は、例えば、撮像側端末装置１０により生成された所定領域の三次元モデルを用いて、視線情報に示される視点位置から、当該視線情報に示される視線方向に鑑賞される空間画像を生成する。表示制御部４２４は、取得した三次元モデルに基づいて空間画像を生成する。表示制御部４２４は、生成した空間画像の画像情報を表示部４３に出力する。

ここで、表示制御部４２４は、空間画像を生成する際に、三次元モデルに付随する日時情報を参照し、日時情報に示される時刻に応じて表示形態を変更するようにしてよい。この場合、表示制御部４２４は、例えば、鑑賞側端末装置４０がサーバ装置２０に要求を送信した送信時刻と、日時情報とに示される時刻との差分を算出し、算出した差分に応じて表示形態を変更する。表示制御部４２４は、例えば、算出した差分が所定時間（例えば、５分）以上であれば、空間画像の明るさを全体的に暗く表示させたり、空間画像の色をくすんだセピア色に表示させたりする。これにより、鑑賞者が鑑賞している空間画像が、所定領域の今の様子を示すものであるのか、過去の様子を示すものであるのかを認識させることが可能である。

表示部４３は、ディスプレイ、例えば、液晶ディスプレイ（ＬＣＤ；Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等である。表示部４３は、空間画像生成部４２により生成された空間画像を表示する。

ここで、撮像側端末装置１０が三次元モデルを生成する処理について図５を用いて説明する。
図５は、撮像側端末装置１０が所定領域を移動する様子を示す模式図である。図５は、所定領域を俯瞰した様子を示している。所定領域には、道路Ｒが設けられ、道路Ｒの周辺には、物体Ｂ１〜Ｂ３が設けられている。

図５に示すように、撮像側端末装置１０が道路Ｒに沿って、矢印Ｐ１から矢印Ｐ２の方向に移動する場合を例に説明する。

まず、撮像側端末装置１０は、場所Ａ１における周囲の三次元空間を測定する。この場合、撮像側端末装置１０は、物体Ｂ１をＸ軸方向に後方（Ｘ軸負方向）側から測定し、測定情報に基づいて三次元モデルを生成する。
次に、撮像側端末装置１０は、場所Ａ２における周囲の三次元空間を測定する。この場合、撮像側端末装置１０は、物体Ｂ１をＸ軸方向に前方（Ｘ軸正方向）側から測定する。また、撮像側端末装置１０は、物体Ｂ２をＸ軸方向に後方（Ｘ軸負方向）側から測定する。撮像側端末装置１０は、測定情報に基づいて三次元モデルを生成する。
ここで、撮像側端末装置１０は、場所Ａ２に所定時間、滞在したとする。この場合、撮像側端末装置１０は、前回と同様に、物体Ｂ１をＸ軸方向に前方から、物体Ｂ２をＸ軸方向に後方からそれぞれ測定し、測定した測定情報に基づいて三次元モデルを生成する。撮像側端末装置１０が場所Ａ２に滞在している間に物体Ｂ２の様子が変化した場合には、その変化が反映された三次元モデルを生成する。
次に、撮像側端末装置１０は、場所Ａ３における周囲の三次元空間を測定する。この場合、撮像側端末装置１０は、物体Ｂ３をＹ軸方向に後方（Ｙ軸負方向）側から測定する。撮像側端末装置１０は、測定情報に基づいて空間画像を生成する。

ここで、三次元モデル記憶部２０４に記憶された三次元モデルについて、図６を用いて説明する。
図６は三次元モデル記憶部２０４に記憶された三次元モデルの構成例を示す。図６では図５に示す所定領域を矢印Ｐ１、Ｐ２の方向に移動した撮像側端末装置１０により生成された三次元モデルが記憶された場合の例を示している。図６には、番号、装置ＩＤ、場所、日時、及び物体といった三次元モデルに付随する情報を記憶する各項目を有する。番号には三次元モデルを一意に識別する番号、装置ＩＤには三次元モデルを生成した撮像側端末装置１０の識別番号、場所には三次元モデルに対応する場所、日時には三次元モデルが生成された日時、物体は三次元モデルに含まれる物体を、それぞれ示す情報が記憶される。

撮像側端末装置１０が、上述したように道路Ｒに沿って、矢印Ｐ１から矢印Ｐ２の方向に移動した場合、三次元モデル記憶部２０４には、図６に示す情報が記憶される。
図６の「番号００１」には、撮像側端末装置１０が、場所Ａ１を通過した際の測定情報により生成された三次元モデルが、その三次元モデルに付随する情報とともに記憶される。ここに記憶される三次元モデルは、物体Ｂ１をＸ軸負方向から見た様子を示す情報である。ここでは、撮像側端末装置１０の装置ＩＤが「０００１」であり、場所が場所Ａ１を示す座標位置「Ａ１（ｘ１、ｙ１、ｚ１）」であり、日時が三次元モデルの生成時刻Ｔ１を示す「Ｔ１（ｙｙ．ｍｍ．ｄｄ１）」であり、物体が三次元モデルに含まれる「物体Ｂ１」である場合を示している。

図６の「番号００２」には、撮像側端末装置１０が、場所Ａ２を通過した際の測定情報により生成された三次元モデルが、その三次元モデルに付随する情報とともに記憶される。ここに記憶される三次元モデルは、物体Ｂ１をＸ軸正方向から見た様子、及び物体Ｂ２をＸ軸負方向から見た様子を示す情報である。こここに記憶される三次元モデルは、物体Ｂ１をＸ軸負方向から見た様子を示す情報である。ここでは、撮像側端末装置１０の装置ＩＤが「０００１」であり、場所が場所Ａ２を示す座標位置「Ａ２（ｘ２、ｙ２、ｚ２）」であり、日時が三次元モデルの生成時刻Ｔ２を示す「Ｔ２（ｙｙ．ｍｍ．ｄｄ２）」であり、物体が三次元モデルに含まれる「物体Ｂ１、Ｂ２」である場合を示している。

図６の「番号００３」には、撮像側端末装置１０が、場所Ａ２に滞在した際の測定情報により生成された三次元モデルが、その三次元モデルに付随する情報とともに記憶される。ここに記憶される三次元モデルは、物体Ｂ１をＸ軸正方向から見た様子、及び物体Ｂ２をＸ軸負方向から見た様子を示す情報である。また、ここに記憶される三次元モデルは、撮像側端末装置１０が場所Ａ２に滞在している間に物体Ｂ２の様子が変化した場合には、その変化が反映された三次元モデルである。ここに記憶される三次元モデルは、物体Ｂ１をＸ軸負方向から見た様子を示す情報である。ここでは、撮像側端末装置１０の装置ＩＤが「０００１」であり、場所が場所Ａ２を示す座標位置「Ａ２（ｘ２、ｙ２、ｚ２）」であり、日時が三次元モデルの生成時刻Ｔ３を示す「Ｔ３（ｙｙ．ｍｍ．ｄｄ３）」であり、物体が三次元モデルに含まれる「物体Ｂ１、Ｂ２」である場合を示している。

図６の「番号００４」には、撮像側端末装置１０が、場所Ａ３を通過した際の測定情報により生成された三次元モデルが、その三次元モデルに付随する情報とともに記憶される。ここに記憶される三次元モデルは、物体Ｂ３をＹ軸負方向から見た様子を示す情報である。ここでは、撮像側端末装置１０の装置ＩＤが「０００１」であり、場所が場所Ａ３を示す座標位置「Ａ３（ｘ３、ｙ３、ｚ３）」であり、日時が三次元モデルの生成時刻Ｔ４を示す「Ｔ４（ｙｙ．ｍｍ．ｄｄ４）」であり、物体が三次元モデルに含まれる「物体Ｂ３」である場合を示している。

ここで、実施形態に係る画像共有システム１の動作を、図７を用いて説明する。
図７は、実施形態に係る画像共有システム１の動作例を示すフローチャートである。図７に示す処理を行う前提として、三次元モデル記憶部２０４に、図６に示す三次元モデルが記憶されているものとする。

まず、撮像側端末装置１０は、所定領域における空間情報を取得し（ステップＳ１０１）、取得した空間情報に基づいて、三次元モデルを生成する（ステップＳ１０２）。撮像側端末装置１０は、生成した三次元モデルをサーバ装置２０に送信する（ステップＳ１０３）。
次に、サーバ装置２０は、撮像側端末装置１０により送信された三次元モデルを受信し（ステップＳ１０４）、受信した三次元モデルを、三次元モデル記憶部２０４に記憶させる（ステップＳ１０５）。

ここで、鑑賞側端末装置４０は、鑑賞を要求する通知を送信する（ステップＳ１０６）。サーバ装置２０は、鑑賞側端末装置４０から鑑賞を要求する通知を受信する（ステップＳ１０７）。
サーバ装置２０は、要求の内容に応じた三次元モデルを取得する（ステップＳ１０８）。サーバ装置２０は、例えば、生成時刻Ｔ２に、鑑賞側端末装置４０から物体Ｂ１の今の様子を鑑賞することを要求する通知を受信した場合、三次元モデル記憶部２０４を参照し、物体Ｂ１が含まれる番号００１〜００３の三次元モデルを取得する。

次に、サーバ装置２０は、取得した三次元モデルのうち、日時情報が最新の三次元モデルを選択する（ステップＳ１０９）。サーバ装置２０は、例えば、取得した三次元モデルに対応する場所情報を参照し、同じ場所情報に対応付られた三次元モデルが複数あるか否かを判定する。この例では、番号００２、００３の三次元モデルの場所情報が場所Ａ２で一致する。サーバ装置２０は、同じ場所情報に対応付られた三次元モデルが複数あると判定した場合、複数の三次元モデルのうち、日時情報が最新のものを選択する。

次に、サーバ装置２０は、選択した三次元モデルを鑑賞側端末装置４０に送信する（ステップＳ１１０）。鑑賞側端末装置４０は、サーバ装置２０から三次元モデルを受信する（ステップＳ１１１）。
次に、鑑賞側端末装置４０は、視線情報を取得し（ステップＳ１１２）、取得した視線情報に応じた空間画像を生成する（ステップＳ１１３）。
そして、鑑賞側端末装置４０は、空間画像を生成する際に用いた三次元モデルの日時情報に応じて表示形態を変更する（ステップＳ１１４）。鑑賞側端末装置４０は、三次元モデルが、鑑賞を要求する通知を行った時刻より所定時間以上前に生成されたモデルである場合、空間画像が過去のものであることを示すように表示色を薄くしたり、セピア色にしたり、点滅させたりして表示形態を変更する。

以上説明したように、実施形態の画像共有システム１は、所定領域における三次元空間の三次元形状を示す空間情報を取得する空間測定部１１と、空間情報に基づいて、三次元空間を復元した三次元モデルを生成する三次元モデル生成部１２３と、鑑賞者の視点位置及び視線方向に関する視線情報を取得する視線情報取得部４２３と、三次元モデル、及び視線情報に基づいて、三次元モデルを鑑賞者により鑑賞される鑑賞側端末装置から見える景色方向に応じた空間画像として生成する表示制御部４２４を備える。これにより、実施形態の画像共有システム１は、三次元モデル生成部１２３が三次元空間を復元した三次元モデルを生成することができ、表示制御部４２４が鑑賞者の視点位置及び視線方向に応じた空間画像として生成することができる。このため、複数の鑑賞者で同じ所定領域の様子を示す空間画像、つまり同じ領域の空間画像を共有することができ、尚且つ、この空間画像は三次元モデルに基づく画像であることから、鑑賞者の各々の視点位置や視点方向に応じて表示させることができる。つまり、同一の装置により取得された画像を複数人で共有でき、その画像を共有する鑑賞者の各々がその画像鑑賞する視点の位置を自由に操作することができる。

また、実施形態の画像共有システム１では、三次元モデルを、所定領域を示す場所情報、及び三次元モデルが作成された基準となる時間を示す日時情報に対応付けて記憶する三次元モデル記憶部２０４を更に備え、三次元モデル生成部１２３は、空間情報が更新される度に、前記更新された空間情報を用いて三次元モデルを更新し、表示制御部４２４は、三次元モデル記憶部２０４に記憶された鑑賞者の視点位置及び視線方向に応じた空間画像を生成し得る三次元モデルのうち、三次元モデルに対応付けられた日時情報が最新である三次元モデルを用いて空間画像を生成する。これにより、実施形態の画像共有システム１では、鑑賞者の要求に応じた観光地等の今の様子をリアルタイムに表示させることが可能である。

また、実施形態の画像共有システム１では、表示制御部４２４は、三次元モデル記憶部２０４に記憶された三次元モデルに対応付けられた日時情報に応じて、表示形態を変更させた空間画像を生成する。これにより、実施形態の画像共有システム１では、空間画像が今の様子を示しているのか、過去の様子を示しているのかを鑑賞者に認識させることができる。

また、実施形態の画像共有システム１では、表示制御部４２４は、基準とする所定時刻と、空間画像の生成に用いる三次元モデルに対応付けられた日時情報との差分を算出し、算出した差分が所定時間以上である場合に、表示形態を変更させた空間画像を生成する。これにより、空間画像が過去の様子を示していることを鑑賞者に認識させることができる。

（実施形態の変形例）
次に、実施形態の変形例について説明する。
本変形例の画像共有システム１Ａでは、最新の空間情報がある場合であっても、鑑賞側端末装置４０からの要求に応じて、過去の空間情報を用いた空間画像を生成する点において、上述した実施形態と異なる。以下の説明では、上述した実施形態と異なる構成について説明し、上述した実施形態と同様の構成については、同じ符号を付してその説明を省略する。

図８は、実施形態の変形例に係る鑑賞側端末装置４０の構成例を示すブロック図である。鑑賞側端末装置４０は、例えば、空間画像生成部４２、及び時期設定部４４を備える。

時期設定部４４は、鑑賞する対象となる鑑賞対象物の時期を示す情報（時期情報）を検出する。この時期情報は、鑑賞対象物の年代や日時を示す情報である。
時期設定部４４は、例えば、マウスやキーボード等の入力装置であって、鑑賞側の入力操作により指定（入力）された空間画像における時期を示す命令を取得するデバイスである。時期設定部４４は、検出した時期情報を空間画像生成部４２に出力する。

空間画像生成部４２は、時期情報取得部４２５を備える。
時期情報取得部４２５は、時期設定部４４により検出された時期情報を取得する。時期情報取得部４２５は、取得した時期情報を表示制御部４２４に出力する。

表示制御部４２４は、ネットワーク通信部４２１を介して、鑑賞対象物及びその時期に応じた三次元モデルを、サーバ装置２０から取得する。そして、鑑賞対象物の時期及び視線情報取得部４２３により取得された視線情報に基づいて、表示部４３に表示させる空間画像の画像情報を生成する。

ここで、本変形例の画像共有システム１Ａが行う動作の流れを説明する。
図９は、実施形態の変形例に係る画像共有システム１Ａの動作例を示すフローチャートである。図９のステップＳ２０１〜Ｓ２０５、Ｓ２０７、Ｓ２０８、及びＳ２１０〜Ｓ２１４に示す処理は、図７のステップＳ１０１〜Ｓ１０５、及びＳ１０７、Ｓ１０８、及びＳ１１０〜Ｓ１１４に示す処理と同様であるため、その説明を省略する。

鑑賞側端末装置４０は、時期情報に応じた鑑賞対象物の鑑賞を要求する通知を、サーバ装置２０に送信する（ステップＳ２０６）。鑑賞側端末装置４０は、時期情報を時期設定部４４から時期情報取得部４２５を介して取得する。

サーバ装置２０は、要求に応じて取得した鑑賞対象物の三次元モデルのうち、要求された時期に対応する日時情報の三次元モデルを選択する（ステップＳ２０９）。サーバ装置２０は、例えば、取得した三次元モデルに対応する場所情報（鑑賞対象物）を参照し、同じ場所情報に対応付られた三次元モデルのうち、日時情報が要求された時期に対応するものを選択する。

以上説明したように、実施形態の変形例の画像共有システム１Ａは、鑑賞する対象となる鑑賞対象物の時期に関する時期情報を取得する時期情報取得部４２５を更に備え、表示制御部４２４は、三次元モデル記憶部２０４に記憶された三次元モデルのうち、場所情報、及び日時情報が、鑑賞対象物の時期情報に応じた三次元モデルを用いて空間画像を生成する。
これにより、実施形態の変形例の画像共有システム１Ａは、鑑賞対象物における過去の風景を鑑賞者に鑑賞させることが可能である。例えば、新国立競技場の遠隔ツアーを行う場合、新国立競技場の最新の様子を鑑賞させた後に「では、以前はどのような施設だったか見てみましょう」とのアナウンスに続いて、新国立競技場の前身である国立競技場の様子を鑑賞させることができる。鑑賞者は、最新の鑑賞対象物の様子だけでなく、鑑賞対象物の歴史を鑑賞することができ、より鑑賞対象物への造詣を深めることが可能である。

上述した実施形態における画像共有システム１（１Ａ）の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１、１Ａ…画像共有システム、１０…撮像側端末装置、２０…サーバ装置、３０…通信ネットワーク、４０…鑑賞側端末装置、１１…空間測定部、１２３…三次元モデル生成部、２０４…三次元モデル記憶部、４２３…視線情報取得部、４２４…表示制御部、４２５…時期情報取得部

Claims (7)

1. 所定領域における三次元空間の三次元形状を示す空間情報を取得する空間測定部と、
   前記空間情報に基づいて、前記三次元空間を復元した三次元モデルを生成する三次元モデル生成部と、
   鑑賞者の視点位置及び視線方向に関する視線情報を取得する視線情報取得部と、
   前記三次元モデル、及び前記視線情報に基づいて、前記三次元モデルを前記鑑賞者により鑑賞される鑑賞側端末装置から見える景色方向に応じた空間画像として生成する表示制御部
   を備えることを特徴とする画像共有システム。
2. 前記三次元モデルを、前記所定領域を示す場所情報、及び前記三次元モデルが作成された基準となる日時を示す日時情報に対応付けて記憶する三次元モデル記憶部を更に備え、
   前記三次元モデル生成部は、前記空間情報が更新される度に、前記更新された空間情報を用いて前記三次元モデルを更新し、
   前記表示制御部は、前記鑑賞者の視点位置及び視線方向に応じた前記空間画像を生成し得る前記三次元モデルのうち、前記三次元モデル記憶部に記憶された前記三次元モデルに対応付けられた前記日時情報が最新である前記三次元モデルを用いて前記空間画像を生成する
   請求項１に記載の画像共有システム。
3. 前記表示制御部は、前記三次元モデル記憶部に記憶された前記三次元モデルに対応付けられた前記日時情報に応じて、表示形態を変更させた前記空間画像を生成する
   請求項２に記載の画像共有システム。
4. 前記表示制御部は、基準とする所定時刻と、前記三次元モデル記憶部に記憶された前記三次元モデルに対応付けられた前記日時情報との差分を算出し、算出した差分が所定時間以上である場合に、表示形態を変更させた前記空間画像を生成する
   請求項３に記載の画像共有システム。
5. 鑑賞する対象となる鑑賞対象物の時期に関する時期情報を取得する時期情報取得部、
   を更に備え、
   前記表示制御部は、前記三次元モデル記憶部に記憶された前記三次元モデルのうち、前記場所情報、及び前記日時情報が、前記鑑賞対象物の前記時期情報に応じた前記三次元モデルを用いて空間画像を生成する
   請求項２から請求項４の何れか一項に記載の画像共有システム。
6. 前記空間測定部と前記三次元モデル生成部とを備え、前記三次元モデル生成部により生成された前記三次元モデルを送信する撮像側端末装置と、
   前記視線情報取得部と前記表示制御部とを備え、前記三次元モデルに基づく前記空間画像を、前記視線情報に応じて生成する鑑賞側端末装置
   を備える請求項１から請求項５の何れか一項に記載の画像共有システム。
7. 空間測定部が、所定領域における三次元空間の三次元形状を示す空間情報を取得し、
   三次元モデル生成部が、前記空間情報に基づいて、前記三次元空間を復元した三次元モデルを生成し、
   視線情報取得部が、鑑賞者の視点位置及び視線方向に関する視線情報を取得し、
   表示制御部が、前記三次元モデル、及び前記視線情報に基づいて、前記三次元モデルを前記鑑賞者により鑑賞される鑑賞側端末装置から見える景色方向に応じた空間画像として生成する
   画像共有方法。

Images