JP2018157255A - 画像表示制御装置、画像表示制御方法、及びプログラム - Google Patents

Abstract

【課題】状況を記録した画像を、より簡易な方法で管理する画像表示制御装置、画像表示制御方法、及びプログラムを提供する。【解決手段】画像表示制御装置は、第１カメラの撮影に基づいて生成された第１画像と、第２カメラの撮影に基づいて生成され、前記第１画像の撮影者又は前記第１カメラが映り込んでいる第２画像と、前記第２画像に対応する背景画像であって、前記第１画像の撮影者又は前記第１カメラが映り込んでいない背景画像と、を取得する取得部と、少なくとも１つの前記第２画像に基づいて、前記第１画像の撮影者又は前記第１カメラの位置を抽出する位置抽出部と、前記抽出された位置に関連付けて、前記第１画像を前記背景画像上に表示するように制御する制御部とを備える。【選択図】図８

Description

本発明は、画像表示制御装置、画像表示制御方法、及びプログラムに関する。

従来、建物等の施設において、その施設の現在の状況をカメラ等で撮影して、その画像を画像管理装置により管理する画像管理方法が知られている。このような画像管理方法では、複数の画像を台帳に収めて管理することがある。この台帳を参照することにより、例えば、工事の施工記録や現地調査の記録等の施設の状況を収めた画像を参照することができる。そのような用途で利用される台帳には、画像の他、その画像の説明資料等が含まれることがある。画像の説明資料には、例えば、撮影者がその画像を撮影した地点等を記録に残すように、その周辺を示す平面図等が含まれており、その平面図中にはその画像の識別番号、その画像を撮影した地点等が記載されることがある。

また、１回の撮影操作で、撮影地点の周囲の状況を１つの全周囲画像に収める技術が知られている（例えば、特許文献１参照。）。

特開２０１５−９５８５３号公報

しかしながら、撮影の現場では、撮影の都度、平面図等に撮影の記録としてのメモを残しながら目的の作業を行い、また、現場を引き上げてから、上記のような台帳を作成することがある。このように撮影中の作業も台帳を作成する作業も、撮影した画像の数量の増加に伴い増大し、煩雑になることがある。
また、全周囲画像では、撮影地点から目的の対象物（被写体）までの距離が遠くなると、その対象物の状況を、必要とされる解像度で記録することができないことがある。これに対し、必要とされる解像度の画像が得られるように目的の対象物に接近して撮影することにすると、全周囲画像としての特徴を有効に利用することができずに画像の数量が増えてしまい、個別の画像を複数撮影する場合と同様に煩雑になることがある。

本発明が解決しようとする課題は、状況を記録した画像を、より簡易な方法で管理する画像表示制御装置、画像表示制御方法、及びプログラムを提供することにある。

（１）本発明の一態様の画像表示制御装置は、第１カメラの撮影に基づいて生成された第１画像と、第２カメラの撮影に基づいて生成され、前記第１画像の撮影者又は前記第１カメラが映り込んでいる第２画像と、前記第２画像から生成された背景画像と、を記憶部から取得する取得部と、前記第２画像に基づいて、前記第１画像の撮影者又は前記第１カメラの位置情報を抽出し、前記第２画像から抽出した位置情報に基づいて、前記背景画像上に、前記第１画像の撮影者に対応するオブジェクトを表示するように制御する制御部とを備える画像表示制御装置である。
（２）また、上記の画像表示制御装置における前記制御部は、前記第１画像を撮影した際の前記第１画像の撮影者又は前記第１カメラの姿勢に基づいて、前記背景画像上に、前記第１画像を表示する位置を決定する。
（３）また、上記の画像表示制御装置における前記制御部は、前記第１画像の撮影者に対応するオブジェクトを、前記第１画像の撮影者の像に基づいて生成する。
（４）また、上記の画像表示制御装置における前記制御部は、前記第１画像の撮影者又は前記第１カメラの像に基づいて、前記第１画像の撮影者又は前記第１カメラの姿勢を推定する。
（５）また、上記の画像表示制御装置における前記制御部は、前記第１カメラの姿勢を、前記第１カメラが備えるセンサによる検出結果により決定する。
（６）また、本発明の一態様の画像表示制御方法は、第１カメラの撮影に基づいて生成された第１画像と、第２カメラの撮影に基づいて生成され、前記第１画像の撮影者又は前記第１カメラが映り込んでいる第２画像と、前記第２画像から生成された背景画像と、を記憶部から取得するステップと、前記第２画像に基づいて、前記第１画像の撮影者又は前記第１カメラの位置情報を抽出し、前記第２画像から抽出した位置情報に基づいて、前記背景画像上に、前記第１画像の撮影者に対応するオブジェクトを表示するように制御するステップを含む画像表示制御方法である。
（７）また、本発明の一態様のプログラムは、第１カメラの撮影に基づいて生成された第１画像と、第２カメラの撮影に基づいて生成され、前記第１画像の撮影者又は前記第１カメラが映り込んでいる第２画像と、前記第２画像から生成された背景画像と、を記憶部から取得するステップと、前記第２画像に基づいて、前記第１画像の撮影者又は前記第１カメラの位置情報を抽出し、前記第２画像から抽出した位置情報に基づいて、前記背景画像上に、前記第１画像の撮影者に対応するオブジェクトを表示するように制御するステップをコンピュータに実行させるためのプログラムである。

本発明によれば、状況を記録した画像を、より簡易な方法で管理する画像表示制御装置、画像表示制御方法、及びプログラムを提供できる。

本発明の実施形態に係る画像管理システムの概要を説明するための図である。 実施形態に係る第２画像の一例について説明するための図である。 実施形態に係る画像表示制御装置の構成図である。 実施形態に係る画像表示制御装置の機能構成を示す図である。 実施形態の背景画像の一例について説明するための図である。 実施形態に係る画像形成の手順を示すフローチャートである。 実施形態に係る画像形成の処理の概要を説明するための図である。 実施形態の表示画像ＤＢ２１３の一例について説明するための図である。 実施形態の表示画像ＤＢ２１３の一例について説明するための図である。 実施形態に係る背景画像の形成に関する処理の手順を示すフローチャートである。 実施形態の撮影方向の推定処理の手順を示すフローチャートである。 実施形態の第１画像を撮影者Ｕ１の位置に関連付けて背景画像上に表示する処理により生成される表示の一例を示す図である。 実施形態の背景画像上の第１画像の位置を変更する処理により生成される表示の一例を示す図である。 実施形態の第１カメラ１１０の代表的な事例を説明するための図である。 実施形態の撮影方向の推定処理の手順を示すフローチャートである。 実施形態の判定結果の論理的な組み合わせについて説明するための図である。

以下、本発明の実施形態の画像表示制御装置、画像表示制御方法、及びプログラムについて、添付図面を参照して説明する。

（第１の実施形態）
図１は、本発明の実施形態に係る画像管理システムの概要を説明するための図である。
図１に示す画像管理システム１は、第１カメラ１１０と、第２カメラ１２０と、画像表示制御装置２００とを含む。例えば、撮影者Ｕ１が施設２内の対象領域１０においてその状況を記録することを例示して、本実施形態について説明する。

第１カメラ１１０は、図１に示していない撮像素子、光学系、信号処理部、記憶部、通信部等を含めて構成される。第１カメラ１１０は、光学系を経て届いた光を撮像素子が検出し、信号処理部の処理を経て第１画像を生成する。その第１画像は、静止画像又は動画像の何れでもよい。例えば、第１カメラ１１０は、比較的高精細な画像を撮影することを可能とするものである。このような第１カメラ１１０は、所謂デジタルカメラ、スマートフォン等の携帯型の装置として構成されていてもよい。第１カメラ１１０は、撮影して得た第１画像を、通信部を介して送信してもよく、それを記憶媒体に書き込み、外部の装置に提供可能にしてもよい。

実施形態の第１カメラ１１０は、例えば撮影者Ｕ１によって携行され、撮影者Ｕ１の操作等により撮影して第１画像を生成する。例えば、カメラで撮影する一般的な要領と同様の方法で、撮影者Ｕ１は、第１カメラ１１０を手で支持して撮影する。つまり、第１カメラ１１０が撮影する方向は、撮影者Ｕ１により決定され、第１画像には、撮影者Ｕ１が決定した方向の撮影可能画角の範囲内に位置する被写体が撮影される。

第２カメラ１２０は、図１に示していない撮像素子、光学系、信号処理部、記憶部、通信部等を含めて構成される。第２カメラ１２０は、光学系を経て届いた光を撮像素子が検出し、信号処理部の処理を経て第２画像を生成する。その第２画像は、静止画像又は動画像の何れでもよい。

第２カメラ１２０は、例えば、第１カメラ１１０を用いて撮影する撮影者Ｕ１の位置の近傍に、当該第２カメラ１２０の位置を固定又は半固定にして配置され、配置された位置の周囲の画像を撮影して第２画像を生成する。例えば、第２カメラ１２０は、少なくとも撮影者Ｕ１又は第１カメラ１１０の移動に伴って移動しないポール、三脚、雲台等により支持された状態で、その所定の期間に渡って撮影する。上記の所定の期間は、撮影者Ｕ１が第１カメラ１１０を用いて、撮影する行為を１又は複数回実施する期間、１又は複数の静止画像を撮影する期間、連続性のある１又は複数の動画像を撮影する期間等の内の少なくとも何れかを含むように決定される。このようにして、第２カメラ１２０は、その位置を固定又は半固定にした状態で撮影することができる。なお、第２カメラ１２０は、その撮影後に移動することが制限されることはなく、例えば、走行等の方法で移動する移動手段を備えるものであれば、第２カメラ１２０が移動手段により移動してもよい。

上記のように第２カメラ１２０の撮影方向、画角、配置される位置等の撮影条件は、第１画像の撮影者Ｕ１又は第１カメラ１１０が映り込むように決定され、第１画像の水平画角が第２画像の水平画角より狭くなるように調整されている。第２カメラ１２０は、少なくとも第１カメラ１１０から第１画像の撮影実施の通知を受けて、その撮影に同期して静止画像を撮影するか、第１カメラ１１０の撮影前に録画開始の通知などに応じて動画像を記録するように、撮影条件が制限される。

例えば、第２カメラ１２０は、比較的広い画角で撮影することを可能とする光学系を有し、所謂パノラマ画像、全周囲画像、正距円筒図法による画像（以下、正距円筒画像という。）等の撮影を可能とするものである。なお、第２カメラ１２０は、複数の撮像素子を有していて、それぞれの撮像素子により撮影された画像を合成して、上記のような画像（第２画像）を生成してもよい。このような第２カメラ１２０は、所謂デジタルカメラ、スマートフォン等の携帯型の装置として構成されていてもよい。第２カメラ１２０は、撮影して得た第２画像等を、通信部を介して送信してもよく、それを記憶媒体に書き込み、外部の装置に提供可能にしてもよい。

図２は、実施形態に係る第２画像の一例について説明するための図である。
この図２に示す画像は、正距円筒画像の一例であり、図２（ａ）と図２（ｂ）にそれぞれ示す第２画像（ＰＩＣ２）は、互いに異なる時刻で撮影されたものの一例である。この図２に示すように、撮影者Ｕ１が、第１カメラ１１０を携帯して、第２カメラ１２０の近傍を移動して、第１カメラ１１０を用いて目的の第１画像を撮影したことが、各第２画像に記録されている。

図３は、実施形態に係る画像表示制御装置の構成図である。画像表示制御装置２００は、例えば、ＣＰＵ２００Ａと、ＲＡＭ（Random Access Memory）２００Ｂと、不揮発性記憶装置２００Ｃと、可搬型記憶媒体収納部２００Ｄと、入出力装置２００Ｅと、通信インターフェース２００Ｆとを備える。画像表示制御装置２００は、ＣＰＵ２００Ａに代えて、任意の形態のプロセッサを備えてもよいし、図２に示した各構成要素のうち一部を省略してもよい。

ＣＰＵ２００Ａは、不揮発性記憶装置２００Ｃに格納されたプログラム、又は可搬型記憶媒体収納部２００Ｄに装着された可搬型記憶媒体に格納されたデータをＲＡＭ２００Ｂに展開して実行することで、以下に説明する種々の処理を行う。ＲＡＭ２００Ｂは、ＣＰＵ２００Ａによってワーキングエリアとして使用される。不揮発性記憶装置２００Ｃは、例えば、ＨＤＤやフラッシュメモリ、ＲＯＭ（Read Only Memory）などである。可搬型記憶媒体収納部２００Ｄには、ＳＤカード又はＳＩＭカードなどの可搬型記憶媒体が装着される。入出力装置２００Ｅは、例えば、タッチパネル、表示装置などを含む。通信インターフェース２００Ｆは、ネットワークＮＷに接続され、画像表示制御装置２００における通信を制御する。

図４を参照して、実施形態に係る画像表示制御装置の機能構成について説明する。図４は、実施形態に係る画像表示制御装置２００の機能構成を示す図である。画像表示制御装置２００は、記憶部２１０と、制御部２２０とを備える。

記憶部２１０は、取得した第１画像（ＰＩＣ１）と第２画像（ＰＩＣ２）が関連付けられて格納される撮影画像ＤＢ２１１、第２画像に対応する背景画像（ＰＩＣＢＧ）が格納される背景画像ＤＢ２１２、表示画像に係るデータが格納される表示画像ＤＢ２１３等を格納する。

制御部２２０は、受付処理部２２１と、画像取得部２２２（取得部）と、位置抽出部２２３と、表示制御部２２４と、通信処理部２２５と，撮影方向推定部２２６とを備える。これらの機能部は、例えば、ＣＰＵ２００Ａがプログラムを実行することにより実現される。また、これらの機能部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。

受付処理部２２１は、入出力装置２００Ｅによって検出された撮影者Ｕ１などのユーザの操作を受け付ける。例えば、受付処理部２２１は、入出力装置２００Ｅにより表示された画像上のボタンなどを選択する操作を検出して、ユーザの操作として受け付ける。受付処理部２２１は、検出したユーザの操作に基づいた処理を、制御部２２０における各部に実行させる。

画像取得部２２２は、第１カメラ１１０から第１画像を取得し、第２カメラ１２０から第２画像を取得して撮影画像ＤＢ２１１に格納する。なお、実施形態の画像取得部２２２は、第２カメラ１２０から背景画像を取得して背景画像ＤＢ２１２に格納する。図５は、実施形態の背景画像の一例について説明するための図である。

位置抽出部２２３は、撮影画像ＤＢ２１１に格納された少なくとも１つの第２画像に基づいて、第１画像の撮影者Ｕ１又は第１カメラ１１０の位置を抽出する。

本実施形態の位置抽出部２２３は、第２画像に基づいて、第１画像の撮影者Ｕ１又は第１カメラ１１０の位置を抽出する。

表示制御部２２４は、第１画像等を、位置抽出部２２３によって抽出された位置に関連付けて、背景画像上に表示するように制御する。その詳細については後述する。

通信処理部２２５は、ネットワークに接続され、第１カメラ１１０、第２カメラ１２０、端末装置等と通信を制御する。

撮影方向推定部２２６は、第１カメラ１１０が撮影して第１画像を生成する際の、第１カメラ１１０の光学系１１２の光軸が向けられている方向を推定する。推定方法の詳細については後述する。

図６と図７を参照して、実施形態に係る画像形成の手順について説明する。
図６は、実施形態に係る画像形成の手順を示すフローチャートである。図７は、実施形態に係る画像形成の処理の概要を説明するための図である。

まず、撮影者Ｕ１等により、所望の位置に第２カメラ１２０が配置される（ステップＳＡ１０）。
次に、第１カメラ１１０と第２カメラ１２０とが、第１画像と第２画像とを対応付けるように撮影する（ステップＳＡ２０）。例えば、第１カメラ１１０は、撮影して第１画像を生成する際に、撮影時刻を示す時刻情報を合わせて記録する。第２カメラ１２０は、撮影して第２画像を生成する際に、撮影時刻を示す時刻情報を合わせて記録する。第１画像に関する時刻情報と第２画像に関する時刻情報とに基づいて、それぞれに対応付けることを可能にする。なお、第１カメラ１１０は、撮影時に第２カメラ１２０に対して、静止画像の撮影指示を送り、第２カメラ１２０に撮影させてもよい。

次に、画像取得部２２２は、第１画像、第２画像をそれぞれのカメラから取得して（ステップＳＡ３０）、それぞれを記憶部２１０に格納する。

次に、位置抽出部２２３は、第２画像から撮影者Ｕ１又は前記第１カメラの位置を特定し、前記第１画像の撮影者又は前記第１カメラの位置情報を抽出する（ステップＳＡ４０）。例えば、位置抽出部２２３は、撮影者Ｕ１の頭部の位置又は第１カメラの位置を特定して、撮影者Ｕ１の位置としてもよい。位置抽出部２２３は、撮影者Ｕ１の頭部の位置を、第２画像上の撮影者Ｕ１の頭部の像の範囲の重心に対応付けてもよい。又は、位置抽出部２２３は、第１カメラの位置を、第２画像上の第１カメラの像の範囲の重心に対応付けてもよい。

次に、表示制御部２２４は、背景画像の有無について判定する（ステップＳＡ４２）。ステップＳＡ４２において、背景画像が有る場合には、表示制御部２２４は、処理をステップＳ５０に進める。ステップＳＡ４２において、背景画像が無い場合には、表示制御部２２４は、第２画像に基づいて背景画像を生成する（ステップＳＡ４４）。

ステップＳ４４の処理を終えた後、又は、ステップＳＡ４２において背景画像が有ると判定された後に、表示制御部２２４は、第２画像から抽出した位置情報に基づいて、背景画像上に、第１画像の撮影者Ｕ１に対応するオブジェクトを表示するように制御する。例えば、上記のオブジェクトは、第１画像の縮小版である所謂サムネイル画像であってもよい。これにより、表示制御部２２４は、第１画像を、上記の位置に関連付けて背景画像上に表示する（ステップＳＡ５０）。

次に、表示制御部２２４は、第１画像の位置の変更する要求の有無について判定する（ステップＳＡ６０）。第１画像の位置の変更する要求が有る場合、第１画像の位置の変更する指示を受け付けて、その指示に従い背景画像上の第１画像の位置を変更する（ステップＳＡ７０）。
ステップＳＡ６０において第１画像の位置の変更する要求が無いと判定された場合、又は、ステップＳＡ７０の処理を終えた後に、図６に示す一連の処理を終える。なお、上記の手順は一例を示すものであり、上記の手順に従い順に処理を実施することの他、一部の処理の順序を替えて実施してもよく、並行して実施してもよい。

なお、表示制御部２２４は、背景画像、第１画像、撮影者Ｕ１の像等を、互いに異なるレイヤにそれぞれ割り付けて、各レイヤに割り付けた像を表示するか表示しないかの処理を、上記のレイヤ単位に実施するようにしてもよい。
図８と図９は、実施形態の表示画像ＤＢ２１３の一例について説明するための図である。

図８に示すように、画像は、例えば、複数のレイヤで構成される。各レイヤには、背景画像のレイヤＬＢＧ、第１画像のレイヤＬＰＩＣ１−１、撮影者Ｕ１の像のレイヤＬＵ１−１等が含まれる。背景画像上に表示する第１画像に対応する、第１画像のレイヤＬＰＩＣ１−１と、撮影者Ｕ１の像のレイヤＬＵ１−１は組にして管理される。
なお、第１画像のレイヤＬＰＩＣ１−１と、撮影者Ｕ１の像のレイヤＬＵ１−１と、上記の矢印ＡＲ１−１を含むレイヤＬＡ１は、撮影者Ｕ１に対応付けて設けられていてもよく、各撮影者に共通するように設けられていてもよい。前者の場合、第１画像のレイヤＬＰＩＣ１−１と、撮影者Ｕ１の像のレイヤＬＵ１−１と、上記の矢印ＡＲ１−１を含むレイヤＬＡ１を含む組が撮影者ごとに設けられることにより、少なくとも撮影者の人数分の組数以上用意するとよい。後者の場合、第１画像のレイヤＬＰＩＣ１−１と、撮影者Ｕ１の像のレイヤＬＵ１−１と、上記の矢印ＡＲ１−１を含むレイヤＬＡ１を含む組を、少なくとも１組用意するとよい。

図９に示すように表示画像ＤＢ２１３には、背景画像、第１画像、撮影者Ｕ１の像等の像を対応付けるためのデータと、背景画像ＰＩＣＢＧにおける第１画像ＰＩＣ１−１、撮影者Ｕ１の像等の位置を示すデータとが対応付けられて、表示画像に係るデータとして格納される。

図１０を参照して、実施形態に係る背景画像の形成に関する処理の手順について説明する。図１０は、実施形態に係る背景画像の形成に関する処理の手順を示すフローチャートである。

まず、表示制御部２２４は、撮影者Ｕ１等の移動する被写体が存在する状況か否かを問わずに、撮影時刻が異なるように所定の時間間隔を空けて複数の第２画像を撮影する（ステップＳＡ４４２）。この複数の第２画像とは、複数の静止画像であってもよく、一連の動画像の内の異なる時刻の画像であってもよい。以下、これらを纏めて「複数の第２画像」と呼ぶ。なお、下記の背景画像を生成する処理に適した複数の第２画像が既に格納されている場合には、このステップの処理を省略することができる。背景画像を生成する処理に適した複数の第２画像とは、動体の像の範囲が互いに重ならない画像であることを必要条件とするものである。

次に、表示制御部２２４は、複数の第２画像に基づいて、背景差分等の手法により動体を検出して、その動体の像を画像から削除するとともに、その削除した範囲を移動しない被写体の像で補うように画像を合成する画像処理の手法により背景画像を生成し（ステップＳＡ４４４）、背景画像ＤＢに格納する。

続いて、上記の「第２画像から撮影者Ｕ１の位置を特定する処理」（ステップＳＡ４０）と、「第１画像を撮影者Ｕ１の位置に関連付けて背景画像上に表示する処理」（ステップＳＡ５０）と、「背景画像上の第１画像の位置を変更する処理」（ステップＳＡ７０）とに関するより具体的な事例について説明する。

［第２画像から撮影者Ｕ１の位置を特定する処理］
位置抽出部２２３は、撮影者Ｕ１の位置を、下記の何れかの方法で特定する。

・第２画像と背景画像に基づく処理
位置抽出部２２３は、第２画像と背景画像に基づき、第２画像と背景画像の差を取り、その差があった位置に動体が存在すると推定し、推定した動体に対して識別情報（動体ＩＤ）を付与する。なお、位置抽出部２２３は、検出した動体を人として特定してもよく、予め定められた条件を満たす場合に、その動体を人として特定してもよい。

・撮影時刻が互いに異なる複数の第２画像に基づく処理
位置抽出部２２３は、撮影時刻が互いに異なる複数の第２画像に基づき、互いの画像の差を取り、その差があった位置に動体が存在すると推定し、特定した動体に対して識別情報（動体ＩＤ）を付与する。なお、位置抽出部２２３は、検出した動体を人として特定してもよく、予め定められた条件を満たす場合に、その動体を人として特定してもよい。

例えば、上記の何れかの方法に基づいて特定した動体に対してそれを代表する代表点を予め定める。位置抽出部２２３は、その代表点の位置を検出する。位置抽出部２２３は、上記の識別情報（動体ＩＤ）と、代表点の位置とを関連付けて、それらを撮影者Ｕ１の位置を示す情報として扱う。

［第１画像を撮影者Ｕ１の位置に関連付けて背景画像上に表示する処理］
実施形態の撮影方向推定部２２６は、第１カメラ１１０が撮影した際の撮影方向を、下記の何れかの方法で推定し、その結果に基づいて第１画像を配置する。
・第１カメラ１１０に内蔵されたセンサを利用する方法
・第２カメラ１２０によって撮像された第１カメラ１１０の画像に基づいて推定する方法

なお、第１カメラ１１０が撮影した際の撮影方向は、例えば、撮影者Ｕ１が第１カメラ１１０を利用して撮影した際の撮影方向であってもよい。以下の説明では、上記の撮影方向を、第１カメラ１１０の光学系の光軸の方向に一致するものとして説明する。

（第１カメラ１１０に内蔵されたセンサを利用して、撮影方向を推定する方法）
本実施形態では、第１カメラ１１０に内蔵されたセンサを利用して、撮影方向を推定する方法について説明する。
この方法は、少なくとも撮影時の第１カメラ１１０の姿勢と、第２画像に基づいて抽出される撮影者Ｕ１又は第１カメラ１１０の位置とに基づいて、撮影方向を推定するものである。

図１１は、実施形態の撮影方向の推定処理の手順を示すフローチャートである。

まず、撮影方向推定部２２６は、撮影時の第１カメラ１１０の姿勢を、第１カメラ１１０が備える各種センサにより検出する（ステップＳＡ５２）。
例えば、第１カメラ１１０は、自装置の姿勢を検出可能とする各種センサを備えるものである。その各種センサは、第１カメラ１１０の姿勢の変化に応じて変化する物理量を検出して出力する。第１カメラ１１０は、上記の各種センサが検出した物理量の検出値に基づくセンサデータを、第１画像の属性データに、第１画像を撮影する際に追加する。センサデータとは、検出値そのものであってもよく、検出値に基づいてそれを変換して生成されたものであってもよい。

次に、撮影方向推定部２２６は、画像表示制御装置２００が第１カメラ１１０から取得する第１画像には、属性情報が付与されており、その属性情報には上記のようなセンサデータが含まれる。画像表示制御装置２００の表示制御部２２４は、第１カメラ１１０から取得したデータから、第１画像を撮影する時の第１カメラ１１０の姿勢を推定し（ステップＳＡ５４）、図に示す一連の処理を終える。

上記の手順により、撮影方向推定部２２６は、撮影方向を推定する。

なお、撮影方向推定部２２６は、第１カメラ１１０が備えているセンサの種類により、下記のように処理をしてもよい。

例えば、第１カメラ１１０が３次元加速度センサを備えている場合には、表示制御部２２４は、３次元加速度センサに関するセンサデータｄ１から、第１カメラ１１０本体の３次元空間における姿勢を推定してもよい。なお、この３次元加速度センサに関するセンサデータｄ１に基づいた推定では、鉛直方向（Ｚ軸方向）を基準にした傾きが導出される。

また、第１カメラ１１０が磁気センサを備えている場合には、表示制御部２２４は、磁気センサに関するセンサデータｄ２から、第１カメラ１１０本体の周囲環境の磁気に対する第１カメラ１１０本体の方向を推定してもよい。例えば、第１カメラ１１０本体の周囲環境の磁気を地磁気によるものとすれば、絶対方位に対する方向を推定することができる。

なお、上記の他、第１カメラ１１０が光センサ１１５（図１４）等を備えている場合には、表示制御部２２４は、光センサ１１５に関するセンサデータｄ３から、第１カメラ１１０本体の周囲環境の明るさを基準にして第１カメラ１１０本体の方向を推定してもよい。例えば、天井に照明が有ると仮定すれば、検出した天井と床の明るさのバランスから、第１カメラ１１０本体の傾きを検出することができる。

更に、撮影方向推定部２２６は、３次元加速度センサ、磁気センサなどの複数種類（ｎ種類）のセンサを組み合わせて、例えば、下記に示すような方法で第１カメラ１１０の姿勢を推定してもよい。

各種センサからのセンサデータ（ｄ１、ｄ２、・・・ｄｎ）を変数にとる関数Ｆを用いることにより、第１カメラ１１０の姿勢を式（１）のように表すことができる。ｄ１、ｄ２、・・・ｄｎの各変数は、それぞれが、３次元方向のデータを持つベクトルであると仮定する。

ＶＣｙ＝Ｆ（ｄ１、ｄ２、・・・ｄｎ） ・・・（１）

上記の式（１）において、ＶＣｙは、ＸＹＺ軸を用いて規定される実空間におけるベクトルであって、第１カメラ１１０の光軸の方向に関する推定値である。例えば、関数Ｆは、上記のセンサデータｄ１が示す第１カメラ１１０の傾きと、基準の方向とＺ軸周りに転回した上記のセンサデータｄ２が示す方向とが為す角度（例えば、方位）とを変数にとる場合、これらに基づいて上記の推定値ＶＣｙを導出するものである。

ＶＣｙ＝（ｘｃｅ、ｙｃｅ、ｚｃｅ）^Ｔ ・・・（２）

なお、上記の式（２）におけるｘｃｅ、ｙｃｅ、ｚｃｅは、３次元座標系におけるＸＹＺ方向の各成分である。添え字の「Ｔ」は、転置ベクトルを示す。

この第１カメラ１１０の光軸の方向に関する推定値ＶＣｙを、第３画像を成す面に射影して、撮影者Ｕ１の視線の方向に関する推定値ＶＬＳｙを得る。推定値ＶＬＳｙは、式（３）により導出してもよい。

ＶＬＳｙ＝（ｘＬＳｅ、ｚＬＳｅ）^Ｔ ・・・（３）

上記の式（３）において、ｘＬＳｅ、ｚＬＳｅは、例えば、第３画像を平面に射影した面の２次元座標系におけるｘｚ方向の各成分である。

撮影方向推定部２２６は、上記の図９に示す一連の処理を終える。

［表示］
図１２を参照して、実施形態の第１画像を撮影者Ｕ１の位置に関連付けて背景画像上に表示する処理について説明する。図１２は、実施形態の第１画像を撮影者Ｕ１の位置に関連付けて背景画像上に表示する処理により生成される表示の一例を示す図である。
符号ＰＩＣＢＧは、背景画像として表示する画像の範囲を示す。この画像は、上記第２画像に対応する背景画像に基づくものであり、例えば、正距円筒画像である。以下に示す各画像は、位置抽出部２２３が抽出した第１画像の撮影者Ｕ１又は前記第１カメラ１１０の位置に基づいて、表示制御部２２４によって、背景画像上に前記第１画像を重ねて表示するための処理が実行されて生成される。

図１２（ａ）における画像ＰＩＣＢＧ上の一部に、第１画像を示すオブジェクト（ＰＩＣ１）と撮影者Ｕ１等の像とが配置されている。例えば、この第１画像を示すオブジェクト（ＰＩＣ１−１）は、第１画像を縮小した画像、所謂サムネイル画像である。なお、このオブジェクトを上記のサムネイル画像に代えて、第１画像を示すアイコンにしてもよい。また、この撮影者Ｕ１等の像は、第２画像から抽出された撮影者Ｕ１等の像に基づくものであり、撮影者Ｕ１が撮影した位置に対応する位置を画像ＰＩＣＢＧ上に示すものである。

例えば、表示制御部２２４は、撮影方向推定部２２６による推定の結果に基づいて、画像ＰＩＣＢＧにおけるオブジェクト（ＰＩＣ１）を配置する。表示制御部２２４は、オブジェクト（ＰＩＣ１）の位置を、上記の推定の結果である撮影者Ｕ１等の像の位置を基準にして決定する。表示制御部２２４は、オブジェクト（ＰＩＣ１）の位置を、撮影者Ｕ１が第１カメラ１１０の光学系の光軸を向けて撮影した方向に対応する方向に決定する。さらに、オブジェクト（ＰＩＣ１）が、撮影者Ｕ１の視点の位置から離れた位置にあることにより、表示制御部２２４は、オブジェクト（ＰＩＣ１）と撮影者Ｕ１の像と間を繋ぐように、線ＲＬ１−１を描画してもよい。図に示す線ＲＬ１−１は、オブジェクト（ＰＩＣ１）の中心（画像上の重心）と撮影者Ｕ１が支持する第１カメラ１１０の像との間を結ぶ線を一例として示したものである。このようにして、画像ＰＩＣＢＧ上にオブジェクト（ＰＩＣ１）を配置する位置を決定することにより、撮影者Ｕ１が第１カメラ１１０を利用して撮影する被写体に近づけて、上記のオブジェクト（ＰＩＣ１）を表示することができる。

なお、この撮影者Ｕ１等の像は、操作により当該画像内に表示させてもよく、表示を消したりすることができる。

図１２（ｂ）における画像ＰＩＣＢＧ上の一部に、第１画像を示すオブジェクトと撮影者Ｕ１等の像を半透明化した象が配置されている。
例えば、図１２（ａ）に示したように、撮影者Ｕ１等の像の表示を、表示又は非表示を切り替えることの他に、半透明化して表示してもよい。なお、半透明化して表示することに代えて、撮影者Ｕ１等の像の輪郭（シルエット）を表示するようにしてもよい。

なお、画像表示制御装置２００は、上記の各画像の表示の種類を、ユーザの操作等に基づいて予め択一的に選択することができ、又は、複数の種類をユーザの操作等に基づいて選択し、切り替えて表示することができる。

［背景画像上の第１画像の位置を変更する処理］
図１３を参照して、実施形態の背景画像上の第１画像の位置を変更する処理について説明する。図１３は、実施形態の背景画像上の第１画像の位置を変更する処理により生成される表示の一例を示す図である。

前述の図１２（ａ）のように、第１画像は、背景画像（画像ＰＩＣＢＧ）上の所望の位置に配置されている。所望の位置とは、撮影者Ｕ１の像の位置に関連付けて、撮影者Ｕ１が撮影する方向に背景画像（画像ＰＩＣＢＧ）上に表示するように決定された位置である。ここで、第１画像の位置を変更することが必要な場合には、画像表示制御装置２００は、それを操作する撮影者Ｕ１等のユーザの操作に基づいて、画像ＰＩＣＢＧ内の他の位置に移動させて表示してもよい。その結果、図１３に示すように第１画像は、背景画像上の位置を変更する処理によって決定された位置に改めて配置される。

なお、撮影者Ｕ１の像を表示したり、非表示にしたりすることは、図１２の場合と同様に適宜切り替えることができる。

上記の実施形態によれば、画像表示制御装置２００は、第１カメラ１１０の撮影に基づいて生成された第１画像と、第２カメラ１２０の撮影に基づいて生成され、第１画像の撮影者Ｕ１又は第１カメラが映り込んでいる第２画像と、第２画像から生成された背景画像と、を記憶部２１０から取得し、第２画像に基づいて、第１画像の撮影者又は前記第１カメラの位置情報を抽出し、第２画像から抽出した位置情報に基づいて、背景画像上に、第１画像の撮影者に対応するオブジェクトを表示するように制御部２２０が制御することにより、状況を記録した画像を、より簡易な方法で管理することができる。

また、制御部２２０は、第１画像ＰＩＣ１を撮影した際の第１画像ＰＩＣ１の撮影者Ｕ１又は第１カメラ１１０の姿勢に基づいて、背景画像ＰＩＣＢＧ上に、第１画像ＰＩＣ１を表示する位置を決定することにより、撮影者Ｕ１が撮影する仕草、又は、第１カメラ１１０の光軸が向けられた方向に併せて、背景画像ＰＩＣＢＧ上における第１画像ＰＩＣ１を表示する位置を決定できる。

また、制御部２２０は、第１画像ＰＩＣ１の撮影者Ｕ１に対応するオブジェクトを、第１画像ＰＩＣ１の撮影者Ｕ１の像に基づいて生成することにより、撮影者Ｕ１の像の位置に合うように第１画像ＰＩＣ１の撮影者Ｕ１に対応するオブジェクトを表示させることができる。

また、制御部２２０は、第１カメラ１１０の姿勢を、第１カメラ１１０が備えるセンサによる検出結果により決定することで、撮影時の第１カメラ１１０の向きを検出することができる。

（第２の実施形態）
第２の実施形態について説明する。第１の実施形態では、第１カメラ１１０に内蔵されたセンサを利用して、撮影方向を推定する事例について説明した。本実施形態では、これに代えて、第２カメラによって撮像された画像に基づいて、撮影方向を推定する事例について説明する。

本実施形態では、画像表示制御装置２００が、少なくとも撮影時の第１画像の撮影者Ｕ１又は第１カメラ１１０の像を第２画像から抽出し、第２画像に基づいて抽出される像の位置と、その像に基づいて推定される第１カメラ１１０の姿勢の推定結果とに基づいて、撮影方向を推定する事例を挙げて説明する。

例えば、第２カメラによって撮像された第２画像には、第１画像の撮影者Ｕ１又は第１カメラ１１０が映り込んでいる。前述の撮影者Ｕ１は、動体として特定される。第２画像における動体の位置の近傍の画像を対象範囲に含む。画像表示制御装置２００の撮影方向推定部２２６は、対象範囲の画像から、撮影者Ｕ１又は第１カメラ１１０の像を抽出し、それぞれの姿勢から、第１カメラ１１０の姿勢を推定する。第１カメラ１１０には、様々な形状を有するものがある。

図１４は、実施形態の第１カメラ１１０の代表的な事例を説明するための図である。
図１４（ａ）に、第１カメラ１１０の本体１１１から突出する鏡筒１１３を有するタイプの一例を示し、図１４（ｂ）に第１カメラ１１０が鏡筒を有していないタイプの一例を示す。鏡筒１１３に、光学系１１２が収納される。

このような第１カメラ１１０は、図１４（ａ）のように鏡筒１１３を有するタイプのものであってもよく、鏡筒１１３と同様の鏡筒を有していない図１４（ｂ）のようなタイプのものであってもよい。撮影方向推定部２２６は、第１カメラ１１０のタイプに合せて下記のような処理をするとよい。第１カメラ１１０のタイプは、予め決定されていてもよく、撮影方向推定部２２６が、第１画像の付加情報、又は、第２画像から抽出した結果に基づいて決定してもよい。

例えば、図１４（ａ）に示すように鏡筒１１３を有するタイプのものであれば、鏡筒１１３の軸を光学系１１２の光軸ＣＬとみなして、その方向を撮影方向とする。

また、例えば、図１４（ｂ）に示すように鏡筒を有していないタイプのものであれば、撮影者Ｕ１に支持された第１カメラ１１０の本体１１１を直方体ＲＥＣとみなして近似するとよい。撮影方向推定部２２６は、直方体ＲＥＣを形成する各面の内から、面の法線Ｎが撮影者Ｕ１の頭部から遠ざかる方向に向いた面ＦＳを選択し、その面の法線Ｎの方向を光学系１１２の光軸ＣＬの方向とみなす。このタイプに属する第１カメラ１１０は、上記の光学系１１２の光軸ＣＬは、上記のとおり面ＦＳの法線Ｎの方向に一致することが多いことから、撮影方向推定部２２６は、その法線Ｎの方向を撮影方向として扱うことができる。

また、第１カメラ１１０の本体１１１（直方体ＲＥＣ）を挟み、面ＦＳに対する面ＢＳには、図１４（ｃ）に示すように画像をモニタする表示部１１４が設けられており、撮影者Ｕ１は、その表示部１１４に表示されたモニタ画像を確認しながら撮影方向を調整することが多い。

撮影方向推定部２２６は、上記のような撮影者Ｕ１が撮影時にとる姿勢の特徴を抽出することにより、撮影方向を検出する。

上記の実施形態によれば、第１の実施形態と同様の効果を奏することの他、制御部２２０は、第１画像ＰＩＣ１の撮影者Ｕ１又は第１カメラ１１０の像に基づいて、第１画像ＰＩＣ１の撮影者Ｕ１又は第１カメラ１１０の姿勢を推定することにより、第２カメラ１２０によって撮像された画像に基づいて、撮影方向を推定することができる。

（第３の実施形態）
第３の実施形態について説明する。第１の実施形態と第２の実施形態の各実施形態では、互いに異なる１通りの方法を利用する事例について説明した。これに代えて、本実施形態では、複数の種類の推定方法を組み合わせる場合について例示する。

例えば、第１の組み合わせ方として、上記の複数種類の方法による撮影方向の推定処理の結果に基づいて、予め定められた判定基準に従った判定により、当該複数種類の方法の内から択一的に選択し、選択された処理の結果を推定処理の結果としてもよい。

また、第２の組み合わせ方として、上記の複数種類の方法による撮影方向の推定処理の結果に基づいて、それらを算術的に組み合わせる処理の結果を推定処理の結果としてもよい。

図１５は、実施形態の撮影方向の推定処理の手順を示すフローチャートである。
まず、撮影方向推定部２２６は、第１カメラ１１０に内蔵された各種センサに基づいて撮影方向を推定し、第１推定値を導出する（ステップＳＢ２）。

次に、撮影方向推定部２２６は、第２カメラ１２０によって撮像された第２画像ＰＩＣ２に基づいて撮影方向を推定し、第２推定値を導出する（ステップＳＢ４）。

次に、撮影方向推定部２２６は、第１の推定による撮影方向（第１推定値）の第１信頼度と、第２の推定による撮影方向（第２推定値）の第２信頼度を推定する（ステップＳＢ６）。

次に、撮影方向推定部２２６は、第１信頼度について判定し、第２信頼度について判定し、それぞれの結果を組み合わせて判定の結果を評価する（ステップＳＢ８）。

次に、撮影方向推定部２２６は、評価の結果に従い、画像を表示する位置を決定するための条件を選択し（ステップＳＢ１０）、図に示す処理を終える。

図１６を参照して、上記の第１信頼度の判定の結果と、第２信頼度の判定の結果とを組み合わせた判定に基づいた選択基準の一例について説明する。例えば、第１の信頼度と第２の信頼度のそれぞれについて、それぞれの期待値を基準に判定して、その判定結果を組み合わせて評価することにより、次に示すような選択処理を実施してもよい。図１６は、実施形態の判定結果の論理的な組み合わせについて説明するための図である。

第１の事象として、第１信頼度と第２信頼度の双方が期待値以上の場合には、第１推定値と第２推定値との組み合わせを選択する。

第２の事象として、第１信頼度が期待値以上であるが、第２信頼度が期待値を満たさない又は第２推定値を導出できない場合には、第１カメラ１１０に内蔵された各種センサに基づいた第１推定値を選択する。

第３の事象として、第２信頼度が期待値以上であるが、第１信頼度が期待値を満たさない又は第１推定値を導出できない場合には、第２カメラ１２０によって撮像された第２画像ＰＩＣ２に基づいた第２推定値を選択する。

第４の事象として、第１信頼度と第２信頼度の双方が期待値を満たさない場合、又は、双方の推定値を導出できない場合には、第１カメラ１１０の方向の推定値によらずに、予め定められた処理をする。例えば、この場合、人の位置（代表点の位置）に合わせて表示するようにしてもよい。

なお、上記の論理的な組み合わせの判定の結果から、上記の第１の事象であると判定された場合、つまり、第１信頼度と第２信頼度の双方が期待値以上の場合に、第１推定値と第２推定値とについての重みづけ処理（演算処理）により、総合的な評価に基づいた推定値Ｖｙを導出してもよい。

第１推定値ＶＣｙと第２推定値ＶＰｙとの算術的な組み合わせの一例について説明する。例えば、総合的な評価に基づいた推定値Ｖｙを、式（４）を用いて導出してもよい。

Ｖｙ＝ａＶＣｙ＋（１−ａ）ＶＰｙ ・・・（４）

上記の式（４）において、ａは、係数であり、０から１までの値をとる。

上記の手順により、撮影方向の推定処理を実施することができる。

上記の実施形態によれば、第１実施形態と同様の効果を奏することの他、撮影方向の推定処理を複数の方法で実施することができる。

少なくとも上記の実施形態によれば、画像表示制御装置２００は、第１カメラ１１０の撮影に基づいて生成された第１画像ＰＩＣ１と、第２カメラ１２０の撮影に基づいて生成され、第１画像ＰＩＣ１の撮影者Ｕ１又は第１カメラ１１０が映り込んでいる第２画像ＰＩＣ２と、第２画像ＰＩＣ２から生成された背景画像ＰＩＣＢＧと、を記憶部２１０から取得する画像取得部２２２と、第２画像ＰＩＣ２に基づいて、第１画像ＰＩＣ１の撮影者Ｕ１又は第１カメラ１１０の位置情報を抽出し、第２画像ＰＩＣ２から抽出した位置情報に基づいて、背景画像ＰＩＣＢＧ上に、第１画像ＰＩＣ１の撮影者に対応するオブジェクトを表示するように制御する制御部２２０とを備えることにより、状況を記録した画像を、より簡易な方法で管理することができる。

なお、画像表示制御装置２００を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより建物２等において撮影された画像を管理するための処理動作を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、ネットワークや通信回線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…画像管理システム、２…建物、１００…カメラ、１１０…第１カメラ、１２０…第２カメラ、２００…画像表示制御装置、２１０…記憶部、２２０…制御部、２２１…受付処理部、２２２…画像取得部（取得部）、２２３…位置抽出部、２２４…表示制御部、２２５…通信処理部、２２６…撮影方向推定部

Claims (7)

1. 第１カメラの撮影に基づいて生成された第１画像と、
   第２カメラの撮影に基づいて生成され、前記第１画像の撮影者又は前記第１カメラが映り込んでいる第２画像と、
   前記第２画像から生成された背景画像と、を記憶部から取得する取得部と、
   前記第２画像に基づいて、前記第１画像の撮影者又は前記第１カメラの位置情報を抽出し、
   前記第２画像から抽出した位置情報に基づいて、前記背景画像上に、前記第１画像の撮影者に対応するオブジェクトを表示するように制御する制御部と
   を備える画像表示制御装置。
2. 前記制御部は、
   前記第１画像を撮影した際の前記第１画像の撮影者又は前記第１カメラの姿勢に基づいて、前記背景画像上に、前記第１画像を表示する位置を決定する、
   請求項１に記載の画像表示制御装置。
3. 前記制御部は、
   前記第１画像の撮影者に対応するオブジェクトを、前記第１画像の撮影者の像に基づいて生成する、
   請求項１又は請求項２に記載の画像表示制御装置。
4. 前記制御部は、
   前記第１画像の撮影者又は前記第１カメラの像に基づいて、前記第１画像の撮影者又は前記第１カメラの姿勢を推定する、
   請求項１から請求項３の何れか１項に記載の画像表示制御装置。
5. 前記制御部は、
   前記第１カメラの姿勢を、前記第１カメラが備えるセンサによる検出結果により決定する、
   請求項１から請求項３の何れか１項に記載の画像表示制御装置。
6. 第１カメラの撮影に基づいて生成された第１画像と、
   第２カメラの撮影に基づいて生成され、前記第１画像の撮影者又は前記第１カメラが映り込んでいる第２画像と、
   前記第２画像から生成された背景画像と、を記憶部から取得するステップと、
   前記第２画像に基づいて、前記第１画像の撮影者又は前記第１カメラの位置情報を抽出し、
   前記第２画像から抽出した位置情報に基づいて、前記背景画像上に、前記第１画像の撮影者に対応するオブジェクトを表示するように制御するステップ
   を含む画像表示制御方法。
7. 第１カメラの撮影に基づいて生成された第１画像と、
   第２カメラの撮影に基づいて生成され、前記第１画像の撮影者又は前記第１カメラが映り込んでいる第２画像と、
   前記第２画像から生成された背景画像と、を記憶部から取得するステップと、
   前記第２画像に基づいて、前記第１画像の撮影者又は前記第１カメラの位置情報を抽出し、
   前記第２画像から抽出した位置情報に基づいて、前記背景画像上に、前記第１画像の撮影者に対応するオブジェクトを表示するように制御するステップ
   をコンピュータに実行させるためのプログラム。

Images