JP2013211818A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】カメラによって撮像されている領域を直感的に把握することを課題とする。
【解決手段】画像処理装置は、３次元領域の３次元モデルを示す３次元モデルデータと、前記３次元領域に配置されるカメラの位置を前記３次元モデルにおけるカメラ位置として記憶する３次元モデル記憶部を有する。画像処理装置は、カメラによって撮像された撮像画像及び撮像時の撮像方向を取得する。そして、画像処理装置は、カメラ位置に応じて３次元モデルに対する視点を決定し、決定した視点及び撮像方向に応じて、３次元モデルを２次元面に投影した２次元投影画像を生成し、生成した２次元投影画像上の所定領域に、撮像画像を合成することにより合成画像を生成する。また、画像処理装置は、生成した合成画像を出力する。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来、カメラによって撮像された対象物のモデルを、表示の際の視点位置及び視線方向が設定された３次元モデルの対応する位置に合成して表示する技術がある（例えば、特許文献１等）。特許文献１では、ある事象が発生した領域のカメラ画像を、上述した３次元モデルとともに表示する技術が開示されている。

特開２０００−３３１２７９号公報

しかしながら、従来技術では、カメラによって撮像されている領域を直感的に把握することが困難であるという問題がある。従来技術は、３次元モデルにおける視点位置及び視線方向と、実際のカメラ画像における視点位置及び視線方向とが一致したものではないため、カメラによって撮像されている領域を直感的に把握することが困難である。本発明は、上記に鑑みてなされたものであって、カメラによって撮像されている領域を直感的に把握することが可能である画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記の課題を解決するために、本発明は以下の装置、方法、プログラムを提供するものである。

１）３次元領域の３次元モデルを示す３次元モデルデータと、３次元領域に配置されるカメラの位置を３次元モデルにおけるカメラ位置として記憶する３次元モデル記憶部と、カメラによって撮像された撮像画像及び撮像時の撮像方向を取得する取得部と、カメラ位置に応じて３次元モデルに対する視点を決定し、決定した視点及び撮像方向に応じて、３次元モデルを２次元面に投影した２次元投影画像を生成して、生成した２次元投影画像上の所定領域に、撮像画像を合成することにより合成画像を生成する合成部と、合成画像を出力する出力部とを有することを特徴とする画像処理装置。

２）３次元領域のモデルを示す３次元モデルデータと、３次元領域に配置されるカメラの位置を３次元モデルにおけるカメラ位置として記憶する３次元モデル記憶ステップと、カメラによって撮像された撮像画像及び撮像時の撮像方向を取得する取得ステップと、カメラ位置に応じて３次元モデルに対する視点を決定し、決定した視点及び撮像方向に応じて、３次元モデルを２次元面に投影した２次元投影画像を生成して、生成した２次元投影画像上の所定領域に、撮像画像を合成することにより合成画像を生成する合成ステップと、合成画像を出力する出力ステップとを含むことを特徴とする画像処理方法。

３）３次元領域のモデルを示す３次元モデルデータと、３次元モデル領域に配置されるカメラの位置を３次元モデルにおけるカメラ位置として記憶部に記憶させる３次元モデル記憶機能と、カメラによって撮像された撮像画像及び撮像時の撮像方向を取得する取得機能と、カメラ位置に応じて３次元モデルに対する視点を決定し、決定した視点及び撮像方向に応じて、３次元モデルを２次元面に投影した２次元投影画像を生成して、生成した２次元投影画像上の所定領域に、撮像画像を合成することにより合成画像を生成する合成機能と、合成画像を出力する出力機能とをコンピュータに実現させることを特徴とする画像処理プログラム。

本発明の一つの様態によれば、カメラによって撮像されている領域を直感的に把握することができるという効果を奏する。

図１は、実施の形態１に係る監視システムの構成例を示す図である。 図２は、実施の形態１に係る撮像装置の構成例を示す図である。 図３は、実施の形態１に係る画像処理装置の構成例を示す図である。 図４は、３次元モデル記憶部によって記憶される情報例を示す図である。 図５は、３次元モデルデータを説明するための図である。 図６は、視点情報記憶部に記憶される情報例を示す図である。 図７は、実施の形態１に係る全体処理の流れの例を示すフローチャートである。 図８は、実施の形態１に係る初期画像生成処理の流れの例を示すフローチャートである。 図９は、初期画像の例を示す図である。 図１０は、実施の形態１に係る画像処理の流れの例を示すフローチャートである。 図１１は、２次元投影画像の例を示す図である。 図１２は、合成画像の例を示す図である。 図１３は、所定領域の位置を変更する例を示す図である。 図１４Ａは、所定物を透過させる前の２次元投影画像の例を示す図である。 図１４Ｂは、所定物を透過させた後の２次元投影画像の例を示す図である。 図１５Ａは、ポップアップの大きさを調整する前の２次元投影画像の例を示す図である。 図１５Ｂは、ポップアップの大きさを調整した後の２次元投影画像の例を示す図である。 図１６は、実施の形態４に係る画像処理装置の構成例を示す図である。 図１７Ａは、ドラッグ操作が行なわれる前の合成画像の例を示す図である。 図１７Ｂは、左方向にドラッグ操作が行なわれた場合の合成画像の例を示す図である。 図１７Ｃは、下方向にドラッグ操作が行なわれた場合の合成画像の例を示す図である。 図１８は、実施の形態４に係る全体処理の流れの例を示すフローチャートである。 図１９は、実施の形態４に係る画像処理の流れの例を示すフローチャートである。 図２０は、実施の形態４の変形例に係る画像処理の流れの例を示すフローチャートである。 図２１は、実施の形態５に係る画像処理の流れの例を示すフローチャートである。 図２２は、実施の形態６に係る基点を決定する例を示すイメージ図である。 図２３は、実施の形態６に係るドラッグ距離に応じたカメラ動作速度を設定する例を示すイメージ図である。 図２４は、実施の形態６に係る画像処理の流れの例を示すフローチャートである。 図２５は、実施の形態７に係る基点を決定する例を示すイメージ図である。 図２６は、実施の形態７に係るドラッグ速度に応じたカメラ動作速度を設定する例を示すイメージ図である。 図２７は、実施の形態７に係る画像処理の流れの例を示すフローチャートである。 図２８は、３次元モデル記憶部に記憶される情報例を示す図である。 図２９は、監視エリアの階層構造の説明図である。 図３０は、視点情報記憶部に記憶される情報例を示す図である。 図３１は、選択画像から選択可能な監視エリアまたはカメラアイコンを示す説明図である。 図３２は、実施の形態８に係る全体処理の流れの例を示すフローチャートである。 図３３は、実施の形態８に係る選択画像生成処理の流れの例を示すフローチャートである。 図３４は、実施の形態９にかかる画像処理装置の処理を説明するための図である。 図３５は、３次元モデル記憶部に記憶される情報例を示す図である。 図３６Ａは、視点位置が変更された場合に描画される２次元投影画像を示す図である。 図３６Ｂは、視点位置が変更された場合に描画される２次元投影画像を示す図である。 図３６Ｃは、視点位置が変更された場合に描画される２次元投影画像を示す図である。 図３７は、全監視エリアに対するｙ軸を回転軸とする視点範囲を説明するための図である。 図３８Ａは、視点位置が変更された場合に描画される２次元投影画像を示す図である。 図３８Ｂは、視点位置が変更された場合に描画される２次元投影画像を示す図である。 図３９は、画像処理装置のフローチャートである。 図４０は、実施の形態１０に係る画像処理装置の構成例を示す図である。 図４１は、図４０に示す画像記憶部が保持する撮像画像管理テーブルの一例を示す図である。 図４２は、実施の形態１〜１１に係るセンサの構成例を示す図である。 図４３は、図４０に示すイベント記憶部が保持するイベント管理テーブルの一例を示す図である。 図４４は、実施の形態１０において３次元モデル記憶部が管理するセンサ管理テーブルの一例を示す図である。 図４５は、実施の形態１０に係る制御部の録画動作を示すフローチャートである。 図４６は、実施の形態１０に係る制御部のイベント記録動作を示すフローチャートである。 図４７は、実施の形態１０に係る制御部による録画再生動作の一例を示すフローチャートである。 図４８は、実施の形態１０に係る合成画像の一例を示す図である。 図４９は、図４８に示す操作画面の一例を示す図である。 図５０は、実施の形態１１に係る合成画像の一例を示す図である。 図５１は、画像処理プログラムがコンピュータを用いて実現されることを示す図である。

以下に添付図面を参照して、本発明に係る画像処理装置、画像処理方法及び画像処理プログラムの実施の形態を説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、各実施の形態は、内容を矛盾させない範囲で適宜組み合わせることができる。

（実施の形態１）
［実施の形態１に係る監視システムの構成］
図１を用いて、実施の形態１に係る監視システムの構成を説明する。図１は、実施の形態１に係る監視システムの構成例を示す図である。

図１に示すように、監視システム１には、画像処理装置１０と、撮像装置２０ａ１と、センサ４０ａ１と、撮像装置２０ｂ１と、センサ４０ｂ１とがネットワーク３０に接続されている。かかる監視システム１は、所定のエリアを監視するために利用される。画像処理装置１０は、例えば、店舗内の管理室や警備会社の警備室等に設置されることがある。以下では、監視システム１による監視の監視対象となるエリア全体を「全監視エリア」と呼ぶ場合がある。

また、撮像装置２０ａ１とセンサ４０ａ１とは、全監視エリアの一部であるエリア５０ａに配置される。同様に、撮像装置２０ｂ１と、センサ４０ｂ１とは、全監視エリアの一部であるエリア５０ｂに配置される。エリア５０ａには、撮像装置２０ａ１やセンサ４０ａ１の他にも、複数の撮像装置やセンサが配置される場合がある。また、エリア５０ｂには、撮像装置２０ｂ１やセンサ４０ｂ１の他にも、複数の撮像装置やセンサが配置される場合がある。以下では、撮像装置２０ａ１や撮像装置２０ｂ１を、「撮像装置２０」と呼ぶ場合がある。また、以下では、センサ４０ａ１やセンサ４０ｂ１を、「センサ４０」と呼ぶ場合がある。また、以下では、エリア５０ａ１やエリア５０ｂ１を、「エリア５０」と呼ぶ場合がある。

これらのうち、撮像装置２０は、エリア５０に含まれる撮像可能範囲の被写体を撮像するカメラを有する。そして、撮像装置２０は、カメラによって撮像した画像を圧縮した撮像画像を画像処理装置１０に送信する。このとき、撮像装置２０は、撮像時のカメラにおけるズームレンズの焦点距離の情報であるズーム（zoom）情報や撮像方向情報も合わせて画像処理装置１０に送信する。かかる撮像方向情報とは、例えば、撮像方向の水平方向の角度であるパン（pan）情報及び撮像方向の垂直方向の角度であるチルト（tilt）情報である。

画像処理装置１０は、全監視エリアの３次元モデルを表現する３次元モデルデータを記憶する。かかる３次元モデルデータは、全監視エリア内の建物等の物体（オブジェクト）の形状やサイズやレイアウト（位置情報）を示す情報である。３次元モデルデータは、例えば、撮像装置２０による撮像で得られた物の形状や視点等の情報を利用し、レンダリングされることにより予め生成される。あるいは、全監視エリアの見取り図等から生成しても良い。加えて、画像処理装置１０は、全監視エリア内に配置されたカメラ（撮像装置２０に相当）の３次元モデル内の位置であるカメラ位置を記憶する。

そして、画像処理装置１０は、撮像装置２０によって撮像された撮像画像や、撮像時のズームレンズの焦点距離、撮像方向等を該撮像装置２０から取得する。続いて、画像処理装置１０は、カメラ位置に基づいて３次元モデルから２次元画像を生成する際の視点を決定し、決定した視点、撮像方向及びズームレンズの焦点距離に応じた２次元投影画像を生成する。その後、画像処理装置１０は、生成した２次元投影画像上の所定領域に、撮像画像を合成することにより合成画像を生成し、生成した合成画像を出力する。

センサ４０は、例えば、エリア５０に適宜配置され、人物や扉の開閉等を検知してアラームを発呼する人感センサや開閉センサ等であり、画像処理装置１０に対して検出データを送信する。

つまり、画像処理装置１０は、撮像装置２０の撮像方向等に応じて生成した２次元投影画像の所定領域に、撮像装置２０によって撮像された撮像画像を合成して出力するので、合成画像の閲覧者は、カメラによって撮像されている領域が全監視エリア内のいずれの領域であるかを直感的に把握することができる。なお、画像処理装置１０や撮像装置２０の詳細な構成については後述する。

[実施の形態１に係る撮像装置の構成]
次に、図２を用いて、実施の形態１に係る撮像装置２０の構成を説明する。図２は、実施の形態１に係る撮像装置２０の構成例を示す図である。

図２に示すように、撮像装置２０は、撮像部２０１と、圧縮部２０２と、通信処理部２０３と、制御部２０４と、雲台駆動部２０５と、角度センサ２０６と、ズーム駆動部２０７と、ズームセンサ２０８とを有する。また、撮像装置２０は、ネットワーク３０を介して、画像処理装置１０と接続されるネットワークカメラであり、ネットワーク３０を介して受信した制御信号にしたがってその撮像方向を変更することが可能である。

撮像部２０１は、撮像可能範囲の被写体を撮像し、撮像した撮像画像を圧縮部２０２に出力する。撮像画像は、静止画であってもよく、動画であってもよい。圧縮部２０２は、撮像部２０１によって撮像された撮像画像をＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ−４（Moving Picture Experts Group phase 4）等の規格で圧縮し、圧縮したディジタル画像を撮像画像として通信処理部２０３に出力する。また、圧縮部２０２は、制御部２０４からパン情報、チルト情報およびズーム情報を受け付けて、撮像画像のヘッダまたはフッタ等に付加する。これにより、パン情報、チルト情報及びズーム情報が付加された撮像画像が通信処理部２０３へ送られる。

通信処理部２０３は、圧縮部２０２によって出力されたパン情報、チルト情報及びズーム情報が付加された撮像画像を、ネットワーク３０を介して画像処理装置１０に送信する。また、通信処理部２０３は、外部装置から受信した制御信号を制御部２０４に出力する。かかる制御信号は、例えば、パン、チルト及びズームに関する制御信号である。すなわち、通信処理部２０３は、一般のネットワークカメラと同様、カメラ制御を行なうために、外部装置から制御信号を受信する。本実施の形態にかかる通信処理部２０３は、画像処理装置１０から制御信号を受信する。

制御部２０４は、雲台駆動部２０５にパンやチルトを行なわせたり、ズーム駆動部２０７にズームレンズのズームを行なわせたりする制御を行なう。この制御は、通信処理部２０３を介して入力された制御信号に基づくものである。また、他の例としては、制御部２０４は、予め設定されたアルゴリズムにしたがい上記制御を行ってもよい。また、制御部２０４は、角度センサ２０６で検知されたパンやチルトの角度を受け付けて、圧縮部２０２へ送る。また、制御部２０４は、ズームセンサ２０８で検知されたズームレンズの焦点距離を受け付けて、圧縮部２０２へ送る。

雲台駆動部２０５は、例えば、制御部２０４からの制御にしたがって、撮像部２０１の撮像方向を変更する。この雲台駆動部２０５には、パン方向やチルト方向の角度を検出する角度センサ２０６が設けられている。角度センサ２０６は、例えば、パンやチルトの角度を検知して制御部２０４に出力する。ズーム駆動部２０７は、撮像部２０１のズームレンズに取り付けられている。ズーム駆動部２０７は、例えば、制御部２０４によって指示されたズームレンズの焦点距離に応じて、ズームレンズの焦点距離を変更する。ズームレンズには、ズームレンズの焦点距離を検知するズームセンサ２０８が設けられている。ズームセンサ２０８は、例えば、ズームレンズの焦点距離を検知して制御部２０４に出力する。制御部２０４は、角度センサ２０６およびズームセンサ２０８の検出結果に基づいて、適宜撮像部２０１の撮像方向やズームレンズの焦点距離を確認しつつ、これらを制御する。

[実施の形態１に係る画像処理装置の構成]
次に、図３を用いて、実施の形態１に係る画像処理装置１０の構成を説明する。図３は、実施の形態１に係る画像処理装置１０の構成例を示す図である。

画像処理装置１０は、３次元モデル記憶部１１１と、視点情報記憶部１１２と、操作部１２１と、通信処理部１２２と、取得部１２３と、制御部１２４と、合成部１２５と、出力部１２６とを有する。画像処理装置１０は、ネットワーク３０を介して、撮像装置２０等のネットワークカメラやセンサ４０に接続されたＰＣ（Personal Computer）等の情報処理装置である。

３次元モデル記憶部１１１は、３次元モデルデータ等を記憶する。図４は、３次元モデル記憶部１１１に記憶される情報例を示す図である。図４に示すように、３次元モデル記憶部１１１は、全監視エリアの３次元モデルを表現する３次元モデルデータと、デバイスＩＤ（identifier）と、アイコン種類ＩＤと、アイコン位置とを対応付けて記憶する。ここで、デバイスＩＤとは、３次元モデルデータで表現される３次元モデル内に配置されるデバイスを識別する、デバイス固有の識別情報である。アイコン種類ＩＤとは、３次元モデル内でデバイスを表現するアイコンの種類である。本実施の形態にかかる画像処理装置１０においては、デバイスの種類毎に異なる種類のアイコンが割り当てられており、アイコン種類ＩＤは、このアイコンの種類を識別する情報である。アイコン位置は、３次元モ
デルにおいてアイコンが配置される位置（座標）である。

例を挙げると、３次元モデル記憶部１１１は、図４に示すように、３次元モデルデータ「全監視エリア」と、カメラ１を示すデバイスＩＤ「＃０１」と、アイコン種類としてカメラを示すアイコン種類ＩＤ「Ａ００１」と、アイコン位置「（ｘ１，ｙ１，ｚ１）」とを対応付けて記憶する。したがって、３次元モデル記憶部１１１を参照することにより、各デバイスの配置位置を特定することができる。例えば、図４に示す例においては、「カメラ１」、「カメラ２」及び「センサ１」の配置位置として、それぞれ「全監視エリア」の３次元モデルにおける座標「（ｘ１，ｙ１，ｚ１）」、「（ｘ２，ｙ２，ｚ２）」、「（ｘ３，ｙ３，ｚ３）」を特定することができる。

さらに、３次元モデル記憶部１１１は、図４に示すように、アイコン種類ＩＤに対応付けて、各種アイコンの３次元パーツモデルを記憶する。なお、撮像装置２０に対応するアイコンの３次元パーツモデルは、レンズに相当する部位を有している。３次元モデル中に撮像装置２０の３次元パーツモデルを配置する際には、撮像装置２０の３次元パーツモデルのレンズの向きを実際の撮像装置２０のレンズの向き（撮像方向）に合わせて配置することができる。

図５は、３次元モデルデータを説明するための図である。なお、図５には、３次元モデルの斜め上方の視点から観察される３次元モデルの俯瞰図を示している。図５に示すように、３次元モデルは、全監視エリア内の建物、地面、樹木等の物体がそれぞれのサイズに応じてレイアウトされたモデルであり、３次元モデルデータは、これらの物体の形状やサイズや位置等を示すデータである。なお、３次元モデルデータに対し、視点、注視点および画角を定めることにより、図５に示す俯瞰図のように、３次元モデルを２次元面に投影した２次元画像である２次元投影画像を生成することができる。

視点情報記憶部１１２は、後述する合成部１２５が３次元モデルデータから２次元投影画像を生成する際に利用する視点位置を記憶する。図６は、視点情報記憶部１１２に記憶される情報例を示す図である。視点情報記憶部１１２は、具体的には、全監視エリアの２次元投影画像を生成する際に利用される視点位置と、カメラの配置位置から観察されるエリアの２次元投影画像を生成する際に利用される視点位置とを、視点位置を識別する視点位置ＩＤに対応付けて記憶する。

例を挙げると、図６に示すように、視点情報記憶部１１２は、全監視エリアを示す視点位置ＩＤ「Ｂ００１」と、視点位置「（ｘ１０，ｙ１０，ｚ１０）」とを対応付けて記憶する。また、視点情報記憶部１１２は、カメラ１を示す視点位置ＩＤ「Ｂ０１１」と、視点位置「（ｘ１１，ｙ１１，ｚ１１）」とを対応付けて記憶する。ここで、カメラを示す視点位置ＩＤに対応付けられている視点位置は、カメラ位置である。なお、カメラ位置を示す視点位置の視点位置ＩＤは、カメラのデバイスＩＤ（以下、カメラＩＤという）と同一の値であってもよい。これにより、カメラＩＤから直接視点位置を特定することができる。

操作部１２１は、マウスやタッチパネル等の入力装置を有し、監視システム１のユーザのユーザ操作によって各種指示を受け付ける。例えば、操作部１２１は、ユーザからのカメラ選択指示を受け付ける。また、操作部１２１は、ユーザ操作によって所定のカメラ（撮像装置２０）が選択されると、選択された撮像装置２０の撮像画像を出力する指示を受け付ける。また、操作部１２１は、ユーザ操作によって所定の撮像装置２０に対するパン、チルト及びズームの設定指示を受け付ける。なお、パン、チルト及びズームの設定指示は、上述したパン、チルト及びズームに関する制御信号として、制御部１２４及び通信処理部１２２を介して撮像装置２０に送信される。

通信処理部１２２は、ネットワーク３０を介して接続される撮像装置２０やセンサ４０との通信を制御する。例えば、通信処理部１２２は、撮像画像と、パン情報、チルト情報及びズーム情報とを撮像装置２０から受信する。また、通信処理部１２２は、操作部１２１によって受け付けられたパン、チルト及びズームの設定指示を、パン、チルト及びズームに関する制御信号として撮像装置２０に対して送信する。

取得部１２３は、撮像画像や撮像方向としてのパン情報、チルト情報や、ズーム情報を、通信処理部１２２を介して撮像装置２０から取得する。また、取得部１２３は、センサ４０から検出データを取得する。なお、検出データには、センサ４０の検出方向等に関する情報（パン情報、チルト情報等）が含まれていてもよい。

制御部１２４は、画像処理装置１０を全体制御する。例えば、制御部１２４は、操作部１２１によって受け付けられた指示に応じて、取得部１２３によって取得された撮像画像、撮像時のパン情報、チルト情報及びズーム情報を合成部１２５に出力する。制御部１２４はまた、操作部１２１が受け付けた指示に応じて、３次元モデルと、視点位置とを３次元モデル記憶部１１１から取得し、これらを合成部１２５に出力する。

このとき、制御部１２４は、各撮像装置２０に相当するカメラアイコンやセンサ４０に対応するセンサアイコンのイメージ、およびこれらアイコンのアイコン位置も３次元モデル記憶部１１１から取得し、取得したアイコンと該アイコンのアイコン位置とを合成部１２５に出力する。また、制御部１２４は、ユーザによって選択されたカメラアイコンに相当する撮像装置２０により撮像された撮像画像だけでなく、カメラアイコンそれぞれに対応する撮像画像を取得部１２３から受け付けており、各撮像画像も合成部１２５に出力する。

合成部１２５は、３次元モデルの視点及び撮像方向に基づいて、２次元投影画像を生成し、生成した２次元投影画像上の所定領域に撮像装置２０によって撮像された２次元画像である撮像画像を合成する。なお、所定領域は、２次元投影画像上の所定の位置に設定された所定のサイズの領域である。例えば、合成部１２５は、制御部１２４が３次元モデル記憶部１１１から読み出した視点位置と、合成対象となる撮像画像を撮像する撮像装置２０のパン、チルト、ズームに応じて２次元投影画像を生成する。続いて、合成部１２５は、生成した２次元投影画像の中央付近等の所定領域に、制御部１２４から出力された撮像画像を合成することにより、合成画像を生成する。

このとき、合成部１２５は、制御部１２４によって出力されたカメラアイコンやセンサアイコン等のアイコンもアイコン位置をもとに２次元投影画像に配置する。さらに、合成部１２５は、各撮像装置２０に対応する各カメラアイコン付近にそれぞれ設定された領域（例えば、ポップアップ）に、それぞれの撮像装置２０で撮像された撮像画像を合成する。なお、各カメラアイコンに対してポップアップ表示される画像は撮像画像のサムネイルであってもよい。各カメラアイコン付近に設定された領域は、例えば、上述した所定領域よりも小さい領域とする。このように、合成部１２５は、各カメラアイコン付近に設定された領域に撮像画像をポップアップ表示するために、所定領域に対応する撮像画像だけでなく、撮像装置２０によって撮像された撮像画像それぞれを制御部１２４から受け付ける。また、本実施の形態や他の実施の形態において、３次元モデル記憶部１１１にカメラの番号や名称、撮像する場所などのコメントを記憶させておき、ポップアップに表示する撮像画像にコメントを重畳させたり、コメントのみをポップアップとして表示させても良い。

出力部１２６は、合成画像を出力する。例えば、出力部１２６は、合成部１２５によって２次元投影画像に合成されたアイコン、カメラアイコン付近の領域に合成された撮像画像、又は、２次元投影画像の所定領域に合成された撮像画像等を含む合成画像を出力する。なお、出力部１２６は、合成画像を表示する表示装置であっても良いし、画像処理装置１０に接続された表示装置に合成画像を出力しても良い。

[実施の形態１に係る全体処理フロー]
次に、図７を用いて、実施の形態１に係る全体処理の流れについて説明する。図７は、実施の形態１に係る全体処理の流れの例を示すフローチャートである。

例えば、図７に示すように、画像処理装置１０の操作部１２１が、初期画像の表示指示を受け付けた場合に（ステップＳ１０１肯定）、合成部１２５は、初期画像を生成する（ステップＳ１０２）。そして、出力部１２６は、合成部１２５により生成された初期画像を表示画面に表示する（ステップＳ１０３）。一方、操作部１２１が初期画像の表示指示を受け付けていない場合には（ステップＳ１０１否定）、初期画像の表示指示待ちの状態となる。

図９は、初期画像の例を示す図である。図９に示すように、初期画像は、全監視エリアの２次元投影画像である。かかる初期画像には、３次元モデル記憶部１１１に全監視エリアの３次元モデルデータに対応付けて記憶されている各種デバイスのアイコンが含まれている。図９に示す２次元投影画像には、デバイスとしての各撮像装置２０に相当するカメラアイコンが含まれている。さらに、図９に示す２次元投影画像には、各撮像装置２０によって撮像された撮像画像が該カメラアイコン付近にポップアップで表示されている。また、図９では、各カメラアイコンが空中に配置されたものとなっているが、カメラは、実際には地上数メートルの高さのポール等に取り付けられている。また、監視が建物内である場合、カメラは、実際には天井等の高所に取り付けられている。すなわち、初期画像等の２次元投影画像においてカメラアイコンを空中に配置することで、建物等の遮蔽物によりカメラアイコンの表示が隠れてしまうことを抑制しており、これにより、カメラアイコンを選択するための操作性を向上している。なお、図９には図示されていないが、センサ４０等のカメラ以外の各種デバイスのアイコンが含まれている場合には該センサ４０等のアイコンも表示される。

図７に戻り、画像処理装置１０は、ユーザ操作により、初期画像においてカメラアイコンが選択され、操作部１２１が選択指示を受け付けた場合に（ステップＳ１０４肯定）、合成部１２５は、選択されたカメラアイコンの配置位置を視点とする２次元投影画像に、選択されたカメラアイコンに対応する撮像装置２０の撮像画像を合成した合成画像を生成する（ステップＳ１０５）。そして、出力部１２６は、合成画像を表示画面に表示する（ステップＳ１０６）。一方、操作部１２１が初期画面においてカメラアイコンが選択されていない場合に（ステップＳ１０４否定）、該カメラアイコンの選択待ちの状態となる。

[実施の形態１に係る初期画像生成処理フロー]
次に、図８を用いて、実施の形態１に係る初期画像生成処理の流れについて説明する。図８は、実施の形態１に係る初期画像生成処理の流れの例を示すフローチャートである。なお、実施の形態１に係る初期画像生成処理とは、ステップＳ１０２における処理を指す。

図８に示すように、画像処理装置１０の合成部１２５は、全監視エリアの３次元モデルデータを３次元モデル記憶部１１１から取得する（ステップＳ２０１）。そして、合成部１２５は、３次元モデル記憶部１１１において全監視エリアの３次元モデルに対応付けられている各デバイスの配置位置、すなわち各アイコンと該各アイコンのアイコン位置とを３次元モデル記憶部１１１から取得する（ステップＳ２０２）。続いて、合成部１２５は、各撮像装置２０によって送信された撮像方向を、通信処理部１２２、取得部１２３および制御部１２４を介して取得する（ステップＳ２０３）。

その後、合成部１２５は、取得した撮像方向から、各カメラアイコンの向きを特定する（ステップＳ２０４）。そして、合成部１２５は、３次元モデルの各アイコン位置に、各デバイスのアイコンを合成する（ステップＳ２０５）。このとき、合成部１２５は、カメラアイコンについては、ステップＳ２０４において特定した向きにカメラアイコンのレンズを向けた状態で、３次元モデル内にカメラアイコンを配置する。但し、センサ４０等の向きを持たないデバイスに関しては、その向きが特に考慮されることなく３次元モデル内の該当するアイコン位置に、アイコンが合成される。

そして、合成部１２５は、視点情報記憶部１１２から、全監視エリアの視点位置ＩＤに対応付けられている視点位置を取得する（ステップＳ２０６）。続いて、合成部１２５は、取得した視点位置と、予め設定された注視点および画角に基づいて３次元モデルを投影面に投影する等、任意の手法でレンダリングを行なうことにより、２次元投影画像を生成し、生成した２次元投影画像を初期画像とする（ステップＳ２０７）。なお、かかる初期画像には、図９に示すように、２次元投影画像中の各カメラアイコン付近に設定されたポップアップ領域に、各カメラアイコンに対応する撮像装置２０によって撮像された撮像画像が合成されている。

［実施の形態１に係る画像処理フロー］
次に、図１０を用いて、実施の形態１に係る画像処理の流れについて説明する。図１０は、実施の形態１に係る画像処理の流れの例を示すフローチャートである。なお、実施の形態１に係る画像処理とは、ステップＳ１０５における処理を指す。

例えば、操作部１２１におけるユーザ操作により、初期画像においてカメラアイコンが選択された場合に、取得部１２３は、該カメラアイコンに相当する撮像装置２０によって撮像された撮像画像と、撮像時の撮像方向（パン情報、チルト情報）及びズーム情報とを取得する（ステップＳ３０１）。また、合成部１２５は、制御部１２４を介して、取得部１２３によって取得された撮像画像、パン情報、チルト情報及びズーム情報を取得するとともに、３次元モデル、アイコン、アイコン位置（カメラ位置）を３次元モデル記憶部１１１から取得する。そして、合成部１２５は、カメラ位置、パン情報、チルト情報およびズーム情報に基づいて３次元モデルの視点、注視点及び画角を決定する。そして、合成部１２５は、決定した視点、注視点および画角に基づいて、３次元モデルデータから２次元投影画像を生成する（ステップＳ３０２）。このとき、合成部１２５は、アイコン位置をもとに各アイコンを２次元投影画像に配置するとともに、カメラアイコン付近に設定されたポップアップに、カメラアイコンに相当する撮像装置２０によって撮像された撮像画像を合成する。

図１１は、ステップＳ３０２の処理により生成された２次元投影画像の例を示す図である。このように、２次元投影画像には、３次元モデル中に配置されたカメラアイコンと、カメラアイコンに相当する撮像装置２０により撮像された画像とが含まれている。

図１０に戻り、合成部１２５は、ステップＳ３０２において生成した２次元投影画像上の所定領域に撮像画像を合成することにより、合成画像を生成する（ステップＳ３０３）。

図１２は、ステップＳ３０３の処理により生成された合成画像の例を示す図である。このように、合成画像においては、２次元投影画像上に撮像装置２０により実際に撮像された撮像画像が重畳されている。ここで、図１２を参照しつつ、ステップＳ３０３における処理について詳述する。合成部１２５は、２次元投影画像上に撮像画像を合成する際、撮像画像の中心位置と、２次元投影画像の注視点とが一致するように、２次元投影画像上に撮像画像を重畳する。図１２に示す例においては、撮像画像の中心位置および２次元投影画像の注視点はいずれも合成画像の中心位置に一致している。

さらに、図１２に示す合成画像においては、合成画像中において、撮像画像と２次元投影画像が同一の倍率で表示されている。このように、合成部１２５は、撮像画像と２次元投影画像が同一倍率で表示されるように、ズーム情報に応じて２次元投影画像を生成する際の画角を調整する。これにより、合成画像の閲覧者は、合成画像中の撮像画像が監視エリア全体におけるいずれのエリアを撮像したものであるかを直感的に把握することができる。

なお、本実施の形態においては、合成部１２５は、合成画像中において、撮像画像の中心位置と２次元投影画像の注視点を一致させ、さらに撮像画像と２次元投影画像が同一倍率で表示されるように２次元投影画像の画角を調整することとしたが、少なくとも撮像画像の撮像方向と２次元投影画像の視点と注視点を結ぶ方向（観察方向）とが一致していればよい。すなわち、他の例としては、合成部１２５は、撮像画像の中心位置と２次元投影画像の注視点とが一致しない合成画像を生成してもよい。例えば、図１２に示す合成画像においては、撮像画像は、合成画像の中心に配置されたが、これにかえてより右下の位置に配置されてもよい。また、撮像画像と２次元投影画像の倍率は異なっていてもよい。このように、撮像方向と観察方向とが一致していれば、撮像画像の撮像方向と２次元投影画像の注視点とが一致していない場合や、撮像画像と２次元投影画像の倍率が異なっていても、閲覧者は、撮像画像と２次元投影画像との対応関係を直感的に把握することができる。

図１２に示す合成画像の左下には、さらにボタン状の画像（ボタン画像）が表示されている。このボタン画像は、「一つ前の画像に戻る」ためのものであり、ユーザ操作により該ボタン状の画像が選択された場合に、初期画像等の選択画面に戻るようになっている。

なお、本実施の形態にかかる取得部１２３は、カメラアイコンが選択される度に、選択されたカメラアイコンに相当する撮像装置２０から撮像方向およびズーム情報を取得するが、他の例としては、取得部１２３は、撮像装置２０において、カメラの方向またはズームが変更される度に、撮像装置２０から変更後の撮像方向またはズーム情報を取得し、これを記憶しておくこととしてもよい。この場合には、取得部１２３は常に実際の撮像装置２０の状態に対応する撮像方向およびズーム情報を記憶しているので、ステップＳ３０２においては、取得部１２３が記憶している撮像方向およびズーム情報を用いることとする。

上述したように、画像処理装置１０は、撮像装置２０における撮像画像と、撮像時の撮像方向とを取得し、３次元モデルの視点及び撮像方向に基づいて２次元投影画像を生成し、生成した２次元投影画像の所定領域に撮像画像を合成して出力する。この結果、合成画像の閲覧者は、カメラによって撮像されている領域を直感的に把握することができる。換言すると、画像処理装置１０は、撮像装置２０によって実際に撮像されている撮像画像と、撮像時の撮像方向に合わせて２次元投影画像を生成し、２次元投影画像の所定領域に撮像画像を合成するので、３次元モデルにおける視点位置及び視線方向と、実際のカメラ画像における視点位置及び視線方向とが一致していない従来技術と比較して、合成画像の閲覧者は、カメラによって撮像されている領域を直感的に把握することができる。

[実施の形態１の変形例]
上記実施の形態１では、所定領域を２次元投影画像の中央付近に重畳する場合を説明したが、かかる所定領域の位置は任意に変更することができる。図１３は、所定領域の位置を変更する例を示す図である。例えば、図１３に示すように、２次元投影画像上の所定領域の位置は、画面右下の位置に配置するようにしても良い。このように、所定領域を中央付近とは異なる場所に配置することにより、対応するカメラアイコンが出現し、そのカメラの向きもわかるため、カメラによって撮像されている領域を直感的に把握することができる効果も維持できる。

（実施の形態２）
[所定物を透過]
実施の形態１では、２次元投影画像に、建物や樹木のモデル、各種デバイスのアイコン、所定領域の撮像画像、ポップアップ等を合成して表示する場合を説明したが、これらのうち、所定物を透過させて表示しても良い。

図１４Ａは、所定物を透過させる前の２次元投影画像の例を示す図である。図１４Ｂは、所定物を透過させた後の２次元投影画像の例を示す図である。例えば、図１４Ａに示す２次元投影画像では、中央付近に位置する建物の裏にカメラアイコン「カメラ４」や該カメラアイコンのポップアップが隠れている。このような状態では、ユーザがアイコンを選択する場合に、選択しづらい、さらには選択すらできない可能性がある。

そこで、図１４Ｂに示すように、合成部１２５は、建物、樹木、地面等の選択することのないモデルを透過させ、カメラアイコン「カメラ４」の選択を容易にする。また、所定物の透過は、初期画像においても行なわれていても良い。また、透過の対象となるものは、上記のものに限られるわけではなく、例えば、ポップアップや２次元投影画像上の所定領域を透過させても良い。これらにより、建物や所定領域等に隠れることがあるアイコンやポップアップ等の視認性を向上し、カメラアイコンの選択操作の操作性を向上することができる。

（実施の形態３）
[ポップアップの大きさを調整]
実施の形態１では、各アイコンのアイコン位置に応じて各アイコンを２次元投影画像に合成する場合を説明したが、アイコン位置に応じて２次元投影画像に合成されたアイコン付近に設定されたポップアップの大きさを調整しても良い。具体的には、アイコンやポップアップは、アイコンのアイコン位置に応じて２次元投影画像に合成されるため、その大きさは、２次元投影画像の奥に位置するアイコン及びポップアップほど小さくなるので、小さいアイコンやポップアップでは視認性や操作性が低下する場合がある。そこで、アイコン位置に応じて２次元投影画像に合成されたアイコン付近に設定されたポップアップの大きさを調整する。

図１５Ａは、ポップアップの大きさを調整する前の２次元投影画像の例を示す図である。また、図１５Ｂは、ポップアップの大きさを調整した後の２次元投影画像の例を示す図である。例えば、図１５Ａに示す２次元投影画像では、アイコン位置に応じて２次元投影画像に各アイコンが合成されるため、カメラアイコン「カメラ３」のポップアップが特に小さく表示されることになる。かかるポップアップには、「カメラ３」に相当する撮像装置２０における撮像画像が表示されるものの、あまりに小さい表示になると視認性の点で好ましくない。

そこで、図１５Ｂに示すように、合成部１２５は、カメラアイコン「カメラ３」や「カメラ４」のポップアップの大きさを、カメラアイコン「カメラ１」のポップアップに合わせて調整する等、ある程度の視認性を担保できる大きさに調整する。この他、ポップアップの大きさは、２次元投影画像において最も手前に位置するポップアップの大きさに合わせて調整したり、表示画面サイズに応じて適宜決められた大きさに合わせて調整したりすれば良い。また、ポップアップの大きさの調整は、初期画像においても行なわれていても良い。なお、カメラアイコンの大きさも調整しても良いが、２次元投影画像におけるカメラの位置関係がわかるように、カメラアイコンについては調整することを要しない。これらにより、ポップアップの視認性を向上することができる。

（実施の形態４）
実施の形態１では、撮像装置２０によって撮像されている撮像画像と撮像方向とに基づき合成画像を生成する場合を説明したが、合成画像上での所定ユーザ操作に応じて撮像装置２０の撮像方向を指示し、指示に応じて受信された、撮像装置２０によって撮像されている撮像画像と撮像方向とに基づき合成画像を生成することもできる。そこで、実施の形態４では、合成画像での所定ユーザ操作に応じて撮像装置２０の撮像方向を指示し、指示に応じて受信された、撮像装置２０によって撮像されている撮像画像と撮像方向とに基づき合成画像を生成する場合を説明する。

[実施の形態４に係る画像処理装置の構成]
図１６を用いて、実施の形態４に係る画像処理装置の構成を説明する。図１６は、実施の形態４に係る画像処理装置の構成例を示す図である。なお、図１６では、実施の形態１に係る画像処理装置１０と同様の機能を有する構成についてはその詳細な説明を省略する場合がある。

例えば、図１６に示すように、画像処理装置１０は、３次元モデル記憶部１１１と、視点情報記憶部１１２と、操作部１２１と、通信処理部１２２と、取得部１２３と、制御部１２４と、合成部１２５と、出力部１２６と、切替指示部１２７とを有する。

切替指示部１２７は、合成画像上での所定ユーザ操作に応じて、撮像方向又はズームレンズの焦点距離を算出し、算出した撮像方向又はズームレンズの焦点距離に切り替える指示を撮像装置２０に対して行なう。ここで、切替指示部１２７による処理を説明するために、切替指示部１２７による処理に関連する操作部１２１や制御部１２４による処理を含めて説明する。

操作部１２１は、ユーザ操作によりカメラアイコンが選択された状態、すなわち合成画像が表示された状態において、マウスやタッチパネルによりドラッグ操作を受け付ける。
例えば、ドラッグ操作は、２次元投影画像や該２次元投影画像の所定領域の任意の位置からの、ポインティングデバイスとしてのマウスによるドラッグ操作及びマウスホイールによるホイール操作を指す。若しくは、ドラッグ操作は、２次元投影画像や該２次元投影画像の所定領域の任意の位置からの、タッチパネルのドラッグ操作、ピンチ操作を指す。また、制御部１２４は、操作部１２１によって受け付けられたドラッグ操作の方向と距離とを切替指示部１２７に出力する。

切替指示部１２７は、制御部１２４によって出力されたドラッグ操作の方向と距離とに基づき、選択されているカメラアイコンに相当する撮像装置２０のズームレンズの焦点距離と、撮像方向の移動方向及び移動角度とを算出する。撮像方向の移動方向は、合成画像上におけるドラッグ操作の方向とする。また、ズームレンズの焦点距離は、合成画像上におけるホイール操作又はピンチ操作をズームレンズの焦点距離に換算したものとする。また、撮像方向の移動角度は、合成画像上におけるドラッグ操作の距離（ピクセル）を撮像方向の移動角度（度）に換算したものとする。例を挙げると、撮像方向の移動角度は、合成画像の１ピクセルを撮像方向の移動角度に換算すると、０．０５度となる。

そして、切替指示部１２７は、算出したズームレンズの焦点距離と、撮像方向の移動方向及び移動角度に応じて切り替える旨の指示を、通信処理部１２２を介して、選択されているカメラアイコンに相当する撮像装置２０に対して行なう。切替指示部１２７による指示の後、実施の形態１と同様に、撮像装置２０から受信されたパン情報、チルト情報及びズーム情報に応じた２次元投影画像が生成され、２次元投影画像の所定領域に撮像画像が合成されることにより、合成画像が生成されることになる。

[実施の形態４に係る画面遷移]
次に、図１７Ａ〜図１７Ｃを用いて、実施の形態４に係るドラッグ操作による画面遷移について説明する。図１７Ａは、ドラッグ操作が行なわれる前の合成画像の例を示す図である。また、図１７Ｂは、右方向にドラッグ操作が行なわれた場合の合成画像の例を示す図である。また、図１７Ｃは、上方向にドラッグ操作が行なわれた場合の合成画像の例を示す図である。

例えば、図１７Ａに示すように、ドラッグ操作が行なわれる前の合成画像は、実施の形態１で説明したカメラアイコン「カメラ２」に相当する撮像装置２０によって撮像された撮像画像が２次元投影画像の所定領域に合成されたものである。以下、図１７Ａに示す合成画像において、ユーザ操作により右方向にドラッグ操作された場合の画面遷移を図１７Ｂに示し、ユーザ操作により上方向にドラッグ操作された場合の画面遷移を図１７Ｃに示す。

図１７Ａにおいて、右方向にドラッグ操作された場合に、切替指示部１２７は、ドラッグ操作の方向（右方向）と距離とに基づき、カメラアイコン「カメラ２」に相当する撮像装置２０のズームレンズの焦点距離と、撮像方向の移動方向及び移動角度とを算出し、カメラのズームレンズの焦点距離、カメラの向きを左方向にする旨、移動角度等を該撮像装置２０に対して指示する。ズームレンズの焦点距離や移動方向、移動角度については、上述したように、ドラッグ操作の方向や距離、ホイール操作又はピンチ操作をそれぞれ換算して求められる。ドラッグ操作の方向とカメラの移動方向とは反対の方向とする。この後、合成部１２５は、撮像装置２０から受信された新たなパン情報、チルト情報及びズーム情報に応じた２次元投影画像を生成し、生成した２次元投影画像の所定領域に、このときの撮像画像を合成することにより、図１７Ｂに示す合成画像を生成する。

また、図１７Ａにおいて、上方向にドラッグ操作された場合に、切替指示部１２７は、ドラッグ操作の方向（上方向）と距離とに基づき、カメラアイコン「カメラ２」に相当する撮像装置２０の撮像方向の移動方向及び移動角度を算出し、カメラの向きを下方向にする旨、移動角度等を該撮像装置２０に対して指示する。この場合はズームレンズの焦点距離に関する操作はないので、ズームレンズの焦点距離の変更の指示は行なわれない。移動方向や移動角度については、上述したように、ドラッグ操作の方向や距離、ホイール操作又はピンチ操作をそれぞれ換算して求められる。この後、合成部１２５は、撮像装置２０から受信された新たなパン情報、チルト情報及びズーム情報に応じた２次元投影画像を生成し、生成した２次元投影画像の所定領域に、このときの撮像画像を合成することにより、図１７Ｃに示す合成画像を生成する。

[実施の形態４に係る全体処理フロー]
次に、図１８を用いて、実施の形態４に係る全体処理の流れについて説明する。図１８は、実施の形態４に係る全体処理の流れの例を示すフローチャートである。なお、図１８では、図７に示した実施の形態１に係る全体処理と同様の処理についてはその説明を省略する場合がある。具体的には、ステップＳ４０１〜ステップＳ４０６における処理は、ステップＳ１０１〜ステップＳ１０６における処理と同様である。

例えば、図１８に示すように、画像処理装置１０の操作部１２１が、合成画像上でカメラの撮像方向等を切り替える操作を受け付けた場合に（ステップＳ４０７肯定）、ドラッグ操作に応じて切替指示部１２７によって算出された撮像方向の移動方向、ズームレンズの焦点距離及び撮像方向の移動角度が撮像装置２０に送信された後、合成部１２５は、該撮像装置２０から受信したパン情報、チルト情報及びズーム情報に基づいて２次元投影画像を生成し、生成した２次元画像の所定領域に、選択されているカメラアイコンに対応する撮像装置２０の撮像画像を合成した合成画像を生成する（ステップＳ４０８）。そして、出力部１２６は、合成画像を表示画面に表示する（ステップＳ４０９）。一方、操作部１２１が合成画像上でカメラの撮像方向等を切り替える操作を受け付けていない場合に（ステップＳ４０７否定）、処理が終了される。

[実施の形態４に係る画像処理フロー]
次に、図１９を用いて、実施の形態４に係る画像処理の流れについて説明する。図１９は、実施の形態４に係る画像処理の流れの例を示すフローチャートである。なお、実施の形態４に係る画像処理とは、主にステップＳ４０８における処理を指す。

例えば、図１９に示すように、操作部１２１におけるユーザ操作により、カメラアイコンが選択された状態において、ドラッグ操作又はピンチ操作（ホイール操作）が受け付けられると、切替指示部１２７は、ドラッグ操作であるか否かを判定する（ステップＳ５０１）。このとき、ドラッグ操作である場合に（ステップＳ５０１肯定）、切替指示部１２７は、合成画像上でのドラッグ距離に応じた撮像装置２０に対する撮像方向の移動方向及び移動角度を算出する（ステップＳ５０２）。一方、ピンチ操作である場合に（ステップＳ５０１否定）、切替指示部１２７は、合成画像上でのピンチ距離に応じた撮像装置２０に対するズームレンズの焦点距離を算出する（ステップＳ５０３）。撮像方向の移動方向はドラッグ操作の方向と反対方向とする。撮像方向の移動角度は、一つの様態として、ドラッグ操作の距離（ピクセル）を撮像方向の移動角度（度）に換算することで求められる。また、ズームレンズの焦点距離は、一つの様態として、ピンチ操作又はホイール操作をズームレンズの焦点距離に換算することで求められる。

そして、切替指示部１２７は、通信処理部１２２を介して、ズームレンズの焦点距離と撮像方向の移動方向及び移動角度等を制御信号として撮像装置２０に対して送信することにより、ズームレンズの焦点距離と撮像方向とを切り替える指示を該撮像装置２０に対して行なう（ステップＳ５０４）。この後、通信処理部１２２によって、選択されているカメラアイコンに相当する撮像装置２０から撮像画像、パン情報、チルト情報及びズーム情報が受信された場合に（ステップＳ５０５肯定）、合成部１２５は、制御部１２４を介して、取得部１２３によって取得された撮像画像、パン情報、チルト情報及びズーム情報を取得するとともに、３次元モデル、アイコン、アイコン位置（カメラ位置）を３次元モデル記憶部１１１から取得する。一方、通信処理部１２２は、撮像装置２０から撮像画像、パン情報、チルト情報及びズーム情報が受信されない場合に（ステップＳ５０５否定）、これら撮像画像、パン情報、チルト情報及びズーム情報の受信待ちの状態となる。

そして、合成部１２５は、カメラ位置、パン情報、チルト情報及びズーム情報に基づいて３次元モデルに対する視点、注視点及び画角を決定する。続いて、合成部１２５は、決定した視点、注視点及び画角に基づいて、３次元モデルデータから２次元投影画像を生成する（ステップＳ５０６）。このとき、合成部１２５は、アイコン位置をもとに各アイコンを２次元投影画像に配置するとともに、カメラアイコン付近に設定されたポップアップに、カメラアイコンに相当する撮像装置２０によって撮像された撮像画像を合成する。その後、合成部１２５は、生成した２次元投影画像上の所定領域に撮像画像を合成することにより、合成画像を生成する（ステップＳ５０７）。

上述したように、画像処理装置１０は、合成画像上でのユーザによるドラッグ操作によって撮像装置２０のズームレンズの焦点距離や撮像方向を指示し、指示に応じた撮像装置２０による撮像のズームレンズの焦点距離や撮像方向に応じた２次元投影画像を生成し、生成した２次元投影画像の所定領域に撮像画像を合成して出力する。この結果、合成画像の閲覧者は、簡単なユーザ操作により撮像装置２０のカメラ切り替えを行なうことができるとともに、カメラによって撮像されている領域を直感的に把握することができる。

[実施の形態４の変形例]
実施の形態４では、合成画像上でのユーザによるドラッグ操作に応じて撮像装置２０の撮像方向等を指示し、撮像装置２０から受信された撮像方向等をもとに合成画像を生成する場合を説明したが、合成画像上でのユーザによるドラッグ操作に応じて２次元投影画像を生成し、撮像装置２０から撮像方向等が受信されるよりも先に表示しておくこともできる。具体的には、合成画像上でのユーザによるドラッグ操作に応じて２次元投影画像を生成し、生成した２次元投影画像を表示しておき、その後、撮像装置２０から受信された撮像方向等に応じて生成した２次元投影画像の所定領域に撮像画像を合成して表示する。

図２０は、実施の形態４の変形例に係る画像処理の流れの例を示すフローチャートである。例えば、図２０に示すように、操作部１２１におけるユーザ操作により、カメラアイコンが選択された状態において、ドラッグ操作又はピンチ操作（ホイール操作）が受け付けられると、切替指示部１２７は、ドラッグ操作であるか否かを判定する（ステップＳ６０１）。このとき、ドラッグ操作である場合に（ステップＳ６０１肯定）、切替指示部１２７は、合成画像上でのドラッグ距離に応じた撮像装置２０に対する撮像方向の移動方向と移動角度とを算出する（ステップＳ６０２）。一方、ピンチ操作である場合に（ステップＳ６０１否定）、切替指示部１２７は、合成画像上でのピンチ距離に応じた撮像装置２０に対するズームレンズの焦点距離を算出する（ステップＳ６０３）。撮像方向の移動方向はドラッグ操作の方向と反対方向とする。撮像方向の距離は、一つの様態として、ドラッグ操作の距離（ピクセル）を撮像方向の移動角度（度）に換算することで求められる。また、ズームレンズの焦点距離は、一つの様態として、ピンチ操作又はホイール操作をズームレンズの焦点距離に換算することで求められる。

ここで、切替指示部１２７は、算出したズームレンズの焦点距離と、撮像方向の移動方向及び移動角度に応じた２次元投影画像を生成する指示を合成部１２５に対して行なう。これにより、合成部１２５は、ズームレンズの焦点距離と、撮像方向の移動方向及び移動角度とに応じた２次元投影画像を生成する（ステップＳ６０４）。この時点で、合成部１２５によって生成された２次元投影画像は、出力部１２６によって画面に表示される。

そして、切替指示部１２７は、通信処理部１２２を介して、ズームレンズの焦点距離と撮像方向の移動方向及び移動角度等を制御信号として撮像装置２０に対して送信することにより、撮像方向とズームレンズの焦点距離とを切り替える指示を該撮像装置２０に対して行なう（ステップＳ６０５）。また、操作部１２１でのユーザ操作において、所定時間の間、ドラッグ操作又はピンチ操作がされなかった場合に（ステップＳ６０６肯定）、切替指示部１２７は、通信処理部１２２を介し、撮像装置２０に対して撮像画像、パン情報、チルト情報及びズーム情報を送信する要求を行なう（ステップＳ６０７）。一方、操作部１２１でのユーザ操作（ドラッグ操作又はピンチ操作）が、所定時間内に行なわれた場合に（ステップＳ６０６否定）、再度ステップＳ６０１の処理が行なわれる。ユーザによるドラッグ操作又はピンチ操作等のユーザ操作では、微調整が行なわれる場合があるため、所定時間を経過してもドラッグ操作が連続して行なわれない場合には、その時点での調整が確定したこととして、後段の処理を実行する。換言すると、ドラッグ操作又はピンチ操作のユーザ操作が行なわれている間は、ユーザがどの方向から監視したいかが定まっていないことになるため、所定時間が経過したときにユーザ操作が行なわれていなければ、ユーザが現在の方向から監視したいと考えているとみなして、後段の処理を実行する。

続いて、切替指示部１２７は、撮像画像、パン情報、チルト情報及びズーム情報の送信要求を、選択されているカメラアイコンに相当する撮像装置２０に対して行なう（ステップＳ６０７）。この時点では、撮像装置２０は、ステップＳ６０５において送信された情報をもとに動作している。この後、通信処理部１２２によって、選択されているカメラアイコンに相当する撮像装置２０から撮像画像、パン情報、チルト情報及びズーム情報が受信された場合に（ステップＳ６０８肯定）、合成部１２５は、制御部１２４を介して、取得部１２３によって取得された撮像画像、パン情報、チルト情報及びズーム情報を取得するとともに、３次元モデル、アイコン、アイコン位置（カメラ位置）を３次元モデル記憶部１１１から取得する。一方、通信処理部１２２は、撮像装置２０から撮像画像、パン情報、チルト情報及びズーム情報が受信されない場合に（ステップＳ６０８否定）、これら撮像画像、パン情報、チルト情報及びズーム情報の受信待ちの状態となる。

そして、合成部１２５は、カメラ位置、パン情報、チルト情報及びズーム情報に基づいて３次元モデルの視点、注視点及び画角を決定する。続いて、合成部１２５は、決定した視点、注視点及び画角に基づいて、３次元モデルデータから２次元投影画像を生成する（ステップＳ６０９）。このとき、合成部１２５は、アイコン位置をもとに各アイコンを２次元投影画像に配置するとともに、カメラアイコン付近に設定されたポップアップに、カメラアイコンに相当する撮像装置２０によって撮像された撮像画像を合成する。その後、合成部１２５は、生成した２次元投影画像上の所定領域に撮像画像を合成することにより、合成画像を生成する（ステップＳ６１０）。

つまり、画像処理装置１０は、撮像装置２０からの情報をもとにして２次元投影画像を生成するよりも先に、合成画像上でのユーザによるドラッグ操作に応じた２次元投影画像を生成及び表示するので、撮像装置２０のカメラの切り替え位置をある程度ユーザが所望する位置に一致させることができるとともに、カメラの切り替えに係る操作性を向上することができる。

（実施の形態５）
実施の形態２では、所定物を透過させることで建物等の裏に隠れてしまうカメラアイコン等の選択を可能とする場合を説明したが、カメラアイコンが選択された状態において、選択されているカメラアイコンを軸とし、合成画像を回転させることにより出現するカメラアイコン等を選択可能とすることもできる。そこで、実施の形態５では、カメラアイコンが選択された状態において、選択されているカメラアイコンを軸とし、合成画像を回転させることにより出現するカメラアイコン等を選択可能とする場合を説明する。

[実施の形態５に係る画像処理フロー]
図２１は、実施の形態５に係る画像処理の流れの例を示すフローチャートである。なお、実施の形態５に係る画像処理とは、主にステップＳ４０８における処理を指す。

例えば、図２１に示すように、合成部１２５は、選択されているカメラアイコンを軸として、操作部１２１におけるユーザのドラッグ操作に応じて合成画像を回転させる（ステップＳ７０１）。但し、合成画像の回転範囲は、制限が設けられる場合がある。また、回転する合成画像は、ドラッグの方向やドラッグ距離等に応じて適宜生成及び表示される。また、操作部１２１でのユーザ操作において、所定時間内に現在選択されているカメラアイコンとは異なる他のカメラアイコンが選択されなかった場合に（ステップＳ７０２否定）、切替指示部１２７は、合成画像上でのドラッグ距離に応じた撮像装置２０に対する撮像方向の距離を算出する。また、切替指示部１２７は、ピンチ操作（ホイール操作）が行なわれた場合にも、合成画像上でのピンチ距離に応じた撮像装置２０に対するズームレンズの焦点距離を算出する。撮像方向の距離やズームレンズの焦点距離の算出は、実施の形態４と同様に行なわれれば良いため、ここではその詳細な説明を省略する。但し、撮像方向の距離やズームレンズの焦点距離等は、実際のカメラ（撮像装置２０）では制限があるため、制限に応じて好適な値に変更される。

そして、切替指示部１２７は、通信処理部１２２を介して、ズームレンズの焦点距離と、撮像方向の移動方向及び移動角度等を制御信号として撮像装置２０に対して送信することにより、撮像方向とズームレンズの焦点距離とを切り替える指示を該撮像装置２０に対して行なう（ステップＳ７０３）。一方、操作部１２１において、所定時間内に現在選択されているカメラアイコンとは異なる他のカメラアイコンが選択された場合に（ステップＳ７０２肯定）、再度ステップＳ７０１の処理を実行する。

この後、通信処理部１２２によって、選択されているカメラアイコンに相当する撮像装置２０から撮像画像、パン情報、チルト情報及びズーム情報が受信された場合に（ステップＳ７０４肯定）、合成部１２５は、制御部１２４を介して、取得部１２３によって取得された撮像画像、パン情報、チルト情報及びズーム情報を取得するとともに、３次元モデル、アイコン、アイコン位置（カメラ位置）を３次元モデル記憶部１１１から取得する。一方、通信処理部１２２は、撮像装置２０から撮像画像、パン情報、チルト情報及びズーム情報が受信されない場合に（ステップＳ７０４否定）、これら撮像画像、パン情報、チルト情報及びズーム情報の受信待ちの状態となる。

そして、合成部１２５は、カメラ位置、パン情報、チルト情報及びズーム情報に基づいて３次元モデルの視点、注視点及び画角を決定する。続いて、合成部１２５は、決定した視点、注視点及び画角に基づいて、３次元モデルデータから２次元投影画像を生成する（ステップＳ７０５）。このとき、合成部１２５は、アイコン位置をもとに各アイコンを２次元投影画像に配置するとともに、カメラアイコン付近に設定されたポップアップに、カメラアイコンに相当する撮像装置２０によって撮像された撮像画像を合成する。その後、合成部１２５は、生成した２次元投影画像上の所定領域に撮像画像を合成することにより、合成画像を生成する（ステップＳ７０６）。

上述したように、画像処理装置１０は、合成画像上のカメラアイコンを軸として、ドラッグ操作に応じて回転させるので、合成画像の閲覧者は、回転前に合成画像に現れていないカメラアイコンの選択を容易に行なうことができる。また、画像処理装置１０は、合成画像の回転において、所定時間が経過しても他のカメラアイコンが選択されなかった場合に、実施の形態４と同様に、カメラの撮像方向及びズームレンズの焦点距離の切り替えを指示するので、合成画像の閲覧者は、カメラによって撮像されている領域を直感的に把握することができる。

（実施の形態６）
実施の形態４では、ドラッグ操作によって撮像装置２０の撮像方向やズームレンズの焦点距離を設定する場合を説明したが、ドラッグ距離に応じた速度で撮像方向に向けたカメラの動作速度をさらに設定することもできる。そこで、実施の形態６では、ドラッグ距離に応じた速度で撮像方向に向けたカメラの動作速度をさらに設定する場合を説明する。

[実施の形態６に係る画面遷移]
図２２及び図２３を用いて、実施の形態６に係る画面遷移について説明する。図２２は、実施の形態６に係る基点を決定する例を示すイメージ図である。図２３は、実施の形態６に係るドラッグ距離に応じたカメラ動作速度を設定する例を示すイメージ図である。

図２２に示すように、操作部１２１でのユーザ操作において、合成画像上でマウスダウン又はタッチダウンされた場合に、切替指示部１２７は、マウスダウン又はタッチダウンされた合成画像上の位置を基点として決定する。マウスダウン又はタッチダウンの後、操作部１２１でのユーザ操作においてドラッグ操作された場合に、図２３に示すように、切替指示部１２７は、ドラッグ方向と反対方向を撮像方向の移動方向とし、撮像方向の移動方向にカメラを動作させるときの移動速度を、ドラッグ距離に応じた速度に設定する。

例えば、図２３に示すように、基点からの距離に応じて、カメラのパン、チルト動作が段階的に速くなる範囲を予め設定しておく。そして、切替指示部１２７は、マウスダウン又はタッチダウンにより決定された基点から、ドラッグ距離に応じて段階的に設定された速度に基づき、撮像方向の移動方向にカメラを動作させるときの移動速度を設定する。図２３に示す例において、設定される移動速度の範囲は、基点に近傍の範囲であれば動かさないように設定され、近傍の範囲を抜けてから段階的に「低速」、「中速」、「高速」となるように設定されている。「低速」、「中速」、「高速」それぞれに応じたカメラの移動速度は、任意に設定されれば良い。また、図２３に示す速度の範囲は、任意に変更することが可能であり、その表示をさせなくても良い。

[実施の形態６に係る画像処理フロー]
次に、図２４を用いて、実施の形態６に係る画像処理の流れについて説明する。図２４は、実施の形態６に係る画像処理の流れの例を示すフローチャートである。なお、実施の形態６に係る画像処理とは、主にステップＳ４０８における処理を指す。

例えば、図２４に示すように、操作部１２１におけるユーザ操作により、合成画面上でマウスダウン又はダッチダウンされた場合に、切替指示部１２７は、マウスダウン又はタッチダウンされた合成画像上の位置を基点として決定する（ステップＳ８０１）。そして、操作部１２１においてドラッグ操作が行なわれると、切替指示部１２７は、決定した基点からのドラッグ距離に応じた移動速度を決定する（ステップＳ８０２）。

ここで、切替指示部１２７は、決定した撮像方向の移動方向と移動速度と、撮像装置２０に対して現在行なわれている指示とが異なるか否かを判定する（ステップＳ８０３）。このとき、切替指示部１２７は、決定した撮像方向の移動方向及び移動速度と、現在行なわれている指示とが異なると判定した場合に（ステップＳ８０３肯定）、通信処理部１２２を介して、決定した撮像方向の移動方向と移動速度とを送信することにより、撮像装置２０に対して撮像方向を切り替える指示を行なう（ステップＳ８０４）。一方、切替指示部１２７は、決定した撮像方向の移動方向及び移動速度と、現在行なわれている指示とが同じであると判定した場合に（ステップＳ８０３否定）、再度ステップＳ８０２の処理を実行する。

この後、通信処理部１２２によって、選択されているカメラアイコンに相当する撮像装置２０から撮像画像、パン情報及びチルト情報が受信された場合に（ステップＳ８０５肯定）、合成部１２５は、制御部１２４を介して、取得部１２３によって取得された撮像画像、パン情報、チルト情報を取得するとともに、３次元モデル、アイコン、アイコン位置（カメラ位置）を３次元モデル記憶部１１１から取得する。一方、通信処理部１２２は、撮像装置２０から撮像画像及び撮像方向が受信されない場合に（ステップＳ８０５否定）、これら撮像画像及び撮像方向の受信待ちの状態となる。

そして、合成部１２５は、カメラ位置、パン情報及びチルト情報に基づいて３次元モデルの視点及び注視点を決定する。続いて、合成部１２５は、決定した視点、注視点及び予め設定された画角に基づいて、３次元モデルデータから２次元投影画像を生成する（ステップＳ８０６）。このとき、合成部１２５は、アイコン位置をもとに各アイコンを２次元投影画像に配置するとともに、カメラアイコン付近に設定されたポップアップに、カメラアイコンに相当する撮像装置２０によって撮像された撮像画像を合成する。その後、合成部１２５は、生成した２次元投影画像上の所定領域に撮像画像を合成することにより、合成画像を生成する（ステップＳ８０７）。

上述したように、画像処理装置１０は、合成画像上でのユーザによるドラッグ操作によって撮像装置２０の撮像方向やカメラ動作の速度を指示し、指示に応じた撮像装置２０による撮像の撮像方向に応じた２次元投影画像を生成し、生成した２次元投影画像の所定領域に撮像画像を合成して出力する。この結果、合成画像の閲覧者は、簡単なユーザ操作により撮像装置２０のカメラ切り替えを行なうことができるとともに、カメラによって撮像されている領域を直感的に把握することができる。

（実施の形態７）
実施の形態４では、ドラッグ操作によって撮像装置２０のズームレンズの焦点距離や撮像方向の移動方向及び移動速度を設定する場合を説明したが、ドラッグ速度に応じた速度で撮像方向の移動方向に向けたカメラの移動速度をさらに設定することもできる。そこで、実施の形態７では、ドラッグ速度に応じて撮像方向の移動方向に向けたカメラの移動速度をさらに設定する場合を説明する。

[実施の形態７に係る画像処理]
図２５及び図２６を用いて、実施の形態７に係る画像処理について説明する。図２５は、実施の形態７に係る基点を決定する例を示すイメージ図である。図２６は、実施の形態７に係るドラッグ速度に応じたカメラ動作速度を設定する例を示すイメージ図である。

図２５に示すように、操作部１２１でのユーザ操作において、合成画像上でマウスダウン又はタッチダウンされた場合に、切替指示部１２７は、マウスダウン又はタッチダウンされた合成画像上の位置を基点として決定する。マウスダウン又はタッチダウンの後、操作部１２１でのユーザ操作においてドラッグ操作された場合に、切替指示部１２７は、ドラッグ方向と反対方向を撮像方向の移動方向とし、撮像方向の移動方向にカメラを動作させるときの移動速度を、ドラッグの速度に応じた速度に設定する。例えば、図２６に示すように、矢印のようなドラッグが行なわれた場合、ドラッグ操作の「基点」、「基準点」、「現在点」を図２６に示すように設定する。ドラッグ操作された場合に、切替指示部１２７は、基点から現在点までの方向に基づき撮像方向の移動方向を設定し、基準点から現在点までの距離から算出したドラッグの速度とに基づき、撮像方向の移動方向にカメラを動作させるときの移動速度を設定する。

[実施の形態７に係る画像処理フロー]
次に、図２７を用いて、実施の形態７に係る画像処理の流れについて説明する。図２７は、実施の形態７に係る画像処理の流れの例を示すフローチャートである。なお、実施の形態７に係る画像処理とは、主にステップＳ４０８における処理を指す。

例えば、図２７に示すように、操作部１２１におけるユーザ操作により、合成画面上でマウスダウン又はタッチダウンされた場合に、切替指示部１２７は、マウスダウン又はタッチダウンされた合成画像上の位置を基点として決定する（ステップＳ９０１）。また、切替指示部１２７は、所定の時間ごとに合成画像上の位置を算出し、最新の位置を現在点、ひとつ前の位置を基準点として設定する。そして、切替指示部１２７は、基点から現在点までの方向に応じて、撮像方向の移動方向を決定する。さらに、基準点と現在点との距離を所定の時間で割ることで、ドラッグの速度を算出し、ドラッグの速度に応じて移動速度を設定する（ステップＳ９０２）。

ここで、切替指示部１２７は、決定した撮像方向の移動方向及び移動速度と、撮像装置２０に対して現在行なわれている指示とが異なるか否かを判定する（ステップＳ９０３）。このとき、切替指示部１２７は、設定した撮像方向の移動方向及び移動速度と、現在行なわれている指示とが異なると判定した場合に（ステップＳ９０３肯定）、通信処理部１２２を介して、設定した撮像方向の移動方向及び移動速度を送信することにより、撮像装置２０に対して撮像方向の切り替えの指示を行なう（ステップＳ９０４）。一方、切替指示部１２７は、設定した撮像方向の移動方向及び移動速度と、現在行なわれている指示とが同じであると判定した場合に（ステップＳ９０３否定）、再度ステップＳ９０２の処理を実行する。

この後、通信処理部１２２によって、選択されているカメラアイコンに相当する撮像装置２０から撮像画像、パン情報及びチルト情報が受信された場合に（ステップＳ９０５肯定）、合成部１２５は、制御部１２４を介して、取得部１２３によって取得された撮像画像、パン情報、チルト情報を取得するとともに、３次元モデル、アイコン、アイコン位置（カメラ位置）を３次元モデル記憶部１１１から取得する。一方、通信処理部１２２は、撮像装置２０から撮像画像、パン情報及びチルト情報が受信されない場合に（ステップＳ９０５否定）、これら撮像画像、パン情報及びチルト情報の受信待ちの状態となる。

そして、合成部１２５は、カメラ位置、パン情報及びチルト情報に基づいて３次元モデルの視点及び注視点を決定する。続いて、合成部１２５は、決定した視点、注視点及び予め設定された画角に基づいて、３次元モデルデータから２次元投影画像を生成する（ステップＳ９０６）。このとき、合成部１２５は、アイコン位置をもとに各アイコンを２次元投影画像に配置するとともに、カメラアイコン付近に設定されたポップアップに、カメラアイコンに相当する撮像装置２０によって撮像された撮像画像を合成する。その後、合成部１２５は、生成した２次元投影画像上の所定領域に撮像画像を合成することにより、合成画像を生成する（ステップＳ９０７）。

上述したように、画像処理装置１０は、合成画像上でのユーザによるドラッグ操作によって撮像装置２０の撮像方向の移動方向及び移動速度を指示し、指示に応じた撮像装置２０から送られるパン情報とチルト情報とに応じた２次元投影画像を生成し、生成した２次元投影画像の所定領域に撮像画像を合成して出力する。この結果、合成画像の閲覧者は、簡単なユーザ操作により撮像装置２０のカメラの撮像方向の切り替えを行なうことができるとともに、カメラによって撮像されている領域を直感的に把握することができる。

（実施の形態８）
実施の形態１では、全監視エリアの２次元投影画像にカメラアイコンを配置し、カメラアイコンが選択された場合、選択されたカメラアイコンに対応するカメラ（撮像装置）が撮像した撮像画像を合成した合成画像を表示するものである。これに対し、本実施の形態では、複数の監視エリアが階層状に構成されており、いずれかの監視エリアの２次元投影画像から他の階層の監視エリアの選択が可能であるとともに、選択された監視エリアの２次元投影画像にカメラのうち当該監視エリアに対応付けられたカメラのみのカメラアイコンを配置して、カメラアイコンが選択された場合、選択されたカメラアイコンに対応するカメラが撮像した撮像画像を合成した合成画像を表示するものである。以下では、監視システムの構成、および撮像装置の構成は、実施の形態１と同様であるため説明を省略する。

[実施の形態８に係る画像処理装置の構成]
次に、実施の形態１における図３を用いて、実施の形態８に係る画像処理装置１０の構成を説明する。画像処理装置１０は、３次元モデル記憶部１１１と、視点情報記憶部１１２と、操作部１２１と、通信処理部１２２と、取得部１２３と、制御部１２４と、合成部１２５と、出力部１２６とを有する。画像処理装置１０は、ネットワーク３０を介して、撮像装置２０等のネットワークカメラやセンサ４０に接続されたＰＣ等の情報処理装置である（図１参照）。ここで、通信処理部１２２および制御部１２４は実施の形態１と同様であるため説明を省略する。

３次元モデル記憶部１１１は、３次元モデル等を記憶する。図２８は、３次元モデル記憶部１１１に記憶される情報例を示す図である。図２８に示すように、３次元モデル記憶部１１１は、監視エリアの属する階層と、各監視エリアの３次元モデルデータと、デバイスＩＤと、アイコン種類ＩＤと、アイコン位置とを対応付けて記憶する。ここで、デバイスＩＤと、アイコン種類ＩＤと、アイコン位置の詳細については、実施の形態１と同様である。

３次元モデルデータとは、上述の各監視エリア（３次元領域）の３次元モデルを示すものである（図５参照）。本実施の形態では、複数の監視エリアが階層状に構成された階層構造となっており、複数の監視エリアそれぞれに対応する複数の３次元モデルデータを記憶している。

階層とは、各監視エリアが属している階層を示している。ここで、本実施の形態における監視エリアの階層構造について説明する。図２９は、監視エリアの階層構造の説明図である。図２９に示すように、本実施の形態では、監視エリアとして、全ての監視領域を示す全監視エリアと、全監視エリア内の建物であるモールの領域を示すモールエリアと、モール内の各フロアの領域を示す中央エリア、西２階エリア、西１階エリア、東２階エリア、および東１階エリアが設けられている。またこれらの監視エリアは３層の階層から構成されており、第一階層に全監視エリアが属し、第一階層の直下の階層である第二階層にモールエリアが属し、第二階層の直下の階層である第三階層に中央エリア、西２階エリア、西１階エリア、東２階エリア、および東１階エリアが属している。

図２８に戻り、例を挙げると、３次元モデル記憶部１１１は、階層「第一階層」と、３次元モデルデータ「全監視エリア」と、カメラ１を示すデバイスＩＤ「＃０１」と、アイコン種類としてカメラを示すアイコン種類ＩＤ「Ａ００１」と、アイコン位置「（ｘ１，ｙ１，ｚ１）」とを対応付けて記憶する。したがって、３次元モデル記憶部１１１を参照することにより、実施の形態１と同様に、各デバイスの配置位置を特定することができる。また、本実施の形態では、３次元モデル記憶部１１１を参照することにより、各監視エリアがいずれの階層に属しているかを判断することができる。

さらに、３次元モデル記憶部１１１は、図２８に示すように、アイコン種類ＩＤに対応付けて、各種アイコンの３次元パーツモデルを記憶する。詳細は実施の形態１と同様であるため説明を省略する。

視点情報記憶部１１２は、合成部１２５が３次元モデルデータから２次元投影画像を生成する際や、ユーザが監視エリアやカメラアイコン等を選択するために表示する選択画像を生成する際に利用する視点位置を記憶する。図３０は、視点情報記憶部１１２に記憶される情報例を示す図である。視点情報記憶部１１２は、具体的には、全監視エリア、モールエリア、中央エリア、西２階エリア、西１階エリア、東２階エリア、および東１階エリアの２次元投影画像を生成する際に利用される視点位置と、カメラの配置位置から観察される監視エリアの２次元投影画像を生成する際に利用される視点位置とを、視点位置を識別する視点位置ＩＤに対応付けて記憶する。

ここで、選択画像とは、いずれかの監視エリアの３次元モデルを２次元面に投影した２次元投影画像であって、投影された監視エリアと異なる階層、例えば直下や直上の階層などに属する監視エリアを選択することが可能な画像である。また、監視エリアにカメラが設置されている場合、選択画像は、カメラのうち当該監視エリアに対応付けられたカメラのみに対応するカメラアイコンが配置された監視エリアの２次元投影画像となり、カメラアイコンを選択することによってカメラ（撮像装置）を選択することが可能な画像である。

図３０に戻り、例を挙げると、視点情報記憶部１１２は、第一階層に属する全監視エリアを示す視点位置ＩＤ「Ｂ００１」と、視点位置「（ｘ１０，ｙ１０，ｚ１０）」とを対応付けて記憶する。また、視点情報記憶部１１２は、第三階層に属する中央エリアを示す視点位置ＩＤ「Ｂ００３」と、視点位置「（ｘ１４，ｙ１４，ｚ１４）」とを対応付けて記憶する。また、視点情報記憶部１１２は、カメラ１を示す視点位置ＩＤ「Ｂ０１１」と、視点位置「（ｘ１１，ｙ１１，ｚ１１）」とを対応付けて記憶する。

操作部１２１は、マウスやタッチパネル等の入力装置を有し、監視システム１のユーザのユーザ操作によって各種指示を受け付ける。例えば、操作部１２１は、選択画像から、ユーザからのカメラ選択指示（カメラアイコンの選択）を受け付ける。また、操作部１２１は、ユーザ操作によって所定のカメラ（撮像装置２０）が選択されると、選択された撮像装置２０の撮像画像を出力する指示を受け付ける。また、操作部１２１は、ユーザ操作によって所定の撮像装置２０に対するパン、チルト及びズームの設定指示を受け付ける。なお、パン、チルト及びズームの設定指示は、上述したパン、チルト及びズームに関する制御信号として、制御部１２４及び通信処理部１２２を介して撮像装置２０に送信される。また、操作部１２１は、ユーザから処理を終了する旨を示す終了指示を受け付ける。

また、操作部１２１は、監視エリアが表示された選択画像から、選択画像に表示されている監視エリアとは異なる階層（他の階層）に属する監視エリアの選択を受け付けるものである。具体的には、操作部１２１は、監視エリアが表示された選択画像から、選択画像に表示されている監視エリアの属する階層の直下または直上の階層に属する監視エリアの選択を受け付ける。さらに、操作部１２１は、監視エリアが表示された選択画像から、選択画像に表示されている監視エリアの属する階層より下層または上層に属する監視エリアの選択を受け付ける。

また、操作部１２１は、選択画像にカメラアイコンが表示されている場合は、選択画像からカメラアイコンの選択を受け付ける。例えば、操作部１２１は、全監視エリアの２次元投影画像である選択画像が表示されている場合、当該選択画像から、直下の下層に属するモールエリアや、さらに下層に属する中央エリアや西２階エリア、全監視エリアに対応付けられたカメラのカメラアイコンの選択を受け付ける。なお、操作部１２１は、領域選択受付部およびカメラ選択受付部に相当する。

図３１は、選択画像から選択可能な監視エリアまたはカメラアイコンを示す説明図である。図３１に示すように、全監視エリアにモールエリアがあり、さらにカメラ１〜５が対応付けられている場合、全監視エリアの２次元投影画像である選択画像からはモールエリア、カメラ１〜５のカメラアイコンが選択可能となる。また、モールエリアに中央エリア、西２階エリア、西１階エリア、東２階エリア、および東１階エリアがあり、これらのエリアにカメラが対応付けられていない場合、モールエリアの２次元投影画像である選択画像からは中央エリア、西２階エリア、西１階エリア、東２階エリア、および東１階エリアが選択可能となる。

さらに、中央エリアにカメラ６、７が対応付けられている場合、中央エリアの２次元投影画像である選択画像からはカメラ６、７のカメラアイコンが選択可能となる。他の監視エリアである西２階エリア、西１階エリア、東２階エリア、東１階エリアについても同様である。

取得部１２３は、操作部１２１により選択画像からカメラアイコンの選択を受け付けた場合、選択されたカメラアイコンに対応するカメラ（撮像装置２０）によって撮像された撮像画像や撮像方向としてのパン情報、チルト情報や、ズーム情報を、通信処理部１２２を介して撮像装置２０から取得する。また、取得部１２３は、センサ４０から検出データを取得する。なお、検出データには、センサ４０の検出方向等に関する情報（パン情報、チルト情報等）が含まれていてもよい。

合成部１２５は、操作部１２１により選択画像からカメラアイコンの選択を受け付けた場合、選択画像に投影された監視エリアの３次元モデルの視点、及び選択されたカメラアイコンに対応するカメラ（撮像装置２０）の撮像方向に応じた２次元投影画像を生成する。そして、合成部１２５は、生成した２次元投影画像の２次元画像領域に、選択されたカメラアイコンに対応するカメラ（撮像装置２０）によって撮像された２次元画像である撮像画像を合成する。このとき、合成部１２５は、制御部１２４によって出力されたカメラアイコンやセンサアイコン等のアイコンもアイコン位置をもとに２次元投影画像に配置する。なお、撮像画像の合成およびアイコンの配置の詳細については、実施の形態１と同様である。

また、合成部１２５は、操作部１２１により選択画像から監視エリアの選択を受け付けた場合、選択された監視エリアの３次元モデルにおけるカメラアイコンやセンサアイコン等のアイコン位置（選択された監視エリアに配置されているカメラのカメラ位置やセンサのセンサ位置）にカメラアイコンやセンサアイコンを配置する。そして、合成部１２５は、視点情報記憶部１１２に記憶された監視エリア（選択された監視エリア）の３次元モデルの視点（視点位置）を取得し、該視点に応じて、カメラアイコンやセンサアイコンが配置された監視エリア（選択された監視エリア）の３次元モデルを２次元面に投影した２次元投影画像である選択画像を生成する。このとき、選択された監視エリアにカメラやセンサが対応付けられていない場合は、カメラアイコンやセンサアイコンは配置されない。

出力部１２６は、合成部１２５によって生成された合成画像を出力する。例えば、出力部１２６は、合成部１２５によって２次元投影画像に合成された各種アイコン、カメラアイコン付近の領域に合成された撮像画像、又は、重畳された２次元画像領域に合成された撮像画像等を含む合成画像を出力する。また、出力部１２６は、合成部１２５によって生成された選択画像を出力する。なお、出力部１２６は、合成画像や選択画像を表示する表示装置であっても良いし、画像処理装置１０に接続された表示装置に合成画像や選択画像を出力しても良い。

[実施の形態８に係る全体処理フロー]
次に、図３２を用いて、実施の形態８に係る全体処理の流れについて説明する。図３２は、実施の形態８に係る全体処理の流れの例を示すフローチャートである。

ここで、ステップＳ２００１〜ステップＳ２００９は、実施の形態４における図１８の処理と同様であるため、説明を省略する（ステップＳ４０１〜ステップＳ４０９参照）。その際、ステップＳ２００１〜ステップＳ２００３において、実施の形態４における初期画像を選択画像に置き換える。また、ステップＳ２００７の判断が否定であった場合、ステップＳ２０１３の処理に進む。

ステップＳ２００４において、操作部１２１により選択画像からカメラアイコンの選択を受け付けなかった場合（ステップＳ２００４否定）、制御部１２４は、操作部１２１により選択画像から監視エリアの選択を受け付けたか否かを判断する（ステップＳ２０１０）。

選択画像から監視エリアの選択を受け付けた場合（ステップＳ２０１０肯定）、合成部１２５は、選択された監視エリアの２次元投影画像である選択画像を生成する（ステップＳ２０１１）。そして、出力部１２６は、選択画像を表示画面に表示する（ステップＳ２０１２）。一方、選択画像から監視エリアの選択を受け付けなかった場合（ステップＳ２０１０否定）、ステップＳ２０１３の処理に進む。

次に、制御部１２４は、操作部１２１により処理を終了する旨を示す終了指示を受け付けたか否かを判断する（ステップＳ２０１３）。終了指示を受け付けた場合（ステップＳ２０１３肯定）、処理を終了する。一方、終了指示を受け付けなかった場合（ステップＳ２０１３否定）、ステップＳ２００４の処理に戻る。なお、例えば、ユーザが終了指示を入力するためのアイコン等は、選択画像に表示されているものとする。

また、実施の形態４において説明した初期画像は選択画像のうちの１つの画像であり、ステップＳ２０１０において、ユーザにより監視エリアとして全監視エリアが選択された場合には、ステップＳ２０１１において、初期画像に相当する全監視エリアの２次元投影画像である選択画像が表示される。このように監視エリアの選択を繰り返すことで、階層構造の監視エリアを順次切り替えて表示することができる。

また、選択画像において一つ前の処理における選択画像に戻る旨を示す選択可能なアイコン等を表示しておき、当該アイコンの選択を受け付けた場合に一つ前の処理における選択画像を表示する（戻る）。また、選択画像が表示される表示画面の隅などに、各監視エリアを示す選択可能なアイコン等を表示しておき、表示されたいずれかの監視エリアのアイコンの選択を受け付けた場合に、選択されたアイコンに対応する監視エリアの２次元投影画像である選択画像を生成して、生成した選択画像を表示する。これにより、選択画像に表示された監視エリアの直下の監視エリアだけでなく、直上、上層および下層の監視エリアを選択することが可能となる。

[実施の形態８に係る初期画像生成処理フロー]
次に、図３３を用いて、実施の形態８に係る選択画像生成処理の流れについて説明する。図３３は、実施の形態８に係る選択画像生成処理の流れの例を示すフローチャートである。なお、実施の形態８に係る選択画像生成処理とは、ステップＳ２０１１における処理を指す。

図３３に示すように、画像処理装置１０の合成部１２５は、選択された監視エリアの３次元モデルデータを３次元モデル記憶部１１１から取得する（ステップＳ２０２１）。合成部１２５は、３次元モデル記憶部１１１を参照し、選択された監視エリアの３次元モデルに対応付けられているデバイス（カメラまたはセンサ）があるか否かを判断する（ステップＳ２０２２）。対応付けられているデバイスがない場合（ステップＳ２０２２否定）、アイコンの合成を行わずステップＳ２０２８の処理に進む。

一方、対応付けられているデバイスがある場合（ステップＳ２０２２肯定）、合成部１２５は、３次元モデル記憶部１１１を参照し、選択された監視エリアの３次元モデルに対応付けられている各デバイスの配置位置、すなわち各アイコンと該各アイコンのアイコン位置とを取得する（ステップＳ２０２３）。

次に、合成部１２５は、対応付けられたデバイスにカメラ（撮像装置２０）があるか否かを判断する（ステップＳ２０２４）。対応付けられたデバイスにカメラがない場合（ステップＳ２０２４否定）、ステップＳ２０２７の処理に進む。

一方、対応付けられたデバイスにカメラがある場合（ステップＳ２０２４肯定）、合成部１２５は、各撮像装置２０によって送信されたカメラの撮像方向を、通信処理部１２２、取得部１２３および制御部１２４を介して取得する（ステップＳ２０２５）。

その後、合成部１２５は、取得した撮像方向から、各カメラアイコンの向きを特定する（ステップＳ２０２６）。そして、合成部１２５は、３次元モデルの各アイコン位置に、各デバイス（カメラのみ、またはカメラとセンサ）のアイコンを合成する（ステップＳ２２７）。このとき、合成部１２５は、カメラアイコンについては、ステップＳ２０２６において特定した向きにカメラアイコンのレンズを向けた状態で、３次元モデル内にカメラアイコンを配置する。但し、センサ４０等の向きを持たないデバイスに関しては、その向きが特に考慮されることなく３次元モデル内の該当するアイコン位置に、アイコンが合成される。

そして、合成部１２５は、視点情報記憶部１１２から、選択された監視エリアの視点位置ＩＤに対応付けられている視点位置を取得する（ステップＳ２０２８）。続いて、合成部１２５は、取得した視点位置と、予め設定された注視点および画角に基づいて３次元モデルを投影面（２次元面）に投影する等、任意の手法でレンダリングを行なうことにより、２次元投影画像を生成し、生成した２次元投影画像を選択画像とする（ステップＳ２０２９）。なお、かかる選択画像には、図９に示すように、２次元投影画像中の各カメラアイコン付近に設定されたポップアップ領域に、各カメラアイコンに対応する撮像装置２０によって撮像された撮像画像が合成されている。

このように、実施の形態８にかかる画像処理装置は、各監視エリアが階層状に構成されており、いずれかの監視エリアの２次元投影画像である選択画像から他の階層の監視エリアの選択が可能である。また、選択された監視エリアに対応付けられたカメラのカメラアイコンのみを表示するので、多くのカメラアイコンが同時に表示されることがない。さらに、選択された監視エリアの２次元投影画像である選択画像からカメラアイコンが選択された場合、選択されたカメラアイコンに対応するカメラが撮像した撮像画像を合成した合成画像を表示する。従って、３次元空間である監視エリアに設置されたカメラの位置を２次元画像で直感的に把握しやすく、操作性を向上させることができる。

（実施の形態９）
次に、実施の形態９にかかる画像処理装置１０について説明する。上述の実施の形態１〜８にかかる画像処理装置１０は、選択画像（初期画像）としての二次元投影画像を生成する際には、視点情報記憶部１１２において、処理対象となる監視エリアに対応付けられている視点位置を特定し、この視点位置と予め設定された注視点および画角に基づいて、処理対象となる監視エリアの３次元モデルデータに基づいて２次元投影画像を生成したが、本実施の形態にかかる画像処理装置１０は、さらに、ユーザからの指示にしたがい、処理対象となる監視エリアの３次元モデルデータから２次元投影画像を生成する際に用いる視点位置を適宜変更することができる。

図３４は、実施の形態９にかかる画像処理装置１０の処理を説明するための図である。図３４は、初期画像に相当する全監視エリアの２次元投影画像である。ここで、全監視エリアの３次元モデルの鉛直方向をｚ軸、鉛直方向に水平な面である水平面の所定の方向をｘ軸、ｘ軸に垂直な方向をｙ軸と定めることとする。

３次元モデルに対する視点や注視点の位置は自由に設定することができるが、実施の形態９にかかる画像処理装置１０においては、視点として設定可能な位置の範囲を制限すべく、設定可能な位置の範囲である視点範囲を３次元モデル記憶部１１１に予め設定しておくこととする。本実施の形態にかかる画像処理装置１０に設定されている視点範囲は、３次元モデル上に配置された回転軸を中心とし、半径を所定値とする所定の回転角度範囲に相当する円弧の範囲である。

例えば、全監視エリアについては、画像処理装置１０は、図３４に示すように、ｚ軸を回転軸とし、所定の回転角度範囲内で視点位置を円弧に沿って変更した状態の２次元投影画像を生成および出力することができ、さらに、ｙ軸を回転軸とし、同様に所定の回転角度範囲内で視点位置を円弧に沿って変更した状態の２次元投影画像を生成および出力することができる。

実施の形態９にかかる画像処理装置１０においては、操作部１２１は、ユーザ操作に応じて、視点位置の変更指示を受け付ける。すなわち、操作部１２１は、変更指示受付部として機能する。合成部１２５は、３次元モデル記憶部１１１に記憶されている３次元モデルおよび視点情報記憶部１１２に記憶されている視点位置等に基づいて、操作部１２１が受け付けた変更指示に示される視点位置に基づいて視点位置を変更し、変更後の視点に基づいて、３次元モデルを描画した２次元投影画像を生成する。すなわち、合成部１２５は、視点位置変更部および生成部として機能する。

図３５は、画像処理装置１０の３次元モデル記憶部１１１に記憶される情報例を示す図である。図３５に示すように、本実施の形態の３次元モデル記憶部１１１は、３次元モデルデータに対応付けて、さらに視点範囲を記憶する。すなわち、３次元モデル記憶部１１１は、３次元モデル記憶部および視点範囲記憶部に相当する。ここで、視点範囲は、ｚ軸およびｙ軸それぞれに対する回転軸位置、半径および回転角度範囲を含んでいる。回転軸位置は、３次元モデル内の回転軸の位置である。半径は、視点と注視点の間の距離に相当する値である。回転角度範囲は、視点範囲に対応する回転軸回りの回転角度である。本実施の形態においては、回転角度範囲は、第８の実施の形態において図３０を参照しつつ説明した、視点情報記憶部１１２において各監視エリアに対応付けられている視点位置を基準とし、プラス方向およびマイナス方向にそれぞれ設定されている。

以上、回転軸位置、半径、回転角度範囲および視点位置に基づいて、視点範囲を特定することができる。すなわち、３次元モデル記憶部１１１は、視点範囲として、回転軸位置、半径および回転角度範囲を記憶している。

なお、３次元モデル記憶部１１１は、このように、視点範囲を定めるための係数を記憶するのにかえて、他の例としては、視点範囲内の設定可能な視点位置の座標を複数記憶することとしてもよい。カメラを選択していない状態で操作部１２１のピンチ操作により視点位置の原点からの距離の変更を許可する場合、３次元モデル記憶部１１１は、回転軸を中心とした半径を変更し、半径の範囲を更に視点範囲として記憶してもよい。このように、３次元モデル記憶部１１１は、視点位置として設定可能な座標を特定可能な情報を視点範囲として記憶していればよく、視点範囲の具体的な情報は実施の形態に限定されるものではない。

視点情報記憶部１１２に記憶されている回転軸位置は、例えば３次元モデルが存在しない空白領域を含む２次元投影画像など、ユーザにとって３次元モデルを把握し難い２次元投影画像が生成および表示されることのないような値である。回転軸位置は、このような観点で、予め設計者等により決定され、視点情報記憶部１１２に登録されているものとする。

また、視点情報記憶部１１２に記憶されている回転角度範囲は、例えば全監視エリアの３次元モデルの地面の裏側のように、ユーザから閲覧されることを想定していない位置から観察される２次元投影画像が生成および表示されるような回転角度を除外した範囲である。回転角度範囲は、設計者等により予め決定され、視点情報記憶部１１２に登録されているものとする。

このように、本実施の形態の画像処理装置１０においては、３次元モデルの設計者等がユーザに閲覧させることを想定していない観察方向に投影される２次元投影画像が生成されないような視点範囲が予め設定されているので、設計者等が想定する２次元投影画像のみをユーザに提供することができる。

図３６Ａ〜図３６Ｃは、視点位置が変更された場合に描画される２次元投影画像を示す図である。図３６Ａ〜図３６Ｃは、いずれも図３４に示す全監視エリアの２次元投影画像の視点位置を３次元モデル記憶部１１１において、全監視エリアに対応付けて記憶されているｚ軸を基準とする視点範囲内の視点位置で描画された２次元投影画像である。

図３６Ａは、図３４に示す２次元投影画像の視点位置を、３次元モデルの上方からｚ軸方向に３次元モデルを見た状態で、ｚ軸を軸として時計周りに９０°回転させた後の視点位置で３次元モデルを描画した２次元投影画像である。図３６Ｂは、図３６Ａに示す２次元投影画像の視点位置をさらに時計回りに９０°回転させた後の視点位置で３次元モデルを描画した２次元投影画像である。図３６Ｃは、同様に図３６Ｂに示す２次元投影画像を９０°回転させた後の視点位置で３次元モデルを描画した２次元投影画像である。

図３７は、全監視エリアに対するｙ軸を回転軸とする視点範囲を説明するための図である。図３７に示すように、ｙ軸の視点範囲に対応する回転角度範囲は、３次元モデルのｚ軸のプラスの方向に４０°を上限、ｚ軸のマイナスの方向に２０°を下限に設定されている。下側から覗き込むようにして監視エリアの位置関係を把握するため、ｙ軸を中心にマイナス方向に視点位置を回転させる場合があるが、大きくマイナス方向に回転させると地下から見上げるような状態になってしまい、かえって位置関係が把握しづらくなる。そのため、マイナス方向の回転角度範囲はプラス方向の回転角度範囲よりも小さい値を設定している。

図３８Ａおよび図３８Ｂは、ｙ軸を回転軸とする視点範囲で視点位置が変更された場合に描画される２次元投影画像を示す図である。図３８Ａに示すｙ軸を回転軸としてマイナスの方向に２０°回転させた場合に、図３８Ｂに示すような２次元投影画像が得られる。

なお、本実施の形態にかかる画像処理装置１０においては、説明の便宜上、いずれの監視エリアに対する視点範囲もｚ軸およびｙ軸を回転軸とする範囲としたが、視点範囲の基準となる回転軸の方向、位置および数は実施の形態に限定されるものではない。例えば、ｘｙｚの３軸以外の方向に延びる回転軸を設定してもよい。また、回転軸の数は、１つでもよく、また３つ以上であってもよい。

図３９は、実施の形態９にかかる画像処理装置１０のフローチャートである。なお、図３９に示すステップＳ３００１〜ステップＳ３０１３までの処理は、実施の形態８にかかるステップＳ２００１〜ステップＳ２０１３の処理と同様である。

実施の形態９にかかる画像処理装置１０においては、例えば、図３４に示す全監視エリアの二次元投影画像など選択画像が表示された状態で、ユーザは操作部１２１の操作により視点位置の変更を入力することができる。具体的には、例えば表示画面に表示されたカーソルをマウス等で移動させることにより、視点位置の変更方向を指定する。さらに、移動速度に応じた速度で視点位置の移動距離を指定する。

操作部１２１がユーザ操作に応じて視点位置の変更指示を受け付けると（ステップＳ３００４否定、ステップＳ３０１０否定、ステップＳ３０２０肯定）、合成部１２５は、まず、変更指示にしたがい、視点範囲内の視点位置を特定する。具体的には、合成部１２５は、例えばユーザがカーソルを表示画面上で移動させると、カーソルの移動量から視点範囲内における視点位置の変更量を特定し、特定した変更量に基づいて、変更後の視点位置を特定する。なお、変更指示の入力方法と、入力された入力情報と、入力情報から定まる視点位置との関係が定まっていればよく、入力方法および入力情報から視点位置を特定する処理は実施の形態に限定されるものではない。

合成部１２５はさらに、変更後の視点位置に基づいて、変更指示を受け付けた際に表示されていた表示選択画像に対応する３次元モデルの３次元モデルデータから２次元投影画像、すなわち視点変更後の選択画像を生成する（ステップＳ３０２１）。なお、ステップＳ３０２１において、合成部１２５は、３次元モデル記憶部１１１において、表示選択画像の３次元モデルにデバイスが対応付けられている場合には、対応付けられているデバイスのアイコンを抽出し、抽出したアイコンを３次元モデル内に配置し、配置後の３次元モデルの３次元モデルデータから選択画像を生成する。次に、出力部１２６は、視点変更後の選択画像を出力し、表示画面に出力された選択画像が表示され（ステップＳ３０２２）、ステップＳ３０１３に進む。すなわち、ステップＳ３０２２において表示された選択画
像において、カメラアイコンが選択された場合には、ステップＳ３００４〜ステップＳ３００６の処理により、選択されたカメラアイコンに相当する撮像装置２０により撮像された撮像画像が合成された合成画像生成および表示することができる。

本実施の形態にかかる画像処理装置１０においては、ユーザからの変更指示に応じて視点位置を変更する際に、予め設定された回転軸と回転角度範囲とに応じて視点位置を変更可能としたので、ユーザにとって不要な２次元投影画像が表示されることがなく、ユーザは、簡単な操作で希望するエリアを観察することのできる２次元投影画像を表示させることができる。

なお、実施の形態９にかかる画像処理装置１０のこれ以外の構成および処理は、他の実施の形態にかかる画像処理装置１０の構成および処理と同様である。

本実施の形態の画像処理装置１０は、選択画面を表示するために利用される複数の監視エリアと視点範囲とを対応付けて記憶し、選択画面の視点位置を変更可能としたが、他の例としては、画像処理装置１０は、さらにユーザによるカメラの選択やユーザがカメラのレンズの方向を確認するための確認画像を生成するための視点位置と、視点範囲とを３次元モデルに対応付けてさらに記憶し、確認画像の視点位置を変更可能に表示してもよい。

これにより、カメラのレンズの方向を容易に確認できるような視点から３次元モデルを観察した２次元投影画像を確認画像として生成および表示し、さらにこの二次元投影画像に表現される３次元モデルをユーザからの指示にしたがい回転させた状態の二次元投影画像（確認画像）を表示することができる。

（実施の形態１０）
上述した実施の形態では、撮像装置２０で取得された撮像画像（以下、監視画像ともいう）をライブストリーミング技術などを用いて画像処理装置１０にライブ表示（以下、ライブストリーミング再生という）していたが、このような形態に限られるものではない。
たとえば、画像処理装置１０がネットワーク３０を介して撮像装置２０やセンサ４０から取得した撮像情報やイベント情報などは、画像処理装置１０に設けられた記憶装置またはネットワーク３０上に配置された記憶装置に記録され、後の監視画像の再生（以下、ライブストリーミング再生と区別するため、録画再生という）に用いられてもよい。ここでは、画像処理装置１０が撮像情報およびイベント情報を記憶する記憶装置を備える形態を、実施の形態１０として説明する。

図４０は、実施の形態１０に係る画像処理装置４０１０の構成例を示す図である。図４０に示すように、画像処理装置４０１０は、図３に示された画像処理装置１０と同様の構成に加え、画像記憶部４１２７およびイベント記憶部４１２８を備える。画像記憶部４１２７およびイベント記憶部４１２８それぞれには、画像処理装置４０１０を実現するパーソナルコンピュータに内蔵されたハードディスクや、パーソナルコンピュータに外付けされたハードディスクなど、種々の記憶装置が用いられてよい。

撮像装置２０から送信される撮像情報には、上述した撮像画像、パン情報、チルト情報およびズーム情報に加え、この撮像画像を取得した撮像装置２０のデバイスＩＤと、撮像画像が取得された撮像時刻とが含まれている。これらデバイスＩＤおよび撮像時刻は、撮像装置２０の制御部２０４から圧縮部２０２へ送られ、パン情報、チルト情報およびズーム情報とともに撮像画像のヘッダまたはフッタに付加される。なお、以下の説明では、パン情報、チルト情報およびズーム情報をまとめて、ＰＴＺ情報という。

ネットワーク３０から通信処理部１２２を介して撮像情報を取得した取得部１２３は、撮像情報に含まれる撮像画像、デバイスＩＤ、撮像時刻およびＰＴＺ情報を特定し、これらを制御部１２４へ入力する。

制御部１２４は、取得部１２３で取得された撮像画像、デバイスＩＤ、撮像時刻およびＰＴＺ情報を用いて上述した各実施の形態による２次元投影画像を背景とした監視画像のライブストリーミング再生を実行するとともに、これら撮像画像、デバイスＩＤ、撮像時刻およびＰＴＺ情報を画像記憶部４１２７に格納する。なお、監視画像のライブストリーミング再生が実行されていない場合でも、撮像画像、デバイスＩＤ、撮像時刻およびＰＴＺ情報が制御部１２４から画像記憶部４１２７に格納されてもよい。

また、制御部１２４は、撮像画像、デバイスＩＤ、撮像時刻およびＰＴＺ情報を画像記憶部４１２７に格納する際に、ユーザによって選択されている撮像装置２０のデバイスＩＤを特定する。そこで、選択中の撮像装置２０のデバイスＩＤが格納対象のデバイスＩＤと一致する場合、制御部１２４は、格納するデータセット（撮像画像、デバイスＩＤ、撮像時刻およびＰＴＺ情報）に所定の選択フラグを付加して、これらを画像記憶部４１２７に格納する。所定の選択フラグとは、対応付けられた撮像画像が、撮像装置２０が選択された状態にある間にこの撮像装置２０によって取得された撮像画像であることを示すフラグ情報である。なお、選択中の撮像装置２０のデバイスＩＤが格納対象のデバイスＩＤと一致しない場合、制御部１２４は、該当の撮像画像がユーザによって選択されていない状態の撮像装置２０によって取得された撮像画像であることを示す選択フラグを、格納対象のデータセットに付加して、画像記憶部４１２７に格納してもよい。この際の選択フラグは、ヌル（ｎｕｌｌ）データであってもよい。以下では、説明の明確化のため、撮像装置２０が選択された状態にある間に取得された撮像画像であることを示す選択フラグを選択中フラグ（‘１’）といい、撮像装置２０の未選択中に取得された撮像画像であることを示す選択フラグを選択外フラグ（‘０’）という。

画像記憶部４１２７には、撮像画像、デバイスＩＤ、撮像時刻、ＰＴＺ情報および選択フラグが撮像装置２０ごとに区別されて記憶される。この区別には、デバイスＩＤが用いられる。また、画像記憶部４１２７内のデータ管理には、たとえばテーブル管理方式が用いられる。

図４１は、画像記憶部４１２７が保持する撮像画像管理テーブルの一例を示す図である。図４１に示すように、撮像画像管理テーブルには、個々の撮像画像に、これを撮像した撮像装置２０（カメラ）のデバイスＩＤと、撮像時刻と、ＰＴＺ情報と、選択フラグとが対応づけて登録される。なお、図４１では、説明の簡略化のため、監視画像（撮像画像）が連続静止画像である場合のライブストリーミング再生の際に用いられ得る撮像画像管理テーブルの一例を示したが、これに限られるものではない。たとえば撮像画像がＭＰＥＧ−４などの複数のフレームを含む動画圧縮形式で圧縮されている場合、一度の撮影により取得された一連の撮像画像は１つの動画ファイルとして管理される。その場合、時間帯ごとに変化するＰＴＺ情報や選択フラグなどは、ＭＰＥＧ−７などのメタデータ記述方式を用いて撮像画像（動作）の該当する時間帯に付加されるとよい。

一方、センサ４０から送信されるイベント情報には、イベントの検出データに加え、このイベントを検出したセンサ４０のデバイスＩＤと、イベントの発生時刻とが含まれている。ここで、図４２に、センサ４０の構成例を示す。図４２に示すように、センサ４０は、たとえば図２に示される撮像装置２０と同様に、センサ部４２０１と、雲台駆動部４２０５と、角度センサ４２０６と、制御部４２０４と、圧縮部４２０２と、通信処理部４２０３とを備える。圧縮部４２０２へは、センサ部４２０１で得られたイベントの検出データと、制御部４２０４で特定されたデバイスＩＤおよびイベントの発生時刻とが入力される。また、センサ部４２０１が指向性を有している場合、圧縮部４２０２へは、角度センサ４２０６で得られたパン情報およびチルト情報（以下、ＰＴ情報という）が制御部４２０４を介して入力されてもよい。圧縮部４２０２に入力された検出データ、デバイスＩＤおよび発生時刻は、必要に応じてＰＴ情報とともに圧縮され、通信処理部４２０３からネットワーク３０を介して画像処理装置４０１０へイベント情報として送出される。

ネットワーク３０から通信処理部１２２を介してイベント情報を取得した取得部１２３は、イベント情報に含まれる検出データ、デバイスＩＤおよび発生時刻（およびＰＴ情報）を特定し、これらを制御部１２４へ入力する。また、取得部１２３は、同一イベントの検知が終了した際のイベント情報に含まれる発生時刻も、制御部１２４へ入力する。制御部１２４は、イベントの検知が終了した際のイベント情報から特定された発生時刻をイベントの終了時刻として特定し、この終了時刻を、該当するイベントの検出データ、デバイスＩＤおよび発生時刻（およびＰＴ情報）とともに、イベント記憶部４１２８に格納する。

制御部１２４は、取得部１２３で取得されたイベントの検出データ、デバイス、発生時刻および終了時刻（およびＰＴ情報）を上述した監視画像のライブストリーミング再生に用いるとともに、これら検出データ、デバイス、発生時刻および終了時刻（およびＰＴ情報）をイベント記憶部４１２８に格納する。なお、監視画像のライブストリーミング再生が実行されていない場合でも、検出データ、デバイスＩＤ、発生時刻および終了時刻（およびＰＴ情報）が制御部１２４からイベント記憶部４１２８に格納されてもよい。

また、制御部１２４は、検出データ、デバイス、発生時刻および終了時刻（およびＰＴ情報）をイベント記憶部４１２８に格納する際に、各イベントに固有のイベントＩＤを生成し、このイベントＩＤを、格納するデータセット（検出データ、デバイス、発生時刻および終了時刻（およびＰＴ情報））とともにイベント記憶部４１２８に格納する。

イベント記憶部４１２８には、イベントＩＤ、デバイスＩＤ、検出データ、イベントの発生時刻および終了時刻（およびＰＴ情報）がセンサ４０ごとに区別されて記憶される。この区別には、デバイスＩＤが用いられる。また、イベント記憶部４１２８内のデータ管理には、たとえばテーブル管理方式が用いられる。

図４３は、イベント記憶部４１２８が保持するイベント管理テーブルの一例を示す図である。図４３に示すように、イベント管理テーブルには、イベントの検出データに、このイベントを検出したセンサ４０のデバイスＩＤ、イベントＩＤ、発生時刻および終了時刻（およびＰＴ情報）が対応づけて登録されている。また、イベント管理テーブルに登録された各レコードには、それぞれのイベントをユーザが確認したか否かを示す確認フラグが対応づけられていてもよい。この確認フラグは、画像記憶部４１２７およびイベント記憶部４１２８に記憶された撮像画像およびイベント情報の録画再生中に、ユーザからの操作や該当イベントの再生完了などの所定の事象をトリガとしてイベント記憶部４１２８に格納されてもよい。

また、本実施の形態１０、および上述の各実施の形態では、撮像装置２０に対応づけられたセンサ４０が存在してもよい。たとえば人感センサであれば、センサ４０と、このセンサ４０の人感知範囲を撮像する撮像装置２０とが対応づけられてもよい。ドア開閉センサであれば、センサ４０と、このセンサ４０が検知するドアを撮像する撮像装置２０とが対応づけられてもよい。また、撮像装置２０の撮像画像を用いて動き検出を行い、撮像装置２０そのものをセンサ４０として用いてもよい。

センサ４０と撮像装置２０との対応付けは、たとえば３次元モデル記憶部１１１において管理される。この管理には、たとえばテーブル管理方式を用いることができる。図４４は、３次元モデル記憶部１１１において管理されるセンサ管理テーブルの一例を示す図である。図４４に示すように、センサ管理テーブルは、センサ４０のデバイスＩＤと、これと対応づけられる撮像装置２０のデバイスＩＤ（以下、カバーカメラＩＤという）とを対応付けて管理している。このようなセンサ管理テーブルを用いることで、センサ管理テーブルに登録された何れかのセンサ４０がユーザから選択された際に、これに対応づけられた撮像装置２０を特定することが可能となる。また、センサ管理テーブルは、各デバイスＩＤが対応するセンサ４０の重要度と、センサの種別（人感センサや熱感知センサなど）を示すセンサ種別とを各デバイスＩＤに対応づけて管理してもよい。

つぎに、画像処理装置４０１０において撮像情報およびイベント情報を記憶する際の制御部１２４の動作を、以下に図面を用いて詳細に説明する。なお、ここでは、録画する際の動作例として、プリセット録画予約された時間帯に録画動作を実行する場合を例示する。ただし、これに限られず、動作中、常時録画するなど、種々変形可能である。

図４５は、実施の形態１０に係る制御部１２４の録画動作を示すフローチャートである。図４５に示すように、制御部１２４は、起動後、録画の開始タイミングとなるまで本録画動作を待機する（ステップＳ４００１否定）。録画の開始タイミングとは、カメラから送られるすべての画像を録画するのではなく、フレーム単位で間引いて録画することである。録画動作では、長時間記録できるようにするために、フレームをカウントして必要なフレームのみ録画する。録画の開始タイミングとなると（ステップＳ４００１肯定）、制御部１２４は、現在ユーザによって選択されている状態の撮像装置２０のデバイスＩＤを取得する（ステップＳ４００２）。現在ユーザによって選択されている状態の撮像装置２０のデバイスＩＤは、たとえば制御部１２４を実現するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のキャッシュメモリ等で管理されていてもよい。また、現在ユーザによって選択されている状態の撮像装置２０が存在しない場合、制御部１２４は、たとえばヌル（ｎｕｌｌ）データをデバイスＩＤとして取得してもよい。

つぎに、制御部１２４は、ネットワーク３０上の撮像装置２０から通信処理部１２２を介して撮像情報を受信するまで待機する（ステップＳ４００３否定）。いずれかの撮像装置２０から撮像情報を受信すると（ステップＳ４００３肯定）、制御部１２４は、取得部１２３を用いて、受信した撮像情報から撮像画像、デバイスＩＤ、撮像時刻およびＰＴＺ情報を特定し、これを取得部１２３から取得する（ステップＳ４００４）。つぎに、制御部１２４は、取得したデバイスＩＤが、ステップＳ４００２で特定したデバイスＩＤと一致するか否かを判定する（ステップＳ４００５）。

ステップＳ４００５の判定の結果、両方のデバイスＩＤが一致する場合（ステップＳ４００５肯定）、制御部１２４は、ステップＳ４００４で特定した撮像画像、デバイスＩＤ、撮像時刻およびＰＴＺ情報を、選択中フラグと対応づけて、画像記憶部４１２７に格納する（ステップＳ４００６）。一方、両方のデバイスＩＤが一致しない場合（ステップＳ４００５否定）、制御部１２４は、ステップＳ４００４で特定した撮像画像、デバイスＩＤ、撮像時刻およびＰＴＺ情報を、選択外フラグと対応づけて、画像記憶部４１２７に格納する（ステップＳ４００７）。

その後、制御部１２４は、プリセット録画の終了時刻となったか否かを判定する（ステップＳ４００８）。終了時刻となった場合（ステップＳ４００８肯定）、制御部１２４は、本録画動作を終了する。一方、終了時刻となっていない場合（ステップＳ４００８否定）、制御部１２４は、ステップＳ４００２へリターンし、以降の動作を実行する。

以上のような録画動作により、画像記憶部４１２７内に、撮像画像が、デバイスＩＤ、撮像時刻、ＰＴＺ情報および選択フラグと対応づけて格納される。

また、図４６は、実施の形態１０に係る制御部１２４のイベント記録動作を示すフローチャートである。図４６に示すように、制御部１２４は、起動後、プリセット録画の開始時刻となるまで本イベント記録動作を待機する（ステップＳ４０１１否定）。プリセット録画の開始時刻となると（ステップＳ４０１１肯定）、制御部１２４は、ネットワーク３０上のセンサ４０から通信処理部１２２を介してイベント情報を受信するまで待機する（ステップＳ４０１２否定）。いずれかのセンサ４０からイベント情報を受信すると（ステップＳ４０１２肯定）、制御部１２４は、取得部１２３を用いて、受信したイベント情報から検出データ、デバイスＩＤ、発生時刻（およびＰＴ情報）を特定し、これを取得部１２３から取得する（ステップＳ４０１３）。つぎに、制御部１２４は、同一イベント情報の入力が終了するまで待ち（ステップＳ４０１４否定）、終了すると（ステップＳ４０１４肯定）、その終了時刻を特定する（ステップＳ４０１５）。

つぎに、制御部１２４は、イベント情報にＰＴ情報が含まれているか否かを判定する（ステップＳ４０１６）。イベント情報にＰＴ情報が含まれている場合（Ｓ４０１６肯定）、制御部１２４は、ステップＳ４０１３で特定した検出データ、デバイスＩＤ、発生時刻およびＰＴ情報と、ステップＳ４０１５で特定した終了時刻とを対応づけて、イベント記憶部４１２８に格納する（ステップＳ４０１７）。この際、制御部１２４は、イベントＩＤを生成し、これを検出データ、デバイスＩＤ、発生時刻、終了時刻およびＰＴ情報とともにイベント記憶部４１２８に格納してもよい。一方、イベント情報にＰＴ情報が含まれていない場合（ステップＳ４０１６否定）、制御部１２４は、ステップＳ４０１３で特定した検出データ、デバイスＩＤおよび発生時刻と、ステップＳ４０１５で特定した終了時刻とを対応づけて、イベント記憶部４１２８に格納する（ステップＳ４０１８）。この際、制御部１２４は、イベントＩＤを生成し、これを検出データ、デバイスＩＤ、発生時刻および終了時刻とともにイベント記憶部４１２８に格納してもよい。

その後、制御部１２４は、録画の終了タイミングとなったか否かを判定する（ステップＳ４０１９）。終了タイミングとなった場合（ステップＳ４０１９肯定）、制御部１２４は、本イベント録画動作を終了する。一方、終了タイミングとなっていない場合（ステップＳ４０１９否定）、制御部１２４は、ステップＳ４０１２へリターンし、以降の動作を実行する。

以上のようなイベント記録動作により、イベント記憶部４１２８内に、センサ４０で検出されたイベントの検出データが、イベントＩＤ、デバイスＩＤ、発生時刻、終了時刻（およびＰＴ情報）と対応づけて格納される。

つぎに、画像記憶部４１２７に記憶された撮像画像を録画再生する際の動作を、以下に図面を用いて詳細に説明する。図４７は、実施の形態１０に係る制御部１２４による録画再生動作の一例を示すフローチャートである。図４７に示すように、制御部１２４は、起動後、録画データの再生指示がユーザから入力されるまで待機する（ステップＳ４０３１否定）。なお、録画データの再生指示は、ユーザが画像処理装置４０１０の操作部１２１を用いて入力してよい。

録画データの再生指示を受け付けると（ステップＳ４０３１肯定）、制御部１２４は、再生対象の記録データを読み出す（ステップＳ４０３２）。読み出される記録データには、画像記憶部４１２７に格納されている撮像画像、デバイスＩＤ、撮像時刻、ＰＴＺ情報および選択フラグと、イベント記憶部４１２８に格納されている検出データ、イベントＩＤ、デバイスＩＤ、発生時刻および終了時刻（およびＰＴ情報）、および確認フラグが含まれている。

つぎに、制御部１２４は、読み出した記録データのうち、最初の撮像画像に対応づけられた選択フラグを参照することで、選択中の撮像装置２０があるか否かを判定する（ステップＳ４０３３）。なお、ここでいう選択中の撮像装置２０とは、録画開始の時点でユーザによって選択状態にされている状態にある撮像装置である。

選択中の撮像装置２０が存在する場合（ステップＳ４０３３肯定）、制御部１２４は、選択中の撮像装置２０の３次元モデル上の位置（カメラアイコン位置）と、再生対象の撮像画像に対応づけられたＰＴＺ情報に基づいて、３次元モデルデータから２次元投影画像を生成する際の視点位置を決定する（ステップＳ４０３６）。また、制御部１２４は、ユーザが録画再生に関する操作を入力するための操作画面を生成する（ステップＳ４０３７）。この操作画面には、撮像画像を録画再生する所定領域（以下、再生領域という）が含まれている。この再生領域は、たとえば上述の実施の形態における２次元投影画像上の所定領域に相当するものであってもよい。

一方、選択中の撮像装置２０が存在しない場合（ステップＳ４０３３否定）、制御部１２４は、たとえば上述において図６を用いて説明した視点情報記憶部１１２から、該当するエリアに関する初期条件の視点位置を取得する（ステップＳ４０３４）。また、制御部１２４は、ユーザが録画再生に関する操作を入力するための操作画面を生成する（ステップＳ４０３５）。この操作画面には、撮像画像を生成する再生領域が含まれていてもいなくてもよい。

その後、制御部１２４は、ステップＳ４０３６で決定した視点位置またはステップＳ４０３４で取得した視点位置に基づいて、３次元モデルデータから２次元投影画像を生成する（ステップＳ４０３８）。この際の３次元モデルデータに含まれる全てのカメラアイコンやセンサアイコンには、ステップＳ４０３２で読み出された撮像装置２０のＰＴＺ情報やセンサ４０のＰＴ情報などが反映される。したがって、再生時の３次元モデルデータは、上述した実施の形態によるライブストリーミング再生時と同様、録画期間中の３次元モデルデータの動き（変化等）をそのまま再現したものとなる。その際、各カメラアイコンには、上述した実施の形態と同様に、それぞれが対応付けられた撮像装置２０で取得された撮像画像（またはそのサムネイル）がポップアップ表示によって再生されてもよい。

つぎに、制御部１２４は、ステップＳ４０３７で生成した操作画面に、ステップＳ４０３２で読み出した撮像画像を合成する（ステップＳ４０３９）。なお、操作画面に合成される撮像画像は、時系列に沿った一連の撮像画像の中から、時間軸にしたがって順次遷移する。これにより、撮像画像が操作画面の再生領域で再生される。

つぎに、制御部１２４は、ステップＳ４０３８で生成した２次元投影画像にステップＳ４０３９で撮像画像が合成された操作画面を合成する（ステップＳ４０４０）。つづいて、制御部１２４は、操作画面が合成された２次元投影画像をモニタなどの出力部１２６へ出力し（ステップＳ４０４１）、これを表示する。

つぎに、制御部１２４は、録画データの再生を終了するか否かを判定する（ステップＳ４０４２）。この判定は、たとえば操作画面より再生停止ボタンが入力されたか否かや、録画データの再生が末尾まで終了したか否かなどに基づいて判定されてよい。再生終了と判定した場合（ステップＳ４０４２肯定）、制御部１２４は、本録画再生動作を終了する。一方、再生動作を終了しないと判定した場合（ステップＳ４０４２否定）、制御部１２４は、たとえばユーザより視点位置変更の操作入力があったか否かを判定する（ステップＳ４０４３）。なお、視点位置変更の操作入力方法は、上述した実施の形態における撮像装置２０のパン方向、チルト方向およびズームレンズの焦点距離に対する操作入力方法と同様であってよい。

視点位置変更の操作入力があった場合（ステップＳ４０４３肯定）、制御部１２４は、操作部１２１に入力された操作データから、新たな視点位置を決定する（ステップＳ４０４４）。なお、ステップＳ４０４４における視点位置のユーザ操作は、上述の実施の形態における撮像装置２０に対するユーザ操作と同様であってよい。この場合、操作部１２１から入力された操作データは、制御信号として撮像装置２０へ送信されるのではなく、３次元モデルに対する視点位置の変化量の算出に用いられる。その後、制御部１２４は、ステップＳ４０３８へリターンして、以降の動作を実行する。

一方、視点位置変更の操作入力がない場合（ステップＳ４０４３否定）、制御部１２４は、ステップＳ４０３２で読み出した記録データにおいて、ステップＳ４０３３で特定した選択中の撮像装置２０のＰＴＺ情報に変更があったか否かを判定する（ステップＳ４０４５）。ＰＴＺ情報に変更があった場合（ステップＳ４０４５肯定）、制御部１２４は、ステップＳ４０３６へリターンし、変更後のＰＴＺ情報に基づいて以降の動作を実行する。

一方、ＰＴＺ情報に変更がなかった場合（ステップＳ４０４５否定）、制御部１２４は、ユーザが２次元投影画像に対してカメラアイコンの選択操作を行ったか否かを判定する（ステップＳ４０４６）。カメラアイコンの選択があった場合（ステップＳ４０４６肯定）、制御部１２４は、ステップＳ４０３６へリターンし、選択されたカメラアイコンの３次元モデル上の位置およびこれのデバイスＩＤに対応するＰＴＺ情報に基づいて、以降の動作を実行する。

一方、カメラアイコンの選択がなかった場合（ステップＳ４０４６否定）、制御部１２４は、ユーザが２次元投影画像に対してセンサアイコンの選択操作を行ったか否かを判定する（ステップＳ４０４７）。センサアイコンの選択があった場合（ステップＳ４０４７肯定）、制御部１２４は、図４４で示したセンサ管理テーブルから選択されたセンサアイコンのデバイスＩＤに対応付けられたカバーカメラＩＤ（デバイスＩＤ）を選択する（ステップＳ４０４８）。その後、制御部１２４は、ステップＳ４０３６へリターンし、新たに選択されたデバイスＩＤに対応する撮像装置２０の３次元モデル上の位置およびこのデバイスＩＤに対応するＰＴＺ情報に基づいて、以降の動作を実行する。

以上のような録画再生動作を実行することで、録画時の監視画像のライブストリーミング再生をそのまま再現することが可能になる。また、図４７に示す録画再生動作では、選択中の撮像装置２０やセンサ４０を必要に応じて切り替えたり、３次元モデルに対する視点位置を選択中のカメラアイコン位置に関係なく移動させたりなどの操作を可能としている。そのため、ユーザは、過去の監視画像の確認作業を、より容易かつ詳細に行うことが可能である。

つぎに、上記の再生動作によって画像処理装置４０１０の出力部１２６に表示される合成画像の例について、以下に図面を用いて詳細に説明する。

実施の形態１０による監視画像の録画再生は、上述した実施の形態のいずれかによる監視画像のライブストリーミング再生を再現するような形態であってもよい。図４８は、図４７のステップＳ４０４０で生成された合成画像の一例を示す図である。図４８に示すように、合成画像４０００では、上述した実施の形態におけるライブストリーミング再生時の合成画像と同様に、たとえばカメラアイコン４００１、４００２および４００３を含む２次元投影画像を背景として、操作画面４３００が合成されている。なお、操作画面４３００の配置は、２次元投影画像の右下に限らず、中央部などであってもよい。また、操作画面４３００は、上述したような表示対象の撮像画像以外に、種々の情報を表示してもよい。

ここで、図４９に、操作画面４３００の一例を示す。図４９に示すように、操作画面４３００は、撮像画像を録画再生する撮像画像再生領域４３１０と、各種イベントの情報を表示するイベント表示領域４３２０とを含む。また、操作画面４３００には、撮像画像再生領域４３１０に表示された撮像画像を取得した撮像装置２０、すなわち選択中の撮像装置２０の識別情報（カメラＩＤまたはカメラ名）４３１１と、プリセット録画により記録された録画データを再生するプリセット録画再生ボタン４３０２と、出力部１２６への表示を撮像画像（監視画像）のライブストリーミング再生に切り替えるライブボタン４３０１と、録画再生中に再生や停止やスキップや早送りなどの操作をユーザが行うための操作ボタン群４３３０と、録画の時間間隔を設定する録画間隔ボタン４３３１とが表示されてもよい。

イベント表示領域４３２０には、撮像画像再生領域４３１０に表示中の撮像画像の撮像時刻（日時であってもよい）と、イベントＩＤの時系列に沿ったリストと、各イベントＩＤが対応するイベントの発生時刻と、各イベントＩＤが対応するセンサ４０をカバーする撮像装置２０のカバーカメラＩＤ（デバイスＩＤ）と、各イベントもしくは各イベントを検出したセンサ４０に対応づけられた重要度と、各イベントをユーザが確認したか否かを示す確認フラグとが表示されてもよい。また、イベント表示領域４３２０には、現在、録画データ中のどこを再生しているかを示すタイムバーが表示されてもよい。このタイムバーには、各イベントの発生時刻を示すインデックスが付加されていてもよい。

上記のような操作画面において、ユーザがプリセット録画再生ボタン４３０２を選択すると、出力部１２６には、たとえばプリセット録画された録画データファイルのリストが表示される。ユーザがこのリストの中からいずれかのファイルを選択すると、制御部１２４は、選択されたファイルを録画再生する動作を実行する。この録画再生動作は、上述において図４７を用いて説明した動作である。一方、ユーザが操作画面のライブボタン４３０１を選択すると、出力部１２６に表示される合成画像が録画データを録画再生する合成画像４０００からライブ画像（監視画像）をライブストリーミング再生する合成画像（たとえば図９や図１２等参照）に切り替えられる。

また、操作画面において、録画間隔ボタン４３３１は、たとえばプルダウンメニューボタンである。ユーザが録画間隔ボタン４３３１を選択すると、設定可能な録画間隔のリスト（たとえばフルフレーム（３０フレーム／秒）、１５フレーム／秒、１０フレーム／秒、５フレーム／秒、１フレーム／秒…など）が表示される。ユーザがリストアップされた録画間隔のうち何れか（たとえば１０フレーム／秒）を選択すると、この選択された録画間隔（たとえば１０フレーム／秒）がたとえば制御部１２４に設定される。制御部１２４は、このように設定された録画間隔ごとに、図４５に示した録画動作および図４６に示した記録動作を繰り返し実行する。

以上のような構成および動作を備えることで、上述した各実施の形態による監視画像のライブストリーミング再生時と同様に、録画再生時においても、カメラによって撮像されていた領域をユーザに直感的に把握させることができる。なお、その他の構成、動作および効果は、上述した実施の形態のいずれかと同様であってよいため、ここでは詳細な説明を省略する。ただし、実施の形態１０では、画像処理装置４０１０が撮像装置２０およびセンサ４０からネットワーク３０を介して撮像情報およびイベント情報を取得する場合を例示したが、これに限定されるものではない。たとえば撮像装置２０およびセンサ４０それぞれが個別に記憶装置を備え、画像処理装置４０１０がこれら記憶装置に記憶された撮像情報およびイベント情報をオンラインまたはオフラインで取得するように構成されてもよい。または、撮像装置２０およびセンサ４０がネットワーク３０上の記憶装置に直接、撮像情報およびイベント情報を送信し、画像処理装置４０１０がこの記憶装置に格納されている撮像情報およびイベント情報をネットワーク３０を介して取得するように構成されてもよい。

（実施の形態１１）
また、実施の形態１０や、上述した他の実施の形態では、イベントを検出したセンサ４０や撮像装置２０のアイコンが、２次元投影画像上で強調表示されてもよい。たとえば各撮像装置２０が撮像画像に対して動き検出を行い、各撮像装置２０がセンサ４０としても機能する場合、図５０に示すように、これら撮像装置２０に対応するカメラアイコンのうち、イベントを検出した撮像装置２０に対応するカメラアイコン４００３ａおよび４００５ａが強調表示されてもよい。図５０は、実施の形態１１に係る合成画像の一例を示す図である。各種アイコンの強調表示は、たとえば点滅表示や、背景と異なる色（たとえば赤色）による表示や、拡大表示など、種々の表示方法を用いることができる。

各種アイコンの強調表示は、たとえば強調表示するデバイス（センサ４０や撮像装置２０）のデバイスＩＤに対応づけるアイコンイメージを、他の強調表示用のアイコンイメージに一時的に置き換えることで実現可能である。その場合、通常のアイコンイメージの代わりに、強調表示用のアイコンイメージが３次元モデルデータに組み込まれるため、この３次元モデルデータから生成した２次元投影画像中のアイコンイメージも、強調表示される。

なお、ここでは、上述した実施の形態と同様、３次元モデルデータから生成した２次元投影画像中のアイコンを強調表示する場合を例に挙げたが、これに限られるものではない。たとえば３次元モデルデータの代わりに、これと同様のレイアウトを地面（または床面）と平行な２次元平面にマッピングした２次元モデルが用いられてもよい。その場合、この２次元モデルそのままが撮像画像や操作画面と合成されて出力部１２６に表示されるが、その際に、２次元モデル中にマッピングする各種アイコンに強調表示用のアイコンが用いられる。これにより、上述した３次元モデルの場合と同様に、２次元モデル中にマッピングされた各種アイコンが必要に応じて強調表示される。その他の構成、動作および効果は、上述した実施の形態と同様であってよいため、ここでは詳細な説明を省略する。

[プログラム]
また、画像処理装置１０の構成は、例えば、ハードウェアとして、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩ（Large Scale Integration）で実現される。同様に、画像処理装置１０の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラム等によって実現され得る。上記実施の形態では、これらのハードウェア又はソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、又は、それらの組み合わせによって種々の形で実現できる。

図５１は、画像処理プログラムがコンピュータを用いて実現されることを示す図である。例えば、図５１に示すように、画像処理装置１０としてのコンピュータ１０００は、バス１００９で接続された、ＣＰＵ（Central Processing Unit）１００１等の制御装置と、ＲＯＭ（Read Only Memory）１００２やＲＡＭ（Random Access Memory）１００３等の記憶装置と、ＨＤＤ（Hard Disk Drive）１００４、ディスクドライブ１００５等の外部記憶装置と、ディスプレイ１００６等の表示装置と、キーボード１００７やマウス１００８等の入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。記憶装置又は外部記憶装置には、上述した３次元モデル記憶部１１１や視点情報記憶部１１２の各種情報が記憶される。

画像処理装置１０で実行される画像処理プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式ファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、画像処理装置１０で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、画像処理装置１０で実行される画像処理プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、画像処理プログラムを、ＲＯＭ等に組み込んで提供するように構成しても良い。

画像処理装置１０で実行される画像処理プログラムは、上述した各機能部（取得部１２３、合成部１２５、出力部１２６）を含むモジュール構成となっており、実際のハードウェアとしてＣＰＵ（プロセッサ）が記憶媒体から画像処理プログラムを読み出して実行することにより、上記各機能部が主記憶装置上にロードされ、取得部１２３、合成部１２５、出力部１２６が主記憶装置上に生成され、適宜、記憶装置又は外部記憶装置に記憶された各種情報を利用して処理が行なわれる。

また、上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメタ等を含む情報は、特記する場合を除いて任意に変更することができる。例えば、３次元モデル記憶部１１１に記憶される各種情報は、撮像対象となるエリア５０がかわれば、それに応じて適宜変更される。

[構成]
また、図示した画像処理装置１０の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合することができる。例えば、合成部１２５は、カメラ位置に基づいて３次元モデルの視点を決定し、決定した視点及び撮像方向に基づいて、３次元モデルを２次元面に投影した２次元画像である２次元投影画像を生成する「生成部」と、生成された２次元投影画像の所定領域に撮像画像を合成することにより合成画像を生成する「合成部」とに分散しても良い。

なお、上述してきた実施の形態では、画像処理装置１０を監視システム１に適用した例を挙げて説明したが、監視システム１だけでなく、リアルタイムにライブ映像を配信する配信システム等の他の様々な用途に適用することができる。

１０ 画像処理装置
１１１ ３次元モデル記憶部
１１２ 視点情報記憶部
１２１ 操作部
１２２ 通信処理部
１２３ 取得部
１２４ 制御部
１２５ 合成部
１２６ 出力部

Claims (10)

1. ３次元領域の３次元モデルを示す３次元モデルデータと、前記３次元領域に配置されるカメラの位置を前記３次元モデルにおけるカメラ位置として記憶する３次元モデル記憶部と、
   前記カメラによって撮像された撮像画像及び撮像時の撮像方向を取得する取得部と、
   前記カメラ位置に応じて前記３次元モデルに対する視点を決定し、決定した前記視点及び前記撮像方向に応じて、前記３次元モデルを２次元面に投影した２次元投影画像を生成して、生成した前記２次元投影画像上の所定領域に、前記撮像画像を合成することにより合成画像を生成する合成部と、
   前記合成画像を出力する出力部と
   を有することを特徴とする画像処理装置。
2. 前記取得部は、前記カメラの撮像時のズーム情報をさらに取得し、
   前記合成部は、前記ズーム情報に基づいて前記３次元モデルに対する画角を決定し、前記視点と前記撮像方向と前記画角とに応じて前記３次元モデルを２次元面に投影した２次元投影画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記３次元モデル記憶部は、前記所定３次元領域に配置された、前記カメラを含む複数のデバイスの前記３次元モデル内の位置と、前記３次元モデル内で前記デバイスの種類を示す複数のデバイスアイコンとをさらに記憶し、
   前記合成部は、前記３次元モデル記憶部に記憶されているデバイスの位置に、前記デバイスの種類に対応するデバイスアイコンを配置し、前記デバイスアイコンを配置した３次元モデルから前記２次元投影画像を生成することを特徴とする請求項１又は２に記載の画
   像処理装置。
4. 前記複数のデバイスアイコンのうちカメラに対応するカメラアイコンは、撮像方向を表現可能なアイコンであって、
   前記合成部は、前記３次元モデル記憶部に記憶されている前記カメラアイコンの表現する撮像方向を、前記取得部が取得した前記カメラの撮像方向と一致させて、前記３次元モデル内の前記配置位置に配置することを特徴とする請求項３に記載の画像処理装置。
5. 前記合成部は、前記２次元投影画像における、前記所定領域よりも小さい領域であって前記所定領域に撮像画像を合成されるカメラとは異なる他のカメラに対応する他のカメラアイコンに関連付けられた位置に前記他のカメラアイコンに対応する前記他のカメラによって撮像された撮像画像をさらに合成することにより前記合成画像を生成することを特徴とする請求項３に記載の画像処理装置。
6. 前記取得部は、ユーザ操作によって前記複数のデバイスアイコンのうちカメラに対応するカメラアイコンが選択されたときは、前記カメラアイコンに対応するカメラにおける前記撮像画像及び前記撮像方向を取得することを特徴とする請求項３に記載の画像処理装置。
7. 前記合成部は、前記デバイス アイコンが前記合成画像中に表示されるように、前記合成画像に含まれた所定物を透過させることを特徴とする請求項３に記載の画像処理装置。
8. 前記合成部は、前記カメラアイコンの位置に応じて、前記所定領域よりも小さい領域の大きさを調整することを特徴とする請求項５に記載の画像処理装置。
9. ３次元領域のモデルを示す３次元モデルデータと、前記３次元領域に配置されるカメラの位置を前記３次元モデルにおけるカメラ位置として記憶する３次元モデル記憶ステップと、
   前記カメラによって撮像された撮像画像及び撮像時の撮像方向を取得する取得ステップと、
   前記カメラ位置に応じて前記３次元モデルに対する視点を決定し、決定した視点及び前記撮像方向に応じて、前記３次元モデルを２次元面に投影した２次元投影画像を生成して、生成した前記２次元投影画像上の所定領域に、前記撮像画像を合成することにより合成画像を生成する合成ステップと、
   前記合成画像を出力する出力ステップと
   を含むことを特徴とする画像処理方法。
10. ３次元領域のモデルを示す３次元モデルデータと、前記３次元モデル領域に配置されるカメラの位置を前記３次元モデルにおけるカメラ位置として記憶部に記憶させる３次元モデル記憶機能と、
    前記カメラによって撮像された撮像画像及び撮像時の撮像方向を取得する取得機能と、
    前記カメラ位置に応じて前記３次元モデルに対する視点を決定し、決定した視点及び前記撮像方向に応じて、前記３次元モデルを２次元面に投影した２次元投影画像を生成して、生成した前記２次元投影画像上の所定領域に、前記撮像画像を合成することにより合成画像を生成する合成機能と、
    前記合成画像を出力する出力機能と
    をコンピュータに実現させることを特徴とする画像処理プログラム。

Images