JP2017028688A - 画像管理装置、画像管理方法及びプログラム - Google Patents

Abstract

【課題】複数の撮影画像のうち撮影画像の監視者等の観察者にとって適切な撮影画像を選択的に表示することを目的とする。【解決手段】複数の撮影手段それぞれにより撮影された複数の撮影画像の中から、注目物体を示す注目画像を含む撮影画像を撮影した撮影手段を選択する第１の選択手段と、前記注目物体の特定の属性についての確認に用いる表示画像を決定する決定条件に基づいて、前記第１の選択手段により選択された撮影手段の中から、前記表示画像に対応する撮影手段を決定する決定手段と、前記決定手段により決定された撮影手段により撮影された撮影画像又は撮影画像に基づいて生成された画像を、前記表示画像として表示する表示処理手段とを有する。【選択図】図３

Description

本発明は、画像管理装置、画像管理方法及びプログラムに関する。

従来、複数台のカメラを用いて特定の領域を監視する監視システムでは、各カメラの映像をディスプレイに表示し、監視員がそれらの映像を目視で確認するのが一般的である。映像の表示方法としては、１台のディスプレイを多分割して映像を表示する方法や、複数台のディスプレイに各カメラの映像を表示する方法等がある。しかし何れの方法も、監視員は各映像を同時に閲覧しなければならないため、カメラ台数が多くなると各映像を漏れなく確認することは困難となる。

一方でこのような監視システムにおいて、監視対象が特定された場合に、該対象を効率よく閲覧する方法が提案されている。特許文献１には、複数台のカメラで撮影された映像から、事前に設定した特徴に合致する人物が映っている映像を選択し、表示する技術が開示されている。特許文献２には、一つの移動物体を監視対象として選択し、該対象が映っている映像を該対象の移動軌跡と共に表示する技術が開示されている。

特開２００７−２４３２７０号公報 特開２００７−２６７２９４号公報

しかしながら、特許文献１の技術では、設定した特徴に合致する人物が映る全ての映像を表示するため、この人物が多数の映像に映っている場合は多数の映像が表示されることとなり、監視員による目視確認が困難と言う課題が残る。

本発明はこのような問題点に鑑みなされたもので、複数の撮影画像のうち撮影画像の監視者等の観察者にとって適切な撮影画像を選択的に表示することを目的とする。

そこで、本発明は、画像管理装置であって、複数の撮影手段それぞれにより撮影された複数の撮影画像の中から、注目物体を示す注目画像を含む撮影画像を撮影した撮影手段を選択する第１の選択手段と、前記注目物体の特定の属性についての確認に用いる表示画像を決定する決定条件に基づいて、前記第１の選択手段により選択された撮影手段の中から、前記表示画像に対応する撮影手段を決定する決定手段と、前記決定手段により決定された撮影手段により撮影された撮影画像又は撮影画像に基づいて生成された画像を、前記表示画像として表示する表示処理手段とを有することを特徴とする。

本発明によれば、複数の撮影画像のうち撮影画像の監視者等の観察者にとって適切な撮影画像を選択的に表示することができる。

監視システム全体を示す図である。 画像管理装置のハードウェア構成を示す図である。 画像管理装置のソフトウェア構成を示す図である。 表示画像テーブルの一例を示す図である。 画像管理処理を示すフローチャートである。 表示画像画面の一例を示す図である。 表示画像とカメラの対応関係を更新する処理の説明図である。 変更例の説明図である。 第２の実施形態に係る画像管理装置のソフトウェア構成を示す図である。 第２の実施形態に係る画像管理装置による画像管理処理を示すフローチャートである。 Ｓ１００３の処理の説明図である。 第３の実施形態に係る画像管理装置のソフトウェア構成を示す図である。 第３の実施形態に係る画像管理装置による画像管理処理を示すフローチャートである。 Ｓ１３０１の処理の説明図である。 Ｓ５０９で表示される表示画面の説明図である。

以下、本発明の実施形態について図面に基づいて説明する。
＜第１の実施形態＞
図１は、監視システム全体を示す図である。監視領域１３０には、３つの監視用のカメラ１１０ａ，１１０ｂ，１１０ｃが異なる位置に設置されている。カメラ１１０ａ〜１１０ｃは、監視領域１３０を多視点から撮影した２次元の撮影画像１１１ａ，１１１ｂ，１１１ｃを得る。本実施形態においては、撮影画像１１１ａ〜１１１ｃは、動画（映像）とする。但し、撮影画像１１１ａ〜１１１ｃは、動画に限定されるものではなく、静止画であってもよい。また、カメラ１１０ａ〜１１０ｃは、静止画及び動画のうち少なくとも一方を撮影可能な装置であればよく、例えばデジタルカメラ又はビデオカメラ等が挙げられる。

画像管理装置１００は、各カメラ１１０ａ〜１１０ｃとネットワークを介して接続しており、各カメラ１１０ａ〜１１０ｃから受信した撮影画像を表示する。そして、監視者等のユーザが、撮影画像を見て、監視領域１３０の監視を行う。なお本実施形態においては、監視領域１３０にＡ〜Ｃの３の人物が存在し、監視者がその中の１人の人物Ａの監視を行う場合を例に説明する。この場合、画像管理装置１００は、監視者からの指示に従い、各撮影画像１１１ａ〜１１１ｃから人物Ａの画像１１２ａ，１１２ｂ，１１２ｃを特定する。そして、画像管理装置１００は、複数のカメラ１１０ａ〜１１０ｃそれぞれにより得られた複数の撮影画像の中から、人物Ａの監視に適した撮影画像を選択し、これを表示する。なお、上述の通り、本実施形態においては、監視対象の人物が注目物体となるが、注目物体は移動や姿勢変化を伴う物体であればよく、人物に限定されるものではない。また、注目物体の注目の目的は監視に限定されるものではなく、単なる観察等でもよい。

図２は、画像管理装置１００のハードウェア構成を示す図である。画像管理装置１００は、演算部２０１と、記憶部２０２と、表示部２０３と、入力部２０４と、通信部２０５を有している。演算部２０１は、例えば、ＣＰＵ、ＭＰＵ又はＧＰＵ等であり、画像管理装置１００の各構成要素を制御する。記憶部２０２は、メモリやハードディスク等であり、画像管理のためのプログラムや、撮影画像、演算部２０１の処理結果等の各種データを記憶する。なお、後述する画像管理装置１００の機能や処理は、演算部２０１が記憶部２０２に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。表示部２０３は、ディスプレイ等であり、各種情報を表示する。入力部２０４は、マウスやキーボード、タッチパネル等であり、ユーザによる各種操作を受け付けてもよい。通信部２０５は、ネットワークを介してカメラ１１０と通信を行う。

図３は、画像管理装置１００のソフトウェア構成を示す図である。画像管理装置１００は、通信処理部３０１と、表示処理部３０２と、受付部３０３と、特徴量算出部３０４と、注目画像検出部３０５と、候補カメラ選択部３０６と、属性カメラ決定部３０７と、表示画像生成部３０８と、を有している。通信処理部３０１は、カメラ１１０等の外部機器
と通信を行う。通信処理部３０１は、例えば、各カメラ１１０ａ，１１０ｂ，１１０ｃから撮影画像を受信する。表示処理部３０２は、各種情報を表示する。表示処理部３０２は、例えば、撮影画像を表示する。受付部３０３は、入力部２０４の操作に従い、ユーザからの指示入力を受け付ける。受付部３０３は、例えば、表示部２０３に表示された一の撮影画像における、注目物体の画像の領域を指定する指定情報を受け付ける。以下、注目物体の画像を注目画像と称することとする。また、注目画像の指定に利用された撮影画像を指定対象の撮影画像と称する。また、指定対象の撮影画像以外の撮影画像を他の撮影画像と称する。

特徴量算出部３０４は、指定情報に基づいて、指定対象の撮影画像から注目画像を特定し、注目画像の画像特徴量を算出する。注目画像検出部３０５は、画像特徴量に基づいて、他の撮影画像それぞれから注目画像を検出する。候補カメラ選択部３０６は、注目画像が検出された撮影画像を撮影したカメラを候補カメラとして選択する。属性カメラ決定部３０７は、候補カメラの中から、各表示画像に適したカメラを属性カメラとして決定する。ここで、表示画像とは、観察者が注目物体としての人物の属性を確認するのに適した画像である。本実施形態においては、監視対象の人物に対し、顔属性、身長属性、位置関係属性及び動作属性が予め設定されているものとする。属性カメラ決定部３０７は、候補カメラの中から、各属性の表示画像に適した画像を撮影するカメラを属性カメラとして決定する。表示画像生成部３０８は、属性カメラ決定部３０７により決定された各属性カメラにより撮影された撮影画像を基に、表示画像として表示するための新たな画像を生成する。

図４は、表示画像テーブル４００の一例を示す図である。表示画像テーブル４００は、予め記憶部２０２に記録されているものとする。表示画像テーブル４００には、表示画像の属性の種類毎に、属性カメラの決定条件と、表示画像の生成方法とが記録されている。本実施形態においては、表示画像の属性の種類として、顔、身長、位置関係及び動作が記録され、それぞれに対応するレコードが記録されている。なお、表示画像の属性の種類は、実施形態に限定されるものではなく、注目物体の種類や、観察、監視等の目的に応じて、ユーザや管理者等が自由に設定することができる。

以下、各表示画像について説明する。「顔」の表示画像は、注目物体としての監視対象の人物の顔を表示する画像であり、個人を識別するために最も重要な画像である。監視目的の場合、人物の正面の顔画像を確認することが重要となる。そこで、監視者が顔画像を目視で判別することができるように、正面の顔としての確からしさが最も高い撮影画像を撮影可能であることが属性カメラの決定条件として定められている。さらに、表示画像の生成方法としては、顔領域の強調、顔領域の切り出しが定められている。なお、正面の顔としての確からしさは、例えば多数の人物から正面顔のみを学習した辞書と対象人物の顔画像を比較し、類似度として得ることができる。また、他の例としては、正面の顔としての確からしさは、特許第４９９７３０６号公報に開示される技術を用いても得てもよい。

次に、「身長」の表示画像について説明する。「身長」の表示画像は、監視対象の人物の身長を、ユーザが容易に把握できるような画像である。例えばコンビニエンスストアや銀行では、入り口に身長計や高さが既知の観葉植物等が置かれ、不審人物や強盗犯等の身長が目視で判別できる工夫がされている。監視カメラにおいては、測距センサを用いて距離情報を取得し床面から人物頭頂部までの距離を測る方法や、特開２００９−８８７０９号公報に開示の方法等が知られている。一方でこれらの測定値には誤差があり、また数値から実際の高さが直観的に理解しにくい場合がある。このため、撮影画像において処理対象の人物の、他の物体との相対的な高さ（身長）を目視比較することは監視において効果がある。また、「身長」の表示画像に対する属性カメラの決定条件としては、監視対象の人物の３次元座標が得られている場合には、カメラ位置と人物中心の３次元座標を結ぶ直
線が水平に近いカメラを選択することが定められている。また、表示画像の生成方法として、身長値、測定領域を示す矢印記号等を重畳することが定められている。

なお、監視対象の人物の３次元座標が得られない場合には、設置したカメラの傾き又は光軸の床に対する角度を既知としてカメラ光軸が水平に近いカメラを選択することが決定条件として定められていてもよい。

次に、「位置関係」の表示画像について説明する。「位置関係」の表示画像は、監視対象の人物が監視領域のどこに位置しているかをユーザが容易に把握できるような画像である。監視目的の場合、人物がどこに位置しているかを確認することが重要となる。監視対象の人物の相対位置を目視で判別するためには、画角が広く、かつ対象人物を上部から撮影するカメラを選択することが有効である。そこで、決定条件には、対象人物を撮影可能なカメラのうち、画角が所定値（例えば６０度）以上で、カメラの光軸と床面が成す角度が最大のカメラを選択することが定められている。また、表示画像の生成方法としては、監視対象の人物の領域を強調表示することが定められている。なお画角とカメラ光軸の角度の関係は一例であり、カメラの傾きが未知であれば画角のみで、あるいはカメラ光軸と床面の角度のみで選択しても良いし、それぞれの角度に重みを付けて評価値を算出し選択しても良い。

最後に「動作」の表示画像について説明する。「動作」の表示画像は、監視対象の人物の異常動作をユーザが容易に把握できるような画像である。決定条件には、正常動作の特徴を学習し、正常動作の学習済みの特徴と入力動作の特徴の差異量が閾値以上の場合に、該人物の動作は異常動作と判定し、異常動作が検出されたカメラを選択することが定められている。なお、異常動作を検出する処理については、以下の文献を参照することができる。

「複数人動画像からの異常動作検出，南里ら，情報処理学会論文誌：コンピュータビジョンとイメージメディア（ＣＶＩＭ），Ｖｏｌ．４６，Ｎｏ．ＳＩＧ１５，ｐｐ．４３−５０，２００５」

また、表示画像の生成方法としては、人物領域の強調、人物領域の切り出し、異常動作が検出されたフレームを含む前後期間の映像の繰り返し再生が定められている。また、多数の撮影画像から異常動作が検出された場合には、学習済みの特徴との差異量が最も大きいカメラを選択するよう定められていてもよい。

なお、他の例としては、異常動作の特徴を学習し、異常動作の学習済みの特徴と入力動作の特徴の差異量が閾値未満の場合に、異常行動と判定し、異常行動が検出されたカメラを選択することが定められていてもよい。さらに、この場合、多数の撮影画像から異常動作が検出された場合には、学習済みの特徴との差異量が最も小さいカメラを選択するよう定められていてもよい。また、属性カメラの決定条件は、図４に示す例に限定されるものではなく、例えば、カメラの位置、画角及び撮影方向の１つと、注目物体の実空間における位置とに関する条件であればよい。また、他の例としては、属性カメラの決定条件は、注目画像に関する条件であればよい。

図５は、画像管理装置１００による画像管理処理を示すフローチャートである。Ｓ５００において、通信処理部３０１は、すべてのカメラ１１０ａ〜１１０ｃから、撮影画像１１１ａ〜１１１ｃを取得する。次に、Ｓ５０１において、受付部３０３は、指定情報を受け付ける。具体的には、ユーザが表示部２０３に表示された一の撮影画像を見て、入力部２０４を操作することにより、監視対象としたい人物を囲う矩形領域、即ち注目画像の領
域を指定すると、受付部３０３は、矩形領域の位置を示す指定情報を受け付ける。

次に、Ｓ５０２において、特徴量算出部３０４は、指定情報に基づいて、指定対象の撮影画像から注目画像を特定し、注目画像の画像特徴量を算出する。なお、他の例としては、記憶部２０２に予め記録された監視対象の人物の特徴情報が予め定められていてもよい。この場合、Ｓ５０１の処理は不要であり、Ｓ５０２において、特徴量算出部３０４は、記憶部２０２に記録されている特徴情報と、複数の撮影画像それぞれを細分化して得られる部分画像の特徴情報とを比較する。そして、特徴量算出部３０４は、パターンマッチングにより、類似した特徴情報を示す部分画像の領域を注目画像として検出する。

次に、Ｓ５０３において、注目画像検出部３０５は、画像特徴量に基づいて、他の撮影画像それぞれにおいて、注目画像を検出する。なお、複数の撮影画像それぞれから同一物体の注目画像を検出する処理については、下記の文献を参照することができる。

「視野を共有しない複数カメラ間での人物照合，井尻ら，電子情報通信学会技術報告：パターン認識・メディア理解（ＰＲＭＵ），Ｖｏｌ．１１１，Ｎｏ．３１７，ｐｐ．１１７−１２４，２０１１」

次に、Ｓ５０４において、候補カメラ選択部３０６は、Ｓ５０３において注目画像が検出された撮影画像を撮影したカメラ１１０を、属性毎の画像表示に使用されるカメラ１１０の候補、すなわち候補カメラとして選択する。なお、Ｓ５０４の処理は、撮影部としてのカメラ１１０を選択する選択処理の一例である。例えば、ユーザが、表示部２０３に表示された撮影画像１１１ａにおいて、人物Ａの画像、すなわち注目画像１１２ａの領域を指定したとする。この場合、Ｓ５０１において、受付部３０３は、注目画像１１２ａの位置を示す指定情報を受け付ける。そして、Ｓ５０３において、注目画像検出部３０５は、撮影画像１１１ｂ，１１１ｃそれぞれから注目画像１１２ｂ，１１２ｃを検出する。そして、Ｓ５０４において、候補カメラ選択部３０６は、注目画像１１２ｂを含む撮影画像１１１ｂを撮影したカメラ１１０ｂ及び注目画像１１２ｃを含む撮影画像１１１ｃを撮影したカメラ１１０ｃと、指定対象のカメラ１１０ａを候補カメラとして選択する。なお、この例では、監視システムが備えるすべてのカメラが候補カメラとして選択されるが、注目画像を含まない撮影画像が存在した場合には、この撮影画像を撮影したカメラは、候補カメラから除外される。

なお、特徴量算出部３０４は、撮影画像が動画像の場合、一のフレームに対する指定情報を受け付けた場合、指定情報により特定される注目画像の領域を追跡処理により全フレームにおいて特定することができる。また、注目画像検出部３０５は、同様に追跡処理により、他の撮影画像中の全フレームにおいて、注目画像の領域を特定すればよく、各フレームから画像特徴量に基づく注目画像の検出を行う必要はない。

次に、Ｓ５０５において、属性カメラ決定部３０７は、予め定められた複数の表示画像の属性の中から任意の１つの表示画像の属性を処理対象として選択する。次に、Ｓ５０６において、属性カメラ決定部３０７は、表示画像テーブル４００において、処理対象の表示画像の属性の種類に対応付けられている決定条件を特定する。そして、属性カメラ決定部３０７は、決定条件に従い、属性カメラを決定する（決定処理）。次に、Ｓ５０７において、表示画像生成部３０８は、表示画像テーブル４００において、処理対象の表示画像の属性の種類に対応付けられている表示画像の生成方法を特定する。そして、表示画像生成部３０８は、表示画像の生成方法に従い、属性カメラの撮影画像に基づいて、表示画像を生成する（生成処理）。具体的には、表示画像生成部３０８は、撮影画像に対し、強調、重畳、拡大及び切り出しの少なくとも１つの編集を行うことにより表示画像を生成する。

次に、Ｓ５０８において、演算部２０１は、表示対象として表示画像テーブル４００に定められているすべての属性の種類の表示画像が生成されたか否かを確認する。演算部２０１は、すべての属性の種類の表示画像が生成済みの場合には（Ｓ５０８でＹｅｓ）、処理をＳ５０９へ進める。演算部２０１は、生成されていない属性の種類の表示画像が存在する場合には（Ｓ５０８でＮｏ）、処理をＳ５０５へ進める。この場合、Ｓ５０５において、属性カメラ決定部３０７は、未選択の表示画像を処理対象として新たに選択し、Ｓ５０６以降の処理を実行する。Ｓ５０９において、表示処理部３０２は、複数の表示画像を含む表示画像画面を表示する（表示処理）。以上で、画像管理処理が終了する。

図６は、表示画像画面６００の一例を示す図である。表示画像画面６００には、Ｓ５０７において生成された各表示画像が再生表示される。図６の例では、「顔」の表示画像６０１ａと、「身長」の表示画像６０１ｂと、「位置関係」の表示画像６０１ｃと、「動作」の表示画像６０１ｄとが表示されている。また、「顔」の表示画像６０１ａは、正面の顔が最も判別し易い映像として、監視対象の人物Ａを向いた撮影画像１１１ｂに基づいて生成された画像である。「身長」の表示画像６０１ｂは、身長が判別し易い映像として、監視対象の人物Ａを横方向から撮影した撮影画像１１１ｃに基づいて生成された画像である。「身長」の表示画像６０１ｂには、さらに身長属性に関する属性値として、床面と監視対象の頭頂部と結ぶ矢印と監視対象の人物Ａの身長の値が重畳表示されている。

「位置関係」の表示画像６０１ｃは、位置関係属性を最も判別しやすい映像として、監視対象の人物Ａを含み画角が最も広い撮影画像１１１ａに基づいて生成された画像である。「動作」の表示画像６０１ｄは、動作属性を最も判別しやすい映像として、撮影画像１１１ｃに基づいて生成された画像である。なお、他の例としては、表示処理部３０２は、表示画像画面に各表示画像を表示するのに替えて、表示画像のサムネイルを表示してもよい。表示処理部３０２は、ユーザによりサムネイルが選択された場合に、選択されたサムネイルに対応する表示画像をメイン領域に再生表示する。

さらに、表示画像として映像を使用する場合、フレーム単位で画像管理処理（図５）を実行することとすると、フレーム毎に表示画像とカメラの対応関係が更新される。この場合、例えば監視対象の人物が周囲を確かめるように、顔の向きを細かく変化された場合には、顔の表示画像に対応するカメラが数フレーム毎に変化することとなり、可視性が低下してしまう。そこで、画像管理装置１００は、所定時間が経過する度に、または所定フレームおきに、画像管理処理を実行することにより、表示画像とカメラの対応関係を更新するタイミングを制御する。なお、撮影画像が静止画の場合には、画像管理装置は、所定撮影画像枚数おきに画像管理処理を実行する。

図７は、「顔」の表示画像とカメラの対応関係を更新する処理の説明図である。上段には、カメラ１１０ｂの撮影画像７００，７０１，７０２を時系列順に並べて示している。下段には、カメラ１１０ｃの撮影画像７１０，７１１，７１２を時系列順に並べて示している。撮影画像７００，７１０は、時刻ｔ＝０における映像、撮影画像７０１，７１１は、時刻ｔ＝ｎ−１における映像、７０２，７１２は、時刻ｔ＝ｎにおける映像である。

画像管理装置１００は、時間ｎが経過する度に、画像管理処理を実行し、表示画像とカメラの対応関係を更新するものとする。時刻ｔ＝０の時点では、撮影画像７００と撮影画像７１０を比較すると、撮影画像７００では監視対象が正面を向いているが、撮影画像７１０では横向きである。したがって、カメラ１１０ｂが属性カメラとして決定される。時刻ｔ＝ｎ−１の時点では、撮影画像７０１は横向きで撮影画像７１１が正面向きであるが、更新間隔ｎ未満である。したがって、継続してカメラ１１０ｂが属性カメラとして決定される。そして、時刻ｔ＝ｎになると、撮影画像７１２を撮影したカメラ１１０ｃが属性
カメラとして決定される。このように、画像管理装置１００は、表示に使用するカメラを所定時間毎に更新することで、表示画像の頻繁な切り替わりを防ぐことができ、一定の可視性を保つことができる。

以上のように、第１の実施形態に係る画像管理装置１００は、監視対象の人物の撮影画像の中から、予め定められた表示画像として適した画像を選択し、選択した画像に基づいて生成された合成画像を表示画像として表示する。これにより、多数のカメラが存在する場合であっても、表示する撮影画像数を表示画像数に制限することができる。したがって、ユーザは、表示された各画像を容易に確認することができる。さらに、属性毎に適切な画像が選択されているため、監視精度を向上させることができる。このように、画像管理装置１００は、複数の撮影画像のうち撮影画像の監視者等の観察者にとって適切な撮影画像を選択的に表示することができる。

なお、第１の実施形態の第１の変更例としては、画像管理装置１００は、属性カメラの撮影画像に基づいて生成した表示画像に替えて、加工等を施していない撮影画像を表示画像として表示してもよい。

また、第２の変更例としては、画像管理装置１００は、Ｓ５０２，Ｓ５０３において、複数の撮影画像それぞれから注目画像を検出すればよく、そのための具体的な処理は、実施形態に限定されるものではない。画像管理装置１００は、Ｓ５０２，Ｓ５０３の処理に替えて、以下の処理を行ってもよい。すなわち、画像管理装置１００はまず、すべての撮影画像１１１ａ〜１１１ｃそれぞれに写るすべての人物の領域を検出する。なお、人物の領域を検出する処理については、下記の文献を参照することができる。

「［サーベイ論文］統計的学習手法による人検出，山内ら，電子情報通信学会技術報告：パターン認識・メディア理解（ＰＲＭＵ），Ｖｏｌ．１１２，Ｎｏ．１９７，ｐｐ．１１３−１２６，２０１２」

そして、画像管理装置１００は、ユーザ操作に従い、一の撮影画像から検出された人物領域の中から監視対象の人物の人物領域の選択指示を受け付け、選択指示に係る人物領域の画像特徴量を算出する。そして、画像管理装置１００は、画像特徴量に基づいて、他の撮影画像から、選択指示に係る人物領域に対応する人物領域の画像を注目画像として検出する。

画像管理装置１００はまた、Ｓ５０２，Ｓ５０３の処理に替えて、以下の処理を行ってもよい。前提として、カメラ１１０ａ〜１１０ｃの設置位置が既知であるものとし、監視システムは、光や超音波の反射を利用して物体までの距離を計測する距離センサを備えているものとする。そして、画像管理装置１００は、距離センサから、各カメラ１１０ａ〜１１０ｃから監視対象の人物までの距離を示す距離情報を取得する（取得処理）。次に、画像管理装置１００は、監視対象の人物の３次元座標を該距離情報と入力部２０４を用いて指定し、該距離情報から床面を推定し、３次元座標を床面に投影した２次元座標を取得する。続いて、画像管理装置１００は、床面を底面とする規定サイズの直方体（例えば人物であれば、縦横３０ｃｍ、高さ１８０ｃｍの領域）を各カメラの撮影画像平面に投影して特定される領域を特定する。そして、画像管理装置１００は、特定した各領域を注目画像１１２ａ〜１１２ｃとして検出する。

第３の変更例としては、画像管理装置１００は、属性カメラの各画素に対応する距離が距離センサ等により得られる場合には、より属性を判別しやすい視点の映像を作成して表示してもよい。図８（ａ）は、身長の表示画像の表示のために選択された撮影画像１１１ｃを示す図である。撮影画像１１１ｃは、監視対象の人物を真横からではなく斜め上方から撮影した映像であるため、人物の身長を直感的に認識できる映像ではない。これに対し、画像管理装置１００は、図８（ｂ）に示すように、図８（ａ）の映像と、距離センサから取得した距離情報とに基づいて、床面とカメラ光軸が水平となる位置姿勢にカメラを設置した映像をシミュレーションした合成画像を生成する。なお、画像管理装置１００は、一般に自由視点映像と同様に、隠れにより距離や画素値が不明な画素は黒画素とする。これにより、身長属性をより直感的に認識できる映像を表示することができる。

同様に位置関係属性については、画像管理装置１００は、監視領域を真上から撮影した鳥瞰図をシミュレーションすることで、監視対象の人物の位置をより直感的に認識できる画像を表示してもよい。また顔画像の場合には、画像管理装置１００は、特許第４３１０９１６号公報に開示される顔モデルを用いた方法で正面顔画像をシミュレーションしても良い。このように、監視カメラの映像をそのまま表示するのではなく、属性毎に所定の方法で視点を変更した映像を表示することで、監視時により直感的に属性を認識することができる。

＜第２の実施形態＞
次に、第２の実施形態に係る監視システムについて第１の実施形態に係る監視システムと異なる点について説明する。図９は、画像管理装置１００のソフトウェア構成を示す図である。第２の実施形態に係る画像管理装置１００は、第１の実施形態の画像管理装置１００の各部に加えて、撮影制御部９０１をさらに有している。撮影制御部９０１は、カメラ１１０ａ〜１１０ｃの画角及びパンやチルト等の撮影方向を制御する。撮影制御部９０１はまた、カメラ１１０ａ〜１１０ｃがレールに設置される等して移動可能な状態で設置されている場合には、カメラ１１０ａ〜１１０ｃの位置も制御する。撮影制御部９０１は、画角の制御においては、カメラ１１０ａ〜１１０ｃのレンズ位置を制御することにより画角を制御する。撮影制御部９０１はまた、画像データの任意領域を拡大することにより、電子的に画角を制御してもよい。

図１０は、第２の実施形態に係る画像管理装置１００による画像管理処理を示すフローチャートである。第１の実施形態に係る画像管理処理の各処理と同一の処理には、同一番号を付している。Ｓ５０４において候補カメラが選択されると、演算部２０１は、Ｓ５０４の処理の後、処理をＳ１０００へ進める。

Ｓ１０００において、属性カメラ決定部３０７は、優先度に応じて、複数の表示画像の属性の種類の中から、１つの表示画像の属性の種類を処理対象として選択する。なお、優先度は、例えば、表示画像テーブル４００等において、表示画像の属性の種類に対応付けて記憶部２０２に予め記録されているものとする。本実施形態においては、優先度が高い順に、「顔」、「位置関係」、「身長」、「動作」となっているものとする。この場合、Ｓ１０００において、属性カメラ決定部３０７は、初めに「顔」の表示画像の属性の種類を選択し、次のＳ１０００の実行時に「位置関係」の表示画像の属性の種類を選択し、というように、優先度順に表示画像を選択する。

次に、Ｓ１００１において、属性カメラ決定部３０７は、Ｓ５０４において選択されたすべての候補カメラが、属性カメラとして決定されているか否かを確認する。なお、属性カメラ決定部３０７は、各カメラに対応付けられている決定済みフラグがＯＮの場合に属性カメラとして決定されていると判断する。なお、演算部２０１は、後述のＳ１００６の処理において、属性カメラとして決定されたカメラの決定済みフラグにＯＮを設定する。属性カメラ決定部３０７は、すべての候補カメラが属性カメラとして決定されている場合には（Ｓ１００１でＹｅｓ）、処理をＳ１００４へ進める。属性カメラ決定部３０７は、属性カメラとして決定されていない候補カメラが存在する場合には（Ｓ１００１でＮｏ）、処理をＳ１００２へ進める。なお、Ｓ１００１の処理が１回目の場合には、いずれの候
補カメラも属性カメラとして決定されていないため、処理はＳ１００２へ進むこととなる。

次に、Ｓ１００２において、属性カメラ決定部３０７は、属性カメラとして決定されていない候補カメラの中から、処理対象の表示画像に対応する属性カメラを決定する。なお、Ｓ１００２において属性カメラを決定するための処理は、Ｓ５０６の処理と同様である。次に、Ｓ１００３において、撮影制御部９０１は、Ｓ１００２において属性カメラとして決定されたカメラを、処理対象の表示画像の属性の種類に対して予め定められている制御方法で制御し、その後処理をＳ１００５へ進める。する。なお、Ｓ１００３の処理については後述する。また、Ｓ１００５の処理は、Ｓ５０７の処理と同様である。

一方、Ｓ１００４において、属性カメラ決定部３０７は、すべての候補カメラの中から、処理対象の表示画像に対応する属性カメラを決定し、その後処理をＳ１００５へ進める。なお、Ｓ１００４において属性カメラを決定するための処理は、Ｓ５０６の処理と同様である。Ｓ１００５の処理の後、演算部２０１は、処理をＳ１００６へ進める。Ｓ１００６において、演算部２０１は、Ｓ１００２又はＳ１００４において属性カメラとして決定されたカメラに対し、決定済みであることを示すフラグをＯＮにし、その後処理をＳ５０８へ進める。

このように、第２の実施形態の画像管理装置１００は、属性の数がカメラの台数よりも多い場合には、Ｓ１００４において、既に属性カメラとして決定されたカメラを表示画像に対する属性カメラとして決定する。さらに、この場合には、画像管理装置１００は、Ｓ１００３の処理のようにカメラの制御を行うことなく、処理をＳ１００５へ進める。これは、より優先度の高い表示画像に適したカメラ制御が既に実行されているためである。

図１１は、Ｓ１００３の処理の説明図である。ここでは、「顔」の表示画像に対応する属性カメラとして決定されたカメラの制御を例に説明する。「顔」の表示画像では、監視対象の人物の顔を大きく映すことで、監視時に個人を識別しやすくなる。そこで、撮影制御部９０１は、属性カメラとして決定されたカメラの画角を望遠側に制御し、監視対象の人物の顔領域を拡大表示する。また、撮影方向や位置を制御可能な場合には、撮影制御部９０１は、正面顔を撮影可能な位置姿勢にカメラを移動してもよい。これは、入力された顔画像の方向とカメラ制御方法の対応を学習しておくことで実現できる。

撮影制御部９０１は、「顔」の表示画像に限らす、すべての表示画像に対し、予め定められた制御方法での制御を行う。例えば、「身長」の表示画像では、人物画像から人物の方向を判別する辞書を学習により作成した上で、該方向に対して身長属性の選択基準をより満たすようなカメラ制御方法が予め設定されているものとする。これにより、撮影制御部９０１は、人物領域の画像からカメラを制御することができる。位置関係属性の場合も同様に、人物画像と人物の方向を学習し、さらに該方向と位置関係属性の選択基準を満たすカメラ制御方法が予め設定されているものとする。なお、第２の実施形態に係る監視システムのこれ以外の構成及び処理は、第１の実施形態に係る監視システムの構成及び処理と同様である。

以上のように、第２の実施形態においては、表示画像に対応する属性カメラの位置、画角及び撮影方向のうち少なくとも１つを制御する。これにより、監視対象に対する表示画像の可視性を向上させることができる。

＜第３の実施形態＞
次に、第３の実施形態に係る監視システムについて第１の実施形態に係る監視システムと異なる点について説明する。図１２は、画像管理装置１００のソフトウェア構成を示す図である。第３の実施形態に係る画像管理装置１００は、第１の実施形態の画像管理装置１００の各部に加えて、属性選択部１２０１をさらに有している。属性選択部１２０１は、属性カメラ決定部３０７に入力される監視対象に関する属性を決定する。

図１３は、第３の実施形態に係る画像管理装置１００による画像管理処理を示すフローチャートである。第１の実施形態に係る画像管理処理の各処理と同一の処理には、同一番号を付している。Ｓ５０４において候補カメラが選択されると、演算部２０１は、Ｓ５０４の処理の後、処理をＳ１３０１へ進める。

Ｓ１３０１において、属性選択部１２０１は、事前に定められた複数の表示画像の属性の種類から任意数の属性の種類を選択する。具体的には、表示処理部３０２が表示部２０３に属性選択画面を表示し、ユーザが入力部２０４を用いて属性の種類を選択すると、属性選択部１２０１は、ユーザ操作に応じて属性の種類を選択する。ここでは、事前に決められた「顔」、「位置関係」、「身長」、「動作」の属性の種類から、「顔」、「身長」の属性を選択する場合を例に説明する。演算部２０１は、Ｓ１３０１の処理の後、処理をＳ５０５へ進める。Ｓ５０５以降の処理においては、Ｓ１３０１において、表示画像表示対象として選択された属性の種類を処理対象として、表示画像を表示する処理を行う。このように、第３の実施形態の画像管理装置１００は、事前に定められた属性の種類の中からユーザが任意に選択した属性の種類のみについて、選択された属性の確認に適した画像を表示する処理を実行する。

図１４は、Ｓ１３０１の処理の説明図である。属性選択画面１４００は、撮影画像１１１ａ〜１１１ｃ、表示画像１４０１、属性一覧１４０２を有する画面である。ユーザは属性一覧１４０２から、任意の属性の種類を選択する。図１５は、本実施形態におけるＳ５０９で表示される表示画面の説明図である。表示画面１５００は、属性選択画面１４００と同様に、撮影画像１１１ａ〜１１１ｃ、属性一覧１４０２を有する。Ｓ１３０１で「顔」、「身長」属性が選択されると、属性一覧１４０２内の該属性に選択済みであることを表すチェックマークが表示される。さらに、「顔」の属性の確認に適した画像１５０１ａ、及び「身長」の属性の確認に適した画像１５０１ｂが表示される。

以上のように、第３の実施形態においては、属性を、ユーザが任意に選択できる。

なお第３の実施形態において、Ｓ１３０１はＳ５０５より前に処理されていれば実行するタイミングは任意に変更が可能である。

さらに属性選択部１２０１は、多数の属性から任意数の属性を選択することができれば各種変更が可能である。例えば、属性一覧１４０２に表示する属性は、テキスト、アイコン、属性を示すサムネイル、としてもよい。また、他の例としては、属性一覧１４０２に表示する属性を使用するユーザ毎に変更してもよい。また、他の例としては、表示する属性を記述した外部ファイルを読み込んでもよい。また、他の例としては、属性一覧１４０２をツリー構造（「外観」の項目を選択すると、該項目が展開されて「顔」、「身長」が表示される、など）で表示してもよい。

また、他の例としては、表示項目をグループ化（「外観」の項目を選択すると、「顔」、「身長」が一括して選択される、など）してもよい。また、他の例としては、予め属性毎に特性の操作を定めておき、該操作により属性を入力してもよい。また、他の例としては、「顔」属性は撮影画像上の顔領域を選択する、「身長」属性は撮影画像上の人物領域上を縦方向にスワイプ操作する、「位置関係」は撮影画像上を中心から外側にスワイプ操作する、などにより入力してもよい。また、他の例としては、音声、テキスト等により属性を検索して、属性を決定、あるいは表示する属性の候補を表示してもよい。

以上、上述した各実施形態によれば、複数の撮影画像のうち撮影画像の監視者等の観察者にとって適切な撮影画像を選択的に表示することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

＜その他の実施例＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像管理装置
１１０ カメラ

Claims (17)

1. 複数の撮影手段それぞれにより撮影された複数の撮影画像の中から、注目物体を示す注目画像を含む撮影画像を撮影した撮影手段を選択する第１の選択手段と、
   前記注目物体の特定の属性についての確認に用いる表示画像を決定する決定条件に基づいて、前記第１の選択手段により選択された撮影手段の中から、前記表示画像に対応する撮影手段を決定する決定手段と、
   前記決定手段により決定された撮影手段により撮影された撮影画像又は撮影画像に基づいて生成された画像を、前記表示画像として表示する表示処理手段と
   を有することを特徴とする画像管理装置。
2. 前記決定手段は、前記注目物体が人物である場合に、前記注目物体の顔属性、身長属性、他の物体との位置関係属性及び動作属性のうち少なくとも１つの属性を示す前記表示画像に対応する撮影手段を決定することを特徴とする請求項１に記載の画像管理装置。
3. 前記決定条件は、前記撮影手段の位置、画角及び撮影方向の少なくとも１つと、前記注目物体の実空間における位置とに関する条件であることを特徴とする請求項１又は２に記載の画像管理装置。
4. 前記決定条件は、前記注目画像に関する条件であることを特徴とする請求項１又は２に記載の画像管理装置。
5. 前記決定手段は、前記撮影手段と前記注目物体の位置関係を定めた前記決定条件に基づいて、前記身長属性に対応する撮影手段を決定することを特徴とする請求項２に記載の画像管理装置。
6. 前記決定手段は、前記撮影手段と前記注目物体の位置関係を定めた前記決定条件に基づいて、前記位置関係属性に対応する撮影手段を決定することを特徴とする請求項２に記載の画像管理装置。
7. 前記決定手段は、前記撮影手段による画角を定めた前記決定条件に基づいて、前記位置関係属性に対応する撮影手段を決定することを特徴とする請求項２に記載の画像管理装置。
8. 前記決定手段は、予め学習された動作の特徴と前記注目物体の特徴の差異量を定めた前記決定条件に基づいて、前記動作属性に対応する撮影手段を決定することを特徴とする請求項２に記載の画像管理装置。
9. 前記決定条件に基づいて、前記表示画像の撮影手段の位置、画角及び撮影方向のうち少なくとも１つを制御する撮影制御手段をさらに有することを特徴とする請求項１乃至８何れか１項に記載の画像管理装置。
10. 前記決定手段は、複数の表示画像の属性それぞれに対して定められた優先度順に、処理対象の表示画像を選択し、他の表示画像に対し決定された撮影手段以外の撮影手段を処理対象の表示画像に割り当てることを特徴とする請求項１乃至９何れか１項に記載の画像管理装置。
11. 前記決定手段は、所定時間が経過する度に又は所定の撮影画像枚数おきに、前記表示画像の撮影手段を決定することを特徴とする請求項１乃至１０何れか１項に記載の画像管理装置。
12. 前記表示画像の属性に対し予め定められた表示画像の生成方法に従い、前記決定手段により決定された撮影手段により撮影された撮影画像に基づいて、表示画像を生成する生成手段をさらに有し、
    前記表示処理手段は、前記生成手段により生成された前記表示画像を表示することを特徴とする請求項１乃至１１何れか１項に記載の画像管理装置。
13. 前記生成手段は、前記撮影画像に対し、強調、重畳、拡大及び切り出しの少なくとも１つの編集を行うことにより、前記表示画像を生成することを特徴とする請求項１２に記載の画像管理装置。
14. 前記生成手段は、前記決定手段により決定された前記撮影手段の実空間における位置と、前記撮影手段により撮影された撮影画像の複数の位置それぞれと、の間の距離を示す距離情報に基づいて、前記撮影画像と異なる撮影方向の合成画像を前記表示画像として生成することを特徴とする請求項１２に記載の画像管理装置。
15. 予め定められた１以上の属性から少なくとも１つの属性を処理対象として選択する第２の決定手段をさらに有し、
    前記第１の決定手段は、前記第２の決定手段が決定した属性を示す前記表示画像に対応する撮影手段を決定することを特徴とする請求項１乃至１４何れか１項に記載の画像管理装置。
16. 画像管理装置が実行する画像管理方法であって、
    複数の撮影手段それぞれにより撮影された複数の撮影画像の中から、注目物体を示す注目画像を含む撮影画像を撮影した撮影手段を選択する選択ステップと、
    前記注目物体の特定の属性についての確認に用いる表示画像を決定する決定条件に基づいて、前記選択ステップにおいて選択された撮影手段の中から、前記表示画像に対応する撮影手段を決定する決定ステップと、
    前記決定ステップにおいて決定された撮影手段により撮影された撮影画像又は撮影画像に基づいて生成された画像を、前記表示画像として表示する表示処理ステップと
    を含むことを特徴とする画像管理方法。
17. コンピュータを、
    複数の撮影手段それぞれにより撮影された複数の撮影画像の中から、注目物体を示す注目画像を含む撮影画像を撮影した撮影手段を選択する選択手段と、
    前記注目物体の特定の属性についての確認に用いる表示画像を決定する決定条件に基づいて、前記選択手段により選択された撮影手段の中から、前記表示画像に対応する撮影手段を決定する決定手段と、
    前記決定手段により決定された撮影手段により撮影された撮影画像又は撮影画像に基づいて生成された画像を、前記表示画像として表示する表示処理手段と
    として機能させるためのプログラム。

Images