JP2010093323A - 監視装置 - Google Patents

Abstract

【課題】異常状態が検出された時の画像と、異常状態と関連が高いと考えられる顔画像を視認性良くかつ容易に得ることのできる監視装置を得る。
【解決手段】検出画像／情報蓄積部１０は、監視カメラ１の映像から検出した異常状態の画像と、顔カメラ２の映像から検出した顔領域の画像とを蓄積する。検出情報処理部９は、異常状態を検出した時刻と顔領域の画像を検出した時刻のうち、少なくともいずれか一方を検索項目として検出画像／情報蓄積部１０の情報を検索する。検出情報処理部９は、検索条件に合致した時刻の異常状態の画像と顔領域の画像のうち、少なくともいずれか一方を表示部１４に対して出力する。
【選択図】図２

Description

この発明は、監視カメラから取得する映像を記録し、かつ、それら映像のうち、所定の検索条件に合致した画像を表示する監視装置に関するものである。

従来の監視装置では、監視カメラなどから受け取った画像中の移動物体を検出し、移動物体が検出された際に、予め定められた複数の枚数の顔画像を選択するようにしている（例えば、特許文献１参照）。また、できるだけ正面の顔を得るために、予め複数のカメラを用意しておき、正面に近い角度から撮影しているカメラを選択してその画像信号を出力するようにしているものがあった（例えば、特許文献２参照）。

特許第３７２７７９８号公報（第３−６頁） 特開平１１−２７５５５７号公報（第３頁）

このような映像監視装置では、できるだけ広い監視領域を１台のカメラでカバーしようとするため、監視映像中に写る顔の大きさが小さくなってしまい、監視映像から選択された、顔を含む画像から、その人物が誰であるかといった、特定の個人を判別することが難しいという問題があった。また、顔が小さく写るのを避けるために、顔が大きく写るようにカメラの画角を設定した場合、１台のカメラで撮影可能な範囲が狭くなるために、多数のカメラを設置しなければならなくなるという問題があった。更に、一つの画像中に複数の顔が存在する場合、同時に正面を向いているとは限らないため、個々の顔を見た場合に、正面向きの顔に揃っていない場合があるという問題があった。
また、広い監視エリアを有するカメラと顔用のカメラを別々に設置することも考えられるが、このような場合、長時間の記録画像の中から、両方のカメラが関連する注目すべき画像を見つけるために、膨大な量の画像を検索する必要があるという問題があった。

この発明は、上記のような問題点を解決するためになされたものであり、異常状態が検出された時の画像と、異常状態と関連が高いと考えられる顔画像を視認性良くかつ容易に得ることのできる監視装置を得ることを目的としている。

この発明に係る監視装置は、監視カメラの映像から、人物を含む異常状態の画像を検出する異常検出処理部と、監視カメラの撮影範囲よりも狭い範囲の映像を取得する顔カメラの映像から顔領域の画像を検出する顔検出処理部と、異常状態の画像とその検出した時刻を含む情報と、顔領域の画像とその検出した時刻を含む情報とを蓄積する検出画像／情報蓄積部と、異常状態を検出した時刻と顔領域の画像を検出した時刻のうち、少なくともいずれか一方を検索項目として、検出画像／情報蓄積部の情報に対して検索を行い、検索条件に合致した時刻の異常状態の画像と顔領域の画像のうち、少なくともいずれか一方を出力する検出情報処理部とを備えたものである。

この発明の監視装置は、監視カメラの映像から検出した異常状態の画像と、顔カメラの映像から検出した顔領域の画像とを蓄積し、異常状態を検出した時刻と顔領域の画像を検出した時刻のうち、少なくともいずれか一方を検索項目として検索し、検索条件に合致した時刻の異常状態の画像と顔領域の画像のうち、少なくともいずれか一方を出力するようにしたので、異常状態が検出された時の画像と、異常状態と関連が高いと考えられる顔画像を視認性良くかつ容易に得ることができる。

実施の形態１．
図１は、この発明の実施の形態１による監視装置のカメラ配置を示す説明図である。
監視カメラ１は、所定の範囲の映像を取得するカメラであり、ドア３を通って入室する人物４の動きを幅広く監視できるよう、室内の天井近くに配置されている。また、実線で示される視野１００をカバーするようにカメラの画角がセットされており、この画角内のエリア５の範囲の映像を出力する。顔検出用の監視カメラ（以下、顔カメラという）２は、ドア３から入室する際の顔がカメラ出力画像の縦方向の長さの１／４程度になるように画角を調整しており、図の点線で示される視野（画角）２００をカバーしている。

図２は、この発明の実施の形態１による監視装置の構成図である。
図示の監視装置は、監視カメラ１、顔カメラ２、画像バッファ６、異常検出処理部７、異常検出画像バッファ８、検出情報処理部９、検出画像／情報蓄積部１０、画像バッファ１１、顔検出処理部１２、検出顔画像バッファ１３、表示部１４を備えている。
画像バッファ６は、監視カメラ１の映像を蓄積するバッファである。異常検出処理部７は、画像バッファ６の映像から、所定の異常状態を検出し、その画像を異常検出画像バッファ８に書き込む処理部である。

異常検出画像バッファ８は、異常検出処理部７によって、異常状態が検出された画像を一時格納するためのバッファである。検出情報処理部９は、異常検出画像バッファ８に格納された画像（人物画像）を異常検出処理部７から受け取った情報に基づいて、検出画像／情報蓄積部１０に格納すると共に、顔検出処理部１２からの情報に基づいて、検出顔画像バッファ１３に格納された顔領域の画像（以下、顔画像という）を人物画像と紐付けて検出画像／情報蓄積部１０に格納する処理部である。また、検出情報処理部９は、異常状態を検出した時刻と顔領域の画像を検出した時刻のうち、少なくともいずれか一方を検索項目として、検出画像／情報蓄積部１０の情報に対して検索を行い、検索条件に合致した時刻の異常状態の画像と顔領域の画像のうち、少なくともいずれか一方を出力するよう構成されている。検出画像／情報蓄積部１０は、ハードディスク等の記憶部を有し、異常状態の画像とその検出した時刻を含む情報と、顔領域の画像とその検出した時刻を含む情報とを蓄積するよう構成されている。

画像バッファ１１は、顔カメラ２の映像を一時格納するバッファであり、顔検出処理部１２は、画像バッファ１１に格納された映像から顔領域の画像を検出して検出顔画像バッファ１３に書き込むための処理部である。また、検出顔画像バッファ１３は、検出された顔画像を一時格納するためのバッファである。更に、表示部１４は、検出情報処理部９によって出力された画像を表示したり、検索条件入力時における入力画面等を表示するものである。

次に、実施の形態１の監視装置の動作について説明する。
監視カメラ１の映像は画像バッファ６に蓄積され、異常検出処理部７は、画像バッファ６の画像を逐次処理して、異常（本実施の形態では、人物４がエリア５に入った状態）を検出する。本実施の形態では、異常検出処理部７における異常検出として、変化領域内の動きを、例えば、羽下他：「変化領域内部の動きの時空間特徴に着目した屋外情景における歩行者の検出」，信学論Ｄ−ＩＩ，Ｊ８７−ＤＩＩ，Ｎｏ５，ｐｐ１１０５−１１０９（文献３）に示される方法を用いて検出することで、人物４がエリア５に入ったことを検出するようにしている。また、ドア３の開閉自体は動き検出から除外するように予め設定されている。更に、異常検出処理部７は、人物４がエリア５内を移動している間、例えば、羽下他：「移動物体の軌跡情報に基づく監視映像のオンライン、オフライン同時検索」，ＩＥＥＪ Ｔｒａｎｓ．ＥＩＳ，ｖｏｌ．１２７，Ｎｏ９，ｐｐ１３６８−１３６９（文献４）に記載された追跡手法を用い、人物４の入室検出時点から、人物４がエリア５外に移動するまでの間、同一の人物として追跡処理を行う。

異常検出処理部７は、人物４がエリア５に存在する間、即ち、異常状態が検出されている間、一定間隔で監視カメラ１の画像を異常検出画像バッファ８に書き込む。ここで、画像１枚が一つのファイルとして書き込まれ、ファイルには、検出された人物毎に付与される人物検出番号や検出時刻、検出位置といった識別情報が付与される。また、異常検出処理部７は、これと同時に、検出情報処理部９に、日付毎に連続して付与する（日付単位で０に初期化される）人物検出番号、および検出開始時刻、終了時刻、検出位置、同時検出人物数などの情報を通知する。本実施の形態では、検出位置情報として、画面を縦横８ｘ８のブロックに分割し、横をＡ〜Ｈ、縦を０〜７の符号を割り振ったブロック番号で識別する構成とし、画面の左上をＡ０、右下をＨ７とした。

尚、ここでは、日付が変わる度に人物検出番号を初期化しているが、例えば、人物番号として３２ビットの整数を用い、かつ、システムが想定する、人物番号の上限が３２ビット整数値である４２９４９６７２９６を超えない場合は、人物検出番号として、日付を用いずに、単に０から始まる３２ビットの整数値を用いることも可能である。

検出情報処理部９は、異常検出画像バッファ８から異常検出処理部７によって書き込まれた異常検出時の画像を取り出し、同画像と、異常検出処理部７から通知された、人物検出番号や検出開始時刻などの情報を紐付けして検出画像／情報蓄積部１０に記録する。本実施の形態では、図３に示すように、保存する監視カメラ１の画像（以下、人物画像という）１５に対して、日付毎の連続した画像番号（人物画像番号）を与え、この人物画像番号をファイル名として検出画像／情報蓄積部１０の記憶領域１０ａに保存する。また、これと同時に、人物検出番号毎の人物検出カメラ番号、検出開始時刻、検出終了時刻、画面内の検出位置などの情報を人物画像番号と共に、人物テーブルファイル（以下、人物検出情報ファイルという）１６として検出画像／情報蓄積部１０の記憶領域１０ａに保存する。図３では、代表画像１枚を１個の人物検出番号に対応付けており、検出位置情報には、当該人物が検出された位置が複数書き込まれている。以上のような構成を用いることで、人物検出情報ファイル１６内で人物画像番号と人物検出番号の対応付けが行われる。

あるいは、ファイル名として、人物画像番号と日付＋時刻（必要であればミリ秒単位まで）を付与するようにしてもよく、このようにすれば、同日の人物画像番号のものを複数枚、上書きされることなく、保存することができる。例えば、人物画像番号が「２００８−５−１１−１０３５」即ち、２００８年５月１１日の１０３５番であれば、２００８−５−１１−１０３５−１０４８１１−５６８．ｊｐｇといった形である。これは、２００８年５月１１日１０３５番の１０時４８分１１秒５６８（ｍｓ）のＪＰＥＧ画像を示す。
但し、この方法を用いる場合は、日付の変わり目に注意する必要がある。即ち、人物は日を跨いでも同じ人物である場合が存在するためである。この場合は、日付が変更される前の人物番号を、日付変更後も使用することになる。例えば、５月１１日から１２日に跨った場合は、２００８−５−１１−６５８１−２３５８３０−１００．ｊｐｇ，２００８−５−１１−６５８１−２４０５０２−３５８．ｊｐｇといったファイルとなる。この例では、５月１１日の２３時５８分３０秒の人物が０時をはさんで続いていて、後のファイルは０時５分２秒であったことを示す。この例では、２４時という表記を用いたが、論理的には、同じ人物番号の人間が時間を遡って存在することは無いため、後のファイルを、２００８−５−１１−６５８１−２４０５０２−３５８．ｊｐｇではなく、２００８−５−１１−６５８１−０００５０２−３５８．ｊｐｇ、つまり、０時０５分２秒という命名にすることもできる。

また、ファイル名を、人物画像番号と日付＋時刻とするのではなく、単純に人物画像番号の後ろに、その人物番号毎の連番を付与することも可能である。その場合、連番を１から開始すれば、終了時の連番が、その人物画像番号が有する全画像枚数となるため、個々の人物画像が何枚あるかという管理が簡単となる。例えば、図３の人物検出情報ファイル１６には、個々の画像の時刻は記載していないが、このように人物画像番号毎の連番を付与する場合には、人物検出情報ファイル１６中に、個々の連番をつけた画像ファイルの時刻情報を、必要に応じて（ユーザが必要とするのであれば）保存する必要がある。

こうしたサブ情報の保存方法は、親となる人物番号をキーとしたデータベース構造を考えることと等価であるため、人物検出情報ファイル１６はデータベースと考えることもできる。この場合は、画像ファイル名一つに対して１：１で人物検出情報ファイル１６の１行を作成するのが最も簡単な構成となる。また、画像ファイルは、本実施の形態では独立したファイルとして保存しているが、人物検出情報ファイル１６をデータベースとする場合は、バイナリデータとして、画像情報をデータベースの１要素として保存することもできる。例えば、人物画像番号の欄に直接画像ファイル埋め込むことも可能である。

一方、顔カメラ２の映像は画像バッファ１１に蓄積され、顔検出処理部１２は、画像バッファ１１の画像を処理し、顔を検出する。顔検出の方法には、例えば、羽島他：「高速ベストショット顔画像記録システム」，電子情報通信学会総合大会講演予稿集，Ｄ１２−５６，ｐ２２２，２００４．（文献５）に記載された方法を用い、画像中の顔から正面に近い画像を予め定められた枚数（Ｍ枚）に達するまで、以下に示す手順で検出顔画像バッファ１３に蓄積する。

顔検出処理部１２は、上述した異常検出処理部７における文献４の追跡手法と同様の手法を用いて顔の追跡処理を行い、検出情報処理部９に、日付毎に連続して付与する顔検出番号、検出開始時刻、終了時刻、検出エリアなどの情報を通知する。
顔の検出・追跡は同時に複数の顔を処理できるため、顔検出処理部１２は、検出顔画像バッファ１３には、検出された顔部分のみを画像バッファ１１から切り出して検出顔画像として保存する。この際、顔検出番号毎に顔検出番号に所定のＭまでの数字を付与した顔画像ＩＤ番号が検出顔画像の識別番号（顔画像識別番号）として使用される。
検出情報処理部９は、人物画像の処理時と同様、検出顔画像バッファ１３から検出顔画像を取り出し、同画像と顔検出処理部１２から通知された、顔検出番号、顔画像識別番号や検出開始・終了時刻などの情報を紐付けして、検出画像／情報蓄積部１０に記録する。図４は、この状態を示す説明図である。本実施の形態では、検出顔画像に顔画像識別番号をファイル名として付与し、顔画像１７を検出画像／情報蓄積部１０の記憶領域１０ａに保存すると共に、顔検出番号、顔検出カメラ番号、顔画像識別番号、顔検出番号毎の検出開始時刻、検出終了時刻、検出エリア、同時検出顔数などを顔テーブルファイル（以下、顔検出情報ファイルという）１８として保存する。

以上の説明では、異常検出処理部７は、人物４がエリア５に存在する間、監視カメラ１の代表画像を検出画像／情報蓄積部１０に蓄積するように構成した。これにより、蓄積画像容量を低減し、蓄積期間を増加させることができるが、容量に余裕がある場合は、予め定められた間隔で人物検出画像を逐次保存するように構成しても良い。この場合は、顔画像同様、人物検出番号に連続した番号を付与した人物画像識別番号を使用する。また、代表画像の選択方法としては、これ以外に、特定エリア内の特定の場所に存在する場合の画像や、一定時間滞留、即ち静止した場合の画像など、使用する用途に最適な条件に合わせて変更するように構成することができる。また、これら複数条件を組み合わせ、いずれかの条件が成立した場合に必ず記録を行うようにして、検索時に、「静止」など特定の条件に合致する情報を出力するように構成することも出来る。

人物画像、検出顔画像はそれぞれ独立して、時系列的に表示することが可能であるが、本実施の形態では、図５に示すように、表示部１４で、人物検出情報ファイル１６または顔検出情報ファイル１８のいずれかを主（キー）の検索時刻として、それぞれ、予め設定された時間範囲内にある画像を同一の表示エリア内に表示するようにしている。ここでは、人物検出情報ファイル１６をキーとし、前後５秒間の関連画像を表示する場合について説明する。

時刻情報を元に、人物を検索することを考える。今、１０：５３：００に検出されていた人物を検索する場合、先ず、人物検出情報ファイル１６を参照することで、人物検出番号２００８−５−１１−１０３５の人物が、時刻１０：５２：５３から１０：５３：０２まで検出されたことがわかる。従って、この条件に合致する人物は、人物検出番号２００８−５−１１−１０３５である。次に、顔検出情報ファイル１８内の情報を参照し、この時刻に最も近い顔検出番号（２００８−５−１１−１０６２）の検出時刻が１０：５２：５３から１０：５３：０２までであった場合、この顔検出番号（２００８−５−１１−１０６２）の検出顔画像を、表示部１４の画面における顔画像表示エリア１４ｂに表示する。また、同時に、２００８−５−１１−１０３５の人物検出画像を人物画像表示エリア１４ａに表示する。ここで、顔、人物画像それぞれ保存されている枚数全てを表示するように構成することも可能であるが、操作者（ユーザ）の要求に応じて、代表画像を表示するようにすることも可能である。図５では該当する人物検出画像のうちの最初のものを代表画像とし、検出顔画像は、上記文献５記載のベストショットの指標値が最も高いものを代表画像として表示している。尚、図５中のカメラ：１は監視カメラ１であり、カメラ：２は顔カメラ２に対応している。

以上説明したように、実施の形態１の監視装置では、人物４が監視エリアに進入した場合の広範囲の画像と、その際に検出された顔画像を関連付けて表示することが可能となり、顔単独または監視エリア画像単独で映像監視を行う場合に比べて、正面顔を用いた確実な人物の特定が可能となる。また、本実施の形態では、顔カメラ２で検出された正面顔を表示する例について説明したが、検出された正面顔画像を、例えば、三輪他：「Ｒｅｃｔａｎｇｌｅ ＦｉｌｔｅｒとＡｄａＢｏｏｓｔを用いた顔認証アルゴリズム」，電子情報通信学会総合大会講演予稿集，Ｄ１２−５４，ｐ２２０，２００４（文献６）記載の顔認証技術等を用いて、予め登録された顔画像と比較・照合することにより、人物の特定を行い、特定された人物を画面に表示したり、特定の人物が発見された時に警報を発報するように装置を構成することも可能である。

上記実施の形態では、人物検出用の監視カメラが１台、顔検出用の監視カメラが１台の場合について説明したが、各々を複数台設置することも可能である。この場合、人物検出情報ファイル１６、顔検出情報ファイル１８をカメラ毎に作成して保存してもよいし、人物検出用監視カメラ、顔検出用監視カメラそれぞれを１個のファイルとして保存してもよい。人物、顔の識別情報を付与して、全体を一個のファイルで構成することも可能である。いずれの場合も、検索のキーとなる時刻を設定し、関連する人物画像情報、顔画像情報を表示することが可能である。

また、上記実施の形態では、画像ファイルを個々のファイルとして保存したが、予め定められた枚数が保存できる領域を検出画像／情報蓄積部１０の記録媒体上に確保しておき、画像データをＪＰＥＧなどの一般的な符号化手法を用いて画像圧縮して保存し、人物画像と人物検出番号が繰り返し連続して保存されるように構成してもよい。監視カメラ１の画像の場合、人物画像と人物検出番号を合わせた長さを固定長にすることにより、高速にデータにアクセスすることが可能になる。また、人物画像１５のファイルを単純に日付とミリ秒までの時刻を組み合わせたファイル名にして保存するようにした場合、人物検出情報ファイル１６内の時刻情報を元に、表示部１４が表示に必要な時間内の画像を検出画像／情報蓄積部１０から読み出して表示することができる。また、実時間表示のために高速な処理が必要な場合は、異常検出画像バッファ８から直接画像を読み出して表示するように構成してもよい。顔カメラ２の画像についても、同様である。

また、上記実施の形態の説明では、監視カメラ１の監視対象として、人物の進入を例にあげて説明したが、監視対象として、エリア５への物品の置き去りやエリア５からの物品の持ち去りを背景差分等の技術を用いて検出するように構成してもよい。この場合、置き去りや持ち去りを行った人物の顔画像が関連づけて保存されるようになる。

尚、本実施の形態で使用する監視カメラはＮＴＳＣ方式などを用いたアナログ出力カメラや、ＪＰＥＧ出力を用いたネットワークカメラやＷｅｂカメラなどを用いることが出来、カメラの方式を問わずに、システムを構成することが可能である。

以上のように、実施の形態１の監視装置によれば、監視カメラの映像から、人物を含む異常状態の画像を検出する異常検出処理部と、監視カメラの撮影範囲よりも狭い範囲の映像を取得する顔カメラの映像から顔領域の画像を検出する顔検出処理部と、異常状態の画像とその検出した時刻を含む情報と、顔領域の画像とその検出した時刻を含む情報とを蓄積する検出画像／情報蓄積部と、異常状態を検出した時刻と顔領域の画像を検出した時刻のうち、少なくともいずれか一方を検索項目として、検出画像／情報蓄積部の情報に対して検索を行い、検索条件に合致した時刻の異常状態の画像と顔領域の画像のうち、少なくともいずれか一方を出力する検出情報処理部とを備えたので、異常状態が検出された時の画像と、異常状態と関連が高いと考えられる顔画像を視認性良くかつ容易に得ることができる。

実施の形態２．
図６は、実施の形態２の監視装置の構成図である。
図示の管理装置は、監視カメラ１、顔カメラ２、画像バッファ６、異常検出処理部７、異常検出画像バッファ８、検出情報処理部９、検出画像／情報蓄積部１０、画像バッファ１１、顔検出処理部１２、検出顔画像バッファ１３、表示部１４、映像蓄積部１９、画像検索処理部２０を備えている。ここで、監視カメラ１〜表示部１４は、実施の形態１と同様であるため、対応する部分に同一符号を付してその説明を省略する。映像蓄積部１９は、例えばハードディスク等の記憶部を備え、監視カメラ１で取得される映像と顔カメラ２で取得される映像とを連続的に蓄積する。画像検索処理部２０は、異常状態が発生した時刻を検索条件として画像検索指示を受けた場合は、この検索条件を検出情報処理部９に与え、これにより検出情報処理部９から得られた情報を表示部１４に出力すると共に、更に、その中で再生指示を受けた場合は、映像蓄積部１９より該当する画像を取り出して表示部１４に出力する機能を有している。

次に、実施の形態２の動作について説明する。
本実施の形態では、監視カメラ１の出力は、画像バッファ６へ送られると同時に、映像蓄積部１９にも送られている。同様に、顔カメラ２の画像も画像バッファ１１に送付されると共に、映像蓄積部１９にも送付される。映像蓄積部１９では、監視カメラ１および顔カメラ２双方の画像を予め定められたフレームレートで内部の記憶領域に記録する。
装置の操作者（ユーザ）は、画像検索処理部２０により表示部１４で表示されるユーザインターフェースを用いて、必要な時間帯での検索指示を行う。
図７に示すように、検索入力エリア１４ｃに検索する時間帯を入力し、検索ボタン１４ｄを押下することにより、画像検索処理部２０は、検出情報処理部９に対して検索指示を行う。検出情報処理部９は実施の形態１と同様の手順で検出画像／情報蓄積部１０の人物検出情報ファイル１６や顔検出情報ファイル１８の検索を行い、検索結果を画像検索処理部２０に出力する。これにより、画像検索処理部２０は、サムネイル形式で表示部１４に表示する。これが図７における人物検出画像と検出顔画像の状態である。

図７のような検索結果が表示されている状態で、ユーザが、特定のサムネイル画像をクリックすると、図８に示す画面１４０に遷移する。尚、図８において、カメラ：１は監視カメラ１に対応し、カメラ：２は顔カメラ２に対応している。画面１４０には、全体再生ボタン１４ｅ、カメラ１再生ボタン１４ｆ、カメラ２再生ボタン１４ｇが表示されており、カメラ１再生ボタン１４ｆを押すことにより、画像検索処理部２０は、映像蓄積部１９に対し、指定時刻（ここでは、検出時刻）以降の記録・保存された画像を取得し、表示部１４に逐次表示する。カメラ１再生ボタン１４ｆまたはカメラ２再生ボタン１４ｇを押した場合は、画面１４０のそれぞれのカメラ画像表示エリアで画像再生を行う。全体再生ボタン１４ｅを押した場合には、画面１４０の代わりに図９の画面１４１を表示し、監視カメラ１または顔カメラ２のうちの検出開始時刻の早い方を再生開始時刻とし、検出時刻の遅い方を再生終了時刻として、映像蓄積部１９で同時刻に記録・保存された監視カメラ１および顔カメラ２の画像を同時に逐次再生表示する。尚、映像蓄積部１９から得られる顔カメラ２の画像は、検出顔画像ではなく、図１の画角２００でカバーされるカメラ全体の画像となるため、顔が下を向いたりして検出できなかった場合でも、人物の画像が再生できるという利点がある。また、検出開始時間より前や、検出終了時間よりも後の映像も再生できるように、再生中に、早送り・巻き戻し・再生・停止など行えるよう、操作ボタンを追加しても良い。更に、上記説明では、画面１４０や画面１４１の中で画像の連続再生を行ったが、画面１４０を表示したまま、別の表示用のウィンドウを開いて、再生画像を表示するようにしても良い。

以上の説明では、監視カメラ１および顔カメラ２の出力は、並行して画像バッファ６，１１と映像蓄積部１９に送られているが、実時間（ライブ）での監視が必要なく、予め保存・蓄積された画像を検索することが主である場合は、図１０に示すように、監視カメラ１および顔カメラ２の画像を直接映像蓄積部１９に保存し、画像検索処理部２０からの指示により映像蓄積部１９から再生画像を画像バッファ６および画像バッファ１１に送付して解析を実施するように構成することもできる。この場合の構成および動作は、監視カメラ１および顔カメラ２の画像が直接画像バッファ６，１１に送付される代わりに、映像蓄積部１９からの画像を用いて検出処理を行うこと以外、図６で示した構成及びその動作と同様である。

本実施の形態では、監視装置を以上のように構成することで、検知時間帯全体に亘って、監視エリアにいる人物の動きをより明瞭に監視することが可能となる他、その前後の映像を再生することで、人物がエリア５に入る前後のカメラ映像も参照することが可能となり、人物が監視エリアに居る前後のエリア内の物品の位置や状態の確認が可能になるという利点がある。

以上のように、実施の形態２の監視装置によれば、監視カメラおよび顔カメラの映像を連続的に蓄積する映像蓄積部と、任意の時刻を検索条件として受け付ける画像検索処理部とを備え、画像検索処理部は、受け付けた検索条件を検索項目として検出情報処理部に与え、検出情報処理部から出力された画像の時刻に対応した所定区間の映像を映像蓄積部から取り出して出力するようにしたので、異常状態の検出時刻を含むその時刻前後の人物の動きや監視エリア内の物品の変更等を確認することができ、より詳細に異常状態を監視することが可能となる。

実施の形態３．
実施の形態１，２では、検出画像／情報蓄積部１０は、人物検出画像と検出顔画像を別々の画像として保存したが、実施の形態３では、人物検出画像の中に、検出顔画像をはめ込んで保存する処理を行う。ここで、実施の形態３における図面上の構成は実施の形態１または実施の形態２と同様であるため、実施の形態１の図２を用いて説明する。

実施の形態３では、検出画像／情報蓄積部１０において、検出顔画像を人物画像にはめ込んで保存する。図１１は、その一例を示す説明図である。図示のように、１枚の画像として、人物検出画像１ａ中に検出顔画像２ａを埋め込んだ構成とする。即ち、検出情報処理部９によって、検出顔画像バッファ１３の検出顔画像が検出画像／情報蓄積部１０に与えられた場合、検出画像／情報蓄積部１０は、該当する人物画像中に埋め込んで一つの画像として記憶領域に格納する。人物検出画像１ａと、これに埋め込まれる検出顔画像２ａとの関係は、例えば、実施の形態１における任意の検索時刻の指定によって得られる人物検出画像と検出顔画像の関係と同等である。
人物検出画像１ａへの検出顔画像２ａのはめ込みとして、最も効率的な方法は、人物検出画像の代表画像１枚に、これに対応する検出顔画像の代表画像をはめ込んで保存する方法であるが、代表画像以外にも人物検出画像を保存する場合には、人物検出画像中に、同時刻、即ち前後１秒程度の時間範囲内の検出顔画像を検出顔画像バッファ１３から読み込んで埋め込むことも可能である。

検出顔画像２ａのはめ込み位置としては、図１２のＡ〜Ｅのように、予めはめ込む位置を複数用意しておき、画像中の人物４ａの検出位置と重ならない位置にはめ込む方法や、図１３に示すように、検出された人物に外接する矩形４ｂに対する位置関係、例えば「外接矩形の右上頂点と、はめ込む検出顔画像の左下角の距離が１０ピクセル」といったように、人物の外接矩形との相対位置関係を定めておき、人物検出領域の移動と共に、はめ込む検出顔画像の位置を移動してもよい。このとき、画面の右側に、顔画像を表示するのに十分なスペースが無く、矩形４ｂの左側に余裕がある場合は、はめ込み位置を矩形４ｂの左上位置とするように切り替える機能を付与することも可能である。
また、検出顔画像が、一つの人物検出画像に対して複数ある場合は、図１２のＡ〜Ｅに順次はめ込んだり、一つのはめ込み位置に複数の顔が入るように顔画像を縮小もしくは表示領域を拡大するようにしても良い。
これ以外の画像の蓄積や検索については実施の形態１または実施の形態２と同様であるため、ここでの説明は省略する。

以上のように、実施の形態３の監視装置によれば、監視カメラの映像から、映像中に人物を含む異常状態の画像を検出する異常検出処理部と、監視カメラの撮影範囲よりも狭い範囲の映像を取得する顔カメラの映像から顔領域の画像を検出する顔検出処理部と、異常状態の画像に対して、異常状態の画像を検出した時刻に対応した顔領域の画像をはめ込んだ画像を、検出した時刻と共に蓄積する検出画像／情報蓄積部と、任意の時刻を検索項目として、検出画像／情報蓄積部の情報に対して検索を行い、検索条件に合致した時刻の画像を出力する検出情報処理部とを備えたので、検出画像／情報蓄積部の記憶領域における保存画像の容量を削減することができ、検出顔画像と人物検出画像の両方を保存する場合に比べ、より長期に亘る画像の保存が可能になる。

実施の形態４．
図１４は実施の形態４の監視装置を示す構成図である。
図示の監視装置は、映像蓄積部１９ａにおいて、検出画像／情報蓄積部１０に出力される検出顔画像を監視カメラ１の画像に埋め込んで蓄積するようにしたものである。即ち、映像蓄積部１９ａは、監視カメラ１からの映像を連続的に蓄積すると共に、顔カメラ２からの画像ではなく、検出画像／情報蓄積部１０に出力される検出顔画像を、監視カメラ１の画像に対応させてはめ込むよう構成されている。その他の構成は実施の形態２と同様であるため、対応する部分に同一符号を付してその説明を省略する。

次に、実施の形態４の動作について説明する。基本的な動作は実施の形態２と同様であるため、実施の形態２とは異なる映像蓄積部１９ａにおける顔画像のはめ込みについて説明する。
映像蓄積部１９ａは、監視カメラ１からの映像に対して、検出画像／情報蓄積部１０に出力された検出顔画像をはめ込んで蓄積する。監視カメラ１の画像中に検出顔画像をはめ込む位置の選択については、実施の形態３で説明したのと同様であるため、その説明は省略する。映像蓄積部１９ａは、検出顔画像バッファ１３から検出画像／情報蓄積部１０に蓄積される検出顔画像から、逐次、対応する検出顔画像を取り出し、監視カメラ１からの画像にはめ込んで保存する。ここで、人間の目では、連続再生中、数フレーム中にわずか１フレームだけ顔画像があった場合は、一瞬の映像となって、顔として認識することができないが、顔の検出が断続的に続いた場合であっても、初回の顔検出顔画像ではめ込みを開始し、以降、その顔が顔カメラ２の視野から外れるまでの間、文献５に記載のベストショット度合いの最高値が更新されるタイミングで、はめ込み顔画像を更新し、当該検出顔の検出終了を持って、はめ込み終了となるようにすることで、視認性を向上させることができる。

これにより、映像蓄積部１９ａにおいて、保存する画像容量を半減することができ、長時間の記録保存が可能になる。

映像蓄積部１９ａにおいて、監視カメラ１の画像中には、顔検出画像における代表画像のみをはめ込むように構成することもできるが、ライブ画像の処理中では、映像蓄積部１９ａはカメラ映像を逐次保存しているため、検出顔画像の代表画像が確定した時点では人物が監視カメラ１の視野から外れて、人物のいない画像に検出顔画像がはめ込まれる可能性がある。これを防ぐために、図１５に示すように、監視カメラ１における一定期間の画像をバッファリングできる画像バッファ２１を用意する。そして、画像バッファ２１に保存された顔検出開始時刻以降の監視カメラ１の画像に、確定した検出顔画像の代表画像を埋め込んで、映像蓄積部１９ａに書き込むようにすることも可能である。これにより、人物検出画像中に、最も正面に近い検出顔画像をはめ込んで保存することが可能となる。

以上のように、実施の形態４の監視装置によれば、映像蓄積部は、監視カメラの画像に対して、画像の取得時刻に対応した検出時刻の顔領域の画像をはめ込んだ画像を蓄積するようにしたので、映像蓄積部の記憶領域における保存画像の容量を削減することができ、監視カメラの画像と人物検出画像の両方を保存する場合に比べ、より長期に亘る画像の保存が可能になる。

この発明の実施の形態１による監視装置のカメラ配置を示す説明図である。 この発明の実施の形態１による監視装置の構成図である。 この発明の実施の形態１による監視装置の人物データの保存を示す説明図である。 この発明の実施の形態１による監視装置の顔データの保存を示す説明図である。 この発明の実施の形態１による監視装置の画面表示を示す説明図である。 この発明の実施の形態２による監視装置の構成図である。 この発明の実施の形態２による監視装置の画面表示（その１）を示す説明図である。 この発明の実施の形態２による監視装置の画面表示（その２）を示す説明図である。 この発明の実施の形態２による監視装置の画面表示（その３）を示す説明図である。 この発明の実施の形態２による監視装置の他の例を示す構成図である。 この発明の実施の形態３による監視装置の画面表示（その１）を示す説明図である。 この発明の実施の形態３による監視装置の画面表示（その２）を示す説明図である。 この発明の実施の形態３による監視装置の画面表示（その３）を示す説明図である。 この発明の実施の形態４による監視装置の構成図である。 この発明の実施の形態４による監視装置の他の例の構成図である。

符号の説明

１ 監視カメラ、２ 顔カメラ、３ ドア、４ 人物、４ａ 画像中の人物、４ｂ 人物に外接する矩形、５ エリア、６，１１，２１ 画像バッファ、７ 異常検出処理部、８ 異常検出画像バッファ、９ 検出情報処理部、１０ 検出画像／情報蓄積部、１２ 顔検出処理部、１３ 検出顔画像バッファ、１４ 表示部、１４ａ 人物画像表示エリア、１４ｂ 顔画像表示エリア、１４ｃ 検索入力エリア、１４ｄ 検索ボタン、１４ｅ 全体再生ボタン、１４ｆ カメラ１再生ボタン、１４ｇ カメラ２再生ボタン、１５ 人物画像、１６ 人物検出情報ファイル、１７ 顔画像、１８ 顔検出情報ファイル、１９，１９ａ 映像蓄積部、２０ 画像検索処理部、１００ 監視カメラの撮影画角、２００ 顔カメラの撮影画角、１４０，１４１ 画面。

Claims (4)

1. 監視カメラの映像から、人物を含む異常状態の画像を検出する異常検出処理部と、
   前記監視カメラの撮影範囲よりも狭い範囲の映像を取得する顔カメラの映像から顔領域の画像を検出する顔検出処理部と、
   前記異常状態の画像とその検出した時刻を含む情報と、前記顔領域の画像とその検出した時刻を含む情報とを蓄積する検出画像／情報蓄積部と、
   前記異常状態を検出した時刻と前記顔領域の画像を検出した時刻のうち、少なくともいずれか一方を検索項目として、前記検出画像／情報蓄積部の情報に対して検索を行い、検索条件に合致した時刻の異常状態の画像と顔領域の画像のうち、少なくともいずれか一方を出力する検出情報処理部とを備えたことを特徴とする監視装置。
2. 監視カメラおよび顔カメラの映像を連続的に蓄積する映像蓄積部と、
   任意の時刻を検索条件として受け付ける画像検索処理部とを備え、
   前記画像検索処理部は、受け付けた検索条件を検索項目として検出情報処理部に与え、当該検出情報処理部から出力された画像の時刻に対応した所定区間の映像を映像蓄積部から取り出して出力することを特徴とする請求項１記載の監視装置。
3. 監視カメラの映像から、映像中に人物を含む異常状態の画像を検出する異常検出処理部と、
   前記監視カメラの撮影範囲よりも狭い範囲の映像を取得する顔カメラの映像から顔領域の画像を検出する顔検出処理部と、
   前記異常状態の画像に対して、当該異常状態の画像を検出した時刻に対応した顔領域の画像をはめ込んだ画像を、前記検出した時刻と共に蓄積する検出画像／情報蓄積部と、
   任意の時刻を検索項目として、前記検出画像／情報蓄積部の情報に対して検索を行い、検索条件に合致した時刻の画像を出力する検出情報処理部とを備えたことを特徴とする監視装置。
4. 映像蓄積部は、監視カメラの画像に対して、当該画像の取得時刻に対応した検出時刻の顔領域の画像をはめ込んだ画像を蓄積することを特徴とする請求項２記載の監視装置。

Images