JP2012049774A - 映像監視装置 - Google Patents

Abstract

【課題】簡単な装置構成により映像データのうちから監視に必要な部分のみを抽出して短時間で監視作業を遂行することができる映像監視装置を提供する。
【解決手段】監視カメラによって継続して撮像して得られる映像データをフレーム単位に記憶し、動体を含むフレームを当該映像データから抽出する機能を有し、監視に必要な映像を素早く検出することを可能にした映像監視装置。
【選択図】図１

Description

本発明は、監視されるべき空間を撮像するために設けられた監視カメラによって得られる映像データのうちから所定の条件に合致する部分の映像データを検索する検索機能を備えた映像監視装置に関する。

例えば防犯等の目的のために例えばＡＴＭコーナーなどの空間を監視対象として撮像し、得られた映像データをハードディスク等の記憶媒体に記憶して、当該映像データのうちから所定の条件に合致する部分の映像データを検索する検索機能を備えた映像監視装置が知られている。例えば特許文献１には、ドアの開閉状態等の状態を示す状態情報を属性データとして映像データとともに記録し、当該属性データを検索キーワードとして当該属性データに対応する部分の映像データを検索する映像監視装置が開示されている。また、例えば特許文献２には、撮像して得られた複数の画像データから顔特徴量や着衣情報等の画像情報を求めて記憶し、録画画像の人物と検索対象画像の人物とが同一であるか否かを当該画像情報に基づいて判断する人物検索方法が開示されている。

特開２００３−４６９８９号公報 特開２００９−１９９３２２号公報

しかしながら、特許文献１に開示されている装置の場合には、監視対象のドアなどの構成部分の位置や動きなどの状態情報を得るための計測手段を更に設けなければならないので、映像監視装置が大型化しコストも増加してしまうという問題があった。また、特許文献２に開示されている方法の場合には、容量が大きい画像情報を検索キーとするので、検索による絞り込みに時間がかかってしまうという問題があった。

本発明は上記した如き問題点に鑑みてなされたものであって、簡単な装置構成により映像データのうちから監視に必要な部分のみを抽出することによって短時間で監視作業を遂行することができる映像監視装置を提供することを目的とする。

本発明による映像監視装置は、少なくとも１つの監視カメラによって継続して撮像して得られる映像データをフレーム単位に記憶する映像データ記憶部と、与えられる検索条件を充足するパターンを含むフレームを前記映像データから抽出する抽出部と、当該抽出されたフレームのみを記憶する抽出フレーム記憶部と、を含む映像監視装置であって、前記検索条件は、動体の存否であることを特徴とする。

本発明による映像監視装置によれば、簡単な装置構成により映像データのうちから監視に必要な部分のみを抽出して短時間で監視作業を遂行することができる。

第１の実施例の映像監視装置の構成を示すブロック図である。 図１の映像記録検索部の構成を示すブロック図である。 図２の映像抽出部による映像検索処理ルーチンを示すフローチャートである。 図２の映像検索部によるパターン抽出処理ルーチンの詳細を示すフローチャートである。 図１の表示部に表示される検索条件指定画面の一例である。 図１の表示部に表示される検索結果表示画面の一例である。 第２の実施例の映像監視システムの構成を通信網と共に示すブロック図である。 図７の表示部に表示される検索条件指定画面の一例である。 図７の表示部に表示される検索結果表示画面の一例である。

以下、本発明に係る実施例について添付の図面を参照しつつ詳細に説明する。

＜第１の実施例＞
図１は、建物１内に設けられた本実施例の映像監視装置２の構成を示すブロック図である。監視カメラ１０が、例えば防犯等の目的のために建物１内の例えばＡＴＭコーナーなどの所定の場所に設置されている。映像監視装置２は、監視カメラ１０による撮像によって得られた映像データを記憶及び検索する映像記録検索部３と、映像記録検索部３によって記録及び検索された映像を表示する表示部６０と、を含む。

映像記録検索部３は、映像データ記憶部２０と、顔パターン記憶部３０と、映像抽出部４０と、抽出フレーム記憶部５０と、を含む。

映像データ記憶部２０は、監視カメラ１０によって継続して撮像して得られる映像データを撮像時刻と共にフレーム単位に記憶する例えばハードディスク等の記憶媒体である。

顔パターン記憶部３０は、映像抽出部４０による検索処理に用いられる分類標準顔パターンを記憶する例えばハードディスク等の記憶媒体である。分類標準顔パターンは、人間の生理的属性によって分類された人間の顔（すなわち容貌若しくは人相）の標準的な顔パターンの集合である。顔パターンは、人間の顔を構成する例えば眉、目、鼻、口、耳などの要素の位置及び形状によって表わされる。人間の生理的属性は、例えば年齢、性別、人種、生誕地等々である。

映像抽出部４０は、例えば外部から入力された検索条件を充足する顔パターンを含むフレームを、映像データ記憶部２０に記憶されている映像データから抽出する。

抽出フレーム記憶部５０は、映像抽出部４０によって抽出されたフレームのみを当該フレームの撮像時刻と共に記憶する例えばハードディスク等の記憶媒体である。

表示部６０は、抽出フレーム記憶部５０によって記憶されたフレームの少なくとも一部をフレーム単位に画像表示するディスプレイである。なお、表示部６０は、映像監視装置２の必須の構成要素ではない。

図２は、映像記録検索部３の構成を示すブロック図である。映像抽出部４０は、条件受入れ部４１と、映像検索部４２と、結果出力部４３と、を含む。

条件受入れ部４１は、例えば図示せぬキーボードなどの外部入力装置からの例えば時刻指定４４、年齢指定４５、性別指定４６、人数指定４７などの検索条件を入力信号として受け入れ、これを映像検索部４２へ通知する。

映像検索部４２は、顔パターン記憶部３０に記憶されている分類標準顔パターンのうちから検索条件に対応する顔パターンを取得し、当該取得した顔パターンと一致又は類似する顔パターンを含むフレームを、映像データ記憶部２０に記憶されている映像データから検索する。

検索条件には少なくとも時刻指定４４が含まれる。映像検索部４２は、先ず、映像データ記憶部２０に記憶されている映像データから、時刻指定４４によって示される時刻における撮像によって得られた部分の映像データを取得する。

映像検索部４２は、検索条件に年齢指定４５が含まれると判別した場合には、分類標準顔パターンのうちから年齢指定４５に対応する顔パターン（以下、年齢層別分類標準顔パターンと称する）を顔パターン記憶部３０から取得する。年齢層別分類標準顔パターンは、例えば「０〜１０歳代」、「２０〜３０歳代」、「４０〜５０歳代」及び「６０歳以上」の４つの年齢層区分毎の例えば輪郭、目、鼻、口、耳などのパーツや、各パーツの顔全体における相対的な位置、大きさ及び範囲、しわ、しみ及び肌の色などの要素からなる年齢層毎の標準的な顔の形状（人相）を示すデータである。映像検索部４２は、映像データ記憶部２０に記憶されている映像データを構成するフレームを順次取り出し、当該フレーム中の顔パターンと、年齢指定４５によって指定された例えば「２０〜３０歳代」の年齢層区分に対応する年齢層別分類標準顔パターンとを比較する。そして、映像検索部４２は、顔パターンの類似度が例えば７０％以上などの所定値以上である場合に当該フレームを抽出する。類似度を用いて性別や年齢層毎の識別を行う手法は、例えば特開平１１−１７５７２４や特開２００７−２８０２９１に開示されているように公知である。

映像検索部４２は、検索条件に性別指定４６が含まれると判別した場合には、性別指定４６に対応する顔パターン（以下、性別分類標準顔パターンと称する）を顔パターン記憶部３０から取得する。性別分類標準顔パターンは、男性及び女性それぞれの例えば輪郭、目、鼻、口、耳などのパーツや、各パーツの顔全体における相対的な位置、大きさ及び範囲、しわ、しみ及び肌の色などの要素からなる性別毎の標準的な顔の形状（人相）を示すデータである。映像検索部４２は、映像データ記憶部２０に記憶されている映像データを構成するフレームを順次取り出し、当該フレーム中の顔パターンと、性別指定４６によって指定された例えば「男性」に対応する性別分類標準顔パターンとを比較する。そして、映像検索部４２は、パターンの類似度が例えば７０％以上などの所定値以上である場合に当該フレームを抽出する。

検索条件として、同一フレーム内に存在する顔パターンの数を指定することもできる。例えば同一フレーム内に存在する人間の顔の数を指定する人数指定４７を検索条件に含めることができる。この場合、映像検索部４２は、分類標準顔パターンの条件の下に上記処理によって抽出されたフレーム中に、人数指定４７によって指定された人数の顔パターンが存在すると判別した場合に当該フレームを抽出する。

検索条件としては、例えば人種や生誕地を指定することもできる。人種の場合も上記と同様に、例えば輪郭、目、鼻、口、耳などのパーツや、各パーツの顔全体における相対的な位置、大きさ及び範囲、しわ、しみ及び肌の色などの要素からなる性別毎の標準的な顔の形状（人相）を示すデータと比較することにより類似度を求め、抽出する。あるいは、それらに加えて、目の色等を加えてもよい。このとき、人種あるいは生誕地については「白人系」「黒人系」「アジア系」のような分類となる。また、検索条件として２以上の条件が指定された場合には、映像検索部４２は、上記と同様の処理を行って、検索条件に含まれる全ての条件に合致するフレームを抽出する。

このように、人間の生理的属性によって分類された様々な人相（顔）の形状を示す分類標準顔パターンが顔パターン記憶部３０に予め記憶されている。すなわち、顔パターンを学習データとして予め記憶しておく。映像検索部４２は、当該分類標準顔パターンと、監視カメラ１０の撮像によって得られた映像データを構成するフレーム中の顔パターンとを順次比較して、検索条件を充足するフレームを検索するいわゆる学習型検出方式により検索を行う。

結果出力部４３は、検索条件を充足するフレーム群のみを出力し、抽出フレーム記憶部５０は、かかる抽出フレーム群のみを各フレームに対応する撮像時刻と共に記憶する。

図３は、映像抽出部４０により実行される映像検索処理ルーチンを示すフローチャートである。図４は、当該ルーチン中の映像検索部４２によるパターン抽出処理ルーチンの詳細を示すフローチャートである。以下、図３及び図４を参照しつつ、映像検索処理について説明する。

先ず、映像検索を行おうとする者（以下、検索者と称する）が、例えば警察や関連会社の監査職員等に証拠映像を提出する際などに、例えば図示せぬキーボードから検索処理開始信号を映像監視装置２に入力して映像抽出部４０の機能を有効にする。当該信号に応じて例えば液晶ディスプレイなどの表示部６０には検索条件指定画面が表示される。図５は、表示部６０に表示される検索条件指定画面の一例である。検索条件指定画面には、「時間」、「人物年齢」、「人物性別」、「人数」の項目が含まれる。検索者は、図示せぬキーボードからの入力又は図示せぬマウスによる選択によってこれらの条件を指定することができる。条件受入れ部４１（図２）は、キーボードなどの外部入力装置から例えば時刻指定４４や年齢指定４５などの検索条件を入力信号として受け入れ、これを映像検索部４２へ通知する（ステップＳ１）。なお、検索条件指定画面には、人種や生誕地などの人間の生理的属性が更に含まれていても良い。

次に、映像検索部４２は、検索条件に対応する分類標準顔パターンを顔パターン記憶部３０から取得する（ステップＳ２）。検索条件に例えば「２０１０年７月４日」の時刻指定４４と、「２０〜３０歳代」の年齢指定４５が含まれる場合には、以下の処理がなされる。先ず、映像検索部４２は、「２０１０年７月４日」の時間帯における撮像によって得られた部分の映像データを映像データ記憶部２０から抽出する。次に、映像検索部４２は、「２０〜３０歳代」の年齢層区分に対応する年齢層別分類標準顔パターンを顔パターン記憶部３０から取得する。

続いて、映像検索部４２は、パターン抽出処理を行う（ステップＳ３）。以下、図４を参照する。先ず、映像検索部４２は、時刻指定４４の条件に基づいて抽出した映像データを構成するフレームの１つを取り込む（ステップＳ３１）。次に、映像検索部４２は、当該１つのフレーム内に少なくとも１つの動体が存在するか否かを判別する（ステップＳ３２）。映像検索部４２は、動体が存在しないと判別した場合には、パターン抽出処理を終了する。映像検索部４２は、動体が存在すると判別した場合には、動体の数が検索条件によって指定された数と一致するか否かを判別する（ステップＳ３３）。

映像検索部４２は、動体数と指定数とが一致しないと判別した場合には、パターン抽出処理を終了する。映像検索部４２は、動体数と指定数とが一致すると判別した場合には、当該１つのフレーム内に顔パターンが存在するか判別する（ステップＳ３４）。映像検索部４２は、顔パターンが存在しないと判別した場合には、パターン抽出処理を終了する。映像検索部４２は、顔パターンが存在すると判別した場合には、当該１つのフレーム内の顔パターンと、検索条件として指定された「２０〜３０歳代」の年齢層区分に対応する年齢層別分類標準顔パターンとを対比して、類似度が例えば７０％以上などの所定値以上であるか否かを判別する（ステップＳ３５）。映像検索部４２は、類似度が所定値以上であると判別した場合には、当該１つのフレームを抽出する。

映像検索部４２は、後続のフレームについても同様の処理を順次行う。映像検索部４２は、後続のフレーム内に検索条件の顔パターンと類似する顔パターンが存在しないと判別した場合には、パターン抽出処理ルーチンを終了する。

再び、図３を参照する。結果出力部４３は、上記したパターン抽出処理によって抽出されたフレーム群を出力する（ステップＳ４）。抽出フレーム記憶部５０は、当該フレーム群のみを記憶する。また、結果出力部４３は、当該フレーム群の映像データ中における位置を出力し、抽出フレーム記憶部５０は、当該位置についても記憶する。位置を示す情報としては、例えば当該フレーム群の最初のフレームの撮像時刻及び最後のフレームの撮像時刻などである。

映像抽出部４０は、映像データ記憶部２０に記憶されている映像データの全体に亘って上記した映像検索処理を実行する。その結果、複数のフレーム群を抽出した場合には、抽出フレーム記憶部５０にはフレーム群単位で記憶される。

表示部６０は、抽出フレーム記憶部５０に記憶されたフレーム群の撮像時刻に基づいて検索結果表示画面を表示する。図６は、表示部６０に表示される検索結果表示画面の一例である。検索結果表示画面には、検索条件を充足するフレーム群の件数及び当該フレーム群に対応する日時が示される。複数表示されている日時のうちの１つを例えばマウス（図示せず）でクリックするなどして選択すると、当該選択した日時に対応するフレーム群に基づく映像が表示部６０に表示される。

映像検索部４２は、検索条件に性別指定４６や人種指定４８、生誕地指定４９などの条件が含まれる場合にも上記と同様の処理を行う。条件指定の例としては以下のような場合が考えられる。

監視カメラ１０の設置場所が例えばオフィスの場合、時刻指定４４では休日の１日を指定し、人数指定４７では「１人」を指定する。勤務時間外に１人でオフィスに居ることは通常考えられないからである。このとき、検索結果表示画面において特に早朝や深夜の時間帯が示されている場合や滞在時間が短時間である場合には映像の確認を要する。

監視カメラ１０の設置場所が例えば金庫やＡＴＭの周辺の場合、人数指定４７では「１人」を指定する。金銭を入出するときには必ず２人で行うからである。このとき、検索結果表示画面において特に金銭を集配する時間以外の時間帯が示されている場合や滞在時間が短時間である場合には映像の確認を要する。更に性別指定４６では例えば「男性」を指定しても良い。

監視カメラ１０の設置場所が例えば会議室の場合、人数指定４７では「２人」を指定する。顧客との打合せは必ず３人以上で行うからである。このとき、検索結果表示画面において特に営業の時間帯が示されている場合や滞在時間が３０分〜１時間である場合には映像の確認を要する。

上記したように本実施例による映像監視装置２によれば、分類標準顔パターンを用いて検索条件を充足するフレーム群を抽出する。故に従来技術のような例えばＡＴＭコーナーなどの監視対象の現在状態情報を得るための計測手段を必要しないので、映像監視装置を大型化することなく所望部分の映像データを検索することができる。また、分類標準顔パターンについては記憶媒体に記憶すれば良いので簡単な装置構成とすることができコストもかからない。

また、分類標準顔パターンは、人相（顔）の形状を示すデータなので、容量が大きい画像情報を検索キーとして検索する従来技術とは異なり、短時間で検索条件を充足する映像データを検索できる。

また、本実施例による映像監視装置２においては、検索者は、時間のみならず、年齢、性別、人種、生誕地などの人間の生理的属性を検索条件として指定することができる。更に、例えば1つのフレーム内に存在する人間の顔パターンの数についても検索条件として指定することができる。このように複数の検索条件を指定でき、記憶されている膨大な量の映像データのうちから、動体が存在する場合に限って所望の検索条件に合致する部分のみを検索するので監視すべき対象フレームを短時間で効率的に絞り込むことができる。

また、本実施例による映像監視装置２においては、分類標準顔パターンを用いたいわゆる学習型検出方式によって映像データを検出するので、照明の変化やドアの開閉、及び人物像の重なり等の影響を受け難く安定した顔検出が可能である。

＜第２の実施例＞
図７は、本実施例の映像監視システム９の構成を通信網７と共に示すブロック図である。映像監視システム９は、複数の建物１−１〜１−ｎ（ｎは２以上の整数）を一括して監視するための監視センター６を含む。

建物１−１内には、第１の実施例と同様に監視カメラ１０−１と、映像監視装置２−１と、が含まれる。映像監視装置２−１は、映像記録検索部３と、表示部６０と、を含む。表示部６０は第１の実施例におけるものと同一である。映像抽出部４０、顔パターン記憶部３０及び抽出フレーム記憶部５０は、映像監視システム９に含まれる。映像記録検索部３は、監視カメラ１０−１から映像データを取得し、これを通信網７を介して監視センター６へ送信する。通信網７は例えばインターネットであり、映像データは映像監視装置２−１と監視センター６との間でパケットによって送受信される。建物１−２〜１−ｎの各々にも同様に監視カメラ（１０−２〜１０−ｎのうちの対応する１つ）と映像監視装置（２−２〜２−ｎのうちの対応する１つ）とが含まれている。

監視センター６は、映像監視サーバ４と、映像監視端末５と、を含む。映像監視サーバ４は、例えばハードディスクなどの映像データ記憶部２０を含むサーバである。映像データ記憶部２０は、映像監視装置２−１〜２−ｎの各々から送信された複数の映像データを記憶する。その際、映像データ記憶部２０は、映像データとその送信元の映像監視装置（２−１〜２−ｎのうちのいずれか１つ）の識別子とを対応付けて記憶する。

映像監視端末５は、顔パターン記憶部３０と、映像抽出部４０と、抽出フレーム記憶部５０と、表示部６１と、を含む例えばパーソナルコンピュータなどの情報処理端末である。顔パターン記憶部３０、映像抽出部４０、抽出フレーム記憶部５０及び表示部６１の各々は第１の実施例と同一である。顔パターン記憶部３０には、第１の実施例におけるものと同じ分類標準顔パターンが記憶される。映像抽出部４０は、顔パターン記憶部３０に記憶されている複数の映像データの各々を構成するフレームに対して図３及び図４に示される映像検索処理と同様の映像検索処理を順次実行する。抽出フレーム記憶部５０には、映像抽出部４０によって抽出されたフレーム群及び、当該フレーム群の映像データ中における位置についての情報が記憶される。表示部６１には、映像抽出部４０による検索の結果、及び抽出フレーム記憶部５０に記憶されたフレーム群に基づく映像が表示される。

図８は、表示部６１に表示される検索条件指定画面の一例である。検索条件指定画面においては、時間、年齢、性別、人種、生誕地などの人間の生理的属性を検索条件として指定でき、更に、入力の無い映像を検索するか否かを選択することもできる。ここで、「入力の無い映像」は、例えば黒一色の映像（以下、暗黒映像と称する）などであり監視対象物が全く映っていない映像である。

映像抽出部４０が、暗黒映像などの入力の無い映像の検出を行う。映像抽出部４０は、例えば映像データを構成する１つのフレーム内の全画素の平均輝度に基づいて当該検出を行う。

図９は、例えば暗黒映像などの入力の無い映像を検出することを検索条件に含めて検索して入力の無い映像が検出された場合に表示部６１に表示される検索結果表示画面の一例である。検索結果表示画面には、入力の無い映像を表わす映像データの件数と、その映像データを送信した映像監視装置（２−１〜２−ｎのうちの少なくとも１つ）が設置されている建物（１−１〜１−ｎのうちの少なくとも１つ）を示す例えばＡＡ支店などの表示が示されている。映像データ記憶部２０には、映像データと、その映像データを送信した映像監視装置を特定する識別子とが対応付けられて記憶されているので、検索結果表示画面においては当該識別子に対応するＡＡ支店などの表示が示される。ＡＡ支店などの表示部分を例えばマウス（図示せず）によりクリックすると、対応する映像データに基づく映像が表示部６１に表示される。なお、建物１−１〜１−ｎに備えられた表示部６０にも同様の映像表示をすることができる。

上記したように本実施例の映像監視システム９によれば、複数の建物１−１〜１−ｎの各々に監視者が滞在する必要が無く、１人の監視者が監視センター６において建物１−１〜１−ｎの各々についての映像データを一括して管理し、更に監視に必要な部分の映像データのみを検索することができる。これにより、映像監視システム９の全体における監視効率を向上させることができる。

また、かかる構成により建物１−１〜１−ｎ内の従業員が監視映像に干渉することが無くなるので、映像データの改ざんを防止できるとともに、監視映像を秘密の状態で取り扱うことができる。

また、本実施例の映像監視システム９によれば、入力の無い映像を表わす映像データの有無を確認することもできる。かかる映像データを送信した映像監視装置又はこれ対応する監視カメラは故障していると考えられる。故に監視センター６における監視者は、かかる映像データの有無を確認することによって故障発生の有無を判断することができる。監視者は、故障が発生したと判断した場合には監視センター６から建物の管理者へ監視カメラ等の修理を依頼することもできる。

なお、上記の実施例において、人物が検索条件に当てはまるかどうかを主に顔画像から判断するとしたが、さらに各検索条件について標準的な人物の身長、体形の情報を記憶しておき、同様に類似度を求めるようにしてもよい。あるいは、映像と共に取得した音声情報について、音声認識により言語を特定し、特定された言語情報により人種や生誕地を限定するようにしてもよい。それにより、さらに人物の抽出精度を向上させることが出来る。

１、１−１〜１−ｎ 建物
２、２−１〜２−ｎ 映像監視装置
３ 映像記録検索部
４ 映像監視サーバ
５ 映像監視端末
６ 監視センター
７ 通信網
９ 映像監視システム
１０、１０−１〜１０−ｎ 監視カメラ
２０ 映像データ記憶部
３０ 顔パターン記憶部
４０ 映像抽出部
４１ 条件受入れ部
４２ 映像検索部
４３ 結果出力部
５０ 抽出フレーム記憶部
６０、６１ 表示部

Claims (5)

1. 少なくとも１つの監視カメラによって継続して撮像して得られる映像データをフレーム単位に記憶する映像データ記憶部と、与えられる検索条件を充足するパターンを含むフレームを前記映像データから抽出する抽出部と、当該抽出されたフレームのみを記憶する抽出フレーム記憶部と、を含む映像監視装置であって、
   前記検索条件は、動体の存否であることを特徴とする映像監視装置。
2. 前記検索条件は、人間の生理的属性によって分類された分類標準顔パターンを更に含むことを特徴とする請求項１記載の映像監視装置。
3. 前記人間の生理的属性は、性別、年齢、人種及び生誕地のうちの少なくとも１つであることを特徴とする請求項２記載の映像監視装置。
4. 前記抽出フレーム記憶部によって記憶されたフレームの少なくとも一部をフレーム単位に映像表示する映像表示部を含むことを特徴とする請求項１乃至３のいずれか１に記載の映像監視装置。
5. 前記検索条件は、動体数条件、撮像時刻条件及び暗黒映像条件のうちの少なくとも１つを更に含むことを特徴とする請求項１乃至４のいずれか１に記載の映像監視装置。
   

Images