JP2010271817A - 画像処理方法 - Google Patents

Abstract

【課題】画像システムにおける登録処理の処理負荷を軽減する画像処理方法を提供する。
【解決手段】監視システムに複数のフレームの画像について、所定の画像部分に関する情報を登録する。この際に、まず、複数のフレームの画像から、登録対象の映り込みによる画像の変化を画像変化量として検知する。そして、画像変化量に従い、前記画像部分を探索する処理を実行する。さらに、探索する処理を実行するかの判定結果を、画像部分検索履歴として記憶する。この上で、画像変化量として検知するステップを実行するかを画像部分検索履歴により判定する。そして、画像変化量と前記画像部分検索履歴を用いてサンプリング間隔を変更する。
【選択図】図２

Description

本発明は、監視システムにおける画像処理方法に係り、特に顔画像の登録に要する演算処理を軽減する画像処理方法に関する。

従来より、小型店舗等では、単体の撮像装置によって直近の監視画像を保存するのが一般的であった。
しかしながら、近年の犯罪発生の増加に伴い、複数台の監視カメラ等の撮像装置が撮影した監視画像を、長期間保存することが求められてきている。そして、撮像装置の普及と、磁気記録装置の大容量化に伴い、容易に多地点の監視画像を長期間保存することが可能となってきた。
一方、このような撮像装置からの監視画像の増加により、監視者の負担が増加してきていた。このような監視者の負担を軽減するため、録画した監視画像から特定の人物や特定のシーンを探し出す技術がいくつか開発されている。たとえば、顔探索等の物体検出技術や、画像の構図や色分布等を用いた類似画像検索技術が用いられている。

〔従来の監視システムＹの構成〕
ここで、図５を参照して、監視画像を対象とした類似顔画像検索方法を実行する従来の監視システムＹの構成を説明する。
監視システムＹは、撮像装置２０１−１〜２０１−ｎが、ネットワーク２００にて、録画装置２０２と監視端末２０３とに接続されて構成されている。
ネットワーク２００は、各装置を相互に接続しデータ通信を行う専用線、イントラネット、インターネット、無線ＬＡＮ等の通信網である。
撮像装置２０１−１〜２０１−ｎは、撮像した画像に対してデジタル変換処理を行い、変換された画像データをネットワーク２００を介して録画装置２０２へ出力するネットワークカメラ等の撮像装置である。撮像装置２０１−１〜２０１−ｎの接続数は、録画装置２０２の所定の接続台数内で変更可能である。
録画装置２０２は、ＣＰＵ（セントラル・プロセッシング・ユニット、中央処理装置）ＭＰＵ（マイクロ・プロセッシング・ユニット、マイコン）などの制御部や演算部と、ＲＡＭやフラッシュメモリ等の内部メモリと、ＨＤＤ（ハード・ディスク・ドライブ）等の記憶媒体を備える、ネットワークデジタルレコーダ等の録画装置である。録画装置２０２は、撮像装置２０１−１〜２０１−ｎからネットワーク２００を介して入力した静止画や動画像等の画像データを記録媒体に記録する。
監視端末２０３は、ネットワーク２００を介して録画装置２０２から取得した画像データを、液晶ディスプレイやＣＲＴ等のディスプレイモニタに画面表示するＰＣ（パーソナル・コンピュータ）等の装置である。監視端末２０３は、録画画像、検索結果画像、類似画像検索メニューなどを表示するモニタ、キーボードやマウス等のユーザ入力部などを備え、録画装置２０２に記録された画像の再生や、類似画像検索等のユーザインタフェースを提供する。

ここで、録画装置２０２は、ネットワーク送受信部２０６、画像記録部２０７、画像配信部２０８、画像特徴量記録部２０９、画像特徴量抽出部２１０、画像類似度判定部２１１、顔探索部２１２の部位を備えている。

ネットワーク送受信部２０６は、ネットワーク２００で接続した装置とのデータの送受信を行う部位である。
ネットワーク送受信部２０６が送受信するデータは、撮像装置２０１−１〜２０１−ｎから送信された撮像画像、監視端末２０３からの画像再生要求や検索要求や画像登録処理要求信号、監視端末２０３への配信画像や検索結果等に係るデータである。
ネットワーク送受信部２０６は、撮像装置２０１−１〜２０１−ｎからネットワーク２００を介してネットワーク送受信部２０６に受信された撮像画像を、画像記録部２０７に出力する。
また、ネットワーク送受信部２０６は、監視端末２０３からネットワーク２００を介して受信した画像再生要求信号を画像配信部２０８に、検索要求信号を画像類似度判定部２１１に、画像登録要求信号を画像特徴量記録部２０９に、それぞれ出力する。
また、ネットワーク送受信部２０６は、配信画像を画像配信部２０８から、検索結果を画像類似度判定部２１１から入力し、監視端末２０３へ送信する。

画像記録部２０７は、撮像装置２０１−１〜２０１−ｎからネットワーク送受信部２０６を介して入力された画像データを、図示しないＨＤＤ等の記録媒体へ記録する部位である。
画像記録部２０７は、画像データを記録する際には、後で画像データを取り出すための情報、例えば、録画装置内でユニークになるように録画開始からフレーム単位で順に割り振ったフレーム番号を同時に記録する。このフレーム番号とは、映像等の動画像のように、所定の期間毎に画像が連続的に記憶される際に、順番に割り振られるような番号のことをいう。
また、画像記録部２０７は、画像が何時に撮像されたものであるか識別するための情報、例えば、画像時刻も同時に記録する。この際の、画像時刻は、例えば、録画装置２０２に内蔵している時計から出力される装置時刻や、撮像装置２０１−１〜２０１−ｎにそれぞれ内蔵している時計から出力される装置時刻である。
また、画像記録部２０７は、画像がどの撮像装置で撮像されたかものであるか識別するための情報、例えば、撮像装置のＩＰアドレスも同時に記録する。

画像配信部２０８は、画像記録部２０７や画像特徴量記録部２０９などの記録媒体に記録されている画像データの配信を行う部位である。
画像配信部２０８は、監視端末２０３からネットワーク送受信部２０６を介して入力された画像再生要求信号に応じて配信画像を決定し、フレーム番号や画像時刻や撮像装置識別番号を利用して記録媒体から画像データを読出し、ネットワーク送受信部２０６に出力する。

画像特徴量記録部２０９は、画像特徴量を記録媒体へ記録する部位である。
画像特徴量記録部２０９は、まず、画像記録部２０７により記録された画像データを顔探索部２１２に出力することにより、顔画像データを取得する。そして、画像特徴量記録部２０９は、この顔画像データを画像特徴量抽出部２１０に出力することにより、画像特徴量を取得する。
画像特徴量記録部２０９は、画像特徴量を記録する際には、顔探索部２１２に入力された画像データに対応するフレーム番号も同時に記録する。この記録により生成されるフレーム番号と画像特徴量で構成されるリストデータを、以下で「画像特徴量リストデータ」と呼ぶ。これらの処理の開始は、監視端末２０３の登録要求部２１７からの要求により行う。

画像特徴量抽出部２１０は、顔探索部２１２から入力された顔画像データの特徴量を画像認識技術を用いて算出する部位である。
ここで画像特徴量とは、例えば、画像の色分布やエッジパターンの構図分布やそれらの組合せを用いる。

画像類似度判定部２１１は、画像検索を行い、検索結果を出力する部位である。
画像類似度判定部２１１は、以下で説明する検索画像の画像特徴量と、画像記録部２０７の記録媒体に記録されている画像データの顔画像の画像特徴量とから類似度を算出し、算出された類似度の大小から検索結果を生成する。
ここで、検索画像は、ネットワーク送受信部２０６を介して入力された、類似度を判定するために参照される雛形の画像として監視端末２０３によりユーザが指定した画像である。この検索画像は、検索要求信号の中に含まれているデータとして入力する。具体的には、画像のフレーム番号等により指定することができる。

なお、検索画像の画像特徴量は、画像類似度判定部２１１が、顔探索部２１２に出力することで取得する。
また、記録媒体に記録されている顔画像データの画像特徴量は、画像特徴量記録部２０９に記録された上述の画像特徴量リストデータから取得する。
また、画像、類似度の算出方法については、「大規模な画像集合のための表現モデル」（廣池敦他、日本写真学会誌２００３年６６巻１号Ｐ９３−Ｐ１０１）のような論文を参照して構築することができる。

ここで、監視端末２０３は、ネットワーク送受信部２１３、検索要求部２１４、検索結果表示部２１５、画像再生部２１６、登録要求部２１７の部位を備えている。

ネットワーク送受信部２１３は、ネットワーク２００で接続した録画装置２０２とのデータの送受信を行う処理部である。この送受信するデータは、例えば、録画装置２０２への画像再生要求信号や検索要求信号、録画装置２０２からの配信画像や検索結果である。
ネットワーク送受信部２１３は、録画装置２０２から受信された配信画像を画像再生部２１６に、検索結果を検索結果表示部２１５にそれぞれ出力する。
ネットワーク送受信部２１３は、画像再生要求信号を画像再生部２１６から、検索要求信号を検索要求部２１４からそれぞれ入力し、ネットワーク２００を介して録画装置２０２に送信する。

検索要求部２１４は、ユーザからの指示により、検索画像と画像特徴量が似ている画像について、例えば、画像のサムネイル画像データとして送信するように要求する「検索要求信号」を作成する部位である。
また、検索要求部２１４は、表示されるサムネイル画像データから、様々な検索条件を指定して、必要な画像を表示するためのユーザによる検索操作の信号を受信し、検索要求信号に変換して出力する部位である。

検索結果表示部２１５は、入力された録画装置２０２からの画像検索されたサムネイル画像データやテキスト検索の検索結果を、監視端末２０３のディスプレイモニタ（モニタ）上に表示される画面に描画する部位である。

画像再生部２１６は、監視端末２０３のディスプレイモニタ上に表示される操作メニュー画面（図示せず）のユーザーインタフェイスを使って与えられたユーザによる再生操作の信号を画像再生要求信号に変換して出力する部位である。
また、画像再生部２１６は、入力された録画装置２０２からの配信画像を監視端末２０３のモニタ上に表示される画面に描画する処理も行う。

登録要求部２１７は、録画装置に登録処理を開始するよう要求するための画像登録要求信号を出力する部位である。
まず、ユーザは、監視端末２０３の操作メニュー画面のユーザーインタフェイスを使って、ディスプレイモニタ上に表示される画像の再生中にイン・アウト点を指定してフレーム番号を入力したり、テキストボックス等からフレーム番号を直接入力する。このフレーム番号としては、登録処理を行う最初のフレームとなる登録開始フレーム番号や、登録処理を行う最後のフレームとなる登録終了フレーム番号のフレーム番号を入力する。
登録要求部２１７は、入力された登録開始フレーム番号と登録終了フレーム番号を含む、画像登録要求信号を作成する。この画像登録要求信号を受信することで、録画装置では、登録処理を開始する。

〔従来の顔画像の登録処理〕
ここで、図６を参照して、従来の監視システムＹを用いた登録処理の流れを示す。ここで、顔画豫の「登録」とは監視システムに関する当業者の用語であり、録画装置の記憶部に記憶されている画像のうち、顔を含む画像の顔領域から画像特徴量を抽出することを示す。
この登録処理においては、登録を行った画像を縮小画像は、検索処理時に検索結果としてディスプレイモニタに表示することができる。

この登録処理においては、従来技術では、撮像装置２０１−１〜２０１−ｎから画像データを取得する際に演算負担が大きく、リアルタイム（実時間）で実行することが困難であった。
このため、蓄積されたデータに対して、夜中等の時間を指定し、バッチ処理等を用いて実時間以上の時間をかけて、登録処理を実行していた。
また、ユーザの監視端末２０３からの画像登録要求信号に対して、録画されたデータについて、実時間以上の時間をかけて登録処理を実行していた。
このようにユーザからの要求にて、登録処理を実行する例について、以下にてより詳しく説明する。

まず、図６のステップＳ３１４にて、登録要求部２１７は、画像登録要求信号送出処理を行う。
具体的には、ユーザがユーザーインタフェイスを用いて、登録処理を行うように指示をする。この指示には、登録開始フレーム番号及び登録終了フレーム番号が含まれる。
登録要求部２１７は、このユーザの指示を検知すると、画像登録要求信号に変換する。登録要求部２１７は、この画像登録要求信号を、ネットワーク送受信部２１３から、ネットワーク２００へ送信する。
タイミングＴ３５１は、録画装置２０２と監視端末２０３間の画像登録要求信号の通信を表す。

ここで、ステップＳ３０１において、録画装置２０２の制御部は、画像登録要求信号待機処理を行う。具体的には、制御部は、ネットワーク送受信部２０６にて、監視端末２０３からの画像登録要求信号を受信するまで待機する。
録画装置２０２の制御部は、画像登録要求信号の受信が完了したら、処理をステップＳ３０２に進める。

ステップＳ３０２において、録画装置２０２の制御部は、画像登録要求信号が適正であるか判定する。
この判定においては、制御部は、例えば、登録開始フレーム番号及び登録終了フレーム番号が適切であるかについて検証する。すなわち、ユーザーの登録処理の指示が適切であるかについて検証する。
制御部は、登録開始フレーム番号及び登録終了フレーム番号が、画像記録部２０７に記憶されたデータに存在する場合には、画像登録要求信号が適正であると判定する。それ以外の場合は、制御部は、ユーザによる指示が不適であり画像登録要求信号が不適であると判定する。
Ｙｅｓの場合は、制御部は、処理をステップＳ３０３に進める。
Ｎｏの場合は、制御部は、処理をステップＳ３０１に戻して、画像登録要求信号を待つ。

ステップＳ３０３において、録画装置２０２の制御部は、受信した登録開始フレーム番号及び登録終了フレーム番号を、録画装置２０２内の内部メモリに記録する。
その後、制御部は、処理をステップＳ３０４に進める。

ステップＳ３０４において、録画装置２０２の制御部は、ステップＳ３０３で内部メモリに記録した登録開始フレーム番号を、画像検索を行う「現フレーム番号」に設定する。
この上で、制御部は、処理をステップＳ３０５へと進める。

ステップＳ３０５にて、録画装置２０２の制御部は、現フレーム番号に基づいて、画像記録部２０７から画像データを読み出す。
その後、録画装置２０２の制御部は、読み出した画像データを、顔探索部２１２に出力して顔探索を行わせ、その結果を得て内部メモリに記憶する。
この上で、制御部は、処理をステップＳ３０７に進める。

ステップＳ３０７において、録画装置２０２の制御部は、顔領域が検出されたか判定する。
具体的には、顔探索部２１２の顔検索の結果にて、顔領域が１つ以上検知された場合に、Ｙｅｓと判定する。それ以外、顔領域が１つも検知されなければ、Ｎｏと判定する。
Ｙｅｓの場合は、制御部は、処理をステップＳ３０８に進める。
Ｎｏの場合は、制御部は、処理をステップＳ３１５に進む。

ステップＳ３０８において、録画装置２０２の制御部は、ステップＳ３０５で検出された顔領域を画像特徴量抽出部２１０に送信する。
そして、画像特徴量抽出部２１０は、その画像特徴量を抽出して、画像特徴量記録部２０９に送信する。画像特徴量記録部２０９は、その画像特徴量を記録媒体に記録する。
その後、制御部は、全ての顔領域から特徴量抽出が終わったかを判定する。
未抽出の顔領域がある場合は、制御部は、その顔領域に対して、ステップＳ３０８の処理を繰り返す。
全ての顔領域に対して特徴量抽出が終わっている場合は、制御部は、処理をステップＳ３１１に進める。

ステップＳ３１１において、録画装置２０２の制御部は、ステップＳ３０５で現フレーム番号に基づいて画像記録部２０７から読み出した画像の縮小画像（サムネイル）を作成し、記憶媒体に記憶されたサムネイル・リストのデータに登録する。このサムネイル・リストは、上述したように、監視端末２０３で画像検索結果表示に用いる。
その後、制御部は、処理をステップＳ３１２に進める。

ステップＳ３１２において、録画装置２０２の制御部は、終了条件の判定を行う。判定は、現フレーム番号と終了フレーム番号を比較して、現フレーム番号が終了フレーム番号の場合には終了条件を満たす、すなわちＹｅｓと判定する。それ以外の場合には、終了条件を満たさない、すなわちＮｏと判定する。
Ｙｅｓと判定した場合は、制御部は、登録処理を終了する。
Ｎｏと判定した場合には、制御部は、処理をステップＳ３１５に進める。

ステップＳ３１５において、録画装置２０２の制御部は、現フレーム番号に１を加算した値を新たな現フレーム番号とする。
この上で、制御部は、ステップＳ３０５に処理を戻す。

以上のように構成することで、従来の登録処理を終了する。
その後、ユーザによる検索要求にて類似画像の検索を実行する。
録画装置２０２の制御部は、監視端末２０３の検索要求部２１４からの検索要求信号を受信すると、ユーザが指定した検索画像を顔探索部２１２に入力し、顔を探索する。
顔が検出された場合、画像特徴量抽出部２１０にてその検索画像に含まれる顔領域の画像特徴量を抽出する。そして、画像類似度判定部２１１にて、右記の画像特徴量と、予め登録処理により抽出された画像特徴量リストデータの特徴量とを比較し、画像特徴量を基に画像の類似性を判定し、画像特徴量リストデータに含まれるフレーム情報等を用いて、録画装置の記録画像からユーザが探したい人物の画像を検索処理の実行ごとに探し出す。

このような従来の登録処理により、監視画像を対象とした類似顔画像検索を実現することができる。
しかしながら、この類似画像検索方法は、顔画像の検知と特徴量抽出処理に膨大な演算が必要であり、演算に時間がかかるという問題があった。
このため、いくつか、この負荷を抑えるための方法が提案されている。

従来の顔画像の検知を高速化する画像処理装置について、特許文献１を参照すると、撮像素子での処理動作を工夫し、これに画像処理回路での処理を組み合わせることによって、効率よく顔検出処理を行う画像処理装置が記載されている（以下、従来技術１とする）。
従来技術１の画像処理装置は、撮像素子が、全画素領域から素子の持つ解像度より低解像度で撮像することのできる解像度変換撮像動作と、全画素領域のうち一部の領域に限定して撮像動作を実施する部分撮像動作とを実行する。そして、画像処理回路が、撮像素子の解像度変換撮像動作によって得られた異なる時間の解像度変換撮像画像から移動物体が存在する可能性のある領域を検出する移動物体検出機能部と、この移動物体検出機能部によって検出された領域に対し撮像素子による部分撮像動作によって得られた部分画像データを対象として、人物の顔らしい領域を検出する。
これにより、従来技術１の画像処理装置は、顔の存在位置をおおよそ当たりをつけて少ない画素数の画像データを顔検出処理に送ることによって、効率良く顔検出処理を実施することができ、全体としての処理を高速化することができる。

特開２００６−３１８３６４号公報

しかしながら、従来技術１においても、撮像装置による監視画像から顔探索等の物体検出を行う演算処理や画像の構図を分析する演算処理は、演算の負荷が高いという問題があり、リアルタイムで画像検索を行うことは困難であるという問題があった。
このため、顔探索等の物体検出処理の演算量を削減し、処理時間を短縮することが求められていた。

本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。

本発明の画像処理方法は、複数のフレームの画像について所定の画像部分に関する情報を登録する監視システムにおける画像処理方法において、前記複数のフレームの画像から、登録対象の映り込みによる画像の変化を画像変化量として検知するステップと、前記画像変化量に従い、前記画像部分を探索する処理を実行するかを判定するステップと、前記画像部分の検索結果を画像部分検索履歴として記憶するステップと、前記画像変化量として検知するステップを実行するかを前記画像部分検索履歴により判定するステップと、前記画像変化量及び／又は前記画像部分検索履歴の判定結果を用いてサンプリング間隔を変更するステップとを備えることを特徴とする。

本発明によれば、フレーム間の画像の変化を検知して画像部分を探索する処理を実行するかを判定することにより、検索画像の登録処理の負荷を軽減する監視システムにおける画像処理方法を提供することができる。

本発明の実施の形態に係る類似顔画像検索方法を実行する監視システムＸのシステム構成図である。 本発明の実施の形態に係る類似顔画像検索方法の登録処理の流れを示すフローチャートである。 本発明の実施の形態に係る演算処理の概念図である。 本発明の実施の形態に係る類似顔画像検索方法の登録処理における各フレームでの顔探索処理に要する時間を示す概念図である。 従来の類似顔画像検索方法を実行する監視システムＹのシステム構成図である。 従来の類似顔画像検索方法の登録処理の流れを示すフローチャートである。 従来の類似顔画像検索方法の登録処理における各フレームでの顔探索処理に要する時間を示す概念図である。

＜実施の形態＞
〔監視システムＸの制御構成〕
以下で、本発明の具体的な実施の形態を図面を参照して説明する。
まず、図１を参照して、監視画像を対象とした類似顔画像検索方法を実行する本発明の実施の形態に係る監視システムＸの制御構成について説明する。
監視システムＸは、撮像装置２０１−１〜２０１−ｎと、録画装置４０３と、監視端末２０３とが、ネットワーク２００にて接続されている。この図１において、図５と同一の符号は、従来と同様の機能を提供する部位であることを示す。つまり、撮像装置２０１−１〜２０１−ｎと、監視端末２０３とは、従来の監視システムＹと同様の構成要素を示す。
ネットワーク２００は、各装置を結ぶ、ＬＡＮ、光ファイバー、ｃ．ｌｉｎｋ、無線ＬＡＮ、メッシュネットワーク等のデータ通信可能な回線である。また、ネットワーク２００は、専用線、イントラネット、インターネット等のＩＰネットワーク等を用いてもよい。
監視端末２０３は、ネットワーク２００を介して録画装置２０２から取得した画像データを、液晶ディスプレイやＣＲＴ等のディスプレイモニタに画面表示するＰＣ／ＡＴ互換機やＭＡＣ等であるＰＣ（パーソナル・コンピュータ）等の専用の監視端末装置である。監視端末２０３は、下記で説明する処理の制御を行うＣＰＵ等の制御部と、制御部が実行する処理が記載されたプログラムと結果表示用の画像データと画像データの属性と一時データとを含んで記憶するＲＡＭ、ＲＯＭ、ＨＤＤ、フラッシュメモリ等の記憶部とを備えている。監視端末２０３は、キーボードやマウス等のユーザ入力部を備え、録画装置２０２に記録された画像の再生操作や動画表示、人物検索の実行操作や結果表示等を行うユーザインタフェースを提供する。
なお、監視端末２０３は、通常のＯＳ（オペレーティングシステム）がインストールされたＰＣの記憶部に記憶したプログラムにより実現してもよい。
さらに、制御部で実行されるプログラムは、各部をハードウェア資源を使用して実現するために用いられてもよく、記憶部に記憶されていても、制御部内のＲＯＭやフラッシュメモリ等に記憶されていてもよい。

録画装置４０３は、ネットワークデジタルレコーダ等の装置である。録画装置４０３は、ＣＰＵ、ＭＰＵ、ＤＳＰ（デジタル・シグナル・プロセッサ）、ＧＰＵ（グラフィック・プロセッシング・ユニット）等の制御部や演算部と、内蔵のＤＲＡＭやフラッシュメモリ等の記憶部とを備えている。また、録画装置４０３は、ネットワーク２００を介して撮像装置２０１−１〜２０１−ｎより入力された画像データを、ＨＤＤ等の記録媒体に記録する。
ここで、録画装置４０３において、録画装置２０２と同じ符号をもつ部位は、録画装置２０２と同様の機能を備えている。この上で、録画装置４０３は、図５に示した機能部位に加え、顔探索前処理部４０１と顔探索間隔設定部４０２を備えて構成される。

顔探索前処理部４０１は、背景画像と現フレームでの差分画像を求める背景差分処理を実行して、背景画像と現フレーム間の画像の差分値である背景差分量を求める部位である。
この背景画像としては、例えば、事前に撮像装置ごとに撮影された複数フレームの平均加算フレームを用いて、撮像装置ごとにそれぞれ作成することができる。
この際に、時間が経つと背景画像が異なることがあるので、朝〜夜といった所定時間毎の背景画像を用いることができる。また、屋外においては、天気により露出が異なることがあるので、この露出による補正を行って正規化した背景画像を用いてもよい。さらに、人物が一つの場所に動かずにずっと寝ているといった事態が考えられるため、顔画像が検出されない画像に限って背景画像を作成するようにしてもよい。
さらに、登録処理の度に、登録開始フレーム番号及び登録終了フレーム番号の前後で、ランダムな範囲のフレームを抽出して、平均加算フレームを用いて背景画像を作成するようにしてもよい。これにより、人物の看板が置かれていたり、自動車が長時間駐車されている場合等の誤検知を避けることが可能になる。
また、背景差分量の判定に用いる閾値θは、各撮像装置に映る人の領域サイズにおける面積に相当する画素数を用いて算出することができる。
さらに、背景差分量は、背景画像と現フレームの全ての画素を比較し、輝度値が異なる画素数をカウントする。

顔探索間隔設定部４０２（画像部分情報登録手段）は、顔探索処理等のサンプリング間隔を設定する部位である。
このサンプリング間隔は、顔探索を行うフレームの画像を取得（サンプリング）する間隔を示す値である。
顔探索間隔設定部４０２は、背景差分量が閾値θよりも大きい場合は、顔探索間隔設定部４０２は、顔探索処理を実行する対象フレームのサンプリング間隔をＴ１とするように設定する。
一方、顔探索処理の結果、顔が未検知だった場合、顔探索間隔設定部４０２は、サンプリング間隔をＴ２とするように設定する。ここで、Ｔ１＜Ｔ２とする。
本発明の実施の形態に係る登録処理においては、例えばＴ１＝１、Ｔ２＝３として次フレームとして処理するフレームのフレーム番号は、現フレーム番号にサンプリング間隔を加算した値として求めることができる。

〔監視システムＸの登録処理〕
ここで、図１〜２を更に参照して本発明の実施の形態に係る監視システムＸを用いた登録処理についてより詳しく説明する。
監視システムＸを用いた登録処理においては、複数のフレームの画像について所定の画像部分に関する情報を登録する。すなわち、例えば、複数の画像データから顔画像を所定の画像部分として、この顔画像が検出されたフレームの画像を登録するのに要する演算処理を軽減し、処理時間を短縮することができる。
この際に、顔探索処理よりも処理時間が短い、人物等である登録の対象の映り込みによる画像の変化を検知する処理を顔探索処理の前に実行する。本発明の実施の形態に係る登録処理においては、上述の背景差分量を、所定の閾値との比較する背景差分処理等を行う。
そして、監視システムＸを用いた登録処理においては、背景差分量が閾値を越える場合、顔探索処理を実行する。この上で、画像の変化を検知する処理を実行せずに顔探索処理のみを実行するか、顔検索履歴を用いて顔探索処理を実行する時間間隔を変更する。すなわち、画像の変化量、顔検索履歴により登録処理を行うフレームのサンプリング間隔の変更を行う。
これにより、人が映っているシーンよりも人が映っていないシーンにおいて対象フレームの登録処理を行う間隔を大きくし、人が映っていないシーンの対象フレームを間引くことができる。よって、登録処理に要する時間を短縮できる。

この監視システムＸを用いた登録処理について、図２のフローチャートを用いて、以下で更に詳しく説明する。
なお、図２においては、従来技術１の登録処理の流れの図６と同じ番号のステップは同じ処理を行っているため、変更されたステップについて説明する。
ここで、図２においては、図６のステップに、ステップＳ５００〜５０６が加わっている。また、ステップＳ３１５に代わりステップＳ５０７を行う。

まず、ステップＳ５００において、録画装置４０３の顔探索間隔設定部４０２は、サンプリング間隔Ｔの初期値としてＴ２を設定する。
その後、顔探索間隔設定部４０２は、処理をステップＳ３０５に進める。

ステップＳ３０５においては、従来技術１の登録処理と同様に、録画装置４０３の制御部は、現フレーム番号に基づいて、画像記録部２０７から画像データを読み出す。
その後、制御部は、処理をステップＳ５０１に進める。

ステップＳ５０１において、録画装置４０３の顔探索間隔設定部４０２は、前フレームで顔を検知したかを顔探索結果の履歴である顔検索履歴から判定する。ここでは、前フレームで顔を検知している場合は、Ｙｅｓと判定し、背景差分処理を実行せずに、顔探索処理を実行する。それ以外の場合はＮｏと判定する。
Ｙｅｓ、すなわち前のフレームで顔を検知していた場合は、顔探索間隔設定部４０２は、処理をステップＳ５０４に進める。
Ｎｏ、すなわち顔が未検知の場合は、顔探索間隔設定部４０２は、処理をステップＳ５０２に進める。

ステップＳ５０２において、録画装置４０３の制御部は、現フレームを顔探索前処理部４０１に入力し、背景画像と当該フレームにおいて背景差分処理を実行する。
この背景差分処理としては、具体的には上述のように、複数のフレームの差分値を用いた背景画像と、現フレームの画素毎に明度等を減算する。この際に、単なる減算ではなく、正規化した後、対数明度を用いて指数部位のみ比較するといった方法を用いることもできる。また、差分の計算の際に、各種フィルタを用いてノイズ除去処理を行うこともできる。
その後、制御部は、処理をステップＳ５０３に進める。

ステップＳ５０３において、録画装置４０３の制御部は、現フレームについて、顔探索処理を実行する必要があるかを判定する。
制御部は、顔探索前処理部４０１により求められた背景差分量が閾値θよりも大きい場合は、顔探索処理を実行する、すなわちＹｅｓと判定とする。制御部は、反対に、背景差分量が閾値θよりも小さい場合は、実行しない、すなわち、Ｎｏと判定する。
Ｙｅｓの場合は、制御部は、処理をステップＳ５０４に進める。
Ｎｏの場合は、制御部は、処理をステップＳ５０７に進める。

ステップＳ５０４において、録画装置４０３の制御部は、顔検索／結果保存処理を行う。
具体的には、まず、制御部は、録画装置４０３の画像記録部２０７から画像データを読み出す。
その後、制御部は、読み出した画像データを顔探索部２１２に出力して顔探索を行わせ、その結果を取得して内部メモリに記憶する。
この上で、制御部は、顔探索処理結果を顔検索履歴（画像部分検索履歴）として記憶部に記憶する。
その後、制御部は、処理をステップＳ５０５に進める。

ステップＳ５０５において、顔探索間隔設定部４０２は、サンプリング間隔ＴとしてＴ１を設定する。
この上で、顔探索間隔設定部４０２は、処理をステップＳ３０７に進める。
その後は、ステップＳ３１２にて終了条件を満たした場合に、登録処理を終了する。

ステップＳ３０７において、録画装置４０３の制御部は、上述のステップＳ５０５において顔を検知したか判定する。
Ｙｅｓ、すなわち、検知した顔が１つ以上あれば、制御部は、処理をステップＳ３０８に進める。
Ｎｏ、すなわち、検知した顔が１つもなければ、制御部は、処理をステップＳ５０６に進める。

ステップＳ５０６において、録画装置４０３の制御部は、サンプリング間隔ＴとしてＴ２を設定する。
その後、制御部は、処理をステップＳ５０７に進める。

ステップＳ５０７において、録画装置４０３の制御部は、フレーム番号更新処理を行う。
具体的には、制御部は、現フレーム番号にサンプリング間隔Ｔを加算した値を新たな現フレーム番号とする。
この上で、録画装置４０３の制御部は、処理をステップＳ３０５に戻す。

〔本発明の実施の形態に係る登録処理の結果の比較〕
以上のように構成することで、顔探索に関する処理時間を少なくすることが可能になる。
本発明の効果として、顔探索に関する処理時間の短縮を図３、図４、図７を用いて、具体的に説明する。ここでは、従来技術１の登録処理において全フレームを対象として顔検索を行う場合と、本発明の実施の形態に係る登録処理においてフレームを間引いて顔検査を行う場合についての処理時間の概念的な比較について説明する。

〔比較例〕
図７の例を参照すると、従来の技術を用いて、全てのフレームに対して顔探索処理を行った場合に要する処理時間を比較例として示している。
各フレームの顔探索処理に関する処理時間については、黒色のバーとして示す。たとえば、処理時間６０１は、各フレームにおいて顔探索処理に要する処理時間の一つである。そして、それぞれのバーの長さを具体的な処理時間として示す。
この例の場合、図７に示すように、登録処理を行うフレーム数が２０フレームであり、１フレームについて５ｔ秒の処理時間が必要である。
つまり、全てのフレームに対して顔探索処理を実行すると顔探索に要する総処理時間は１００ｔ［秒］の時間を消費する。

〔実施例〕
ここで、図３を参照して、本発明の実施の形態に係る登録処理の実施例の各処理に係るフレームの種類について説明する。
フレーム１０１〜１２０が登録処理を行うフレームであるとすると：
・フレーム１０２、１０６，１１０、１１４は、背景差分処理を実行するフレームである。
・フレーム１１５、１１６は、背景差分処理と顔探索処理の両方を実行するフレームである。
・フレーム１１７〜１２０は、顔探索処理を実行するフレームである。
・フレーム１０１、１０３〜１０５、１０７〜１０９、１１１〜１１３が、フレーム間隔の設定によりスキップされる「間引き対象」のフレームである。

この上で、図４を参照して、本発明の実施の形態に係る登録処理を行った場合に要する顔検出処理の処理時間について説明する。
処理時間７０１は、間引いたフレームにおける処理時間であり、処理時間がないことを示す。
処理時間７０２は、背景差分処理を行ったフレームにおいて、背景差分処理に要した時間の一つである。
処理時間７０３は、背景差分処理と顔探索処理の両方を行ったフレームおいて背景差分処理と顔探索処理に要した時間の一つである。
処理時間７０４は、顔探索処理を行ったフレームにおいて背景差分処理と顔探索処理に要した時間である。

図４の例によると、背景差分処理のみを実行したフレーム数は４フレーム、間引かれたフレーム数は１０フレーム、背景差分処理と顔探索処理の両方を実行したフレーム数は２フレーム、顔探索処理のみを実行したフレーム数は４フレームである。
ここで、顔探索処理に要する処理時間７０４を５ｔ秒、背景差分処理に要する処理時間７０２をｔ秒、背景差分処理と顔探索処理に要する処理時間７０３を６ｔ秒とする。
これにより、計算すると、本発明の実施の形態に係る登録処理の総処理時間は、３６ｔ［秒］となる。
上述のように図７を参照すると従来の技術による登録処理の総処理時間は１００ｔ［秒］であるので、６４％の処理時間を削減することができるという効果が得られる。

以上のように構成することで、以下のような効果が得られる。
まず、従来の技術の監視システムＹにおいては、撮像装置で撮像された画像に対して常時、全ての画像に対して顔領域を探索する顔探索処理を行っていた。
しかしながら、撮像装置による、撮影方向、撮影範囲は、通常、固定されている。
また、監視カメラの監視画像においては、設置された場所、時間帯等により人が映る頻度が少ない画像がある。たとえば、立ち入り禁止区域内に監視カメラが設置されている場合や、人通りが多い場所に設置されている監視カメラでも夜間の画像の場合では、ほとんど人が映っていないことが多かった。
これらの監視画像において、人がそもそも映っていない画像に対する顔探索処理は不要である。つまり、画像に対して常時、顔領域を抽出する処理を行う必要はなかった。

これに対して、本発明の実施の形態に係る監視システムＸにおいては、人が映っていると期待される画像に対してのみ顔探索処理を実行し、人がそもそも映っていない画像に対する顔探索処理を省略する。
このために、本発明の実施の形態に係る監視システムＸによる登録処理においては、まず、撮影方向、撮影範囲を固定しておき、監視カメラにおいて人が映っていない画像から背景画像を作成する。そして、登録処理において、当該フレームと背景画像の差分を背景差分量として算出することができる。この上で、背景差分量を、所定の閾値と比較し、顔探索処理を実行するか決定する。
これにより、人が映っていないと判定される画像に対しては顔探索処理を行わない。すなわち、顔探索処理を人が映っていると期待される画像に対してのみ顔探索処理を行うことができるため、顔画像の特徴量登録に要する処理時間を短縮することができる。
よって、登録処理に要する時間を短縮し、ほぼリアルタイムで登録処理を実行することができる。

また、本発明の実施の形態に係る監視システムＸによる登録処理では、顔探索処理の結果を顔検索履歴として保持し、背景差分処理の実行判定に用いる。
つまり、前フレームで顔を検知した場合は現フレームに対する背景差分処理を省略することができる。
これにより、顔検知したフレームに対する処理時間について従来の処理時間よりも増加させずに、顔探索処理を行うことができる。

また、従来技術１の画像処理装置においては、等間隔の時間で顔探索処理を行っていた。
これに対して、本発明の実施の形態に係る監視システムＸによる登録処理では、顔探索処理の前処理として、背景差分処理を実施することで、人が映っていない画像に対する処理時間を短縮できる。
また、処理対象のフレームを間引くことにより一連の画像で処理時間を短縮させることができる。また、処理対象のフレームを間引くことにより顔探索処理時間の削減だけでなく対象フレームの録画装置からの読出し処理に要する時間も削減できる。
本発明の実施の形態に係る監視システムＸにおいては、このような登録処理時間の短縮により、リアルタイムに処理できる撮像装置の数を増やすことができる。

なお、本発明は、上述の実施の形態には限定されない。
たとえば、登録処理を録画装置４０３にて実行する構成にて説明したが、録画装置とは別の装置で実行する構成であってもよい。

また、本発明の実施の形態においては、上述のように１つの登録処理により顔検索と検索結果を送信するように説明した。
しかし、例えば、従来通りに常時顔探索を行う登録処理と、顔探索を常時行わない登録処理を各撮像装置で撮像した画像ごとに分けて用いてもよい。

また、本発明の実施の形態においては、本発明の処理の流れのみを説明したが、登録の対象の現フレーム番号から撮影時間帯により、登録処理の方法を変更することもできる。
たとえば、日中の時間帯の画像に対しては、従来通り常時顔探索を行う登録処理とすることができる。これにより、登録処理の誤差を少なくすることができる。
また、夜間の時間帯の画像に対しては、顔探索を常時行わない登録処理を用いてもよい。

また、本発明の実施の形態においては、事前に背景画像を作成するように説明したが、複数のフレームを処理するごとに背景画像を更新してもよい。
これにより、監視カメラの前に一定時間立ち止まっている人物に対する登録処理を省略することができる。

また、本発明の実施の形態においては、各撮像装置で映る人の領域サイズから背景差分量の閾値θを設定したが、背景画像と人が映っている複数の画像で背景差分を取り、顔が未検知だった画像での差分量の上限を閾値θとしてもよい。

また、本発明の実施の形態においては、サンプリング間隔をＴ１、Ｔ２の二種類としたが、背景差分量に従い、複数の値を用いてもよい。

また、本発明の実施の形態においては、背景差分処理を実行するかの判定として前フレームでの顔探索結果を用いたが、連続して未検出の場合や直近の複数フレームのうち所定のフレームで未検知であるなどの条件を用いてもよい。

また、本発明の実施の形態においては、顔画像の検出処理時間の短縮による類似顔画像の登録処理時間の短縮を示したが、検出する対象が顔でない場合でも、各種の物体検出技術を用いることで、特定の物体の類似画像検索システムにも全く同様に適用できる。すなわち、人物検索を対象に示したが、本発明は人物だけでなく一般的な画像検索にも適用できる。
たとえば、また本発明の実施の形態に係る監視システムＸは、ナンバープレートの検索や製品検査のようなシステムに適用可能である。

また、本発明の実施の形態においては、検索画像を、撮像装置２０１−１で撮影され録画装置４０３に記録された画像から選択する場合について示したが、例えば、撮像装置２０１−１とは異なる機器により撮影された画像とすることも可能である。

また、説明の簡略化のため、図１においては撮像装置２０１−１〜２０１−ｎに対して、録画装置４０３、監視端末２０３は各１台の構成で示したが、これらはネットワーク２００に対し、複数台の接続が可能である。

また本発明の実施の形態に係る監視システムＸにおいては、人物検索に関わる顔検出処理や画像特徴量算出処理等を録画装置４０３上で実行する構成にて示したが、ネットワーク２００で接続された録画装置４０３とは別の装置にて実行するようにしてもよい。

また本発明の実施の形態に係る監視システムＸにおいては、録画装置４０３で、登録処理によりサムネイル画像データを完全に作成してから監視端末２０３側に送信するような構成が可能である。
さらに、登録したサムネイル画像やフレーム番号等を、監視端末２０３側に逐次送信するように構成してもよい。

なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。

１０１〜１２０ フレーム
２００ ネットワーク
２０１−１〜２０１−ｎ 撮像装置
２０２、４０３ 録画装置
２０３ 監視端末
２０６、２１３ ネットワーク送受信部
２０７ 画像記録部
２０８ 画像配信部
２０９ 画像特徴量記録部
２１０ 画像特徴量抽出部
２１１ 画像類似度判定部
２１２ 顔探索部
２１４ 検索要求部
２１５ 検索結果表示部
２１６ 画像再生部
２１７ 登録要求部
４０１ 顔探索前処理部
４０２ 顔探索間隔設定部
６０１、７０１、７０２、７０３、７０４ 処理時間
Ｘ、Ｙ 監視システム

Claims (1)

1. 複数のフレームの画像について所定の画像部分に関する情報を登録する監視システムにおける画像処理方法において、
   前記複数のフレームの画像から、登録対象の映り込みによる画像の変化を画像変化量として検知するステップと、
   前記画像変化量に従い、前記画像部分を探索する処理を実行するかを判定するステップと、
   前記画像部分の検索結果を画像部分検索履歴として記憶するステップと、
   前記画像変化量として検知するステップを実行するかを前記画像部分検索履歴により判定するステップと、
   前記画像変化量及び／又は前記画像部分検索履歴の判定結果を用いてサンプリング間隔を変更するステップとを備える
   ことを特徴とする画像処理方法。

Images