JP2007158829A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】高精細監視カメラによる高精細監視画像から人の顔などの監視対象を所定の時間内にコマ落ちさせることなく抽出し、抽出した監視対象を高精細画像として表示する。
【解決手段】画像処理装置１は、カメラ２に接続され、カメラ２からの入力画像を記憶する画像記憶部１２と、抽出する特定画像を特徴付ける特徴パラメータを記憶する特徴パラメータ記憶部１３と、入力画像からその入力画像のすべての部分について所定の複数の大きさの画像を切り出し、その切り出した画像それぞれに対して、その切り出した画像が前記特徴パラメータによって特徴付けられる特定画像と同じ特徴を有するか否かを判定し、同じ特徴を有する場合には、その切り出した画像を抽出特定画像として抽出する特定画像抽出部１４と、入力画像の全体画像と抽出特定画像とを併せて表示装置３に表示する表示画像を生成する表示画像生成部１５とを備える。
【選択図】図１

Description

本発明は、高精細監視カメラによる監視画像の画像処理に好適な画像処理装置、画像処理方法およびプログラムに関する。

現在、ビルのエントランスや駐車場、工場や学校などの敷地の入口、大規模店舗やコンビニエンスストアなどの店舗内部などには、監視カメラが設けられ、施設の管理者や警備員などによってリアルタイムで人流監視などが行われ、同時にその監視画像が磁気テープや磁気ディスクなどの記憶媒体に記録される。このような監視の主な目的は、監視画像に現れる人物を移動体として捉え、その動線を追跡するとともに、その人物が誰であるかを同定することにある。すなわち、リアルタイムの監視画像により不審者のチェックが行われたり、近隣で事件が発生したときなどには、過去に記録された画像により、犯罪者の発見や確認などに利用されたりしている。

ところで、近年、監視カメラがデジタル化、高精細化（例えば、６００万画素）されたことにより、より広範囲を監視することが可能になり、しかも、人の顔の特徴や表情などをきめ細かく捉えることができるようになった。一方、こうした高精細監視カメラの撮像能力は、通常の表示装置の表示能力を超えるため、そのままでは撮像された監視画像全体を表示することができない。そこで、全体の監視画像を１画面に表示するには、解像度を落として表示せざるを得ない。低解像度の表示では、人の顔の特徴や表情などをきめ細かく表現することはできない。

そのため、例えば、不審者を見つけたり、見つけた不審者を追跡したりする場合には、不審者の顔などを含む部分を、適宜、高解像度の画像に戻して表示する必要がある。しかしながら、その画像を高解像度に戻すには、表示領域を指定する必要がある。高解像度に表示すべき人物などは、監視画像内を刻々と移動するため、その操作を手動で行うのは、事実上、困難である。

そこで、このような問題を解決するために、例えば、非特許文献１には、全体を監視するための親カメラに加えて、部分を詳細に監視する子カメラを配置し、子カメラによって特定の画像部分（例えば、ある人物画像）をズームして撮像するとともに、その特定の画像部分を追尾する監視カメラシステムの例が開示されている。また、監視画像の中で人物などを追尾するためには、人の顔などを自動的に検出することが必要となるが、非特許文献２および非特許文献３には、コンピュータによって監視画像の中から人の顔を検出する計算方法の例が開示されている。
伊藤他１名、「広域監視用親カメラと追尾監視用子カメラによる協調監視システム」、画像の認識理解シンポジウム２０００、社団法人電子情報通信学会、２０００年７月１８日、p.II 229〜p.II 234 数井他２名、「周辺増分符号を用いた顔検出に関する検討」、ビジョン技術の実利用ワークショップ２００４、社団法人精密工学会、２００４年１２月２日 Paul Viola他１名，"Rapid object detection using a boosted cascade of simple features"，Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，IEEE Computer Society，2001年，p.I 511〜p.I 518

非許文献１に開示されている監視システムにおいては、追尾対象の数だけ子カメラが必要となる。そのため、多数の人が通過または出入するような場所での監視システムに適用しようとすると、多数の子カメラを設置しなければならない。その場合には、システムのコストがかさむことにもなり、また、現実には、その設置スペースの確保が困難になるなどの問題も生じる。結局、子カメラを監視対象の数ほど設けることができない場合には、監視漏れが生じることになるか、あるいは、監視員がリアルタイムで監視対象を手動で選択することが必要となる。

また、高精細の監視画像の中からコンピュータによって多数の人の顔などの追尾対象を自動的に抽出する場合には、処理対象領域が広く、また、追尾対象も多数になるために、その抽出処理時間が大きくなるという問題が生じる。その場合には、所定の時間間隔で入力される監視画像に対し、抽出処理が間に合わず、監視画像のコマ落ちを生じることことがあり得る。監視画像にコマ落ちが生じると、監視見落としの原因にもなりかねない。

なお、高精細カメラは、現実には、監視用カメラとしては未だ使用されておらず、従って、高解像度の監視画像を表示能力の低い表示装置にどのように表示し、その表示した画像をどのように監視に活かすかについては、従来から何らの提案もされていない。

以上の従来技術の問題点に鑑み、本発明の目的は、高精細監視カメラによって得られる高精細監視画像から人の顔などの監視対象を、所定の時間内にコマ落ちさせることなく抽出し、抽出した監視対象を高精細画像として表示することが可能な画像処理装置、画像処理方法およびプログラムを提供することにある。

本発明の画像処理装置は、監視カメラおよび表示装置に接続され、前記監視カメラから入力される入力画像を含む画像を記憶する画像記憶手段と、前記入力画像から抽出する特定画像を特徴付ける特徴パラメータを記憶する特徴パラメータ記憶手段と、前記画像記憶手段に記憶された入力画像からその入力画像のすべての部分について、所定の複数の大きさの画像を切り出し、その切り出した画像それぞれに対して、その切り出した画像が前記特徴パラメータによって特徴付けられる前記特定画像と同じ特徴を有するか否かを判定する特徴判定処理を実行し、その特徴判定処理により前記特定画像と同じ特徴を有する判定された前記切り出した画像を、抽出特定画像として抽出する特定画像抽出手段と、前記入力画像の全体画像と前記抽出特定画像とを併せて、前記表示装置に表示するための表示画像を生成する表示画像生成手段とを備えることを特徴とする。

本発明によれば、抽出しようとする特定画像の特徴を特徴パラメータで表わし、その特徴パラメータに基づき、入力される監視画像から切り出した画像が特定画像と同じ特徴を有しているか否かを判定する。従って、抽出しようとする特定画像として、例えば、単に、人の顔というだけでなく、男の顔、女の顔、子供の顔、眼鏡をかけた顔など色々なものを容易に設定することができるようになる。また、本発明の画像処理装置では、監視画像の全体画像と抽出した特定画像とを同じ表示装置に表示する表示画像を生成する。従って、その表示画像の監視者は、その表示画像を表示装置で見ることにより、監視画像の全体が表わす事象の概要または要点を掴みつつ、特定画像として抽出される注目事象を個別的に詳しく知ることができるようになる。

また、前記の本発明の画像処理装置においては、前記特徴パラメータ記憶手段は、前記特定画像についての前記特徴パラメータを複数組記憶し、前記特定画像抽出手段は、前記特徴パラメータ記憶手段に記憶された前記複数組の特徴パラメータそれぞれに対して、前記特徴判定処理を実行し、その実行した全ての特徴判定処理において、前記切り出した画像が前記特定画像と同じ特徴を有すると判定された場合には、前記切り出した画像を抽出特定画像として抽出する。

本発明によれば、画像処理装置は、複数組の特徴パラメータで表わされた特定画像との間で特徴判定処理を行うので、多面的な観点で捉えた特徴によって特定画像を抽出することができるようになる。

また、前記の本発明の画像処理装置は、前記特定画像抽出手段が前記複数組の特徴パラメータ全てに対する前記特徴判定処理が終了する前に、あらかじめ定められた所定の制限時間が経過した場合には、そのときまでに実行した前記特徴判定処理の処理結果に基づき、前記抽出特定画像を抽出することを特徴とする。

本発明によれば、画像処理装置は、特徴判定処理に時間が掛かり、あらかじめ定められた所定の制限時間が経過した場合には、それまで実行した特徴判定処理の結果に基づき、特定画像の検出／非検出を判断する。従って、所定の時間ごとに次々に監視画像入力されるような場合にも、コマ落ちさせることなく抽出した特定画像を表示することができるようになる。

また、前記の本発明の画像処理装置は、前記複数組の特徴パラメータに対する前記特徴判定処理について、その処理の優先度を設定する特徴判定処理制御手段をさらに備え、前記特定画像抽出手段が前記設定された優先度に従って前記複数組の特徴パラメータ対する前記特徴判定処理を実行することを特徴とする。

さらに、前記の本発明の画像処理装置は、前記特徴判定処理の処理経過情報を記憶する処理経過情報記憶手段をさらに備え、前記特徴判定処理制御手段は、前記特定画像抽出手段が前記複数組の特徴パラメータ全てに対する前記特徴判定処理が終了する前に、前記所定の制限時間が経過し、前記抽出特定画像を抽出した場合には、前記特徴判定処理が未処理であることを示す前記特徴パラメータの識別情報を前記処理経過情報記憶手段に格納し、また、前記特定画像抽出手段が、前記所定の制限時間に対して余裕時間を残して、前記複数組の特徴パラメータ全てに対する前記特徴判定処理を終了した場合には、前記処理経過情報記憶手段をから前記未処理であることを示す前記特徴パラメータの識別情報を読み出し、前記読み出した識別情報によって識別される前記特徴パラメータに対する前記特徴判定処理を、特定画像抽出手段に実行させることを特徴とする。

これらの発明によれば、画像処理装置は、前記複数組の特徴パラメータに対する特徴判定処理の優先度を設定するとともに、その優先度に従って特徴判定処理を実行する。さらに、その特徴判定処理の処理時間が不足した場合には、その処理の経過情報をいったん処理経過情報記憶手段に格納しておき、処理時間に余裕があるときにその残りの処理を実行する。従って、監視画像をリアルタイムで監視しているときには、その表示装置には抽出された特定画像がコマ落ちせずに表示され、また、監視画像をオフライン的に使用するときには、その表示装置には精度よく抽出された特定画像が表示されるようになる

また、前記の本発明の画像処理装置は、前記表示画像生成手段が次のような表示画像を生成することを特徴とする。（１）前記入力画像の全体画像を、前記表示画像の中に画質を低下させた縮小全体画像として生成する。（２）前記抽出特定画像を前記縮小全体画像の外側に配置した表示画像を生成し、さらに、前記縮小全体画像の中で前記抽出特定画像が抽出された部分とその外側に配置された前記抽出特定画像とを結ぶ引き出し線を生成する。（３）前記縮小全体画像を、前記表示画像の中で斜め前方を向けて配置されたスクリーンに投影したように生成する。（４）前記抽出特定画像を、前記縮小全体画像の中で前記抽出特定画像が抽出された部分の位置に配置する。

これらの発明によれば、画像処理装置は、監視画像の全体画像を低画質化して縮小した縮小全体画像と抽出した特定画像とを同じ表示装置に表示する表示画像を生成する。従って、高精細カメラで取得した高解像度の監視画像を表示能力の低い表示装置でも表示できるようになる。また、このとき、縮小全体画像において特定画像を抽出した部分と、その部分の抽出画像とは、引き出し線などで対応付けられて表示されるので、監視画像の監視者は、抽出された特定画像の細部を観察することができるとともに、その特定画像の監視画像内での動きなども知ることができるようになる。

なお、本発明は、以上の画像処理装置における画像処理方法およびプログラムを含む。

以上、本発明によれば、監視画像をコマ落ちすることなく表示し、監視画像の全体画像を表示することができ、かつ、人の顔など監視に重要な画像部分については、高解像度の画像を表示することができる。

（第１の実施形態）
以下、本発明の第１の実施形態について、適宜、図１〜図８を参照しながら詳細に説明する。

図1は、本発明の第１の実施形態に係る画像処理装置の構成の例を示した図である。図1に示すように、画像処理装置１は、監視カメラ２と表示装置３とに接続され、画像入力部１１、画像記憶部１２、特定画像特徴パラメータ記憶部１３、特定画像抽出部１４、表示画像生成部１５、画像出力部１６などを含んで構成される。

画像入力部１１は、監視カメラ２から送られる画像信号を受信し、画像信号がアナログ信号の場合には、Ａ／Ｄ（Analog to Digital）変換装置を用いてデジタル信号に変換し、変換後の画像データを画像記憶部１２に格納する。また、画像信号がデジタル信号の場合には、監視カメラ２との通信処理、エラー訂正などを行った後、その画像データを画像記憶部１２に格納する。なお、監視カメラ２は、ハイビジョン仕様などの高解像度の高精細カメラであるとする。

画像記憶部１２は、画像入力部１１によって監視カメラ２から入力された画像データを記憶するとともに、特定画像抽出部１４および表示画像生成部１５の要求に応じて、格納された画像データを読み書きし、適宜、画像データの全部または一部を変更または追加する。なお、本明細書では、誤解の恐れがない場合には、「画像データ」を単に「画像」ということがある。

特定画像特徴パラメータ記憶部１３は、特定画像、つまり、監視対象、例えば、人の顔などを検出するために必要となる特徴パラメータを記憶する。この特定画像特徴パラメータは、画像処理装置１を稼働させる前に、所定の教師データと学習プログラムとによりあらかじめ算出され、特定画像特徴パラメータ記憶部１３に格納される。

特定画像抽出部１４は、画像記憶部１２に格納されている監視カメラ２から入力された画像データの任意のすべての領域について、特定画像特徴パラメータ記憶部１３に記憶されている特定画像特徴パラメータを用いて特定画像と同様の特徴を有する画像であるか否かを判定し、特定画像と同様の特徴を有する画像であった場合には、その画像データを抽出して、画像記憶部１２に格納する。なお、特定画像抽出部１４の処理の詳細については、後記する。

表示画像生成部１５は、表示装置３の表示画面に監視カメラ２から入力された画像の全体画像を表示できるように、その解像度を落とした縮小画像を生成する。そして、その全体画像の縮小画像と特定画像抽出部１４によって抽出された特定画像と同様の特徴を有する画像とを表示装置３の表示画面に併せて表示するための表示画像を生成する。なお、その表示画像の例については、図２を用いて詳しく後記する。

画像出力部１６は、表示画像生成部１５によって生成された表示画像データを所定のインターフェース仕様に基づき、表示装置３へ出力する。ここで、表示装置３は、ＬＣＤ（Liquid Crystal Display）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどであり、その表示能力（画素数など）は、できるだけ高い方が好ましいが、そうでなくても構わない。

以上に説明した画像処理装置１は、図示しない演算装置などからなるＣＰＵ（Central Processing Unit）と、半導体メモリやハードディスク記憶装置などからなる記憶装置とを含んで構成されたコンピュータによって構成される。その場合、画像記憶部１２、特定画像特徴パラメータ記憶部１３の実体は、前記記憶装置の一部に割り当てられた記憶領域であり、また、特定画像抽出部１４、表示画像生成部１５は、前記ＣＰＵが前記記憶装置に格納されている所定のプログラムを実行することによって実現される。また、画像入力部１１および画像出力部１６は、入力または出力インターフェース回路と、その回路を駆動・制御するプログラムをＣＰＵが実行することとによって実現される。

図２は、本発明の第１の実施形態に係る画像処理装置によって表示装置に表示される表示画像の例を示した図である。図２に示すように、表示装置３の画面に表示される表示画像３１は、監視カメラ２から入力された高解像度の監視画像の全体画像を低解像度化して縮小した縮小全体画像３２と、特定画像抽出部１４によって抽出された特定画像３３とが表示される。このとき、縮小全体画像３２は、表示画像３１のほぼ中央に配置され、抽出された特定画像３３は、縮小全体画像３２の周囲に配置される。また、抽出された特定画像３３は、低解像度化しないで表示する。なお、ここでいう「特定画像３３を低解像化しない」という意味は、「縮小全体画像３２ほどは低解像度化しない」ことを意味し、特定画像３３は、監視の目的に応じて実用的な範囲で、適宜、低解像度化してもよい（以下、本明細書において同じ）。

ちなみに、図２では、抽出対象の特定画像は人の顔であり、従って、監視画像の全体画像の中から人の顔が抽出され、その抽出された人の顔、つまり、抽出された特定画像３３は、低解像度化されずに、縮小全体画像３２の周囲に表示される。そのため、監視員は、低解像度化されずに表示された人の顔により、監視の用に耐え得る程度にきめ細かくその特徴や表情などを捉えることができる。

また、図２では、特定画像３３（人の顔）と縮小全体画像３２の中の人物の顔部とを結ぶ引き出し線３４が表示され、抽出された人の顔が縮小全体画像３２の中のどの人物のものであるか、容易に分かるようにされている。また、図２の表示装置３に表示する表示画像３１には、監視画像の縮小全体画像３２が併せて表示されるので、所定時間ごとにその表示画像３１を参照すれば、それぞれの人物の動線を監視することもできる。

なお、図２には、特定画像抽出部１４における特定画像の誤検出によるノイズとして抽出された例として、家の軒下や人の足が抽出された例も示されている。

次に、図３〜図８を参照して、特定画像抽出部１４が実行する特定画像抽出処理の詳細について説明する。ここで、図３は、本発明の第１の実施形態に係る特定画像抽出処理の流れの例を示した図、図４は、特定画像抽出処理において検出対象領域を移動させる順序の例を示した図、図５は、特定画像抽出処理において検出対象領域の拡大率を変更する例を示した図である。

特定画像抽出部１４は、特定画像抽出処理おいて、画像記憶部１２に格納されている監視カメラ２から入力された入力画像からある領域を特定画像検出対象領域として切り出し、その切り出した画像の特徴があらかじめ設定された特定画像（例えば、人の顔）と同じ特徴を有するか否かを判定し、同じ特徴があると判定した場合には、その切り出した画像を抽出特定画像として画像記憶部１２に格納する。

図３に示すように、特定画像抽出部１４における特定画像抽出処理は、画像入力部１１が監視カメラ２から画像データを入力し、その画像データを画像記憶部１２に格納したときに開始される。そして、その特定画像抽出処理が開始されると、特定画像抽出部１４（つまり、画像処理装置１の図示しないＣＰＵ）は、まず、入力画像のうち特定画像を検出するための検出対象領域４２（図４参照）を初期設定する（ステップＳ１１）。検出対象領域４２は、図４に示すように、所定の大きさで、例えば、入力画像４１の左上部の端に設定される。

検出対象領域４２が設定されると、初回だけステップＳ１２〜Ｓ１４をスキップして、その検出対象領域４２の画像を切り出して、特定画像検出処理を実行する（ステップＳ１５）。なお、特定画像検出処理については、別途、図７および図８を用いて詳しく説明する。

設定された検出対象領域４２について特定画像検出処理が終了すると、次に、入力画像の他の領域に検出対象領域４２を再設定する。ここでは、検出対象領域４２の再設定は、図４に示すように、検出対象領域４２を横軸方向に少しずつ移動させ、その移動を検出対象領域４２が右端に達するまで繰り返す（横軸方向スキャン）。さらに、ひとつの横軸方向スキャンが終了すると、検出対象領域４２の縦軸位置を下方へ少し移動させ、横軸方向スキャンを繰り返し行うとともに、検出対象領域４２の縦軸位置が入力画像４１の最下位位置に達するまで繰り返す（縦軸方向スキャン）。

すなわち、図３において、特定画像抽出部１４は、特定画像検出処理が終了した後、全ての横軸位置について特定画像検出処理が終了したか否かを判定し（ステップＳ１６）、その処理が全ての横軸位置について終了していなかった場合には（ステップＳ１６でＮｏ）、ステップＳ１４へ戻り、検出対象領域４２を横軸方向に移動させ（ステップＳ１４）、再度、特定画像検出処理を実行する（ステップＳ１５）。また、全ての横軸位置について特定画像の出処理が終了した場合には（ステップＳ１６でＹｅｓ）、全ての縦軸位置について特定画像検出処理が終了したか否かを判定する（ステップＳ１７）。そして、その判定の結果、全ての縦軸位置について特定画像検出処理が終了していなかった場合には（ステップＳ１７でＮｏ）、ステップＳ１３へ戻り、検出対象領域４２を縦軸方向に移動させ（ステップＳ１３）、再度、ステップＳ１４〜ステップＳ１６を実行する。また、ステップＳ１７の判定の結果、全ての縦軸位置についてステップＳ１４〜ステップＳ１６の実行が終了した場合には（ステップＳ１７でＹｅｓ）、当該大きさでの検出対象領域４２の横軸方向スキャンと縦軸方向スキャンとそれぞれの位置での特定画像検出処理が終了したことになる。

そこで、次には、図５に示すように、検出対象領域４２を少しずつ拡大または縮小して、その各々の拡大率の検出対象領域４２について、検出対象領域４２を横軸方向スキャンと縦軸方向スキャンを繰り返しながら特定画像検出処理を実行する。

すなわち、特定画像抽出部１４は、ある大きさの検出対象領域４２について横軸方向スキャンと縦軸方向スキャンとそれぞれの位置での特定画像検出処理が終了すると（ステップＳ１７でＹｅｓ）、続けて、全ての拡大率について特定画像検出処理が終了したか否かを判定し（ステップＳ１８）、特定画像検出処理が全ての拡大率について終了していなかった場合には（ステップＳ１８でＮｏ）、ステップＳ１２へ戻り、検出対象領域４２の拡大率を変更し（ステップＳ１２）、再度、ステップＳ１２〜ステップＳ１７を実行する。また、特定画像検出処理が全ての拡大率について終了していた場合には（ステップＳ１８でＹｅｓ）、特定画像抽出処理を終了する。

なお、ここで、検出対象領域４２の拡大率は、入力画像４１が収容可能な全ての拡大率を設定する必要はなく、入力画像４１に撮像される特定画像の大きさを考慮した上で、実用的な範囲の拡大率が設定できればよい。また、検出対象領域４２の設定を、ここでは、横軸方向の移動→縦軸方向の移動→拡大率の変更という順序で行っているが、その順序はこれに限られるものではない。ちなみに、図６は、検出対象領域の設定を、拡大率の変更→横軸方向の移動→縦軸方向の移動の順序で行ったときの特定画像抽出処理の流れの例を示した図である。

図６に示した処理の流れと、図３に示した処理の流れの相違は、拡大率を変更する処理（ステップＳ１２）と、全ての拡大率について特定画像検出処理が終了したか否かを判定する処理（ステップＳ１８）が、ステップＳ１４とステップＳ１６との繰り返し処理の内側に入れられた点にある。こうしたことにより、検出対象領域４２の設定は、拡大率の変更→横軸方向の移動→縦軸方向の移動の順序で行われる。

なお、原理的には、検出対象領域４２の設定の順序を変えることによって、その特定画像の抽出結果が変わるものではない。ただ、現実には、領域設定の移動ステップ量や拡大率のステップ量などのために抽出結果が微妙に変わることもあるが、大きくは変わらないとみなして差し支えない。

次に、図３における特定画像検出処理の詳細について、図７および図８を用いて詳しく説明する。ここで、図７は、本発明の第１の実施形態に係る特定画像検出処理の流れの例を示した図、図８は、画像の特徴抽出に用いられるHaar-Wavelet-like基底の例を表わした図である。

本実施形態に係る特定画像検出処理は、図７に示すように、特徴量算出部１４２と特徴識別部１４３とを単位処理として、これらの単位処理を多段に積み重ねて構成された特定画像判定処理部１４１を含んで構成される。以下、特徴量算出部１４２と特徴識別部１４３とからなる単位処理を特徴判定処理部１４４と呼ぶ。従って、図７の場合、初段の特徴判定処理部１４４はＦ１０１とＣ１０１とで構成され、２段目の特徴判定処理部１４４はＦ１０２とＣ１０２と構成され、３段目の特徴判定処理部１４４はＦ１０３とＣ１０３とで構成される。すなわち、図７の場合、特定画像は、３回の特徴判定処理に行うことによって検出される。なお、図７では、特徴判定処理部１４４の積み重ね数は３段であるが、１段以上であれば何段であってもよい。

特徴量算出部１４２は、（式１）で与えられる特徴量Ｆ_ｊを算出する。

（式１）において、ｊは、特徴量算出部１４２（つまり、特徴判定処理部１４４）の識別番号である。図７のように特徴判定処理部１４４が積み重ねられている場合には、積み重ねられている特徴判定処理部１４４の上から順番を、そのまま、その識別番号としてもよい。また、Ｓ_i,whiteおよびＳ_i,blackは、それぞれ、識別番号がｉのHaar-Wavelet-like基底（図８参照）における白の領域および黒の領域であることを示し、α_ｊ,ｉは、識別番号がjの特徴量算出部１４２において識別番号がｉのHaar-Wavelet-like基底に対する特定画像の特徴を表わすパラメータである。また、Ｉ_x,yは、検出対象領域の中での座標位置（x,y）における輝度値を表わしている。

なお、Haar-Wavelet-like基底は、図８に示すように、白色領域と黒色領域とで構成される、例えば、１４個の基本図形の画像であり、人の顔など抽出対象となる特定画像の特徴を表わすのに用いられる。ここで、図８のHaar-Wavelet-like基底（１４個の基本図形の画像）のそれぞれには、識別番号ｉ（ｉ＝１，…，１４）が付されているものとする。なお、Haar-Wavelet-like基底については、前記の非特許文献３に詳しい説明が記載されている。

そこで，本実施形態においては、抽出しようとする特定画像がHaar-Wavelet-like基底に基づくパラメータの組（α_ｊ,１，α_ｊ,２，…，α_ｊ,１４）によって特徴付けられるものとしている。このとき、人の顔などあいまいさを有する特定画像の特徴を表わすには、通常、複数のパラメータの組（α_ｊ,１，α_ｊ,２，…，α_ｊ,１４）（ｊ＝１，…，Ｎ）が必要とされ、その各々のパラメータの組は、図７における特徴量算出部１４２それぞれに対応付けられる。ここで、Ｎは、パラメータの組の数、または、特定画像判定処理部１４１に含まれる特徴量算出部１４２の数である。

次に、特徴識別部１４３は、（式２）を計算し、その結果に基づき、検出対象領域の画像が特定画像と同じ特徴を有しているかを否か判定する。

ここで、θ_ｊは、識別番号がjである特徴量算出部１４２と対になっている特徴識別部１４３にあらかじめ設定された閾値である。（式２）によれば、Objectの値は、特徴量算出部１４２が算出した特徴量Ｆ_ｊが閾値θ_ｊ以上である場合には１となり、小さい場合には０となる。そして、特徴識別部１４３は、Objectの値が１のとき、検出対象領域の画像は特定画像と同じ特徴を有していると判定し、一方、Objectの値が０のとき、検出対象領域の画像は特定画像と同じ特徴を有していない、つまり、検出すべき特定画像でないと判定する。

以上のようにして、特徴判定処理部１４４（特徴量算出部１４２および特徴識別部１４３）は、その特徴判定処理部１４４に対応付けられた特定画像の特徴を表わすパラメータの組（α_ｊ,１，α_ｊ,２，…，α_ｊ,１４）と閾値θ_ｊ（ｊ＝１，２，…）とを用いて、検出対象領域の画像が特定画像と同じ特徴を有するか否かを判定する。ちなみに、図７では、特徴識別部１４３の菱形のブロック（C１０１，C１０２，C１０３）から右側へ出る矢印は、特定画像と同じ特徴を有すると判定されたことを意味し、下側へ出る矢印は、特定画像と同じ特徴を有しないと判定されたことを意味する。

すなわち、特定画像判定処理部１４１は、その中に含まれる全ての特徴判定処理部１４４が、つまり、全ての特徴識別部１４３（C１０１，C１０２，C１０３）が「検出対象領域の画像は特定画像と同じ特徴を有する」と判定した場合には、「特定画像を検出」と判定する。また、特徴識別部１４３（C１０１，C１０２，C１０３）のいずれかが「検出対象領域の画像は特定画像と同じ特徴を有しない」と判定した場合には、「特定画像を非検出」と判定する。

以上により、特定画像判定処理部１４１が「特定画像を検出」と判定した場合には、特定画像抽出部１４は、当該検出対象領域の画像を抽出特定画像として抽出し、その抽出した抽出特定画像を画像記憶部１２へ格納し、特定画像判定処理部１４１の処理を終了する。また、特定画像判定処理部１４１が「特定画像を非検出」と判定した場合には、そのまま特定画像判定処理部１４１の処理を終了する。

なお、以上の処理において使用されるパラメータの組（α_ｊ,１，α_ｊ,２，…，α_ｊ,１４）および閾値θ_ｊ（ｊ＝１，…，Ｎ）は、特定画像判定処理部１４１の処理が実行される前に、あらかじめ、所定の学習プログラムおよび教師データなどによって算出され、その算出された値が特定画像特徴パラメータ記憶部１３に格納されているものとする。

その後、表示画像生成部１５（図１参照）は、以上のようにして抽出され、画像記憶部１２に格納された特定画像３３を、図２に示したような表示画像として表示装置３に、前記の縮小全体画像３２と併せて表示する。

以上、本発明の第１の実施形態によれば、例えば、監視用などの監視カメラ２から入力された入力画像の中から人の顔などの特定画像をコンピュータにより自動的に抽出し、その抽出した人の顔などの抽出特定画像を、入力画像の縮小全体画像の周囲に低解像度化せずに表示する。そのため、表示された人の顔などの特定画像からその特徴や表情などを捉えることができ、また、ある特徴をもった人の顔などの特定画像の動き、つまり、動線を監視画像全体の中で捉えることができるようになる。

（第２の実施形態）
以下、図９〜図１２を参照して本発明の第２の実施形態について説明する。

図９は、本発明の第２の実施形態に係る画像処理装置の構成の例を示した図である。図９に示すように、第２の実施形態に係る画像処理装置１ａの構成は、第１の実施形態に係る画像処理装置１（図１参照）の構成に対し、特徴判定処理制御部１７および処理経過情報記憶部１８が追加されたものになっている。すなわち、第２の実施形態は、特徴判定処理制御部１７および処理経過情報記憶部１８の部分を除けば、第１の実施形態と同じ構成である。そこで、第２の実施形態の構成で第１の実施形態と同じ構成要素には同じ符号を付し、その説明を省略する。

特徴判定処理制御部１７は、特定画像抽出部１４が実行する特定画像判定処理部１４１（図７参照）の処理量を制御する。また、処理経過情報記憶部１８は、特徴判定処理制御部１７が特定画像判定処理部１４１の処理量を制御するために、その処理を中断した場合の処理の経過情報を記憶する。

本実施形態においては、監視カメラ２からリアルタイムで所定時間ごとに監視画像が入力され、その入力画像から所定の特定画像を抽出する。従って、特定画像の抽出処理は、その所定時間内に行う必要がある。ところが、特定画像判定処理部１４１において特徴量算出部１４２と特徴識別部１４３とからなる特徴判定処理部１４４が多段に積み重ねられている場合、さらには、入力画像に多数の抽出対象となる特定画像が存在する場合には、特定画像の抽出に時間が掛かり、入力画像の全領域について特定画像の抽出を、前記所定時間内に行うことができない場合がある。そこで、特徴判定処理制御部１７は、特定画像抽出部１４が実行する特定画像判定処理部１４１の処理量を減らして、入力画像の全領域について特定画像の抽出ができなくなる不都合を解消する。以下、その詳細について説明する。

第１の実施形態で説明したように特定画像判定処理部１４１は、抽出しようとする特定画像を特徴付けるパラメータの組（α_ｊ,１，α_ｊ,２，…，α_ｊ,１４）およびその閾値θ_ｊを特定画像特徴パラメータ記憶部１３から読み出し、そのパラメータに対応付けられた特徴判定処理部１４４をそれぞれのパラメータの組ごとに実行することにより、特定画像の検出／非検出を判定する。

ここで、注意すべきことは、それぞれのパラメータの組に対応付けられた特徴判定処理部１４４は、特定画像を検出する能力もその処理時間もそれぞれに異なることである。また、第１の実施形態では、特定画像判定処理部１４１において積み重ねられた特徴判定処理部１４４をすべて実行することによって特定画像の検出／非検出を判定するとしたが、第２の実施形態では、積み重ねられた全ての特徴判定処理部１４４を実行しなくても、実行した特徴判定処理部１４４の判定結果の範囲内で特定画像の検出／非検出を判定する。この場合には、特定画像の検出ができないのではなく、特定画像の検出能力が低下するだけである。

そこで、特徴判定処理制御部１７は、特定画像判定処理部１４１における特徴判定処理部１４４の処理時間や検出能力を評価し、その評価に基づき、あらかじめ定められた所定の制限時間内に効率よく特定画像を検出できるように、その処理の優先度や処理数などを定める。

また、特徴判定処理制御部１７は、特定画像抽出処理における特徴判定処理部１４４の進捗管理を行う。その進捗管理において、特定画像判定処理部１４１における全ての特徴判定処理部１４４の処理が終了する前に、所定の制限時間が経過した場合には、その時点までに実行した特徴判定処理部１４４の判定結果に基づき、特定画像の検出／非検出を判定する。また、さらに、特定画像判定処理部１４１における特徴判定処理部１４４の処理の経過情報（処理済／未処理などの情報）を処理経過情報記憶部１８に格納する。一方、特定画像判定処理部１４１における全ての特徴判定処理部１４４の処理が終了したとき、所定の制限時間が経過するまでに余裕時間がある場合には、処理経過情報記憶部１８に格納されている未処理の特徴判定処理部１４４の処理を実行する。

図１０は、本発明の第２の実施形態に係る画像処理装置における特定画像抽出処理の状態遷移の例を示した図である。図１０において、黒丸は開始状態を、二重黒丸は終了状態を表す。まず、画像処理装置１ａは、監視カメラ２からの入力信号にトリガされて、画像入力状態（Ｓ２１）に遷移し、画像入力部１１は、監視カメラ２から入力される画像データを入力し、入力した画像データを画像記憶部１２に格納する。

画像記憶部１２への入力画像データの格納が終了すると、画像処理装置１ａは、画像処理状態（Ｓ２２）へ遷移する。画像処理状態（Ｓ２２）では、画像処理装置１ａは、入力画像に対する所定の特定画像抽出処理が終了するまで、または、所定の制限時間が経過するまで、処理計画状態（Ｓ２３）と処理実行状態（Ｓ２４）とをそれぞれの処理が終了するごとに交互に遷移する。

画像処理装置１ａの特徴判定処理制御部１７は、処理計画状態（Ｓ２３）の処理として、特定画像判定処理部１４１の特徴判定処理部１４４それぞれについて、その処理時間と特定画像の検出能力とを評価し、次にどの特徴判定処理部１４４を優先的に実行するかなどを計画する。また、特定画像抽出部１４は、処理実行状態（Ｓ２４）の処理として、処理計画状態（Ｓ２３）において計画された処理の実行計画に基づき、特定画像判定処理部１４１の所定の処理を実行する。なお、処理計画状態（Ｓ２３）における処理内容については後記する。

特定画像抽出部１４は、処理実行状態（Ｓ２４）の処理が終了する前であっても、所定の制限時間が経過した場合には、特定画像判定処理部１４１の処理を終了して、バッチ登録状態（Ｓ２５）へ遷移する。そして、バッチ登録状態（Ｓ２５）では、未処理の特定画像判定処理部１４１の処理を後で再開できるように、その処理の経過情報を処理経過情報記憶部１８のバッチ処理テーブルに登録し（図１１参照）、当該検出対象領域の画像に対する特定画像判定処理部１４１の所定の処理を終了する。

図１１は、本発明の第２の実施形態に係るにバッチ処理テーブルの構成の例を示した図である。図１１において、画像データ番号は、検出対象領域の画像データを識別する番号である。そして、バッチ処理テーブルには、その画像データ番号に対応するように、その画像データに対する特定画像判定処理部１４１の処理の終了した処理内容、残りの処理内容、処理完了までの予測時間などの情報が格納される。

再び、説明を図１０に戻す。処理実行状態（Ｓ２４）において所定の処理が終了したとき、つまり、処理計画状態（Ｓ２３）において計画された特定画像判定処理部１４１の処理がすべて終了した時点で、所定の制限時間までにまだ余剰時間があった場合には、画像処理装置１ａは、登録済みタスク取り出し状態（Ｓ２６）に遷移する。登録済みタスク取り出し状態（Ｓ２６）において、画像処理装置１ａは、特定画像抽出部１４は、処理経過情報記憶部１８のバッチ処理テーブルから、登録済みバッチ処理タスクの１つを取り出し、処理実行状態（Ｓ２２）へ遷移する。そして、処理実行状態（Ｓ２２）では、取り出した登録済みバッチ処理タスクを入力画像に対する処理と同様に実行する。

図１２は、本発明の第２の実施形態に係る特定画像抽出処理の流れの例を示した図である。図１２に示すように、画像処理装置１ａは、監視カメラ２から画像が入力されると、特定画像判定処理部１４１（図７参照）における特徴判定処理部１４４それぞれについての処理時間、特定画像の検出能力、処理に許容される時間などに基づき、特徴判定処理部１４４の処理の優先度（処理順序）や処理数などを定めるなど、特定画像検出処理の手順を計画する（ステップＳ３１）。

以下、ステップＳ１３〜ステップＳ１８までの処理は、図３に示した処理内容と同じなので説明を省略する。ただし、本実施形態では、ステップＳ１５における特定画像検出処理では、特定画像判定処理部１４１に含まれる特徴判定処理部１４４を全て実行するのではなく、ステップＳ３１で計画した処理手順に従って実行する。

以上のステップＳ１８までに、入力された画像の全ての領域に対し、ステップＳ３１で計画した所定の検出処理を終了すると、特徴判定処理制御部１７は、所定の制限時間に対して処理時間の残りがあるか否かを判定する（ステップＳ３２）。その判定の結果、処理時間の残りがあった場合には（ステップＳ３２でＹｅｓ）、特定画像判定処理部１４１に含まれる特徴判定処理１４４の全てを処理したか、つまり、検出処理の残りがあるか否かを判定する（ステップＳ３５）。そして、その判定の結果、特定画像判定処理部１４１に実行すべき検出処理（特徴判定処理１４４、以下、同じ）の残りがあった場合には（ステップＳ３５でＹｅｓ）、ステップＳ３１へ戻り、残りの検出処理について、再度、検出処理手順を計画して（ステップＳ３１）、ステップＳ１２以下の処理を実行する。

また、ステップＳ３５の判定で、特定画像判定処理部１４１に実行すべき検出処理の残りがなかった場合には（ステップＳ３５でＮｏ）、バッチ処理テーブル（図１１参照）からバッチ処理タスクとして登録済の検出処理について、その検出処理残り（未処理）とされた特徴判定処理部１４４の処理を実行する（ステップＳ３６）。

また、ステップＳ３２の判定で、処理時間の残りがなかった場合には（ステップＳ３２でＮｏ）、特定画像判定処理部１４１の検出処理の全てを処理したか、つまり、検出処理の残りがあるか否かを判定する（ステップＳ３３）。その判定の結果、特定画像判定処理部１４１に実行すべき検出処理の残りがあった場合には（ステップＳ３３でＹｅｓ）、その検出処理の残りをバッチ処理タスクとしてバッチ処理テーブルに登録し（ステップＳ３４）、特定画像の抽出処理を終了する。また、特定画像判定処理部１４１に実行すべき検出処理の残りがなかった場合には（ステップＳ３３でＮｏ）、そのまま特定画像の抽出処理を終了する。

以上に説明した処理のステップＳ１５において、ステップＳ３１で計画されたすべての検出処理の判定（特徴識別部１４３）で、当該検出対象領域の画像が特定画像と同じ特徴を有すると判定された場合には、特定画像を検出したと判定して、その検出対象領域の画像を、抽出特定画像として画像記憶部１２に格納する。ただし、その後の処理において、その検出対象領域の画像が特定画像でないと判定された場合には、画像記憶部１２にいったん格納されていたその検出対象領域の画像は削除される。

次に、処理計画状態（図１０、Ｓ２３）における処理（図１２、ステップＳ３１）について説明する。この処理計画の処理では、特徴判定処理部１４４の処理時間と検出能力とを事前に評価する。

特徴量算出部１４２の処理時間は、その特徴量算出にHaar-wavelet-like基底（図８参照）を適用した場合には、その基底の画像の大きさ、すなわち、メモリアクセス回数に比例して処理時間が長くなる。また、基底の数が増加すると処理時間が長くなる。そこで、この基底の大きさと数とから処理時間を見積もることができる。また、入力画像において、未だ検出とされていない領域のみが、特定画像検出処理の対象となるため、この領域の面積にも比例して処理時間が長くなる。

従って、識別番号がｊの特徴判定処理部１４４予測処理時間Ｔ_jは、（式３）のように表わされる。

（式３）において、ｓ_j,iは、特徴量算出部１４２に含まれる識別番号がｉの基底が関与する画素数、ｂ_jは、識別番号がｊの特徴量算出部１４２に含まれる基底の個数、Ｒ_jは、検出処理対象の画像の面積、ｗ_j,1、ｗ_j,2は、比例係数である。

また、ｊ番目の特徴量算出部１４２と特徴識別部１４３とからなる単位処理の特定画像の検出能力Ａ_iは、例えば、（式４）によって定義される。

なお、検出能力Ａ_jは、特徴量算出部１４２における特定画像の特徴を表わすパラメータ（α_ｊ,１，α_ｊ,２，…，α_ｊ,１４）とそれに対応する閾値θ_ｊ（ｊ＝１，２，…）とを所定の教師データにより学習するときに、併せて学習することができる。

さらに、検出処理を計画する処理（図１２、ステップＳ３１）においては、予測処理時間Ｔ_jと検出能力Ａ_jとをトレードオフして、特定画像の検出効率のよい検出処理の単位処理を優先的に選択して実行するようにする。そこで、優先的に処理する検出処理の単位処理を（式５）に基づき選択する。

（式５）において、ｊは、特徴量算出部１４２と特徴識別部１４３とからなる単位処理を識別する識別番号である（ｊ＝１，２，…，Ｎ：Ｎは、特定画像判定処理部１４１に含まれる単位処理の数）。また、αは、処理時間の検出能力とのトレードオフを決定するための重み係数、関数arg minは、括弧内の式の値が最小になるｊを求める関数である。

なお、検出処理を計画する処理は、（式５）を用いることに限定されることはなく、種々の変形が可能である。例えば、あらかじめ定められた制限時間を考慮して、制限時間の前半では時間が掛かっても検出能力のよい単位処理を選択する処理計画を行い、制限時間の後半では処理時間の短い単位処理を選択することによって応答性を上げる計画を行うようにすることもできる。そのためには、（式７）に示すように、（式５）の重み係数αが制限時間Ｔ内での経過時間ｔに依存して変化するものとして定義すればよい。その場合、（式５）は、（式６）のように表される。

以上のように、本発明の第２の実施形態によれば、画像処理装置１ａは、あらかじめ定められた所定の制限時間を考慮し、特定画像抽出処理についての処理手順の計画を立て、その処理手順に従って、さらには、その検出処理の進捗管理をしながら、特定画像の抽出処理を実行する。そのため、時間不足のために特定画像の抽出画像が得られないなどの不都合が生じることはない。従って、監視カメラ２からの画像をリアルタイムで監視しているときなど、特定画像抽出処理の制限時間が短い場合であっても、特定画像の抽出画像にコマ落ちなどが生じることはない。

また、時間不足のために実行できなかった特定画像の検出処理については、他の入力画像の処理で余剰時間があったときなどに実行する。すなわち、監視画像がオフラインで、例えば、犯罪などの検証用などに用いられる場合には、特定画像の抽出は、当初に設定した全ての検出条件（特定画像を特徴付ける特徴パラメータの組）に対して行うことができる。従って、そのときには、最良の検出条件下で抽出された特定画像を表示した監視画像を提供することができる。

（第３の実施形態）
以下、図１３を参照して本発明の第３の実施形態について説明する。

図１３は、本発明の第３の実施形態に係る特定画像検出処理の流れの例を示した図である。本実施形態においては、図７に示した特定画像判定処理部１４１と同様の特定画像判定処理部が複数個（この例では３つ）設けられる。そして、各々の特定画像判定処理部１４１ａ，１４１ｂ，１４１ｃでは、それぞれ異なった特定画像を検出する。例えば、人の顔を検出する場合には、特定画像判定処理部１４１ａ，１４１ｂ，１４１ｃのそれぞれが、正面を向いた人の顔、斜め前方を向いた人の顔、横を向いた人の顔をそれぞれ独立して検出する。

図１３において、各々の特定画像判定処理部１４１ａ，１４１ｂ，１４１ｃ内部における処理は、図７の特定画像判定処理部１４１と同様に行われる。また、図１３の場合、特定画像判定処理部１４１ａを実行して、第１の特定画像（例えば、正面を向いた人の顔）を検出した場合には、そのときの検出対象領域の画像を画像記憶部１２に格納し、非検出であった場合には、特定画像判定処理部１４１ｂを実行し、第２の特定画像（例えば、斜め前方を向いた人の顔）を検出する。そして、その第２の特定画像を検出した場合には、そのときの検出対象領域の画像を画像記憶部１２に格納する。以下、同様にして、第３の特定画像（例えば、横を向いた人の顔）を検出する。

なお、特定画像判定処理部１４１ａ，１４１ｂ，１４１ｃのそれぞれの特徴判定処理部１４４には、特定画像の特徴を表わすパラメータの組（α_ｊ,１，α_ｊ,２，…，α_ｊ,１４）とそれに対応する閾値θ_ｊ（ｊ＝１，２，…，Ｎ）が設定される。これらのパラメータの値は、あらかじめ、所定の学習プログラムおよび教師データなどによって算出され、その算出された値が特定画像特徴パラメータ記憶部１３に格納される。

また、図１３において、特定画像判定処理部１４１ａ，１４１ｂ，１４１ｃと同様の特定画像判定処理部をさらに加え、加えた特定画像判定処理部それぞれによって男の顔、女の顔、子供の顔などを検出させることができる。さらに、同様に構成して、年齢層、髪型、肌の色、髪の色、頭部形状、眼鏡の有無、マスクの有無、アクセサリの有無、黒子の有無、ひげの形状、ひげの色などを検出するようにしてもよい。

なお、年齢層、髪型、肌の色、髪の色、頭部形状、眼鏡の有無、マスクの有無、アクセサリの有無、黒子の有無、ひげの形状、ひげの色などを区別して人の顔を検出する場合には、全ての特定画像判定処理部を並列的に処理するのではなく、いったん人の顔を検出する処理を実行し、その処理によって、人の顔を検出した場合についてのみ、さらに、人の顔の属性情報である年齢層、髪型、肌の色、髪の色、頭部形状、眼鏡の有無、マスクの有無、アクセサリの有無、黒子の有無、ひげの形状、ひげの色などを検出するようにしてもよい。その場合には、特定画像検出処理の流れの構成は、図１３のように特定画像判定処理部（１４１ａ，１４１ｂ，１４１ｃ）が並列的に構成されるだけにとどまらず、直列的に積み重ねられた構成を含むことになる。

また、第３の実施形態を変形した構成として、特定画像判定処理部１４１ａ，１４１ｂ，１４１ｃそれぞれを、互いに独立したコンピュータに実行させる構成をとることもできる。この場合には、図１の画像処理装置１において、特定画像抽出部１４の位置には、特定画像抽出処理を分配する処理分配制御部が配置され、その下位に、複数のコンピュータが配置され、そのコンピュータそれぞれに、特定画像抽出部１４の特定画像判定処理部１４１ａ，１４１ｂ，１４１ｃのいずれかの１つが配置される。このとき、処理分配制御部を含む画像処理装置１の本体と下位の複数のコンピュータとは、例えば、専用線やＬＡＮ（Local Area Network）などのネットワークによって接続される。このような構成においては、特定画像の抽出処理を複数のコンピュータにより並列処理するので、その抽出処理の処理時間を大きく短縮することができる。

（第４の実施形態）
続いて、図１４〜図１７を参照して、本発明の第４の実施形態として、前記第１〜第３の実施形態に示した画像処理装置１，１ａによって表示装置３に表示される表示画像の例を示す。ここで、図１４は、本発明の第４の実施形態に係る画像処理装置によって表示装置に表示される表示画像の例を示した図である。また、図１５は、図１４の表示画像の例の変形例を、図１６は、図１４の表示画像の例の第２の変形例を、図１７は、図１４の表示画像の例の第３の変形例をそれぞれ示した図である。

なお、本実施形態の構成は、表示画像生成部１５（図１、図９参照）の部分を除き、第１の実施形態などの構成と同じであるとする。また、表示画像生成部１５が監視画像を低解像度化し、その全体画像を縮小全体画像３２として表示し、また、特定画像抽出部１４で抽出された特定画像３３を低解像度化しないで表示する表示画像生成機能は、第１の実施形態などの場合と同じである。

図２に示した表示画像３１の例においては、特定画像抽出部１４で抽出された特定画像３３は、縮小全体画像３２の４辺の外側にそれぞれ１列に配置されている。その場合には、引き出し線３４同士が交差したり、縮小全体画像３２の中の特定画像検出部分（人の顔部）を通過したりする可能性がある。引き出し線３４同士が交差したり、引き出し線３４が他の特定画像検出部分（人の顔部）を通過したりすると、表示画像３１が非常に見にくいものとなる。

そこで、本実施形態（表示画像生成部１５の部分以外は、第１〜第３の実施形態のいずれかと同じ）においては、表示画像生成部１５は、図１４に示すように、抽出された特定画像３３ａを縮小全体画像３２ａの４辺の周囲にそれぞれ複数列配置可能なように、表示画像３１ａを生成する。こうした場合には、抽出された特定画像３３ａの配置の自由度が増加するので、引き出し線３４ａ同士が交差したり、引き出し線３４ａが他の特定画像検出部分（人の顔部）を通過したりする可能性を減ずることができる。

また、図１５に示すように、表示画像生成部１５は、抽出された特定画像３３ｂを縮小全体画像３２ｂの４辺の周囲全ての辺に配置するのではなく、例えば、下辺を除いた他の３辺の周囲に配置するようにしてもよい。

また、図１６に示すように、表示画像生成部１５は、縮小全体画像を表示画像３１ｃの枠いっぱいに表示し、抽出された特定画像３３ｃを縮小全体画像の特定画像検出部分に配置するような表示画像を生成する。この場合には、引き出し線が不要であるので、表示画像が簡明になる。

また、図１７に示すように、表示画像生成部１５は、縮小全体画像３２ｄを、斜め前方を向いたスクリーンに投影したように表示し、そのスクリーン上に表示された特定画像の検出部分から、例えば、そのスクリーンに垂直方向に引き出し線３４ｄを引き出し、その引き出し先に抽出した特定画像３３ｄを表示する表示画像３１ｄを生成してもよい。この場合には、抽出した特定画像３３ｄと縮小全体画像３２ｄとが、３次元の異なる平面に表示されたように見えるので、抽出した特定画像３３ｄと縮小全体画像３２ｄとが区別しやすくなる。

また以上に説明したいずれの実施形態においても、抽出した特定画像３３ｄと縮小全体画像３２ｄとは同一の表示装置３上に表示するとしているが、抽出した特定画像３３ｄと縮小全体画像３２ｄとをそれぞれ異なる表示装置３上に表示するようにしてもよい。

本発明の第１の実施形態に係る画像処理装置の構成の例を示した図である。 本発明の第１の実施形態に係る画像処理装置によって表示装置に表示される表示画像の例を示した図である。 本発明の第１の実施形態に係る特定画像抽出処理の流れの例を示した図である。 本発明の第１の実施形態に係る特定画像抽出処理において検出対象領域を移動させる順序の例を示した図である。 本発明の第１の実施形態に係る特定画像抽出処理において検出対象領域の拡大率を変更する例を示した図である。 本発明の第１の実施形態に係る特定画像抽出処理において、検出対象領域の設定を、拡大率の変更→横軸方向の移動→縦軸方向の移動の順序で行ったときの特定画像抽出処理の流れの例を示した図である。 本発明の第１の実施形態に係る特定画像検出処理の流れの例を示した図である。 本発明の第１の実施形態に係る画像の特徴抽出に用いられるHaar-Wavelet-like基底の例を表わした図である。 本発明の第２の実施形態に係る画像処理装置の構成の例を示した図である。 本発明の第２の実施形態に係る画像処理装置における特定画像抽出処理の状態遷移図の例を示した図である。 本発明の第２の実施形態に係るにバッチ処理テーブルの構成の例を示した図である。 本発明の第２の実施形態に係る特定画像抽出処理の流れの例を示した図である。 本発明の第３の実施形態に係る特定画像検出処理の流れの例を示した図である。 本発明の第４の実施形態に係る画像処理装置によって表示装置に表示される表示画像の例を示した図である。 本発明の第４の実施形態に係る画像処理装置によって表示装置に表示される表示画像の変形例を示した図である。 本発明の第４の実施形態に係る画像処理装置によって表示装置に表示される表示画像の第２の変形例を示した図である。 本発明の第４の実施形態に係る画像処理装置によって表示装置に表示される表示画像の第３の変形例を示した図である。

符号の説明

１，１ａ 画像処理装置
２ 監視カメラ
３ 表示装置
１１ 画像入力部
１２ 画像記憶部
１３ 特定画像特徴パラメータ記憶部
１４ 特定画像抽出部
１５ 表示画像生成部
１６ 画像出力部
１７ 特徴判定処理制御部
１８ 処理経過情報記憶部
１４１，１４１ａ，１４１ｂ 特定画像判定処理部
１４２ 特徴量算出部
１４３ 特徴識別部

Claims (19)

1. 監視カメラおよび表示装置に接続され、その監視カメラから入力される画像を加工処理する画像処理装置であって、
   前記監視カメラから入力される入力画像を含む画像を記憶する画像記憶手段と、
   前記入力画像から抽出する特定画像を特徴付ける特徴パラメータを記憶する特徴パラメータ記憶手段と、
   前記画像記憶手段に記憶された入力画像からその入力画像のすべての部分について、所定の複数の大きさの画像を切り出し、その切り出した画像それぞれに対して、その切り出した画像が前記特徴パラメータによって特徴付けられる前記特定画像と同じ特徴を有するか否かを判定する特徴判定処理を実行し、その特徴判定処理により前記特定画像と同じ特徴を有する判定された前記切り出した画像を、抽出特定画像として抽出する特定画像抽出手段と、
   前記入力画像の全体画像と前記抽出特定画像とを併せて、前記表示装置に表示するための表示画像を生成する表示画像生成手段と
   を備えることを特徴とする画像処理装置。
2. 前記特徴パラメータ記憶手段は、
   前記特定画像についての前記特徴パラメータを複数組記憶し、
   前記特定画像抽出手段は、
   前記特徴パラメータ記憶手段に記憶された前記複数組の特徴パラメータそれぞれに対して、前記特徴判定処理を実行し、その実行した全ての特徴判定処理において、前記切り出した画像が前記特定画像と同じ特徴を有すると判定された場合には、前記切り出した画像を抽出特定画像として抽出すること
   を特徴とする請求項２に記載の画像処理装置。
3. 前記特定画像抽出手段は、
   前記複数組の特徴パラメータ全てに対する前記特徴判定処理が終了する前に、あらかじめ定められた所定の制限時間が経過した場合には、そのときまでに実行した前記特徴判定処理の処理結果に基づき、前記抽出特定画像を抽出すること
   を特徴とする請求項２に記載の画像処理装置。
4. 前記複数組の特徴パラメータに対する前記特徴判定処理について、その処理の優先度を設定する特徴判定処理制御手段を、さらに、備え、
   前記特定画像抽出手段は、
   前記設定された優先度に従って前記複数組の特徴パラメータ対する前記特徴判定処理を実行すること
   を特徴とする請求項２または請求項３に記載の画像処理装置。
5. 前記特徴判定処理の処理経過情報を記憶する処理経過情報記憶手段を、さらに、備え、
   前記特徴判定処理制御手段は、
   前記特定画像抽出手段が前記複数組の特徴パラメータ全てに対する前記特徴判定処理が終了する前に、前記所定の制限時間が経過し、前記抽出特定画像を抽出した場合には、前記特徴判定処理が未処理であることを示す前記特徴パラメータの識別情報を前記処理経過情報記憶手段に格納し、
   前記特定画像抽出手段が、前記所定の制限時間に対して余裕時間を残して、前記複数組の特徴パラメータ全てに対する前記特徴判定処理を終了した場合には、前記処理経過情報記憶手段をから前記未処理であることを示す前記特徴パラメータの識別情報を読み出し、前記読み出した識別情報によって識別される前記特徴パラメータに対する前記特徴判定処理を、特定画像抽出手段に実行させること
   を特徴とする請求項２または請求項３に記載の画像処理装置。
6. 前記表示画像生成手段は、
   前記表示画像の中に生成する前記入力画像の全体画像を、画質を低下させた縮小全体画像として生成すること
   を特徴とする請求項１に記載の画像処理装置。
7. 前記表示画像生成手段は、さらに、
   前記抽出特定画像を前記縮小全体画像の外側に配置した表示画像を生成し、前記縮小全体画像の中で前記抽出特定画像が抽出された部分と、その外側に配置された前記抽出特定画像とを結ぶ引き出し線を生成すること
   を特徴とする請求項６に記載の画像処理装置。
8. 前記表示画像生成手段は、
   前記縮小全体画像を、前記表示画像の中で斜め前方を向けて配置されたスクリーンに投影したように生成すること
   を特徴とする請求項６または請求項７に記載の画像処理装置。
9. 前記表示画像生成手段は、
   前記抽出特定画像を、前記縮小全体画像の中で前記抽出特定画像が抽出された部分の位置に配置すること
   を特徴とする請求項６に記載の画像処理装置。
10. 監視カメラおよび表示装置に接続され、その監視カメラから入力される画像を加工処理する画像処理装置における画像処理方法であって、
    前記画像処理装置は、
    前記監視カメラから入力される入力画像を含む画像を記憶する画像記憶手段と、
    前記入力画像から抽出する特定画像を特徴付ける特徴パラメータを記憶する特徴パラメータ記憶手段とを備え、
    前記画像記憶手段に記憶された入力画像からその入力画像のすべての部分について、所定の複数の大きさの画像を切り出し、その切り出した画像それぞれに対して、その切り出した画像が前記特徴パラメータによって特徴付けられる前記特定画像と同じ特徴を有するか否かを判定する特徴判定処理を実行し、その特徴判定処理により前記特定画像と同じ特徴を有する判定された前記切り出した画像を、抽出特定画像として抽出する特定画像抽出ステップと、
    前記入力画像の全体画像と前記抽出特定画像とを併せて、前記表示装置に表示するための表示画像を生成する表示画像生成ステップと
    を実行することを特徴とする画像処理方法。
11. 前記画像処理装置は、
    前記特徴パラメータ記憶手段に前記特定画像についての前記特徴パラメータを複数組記憶し、
    前記特定画像抽出ステップにおいて、
    前記特徴パラメータ記憶手段に記憶された前記複数組の特徴パラメータそれぞれに対して、前記特徴判定処理を実行し、その実行した全ての特徴判定処理において、前記切り出した画像が前記特定画像と同じ特徴を有すると判定された場合には、前記切り出した画像を抽出特定画像として抽出すること
    を特徴とする請求項１０に記載の画像処理方法。
12. 前記画像処理装置は、
    前記特定画像抽出ステップにおいて、
    前記複数組の特徴パラメータ全てに対する前記特徴判定処理が終了する前に、あらかじめ定められた所定の制限時間が経過した場合には、そのときまでに実行した前記特徴判定処理の処理結果に基づき、前記抽出特定画像を抽出すること
    を特徴とする請求項１１に記載の画像処理方法。
13. 前記画像処理装置は、
    前記複数組の特徴パラメータに対する前記特徴判定処理について、その処理の優先度を設定し、
    前記特定画像抽出ステップにおいては、前記設定された優先度に従って前記複数組の特徴パラメータ対する前記特徴判定処理を実行すること
    を特徴とする請求項１１または請求項１２に記載の画像処理方法。
14. 前記画像処理装置は、
    前記特徴判定処理の処理経過情報を記憶する処理経過情報記憶手段を、さらに、備え、
    前記特定画像抽出ステップにおいて、
    前記所定の制限時間が経過し、前記複数組の特徴パラメータ全てに対する前記特徴判定処理が終了する前に、前記抽出特定画像を抽出した場合には、前記特徴判定処理が未処理であることを示す前記特徴パラメータの識別情報を前記処理経過情報記憶手段に格納し、
    前記所定の制限時間に対して余裕時間を残して、前記複数組の特徴パラメータ全てに対する前記特徴判定処理を終了した場合には、前記処理経過情報記憶手段をから前記未処理であることを示す前記特徴パラメータの識別情報を読み出し、前記読み出した識別情報によって識別される前記特徴パラメータに対する前記特徴判定処理を実行すること
    を特徴とする請求項１１または請求項１２に記載の画像処理方法。
15. 前記画像処理装置は、前記表示画像生成ステップにおいて、
    前記表示画像の中に生成する前記入力画像の全体画像を、画質を低下させた縮小全体画像として生成すること
    を特徴とする請求項１０に記載の画像処理方法。
16. 前記画像処理装置は、前記表示画像生成ステップにおいて、さらに、
    前記抽出特定画像を前記縮小全体画像の外側に配置した表示画像を生成し、前記縮小全体画像の中で前記抽出特定画像が抽出された部分と、その外側に配置された前記抽出特定画像とを結ぶ引き出し線を生成すること
    を特徴とする請求項１５に記載の画像処理方法。
17. 前記画像処理装置は、前記表示画像生成ステップにおいて、
    前記縮小全体画像を、前記表示画像の中で斜め前方を向けて配置されたスクリーンに投影したように生成すること
    を特徴とする請求項１５または請求項１６に記載の画像処理方法。
18. 前記画像処理装置は、前記表示画像生成ステップにおいて、
    前記抽出特定画像を、前記縮小全体画像の中で前記抽出特定画像が抽出された部分の位置に配置すること
    を特徴とする請求項１５に記載の画像処理方法。
19. 請求項１０ないし請求項１８のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images