JP2009026146A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】最適な探索領域をシーンに応じて設定できるようにする。
【解決手段】人物の顔を検出する処理（Ｓ１０３）を行い、人物の顔を検出した場合は、人物の顔の向きを判定する（Ｓ１０５）。そして、正面顔が検出された場合は、探索領域の水平方向の中心を顔中心に一致させる。また、右向き顔が検出された場合は、探索領域の水平方向中心位置を右側にずらす。さらに、左向き顔が検出された場合は、探索領域の水平方向中心位置を左側にずらすようにして、最適な探索領域をシーンに応じて設定する（Ｓ１０８）。
【選択図】図１

Description

本発明は画像処理装置、画像処理方法、プログラム及び記録媒体に関し、特に、ディジタルカメラ、ビデオカメラ、監視カメラシステム、見守りシステム、行動記録システム、産業用マシンビジョンシステム等に用いて好適な技術に関する。

カメラの被写体検出や監視カメラシステム等へ応用することを目的として、映像データから特定の物体を検出し、追尾する手法が提案されている。例えば、特許文献１では、カメラの自動焦点機構のために、画像中に検出領域を設定し、当該領域を移動させながら人物領域を追跡するカメラが提案されている。

図２は、特定の探索領域を設けて人物を追跡する従来例を説明する図である。２０１ａ〜２０１ｃは撮影領域を示し、２０２ａ〜２０２ｃは探索領域を示す。また、２０３は時刻ｔにおける人物の検出結果を示し、２０４は時刻ｔ＋α（α：所定の検出単位）における人物の検出結果を示す。さらに、２０５はα時間に対象人物が移動した移動ベクトルを示す。

一般的に、時刻ｔ＋αに人物が検出された場合、人物が中心となる様な探索領域２０２ｂを設定して次のフレームの検出処理を開始する。一方、より高性能な追尾を目的として、移動ベクトル２０５から探索領域２０２ａの移動方向を予測して探索領域２０２ｃを設定する手法も提案されている。例えば、特許文献２では、単位時間内の移動量を元に、顔部位の探索領域を設定する手法が提案されている。

このように、対象物の移動方向を正確に予測して探索領域を狭領域化することができれば、より高速な物体追尾を実現することが可能になる。逆に、追尾時間が問題にならない場合は、探索領域の狭領域化により、同じ処理時間でより複雑な検出方式を適用し、検出性能を向上させることができる。また、物体検出システム等において、システムの消費電力を抑える最も有効な手段は、検出領域を限定して検出処理回数を減少させることにある。このため、より的確な予測に基づく探索領域の狭領域化が望ましい。

特開昭６１−２８９１４号公報 特開２００４−２５８９０７号公報 特開２００４−３１８６３２号公報 H. Schneiderman, T. Kanade. "A Statistical Method for 3D Object Detection Applied to Faces and Cars". IEEE Conference on Computer Vision and Pattern Recognition （CVPR 2000） 赤松 茂"コンピュータによる顔の認識の研究動向．"電子情報通信学会誌 80，3，1997，p.257−266．

近年の半導体技術の進歩に伴い、人物の状態や属性或いは個人の識別等を行う高次の認知技術が開発されて実用に供されている。これらの高次の認知技術にも、前処理として対象物体の追尾検出技術が必要な場合が多い。しかしながら、前述した従来例に示すように、移動ベクトルだけによる予測では、例えば、検出対象が停止状態にある場合等においては、移動ベクトルを検出できないか、もしくは検出することが難しい場合もある。このような場合では、最適な探索領域をシーンに応じて設定できないという問題点があった。

本発明は前述の問題点に鑑み、最適な探索領域をシーンに応じて設定できるようにすることを目的としている。

本発明の画像処理装置は、映像データを入力する映像入力手段と、前記映像入力手段によって入力された映像データを構成するフレーム内の探索領域を設定する探索領域設定手段と、前記探索領域設定手段によって設定された探索領域から被写体を検出する被写体検出手段と、前記被写体検出手段によって検出された被写体の状況を識別する状況識別手段とを有し、前記探索領域設定手段は、前記状況識別手段による識別の結果に基づいて、次のフレームの探索領域を設定することを特徴とする。
また、本発明の画像処理装置の他の特徴とするところは、映像データを入力する映像入力手段と、前記映像入力手段によって入力された映像データを構成するフレーム内の探索領域を設定する探索領域設定手段と、前記探索領域設定手段によって設定された探索領域から被写体を検出する被写体検出手段と、前記被写体検出手段によって検出された被写体の属性を識別する属性識別手段とを有し、前記探索領域設定手段は、前記属性識別手段による識別の結果に基づいて、次のフレームの探索領域を設定することを特徴とする。

本発明の画像処理方法は、映像データを入力する映像入力工程と、前記映像入力工程において入力した映像データを構成するフレーム内の探索領域を設定する探索領域設定工程と、前記探索領域設定工程において設定した探索領域から被写体を検出する被写体検出工程と、前記被写体検出工程において検出した被写体の状況を識別する状況識別工程とを有し、前記探索領域設定工程においては、前記状況識別工程における識別の結果に基づいて、次のフレームの探索領域を設定することを特徴とする。
また、本発明の画像処理方法の他の特徴とするところは、映像データを入力する映像入力工程と、前記映像入力工程において入力した映像データを構成するフレーム内の探索領域を設定する探索領域設定工程と、前記探索領域設定工程において設定した探索領域から被写体を検出する被写体検出工程と、前記被写体検出工程において検出した被写体の属性を識別する属性識別工程とを有し、前記探索領域設定工程においては、前記属性識別工程における識別の結果に基づいて、次のフレームの探索領域を設定することを特徴とする。

本発明のプログラムは、映像データを入力する映像入力工程と、前記映像入力工程において入力した映像データを構成するフレーム内の探索領域を設定する探索領域設定工程と、前記探索領域設定工程において設定した探索領域から被写体を検出する被写体検出工程と、前記被写体検出工程において検出した被写体の状況を識別する状況識別工程とをコンピュータに実行させ、前記探索領域設定工程においては、前記状況識別工程における識別の結果に基づいて、次のフレームの探索領域を設定するようにコンピュータに実行させることを特徴とする。
また、本発明のプログラムの他の特徴とするところは、映像データを入力する映像入力工程と、前記映像入力工程において入力した映像データを構成するフレーム内の探索領域を設定する探索領域設定工程と、前記探索領域設定工程において設定した探索領域から被写体を検出する被写体検出工程と、前記被写体検出工程において検出した被写体の属性を識別する属性識別工程とをコンピュータに実行させ、前記探索領域設定工程においては、前記属性識別工程における識別の結果に基づいて、次のフレームの探索領域を設定するようにコンピュータに実行させることを特徴とする。

本発明の記録媒体は、前記の何れかに記載のプログラムを記録したことを特徴とする。

本発明によれば、被写体の状況を識別し、その識別の結果に従って次のフレームの探索領域を設定するようにしたので、被写体が停止している場合等であっても、最適な探索領域をシーンに応じて設定することができる。これにより、被写体の追尾性能を向上させることができる。

（第１の実施形態）
以下、図面を参照しながら本発明に係る第１の実施形態の追尾処理に関して詳細に説明する。
図１は、本実施形態における追尾処理の手順の一例を示すフローチャートである。また、図３は、本実施形態に係る追尾処理を、マイクロプロセッサを用いて実現する場合の画像処理装置の構成例を示すブロック図である。以下、図１及び図３を参照しながら本実施形態の動作を説明する。

まず、本実施形態に係る画像処理装置３００を監視カメラ装置に応用した場合の例について説明する。図３において、３０１はＣＰＵ（Central Processing Unit）であり、本実施形態に関わる画像処理の全てをソフトウェアにより実現する。ＣＰＵ３０１はＤＳＰ（Digital Signal Processor）やメディアプロセッサ或いは特定の画像処理機能に特化したプロセッサ等からなる。

３０２はブリッジであり、高速なＣＰＵバス３０３と低速なシステムバス３０４とをブリッジする機能を有する。また、ブリッジ３０２は、メモリコントロール機能を内蔵し、ブリッジ３０２に接続されたＲＡＭ（Random Access Memory）３０５へアクセスする制御を行う機能を有する。さらにブリッジ３０２は、システムバス３０４につながっているデバイスとＲＡＭ３０５との間のデータ転送を司るＤＭＡＣ（Direct Memory Access Controller）機能を内蔵する。

ＲＡＭ３０５はＣＰＵ３０１の動作に必要なメモリであり、ＳＤＲＡＭ（Synchronous DRAM）／ＤＤＲ（Double Data Rate SDRAM）／ＲＤＲＡＭ（Rambus DRAM）等の大容量高速メモリにより構成されている。また、ＲＡＭ３０５は画像データバッファ等としても利用される。

ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）３０６は、ＣＰＵ３０１の動作に必要なインストラクションデータ及び各種設定データを格納するためのメモリである。なお、システムを初期化する時は、ＥＥＰＲＯＭ３０６に格納したブートローダプログラムによりインストラクションデータはＲＡＭ３０５に転送される。以降、ＣＰＵ３０１はＲＡＭ３０５上のインストラクションデータに従って処理を行う。

３０７はＲＴＣ（Real Time Clock）ＩＣであり、時間管理／カレンダ管理を行う専用デバイスである。通信インターフェース部３０８は、宅内の回線接続装置（各種モデムやルーター）と本装置とを接続するために必要な処理部である。通信インターフェース部３０８は、例えば、無線ＬＡＮ（IEEE802.11b/IEEE802.11a/IEEE802.11g等）の物理層及び下位レイヤプロトコルを処理する。

３１０は映像入力部であり、ＣＣＤ（Charge-Coupled Devices）／ＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサー等の光電変換デバイスを含む。また、光電変換デバイスを制御するドライバー回路・各種画像補正を司る信号処理回路も含む。

３１１は映像入力インターフェース部であり、映像入力部３１０から同期信号とともに出力されるラスタ画像データをディジタルデータに変換する。そして、フレームバッファ（映像入力インターフェース部３１１が具備する図示しないメモリ）にバッファリングする。映像入力インターフェース部３１１にバッファリングされたディジタル画像データは、ブリッジ３０２に内蔵されたＤＭＡＣを利用して、ＲＡＭ３０５上の所定のアドレスに転送される。

ＣＰＵ３０１は、ブリッジ３０２が生成するＤＭＡ転送終了割り込み信号を元に、ＲＡＭ３０５に保持されたディジタル画像データに対して各種処理を開始する。なお、画像処理装置３００は図示しない電源部も有する。電源部は、例えば充電可能な２次電池により給電される。また、通信インターフェース部３０８が有線ＬＡＮの場合は、Power Over Ethernet（登録商標）等により給電される。

図１は、本実施形態における追尾処理の手順の一例を示すフローチャートである。なお、図１のフローチャートに示す各処理は、ＥＥＰＲＯＭ３０６などからＲＡＭ３０５にロードされたプログラムをＣＰＵ３０１が実行することによって実現される。
電源が投入されると処理を開始する。まず、ステップＳ１０１において、各種初期化処理を実行する。初期化処理では、ＥＥＰＲＯＭ３０６からＲＡＭ３０５へインストラクションデータのロード、各種ハードウェアの初期化処理、ネットワーク接続のための処理等を実行する。さらに、初期化処理では、ＣＰＵ３０１が探索領域設定手段として機能し、人物を検出するための初期探索領域を設定する。

図４（ａ）は、初期探索領域の設定例を示す図である。４０１は入力画像（フレーム）を示し、４０２は人物を検出するためのフレーム内の初期の探索領域を示す。探索領域４０２は矩形領域で表され、入力画像４０１上の開始位置座標４０３、探索領域水平幅４０４及び探索領域垂直高さ４０５の３つのパラメータを有する。そして、ＣＰＵ３０１により当該パラメータをＲＡＭ３０５上の所定の領域に保持するようにする。

なお、初期の探索領域４０２は、目的に応じて任意の位置・大きさに設定することができる。例えば、特定の領域に侵入した人物を追尾する様なアプリケーションでは、入力画像４０１中の該当する領域を初期の探索領域４０２に設定する。以降、後述するステップＳ１０２〜ステップＳ１０８において、人物の追尾処理を繰り返す。

次に、ステップＳ１０２において、映像入力インターフェース部３１１のフレームバッファに格納された１フレームの画像データをＲＡＭ３０５に転送する。画像データを転送する際には、ブリッジ３０２に内蔵されたＤＭＡＣを利用する。

ＤＭＡＣによる画像データの転送が終了すると、ステップＳ１０３において、ＣＰＵ３０１が被写体検出手段として機能し、人物（被写体）の顔検出処理を開始する。そして、ステップＳ１０４において、人物の顔を検出したか否かを判断する。この判断の結果、人物の顔を検出しなかった場合は、ステップＳ１０６に進む。一方、ステップＳ１０４の判断の結果、人物の顔を検出した場合は、次のステップＳ１０５において、ＣＰＵ３０１が状況識別手段として機能し、被写体の状況の検出を行う。具体的には、顔の向きの検出を行う。

本実施形態では、人物の顔を検出することによって当該人物の追尾を行う。顔検出処理は、ＲＡＭ３０５に記録された画像データ内の初期の探索領域４０２に対して検出処理を行う。本実施形態の顔検出処理は従来提案されている手法を利用する。例えば、非特許文献１には、統計的な手法を用いて画像から人物の顔とその向きを検出する方式が開示されている。

一般的に、向き（姿勢）の異なる人物を高精度に認識する場合は、図５に示すように、検出対象画像に対して向きに応じて、右向き顔検出器５０１、正面向き顔検出器５０２、及び左向き顔検出器５０３を用意する。そして、当該検出器の出力値を統合処理部５０４で統合判定することにより、顔の存在有無の結果５０５と顔の向きの結果５０６とを出力する。

統合処理部５０４は、例えば、右向き顔検出器５０１、正面向き顔検出器５０２、及び左向き顔検出器５０３からの出力結果を比較することによって顔の向きを決定する。なお、出力値に応じた中間角度を顔の向きの結果５０６として出力する等の方法を用いてもよい。図５に示すような方法を用いる場合は、統合処理部５０４により、図１のステップＳ１０５に相当する処理が行われる。

次に、ステップＳ１０６において、ステップＳ１０３、Ｓ１０５で得られた顔の存在有無及び顔の向きに関する情報を出力する。具体的には、ステップＳ１０２で得られた画像データを人物の検知情報とともにMotion-JPEG（Joint Photographic Experts Group）等の圧縮方式で圧縮する。そして、通信インターフェース部３０８を介して遠隔地のユーザに伝送する。圧縮処理及び通信に関するプロトコル処理等は全てＣＰＵ３０１の制御により行われる。

次に、ステップＳ１０７において、人物の追尾処理が終了したか否かを判断する。１フレームの処理が終了すると次のフレームの処理を開始する。したがって、ステップＳ１０７においては、最終フレームまで人物の追尾処理が終了したか否かを判断する。この判断の結果、最終フレームまで人物の追尾処理が終了した場合は、処理を終了する。一方、ステップＳ１０７の判断の結果、最終フレームまで人物の追尾処理が終了していない場合は、ステップＳ１０８に進む。

次に、ステップＳ１０８において、ＣＰＵ３０１が探索領域設定手段として機能し、探索領域を再設定する。ステップＳ１０４の判断の結果、人物の顔が検出されなかった場合は、当該処理ステップでは、ステップＳ１０１の初期化処理で設定した領域と同じ領域をＲＡＭ３０５に設定する。また、ステップＳ１０４の判断の結果、人物の顔が検出された場合、ステップＳ１０５の顔向き判定処理の結果に従って所定の探索領域を設定する。

図４（ｂ）は顔向きと探索領域の設定との関係を示す図である。４０６ａ〜４０６ｃは入力画像の領域を示す。４０８ｂは正面顔の位置であり、４０７ｂは正面顔が検出された場合に設定する次フレーム内の探索領域を示す。正面顔が検出された場合は、探索領域４０２の水平方向の中心を顔中心に一致させる。４０８ａは右向き顔の位置であり、４０７ａは右向き顔が検出された場合に設定する次フレーム内の探索領域を示す。右向き顔が検出された場合は、探索領域４０２の水平方向中心位置を右側にずらす。また、４０８ｃは左向き顔の位置であり、４０７ｃは左向き顔が検出された場合に設定する次フレーム内の探索領域を示す。左向き顔が検出された場合は、探索領域４０２の水平方向中心位置を左側にずらす。

例えば、予め定める比率α（％）とすると、現在の顔向きの検出結果に応じて以下の式により探索領域４０２の水平方向開始位置（以下のX start）を決定する。
X start ＝ X face −（１＋顔向き×α）×探索領域幅／２
（X face：顔中心水平位置、X start：探索領域開始水平位置、顔向き：右向き＝−１／左向き＝１／正面顔＝０）

以上の式により、顔の向きと同じ方向に所定の割合で探索領域４０２をずらす。
以上、ステップＳ１０７では顔向き検出結果を利用して探索領域４０２の水平方向開始位置を補正する。ここで決定した探索領域を示す座標データはＲＡＭ３０５の所定の領域に格納され、次のフレームの顔検出処理（ステップＳ１０３）及び顔向き判定処理（ステップＳ１０５）の処理領域として利用される。

以上のようにステップＳ１０１〜ステップＳ１０８を繰り返すことにより、映像中の人物を追跡し、その映像及び情報を遠隔地のユーザに通知する。なお、本実施形態では顔の向き（正面或いは横）に応じて探索領域を一定の比率でずらしたが、より正確な顔の角度が得られる場合は、当該角度に応じて探索領域をずらすように比率を変更してもよい。

また、顔の向きに応じた探索領域をテーブルデータとしてＲＡＭ３０５に予め保持し、顔向きの判定結果に従ってテーブルを参照する様な構成でもよい。さらに、顔の上下方向の向きも考慮して探索領域を決定してもよい。その場合、探索領域の垂直方向の位置も顔向き判定結果に従ってずらすことになる。

以上のように本実施形態によれば、人物の顔の向きに基づいて当該人物の移動方向を予測し、この予測に基づいて探索領域を設定するようにしたので、人物が停止している場合等であっても、最適な探索領域を設定することが可能になる。これにより、追跡性能を向上させることが可能になる。

（第２の実施形態）
以下、図面を参照しながら本発明に係る第２の実施形態の追尾処理に関して詳細に説明する。
図６は、本実施形態における追尾処理の手順の一例を示すフローチャートである。本実施形態は、人物の属性情報を識別する機能を有する行動パターン記録システムや監視システム等に応用した場合の例である。なお、機能構成については、第１の実施形態の図３に示した画像処理装置３００と同様であるため、説明は省略する。また、図６のフローチャートに示す各処理は、ＲＡＭ３０５にロードされたプログラムを用いて、ＣＰＵ３０１によって制御される。

電源が投入されると処理を開始する。まず、ステップＳ６０１において、各種初期化処理を実行する。なお、ステップＳ６０１の初期化処理は第１の実施形態のステップＳ１０１と同じであるため説明を省略する。以降、後述するステップＳ６０２〜ステップＳ６０８で人物の追尾処理を繰り返す。

次に、ステップＳ６０２において、映像入力インターフェース部３１１のフレームバッファに格納された１フレームの画像データをＲＡＭ３０５に転送する。画像データを転送する際には、ブリッジ３０２に内蔵されたＤＭＡＣを利用する。

ＤＭＡＣによる転送が終了すると、ステップＳ６０３において、ＣＰＵ３０１が被写体検出手段として機能し、人物（被写体）の顔検出処理を開始する。そして、ステップＳ６０４において、人物の顔を検出したか否かを判断する。この判断の結果、人物の顔を検出しなかった場合は、ステップＳ６０６に進む。一方、ステップＳ６０４の判断の結果、人物の顔を検出した場合は、次のステップＳ６０５に進む。本実施形態においても第１の実施形態と同様に人物の顔を検出することによって当該人物の追尾を行う。顔検出処理は、ＲＡＭ３０５に記録された画像データ内の探索領域に対して検出処理を行う。なお、ステップＳ６０３の顔検出処理は、第１の実施形態と同様でよい。

次に、ステップＳ６０５において、ＣＰＵ３０１が属性識別手段として機能し、人物の属性を判定する。本実施形態では、第１の実施形態とは異なり、人物の年齢を判定する。本実施形態における年齢の判定に関しては、従来提案されている手法を利用する。例えば、特許文献３には、顔画像データを用いて人物の年齢を推定する手法が開示されている。

次に、ステップＳ６０６において、ステップＳ６０３、Ｓ６０５で得られた顔の存在有無及び人物の年齢に関する情報を出力する。具体的には、ステップＳ６０２で得られた画像データを人物の検知情報とともにMotion-JPEG等の圧縮方式で圧縮する。そして、通信インターフェース部３０８を介して遠隔地のユーザに伝送する。

次に、ステップＳ６０７において、人物の追尾処理が終了したか否かを判断する。１フレームの処理が終了すると次のフレームの処理を開始する。したがって、ステップＳ６０７においては、最終フレームまで人物の追尾処理が終了したか否かを判断する。この判断の結果、最終フレームまで人物の追尾処理が終了した場合は、処理を終了する。一方、ステップＳ６０７の判断の結果、最終フレームまで人物の追尾処理が終了していない場合は、ステップＳ６０８に進む。

次に、ステップＳ６０８において、ＣＰＵ３０１が探索領域設定手段として機能し、探索領域を再設定する。ステップＳ６０４の判断の結果、人物の顔が検出されなかった場合は、当該処理ステップでは、ステップＳ６０１の初期化処理で設定した領域と同じ領域をＲＡＭ３０５に設定する。また、ステップＳ６０４の判断の結果、人物の顔が検出された場合は、ステップＳ６０５の属性判定処理の結果に従って所定の探索領域を設定する。

図７は、人物の年齢と探索領域の設定との関係を示す図である。７０１ａ、７０１ｂは入力画像の領域を示す。７０２ａはステップＳ６０５で子供の年齢と判定された場合に設定する次フレームの探索領域を示し、７０３ａは検出された顔の位置を示す。また、７０２ｂはステップＳ６０５で高齢者の年齢と判定された場合に設定する次フレームの探索領域を示し、７０３ｂは検出された顔の位置を示す。ここでは、子供の場合は、よく動き回るので探索範囲を大きくとり、高齢者の場合は探索範囲を小さくしている。

本実施形態では、検出された人物の年齢に応じて次フレームで設定する探索領域の幅及び高さを補正する。例えば、予め定める比率α（％）とすると、年齢の検出結果に応じて以下の式により探索領域水平幅４０４及び探索領域垂直高さ４０５を決定する。なお、探索領域の中心位置は顔位置の中心とする。
W horizontal＝（１＋年齢パラメータ×α）×標準探索領域幅
W vertical＝（１＋年齢パラメータ×α）×標準探索領域高さ
（ここで、W horizontal：探索領域水平幅、W vertical：探索領域垂直高さ、年齢パラメータ：高齢者＝−１／子供＝１／一般成人＝０）

以上の式により、ステップＳ６０８においては、年齢の検出結果を利用して探索領域の水平方向の幅及び垂直方向の高さを補正する。ここで決定した探索領域を示す座標データはＲＡＭ３０５の所定の領域に格納され、次のフレームの顔検出処理（ステップＳ６０３）及び属性判定処理（ステップＳ６０５）の処理領域として利用される。なお、探索領域の決定は前述した式に限定するわけではない。例えば、年齢に応じた探索領域をテーブルデータとしてＲＡＭ３０５に予め保持し、年齢判定結果に従ってテーブルを参照する様な構成でもよい。

以上のように本実施形態によれば、人物の年齢を認識する機能を有する行動パターン記録装置や監視システム等において、人物の年齢に基づいて当該人物の移動範囲を予測するようにした。これにより、人物が停止している場合等でも、最適な探索領域を予測することが可能になる。したがって、検出・追跡に関わる処理負荷を低減することが可能になる。

（第３の実施形態）
以下、図面を参照しながら本発明に係る第３の実施形態の追尾処理に関して詳細に説明する。
図８は、本実施形態における追尾処理の手順の一例を示すフローチャートである。本実施形態は、人物の認証機能を有するホームセキュリティシステムや監視システム等に応用した場合の例である。なお、機能構成については、第１の実施形態の図３に示した画像処理装置３００と同様であるため、説明は省略する。また、図８のフローチャートに示す各処理は、ＲＡＭ３０５にロードされたプログラムを用いて、ＣＰＵ３０１によって制御される。

電源が投入されると処理を開始する。まず、ステップＳ８０１において、各種初期化処理を実行する。なお、ステップＳ８０１の初期化処理は第１の実施形態のステップＳ１０１と同じであるため説明を省略する。以降、後述するステップＳ８０２〜ステップＳ８０８で人物の追尾処理を繰り返す。

次に、ステップＳ８０２において、映像入力インターフェース部３１１のフレームバッファに格納された１フレームの画像データをＲＡＭ３０５に転送する。画像データを転送する際には、ブリッジ３０２に内蔵するＤＭＡＣを利用する。

ＤＭＡＣによる転送が終了すると、ステップＳ８０３において、ＣＰＵ３０１が被写体検出手段として機能し、人物（被写体）の顔検出処理を開始する。そして、ステップＳ８０４において、人物の顔を検出したか否かを判断する。この判断の結果、人物の顔を検出しなかった場合は、ステップＳ８０６に進む。一方、ステップＳ８０４の判断の結果、人物の顔を検出した場合は、次のステップＳ８０５に進む。本実施形態においても、第１及び第２の実施形態と同様に、人物の顔を検出することによって当該人物の追尾を行う。顔検出処理は、ＲＡＭ３０５に記録された画像データ内の探索領域に対して検出処理を行う。なお、ステップＳ８０３の顔検出処理は第１の実施形態と同様の方法で行う。

次に、ステップＳ８０５において、ＣＰＵ３０１が属性識別手段として機能し、画像データ内で検出された人物から個人を特定する。本実施形態の画像データを利用した個人の特定（識別）に関しては、従来提案されている手法を利用する。例えば、非特許文献２等に、様々な手法が開示されている。

次に、ステップＳ８０６において、ステップＳ８０３、Ｓ８０５で得られた顔の存在有無及び個人識別結果に関する情報を出力する。具体的には、ステップＳ８０２で得られた画像データを個人の検知情報とともにMotion-JPEG等の圧縮方式で圧縮する。そして、通信インターフェース部３０８を介して遠隔地のユーザに伝送する。

次に、ステップＳ８０７において、人物の追尾処理が終了したか否かを判断する。１フレームの処理が終了すると次のフレームの処理を開始する。したがって、ステップＳ８０７においては、最終フレームまで人物の追尾処理が終了したか否かを判断する。この判断の結果、最終フレームまで人物の追尾処理が終了した場合は、処理を終了する。一方、ステップＳ８０７の判断の結果、最終フレームまで人物の追尾処理が終了していない場合は、ステップＳ８０８に進む。

次に、ステップＳ８０８においては、ＣＰＵ３０１が探索領域設定手段として機能し、探索領域を再設定する。ステップＳ８０４の判断の結果、人物の顔が検出されなかった場合は、当該処理ステップでは、ステップＳ８０１の初期化処理で設定した領域と同じ領域をＲＡＭ３０５に設定する。また、ステップＳ８０３の判断の結果、人物の顔が検出された場合は、ステップＳ８０５の個人識別処理の結果に従って、所定の探索領域を設定する。

ステップＳ８０８における探索領域を再設定する処理は、特定の人物についての個人情報とその人物に対応する探索領域とが関連付けされたテーブルを用いて行われる。ステップＳ８０５の個人識別処理の結果からこのテーブルを検索し、探索領域に関する情報を取得する。なお、このテーブルはＲＡＭ３０５に予め格納されている。

特定の個人と探索領域との関係について図７を参照しながら説明する。７０４ａは探索領域がテーブルに登録されている第１の人物である。また、７０４ｂは探索領域がテーブルに登録されている第２の人物である。第１の人物７０４ａの顔を検出した場合は、探索領域７０２ａを広く設定し、第２の人物７０４ｂの顔を検出した場合は、探索領域７０２ｂを狭く設定する。なお、第１の人物７０３ａ及び第２の人物７０３ｂに対応する探索領域に関する情報（探索領域水平幅４０４と探索領域垂直高さ４０５）は、ステップＳ８０１の初期化処理時にＲＡＭ３０５にテーブルとしてロードされているものとする。

一方、ステップＳ８０５の個人識別処理において、登録された人物以外の人物を認識した場合は、非登録者としてテーブルに保持されている探索領域情報を使用する。例えば、ホームセキュリティシステム等に適用する場合、非登録者は侵入者の可能性が高いため、広い探索領域で確実に追跡可能な設定とする。

このように、本実施形態では検出された人物に応じて探索領域を決定する。このステップＳ８０８で決定した探索領域を示す座標データは、ＲＡＭ３０５の所定の領域に格納され、次のフレームの顔検出処理（ステップＳ８０３）及び個人識別処理（ステップＳ８０５）の処理対象領域として利用される。

本実施形態では、ＲＡＭ３０５に予め格納した固定テーブルを参照して探索領域を決定する例について説明したが、対象者の追尾状況を記録して、テーブルに修正を加えるようにしてもよい。例えば、過去に追尾した際の移動速度の平均値等の追尾結果を利用して、ＣＰＵ３０１がテーブル更新手段として機能することにより、ステップＳ８０７で探索領域を決定するために用いられるテーブルを修正する。具体的には、テーブル上の個人の探索領域水平幅（Ｗ horizontal）を下記の式を用いて修正（更新）する。
Ｗ horizontal＝（１＋α×（個人平均移動速度−標準移動速度）／標準移動速度）×標準探索領域幅
（α：係数、ここで、「標準移動速度」、「標準探索領域幅」及び「α」は予め定める値である。）

この場合、当該装置を設置した時は、標準的な探索領域情報が設定され、検出状況に合わせて特定の人物に対する探索領域情報をテーブルに学習させていくことができ、利便性が向上する。

以上のように本実施形態によれば、特定人物を認識する機能を有する見守りシステムや監視システム等において、人物識別結果を移動方向の予測に利用するようにしたので、より最適に探索領域を予測することが可能になる。これにより、検出・追跡に関わる処理負荷を低減することが可能になる。

（本発明に係る他の実施形態）
第１の実施形態では、人物の顔の向きに従って探索領域を設定する例について説明したが、本実施形態では、人物のさまざまな状況に従って適切な探索領域を設定することにより、より最適な探索領域の予測が可能になる。例えば、「座っている」／「立っている」／「運動をしている」等といった対象人物の状況を認識し、当該結果に従って探索領域を設定するようにしてもよい。

具体的には、座っている姿勢の場合等、移動する可能性が低いと判断される状況では探索領域を狭く設定し、立っている姿勢の場合等、移動する可能性が高いと判断される状況では、探索領域を広く設定する。さらには、「車椅子に乗っている」／「自転車に乗っている」等、人物の移動速度が予測される特定の状況を認識して探索領域を設定するようにしてもよい。この場合、例えば、車椅子の場合は移動速度が遅いと判断できるため、探索領域を狭くする。

第１〜第３の実施形態では、人物の顔を検出する例について説明したが、これに限るわけではなく、人物のシルエットを検出する等の他の手法を用いてもよい。また、人物の向き、年齢及び個人の特定についても、人物の顔を利用した方法に限るわけではなく、シルエット全体の様子や動作から認識する手法を用いてもよい。

また、第１〜第３の実施形態では、人物の追尾に関して説明したが、本発明はこれに限るわけでなく、さまざまな物体（被写体）の追尾に適用可能である。例えば、犬や猫などの動物を追尾する場合、前述した第１〜第３の実施形態で人物に適用した手法と同様の手法を利用して、その状態や属性に応じた追尾を実現することができる。

さらに、動物だけでなく様々な移動物体の追跡に応用することも可能である。例えば、車両等の移動物体の追尾に適用した場合、車両の向きを検出し、進行方向を予測することにより探索領域を最適化することができる。また、固有の動きパターンを有する複数の物体を追跡するような場合、その動きパターンに応じた探索領域をテーブル情報として用意し、物体識別結果に従ってテーブルを参照する手法で探索領域を最適化できる。

また、ロボット等の様にその種類や動作プログラムに応じて動作パターンが限定される場合、その種類等の識別結果に応じて探索領域を決定してもよい。これにより、ロボットを対象にしたより高性能なモニタリングシステムを構築することが可能である。

さらに、第１〜第３の実施形態では、物体の状況や属性を画像データから認識する例について説明したが、他の方法でもよい。例えば、ＩＣタグ等を利用して物体の属性を判定する手法と組み合わせてもよい。また、赤外線センサー・音声センサー等他のセンシング結果を利用して物体の状況や属性を判断する手法を組み合わせてもよい。

また、第１〜第３の実施形態では、探索領域が矩形領域である例について説明したが、他の形状でもよい。さらに、第１〜第３の実施形態では、物体の状況識別結果や属性識別結果のみから探索領域を設定する例について説明したが、もちろん、従来技術である物体の移動ベクトルによる探索領域設定手法を本発明と組み合わせて利用してもよい。その場合、移動ベクトルのみで探索領域を決定する場合に比べて、性能がより向上する。

また、第１〜第３の実施形態では、映像画面中の物体を追尾する例について説明したが、撮像方向を機械的に制御可能な駆動部を有するカメラシステムに適用して、物体を追尾する装置に適用してもよい。さらに、本発明による手法を監視カメラ装置や行動記録システム、ホームセキュリティシステム等に応用した場合について説明したが、これに限るわけではない。また、第１〜第３の実施形態ではマイクロプロセッサを用いて本発明を実施する場合について説明したが、全て或いはその一部をハードウェアで実現してもよい。

前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図１、６、８に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態における追尾処理の手順の一例を示すフローチャートである。 従来の追尾方法を説明する図である。 本発明の第１の実施形態における画像処理装置のハードウェア構成例を示すブロック図である。 本発明の第１の実施形態において、設定する探索領域の一例を示す図である。 本発明の第１の実施形態において、顔向き判定処理を行うための構成例を示すブロック図である。 本発明の第２の実施形態における追尾処理の手順の一例を示すフローチャートである。 本発明の第２の実施形態において、設定する探索領域の一例を示す図である。 本発明の第３の実施形態における追尾処理の手順の一例を示すフローチャートである。

符号の説明

３００ 画像処理装置
３０１ ＣＰＵ
３０２ ブリッジ
３０３ ＣＰＵバス
３０４ システムバス
３０５ ＲＡＭ
３０６ ＥＥＰＲＯＭ
３０７ ＲＴＣ
３０８ 通信インターフェース部
３１０ 映像入力部
３１１ 映像入力インターフェース部

Claims (18)

1. 映像データを入力する映像入力手段と、
   前記映像入力手段によって入力された映像データを構成するフレーム内の探索領域を設定する探索領域設定手段と、
   前記探索領域設定手段によって設定された探索領域から被写体を検出する被写体検出手段と、
   前記被写体検出手段によって検出された被写体の状況を識別する状況識別手段とを有し、
   前記探索領域設定手段は、前記状況識別手段による識別の結果に基づいて、次のフレームの探索領域を設定することを特徴とする画像処理装置。
2. 前記被写体の状況は、前記被写体の姿勢であることを特徴とする請求項１に記載の画像処理装置。
3. 前記被写体の状況は、前記被写体の向きであることを特徴とする請求項１に記載の画像処理装置。
4. 前記被写体の状況は、前記被写体の動作であることを特徴とする請求項１に記載の画像処理装置。
5. 前記被写体が人物であり、前記探索領域が前記人物の顔を含む領域であることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記探索領域設定手段が、現在の探索領域を前記被写体の向いている方向へ移動した位置に、次のフレームの探索領域を設定することを特徴とする請求項３に記載の画像処理装置。
7. 前記状況識別手段による識別の結果と探索領域とを関連付けたテーブルと、前記被写体検出手段によって検出された被写体を過去に追尾した結果に従って前記テーブルを更新するテーブル更新手段とを有し、前記探索領域設定手段が前記テーブルを参照して次のフレームの探索領域を設定することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 映像データを入力する映像入力手段と、
   前記映像入力手段によって入力された映像データを構成するフレーム内の探索領域を設定する探索領域設定手段と、
   前記探索領域設定手段によって設定された探索領域から被写体を検出する被写体検出手段と、
   前記被写体検出手段によって検出された被写体の属性を識別する属性識別手段とを有し、
   前記探索領域設定手段は、前記属性識別手段による識別の結果に基づいて、次のフレームの探索領域を設定することを特徴とする画像処理装置。
9. 前記被写体が人物であり、前記被写体の属性が前記人物の年齢であることを特徴とする請求項８に記載の画像処理装置。
10. 前記被写体の属性は、特定の被写体についての情報であることを特徴とする請求項８に記載の画像処理装置。
11. 前記被写体が人物であり、前記特定の被写体についての情報が個人情報であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記被写体が人物であり、前記探索領域が前記人物の顔を含む領域であることを特徴とする請求項８〜１１の何れか１項に記載の画像処理装置。
13. 前記属性識別手段による識別の結果と探索領域とを関連付けたテーブルと、過去の追尾結果に従って前記テーブルを更新するテーブル更新手段とを有し、前記探索領域設定手段が前記テーブルを参照して次のフレームの探索領域を設定することを特徴とする請求項８〜１２の何れか１項に記載の画像処理装置。
14. 映像データを入力する映像入力工程と、
    前記映像入力工程において入力した映像データを構成するフレーム内の探索領域を設定する探索領域設定工程と、
    前記探索領域設定工程において設定した探索領域から被写体を検出する被写体検出工程と、
    前記被写体検出工程において検出した被写体の状況を識別する状況識別工程とを有し、
    前記探索領域設定工程においては、前記状況識別工程における識別の結果に基づいて、次のフレームの探索領域を設定することを特徴とする画像処理方法。
15. 映像データを入力する映像入力工程と、
    前記映像入力工程において入力した映像データを構成するフレーム内の探索領域を設定する探索領域設定工程と、
    前記探索領域設定工程において設定した探索領域から被写体を検出する被写体検出工程と、
    前記被写体検出工程において検出した被写体の属性を識別する属性識別工程とを有し、
    前記探索領域設定工程においては、前記属性識別工程における識別の結果に基づいて、次のフレームの探索領域を設定することを特徴とする画像処理方法。
16. 映像データを入力する映像入力工程と、
    前記映像入力工程において入力した映像データを構成するフレーム内の探索領域を設定する探索領域設定工程と、
    前記探索領域設定工程において設定した探索領域から被写体を検出する被写体検出工程と、
    前記被写体検出工程において検出した被写体の状況を識別する状況識別工程とをコンピュータに実行させ、
    前記探索領域設定工程においては、前記状況識別工程における識別の結果に基づいて、次のフレームの探索領域を設定するようにコンピュータに実行させることを特徴とするプログラム。
17. 映像データを入力する映像入力工程と、
    前記映像入力工程において入力した映像データを構成するフレーム内の探索領域を設定する探索領域設定工程と、
    前記探索領域設定工程において設定した探索領域から被写体を検出する被写体検出工程と、
    前記被写体検出工程において検出した被写体の属性を識別する属性識別工程とをコンピュータに実行させ、
    前記探索領域設定工程においては、前記属性識別工程における識別の結果に基づいて、次のフレームの探索領域を設定するようにコンピュータに実行させることを特徴とするプログラム。
18. 請求項１６または１７に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images