JP2005227957A

JP2005227957A - 最適顔画像記録装置及び最適顔画像記録方法

Info

Publication number: JP2005227957A
Application number: JP2004034929A
Authority: JP
Inventors: Kazuo Hajima; 一夫羽島; Manabu Hashimoto; 橋本　　学; Yasushi Kage; 裕史鹿毛; Shotaro Miwa; 祥太郎三輪
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-02-12
Filing date: 2004-02-12
Publication date: 2005-08-25

Abstract

【課題】顔画像を検出する装置において、一連の連続画像から客観的に最もバランスの取れた正面顔像を必ず選択し保存する
【解決手段】本発明に係る最適顔画像記録装置は、カメラで撮影する画像データを記録し、記録された画像データから、所定の手法により顔の検出を行い、検出された顔画像において、一定時間内に一定範囲に顔画像が存在する場合には同じ顔と判断し、その判断が継続する限り、一回分の同じ顔画像追跡期間とし、所定の評価手法により、一回分の同じ顔画像追跡期間におけるベストショット画像を逐次選択更新し、一回分の同じ顔画像追跡期間におけるベストショット画像に関連付けて記録しておく情報を収集し、それら収集された情報を記録する。
【選択図】図１

Description

本発明は、人物の画像データから、その人物を示す最適な画像を自動的に記録する装置に関する。

特許文献１に記載の発明では、監視記録装置及び監視記録方法が開示される。該監視記録装置は、顔画像などを抽出する要部画像抽出手段を有する。該腰部画像抽出手段は、最適顔画像を抽出する。その最適顔画像の抽出は、正面顔の判断、肌色面積の判断、人物検出からの経過時間などから行われている。

上記の発明では、例えば、正面顔を選ぶ場合にはテンプレートマッチングによるため、顔が正面を向いていないときは、ベストショットが選択されないといった問題がある。また、要部画像抽出手段とベストショット選択手段との間に連携がなされていない。従って、顔のような要部画像を抽出する際に、何らかの理由で一瞬抽出が失敗した（中断した）場合に、連続して抽出されるべき画像が分断されてしまうと、ほぼ同時刻における同じ人物に関し、複数のベストショット画像が保存されてしまうという問題がある。

また、特許文献２に記載の発明では、外部からの映像信号を入力しその映像を処理する映像処理装置において、外部から入力した映像から人の顔画像を検出し、その顔画像に対応させて該顔画像を示すインデックスデータを作成し、記録し、表示する。この発明では、時系列上連続する画像において、いかに顔データが追従されるかにつき示唆されていない。
特開２００３−４６９１１公報特開２００３−２０４５４１公報

本発明は、顔画像を検出する装置において、一連の連続画像（動画）から客観的に最もバランスの取れた正面顔像（即ち、ベストショット画像）を必ず選択し保存する装置とすることを目的とする。また、一連の連続画像に対して不意の要因により顔画像の追跡が一瞬途切れたとしても、あたかも途切れなかったかのように必ずベストショット画像を選択保存することも目的とする。

本発明は、上記の目的を達成するために為されたものである。本発明に係る最適顔画像記録装置は、
カメラと、
カメラで撮影された画像が転送され記録される画像メモリと、
画像メモリに記録された画像データを参照して顔の検出を行う顔検出手段と、
検出された顔画像を追跡する手段であって、一定時間内に一定範囲に顔画像が存在する場合には同じ顔と判断し、その判断が継続する限り、一回分の同じ顔画像追跡期間とする追跡手段と、
所定の評価手法により、一回分の同じ顔画像追跡期間におけるベストショット画像を逐次選択更新するベストショット選択手段と、
一回分の同じ顔画像追跡期間における最新のベストショット画像を一時記憶するバッファと、
一回の顔画像追跡期間におけるベストショット画像に、関連付けて記録しておく情報を収集する付加情報収集手段と、
付加情報収集手段により収集された情報を記録する付加情報データベースと、
ベストショット画像、又は、ベストショット画像及びそれに関連する画像を、記録するベストショット画像メモリと、
カメラ、画像メモリ、顔検出手段、追跡手段、ベストショット選択手段、ベストショット画像メモリ、バッファ、付加情報収集選択手段、及び付加情報データベースに対して、上記動作の指示を与えるコントローラと
を備える。

本発明を利用することにより、カメラに顔が写っている期間内で最も保存に適する画像を取りこぼし無く、必要最小限のメモリ容量にて保存することができる。

以下、図面を参照しつつ、本発明に係る好適な実施の形態を説明する。

実施の形態１．
図１は、本発明の実施の形態１に係る最適顔画像記録装置の概略のブロック図である。

実施の形態１に係る最適顔画像記録装置は、図１に示すように、カメラ１、画像メモリ２、顔検出手段３、追跡手段４、ベストショット選択手段５、ベストショット画像メモリ６、バッファ７、付加情報収集選択手段８、付加情報データベース９、及びコントローラ１０から、構成される。このうち画像メモリ２、顔検出手段３、追跡手段４、ベストショット選択手段５、ベストショット画像メモリ６、バッファ７、付加情報収集選択手段８、及びコントローラ１０が、１台のパーソナルコンピュータの内部に構成され、付加情報データベース９が、そのパソコンに付属するハードディスク上に構築される、というものであってもよい。

カメラ１で撮影された画像は、フレーム単位で画像メモリ２に転送される。顔検出手段３は画像メモリ２を参照し、顔の検出を行う。顔の検出は、一般的な手法を用いることができる。

例えば、２００１ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ０１）で公開されている、“ＲａｐｉｄＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎｕｓｉｎｇａＢｏｏｓｔｅｄＣａｓｃａｄｅｏｆＳｉｍｐｌｅＦｅａｔｕｒｅｓ”，ＰａｕｌＶｉｏｌａａｎｄＭｉｃｈａｅｌＪｏｎｅｓ，ＣＶＰＲ２００１．に記載された方法を用いることにより、実時間動画処理で顔の検出が可能である。

しかしながら、単に顔の検出を行うだけでは、ノイズ、顔の向き、又は照明条件の変化などにより、一瞬顔が見失われる可能性がある。よって、追跡手段４を用いて顔の追跡を行い、一定時間以内に一定範囲内に顔（画像）が存在する場合には、同じ顔と判断させる。追跡手段４による追跡は、検出された顔領域をテンプレートとし、残差逐次検定法（ＳＳＤＡ法）などの一般的手法を用いることによって可能である。また、検出精度をあげるために、必要に応じて、テンプレートの更新を行ってもよい。

顔が検出される、又は、追跡による発見が行われている間は、ベストショット選択手段５が継続してベストショットの選択を行う。ベストショット選択手段５は、後述のいくつかの評価手段を有し、検出・追跡期間中に最も評価の高い顔画像またはその顔画像が含まれるフレーム画像をベストショット画像として、バッファメモリ７などに保持しておく。更に、ベストショット選択手段５は、検出・追跡が完了した時点、即ち、顔が見失われた時点で、ベストショット画像メモリ６にベストショットと判断された顔領域の部分画像やベストショット時のフレーム画像を保存する。なお、本明細書では、これらベストショットと判断された顔領域の部分画像やベストショット時のフレーム画像を、「ベストショット画像」と称する。ここで、顔部分とフレーム全体双方とを同時に記録してもよい。このことにより、その人物が所持していた物や、服装などを参照することができる。

付加情報収集選択手段８は、ベストショット画像が撮影された時刻や、ベストショット選択手段５が評価に用いる各種データを参照し、必要に応じて付加情報データベース９に付加情報として保存する。これにより、例えばベストショット画像が撮影された時間やそのときの顔の向きや大きさなどのデータを、ベストショット画像メモリ６に保存される画像と関連付けて付加情報データベース９に保存できる。更に、ベストショット画像につき時刻による画像の検索を容易に行ったり、ベストショット画像メモリ６に保存された画像の撮影時刻を参照したりすることが可能になる。

なお、上記ではベストショット画像メモリ６と付加情報データベース９とを別の構成要素としたが、両者をまとめて１つのメモリ、または１つのデータベースとしてもよい。また、上記のように、ベストショット画像選択時の各種評価値を付加情報として保存しておくことにより、ベストの度合いを評価することも可能になる。

また、ベストショット画像としては、１枚ではなく、２枚以上の画像を保存するようにしてもよい。それにより、例えば、「大きさ」がベストであるとか、「明るさ」がベストであるとかいうように、ベストショット画像参照時の選択の幅を広げることができる。

コントローラ１０は、カメラ１からベストショット画像メモリ６まで、更には付加情報データベース９に至る全ての構成要素に関して、参照を行い連携した動作を可能にする指示を与える。本発明の骨子とも言うべき、
・顔検出、
・追跡、
・ベストショット選択
などの動作（操作）は、コントローラ１０によって制御されているが、その詳細は後述する。

上記のように構成することにより、顔が検出されてから検出されなくなるまでの一連の流れのなかで、最も保存に適した顔画像を自動的に選択し、時刻情報などの付加情報とともに保存することができる。よって、ベストショットの取りこぼしがなく、監視用途などでの検索が容易なシステムを得ることができる。

本実施の形態１では、１つの顔画像の検出・追跡・選択について説明したが、複数の顔が同時に検出された場合、それぞれの顔について追跡・選択を行い、ベストショットとして記録保存することも可能である。

また、検出を行う際の元画像となっている動画像データを同時に記録し、ベストショット画像と該動画データとの時間関係、画像中の位置関係を付加情報データベース９に記録し、ベストショット画像をもとに、動画データの再生や検索を行うように装置を構成することも可能である。このように構成することにより、静止画と共に、体全体の動きや所持品等の動画データを参照することができる。

本実施の形態１では、ベストショット選択手段５内において、
・向き、
・大きさ、
・照明条件、
・隠れ判別、
・動き判別
等の情報を（後述のように）参照しているが、これら全部ではなく、これらのうちの一部を用いて、それらの評価の中でベストの画像を保存するようにしてもよい。

また、３次元位置情報を取得・参照するようにしてもよい。３次元位置情報の取得は、一般的な計測手法による結果、例えばステレオカメラによる計測結果を用いればよい。３次元位置情報を参照・取得する場合、所定の範囲内の位置（エリア）に入った場合に評価値を上げるなどの設定が可能である。もちろん、付加情報として３次元位置情報を保存することも可能である。

さらに、別の手段で得られる情報、例えば男女判別などの属性情報、笑った顔など表情判別情報、年齢推定情報、顔を捕らえられた人物の体の動き情報、画像のぼけ具合の情報、又は、ぶれの程度の情報などを、ベストショット判別のための評価に加えてもよい。それら情報を付加情報として付加情報データベース９に保存することも、ベストショット画像データにおける検索を行う際に有益である。

次に、実施の形態１における詳細なフロー図について説明する。ここでは、「隠れ判別」データの一例として、目が検出されるか否かを用いる。同様に、口が検出されるか否かを用いてもよい。目や口の隠れは、サングラスやマスク等によっても発生するため、これらの判別情報を付加情報として保存しておくことも有益である。また、「動き判別」データとして、顔位置の移動量を例にとる。

始めに、図２により顔検出時のフロー図を説明する。顔が検出される（Ｓ０２）と、顔の位置と大きさを、例えば前述のＶｉｏｌａらの方法を用いることにより、検出と同時に把握できる（Ｓ０４）。同時に、目の位置をテンプレートマッチングなどにより求める（Ｓ０４）。目検出有無の情報も内部のメモリに記録される。顔の向きは、たとえば、円形フィルターなどにより鼻腔を検出し、顔領域中での目との位置関係をみることにより大まかに計測する（Ｓ０４）。次に検出内の顔の大きさ内の輝度値の平均をとり、明るさを求める（Ｓ０６）。この後、追跡判定処理（Ｓ０８）へと進む。

ここまでで、大きさ、位置、向き、目検出、明るさの情報が得られる。複数の顔が検出された場合は、検出された全ての顔について処理を行ってもよいし、大きい方から所定番目までの顔について処理を行うという制限を設けてもよい。この制限は、大きさに限らず、明るさや男女判別などの属性情報を基に行うことも可能である。

次に、図３により追跡判定までのフロー図の一例を示す。上記で説明した一連の顔検出処理（Ｓ１２）ののち、例えばＳＳＤＡ法を用いたテンプレートマッチングにより顔領域の追跡を行う（Ｓ１４）。テンプレートマッチングには、前述の顔検出で得られた画像を用いる。図１における画像メモリ２には、少なくとも１フレーム前から、時系列的に画像が蓄積されている。よって、１フレーム前の画像からの顔位置の移動量が顔画像を追跡した結果として得られる。

また、ここでは、テンプレートマッチングを用いて顔領域の追跡を行ったが、顔の検出処理を毎回繰り返すことにより、テンプレートマッチングなどの追跡処理を行わずに追跡判定を行うように構成してもよい。

移動量が得られたら（Ｓ１４）、（図１により前述した）顔検出で得られた大きさ、位置、向き、目検出結果と合わせて、ベストショット選択を行う（Ｓ１６）。その方法は後述する。また、顔領域の追跡を行っているので、追跡処理結果により、顔の位置や大きさが更新される。さらに、この位置や大きさの更新にあわせて、テンプレート画像も更新されるように構成してもよい。

追跡が成功している場合は、追跡処理を繰り返す（Ｓ１８）。追跡が失敗した場合、再度顔検出を試みる（Ｓ２０）。１秒以上顔が検出されない場合（Ｓ２４）は、処理を終了し（Ｓ２６）、ベストショット画像と付加情報を保存する（Ｓ２８）。顔検出が成功した場合（Ｓ２０・Ｙｅｓ）は、追跡失敗より所定時間（例えば、１秒）以内かつ顔の移動量が所定量（例えば、２０ピクセル）以内であれば追跡可能と判断し（Ｓ２２・Ｙｅｓ）、追跡処理に戻る（Ｓ１４）。顔検出が成功した場合（Ｓ２０・Ｙｅｓ）でも、追跡失敗から所定時間（例えば、１秒）より多く掛かった、又は顔の移動量が所定量（例えば、２０ピクセル）より多かったのであれば（Ｓ２２・Ｎｏ）追跡終了と判断し（Ｓ２６）、ベストショット画像および付加情報を保存する（Ｓ２８）。

図３では、追跡終了の閾値を１秒としたが、用途に応じて、適宜設定してもよい。さらに、移動量に応じて、例えば移動スピードが速い場合は閾値を小さく、移動スピードが遅いまたは移動していない場合は、閾値を大きくするなど、動的に制御するように構成してもよい。

例えば、入力画像がＶＧＡ程度の解像度であると想定して、図３・Ｓ２２にて、２０ピクセルを閾値として用いている。もちろん、動きの早さなどにより閾値は変り得るため、適切な値とすればよい。また、追跡時に算出される移動量に応じて、動的に閾値を変化させることも可能である。

さらに、顔検出同様、複数個の顔を同時に追跡するように構成してもよい。

本実施の形態１によれば、一瞬、顔の検出に失敗した場合でも、誤って処理を終了し本来連続すべきベストショット検出処理が分断されてしまうことがなく、顔が連続して検出されている期間の中で最良の顔画像と付加情報を保存することが可能である。

次に、図４のフロー図によりベストショット選択について説明する。顔が検出されると、ベストショット画像の初期値として、検出された顔画像若しくは顔が検出されたフレーム画像、又はその両者をバッファに保存する（Ｓ３２）。同時に、計測された向き（Ｄ）、大きさ（Ｓ）、明るさ（Ｂ）、移動量（Ｍ）、目検出の有無（Ｅ）をもとに、以下の数１の式により、評価値αを求め、その値を初期値α_ｍａｘとして設定する。

ここで、ｗ_１（Ｄ）、ｗ_２（Ｓ）、ｗ_３（Ｂ）、ｗ_４（Ｍ）、ｗ_５（Ｅ）は重み付け関数であり、例えば、図１１に示される表の値を使用することができる。図１１の表では、まず、項目毎に重み付けの値を決めている。例えば、「向き」であれば正面を高い重みにする、などである。ここでは、「大きさ」としては、検出された顔領域の高さを用い、「明るさ」としては画像の各ピクセルのＲＧＢ値を平均した平均輝度値を用いている。このように、項目毎に重み付けを行い、さらに、項目間の重み係数を設定している。即ち、図１１の例では、正面向きであれば、ｗ_１（Ｄ）の値は、３×５＝１５となり、正面でも３０度以内の回転でもなければ、３×１＝３となる。ここでは、項目間重み付けと項目内の重み付けを別々に設定したが、初めから両者を組み合わせた値を設定してもよい。

また、用途に応じて、評価の段階の設定や閾値の設定を変更できることは言うまでもない。ここでは、固定値を用いたが、各項目の値を動的設定してもよい。例えば、「明るさ」の閾値を、フレーム画像の輝度平均値を毎フレームごとに参照してその変化に合わせて、動的に変動させるようにすることができる。このことで、より正確な評価ができると想定される。また、これまでの説明では、最も評価値の高い画像のみを選択・保存したが、必要に応じて、評価値の高い複数の画像を一括して保存しておくように構成してもよい。

カメラにズームレンズを使用している場合は、ズーム率に応じて、「大きさ」の閾値を変化させることが望ましい。

さらに、この閾値設定自体に学習型のアルゴリズムを適用すれば、使用環境に合わせた閾値設定を容易にすることができる。学習型のアルゴリズムの適用の例として、ニューラルネットワークがあげられる。かようなニューラルネットワークによる自律的な（図１１に相当する）表の作成が想定できる。

図４において、以下、顔検出または追跡が行われる度に評価値αを計算し（Ｓ３６）、α_ｍａｘの値と比較する（Ｓ３８）。αの値がα_ｍａｘの値より大きい場合には（Ｓ３８・Ｙｅｓ）、より良い画像であると判断されるので、α_ｍａｘの値を更新する（Ｓ４０）と同時に、検出・追跡された顔画像またはフレーム画像をベストショット画像としてバッファに保存する（Ｓ４２）。

以上説明したように、実施の形態１に係る最適顔画像記録装置では、顔が検出されてから、検出されなくなるまでの一連の流れのなかで、最も保存に適した顔画像を自動的に選択し、時刻情報などの付加情報とともに保存するため、ベストショットの取りこぼしがなく、監視用途などでの検索が容易なシステムを得ることができる。

ベストショットの保存時に、顔が検出されてから検出されなくなるまでの時間情報（例えば、検出開始時刻と終了時刻）を付加情報として保存しておき、同時に動画像を時間情報とともに記録しておける。こうすると、ベストショットとして保存された顔画像、又は付加情報から、特定の時刻のベストショットを選択した際、その付加情報から検出開始時刻と終了時刻を抽出して、同時に記録・保存された動画像の該当部分を再生するように機器を構成できる。つまり、ベストショット画像から容易にその人物が検出されていた時間の全画像を自動的に再生するように構成することが可能となり、画像検索の能率を向上させることができる。

実施の形態２．
図５は、本発明の実施の形態２に係る最適顔画像記録装置の概略のブロック図である。実施の形態２に係る最適顔画像記録装置は、上記の実施の形態１に係る最適顔画像記録装置と略同様の構成である。従って、同一部位には同一符号を付し、以下では差異を中心に説明する。

実施の形態２に係る最適顔画像記録装置は、実施の形態１に係る最適顔画像記録装置の構成に、同一人物判定手段１１と、同手段が参照する人物データベース１２が加わる。

（１）特定の個人につき所与の顔画像データを予め準備・記録（即ち、登録）しておき、検出で得られた顔画像と照合を行った結果、同一人物であるという識別情報をベストショット画像メモリにとともに保存したい場合、
（２）同じ顔と想定される画像が複数回検出されたときに、同じ顔であるという識別情報を付加したい場合
などは、同一人物判定手段１１が人物データベース１２を参照し、同一人物か否かの判定を行い、その結果を付加情報データベース９に保存することができる。ここでの、同一人物か否かの判定は、部分空間法による顔認識など一般的な手法を用いればよい。

人物データベース１２には、予め必要な顔画像データを登録してもよい。本装置により検出されたベストショット画像を登録して、その後、本装置で検出された顔画像を検出済みのものとして登録することも可能である。検出済み顔画像を登録することにより、同じ顔が複数回現れたという判別を行うことが可能となる。この場合、必要に応じて毎回ベストショットを記録してもよいし、複数回のうち最良の１枚を選んだり、最初の１枚を選んだりすることも可能である。

また、人物データベース１２に登録されていない人物の顔画像や、初めて検出された顔画像のみを保存するという使い方も可能である。

なお、この付加情報と、ベストショット画像メモリ６に記録される顔画像との間には、関連付けがなされていることは、実施の形態１と同じである。更に、同一人物判定手段１１の結果により、ベストショット画像メモリ６へのバッファ７からの保存の有無を選択するようにすることもできる。保存の有無を選択することにより、必要メモリ量が削減されることや、必要な画像のみが保存されることにより、検索が容易かつ高速になる。

上記では、ベストショット選択後に同一人物判定手段１１による判定を行うようにした。ここで、顔検出手段３・追跡手段４と同一人物判定手段１１とを同時に併用するようにすれば、顔画像の検出に失敗した直後、同一人物が一定時間内に顔検出手段３に捉えられた場合に、同じ人物が連続して撮影されていると判断することができる。よって、顔検出失敗によるデータの分断を防ぐことも可能である。

実施の形態３．
図６は、本発明の実施の形態３に係る最適顔画像記録装置の概略のブロック図である。実施の形態３に係る最適顔画像記録装置も、上記の実施の形態１に係る最適顔画像記録装置と略同様の構成である。従って、同一部位には同一符号を付し、以下では差異を中心に説明する。

実施の形態３に係る最適顔画像記録装置は、複数のカメラ（１、２１）を用いる。図７に示すように、ドアの前に立った人物を複数方向のカメラで撮影するものとして、即ち、ドアに正対して人が立った際の正面顔を撮影するカメラ１と、右横方向からの顔を撮影するカメラ２１とがあるものとして、説明する。

図６の２台目のカメラ２１は、画像メモリ２２に接続されている。ここでは、画像メモリ２２は、１台目のカメラと接続するメモリ（画像メモリ２）とは別のものであるが、おなじもの（つまり、画像メモリ２を共用するの）でもよい。また、物理的にはカメラ２１と画像メモリ２間がネットワークなどで接続されていても構わない。

正面顔を写す１台目のカメラ１が、正面顔をベストショットとして選択した際、これに同期して、同じ時刻の２台目のカメラ２１の画像をバッファ２３に保存する。バッファ２３とバッファ７とを共用しても構わない。最終的に顔の検出・追跡が終了した場合には、カメラ１とカメラ２１の相対応するベストショット画像が、バッファ７、バッファ２３からベストショット画像メモリ６に保存される。それぞれの付加情報が付加情報データベース９に保存されるのは、実施の形態１及び実施の形態２と同様である。

このように構成することにより、正面顔のみならず、複数の方向からの画像が撮影されることになり、たとえば顔画像の照合を行う場合、横顔のみのデータしかない場合でも、照合が可能になる。

また、ここでは、向きの異なる顔画像を撮影する場合について説明したが、複数のカメラ間でズーム率を変えて、顔と全景が得られるように構成することも可能である。またさらに、カメラ１以外のカメラについても、顔検出手段、追跡手段、ベストショット選択手段を設け、カメラ１でのベストショット画像とともに、同時にまたは別個にベストショット画像メモリ、付加情報データベースに保存することも可能である。この場合は、それぞれのカメラで最適なベストショット画像が保存されるという利点がある。

実施の形態４．
図８は、本発明の実施の形態４に係る最適顔画像記録装置の概略のブロック図である。実施の形態４に係る最適顔画像記録装置も、上記の実施の形態１に係る最適顔画像記録装置と略同様の構成である。従って、同一部位には同一符号を付し、以下では差異を中心に説明する。

実施の形態４に係る最適顔画像記録装置において、カメラ１は、パン・チルト・ズーム（ＰＴＺ）機能を有し、該ＰＴＺ機能はコントローラ１０に接続するＰＴＺ制御手段３１により制御される。ベストショット選択手段５での評価値が低い場合、例えば「大きさ」が小さい場合に、コントローラ１０からＰＴＺ制御手段３１を介して、カメラ１のズームアップの処理を行うことで、より最適な画像を選択、記録できる。

また、追跡手段４と連携して、顔が画面の中央もしくは中央よりやや上に位置するように、コントローラ１０からＰＴＺ制御手段３１を介して、パン・チルト制御を行い、全身が映像に収まるようにできる。そうすると、顔以外の服装や、所持品などの画像情報を適切に撮影することができる。さらには、顔の大きさをもとにズーム率を変えて、常に画面中央に人物が略一定の大きさで撮影されるように制御することも可能である。このようにすることにより、常に最適な画像を撮影することが可能になる。

実施の形態５．
本発明の実施の形態５に係る最適顔画像記録装置を、図９を用いて説明する。実施の形態５に係る最適顔画像記録装置も、上記の実施の形態１に係る最適顔画像記録装置と略同様の構成である。従って、同一部位には同一符号を付し、以下では差異を中心に述べる。

実施の形態５に係る最適顔画像記録装置は、照明４１とスピーカ４２とのうちの少なくとも片方が、実施の形態１に係る最適顔画像記録装置の構成に加わることを特徴とする。照明４１は、ベストショットでの明るさの評価値が低い場合や、一定レベル以下である場合に点灯し、より適切な画像の選択・記録を可能にするものである。評価値によってコントローラ１０を介して、明るさを調整できるように構成してもよい。

スピーカ４２は、例えば、顔が検出されてから一定時間経過しても正面を向かないとコントローラ１０により判断されたときに、正面を向くように自動アナウンスを行って被写体が正面を向くように促すのに用いられる。これにより、正面を向かせることで、より最適な画像を保存できるようになる。

実施の形態６．
図１０は、本発明の実施の形態６に係る最適顔画像記録装置の概略のブロック図である。実施の形態６に係る最適顔画像記録装置も、上記の実施の形態１に係る最適顔画像記録装置と略同様の構成である。従って、同一部位には同一符号を付し、以下では差異を中心に説明する。

実施の形態１では、カメラ１から入力される画像に対し、顔が検出された場合、必ずベストショット画像を保存するようにしていた。本実施の形態６では、ＩＤ入力手段５１から入力される情報に基づき、ベストショット画像を保存するか否かを選択するように構成している。以下、具体的な動作について説明する。

ＩＤ入力手段５１は、例えば、指紋認証装置、虹彩認証装置、磁気記録やＲＦ−ＩＤタグのような無線通信や電磁誘導を利用したＩＤカード入力装置、または、テンキーによるパスワード入力装置など、個人を識別するための情報の情報入力装置である。これら個人を識別するための情報入力装置は、単独で用いてもよいし、組み合わせて用いても構わない。

コントローラ１０は、ＩＤ入力手段５１から個人識別のための情報が入力されたとの信号を受け取ると、事前に個人識別情報が登録されている登録情報データベース５２を参照する。登録情報データベース５２には、個人毎に、どのような場合にベストショット画像を記録するかという情報が保存されている。

例えば、最も簡単な例として、登録されている場合には、ベストショット画像メモリ６ヘの保存を行わないという設定が考えられる。この設定がなされた人物（例えば、Ａ）に関して、人物ＡのＩＤがＩＤ入力手段５１よりコントローラ１０に送られた場合には、当該人物の顔画像の検出・追跡が開始されその後検出・追跡が終了しても、バッファ７及び付加情報収集選択手段８に蓄積されているベストショット画像と付加情報は、ベストショット画像メモリ６及び付加情報データベース９には保存されないように、コントローラ１０が制御する。一方で、ＩＤ入力手段５１から入力された識別情報が、登録情報データベース６２に登録されていない場合は、実施の形態１と同様に検出・追跡終了後にベストショット画像と付加情報が保存される。

上記では、登録されていない人物については、無条件にデータを保存するようにしたが、１日の中で、最初に顔が摘出・追跡された場合のみデータを保存したり、特定の時間内のみ、データを保存したりするように横成してもよい。また、ＩＤ入力手段５１は、赤外線による人体感知センサなどを併備し、ＩＤカードを持たない人間が通過した場合は、「ＩＤ無し」の識別情報を送付するように構成してもよい。またさらに、人物の移動時間に比し必要十分に短い時間間隔で、コントローラ１０が、ＩＤ入力手段５１に情報入力の有無を確認するように構成してもよい。

このように構成することにより、例えば、特定エリアヘの入退出管理において、ＩＤカードを持った人間の顔画像記録は行わず、ＩＤカードを持たない人間のみ、顔を記録するといったことが可能になる。

また、ここでは、登録情報データベース６２にベストショット顔画像記録の要否を保存するように構成したが、ＩＤカードに要否を記録しておき、ＩＤ入力手段５１がその情報をコントローラ１０に伝達するように構成しても同様の効果が得られる。またさらに、通過すべき狭いゲート付近にカメラ１が設置されている場合など、１回に１人しか通過しないことが明白である場合は、特定の人物が通過した場合のみ、顔の検出・追跡・ベストショット画像保存という一連のシーケンスが実施されるように構成してもよい。こうすることにより、装置の負荷が低減される。

以上述べたように、本実施の形態に示した構成をとることにより、登録が不要な人物について、画像および付加情報の保存を行わないようにすることができ、保存効率の向上、データ検索時間の短縮を図ることができる。

本発明の実施の形態１に係る最適顔画像記録装置の概略のブロック図である。実施の形態１に係る最適顔画像記録装置における、顔検出時のフロー図である。実施の形態１に係る最適顔画像記録装置における、追跡判定までのフロー図である。実施の形態１に係る最適顔画像記録装置における、ベストショット選択までの不ローズである。本発明の実施の形態２に係る最適顔画像記録装置の概略のブロック図である。本発明の実施の形態３に係る最適顔画像記録装置の概略のブロック図である。実施の形態３に係る最適顔画像記録装置の利用例である。本発明の実施の形態４に係る最適顔画像記録装置の概略のブロック図である。実施の形態５に係る最適顔画像記録装置の利用例である。本発明の実施の形態６に係る最適顔画像記録装置の概略のブロック図である。評価値の重み付け（関数）の例である。

符号の説明

１カメラ、２画像メモリ、３顔検出手段、４追跡手段、５ベストショット選択手段、６ベストショット画像メモリ、７バッファ、８付加情報収集選択手段、９付加情報データベース、１０コントローラ。

Claims

カメラと、
カメラで撮影された画像が転送され記録される画像メモリと、
画像メモリに記録された画像データを参照して顔の検出を行う顔検出手段と、
検出された顔画像を追跡する手段であって、一定時間内に一定範囲に顔画像が存在する場合には同じ顔と判断し、その判断が継続する限り、一回分の同じ顔画像追跡期間とする追跡手段と、
所定の評価手法により、一回分の同じ顔画像追跡期間におけるベストショット画像を逐次選択更新するベストショット選択手段と、
一回分の同じ顔画像追跡期間における最新のベストショット画像を一時記憶するバッファと、
一回の顔画像追跡期間におけるベストショット画像に、関連付けて記録しておく情報を収集する付加情報収集手段と、
付加情報収集手段により収集された情報を記録する付加情報データベースと、
ベストショット画像、又は、ベストショット画像及びそれに関連する画像を、記録するベストショット画像メモリと、
カメラ、画像メモリ、顔検出手段、追跡手段、ベストショット選択手段、ベストショット画像メモリ、バッファ、付加情報収集選択手段、及び付加情報データベースに対して、上記動作の指示を与えるコントローラと
を備える、最適顔画像記録装置。
人物データベースと、
検出された顔画像について上記人物データベースを参照して人物を特定する、同一人物判定手段と、更に備える請求項１に記載の最適顔画像記録装置。
更に１台以上のカメラを備える、
請求項１又は請求項２に記載の最適顔画像記録装置。
カメラがパンチルトズーム機能を有し、
コントローラが上記パンチルトズーム機能を制御する、
請求項１乃至請求項３のうちのいずれか一つに記載の最適顔画像記録装置。
照明とスピーカのうちの少なくとも一つが備わり、それらがコントローラにより制御される、
請求項１乃至請求項４のうちのいずれか一つに記載の最適顔画像記録装置。
ベストショット画像に関連する画像が、ベストショット画像を撮影したときの前後の動画像である場合に、
一回又は複数回のベストショット画像を記録後に、一つのベストショットを選択すると、その前後の動画像も抽出され、再生することができる、
請求項１乃至請求項５のうちのいずれか一つに記載の最適顔画像記録装置。
個人を識別するための情報が入力されるＩＤ入力手段と、
登録情報データベースが更に備わり、
ＩＤ入力手段は、個人を識別するための情報を受け取るとコントローラに送り、
コントローラは、登録情報データベースにおける個人に係るデータを参照して、ベストショット画像、又は、ベストショット画像及びそれに関連する画像を、保存するか否かの判断を行い、その判断結果に従って、保存又は非保存をベストショット画像メモリ及び付加情報データベースに指示する、
請求項１乃至請求項６のうちのいずれか一つに記載の最適顔画像記録装置。
カメラで撮影する画像データを記録し、
記録された画像データから、所定の手法により顔の検出を行い、
検出された顔画像において、一定時間内に一定範囲に顔画像が存在する場合には同じ顔と判断し、その判断が継続する限り、一回分の同じ顔画像追跡期間とし、
所定の評価手法により、一回分の同じ顔画像追跡期間におけるベストショット画像を逐次選択更新し、
一回分の同じ顔画像追跡期間におけるベストショット画像に関連付けて記録しておく情報を収集し、
それら収集された情報を記録する、
最適顔画像記録方法。