JP2010219607A - ターゲットフレーム抽出装置、撮像装置およびデジタルカメラ - Google Patents

Abstract

【課題】顔検出および顔認証だけでは顔が検出できない動画像データからは、使用者が指定するターゲット人物が撮像されていたとしてもそれを検出することができない。また、記録された動画像データから使用者が指定する人物に着目した動画像データの再生の範囲を顔が写っている内容に限定される。
【解決手段】特徴情報登録手段Ｅ０は、ターゲット人物の顔の特徴を示すターゲット顔特徴情報Ｋtとターゲット人物の服の特徴を示すターゲット服特徴情報Ｆtを登録している。顔照合式フレーム判定手段Ｅ１は、各フレームの動画像データにおいて人物の顔を検出して顔特徴情報Ｋiを生成し、この顔特徴情報Ｋiをターゲット顔特徴情報Ｋtと比較してターゲットフレームの判定を行う。服照合式フレーム判定手段Ｅ２は、顔特徴照合が不成立のときに、動画像データにおいて服を検出して服特徴情報Ｆiを生成し、この服特徴情報Ｆiをターゲット服特徴情報Ｆtと比較してターゲットフレームの判定を行う。
【選択図】図１

Description

本発明は、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置の分野において、動画の撮像時または再生時において注目する特定の人物（ターゲット人物）が写っているフレーム（ターゲットフレーム）群を動画像データの中から抽出するターゲットフレーム抽出装置にかかわり、特には、ターゲット人物の顔がフレームからはみ出してもその人物を途切れなく追跡するようにして再生表示できるように、ターゲットフレームの抽出の精度を向上するための技術に関する。

従来、指定したターゲット人物を中心にして動画像を自動編集し再生する技術が知られている。例えば、動画の撮像時または再生時にフレーム内の人物の顔を検出し、その人物の顔の特徴をデータとして事前に登録しておき、その登録した情報と再生画面中の人物の顔の特徴とを比較し、動画像を再生表示すべきか否かを判定することで、特定の人物を中心とした動画像の再生表示を行うものがある（例えば特許文献１参照）。
特開２００７−２２８４５３号公報 特開２００８−１７２３９５号公報

上記特許文献１においては、人物の顔がフレーム内に納まっている場合にはターゲット人物であると特定し、そのフレームをターゲットフレームとして動画像データの中から抽出することは可能である。しかし、ターゲット人物は写ってはいるが、顔の一部または全部がフレーム内に入っていない場合や、後姿で写っている場合など、顔を検出することができないフレームでは、ターゲット人物が写っているにもかかわらず、ターゲットフレームとしては抽出されない（動画像再生されない）という課題がある。

なお、複数の動画像データから顔検出および服検出を行い、顔と服の双方で最も適正な画像を合成することにより、顔領域と服領域が共に高画質となる画像を自動で撮像するものがある（例えば特許文献２参照）。しかし、これは、顔と服との両方を高画質な撮像画像として得るものにすぎず、ターゲットフレームを抽出する技術とは直接の関係を有するものではない。

本発明は、このような事情に鑑みて創作したものであり、ターゲット人物の顔の一部または全部がフレーム内に入っていない場合や、後姿で写っている場合など、顔を検出することができないフレームであっても、ターゲット人物が写っている以上はターゲットフレームとして的確に抽出することができるターゲットフレーム抽出装置を提供することを目的としている。

ターゲットフレーム抽出装置についての本発明は、次のような手段を講じることにより上記の課題を解決するものである。理解を容易にするため、図面を用いて説明するが、本発明はこの図示によって何ら制限を受けるものではない。

（１）本発明によるターゲットフレーム抽出装置は、図１を参照して、
ターゲット人物の顔の特徴を示すターゲット顔特徴情報Ｋtとターゲット人物の服の特徴を示すターゲット服特徴情報Ｆtとが登録される特徴情報登録手段Ｅ０と、
画像メモリＭ１から読み出された各フレームの動画像データにおいて人物の顔を検出して顔特徴情報Ｋiを生成し、この顔特徴情報Ｋiを前記特徴情報登録手段Ｅ０から読み出されたターゲット顔特徴情報Ｋtと比較する顔特徴照合を行ってターゲットフレームの判定を行う顔照合式フレーム判定手段Ｅ１と、
前記顔照合式フレーム判定手段Ｅ１による顔特徴照合が不成立のときに、前記フレームの動画像データにおいて服を検出して服特徴情報Ｆiを生成し、この服特徴情報Ｆiを前記特徴情報登録手段Ｅ０から読み出されたターゲット服特徴情報Ｆtと比較する服特徴照合を行ってターゲットフレームの判定を行う服照合式フレーム判定手段Ｅ２とを備えたものである。

上記の構成においては、あらかじめの作業として、特徴情報登録手段Ｅ０に、注目している特定の人物であるターゲット人物の顔の特徴を示すターゲット顔特徴情報Ｋtと、そのターゲット人物が着ている服の特徴を示すターゲット服特徴情報Ｆtとを登録しておくものとする。特徴情報登録手段Ｅ０は、画像メモリＭ１に統合されていてもよい。また、ターゲット顔特徴情報Ｋt用の特徴情報登録手段Ｅ０とターゲット服特徴情報Ｆt用の特徴情報登録手段Ｅ０とは、共通のものでもよいし別個のものでもよい。また、特徴情報登録手段Ｅ０に対して、ターゲット顔特徴情報Ｋtとターゲット服特徴情報Ｆtをどのようにして登録しておくかについては、特に問うものではなく、任意の態様が採用されてよきものとする。例えば、当該のターゲットフレーム抽出装置またはその周辺装置によって取得したターゲット顔特徴情報Ｋtやターゲット服特徴情報Ｆtを特徴情報登録手段Ｅ０に登録しておくのでもよいし、あるいは外部のパーソナルコンピュータなどで作成したターゲット顔特徴情報Ｋtやターゲット服特徴情報Ｆtを転送格納しておくのでもよい。ターゲット顔特徴情報Ｋtの登録のタイミングとターゲット服特徴情報Ｆtの登録のタイミングとについては、同時性を限定する必要はなく、時間的にずれていてもよきものとする。また、動作形態として、画像メモリＭ１にはあらかじめ動画像データが格納されているものとするが、動画像データがどのような態様で格納されるかについては、特に問うものではなく、任意の態様が採用されてよきものとする。たとえば、動画像データの撮像中での一時記憶の態様でもよいし、あるいは外部の記録媒体から読み出した動画像データを転送格納する態様でもよい。顔検出または顔特徴照合あるいは服特徴照合についても、そのタイミングは、動画像データの撮像中でもよいし、あるいは外部の記録媒体から読み出して再生するときまたは再生表示するときのいずれでもよい。画像メモリＭ１自体は必須要件としなくてもよく、当該のターゲットフレーム抽出装置の外部に存在するものを利用するのでもよい。当該のターゲットフレーム抽出装置によって抽出されたターゲットフレームは、ターゲット人物中心の動画像の追跡再生に利用されるのが主な利用形態であるが、必ずしもこれのみに限定されるものではなく、任意の利用に展開可能であるものとする。

上記の構成は、顔照合式フレーム判定手段Ｅ１による顔特徴照合でのターゲットフレーム判定と服照合式フレーム判定手段Ｅ２による服特徴照合でのターゲットフレーム判定との２段構えの構造となっていることが技術ポイントである。動作の順序として、まず顔照合式フレーム判定手段Ｅ１が起動し、この顔照合式フレーム判定手段Ｅ１による顔特徴照合が不成立であれば、次に服照合式フレーム判定手段Ｅ２が起動する。

まず、顔照合式フレーム判定手段Ｅ１が起動されて、画像メモリＭ１から動画像データが１フレームごとに読み出され、そのフレームにおいて人物の顔が検出され、検出された顔における特徴を示す顔特徴情報Ｋiが生成される。生成された顔特徴情報Ｋiは画像メモリＭ１または他の記憶手段に一時記憶される。次いで、顔照合式フレーム判定手段Ｅ１は、特徴情報登録手段Ｅ０にアクセスしてあらかじめ登録されているターゲット顔特徴情報Ｋtを読み出し、上記の現フレームで生成した顔特徴情報Ｋiを読み出したターゲット顔特徴情報Ｋtと比較する顔特徴照合を行う。この顔特徴照合が肯定の判定結果を示すときは、そのフレームをターゲットフレームと判定する。顔特徴照合が否定の判定結果を示すときは、服照合式フレーム判定手段Ｅ２の起動へと進む。この顔特徴照合が否定となる場合の１態様に、ターゲット人物は写ってはいるが、ターゲット人物の顔の一部または全部がフレーム内に入っていない場合や、後姿で写っている場合など、顔を検出することができないフレームがチェック対象となっている場合があげられる。なお、１フレームにおいて、複数の人物が存在するときは、すべての人物についてチェックを行うことを基本とし、照合が成立したときは、それ以降の人物についてはチェックを省略してもよきものとする。

顔照合式フレーム判定手段Ｅ１による顔特徴照合が不成立のときに、服照合式フレーム判定手段Ｅ２が起動され、画像メモリＭ１から同じフレームの動画像データが読み出され、そのフレームにおいて服が検出され、検出された服における特徴を示す服特徴情報Ｆiが生成される。生成された服特徴情報Ｆiは画像メモリＭ１または他の記憶手段に一時記憶される。次いで、服照合式フレーム判定手段Ｅ２は、特徴情報登録手段Ｅ０にアクセスして今度はあらかじめ登録されているターゲット服特徴情報Ｆtを読み出し、上記の現フレームで生成した服特徴情報Ｆiを読み出したターゲット服特徴情報Ｆtと比較する服特徴照合を行う。この服特徴照合が肯定の判定結果を示すときは、そのフレームをターゲットフレームと判定する。服特徴照合が否定の判定結果を示すときは、次のフレームでの顔照合式フレーム判定手段Ｅ１による照合へと進む。

以上のように、本構成においては、顔特徴照合でのターゲットフレーム判定と服特徴照合でのターゲットフレーム判定との２段構えの構造にして、まず顔特徴照合を行い、それが不成立であれば、次に服特徴照合を行うようにしているので、ターゲット人物の顔の一部または全部がフレーム内に入っていない場合や、後姿で写っている場合など、顔を検出することができないフレームであっても、ターゲット人物が写っている以上はターゲットフレームとして的確に判定することが可能となる。結果として、ターゲット人物の顔がフレームからはみ出してもその人物を途切れなく追跡するようにして再生表示する上で、課題を解決することができる。

（２）上記構成のターゲットフレーム抽出装置において、前記服照合式フレーム判定手段Ｅ２は、前記フレームの動画像データでの服検出において、前記顔照合式フレーム判定手段Ｅ１による人物の顔検出での顔位置を基に服領域を決定するように構成されているという態様がある。この構成においては、服照合式フレーム判定手段Ｅ２は、顔照合式フレーム判定手段Ｅ１から顔検出での顔位置の情報を取得し、画像メモリＭ１から読み出したフレームの動画像データにおいて、前記の顔位置を基準として服領域を決定する。そして、その決定した服領域において服の特徴を示す服特徴情報Ｆiを生成する。顔位置を基に服領域を決定するので、服領域の絞り込みが効果的に行われ、チェック対象とする人物の顔と服との関係が密接不可分となり、生成する服特徴情報Ｆiの確度・精度が高いものとなる。

（３）上記構成のターゲットフレーム抽出装置において、さらに、前記顔照合式フレーム判定手段Ｅ１によって生成される前記顔特徴情報Ｋiを一時記憶するとともに、前記服照合式フレーム判定手段Ｅ２によって生成される前記服特徴情報Ｆiを一時記憶する記憶手段を備えているという態様がある。上記したように、顔特徴照合や服特徴照合に際しては、生成した顔特徴情報Ｋiや服特徴情報Ｆiを前もって一時記憶しておくのが好ましい。

（４）上記構成のターゲットフレーム抽出装置において、前記顔照合式フレーム判定手段Ｅ１は、検出した顔から生成した前記顔特徴情報Ｋiと前記特徴情報登録手段Ｅ０から読み出されたターゲット顔特徴情報Ｋtとの比較照合において、それぞれの顔特徴情報における特徴量の類似度の判定を行うように構成されているという態様がある。顔特徴情報について、目や鼻や口や耳などの顔構成要素の相対位置関係や大きさなどの特徴を数値化し、顔検出での顔特徴情報Ｋiの数値化された特徴量とターゲット顔特徴情報Ｋtの数値化された特徴量との類似度をチェックし、その類似度を所定のしきい値で大小比較判定してターゲットフレームであるか否かを判定する。こうすることにより、効率良くターゲットフレームの判定が行える。

（５）上記構成のターゲットフレーム抽出装置において、前記服照合式フレーム判定手段Ｅ２は、検出した服から生成した前記服特徴情報Ｆiと前記特徴情報登録手段Ｅ０から読み出されたターゲット服特徴情報Ｆtとの比較照合において、それぞれの服特徴情報における特徴量の類似度の判定を行うように構成されているという態様がある。服特徴情報について、色や柄や模様などの服構成要素の特徴を数値化し、服検出での服特徴情報Ｆiの数値化された特徴量とターゲット服特徴情報Ｆtの数値化された特徴量との類似度をチェックし、その類似度を所定のしきい値で大小比較判定してターゲットフレームであるか否かを判定する。こうすることにより、効率良くターゲットフレームの判定が行える。

（６）上記構成のターゲットフレーム抽出装置において、図２を参照して、前記画像メモリＭ１から読み出されたフレーム群につき、前記顔照合式フレーム判定手段Ｅ１による顔特徴照合の結果Ｃ_K と前記服照合式フレーム判定手段Ｅ２による服特徴照合の結果Ｃ_F とを関連付けた照合結果管理情報Ｃを生成し、記録のために前記照合結果管理情報Ｃを記録媒体Ｍ２に向けて出力するとともに、ターゲット人物を特定した再生を行うときに、前記記録媒体Ｍ２から前記照合結果管理情報Ｃを読み出し、その照合結果管理情報Ｃに基づいて前記記録媒体Ｍ２における動画像データの再生すべきターゲットフレームを選択するターゲット再生制御手段Ｅ３を備えているという態様がある。この構成は、ターゲットフレームの判定結果を再生においてどのように活かすかを述べたものである。

顔照合式フレーム判定手段Ｅ１による顔特徴照合の結果Ｃ_K と、服照合式フレーム判定手段Ｅ２による服特徴照合の結果Ｃ_F は、ターゲット再生制御手段Ｅ３に送られる。ターゲット再生制御手段Ｅ３は、顔特徴照合の結果Ｃ_K と服特徴照合の結果Ｃ_F とを関連付けて照合結果管理情報Ｃを生成し、記録のために記録媒体Ｍ２に向けて出力する。そして、ターゲット再生制御手段Ｅ３は、ターゲット人物を特定した再生を行うときに、記録媒体Ｍ２から照合結果管理情報Ｃを読み出し、その照合結果管理情報Ｃに基づいて記録媒体Ｍ２における動画像データの再生すべきターゲットフレームを選択する。すなわち、顔特徴照合の結果Ｃ_K が肯定を示すときは、そのフレームを再生フレームとして選択する。また、顔特徴照合の結果Ｃ_K が否定を示すときでも、服特徴照合の結果Ｃ_F が肯定を示すときは、そのフレームを再生フレームとして選択する。これにより、ターゲット人物を特定した再生の制御を効率的に行うことが可能となる。なお、この照合結果管理情報Ｃの生成および記録は、動画像の撮像時に行ってもよいし、記録媒体Ｍ２から動画像データを読み出して再生しているときに行ってもよい。得られた照合結果管理情報Ｃは顔特徴照合の結果Ｃ_K と服特徴照合の結果Ｃ_F とを関連付けたものであり、その一元管理は実用的に大きな汎用性をもつことが可能となる。動画撮像時に取得した照合結果管理情報Ｃを動画像データとともに記録媒体Ｍ２に記録しておけば、あとで照合結果管理情報Ｃを参照するだけで動画像データ自体の再生はしなくても、どのフレームにターゲット人物が撮像されているか否かの判定に利用することが可能となる。

なお、読み出した照合結果管理情報Ｃから再生したい特徴情報を指定するだけで、ハイライト再生やダイジェスト再生が可能となり、使用者が撮像画像を探す手間を省くことも可能である。ここで、ハイライト再生は最も注目するハイライト部分だけを再生することで、より短時間に撮像画像を視聴できる機能であり、ターゲット人物中心の追跡再生を含む。ダイジェスト再生は、撮像画像中において使用者が所望したシーンを抜き出して再生する機能である。

また、読み出した照合結果管理情報Ｃにおいて、情報要素を任意に組み合わせた新たな管理情報を生成することも容易で、顔や服などの個々の情報ではなく、各特徴を関連付けた情報で管理することも比較的容易に可能となる。

（７）上記構成のターゲットフレーム抽出装置において、図３を参照して、前記顔照合式フレーム判定手段Ｅ１は、前記画像メモリＭ１から読み出された各フレームの動画像データにおいて顔検出を行い顔の位置を示す顔検出情報を生成する顔検出手段ｋ１と、前記顔検出手段ｋ１による顔検出情報が指示する顔位置で動画像データを領域指定し、その指定領域で顔の特徴を示す顔特徴情報Ｋiを生成し、生成した顔特徴情報Ｋiを前記特徴情報登録手段Ｅ０から読み出されたターゲット顔特徴情報Ｋtと比較する顔特徴照合を行ってターゲットフレームを判定する顔認証手段ｋ２とを備えているという態様がある。これは、顔照合式フレーム判定手段Ｅ１のより詳しい構成を説明するものである。

顔検出手段ｋ１は、画像メモリＭ１からチェック対象のフレームの動画像データを読み出し、その動画像データにおいて顔検出を行い、顔検出情報を生成し、顔認証手段ｋ２に渡す。顔検出情報を受け取った顔認証手段ｋ２は、顔検出情報が指示する顔位置で動画像データを領域指定し、その指定領域で顔の特徴を示す顔特徴情報Ｋiを生成し、さらに、特徴情報登録手段Ｅ０からターゲット顔特徴情報Ｋtを読み出し、顔特徴照合によって、生成した顔特徴情報Ｋiをターゲット顔特徴情報Ｋtと比較し、チェック対象のフレームがターゲット人物を含むターゲットフレームであるかを判定する。

（８）上記構成のターゲットフレーム抽出装置において、図３を参照して、前記服照合式フレーム判定手段Ｅ２は、前記画像メモリＭ１から読み出された各フレームの動画像データにおいて服検出を行い前記服特徴情報Ｆiを生成する服検出手段ｆ１と、前記服検出手段ｆ１による服特徴情報Ｆiを前記特徴情報登録手段Ｅ０から読み出されたターゲット服特徴情報Ｆtと比較する服特徴照合を行ってターゲットフレームを判定する服認証手段ｆ２とを備えているという態様がある。これは、服照合式フレーム判定手段Ｅ２のより詳しい構成を説明するものである。服検出手段ｆ１は、画像メモリＭ１からチェック対象のフレームの動画像データを読み出し、その動画像データにおいて服検出を行い、服特徴情報Ｆiを生成し、服認証手段ｆ２に渡す。服特徴情報Ｆiを受け取った服認証手段ｆ２は、特徴情報登録手段Ｅ０からターゲット服特徴情報Ｆtを読み出し、服特徴照合によって、服検出手段ｆ１から受け取った服特徴情報Ｆiをターゲット服特徴情報Ｆtと比較し、チェック対象のフレームがターゲット人物を含むターゲットフレームであるかを判定する。

（９）上記（７）の構成のターゲットフレーム抽出装置において、図３を参照して、撮像または再生によって表示される画像において前記ターゲット人物を指定し、人物指定信号を出力するターゲット人物指定手段Ｅ４を備え、前記顔検出手段ｋ１は、前記ターゲット人物指定手段Ｅ４からの前記人物指定信号を入力すると、表示にかかわる再生中フレームの動画像データにおいて前記人物指定信号に対応する顔を選択し、その顔選択にかかわる選択信号を前記顔認証手段ｋ２に送り、前記顔認証手段ｋ２は、前記顔検出手段ｋ１からの前記選択信号に対応する顔において顔特徴情報Ｋiを生成し、前記特徴情報登録手段Ｅ０に向けて登録のために出力するように構成されているという態様がある。これは、あらかじめターゲット顔特徴情報Ｋtを特徴情報登録手段Ｅ０に登録しておくための手段の１態様に言及したものである。顔照合式フレーム判定手段Ｅ１における顔検出手段ｋ１および顔認証手段ｋ２は、ターゲットフレームの判定を行うことを第一義とするが、これらをもって、ターゲット顔特徴情報Ｋt割り出し、特徴情報登録手段Ｅ０に登録するための手段に兼用するのが本構成である。

使用者は、撮像時または再生時に表示される画像を見ながら、ターゲット人物指定手段Ｅ４によって、編集の中心としたい特定人物をターゲット人物として指定する。すると、人物指定信号が顔検出手段ｋ１に出力される。人物指定信号を入力した顔検出手段ｋ１は、画面表示されている再生中フレームの動画像データにおいて人物指定信号に対応する顔を選択し、その顔選択にかかわる選択信号を顔認証手段ｋ２に送る。その選択信号を受けとった顔認証手段ｋ２は、選択信号に対応する顔において顔特徴情報Ｋiを生成し、これをターゲット顔特徴情報Ｋtとして特徴情報登録手段Ｅ０に向けて出力し登録する。

ターゲットフレームの判定が第一義である顔検出手段ｋ１および顔認証手段ｋ２の、このようなターゲット顔特徴情報Ｋtの割り出し・登録の機能の兼用により、ターゲットフレーム抽出装置としての全体構成の簡素化が図られる。

（１０）また、本発明による撮像装置は、動画像を撮像する動画撮像手段と、前記動画撮像手段によって撮像された動画を記録する記録手段と、上記の（１）〜（９）のいずれかのターゲットフレーム抽出装置とを備えたものである。

（１１）また、本発明によるデジタルカメラは、上記の（１０）の撮像装置と、前記動画撮像手段により記録媒体に記録された動画像データを再生する再生手段と、撮像時または再生時に動画を表示する表示手段とを備えたものである。

本発明によれば、顔特徴照合でのターゲットフレーム判定と服特徴照合でのターゲットフレーム判定との２段構えの構造にして、まず顔特徴照合を行い、それが不成立であれば、次に服特徴照合を行うようにしているので、ターゲット人物の顔の一部または全部がフレーム内に入っていない場合や、後姿で写っている場合など、顔を検出することができないフレームであっても、ターゲット人物が写っている以上はターゲットフレームとして的確に判定し抽出することができる。結果として、ターゲット人物の顔がフレームからはみ出してもその人物を途切れなく追跡するようにして再生表示することができる。

以下、本発明にかかわるターゲットフレーム抽出装置の実施の形態を図面を用いて詳細に説明する。

図４は本発明の実施の形態におけるターゲットフレーム抽出装置を搭載した撮像装置の構成を示すブロック図である。図４に示す撮像装置は、デジタルスチルカメラ、デジタルビデオカメラなどとして実現されるものである。この撮像装置は、撮像レンズ１、撮像素子２、ＡＦＥ／ＡＤ変換回路３、システム制御部４、操作部５、バス６、画像処理部７、メモリ８、コーデック（CODEC：COder-DECoder）９、顔検出部１０、顔認証部１１、服検出部１２、服認証部１３、記録再生装置１４、外部メディアとしての記録媒体１５および表示装置１６を備えている。図１〜図３に示す構成要素との対応関係を記すと次のとおりである。

メモリ８は、画像メモリＭ１と特徴情報登録手段Ｅ０とに対応している。顔検出部１０は顔検出手段ｋ１に対応し、顔認証部１１は顔認証手段ｋ２に対応し、服検出部１２は服検出手段ｆ１に対応し、服認証部１３は服認証手段ｆ２に対応している。顔検出部１０と顔認証部１１は顔照合式フレーム判定手段Ｅ１に対応し、服検出部１２と服認証部１３は服照合式フレーム判定手段Ｅ２に対応している。システム制御部４はターゲット再生制御手段Ｅ３とターゲット人物指定手段Ｅ４の一部とに対応し、操作部５はターゲット人物指定手段Ｅ４の一部に対応している。システム制御部４、操作部５、メモリ８、顔検出部１０、顔認証部１１、服検出部１２および服認証部１３によって本実施の形態のターゲットフレーム抽出装置Ｘが構成されている。

撮像レンズ１は、被写体からの光を撮像素子２へ集光するためのレンズと、レンズを移動することでフォーカス制御やズーム制御を行う駆動機構と、光を遮断・透過するシャッタ機構と、露出の絞りを決定するアイリス機構などを備えており、システム制御部４からの制御信号に基づいて各機構が制御されるように構成されている。

撮像素子２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサであり、撮像レンズ１で集光された被写体からの光学像を電気信号に変換するものとして構成されている。

ＡＦＥ（Analog Front End）／ＡＤ（Analog Digital）変換回路３は、撮像素子２から入力されてくる電気信号に対して、Ｓ／Ｎ（Signal/Noise）比を良好に保つ処理を行うとともに、デジタル信号へ変換する機能を有するものとして構成されている。

システム制御部４は、ＣＰＵ（Central Processing Unit）やプログラムメモリを内蔵したマイクロコンピュータであり、プログラムメモリ（図示せず）に格納されたプログラムに基づき撮像装置全体を制御するものとして構成されている。このシステム制御部４は、ターゲット再生制御手段Ｅ３とターゲット人物指定手段Ｅ４の一部とに対応している。

操作部５は、各種の入力スイッチを備えており、使用者からの指示を受け付け、制御信号としてシステム制御部４へ出力するように構成されている。この操作部５は、ターゲット人物指定手段Ｅ４の一部に対応している。

バス６は、接続されているブロック間における制御信号や動画像データなどの電気信号を中継するものとして構成されている。

画像処理部７は、デジタル信号処理回路（ＤＳＰ）であり、ＡＦＥ／ＡＤ変換回路３からバス６を介して入力されてくるデジタルの動画像データについて加工処理を行うものとして構成されている。

メモリ８は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）であり、バス６を介して送られてくる制御信号や、デジタル化された動画像データや、顔検出部１０から出力される顔検出情報Ｋdや、顔認証部１１から出力されるターゲット顔特徴情報Ｋt、顔特徴情報Ｋiや顔特徴照合の結果Ｃ_K や、服検出部１２から出力されるターゲット服特徴情報Ｆt、服特徴情報Ｆiや、服認証部１３から出力される服特徴照合の結果Ｃ_F などを一時的に格納するものとして構成されている。

コーデック９は、メモリ８に格納された動画像データや静止画像データを圧縮したり、記録媒体１５から再生した圧縮画像データを伸張するものとして構成されている。

記録再生装置１４は、コーデック９により圧縮されたデータを記録媒体１５に記録したり、記録媒体１５からデータを読み出す装置であり、例えば、ＳＤ（Secure Digital）メモリカードやＨＤＤ（Hard Disc Drive）や光ディスクドライブなどで構成されている。

表示装置１６は、コーデック９で伸張されたデータや撮像画像などを表示する装置であり、例えば、液晶ディスプレイや外部のディスプレイなどで構成されている。

以上のように構成された撮像装置では、システム制御部４によりシステム全体の制御を行う。撮像レンズ１により集光された画像が撮像素子２において電気信号に変換され、ＡＦＥ／ＡＤ変換回路３でデジタル信号に変換された後、バス６を介して画像処理部７へ入力される。画像処理部７で画像加工された結果は動画像データとしてメモリ８へ一時保存される。メモリ８に格納された動画像データは、コーデック９に読み出されて伸張され、表示装置１６において画像表示される。

なお、構成要素の３〜１３は１チップＬＳＩ２０で構成することが可能である。また、カメラ構成３０は、チップＬＳＩ２０を含み、構成要素の１〜１６で構成することが可能である。

なお、本実施の形態において動画とは、Ｈ．２６４やＡＶＣＨＤ（Advanced Video Codec High Definition）、ＭＰＥＧ‐１／２、ＭｏｔiｏｎＪＰＥＧなど動画像を記録するための規格全般を指している。

次に、顔照合式フレーム判定手段Ｅ１の構成要素である顔検出部１０と顔認証部１１について説明する。顔検出部１０と顔認証部１１には、あらかじめの作業として、編集の中心としたい特定人物をターゲット人物として登録しておくためのターゲット顔特徴情報Ｋtを生成する機能（登録機能）と、実際の動画再生において、検出した顔特徴情報Ｋiをターゲット顔特徴情報Ｋtと比較照合してターゲットフレームを抽出する機能（抽出機能）とを併せ持っている。

まず、顔検出部１０と顔認証部１１の登録機能について説明する。

撮像によって取得された動画像データはメモリ８に一時格納され、表示装置１６において画面表示される。また、記録再生装置１４を介して記録媒体１５から読み出された圧縮動画像データはコーデック９により伸張された上で、メモリ８に格納され、さらに表示装置１６において画面表示される。撮像時、再生時のいずれでもよいが、使用者は、画面表示を見て、編集の中心としたい特定人物をターゲット人物として指定する。このとき、顔検出部１０および顔認証部１１の登録機能が働く。

すなわち、顔検出部１０は、メモリ８から読み出された動画像データにおいて顔検出を行い、撮影画像内に存在する人物（単数または複数）の顔の位置や領域や向きなどを示す顔検出情報Ｋdを生成し、生成した顔検出情報Ｋdをメモリ８に一時記憶させる（図６参照）。システム制御部４は顔検出情報Ｋdを表示装置１６に送り、表示画面で該当する顔に対して顔を囲む顔検出枠が表示される。同じフレームに人物が複数いるときは、すべての人物の顔に顔検出枠が表示される。使用者は、画面表示を見ながら顔検出枠を指定することによって、編集上の中心としたい特定の人物（ターゲット人物）を指定する。この指定は操作部５において、例えばカーソルキーと決定キーの操作によって行われる。これにより、人物指定信号が生成され、表示中の動画像データにおいて人物指定信号に対応する顔を選択し、その顔選択にかかわる選択信号が顔認証部１１に送られる。

顔認証部１１は、顔検出部１０から選択信号を受け取ると、メモリ８から読み出した当該フレームの動画像データにおいて、顔検出部１０による顔検出情報Ｋdが指示する顔位置で領域指定し、その指定領域（顔検出枠領域）で顔の目鼻の位置や大きさなどの特徴を示すターゲット顔特徴情報Ｋtを生成し、生成したターゲット顔特徴情報Ｋtをメモリ８に格納する。これで、編集の中心としたいターゲット人物の顔情報の登録が完了する。

次に、顔検出部１０と顔認証部１１の抽出機能について説明する。

顔検出部１０は、動画再生において、メモリ８から読み出される各フレームの動画像データで顔検出を行い、顔検出情報Ｋdを生成し、顔認証部１１に送る。

顔認証部１１は、顔検出部１０による顔検出情報Ｋdが指示する顔位置に基づいて、メモリ８から読み出したチェック対象フレームの動画像データにおいて領域指定し、その指定領域で目鼻の位置や大きさなどの顔の特徴を示す顔特徴情報Ｋiを生成し、メモリ８に格納する。そして、生成した顔特徴情報Ｋiをメモリ８から読み出したターゲット顔特徴情報Ｋtと比較する顔特徴照合を行ってターゲットフレームを判定する。この際、顔特徴情報Ｋi、ターゲット顔特徴情報Ｋtについて、目や鼻や口や耳などの顔構成要素の相対位置関係や大きさなどの特徴を数値化し、顔検出での顔特徴情報Ｋiの数値化された特徴量とターゲット顔特徴情報Ｋtの数値化された特徴量との類似度をチェックし、その類似度を所定のしきい値で大小比較判定してターゲットフレームであるか否かを判定する（しきい値判定）。顔特徴照合の結果Ｃ_K はメモリ８へ格納する。

次に、服照合式フレーム判定手段Ｅ２の構成要素である服検出部１２と服認証部１３について説明する。服検出部１２と服認証部１３には、あらかじめの作業として、編集の中心としたい特定人物をターゲット人物として登録しておくためのターゲット服特徴情報Ｆtを生成する機能（登録機能）と、実際の動画再生において、検出した服特徴情報Ｆiをターゲット服特徴情報Ｆtと比較照合してターゲットフレームを抽出する機能（抽出機能）とを併せ持っている。

まず、服検出部１２と服認証部１３の登録機能について説明する。

服検出部１２は、操作部５においてターゲット人物として指定された顔につき、顔検出部１０による顔検出での顔位置を基準としてシステム制御部４から指定される一定の領域内を服領域とし、メモリ８から読み出した当該フレームの動画像データにおいて、前記の服領域で色や柄や模様などの服の特徴を示すターゲット服特徴情報Ｆtを生成し、生成したターゲット服特徴情報Ｆtをメモリ８に格納する。これで、編集の中心としたいターゲット人物の服情報の登録が完了する。

図５は服領域の決定の仕方の一例を示す。動画像データにおいて、まず、顔領域Ａ１の位置情報に基づき高さＨ１、幅Ｗ１の矩形領域を定める。次に、Ｈ１，Ｗ１それぞれに係数をかけて服領域Ａ２の高さＨ２、幅Ｗ２を算出する。次に、顔の傾き情報を基に、顔の矩形領域に対して服領域Ａ２を配置する方向を決定し、顔の矩形領域から下方に所定画素分だけ離れた領域に、高さＨ２、幅Ｗ２の服領域Ａ２を設定する。なお、服領域をより正確に検出するには、服領域のデータを解析して服領域のエッジを検出し、服領域の範囲を画素単位で求めればよい。さらに、服領域における輝度情報、色相情報の階調ごとの度数を示すヒストグラムを検出し、ターゲット服特徴情報Ｆt（柄と色）とし、メモリ８に格納する（図６参照）。

次に、服検出部１２と服認証部１３の抽出機能について説明する。

服検出部１２は、動画再生において、メモリ８から読み出される各フレームの動画像データで服検出を行い、服検出情報を生成する。

服認証部１３は、服検出部１２による服検出情報が指示する服領域に基づいて、メモリ８から読み出したチェック対象フレームの動画像データにおいて領域指定し、その指定領域で色や柄や模様などの服の特徴を示す服特徴情報Ｆiを生成し、メモリ８に格納する。そして、生成した服特徴情報Ｆiをメモリ８から読み出したターゲット服特徴情報Ｆtと比較する服特徴照合を行ってターゲットフレームを判定する。この際、それぞれの服特徴情報Ｆi，Ｆtにおける特徴量の類似度の判定を行う。すなわち、色や柄や模様などの服構成要素の特徴を数値化し、服検出での服特徴情報Ｆiの数値化された特徴量とターゲット服特徴情報Ｆtの数値化された特徴量との類似度をチェックし、その類似度を所定のしきい値で大小比較判定してターゲットフレームであるか否かを判定する（しきい値判定）。服特徴照合の結果Ｃ_F はメモリ８へ格納する。

次に、上記のように構成された本実施の形態の撮像装置の動作を説明する。

撮像素子２での撮像によって取得された被写体の動画像データは、ＡＦＥ／ＡＤ変換回路３、画像処理部７、メモリ８およびバス６を介して表示装置１６に表示される（スルー画像）。表示装置１６への表示は、記録再生装置１４を介して記録媒体１５から動画像データを読み出したときでもよい。

顔検出部１０が起動され、メモリ８から動画像データを読み出し、その動画像データにおいて顔検出を行う。顔検出では、人物の顔の位置や顔が存在する領域や向きなどを検出し、顔検出情報Ｋdとする。この場合、撮影画像内に複数の人物の顔が存在しているときは、それぞれの人物について顔検出を行う。結果の顔検出情報Ｋdには、撮影画像内に存在する人物の顔の数も含まれる。得られた顔検出情報Ｋdをメモリ８に格納する（図６参照）。すべての人物の顔検出情報Ｋdを取得するのは、あとで、どの人物でもターゲットに指定できるようにするためである。

使用者は、操作部５においてターゲット人物指定のモードを設定する。使用者は、表示装置１６に表示されている撮像画面内の人物を見て、ターゲットにしたい人物であれば、操作部５における人物指定手段の操作によってターゲット人物を指定する。顔検出部１０による顔検出情報Ｋdに基づいて人物の顔部分には顔検出枠が表示されている。ターゲット人物の顔検出枠をカーソルキーと決定キーで指定する。人物が複数写っているときは、１人のターゲット人物を選択する。すると、顔認証部１１が起動され、指定されたターゲット人物の目鼻の位置や大きさなどの顔特徴がデータ化され、ターゲット顔特徴情報Ｋtとしてメモリ８に保存される（図６参照）。

さらに、服検出部１２が起動され、先にターゲット顔特徴情報Ｋtを取得したターゲット人物にかかわる服について（図５参照）、ターゲット服特徴情報Ｆtが生成され、メモリ８へ格納される（図６参照）。この場合に、服検出対象をユーザが指定した人物のみに限定してもよい。取得した情報については、そのすべてをメモリ８へ格納する必要はなく、任意の情報を自由に取捨選択して管理保存することができる。

図６は顔検出情報Ｋdとターゲット顔特徴情報Ｋtとターゲット服特徴情報Ｆtとが組み合わされた１人分の管理情報Ｄ１の一例を示す。複数人の管理データにおいても同様の形式で情報管理される。これら３種類の情報を１つのデータの塊として管理することで、ターゲット人物として指定した人物の顔と服の関連付けを管理することができる。なお、管理する情報については、図６に示す内容に限定せず、任意の情報を統括的管理するのでもよい。

システム制御部４は、メモリ８に格納された種々の検出情報を基に、被写体の撮像が良好となるように撮像レンズ１の駆動系の制御や画像処理部７への処理を指示する。

操作部５により画像の記録指示が入力されると、メモリ８に格納されている動画像データがコーデック９に読み出され、コーデック９において画像圧縮が行われ、圧縮動画像データは記録再生装置１４を介して外部メディアとしての記録媒体１５に記録される。このとき、メモリ８に格納されている管理情報Ｄ１は、操作部５より記録停止の指示がされるまで、動画像データと同期して時系列的に管理される。撮像の停止完了時に、管理情報Ｄ１が記録再生装置１４を介して記録媒体１５に記録される。

図７はシステム制御部４によって、図６の管理情報Ｄ１から生成された照合結果の管理情報Ｄ２の一例を示す。この照合結果の管理情報Ｄ２は、記録開始から記録停止までの情報である。記録開始を基準とした時間とそれに対応して入力される情報を時系列的に管理する。システム制御部４は、情報源として図６の管理情報Ｄ１において適宜解釈を変え、図７に示すような照合結果の管理情報Ｄ２のテーブルを自動的に作成する。記録停止とともに、この照合結果の管理情報Ｄ２は記録再生装置１４を介して記録媒体１５へ記録される。

この照合結果の管理情報Ｄ２は、顔検出数と指定人物（ターゲット人物）の有無と指定人物の服検出の有無との組み合わせで成り立ち、同じ組み合わせが持続している時間帯と関連付けられて登録されている。

記録媒体１５に記録されている動画像データを再生する際は、記録再生装置１４より再生したい動画像データをメモリ８へ格納し、これをコーデック９が伸張する。伸張されたデータはメモリ８に格納され、表示装置１６が動画像データを表示する。

記録媒体１５に記録されている図７に示す照合結果の管理情報Ｄ２を用いて任意の動画像データを再生する場合は、記録再生装置１４を介して照合結果の管理情報Ｄ２を内部メモリ８に格納する。システム制御部４は、再生したい動画像データに一致するデータを選択するために、メモリ８に格納された照合結果の管理情報Ｄ２に関して操作部５により指定された情報に基づいて動画像を再生表示すべきか否かを判断する。なお、この判断は、システム制御部４のプログラムに基づいて行うようにすることもよい。

使用者が指定した人物について動画像データを再生する場合について図８を用いて説明する。

記録再生装置１４を介して図７の照合結果の管理情報Ｄ２をメモリ８へ格納する。システム制御部４は、この照合結果の管理情報Ｄ２が「指定人物の有無：あり」および「指定人物の服検出：あり」となっている使用者が指定した人物が撮像されている０ｈ０３ｍ３０ｓ〜０ｈ０４ｍ１５ｓおよび０ｈ２０ｍ４５ｓ〜０ｈ２５ｍ０６ｓの動画像データについてのみ、記録再生装置１４を介してメモリ８へ格納する。その後、システム制御部４により、メモリ８に格納された動画像データをコーデック９において伸張することで再生表示を行う。照合結果の管理情報Ｄ２を参照して再生したいデータを選択するに際して、操作部５またはシステム制御部４を介して自由に選択することができる。

以上のように本実施の形態によれば、顔特徴照合と服特徴照合との２段構えとし、まず顔特徴照合を行い、それが不成立であれば、次に服特徴照合を行うようにしているので、ターゲット人物の顔の一部または全部がフレーム内に入っていない場合や、後姿で写っている場合など、顔を検出することができないフレームであっても、ターゲット人物が写っている以上はターゲットフレームとして的確に判定することができる。結果として、ターゲット人物の顔がフレームからはみ出してもその人物を途切れなく追跡するようにして再生表示することができる。

本発明の技術は、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置の分野において、指定したターゲット人物を中心にして動画像を自動編集し再生する場合に、ターゲット人物の顔の一部または全部がフレーム内に入っていない場合や、後姿で写っている場合など、顔を検出することができないフレームであっても、ターゲット人物が写っている以上は、それをターゲットフレームとして的確に判定し抽出することを可能とするので、ターゲットフレームの抽出の精度を向上する技術としてきわめて有用で、ターゲット人物の顔がフレームからはみ出してもその人物を途切れなく追跡するようにして再生表示することができる。

本発明のターゲットフレーム抽出装置の構成例その１を示すブロック図 本発明のターゲットフレーム抽出装置の構成例その２を示すブロック図 本発明のターゲットフレーム抽出装置の構成例その３を示すブロック図 本発明の実施の形態におけるターゲットフレーム抽出装置を搭載した撮像装置の構成を示すブロック図 本発明の実施の形態における服領域の決定の仕方の一例を示す図 本発明の実施の形態における顔検出／顔認証／服検出で生成したデータの格納形式の一例を示す図 本発明の実施の形態における任意に加工した管理情報の一例を示す図 本発明の実施の形態における管理情報を参照した画像再生の流れを示す図

Ｅ０ 特徴情報登録手段
Ｅ１ 顔照合式フレーム判定手段
Ｅ２ 服照合式フレーム判定手段
Ｅ３ ターゲット再生制御手段
Ｅ４ ターゲット人物指定手段
Ｍ１ 画像メモリ
Ｍ２ 記録媒体
ｋ１ 顔検出手段
ｋ２ 顔認証手段
ｆ１ 服検出手段
ｆ２ 服認証手段
Ａ１ 顔領域
Ａ２ 服領域
Ｋd 顔検出情報
Ｋi 顔特徴情報
Ｋt ターゲット顔特徴情報
Ｆi 服特徴情報
Ｆt ターゲット服特徴情報
Ｃ 照合結果管理情報
Ｃ_K 顔特徴照合の結果
Ｃ_F 服特徴照合の結果
Ｄ１ 管理情報
Ｄ２ 照合結果の管理情報
１ 撮像レンズ
２ 撮像素子
３ ＡＦＥ／ＡＤ変換回路
４ システム制御部
５ 操作部
６ バス
７ 画像処理部
８ メモリ
９ コーデック
１０ 顔検出部
１１ 顔認証部
１２ 服検出部
１３ 服認証部
１４ 記録再生装置
１５ 記録媒体
１６ 表示装置

Claims (11)

1. ターゲット人物の顔の特徴を示すターゲット顔特徴情報とターゲット人物の服の特徴を示すターゲット服特徴情報とが登録される特徴情報登録手段と、
   画像メモリから読み出された各フレームの動画像データにおいて人物の顔を検出して顔特徴情報を生成し、この顔特徴情報を前記特徴情報登録手段から読み出されたターゲット顔特徴情報と比較する顔特徴照合を行ってターゲットフレームの判定を行う顔照合式フレーム判定手段と、
   前記顔照合式フレーム判定手段による顔特徴照合が不成立のときに、前記フレームの動画像データにおいて服を検出して服特徴情報を生成し、この服特徴情報を前記特徴情報登録手段から読み出されたターゲット服特徴情報と比較する服特徴照合を行ってターゲットフレームの判定を行う服照合式フレーム判定手段とを備えたターゲットフレーム抽出装置。
2. 前記服照合式フレーム判定手段は、前記フレームの動画像データでの服検出において、前記顔照合式フレーム判定手段による人物の顔検出での顔位置を基に服領域を決定するように構成されている請求項１に記載のターゲットフレーム抽出装置。
3. さらに、前記顔照合式フレーム判定手段によって生成される前記顔特徴情報を一時記憶するとともに、前記服照合式フレーム判定手段によって生成される前記服特徴情報を一時記憶する記憶手段を備えている請求項１または請求項２に記載のターゲットフレーム抽出装置。
4. 前記顔照合式フレーム判定手段は、検出した顔から生成した前記顔特徴情報と前記特徴情報登録手段から読み出されたターゲット顔特徴情報との比較照合において、それぞれの顔特徴情報における特徴量の類似度の判定を行うように構成されている請求項１から請求項３までのいずれかに記載のターゲットフレーム抽出装置。
5. 前記服照合式フレーム判定手段は、検出した服から生成した前記服特徴情報と前記特徴情報登録手段から読み出されたターゲット服特徴情報との比較照合において、それぞれの服特徴情報における特徴量の類似度の判定を行うように構成されている請求項１から請求項４までのいずれかに記載のターゲットフレーム抽出装置。
6. さらに、前記画像メモリから読み出されたフレーム群につき、前記顔照合式フレーム判定手段による顔特徴照合の結果と前記服照合式フレーム判定手段による服特徴照合の結果とを関連付けた照合結果管理情報を生成し、記録のために前記照合結果管理情報を記録媒体に向けて出力するとともに、ターゲット人物を特定した再生を行うときに、前記記録媒体から前記照合結果管理情報を読み出し、その照合結果管理情報に基づいて前記記録媒体における動画像データの再生すべきターゲットフレームを選択するターゲット再生制御手段を備えている請求項１から請求項５までのいずれかに記載のターゲットフレーム抽出装置。
7. 前記顔照合式フレーム判定手段は、前記画像メモリから読み出された各フレームの動画像データにおいて顔検出を行い顔の位置を示す顔検出情報を生成する顔検出手段と、前記顔検出手段による顔検出情報が指示する顔位置で動画像データを領域指定し、その指定領域で顔の特徴を示す顔特徴情報を生成し、生成した顔特徴情報を前記特徴情報登録手段から読み出されたターゲット顔特徴情報と比較する顔特徴照合を行ってターゲットフレームを判定する顔認証手段とを備えている請求項１から請求項６までのいずれかに記載のターゲットフレーム抽出装置。
8. 前記服照合式フレーム判定手段は、前記画像メモリから読み出された各フレームの動画像データにおいて服検出を行い前記服特徴情報を生成する服検出手段と、前記服検出手段による服特徴情報を前記特徴情報登録手段から読み出されたターゲット服特徴情報と比較する服特徴照合を行ってターゲットフレームを判定する服認証手段とを備えている請求項１から請求項７までのいずれかに記載のターゲットフレーム抽出装置。
9. さらに、撮像または再生によって表示される画像において前記ターゲット人物を指定し、人物指定信号を出力するターゲット人物指定手段を備え、
   前記顔検出手段は、前記ターゲット人物指定手段からの前記人物指定信号を入力すると、表示にかかわる再生中フレームの動画像データにおいて前記人物指定信号に対応する顔を選択し、その顔選択にかかわる選択信号を前記顔認証手段に送り、
   前記顔認証手段は、前記顔検出手段からの前記選択信号に対応する顔において顔特徴情報を生成し、前記特徴情報登録手段に向けて登録のために出力するように構成されている請求項７に記載のターゲットフレーム抽出装置。
10. 動画像を撮像する動画撮像手段と、
    前記動画撮像手段によって撮像された動画を記録する記録手段と、
    請求項１から請求項９までのいずれかに記載のターゲットフレーム抽出装置とを備えた撮像装置。
11. 請求項１０に記載の撮像装置と、
    前記動画撮像手段により記録媒体に記録された動画像データを再生する再生手段と、
    撮像時または再生時に動画を表示する表示手段とを備えたデジタルカメラ。

Images