JP2009015672A - 顔検出装置及び顔検出方法 - Google Patents

Abstract

【課題】顔検出処理に要する時間を短縮でき、且つ、映像信号に含まれる人物の顔画像を確実に検出することができる顔検出装置及び顔検出方法を提供する。
【解決手段】顔検出装置１００は、ストリーム制御部１０２と、ストリーム制御部１０２からの映像信号のシーンチェンジを検出するシーンチェンジ検出部１１１と、人物の顔の画像の検出処理を行い、検出された顔画像の位置情報を含む顔検出データＦＤを出力する顔位置検出部１１２と、検出された顔画像の特徴を抽出して顔特徴データＦＦとして出力する顔特徴抽出部１１３と、シーンチェンジが発生したフレームおいて、顔位置検出部１１２に顔画像の検出処理を実行させる顔検出制御部１１４と、シーンチェンジ発生時間のデータＳＴ、顔検出データＳＤ、及び顔特徴データＦＦを記憶するバッファ部１０３を有している。
【選択図】図１

Description

本発明は、入力された映像信号を解析し、人物の顔を検出する顔検出装置及び顔検出方法に関するものである。

従来、動画像をフレーム単位に分割して複数の静止画像を生成し、生成した静止画像ごとに人物の顔が含まれているか否かを判定し、静止画像から人物画像を抽出する動画像再生方法の提案がある（例えば、特許文献１参照）。また、動画像の中の移動物体を検出し、移動物体を含む複数の画像情報を抽出し、抽出画像を均等に間引いて所定枚数の画像情報を選択して出力する顔画像監視システムの提案がある（例えば、特許文献２参照）。

特開２００５−０１８４５１号公報（要約、図１） 特開２００４−２７２９３３号公報（要約、図１乃至図３）

しかしながら、特許文献１に記載の方法では、すべてのフレームに対応する静止画像ごとに顔を検出しているので、顔検出のためのデータ処理量が膨大になり、顔検出処理に非常に多くの時間が必要になるという問題がある。

また、特許文献２に記載のシステムでは、動画像の中から移動物体を検出するための処理が必要であるので、データ処理に多くの時間が必要になるという問題がある。

また、映像監視システム等に適用される映像記録装置には、入力された映像信号をハードディスク等の記録媒体に記録しながら、人物の顔の検出処理を行い、顔が検出されたときに、記録された映像信号にチャプターマークを付す機能が要求される場合があるが、このような用途に、多くの時間を要する顔検出方法は適していない。

また、特許文献２に記載されているように、Ｍ枚の画像を均等に間引いてＰ枚に減らす技術を採用した場合には、顔検出のためのデータ処理量を減らすことは可能であるが、撮影されたにも拘わらず検出されない人物が発生するという問題もある。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、顔検出処理に要する時間を短縮でき、且つ、映像信号に含まれる人物の顔画像を確実に検出することができる顔検出装置及び顔検出方法を提供することにある。

本発明の顔検出装置は、入力された映像信号のフレームにシーンチェンジが発生したか否かを検出するシーンチェンジ検出手段と、前記映像信号に対して人物の顔の画像の検出処理を行い、検出された顔画像の位置情報を含む顔検出データを出力する顔位置検出手段と、シーンチェンジの発生が検出されたフレームおいて、前記顔位置検出手段に顔画像の検出処理を実行させる制御手段とを有することを特徴としている。

また、本発明の顔検出方法は、シーンチェンジ検出手段が、入力された映像信号のフレームにシーンチェンジが発生したか否かを検出するステップと、顔位置検出手段が、前記映像信号に対して人物の顔の画像の検出処理を行い、検出された顔画像の位置情報を含む顔検出データを出力するステップと、制御手段が、シーンチェンジの発生が検出されたフレームおいて、前記顔位置検出手段に顔画像の検出処理を実行させるステップとを有することを特徴としている。

本発明によれば、シーンチェンジの発生が検出されたフレームについてのみ顔検出処理を行うので、すべてのフレームに対して顔検出処理を行う場合に比べて、顔検出処理の回数を減らすことができ、その結果、顔検出処理に要する時間を短縮することができる。

また、本発明によれば、シーンチェンジと次のシーンチェンジの間、すなわち、同一のシーン区間における重複した顔検出処理を行わないので、顔検出結果のデータ量を削減できる。

さらに、本発明によれば、顔検出処理を実行しない同一シーン区間は存在しないので、映像信号に含まれる人物の顔画像を確実に検出することができる。

実施の形態１．
図１は、本発明の実施の形態１に係る顔検出装置１００（すなわち、実施の形態１に係る顔検出方法を実施する装置）の構成を概略的に示すブロック図である。図１に示されるように、実施の形態１に係る顔検出装置１００は、映像入力部１３０からの映像信号が入力される入力処理部１０１と、ストリーム制御部１０２と、第１の記憶手段としてのバッファ部１０３と、システム制御部１０４と、顔検出部１１０とを有している。顔検出部１１０は、シーンチェンジ検出手段としてのシーンチェンジ検出部１１１と、顔位置検出手段としての顔位置検出部１１２と、顔特徴抽出手段としての顔特徴抽出部１１３と、制御手段としての顔検出制御部１１４とを有している。

映像入力部１３０には、例えば、カメラ（図示せず）からの映像信号、アンテナ（図示せず）からの放送波を受信するチューナー（図示せず）からの映像信号、又は映像再生装置（図示せず）からの映像信号などが入力される。映像入力部１３０は、入力された映像信号を入力処理部１０１に供給する。図１においては、映像入力部１３０は、顔検出装置１００とは別の構成として図示されているが、映像入力部１３０は、顔検出装置１００の一部として構成されてもよい。また、映像入力部１３０は、データファイルが入力される装置又はネットワークインターフェースであってもよい。

システム制御部１０４は、顔検出装置１００の各部に対して制御コマンド（例えば、Ｃ１，Ｃ２，Ｃ３，Ｃ４）を送ることによって、顔検出装置１００の各部の動作を制御する。例えば、システム制御部１０４は、入力処理部１０１に対して、入力された映像信号の処理を開始又は終了させる制御コマンドＣ１を送信し、ストリーム制御部１０２に対してストリームの制御を開始又は終了させる制御コマンドＣ２を送信する。また、システム制御部１０４は、バッファ部１０３に対するシーンチェンジ発生時間のデータＳＴ、顔検出データＦＤ、及び顔特徴データＦＦ等の記録を開始又は終了させる制御コマンドＣ３を送信し、顔検出部１１０に対してバッファ部１０３に対するシーンチェンジ発生時間のデータＳＴ、顔検出データＦＤ、及び顔特徴データＦＦ等顔特徴データの記録を開始又は終了させる制御コマンドＣ４を送信する。

入力処理部１０１は、入力された映像信号がアナログ信号であるときには、映像信号をエンコード（例えば、ＭＰＥＧ２符号化を用いた映像圧縮）し、入力された映像信号がデジタル信号であるときには、多重化の分離を行い、ストリーム制御部１０２に符号化ストリーム（Ｅｎｃｏｄｅｄ Ｓｔｒｅａｍ）ＥＳを入力する。顔検出装置１００は、入力処理部１０１を備えているので、入力された映像信号がアナログ信号又はデジタル信号のいずれであっても、シーンチェンジを検出することができる。

ストリーム制御部１０２は、入力された符号化ストリームＥＳを、表示部１２０と、顔検出部１１０のシーンチェンジ検出部１１１とに安定して転送する。なお、表示部１２０と顔検出部１１０に送信される画像データは、圧縮画像又は非圧縮画像のいずれであってもよい。

表示部１２０は、ストリーム制御部１０２から送られた符号化ストリームＥＳを受信し、デコードし、符号化ストリームＥＳに応じた画像を表示する。

バッファ部１０３は、顔検出部１１０から出力されるシーンチェンジ発生時間のデータＳＴ、顔検出データＦＤ、及び顔特徴データＦＦなどのデータを保存する。顔検出データＦＤは、フレーム内において検出された顔の位置を示す情報を含むデータである。顔検出データＦＤは、フレーム内において検出された顔の位置を示す顔位置データＦＰ、顔の個数を示す顔個数データＦＮ、及び顔の面積を示す顔面積データＦＡの、すべて又は一部を含むことができる。

シーンチェンジ検出部１１１は、入力された符号化ストリームＥＳにシーンチェンジが発生したか否かを検出し、シーンチェンジの発生が検出された場合にのみ、画像データＤ１及びシーンチェンジ発生時間のデータＳＴを出力する。シーンチェンジ発生の検出方法は、公知の技術の中から自由に選択することができる。シーンチェンジ発生の検出方法としては、例えば、現フレーム（シーンチェンジが発生したフレーム）と現フレームの１つ前のフレーム（シーンチェンジ発生直前のフレーム）との間の輝度値の差分値が、所定の閾値を超えたときにシーンチェンジが発生したと判定する方法がある。

顔位置検出部１１２は、シーンチェンジ検出部１１１から出力された画像データＤ１から顔の存在（すなわち、顔の有無）を判定し、顔が検出できた場合に、顔検出データＦＤを顔検出制御部１１４に送信する。

顔特徴抽出部１１３は、顔位置検出部１１２からの画像データＤ２及び顔位置検出部１１２からの顔検出データＦＤから、顔の詳細なデータの抽出を行う。顔特徴抽出部１１３は、顔の特徴を認識するために、顔の輪郭、並びに、目、鼻、口などの顔のパーツの位置等の検出を行い、それらを元に顔認識に必要な顔特徴データＦＦを作成する。

顔検出制御部１１４は、シーンチェンジ検出部１１１によるシーンチェンジ検出結果がシーンチェンジの発生が有りであることを示すシーンチェンジ検出信号ＳＤを受信する。顔検出制御部１１４は、シーンチェンジ検出信号ＳＤを受信すると、シーンチェンジの発生が検出されたフレームについて顔位置検出部１１２に顔検出処理を実行させるための制御コマンドＣ１１を送信する。顔検出制御部１１４は、制御コマンドＣ１１を受信した顔位置検出部１１２から顔検出データＦＤが送られてきた後に、顔特徴抽出部１１３に顔特徴データＦＦの抽出処理を実行させる制御コマンドＣ１２（及び、必要に応じて顔検出データＦＤに関する情報を含む）を送信する。また、顔検出制御部１１４は、顔位置検出部１１２から送られてきた顔検出データＦＤに基づいて、シーンチェンジ検出部１１１に対してシーンチェンジの検出処理の対象範囲やシーンチェンジの発生の有無判定に用いられる閾値などを変更する制御コマンドＣ１３を送信する。

顔検出部１１０は、シーンチェンジ検出部１１１からのシーンチェンジ発生時間のデータＳＴ、顔位置検出部１１２からの顔検出データＦＤ、顔認識に必要な顔特徴抽出部１１３からの顔特徴データＦＦを、バッファ部１０３に出力する。バッファ部１０３は、シーンチェンジ検出部１１１からのシーンチェンジ発生時間のデータＳＴ、顔位置検出部１１２からの顔検出データＦＤ、顔特徴抽出部１１３からの顔特徴データＦＦを保存する。なお、図１には、１個のバッファ部１０３が示されているが、バッファ部１０３は複数個であってもよい。例えば、バッファ部１０３として、シーンチェンジ検出部１１１用のバッファ部、顔位置検出部１１２用のバッファ部、顔特徴抽出部１１３用のバッファ部を別々に備えてもよい。

図２は、シーンチェンジ検出部１１１の構成を概略的に示すブロック図である。図２に示されるように、シーンチェンジ検出部１１１は、入力された符号化ストリームＥＳをデコードして画像データＤ１を出力する復号化部１４１と、デコードされた画像データＤ１に基づいてシーンチェンジの発生の有無を判定し、シーンチェンジの発生が検出されたときにシーンチェンジの発生が検出されたことを示すシーンチェンジ検出信号ＳＤを出力するシーンチェンジ判定部１４２と、シーンチェンジ検出信号ＳＤを受信したとときにシーンチェンジ発生時間のデータＳＴを出力する時間検出部１４３とを有している。

図３（ａ）〜（ｈ）は、顔検出処理を説明するための図であり、図３（ａ）及び（ｂ）は、従来の顔検出処理を示し、図３（ｃ）〜（ｈ）は、実施の形態１における顔検出処理を示している。また、図３（ａ）〜（ｈ）において、横軸は時間軸である。

図３（ａ）に示されるように、従来の顔検出処理においては、フレーム１，２，…，８のすべての時点Ｐ１，Ｐ２，Ｐ３，…，Ｐ８において顔検出処理を行っていた。そして、例えば、図３（ｂ）に示されるように、フレーム１，３，５，６，７，８の時点Ｑ１，Ｑ２，Ｑ３，Ｑ４，Ｑ５，Ｑ６において顔が検出される。このように、従来の顔検出処理においては、顔が存在しないフレーム２及び４に対しても顔検出処理を行っていた。また、従来の顔検出処理においては、同一のシーン区間（シーンチェンジと次のシーンチェンジの間）において、複数回のシーンチェンジ検出処理を行う場合があった。

これに対し、実施の形態１に係る顔検出装置１００においては、図３（ｃ）に示されるように、隣接するフレーム間においてシーンチェンジが発生し（時点Ｔ１，Ｔ２，Ｔ３，Ｔ４）、図３（ｄ）に示されるように、シーンチェンジの発生が検出された（時点Ｕ１，Ｕ２，Ｕ３，Ｕ４）フレームについてのみ、図３（ｅ）に示されるように顔検出処理が実行される（時点Ｖ１，Ｖ２，Ｖ３，Ｖ４）。その結果、図３（ｆ）に示されるように、人物の顔が検出された場合には（時点Ｗ１，Ｗ２，Ｗ３）、図３（ｇ）に示されるように、人物の顔の特徴を抽出する処理が実行され（時点Ｘ１，Ｘ２，Ｘ３）、図３（ｈ）に示されるように、顔検出データＦＤ、顔特徴データＦＦ，シーンチェンジ発生時間のデータＳＴ等をバッファ部１０３に記録する（時点Ｙ１，Ｙ２，Ｙ３）。

上記のように、実施の形態１に係る顔検出装置１００又は顔検出方法は、シーンチェンジ検出部１１１によってシーンチェンジの発生が検出されたフレーム１，３，４，７の時点Ｕ１，Ｕ２，Ｕ３，Ｕ４に対してのみ顔位置検出部１１２が顔検出処理を実行する。このため、すべての映像フレームに対して顔検出処理を実行する場合に比べて、顔位置検出部１１２の動作回数を低減でき、従来よりも顔検出処理に要する時間を短縮することができる。

図４（ａ）及び（ｂ）は、顔位置検出部１１２の動作を説明するための図である。
顔位置検出部１１２は、シーンチェンジ検出部１１１から出力される画像データ５０１（図１及び図２における画像データＤ１）を数値化する。顔位置検出部１１２は、図４（ａ）に示される入力された画像データ５０１に対応して、図４（ｂ）のように、画像の左下を原点にしたＸＹ座標系の位置座標を用いて位置測定画像５０２を定める。この位置測定画像５０２のＸ軸方向の長さとＹ軸方向の長さは、いずれも１に正規化されている。位置測定画像５０２は、例えば、図４（ａ）に示すように、Ｘ軸方向を６４０分割、Ｙ軸方向を４８０分割されている。位置測定画像５０２においては、図４（ｂ）に示すように、顔を検出した範囲を四角形で囲み、位置検出を行った範囲について、左上と右下の座標を（ａ１，ｂ１）、（ａ２，ｂ２）とし、顔が画面に占める割合
（｜ａ１−ａ２｜×｜ｂ１−ｂ２｜）
を人物の重要度とする。なお、上記の例では、位置測定画像５０２の分割数をＸ軸方向で６４０、Ｙ軸方向で４８０としたが、これらの分割数は他の値でもよく、分割数を少なくすると処理に要する時間を短縮でき、分割数を多くすると検出精度が高くなる。

図５（ａ）及び（ｂ）は、顔位置検出部１１２によって検出された顔が画面に占める割合を説明するための図である。図５（ａ）に示される画面５１１のように、顔が画面内で大きな範囲を占める人物と、図５（ｂ）に示される画面５１２のように、顔が画面内で占める範囲が小さい人物とでは、重要度が異なる。例えば、画面に占める顔の割合の大きい人物の方が重要な人物であるという判断ができる。また、顔が画面内で占める範囲に対応する重要度を、予め決定した閾値と比較して、閾値を超える場合についてのみ、顔が検出されたと判定するように構成することもできる。さらに、映像の中で高い重要度が継続するシーンを、その映像の特徴シーンとしてもよい。

図６は、顔位置検出部１１２で顔画像が検出された画像データ５０１から顔特徴抽出部１１３で顔特徴データＦＦを抽出するときの処理を説明するための図である。図４（ｂ）では、画面全体における顔の占める割合を求めたが、図６では顔特徴データＦＦを得るために、シーンチェンジ検出部１１１から出力された画像データ５０１と顔位置検出部１１２から出力された顔位置データＦＰから、画像データ５０１で示される画面の顔領域５２１に対して、左下を原点としたＸＹ座標系において、顔領域５２１のＸ軸方向の長さとＹ軸方向の長さをいずれも１に正規化する。この座標系において、顔の目の位置（Ｅｘ１，Ｅｙ１）、（Ｅｘ２，Ｅｙ２）、顔の口の位置（Ｍｘ１，Ｍｙ１）などを顔特徴データＦＦとして取得する。取得した顔特徴データＦＦは、例えば、その後に顔を検出した場合に、同じ顔か否かを判断するために使用する。

図７（ａ）〜（ｃ）は、入力映像信号による表示画像の一例を示す図である。図７（ａ）〜（ｃ）に示される連続した３フレームにおいては、フレーム５３１とフレーム５３２の間でシーンチェンジの発生が検出され、フレーム５３２とフレーム５３３との間では、画面中に顔画像があり顔の表情が異なるが、シーンチェンジの発生が検出されない場合を示している。図１及び図７（ａ）〜（ｃ）に示されるように、シーンチェンジ検出部１１１で、フレーム５３１とフレーム５３２の間のシーンチェンジの発生が検出され、顔検出制御部１１４から顔位置検出部１１２に対して制御コマンドＣ１１が送られ、図７（ｂ）に示されるシーンチェンジの発生が検出された後に、顔位置検出部１１２は顔位置検出処理を開始する。顔位置検出部１１２は、顔が検出されたときは、顔位置データＦＰを含む顔検出データＦＤを生成し、顔検出データＦＤを顔検出制御部１１４に送信する。顔検出制御部１１４から制御コマンドＣ１３がシーンチェンジ検出部１１１に対して発行され、例えば、所定のフレーム数だけ、シーンチェンジ検出の条件を図７（ｃ）で示すような、顔の部分をシーンチェンジの検出処理の対象範囲外とするように変更してもよい。これにより、人物の動きや表情などでシーンチェンジの発生が検出されるのを防ぐことができるとともに、類似するシーン区間（すなわち、画面の一部分にしか変化が存在しない期間）における重複した人物の顔の検出処理を実行しないことができる。

図８は、実施の形態１に係る顔検出装置の動作（すなわち、実施の形態１に係る顔検出方法）を示すフローチャートである。図８に示されるように、顔検出装置１００を含むシステムに電源が投入されると、システムが起動される（ステップＳ１０１）。システム起動後、システム制御部１０４は、システムの停止操作の有無確認（ステップＳ１０２）と映像入力の有無確認（ステップＳ１０３）を行ない、システムの停止操作があれば、システムの動作を停止する（ステップＳ１１３）。システム制御部１０４は、システムの停止操作が無く、映像信号の入力があれば、入力処理部１０１に入力映像信号の処理を実行させ（ステップＳ１０４）、ストリーム制御部１０２にストリーム転送を実行させ（ステップＳ１０５）、表示部１２０にストリームのデコード処理を実行させる（ステップＳ１０６）。

シーンチェンジ検出部１１１に符号化ストリームが入力されると、顔検出制御部１１４は、シーンチェンジ検出部１１１にシーンチェンジの検出処理を実行させ（ステップＳ１０７）、シーンチェンジの発生が有りの場合には（ステップＳ１０８）、顔位置検出部１１２に顔検出処理を実行させる（ステップＳ１０９）。顔検出制御部１１４は、顔が検出された場合には（ステップＳ１１０）、顔特徴抽出部１１３に顔特徴抽出処理を実行させ（ステップＳ１１１）、シーンチェンジ発生時間のデータＳＴ、顔検出データＦＤ、及び顔特徴データＦＦをバッファ部１０３に出力して、記録させる。ステップＳ１０８でシーンチェンジ無し判定の場合、及び、ステップＳ１１０で顔検出無しの場合には、処理はステップＳ１０２に戻る。

以上に説明したように、実施の形態１に係る顔検出装置１００は、シーンチェンジ検出部１１１を備えており、シーンチェンジの発生が検出されたフレームについてのみ、顔検出処理を行うように構成されている。このため、実施の形態１に係る顔検出装置１００によれば、顔検出処理の対象となるフレームの数を減らすことができ、顔検出処理のテータ処理量が減り、顔検出処理に要する時間を短縮することができる。

また、実施の形態１に係る顔検出装置１００によれば、シーンチェンジと次のシーンチェンジの間、すなわち、同一のシーン区間における重複した顔検出処理を行わないので、顔検出結果のデータ量及び顔特徴データのデータ量を削減できる。

さらに、実施の形態１に係る顔検出装置１００によれば、顔検出処理を実行しない同一シーン区間は存在しないので、映像信号に含まれる人物の顔画像を確実に検出することができる。

さらにまた、実施の形態１に係る顔検出装置１００によれば、シーンチェンジ検出部１１１において、シーンチェンジの発生の検出対象範囲（又は検出除外範囲）や、シーンチェンジの発生の検出に用いる閾値（例えば、フレーム間の差分値が閾値を超えた場合にシーンチェンジの発生が有ると判定する）の設定を変更できるので、特定の範囲のフレーム間の画像変化を、シーンチェンジの発生として判定しないようにすることができる。

また、実施の形態１に係る顔検出装置１００によれば、顔位置検出部１１２からの顔検出データＦＤにより、画面における顔の占める割合を知ることができ、取得した割合に基づいて、人物の重要度を判断することができる。

さらに、実施の形態１に係る顔検出装置１００によれば、バッファ部１０３にシーンチェンジ発生時間のデータＳＴ、顔検出データＦＤ、及び顔特徴データＦＦを保存するので、これらのデータに基づく評価を実行することができる。

図９は、本発明の実施の形態１の変形例に係る顔検出装置１５０（すなわち、実施の形態１の変形例に係る顔検出方法を実施する装置）の構成を概略的に示すブロック図である。図９において、図１に示される構成と、同一又は対応する構成には、同じ符号を付す。図９に示される顔検出装置１５０は、バッファ部１０３内に第２の記憶手段としてのデータ保存領域１０３ａを有する点、及び、顔位置検出の対象となるフレームの決定方法が、図１に示される顔検出装置１００の場合と相違する。

図１０は、実施の形態１の変形例に係る顔検出装置１５０の動作（すなわち、実施の形態１の変形例に係る顔検出方法）を示す説明図である。図１に示される実施の形態１の顔検出装置１００の場合には、シーンチェンジ検出部１１１は、画面内の人物が切り替わるたびにシーンチェンジが発生したと判定し、シーンチェンジが発生したと判定されたフレームについて顔検出処理部１１２が顔検出処理を実行するする。しかしながら、例えば、２人の人物が交互に切り替わって撮影された場合に、交互に人物が切り替えられるごとに顔検出処理を行うことは、同じ人物を繰り返して検出することになるので、無駄な処理である。そこで、図９及び図１０に示される顔検出装置１５０においては、交互に人物が切り替えられるごとに顔検出処理を行わないように顔検出方法を変更している。

図１０に示されるようにシーンチェンジ発生時間Ｔ１１において、顔検出処理及び顔特徴抽出処理を実行し、顔特徴データＦＦが人物Ｘを示したときには、データ保存領域１０３ａにはデータが無いので（顔特徴データが一致しないので）、図１の場合と同様に、シーンチェンジ発生時間のデータＳＴ、顔検出データＦＤ、及び顔特徴データＦＦをバッファ部１０３に保存させる。

次のシーンチェンジ発生時間Ｔ１２において、顔検出処理及び顔特徴抽出処理を実行し、顔特徴データＦＦが人物Ｙを示したときには、データ保存領域１０３ａにはデータが無いので（顔特徴データが一致しないので）、図１の場合と同様に、シーンチェンジ発生時間のデータＳＴ、顔検出データＦＤ、及び顔特徴データＦＦをバッファ部１０３に保存させる。このとき、データ保存領域１０３ａに、前回のシーンチェンジの発生の検出時に抽出された人物Ｘの顔特徴データを保存させる。

次のシーンチェンジ発生時間Ｔ１３において、顔検出処理及び顔特徴抽出処理を実行し、顔特徴データＦＦが人物Ｘを示したときには、データ保存領域１０３ａには人物Ｘの顔特徴データが保存されているので（顔特徴データが一致するので）、図１の場合とは異なる処理を行う。この場合には、実際にはシーンチェンジ（フレーム間の画素値の大きな変化）が発生しているが、シーンチェンジが発生していないときと同様の処理を行う。すなわち、このときには、シーンチェンジ発生時間のデータＳＴ、顔検出データＦＤ、及び顔特徴データＦＦをバッファ部１０３に保存させない。なお、このとき、データ保存領域１０３ａに、前回のシーンチェンジの発生の検出時に抽出された人物Ｙの顔特徴データを上書き保存させる。

次のシーンチェンジ発生時間Ｔ１４において、顔検出処理及び顔特徴抽出処理を実行し、顔特徴データＦＦが人物Ｙを示したときには、データ保存領域１０３ａには人物Ｙの顔特徴データが保存されているので（顔特徴データが一致するので）、図１の場合とは異なる処理を行う。この場合には、実際にはシーンチェンジが発生しているが、シーンチェンジが発生していないときと同様の処理を行う。すなわち、このときには、シーンチェンジ発生時間のデータＳＴ、顔検出データＦＤ、及び顔特徴データＦＦをバッファ部１０３に保存させない。なお、このとき、データ保存領域１０３ａに、前回のシーンチェンジの発生の検出時に抽出された人物Ｘの顔特徴データを上書き保存させる。

次のシーンチェンジ発生時間Ｔ１５において、顔検出処理及び顔特徴抽出処理を実行し、顔特徴データＦＦが人物Ｚを示したときには、データ保存領域１０３ａには人物Ｘの顔特徴データが保存されているので（顔特徴データが一致しないので）、図１の場合と同様の処理を行う。この場合には、実際にはシーンチェンジが発生しているが、シーンチェンジが発生していないときと同様の処理を行う。すなわち、このときには、シーンチェンジ発生時間のデータＳＴ、顔検出データＦＤ、及び顔特徴データＦＦをバッファ部１０３に保存させる。なお、このとき、データ保存領域１０３ａに、前回のシーンチェンジの発生の検出時に抽出された人物Ｙの顔特徴データを上書き保存させる。

図１１は、実施の形態１の変形例に係る顔検出装置の動作（すなわち、実施の形態１の変形例に係る顔検出方法）を示すフローチャートである。図１１に示される処理は、ステップＳ１２１，Ｓ１２２，Ｓ１２３が追加された点において、図８に示される処理と相違する。図１１に示されるように、顔検出装置１５０は、検出された顔特徴データＦＦと、データ保存領域１０３ａに保存されている顔特徴データＦＦ０とが一致する場合（例えば、差異が所定の閾値以内である場合）にのみ（ステップＳ１２２）、シーンチェンジ発生時間のデータＳＴ、顔検出データＦＤ、及び顔特徴データＦＦをバッファ部１０３に保存させる（ステップＳ１１２）点、並びに、データ保存領域１０３ａに保存されている顔特徴データＦＦ０を前回のシーンチェンジの発生の検出時に抽出された人物Ｙの顔特徴データに変更するステップ（ステップＳ１２３）を有する点が、図８に示される処理と相違する。図１１において、他の点は、図８に示される処理と同じである。

このように、データ保存領域１０３ａを備え、抽出された顔特徴データが示す人物をデータ保存領域１０３ａの顔特徴データと比較し、この比較結果に基づいて、顔検出対象を制限することによって、人物の切り替わりが交互に起こるようなシーンにおいて、シーンチェンジの発生が頻繁に検出された場合であっても、同一人物に対する複数回の顔検出及び顔特徴抽出処理を回避することができ、また、保存されるデータ量の削減を図ることができる。

実施の形態２．
図１２は、本発明の実施の形態２に係る映像記録装置２００（すなわち、実施の形態２に係る顔検出方法を実施する装置）の構成を概略的に示すブロック図である。図１２において、図１に示される構成と同一又は対応する構成には、同じ符号を付す。映像記録装置２００は、実施の形態２に係る顔検出方法を実施する顔検出装置としての機能を有する。

図１２に示されるように、映像記録装置２００は、映像入力部１３０からの映像信号が入力される入力処理部１０１と、ストリーム制御手段としてのストリーム制御部２０１と、システム制御部１０４と、第１のデータ記録手段としてのＨＤＤ（ハードディスクドライブ）記録部２０２と、データが記録されるＨＤＤ部２０３と、メタデータ抽出機能付き顔検出部２１０とを有している。メタデータ抽出機能付き顔検出部２１０は、シーンチェンジ検出部１１１と、顔位置検出部１１２と、顔特徴抽出部１１３と、メタデータ生成手段としてのメタデータ生成部２１１と、第２のデータ記録手段（及び第３のデータ記録手段）としてのメタデータ記録部２１２と、制御手段としての制御部２１３とを有している。なお、ＨＤＤ記録部２０２及びＨＤＤ部２０３は、ＨＤＤ以外の記録媒体、例えば、光ディスクや半導体記憶装置を用いる装置であってもよい。

システム制御部１０４から入力処理部１０１、ストリーム制御部２０１、ＨＤＤ記録部２０２、及びメタデータ抽出機能付き顔検出部２１０に対して制御コマンドが送られることによって映像記録装置２００を含むシステムは制御される。例えば、制御コマンドＣ６は、ＨＤＤ記録部２０２に対してＨＤＤ部２０３へのデータの記録開始又は記録終了を指示する制御コマンドである。

ストリーム制御部２０１は、入力された符号化ストリームを、表示部１２０、シーンチェンジ検出部１１１、及びＨＤＤ記録部２０２に安定して転送する。ＨＤＤ記録部２０２は、ストリーム制御部２０１から送られてきた符号化ストリームをＨＤＤ部２０３に記録する。ＨＤＤ部２０３は、ＨＤＤ記録部２０２から送られてきた符号化ストリーム及びメタデータ記録部２１２から送られてきたメタデータＭＤを保存する。

メタデータ生成部２１１は、シーンチェンジ検出部１１１からのシーンチェンジ発生時間のデータＳＴ、顔位置検出部１１２からの顔検出データＦＤ（顔位置データＦＰ、顔個数データＦＮ、顔面積データＦＡを含む）、及び顔特徴抽出部１１３からの顔特徴データＦＦを、メタデータＭＤとして生成する。メタデータ記録部２１２は、メタデータ生成部２１１から送られてきたメタデータＭＤをＨＤＤ部２０３に記録する。

制御部２１３は、シーンチェンジ検出部１１１、顔位置検出部１１２、顔特徴抽出部１１３、メタデータ生成部２１１、及びメタデータ記録部２１２に対して、制御コマンドＣ１１〜Ｃ１５を送信する。

図１３は、ストリーム制御部２０１の構成を概略的に示すブロック図である。図１３に示されるように、ストリーム制御部２０１は、ストリームＩＤ部２２１と、ストリーム出力部２２２とを有している。ストリームＩＤ部２２１は、入力処理部１０１から送られてきた符号化ストリームを受け取り、符号化ストリームを識別できるようにするために符号化ストリームにストリームＩＤ付け（ＳＴ０１、ＳＴ０２などの識別データの付加）を行う。ストリームにストリームＩＤを付けることによって、シーンチェンジ検出部１１１に送られた符号化ストリームとＨＤＤ記録部２０２に送られた符号化ストリームの関係を明確にできる。メタデータ抽出機能付き顔検出部２１０に送られメタデータを作成したストリームと、ＨＤＤ部２０３に記録したストリームとが同一のストリームであるか否かを、ストリームＩＤによって判断することができる。ストリーム出力部２２２は、シーンチェンジ検出部１１１、ＨＤＤ記録部２０２、及び表示部１２０に符号化ストリームを送る。

図１４は、メタデータ生成部２１１で生成されるメタデータの一例を示す図である。メタデータ生成部２１１で生成されたメタデータＭＤは、シーンチェンジ検出部１１１から取得されたシーンチェンジ発生時間のデータＳＴ、顔位置検出部１１２から取得された顔検出データＦＤ（顔の個数ＦＮ、顔の位置ＦＰ及び顔の面積ＦＡを含む）、及び顔特徴抽出部１１３から取得された顔特徴データＦＦを含んでいる。また、メタデータ生成部２１１は、作成したメタデータＭＤにストリームＩＤを付け、ＨＤＤ部２０３に蓄積されているストリームのうちの、どのストリームに関連するメタデータであるかを識別できるようにしている。なお、図１４は、１つのストリームに関するメタデータを示しているので、ストリームＩＤを記載していない。

図１５は、メタデータＭＤの利用方法を説明するための図である。図１５に示されるように、メタデータＭＤには、顔が検出された時間などの情報が含まれるので、検出した点に対してチャプターをマークすれば顔が映っているシーンのチャプターが作成できる。また、例えば、サムネイル作成時に、顔が大きく検出されている区間をサムネイルとして採用することで、特定の人物が繰り返し登場するシーンの画像をサムネイルとして採用することができる。

図１６は、実施の形態２に係る顔検出装置の動作（すなわち、実施の形態２に係る顔検出方法）を示すフローチャートである。図１６に示されるように、映像記録装置２００を含むシステムに電源が投入されると、システムが起動される（ステップＳ２０１）。システム起動後、システム制御部１０４は、システムの停止操作の有無確認（ステップＳ２０２）と映像入力の有無確認（ステップＳ２０３）を行ない、システムの停止操作があれば、システムの動作を停止する（ステップＳ２１５）。システム停止操作が無く、映像入力があれば、入力処理部１０１に入力映像信号の処理を実行させ（ステップＳ２０４）、ストリーム制御部２０１にストリーム転送を実行させ（ステップＳ２０５）、ＨＤＤ部２０３へ記録処理を指示する（ステップＳ２０６）。ＨＤＤ部２０３への記録処理を行う場合には、処理は次のステップＳ２０８に移り（ステップＳ２０７）、ＨＤＤ部２０３への記録処理を行わない場合には（ステップＳ２０７）、表示部１２０に対する表示開始コマンドの入力（ステップＳ２１６）、デコードの処理が行われる（ステップＳ２１７）。

シーンチェンジ検出部１１１にストリームが入力されると、シーンチェンジ検出処理（ステップＳ２０８）が行われ、シーンチェンジの発生の検出処理が実行される（ステップＳ２０９）。シーンチェンジの発生が検出されない場合は、処理はステップＳ２０２に遷移する。一方、シーンチェンジの発生が検出された場合は、顔検出処理が行われる（ステップＳ２１０）。ステップＳ２１１で、顔が検出された場合は、顔特徴抽出処理（ステップＳ２１２）が行われ、メタデータＭＤを生成し（ステップＳ２１３）、メタデータＭＤをＨＤＤ部２０３に記録する（ステップＳ２１４）。一方、ステップＳ２１１で顔が検出されない場合は、処理はステップＳ２０２へ遷移する（ステップＳ２１１）。本発明では、シーンチェンジの発生の検出（ステップＳ２０９）で得られた時間情報、顔検出（ステップＳ２１１）で得られた顔の位置や個数データ、顔特徴抽出（ステップＳ２１２）で得られた顔のパーツの位置情報等をメタデータとして記録することで、記録したストリームに関する付随情報を作成できる。 上記構成を採用することによって、映像記録装置２００に顔検出機能及びメタデータの付加機能を搭載することができる。

以上に説明したように、実施の形態２に係る映像記録装置２００は、シーンチェンジ検出部１１１を搭載することによってシーンチェンジが発生した箇所だけを顔検出するだけでよいので、顔検出処理及びメタデータの生成処理に要する時間を短縮することができる。

また、実施の形態２に係る映像記録装置２００によれば、シーンチェンジ検出部１１１で取得したシーンチェンジ発生時間のデータＳＴ、顔位置検出部１１２で検出した顔位置データＦＤ、及び顔特徴データＦＦを記録することによって、それらの情報をもとに顔が映っているシーンのチャプターを作成することができる。

また、実施の形態２に係る映像記録装置２００によれば、チャプターとしてサムネイルを表示する際に、顔検出した場所をサムネイル画像として利用するので、登場人物が表示されているシーンをサムネイル化することができる。

また、実施の形態２に係る映像記録装置２００によれば、顔特徴データを含むメタデータをＨＤＤ部２０３に記録しているので、入力映像信号内にある類似した顔を検出することができる。

なお、実施の形態２において、上記以外の点は、上記実施の形態１の場合と同じである。

実施の形態３．
図１７は、本発明の実施の形態３に係る顔検出装置３００（すなわち、実施の形態３に係る顔検出方法を実施する装置）の構成を概略的に示すブロック図である。図１７において、図１に示される構成と同一又は対応する構成には、同じ符号を付す。実施の形態３に係る顔検出装置３００は、照合部３０１と、データベース部３０２と、カウンタ部３１０とを有している点が、実施の形態１に係る顔検出装置１００と相違する。

図１７に示されるように、実施の形態３に係る顔検出装置３００は、入力処理部１０１と、ストリーム制御部１０２と、顔検出部１１０と、システム制御部１０４と、第１の記憶手段としてのバッファ部１０３と、第１の照合手段としての照合部３０１と、第１のデータベース手段としてのデータベース部３０２と、第１の計数手段としてのカウンタ部３１０とを有している。データベース部３０２は、予め人物の顔の目の位置、顔の輪郭等の顔特徴データを含む参照データを保存している。

図１８は、データベース部３０２が記憶する顔特徴データの一例を示す説明図である。データベース部３０２には、顔位置検出部１１２及び顔特徴抽出部１１３で検出するよりも詳しい情報であるデータベース固有情報（人物名、固有ＩＤなど）が予め保存されている。また、データベース部３０２には、バッファ部１０３のデータを記録できるようにユーザー領域が存在している。ユーザー領域には、例えば、頻度情報が記録される。

照合部３０１は、バッファ部１０３に保存されている顔特徴データ（例えば、目の位置）を取得し、データベース部３０２に登録されている参照データの顔特徴データ（例えば、目の位置）と一致しているかの照合を行う。また、バッファ部１０３に記録されている顔特徴データ（目の位置）以外の頻度（カウンタ部３１０の出力）のデータなどを、データベース部３０２のユーザー領域である頻度の部分について更新を行う機能も持つ。カウンタ部３１０は、データベース部３０２に記録された顔特徴と顔検出部１０３によって抽出された顔特徴とを照合する照合部３０１において、顔特徴が一致した回数を数える機能を持つ。

システム制御部１０４から入力処理部１０１、ストリーム制御部１０２、顔検出部１１０、照合部３０１、及びデータベース部３０２に対して制御コマンドが送られることによって顔検出装置１００は制御される。

例えば、バッファ部１０３に保存されている顔特徴データ（シーンチェンジ発生時間のデータＳＴ、顔検出データＦＤ、顔特徴データＦＦなど）を照合部３０１が読み込む。照合部３０１は、データベース部３０２に顔特徴データＦＦの問い合わせを行い、バッファ部１０３の顔特徴データの目の位置とデータベース部３０２に問い合わせた参照データの顔特徴データである目の位置がある誤差範囲で一致した場合は、同一人物と判定する。これにより照合部３０１から、特定の人物の情報を問い合わせることも可能である。照合部３０１は、バッファ部１０３から取得した顔特徴データについて、データベース部３０２に登録されている顔特徴データと一致するものがあるかを調べる。一致する顔特徴データが無ければ照合部３０１は、データベース部３０２に対して顔特徴データの記録を行う。また、照合部３０１の顔特徴データとデータベース部３０２の顔特徴データが一致すれば、カウンタ部３１０のカウント数を１増加させる。そして、照合部３０１でデータベース部３０２のユーザー領域部分（頻度）のデータの変更を行う。

以上に説明したように、実施の形態３に係る顔検出装置３００は、シーンチェンジ検出部１１１を備えており、シーンチェンジの発生が検出されたフレームについてのみ、顔検出処理を行うように構成されている。このため、実施の形態３に係る顔検出装置３００によれば、顔検出処理の対象となるフレームの数を減らすことができ、顔検出処理のテータ処理量が減り、顔検出処理に要する時間を短縮することができる。

また、実施の形態３に係る顔検出装置３００によれば、データベース部３０２をバッファ部１０３と別に備えることで、一時的に顔特徴データをバッファ部１０３に保存した後、データベース部３０２で参照するという使い方も可能となり、顔検出処理をシーンチェンジ検出と同時に実行する必要がなくなる。

また、実施の形態３に係る顔検出装置３００によれば、データベース部３０２を作成することで、データベース部３０２に登録されている特定の人物の検索ができる。

さらに、実施の形態３に係る顔検出装置３００によれば、バッファ部１０３に保存されている頻度のデータを、データベース部３０２に保存することで、データベース部３０２の頻度を見ることで特定人物の検出の頻度を瞬時に抽出できる。

なお、実施の形態３において、上記以外の点は、上記実施の形態１の場合と同じである。

実施の形態４．
図１９は、本発明の実施の形態４に係る映像記録装置４００（すなわち、実施の形態３に係る顔検出方法を実施する装置）の構成を概略的に示すブロック図である。図１９において、図１２に示される構成と同一又は対応する構成には、同じ符号を付す。実施の形態４に係る顔検出装置４００は、照合部４０１と、データベース部４０２と、カウンタ部４１０とを有している点が、実施の形態２に係る映像記録装置２００と相違する。

図１９に示されるように、実施の形態４に係る映像記録装置４００は、入力処理部１０１と、ストリーム制御部１０２と、ＨＤＤ記録部２０２と、ＨＤＤ部２０３と、システム制御部１０４と、メタデータ抽出機能付き顔検出部２１０と、第２の照合手段としての照合部４０１と、第２のデータベース手段としてのデータベース部４０２と、第２の計数手段としてのカウンタ部４１０とを有している。データベース部４０２は、予め人物の顔の目の位置、顔の輪郭等の顔特徴データを含む参照データを保存している。

照合部４０１は、メタデータ記録部２１２とデータベース部４０２からデータを取得し、メタデータ記録部２１２からの取得データとデータベース部４０２からの取得データの照合し、照合結果に基づいてデータベース部４０２のデータを更新する。データベース部４０２は、顔特徴抽出部１１３で取得するような目の位置、輪郭等の顔特徴データを保存する。カウンタ部４１０は、データベース部４０２に記録された顔特徴と顔検出部１０３によって抽出された顔特徴とを照合する照合部４０１において、顔特徴が一致した回数を数える機能を持つ。

システム制御部１０４から入力処理部１０１、ストリーム制御部１０２、ＨＤＤ記録部２０２、メタデータ抽出機能付き顔検出部２１０、システム制御部１０４、データベース部４０２、及び照合部４０１に対して制御コマンドが送られることによって映像記録装置４００は制御される。

実施の形態２の場合と同様に、メタデータ記録部２１２は、シーンチェンジ発生時間のデータをシーンチェンジ検出部１１１から取得し、顔位置検出部１１２から顔の個数と顔の位置と顔の面積を取得し、顔特徴抽出部１１３から顔特徴データを取得する。照合部４０１は、メタデータ記録部２１２の顔特徴データ（例えば、目の位置）を取得し、取得した顔特徴データをデータベース部４０２の顔特徴データ（例えば、目の位置）と照合する。照合の結果、データベース部４０２の顔特徴データの中に、取得した顔特徴データと一致するデータがあれば、人物の特定を行うことができる。人物を特定できるようなデータを予め顔特徴データとして有しているデータベース部４０２を搭載することによって特定の人物を検出できる。

以上に説明したように、実施の形態４に係る映像記録装置４００は、シーンチェンジ検出部１１１を備えており、シーンチェンジの発生が検出されたフレームについてのみ、顔検出処理を行うように構成されている。このため、実施の形態４に係る映像記録装置４００によれば、顔検出処理の対象となるフレームの数を減らすことができ、顔検出処理のテータ処理量が減り、顔検出処理に要する時間を短縮することができる。

また、実施の形態４に係る映像記録装置４００によれば、データベース部４０２で、特定の人物に対する頻度を記憶しているので、頻度の回数が多い人物ほどより興味がある人物であるなどの判定が可能になり、ユーザー嗜好を類推することができる。

また、実施の形態４に係る映像記録装置４００によれば、前記実施の形態２による効果に加えて、ユーザーの嗜好を類推することができる頻度の情報があるので、ユーザーの好みの人物を類推することができる。

なお、実施の形態３において、上記以外の点は、上記実施の形態１の場合と同じである。

本発明の実施の形態１に係る顔検出装置（すなわち、実施の形態１に係る顔検出方法を実施する装置）の構成を概略的に示すブロック図である。 図１のシーンチェンジ検出部の構成を概略的に示すブロック図である。 （ａ）及び（ｂ）は、すべてのフレームについて顔検出処理を行う従来の顔検出方法を示す説明図であり、（ｃ）〜（ｈ）は、シーンチェンジが発生したフレームについて顔検出処理を行う実施の形態１の顔検出方法を示す説明図である。 （ａ）及び（ｂ）は、実施の形態１における顔位置検出部による顔位置検出処理を示す説明図である。 （ａ）及び（ｂ）は、実施の形態１における顔位置検出部による顔位置検出処理を示す説明図である。 実施の形態１における顔特徴抽出部による顔特徴抽出処理を示す説明図である。 （ａ）〜（ｃ）は、実施の形態１における顔検出制御部による処理を示す説明図である。 実施の形態１に係る顔検出装置の動作（すなわち、実施の形態１に係る顔検出方法）を示すフローチャートである。 本発明の実施の形態１の変形例に係る顔検出装置（すなわち、実施の形態１の変形例に係る顔検出方法を実施する装置）の構成を概略的に示すブロック図である。 本発明の実施の形態１の変形例に係る顔検出装置の動作（すなわち、実施の形態１の変形例に係る顔検出方法）を示す説明図である。 実施の形態１の変形例に係る顔検出装置の動作（すなわち、実施の形態１の変形例に係る顔検出方法）を示すフローチャートである。 本発明の実施の形態２に係る映像記録装置（すなわち、実施の形態２に係る顔検出方法を実施する顔検出装置を含む）の構成を概略的に示すブロック図である。 実施の形態２におけるストリーム制御部の構成を概略的に示すブロック図である。 実施の形態２におけるメタデータ生成部によって生成されるメタデータの一例を示す説明図である。 実施の形態２におけるメタデータの使用法を示す説明図である。 実施の形態２に係る映像記録装置の動作（すなわち、実施の形態２に係る顔検出方法）を示すフローチャートである。 本発明の実施の形態３に係る顔検出装置（すなわち、実施の形態３に係る顔検出方法を実施する装置）の構成を概略的に示すブロック図である。 実施の形態３におけるデータベース部のデータの一例を示す説明図である。 本発明の実施の形態４に係る映像記録装置（すなわち、実施の形態４に係る顔検出方法を実施する顔検出装置を含む）の構成を概略的に示すブロック図である。

符号の説明

１００，１５０，３００ 顔検出装置、 １０１ 入力処理部、 １０２ ストリーム制御部、 １０３ バッファ部、 １０４ システム制御部、 １１０ 顔検出部、 １１１ シーンチェンジ検出部、 １１２ 顔位置検出部、 １１３ 顔特徴抽出部、 １１４ 顔検出制御部、 １２０ 表示部、 １４１ 復号化部、 １４２ シーンチェンジ判定部、 １４３ 時間検出部、 ２００，４００ 映像記録装置、 ２０２ ＨＤＤ記録部、 ２０３ ＨＤＤ部、 ２１０ メタデータ抽出機能付き顔検出部、 ２１１ メタデータ生成部、 ２１２ メタデータ記録部、 ２１３ 制御部、 ２２１ ストリームＩＤ部、 ２２２ ストリーム出力部、 ３０１ 照合部、 ３０２ データベース部、 ３１０ カウンタ部、 ４０１ 照合部、 ４０２ データベース部、 ４１０ カウンタ部、 ＳＤ シーンチェンジ検出信号、 ＳＴ シーンチェンジ発生時間のデータ、 ＦＤ 顔検出データ、 ＦＰ 顔位置データ、 ＦＮ 顔個数データ、 ＦＡ 顔面積データ、 ＦＦ 顔特徴データ、 ＭＤ メタデータ、 ＥＳ 符号化ストリーム、 Ｄ１，Ｄ２ 映像データ、 ＩＤ ストリームＩＤ。

Claims (20)

1. 入力された映像信号のフレームにシーンチェンジが発生したか否かを検出するシーンチェンジ検出手段と、
   前記映像信号に対して人物の顔の画像の検出処理を行い、検出された顔画像の位置情報を含む顔検出データを出力する顔位置検出手段と、
   シーンチェンジの発生が検出されたフレームにおいて、前記顔位置検出手段に顔画像の検出処理を実行させる制御手段と
   を有することを特徴とする顔検出装置。
2. 前記映像信号及び前記顔検出データに基づいて、検出された前記顔画像の特徴を抽出して顔特徴データとして出力する顔特徴抽出手段をさらに有することを特徴とする請求項１に記載の顔検出装置。
3. 予め顔特徴データを含む第１の参照データを記録する第１のデータベース手段と、
   前記顔特徴抽出手段からの前記顔特徴データを、前記第１のデータベース手段に記録されている前記第１の参照データと照合する第１の照合手段と
   をさらに有することを特徴とする請求項２に記載の顔検出装置。
4. 第１の記憶手段をさらに有し、
   前記シーンチェンジ検出手段は、シーンチェンジの発生を検出したときに、シーンチェンジ発生時間のデータを出力し、
   前記第１の記憶手段は、前記シーンチェンジ検出手段がシーンチェンジの発生を検出したときに、前記シーンチェンジ発生時間のデータ、前記顔位置検出手段からの前記顔検出データ、及び前記顔特徴抽出手段からの前記顔特徴データを記憶する
   ことを特徴とする請求項２に記載の顔検出装置。
5. 顔特徴データを記憶する第２の記憶手段をさらに有し、
   前記制御手段は、
   前記シーンチェンジ検出手段が、シーンチェンジの発生を検出したときに前記顔特徴抽出手段によって抽出される前記顔特徴データと、前記第２の記憶手段に記憶されている前記顔特徴データを比較し、
   前記比較の結果が不一致のときには、前記第１の記憶手段に、前記シーンチェンジ発生時間のデータ、前記顔位置検出手段からの前記顔検出データ、及び前記顔特徴抽出手段からの前記顔特徴データを記憶させ、かつ、前記第２の記憶手段に前回のシーンチェンジ発生時に抽出された顔特徴データを記憶させ、
   前記比較の結果が一致のときには、前記第１の記憶手段に、前記シーンチェンジ発生時間のデータ、前記顔位置検出手段からの前記顔検出データ、及び前記顔特徴抽出手段からの前記顔特徴データを記憶させずに、かつ、前記第２の記憶手段に前回のシーンチェンジ発生時に抽出された顔特徴データを記憶させる
   ことを特徴とする請求項２乃至４のいずれか１項に記載の顔検出装置。
6. 前記第１の照合手段による前記照合の結果が一致である場合の回数を数える第１の計数手段をさらに有し、
   前記第１の記憶手段は、前記第１の計数手段によって生成された回数情報を記憶する
   ことを特徴とする請求項４に記載の顔検出装置。
7. 前記映像信号にストリームＩＤを付加して出力するストリーム制御手段と、
   情報記録媒体に、前記ストリームＩＤが付加された映像信号を記録する第１のデータ記録手段と、
   前記シーンチェンジ検出手段からのシーンチェンジ発生時間のデータ及びストリームＩＤ、前記顔位置検出手段からの前記顔検出データ、及び前記顔特徴抽出手段からの前記顔特徴データから、前記ストリームＩＤで特定される時点に関するメタデータを生成するメタデータ生成手段と、
   前記情報記録媒体に、前記メタデータを記録する第２のデータ記録手段と
   を有し、
   前記制御手段は、シーンチェンジが発生したフレームおいて、前記顔位置検出手段に顔画像の検出処理を実行させ、前記顔特徴抽出手段に前記顔特徴データの抽出を実行させ、前記メタデータ生成手段に前記メタデータの生成処理を実行させ、前記第２のデータ記録手段に前記情報記録媒体への記録処理を実行させる
   ことを特徴とする請求項２乃至６のいずれか１項に記載の顔検出装置。
8. 予めメタデータを含む第２の参照データを記録する第２のデータベース手段と、
   前記第２のデータ記録手段からの前記メタデータを、前記第２のデータベース手段に記録されている前記第２の参照データと照合する第２の照合手段と
   をさらに有することを特徴とする請求項７に記載の顔検出装置。
9. 前記第２の照合手段による前記照合の結果が一致である場合の回数を数える第２の計数手段と、
   前記情報記録媒体に、前記第２の計数手段によって生成された回数情報を記録する第３のデータ記録手段と
   をさらに有することを特徴とする請求項８に記載の顔検出装置。
10. 前記顔位置検出手段が顔画像の位置情報を含む顔検出データを出力したときに、前記制御手段は、前記シーンチェンジ検出手段に、所定フレームの期間だけ前記顔画像が検出された領域を、シーンチェンジの検出処理の対象範囲から除外してシーンチェンジの検出を行わせることを特徴とする請求項１乃至９のいずれか１項に記載の顔検出装置。
11. シーンチェンジ検出手段が、入力された映像信号のフレームにシーンチェンジが発生したか否かを検出するステップと、
    顔位置検出手段が、前記映像信号に対して人物の顔の画像の検出処理を行い、検出された顔画像の位置情報を含む顔検出データを出力するステップと、
    制御手段が、シーンチェンジの発生が検出されたフレームおいて、前記顔位置検出手段に顔画像の検出処理を実行させるステップと
    を有することを特徴とする顔検出方法。
12. 顔特徴抽出手段が、前記映像信号及び前記顔検出データに基づいて、検出された前記顔画像の特徴を抽出して顔特徴データとして出力するステップをさらに有することを特徴とする請求項１１に記載の顔検出方法。
13. 第１のデータベース手段に、予め顔特徴データを含む第１の参照データを記録するステップと、
    第１の照合手段が、前記顔特徴抽出手段からの前記顔特徴データを、前記第１のデータベース手段に記録されている前記第１の参照データと照合するステップと
    をさらに有することを特徴とする請求項１２に記載の顔検出方法。
14. 前記シーンチェンジ検出手段が、シーンチェンジの発生を検出したときに、シーンチェンジ発生時間のデータを出力するステップと、
    前記シーンチェンジ検出手段がシーンチェンジの発生を検出したときに、前第１の記憶手段が、前記シーンチェンジ発生時間のデータ、前記顔位置検出手段からの前記顔検出データ、及び前記顔特徴抽出手段からの前記顔特徴データを記憶するステップと
    を有することを特徴とする請求項１２に記載の顔検出方法。
15. 前記制御手段が、前記シーンチェンジ検出手段がシーンチェンジの発生を検出したときに前記顔特徴抽出手段によって抽出される前記顔特徴データと、第２の記憶手段に記憶されている前記顔特徴データを比較するステップと、
    前記制御手段が、前記比較の結果が不一致のときには、前記第１の記憶手段に、前記シーンチェンジ発生時間のデータ、前記顔位置検出手段からの前記顔検出データ、及び前記顔特徴抽出手段からの前記顔特徴データを記憶させ、かつ、前記第２の記憶手段に前回のシーンチェンジ発生時に抽出された顔特徴データを記憶させるステップと、
    前記制御手段が、前記比較の結果が一致のときには、前記第１の記憶手段に、前記シーンチェンジ発生時間のデータ、前記顔位置検出手段からの前記顔検出データ、及び前記顔特徴抽出手段からの前記顔特徴データを記憶させずに、かつ、前記第２の記憶手段に前回のシーンチェンジ発生時に抽出された顔特徴データを記憶させるステップと
    を有することを特徴とする請求項１２乃至１４のいずれか１項に記載の顔検出方法。
16. 第１の計数手段が、前記第１の照合手段による前記照合の結果が一致である場合の回数を数えるステップと、
    前記第１の記憶手段が、前記第１の計数手段によって生成された回数情報を記憶するステップと
    をさらに有することを特徴とする請求項１４に記載の顔検出方法。
17. ストリーム制御手段が、前記映像信号にストリームＩＤを付加して出力するステップと、
    第１のデータ記録手段が、情報記録媒体に、前記ストリームＩＤが付加された映像信号を記録するステップと、
    メタデータ生成手段が、前記シーンチェンジ検出手段からのシーンチェンジ発生時間のデータ及びストリームＩＤ、前記顔位置検出手段からの前記顔検出データ、及び前記顔特徴抽出手段からの前記顔特徴データから、前記ストリームＩＤで特定される時点に関するメタデータを生成するステップと、
    第２のデータ記録手段が、前記情報記録媒体に、前記メタデータを記録するステップと、
    前記制御手段が、シーンチェンジが発生したフレームおいて、前記顔位置検出手段に顔画像の検出処理を実行させ、前記顔特徴抽出手段に前記顔特徴データの抽出を実行させ、前記メタデータ生成手段に前記メタデータの生成処理を実行させ、前記第２のデータ記録手段に前記情報記録媒体への記録処理を実行させるステップと
    をさらに有することを特徴とする請求項１２乃至１６のいずれか１項に記載の顔検出方法。
18. 第２のデータベース手段に、予めメタデータを含む第２の参照データを記録するステップと、
    第２の照合手段が、前記第２のデータ記録手段からの前記メタデータを、前記第２のデータベース手段に記録されている前記第２の参照データと照合するステップと
    をさらに有することを特徴とする請求項１７に記載の顔検出方法。
19. 第２の計数手段が、前記第２の照合手段による前記照合の結果が一致である場合の回数を数えるステップと、
    第３のデータ記録手段が、前記情報記録媒体に、前記第２の計数手段によって生成された回数情報を記録するステップと
    をさらに有することを特徴とする請求項１８に記載の顔検出方法。
20. 前記顔位置検出手段が顔画像の位置情報を含む顔検出データを出力したときに、前記制御手段は、前記シーンチェンジ検出手段に、所定フレームの期間だけ前記顔画像が検出された領域を、シーンチェンジの検出処理の対象範囲から除外してシーンチェンジの検出を行わせることを特徴とする請求項１１乃至１９のいずれか１項に記載の顔検出方法。

Images