JP2010161562A - 画像処理装置、その制御方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】 少ない処理負荷で顔が新たに登場した位置をより信頼性高く記録する。
【解決手段】 動画から顔検出する手段と、
主被写体の顔を位置と大きさ以外を含む追尾条件によって追尾する追尾手段と、
検出された顔の位置と大きさの情報を保持する保持手段（Ｓ４１６）と、
主被写体以外の顔が新しく検出された場合、該顔が前記保持手段に保持された位置または大きさの情報に合致するか否かを判定する第１の判定手段（Ｓ４１１）と、
新しい顔が検出されていると判定される期間に含まれるフレームを特定する顔インデックスを記録するよう制御する記録制御手段（Ｓ４０７、Ｓ４１９）とを有し、
前記記録制御手段は、前記第１の判定手段によって合致すると判定された顔のうち、既に該顔が検出された他の期間で顔インデックスを記録した顔が検出された期間については前記顔インデックスを記録しない（Ｓ４１８）ことを特徴とする。
【選択図】 図４

Description

本発明は、動画から人物の顔を検出し、顔が検出されたフレームに関する情報を記録する画像処理装置、その制御方法、プログラム及び記録媒体に関する。

従来、動画の再生に係る操作性を向上させるため、さまざまなＧＵＩ（グラフィックユーザーインターフェース）が提案されている。

特許文献１によれば、動画コンテンツに登場する人物やその登場位置を、ユーザに適切かつ判り易く提示することができるようにする動画の再生装置について開示されている。この再生装置によれば、動画中で人物の顔が新たに検出された位置を示す顔画像を一覧表示し、その画像の中からユーザに選択された顔画像に対応する区間の動画を再生することができる。

図８に、再生時に動画中で検出された顔画像を一覧表示した表示（以下、顔インデックス表示と称する）の例を示す。

表示画面８０１は、顔インデックス表示が行われる表示画面であり、顔インデックス表示を行うために選択された１つの動画についての代表画像、付帯情報、検出された顔画像一覧などが表示されている。

代表画像８０２は現在選択している動画全体の代表画像である。例えば動画の先頭のフレーム（または先頭のＩピクチャ）、または最初に検出された顔を含むフレームである。

シーン情報８０３は動画に付帯する情報である、動画の記録日時、記録時間等が表示される。

画像８０４〜８０８はそれぞれ動画中で新たに検出された顔が含まれるフレームを縮小した画像であり、タイムライン８１０上に時系列で表示されている。動画中で新たに検出された顔が所定数（ここでは５）に満たない場合はブランクとなる。動画中で新たに検出された顔が所定数以上である場合には、ユーザー操作により次のページに移動することも可能である。

カーソル８０９はタイムライン８１０上に表示された画像から所望の画像を選択するためのカーソルであり、ユーザの操作によって移動される。そしてこのカーソルがあたって選択されている画像の位置から、動画の再生を開始することができる。例えば図８では画像８０６にカーソル８０９が当たっており、この状態でユーザからの再生指示を受けると、画像８０６のフレームの位置から動画の再生を開始できる。このような顔インデックス表示は、動画の撮影時に生成された顔インデックス情報に基づいて行われる。顔インデックス情報とは、動画ファイルとは別ファイルあるいは動画ファイルのヘッダ情報として記録されているファイルである。顔インデックス情報には、タイムライン８１０上で表示すべき画像のフレームを特定する情報（以下、顔インデックスと称する）が記録されている。この顔インデックスは、撮影時に撮像装置によって各フレームについて顔検出処理が行われ、新たな顔が登場したと判定された際に、顔インデックス記録要求が行われることにより記録される。

図９に、従来の顔インデックス表示に用いられる顔インデックス情報に含まれる、各顔インデックスの記録要求のタイミングを示す。

期間９０１、９０３、９１１〜９１５、９２１〜９２３はそれぞれ撮像装置がもつ顔検出回路が顔を検出していた期間を示す。期間９１２と期間９１３の間、期間９１３と期間９１４の間、期間９２２と期間９２３の間は４秒以上空いており、その他の期間の間は全て４秒未満であるものとする。また、期間９１３は１秒未満の期間であるものとする。この例は、同一時刻に最大３人を検出した例であり、以下説明のため主被写体、顔ＩＤ１、顔ＩＤ２とする。主被写体は所定のアルゴリズムにより主被写体と認識されたものとする。主被写体が割り当てられた顔は、期間９０２で輝度によるマッチングでの追尾処理が行われており、期間９０１、９０３で検出されていた顔は一度顔検出が途切れているものの、期間９０３で検出された顔と同一人物の顔とみなすことができる。ただし輝度によるマッチングは処理負荷が大きいため、主被写体のみについて行われる。そのため、主被写体以外の顔には追尾処理は施されず、顔ＩＤ１、顔ＩＤ２が割り当てられている顔は、同一ＩＤが割り当てられていても顔検出期間が途切れていれば同じ顔であるとは限らない。すなわち、顔ＩＤ１が割り当てられた、期間９１１〜９１５で検出されている顔はそれぞれ異なる人物の顔である可能性があるし、同一人物の顔である可能性もある。また、顔ＩＤ２が割り当てられた、期間９２１〜９２３で検出されている顔もそれぞれ異なる人物の顔である可能性があるし、同一人物の顔である可能性もある。ただし、異なる顔ＩＤの顔はそれぞれ同一時刻に検出されている期間が存在する。同一時刻に検出されていれば、１人の人物に複数のＩＤが割り当てられることは無いので、顔ＩＤ毎に異なる人物の顔である。つまり、主被写体以外に割り当てられた顔ＩＤは、あくまで同一時刻に検出されている複数の顔を識別するための識別子に過ぎない。一度顔検出が途切れると、割り当てられていた顔ＩＤは失効し、新たに顔が検出された際に、有効でない顔ＩＤのうちもっとも小さい番号のＩＤが割り当てられる。このような顔ＩＤの管理は、撮影中に一時記憶媒体に用意した顔管理テーブルを用いて行われる。

顔インデックス番号９５０は、図９に示すとおりに顔が検出された場合に行われる顔インデックス記録要求のタイミングと、各顔インデックスの顔インデックス番号を示している。主被写体以外の顔である顔ＩＤ１、２が割り当てられる顔は、新たに検出される度に顔インデックス記録要求が行われる。こうして図９の例では、顔インデックス情報に顔インデックス番号０〜７の８個の顔インデックスが記録される。そして再生時の顔インデックス表示では顔インデックス番号０〜７に対応する８個の画像がタイムライン上に表示されることになる。
特開２００８−０１７０４１号公報

図９の例では、検出期間が途切れている顔でも、同一ＩＤが割り当てられた顔は同じ人物の顔である可能性もあるが、同じ人物の顔であったとしても新たに検出される度に顔インデックスが記録される。例えば、同じ人物Ａの顔を検出していたとしても、人物Ａが一瞬下を向いたために顔検出が一瞬途切れ、人物Ａがすぐにまたカメラを向いたために再度顔検出されたようなタイミングでも顔インデックスが記録されてしまう。例えば期間９１２の検出開始のタイミング（顔インデックス番号２の顔インデックスの記録要求がされるタイミング）が、期間９１１から検出が途切れた時間が短いため、このような場合になっていることがありえる。しかしこのような場合は、視聴者から見れば人物Ａが新たに登場したタイミングであるとは言えず、このタイミングから再生を開始したいという視聴者の要望は考え難い。すなわち、従来の顔インデックスの記録要求のタイミングでは、新たに登場した人物ではなく、単に顔の動きの多い同一人物の顔が、前述の顔インデックス表示に多く登場してしまう可能性があり、顔インデックス表示での検索性を損ねてしまうことがあった。

また、図９の例では、１秒に満たないような一瞬しか顔が検出できなかった期間９１３のタイミングでも顔インデックスが記録されてしまう。例えば期間９１３で検出された顔が、人物Ｂの顔であったとする。この期間９１３の顔インデックス（顔インデックス番号は３）によって、顔インデックス表示には人物Ｂの顔が写っている画像が表示される。そのためこの画像をみて視聴者は、人物Ｂに関する動画を視聴することを期待して顔インデックス番号３による画像を選択し、その位置から再生を始める。しかし実際人物Ｂが写っている動画は１秒に満たない短い時間であり、人物Ｂに関する動画を視聴したいという視聴者の要望を十分に満たせない可能性が高い。このような顔インデックスの画像も、顔インデックス表示での検索性を損ねる一因となっていた。

また、主被写体の顔は追尾処理を行っているため、新たに登場したと判定されることは少ない。これに比べ、主被写体以外の顔は追尾処理を施していない分だけ新たに登場したと判定されることが増えてしまう。そのため、ユーザが注目しているのは主被写体であると考えられるにも関わらず、顔インデックス表示には主被写体以外の顔が登場したシーンを表す画像が多くなってしまう。

上記課題を鑑みて本発明は、少ない処理負荷で顔が新たに登場した位置をより信頼性高く記録する撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の請求項１の画像処理装置は、
動画の各フレームから顔を検出する顔検出手段と、
前記顔検出手段で検出された顔のうち、主被写体と判定された顔が前記顔検出手段により検出されていないフレームにおいても、位置と大きさ以外を少なくとも含む追尾条件によって該主被写体の顔を追尾する追尾手段と、
前記顔検出手段によって検出された顔の位置と大きさの少なくとも一方の領域情報を、該顔が検出されなくなっても保持する保持手段と、
前のフレームで検出されていなかった前記主被写体以外の顔が、前記顔検出手段によって現在のフレームで検出された場合、該顔が前記保持手段に保持された位置または大きさの前記領域情報に合致するか否かを判定する第１の判定手段と、
前のフレームで検出されていなかった顔が前記顔検出手段によって検出されていると判定される期間に含まれるフレームを特定するための顔インデックスを記録するよう制御する記録制御手段とを有し、
前記記録制御手段は、前記第１の判定手段によって合致すると判定された顔のうち、既に該顔が検出された他の期間で顔インデックスを記録するよう制御した顔が検出された期間については前記顔インデックスを記録しないように制御する
ことを特徴とする。

また、本発明の請求項２の画像処理装置は、
動画の各フレームから顔を検出する顔検出手段と、
前のフレームで検出されていなかった顔が、前記顔検出手段によって検出されていると判定される期間に含まれるフレームを特定するための顔インデックスを記録するよう制御する記録制御手段と、
前記顔検出手段によって検出された顔の位置と大きさの少なくとも一方の領域情報と、該顔が検出された期間について既に前記顔インデックスを記録するよう制御したか否かを示す情報とを該顔が検出されなくなっても保持する保持手段と、
前のフレームで検出されていなかった顔が、前記顔検出手段によって現在のフレームで検出された場合、該顔が前記保持手段に保持された領域情報に合致するか否かを判定する第１の判定手段と
を有し、
前記保持手段は、前記第１の判定手段によって合致すると判定された顔を、合致した領域情報の顔と同一の顔であるものとして前記情報を保持し、
前記記録制御手段は、前記前のフレームで検出されていなかった顔のうち、前記保持手段によって保持されている前記情報が、既に前記顔インデックスを記録するよう制御したことを示す顔が検出された期間については、前記顔インデックスを記録しないように制御する
ことを特徴とする。

また、本発明の請求項１０の画像処理装置の制御方法は、
動画の各フレームから顔を検出する顔検出ステップと、
前記顔検出ステップで検出された顔のうち、主被写体と判定された顔が前記顔検出ステップにより検出されていないフレームにおいても、位置と大きさ以外を少なくとも含む追尾条件によって該主被写体の顔を追尾する追尾ステップと、
前記顔検出ステップによって検出された顔の位置と大きさの少なくとも一方の領域情報を、該顔が検出されなくなっても保持する保持ステップと、
前のフレームで検出されていなかった前記主被写体以外の顔が、前記顔検出ステップによって現在のフレームで検出された場合、該顔が前記保持ステップに保持された位置または大きさの前記領域情報に合致するか否かを判定する第１の判定ステップと、
前のフレームで検出されていなかった顔が前記顔検出ステップによって検出されていると判定される期間に含まれるフレームを特定するための顔インデックスを記録するよう制御する記録制御ステップとを有し、
前記記録制御ステップは、前記第１の判定ステップによって合致すると判定された顔のうち、既に該顔が検出された他の期間で顔インデックスを記録するよう制御した顔が検出された期間については前記顔インデックスを記録しないように制御する
ことを特徴とする。

また、本発明の請求項１１の画像処理装置の制御方法は、
動画の各フレームから顔を検出する顔検出ステップと、
前のフレームで検出されていなかった顔が、前記顔検出ステップによって検出されていると判定される期間に含まれるフレームを特定するための顔インデックスを記録するよう制御する記録制御ステップと、
前記顔検出ステップによって検出された顔の位置と大きさの少なくとも一方の領域情報と、該顔が検出された期間について既に前記顔インデックスを記録するよう制御したか否かを示す情報とを該顔が検出されなくなっても保持する保持ステップと、
前のフレームで検出されていなかった顔が、前記顔検出ステップによって現在のフレームで検出された場合、該顔が前記保持ステップに保持された領域情報に合致するか否かを判定する第１の判定ステップと
を有し、
前記保持ステップは、前記第１の判定ステップによって合致すると判定された顔を、合致した領域情報の顔と同一の顔であるものとして前記情報を保持し、
前記記録制御ステップは、前記前のフレームで検出されていなかった顔のうち、前記保持ステップによって保持されている前記情報が、既に前記顔インデックスを記録するよう制御したことを示す顔が検出された期間については、前記顔インデックスを記録しないように制御する
ことを特徴とする。

また、本発明の請求項１２のプログラムは、
コンピュータを、
動画の各フレームから顔を検出する顔検出手段、
前記顔検出手段で検出された顔のうち、主被写体と判定された顔が前記顔検出手段により検出されていないフレームにおいても、位置と大きさ以外を少なくとも含む追尾条件によって該主被写体の顔を追尾する追尾手段、
前記顔検出手段によって検出された顔の位置と大きさの少なくとも一方の領域情報を、該顔が検出されなくなっても保持する保持手段、
前のフレームで検出されていなかった前記主被写体以外の顔が、前記顔検出手段によって現在のフレームで検出された場合、該顔が前記保持手段に保持された位置または大きさの前記領域情報に合致するか否かを判定する第１の判定手段、
前のフレームで検出されていなかった顔が前記顔検出手段によって検出されていると判定される期間に含まれるフレームを特定するための顔インデックスを記録するよう制御する記録制御手段
として機能させるためのプログラムであって、
前記記録制御手段は、前記第１の判定手段によって合致すると判定された顔のうち、既に該顔が検出された他の期間で顔インデックスを記録するよう制御した顔が検出された期間については前記顔インデックスを記録しないように制御する
ことを特徴とする。

また、本発明の請求項１３のプログラムは、
コンピュータを、
動画の各フレームから顔を検出する顔検出手段、
前のフレームで検出されていなかった顔が、前記顔検出手段によって検出されていると判定される期間に含まれるフレームを特定するための顔インデックスを記録するよう制御する記録制御手段、
前記顔検出手段によって検出された顔の位置と大きさの少なくとも一方の領域情報と、該顔が検出された期間について既に前記顔インデックスを記録するよう制御したか否かを示す情報とを該顔が検出されなくなっても保持する保持手段、
前のフレームで検出されていなかった顔が、前記顔検出手段によって現在のフレームで検出された場合、該顔が前記保持手段に保持された領域情報に合致するか否かを判定する第１の判定手段
として機能させるためのプログラムであって、
前記保持手段は、前記第１の判定手段によって合致すると判定された顔を、合致した領域情報の顔と同一の顔であるものとして前記情報を保持し、
前記記録制御手段は、前記前のフレームで検出されていなかった顔のうち、前記保持手段によって保持されている前記情報が、既に前記顔インデックスを記録するよう制御したことを示す顔が検出された期間については、前記顔インデックスを記録しないように制御する
ことを特徴とする。

また、本発明の請求項１４の記録媒体は、
コンピュータを、
動画の各フレームから顔を検出する顔検出手段、
前記顔検出手段で検出された顔のうち、主被写体と判定された顔が前記顔検出手段により検出されていないフレームにおいても、位置と大きさ以外を少なくとも含む追尾条件によって該主被写体の顔を追尾する追尾手段、
前記顔検出手段によって検出された顔の位置と大きさの少なくとも一方の領域情報を、該顔が検出されなくなっても保持する保持手段、
前のフレームで検出されていなかった前記主被写体以外の顔が、前記顔検出手段によって現在のフレームで検出された場合、該顔が前記保持手段に保持された位置または大きさの前記領域情報に合致するか否かを判定する第１の判定手段、
前のフレームで検出されていなかった顔が前記顔検出手段によって検出されていると判定される期間に含まれるフレームを特定するための顔インデックスを記録するよう制御する記録制御手段
として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体であって、
前記記録制御手段は、前記第１の判定手段によって合致すると判定された顔のうち、既に該顔が検出された他の期間で顔インデックスを記録するよう制御した顔が検出された期間については前記顔インデックスを記録しないように制御する
ことを特徴とする。

また、本発明の請求項１５の記録媒体は、
コンピュータを、
動画の各フレームから顔を検出する顔検出手段、
前のフレームで検出されていなかった顔が、前記顔検出手段によって検出されていると判定される期間に含まれるフレームを特定するための顔インデックスを記録するよう制御する記録制御手段、
前記顔検出手段によって検出された顔の位置と大きさの少なくとも一方の領域情報と、該顔が検出された期間について既に前記顔インデックスを記録するよう制御したか否かを示す情報とを該顔が検出されなくなっても保持する保持手段、
前のフレームで検出されていなかった顔が、前記顔検出手段によって現在のフレームで検出された場合、該顔が前記保持手段に保持された領域情報に合致するか否かを判定する第１の判定手段
として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体であって、
前記保持手段は、前記第１の判定手段によって合致すると判定された顔を、合致した領域情報の顔と同一の顔であるものとして前記情報を保持し、
前記記録制御手段は、前記前のフレームで検出されていなかった顔のうち、前記保持手段によって保持されている前記情報が、既に前記顔インデックスを記録するよう制御したことを示す顔が検出された期間については、前記顔インデックスを記録しないように制御する
ことを特徴とする。

本発明によれば、少ない処理負荷で顔が新たに登場した位置をより信頼性高く記録することができる。

以下、図面を参照して本発明の好適な実施形態を説明する。

＜デジタルビデオカメラの構成＞
図１に本発明の撮像装置の一例としてのデジタルビデオカメラの構成ブロック図を示す。

１０１はレンズユニットであり、集光のための固定レンズ群、変倍レンズ群、絞り、変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行う機能とを兼ね備えた補正レンズ群により構成される。１０２は撮像素子であり、光学像を電気信号に変換する。１０３はカメラ信号処理回路であり、撮像素子１０２によって生成される電気信号に対し所定の色変換処理、縮小処理など画像処理を行い、出力先に適した画像データを出力する。

１０４は顔検出回路である。カメラ信号処理回路１０３は、顔検出に適した画像データを顔検出回路１０４に伝送する。顔検出回路１０４は、入力された画像データに所定の処理を行った後、パターンマッチングによって目及び鼻、口、耳の候補群を抽出する。さらに抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。顔検出回路１０４は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数、位置、大きさなどの特徴量である顔検出情報を後述するメモリ１０９に記憶する。

以上のように画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。

１０８はフラッシュＲＯＭ、１０９はメモリ、１１０はカメラ制御用マイクロコンピュータ、１２０はバスである。カメラ信号処理回路１０３、顔検出回路１０４を含め、各ブロックはバス１２０を介し接続されている。フラッシュＲＯＭ１０８はカメラ制御用マイクロコンピュータ１１０が実行するプログラム、及び各種パラメータなどが予め格納されている書き換え可能不揮発性メモリである。メモリ１０９は揮発性メモリであり、カメラ制御用マイクロコンピュータ１１０などバス１２０を介して接続される各ブロックが作業領域として使用する。

カメラ制御用マイクロコンピュータ１１０はカメラ信号処理回路１０３、顔検出回路１０４等を制御し、カメラ側の様々な制御を行うものである。

なお、顔に対して焦点を調整する顔ＡＦ、顔の明るさに応じて露出を最適化する顔ＡＥ、顔の色に応じてホワイトバランスを最適化するＷＢなど、カメラ機能を顔に対して最適になるよう作動させることができる。これらは、メモリ１０９に格納された顔検出情報を元にカメラ制御用マイクロコンピュータ１１０の制御によって行われる。

カメラ制御用マイクロコンピュータ１１０は、複数の顔情報の中から主被写体を判定する。この判定は、検出された複数の顔情報の中から、顔の位置、その大きさなどから所定のアルゴリズムにより行われる。または、ユーザーが任意の顔を選択する機能を設け、この顔情報を主被写体としても良い。

カメラ制御用マイクロコンピュータ１１０は主被写体に対する追尾処理を行う。

カメラ信号処理回路１０３は、撮影画像から輝度成分を抽出し、さらに縮小した画像データをメモリ１０９に格納する。カメラ制御用マイクロコンピュータ１１０は主被写体と判定したエリア、及びその周辺の画像データを切り出し、フレーム間で比較を行い追尾する。以降輝度マッチングと称す。この処理により、顔検出回路１０４で検出できなかったとしても補間する。

例えば主被写体が下を向いてしまい、顔の特徴を検出できなかった場合などであっても主被写体を認識することが可能となり、顔ＡＦ等を継続して作動させることができる。

１０５はビデオ信号処理回路であり、カメラ信号処理回路１０３や、後述する圧縮伸張回路１０６からの画像データを受け、各ブロックに適した画像処理を行い出力するものである。また、ビデオ信号処理回路１０５はビットマップを重畳することができる。これにより、機器の状態、警告、各種設定画面等の表示を行う。また、再生画像を縮小しメモリに保持したり、この画像を表示画像として出力する機能を有する。複数フレームに対し縮小を行い、表示することで各シーンの代表画像を並べたインデックス画面や、顔インデックス表示等のＧＵＩを実現することができる。

１０６は圧縮伸張回路であり、画像データをＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ２）方式にて圧縮し、後述のバス１２１を介してやはり後述のメモリ１１４に圧縮ビデオデータを書き出す。一方、メモリ１１４に格納された圧縮ビデオデータを読み込み、画像データに再生し、ビデオ信号処理回路１０５に出力する機能も兼ね備えている。

ＭＰＥＧ２ビデオ圧縮技術（動画像圧縮方式）では、フレーム内符号化ピクチャ（Ｉピクチャ）と、フレーム間符号化ピクチャであるＰ（前方予測）ピクチャ、Ｂ（双方向予測）ピクチャがある。このうちＩピクチャはそのフレーム単独で再生することが可能である。

また、ＭＰＥＧ２システムでは再生時刻を示すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ：再生時刻情報）があり、例えばこれを各フレームに付与することで再生時に各フレームの再生時刻を検出することができる。

圧縮伸張回路１０６では、圧縮動作時に少なくともＩピクチャのＰＴＳと、圧縮ビデオデータ内どの位置に存在するのかを特定するための情報を、後述するレコーダ制御用マイクロコンピュータ１１１が読み出せる機能を有する。この情報を蓄積し記録することで、任意のＩピクチャの位置を検索することができるので、任意のＩピクチャを再生させることができる。

１１１はレコーダ制御用マイクロコンピュータであり、動画像及び管理情報等の記録再生、表示等の制御を行う。１１３はフラッシュＲＯＭであり、レコーダ制御用マイクロコンピュータ１１１が実行するプログラム、及び各種パラメータなどが格納されている書き換え可能不揮発性メモリである。１１４はメモリであり、レコーダ制御用マイクロコンピュータ１１１や圧縮伸張回路１０６などが作業領域として使用する揮発性メモリである。１２１はバスである。１１５はメモリカードインターフェース（カードＩ／Ｆ）であり、１１６はメモリカードである。カードＩ／Ｆ１１５はメモリカード１１６を格納し、コマンドやデータを送受信するものである。メモリカード１１６はＳＤメモリカードのようなカード型メモリカードであり、圧縮伸張回路１０６で生成された圧縮ビデオデータをＦＡＴファイルシステムなどコンピュータと互換のある所定フォーマットに従って動画ファイルとして記録するための記録媒体である。なお、圧縮ビデオデータを記録可能な記録媒体であればよく、メモリカードにかぎらず、ＤＶＤやハードディスク等でも良い。

１０７は液晶パネルであり、ビデオ信号処理回路１０５から画像データを受け表示させるためのものである。

また特に図示していないが、音声についてもマイクユニット、スピーカーや外部出力経路を設け、画像と共に圧縮伸張回路１０６にて圧縮、多重化される。

１１２は操作スイッチ群であり、ユーザーが操作入力するためのものである。また操作スイッチ群１１２には、主としてカメラ撮影を行うためのカメラモード（静止画撮影モード、動画撮影モードを含む）、主として再生させるための再生モード、及び電源オフとするパワーオフモードを選択するためのスイッチも設けられている。カメラ制御用マイクロコンピュータ１１０とレコーダ制御用マイクロコンピュータ１１１は、この操作スイッチ群１１２へのユーザの操作を受け付け、受け付けた操作に応じて各種動作を行う（受付手段）。

なお、カメラ制御用マイクロコンピュータ１１０とレコーダ制御用マイクロコンピュータ１１１間で通信を行っており、必要な情報の送受信を行う。

カメラ制御用マイクロコンピュータ１１０からレコーダ制御用マイクロコンピュータ１１１へは、後述する顔インデックスの記録を要求する情報を送信する。顔インデックスとは、新たな顔が出現した場所（フレーム）を検索するための情報である。

レコーダ制御用マイクロコンピュータ１１１はこれに従い後述する管理情報に顔インデックス情報を記録する。

本発明のデジタルビデオカメラは、少なくとも動画撮影モードと再生モードとを操作スイッチ群１１２の操作によって切り替えることができる。動画撮影モードでは動画を撮影して動画ファイルをメモリカード１１６に記録することが可能である。再生モードではメモリカードに記録された動画ファイルを再生することが可能であり、顔インデックス表示することも可能である。

＜動画撮影モード処理＞
図２は、本発明の動画撮影モード処理を説明するフローチャートである。操作スイッチ群１１２の操作によって動画撮影モードに切り替えると、動画撮影モード処理を開始する。この動画撮影モード処理は、カメラ制御用マイクロコンピュータ１１０とレコーダ制御用マイクロコンピュータ１１１が共同し、メモリ１０９やフラッシュＲＯＭ１１３に記録されたプログラムを、メモリ１０９やメモリ１１４に展開して実行することで実現する。

ステップＳ２０１ではまず、撮像素子１０２で撮像した画像をほぼリアルタイムで液晶パネル１０７に動画として表示する、いわゆるスルー表示を行う。

ステップＳ２０２では、操作スイッチ群１１２に含まれる撮影ボタンにより、動画撮影開始指示がされたか否かを判定する。動画撮影開始指示がされていないと判定するとステップＳ２１０へ進み、動画撮影開始指示がされたと判定するとステップＳ２０３へ進む。

ステップＳ２０３では、動画の撮影・記録処理を行う。動画の撮影・記録処理では、例えばフレームレートを３０ｆｐｓとする場合、撮像素子１０２により得られた１／３０秒間隔で得られた画像データ（動画フレーム）を、バッファメモリに一時的に格納する。そして、バッファメモリに一時的に格納された画像データ（動画フレーム）を圧縮伸長回路１０６で圧縮し、処理を終えた画像データをメモリ１１４に確保された書き込み用出力バッファに格納する。そして、書き込み用出力バッファに所定秒数分画像のデータが格納されると、順次書き込み用出力バッファからメモリカード１１６へと画像データを書き込む。同時に、動画データのヘッダ情報となる情報を、メモリ１１４へ記録する。

ステップＳ２０４では、顔インデックス記録要求処理を行う。これは、再生時の顔インデックス表示に用いる顔インデックス情報を記録するために、撮影中の動画で新たに顔が登場したフレームに関して顔インデックスを記録するよう要求する処理である。詳細は図４を用いて後述する。

ステップＳ２０５では、顔インデックス情報生成処理を行う。これは、ステップＳ２０４での顔インデックス記録要求に基づいて、実際に記録される顔インデックス情報を生成する処理である。ここでは、現在行っている動画撮影が終了するまで、メモリ１１４に顔インデックス情報を保持し、順次更新していく。この処理の詳細は図５を用いて後述する。

なお、ステップＳ２０３〜Ｓ２０５の処理は、実質的に並行して行われる。

続くステップＳ２０６では、ユーザによって操作スイッチ群１１２が操作されることにより、動作モードが動画撮影モードから他のモードへ切り替えられたか（変更されたか）否かを判定する。動画撮影モードから他のモードへ切り替えられたと判定するとステップＳ２０７へ進む。

ステップＳ２０７では、動画撮影の終了処理を開始する。終了処理では、この時点でバッファメモリに一時的に格納されていた画像データ（動画フレーム）を圧縮伸長回路１０６で圧縮し、処理を終えた画像データをメモリ１１４に確保された書き込み用出力バッファに格納する。そして、書き込み用出力バッファに格納された圧縮された画像データをメモリカード１１６へと書き込む。バッファメモリに格納されていた画像データをメモリカード１１６へ書き込み終えると、ステップＳ２０３でメモリ１１４に記録しておいた情報を、ヘッダ情報としてメモリカード１１６へ書き出す（記録する）。そして、メモリカード１１６上の動画ファイルをクローズする処理を行い、動画ファイルを生成する。さらに、生成された動画ファイルに関する管理情報ファイルを記録する。管理情報ファイルについては図６を用いて後述する。この管理情報ファイルには、ステップＳ２０５で生成されていた顔インデックス情報が記録される。管理情報ファイルは撮影された動画ファイルと対応関係が取れるように記録される。例えば動画ファイルのファイル名の拡張子より前の部分と、管理情報ファイルのファイル名の拡張子より前の部分を同じ名称とすることで対応関係を取れるようにする。ステップＳ２０７の終了処理を行うと動画撮影モード処理を終了する。

一方、ステップＳ２０６で、動作モードが動画撮影モードから他のモードへ切り替えられていないと判定するとステップＳ２０８へ進む。ステップＳ２０８では操作スイッチ群１１２に含まれる撮影ボタンの操作により、動画撮影終了指示がされたか否かを判定する。動画撮影終了指示がされていないと判定するとステップＳ２０３へ戻り、動画の撮影を継続する。動画撮影終了指示がされたと判定するとステップＳ２０９へ進む。ステップＳ２０９では、動画撮影の終了処理を行う。この終了処理は前述したステップＳ２０７と同様の処理なので説明を省略する。ステップＳ２０９で終了処理を行うと、ステップＳ２１０へ進む。

ステップＳ２１０では、ユーザによって操作スイッチ群１１２が操作されることにより、動作モードが動画撮影モードから他のモードへ切り替えられたか（変更されたか）否かを判定する。他のモードへ切り替えられていないと判定するとステップＳ２０２に戻り、動画撮影モード処理を継続する。動画撮影モードから他のモードへ切り替えられた判定すると、動画撮影モード処理を終了する。

＜顔インデックス記録要求処理＞
前述の図２のステップＳ２０４における顔インデックス記録要求処理の詳細を説明する。顔インデックス記録要求処理は、メモリ１０９に用意した顔管理テーブルを用いて行われる。

図３に、顔インデックス記録要求処理で用いられる顔管理テーブルの例を示す。顔管理テーブルは、動画撮影・記録処理中に、顔インデックス要求処理を行うために、メモリ１０９に保持される情報である。顔管理テーブルでは、現在検出されている顔、あるいは検出された後に消失して間もない顔について、顔ＩＤを付与し、顔ＩＤごとに出現時間、最新出現時間、消失時間、位置・大きさ、要求済みフラグを記録する。出現時間は、その顔ＩＤの顔が初めて検出されたフレームが、撮影開始後どの時点のフレームかを特定するための時間情報である。最新出現時間は、その顔ＩＤの顔が１番最近検出された期間の最初のフレームが、撮影開始後どの時点のフレームかを特定するための時間情報である。消失時間は、その顔ＩＤの顔が現在検出されていない場合、検出されていない期間の最初のフレームが、撮影開始後どの時点のフレームかを特定するための時間情報である。位置・大きさは、その顔ＩＤの顔が、最後に検出されたフレーム中でどの位置でどんな大きさで検出されたのかを示す領域情報であり、フレーム中における座標情報、顔検出された領域の縦のサイズ×横のサイズが記録される。要求済みフラグは、その顔ＩＤの顔について顔インデックス記録要求が既に行われたか否かを示すフラグであり、既に行われている場合は１となる。

以下、有効な顔ＩＤというのは、顔管理テーブルに出現時間、最新出現時間、位置・大きさの情報が保持されている顔ＩＤ、すなわち現在使用中の顔ＩＤであるものとする。また、無効な顔ＩＤというのは、出現時間、最新出現時間、消失時間、位置・大きさの情報、要求済みフラグの全てがクリアされた顔ＩＤ、すなわち使用されていない顔ＩＤであるものとする。

図４に、前述の図２のステップＳ２０４における顔インデックス記録要求処理のフローチャートを示す。この顔インデックス記録要求処理は、カメラ制御用マイクロコンピュータ１１０が、フラッシュＲＯＭ１０８に記録されたプログラムを読み出し、作業用領域としてメモリ１０９に展開して実行することで実現する。

顔インデックス記録要求処理を開始するとまず、ステップＳ４０１において、顔管理テーブルの初期化を行う。顔ＩＤは全て無効（顔が１つも検出されていない状態）とし、出現時間、最新出現時間、消失時間、位置・大きさ、要求済みフラグを全てクリアした状態で、顔管理テーブルをメモリ１０９に用意する。

ステップＳ４０２では、メモリ１０９に用意した内部変数フラグを初期化して０にセットする。

ステップＳ４０３では、撮像素子１０２で撮像された１フレーム分の画像に関して、顔検出回路１０４による顔検出結果である顔情報を取得する。なお、これが顔インデックス記録要求処理開始後最初のフレームである場合には、取得した顔情報から主被写体を決定して、主被写体の追尾処理に必要な情報をメモリ１０９に記録（保持）する。そして主被写体以外で検出されている顔に顔ＩＤを新規発行し、各顔に関する情報を顔管理テーブルに記録する。

ステップＳ４０４では、主被写体が消失したか否かを判定する。主被写体は輝度マッチングによる追尾条件により追尾されているが、撮像素子１０２で撮像された画像を解析した結果、追尾条件を満たさなくなると主被写体は消失したと判定される。主被写体が消失したと判定するとステップＳ４０５へ進み、主被写体が消失していなければステップＳ４０６へ進む。

ステップＳ４０５では、主被写体が消失したため、現在検出されているその他の顔から新たに主被写体を決定する。顔管理テーブルで管理されている有効な顔ＩＤのうち、所定のアルゴリズムにより主被写体としての顔を１つ決定し、この顔に関する情報で、メモリ１０９に記録されている主被写体の追尾に必要な情報を更新する。顔管理テーブルからは、主被写体に決定された顔に関する情報を全てクリアし、その顔ＩＤを無効とする。

ステップＳ４０６では、ステップＳ４０３で取得した顔情報が、主被写体用要求条件に合致するか否かを判定する。この判定は、顔インデックスの記録要求をするべき主被写体の顔が新たに登場したか否かの判定である。主被写体は上述のように追尾処理が行われるため、主被写体の登場が理由で顔インデックスの記録要求をするべきか否かの判定は、後述する主被写体以外の顔に対する判定とは異なる条件によって行われる。主被写体用の要求条件に合致すると判定するとステップＳ４０７に進み、内部変数フラグを１にセットし、ステップＳ４０８へ進む。このように内部変数フラグを１にセットすることで、後述するステップＳ４２１で顔インデックスの記録要求が送信され、レコーダ制御用マイクロコンピュータ１１１によって顔インデックスが記録される（記録制御）。ステップＳ４０６で主被写体用の要求条件に合致しないと判定すると、内部変数フラグは０のままステップＳ４０８へ進む。

ステップＳ４０８では、ステップＳ４０３で取得した顔情報より、顔管理テーブルの有効な顔ＩＤのうち消失時間の記録されていない顔ＩＤの中で、今回のフレームから該当する顔が検出されてなくなった顔ＩＤがあるか否かを判定する。顔管理テーブルの有効な顔ＩＤのうち消失時間の記録されていない顔ＩＤとは、すなわち直前のフレームまで検出されていた顔の顔ＩＤである。該当する顔が検出されていると判定すると、すなわちどの顔も消失していないと判定するとステップＳ４１０へ進み、該当する顔が検出されていない顔ＩＤがあると判定すると、すなわち現在のフレームから消失した顔があると判定するとステップＳ４０９へ進む。

ステップＳ４０９では、顔管理テーブルのうち、消失した顔の顔ＩＤの消失時間として、現在のフレームの時間を記録する。以前のフレームで検出できていた顔が少しの間検出できなかったとしても、単に少し顔をそむけた等の理由により、実際にはその顔の人物が撮像されていたにも関わらず、顔が検出されない場合がある。そのため、顔が検出されず消失した場合でも、消失後少しの間は顔ＩＤを有効としたまま、消失時間を記録して顔の情報を保持する。消失時間を記録するとステップＳ４１０へ進む。

ステップＳ４１０では、ステップＳ４０３で取得した顔情報より、顔管理テーブルの有効な顔ＩＤのうち、消失時間の記録されている顔ＩＤに該当する顔が現在のフレームにあるか否かを判定する（第１の判定手段）。この判定は、Ｓ４０３で取得した顔情報に含まれる顔が、消失時間の記録されている有効な顔ＩＤに関して記録されている位置・大きさのどちらか一方、あるいは双方の情報に所定の閾値で合致するか否かによって判定する。消失時間の記録されている顔ＩＤに該当する顔があると判定するとステップＳ４１１へ進み、該当する顔がないと判定するとステップＳ４１２に進む。

ステップＳ４１１では、該当する顔ＩＤの消失時間を消去（クリア）し、最新出現時間として現在のフレームの時間を記録する。これにより、少しの間消失していたが以前検出されていた顔と同一の顔が復帰したと見なし、単に顔の動きの多い同一人物の顔について何度も顔インデックスの記録要求がされてしまうといった問題等を抑制している。

ステップＳ４１２では、顔管理テーブルの有効な顔ＩＤのうち、消失時間から４秒が経過した顔ＩＤがあるか否かを判定する。消失時間から４秒が経過した顔ＩＤがあると判定するとステップＳ４１３に進み、消失時間から４秒が経過した顔ＩＤが無いと判定するとステップＳ４１４に進む。

ステップＳ４１３では、消失時間から４秒が経過した顔ＩＤについて記録されている情報をすべて消去し、無効な顔ＩＤとする。消失後４秒で顔ＩＤを無効化するのは、消失時間から４秒経過した場合、顔をそむける等の小さな動きにより消失したのではなく、以前検出されていた顔の人物は実際に撮像されている範囲から居なくなったものと考えられるためである。なお、この４秒という閾値は、どの程度の期間消失し続けた場合に、以前検出されていた顔の人物が実際に撮像されている範囲から居なくなったものと考えるかによって適宜設定すればよい事項であるので、４秒でなくても良い。ステップＳ４１３の処理を行うと続いてステップＳ４１４へ進む。

ステップＳ４１４では、ステップＳ４０３で取得した顔情報より、顔管理テーブルの有効な顔ＩＤの何れにも該当しない顔があるか否かを判定する。顔管理テーブルの有効な顔ＩＤの何れにも該当しない顔がある場合とは、現在顔管理テーブルで管理していない、新しい顔が検出された場合であり、この場合はステップＳ４１５へ進む。一方、ステップＳ４１４で偽と判定された場合は新しい顔が検出されたわけではないため、ステップＳ４１７へ進む。

ステップＳ４１５では、検出された新しい顔が所定のアルゴリズムにより主被写体となるか否かを判定する（第３の判定手段）。主被写体になると判定した場合は、顔管理テーブルでは管理しないので、主被写体の追尾処理に必要な情報をメモリ１０９に記録（保持）し、ステップＳ４１７に進む。一方、検出された新しい顔が主被写体とならないと判定した場合は、ステップＳ４１６に進み、検出された新しい顔に対して新規に顔ＩＤを発行し、顔管理テーブルに新しい顔に関して出現時間、最新出現時間（出現時間と等しくなる）、位置・大きさを記録する。新規な顔ＩＤには、有効でない顔ＩＤ（無効な顔ＩＤ）のうちもっとも小さい番号のＩＤが割り当てられ、有効な顔ＩＤとなる。続いてステップＳ４１７へ進む。

ステップＳ４１７では、顔管理テーブルの有効な顔ＩＤのうち、消失時間の記録されていない顔ＩＤで、最新出現時間から１秒が経過した顔ＩＤがあるか否かを判定する（第２の判定手段）。これは、最新の出現時間から１秒間継続して検出され続けた顔があるか否かの判定である。最新出現時間から１秒が経過した顔ＩＤが無いと判定するとステップＳ４２１に進み、最新出現時間から１秒が経過した顔ＩＤがあると判定するとステップＳ４１８へ進む。ここで１秒間検出されつづけたか否かを判定するのは、一瞬しか検出されなかった顔に関して顔インデックスの記録要求がされてしまうことを防ぐためと、再生時の顔インデックス表示で用いるＩピクチャの画像に必ず顔が写っていることを保証するためである。１秒以上検出されつづけた顔であることを条件に顔インデックスの記録要求をすることで、検出時間の極端に短い顔について顔インデックスが記録されることを防ぎ、必要以上に顔インデックスの数が増えることを抑えている。なお、１秒かどうかは設計事項であり、１秒に限らず、Ｉピクチャの出現間隔以上の時間で、所定時間継続して検出されつづけたか否かの判定でよい。

ステップＳ４１８では、顔管理テーブルを参照して、最新の出現時間から１秒間継続して検出され続けた顔の顔ＩＤについて要求済みフラグがついているか否かを判定する。ついている場合は、最新の出現時間より前の出現の際に既に顔インデックスの記録要求が行われた顔であるため、今回は顔インデックスの記録要求をすることはせず、ステップＳ４２１に進む。なお、要求済みフラグがついている場合は最新の出現時間より前の出現が存在する顔ＩＤの場合であるので、ステップＳ４１０では真の判定となった顔ＩＤである。一方、要求済みフラグが付いていないと判定するとステップＳ４１９に進む。

ステップＳ４１９では、まったく新しい顔で、出現時間から１秒以上継続して検出され続けた顔があるため、内部変数フラグを１にセットする。このように内部変数フラグを１にセットすることで、後述するステップＳ４２１で顔インデックスの記録要求が送信され、レコーダ制御用マイクロコンピュータ１１１によって顔インデックスが記録される（記録制御）。そしてステップＳ４２０で顔管理テーブルの要求済みフラグを１とする。続いてステップＳ４２１へ進む。

ステップＳ４２１では、現在のフレームを特定する情報と、メモリ１０９の内部変数フラグの情報をレコーダ制御用マイクロコンピュータ１１１に送信する。この際、内部変数フラグが１であった場合は顔インデックス記録要求となる。ステップＳ４２１の処理を終了すると、ステップＳ４０２に戻って次のフレームについての処理を行う。

＜顔インデックス情報生成処理＞
図５に、前述の図２のステップＳ２０５における顔インデックス情報生成処理のフローチャートを示す。この顔インデックス情報生成処理は、レコーダ制御用マイクロコンピュータ１１１が、フラッシュＲＯＭ１１３に記録されたプログラムを読み出し、作業用領域としてメモリ１１４に展開して実行することで実現する。

ステップＳ５０１ではまず、タイマーをスタートする。

ステップＳ５０２では、図４のステップＳ４２１で送信された情報を受信し、メモリ１１４に一時記憶する。ステップＳ５０３では、ステップＳ５０１でタイマーがスタートしてから０．５秒が経過したか否かを判定する。０．５秒経過していないと判定するとステップＳ５０２に戻り、更に情報を受信して一時記憶する。つまり、ステップＳ４２１で送信された情報はメモリ１１４に０．５秒期間分蓄積する。ステップＳ５０３で０．５秒が経過したと判定するとステップＳ５０４に進む。

ステップＳ５０４では、メモリ１１４に蓄積された０．５秒期間分の情報の中に、顔インデックス記録要求があるか否かを判定する。顔インデックス記録要求があった場合にはステップＳ５０５へ進み、無かった場合にはステップＳ５０１に戻り、次の０．５秒期間を計測するためにタイマーをリセットして再スタートし、処理を繰り返す。

ステップＳ５０５では、メモリ１１４に蓄積された０．５秒期間分の情報の中から、顔インデックス記録要求のあったフレームを特定するフレームを参照する。そして、そのフレームの直前のＩピクチャの位置を示すＰＴＳをメモリ１１４に用意した顔インデックス情報に記録する。この際、各顔インデックスを識別するために、記録順に顔インデックス番号を付与して時系列に管理する。ステップＳ５０５の処理を終了するとステップＳ５０１に戻り、次の０．５秒期間を計測するためにタイマーをリセットして再スタートし、処理を繰り返す。

このように、撮影中にメモリ１１４に顔インデックス情報を生成、更新していき、図２のステップＳ２０７、Ｓ２０９で前述したように、撮影終了時点の顔インデックス情報をメモリカード１１６の管理情報ファイルに記録する。

＜管理情報ファイル＞
図６に、前述した図２のステップＳ２０７、Ｓ２０９でメモリカード１１６に記録される管理情報ファイルの構成例を示す。管理情報ファイル６０１は、基本情報６０２、検索テーブル６０３、機種情報テーブル６０４、顔インデックス情報６０５で構成される。基本情報６０２には、圧縮ビデオデータの圧縮方式、フレームレート、画素数など基本的な情報が記録される。検索テーブル６０３は、早送りなどの特殊再生や指定時間のフレームを表示するとき等に必要となる検索テーブルである。動画ファイルに含まれる全ＩピクチャのＩＤと、各ＩピクチャのＰＴＳ、各Ｉピクチャが動画ファイルの先頭から何バイト目のデータ位置にあるかを示す情報が記録される。動画ファイルがパケットに分割されていれば、各Ｉピクチャが何パケット目に含まれるかの情報があってもよい。この検索テーブル６０３により、ＩピクチャのＰＴＳさえわかれば、動画ファイル中のＩピクチャの位置が特定できる。

機種情報テーブル６０４はメーカーＩＤ、機種ＩＤが記録される領域であり、メーカー、製品ごとにユニークなＩＤが付与される。

顔インデックス情報６０５には、顔インデックス情報ＩＤ６０６、顔インデックス数６０７、各顔インデックス６０８が記録される。

顔インデックス情報ＩＤ６０６は、この領域が顔インデックス情報を記録している部分であることを示す識別子が記録される。この識別子を認識できる再生装置であれば、この領域の情報を顔インデックス情報として利用することができ、顔インデックス表示を行うことができる。顔インデックス情報ＩＤを識別できない（このＩＤが顔インデックス情報を示すものであることを知らない）再生装置では、顔インデックス情報６０５は利用されない。

顔インデックス数６０７は、各顔インデックス６０８に記録された顔インデックスの数を示しており、最大Ｎ個分まで記録される。Ｎ個とは、予め決められた最大値である。これは、顔情報が異常に増加してしまうと作業メモリ容量、検索速度の点から不利となるため上限を設けるものである。

各顔インデックス６０８には、顔インデックス表示で表示すべき画像を特定する情報である。各顔インデックスについて、顔インデックス番号と、前述した図５の顔インデックス情報生成処理におけるステップＳ６０５でメモリ１１４に一時記憶されていたＰＴＳが記録される。このＰＴＳを用いて、顔インデックス表示で表示すべき各画像のＩピクチャの動画ファイル中での位置を、検索テーブルから６０３から検索して特定することができる。これにより、顔インデックス表示中で指定された各画像（顔インデックスで特定される画像）の位置から再生するなどの再生機能を実現することができる。

この管理情報ファイルのファイル名の拡張子より前の部分は、対応する動画ファイルのファイル名の拡張子より前の部分と同じとすることで対応関係を取れるようになっていて、動画ファイルとは別のファイルである。なお、この管理情報ファイルは動画ファイルと別体ではなく、動画ファイル内のヘッダ情報として付加されていても良い。

本実施の形態のデジタルビデオカメラは、この管理情報ファイルを用いて、再生モードにおいて上述の顔インデックス表示を行うことができる（表示制御）。操作スイッチ群１１２の操作によって再生モードでの顔インデックス表示が指示されると、デジタルビデオカメラは、顔インデックス表示の対象となった動画ファイルと、拡張子より前の部分のファイル名が同じ管理情報ファイルを検索する。そして検索された管理情報ファイルに含まれる顔インデックス情報６０５に基づいて、図８のような顔インデックス表示を行うよう制御する。図８の画像８０４〜８０８には、この画像管理ファイルに記録されている顔インデックス番号０〜４のＰＴＳが示すフレームの画像が表示される。ユーザの操作によってこのうちいずれかの画像が選択され、ユーザからの再生指示を受け付けると、選択された画像に対応する顔インデックス番号のＰＴＳが示すフレームから、動画の再生が開始される（再生制御）。

＜本願を適用した場合の顔インデックス記録要求のタイミングチャート＞
図７に、図９で前述した動画と同一の動画を撮影した場合に、本発明による顔インデックス情報に含まれる、各顔インデックスの記録要求のタイミングを示す。

期間９０１〜９０３、９１１〜９１５、９２１〜９２３は図９で前述したものと同じ意味、同じタイミングであるので説明を省略する。

顔インデックス番号９５０は、図４で説明した顔インデックス記録要求処理により行われる顔インデックス記録要求のタイミングと、各顔インデックスの顔インデックス番号を示している。本願の顔インデックス記録要求処理によれば、図７の例のように、４回の顔インデックス記録要求が行われ、顔インデックス情報に顔インデックス番号０〜３の４個の顔インデックスが記録される。そして再生時の顔インデックス表示では顔インデックス番号０〜３に対応する４個の画像がタイムライン上に表示されることになる。

各顔インデックス記録要求のタイミングについて詳しく説明する。

期間９０１、期間９１１の顔検出では、主被写体と顔ＩＤ１の顔が新たに検出されて１秒以上検出されつづけるため、顔インデックス番号０で顔インデックスが記録される。

期間９１２による顔検出では期間９１１の検出が途切れてから４秒経たないうちに顔が検出されており、同一ＩＤが割り当てられている。すなわち、図４のステップＳ４１０で消失時間のある顔ＩＤに該当する顔である（期間９１１で検出された後に消失していた顔ＩＤ１と同一人物とみなす顔である）と判定された顔である。そのため、顔ＩＤ１は期間９１１で既に顔インデックスの記録要求をしており、図４のステップＳ４１８で要求済みフラグが付いていると判定されるので、新たに顔インデックスの記録要求をすることはしない。これにより、同一人物の顔がたまたま少しの期間検出されなかったような場合に顔インデックスの記録要求をすることを省き、必要以上に顔インデックスの数が増えることを抑えている。

期間９１３による顔検出では、期間９１２の検出が途切れてから４秒経った後に顔が検出されている。そのため、同一ＩＤである顔ＩＤ１が割り当てられているが、顔ＩＤ１は一度失効しており、期間９１３で検出された顔と期間９１２で検出された顔が同一の顔であると判定されたわけではない。しかし期間９１３が１秒に満たないため、図４のステップＳ４１７でＹｅｓの判定となることが無く、新たに顔インデックスの記録要求をすることはしない。これにより、検出時間の極端に短い顔検出期間については顔インデックスの記録要求を省き、必要以上に顔インデックスの数が増えることを抑えている。

期間９１４による検出では、期間９１３の検出が途切れてから４秒経った後に顔が１秒以上連続して検出されているため、顔インデックス番号２で顔インデックスが記録される。

期間９１５による顔検出では、期間９１２による顔検出と同様の理由により顔インデックスの記録要求をすることを省いている。

期間９２１では、顔ＩＤ２が割り当てられる顔が新たに検出され、１秒以上連続して検出されているため、顔インデックス番号１で顔インデックスが記録される。期間９２２による顔検出では、期間９１２による顔検出と同様の理由により顔インデックスの記録要求をすることを省いている。期間９２３による検出では、期間９２２の検出が途切れてから４秒経った後に顔が１秒以上連続して検出されているため、顔インデックス番号３で顔インデックスが記録される。

以上のようにして、本発明を適用した図７の例では、顔インデックス番号０〜３の４個の顔インデックス番号が記録される。記録される動画は図９で前述したものと同一であるが、顔インデックスの数が図９で前述した従来の数よりも少なくなっている。このように、本発明によれば、主被写体以外の顔について、処理負荷の高い追尾処理をすることなく、不必要に顔インデックスの数が増え過ぎることを抑えることができる。

なお、本実施の形態では、動画を撮影可能な撮像装置による撮像時である動画撮影モード処理中に本願発明を適用する例を説明したが、撮像時に限らず、再生時に適用することもできる。既に撮像され、記録された動画を再生して各フレームから顔検出処理を行って図４の記録要求処理、図５の顔インデックス情報生成処理に相当する処理を行い、図６のような管理情報ファイルを作成してもよい。

以上これまで説明してきたように本実施の形態によれば、主被写体以外の顔情報に追尾処理がないことによる顔インデックス情報の増加を防ぐことが、簡単な処理を追加することで実現できる。すなわち、再生時の顔インデックス表示の際に主被写体以外の顔が必要以上に多くならないよう、撮影時に、少ない処理負荷で顔が新たに登場した位置をより信頼性高く記録することができる。

よって、タイムライン等のＧＵＩにおいて主被写体以外のサムネイル数を適切に抑え、ユーザにとって良好な機能を実現することが可能となる。

なお、上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

本発明の一実施形態としてのデジタルビデオカメラの構成を示すブロック図である。 本実施形態における動画撮影モード処理を説明するフローチャートである。 本実施形態における顔インデックス記録要求処理で使用される顔管理テーブルの例である。 本実施形態における顔インデックス記録要求処理を説明するフローチャートである。 本実施形態における顔インデックス情報生成処理を説明するフローチャートである。 本実施形態における動画撮影モード処理で生成される管理情報ファイルの例である。 本実施形態における顔インデックス記録要求処理で行われる顔インデックス記録要求のタイミングを示すタイミングチャートである。 動画中で検出された顔画像を一覧表示した表示例である。 従来の顔インデックス記録要求のタイミングを示すタイミングチャートである。

１０１ レンズユニット
１０２ 撮像素子
１０３ カメラ信号処理
１０４ 顔検出回路
１０５ ビデオ信号処理回路
１０６ 圧縮伸張回路
１０７ 液晶パネル
１０８ フラッシュＲＯＭ
１０９ メモリ
１１０ カメラ制御用マイクロコンピュータ
１１１ レコーダ制御用マイクロコンピュータ
１１２ 操作スイッチ群
１１３ フラッシュＲＯＭ
１１４ メモリ
１１５ カードＩ／Ｆ
１１６ メモリカード
１２０ バス
１２１ バス

Claims (15)

1. 動画の各フレームから顔を検出する顔検出手段と、
   前記顔検出手段で検出された顔のうち、主被写体と判定された顔が前記顔検出手段により検出されていないフレームにおいても、位置と大きさ以外を少なくとも含む追尾条件によって該主被写体の顔を追尾する追尾手段と、
   前記顔検出手段によって検出された顔の位置と大きさの少なくとも一方の領域情報を、該顔が検出されなくなっても保持する保持手段と、
   前のフレームで検出されていなかった前記主被写体以外の顔が、前記顔検出手段によって現在のフレームで検出された場合、該顔が前記保持手段に保持された位置または大きさの前記領域情報に合致するか否かを判定する第１の判定手段と、
   前のフレームで検出されていなかった顔が前記顔検出手段によって検出されていると判定される期間に含まれるフレームを特定するための顔インデックスを記録するよう制御する記録制御手段とを有し、
   前記記録制御手段は、前記第１の判定手段によって合致すると判定された顔のうち、既に該顔が検出された他の期間で顔インデックスを記録するよう制御した顔が検出された期間については前記顔インデックスを記録しないように制御する
   ことを特徴とする画像処理装置。
2. 動画の各フレームから顔を検出する顔検出手段と、
   前のフレームで検出されていなかった顔が、前記顔検出手段によって検出されていると判定される期間に含まれるフレームを特定するための顔インデックスを記録するよう制御する記録制御手段と、
   前記顔検出手段によって検出された顔の位置と大きさの少なくとも一方の領域情報と、該顔が検出された期間について既に前記顔インデックスを記録するよう制御したか否かを示す情報とを該顔が検出されなくなっても保持する保持手段と、
   前のフレームで検出されていなかった顔が、前記顔検出手段によって現在のフレームで検出された場合、該顔が前記保持手段に保持された領域情報に合致するか否かを判定する第１の判定手段と
   を有し、
   前記保持手段は、前記第１の判定手段によって合致すると判定された顔を、合致した領域情報の顔と同一の顔であるものとして前記情報を保持し、
   前記記録制御手段は、前記前のフレームで検出されていなかった顔のうち、前記保持手段によって保持されている前記情報が、既に前記顔インデックスを記録するよう制御したことを示す顔が検出された期間については、前記顔インデックスを記録しないように制御する
   ことを特徴とする画像処理装置。
3. 前記顔検出手段によって前のフレームで検出されていなかった顔が現在のフレームで検出された場合、該検出された顔が所定時間継続して検出されるか否かを判定する第２の判定手段をさらに有し、
   前記記録制御手段は、前記第２の判定手段で所定時間継続して検出されなかったと判定された顔が検出された期間についても、前記顔インデックスを記録しないように制御することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記顔検出手段によって前のフレームで検出されていなかった顔が現在のフレームで検出された場合、該検出された顔が主被写体の追尾条件に合致するか否かを判定する第３の判定手段をさらに有し、
   前記第３の判定手段で前記追尾条件に合致すると判定された顔が検出された期間についても、前記記録制御手段が前記顔インデックスを記録しないように制御することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記保持手段は、保持している前記領域情報に合致する顔が検出されずに特定の時間が経過すると、該顔に関して保持している情報を全て消去することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 動画を撮影可能な撮像手段をさらに有し、
   前記顔検出手段は、前記撮像手段による動画の撮影中に、撮影されている動画の各フレームから顔を検出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記動画は、フレーム内符号化ピクチャとフレーム間符号化ピクチャを含む動画像圧縮方式により圧縮される動画であり、
   前記記録制御手段は、前記顔インデックスとして、前のフレームで検出されていなかった顔が前記顔検出手段によって検出されていると判定される期間に含まれるフレーム内符号化ピクチャの位置を特定する情報を記録するよう制御ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記動画は、フレーム内符号化ピクチャとフレーム間符号化ピクチャを含む動画像圧縮方式により圧縮される動画であり、
   前記記録制御手段は、前記顔インデックスとして、前のフレームで検出されていなかった顔が前記顔検出手段によって検出されていると判定される期間に含まれるフレーム内符号化ピクチャの位置を特定する情報を記録するよう制御し、
   前記所定時間は、前記動画における前記フレーム内符号化ピクチャの出現間隔より長い時間であることを特徴とする請求項３に記載の画像処理装置。
9. 前記記録制御手段によって記録された顔インデックスによって特定されるフレームの画像を表示するよう制御する表示制御手段と、
   前記表示制御手段によって表示された画像の中からひとつの画像を選択する操作をユーザから受け付ける受付手段と、
   前記選択された画像のフレームの位置から、前記動画を再生するよう制御する再生制御手段とを更に有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 動画の各フレームから顔を検出する顔検出ステップと、
    前記顔検出ステップで検出された顔のうち、主被写体と判定された顔が前記顔検出ステップにより検出されていないフレームにおいても、位置と大きさ以外を少なくとも含む追尾条件によって該主被写体の顔を追尾する追尾ステップと、
    前記顔検出ステップによって検出された顔の位置と大きさの少なくとも一方の領域情報を、該顔が検出されなくなっても保持する保持ステップと、
    前のフレームで検出されていなかった前記主被写体以外の顔が、前記顔検出ステップによって現在のフレームで検出された場合、該顔が前記保持ステップに保持された位置または大きさの前記領域情報に合致するか否かを判定する第１の判定ステップと、
    前のフレームで検出されていなかった顔が前記顔検出ステップによって検出されていると判定される期間に含まれるフレームを特定するための顔インデックスを記録するよう制御する記録制御ステップとを有し、
    前記記録制御ステップは、前記第１の判定ステップによって合致すると判定された顔のうち、既に該顔が検出された他の期間で顔インデックスを記録するよう制御した顔が検出された期間については前記顔インデックスを記録しないように制御する
    ことを特徴とする画像処理装置の制御方法。
11. 動画の各フレームから顔を検出する顔検出ステップと、
    前のフレームで検出されていなかった顔が、前記顔検出ステップによって検出されていると判定される期間に含まれるフレームを特定するための顔インデックスを記録するよう制御する記録制御ステップと、
    前記顔検出ステップによって検出された顔の位置と大きさの少なくとも一方の領域情報と、該顔が検出された期間について既に前記顔インデックスを記録するよう制御したか否かを示す情報とを該顔が検出されなくなっても保持する保持ステップと、
    前のフレームで検出されていなかった顔が、前記顔検出ステップによって現在のフレームで検出された場合、該顔が前記保持ステップに保持された領域情報に合致するか否かを判定する第１の判定ステップと
    を有し、
    前記保持ステップは、前記第１の判定ステップによって合致すると判定された顔を、合致した領域情報の顔と同一の顔であるものとして前記情報を保持し、
    前記記録制御ステップは、前記前のフレームで検出されていなかった顔のうち、前記保持ステップによって保持されている前記情報が、既に前記顔インデックスを記録するよう制御したことを示す顔が検出された期間については、前記顔インデックスを記録しないように制御する
    ことを特徴とする画像処理装置の制御方法。
12. コンピュータを、
    動画の各フレームから顔を検出する顔検出手段、
    前記顔検出手段で検出された顔のうち、主被写体と判定された顔が前記顔検出手段により検出されていないフレームにおいても、位置と大きさ以外を少なくとも含む追尾条件によって該主被写体の顔を追尾する追尾手段、
    前記顔検出手段によって検出された顔の位置と大きさの少なくとも一方の領域情報を、該顔が検出されなくなっても保持する保持手段、
    前のフレームで検出されていなかった前記主被写体以外の顔が、前記顔検出手段によって現在のフレームで検出された場合、該顔が前記保持手段に保持された位置または大きさの前記領域情報に合致するか否かを判定する第１の判定手段、
    前のフレームで検出されていなかった顔が前記顔検出手段によって検出されていると判定される期間に含まれるフレームを特定するための顔インデックスを記録するよう制御する記録制御手段
    として機能させるためのプログラムであって、
    前記記録制御手段は、前記第１の判定手段によって合致すると判定された顔のうち、既に該顔が検出された他の期間で顔インデックスを記録するよう制御した顔が検出された期間については前記顔インデックスを記録しないように制御する
    ことを特徴とするプログラム。
13. コンピュータを、
    動画の各フレームから顔を検出する顔検出手段、
    前のフレームで検出されていなかった顔が、前記顔検出手段によって検出されていると判定される期間に含まれるフレームを特定するための顔インデックスを記録するよう制御する記録制御手段、
    前記顔検出手段によって検出された顔の位置と大きさの少なくとも一方の領域情報と、該顔が検出された期間について既に前記顔インデックスを記録するよう制御したか否かを示す情報とを該顔が検出されなくなっても保持する保持手段、
    前のフレームで検出されていなかった顔が、前記顔検出手段によって現在のフレームで検出された場合、該顔が前記保持手段に保持された領域情報に合致するか否かを判定する第１の判定手段
    として機能させるためのプログラムであって、
    前記保持手段は、前記第１の判定手段によって合致すると判定された顔を、合致した領域情報の顔と同一の顔であるものとして前記情報を保持し、
    前記記録制御手段は、前記前のフレームで検出されていなかった顔のうち、前記保持手段によって保持されている前記情報が、既に前記顔インデックスを記録するよう制御したことを示す顔が検出された期間については、前記顔インデックスを記録しないように制御する
    ことを特徴とするプログラム。
14. コンピュータを、
    動画の各フレームから顔を検出する顔検出手段、
    前記顔検出手段で検出された顔のうち、主被写体と判定された顔が前記顔検出手段により検出されていないフレームにおいても、位置と大きさ以外を少なくとも含む追尾条件によって該主被写体の顔を追尾する追尾手段、
    前記顔検出手段によって検出された顔の位置と大きさの少なくとも一方の領域情報を、該顔が検出されなくなっても保持する保持手段、
    前のフレームで検出されていなかった前記主被写体以外の顔が、前記顔検出手段によって現在のフレームで検出された場合、該顔が前記保持手段に保持された位置または大きさの前記領域情報に合致するか否かを判定する第１の判定手段、
    前のフレームで検出されていなかった顔が前記顔検出手段によって検出されていると判定される期間に含まれるフレームを特定するための顔インデックスを記録するよう制御する記録制御手段
    として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体であって、
    前記記録制御手段は、前記第１の判定手段によって合致すると判定された顔のうち、既に該顔が検出された他の期間で顔インデックスを記録するよう制御した顔が検出された期間については前記顔インデックスを記録しないように制御する
    ことを特徴とするプログラムを記録したコンピュータが読み取り可能な記録媒体。
15. コンピュータを、
    動画の各フレームから顔を検出する顔検出手段、
    前のフレームで検出されていなかった顔が、前記顔検出手段によって検出されていると判定される期間に含まれるフレームを特定するための顔インデックスを記録するよう制御する記録制御手段、
    前記顔検出手段によって検出された顔の位置と大きさの少なくとも一方の領域情報と、該顔が検出された期間について既に前記顔インデックスを記録するよう制御したか否かを示す情報とを該顔が検出されなくなっても保持する保持手段、
    前のフレームで検出されていなかった顔が、前記顔検出手段によって現在のフレームで検出された場合、該顔が前記保持手段に保持された領域情報に合致するか否かを判定する第１の判定手段
    として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体であって、
    前記保持手段は、前記第１の判定手段によって合致すると判定された顔を、合致した領域情報の顔と同一の顔であるものとして前記情報を保持し、
    前記記録制御手段は、前記前のフレームで検出されていなかった顔のうち、前記保持手段によって保持されている前記情報が、既に前記顔インデックスを記録するよう制御したことを示す顔が検出された期間については、前記顔インデックスを記録しないように制御する
    ことを特徴とするプログラムを記録したコンピュータが読み取り可能な記録媒体。

Images