JP2008252296A - 動画像の顔インデックス作成装置およびその顔画像追跡方法 - Google Patents

Abstract

【課題】同一人物が連続して登場する期間を、各登場人物の顔画像と対応付けて表示できる動画像の顔インデックス作成装置およびその顔画像追跡方法を提供する。
【解決手段】顔インデックス作成装置１において、顔画像追跡部１０は、動画像蓄積部２から動画像をフレーム単位で順次に読み込み、複数のフレームにわたって連続的に登場する同一人物の顔画像を追跡し、その連続表示期間を検出する。代表顔決定部１１は、
登場人物の連続表示期間ごとに、その代表顔として例えば正面顔を抽出する。顔インデックス構築部１２は、各連続表示期間およびその代表顔が対応付けられた顔インデックスを構築して出力する。各代表顔には、これがクリックされたときにジャンプするリンク先として、その登場人物が連続して表示される期間の最初から映像を再生させるコマンドを対応付けることができる。
【選択図】図１

Description

本発明は、動画像の映像信号から登場人物の顔を連続的に検出して顔インデックスを作成する動画像の顔インデックス作成方法、および複数フレームにわたって連続的に表示される同一人物の顔画像を追跡する顔画像追跡方法に係り、特に、登場人物ごとに、その登場期間を顔画像と対応付けて表示できる動画像の顔インデックス作成装置およびその顔画像追跡方法に関する。

近年、ハードディスクレコーダの普及により、テレビ映像を手軽に録画して視聴できる環境が整ってきた。一方で、音楽番組から自分の好みのアーティストの登場場面だけを視聴したいという要求がある。しかしながら、映像が長時間にわたる場合、映像の内容を目で確認しながら所望のアーティストの登場場面を検索する既知の検索方法では膨大な時間がかかるため、これに代わる効率的な検索方法が求められている。

これまで、顔の認識技術を利用して映像から人物検索を実現する取り組みがいくつかあった。非特許文献１、２には、顔の検出技術を用いて番組映像から顔を検出し、検出された顔を特徴空間上でクラスタリングすることにより、各番組の出演者情報を容易に把握できる番組一覧を出演頻度順に表示する技術が開示されている。

また、映像からの人物検索を実現するためには顔検出技術が必須であり、非特許文献３，４では、AdaBoostと呼ばれるカスケード型の識別器によって、顔以外であればカスケードの初期の段階で候補から外し、ラスタースキャン順で着目する矩形領域が顔であるか否かを高速に識別し、実時間で画像内の顔を検出する技術が開示されている。

さらに、特許文献１には、CCDカメラにより撮影された画像信号を対象に今回フレームと前回フレームとの差分を取り、その差分がある程度以上であるときに、その部分を動き物体と認識し、その認識した動き物体の最上部を基準として顔画像のあるべき画像エリアを特定し、この特定された画像エリアで、顔特徴である眉毛、目、口などの横エッジが検出された場合に顔と特定する人物認識装置が開示されている。
奥村真澄、平田恭二、"出演者の代表顔に基づく番組一覧による番組選択方法、"電子情報通信学会総合大会D-12-37、P.169、2006 奥村真澄、大網亮磨、平田恭二、"番組の出演者一覧生成のための顔画像クラスタリング手法、"FIT2006、PP.29-30、2006 P. Viola and M. Jones，"Rapid object detection using a boosted cascade of simple features，"Computer Vision and Pattern Recognition，Vol.1，pp511-518，2001． P. Viola and M. Jones，"Robust Real-time Object Detection，"2nd International Workshop on Statistical and Computational Theories of vision，Vancouver，Canada，pp.1-25，2001． 特許第３０８８８８０号公報

非特許文献１，２に開示された技術では、番組に登場する出演者とその頻度は容易に把握できるものの、番組内における人物の登場場面に関する情報を表示できないため、所望の人物の登場場面のみを簡単に検索することができなかった。

非特許文献３，４に開示された顔検出技術は、映像の時間的な前後関係を全く考慮せずに単一フレーム内で顔検出を行うので、単純に動画映像に適用しただけでは、誤検出により連続性が途絶え、ショット内において検出された人物の顔の同一性をフレーム間の連続性からは正しく識別できなかった。なお、ショットとはカメラの切り替わり点等の編集点で囲まれた１つまたは複数のフレームからなる映像の区間と定義する。ショットの切り替わりでは連続性が途絶える。

また、特許文献１に開示された顔検出装置は、人物以外の背景の動きに左右され動き領域が過剰検出される場合があり、顔検出対象が広がるため顔の検出に時間がかかり、顔検出率が劣化する問題があった。また人物の緩やかな動きおよび隠蔽により人物全体が抽出されずに顔領域の一部が欠ける場合があり、顔を特定できなくなるという問題があった。また、人物が静止している状態では動領域自体が消滅するため、顔の認識が困難であった。

本発明の第１の目的は、同一人物の顔画像が複数フレームにわたって連続的に表示される場合でも、各顔画像の同一性を正確に認識できる顔画像追跡方法を提供することにある。

本発明の第２の目的は、同一人物が連続して登場する期間を、各登場人物の顔画像と対応付けて表示できる動画像の顔インデックス作成装置を提供することにある。

本発明の第３の目的は、所望の人物が登場する期間の映像のみを簡単に再生できるようにした動画像の顔インデックス作成装置を提供することにある。

上記した目的を達成するために、本発明は、以下のような手段を講じた点に特徴がある。

(1)本発明の顔インデックスの作成装置は、複数フレームにわたって連続表示される同一人物の顔画像を追跡し、その連続表示期間を検出する顔画像追跡手段と、人物ごとに、その連続表示期間および顔画像を対応付けて表示する顔インデックスを構築する顔インデックス構築手段とを含むことを特徴とする。

(2)本発明の顔インデックスの作成装置では、インデックスの顔画像にリンク先が設定されており、このリンク先には、各顔画像の連続表示期間の最初から映像を再生させるコマンドが対応付けられていることを特徴とする。

(3)本発明の顔画像追跡方法は、動画像の各フレームから少なくとも一つの顔画像を検出する手順と、前回フレームで検出された各顔画像の位置と今回フレームで検出された各顔画像の位置とを比較する手順と、位置の距離が所定の基準値を下回る顔画像同士を同一人物の顔画像として対応付ける手順とを含むことを特徴とする。

本発明によれば、以下のような効果が達成される。
(1)本発明のインデックス作成装置によれば、各登場人物の時間軸上での連続表示期間を、それぞれの顔画像と対応付けて表示できるので、長い映像の中から所望の人物の登場期間を簡単に認識できるようになる。
(2)本発明のインデックス作成装置によれば、各登場人物の顔画像がクリックされたときにジャンプするリンク先として、その人物の登場場面の最初から映像を再生させるコマンドが対応付けられるので、所望の人物が登場する期間の映像のみを簡単に再生できるようになる。
(3)本発明の顔画像追跡方法によれば、同一人物の顔画像が複数フレームにわたって連続的に表示される場合でも、各顔画像の同一性を正確に認識できるので、登場人物が連続して表示される期間を正確に認識できるようになる。

以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明に係る動画像の顔インデックス作成装置１の主要部の構成を示したブロック図であり、動画像蓄積部２から動画像をフレーム単位で順次に読み込み、複数フレームにわたって連続的に登場する同一人物の顔画像を追跡し、その連続表示期間を検出する顔画像追跡部１０と、連続表示期間ごとに代表顔を決定する代表顔決定部１１と、各顔画像の連続表示期間およびその代表顔が対応付けられた顔インデックスを構築して出力する顔インデックス構築部１２とを主要な構成としている。

図２は、本発明の顔インデックス作成装置１により作成される顔インデックスの一例を示した図であり、時刻t0〜t3の最初のショットでは２人の人物が登場し、時刻t0〜t2には、一人目の連続表示期間を示す目印２１と共にその代表顔２２が表示されており、この期間に一人目の人物が連続して登場していることが判る。同様に、時刻t1〜t3には、二人目の連続表示期間を示す目印２３と共にその代表顔２４が表示され、この期間に二人目の人物が連続して登場していることが判る。

図３は、前記顔画像追跡部１０の構成を機能的に表現したブロック図である。フレーム読み込み部５１は、動画像蓄積部２に蓄積された映像信号から１フレーム分の静止画像を任意の時間間隔で読み込む。読み込まれた静止画像は、今回フレームの静止画像として今回フレームバッファ５２に蓄積される。前回フレームバッファ５３には、前回フレームの静止画像が蓄積される。ショットチェンジ判定部５４は、各フレームバッファ５２，５３に蓄積されている静止画像同士を比較し、その類似度に基づいてショット間のカメラ編集点の有無を判定する。

顔検出部５５は、今回フレームバッファ５２に蓄積された今回フレームの静止画像から顔画像を検出し、検出された顔画像ごとに、その表示範囲の位置座標、幅、高さ等の空間的な位置情報を今回検出結果バッファ５６に蓄積する。なお、本実施形態では顔検出部５５で検出された直後の顔画像は未確定の「顔候補」に過ぎず、次のフレームでも同じ位置で顔画像が検出されたときに「確定顔」として取り扱われる。前回検出結果バッファ５７には、前回フレームで検出された顔候補および確定顔の表示範囲の位置座標、幅、高さ等の空間的な位置情報が蓄積される。

顔間距離算出部５８は、今回検出結果バッファ５６に蓄積されている今回フレームの各顔画像の位置と前回検出結果バッファ５７に蓄積されている前回フレームの各顔画像の位置との距離（以下、顔間距離と表現する）Δdを、例えば各顔画像の左上座標の距離として算出する。

距離依存対応付部５９は、前記顔間距離算出部５８で算出された顔間距離Δdが所定の閾値Δdrefを下回る顔画像（顔候補および確定顔）の組み合わせに対して、今回フレームで検出された顔候補の状態を今回検出結果バッファ５６上で「確定顔」に更新するのと同時に、前回フレームで検出された顔候補の状態を前回検出結果バッファ５７上で「確定顔」に更新し、さらに各顔画像を顔画像シリーズとして相互に対応付ける。ここで、所定の閾値Δdrefは、前回フレームで検出された顔画像の大きさに比例した値に設定される。

類似度依存対応付部６０は、前回検出結果バッファ５７に蓄積された前回フレームの確定顔の中で、今回フレームのいずれの顔画像とも対応が取れなかった確定顔をテンプレートとして今回フレームの画像内でテンプレートマッチングを行い、類似度が所定の閾値を超える領域の画像を新たな顔画像（確定顔）として今回検出結果バッファ５６に追加し、さらに各顔画像を顔画像シリーズとして相互に対応付ける。

テンプレートマッチングの適用領域は今回フレームの画像全体ではなく、テンプレートとして使用する確定顔の顔前フレームにおける位置と対応した位置およびその近傍に限定される。これにより、誤検出を減らし、かつ計算量を減らすことができるようになる。

次いで、図４，５，６のフローチャートおよび図７，８の模式図を参照して、前記顔画像追跡部１０の動作を詳細に説明する。

図４において、ステップＳ１では、今回の注目フレームとしてt番目のフレーム（以下、第tフレーム）の静止画が、動画像蓄積部２に蓄積された映像信号から読み込まれて今回フレームバッファ５２に蓄積される。ステップＳ２では、前記ショットチェンジ判定部５４により、今回フレームバッファ５２に蓄積されている今回フレームの静止画像と前回フレームバッファ５３に蓄積されている前回の第(t-1)フレームの静止画像とが比較され、両者の類似度に基づいてショットチェンジの有無が判定される。

ショットチェンジが検出されなければステップＳ３へ進み、前記顔検出部５５において、今回フレームバッファ５２に蓄積されている今回のt番目のフレームの静止画像を対象に顔検出が行われる。本実施形態では、図７(a)、(b)に示した３人の登場人物A男、B子、C男のうち、B子の顔画像（j＝１）およびC男の顔画像（j＝２）が認識されたものの、A男の顔画像が認識されず、顔画像（j＝３）が誤検出されたものとして説明を続ける。

ステップＳ４では距離依存対応付け処理が実行される。この距離依存対応付け処理では、今回フレームで検出された各顔画像と前回フレームで検出された各顔画像との同一性が各顔画像の位置の相対距離に基づいて判定され、同一の顔画像同士が、複数のフレームにわたって連続表示される同一の顔画像、すなわち「顔画像シリーズ」として対応付けられる。

図５は、前記距離依存対応付け処理の手順を示したフローチャートであり、ステップＳ４０１では、前回の第(t-1)フレームで検出されている顔画像の一つが、今回の注目画像として選択される。本実施形態では、図７(a)，(b)に示したように、前回フレームではA男の顔画像（i＝１）およびB子の顔画像（i＝２）が確定顔として登録されており、始めにA男の顔画像（i＝１）が選択されたものとして説明を続ける。

ステップＳ４０２では、前回フレームにおけるA男の顔画像（i＝１）の位置と今回フレームの３つの顔画像（j＝１，２，３）の各位置との距離が顔間距離Δdとしてそれぞれ計算される。ステップＳ４０３では、各顔間距離Δdと閾値Δdrefとが比較される。本実施形態では、図７(c)に示したように、前回フレームにおけるA男の顔画像（i＝１）との顔間距離Δdが閾値Δdrefを下回る顔画像が今回フレームでは検出されていないのでステップＳ４０６へ進む。ステップＳ４０６では、前回フレームに顔画像が他にもあるか否かが判定され、本実施形態では、B子の顔画像（i＝２）があるのでステップＳ４０１へ戻る。

ステップＳ４０１では、前回フレームのB子の顔画像（i＝２）が今回の注目画像として選択される。ステップＳ４０２では、B子の顔画像（i＝２）の位置と今回フレームの３つの顔画像（j＝１，２，３）の各位置との顔間距離Δdがそれぞれ計算される。本実施形態では、図７(d)に示したように、前回フレームにおけるB子の顔画像（i＝２）と今回フレームにおける第１顔画像（j＝１）との顔間距離Δdが閾値Δdrefを下回ると判定されるのでステップＳ４０４へ進む。ステップＳ４０４では、今回フレームの第１顔画像（j＝１）が今回検出結果バッファ５６上で顔候補から確定顔に変更される。

ステップＳ４０５では、前回フレームのB子の顔画像（i＝２）と今回フレームの第１顔画像（j＝１）とが顔画像シリーズとして対応付けられる。ステップＳ４０６では、前回フレームに顔画像が無いと判定されるのでステップＳ４０７へ進む。ステップＳ４０７では、前回フレームで未確定のままの顔候補（ここでは、該当無し）が登録を抹消される。

図４へ戻り、ステップＳ５では類似度依存対応付け処理が実行される。この類似度依存対応付け処理では、今回フレームで検出された各顔画像と前回フレームで検出された各顔画像との同一性が各顔画像のテンプレートマッチングによる類似度に基づいて判定され、同一の顔画像同士が顔画像シリーズとして対応付けられる。

図６は、前記類似度依存対応付け処理の手順を示したフローチャートである。ステップＳ５０１では、今回フレームのいずれの顔画像とも顔画像シリーズとして対応付けられていない未対応付けの確定顔が前回フレームに登録されているか否かが判定される。本実施形態では、前回フレームにおけるA男の顔画像（i＝１）が未対応なのでステップＳ５０２へ進む。ステップＳ５０２では、未対応の確定顔の一つとしてA男の顔画像（i＝１）が今回の注目画像として選択される。ステップＳ５０３では、図７(e)に示したように、前回フレームにおけるA男の顔画像（i＝１）の位置と今回フレームで対応する位置およびその近傍を対象に、A男の顔画像（i＝１）をテンプレートとしてテンプレートマッチングが行われ、その類似度Sが算出される。

ステップＳ５０４では、前記類似度Sが所定の基準類似度Srefと比較される。図７(f)に示したように、S≧Srefとなる領域が見つかればステップＳ５０５へ進み、当該領域の画像が今回フレームの確定顔（j＝４）として今回検出結果バッファ５６に追加登録される。ステップＳ５０６では、前回フレームの顔画像（i＝１）と今回フレームの顔画像（j＝４）とが顔画像シリーズとして対応付けられる。ステップＳ５０７では、他にも前回フレームに未対応の確定顔があるか否か判定され、ここでは未対応の確定顔が無いと判定されるので当該処理を終了する。

図４へ戻り、ステップＳ６では前回フレームバッファ５３がクリアされ、今回フレームバッファ５２に蓄積されていた静止画像が前回フレームバッファ５３へ移動される。ステップＳ７では、前回検出結果バッファ５７がクリアされ、今回検出結果バッファ５６に蓄積されていた検出結果が前回検出結果バッファ５７へ移動される。

続くステップＳ１では、第(t+1)番目のフレームの静止画像が今回フレームの静止画像として読み込まれて今回フレームバッファ５２に蓄積される。ステップＳ２では前記ショットチェンジ判定部５４においてショットチェンジの有無が判定され、ショットチェンジが検出されなければステップＳ３へ進み、前記顔検出部５５において、今回フレームバッファ５２に蓄積されている今回フレームの静止画像を対象に顔検出が行われる。本実施形態では、図８(a)、(b)に示したように、３つの顔画像（k＝１，２，３）が検出されたものとして説明を続ける。ステップＳ４では、今回フレームで検出された各顔画像および前回の第tフレームで検出された各顔画像を対象に、前記図５に関して説明した距離依存対応付け処理が実行される。

図５において、ステップＳ４０１では、前回の第tフレームで検出されている４つの顔画像（j＝１，２，３，４）の一つが、今回の注目画像として選択される。本実施形態では、始めにB子の顔画像（j＝１）が選択されたものとして説明を続ける。

ステップＳ４０２では、前回フレームにおけるB子の顔画像（j＝１）の位置と今回フレームにおける３つの顔画像（k＝１，２，３）の位置との顔間距離Δdがそれぞれ計算される。ステップＳ４０３では、各顔間距離Δdと閾値drefとが比較される。本実施形態では、図８(c)に示したように、前回フレームにおけるB子の顔画像（j＝１）と今回フレームにおける第２顔画像（k＝２）との顔間距離Δdが閾値drefを下回ると判定されてステップＳ４０４へ進む。ステップＳ４０４では、今回フレームの第２顔画像（k＝２）が未確定顔から確定顔へ変更される。ステップＳ４０５では、前回フレームのB子の顔画像（j＝１）と今回フレームの第２顔画像（k＝2）とがB子の顔画像シリーズとして対応付けられる。

ステップＳ４０６では、顔画像が他にもあるか否かが判定され、本実施形態では、他にも有ると判定されるのでステップＳ４０１へ戻り、他の顔画像（j＝２，３，４）に関しても同様に距離依存対応付け処理が実行される。本実施形態では、図８(d)に示したように、前回フレームのA男の顔画像（j＝４）が今回フレームの第１顔画像（k＝１）と対応付けられる。さらに、図８(e)に示したように、前回フレームのC男の顔画像（j＝２）が今回フレームの第３顔画像（k＝３）と対応付けられる。但し、前回フレームで誤検出された顔画像（j＝３）に関しては、図８(f)に示したように、今回フレームのいずれの顔画像とも対応付けられておらず、顔候補のままなので、ステップＳ４０７において前回検出結果バッファ５７から登録を抹消される。

一方、図４のステップＳ２においてショットチェンジが検出されると、ステップＳ８へ進んで前回検出結果バッファ５７から未確定の顔画像の登録が抹消される。ステップＳ９では、顔画像シリーズごとに、タイムコード等のフレームを識別するフレームIDおよびフレームごとの顔情報の位置座標とが代表顔決定部１１に出力される。ステップＳ１０では、次フレームが存在するか否かが判定され、存在すればステップＳ１へ戻って上記した各処理が繰り返される。存在しなければ当該処理を終了する。この時点では、各ショットにおいて顔画像シリーズごとに、対応付けられているフレームのIDおよびフレームごとの顔情報の位置座標が代表顔決定部１１に出力されていることになる。

図９は、前記代表顔決定部１１の動作を示したフローチャートであり、ステップＳ６０１では、顔画像シリーズの一つが選択される。ステップＳ６０２では、この顔画像シリーズにおいて対応付けられた各フレームから顔画像が決定される。ステップＳ６０３では、この顔画像が左右反転される。ステップＳ６０４では、左右反転前の顔画像と左右反転後の顔画像との相関が計算される。ステップＳ６０５では、相関計算の完了していない顔画像が他にもあるか否かが判定され、今回の顔画像シリーズに関して全ての顔画像の相関計算が完了するまで、ステップＳ６０２へ戻って上記した各処理が繰り返される。

全ての顔画像に関して相関計算が完了するとステップＳ６０６へ進み、相関が最も高い顔画像が当該顔画像シリーズの代表顔として決定される。ステップＳ６０７では、代表顔が決定されていない顔画像シリーズがあるか否かが判定され、全ての顔画像シリーズに関して代表顔が決定されるまで、ステップＳ６０１へ戻って上記した各処理が繰り返される。

以上のようにして、ショットごとに各顔画像シリーズの表示期間および代表顔が決定されると、前記顔インデックス構築部１２は、動画像の全期間の中で各顔画像シリーズの表示期間およびその代表顔が視覚的に容易に認識できる表示形態で顔インデックスを構築する。

なお、上記した実施形態では、以上のようにして求められた各顔画像シリーズが、前記図２に関して説明したように、連続表示期間を表す目印２１，２３およびその代表顔２２，２４で示されるものとして説明したが、図１０に一例を示したように、代表顔とその登場期間の具体的な時刻情報と共に示されるようにしても良い。

さらに、図１１は顔インデックスの他の実施形態を示した図であり、ここでは、各顔画像シリーズの作成が映像の再生と並行して行われ、表示画面８０が上下に動画領域８１とインデックス領域８２とに分割される。そして、動画領域８１に人物が登場するごとに、その顔画像と登場時刻とがインデックス領域８２に表示されるようにしている。

同図(a)は、人物Aが登場したタイミングでの表示例を示しており、人物Aの顔画像と登場時刻[0:00:03]とが表示される。同図(b)は、人物Bがさらに登場したタイミングでの表示例を示しており、人物Bの顔画像と登場時刻[0:00:13]とが追加的に表示される。同図(c)は、人物Bが去って人物Cが登場したタイミングでの表示例を示しており、人物Bの顔画像と登場時刻[0:00:13]とを残したまま、人物Cの顔画像と登場時刻[0:00:18]とが追加的に表示されている。

また、各登場人物の顔画像には、その登場タイミングの映像にジャンプするためのリンク先が対応付けられており、例えば人物Aの顔画像をクリックすると、再生位置が時刻[0:00:03]へジャンプする。

本発明に係る動画像の顔インデックス作成装置の構成を示したブロック図である。 顔インデックスの一例を示した図である。 顔画像追跡部（１０）の機能ブロック図である。 顔画像追跡部（１０）の動作を示したフローチャートである。 距離依存対応付け処理の手順を示したフローチャートである。 類似度依存対応付け処理の手順を示したフローチャートである。 顔画像追跡部（１０）の動作を模式的に表現した図（その１）である。 顔画像追跡部（１０）の動作を模式的に表現した図（その２）である。 代表顔決定部（１１）の動作を示したフローチャートである。 顔インデックスの他の表示例を示した図である。 顔インデックスのさらに他の表示例を示した図である。

符号の説明

１…顔インデックス作成装置，１０…顔画像追跡部，１１…代表顔決定部，１２…顔インデックス構築部，５１…フレーム読み込み部，５２…今回フレームバッファ，５３…前回フレームバッファ，５４…ショットチェンジ判定部，５５…顔検出部，５６…今回検出結果バッファ，５７…前回検出結果バッファ，５８…顔間距離算出部，５９…距離依存対応付部，６０…類似度依存対応付部

Claims (13)

1. 動画像において登場人物の顔画像をインデックス表示する顔インデックスの作成装置において、
   複数フレームにわたって連続表示される同一人物の顔画像を追跡し、その連続表示期間を検出する顔画像追跡手段と、
   各登場人物の連続表示期間およびその顔画像を対応付けて表示する顔インデックスを構築する顔インデックス構築手段とを含むことを特徴とする動画像の顔インデックス作成装置。
2. 前記連続表示期間ごとに代表顔を決定する代表顔決定手段を具備し、
   前記顔インデックス表示手段は、各連続表示期間をその代表顔と対応付けて表示することを特徴とする請求項１に記載の動画像の顔インデックス作成装置。
3. 前記顔画像追跡手段が、
   動画像の各フレームから少なくとも一つの顔画像を検出する顔検出手段と、
   前回のフレームで検出された各顔画像の位置と今回のフレームで検出された各顔画像の位置とを比較する位置比較手段と、
   位置の距離が所定の基準値を下回る顔画像同士を同一人物の顔画像と判定し、各顔画像を顔画像シリーズとして対応付ける距離依存対応付け手段とを含み、
   前記顔画像シリーズのフレーム期間が連続表示期間とされることを特徴とする請求項１または２に記載の動画像の顔インデックス作成装置。
4. 前回のフレームで検出された各顔画像をテンプレートとして、今回のフレームの対応位置近傍で類似画像を検索する画像検索手段と、
   類似度が所定の基準値を上回る顔画像同士を同一人物の顔画像と判定し、各顔画像を顔画像シリーズとして対応付ける類似度依存対応付け手段とを含み、
   前記各対応付け手段で対応付けられた顔画像シリーズのフレーム期間が連続表示期間とされることを特徴とする請求項３に記載の動画像の顔インデックス作成装置。
5. 前回フレームの画像と今回フレームの画像との類似度に基づいて、前回フレームと今回フレームとの間でショットチェンジがあったか否かを判定するショットチェンジ判定手段を具備し、
   前記顔画像追跡手段は、ショット間の動画像ごとに連続表示期間を検出することを特徴とする請求項１ないし４のいずれかに記載の動画像の顔インデックス作成装置。
6. 前記代表顔決定手段は、
   顔画像シリーズごとに、各顔画像の左右反転画像を生成する画像反転部と、
   各顔画像の左右反転画像と左右非反転画像との類似度を算出する手段とを含み、
   前記類似度の高い顔画像を代表顔とすることを特徴とする請求項２に記載の動画像の顔インデックス作成装置。
7. 前記顔インデックス構築手段は、顔画像シリーズごとに、その表示時刻帯を示す目印と顔画像とを対応付けて表示することを特徴とする請求項３または４に記載の動画像の顔インデックス作成装置。
8. 前記顔インデックス構築手段は、顔画像シリーズごとに、その表示時刻と顔画像とを対応付けて表示することを特徴とする請求項３または４に記載の動画像の顔インデックス作成装置。
9. 前記各顔画像シリーズの顔画像に、当該顔画像がクリックされたときにジャンプするリンク先が設定されていることを特徴とする請求項３または４に記載の動画像の顔インデックス作成装置。
10. 前記顔画像のリンク先には、各顔画像シリーズの連続表示期間の最初から映像を再生させるコマンドが対応付けられていることを特徴とする請求項９に記載の動画像の顔インデックス作成装置。
11. 複数フレームにわたって連続表示される同一人物の顔画像を追跡する顔画像追跡方法において、
    動画像の各フレームから少なくとも一つの顔画像を検出する手順と、
    前回のフレームで検出された各顔画像の位置と今回のフレームで検出された各顔画像の位置とを比較する手順と、
    位置の距離が所定の基準値を下回る顔画像同士を同一人物の顔画像として対応付ける手順とを含むことを特徴とする顔画像追跡方法。
12. 前回のフレームで検出された各顔画像をテンプレートとして、今回のフレームの対応位置近傍で類似画像を検索する手順と、
    類似度が所定の基準値を上回る顔画像同士を同一人物の顔画像として対応付ける手順とをさらに含むことを特徴とする請求項１１に記載の顔画像追跡方法。
13. 前回フレームの画像と今回フレームの画像との類似度に基づいて、前回フレームと今回フレームとの間でショットチェンジがあったか否かを判定する手順をさらに含み、
    前記顔画像追跡がショット単位で行われることを特徴とする１１または１２に記載の顔画像追跡方法。

Images