JP2012004713A - 画像処理装置、画像処理装置の制御方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】本発明は、動画の最初の１フレームからサムネイルを作成する場合に起こる内容識別の困難さを排除することができ、動画の内容を忠実に表現したわかりやすいサムネイルを作成することができる画像処理装置を提供する。
【解決手段】主要人物の代表フレームを作成する際、顔認識機能を用いて撮影された被写体の中で、顔認識された時間が最も長い顔を主顔と判定し、この主顔を含むフレームのうち、最も正面を向いているフレームを主要人物の代表フレームとして抽出する。一方、風景の代表フレームを作成する際、撮影された被写体の中で最も画角が広いフレームを、風景の代表フレームとする。そして、動画データ中の主要人物の代表フレームと風景の代表フレームの２つの代表フレームからサムネイルを作成する。
【選択図】図２

Description

本発明は、記録されたデータから画像を出力する画像処理装置、画像処理装置の制御方法、プログラム、及び記録媒体に関する。

従来、ビデオカメラや動画再生装置等には、撮影した動画データを一覧表示する際に、各々の動画データに対してサムネイルと呼ばれる動画の代表画像を表示する機能を備えるものがある。ユーザは、サムネイルを見ることによって、複数の動画データを再生することなく、各々の動画データの内容を把握することができる。

従来のサムネイル作成方法としては、動画データの最初の１フレームをサムネイルとする方法が一般的に用いられている。動画データの最初の１フレームをサムネイルとすることで、サムネイルを決定する際の処理が非常に簡単になる。

しかしながら、同じシーンから始まり内容の異なる動画を複数撮影した場合、上記サムネイル作成方法を用いると、類似したサムネイルとなってしまい、再生する際に識別しにくい。このような問題に関しては、例えば、複数の動画データに対して、類似したサムネイルの作成を抑制する方法が提案されている（特許文献１参照）。特許文献１では、複数の動画データに対してそれぞれ特徴の異なるフレームを抽出しサムネイルとすることで、同様のシーンから始まる複数の動画も識別しやすくなる。

特開２００７−００６１２９号公報

しかしながら、上記従来例では、複数の動画データに対して類似したサムネイルの作成を抑制するという条件を用いているため、全く内容が同じ動画に対しても異なるサムネイルを作成してしまい、動画の内容をうまく表しているとは言えない。

また、前述したように、動画データの最初の１フレームをサムネイルとする方法も、同じシーンから始まり内容の異なる動画データに対して同じサムネイルを作成してしまうので、動画の内容を識別することが困難である。

本発明は、上記問題に鑑みて成されたものであり、動画の最初の１フレームからサムネイルを作成する場合に起こる内容識別の困難さを排除することができ、動画の内容を忠実に表現したわかりやすいサムネイルを作成できる技術を提供することを目的とする。

上記目的を達成するために、本発明は、撮影時に記録された動画データから第１の条件に基づいて第１の代表フレームを抽出する第１の代表フレーム抽出手段と、前記動画データから、前記第１の条件とは異なる第２の条件に基づいて第２の代表フレームを抽出する第２の代表フレーム抽出手段と、前記抽出された第１の代表フレームと第２の代表フレームをサムネイルとして前記動画データに関連付けて保存する制御手段と、を有することを特徴とする。

本発明によれば、条件に基づいて抽出されたフレームからサムネイルを作成するので、動画の最初の１フレームからサムネイルを作成する場合に起こる内容識別の困難さを排除することができる。また、異なる２つの条件から２つの代表フレームを抽出することによりサムネイルを作成するので、動画の内容を忠実に表現したわかりやすいサムネイルを作成することができる。

また、本発明によれば、サムネイルを作成するために抽出される２つの代表フレームのうち、１つの代表フレームは動画データ中の主要な人物を抽出することで、誰を撮影したものであるのかを明示できる。さらに、主要な人物の抽出で用いた条件とは異なる条件で抽出した代表フレームもサムネイルとするので、同一人物を撮影した場合でも、個々の動画データの識別が容易になる。

また、本発明によれば、抽出した２つのフレームを合成して１つのサムネイルを作成することで、限られた表示範囲において、より内容のわかりやすいサムネイルを作成することができる。

本発明の実施形態に係る画像処理装置の一例であるビデオカメラの概略構成を示すブロック図である。 第１の実施形態におけるサムネイル作成処理のフローチャートである。 （ａ）は図２のステップＳ１３０における第１の代表フレーム抽出処理の詳細を示すフローチャート、（ｂ）は図２のステップＳ１４０における第２の代表フレーム抽出処理の詳細を示すフローチャートである。 図２のステップＳ１５０におけるサムネイルを作成する処理の詳細を示すフローチャートである。 第１の実施形態における、動画データをモニタに一覧表示したときのサムネイルの一例を示す図である。 第２の実施形態における２つの代表フレームからサムネイルを作成する処理の一例を示すフローチャートである。 （ａ）は第１の代表フレーム、（ｂ）は第２の代表フレーム、（ｃ）は第１の代表フレームと第２の代表フレームを合成して作成されたサムネイルを示す図である。 第２の実施形態における、動画データをモニタに一覧表示したときのサムネイルの一例を示す図である。

以下、本発明の実施の形態を図面を参照して詳細に説明する。

図１は、本発明の実施形態に係る画像処理装置の一例であるビデオカメラの概略構成を示すブロック図である。

図１において、１０１はレンズ、１０２はレンズ１０１で集められた光を電荷に変換するＣＣＤやＣＭＯＳなどの撮像素子である。１０３は撮像素子１０２で生成された電荷を所定のフォーマットの映像信号に変換する信号処理回路である。１０４はレンズ１０１の制御を行うレンズ制御回路である。１０５はビデオカメラのシステム全体を制御するＣＰＵである。１１２はＲＡＭであり、ＣＰＵ１０５の作業領域となる。１１３はＲＯＭであり、ビデオカメラを制御する上で必要なプログラムを有している。

１０６は、ＤＶＤ、ハードディスク、不揮発性メモリなどの記録メディアである。１０７はＣＰＵ１０５と記録メディア１０６との間のデータの入出力を制御する記録メディア制御回路である。１０８は、撮影中の映像や再生された映像が出力（表示）されるモニタである。１０９は記録メディア１０６から読み出された動画データを映像としてモニタ１０８に表示するための再生回路である。１１０は、モニタ上にメニューや撮影情報を表示させるためのＯＳＤ（On Screen Display）回路である。１１１はユーザがビデオカメラを操作するための操作スイッチである。１１４はリアルタイムクロックであり、日付情報と時刻情報をＣＰＵ１０５に伝達する。１１５は外部入出力部であり、撮影した映像を外部のモニタやレコーダに出力したり、他のビデオカメラやプレーヤから映像を入力したりできる。

本実施形態では、ＣＰＵ１０５は、撮影された被写体の中から人物の顔を認識する公知の顔認識機能を備えるものとする。

［第１の実施形態］
第１の実施形態では、ビデオカメラで撮影時に記録された動画データから、主要人物のフレームと風景のフレームの２枚をサムネイルとする例を述べる。

まず、主要人物のフレーム及び風景のフレームの抽出方法について簡単に説明する。

主要人物の代表フレームを作成する際、顔認識機能を用いて撮影された被写体の中で、顔認識された時間が最も長い顔を主顔と判定し、この主顔を含むフレームのうち、最も正面を向いているフレームを主要人物の代表フレームとして抽出する。すなわち、これらを第１の条件とする。例えば、ＣＰＵ１０５が、顔認識を行った際に、その顔の検出時間と以前認識した顔の検出時間とを比較し、検出時間の長いものを主顔としてＲＡＭ１１２に記録する。新しい顔が認識された場合、ＣＰＵ１０５は、以前記録された主顔と新しく認識した顔の検出時間とを比較し、新しく認識した顔の検出時間の方が長くなった場合は、新しい顔を主顔としてＲＡＭ１１２に新たに記録する。最終的に、動画中で最も検出時間の長かった顔のあるフレームを主顔としてＲＡＭ１１２に記録させ、その記録されたフレームの中から顔の向きが最も正面を向いているフレームを代表フレームとして抽出する。なお、本実施形態では、認識した顔の検出時間を主顔の判定基準としたが、これに限定されず、検出回数であってもよい。また、ユーザにより選択された人物の顔であってもよい。

風景の代表フレームを作成する際、撮影された被写体の中で最も画角が広いフレームを、風景の代表フレームとする。すなわち、これらを第２の条件とする。具体的には、ＣＰＵ１０５は、ズームの倍率と、ＡＦで算出した被写体までの距離から算出された値により画角の広さを判定する。例えば、ズームが１倍で、被写体までの距離が１のときに、画角が（Ａ，Ｂ）である場合、ズームがＣ倍で被写体までの距離がＤという条件で画角の広さを算出すると、画角は（Ａ／Ｃ×Ｄ，Ｂ／Ｃ×Ｄ）となる。そして、ＣＰＵ１０５は、各フレームに対して画角の広さを算出し、その算出値をＲＡＭ１１２に記録する。顔認識されていないフレームがある場合は、顔認識されていないフレームの中で最も画角の広いものを風景の代表フレームとして抽出する。顔認識されていないフレームがない場合は、すべてのフレームの中で最も画角の広いものを風景の代表フレームとして抽出する。

上述したように、第１の実施形態では、顔認識時間の最も長かった主顔がどの顔であるのかと、主顔のうち最も正面を向いているフレームがどのフレームであるのかという撮影情報により主要人物の代表フレームを決定する。また、どのフレームが最も画角が広いかという撮影情報により、風景の代表フレームを決定する。

次に、第１の実施形態におけるサムネイル作成処理を図２を用いて説明する。このサムネイル作成処理は、ＣＰＵ１０５がＲＯＭ１１３に格納されたプログラムをＲＡＭ１１２に展開して実行することにより実現される。

図２のフローは、操作スイッチ１１１によってビデオカメラの電源がＯＮになったときに開始する。

まず、ステップＳ１００では、ＣＰＵ１０５が、動画の録画が開始したか否かを判定する。録画が開始した場合はステップＳ１１０へ進み、そうでない場合はステップＳ１００へ戻る。

ステップＳ１１０では、ＣＰＵ１０５は、撮影された動画データを記録メディア１０６に記録すると共に、主要人物と風景の特定に必要となる、画角の広さ、主顔、顔の向きが最も正面を向いているフレームの３つの撮影情報をＲＡＭ１１２に記録する。すなわち、ステップＳ１１０では、上述した主要人物のフレーム及び風景のフレームの抽出方法により撮影情報が取得されてＲＡＭ１１２に記録される。そして、ステップＳ１２０に進む。

ステップＳ１２０では、ＣＰＵ１０５は、録画が終了したか否かを判定する。録画が終了した場合はステップＳ１３０へ進み、録画が終了していない場合はステップＳ１１０に戻る。

ステップＳ１３０では、ＣＰＵ１０５は、第１の代表フレームの抽出処理を実行し、ステップＳ１４０へ進む。ステップＳ１３０は、第１の代表フレーム抽出手段の一例である。第１の代表フレームの抽出処理の詳細については後述する。

ステップＳ１４０では、ＣＰＵ１０５は、第２の代表フレームの抽出処理を実行し、ステップＳ１５０へ進む。ステップＳ１４０は、第２の代表フレーム抽出手段の一例である。第２の代表フレームの抽出処理の詳細については後述する。

ステップＳ１５０では、ＣＰＵ１０５は、第１の代表フレーム、第２の代表フレームからサムネイルを作成する処理を実行し、本処理を終了する。ステップＳ１５０の詳細については後述する。

次に、ステップＳ１３０における第１の代表フレーム抽出処理、ステップＳ１４０における第２の代表フレーム抽出処理、及びステップＳ１５０におけるサムネイルを作成する処理の詳細について説明する。

図３（ａ）は、図２のステップＳ１３０における第１の代表フレーム抽出処理の詳細を示すフローチャートである。なお、第１の実施形態では、第１の代表フレーム抽出処理が風景を抽出するものとする。

図３（ａ）において、ステップＳ１３１では、ＣＰＵ１０５は、撮影情報における主顔の情報を参照し、記録された動画データから顔認識されていないフレームがあるか否かを判定する。すなわち、ＣＰＵ１０５は第１の判定手段として機能する。この結果、顔認識されていないフレームがあると判定した場合はステップＳ１３２へ進み、顔認識されていないフレームがないと判定した場合はステップＳ１３３へ進む。

ステップＳ１３２では、ＣＰＵ１０５は、顔認識されていないフレームのみを第１の代表フレーム候補とし、ステップＳ１３４へ進む。

ステップＳ１３３では、ＣＰＵ１０５は、全フレームを第１の代表フレーム候補とし、ステップＳ１３４へ進む。

ステップＳ１３４では、ＣＰＵ１０５は、撮影情報における画角の広さの情報を参照し、第１の代表フレーム候補の中で最も画角の広いものを第１の代表フレームとし、リターンする。画角の広さはＲＡＭ１１２に記録されたデータから判断する。

図３（ｂ）は、図２のステップＳ１４０における第２の代表フレーム抽出処理の詳細を示すフローチャートである。なお、第１の実施形態では、第２の代表フレーム抽出処理が代表的な人物の顔を抽出するものとする。

ステップＳ１４１では、ＣＰＵ１０５は、撮影情報を参照し、記録された動画データから顔認識されたフレームがあるか否かを判定する。この結果、顔認識されたフレームがあると判定した場合はステップＳ１４２へ進み、顔認識されたフレームがないと判定した場合は、リターンする。

ステップＳ１４２では、ＣＰＵ１０５は、最も長く認識した顔を含んだフレームを第２の代表フレーム候補とし、ステップＳ１４３へ進む。第２の代表フレーム候補は、ＲＡＭ１１２に主顔として記録された顔を含むフレームである。

ステップＳ１４３では、ＣＰＵ１０５は、第２の代表フレーム候補の中で、顔が最も正面を向いているものを第２の代表フレームとし、リターンする。第２の代表フレームは、ＲＡＭ１１２に正面向きに近い顔フレームとして記録されたフレームである。

図４は、図２のステップＳ１５０におけるサムネイルを作成する処理の詳細を示すフローチャートである。

ステップＳ１５１では、ＣＰＵ１０５は、第１の代表フレーム及び第２の代表フレームが２つとも抽出されたか否かを判定し、２つとも抽出されたと判定した場合はステップＳ１５２へ進み、２つとも抽出されなかったと判定した場合はステップＳ１５３へ進む。２つ抽出されない場合とは、録画中に顔認識されたフレームが一つも無く、第１の代表フレームのみが抽出されるような場合である。

ステップＳ１５２では、ＣＰＵ１０５は、抽出された２つの代表フレームをサムネイルとして保存する。

ステップＳ１５３では、ＣＰＵ１０５は、代表フレームが１つ抽出されたか否かを判定し、抽出されたと判定した場合はステップＳ１５４へ進む。代表フレームが１つ抽出された場合とは、図３（ａ）の第１の代表フレームの抽出処理及び図３（ｂ）の第２の代表フレームの抽出処理のいずれか一方のみから代表フレームが抽出された場合である。

ステップＳ１５３の判定において、代表フレーム１つも抽出されなかったと判定した場合はステップＳ１５５へ進む。代表フレームが１つも抽出されなかった場合とは、例えば、外部入出力部１１５から入力された動画データを本ビデオカメラに記録するときに、必要な撮影情報を参照できず、代表フレームが一つも抽出されない場合である。

ステップＳ１５４では、ＣＰＵ１０５は、動画の最初のフレームと抽出されたフレームをサムネイルとして保存する。

ステップＳ１５５では、ＣＰＵ１０５は、動画の最初のフレームと動画の中盤のフレームをサムネイルとして保存する。動画の中盤のフレームとは、撮影開始から終了までの間で時間的にちょうど真中にあたるフレームとする。

ステップＳ１５２、Ｓ１５４、Ｓ１５５で作成されたサムネイルは、ＣＰＵ１０５により、動画データに関連付けて記録メディア１０６に記録される。動画データをモニタ１０８に一覧表示する場合は、図５に示すように動画データ１つに対して、２つのサムネイルを横に並べて表示する。図示例では、サムネイル１が第１の代表フレーム、サムネイル２が第２の代表フレームとなる。また、動画データ１〜４の表示部分には、動画データのファイル名が表示される。

以上のように、第１の実施形態によれば、動画データ中の主要人物の代表フレームと風景の代表フレームの２つの代表フレームからサムネイルを作成することで、動画の内容を忠実に表現したわかりやすいサムネイルを作成することができる。特に、主被写体となる可能性の高い主要人物のフレームをサムネイル作成のための代表フレームの１つとして用いることで、誰を撮影した動画であるかを明示できる。そして、主要人物の代表フレームを抽出した条件とは異なる条件で風景の代表フレームを決定するので、同一人物を撮影した場合でも、風景を頼りに撮影場所の違いを識別でき、個々の動画データの識別が容易になる。

なお、第１の実施形態では、画角情報と顔認識情報を基に、風景と主顔を代表フレームとして抽出したが、他の抽出手法を用いて代表フレームを抽出してもよい。例えば、輝度の高さ、音の大きさ、といったような任意の条件でフレームを抽出してもよい。輝度の高さは、屋外なのか屋内なのかを判別する際などに利用でき、音の大きさは盛り上がっているのかどうかを判別する際などに利用できると考えられる。

また、第１の実施形態では、図５に示すように、第１の代表フレームと第２の代表フレームを横に並べて表示したが、表示方法はこれに限定しない。例えば、縦に２つ並べたり、異なる大きさで２つ並べたりしてもよい。

［第２の実施形態］
第２の実施形態では、第１の実施形態と同様に、ビデオカメラで撮影した動画の中で、主要人物のフレームと風景のフレームの２枚を抽出するが、２枚並べて表示するのではなく、２枚を合成してサムネイルを作成する例を述べる。第２の実施形態におけるサムネイル作成処理及び代表フレーム抽出処理については、第１の実施形態で説明した図２のフローチャート及び図３のフローチャートと同様の処理なので、それらの説明を省略する。

以下、第２の実施形態における図２のステップＳ１５０での処理である第１及び第２の代表フレームからサムネイルを作成する処理について図６を用いて述べる。なお、このサムネイル作成における各処理は、ＣＰＵ１０５がＲＯＭ１１３に格納されたプログラムをＲＡＭ１１２に展開して実行することにより実現される。

図６は、第２の実施形態における２つの代表フレームからサムネイルを作成する処理の一例を示すフローチャートである。なお、図６のステップＳ１５１、Ｓ１５３は、第１の実施形態で説明した図４のステップＳ１５１、Ｓ１５３と同様の処理なのでそれらの説明を省略する。

図６のステップＳ２５２では、ＣＰＵ１０５は、抽出された２つの代表フレームを合成し、サムネイルとして保存する。代表フレームの合成方法については、図７に示す代表フレームの例を用いて、具体的に説明する。

図７（ａ）に第１の代表フレーム、図７（ｂ）に第２の代表フレームを示す。図７（ｃ）には、第１の代表フレームと第２の代表フレームを合成して作成されたサムネイルを示す。

まず、ＣＰＵ１０５は、第２の代表フレームにおいて、顔認識した部分を切り取る。次に、ＣＰＵ１０５は、切り取った顔の部分を拡大もしくは縮小し、第１の代表フレーム（風景の代表フレームの全体範囲を用いると良い）の右上に図７（ｃ）に示したように合成する。そして、合成した画像をサムネイルとして保存する。

ステップＳ２５４では、ＣＰＵ１０５は、抽出された１つの代表フレームをサムネイルとして保存する。

ステップＳ２５５では、ＣＰＵ１０５は、動画の最初のフレームをサムネイルとして保存する。

ステップＳ２５２、Ｓ２５４、Ｓ２５５で作成されたサムネイルは、動画データに関連付けて記録メディア１０６に記録される。

図８は、動画データをモニタ１０８に一覧表示したときのサムネイル表示例を示す図である。

図８において、動画データ１、２、４、６、７は撮影中に顔認識されたフレームがあったものであり、２つの代表フレームを合成したサムネイルが表示されている。動画データ３，５，８は撮影中に顔認識されたフレームがなかったものであり、１つの代表フレームがサムネイルとして表示されている。

以上のように、第２の実施形態によれば、動画データ中の主要人物の代表フレームと風景の代表フレームを合成してサムネイルを作成することで、限られた表示範囲において、動画内容のわかりやすいサムネイルを作成することができる。風景は一部が隠れても内容把握の妨げにはならず、顔は顔だけ切り取っても誰かわかるので周りが無くても問題はないため、主要人物と風景の画像を合成することで、限られた領域を有効に使うことができる。

なお、第２の実施形態では、２つの代表フレームを合成して図７（ｃ）のように出力したが、合成する方法についてはこれに限定しない。例えば、切り抜いた主顔を右上ではなく左下に合成してもよく、２つの代表フレームを任意の大きさに拡大もしくは縮小して合成してもよい。

以上説明したように、本発明によれば、異なる２つの条件によって抽出した２つの代表フレームを用いることで内容のわかりやすいサムネイルを作成することが可能となる。また、動画データ中の主要な人物をサムネイルとすることで、誰を撮影した動画であるかを明示できる。さらに、主要な人物だけでなく、代表的なフレームもサムネイルとするので、同一人物を撮影した場合でも、個々の動画データの識別が容易になる。そして、２つの代表フレームを合成したものをサムネイルとすることで、限られた表示範囲において、より内容のわかりやすいサムネイルを作成することが可能となる。

なお、ＣＰＵ１０５の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明はＰＣやＰＤＡ、携帯電話端末や携帯型の動画再生装置、プリンタ装置に設けられたディスプレイなど、複数の画像を同時に表示するように制御可能な表示制御装置であれば適用可能である。

本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。

１０５ ＣＰＵ
１０６ 記録メディア
１０７ 記録メディア制御回路
１０８ モニタ
１０９ 再生回路
１１０ ＯＳＤ回路
１１１ 操作スイッチ
１１２ ＲＡＭ
１１３ ＲＯＭ
１１５ 外部入出力部

Claims (14)

1. 撮影時に記録された動画データから第１の条件に基づいて第１の代表フレームを抽出する第１の代表フレーム抽出手段と、
   前記動画データから、前記第１の条件とは異なる第２の条件に基づいて第２の代表フレームを抽出する第２の代表フレーム抽出手段と、
   前記抽出された第１の代表フレームと第２の代表フレームをサムネイルとして前記動画データに関連付けて保存する制御手段と、
   を有することを特徴とする画像処理装置。
2. 動画データから人物の顔を認識する顔認識手段と、
   前記顔認識手段による結果を、主要人物と風景の特定に必要となる撮影情報として記録する記録手段と
   前記記録手段に記録された撮影情報を参照し、前記動画データから人物の顔が認識されていないフレームがあるか否かを判定する第１の判定手段とをさらに備え、
   前記第１の代表フレーム抽出手段は、前記第１の判定手段により人物の顔が認識されていないフレームがあると判定されたときは、当該顔が認識されていないフレームを前記第１の代表フレームの候補とし、前記第１の判定手段により人物の顔が認識されていないフレームがないと判定されたときは、全フレームを前記第１の代表フレームの候補とすることを特徴とする請求項１記載の画像処理装置。
3. 前記記録手段は、前記撮影情報として、前記動画データから画角の広さ、主顔、顔の向きが最も正面を向いているフレームの少なくとも１つを記録し、
   前記第１の代表フレーム抽出手段は、前記記録手段に記録された撮影情報を参照し、前記第１の代表フレームの候補からもっとも画角の広いフレームを前記第１の代表フレームとして抽出することを特徴とする請求項２記載の画像処理装置。
4. 前記記録手段は、前記撮影情報として、前記動画データから画角の広さ、主顔、顔の向きが最も正面を向いているフレームの少なくとも１つを記録し、
   前記第２の代表フレーム抽出手段は、前記記録手段に記録された撮影情報を参照し、前記顔認識手段によりもっとも長く認識された人物の顔を含むフレームを前記第２の代表フレームの候補とすることを特徴とする請求項２記載の画像処理装置。
5. 前記記録手段は、前記もっとも長く認識された人物の顔を、前記顔認識手段により認識した顔の検出時間、検出回数、またはユーザによる選択のいずれかに基づいて判定して記録することを特徴とする請求項４記載の画像処理装置。
6. 前記第２の代表フレーム抽出手段は、前記記録手段に記録された撮影情報を参照し、前記第２の代表フレームの候補から前記人物の顔がもっとも正面を向いているものを含むフレームを前記第２の代表フレームとして抽出することを特徴とする請求項４記載の画像処理装置。
7. 前記第２の代表フレーム抽出手段は、前記記録手段に記録された撮影情報を参照し、前記第２の代表フレームの候補から前記人物の顔がもっとも大きいものを含むフレームを前記第２の代表フレームとして抽出することを特徴とする請求項４記載の画像処理装置。
8. 前記制御手段は、前記第１の代表フレームと前記第２の代表フレームとを並べたサムネイルを表示手段に表示することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記制御手段は、前記第１の代表フレーム抽出手段及び前記第２の代表フレーム抽出手段のいずれか一方のみから代表フレームが抽出された場合は、当該抽出された代表フレームと前記動画データの最初のフレームをサムネイルとし、前記第１の代表フレーム抽出手段と前記第２の代表フレーム抽出手段のいずれからも代表フレームが抽出されなかった場合は、前記動画データの最初のフレームと前記動画データの中盤のフレームをサムネイルとすることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記抽出された第１の代表フレームと第２の代表フレームを合成する合成手段をさらに有し、
    前記制御手段は、前記合成手段によって合成されたサムネイルを表示手段に表示させることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
11. 前記制御手段は、前記第１の代表フレーム抽出手段及び前記第２の代表フレーム抽出手段のいずれか一方のみから代表フレームが抽出された場合は、当該抽出された１つの代表フレームをサムネイルとし、前記第１の代表フレーム抽出手段と前記第２の代表フレーム抽出手段のいずれからも代表フレームが抽出されなかった場合は、前記動画データの最初のフレームをサムネイルとすることを特徴とする請求項１０記載の画像処理装置。
12. 撮影時に記録された動画データから第１の条件に基づいて第１の代表フレームを抽出する第１の代表フレーム抽出工程と、
    前記動画データから、前記第１の条件とは異なる第２の条件に基づいて第２の代表フレームを抽出する第２の代表フレーム抽出工程と、
    前記抽出された第１の代表フレームと第２の代表フレームをサムネイルとして前記動画データに関連付けて保存する保存工程と、
    を有することを特徴とする画像処理装置の制御方法。
13. 画像処理装置を、
    撮影時に記録された動画データから第１の条件に基づいて第１の代表フレームを抽出する第１の代表フレーム抽出手段、
    前記動画データから、前記第１の条件とは異なる第２の条件に基づいて第２の代表フレームを抽出する第２の代表フレーム抽出手段、及び
    前記抽出された第１の代表フレームと第２の代表フレームをサムネイルとして前記動画データに関連付けて保存する保存手段として機能させるためのプログラムを記録したコンピュータに読み取り可能な記録媒体。
14. 画像処理装置を、
    撮影時に記録された動画データから第１の条件に基づいて第１の代表フレームを抽出する第１の代表フレーム抽出手段、
    前記動画データから、前記第１の条件とは異なる第２の条件に基づいて第２の代表フレームを抽出する第２の代表フレーム抽出手段、及び
    前記抽出された第１の代表フレームと第２の代表フレームをサムネイルとして前記動画データに関連付けて保存する保存手段として機能させるためのプログラム。

Images