JP2007280325A - 動画表示装置 - Google Patents

Abstract

【課題】ユーザによる顔情報を手がかりとしたシーン検索を支援するための技術を提供する。
【解決手段】コンピュータが、動画から選択された複数のフレームの画像の各々から顔を検出し、各画像について、検出された顔に関する顔情報を取得し、画像から取得された顔情報を、その画像の動画中のフレーム位置とともに記憶装置に記録し、記憶装置から各画像のフレーム位置及び顔情報を読み込み、各画像のフレーム位置と顔情報との関係を示すグラフを生成し、動画をグラフとともに表示する。
【選択図】図５

Description

本発明は、動画を表示するための動画表示装置に関する。

ＨＤＤやＤＶＤなどの大容量記録媒体の登場により、色々な場面の動画データを手軽に撮り（録り）ためておくことが可能になった。しかし、多数の若しくは長時間の動画データの中から所望のシーンを探し出すのは容易ではない。例えば、従来の動画表示装置では、スライダー等を操作しながら目視で所望のシーンを見つけ出すのが一般的であるが、このような探索手法は目的のシーンに到達するまでに相当な手間と時間がかかる。

ところで、ユーザが所望のシーンを探す際には、画像中の「顔」の情報を手がかりにすることが多い。例えば、動画の中から家族全員が写っているシーンを探し出したり、子供が良い顔で写っているシーンを探し出したり、といったケースが挙げられる。そこで従来より、顔の情報を手がかりとしたシーン検索を容易に行えるツールの登場が望まれていた。

なお、顔情報を画像検索に応用した技術としては、顔の数、顔のサイズ、顔の向き、性別、顔の表情、年齢、人種、眼鏡の有無、ひげの有無等を条件として与えると、動画の中から条件を満たすフレームを検出して、顔画像をディスプレイに表示する画像検索方法がある（特許文献１参照）。また、顔情報を画像の分類に応用した技術としては、自動販売機の前を通過する通行人を撮像し、その画像を解析することによって通行人数、通行人の年齢層、性別を調査する技術（特許文献２参照）、顧客の画像を画像処理することによって顧客を分類する技術（特許文献３参照）、デジタルカメラで撮影された画像を画像に写る顔の類似度に基づいて分類する技術（特許文献４参照）が知られている。
特開２００１−１６７１１０号公報 特開２０００−６７３６９号公報 特開平７−２６２２７４号公報 特開２００５−１０７８８５号公報

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、ユーザによる顔情報を手がかりとしたシーン検索を支援するための技術を提供することにある。

上記目的を達成するために本発明は、以下の構成を採用する。

本発明の動画表示装置は、動画から選択された複数のフレームの画像の各々から顔を検出する顔検出手段と、前記各画像について、前記検出された顔に関する顔情報を取得する顔情報取得手段と、前記顔情報取得手段によって画像から取得された顔情報を、その画像の動画中のフレーム位置とともに記憶する顔情報記憶手段と、前記顔情報記憶手段から前記各画像のフレーム位置及び顔情報を読み込み、前記各画像のフレーム位置と顔情報との関係を示すグラフを生成するグラフ生成手段と、前記動画を前記グラフとともに表示する表示手段と、を備える。

顔検出の対象となる複数のフレームは、動画を構成する全部のフレームでもよいし、所定数おきに抜き出された一部のフレームでもよい。前記グラフの形式は問わないが、例え
ば、棒グラフ、折れ線グラフなどを好ましく採用できる。

上記構成によれば、グラフを見ることによって動画全体を通しての顔情報の推移を一目で把握できる。よって、フレームごとの顔情報や顔情報の時系列な変化を手がかりとして、所望のシーンのフレーム位置の当たりを簡単につけることができる。よって、所望のシーンを簡単かつ素早く発見することができる。

上記構成において、前記顔情報が、前記各画像から検出された顔の数を含み、前記グラフが、前記各画像のフレーム位置と顔の数との関係を示すものであるとよい。これにより、フレームごとの顔の数や顔の数の時系列な変化を一目で把握でき、顔の数を手がかりとするシーン検索が容易になる。

前記顔情報取得手段が、前記検出された顔をその顔画像に基づいて所定のクラスのいずれかに分類する顔分類手段を有し、前記顔情報が、前記検出された顔が分類されたクラスを含み、前記グラフが、前記顔の数をクラス別に示すものであることも好ましい。

分類の基準としては、例えば、ピントの良し悪し、顔の大きさ、顔の向き、目の開閉、視線の向き、性別、年齢（若しくは年齢層）、人種、表情、ひげの有無、メガネの有無、顔の画像中の位置などがある。顔分類手段は１種類の分類を行うだけでもよいし、複数種類の分類を行ってもよい。

この構成によれば、顔の全体数の推移に加え、クラス別の顔の数の推移や、顔の全体数に占めるクラスごとの割合及びその推移なども一目で把握できる。クラスに関する手がかりが増えたことで、所望のシーンの発見がさらに容易になる。

前記顔情報取得手段が、前記検出された顔をその顔画像に基づいて既知の顔か否か同定する顔同定手段を有し、前記顔情報記憶手段が、前記顔情報を人別に記憶し、前記グラフが、前記顔情報を人別に示すものであることも好ましい。

既知の顔とは、処理中のフレーム（検出された顔が含まれているフレーム）よりも前のフレームにおいて検出された顔、又は、装置に予め登録されている顔である。顔の同定は、「その顔の持ち主が誰であるか」という個人の特定までは必要なく、検出された複数の顔を人別に区別できさえすれば十分である。

上記構成によれば、グラフを見ることによって動画全体を通しての各人の顔情報の推移を一目で把握できる。よって、その情報を手がかりとして、所望のシーンのフレーム位置の当たりを簡単につけることができ、シーン検索に役立てることができる。

前記顔情報が、前記検出された顔の顔画像から抽出される特徴量を含み、前記グラフが、人別に、前記各画像のフレーム位置と特徴量の値との関係を示すものであることも好ましい。

あるいは、前記顔情報取得手段が、前記検出された顔をその顔画像に基づいて所定のクラスのいずれかに分類する顔分類手段を有し、前記顔情報が、前記検出された顔が分類されたクラスを含み、前記グラフが、人別に、前記各画像のフレーム位置とクラスとの関係を示すものであることも好ましい。

特徴量としては、例えば、ピントの度合い（若しくはボケ度合い）、顔の大きさ、顔の向き（角度）、目の開き度合い、視線の向き（角度）、顔の画像中の位置などがある。１種類の特徴量を抽出するだけでもよいし、複数種類の特徴量を抽出してもよい。分類とし
ては、上述したものを採用できる。

このように顔情報として特徴量の値やクラスを表示することで、各人の顔の状態（写りの良さ）の推移を一目で把握できる。これにより、最も写りの良いシーンを見つける、といった検索が可能となる。

また、複数の人のグラフが同時に表示されることも好ましい。これにより、複数の人の顔の状態の推移を比較したり、全員の顔の状態が良好になったところを見つけたり、といったことが可能となる。

また、複数の顔情報のグラフが同時に表示されることも好ましい。これにより、複数の顔情報を組み合わせたシーン検索が可能となる。

前記表示手段が、ユーザによりフレーム位置が指定された場合に、前記動画の中から前記指定されたフレーム位置に対応する画像を表示することも好ましい。

これにより、グラフを見ることによって当たりをつけたフレーム位置を指定すれば直ちにその画像を確認できるので、所望のシーンを簡単かつ素早く発見できる。

本発明は、上記手段の少なくとも一部を有する動画表示装置として捉えてもよいし、上記処理の少なくとも一部を含む動画表示方法、または、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、ユーザによる顔情報を手がかりとしたシーン検索を支援することができる。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。

＜装置構成＞
図１は、本発明の実施形態に係る動画表示装置の機能構成を示すブロック図である。

動画表示装置は、動画の表示及び動画のシーン検索を行うための装置であって、図１に示すように、動画記憶部１０、入力部１１、顔検出部１２、顔情報取得部１３、顔情報記憶部１４、グラフ生成部１５、表示部１６を備えている。

この動画表示装置は典型的には演算処理装置（ＣＰＵ）、主記憶装置（メモリ）、補助記憶装置（ハードディスクなど）、ディスプレイ、入力装置（マウスなど）を備えた汎用のコンピュータと、このコンピュータで動作するソフトウエア（プログラム）から構成可能である。図１に示す機能要素は、演算処理装置がソフトウエア（プログラム）を実行し、必要に応じて主記憶装置、補助記憶装置、ディスプレイ、入力装置などのハードウエア資源を制御することで実現される。ただし、これらの機能要素の機能の一部又は全部を専用のチップで構成しても構わない。

動画記憶部１０は表示及び検索の対象となる動画を記憶している。動画記憶部１０は不揮発性の記憶装置（例えばハードディスク（ＨＤＤ）やＤＶＤなど）で構成可能である。なお、ローカル接続された記憶装置に限らず、ネットワーク接続された記憶装置に動画記憶部１０を設けてもよい。表示及び検索の対象となる動画は、ビデオカメラ等で撮影した
ものでも、放送番組等を録画したものでも、記録媒体若しくはネットワークを介して提供されたデータであってもよい。

入力部１１は、ユーザが動画表示装置に指示を入力するための機能であり、例えば、キーボードとポインティングデバイス（マウス、タッチパッド、タッチパネル、視線入力装置など）から構成される。

顔検出部１２は、動画記憶部１０から動画を読み込み、その動画から処理対象フレームの画像を取得し、各画像から顔を検出する機能である。顔検出結果（検出された顔の数、各顔の位置・大きさなど）は顔情報取得部１３に渡される。

顔検出処理には、既存のどのような技術が適用されてもよい。一例を挙げると、（１）顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、（２）顔の器官（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出する手法、（３）クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、（４）肌の色に近い領域を検出し、その領域を顔として検出する手法、（５）ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。

顔情報取得部１３は、検出された顔に関する種々の情報を取得し、それらを顔情報として顔情報記憶部１４に記録する機能である。本実施形態の顔情報取得部１３は、顔同定機能１３０と顔分類機能１３１の２つの機能を有している。

顔同定機能１３０は、検出された顔をその顔画像に基づいて既知の顔か否か同定する機能である。具体的には、顔同定機能１３０は、最初の処理対象フレームから検出された顔のそれぞれに異なる識別番号（ラベル）を付与し、次のフレーム以降は、既にラベリングされた顔と同一の顔には同一の識別番号を付与し、既にラベリングされた顔の中に同一の顔が無ければ新しい識別番号を付与していく。これにより、検出された複数の顔を人別に区別することができる。なお、装置に予め顔（顔を定義する情報）及び個人情報を登録しておき、その登録された顔と比較することによって「検出された顔の持ち主が誰であるか」という個人の特定まで行うようにしてもよい。

顔同定機能１３０における同一顔の推定には、既存のどのような技術が適用されてもよい。例えば、顔認識技術を利用して、顔画像から抽出される顔特徴量の類似度に基づいて同一顔か否かを推定する手法を好ましく採用できる。

顔分類機能１３１は、検出された顔をその顔画像に基づいて所定のクラスのいずれかに分類（クラス分け）する機能である。本実施形態の顔分類機能１３１は、ピントの良し悪し、顔の大きさ、顔の向き、目の開閉、視線の向き、性別、年齢（年齢層）、人種、表情、ひげの有無、メガネの有無、顔の位置、の各項目について顔を分類可能である。

例えば、ピントの良し悪しについては、特徴量として顔画像のボケ度合い（例えば、低周波成分への偏り）を求め、その値に応じて顔を「ピント良好／通常／ピンぼけ」のいずれかのクラスに分類する。顔の大きさについては、特徴量として顔画像の幅や面積を用い、その値に応じて「大／中／小」のいずれかのクラスに分類する。顔の向きについては、顔の輪郭と目・鼻・口などの顔器官の相対的位置関係を調べ、「正面／斜め／横」のいずれかのクラスに分類する。特徴量として正面（カメラ方向）に対する顔の角度を算出してもよい。目の開閉については、まぶたの縁（まつげ）や瞳を認識することで「全開／半開／閉」のように分類する。特徴量として目の開き度合いを算出してもよい。視線の向きについては、瞳の位置などから「カメラ方向／非カメラ方向」のように分類する。特徴量と
して視線の角度を算出してもよい。性別、年齢（年齢層）、人種などの属性推定については既存の技術を利用可能である。性別は「男性／女性」のように分類され、年齢は「１０歳未満／１０代・２０代／３０代・４０代／５０代・６０代／７０歳以上」とか「子供／大人／老人」のように分類され、人種は「コーカソイド／モンゴロイド／ネグロイド」のように分類される。表情は「幸福／悲しみ／恐怖／怒り／驚き／嫌悪」のように分類される。ひげの有無やメガネの有無はそれぞれ「有り／無し」で分類される。顔の位置は特徴量としての画像座標に基づき「中央／右／左」のように分類される。なお、ここで挙げた特徴量及び分類は一例であり、適宜設計変更しても構わない。

顔情報記憶部１４は、顔情報取得部１３によって画像から取得された顔情報を、その画像の動画中のフレーム位置とともに記憶するデータベースである。顔情報記憶部１４は不揮発性の記憶装置（例えばハードディスクなど）で構成可能である。顔情報記憶部１４を動画記憶部１０と同一の記憶装置に設けることも好ましい。

グラフ生成部１５は、顔情報記憶部１４から各画像のフレーム位置及び顔情報を読み込み、各画像のフレーム位置と顔情報との関係を示すグラフ（インジケータ）を生成する機能である。グラフの具体的な形式については後述する。

表示部１６は、動画記憶部１０からの動画の読み込み、動画の再生、動画表示画面とグラフ表示画面を含むユーザインターフェイスの生成、ディスプレイへの表示出力などを担う機能である。また、ユーザインターフェイスにおいてユーザからのフレーム位置の指定を受け付け、その指定されたフレーム位置に対応する画像を表示する機能も有する。

＜顔情報作成処理＞
図２のフローチャートに沿って、動画表示装置における顔情報作成処理の流れを説明する。

ユーザが入力部１１を用いて顔情報作成処理の対象とすべき動画を指定すると、図２に示す処理が開始される。

まず、顔検出部１２が動画記憶部１０から処理対象となるフレームの画像を読み込む（ステップＳ１００）。そして、顔検出部１２はその画像から顔を検出する（ステップＳ１０１）。顔が検出されたらステップＳ１０３に処理を進め、顔が検出されなかったらステップＳ１０９に処理を進める（ステップＳ１０２）。図３は、画像及び顔検出結果の一例を示している。この例では、画像から３つの顔が検出されているので、ステップＳ１０３が実行される。

ステップＳ１０３では、顔同定機能１３０が１つ目の顔の同定を行う。ここで、既知の顔と同一であると判定されたら（ステップＳ１０４；ＹＥＳ）、その既知の顔と同一の識別番号を付与し（ステップＳ１０５）、未知の顔であると判定されたら（ステップＳ１０４；ＮＯ）、新しい識別番号を付与する（ステップＳ１０６）。

続いて、顔分類機能１３１が顔画像から特徴量の抽出及び顔の分類を行う（ステップＳ１０７）。

未処理の顔がある場合は（ステップＳ１０８；ＹＥＳ）、次の顔に対してステップＳ１０３〜Ｓ１０７の処理を繰り返す。画像から検出された顔全てについて顔同定及び顔分類を行ったら、ステップＳ１０９に処理を進める（ステップＳ１０８；ＮＯ）。

ステップＳ１０９では、ステップＳ１０１〜Ｓ１０８で取得された顔情報が当該画像の
フレーム位置とともに顔情報記憶部１４に記録される。図４は、図３の画像に関する記録情報の一例を示している。記録情報には、フレーム位置（フレーム番号）、検出された顔の数、各顔の識別番号、各顔に関する特徴量の値及びクラスが含まれている。

次の処理対象フレームがある場合は（ステップＳ１１０；ＹＥＳ）、そのフレームに対してステップＳ１００〜Ｓ１０９の処理を繰り返す。なお、動画を構成する全てのフレームを処理対象に選んでもよいが、処理の高速化を図るため、Ｎフレーム（Ｎは１より大きい整数）に１つの割合で処理対象フレームを選択してもよい。全ての処理対象フレームについて顔情報の取得を終えたら、処理を終了する（ステップＳ１１０；ＮＯ）。

上記顔情報取得処理が完了し、顔情報記憶部１４に顔情報が記録された後は、グラフ（インジケータ）の表示及びそれを利用したシーン検索が可能となる。顔情報は動画と対応付けて管理されており、一旦作成された後はグラフ表示のたびに読み込まれ利用される。よって２回目以降はグラフの表示に要する時間を大幅に短縮できる。なお、ここではユーザによる指示を受けて顔情報取得処理を開始する例を挙げたが、動画再生中にバックグラウンドで顔情報取得処理を実行するようにしてもよい。

＜表示例＞
グラフの表示態様（グラフの形式、グラフに表示する顔情報の種類など）はユーザが自由に設定できる。ユーザによる設定内容は記録され、次回のグラフ表示のときにもその設定内容に従ってグラフが表示される。以下、代表的な表示態様を例示する。

図５は、顔の数の推移を折れ線グラフで示す表示例である。動画を再生表示する動画表示画面２０の下にグラフ表示画面２１が配置されている。グラフの横軸はフレーム位置を表しており、縦軸は各フレーム位置における顔の数を表している。またグラフ上には、再生中のフレーム位置を示すマーク２２が表示されている。

ユーザは、入力部１１を用いて、グラフ表示画面２１上の任意の位置をクリックするか、スライダー２３を移動させることで、フレーム位置を指定可能である。フレーム位置の指定があると、表示部１６がその指定された位置にマーク２２を移動させるとともに、動画表示画面２０に指定されたフレーム位置に対応する画像を表示する。

このグラフを見ることによって、ユーザは各フレーム位置における顔の数、及び、動画全体を通しての顔の数の推移を一目で把握することができる。よって、この情報を手がかりとして、所望のシーンのフレーム位置の当たりをつけることができる。そして当たりをつけたフレーム位置の画像を直ちに確認できるので、所望のシーンを簡単かつ迅速に発見することができる。例えば、「家族５人全員が写っているシーン」を見つけたいのであれば、顔の数が「５」のフレームを順に確かめていけばよいし、「子供が１人で写っているシーン」を見つけたいのであれば、顔の数が「１」のフレームを順に確かめていけばよい。逆に、顔の数が「０」のフレームを見れば、「風景だけが写っているシーン」を検索可能である。

図６は、顔の数をクラス別に示した表示例であり、（ａ）は棒グラフの例、（ｂ）は折れ線グラフの例を示している。この表示例では、男性／女性の別に顔の数を表示している。また動画表示画面２０においても男性／女性の区別がつくように顔枠を表示している。なお、性別以外の分類についても同じようにクラス別表示が可能である。

図６のようなグラフを見れば、顔の全体数の推移に加え、クラス別の顔の数の推移や、顔の全体数に占めるクラスごとの割合及びその推移なども一目で把握できる。クラスに関する手がかりが増えたことで、所望のシーンの発見がさらに容易になる。例えば、「夫婦
だけで写っているシーン」を見つけたいのであれば、男性「１」かつ女性「１」のフレームを順に確かめていけばよい。

図７も、顔の数をクラス別に示した表示例である。この例では、顔の向きをクラス別に表示している。また、動画表示画面２０に、顔枠でなく、クラスを表示している。

図８は、顔情報を人別に示した表示例である。この例では、識別番号A002が付された人の顔の大きさ及び顔の向きがそれぞれ折れ線グラフで表示されている。なお、図８では２種類の顔情報を表示しているが、１種類の顔情報あるいは２種類より多い顔情報を表示してもよい。

このようなグラフを見れば、動画全体を通しての各人の顔情報の推移を一目で把握できる。特に、顔の大きさ、顔の向き、ピント、目の開き度合い、視線の向き、表情、顔の位置などの顔情報は、「写りの良さ」に関係がある。よって、これらの情報をグラフ表示することで、写りの良いシーンを探すことが容易になる。しかも、図８のように複数種類の顔情報を同時にグラフ表示することで、複数の顔情報を組み合わせた複合検索が可能となる。図８の例では、顔が正面を向き、かつ、大きく写っているシーンが動画の後半に多いことがわかる。

図９も、顔情報を人別に示した表示例である。この例では、識別番号A001とA002それぞれの顔の大きさが折れ線グラフで表示されている。なお、２人より多い人数のグラフを同時に表示してもよい。また図８のように複数種類の顔情報を表示することも好ましい。

このようなグラフを見れば、複数の人の顔の状態の推移を比較したり、全員の顔の状態が良好になったところを見つけたり、といったことが可能となる。

なお、上記表示例はあくまで一例であり、グラフの形式や画面レイアウトなどは適宜変形可能である。例えば、縦軸をフレーム位置にして、横軸を顔情報にしてもよい。棒グラフと折れ線グラフ以外のグラフを用いてもよい。グラフ表示画面を動画表示画面の上や横に配置したり、両画面を別ウィンドウで表示したりしてもよい。

また、このグラフで表示された情報をどのようにシーン検索に役立てるかはユーザの工夫次第であり、上述した例に限るものではない。

また、上記実施形態では、顔情報として、顔の数、顔の位置、顔の大きさ、ピント、顔の向き、目の開閉、視線の向き、性別、年齢、人種、表情、ひげの有無、メガネの有無を取得している。しかし、顔情報はこれらに限らず、顔画像から取得可能な他の情報を用いてもよい。また、これら全ての顔情報を取得する必要はなく、少なくとも１種類の情報を取得すればよい。また、上記実施形態では、顔同定機能により顔の同定（人の識別）を行ったが、人別にグラフ表示を行わないのであれば、顔同定を行う必要はない。

図１は、動画表示装置の機能構成を示すブロック図である。 図２は、顔情報作成処理の流れを示すフローチャートである。 図３は、画像及び顔検出結果の一例を示す図である。 図４は、図３の画像に関する記録情報の一例を示す図である。 図５は、顔の数を折れ線グラフで示した表示例である。 図６（ａ）は、顔の数を男女別に棒グラフで示した表示例であり、図６（ｂ）は、顔の数を男女別に折れ線グラフで示した表示例である。 図７は、顔の数を顔の向き別に折れ線グラフで示した表示例である。 図８は、顔の大きさ及び向きを人別に折れ線グラフで示した表示例である。 図９は、複数の人の顔の大きさを折れ線グラフで示した表示例である。

符号の説明

１０ 動画記憶部
１１ 入力部
１２ 顔検出部
１３ 顔情報取得部
１３０ 顔同定機能
１３１ 顔分類機能
１４ 顔情報記憶部
１５ グラフ生成部
１６ 表示部
２０ 動画表示画面
２１ グラフ表示画面
２２ マーク
２３ スライダー

Claims (11)

1. 動画から選択された複数のフレームの画像の各々から顔を検出する顔検出手段と、
   前記各画像について、前記検出された顔に関する顔情報を取得する顔情報取得手段と、
   前記顔情報取得手段によって画像から取得された顔情報を、その画像の動画中のフレーム位置とともに記憶する顔情報記憶手段と、
   前記顔情報記憶手段から前記各画像のフレーム位置及び顔情報を読み込み、前記各画像のフレーム位置と顔情報との関係を示すグラフを生成するグラフ生成手段と、
   前記動画を前記グラフとともに表示する表示手段と、
   を備える動画表示装置。
2. 前記顔情報が、前記各画像から検出された顔の数を含み、
   前記グラフが、前記各画像のフレーム位置と顔の数との関係を示すものである
   請求項１記載の動画表示装置。
3. 前記顔情報取得手段が、前記検出された顔をその顔画像に基づいて所定のクラスのいずれかに分類する顔分類手段を有し、
   前記顔情報が、前記検出された顔が分類されたクラスを含み、
   前記グラフが、前記顔の数をクラス別に示すものである
   請求項２記載の動画表示装置。
4. 前記顔情報取得手段が、前記検出された顔をその顔画像に基づいて既知の顔か否か同定する顔同定手段を有し、
   前記顔情報記憶手段が、前記顔情報を人別に記憶し、
   前記グラフが、前記顔情報を人別に示すものである
   請求項１記載の動画表示装置。
5. 前記顔情報が、前記検出された顔の顔画像から抽出される特徴量を含み、
   前記グラフが、人別に、前記各画像のフレーム位置と特徴量の値との関係を示すものである
   請求項４記載の動画表示装置。
6. 前記顔情報取得手段が、前記検出された顔をその顔画像に基づいて所定のクラスのいずれかに分類する顔分類手段を有し、
   前記顔情報が、前記検出された顔が分類されたクラスを含み、
   前記グラフが、人別に、前記各画像のフレーム位置とクラスとの関係を示すものである請求項４記載の動画表示装置。
7. 複数の人のグラフが同時に表示される請求項４〜６のいずれかに記載の動画表示装置。
8. 複数の顔情報のグラフが同時に表示される請求項４〜７のいずれかに記載の動画表示装置。
9. 前記表示手段が、
   ユーザによりフレーム位置が指定された場合に、前記動画の中から前記指定されたフレーム位置に対応する画像を表示する
   請求項１〜８のいずれかに記載の動画表示装置。
10. 記憶装置及び表示装置を備えるコンピュータが、
    動画から選択された複数のフレームの画像の各々から顔を検出し、
    前記各画像について、前記検出された顔に関する顔情報を取得し、
    画像から取得された顔情報を、その画像の動画中のフレーム位置とともに前記記憶装置に記録し、
    前記記憶装置から前記各画像のフレーム位置及び顔情報を読み込み、前記各画像のフレーム位置と顔情報との関係を示すグラフを生成し、
    前記動画を前記グラフとともに前記表示装置に表示する
    動画表示方法。
11. 記憶装置及び表示装置を備えるコンピュータに、
    動画から選択された複数のフレームの画像の各々から顔を検出する処理と、
    前記各画像について、前記検出された顔に関する顔情報を取得する処理と、
    画像から取得された顔情報を、その画像の動画中のフレーム位置とともに前記記憶装置に記録する処理と、
    前記記憶装置から前記各画像のフレーム位置及び顔情報を読み込み、前記各画像のフレーム位置と顔情報との関係を示すグラフを生成する処理と、
    前記動画を前記グラフとともに前記表示装置に表示する処理と、
    を実行させるプログラム。

Images