JP2006277731A - 画像抽出装置、画像抽出方法、及び画像抽出プログラム - Google Patents

Abstract

【課題】動画構成画像に含まれる複数の人物の表情をそれぞれ比較する場合には、同一人物間で表情を比較しないので、同一人物の豊かな表情が撮像されている動画構成画像の抽出は困難である。
【解決手段】本発明に係る画像抽出装置は、動画から所定の人物の顔画像が含まれる動画構成画像を抽出する候補画像抽出部と、候補画像抽出部が抽出した複数の動画構成画像のうちの、所定の人物の通常の表情の顔画像より差異が大きい、当該人物の顔画像を含む動画構成画像を代表画像として抽出する代表画像抽出部とを備える。
【選択図】図２

Description

本発明は、画像抽出装置、画像抽出方法、及び画像抽出プログラムに関する。特に、本発明は、複数の動画構成画像を含む動画から静止画として出力するための動画構成画像を抽出する画像抽出装置、画像抽出方法、及び画像抽出プログラムに関する。

従来、予め設定された眉、口等の各部位の形状と、動画を構成するフレーム画像に含まれる顔の各部位の形状とを比較することにより、フレーム画像に含まれる複数の人物における表情の良し悪しを評価して、表情の評価のよい順にフレーム画像を表示したり、プリントアウトする方法が提案されている（例えば、特許文献１参照。）。
特開２００４−０４６５９１号公報

しかしながら、特許文献１に開示されている発明では、各人物の顔が異なるにもかかわらず、予め定められた各部位の形状と、各人物の顔の各部位の形状とを比較することにより、表情の良し悪しを評価する。そのため、同一人物の表情の変化が大きい顔画像を含むフレーム画像を適切に抽出することが困難であった。

そこで本発明は、上記課題を解決することができる画像抽出装置、画像抽出方法、及び画像抽出プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、複数の候補画像から、代表画像として出力するための候補画像を抽出する画像抽出装置であって、複数の候補画像から所定の人物の顔画像が含まれる少なくとも一つの候補画像を抽出する候補画像抽出部と、候補画像抽出部が抽出した少なくとも一つの候補画像のうちの、所定の人物の通常の表情の顔画像とより差異が大きい、前記所定の人物の顔画像を含む候補画像を第一の代表画像として抽出する第一代表画像抽出部とを備える。また、所定の人物に対応づけて、当該所定の人物の通常の表情の顔画像を示す平均顔情報を格納する平均顔情報格納部と、候補画像抽出部が抽出した候補画像に含まれる顔画像を、平均顔情報格納部が格納する平均顔情報が示す顔画像と比較する顔画像比較部とを更に備え、第一代表画像抽出部は、顔画像比較部による比較結果に基づいて、候補画像抽出部が抽出した候補画像のうちの、平均顔情報格納部が格納する平均顔情報が示す顔画像とより差異が大きい、前記所定の人物の顔画像を含む候補画像を第一の代表画像として抽出してもよい。更に、候補画像抽出部が抽出した複数の候補画像のそれぞれから、所定の人物の顔画像をそれぞれ抽出する顔画像抽出部と、顔画像抽出部が抽出した複数の顔画像に基づいて、所定の人物の平均顔情報を生成する平均顔情報生成部とを更に備え、平均顔情報格納部は、平均顔情報生成部が生成した平均顔情報を前記所定の人物に対応づけて格納してもよい。

また、候補画像は、動画に含まれる動画構成画像であり、候補画像抽出部は、動画から所定の人物の顔画像が含まれる動画構成画像を抽出し、第一代表画像抽出部は、候補画像抽出部が抽出した複数の動画構成画像のうちの、所定の人物の通常の表情の顔画像とより差異が大きい、前記所定の人物の顔画像を含む動画構成画像を第一の代表画像として抽出してもよい。また、所定の人物に対応づけて、当該所定の人物の通常の表情の顔画像を示す平均顔情報を格納する平均顔情報格納部と、候補画像抽出部が抽出した複数の動画構成画像に含まれる顔画像のそれぞれを、平均顔情報格納部が格納する平均顔情報が示す顔画像と比較する顔画像比較部とを更に備え、第一代表画像抽出部は、顔画像比較部による比較結果に基づいて、候補画像抽出部が抽出した動画構成画像のうちの、平均顔情報格納部が格納する平均顔情報が示す顔画像とより差異が大きい、前記所定の人物の顔画像を含む動画構成画像を第一の代表画像として抽出してもよい。

更に、候補画像抽出部が抽出した複数の動画構成画像のそれぞれから、所定の人物の顔画像をそれぞれ抽出する顔画像抽出部と、顔画像抽出部が抽出した複数の顔画像に基づいて、所定の人物の平均顔情報を生成する平均顔情報生成部とを更に備え、平均顔情報格納部は、平均顔情報生成部が生成した平均顔情報を前記所定の人物に対応づけて格納してもよい。そして、顔画像抽出部が抽出した複数の顔画像のそれぞれから、複数の部位画像をそれぞれ抽出する部位画像抽出部と、部位画像抽出部が抽出した複数の部位画像に基づいて、部位毎の平均的な形状を算出する平均部位形状算出部とを更に備え、平均顔情報生成部は、平均部位形状算出部が算出した部位毎の平均的な形状に基づいて、所定の人物の平均顔情報を生成してもよい。また、候補画像抽出部が抽出した複数の動画構成画像における、所定の人物の顔画像の変化を算出する表情変化算出部を更に備え、第一代表画像抽出部は、表情変化算出部が算出した所定の人物の顔画像の変化に基づいて、所定の人物の顔画像の変化が開始したときの動画構成画像、又は所定の人物の顔画像の変化が終了したときの動画構成画像を第一の代表画像として抽出してもよい。

また、画像配置位置と当該画像配置位置に配置されるべき代表画像に含まれる人物の表情を示す人物表情情報とが予め定められた出力領域のテンプレートを格納しているテンプレート格納部を更に備え、第一代表画像抽出部は、テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられている人物表情情報が示す人物の表情と、候補画像抽出部が抽出した候補画像に含まれる人物の表情とが一致する候補画像を第一の代表画像として抽出してもよい。そして、テンプレート格納部は、画像配置位置と当該画像配置位置に配置されるべき第一の代表画像に含まれる人物の表情の変位量を示す表情変位情報とが予め定められた出力領域のテンプレートを格納し、第一代表画像抽出部は、テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられている表情変位情報が示す人物の表情の変位量と、候補画像抽出部が抽出した候補画像に含まれる人物の表情の変位量とが一致する候補画像を第一の代表画像として抽出してもよい。

更に、テンプレート格納部は、画像配置位置と当該画像配置位置に配置されるべき第一の代表画像に含まれる人物の表情の種類を示す表情種類情報とが予め定められた出力領域のテンプレートを格納し、第一代表画像抽出部は、テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられている表情種類情報が示す人物の表情の種類と、候補画像抽出部が抽出した候補画像に含まれる人物の表情の種類とが一致する候補画像を第一の代表画像として抽出してもよい。また、第一の代表画像が配置されるべき第一の代表画像配置位置、および第二の代表画像が配置されるべき第二の代表画像配置位置が予め定められた出力領域のテンプレートを格納するテンプレート格納部と、第一代表画像抽出部が抽出した第一の代表画像に含まれる人物の表情を示す人物表情情報に応じて、第二の代表画像配置位置に配置されるべき第二の代表画像に含まれる人物表情情報を決定する表情情報決定部と、表情情報決定部が決定した人物表情情報が示す表情の人物を含む第二の代表画像を候補画像抽出部が抽出した候補画像から抽出する第二代表画像抽出部とを更に備えてもよい。

また、本発明の第２の形態においては、複数の候補画像から、代表画像として出力するための候補画像を抽出する画像抽出方法であって、複数の候補画像から所定の人物の顔画像が含まれる少なくとも一つの候補画像を抽出する候補画像抽出段階と、候補画像抽出段階が抽出した少なくとも一つの候補画像のうちの、所定の人物の通常の表情の顔画像とより差異が大きい、前記所定の人物の顔画像を含む候補画像を代表画像として抽出する代表画像抽出段階とを備える。

また、本発明の第３の形態においては、複数の候補画像から、代表画像として出力するための候補画像を抽出する画像抽出装置用の画像抽出プログラムであって、画像抽出装置を、複数の候補画像から所定の人物の顔画像が含まれる少なくとも一つの候補画像を抽出する候補画像抽出部、候補画像抽出部が抽出した少なくとも一つの候補画像のうちの、所定の人物の通常の表情の顔画像とより差異が大きい、前記所定の人物の顔画像を含む候補画像を代表画像として抽出する代表画像抽出部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、人物の表情が豊かな画像が含まれる候補画像を、代表画像として自動的に抽出できる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係る画像抽出装置１５０の概要を示す。画像抽出装置１５０は、複数の候補画像から代表画像として出力するための候補画像を抽出する。ここで、代表画像とは、アルバムの表紙を飾る画像、アルバムのページの中央に大きく配置される画像、及びアルバムの一ページ全体の背景に用いる画像等のアルバムの材料になる候補画像をいう。また、代表画像は、フォトスタンド等の表示装置の中央に大きく表示される画像、表示装置に強調されて表示される画像等であってもよい。例えば、人物の代表画像は、笑顔、怒った顔、泣き顔など、所定の人物の豊かな表情を撮像した候補画像である。なお、候補画像は、静止画または動画に含まれる動画構成画像であってよい。そして、動画に含まれる動画構成画像は、フレーム画像、フィールド画像、およびその他の動画を構成する様々な形式の画像のいずれであってもよい。

例えば、ユーザが動画を撮像した後、ネットワーク１８０を介して、画像抽出装置１５０に撮像された動画が供給される。なお、ネットワーク１８０は、例えば、インターネット及びＬＡＮ等である。また、メモリなどの磁気記憶媒体及び半導体記憶媒体等を用いた記録媒体を用いて、画像抽出装置１５０に撮像された動画を提供してもよい。更には、画像抽出装置１５０は、撮像された動画を、メモリ及びインターネット等を介して受け取るだけではなく、無線通信及び光通信等を介して受け取ってもよい。

そして、画像抽出装置１５０は、所定の人物、例えば、ユーザの友人、家族、ユーザ自身などが含まれる動画構成画像を抽出する。なお、所定の人物は、ユーザが自由に決定できる。そして、画像抽出装置１５０は、抽出された動画構成画像に含まれる所定の人物の顔画像と、当該人物における通常の表情の顔画像とを比較して、当該所定の人物の、差異が大きい顔画像が含まれる動画構成画像を、代表画像として抽出する。ここで、通常の表情とは、予め用意された画像に含まれる所定の人物の顔の表情であってよい。また、通常の表情とは、例えば、感情及び情緒などの表情が表れていない、すなわち無表情の顔つきであってよい。

画像抽出装置１５０が代表画像を抽出した後は、例えば、複数の代表画像をアルバムのテンプレートに含まれる画像の画像配置枠にレイアウトすることによって、アルバムを作成する。また、代表画像をアルバムの代表的な画像として、代表画像以外の画像を付属的な画像としてアルバムを作成してもよい。また、フォトスタンド等の表示装置に、他の動画構成画像よりも長い時間表示してもよい。更に、代表画像を含む、複数の動画構成画像を同一画面に表示する場合には、代表画像を表示装置の中央に大きく表示したり、代表画像を点滅等させて強調して表示してもよい。

本実施形態に係る画像抽出装置１５０は、所定の人物の、表情が豊かな画像が含まれる候補画像を、代表画像として自動的に抽出することを目的とする。

図２は、本実施形態に係る画像抽出装置１５０の機能構成の一例を示す。画像抽出装置１５０は、画像格納部１０、顔画像格納部２０、候補画像抽出部３０、顔画像抽出部４０、部位画像格納部５０、部位画像抽出部６０、平均部位形状算出部７０、平均顔情報生成部８０、平均顔情報格納部９０、顔画像比較部１００、第一代表画像抽出部１１０、表情変化算出部１２０、及び代表画像格納部１３０を備える。

画像格納部１０は、撮像された動画を格納する。また、顔画像格納部２０は、各人物に対応づけて、人物の顔画像及び顔画像情報を格納する。ここで、顔画像情報とは、例えば、人物の眼、鼻、口などの各部位の、顔の中における位置、及び各部位間の距離を示す情報などである。顔画像格納部２０は、顔画像及び顔画像情報を候補画像抽出部３０及び顔画像抽出部４０へ供給する。

候補画像抽出部３０は、例えば、顔画像格納部２０から受け取った所定の人物の顔画像と、画像格納部１０から受け取った動画の動画構成画像に含まれる人物の顔画像とをマッチングして、所定の人物が含まれる動画構成画像を抽出する。候補画像抽出部３０は、抽出された動画構成画像を、顔画像抽出部４０、顔画像比較部１００、及び表情変化算出部１２０へ供給する。顔画像抽出部４０は、候補画像抽出部３０において抽出された複数の動画構成画像のそれぞれから、所定の人物の顔画像をそれぞれ抽出する。

例えば、顔画像抽出部４０は、肌色抽出により人物の顔領域を抽出する。そして、顔画像格納部２０から受け取った所定の人物の顔画像と、抽出された動画構成画像に含まれる顔画像とをマッチングして、所定の人物の顔画像をそれぞれ抽出する。顔画像抽出部４０は、抽出した所定の人物の顔画像を、部位画像抽出部６０へ供給する。

部位画像格納部５０は、人物の顔の各部位に対応づけて、人物の顔画像に特徴的な各部位の画像を格納する。ここで、各部位とは、例えば、人物の眼、鼻、口、耳、眉、及び顔の輪郭などである。また、部位画像格納部５０は、各部位が顔の中で占める位置、及び各部位間の距離などの部位情報を格納してもよい。部位画像格納部５０は、部位画像を部位画像抽出部６０へ供給する。

部位画像抽出部６０は、顔画像抽出部４０において抽出された複数の顔画像のそれぞれから、複数の部位画像をそれぞれ抽出する。例えば、部位画像格納部５０から受け取った眼、鼻等の部位画像と、抽出された複数の顔画像の各部位とをマッチングして、複数の部位画像をそれぞれ抽出する。部位画像抽出部６０は、抽出された部位画像を平均部位形状算出部７０へ供給する。

平均部位形状算出部７０は、部位画像抽出部６０において抽出された複数の部位画像に基づいて、所定の人物における、部位ごとの平均的な形状を算出する。平均部位形状算出部７０は、算出された各部位の平均的な形状を、平均顔情報生成部８０へ供給する。平均顔情報生成部８０は、顔画像抽出部４０において抽出された複数の顔画像に基づいて、所定の人物の平均顔情報を生成する。また、平均顔情報生成部８０は、平均部位形状算出部７０において算出された部位ごとの平均的な形状に基づいて、所定の人物の平均顔情報を生成してもよい。

平均顔情報格納部９０は、所定の人物に対応づけて、所定の人物における通常の表情を示す平均顔情報を格納する。平均顔情報は、例えば、予め用意された所定の人物の顔画像、通常の表情の顔画像、及び所定の人物における通常の表情に含まれる各部位の位置を示す情報である。また、平均顔情報格納部９０は、平均顔情報生成部８０において生成された平均顔情報を所定の人物に対応づけて格納してもよい。平均顔情報格納部９０は、平均顔情報を顔画像比較部１００へ供給する。

顔画像比較部１００は、候補画像抽出部３０が抽出した候補画像に含まれる人物の顔画像を、平均顔情報格納部９０が格納する平均顔情報が示す顔画像と比較する。具体的には、候補画像が動画構成画像である場合には、顔画像比較部１００は、候補画像抽出部３０において抽出された複数の動画構成画像に含まれる顔画像のそれぞれを、平均顔情報格納部９０から受け取った平均顔情報が示す顔画像と比較する。例えば、動画構成画像に含まれる顔画像のそれぞれと、平均顔情報が示す顔画像とをマッチングして比較する。また、顔画像比較部１００は、動画構成画像に含まれる所定の人物の顔画像から、目、眉等の各部位の位置を検出して、平均顔情報の各部位の位置と比較してもよい。そして、顔画像比較部１００は、比較結果を第一代表画像抽出部１１０へ供給する。

第一代表画像抽出部１１０は、顔画像比較部１００から受け取った比較結果に基づいて、候補画像抽出部３０において抽出された複数の動画構成画像から、所定の人物の代表画像を抽出する。第一代表画像抽出部１１０は、予め用意された所定の人物の顔画像が含まれる動画構成画像、または通常の表情からの差異が大きい、当該所定の人物の顔画像が含まれる動画構成画像を、代表画像として抽出する。例えば、第一代表画像抽出部１１０は、通常の表情の顔画像と動画構成画像に含まれる顔画像とをマッチングして、顔画像が一致しない場合には、動画構成画像に含まれる顔画像に差異があると判断する。

そして、第一代表画像抽出部１１０は、差異があると判断された顔画像の中で、最も差異が大きい顔画像を含む動画構成画像を抽出する。例えば、第一代表画像抽出部１１０は、顔に含まれる各部位の通常の表情から算出される変位量が、所定の基準よりも大きい顔画像を含む動画構成画像を抽出する。なお、変位量の所定の基準はユーザ等が自由に設定できる。また、第一代表画像抽出部１１０は、予め用意された所定の人物の顔画像を含む画像と、候補画像抽出部３０が抽出した複数の動画構成画像とを比較することによって、予め定められた基準よりも表情の変化が大きい当該人物の顔画像を含む動画構成画像を抽出してもよい。

また、第一代表画像抽出部１１０は、顔画像比較部１００による比較結果に基づいて、代表画像を抽出してもよい。例えば、顔画像比較部１００の結果から、動画構成画像に含まれる所定の人物の顔画像と、当該人物の平均顔情報が示す顔画像とが一致しない場合、及び所定の基準値未満の一致度である場合には、差異が大きいとして当該動画構成画像を代表画像として抽出してもよい。なお、所定の基準値は、ユーザが自由に設定できる。

また、第一代表画像抽出部１１０は、表情変化算出部１２０において算出された所定の人物の顔画像における変化に基づいて、所定の人物の顔画像における変化が開始したときの動画構成画像、又は所定の人物の顔画像における変化が終了したときの動画構成画像を代表画像として抽出してもよい。そして、代表画像格納部１３０は、第一代表画像抽出部１１０によって抽出された代表画像を、動画構成画像に含まれている所定の人物に対応づけて格納する。

本実施形態に係る画像抽出装置１５０によれば、所定の人物の平均顔情報が示す顔画像と、動画構成画像に含まれる当該人物の顔画像とを比較して、平均顔情報が示す顔画像より差異が大きい当該人物の顔画像を含む代表画像を抽出できる。これにより、所定の人物の、表情が豊かな画像が撮像されている動画構成画像を、自動的に抽出できる。

図３は、顔の部位に設定された特徴点の平均位置を算出する方法の一例を示す。また、図４は、顔の部位の平均的な形状を算出する方法の一例を示す。平均部位形状算出部７０及び平均顔情報生成部８０は、例えば、眼、鼻、口、眉等の各部位に対して所定の特徴点を設定して、当該特徴点の位置の変位量に基づいて、部位ごとの平均的な形状及び平均顔情報を生成する。

例えば、図４の動画構成画像３１０ａに示すように、通常の表情における眉において、眉の端、中央などの複数の点に特徴点を設定する。そして、人物の表情の変化により眉の位置が変化した場合には、平均部位形状算出部７０は、通常の表情における各特徴点を基準点として、各特徴点の変位量を算出する。例えば、平均部位形状算出部７０は、通常の表情における動画構成画像３１０ａの眉の特徴点３０２の位置から、表情の変化がある場合の動画構成画像３２０ａにおける眉の特徴点３０２'の位置への変位量ｘを算出する。

平均部位形状算出部７０は、各動画構成画像における特徴点３０２の変位量から、図３におけるグラフ３００の点線３５０で表される、変位量の平均値ｙを算出する。これにより、眉の特徴点３０２の平均の位置は、図４の部位形状の平均画像３５２に示した特徴点３０２''として算出される。そして、平均部位形状算出部７０は、眉の各特徴点での変位量の平均値を算出する。その結果、各特徴点の変位量の平均値から、図４の部位形状の平均画像３５２に示すような、眉の平均的な形状が算出される。

なお、上記図３及び図４の説明においては、眉の一点の特徴点について説明したが、眉の平均的な形状を算出するには、複数の特徴点を用いてよい。また、眉に限らず、眼、鼻、口などの顔に含まれる各部位に複数の特徴点を設定して、各部位の平均的な形状を算出できる。更に、上記図３及び図４の説明においては、基準点として通常の表情における各部位の特徴点を基準点としているが、基準点の設定はこれに限られない。例えば、笑い顔等の表情がある顔における、各部位の特徴点を基準点としてもよい。

図５は、平均顔情報生成部８０が平均顔情報を生成する方法の一例を示す。平均顔情報生成部８０は、顔画像抽出部４０において抽出された複数の顔画像に基づいて、所定の人物の平均顔情報を生成する。例えば、平均顔情報生成部８０は、上記図３及び図４の説明において述べたように、顔に含まれる各部位の平均的な形状を算出する。そして、平均顔情報生成部８０は、算出された各部位の平均的な形状を合成して、所定の人物の平均顔情報を生成する。

例えば、平均顔情報生成部８０は、動画構成画像３１０ｂ、動画構成画像３２０ｂ、及び動画構成画像３４０ｂを含む複数の動画構成画像から、所定の人物の平均顔情報を算出して、所定の人物における顔の平均画像３５４を生成する。なお、一般的に、動画においては、人物の表情は通常の表情であることが多いので、平均顔情報は、通常の表情に近い顔画像の情報となる。

本実施形態に係る画像抽出装置１５０によれば、動画から抽出した複数の動画構成画像から、所定の人物の平均顔情報を生成できる。これにより、通常の表情に近い平均顔情報からの差異が大きい当該人物の顔画像を含む動画構成画像を抽出できるので、所定の人物の表情が変化した顔画像を自動的、かつ、確実に抽出できる。

図６は、第一代表画像抽出部１１０が代表画像４０８を抽出する方法の一例を示す。表情変化算出部１２０は、候補画像抽出部３０において抽出された複数の動画構成画像から、所定の人物の顔画像における変化を算出する。そして、第一代表画像抽出部１１０は、表情変化算出部１２０において算出された所定の人物の顔画像における変化に基づいて、代表画像を抽出する。

表情変化算出部１２０は、所定の人物の眉、口等に設定された特徴点の変位量を算出する。例えば、各動画構成画像において眉の特徴点の変位量を算出する（グラフ４００）。第一代表画像抽出部１１０は、変位量が変化した動画構成画像において、顔画像の変化が開始した判断する。そして、顔画像の開始したと判断された動画構成画像を、第一代表画像抽出部１１０は、その人物の代表画像として抽出する。

また、第一代表画像抽出部１１０は、例えば、各動画構成画像において、眉の特徴点の変位量の変化が終了した点において、顔画像の変化が終了したと判断する。そして、顔画像の変化が終了したと判断された動画構成画像を、第一代表画像抽出部１１０は、その人物の代表画像４０８として抽出してもよい。なお、顔画像の変化の開始、又は終了の判断は、眉の特徴点の変化に限られず、各部位の特徴点、又は複数の部位の特徴点を基準に判断してもよい。

図７は、画像抽出装置１５０の処理の一例を示す。まず、表情変化算出部１２０が、候補画像抽出部３０において抽出された動画構成画像に含まれる、所定の人物の顔画像における変化を算出する（Ｓ１０００）。続いて、第一代表画像抽出部１１０は、表情変化算出部１２０において算出された所定の人物の顔画像における変化に基づいて、所定の人物における顔画像の変化が開始したか否かを判断する（Ｓ１０１０）。顔画像の変化が開始した場合には（Ｓ１０１０：Ｙｅｓ）、第一代表画像抽出部１１０は、所定の人物の顔画像における変化が開始したときの動画構成画像を、代表画像として抽出する（Ｓ１０２０）。

また、候補画像抽出部３０は、表情変化算出部１２０が算出した所定の人物の顔画像における変化に基づいて、所定の人物における顔画像の変化が終了したか否かを判断する（Ｓ１０３０）。顔画像の変化が終了した場合には（Ｓ１０３０：Ｙｅｓ）、第一代表画像抽出部１１０は、所定の人物の顔画像における変化が終了したときの動画構成画像を、代表画像として更に抽出してもよい（Ｓ１０４０）。

本実施形態に係る画像抽出装置１５０によれば、所定の人物の顔画像における変化が開始したときの動画構成画像、又は変化が終了したときの動画構成画像を代表画像として抽出できる。これにより、顔画像が変化した動画構成画像を自動的、かつ、確実に抽出できるので、所定の人物の豊かな表情が撮像された動画構成画像を、ユーザは容易に利用できる。

図８は、本発明の他の形態に係る画像抽出装置１５０の機能構成の一例を示す。画像抽出装置１５０は、テンプレート格納部１２、代表画像抽出ユニット１０５、表情情報決定部１２５、画像レイアウト部１４０、および画像出力部１４５を備える。また、代表画像抽出ユニット１０５は、第一代表画像抽出部１１０および第二代表画像抽出部１１２を有する。なお、本実施形態に係る画像抽出装置１５０は、図１から図８の上記説明において説明した画像抽出装置１５０の構成、および機能の一部または全部を更に備えてよい。

テンプレート格納部１２は、画像を配置する画像配置位置と当該画像配置位置に配置されるべき代表画像を識別する情報である合成情報とが予め定められた出力領域のテンプレートを格納している。アルバムページのテンプレートは、テンプレート格納部１２が格納するテンプレートの一例である。そして、アルバムページは、表紙、見開きページ、および見開きページの一ページ等であってよい。ここで、合成情報は、代表画像に含まれる人物の表情を示す人物表情情報であってよく、人物表情情報は、例えば、人物の表情の変位量を示す表情変位情報および人物の表情の種類を示す表情種類情報であってよい。また、テンプレート格納部１２は、第一の代表画像が配置されるべき第一の代表画像配置位置、および第二の代表画像が配置されるべき第二の代表画像配置位置が予め定められた出力領域のテンプレートを格納する。テンプレート格納部１２は、第一代表画像抽出部１１０の制御に基づいて、テンプレートに含まれる画像配置位置に対応付けられた合成情報を、第一代表画像抽出部１１０に供給する。また、テンプレート格納部１２は、画像レイアウト部１４０の制御に基づいて、アルバムのテンプレートを画像レイアウト部１４０に供給する。

なお、第一の代表画像の例としては、主画像が挙げられる。主画像とは、閲覧者に対してアルバム等のページにおいて最も強く印象づけることが意図されている画像をいう。例えば主画像とは、アルバム等における主人公が含まれている画像であってよい。また、主画像は、ページに配置された複数の画像のうち、最も強調された画像であってよい。具体的には、主画像とは、他の画像に比べてサイズが大きい画像、他の画像に比べて前面に配置される画像、最も中央寄りに配置される画像であってよい。他にも主画像とは、周囲を枠で強調された画像、被写体にエフェクト等の視覚効果が施された画像等であってもよい。また、本実施形態でいう第二の代表画像とは従画像であってよい。ここで、従画像とは、アルバム等における主人公を除く被写体が含まれる画像であってよい。また、従画像とは、主画像よりも小さく、中央より外に配置される画像であってよい。

画像格納部１０は、複数の候補画像を格納している。候補画像は、静止画および動画のいずれであってもよい。そして、画像格納部１０は、動画を格納する場合には、動画を構成する複数の動画構成画像を格納してもよい。画像格納部１０は、候補画像抽出部３０の制御に基づいて、格納している候補画像を候補画像抽出部３０に供給する。なお、画像格納部１０が格納している候補画像にはそれぞれ、合成情報が対応づけられていてよい。合成情報は、人物表情情報、表情変位情報、および表情種類情報だけではなく、画像に含まれるオブジェクト名、人物名、当該人物の配役（アルバムの種類に応じた、当該アルバムにおける主人公である旨の情報等）、主人公の画像内での位置を示す情報、画像に含まれる人物の誕生日、画像を撮像したときの合焦距離、撮像日時、および撮像場所等の撮像情報、および画像が有する方向成分等、画像配置位置に配置されるべき画像の特徴を示す情報であってよい。

候補画像抽出部３０は、複数の候補画像から所定の人物の顔画像が含まれる少なくとも一つの候補画像を抽出する。具体的には、候補画像抽出部３０は、候補画像が静止画の場合には、静止画に含まれる人物の顔、服の色等に基づいて同一人物を含む複数の候補画像を抽出してよい。例えば、候補画像抽出部３０は、静止画に含まれる人物の顔を肌色抽出等の画像処理により抽出して、抽出した人物の顔を含む複数の候補画像のそれぞれをマッチングすることにより、同一人物が含まれる静止画を、候補画像として抽出してよい。候補画像抽出部３０は、抽出した候補画像を、代表画像抽出ユニット１０５に供給する。具体的には、候補画像抽出部３０は、抽出した候補画像を、第一代表画像抽出部１１０に供給する。

代表画像抽出ユニット１０５は、候補画像抽出部３０から受け取った複数の候補画像から、所定の人物の代表画像を抽出する。具体的には、代表画像抽出ユニット１０５が有する第一代表画像抽出部１１０が、候補画像抽出部３０から受け取った複数の候補画像のうちの、所定の人物の通常の表情の顔画像とより差異が大きい、当該人物の顔画像を含む候補画像を第一の代表画像として抽出する。また、第一代表画像抽出部１１０は、テンプレート格納部１２に働きかけて、テンプレートをテンプレート格納部１２から受け取る。そして、第一代表画像抽出部１１０は、テンプレート格納部１２から受け取ったテンプレートに含まれる画像配置位置に対応づけられている合成情報に基づいて、候補画像抽出部３０から受け取った複数の候補画像の中から、第一の代表画像を抽出する。

具体的には、第一代表画像抽出部１１０は、テンプレート格納部１２から受け取ったテンプレートに含まれる画像配置位置に対応づけられている人物表情情報が示す人物の表情と、候補画像抽出部３０が抽出した候補画像に含まれる人物の表情とが一致する候補画像を、第一の代表画像として抽出する。例えば、人物表情情報が表情変位情報である場合には、画像配置位置に対応づけられた表情変位情報が示す表情の変位量と、候補画像に含まれる人物の表情の変位量とが一致する候補画像を、第一代表画像抽出部１１０は、第一の代表画像として抽出する。具体的には、表情変位情報は、所定の人物の顔に含まれる眉等の部位の位置が、当該人物の通常の表情における当該部位の位置からの変位が所定値以上であることを示す情報であってよい。また、表情変位情報は、所定の人物の顔に含まれる眉等の部位の位置が、当該人物の通常の表情における当該部位の位置からの変位が所定値未満であることを示す情報であってもよい。

例えば、候補画像に含まれる人物の顔に含まれる部位の変位を、顔画像比較部１００が、候補画像と平均顔情報格納部９０に格納されている平均顔情報が示す顔画像とを比較することにより算出する。そして、顔画像比較部１００は、所定の人物における通常の表情における所定の部位の位置から当該人物の当該部位の位置の変位が最大の位置までの距離を算出する。ここで、当該距離の所定の割合以上だけ当該部位の位置の変位があった場合に、当該人物の表情に差異が生じたと判断する旨を示す情報が表情変位情報として、画像配置位置および候補画像に対応づけられていてよい。そして、第一代表画像抽出部１１０は、画像配置位置に対応づけられている当該部位の表情変位情報が示す変位と、顔画像比較部１００が算出した候補画像の人物の顔に含まれる当該部位の変位とを比較して、候補画像に含まれる人物の顔に含まれる当該部位の変位と表情変位情報が示す当該部位の変位とが一致する候補画像を、第一の代表画像として抽出する。また、第一代表画像抽出部１１０は、候補画像に含まれる所定の人物の所定の部位の変位量が、表情変位情報が示す変位量よりも小さい変位量を示す部位を含む人物の候補画像を、第一の代表画像として抽出してもよい。

また、画像配置位置には、当該画像配置位置に配置されるべき画像に含まれる人物の表情を示す表情種類情報が対応づけられていてよい。表情種類情報は、笑い顔、泣き顔、すまし顔、および怒った顔等の表情を示す情報であってよい。また、候補画像には、当該候補画像に含まれる人物の表情を示す情報を付帯させていてよい。例えば、候補画像に、当該候補画像に含まれる人物の表情を示す情報として、笑い顔、泣き顔、すまし顔、および怒った顔等の表情を示す情報を付帯させてよい。そして、第一代表画像抽出部１１０は、テンプレート格納部１２から受け取ったテンプレートに含まれる画像配置位置に対応づけられている表情種類情報を読み取って、読み取った表情種類情報が示す表情と一致する表情の人物を含む候補画像を、第一の代表画像として抽出する。第一代表画像抽出部１１０は抽出した第一の代表画像を、画像レイアウト部１４０に供給する。また、第一代表画像抽出部１１０は、抽出した第一の代表画像に含まれる人物の表情を示す人物表情情報を、表情情報決定部１２５に供給する。

表情情報決定部１２５は、第一代表画像抽出部１１０から受け取った人物表情情報に応じて、第二の代表画像配置位置に配置されるべき第二の代表画像に含まれる人物表情情報を決定する。例えば、表情情報決定部１２５は、第一の代表画像に含まれる人物の表情の変位量が所定値以上の場合に、第二の代表画像配置位置に配置されるべき第二の代表画像に含まれる人物の表情の変位量も所定値以上となる旨の情報を、第二の代表画像配置位置に対応づけてよい。また、表情情報決定部１２５は、第一の代表画像に含まれる人物の表情の変位量が所定値以上の場合に、第二の代表画像配置位置に配置されるべき第二の代表画像に含まれる人物の表情の変位量が所定値未満となる旨の情報を、第二の代表画像配置位置に対応づけてもよい。更に、表情情報決定部１２５は、第一の代表画像に含まれる人物の表情の種類に対応づけて、第二の代表画像配置位置に配置されるべき第二の代表画像に含まれる人物の表情の種類を示す情報を、第二の代表画像配置位置に対応づけてもよい。例えば、表情情報決定部１２５は、第一の代表画像に含まれる人物の表情の種類が、笑っている表情である場合に、第二の代表画像に含まれる人物が笑っている表情である旨を示す情報を、第二の代表画像配置位置に対応づけてよい。また、表情情報決定部１２５は、第一の代表画像に含まれる人物の表情の種類が、泣いている表情である場合に、第二の代表画像に含まれる人物が笑っている表情である旨を示す情報を、第二の代表画像配置位置に対応づけてもよい。表情情報決定部１２５は、決定した人物表情情報を第二代表画像抽出部１１２に供給する。

代表画像抽出ユニット１０５が有する第二代表画像抽出部１１２は、表情情報決定部１２５から受け取った人物表情情報が示す表情の人物を含む第二の代表画像を、候補画像抽出部３０が抽出した候補画像の中から抽出する。例えば、人物表情情報が人物の表情の種類を示す情報である場合には、第二代表画像抽出部１１２は、表情情報決定部１２５から受け取った人物表情情報が示す表情の種類と候補画像に対応づけられている人物の表情の種類とを比較して、人物表情情報が示す表情の種類と一致する表情の人物を含む候補画像を、第二の代表画像として抽出する。また、第二代表画像抽出部１１２は、表情情報決定部１２５から、第二の代表画像配置位置に配置されるべき第二の代表画像に含まれる人物の表情の変位量が所定値以上となる旨の情報を受け取った場合には、当該人物の表情の変位量が所定値以上である人物を含む候補画像を第二の代表画像として抽出する。更に、第二代表画像抽出部１１２は、第二の代表画像に含まれる人物の表情の変位量が所定値未満となる旨の情報を受け取った場合には、当該人物の表情の変位量が所定値未満である人物を含む候補画像を第二の代表画像として抽出する。第二代表画像抽出部１１２は、抽出した第二の代表画像を画像レイアウト部１４０に供給する。

画像レイアウト部１４０は、受け取った第一の代表画像および受け取った第二の代表画像を、テンプレートの画像配置位置にそれぞれレイアウトする。具体的には、画像レイアウト部１４０は、第一の代表画像を第一の画像配置位置にレイアウトする。そして、画像レイアウト部１４０は、第二の代表画像を第二の画像配置位置にレイアウトする。画像レイアウト部１４０は、第一の代表画像および第二の代表画像をレイアウトした後のテンプレートを、画像出力部１４５に供給する。画像出力部１４５は、画像レイアウト部１４０から受け取ったテンプレートを出力する。例えば、画像出力部１４５は印刷装置であってよく、紙媒体に画像がレイアウトされたテンプレートを印刷して、アルバムを作成してよい。また、画像出力部１４５は、画像がレイアウトされたテンプレートをＤＶＤ等の記録媒体に記録させてもよい。更には、画像出力部１４５は、モニタ等の表示装置に画像がレイアウトされたテンプレートを表示してもよい。

本実施形態に係る画像抽出装置１５０によれば、アルバム等のテンプレートに含まれる画像を配置する画像配置枠に、当該画像配置枠に配置される画像に含まれるべき人物の表情を示す情報を予め対応づけており、当該情報が示す人物の表情と一致する表情を有する当該人物が含まれる候補画像を代表画像として自動的に抽出できるので、アルバム等のテンプレートに画像を配置する場合において、多数の画像の中からユーザ自身が所望する画像を選択する手間および時間を省くことができる。

図９は、本実施形態に係るテンプレート格納部１２が格納しているテンプレート１２００の一例を示す。テンプレート格納部１２は、画像配置位置と当該画像配置位置に配置されるべき画像の合成情報とが予め定められた出力領域のテンプレートを格納している。なお、画像配置位置には画像を配置すべき画像配置枠が対応づけられていてよく、一つの出力領域に複数の画像配置位置が含まれていてよい。また、画像配置位置に対応づけられている画像配置枠は略円形、略多角形、および画像に含まれるオブジェクトの形状等の形状であってよい。

例えば、テンプレート１２００には画像配置枠１２１０および画像配置枠１２２０が含まれている。そして、画像配置枠１２１０には合成情報１２１２が対応づけられており、画像配置枠１２２０には合成情報１２２２が対応づけられている。係る場合において、代表画像抽出ユニット１０５は、例えば、画像配置枠１２２０に対応づけられている合成情報１２２２を抽出して、合成情報１２２２と一致する情報を有する候補画像を抽出する。例えば、合成情報１２２２に所定の人物の表情の種類に関する情報が対応づけられていた場合には、代表画像抽出ユニット１０５は、当該人物の表情の種類に関する情報と一致する情報を有する候補画像を、候補画像抽出部３０が抽出した複数の候補画像の中から代表画像として抽出する。そして、画像レイアウト部１４０は、代表画像抽出ユニット１０５が抽出した代表画像を、画像配置枠１２２０にレイアウトする。

また、例えば、合成情報１２２２に所定の人物の表情の変位量を示す表情変位情報が対応づけられていた場合には、代表画像抽出ユニット１０５は、当該人物の表情の変位量に関する情報と一致する情報を有する候補画像を、候補画像抽出部３０が抽出した複数の候補画像の中から代表画像として抽出する。より具体的には、眉等の所定の部位の当該人物の平均の顔での位置からの変位量が所定値以上であることを示す表情変位情報が合成情報１２２２として画像配置枠１２２０に対応づけられていた場合には、代表画像抽出ユニット１０５は、複数の候補画像の中に含まれる当該人物の顔の当該部位の変位量が、当該表情変位情報が示す変位量以上である当該人物の顔を含む候補画像を、代表画像として抽出する。そして、画像レイアウト部１４０は、代表画像抽出ユニット１０５が抽出した代表画像を、画像配置枠１２２０にレイアウトする。

図１０は、本実施形態に係る表情情報決定部１２５の処理の一例を示す。例えば、テンプレート１３００が有する第一の画像配置枠１３０２に笑っている人物を含む代表画像を配置すべき旨を示す表情種類情報が対応づけられている場合を考える。係る場合において、第一代表画像抽出部１１０は、テンプレート格納部１２から画像配置枠１３０２に対応づけられている表情種類情報を受け取る。そして、第一代表画像抽出部１１０は、候補画像抽出部３０が抽出した候補画像の中から、テンプレート格納部１２から受け取った表情種類情報が示す人物の表情と一致する表情を有する人物が含まれる候補画像を、第一の代表画像として抽出する。続いて、第一代表画像抽出部１１０から第一の代表画像の表情種類情報を受け取った表情情報決定部１２５は、受け取った表情種類情報が示す表情と同一の表情を示す人物が含まれる候補画像が第二の代表画像として抽出されるために、画像配置枠１３０４および画像配置枠１３０６に所定の表情種類情報を対応づけてよい。具体的には、表情情報決定部１２５は、画像配置枠１３０４および画像配置枠１３０６に、笑っている人物が含まれる第二の代表画像がそれぞれ配置されるように、画像配置枠１３０４および画像配置枠１３０６にそれぞれ、笑っている人物が含まれる代表画像が配置されるべき旨を示す表情種類情報を対応づけてよい。

図１１は、本実施形態に係る表情情報決定部１２５の処理の一例を示す。例えば、テンプレート１３１０が有する第一の画像配置枠１３１２に泣いている人物を含む代表画像を配置すべき旨を示す表情種類情報が対応づけられている場合を考える。係る場合において、第一代表画像抽出部１１０は、テンプレート格納部１２から画像配置枠１３１２に対応づけられている表情種類情報を受け取る。そして、第一代表画像抽出部１１０は、候補画像抽出部３０が抽出した候補画像の中から、テンプレート格納部１２から受け取った表情種類情報が示す人物の表情と一致する表情を有する人物が含まれる候補画像を、第一の代表画像として抽出する。続いて、第一代表画像抽出部１１０から第一の代表画像の表情種類情報を受け取った表情情報決定部１２５は、受け取った表情種類情報が示す表情と同一の表情を示す人物が含まれる候補画像が第二の代表画像として抽出されるために、画像配置枠１３１４および画像配置枠１３１６に所定の表情種類情報を対応づけてよい。具体的には、表情情報決定部１２５は、画像配置枠１３１４および画像配置枠１３１６に、笑っている人物が含まれる第二の代表画像がそれぞれ配置されるように、画像配置枠１３１４および画像配置枠１３１６にそれぞれ、笑っている人物が含まれる代表画像が配置されるべき旨を示す表情種類情報を対応づけてよい。

図１２は、本実施形態に係る画像抽出装置１５０のハードウェア構成の一例を示す。本実施形態に係る画像抽出装置１５０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワーク１８０を介して他の装置と通信する。ハードディスクドライブ１５４０は、画像抽出装置１５０内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像抽出装置１５０が起動時に実行するブート・プログラム及び画像抽出装置１５０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、及びマウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される画像抽出プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。画像抽出プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して画像抽出装置１５０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。画像抽出装置１５０にインストールされて実行される画像抽出プログラムは、ＣＰＵ１５０５等に働きかけて、画像抽出装置１５０を、図１から図１１にかけて説明した画像格納部１０、顔画像格納部２０、候補画像抽出部３０、顔画像抽出部４０、部位画像格納部５０、部位画像抽出部６０、平均部位形状算出部７０、平均顔情報生成部８０、平均顔情報格納部９０、顔画像比較部１００、第一代表画像抽出部１１０、表情変化算出部１２０、代表画像格納部１３０、テンプレート格納部１２、代表画像抽出ユニット１０５、表情情報決定部１２５、画像レイアウト部１４０、画像出力部１４５、第一代表画像抽出部１１０、および第二代表画像抽出部１１２として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

画像抽出装置１５０の概念図である。 画像抽出装置１５０の機能構成を示すブロック図である。 顔の部位に設定した特徴点の平均位置を算出する方法を示す図である。 顔の部位の平均的な形状を算出する方法を示す図である。 平均顔情報生成部８０が平均顔情報を生成する方法を示す図である。 第一代表画像抽出部１１０が代表画像を抽出する方法を示す図である。 画像抽出装置１５０の処理を示すフロー図である。 画像抽出装置１５０の機能構成を示すブロック図である。 テンプレート１２００を示す図である。 表情情報決定部１２５の処理を示す図である。 表情情報決定部１２５の処理を示す図である。 画像抽出装置１５０のハードウェア構成を示すブロック図である。

符号の説明

１０ 画像格納部
１２ テンプレート格納部
２０ 顔画像格納部
３０ 候補画像抽出部
４０ 顔画像抽出部
５０ 部位画像格納部
６０ 部位画像抽出部
７０ 平均部位形状算出部
８０ 平均顔情報生成部
９０ 平均顔情報格納部
１００ 顔画像比較部
１０５ 代表画像抽出ユニット
１１０ 第一代表画像抽出部
１１２ 第二代表画像抽出部
１２０ 表情変化算出部
１２５ 表情情報決定部
１３０ 代表画像格納部
１４０ 画像レイアウト部
１４５ 画像出力部
１５０ 画像抽出装置
１８０ ネットワーク
３００ グラフ
３１０、３２０、３４０ 動画構成画像
３０２ 特徴点
３５０ 点線
３５２ 平均画像
３５４ 平均画像
４００ グラフ
４０２ 動画構成画像
４０８ 代表画像
１２００ テンプレート
１２１０、１２２０ 画像配置枠
１２１２、１２２２ 合成情報
１３００、１３１０ テンプレート
１３０２、１３０４、１３０６ 画像配置枠
１３１２、１３１４、１３１６ 画像配置枠
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ

Claims (14)

1. 複数の候補画像から、代表画像として出力するための候補画像を抽出する画像抽出装置であって、
   複数の候補画像から所定の人物の顔画像が含まれる少なくとも一つの候補画像を抽出する候補画像抽出部と、
   前記候補画像抽出部が抽出した少なくとも一つの候補画像のうちの、前記所定の人物の予め用意された顔画像とより差異が大きい、前記所定の人物の顔画像を含む候補画像を第一の代表画像として抽出する第一代表画像抽出部と
   を備える画像抽出装置。
2. 前記所定の人物に対応づけて、当該所定の人物の顔画像を示す平均顔情報を格納する平均顔情報格納部と、
   前記候補画像抽出部が抽出した候補画像に含まれる顔画像を、前記平均顔情報格納部が格納する平均顔情報が示す顔画像と比較する顔画像比較部と
   を更に備え、
   前記第一代表画像抽出部は、前記顔画像比較部による比較結果に基づいて、前記候補画像抽出部が抽出した候補画像のうちの、前記平均顔情報格納部が格納する平均顔情報が示す顔画像とより差異が大きい顔画像を含む候補画像を第一の代表画像として抽出する
   請求項１に記載の画像抽出装置。
3. 前記候補画像抽出部が抽出した複数の候補画像のそれぞれから、前記所定の人物の顔画像をそれぞれ抽出する顔画像抽出部と、
   前記顔画像抽出部が抽出した複数の顔画像に基づいて、前記所定の人物の平均顔情報を生成する平均顔情報生成部と
   を更に備え、
   前記平均顔情報格納部は、前記平均顔情報生成部が生成した平均顔情報を前記所定の人物に対応づけて格納する
   請求項２に記載の画像抽出装置。
4. 前記候補画像は、動画に含まれる動画構成画像であり、
   前記候補画像抽出部は、動画から所定の人物の顔画像が含まれる動画構成画像を抽出し、
   前記第一代表画像抽出部は、前記候補画像抽出部が抽出した複数の動画構成画像のうちの、前記所定の人物の予め用意された顔画像とより差異が大きい、前記所定の人物の顔画像を含む動画構成画像を第一の代表画像として抽出する
   請求項１に記載の画像抽出装置。
5. 前記所定の人物に対応づけて、当該所定の人物の顔画像を示す平均顔情報を格納する平均顔情報格納部と、
   前記候補画像抽出部が抽出した複数の動画構成画像に含まれる顔画像のそれぞれを、前記平均顔情報格納部が格納する平均顔情報が示す顔画像と比較する顔画像比較部と
   をさらに備え、
   前記第一代表画像抽出部は、前記顔画像比較部による比較結果に基づいて、前記候補画像抽出部が抽出した動画構成画像のうちの、前記平均顔情報格納部が格納する平均顔情報が示す顔画像とより差異が大きい顔画像を含む動画構成画像を第一の代表画像として抽出する
   請求項４に記載の画像抽出装置。
6. 前記候補画像抽出部が抽出した複数の動画構成画像のそれぞれから、前記所定の人物の顔画像をそれぞれ抽出する顔画像抽出部と、
   前記顔画像抽出部が抽出した複数の顔画像に基づいて、前記所定の人物の平均顔情報を生成する平均顔情報生成部と
   をさらに備え、
   前記平均顔情報格納部は、前記平均顔情報生成部が生成した平均顔情報を前記所定の人物に対応づけて格納する
   請求項５に記載の画像抽出装置。
7. 前記顔画像抽出部が抽出した複数の顔画像のそれぞれから、複数の部位画像をそれぞれ抽出する部位画像抽出部と、
   前記部位画像抽出部が抽出した複数の部位画像に基づいて、部位毎の平均的な形状を算出する平均部位形状算出部と
   をさらに備え、
   前記平均顔情報生成部は、前記平均部位形状算出部が算出した部位毎の平均的な形状に基づいて、前記所定の人物の平均顔情報を生成する
   請求項６に記載の画像抽出装置。
8. 前記候補画像抽出部が抽出した複数の動画構成画像における、前記所定の人物の顔画像の変化を算出する表情変化算出部
   をさらに備え、
   前記第一代表画像抽出部は、前記表情変化算出部が算出した前記所定の人物の顔画像の変化に基づいて、前記所定の人物の顔画像の変化が開始したときの動画構成画像、又は前記所定の人物の顔画像の変化が終了したときの動画構成画像を第一の代表画像として抽出する
   請求項４に記載の画像抽出装置。
9. 画像配置位置と当該画像配置位置に配置されるべき代表画像に含まれる人物の表情を示す人物表情情報とが予め定められた出力領域のテンプレートを格納しているテンプレート格納部を更に備え、
   前記第一代表画像抽出部は、前記テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられている人物表情情報が示す人物の表情と、前記候補画像抽出部が抽出した候補画像に含まれる人物の表情とが一致する候補画像を第一の代表画像として抽出する
   請求項１に記載の画像抽出装置。
10. 前記テンプレート格納部は、画像配置位置と当該画像配置位置に配置されるべき第一の代表画像に含まれる人物の表情の変位量を示す表情変位情報とが予め定められた出力領域のテンプレートを格納し、
    前記第一代表画像抽出部は、前記テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられている表情変位情報が示す人物の表情の変位量と、前記候補画像抽出部が抽出した候補画像に含まれる人物の表情の変位量とが一致する候補画像を第一の代表画像として抽出する
    請求項９に記載の画像抽出装置。
11. 前記テンプレート格納部は、画像配置位置と当該画像配置位置に配置されるべき第一の代表画像に含まれる人物の表情の種類を示す表情種類情報とが予め定められた出力領域のテンプレートを格納し、
    前記第一代表画像抽出部は、前記テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられている表情種類情報が示す人物の表情の種類と、前記候補画像抽出部が抽出した候補画像に含まれる人物の表情の種類とが一致する候補画像を第一の代表画像として抽出する
    請求項９に記載の画像抽出装置。
12. 第一の代表画像が配置されるべき第一の代表画像配置位置、および第二の代表画像が配置されるべき第二の代表画像配置位置が予め定められた出力領域のテンプレートを格納するテンプレート格納部と、
    前記第一代表画像抽出部が抽出した第一の代表画像に含まれる人物の表情を示す人物表情情報に応じて、前記第二の代表画像配置位置に配置されるべき第二の代表画像に含まれる人物表情情報を決定する表情情報決定部と、
    前記表情情報決定部が決定した人物表情情報が示す表情の人物を含む第二の代表画像を前記候補画像抽出部が抽出した候補画像から抽出する第二代表画像抽出部と
    を更に備える請求項１に記載の画像抽出装置。
13. 複数の候補画像から、代表画像として出力するための候補画像を抽出する画像抽出方法であって、
    複数の候補画像から所定の人物の顔画像が含まれる少なくとも一つの候補画像を抽出する候補画像抽出段階と、
    前記候補画像抽出段階が抽出した少なくとも一つの候補画像のうちの、前記所定の人物の予め用意された顔画像とより差異が大きい、前記所定の人物の顔画像を含む候補画像を代表画像として抽出する代表画像抽出段階と
    を備える画像抽出方法。
14. 複数の候補画像から、代表画像として出力するための候補画像を抽出する画像抽出装置用の画像抽出プログラムであって、前記画像抽出装置を、
    複数の候補画像から所定の人物の顔画像が含まれる少なくとも一つの候補画像を抽出する候補画像抽出部、
    前記候補画像抽出部が抽出した少なくとも一つの候補画像のうちの、前記所定の人物の予め用意された顔画像とより差異が大きい、前記所定の人物の顔画像を含む候補画像を代表画像として抽出する代表画像抽出部
    として機能させる画像抽出プログラム。
    

Images