JP2017010251A - 画像抽出装置、画像抽出方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】画像群から、ユーザにとって重要度が高い画像を正確に抽出することができる画像抽出装置、画像抽出方法、プログラムおよび記録媒体を提供する。【解決手段】画像抽出装置では、指示取得部が、ユーザにより入力された指示を取得し、画像群選択部が、指示に応じて、第１の画像群から、画像数が第１の画像群よりも少ない第２の画像群を選択する。そして、抽出基準決定部が、第１の画像群に含まれる画像に基づいて、第２の画像群から画像を抽出する際の画像抽出基準を決定し、画像抽出部が、第２の画像群から、画像抽出基準に応じて、画像数が第２の画像群よりも少ない１以上の画像を抽出する。【選択図】図１

Description

本発明は、画像群から、ユーザにとって重要度が高い画像を自動で抽出する画像抽出装置、画像抽出方法、プログラムおよび記録媒体に関するものである。

画像内容の解析として、顔検出／表情検出、人物認識、シーン検出（夜景、夕景、海、自然（緑）等）、オブジェクト検出（ペット、料理、花、電車、車等）等の技術が一般的に利用されている。また、画像群における人物の登場回数や、同じ画像中に撮影された人物の数および人物同士の顔の距離等基づいて、人物同士の関係性を判別する技術も既に公知である。特許文献１〜５に示すように、これらの技術を利用して、画像群からユーザにとって重要度が高い画像を自動で抽出することが行われている。

特許文献１には、複数の画像から複数の人物を認識し、認識結果に基づいて、人物間の親密度を算出し、異なる人物として認識された人物同士の親密度の差が、基準値以下である場合に、この人物同士が同一人物であると判定することが記載されている。

特許文献２には、複数の画像から複数の人物を認識し、認識結果に基づいて、複数の画像内の人物間の親密度を算出し、複数の画像のうち、鑑賞者との間の親密度が予め定められた基準値以上である人物が含まれる画像を選択することが記載されている。

特許文献３および４には、複数の画像から複数の人物を認識し、認識結果に基づいて、画像内の人物間の親密度である画像内親密度を算出し、画像内親密度に基づいて、複数の画像内の人物間の親密度であるアルバム内親密度を算出し、複数の画像のうち、鑑賞者との間のアルバム内親密度が予め定められた範囲に含まれる人物を含む画像を選択することが記載されている。

特許文献５には、多数の画像の中から顔画像を抽出し、重要な人物の顔画像を重要領域にドラッグ・アンド・ドロップし、電子アルバムに入れる必要の無い人物の顔画像を排除領域にドラッグ・アンド・ドロップすることが記載されている。

特開２００６−２３６２１６号公報 特開２００６−７９４６０号公報 特開２００６−８１０２１号公報 特許第４４９０２１４号公報 特開２０１４−１７４７８７号公報

画像群における人物間の関係性は、その画像群が含まれる上位の画像群（母集団）によって変化する。下記（１）および（２）の場合を例に挙げて説明する。
（１）家族の１年間の画像群の場合、家族（子、父母）中心の画像であり、特に子供の画像が多いことから、子供と関係性の高い画像が重要であると推測することができる。
（２）（１）の中に含まれる親戚の結婚式の画像群の場合、新郎・新婦中心の画像であることから、新郎・新婦と関係性の高い画像が重要であると推測することができる。

（１）および（２）それぞれの画像群だけを考慮した場合、上記のように、画像群に含まれる画像の画像特徴に基づいて、画像群に含まれる画像の中から、重要な画像を推測することができる。

しかし、（２）の親戚の結婚式の画像群が、（１）の家族の１年間の画像群の中の一部の画像群であるということが分かれば、（２）の親戚の結婚式の画像群においても、その上位に当たる画像群である（１）の家族の１年間の画像群における登場回数が多い家族の画像が重要であると推測することができる。これにより、（２）の結婚式の画像群における家族の登場回数が少ない場合であっても、（２）の結婚式画像群から、家族の画像を優先して抽出するといったことが可能となる。

本発明の目的は、従来技術の問題点を解消し、画像群から、ユーザにとって重要度が高い画像を正確に抽出することができる画像抽出装置、画像抽出方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、ユーザにより入力された指示を取得する指示取得部と、
指示に応じて、第１の画像群から、画像数が第１の画像群よりも少ない第２の画像群を選択する画像群選択部と、
第１の画像群に含まれる画像に基づいて、第２の画像群から画像を抽出する際の画像抽出基準を決定する抽出基準決定部と、
第２の画像群から、画像抽出基準に応じて、画像数が第２の画像群よりも少ない１以上の画像を抽出する画像抽出部とを備える画像抽出装置を提供するものである。

ここで、さらに、第１の画像群に含まれる画像を解析し、解析結果に基づいて、第１の画像群に含まれる画像に存在する人物同士の関係性を算出する画像解析部を備え、
抽出基準決定部は、人物同士の関係性に応じて画像抽出基準を決定することが好ましい。

画像解析部は、さらに、第２の画像群に含まれる画像の解析結果に基づいて、第２の画像群に含まれる画像に存在する人物同士の関係性を算出し、
抽出基準決定部は、さらに、第２の画像群に含まれる画像に存在する人物同士の関係性に応じて画像抽出基準を決定することが好ましい。

また、抽出基準決定部は、第１の画像群に含まれる画像に存在する人物同士の関係性よりも、第２の画像群に含まれる画像に存在する人物同士の関係性を優先して、画像抽出基準を決定することが好ましい。

また、画像解析部は、第１の画像群に含まれる画像に関する画像情報を取得する画像情報取得部と、
画像情報に基づいて、第１の画像群に含まれる画像の画像特徴を解析する画像特徴解析部と、
画像情報および画像特徴に基づいて、第１の画像群に含まれる画像に存在する人物同士の関係性を算出する関係性算出部とを備えることが好ましい。

また、関係性算出部は、人物同士の関係性から人物の重要度を決定し、
抽出基準決定部は、人物の重要度に応じて画像抽出基準を決定することが好ましい。

また、関係性算出部は、第１の画像群に含まれる画像に存在する人物の中から、第１の画像群における登場回数が閾値以上である１以上の人物を主人公に決定し、第１の画像群に含まれる画像に存在する主人公以外の人物の中から、第１の画像群に含まれる画像に存在する主人公との距離が閾値以下である１以上の人物を重要人物に決定し、
抽出基準決定部は、主人公および重要人物に応じて画像抽出基準を決定することが好ましい。

また、関係性算出部は、第１の画像群における登場回数が閾値以上である人物のうち、第１の画像群に含まれる画像の中心位置に存在する回数が閾値以上である人物を含む１以上の人物を主人公に決定することが好ましい。

また、関係性算出部は、第１の画像群における登場回数が閾値以上である人物のうち、第１の画像群に含まれる画像に正面向きで存在する回数が閾値以上である人物を含む１以上の人物を主人公に決定することが好ましい。

また、関係性算出部は、第１の画像群における登場回数が閾値以上である人物のうち、第１の画像群に含まれる画像に閾値以上の顔のサイズで存在する回数が閾値以上である人物を含む１以上の人物を主人公に決定することが好ましい。

関係性算出部は、さらに、第１の画像群に含まれる画像の中心位置に存在する主人公以外の２以上の人物を重要人物に決定することが好ましい。

関係性算出部は、さらに、第１の画像群に含まれる画像に正面向きで存在する主人公以外の２以上の人物を重要人物に決定することが好ましい。

関係性算出部は、さらに、第１の画像群に含まれる画像に閾値以上の顔のサイズで存在する主人公以外の２以上の人物を重要人物に決定することが好ましい。

関係性算出部は、さらに、第１の画像群に含まれる画像に存在する人物と人物以外のオブジェクトとの関係性を算出し、
抽出基準決定部は、さらに、第１の画像群に含まれる画像に存在する人物とオブジェクトとの関係性に応じて画像抽出基準を決定することが好ましい。

また、関係性算出部は、人物とオブジェクトとの関係性からオブジェクトの重要度を決定し、
抽出基準決定部は、オブジェクトの重要度に応じて画像抽出基準を決定することが好ましい。

また、関係性算出部は、第１の画像群に含まれる画像のシーンのうち、撮影回数が閾値以上であるシーンを重要シーンに決定し、第１の画像群に含まれる画像に存在し、かつ、重要シーンとの関係性が閾値以上である人物およびオブジェクトを重要人物および重要オブジェクトに決定し、
抽出基準決定部は、主人公、重要人物および重要オブジェクトに応じて画像抽出基準を決定することが好ましい。

また、関係性算出部は、第１の画像群に含まれる画像の撮影日付のうち、撮影回数が閾値以上である撮影日付を重要撮影日付に決定し、第１の画像群に含まれる画像に存在し、かつ、重要撮影日付との関係性が閾値以上である人物、オブジェクトおよびシーンを重要人物、重要オブジェクトおよび重要シーンに決定し、
抽出基準決定部は、主人公、重要人物、重要オブジェクトおよび重要シーンに応じて画像抽出基準を決定することが好ましい。

また、撮影日付は、撮影時間帯、撮影日、撮影月または撮影季節であることが好ましい。

また、関係性算出部は、第１の画像群に含まれる画像の撮影場所のうち、撮影回数が閾値以上である撮影場所を重要撮影場所に決定し、第１の画像群に含まれる画像に存在し、かつ、重要撮影場所との関係性が閾値以上である人物、オブジェクトおよびシーンを重要人物、重要オブジェクトおよび重要シーンに決定し、
抽出基準決定部は、主人公、重要人物、重要オブジェクトおよび重要シーンに応じて画像抽出基準を決定することが好ましい。

さらに、第１の画像群から、画像解析部により解析される画像群を決定する画像群決定部を備えることが好ましい。

また、指示取得部は、撮影日付で分類された第１の画像群から、ユーザにより入力された一定範囲内の撮影日付で撮影された第２の画像群を選択する指示を取得することが好ましい。

また、指示取得部は、撮影場所で分類された第１の画像群から、ユーザにより入力された一定範囲内の撮影場所で撮影された第２の画像群を選択する指示を取得することが好ましい。

また、指示取得部は、フォルダで分類された第１の画像群から、ユーザにより入力された一定範囲内のフォルダに含まれる第２の画像群を選択する指示を取得することが好ましい。

また、本発明は、指示取得部が、ユーザにより入力された指示を取得するステップと、
画像群選択部が、指示に応じて、第１の画像群から、画像数が第１の画像群よりも少ない第２の画像群を選択するステップと、
抽出基準決定部が、第１の画像群に含まれる画像に基づいて、第２の画像群から画像を抽出する際の画像抽出基準を決定するステップと、
画像抽出部が、第２の画像群から、画像抽出基準に応じて、画像数が第２の画像群よりも少ない１以上の画像を抽出するステップとを含む画像抽出方法を提供する。

ここで、さらに、画像解析部が、第１の画像群に含まれる画像を解析し、解析結果に基づいて、第１の画像群に含まれる画像に存在する人物同士の関係性を算出するステップを含み、
抽出基準決定部は、人物同士の関係性に応じて画像抽出基準を決定することが好ましい。

また、画像解析部が人物同士の関係性を算出するステップは、
画像情報取得部が、第１の画像群に含まれる画像に関する画像情報を取得するステップと、
画像特徴解析部が、画像情報に基づいて、第１の画像群に含まれる画像の画像特徴を解析するステップと、
関係性算出部が、画像情報および画像特徴に基づいて、第１の画像群に含まれる画像に存在する人物同士の関係性を算出するステップとを含むことが好ましい。

関係性算出部は、さらに、第１の画像群に含まれる画像に存在する人物と人物以外のオブジェクトとの関係性を算出し、
抽出基準決定部は、さらに、第１の画像群に含まれる画像に存在する人物とオブジェクトとの関係性に応じて画像抽出基準を決定することが好ましい。

また、本発明は、上記に記載の画像抽出方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の画像抽出方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明では、第２の画像群の上位に当たる第１の画像群に含まれる画像に基づいて、画像抽出基準が決定され、この画像抽出基準に基づいて第２の画像群から画像が抽出される。このように、第２の画像群の上位に当たる第１の画像群に含まれる画像に基づいて画像抽出基準を決定することで、本発明によれば、第２の画像群から、ユーザにとって重要度が高い画像を正確に抽出することができる。

本発明の画像抽出装置の構成を表す一実施形態のブロック図である。 図１に示す画像解析部の構成を表す一実施形態のブロック図である。 本発明の画像抽出装置の動作を表す一実施形態のフローチャートである。 画像情報を取得するための画像を表す一例の概念図である。 （A）および（B）は、それぞれ、新郎・新婦と友人との距離が閾値以下である場合、および、閾値よりも大きい場合を表す一例の概念図である。 （A）は、主人公以外の２以上の人物が中心位置に正面向きで存在する場合、（B）は、主人公以外の２以上の人物が閾値以上の顔のサイズで存在する場合の画像を表す一例の概念図である。 （A）は、第１の画像群として、２０１４年に撮影された画像群が選択された様子を表す一例の概念図、（B）は、第２の画像群として、２０１４年２月の画像群が選択された様子を表す一例の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像抽出装置、画像抽出方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明の画像抽出装置の構成を表す一実施形態のブロック図である。同図に示す画像抽出装置１０は、画像群から、ユーザにとって重要度が高い画像を自動で抽出するものである。
画像抽出装置１０は、指示取得部１２と、画像群選択部１４と、画像解析部１６と、抽出基準決定部１８と、画像抽出部２０とを備えている。

指示取得部１２は、ユーザにより入力された各種の指示、例えば、年、季節、月、日、時間帯等の撮影日付で階層的に分類された第１の画像群から、一定範囲内の撮影日付で撮影された第２の画像群を選択する指示（ユーザの指示）を取得するものである。

続いて、画像群選択部１４は、指示取得部１２により取得されたユーザの指示に応じて、第１の画像群から、画像数が第１の画像群よりも少ない第２の画像群を選択するものである。

ここで、第１の画像群は、第２の画像群の上位に当たる画像群（母集団）、つまり、第２の画像群は、第１の画像群の下位に当たる画像群である。画像群が撮影日付で分類され、例えば、第１の画像群が２０１４年の画像群である場合、第２の画像群は、２０１４年の画像群よりも下位に当たる画像群である２０１４年２月の画像群や、２０１４年２月３日の画像群、２０１４年２月３日の午前中の画像群等となる。また、第１の画像群と第２の画像群との関係は相対的なものであり、例えば、第１の画像群が２０１４年２月の画像群である場合、第２の画像群は、２０１４年２月の画像群よりも下位に当たる画像群である２０１４年２月３日の画像群や、２０１４年２月３日の午前中の画像群等となる。

続いて、画像解析部１６は、第１の画像群に含まれる画像を解析し、その解析結果に基づいて、第１の画像群に含まれる画像に存在する人物同士の関係性を算出するものである。同様に、画像解析部１６は、第２の画像群に含まれる画像の解析結果に基づいて、第２の画像群に含まれる画像に存在する人物同士の関係性を算出する。

ここで、画像解析には、顔検出／表情検出、人物認識、シーン検出（夜景、夕景、海、自然（緑）等）、オブジェクト検出（ペット、料理、花、電車、車等）等が含まれる。また、人物同士の関係性とは、画像群に含まれる画像に存在する、ある人物と他の人物との関係を表す。例えば、第１の画像群に含まれる画像に存在する人物のうち、最も重要度が高い主人公と関係性の高い人物は、主人公にとって重要度が高い人物であるため、主人公の次に重要度が高い重要人物となる。

画像解析部１６は、図２に示すように、画像情報取得部２２と、画像特徴解析部２４と、関係性算出部２６とを備えている。

画像情報取得部２２は、第１の画像群に含まれる画像に関する画像情報を取得するものである。

ここで、画像情報には、撮影日付、シーン（屋外、山、海、夜景等）、撮影位置（GPS（Global Positioning System）情報）、被写体（人物および人物以外のオブジェクト）等の情報が含まれる。撮影日、撮影位置の情報は、例えば、画像の付帯情報であるExif（Exchangeable Image File Format）情報から取得することができる。また、シーン、人物およびオブジェクトの情報は、シーン判別や、人物認識およびオブジェクト認識等の画像解析により、取得することができる。

画像特徴解析部２４は、画像情報取得部２２により取得された画像情報に基づいて、第１の画像群に含まれる画像の画像特徴を解析するものである。

この場合、画像抽出部２０が、海のシーンで、かつ、Aさんが存在する画像を優先して抽出する場合も含む。すなわち、海のシーンで、かつ、Aさんが存在する画像を抽出するが、その他の画像を抽出することを排除するものではない。
また、画像抽出部２０が、海のシーンで、かつ、Aさんが存在する画像を特定し、かつ、その画像の中の一部のみを抽出する場合も含む。すなわち、画像解析部１６による画像の解析結果に基づいて、画像に存在する人物、人物の顔／表情、シーン、オブジェクト等について画像の評価値を算出し、海らしさの評価が高い画像を順に所定枚数抽出する、Aさんである確からしさの評価が高い画像を順に所定枚数抽出する、Aさんの顔の表情の評価が高い画像を順に所定枚数抽出する、あるいはこれらの評価値の総合点（重み付けする場合も含む）が高い画像を順に所定枚数抽出する、などである。

ここで、画像特徴には、画像の撮影内容（シーン、人物、オブジェクトの登場回数等）、撮影日付（第１の画像群の撮影期間、撮影頻度等）、撮影場所（各撮影場所での撮影回数等）等の特徴が含まれる。

関係性算出部２６は、画像情報取得部２２により取得された画像情報および画像特徴解析部２４により解析された画像特徴に基づいて、第１の画像群に含まれる画像に存在する人物同士の関係性を算出するものである。また、画像情報および画像特徴に基づいて、関係性算出部２６は、第２の画像群に含まれる画像に存在する人物同士の関係性を算出する。

続いて、抽出基準決定部１８は、第１の画像群に含まれる画像に基づいて、第２の画像群から画像を抽出する際の画像抽出基準を決定するものである。
本実施形態の場合、抽出基準決定部１８は、画像解析部１６により算出された、第１の画像群に含まれる画像に存在する人物同士の関係性、および、第２の画像群に含まれる画像に存在する人物同士の関係性に応じて画像抽出基準を決定する。

最後に、画像抽出部２０は、第２の画像群から、抽出基準決定部１８により決定された画像抽出基準に応じて、画像数が第２の画像群よりも少ない１以上の画像（抽出画像）を抽出するものである。

ここで、画像抽出基準には、シーン、人物、オブジェクト等が含まれる。例えば、画像抽出基準が、海のシーンで、かつ、Aさんが存在する画像である場合、第２の画像群から、海のシーンで、かつ、Aさんが存在する画像が抽出される。

次に、図３に示すフローチャートを参照しながら、画像抽出装置１０の動作を説明する。

画像抽出装置１０では、まず、ユーザにより入力された第１の画像群から第２の画像群を選択する指示が指示取得部１２により取得され（ステップS1）、この指示に応じて、画像群選択部１４により、第１の画像群から第２の画像群が選択される（ステップS2）。

続いて、画像解析部１６により、第１の画像群に含まれる各々の画像が解析され、第１の画像群に含まれる画像の解析結果に基づいて、第１の画像群に含まれる画像に存在する人物同士の関係性が算出される。同様に、画像解析部１６により、第２の画像群に含まれる画像の解析結果に基づいて、第２の画像群に含まれる画像に存在する人物同士の関係性が算出される（ステップS3）。

画像解析部１６では、画像情報取得部２２により、第１の画像群に含まれる画像に関する画像情報が取得され、画像特徴解析部２４により、画像情報に基づいて、第１の画像群に含まれる画像の画像特徴が解析される。そして、関係性算出部２６により、画像情報および画像特徴に基づいて、第１の画像群に含まれる画像に存在する人物同士の関係性が算出され、第２の画像群に含まれる画像に存在する人物同士の関係性が算出される。

続いて、抽出基準決定部１８により、第１の画像群に含まれる画像に存在する人物同士の関係性、および、第２の画像群に含まれる画像に存在する人物同士の関係性に応じて、第２の画像群から画像を抽出する際の画像抽出基準が決定される（ステップS4）。

そして最後に、画像抽出部２０により、画像抽出基準に応じて、第２の画像群から画像が抽出される（ステップS5）。

画像抽出装置１０では、第２の画像群に含まれる画像に存在する人物同士の関係性だけでなく、第１の画像群に含まれる画像に存在する人物同士の関係性を考慮して、画像抽出基準が決定され、この画像抽出基準に基づいて第２の画像群から画像が抽出される。このように、第２の画像群の上位に当たる第１の画像群に含まれる画像に基づいて画像抽出基準を決定することで、第２の画像群から、ユーザにとって重要度が高い画像を正確に抽出することができる。

次に、画像解析部１６が備える画像情報取得部２２、画像特徴解析部２４および関係性算出部２６についてさらに説明する。

表１は、画像情報取得部２２により、図４に示す画像から取得された画像情報の一例を表す。

図４に示す画像の場合、そのExif情報から、画像情報取得部２２により、表１に示すように、例えば、撮影日が２０１５年４月９日（月）であり、撮影位置がｘｘｘ（GPS情報）であること等が画像情報として取得される。
また、画像解析により、例えば、シーンが屋外であり、被写体が人物Aおよび自転車であること等が取得される。また、人物Aについて、例えば、画像中での領域（画像中のどの位置に、どのくらいの大きさで存在するか）や、他の被写体との距離および位置関係として、自転車との距離および位置関係等が画像情報として取得される。自転車についても同様に画像情報が取得される。
画像情報取得部２２は、第１の画像群に含まれる各々の画像から、上記のような画像情報を取得する。

続いて、表２は、画像特徴解析部２４により、画像情報に基づいて、第１の画像群に含まれる画像を解析して得られた画像特徴の一例を表す。表２に示すように、画像特徴には、画像の撮影内容、撮影日時、撮影場所等についての画像特徴が含まれる。

撮影内容の画像特徴として、表２に示すように、画像特徴解析部２４により、例えば、第１の画像群における登場回数が多い（閾値以上である）人物は、Aさん、Bさん、Cさん、…であり、登場回数が多いオブジェクトは、犬、猫、料理、…であり、登場回数が多いシーンは、屋外、屋内、山、海、…であること等が解析される。
また、撮影日付の画像特徴として、例えば、第１の画像群は数ヶ月間の画像群であり、ほぼ毎日数枚ずつ撮影されていること（日常的に画像が撮影されている）、第１の画像群は１年間の画像群であり、数ヶ月に１回、大量に撮影されていること（旅行などの大きなイベントのみで画像が撮影されている）、第１の画像群は１日の画像群であり、数時間の間に大量に撮影されていること（結婚式のような特定イベントで撮影されている）等が解析される。
また、撮影場所の画像特徴として、例えば、特定場所の近辺でのみ撮影されていること、様々な場所で撮影されていること等が解析される。
画像特徴解析部２４は、第１の画像群に含まれる各々の画像の画像情報から、上記のような画像特徴を解析する。

続いて、関係性算出部２６では、例えば、第１の画像群に含まれる画像に存在する人物同士の関係性が算出される。また、その関係性に基づいて、主人公、重要人物のように各々の人物の重要度を決定することができる。

関係性算出部２６は、例えば、人物同士の関係性に基づいて、第１の画像群に含まれる画像に存在する人物の中から、第１の画像群における登場回数が多い（閾値以上である）１以上の人物を主人公に決定することができる。

また、関係性算出部２６は、第１の画像群における登場回数と、第１の画像群に含まれる画像の中心位置に存在する回数とを組合せて、主人公を決定することができる。この場合、関係性算出部２６は、第１の画像群における登場回数が閾値以上である人物のうち、例えば、１の画像群に含まれる画像の中心位置に存在する回数が閾値以上である人物を主人公に決定する。

また、関係性算出部２６は、第１の画像群における登場回数と、第１の画像群に含まれる画像に正面向きで存在する回数とを組合せて、主人公を決定することができる。この場合、関係性算出部２６は、第１の画像群における登場回数が閾値以上である人物のうち、例えば、第１の画像群に含まれる画像に正面向きで存在する回数が閾値以上である人物を主人公に決定する。

また、関係性算出部２６は、第１の画像群における登場回数と、第１の画像群に含まれる画像に閾値以上の顔のサイズ（ズーム撮影の場合を含む）で存在する回数とを組合せて、主人公を決定することができる。この場合、関係性算出部２６は、第１の画像群における登場回数が閾値以上である人物のうち、例えば、第１の画像群に含まれる画像に閾値以上の顔のサイズで存在する回数が閾値以上である人物を主人公に決定する。

さらに、関係性算出部２６は、第１の画像群における登場回数と、第１の画像群に含まれる画像の中心位置に存在する回数、第１の画像群に含まれる画像に正面向きで存在する回数、および、第１の画像群に含まれる画像に閾値以上の顔のサイズで存在する回数のうちの少なくとも１つとを組合せて、主人公を決定することができる。

また、関係性算出部２６は、人物同士の関係性に基づいて、例えば、第１の画像群に含まれる画像に存在する主人公以外の人物の中から、第１の画像群に含まれる画像に存在する主人公との距離が閾値以下である１以上の人物を重要人物に決定することができる。

例えば、図５（A）および（B)は、結婚式で撮影された画像である。図５（A)の画像には、新郎・新婦と一緒に新郎・新婦の４人友人が存在する。丸で囲まれた新郎・新婦が主人公である場合、例えば、新郎・新婦との距離が閾値以下である、四角で囲まれた４人の友人が重要人物に決定される。また、図５（B)の画像には、新郎・新婦の他に数人の人物が存在する。例えば、丸で囲まれた新郎・新婦との距離が閾値よりも大きい、三角で囲まれた人物は、主人公でも重要人物でもない、その他の人物に決定される。

また、関係性算出部２６は、第１の画像群に含まれる画像に主人公が存在しない場合であっても、第１の画像群に含まれる画像に存在する主人公以外の人物同士の関係性に基づいて、主人公以外の人物の重要度を決定することができる。

図６（A)に丸で囲んで示すように、第１の画像群に含まれる画像の中心位置に主人公以外の２以上の人物が存在する場合、関係性算出部２６は、この主人公以外の人物同士の関係性に基づいて、この主人公以外の２以上の人物を重要人物に決定することができる。

また、図６（A)および（B)に丸で囲んで示すように、第１の画像群に含まれる画像に主人公以外の２以上の人物が正面向きで存在する場合、関係性算出部２６は、この主人公以外の人物同士の関係性に基づいて、この主人公以外の２以上の人物を重要人物に決定することができる。

また、図６（B)に丸で囲んで示すように、第１の画像群に含まれる画像に閾値以上の顔のサイズで主人公以外の２以上の人物が存在する場合、関係性算出部２６は、この主人公以外の人物同士の関係性に基づいて、この主人公以外の２以上の人物を重要人物に決定することができる。

上記のように、関係性算出部２６により、主人公および重要人物が決定された場合、抽出基準決定部１８は、この主人公および重要人物に応じて、つまり、人物の重要度に応じて画像抽出基準を決定する。

また、関係性算出部２６は、第１の画像群に含まれる画像の解析結果に基づいて、第１の画像群に含まれる画像に存在する人物と人物以外のオブジェクトとの関係性を算出してもよい。
この場合、抽出基準決定部１８は、第１の画像群に含まれる画像に存在する人物とオブジェクトとの関係性に応じて画像抽出基準を決定することができる。

また、関係性算出部２６は、人物とオブジェクトとの関係性に基づいて、重要オブジェクトのように、人物にとっての各々のオブジェクトの重要度を決定することができる。
この場合、抽出基準決定部１８は、この重要オブジェクトに応じて、つまり、オブジェクトの重要度に応じて画像抽出基準を決定することができる。

例えば、図に示す画像のように、Aさん（人物）と近い距離に自転車（オブジェクト）が存在する場合、Aさんの趣味は自転車であり、Aさんにとって自転車は重要であると推測することができる。

また、関係性算出部２６は、第１の画像群に含まれる画像に基づいて、人物同士の関係性の他、例えば、人物とオブジェクトとの関係性、人物とシーンとの関係性、人物と撮影日付との関連性、人物と撮影位置との関係性、オブジェクトとオブジェクトとの関係性等を利用することができる。

関係性算出部２６は、第１の画像群に含まれる画像に存在する人物とシーンとの関係性を利用する場合、第１の画像群に含まれる画像のシーンのうち、例えば、撮影回数が多い（閾値以上である）シーンを重要シーンに決定する。そして、第１の画像群に含まれる画像に存在し、かつ、重要シーンとの関係性が高い（閾値以上である）人物およびオブジェクトを重要人物および重要オブジェクトに決定する。
この場合、抽出基準決定部１８は、主人公、重要人物および重要オブジェクトに応じて画像抽出基準を決定することができる。

例えば、第１の画像群の中で海の画像が多い場合、海が重要シーンであると推測できる。従って、重要シーンとの関係性が高い人物およびオブジェクト、この例の場合、海のシーンで撮影された人物およびオブジェクトは重要である。

また、関係性算出部２６は、第１の画像群に含まれる画像に存在する人物と撮影日付との関係性を利用する場合、第１の画像群に含まれる画像の撮影日付のうち、例えば、撮影回数が多い（閾値以上である）撮影日付を重要撮影日付に決定する。そして、第１の画像群に含まれる画像に存在し、かつ、重要撮影日付との関係性が高い（閾値以上である）人物、オブジェクトおよびシーンを重要人物、重要オブジェクトおよび重要シーンに決定する。
この場合、抽出基準決定部１８は、主人公、重要人物、重要オブジェクトおよび重要シーンに応じて画像抽出基準を決定することができる。

例えば、第１の画像群の中で撮影回数が多い撮影日は重要撮影日付であると推測できる。従って、重要撮影日付との関係性が高い、人物、オブジェクトおよびシーンは重要である。例えば、１年間の画像群において、夏と冬に旅行に行って１日に数百枚の画像が撮影されている場合、この旅行中の画像群の中に含まれる画像に存在する人物、オブジェクトおよびシーンは重要である。

なお、撮影日付は、撮影日だけでなく、撮影時間帯、撮影月、撮影季節等を利用することもできる。

関係性算出部２６は、第１の画像群に含まれる画像に存在する人物と撮影場所との関係性を利用する場合、第１の画像群に含まれる画像の撮影場所のうち、例えば、撮影回数が多い（閾値以上である）撮影場所を重要撮影場所に決定する。そして、第１の画像群に含まれる画像に存在し、かつ、重要撮影場所との関係性が高い（閾値以上である）人物、オブジェクトおよびシーンを重要人物、重要オブジェクトおよび重要シーンに決定する。
この場合、抽出基準決定部１８は、主人公、重要人物、重要オブジェクトおよび重要シーンに応じて画像抽出基準を決定する。

例えば、第１の画像群の中で撮影回数が多い撮影場所は重要撮影場所であると推測できる。従って、重要撮影場所との関係性が高い、人物、オブジェクトおよびシーンは重要である。例えば、第１の画像群において、パリで数百枚の画像が撮影されている場合、このパリで撮影された画像群の中に含まれる画像に存在する人物、オブジェクトおよびシーンは重要である。

なお、関係性算出部２６は、第１の画像群の中に撮影回数が多いシーン、撮影日付、撮影場所等が存在しない場合、第１の画像群に含まれる画像のシーン、撮影日付、撮影場所等を考慮する必要はない。

表３は、人物、シーン、撮影日付、撮影場所、…について、第１の画像群の中での重要要素が、Aさん、海、５月１０日、ｘｘ、…である場合の例である。この場合、例えば、人物について、重要人物はAさんであり、画像Aには、Aさん本人が存在するため、画像Aの重要度は大となる。また、画像BおよびCの重要度は中、画像Dの重要度は小、…というように、人物の重要度に基づいて、第１の画像群に含まれる各々の画像の重要度を決定することができる。シーン、撮影日付、位置、…等についても同様である。

次に、撮影日付で階層的に分類された第１の画像群から第２の画像群が選択された場合の例を挙げて説明する。

図７（A)に示すように、本実施形態では、第１の画像群は２０１４年の画像群であり、その上位に当たる画像群は存在しないものとする。この場合、２０１４年の画像群に含まれる画像に存在する人物同士の関係性に基づいて、２０１４年の画像群に含まれる画像に存在する人物同士の関係性が決定される。本実施形態では、２０１４年の画像群に含まれる画像に存在する人物の関係性から、重要度が高い人物は家族（子、父母）であると決定されたとする。
つまり、２０１４年の画像群の中から家族の画像が優先して抽出され、例えば、お勧め画像として表示される。

続いて、図７（B)に示すように、ユーザにより、第２の画像群として、２０１４年の画像群から２０１４年２月の画像群が選択されたとする。この場合、２０１４年２月の画像群に含まれる画像に存在する人物同士の関係性が決定される。本実施形態では、２０１４年２月１４日の結婚式の画像が大半を占めており、２０１４年２月の画像群に含まれる画像に存在する人物の関係性から、重要度が高い人物は新郎・新婦であると決定されたとする。

つまり、表４に示すように、２０１４年２月だけの画像群を考慮した場合には、新郎・新婦の重要度が高いが、２０１４年全体の画像群を考慮した場合には、家族の重要度が高いということが分かる。

従来の画像抽出装置では、２０１４年２月だけの画像群を考慮するため、２０１４年２月の画像群から新郎・新婦を中心に画像が抽出される。そのため、第１の画像群が新郎・新婦の家族が所有する画像であり、２０１４年２月の画像群の中に新郎・新婦の家族が存在する画像があったとしても、この２０１４年２月の画像群の中では家族の重要度は低いため、２０１４年２月の画像群から家族の画像を抽出することができなかった。
つまり、従来の画像抽出装置では、２０１４年２月の画像群の中から新郎・新婦の画像が優先して抽出され、例えば、お勧め画像として表示される。

これに対し、本実施形態の画像抽出装置１０では、２０１４年２月だけの画像群でなく、その上位に当たる２０１４年全体の画像群も考慮して画像抽出基準をする。そのため、この画像抽出基準に基づいて、２０１４年２月の画像群において重要度の高い新郎・新婦が存在する画像に加えて、その上位に当たる２０１４年の画像群において重要度が高い新郎・新婦の家族が存在する画像を、２０１４年２月の画像群から抽出することができる。
つまり、本実施形態の画像抽出装置１０では、２０１４年２月の画像群の中から新郎・新婦および家族の画像が優先して抽出され、例えば、お勧め画像として表示される。

この場合、上位に当たる第１の画像群である２０１４年の画像群に含まれる画像に存在する人物同士の関係性（人物の重要度）よりも、下位に当たる第２の画像群である２０１４年２月の画像群に含まれる画像に存在する人物同士の関係性（人物の重要度）を優先して、画像抽出基準を決定することが望ましい。これにより、２０１４年２月の画像群から、新郎・新婦の画像を優先して多数抽出し、さらに、家族の画像も少数抽出することができる。

なお、ユーザは、２０１４年の画像群から２０１４年２月だけでなく、例えば、２０１４年２月、３月および６月のように、複数月を同時に選択することもできる。

また、ユーザは、第１の画像群から、撮影日付で第２の画像群を選択するだけでなく、撮影場所またはフォルダで第２の画像群を選択することもできる。

第１の画像群から、撮影場所で第２の画像群が選択される場合、撮影場所で階層的に分類された第１の画像群から、ユーザにより入力された一定範囲内の撮影場所で撮影された第２の画像群を選択する指示が、指示取得部１２により取得される。そして、指示取得部１２により取得されたユーザの指示に応じて、画像群選択部１４により、第１の画像群から、第２の画像群として、第１の画像群よりも下位に当たる撮影場所の画像群が選択される。

表５に示すように、第１の画像群は、日本全体で撮影された画像群であり、京都（実家）、六本木（職場）、新百合ヶ丘（自宅）等の撮影場所で階層的に分類されている。また、第２の画像群が、京都（実家）で撮影された画像群である場合、京都（実家）だけの画像群を考慮した場合には、祖父母および親戚の重要度が高く、家族（子、父母）の重要度は低いが、日本全体の画像群を考慮した場合には、家族の重要度が高いとする。

同様に、従来の画像抽出装置では、京都（実家）だけの画像群を考慮するため、京都（実家）の画像群から祖父母および親戚を中心に画像が抽出され、家族の画像は抽出されなかった。

これに対し、本実施形態の画像抽出装置１０では、京都（実家）だけの画像群でなく、その上位に当たる日本全体の画像群も考慮して画像抽出基準をする。そのため、この画像抽出基準に基づいて、京都（実家）の画像群において重要度の高い祖父母および親戚が存在する画像に加えて、その上位に当たる日本全体の画像群において重要度が高い家族が存在する画像を、京都（実家）の画像群から抽出することができる。

また、第１の画像群から、フォルダで第２の画像群が選択される場合、フォルダで分類された第１の画像群から、ユーザにより入力された一定範囲内のフォルダに含まれる画像群を選択する指示が、指示取得部１２により取得される。そして、指示取得部１２により取得されたユーザの指示に応じて、画像群選択部１４により、第１の画像群から、第２の画像群として、第１の画像群よりも下位に当たるフォルダの画像群が選択される。

表６に示すように、第１の画像群は、ルートフォルダ全体の画像群であり、結婚式、運動会、誕生日等のイベント毎のフォルダで階層的に分類されている。また、第２の画像群が、結婚式のフォルダの画像群である場合、結婚式のフォルダだけの画像群を考慮した場合には、新郎・新婦の重要度が高く、家族（子、父母）の重要度は低いが、ルートフォルダ全体の画像群を考慮した場合には、家族の重要度が高いとする。

同様に、従来の画像抽出装置では、結婚式のフォルダだけの画像群を考慮するため、結婚式のフォルダの画像群から新郎・新婦を中心に画像が抽出され、家族の画像は抽出されなかった。

これに対し、本実施形態の画像抽出装置１０では、結婚式のフォルダだけの画像群でなく、その上位に当たるルートフォルダ全体の画像群も考慮して画像抽出基準をする。そのため、この画像抽出基準に基づいて、結婚式のフォルダの画像群において重要度の高い新郎・新婦が存在する画像に加えて、その上位に当たるルートフォルダ全体の画像群において重要度が高い家族が存在する画像を、結婚式のフォルダの画像群から抽出することができる。

本発明の画像抽出装置は、例えば、電子アルバム、フォトブック、コラージュプリント、画像付のカレンダー等の合成画像を作成する際に、第１の画像群から、合成画像に使用する第２の画像群を選択する場合等に利用することができる。

例えば、１ヶ月間の画像群からコラージュプリントを作成する場合、１ヶ月間の画像群に加えて、その上位に当たる１年間全体の画像群を考慮して画像抽出基準を決定し、この画像抽出基準に基づいて、１ヶ月間の画像群からコラージュプリントに使用する画像群を抽出することができる。また、１年間の画像群から、１２ヶ月分の２４ページ（１ヶ月あたり見開きの２ページ）のフォトブックを作成する場合、各月の画像群に加えて、１年間全体の画像群を考慮して画像抽出基準を決定し、この画像抽出基準に基づいて、各月の画像群から各月の見開きのページに使用する画像を抽出することができる。

また、本発明の画像抽出装置は、静止画像に限らず動画像に適用することができる。

第１の画像群は、例えば、電子アルバム、フォトブック、コラージュプリント、画像付のカレンダー等の合成画像を作成するために、ユーザによりサーバ等にアップロードされた画像群を例示することができる。

あるいは、指示取得部１２により取得されたユーザの指示に応じて、ユーザにより既にアップロードされている画像群の中から第１の画像群を選択してもよい。これにより、ユーザは自分自身で第１の画像群を選択することができる。

また、第２の画像群が選択された場合に、第２の画像群を含む第１の画像群を自動で選択してもよい。例えば、ユーザが会社の同僚の結婚式に出席し、その結婚式の画像を、結婚式当日にアップロードした場合を考える。この場合、結婚式当日にアップロードされた画像群（第２の画像群）と、それよりも前に既にアップロードされている任意の画像群とを組み合わせた画像群を第１の画像群として自動で選択してもよい。これにより、ユーザが第１の画像群を意識することなく、第１の画像群を自動で決定することができる。

また、画像群決定部を設けて、第１の画像群から、画像解析部１６により解析される画像群を決定してもよい。例えば、第１の画像群が２０１４年の画像群であり、第２の画像群として、２０１４年５月６日の画像群が選択された場合、第１の画像群である２０１４年の画像群から、画像解析部１６により解析される画像群を、例えば、２０１４年５月の画像群としてもよいし、あるいは、２０１５年の画像群とすることができる。第１の画像群が、撮影場所およびフォルダで分類されている場合も同様である。

また、第２の画像群に含まれる画像に存在する人物同士の関係性に基づいて画像抽出基準を決定し、この画像抽出基準に基づいて、第２の画像群から画像を抽出することは必須ではなく、第１の画像群に含まれる画像に存在する人物同士の関係性のみに基づいて画像抽出基準を決定し、この画像抽出基準に基づいて、第２の画像群から画像を抽出してもよい。
また、抽出基準決定部１８は、関係性および重要度に限らず、第１の画像群に含まれる画像に基づいて、つまり、第１の画像群に含まれる画像から得られる各種の情報を利用して、第２の画像群から画像を抽出する際の画像抽出基準を決定してもよい。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像抽出装置
１２ 指示取得部
１４ 画像群選択部
１６ 画像解析部
１８ 抽出基準決定部
２０ 画像抽出部
２２ 画像情報取得部
２４ 画像特徴解析部
２６ 関係性算出部

Claims (29)

1. ユーザにより入力された指示を取得する指示取得部と、
   前記指示に応じて、第１の画像群から、画像数が前記第１の画像群よりも少ない第２の画像群を選択する画像群選択部と、
   前記第１の画像群に含まれる画像に基づいて、前記第２の画像群から画像を抽出する際の画像抽出基準を決定する抽出基準決定部と、
   前記第２の画像群から、前記画像抽出基準に応じて、画像数が前記第２の画像群よりも少ない１以上の画像を抽出する画像抽出部とを備える画像抽出装置。
2. さらに、前記第１の画像群に含まれる画像を解析し、前記解析結果に基づいて、前記第１の画像群に含まれる画像に存在する人物同士の関係性を算出する画像解析部を備え、
   前記抽出基準決定部は、前記人物同士の関係性に応じて前記画像抽出基準を決定する請求項１に記載の画像抽出装置。
3. 前記画像解析部は、さらに、前記第２の画像群に含まれる画像の解析結果に基づいて、前記第２の画像群に含まれる画像に存在する人物同士の関係性を算出し、
   前記抽出基準決定部は、さらに、前記第２の画像群に含まれる画像に存在する人物同士の関係性に応じて前記画像抽出基準を決定する請求項２に記載の画像抽出装置。
4. 前記抽出基準決定部は、前記第１の画像群に含まれる画像に存在する人物同士の関係性よりも、前記第２の画像群に含まれる画像に存在する人物同士の関係性を優先して、前記画像抽出基準を決定する請求項３に記載の画像抽出装置。
5. 前記画像解析部は、前記第１の画像群に含まれる画像に関する画像情報を取得する画像情報取得部と、
   前記画像情報に基づいて、前記第１の画像群に含まれる画像の画像特徴を解析する画像特徴解析部と、
   前記画像情報および前記画像特徴に基づいて、前記第１の画像群に含まれる画像に存在する人物同士の関係性を算出する関係性算出部とを備える請求項２〜４のいずれか１項に記載の画像抽出装置。
6. 前記関係性算出部は、前記人物同士の関係性から前記人物の重要度を決定し、
   前記抽出基準決定部は、前記人物の重要度に応じて前記画像抽出基準を決定する請求項５に記載の画像抽出装置。
7. 前記関係性算出部は、前記第１の画像群に含まれる画像に存在する人物の中から、前記第１の画像群における登場回数が閾値以上である１以上の人物を主人公に決定し、前記第１の画像群に含まれる画像に存在する前記主人公以外の人物の中から、前記第１の画像群に含まれる画像に存在する前記主人公との距離が閾値以下である１以上の人物を重要人物に決定し、
   前記抽出基準決定部は、前記主人公および前記重要人物に応じて前記画像抽出基準を決定する請求項６に記載の画像抽出装置。
8. 前記関係性算出部は、前記第１の画像群における登場回数が閾値以上である人物のうち、前記第１の画像群に含まれる画像の中心位置に存在する回数が閾値以上である人物を含む１以上の人物を前記主人公に決定する請求項７に記載の画像抽出装置。
9. 前記関係性算出部は、前記第１の画像群における登場回数が閾値以上である人物のうち、前記第１の画像群に含まれる画像に正面向きで存在する回数が閾値以上である人物を含む１以上の人物を前記主人公に決定する請求項７または８に記載の画像抽出装置。
10. 前記関係性算出部は、前記第１の画像群における登場回数が閾値以上である人物のうち、前記第１の画像群に含まれる画像に閾値以上の顔のサイズで存在する回数が閾値以上である人物を含む１以上の人物を前記主人公に決定する請求項７〜９のいずれか１項に記載の画像抽出装置。
11. 前記関係性算出部は、さらに、前記第１の画像群に含まれる画像の中心位置に存在する前記主人公以外の２以上の人物を重要人物に決定する請求項７〜１０のいずれか１項に記載の画像抽出装置。
12. 前記関係性算出部は、さらに、前記第１の画像群に含まれる画像に正面向きで存在する前記主人公以外の２以上の人物を重要人物に決定する請求項７〜１０のいずれか１項に記載の画像抽出装置。
13. 前記関係性算出部は、さらに、前記第１の画像群に含まれる画像に閾値以上の顔のサイズで存在する前記主人公以外の２以上の人物を重要人物に決定する請求項７〜１０のいずれか１項に記載の画像抽出装置。
14. 前記関係性算出部は、さらに、前記第１の画像群に含まれる画像に存在する人物と前記人物以外のオブジェクトとの関係性を算出し、
    前記抽出基準決定部は、さらに、前記第１の画像群に含まれる画像に存在する人物とオブジェクトとの関係性に応じて前記画像抽出基準を決定する請求項７〜１３のいずれか１項に記載の画像抽出装置。
15. 前記関係性算出部は、前記人物と前記オブジェクトとの関係性から前記オブジェクトの重要度を決定し、
    前記抽出基準決定部は、前記オブジェクトの重要度に応じて前記画像抽出基準を決定する請求項１４に記載の画像抽出装置。
16. 前記関係性算出部は、前記第１の画像群に含まれる画像のシーンのうち、撮影回数が閾値以上であるシーンを重要シーンに決定し、前記第１の画像群に含まれる画像に存在し、かつ、前記重要シーンとの関係性が閾値以上である人物およびオブジェクトを重要人物および重要オブジェクトに決定し、
    前記抽出基準決定部は、前記主人公、前記重要人物および前記重要オブジェクトに応じて前記画像抽出基準を決定する請求項１５に記載の画像抽出装置。
17. 前記関係性算出部は、前記第１の画像群に含まれる画像の撮影日付のうち、撮影回数が閾値以上である撮影日付を重要撮影日付に決定し、前記第１の画像群に含まれる画像に存在し、かつ、前記重要撮影日付との関係性が閾値以上である人物、オブジェクトおよびシーンを重要人物、重要オブジェクトおよび重要シーンに決定し、
    前記抽出基準決定部は、前記主人公、前記重要人物、前記重要オブジェクトおよび前記重要シーンに応じて前記画像抽出基準を決定する請求項１５に記載の画像抽出装置。
18. 前記撮影日付は、撮影時間帯、撮影日、撮影月または撮影季節である請求項１７に記載の画像抽出装置。
19. 前記関係性算出部は、前記第１の画像群に含まれる画像の撮影場所のうち、撮影回数が閾値以上である撮影場所を重要撮影場所に決定し、前記第１の画像群に含まれる画像に存在し、かつ、前記重要撮影場所との関係性が閾値以上である人物、オブジェクトおよびシーンを重要人物、重要オブジェクトおよび重要シーンに決定し、
    前記抽出基準決定部は、前記主人公、前記重要人物、前記重要オブジェクトおよび前記重要シーンに応じて前記画像抽出基準を決定する請求項１５に記載の画像抽出装置。
20. さらに、前記第１の画像群から、前記画像解析部により解析される画像群を決定する画像群決定部を備える請求項２〜１９のいずれか１項に記載の画像抽出装置。
21. 前記指示取得部は、撮影日付で分類された前記第１の画像群から、前記ユーザにより入力された一定範囲内の撮影日付で撮影された前記第２の画像群を選択する指示を取得する請求項１〜２０のいずれか１項に記載の画像抽出装置。
22. 前記指示取得部は、撮影場所で分類された前記第１の画像群から、前記ユーザにより入力された一定範囲内の撮影場所で撮影された前記第２の画像群を選択する指示を取得する請求項１〜２０のいずれか１項に記載の画像抽出装置。
23. 前記指示取得部は、フォルダで分類された前記第１の画像群から、前記ユーザにより入力された一定範囲内のフォルダに含まれる前記第２の画像群を選択する指示を取得する請求項１〜２０のいずれか１項に記載の画像抽出装置。
24. 指示取得部が、ユーザにより入力された指示を取得するステップと、
    画像群選択部が、前記指示に応じて、第１の画像群から、画像数が前記第１の画像群よりも少ない第２の画像群を選択するステップと、
    抽出基準決定部が、前記第１の画像群に含まれる画像に基づいて、前記第２の画像群から画像を抽出する際の画像抽出基準を決定するステップと、
    画像抽出部が、前記第２の画像群から、前記画像抽出基準に応じて、画像数が前記第２の画像群よりも少ない１以上の画像を抽出するステップとを含む画像抽出方法。
25. さらに、画像解析部が、前記第１の画像群に含まれる画像を解析し、前記解析結果に基づいて、前記第１の画像群に含まれる画像に存在する人物同士の関係性を算出するステップを含み、
    前記抽出基準決定部は、前記人物同士の関係性に応じて前記画像抽出基準を決定する請求項２４に記載の画像抽出方法。
26. 前記画像解析部が前記人物同士の関係性を算出するステップは、
    画像情報取得部が、前記第１の画像群に含まれる画像に関する画像情報を取得するステップと、
    画像特徴解析部が、前記画像情報に基づいて、前記第１の画像群に含まれる画像の画像特徴を解析するステップと、
    関係性算出部が、前記画像情報および前記画像特徴に基づいて、前記第１の画像群に含まれる画像に存在する人物同士の関係性を算出するステップとを含む請求項２５に記載の画像抽出方法。
27. 前記関係性算出部は、さらに、前記第１の画像群に含まれる画像に存在する人物と前記人物以外のオブジェクトとの関係性を算出し、
    前記抽出基準決定部は、さらに、前記第１の画像群に含まれる画像に存在する人物とオブジェクトとの関係性に応じて前記画像抽出基準を決定する請求項２６に記載の画像抽出方法。
28. 請求項２４〜２７のいずれか１項に記載の画像抽出方法の各々のステップをコンピュータに実行させるためのプログラム。
29. 請求項２４〜２７のいずれか１項に記載の画像抽出方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。