JP2016149149A - 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体 - Google Patents

Abstract

【課題】登場回数に依らずに重要人物を判定し、画像レイアウトを行う画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体を提供する。【解決手段】複数の画像データから顔画像を検出し、複数の顔画像に基づいて同一人物判定処理を行って、複数の顔画像を同一人物の顔画像からなる画像群に分類することで各画像群に対応する人物をそれぞれ特定し、特定された人物のうち、少なくとも一人の人物を主人公として決定し、主人公以外の人物のうち主人公と関連性の高い少なくとも一人の人物を重要人物として判定する。【選択図】図１

Description

本発明は、複数の画像データに基づく画像に写る人物から重要人物を判定し、画像レイアウトを行う画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体に関するものである。

従来、携帯電話やパーソナルコンピュータの格納部、デジタルカメラ等のフラッシュメモリに格納された複数の画像データに基づいてフォトブック等の画像商材の自動作成が行われている（例えば、特許文献１参照）。

一般的に、画像商材の自動作成は、ユーザが、大量の画像データの中から画像商材に載せる画像データを選択し、逐一レイアウトする手間が掛からないため便利であるが、必ずしもユーザにとって満足度の高い画像商材が作成できるとは限らない。例えば、図１３に示すように、画像商材の自動作成では、自分の子供の画像を中心としたレイアウトを行いたいにも関わらず、他人の子供の画像を中心としたレイアウトが行われてしまう場合があり、自動作成される画像商材に対するユーザの満足度を下げてしまう可能性がある。

特許文献１には、個々の画像データから顔画像を検出し、顔画像の被写体としての主要度を算出し、これら主要度に基づいて画像データの重要度を算出し、重要度に基づいてレイアウトを行う画像出力装置が提案されている。
また、特許文献２には、映像のフレーム画像から人物の顔画像を検出し、全ての顔画像を比較して、人物毎の顔画像にグループ化することで、最も出現頻度が高い人物を主人公として推定する画像分類装置の発明が開示されている。

特開２００７−４９３８７号公報 特開２００６−２４４２７９号公報

特許文献１の画像出力装置を利用すれば、または、特許文献２の画像分類装置の技術を利用すれば、図１３に示したようなレイアウトを避けることができるかもしれないが、特許文献１の顔画像の被写体としての主要度や特許文献２の主人公の推定は、顔画像の出現回数（出現頻度、検出数）、つまり、顔画像に対応する人物の登場回数に応じて決定されており、特許文献１の画像出力装置や特許文献２の画像分類装置では、登場回数は少ないものの重要な人物の写る画像データを抽出することは困難であった。
例えば、子供を中心（主人公）とした家族のフォトブックを作成しようとした場合、父親や祖父母は重要人物であるが、父親は撮影者であることが多く母親に比べて登場回数の少ない傾向にある。また、例えば、子供と一緒に暮らしていない祖父母等も登場回数が少ないと考えられる。そのため、特許文献１の画像出力装置、または特許文献２の画像分類装置を利用してフォトブックを作成すると、登場回数の少ない父親や祖父母の写っていないフォトブックが作成されてしまうという問題があった。

本発明の目的は、上記従来技術の問題点を解消し、登場回数に依らずに重要人物を判定し、画像レイアウトを行う画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体を提供することにある。

上記課題を解決するために、本発明は、複数の画像データを取得する画像データ取得部と、画像データ取得部によって取得されたそれぞれの画像データから顔画像を検出する顔画像検出部と、顔画像検出部において検出された複数の顔画像に基づいて同一人物判定処理を行って、複数の顔画像を同一人物の顔画像からなる画像群に分類することで各画像群に対応する人物をそれぞれ特定する人物特定部と、人物特定部によって特定された人物のうち、少なくとも一人の人物を主人公として決定する主人公決定部と、主人公決定部において決定された主人公に基づいて、人物特定部によって特定された主人公以外の人物のうち主人公と関連性の高い少なくとも一人の人物を重要人物として判定する重要人物判定部とを備えることを特徴とする画像処理装置を提供する。

また、主人公決定部は、顔画像の検出数が最も多い人物を主人公として決定することが好ましい。

また、重要人物判定部は、人物特定部によって特定された主人公以外の人物のうち、主人公と共に写る画像データの数に基づいて重要人物を判定することが好ましい。

また、顔画像検出部は、顔画像の検出とともに、画像データにおける顔画像の位置情報を検出し、重要人物判定部は、顔画像検出部において検出された、同一の画像に写る主人公の位置情報と主人公以外の人物の位置情報とに基づいて顔画像の間の距離を算出し、顔画像の間の距離に基づいて重要人物を判定することが好ましい。

また、画像データは、メタ情報として撮影日時情報および撮影位置情報の少なくとも一方を有し、重要人物判定部は、主人公の写る画像データの撮影日時情報と主人公以外の人物の写る画像データの撮影日時情報との差分、および主人公の写る画像データの撮影位置情報と主人公以外の人物の写る画像データの撮影位置情報との差分の少なくとも一方に基づいて重要人物を判定することが好ましい。

複数の画像データを格納する格納部と、格納部に格納された複数の画像データを分類し、所定の管理画像群として管理する画像データ管理部と、所定の管理画像群を表す管理イメージを表示する表示部とを更に備え、画像データ管理部は、所定の管理画像群の中に主人公および重要人物の少なくとも一方が含まれる画像データが存在する場合に、表示部の表示される管理イメージを強調表示することが好ましい。

また、主人公決定部において決定された主人公と重要人物判定部において判定された重要人物とに基づいて画像データの優先度を設定する優先度設定部と、優先度設定部において設定された優先度に基づいて画像データのレイアウトを決定する画像レイアウト決定部と、画像レイアウト決定部によって決定されたレイアウトで複数の画像データを出力する出力部とを更に備えることが好ましい。

また、優先度設定部は、主人公および重要人物の有無、主人公および重要人物の配置、ならびに主人公および重要人物とその他の人物との位置関係の少なくとも一つに基づいて優先度を設定することが好ましい。

また、ユーザの指示に基づいて主人公または重要人物を変更する人物変更部を更に備え、優先度設定部は、人物変更部によって変更された主人公または重要人物に基づいて、優先度を変更し、画像レイアウト決定部は、変更された優先度に基づいて画像データのレイアウトを変更することが好ましい。

また、レイアウトに応じて画像データに基づく画像にトリミング処理を施す画像トリミング部を更に備え、画像トリミング部は、主人公および重要人物の有無、主人公および重要人物の配置、ならびに主人公および重要人物とその他の人物との位置関係の少なくとも一つに基づいてトリミング処理を行うことが好ましい。

また、本発明は、複数の画像データから顔画像を検出し、検出された複数の顔画像に基づいて同一人物判定処理を行って、複数の顔画像を同一人物の顔画像からなる画像群に分類することで各画像群に対応する人物をそれぞれ特定し、特定された人物のうち、少なくとも一人の人物を主人公として決定し、決定された主人公に基づいて、主人公以外の人物のうち主人公と関連性の高い少なくとも一人の人物を重要人物として判定することを特徴とする重要人物判定方法を提供する。

また、顔画像の検出数が最も多い人物を主人公として決定することが好ましい。

また、主人公以外の人物のうち、主人公と共に写る画像データの数に基づいて重要人物を判定することが好ましい。

また、顔画像の検出とともに、画像データにおける顔画像の位置情報を検出し、同一の画像に写る主人公の位置情報と主人公以外の人物の位置情報とに基づいて顔画像の間の距離を算出し、顔画像の間の距離に基づいて重要人物を判定することが好ましい。

また、画像データは、メタ情報として撮影日時情報および撮影位置情報の少なくとも一方を有し、主人公の写る画像データの撮影日時情報と主人公以外の人物の写る画像データの撮影日時情報との差分、および主人公の写る画像データの撮影位置情報と主人公以外の人物の写る画像データの撮影位置情報との差分の少なくとも一方に基づいて重要人物を判定することが好ましい。

また、本発明は、主人公と上述の重要人物判定方法に基づいて判定された重要人物とに基づいて画像データの優先度を決定し、優先度に基づいて画像データのレイアウトを決定することを特徴とする画像レイアウト方法を提供する。

また、主人公および重要人物の有無、主人公および重要人物の配置、ならびに主人公および重要人物とその他の人物との位置関係の少なくとも一つに基づいて優先度を決定することが好ましい。

また、ユーザの指示に基づいて主人公または重要人物が変更された場合に、変更された主人公または重要人物に基づいて、優先度を変更し、変更された優先度に基づいて画像データのレイアウトを変更することが好ましい。

また、レイアウトと、記主人公および重要人物の有無、主人公および重要人物の配置、ならびに主人公および重要人物とその他の人物との位置関係の少なくとも一つに基づいて、画像データに基づく画像にトリミング処理を行うことが好ましい。

また、本発明は、コンピュータに、上述のいずれかに記載の重要人物判定方法の各手順を実行させるためのプログラムを提供する。

また、本発明は、コンピュータに、上述のいずれかに記載の画像レイアウト方法の各手順を実行させるためのプログラムを提供する。

また、本発明は、上述の重要人物判定方法または上述の画像レイアウト方法の各手順をコンピュータに実行させるためのプログラムが記録されたコンピュータ読取可能な記録媒体を提供する。

本発明によれば、登場回数に依らずに重要人物を判定することができ、また、登場回数に依らない重要人物に基づいて画像レイアウトを行うことができる。

本発明の実施の形態１に係る画像処理装置の全体構成を示すブロック図である。 図１の画像処理装置で行われる重要人物判定処理の動作（重要人物判定方法）を示すフローチャートである。 図２の重要人物判定処理を具体的に説明する説明図である。 図１の画像処理装置で行われる画像レイアウト処理の動作（画像レイアウト方法）を示すフローチャートである。 （Ａ）〜（Ｄ）は、主人公および重要人物の配置と画像の優先度との関係を説明するための画像の具体例である。 フォトブックの見開きページのテンプレートの一例を示す模式図である。 本発明の画像レイアウトと従来の画像レイアウトとの比較図である。 図１の画像処理装置の画像データ管理画面の一例を示す図である。 図１の画像処理装置の主人公および重要人物変更画面の一例を示す図である。 本発明の実施の形態２に係る画像処理装置の全体構成を示すブロック図である。 図１０の画像処理装置の画像トリミング部で行われるトリミング処理のパターンを示す図である。 図１および図１０の画像処理装置における画像レイアウトの一例を示す図である。 従来技術によって自動生成された画像レイアウトの問題点を説明する図である。

本発明に係る画像処理装置、重要人物判定方法、および重要人物に基づく画像レイアウト方法ならびにプログラムおよび記録媒体を、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の全体構成を示すブロック図である。図１の画像処理装置は、画像データ取得部１、画像データ取得部１より順次接続される人物特定部２、主人公決定部３、重要人物判定部４、優先度設定部５および画像レイアウト決定部６、画像レイアウト決定部６に接続される出力部７および表示制御部８、表示制御部８に接続される表示部９を備える。また、上述の画像データ取得部１、人物特定部２、主人公決定部３、重要人物判定部４、優先度設定部５、画像レイアウト決定部６、出力部７および表示制御部８のそれぞれに接続する制御部１０と、制御部１０に接続する操作部１１および格納部１２を備える。

画像データ取得部１は、画像処理装置の外部の機器や記録媒体から大量の画像データを取得するものであり、例えば、ＰＣや画像サーバ等に接続して、格納された画像データを取得し、また、デジタルスチルカメラ（ＤＳＣ）や携帯電話等に用いられる記録媒体を読み取って、記録媒体に格納された画像データを取得するものである。

人物特定部２は、画像データ取得部１から複数の画像データを取得し、それぞれの画像データに基づく画像に写る人物を顔画像から特定するものである。人物特定部２は、順次接続される顔画像検出部２１、顔特徴量算出部２２および顔画像分類部２３を備える。

顔画像検出部２１は、それぞれの画像データに対して顔画像検出処理を行って、それぞれの画像データに基づく画像から人物の顔の部分が写る顔画像を検出し、顔画像データを生成するものである。なお、顔画像検出処理としては、種々の公知の技術が利用できる。１枚の画像に複数の人物の顔画像が写る場合には、全ての人物の顔画像を検出し、それぞれの顔画像に対応する顔画像データを生成する。顔画像データは、比較および管理がしやすいように所定のアスペクト比、所定のピクセルサイズ、所定のファイル形式となるようにエンコードされることが好ましい。また、顔画像データは、メタ情報として、顔画像を検出した元画像データの情報を有するものであり、元画像データの情報としては、例えば、元画像データへのアクセス情報、元画像データの撮影日時情報、元画像データの撮影位置情報（ＧＳＰによる位置情報）、顔画像の検出位置情報、顔画像のサイズの情報などを有するものである。なお、顔画像の検出位置情報とは、例えば、顔画像データを生成する際の元画像における顔画像の中心位置の座標であり、顔画像のサイズの情報とは、元画像に対する顔画像の大きさの情報であり、例えば、元画像から矩形の顔画像を切り出す場合における矩形のトリミング枠内の面積およびアスペクト比等の情報である。

顔特徴量算出部２２は、顔画像検出部２１によって検出され、生成された顔画像データに基づいて顔画像の特徴量を算出するものであり、例えば、顔画像データから、目（目頭、目尻等含む）、鼻および口（口角等を含む）や輪郭等を抽出し、これらの位置や大きさ、これらの位置や大きさの関係等をその顔画像の特徴量（顔特徴量）として算出するものである。
顔画像分類部２３は、顔特徴量算出部２２で算出された顔特徴量に基づいて同一人物判定処理を行って顔画像データを人物ごとに分類するものであり、また、同一人物判定処理としては、例えば、複数の顔特徴量からそれぞれのモデルデータを生成し、モデルデータ同士の差分に基づいて同一人物判定を行う方法、種々の公知の同一人物判定方法を利用することができる。複数の画像データに対して、顔画像の検出から同一人物判定処理に基づく顔画像データの分類までの一連の処理を行うことで、複数の画像データに基づく複数の画像に写る複数の人物をそれぞれ特定することができる。

主人公決定部３は、人物特定部２によって特定されたそれぞれの人物から、主人公を決定するものである。主人公決定部３は、例えば、人物特定部２の顔画像検出部２１によって検出された顔画像（生成された顔画像データ）の最も多い人物を主人公として決定する。なお、上述の主人公の決定方法は一例であり、また、主人公は、必ずしも一人とは限らず、複数人を主人公として決定してもよい。

重要人物判定部４は、主人公決定部３で決定された主人公以外の人物のうち、主人公と関連性の高い人物を重要人物として判定するものである。重要人物の判定の詳細については後述するが、重要人物は、一人である必要はない。また、重要人物判定部４が、複数の人物を重要人物として判定する場合、重要人物の重要度に応じて順位付けを行ってもよい。

優先度設定部５は、主人公決定部３で決定された主人公と、重要人物判定部４において判定された重要人物とに基づいて、レイアウトに用いる複数の画像データの優先度を設定するものである。優先度設定の詳細については後述する。
画像レイアウト決定部６は、優先度設定部５において決定された画像データの優先度に基づいて画像のレイアウトを行うものである。例えば、フォトブック等の画像商材のテンプレートには、画像の配置領域（画像配置領域）に対して予め順番が付けられており、画像レイアウト決定部６は、画像データの優先度とテンプレートの画像配置領域の順番とに基づいて画像のレイアウトを決定する。

出力部７は、複数の画像データ含む画像商材の画像レイアウトのデータ（画像レイアウトデータ）を外部に出力するものである。出力部７は、例えば、プリンタ等の印刷装置や記録装置に接続され、これら印刷装置や記録装置に画像レイアウトデータを出力する。なお、印刷装置は、複数の画像を含む画像レイアウトのデータを紙媒体等に印刷して画像商材を生成するものであり、記録装置は、テンプレートの画像配置領域に配置された画像データを含めて、画像レイアウトデータを記録するものである。

表示制御部８は、画像レイアウト決定部６において決定された画像レイアウトの画像レイアウトデータを取得し、また、制御部１０からの管理画面の画面表示データ等を取得して、画像レイアウトまたは管理画面を表示部９に表示させるものである。また、表示部９は、表示制御部８から画像レイアウトデータを取得して、表示画面に画像レイアウトを表示し、また、管理画面の画面表示データ等を取得して、表示画面に管理画面を操作可能に表示するものである。なお、表示部９としては、液晶ディスプレイ等、種々の公知の表示装置を利用することができる。

制御部１０は、画像処理装置の各部に直接的または間接的に接続し、操作部１１からのユーザの指示に基づいて、または、図示しない内部メモリに記憶された所定のプログラム等に基づいて、画像処理装置の各部を制御するものである。例えば、上述の管理画面を通じた画像処理装置の操作や主人公、重要人物の変更等や、画像レイアウト作成後の画像レイアウトの変更等は、制御部１０を通じて行われる。

操作部１１は、ユーザから各種指示を受け、これらの指示を制御部１０へ出力するものであり、例えば、キーボードやマウス等、種々の公知の構成を利用することができる。
格納部１２は、上述の複数の画像データ、複数の顔画像データ、およびこれらの画像データに関連する情報、複数の画像データに含まれる人物の情報（主人公および重要人物の情報を含む）等を記憶するものであり、例えば、ＨＤＤやＳＳＤ等の記録媒体によって構成されてもよくまた、ＨＤＤやＳＳＤ等の記録媒体を含む画像サーバ等によって構成されてもよい。

次に、図２に示すフローチャートに基づいて、図１の画像処理装置における重要人物判定処理の動作（重要人物判定方法）を説明する。
ステップＳ１として、画像データ取得部１は、外部の格納装置等と接続して、外部の格納装置等から複数の画像データを取得する。取得された複数の画像データは、人物特定部２へ出力される。

次に、ステップＳ２として、人物特定部２の顔画像検出部２１は、それぞれの画像データに基づく画像から顔画像を検出し、顔画像データを生成する。顔画像データは、上述のとおり、所定のアスペクト比、所定のピクセルサイズおよび所定のファイル形式にエンコードされたものであり、また、メタ情報として、元画像データへのアクセス情報、元画像データの撮影日時情報、元画像データの撮影位置情報、顔画像の検出位置情報および顔画像のサイズの情報を有するものである。生成された顔画像データは、顔特徴量算出部２２へ出力される。

（同一人物判定処理）
続くステップＳ３では、顔特徴量算出部２２は、顔画像データに基づく顔画像から、目、鼻、口、輪郭等の顔パーツを検出し、顔パーツの配置、形状、大きさ、およびこれらの関係等に基づいて顔特徴量を算出する。
ステップＳ４では、顔画像分類部２３は、顔特徴量算出部２２で算出された複数の顔画像データに対応する複数の顔特徴量に基づいてそれぞれのモデルデータを生成し、モデルデータ同士を比較することでそれぞれの顔画像データを顔画像群として分類し、１つの顔画像群を１人の人物として、これら画像群に対応する人物の情報を登場人物の情報として出力する。なお、モデルデータとしては、例えば、顔特徴量である顔パーツの位置関係に基づくベクトル量等が挙げられる。

図３は、顔画像分類部２３によって分類された複数の顔画像群の一例を説明する説明図である。図３の矩形画像３１は、上述の顔画像データに基づく顔画像または顔画像のサムネイル画像（以下、矩形画像３１を顔画像３１という）である。また、顔画像３１の左側に位置する「人物１」との記載は、顔画像３１も含めて、「人物１」との記載の横に並ぶ複数の顔画像に基づく顔画像群を表す名称であり、顔画像群に対応する人物を示すものである。つまり、「人物１」の横に並ぶ複数の顔画像は、全て「人物１」の顔画像である。
また、顔画像３１の下に記載の「ａ．ｊｐｇ」との記載は、顔画像を検出した元画像データのファイル名を説明のために記載したものであり、実際には、上述のとおり、顔画像データは、元画像データのファイル名等を含む元画像データの情報をメタ情報として有する。なお、顔画像３１以外の各顔画像についても、顔画像３１の場合と同様に、説明のために、各顔画像の下に元画像データのファイル名を記載している。

図３では、複数の画像データから、「人物１」〜「人物Ｎ」までのＮ人の人物が特定されたことが分かる。また、図３では、「人物１」〜「人物Ｎ」の他に「未分類」の顔画像群が存在する。なお、「未分類」の顔画像群に含まれる顔画像は、上述の同一人物判定処理によって分類できない顔画像である。

（主人公の決定）
ステップＳ５では、主人公決定部３は、人物特定部２から出力された登場人物の情報に基づいて主人公を決定する。ここで、登場人物の情報とは、顔画像分類部２３によって分類された顔画像群の情報（特定された人物の情報）のみならず、それぞれの顔画像群の有する顔画像（顔画像データ）の数、顔画像データの有するメタ情報などを含むものである。
主人公の決定方法としては様々な方法が挙げられるが、主人公決定部３は、例えば、顔画像群における顔画像の数が最も多い人物（顔画像検出部２１による顔画像の検出数が最も多い人物）を、つまり、複数の画像データにおいて、登場回数が最も多い人物を主人公として決定する。なお、図３の「人物１」〜「人物Ｎ」は、顔画像の数の多い順に並べられたものである。よって、主人公決定部３は、顔画像の数の最も多い人物１を主人公として決定する。
なお、主人公は必ず一人である必要はなく、主人公決定部３は、例えば、登場回数の多い順に２人を主人公とするなど、複数人の主人公を決定することもできる。例えば、２人兄弟を含む家族写真を中心とした複数の画像データから主人公を決定する場合、兄弟２人を主人公として決定してもよい。

（重要人物の判定）
ステップＳ６では、重要人物判定部４は、上述の人物特定部２から出力された登場人物の情報と上述の主人公決定部３において決定された主人公とに基づいて、主人公と関連性の高い人物を重要人物として判定する。
重要人物の判定方法としては様々な方法が考えられるが、重要人物判定部４は、例えば、主人公と共に写る画像データの多い人物を重要人物として判定する。図３に示すように、主人公の写る画像データが、「ａ．ｊｐｇ」、「ｂ．ｊｐｇ」、「ｃ．ｊｐｇ」、「ｄ．ｊｐｇ」、「ｅ．ｊｐｇ」、「ｆ．ｊｐｇ」、「ｇ．ｊｐｇ」であり、「人物２」の写る画像データが、「ｂ．ｊｐｇ」、「ｃ．ｊｐｇ」、「ｄ．ｊｐｇ」、「ｆ．ｊｐｇ」、「ｇ．ｊｐｇ」、「ｈ．ｊｐｇ」である場合、「人物２」は、「ｂ．ｊｐｇ」、「ｃ．ｊｐｇ」、「ｄ．ｊｐｇ」、「ｆ．ｊｐｇ」の４つの画像データにおいて主人公と共に写っており、「人物２」〜「人物Ｎ」の中で最も多い。
このように、重要人物判定部４は、主人公（「人物１」）を除く全ての人物、つまり、「人物２」〜「人物Ｎ」に対して、主人公と共に写る画像データの数を算出し、主人公と共に写る画像データの数が最も多い人物を重要人物として判定する。この場合、重要人物判定部４は、主人公と共に写る画像データの数の最も多い「人物２」を「重要人物」として判定する。

なお、上述の主人公の場合と同様に、重要人物は一人とは限らず、例えば、主人公と共に写る画像データの数の多い順に複数人を重要人物として判定してもよい。また、重要人物を複数人判定する場合、主人公と共に写る画像データの数の多い順に、重要人物１、重要人物２、……と順位付けを行ってもよい。

（画像レイアウト）
次に、図４に示すフローチャートに基づいて、図１の画像処理装置における画像レイアウトの動作（画像レイアウト方法）を説明する。図４のフローチャートは、図２に示したフローチャートの続きである。また、ここでは、作成する画像商材をフォトブックとし、フォトブックの所定のページに対して画像レイアウトを行う場合を例として説明する。
ステップＳ７として、優先度設定部５は、上述の重要人物判定部４において判定された重要人物と、上述の主人公決定部３において決定された主人公とに基づいて複数の画像データの優先度を設定する。
優先度の設定は、画像における主人公および重要人物の有無、画像における主人公および重要人物の配置、画像における主人公および重要人物の顔の大きさ、画像における人物の登場人数（主人公および重要人物を含む）等を総合的に判断した上で、例えば、５段階で設定される。
図５（Ａ）に示すように、主人公（顔画像が二重丸で囲まれた人物。以下、画像では同様に主人公を示す）および重要人物（顔画像が丸で囲まれた人物。以下、画像では同様に重要人物を示す）が画像の中央付近に大きく写っている画像データは、例えば、「優先度５」と、優先度が最も高く設定される。また、図５（Ｂ）に示すように、主人公および重要人物が一緒に写っており、主人公および重要人物以外の他の人物（顔画像が破線の丸で囲まれた人物。以下、画像では同様に他の人物を示す）も写っているが、他の人物が主人公および重要人物の近くに写っている画像データは、図５（Ａ）の次に優先度が高くなるように、例えば、「優先度４」と設定される。また、図５（Ｃ）に示すように、主人公および重要人物が一緒に写っており、他の人物が背景に写っている画像データは、図５（Ｂ）の次に優先度が高くなるように、例えば、「優先度３」と設定される。また、主人公のみが写っている画像データまたは重要人物のみが写っている画像データは、図５（Ｃ）よりも優先度が低くなるように、例えば、「優先度２」と設定される。また、図５（Ｄ）に示すように、主人公および重要人物が写っていない画像データは、優先度が最も低くなるように、例えば、「優先度１」と設定される。

続くステップＳ８では、制御部１０は、ユーザの指示に基づいて、複数の画像データの中からフォトブックの所定のページにレイアウトを行うための複数の候補画像データを抽出する。ユーザが、操作部１１を操作して、画像データの撮影期間、画像データのカテゴリ（例えば、ユーザが入力した運動会、お正月等のイベント等や画像内容の自動判定技術を用いて得られた画像内容に基づくカテゴリ）、レイアウトを行うフォトブックのページ数、およびレイアウトを行う各ページのテンプレート等を指定すると、制御部１０は、フォトブックの作成に必要な画像データ数を算出し、複数の画像データの中からフォトブックを作成するために十分な数の候補画像データを抽出する。なお、フォトブックの作成には、数ある候補画像データの中から優先度の高い、より良い画像データが選択され、フォトブックに採用されるため、候補画像データの数としては、例えば、フォトブックの作成に必要な画像データ数の２倍以上が好ましい。
なお、図６は、フォトブックの見開きページのテンプレートの一例を示す模式図である。テンプレートには、優先度に応じた画像配置領域が設定されている。図６では、原則として画像が大きく表示される画像配置領域から順に、１番〜７番の配置の順番が設定されている。

最後に、ステップＳ９として、画像レイアウト決定部６は、上述の複数の候補画像データの中から優先度設定部５において設定された優先度に基づいてレイアウトを行う候補画像データを選択し、優先度に基づいて候補画像データのレイアウトを決定する。
画像レイアウト決定部６は、例えば、複数の候補画像データを優先度の高い順に並べて、図６に示した画像の配置１〜７の順に上述の候補画像がレイアウトされるように、画像レイアウトを決定する。決定された画像レイアウトは、表示制御部８を介して表示部９に表示され、また、ユーザの指示に基づいて対応する画像データとともに画像レイアウトのデータ（画像レイアウトデータ）として出力部７より外部に出力される。

図７は、本発明に基づく画像レイアウトと従来の画像レイアウトとの比較図である。図７に示すように、従来の画像レイアウトでは、例えば、顔画像の数または主人公の有無に基づいて、主人公および重要人物の写る画像を大きく表示できるかもしれないが、主人公および重要人物以外のその他の人物を複数写っており、また、主人公および重要人物が中心の画像ではないため、この画像レイアウトに対するユーザの満足度は高くない。これに対して本発明の画像レイアウトでは、例えば、主人公および重要人物のみの写る画像を大きく表示できるため、この画像レイアウトに対するユーザの満足度は高く、また、総じてユーザの満足度の高いフォトブックを提案することができる。

（画像データ管理画面）
また、図８は、図１の画像処理装置における画像データ管理画面の一例を示す模式図である。図１の画像処理装置では、複数の画像データは所定の基準によって画像群（管理画像群）ごとにまとめられ、管理画面上で、画像群を示す所定の管理イメージ（例えば、ブロック画像等によって表示される。例えば、図８に示すように、撮影日時に基づいて複数の画像群にまとめられ、ブロック（管理イメージ）３２〜３４等によって表示される。なお、上述の所定の基準とは、例えば、画像データ撮影日時、画像データの撮影位置、画像データのカテゴリなどが挙げられる。なお、ブロック３２〜３４内の撮影日時の横の矩形画像は、ブロックに対応する画像群の画像（のサムネイル画像）の一例を示すものである。
また、制御部１０は、本発明に係る画像データ管理部を構成し、例えば、所定の画像群に分類される画像データの中に、主人公および重要人物が写る画像データが存在する場合には、表示制御部８を制御してその画像群に対応するブロックを強調表示してもよい。図８では、撮影日時が、「１２／１２（日付）」の画像群と「１２／２４（日付）」の画像群の中に主人公および重要人物が写る画像データが存在するため、ブロック３２〜３４のうち、「１２／１２（日付）」の画像群に対応するブロック３２と「１２／２４（日付）」の画像群に対応するブロック３４とが強調表示される。また、図８では、複数の画像データを画像群に分類する基準として「日付」が選択されているため、「日付」のブロック３５も同様に強調表示される。なお、強調表示の方法としては、色の変更、点滅、太枠または太字にする等、種々の公知の方法を利用することができる。なお、「日付」としては、上述の例（日単位）に限定されず、時間単位、週単位、月単位、年単位等に基づいて分類することができる。

（主人公および重要人物管理画面）
また、図９は、図１の画像処理装置における主人公および重要人物管理画面の一例を示す模式図である。図９の主人公および重要人物管理画面では、同一人物判定処理によって特定された登場人物を、それぞれ画面横方向に延びるフレーム（フレーム３６〜４０）によって表し、主人公であるか否かを画面縦方向に延びるフレーム４１内のチェックボックスによって表し、また、重要人物であるか否かを同じく画面縦方向に延びるフレーム４２内のチェックボックスによって表している。フレーム３６とフレーム４１との交差位置にある主人公のチェックボックスにチェックが入っているため、フレーム３６に対応する人物が主人公であり、また、フレーム３７とフレーム４２との交差位置にある重要人物のチェックボックスにチェックが入っているため、フレーム３７に対応する人物が重要人物であると分かる。なお、フレーム３６〜フレーム４０内の数字は、フレームに対応する人物の写る画像データの数を表し、また、フレーム３６〜フレーム４０内の数字の横の矩形画像は、フレームに対応する人物の顔画像（のサムネイル画像）の一例を表すものである。

（主人公および重要人物の変更）
ユーザは、操作部１１を操作して制御部１０（本発明の人物変更部）を介して主人公および重要人物管理画面を変更することで、主人公または重要人物を変更することができる。
具体的には、ユーザは、操作部１１を介して制御部１０を操作して、フレーム４１内のチェックボックスを変更することで、つまり、チェックを付けたり外したりすることで主人公を変更し、また、フレーム４２内のチェックボックスを変更することで重要人物を変更する。

ユーザによって主人公が変更された場合、制御部１０は、重要人物判定部４を制御して変更された主人公に基づいて重要人物を判定し直し、また、制御部１０は、優先度設定部５を制御して変更された主人公および判定し直された重要人物に基づいて複数の画像データの優先度を設定し直す。また、同様に、制御部１０は、画像レイアウト決定部６を制御して、設定し直された優先度に基づいて画像レイアウトを再度決定する。
また、ユーザによって重要人物が変更された場合、制御部１０は、優先度設定部５を制御して変更された重要人物に基づいて複数の画像データの優先度を設定し直す。また、同様に、制御部１０は、画像レイアウト決定部６を制御して、設定し直された優先度に基づいて画像レイアウトを再度決定する。

上述のとおり、本発明によれば、主人公との関連性に基づいて重要人物を判定することで、登場回数に依らないで重要人物を判定することができる。また、上述のとおり、登場う回数に依らない重要人物に基づいて画像レイアウトを決定することで、ユーザの満足度の高い画像レイアウトを行うことができる。

（実施の形態２）
また、本発明に係る画像処理装置は、フォトブック等の画像商材に対して画像データのレイアウトを行う際に、よりユーザの満足度の高いフォトブックを作成するために自動でトリミングを行ってもよい。
図１０は、本発明の実施の形態２に係る画像処理装置の全体構成を示すブロック図である。

図１０の画像処理装置と図１の画像処理装置との相違点は、図１０の画像処理装置が、画像レイアウト決定部６と出力部７および表示制御部８との間に、画像トリミング部１３を備える点である。そのため、画像トリミング部１３以外の、画像データ取得部１、人物特定部２、主人公決定部３、重要人物判定部４、優先度設定部５、画像レイアウト決定部６、出力部７、表示制御部８、表示部９、制御部１０、操作部１１および格納部１２の構成は、実施の形態１に係る画像処理装置と同様であるため、その説明を省略する。
また、画像処理装置の動作についても画像トリミング部１３の動作を主に説明し、画像トリミング部１３以外の動作の説明を省略する。

画像トリミング部１３は、画像レイアウト決定部６および制御部１０に接続され、また、出力部７および表示制御部８に接続する。
画像トリミング部１３は、画像レイアウト決定部によって決定された画像配置領域に、所定の画像（以下、配置画像）を配置する際、配置画像が画像配置領域の形状に対応するように配置画像に所定のトリミング処理を行うものである。

図１１は、画像トリミング部１３において行われるトリミング処理のパターンを示す図であり、画像トリミング部１３は、配置画像の画像内容に基づいて所定のパターンで配置画像のトリミング処理を行う。
図１１に示すように、配置画像に主人公および重要人物が写っており、主人公および重要人物の近くにその他の人物が写っていない場合は、パターン１として、主人公および重要人物が中心に配置されるように配置画像に対してトリミング処理を行う。また、配置画像に主人公および重要人物が写っており、主人公および重要人物の近くにその他の人物が写っている場合は、パターン２として、主人公および重要人物の他に、その他の人物も含まれるように配置画像に対してトリミング処理を行う。また、配置画像に主人公および重要人物が写っていない場合は、パターン３として、全ての人物が含まれるように配置画像に対してトリミングを行う。なお、図１１に示したトリミング処理のパターンは一例であって、これに限定される必要はなく、例えば、主人公のみまたは重要人物のみが大きく写る配置画像に対しては、主人公または重要人物が大きく表示されるようにトリミング処理を行ってもよい。
上述のとおり、画像トリミング部１３は、配置画像の内容に応じて配置画像のトリミング処理を行うことで、配置画像をより魅力的な画像とすることができ、また、より魅力的が画像レイアウトを行うことができる。

また、配置画像における主人公および重要人物の有無は、上述のトリミング処理のみならず、画像レイアウト決定部６における画像レイアウトにも反映することができる。
例えば、図１２に示すように、主人公および重要人物が配置画像左下に写り、その他の人物が配置画像右上に写る場合には、配置画像における主人公の顔画像の位置、重要人物の顔画像の位置、およびその他の人物の顔画像の位置が分かっているため、主人公および重要人物が隠れることがないように、配置画像の上に別の配置画像を重ねて配置してもよい。その他の人物は別の配置画像が重ねられたことで隠れるが、主人公および重要人物は、別の配置画像によって隠れることが無いため、ユーザの満足度の高い画像レイアウトを行うことができる。

（重要人物の判定処理の他の態様）
また、重要人物の判定処理は、上述の例に限定されず、例えば、主人公と共に写る画像データの数だけでなく、主人公と共に写る画像において、特定の人物の顔画像と主人公の顔画像との間の距離（顔画像間距離）を算出し、例えば、顔画像間距離の平均値に基づいて重要人物を判定してもよい。なお、上述の顔画像間距離は、元画像に対する顔画像の大きさによって変わるため、主人公の顔画像を所定のサイズにした場合を基準として顔画像間距離を算出する。上述のとおり、主人公の顔画像を所定のサイズに揃えたうえで画像間距離を算出することで、顔画像の大きさの異なる様々な画像データ間に共通して画像間距離を取り扱うことができる。また、上述の例では、画像間距離の平均値としているが、平均値に限定されず、例えば、画像間距離の最小値や最頻値を基準としてもよい。

また、顔画像間距離のみに基づいて重要人物を判定するのではなく、主人公と一緒に写る画像の数と顔画像間距離との両方に基づいて重要人物を判定してもよい。また、これらの方法に限らず、主人公の写る画像と主人公以外の人物の写る画像との撮影日時の差分や、撮影位置（ＧＳＰの情報等）の差分などの情報を上述の一緒に写る画像の数や画像間距離と組み合わせて重要人物を判定してもよい。撮影日時の差分が小さいほど、また、撮影位置の差分が小さいほど、主人公と同じイベント等において撮影された画像と判断できるため、主人公と関連性の高い人物であると判定できる。

また、同一人物判定処理は、上述の方法に限定されず、例えば（Ｇｏｂａｒ）ガーバーフィルタを用いる方法等、種々の公知の方法を利用することができる。
また、上述のとおり、画像データまたは顔画像データは、メタ情報を有するが、メタ情報はこれら画像データまたは顔画像データに付帯して記憶される必要はなく、画像データまたは顔画像データに紐づけられ、画像データまたは顔画像データと別に、画像データまたは顔画像データからアクセス可能に格納されてもよい。
また、上述の実施の形態では、複数の画像データの中から画像商材にレイアウトを行うための複数の候補画像データを抽出しているが、複数の画像データが少ない場合は、候補画像データの抽出処理を行わず、複数の画像データ全体を複数の候補画像データとしてもよい。

なお、上述の本発明の重要人物判定方法は、重要人物判定プログラムを実行することによって、また、上述の本発明の画像レイアウト方法は、画像レイアウトプログラムを実行することによって、それぞれコンピュータにおいて処理され得る。例えば、本発明の重要人物判定プログラムは、上述した重要人物判定方法の各ステップをコンピュータのＣＰＵに行わせる手順を有するものであり、本発明の画像レイアウトプログラムは、上述した画像レイアウト方法の各ステップをコンピュータのＣＰＵに行わせる手順を有するものである。これらの手順からなるプログラムは、１つまたは複数のプログラムモジュールとして構成されていてもよい。

これらのコンピュータが実行する手順からなる重要人物判定プログラムおよび画像レイアウトプログラムは、コンピュータの図示しない内部メモリ等に記憶されるものであってもよく、また、記録媒体に記憶されるものであってもよく、実行時に、当該ＣＰＵ等によって、図示しない内部メモリまたは記録媒体から読み出されて実行されるものである。
したがって、本発明は、上述の重要人物判定プログラムまたは上述の画像レイアウトプログラムを記憶したコンピュータ読み取り可能なメモリもしくは記録媒体であってもよい。

以上、本発明の画像処理装置、重要人物判定方法、重要人物に基づく画像レイアウト方法ならびにプログラムおよび記録媒体について詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。

１ 画像データ取得部、 ２ 人物特定部、 ３ 主人公決定部、 ４ 重要人物判定部、 ５ 優先度設定部、 ６ 画像レイアウト決定部、 ７ 出力部、 ８ 表示制御部、 ９ 表示部、 １０ 制御部、 １１ 操作部、 １２ 格納部、 １３ 画像トリミング部、 ２１ 顔画像検出部、 ２２ 顔特徴量算出部、 ２３ 顔画像分類部、 ３１ 顔画像（矩形画像）、 ３２〜３５ ブロック、 ３６〜４２ フレーム。

上記課題を解決するために、本発明は、複数の画像データを取得する画像データ取得部と、画像データ取得部によって取得されたそれぞれの画像データから顔画像を検出する顔画像検出部と、顔画像検出部において検出された複数の顔画像に基づいて同一人物判定処理を行って、複数の顔画像を同一人物の顔画像からなる画像群に分類することで各画像群に対応する人物をそれぞれ特定する人物特定部と、人物特定部によって特定された人物のうち、少なくとも一人の人物を主人公として決定する主人公決定部と、主人公決定部において決定された主人公に基づいて、人物特定部によって特定された主人公以外の人物のうち主人公と関連性の高い少なくとも一人の人物を重要人物として判定する重要人物判定部と、人物特定部によって特定された人物のうち、いずれの人物が主人公および重要人物であるかを管理する人物管理画面を表示部に表示させる表示制御部と、ユーザの指示に基づいて主人公および重要人物のうちの少なくとも一方を変更する人物変更部とを備え、表示制御部は、人物管理画面において、人物特定部によって特定されたそれぞれの人物に対応し、かつ、人物管理画面の横方向および縦方向のうちの一方向に延びる各々の人物領域を人物管理画面の横方向および縦方向のうちの他方向に配列し、他方向に延びる主人公領域および重要人物領域を一方向に配列し、特定された人物が主人公であるか否かを、一方向に延びる各々の人物領域と、他方向に延びる主人公領域との交点において第１の所定の表示が存在するか否かにより示し、特定された人物が重要人物であるか否かを、他方向に延びる重要人物領域と、一方向に延びる各々の人物領域との交点において第２の所定の表示が存在するか否かにより示し、人物変更部は、各々の人物領域と主人公領域との交点においてユーザの指示に基づいて付与された第１の所定の表示が存在する場合に、第１の所定の表示が存在する少なくとも一人の人物を主人公として受け付ける主人公受付部と、主人公変更受付部によって受け付けられた少なくとも一人の人物を主人公に変更する主人公変更部と、各々の人物領域と重要人物領域との交点においてユーザの指示に基づいて付与された第２の所定の表示が存在する場合に、第２の所定の表示が存在する少なくとも一人の人物を重要人物として受け付ける重要人物変更受付部と、重要人物変更受付部によって受け付けられた少なくとも一人の人物を重要人物に変更する重要人物変更部とを備える、画像処理装置を提供する。
ここで、人物領域、主人公領域および重要人物領域は、それぞれ、人物フレーム、主人公フレームおよび重要人物フレームであり、第１の所定の表示および第２の所定の表示は、それぞれ、第１のチェックボックスにおけるチェックおよび第２のチェックボックスにおけるチェックであることが好ましい。

また、優先度設定部は、人物変更部によって変更された主人公または重要人物に基づいて、優先度を変更し、画像レイアウト決定部は、変更された優先度に基づいて画像データのレイアウトを変更することが好ましい。

また、本発明は、複数の画像データから顔画像を検出し、検出された複数の顔画像に基づいて同一人物判定処理を行って、複数の顔画像を同一人物の顔画像からなる画像群に分類することで各画像群に対応する人物をそれぞれ特定し、特定された人物のうち、少なくとも一人の人物を主人公として決定し、決定された主人公に基づいて、主人公以外の人物のうち主人公と関連性の高い少なくとも一人の人物を重要人物として判定し、特定された人物のうち、いずれの人物が主人公および重要人物であるかを管理する人物管理画面を表示部に表示させ、人物管理画面において、特定されたそれぞれの人物に対応し、かつ、人物管理画面の横方向および縦方向のうちの一方向に延びる各々の人物領域を人物管理画面の横方向および縦方向のうちの他方向に配列し、他方向に延びる主人公領域および重要人物領域を一方向に配列し、特定された人物が主人公であるか否かを、一方向に延びる各々の人物領域と、他方向に延びる主人公領域との交点において第１の所定の表示が存在するか否かにより示し、特定された人物が重要人物であるか否かを、他方向に延びる重要人物領域と、一方向に延びる各々の人物領域との交点において第２の所定の表示が存在するか否かにより示し、各々の人物領域と主人公領域との交点においてユーザの指示に基づいて付与された第１の所定の表示が存在する場合に、第１の所定の表示が存在する少なくとも一人の人物を主人公として受け付け、受け付けられた少なくとも一人の人物を主人公に変更し、各々の人物領域と重要人物領域との交点においてユーザの指示に基づいて付与された第２の所定の表示が存在する場合に、第２の所定の表示が存在する少なくとも一人の人物を重要人物として受け付け、受け付けられた少なくとも一人の人物を重要人物に変更する、することを特徴とする重要人物判定方法を提供する。
ここで、人物領域、主人公領域および重要人物領域は、それぞれ、人物フレーム、主人公フレームおよび重要人物フレームであり、第１の所定の表示および第２の所定の表示は、それぞれ、第１のチェックボックスにおけるチェックおよび第２のチェックボックスにおけるチェックであることが好ましい。

Claims (22)

1. 複数の画像データを取得する画像データ取得部と、
   前記画像データ取得部によって取得されたそれぞれの画像データから顔画像を検出する顔画像検出部と、
   前記顔画像検出部において検出された複数の前記顔画像に基づいて同一人物判定処理を行って、前記複数の顔画像を同一人物の顔画像からなる画像群に分類することで各画像群に対応する人物をそれぞれ特定する人物特定部と、
   前記人物特定部によって特定された人物のうち、少なくとも一人の人物を主人公として決定する主人公決定部と、
   前記主人公決定部において決定された前記主人公に基づいて、前記人物特定部によって特定された前記主人公以外の人物のうち前記主人公と関連性の高い少なくとも一人の人物を重要人物として判定する重要人物判定部とを備えることを特徴とする画像処理装置。
2. 前記主人公決定部は、前記顔画像の検出数が最も多い人物を主人公として決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記重要人物判定部は、前記人物特定部によって特定された前記主人公以外の人物のうち、前記主人公と共に写る前記画像データの数に基づいて前記重要人物を判定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記顔画像検出部は、前記顔画像の検出とともに、前記画像データにおける前記顔画像の位置情報を検出し、
   前記重要人物判定部は、前記顔画像検出部において検出された、同一の画像に写る前記主人公の前記位置情報と前記主人公以外の人物の前記位置情報とに基づいて前記顔画像の間の距離を算出し、前記顔画像の間の距離に基づいて前記重要人物を判定することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記画像データは、メタ情報として撮影日時情報および撮影位置情報の少なくとも一方を有し、
   前記重要人物判定部は、前記主人公の写る画像データの前記撮影日時情報と前記主人公以外の人物の写る画像データの前記撮影日時情報との差分、および前記主人公の写る画像データの前記撮影位置情報と前記主人公以外の人物の写る画像データの前記撮影位置情報との差分の少なくとも一方に基づいて前記重要人物を判定することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
6. 前記複数の画像データを格納する格納部と、
   前記格納部に格納された前記複数の画像データを分類し、所定の管理画像群として管理する画像データ管理部と、
   前記所定の管理画像群を表す管理イメージを表示する表示部とを更に備え、
   前記画像データ管理部は、前記所定の管理画像群の中に前記主人公および前記重要人物の少なくとも一方が含まれる画像データが存在する場合に、前記表示部の表示される前記管理イメージを強調表示することを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記主人公決定部において決定された前記主人公と前記重要人物判定部において判定された前記重要人物とに基づいて前記画像データの優先度を設定する優先度設定部と、
   前記優先度設定部において設定された前記優先度に基づいて前記画像データのレイアウトを決定する画像レイアウト決定部と、
   前記画像レイアウト決定部によって決定された前記レイアウトで前記複数の画像データを出力する出力部とを更に備えることを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記優先度設定部は、前記主人公および前記重要人物の有無、前記主人公および前記重要人物の配置、ならびに前記主人公および前記重要人物とその他の人物との位置関係の少なくとも一つに基づいて前記優先度を設定することを特徴とする請求項７に記載の画像処理装置。
9. ユーザの指示に基づいて前記主人公または前記重要人物を変更する人物変更部を更に備え、
   前記優先度設定部は、前記人物変更部によって変更された前記主人公または前記重要人物に基づいて、前記優先度を変更し、
   前記画像レイアウト決定部は、変更された前記優先度に基づいて前記画像データのレイアウトを変更することを特徴とする請求項７または８に記載の画像処理装置。
10. 前記レイアウトに応じて前記画像データに基づく画像にトリミング処理を施す画像トリミング部を更に備え、
    前記画像トリミング部は、前記主人公および前記重要人物の有無、前記主人公および前記重要人物の配置、ならびに前記主人公および前記重要人物とその他の人物との位置関係の少なくとも一つに基づいて前記トリミング処理を行うことを特徴とする請求項７〜９のいずれか一項に記載の画像処理装置。
11. 複数の画像データから顔画像を検出し、
    検出された複数の前記顔画像に基づいて同一人物判定処理を行って、前記複数の顔画像を同一人物の顔画像からなる画像群に分類することで各画像群に対応する人物をそれぞれ特定し、
    特定された人物のうち、少なくとも一人の人物を主人公として決定し、
    決定された前記主人公に基づいて、前記主人公以外の人物のうち前記主人公と関連性の高い少なくとも一人の人物を重要人物として判定することを特徴とする重要人物判定方法。
12. 前記顔画像の検出数が最も多い人物を主人公として決定することを特徴とする請求項１１に記載の重要人物判定方法。
13. 前記主人公以外の人物のうち、前記主人公と共に写る前記画像データの数に基づいて前記重要人物を判定することを特徴とする請求項１１または１２に記載の重要人物判定方法。
14. 前記顔画像の検出とともに、前記画像データにおける前記顔画像の位置情報を検出し、
    同一の画像に写る前記主人公の前記位置情報と前記主人公以外の人物の前記位置情報とに基づいて前記顔画像の間の距離を算出し、前記顔画像の間の距離に基づいて前記重要人物を判定することを特徴とする請求項１１〜１３のいずれか一項に記載の重要人物判定方法。
15. 前記画像データは、メタ情報として撮影日時情報および撮影位置情報の少なくとも一方を有し、
    前記主人公の写る画像データの前記撮影日時情報と前記主人公以外の人物の写る画像データの前記撮影日時情報との差分、および前記主人公の写る画像データの前記撮影位置情報と前記主人公以外の人物の写る画像データの前記撮影位置情報との差分の少なくとも一方に基づいて前記重要人物を判定する請求項１１〜１３のいずれか一項に記載の重要人物判定方法。
16. 前記主人公と請求項１１〜１５のいずれか一項に記載の重要人物判定方法に基づいて判定された前記重要人物とに基づいて前記画像データの優先度を決定し、
    前記優先度に基づいて前記画像データのレイアウトを決定することを特徴とする画像レイアウト方法。
17. 前記主人公および前記重要人物の有無、前記主人公および前記重要人物の配置、ならびに前記主人公および前記重要人物とその他の人物との位置関係の少なくとも一つに基づいて前記優先度を決定することを特徴とする請求項１６に記載の画像レイアウト方法。
18. ユーザの指示に基づいて前記主人公または前記重要人物が変更された場合に、変更された前記主人公または前記重要人物に基づいて、前記優先度を変更し、
    変更された前記優先度に基づいて前記画像データの前記レイアウトを変更することを特徴とする請求項１６または１７に記載の画像レイアウト方法。
19. 前記レイアウトと、記主人公および前記重要人物の有無、前記主人公および前記重要人物の配置、ならびに前記主人公および前記重要人物とその他の人物との位置関係の少なくとも一つに基づいて、前記画像データに基づく画像にトリミング処理を行うことを特徴とする請求項１６〜１８のいずれか一項に記載の画像レイアウト方法。
20. コンピュータに、請求項１１〜１５のいずれか１項に記載の重要人物判定方法の各手順を実行させるためのプログラム。
21. コンピュータに、請求項１６〜１９のいずれか１項に記載の画像レイアウト方法の各手順を実行させるためのプログラム。
22. 請求項２０または請求項２１に記載のプログラムが記録されたコンピュータ読取可能な記録媒体。