JP2015053542A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 出力サイズに応じた適切なレイアウトを得ることができる画像処理装置、画像処理方法、及びプログラムを提供する。
【解決手段】 １以上の画像を含む画像群を取得する。取得した画像群から所定数の画像を選択して配置することにより、複数のレイアウト候補を作成し、レイアウト内に配置された各画像の被写体の特徴に応じた前記各画像の個別評価に基づいて、作成されたレイアウト候補の評価を行う。各画像の被写体の特徴は、出力手段により出力される出力サイズにより特定される各画像の被写体のサイズを含む。
【選択図】 図２５

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

デジタルスチルカメラ（以下ＤＳＣとも記載）やカメラ機能が搭載された多機能携帯電話などにより、ユーザが撮影する多数のデジタル写真のデータは、ユーザが保有するＰＣや、インターネット上に存在するストレージサービスに保存される。

保存された多数のデジタル写真のデータの中からユーザが、所望の画像がどこに保存されているのかを探す際に、膨大な画像閲覧操作を行う必要があった。これは、画像の閲覧性・検索性においてユーザビリティを大きく損なう要因となっている。

ところで、特許文献１では、レイアウトテーブルに格納された過去のレイアウトのパラメータを変化させることで１又は複数のレイアウト候補を作成する方法が提案されている。

特開２００９−２４５０７１

ここで、レイアウト結果を印刷する際に、Ａ３サイズの用紙に印刷する場合とＡ６サイズの用紙に印刷する場合では、同じレイアウトでも被写体の印刷サイズも異なるため、印刷物に対するユーザの感じ方は変わる。

しかしながら、特許文献１では、印刷サイズについて全く考慮せずに、レイアウトの評価を行っているため、用紙サイズによっては最適なレイアウトが得られないという課題があった。

本発明は上述した事情に鑑み、出力サイズに応じた適切なレイアウトを得ることができる画像処理装置、画像処理方法、及びプログラムを提供することを課題とする。

上述のような課題を解決するための本発明の画像処理装置は、１以上の画像を含む画像群を取得する取得手段と、前記取得手段により取得した画像群に含まれる画像を配置してレイアウト候補を作成する作成手段と、レイアウト内に配置された各画像の被写体の特徴に応じた前記各画像の個別評価に基づいて、前記作成手段により作成されたレイアウト候補の評価を行う評価手段と、前記作成手段により作成されたレイアウト候補を所定の出力サイズで出力する出力手段と、を備え、各画像の被写体の特徴は、前記出力手段により出力されるレイアウト候補の出力サイズにより特定される各画像の被写体のサイズを含むことを特徴とする。

本発明では、出力されるレイアウト候補のサイズにより特定される各画像の被写体のサイズに応じてレイアウト候補を評価することにより、出力されるサイズに応じた適切なレイアウトを得ることができるという効果を奏する。

実施形態１に係る画像処理装置のハードウェア構成図である。 実施形態１に係るソフトウェアブロック図である。 実施形態１に係る画像解析処理のフローチャートである。 実施形態１に係る画像解析処理のフローチャートである。 実施形態１に係る人物グループ生成処理のフローチャートである。 実施形態１に係る自動レイアウト提案処理のフローチャートである。 実施形態１の人物グループの表示例を示す図である。 実施形態１の画像群の表示例を示す図である。 画像解析結果の保存形式の例を示す図である。 手動でお気に入り度を入力するためのＵＩの例及び手動でイベント情報を入力するためのＵＩ例を示す図である。 手動で人物属性情報を入力するためのＵＩ例を示す図である。 人物属性情報の保存形式の例を示す図である。 レイアウトテンプレートの一例を示す図である。 図１３のレイアウトテンプレートの保持形式の例を示す図である。 レイアウトテンプレートの一例を示す図である。 図１５のレイアウトテンプレートの保持形式の例を示す図である。 実施形態１における自動レイアウト生成処理のフローチャートである。 実施形態１における不要画像フィルタリング処理のフローチャートである。 自動トリミング処理の説明図、明るさ適正度の算出方法の説明図、及び彩度適正度の算出方法の説明図である。 トリミング欠け判定処理の説明図である。 実施形態１に係る自動レイアウト生成結果の表示例を示す図である。 決定されたテーマと主人公情報の保持例を示す図である。 決定されたテーマと主人公情報の保持例を示す図である。 生成したレイアウト情報の保持例を示す図である。 各画像の評価値の算出処理のフローチャートの一例である。 被写体の特徴と情報量の影響の大小の例を示す図である。 被写体の特徴と情報量の影響の大小の例を示す図である。 各画像の評価値の算出処理のフローチャートの他の例である。

（実施形態１）
以下では、入力画像群を用いて自動でレイアウト出力物を生成するために、本発明における実施形態１について説明する。これはあくまで実施の１つの形態を例として示したものであり、本発明は以下の実施形態に限定されるものではない。

図１は実施形態１の画像処理装置のハードウェア構成例を示すブロック図である。

図１において、画像処理装置１１５は、ＣＰＵ１００と、ＲＯＭ１０１と、ＲＡＭ１０２と、２次記憶装置１０３と、表示装置１０４と、入力装置１０５と、ＩＦ１０７と、ＩＦ１０８と、無線ＬＡＮ１０９を備えている。さらに、内部撮像デバイス１０６を備えている。これらは、制御バス／データバス１１０により相互に接続されている。

画像処理装置１１５は、例えば、コンピュータである。ＣＰＵ１００（中央演算装置）は、実施形態１で説明する情報処理をプログラムに従って実行する。ＲＯＭ１０１は、ＣＰＵ１００により実行される以下に示すアプリケーション等のプログラムが記憶されている。ＲＡＭ１０２は、ＣＰＵ１００によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。２次記憶装置１０３は、ハードディスク等であり、画像ファイルや画像解析結果を保存するデータベース等を保存するための記憶媒体である。表示装置１０４は、例えば、ディスプレイであり、実施形態１の処理結果や以下に示すＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等をユーザに提示する装置である。表示装置１０４は、タッチパネル機能を備えても良い。入力装置１０５は、ユーザが画像補正の処理の指示等を入力するためのマウスやキーボード等である。

また、内部撮像デバイス１０６で撮像された画像は、所定の画像処理を経た後、２次記憶装置１０３に記憶される。また、画像処理装置１１５は、インターフェース（ＩＦ１０８）を介して接続された外部撮像デバイス１１１から画像データを読み込むこともできる。さらに、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）１０９はインターネット１１３に接続されている。画像処理装置１１５は、インターネット１１３に接続された外部サーバー１１４より画像データを取得することもできる。

画像等を出力するためのプリンタ１１２は、ＩＦ１０７を介して画像処理装置１１５に接続されている。尚、プリンタ１１２はさらにインターネット上に接続されており、無線ＬＡＮ１０９経由でプリントデータのやり取りをすることもできる。

図２は本実施形態における上記アプリケーション等ソフトウェア構成のブロック図である。

まずハードウェアが取得した画像データは、通常ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｙ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）等の圧縮形式になっている。そのため、画像コーデック部２００は、該圧縮形式を解凍していわゆるＲＧＢ点順次のビットマップデータ形式に変換する。変換されたビットマップデータは、表示・ＵＩ制御部２０１に伝達され、ディスプレイ等の表示装置１０４上に表示される。

上記ビットマップデータは、さらに画像センシング部２０３（アプリケーション）に入力され、同部において、詳細は後述するが、画像の様々な解析処理が行われる。上記解析処理の結果得られた画像の様々な属性情報は、所定の形式に従ってデータベース部２０２において、上述した２次記憶装置１０３に保存される。なお、以降においては、画像解析処理とセンシング処理は同義で扱う。

シナリオ生成部２０４（アプリケーション）では、ユーザが入力した様々な条件に応じて、自動で生成すべきレイアウトの条件を生成し、レイアウト生成部２０５（アプリケーション）では上記シナリオに従って、自動でレイアウトを生成する処理を行う。

生成したレイアウトは、レンダリング部２０６で表示用のビットマップデータを生成し、該ビットマップデータは表示・ＵＩ制御部２０１に送られ、結果がディスプレイ等の表示装置１０４に表示される。一方で、レンダリング結果はさらにプリントデータ生成部２０７に送られ、同部でプリンタ用コマンドデータに変換され、プリンタに送出される。

図３〜６は、本実施形態のアプリケーションの基本的な画像処理のフローチャートである。具体的には、図３及び４は、画像センシング部２０３のフローを示しており、複数の画像データ群を取得して、それぞれについて解析処理を施し、その結果をデータベースに格納するまでの処理の流れを示している。図５は、検出した顔位置情報に基づいて、同じ人物と思われる顔情報をグループ化するための処理の流れを示している。図６は、画像の解析情報およびユーザが入力した様々な情報に基づいて、レイアウト作成のためのシナリオを決定し、該シナリオに基づいて、自動でレイアウトを生成するための処理の流れを示している。

図３のＳ３０１では、１以上の画像データを含む画像データ群の取得を行う。画像データ群は、例えば、ユーザが、撮影画像が格納された撮像装置やメモリカードを画像処理装置１１５に接続して、これらから撮像画像を読み込むことで取得する。また、内部撮像装置で撮影され、２次記憶装置に保存されていた画像データ群を取得してもよい。あるいは、無線ＬＡＮを介して、インターネット上に接続された外部サーバー１１４等、画像処理装置１１５以外の場所から画像データ群を取得をしてもよい。

画像データ群を取得すると、そのサムネイル群が図８（ａ）や図８（ｂ）に示すようにＵＩに表示される。図８（ａ）の８０１に示すように２次記憶装置１０３内のフォルダ単位で画像のサムネイル８０２を表示してもよいし、図８（ｂ）に示すようにカレンダーのようなＵＩ９０１で日付ごとに画像データが管理されていてもよい。日付の部分９０２をクリックすることにより、同日に撮影された画像を、図８（ａ）のようなサムネイル一覧で表示する。

次に、Ｓ３０２において、各画像のデコードを行う。具体的には、アプリケーションが、新規で保存され未だセンシング処理が行われていない画像をサーチし、抽出された各画像について、画像コーデック部２００が圧縮データからビットマップデータに変換する。

次に、Ｓ３０３において、上記ビットマップデータに対して、各種センシング処理を実行する。ここでいうセンシング処理には、次の表１に示すような様々な処理が含まれる。本実施形態では、センシング処理の例として、顔検出、画像の特徴量解析、シーン解析を挙げており、それぞれ表１に示すようなデータ型の結果を算出する。

以下、それぞれのセンシング処理について説明する。

画像の基本的な特徴量である全体の平均輝度、平均彩度は、公知の方法で求めればよいため、詳細な説明は省略する。平均輝度は、画像の各画素について、ＲＧＢ成分を公知の輝度色差成分（例えばＹＣｂＣｒ成分）に変換し（変換式省略）、Ｙ成分の平均値を求めればよい。また、平均彩度は、上記ＣｂＣｒ成分について画素毎に以下を算出し、下記Ｓの平均値を求めればよい。

また、画像内の平均色相（ＡｖｅＨ）は、画像の色合いを評価するための特徴量である。各画素毎の色相は、公知のＨＩＳ変換式を用いて求めることができ、それらを画像全体で平均化することにより、ＡｖｅＨを求めることができる。

また、これらの特徴量は、上述したように画像全体で算出してもよいし、例えば、画像を所定サイズの領域に分割し、各領域毎に算出してもよい。

次に、人物の顔検出処理について説明する。本実施形態で使用する人物の顔検出手法としては、公知の方法を用いることができる。

特開２００２−１８３７３１号に記載されている方法では、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。この顔候補領域に対して、画素毎の輝度勾配、および輝度勾配の重みを算出し、これらの値を、あらかじめ設定されている理想的な顔基準画像の勾配、および勾配の重みと比較する。そのときに、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する。

また、特開２００３−３０６６７号に記載されている方法では、まず画像中から肌色領域を検出し、同領域内において、人間の虹彩色画素を検出することにより、目の位置を検出することができる。

特開平８−６３５９７号に記載されている方法では、まず、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算する。そのマッチング度が最も高いテンプレートを選択し、最も高かったマッチング度があらかじめ定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とする。同テンプレートを用いることで、目の位置を検出することができる。

さらに、特開２０００−１０５８２９号に記載されている方法では、まず、鼻画像パターンをテンプレートとし、画像全体、あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する。次に、画像の鼻の位置よりも上の領域を目が存在する領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が度置きい画素の集合である目存在候補位置集合を求める。そして、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離を算出する。その距離が最も短くなるクラスタを目が存在するクラスタと決定することで、器官位置の検出することができる。

その他の人物の顔検出方法としては、特開平８−７７３３４、特開２００１−２１６５１５、特開平５−１９７７９３、特開平１１−５３５２５、特開２０００−１３２６８８、特開２０００−２３５６４８、特開平１１−２５０２６７に記載されるような顔および器官位置を検出する方法が挙げられる。また、人物の顔検出処理は、特許第２５４１６８８号に記載された方法でもよく、方法は特に限定されるものではない。

人物の顔検出処理により、各入力画像について、人物顔の個数と各顔毎の座標位置を取得することができる。また、画像中の顔座標位置が分かることにより、顔領域の特徴量を解析することができる。例えば、顔領域毎に顔領域内に含まれる画素値の平均ＹＣｂＣｒ値を求めることにより、顔領域の平均輝度および平均色差を得ることができる。

また、画像の特徴量を用いてシーン解析処理を行うことができる。シーン解析処理は、例えば、出願人が開示している特開２０１０−２５１９９９号や特開２０１０−２７３１４４号等で開示されている方法により行うことができる。シーン解析処理により、風景（Ｌａｎｄｓｃａｐｅ）、夜景（Ｎｉｇｈｔｓｃａｐｅ）、人物（Ｐｏｒｔｒａｉｔ）、露出不足（Ｕｎｄｅｒｅｘｐｏｓｕｒｅ）、その他（Ｏｔｈｅｒｓ）、という撮影シーンを区別するためのＩＤを取得することができる。

なお、本実施形態では、上記のセンシング処理によりセンシング情報を取得したが、その他のセンシング情報を利用してもよい。

上記のようにして取得したセンシング情報は、データベース部２０２に保存する。データベース部２０２への保存形式については、例えば、図９に示すような汎用的なフォーマット（例えば、ＸＭＬ：ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述し、格納すればよい。

図９においては、各画像毎の属性情報を、３つのカテゴリに分けて記述する例を示している。

１番目のＢａｓｅＩｎｆｏタグは、画像サイズや撮影時情報として、あらかじめ取得した画像ファイルに付加されている情報を格納するためのタグである。ここには、画像毎の識別子ＩＤ、画像ファイルが格納されている保存場所、画像サイズ、撮影日時などが含まれる。

２番目のＳｅｎｓＩｎｆｏタグは、上述した画像解析処理の結果を格納するためのタグである。画像全体の平均輝度、平均彩度、平均色相やシーン解析結果が格納され、さらに、画像中に存在する人物の顔位置や顔色に関する情報が格納される。

３番目のＵｓｅｒＩｎｆｏタグは、ユーザが画像毎に入力した情報を格納することができるタグであるが、詳細については後述する。

なお、画像属性情報のデータベース格納方法については、上記に限定されるものではない。その他公知のどのような形式で格納してもよい。

図３のＳ３０５では、上述したＳ３０２及びＳ３０３の処理を行った画像が最後の画像か否かを判定する。最後の画像である場合は、Ｓ３０６へ進み、最後の画像ではない場合は、Ｓ３０２へ戻る。

Ｓ３０６において、Ｓ３０３で検出された顔位置情報を用いて、人物毎のグループを生成する処理を行う。あらかじめ人物の顔を自動でグループ化しておくことにより、その後ユーザが各人物に対して名前を付ける作業を効率化することができる。

ここでの人物グループ形成は、公知の個人認識方法を用いて、図５の処理フローにより実行する。

なお、個人認識処理は、主に、顔の中に存在する眼や口といった器官の特徴量抽出と、それらの関係性の類似度を比較することにより実行される。個人認識処理は、例えば、特許第３４６９０３１号等に開示されているので、ここでの詳細な説明は省略する。

図５は人物グループ生成処理Ｓ３０６の基本的なフローチャートである。

まず、Ｓ５０１で、２次記憶装置に保存されている画像を順次読みだしてデコード処理を行う。さらにＳ５０２でデータベース部２０２にアクセスし、該画像中に含まれる顔の個数と顔の位置情報を取得する。次に、Ｓ５０４において、個人認識処理を行うための正規化顔画像を生成する。

ここで正規化顔画像とは、画像内に様々な大きさ、向き、解像度で存在する顔を切り出して、すべて所定の大きさと向きになるよう、変換して切り出した顔画像のことである。個人認識を行うためには、眼や口といった器官の位置が重要となるため、正規化顔画像のサイズは、上記器官が確実に認識できる程度であることが望ましい。このように正規化顔画像を生成することにより、特徴量検出処理において、様々な解像度の顔に対応する必要がなくなる。

次に、Ｓ５０５で、正規化顔画像から顔特徴量を算出する。ここでの顔特徴量とは眼や口、鼻といった器官の位置、大きさや、さらには顔の輪郭などを含むことを特徴とする。

さらに、Ｓ５０６で、あらかじめ人物の識別子（辞書ＩＤ）毎に顔特徴量が格納されているデータベース（以降、顔辞書と呼ぶ）の顔特徴量と類似しているか否かの判定を行う。類似度は、例えば、辞書ＩＤ内部で管理されている特徴量と、新たに入力された特徴量を比較して算出する。ここで用いる特徴量は、保持されている目、鼻、口といった器官の位置や、器官間の距離等の情報である。類似度は、上記の特徴量が類似しているほど高く、類似してない場合には低い値を取るものとし、例えば０〜１００の値を取り得るものとする。そして、類似しているか否かの判定は、算出した類似度を予め保持されている閾値と比較し、類似度が閾値よりも高い場合には辞書ＩＤと同一人物であると判断する。一方、類似度が閾値よりも低い場合には、同一人物ではないものとして判定する。このような類似度判定のための閾値は、全ての辞書ＩＤに対して固定の値を一つだけ保持するようにいてもよいし、各辞書ＩＤ毎に異なった閾値を保持するようにしてもよい。

Ｓ５０６の判定がＹｅｓの場合Ｓ５０９に進み、同じ人物として同じ人物の辞書ＩＤに該顔の特徴量を追加する。

Ｓ５０６の判定がＮｏの場合Ｓ５０８に進み、現在評価対象となっている顔は、これまで顔辞書に登録された人物とは異なる人物であると判断して、新規辞書ＩＤを発行して顔辞書に追加する。Ｓ５０２〜Ｓ５０９までの処理を、入力画像群の中から検出した顔領域全てに適用して、登場した人物のグループ化を行う。

人物グループ生成処理の結果は、図１２のＸＭＬフォーマットで示すように、各顔毎にＩＤタグを用いて記述し、上述したデータベースに保存する。

なお、上記実施形態においては、図３に示すように、全ての画像のセンシング処理が終了した後に人物グループ生成処理を実行したが、これ以外の方法としてもよい。例えば、図４に示すように、１つの画像に対してＳ４０３でセンシング処理を実行した後に、顔検出位置情報を利用してグループ化処理Ｓ４０５を行うという作業を繰り返したとしても、同様の結果を生成することができる。

また、人物グループ生成処理によって得られた各人物グループは、図７のようなＵＩ７０１にて表示されることになる。同７において、７０２は人物グループの代表顔画像を表しており、その横には、該人物グループの名前を表示する領域７０３が存在する。自動の人物グループ化処理を終了した直後は、同図に示すように人物名は「Ｎｏ ｎａｍｅ１」「Ｎｏ ｎａｍｅ２」などと表示されている。これらの人物名を以下「人物ＩＤ」とする。また、７０４は該人物グループに含まれる複数の顔画像である。後述するが、図７のＵＩ７０１においては、「Ｎｏ ｎａｍｅ Ｘ」の領域７０３を指定して人物名を入力したり、人物毎に誕生日や続柄等の情報を入力することができる。

また、上記センシング処理は、オペレーティングシステムのバックグラウンドタスクを利用して実行してもよい。この場合、ユーザはコンピュータ上で別の作業を行っていたとしても、画像群のセンシング処理を継続させることができる。

本実施形態においては、ユーザが手動で画像に関する様々な属性情報を入力することもできる。

その属性情報（以降、手動登録情報）の例の一覧を、表２に記載する。手動登録情報は大きく、画像単位に設定するものと、上記処理によりグループ処理した人物に設定する情報に分かれる。

まず、画像毎に設定する属性情報として、ユーザのお気に入り度がある。お気に入り度は、その画像を気に入っているかどうかを、ユーザが手動で段階的に入力するものである。例えば、図１０（ａ）に示すように、ＵＩ１３０１上で、所望のサムネイル画像１３０２をマウスポインタ１３０３で選択し、右クリックをすることでお気に入り度を入力できるダイアログを表示する。ユーザはメニューの中で自分の好みに応じて、★の数を選択することができる。本実施形態では、お気に入り度が高いほど★の数が多くなるよう設定する。

また、上記お気に入り度については、ユーザが手動で設定せずに、自動で設定するようにしてもよい。例えば、ユーザが図８（ａ）に示す画像サムネイル一覧表示の状態から、所望の画像ファイルをクリックし、１画像表示画面に遷移したとする。その遷移した回数を計測して、回数に応じてお気に入り度を設定してもよい。例えば、閲覧した回数が多いほど、ユーザが該画像を気に入っていると判断する。

また、他の例として、プリント回数をお気に入り度に設定してもよい。例えば、プリント行為を行った場合、当然その画像を気に入っていると判断してお気に入り度が高いと設定すればよい。この場合は、プリント回数を計測して、プリント回数に応じてよりお気に入り度を設定する。

以上説明したように、お気に入り度については、ユーザが手動で設定してもよく、閲覧回数に応じてお気に入り度を設定してもよく、プリント回数に応じてお気に入り度を設定してもよい。これらの設定及び計測した情報は、それぞれ個別に、図９で示すようなＸＭＬフォーマットで、データベース部２０２のＵｓｅｒＩｎｆｏタグ内に格納される。例えば、お気に入り度はＦａｖｏｒｉｔｅＲａｔｅタグで、閲覧回数はＶｉｅｗｉｎｇＴｉｍｅｓタグで、プリント回数はＰｒｉｎｔｉｎｇＴｉｍｅｓタグにそれぞれ格納される。

また、画像毎に設定する別の情報として、イベント情報が挙げられる。イベント情報は、例えば、家族旅行“ｔｒａｖｅｌ”、卒業式“ｇｒａｄｕａｔｉｏｎ”、結婚式“ｗｅｄｄｉｎｇ”が挙げられる。

イベントの指定は、図１０（ｂ）に示すように、カレンダー上で所望の日付をマウスポインタ１４０２などで指定して、その日のイベント名を入力することにより行うことができるようにすればよい。指定されたイベント名は、画像の属性情報の一部として、図９に示すＸＭＬフォーマットに含まれることになる。図９のフォーマットでは、ＵｓｅｒＩｎｆｏタグ内のＥｖｅｎｔタグを使って、イベント名と画像を紐付けている。なお、以下、「紐づけ」とは、関連付けることを指す。

次に、人物の属性情報について説明する。

図１１は、人物の属性情報を入力するためのＵＩを示している。図１１において、１５０２は所定人物（この場合は“ｆａｔｈｅｒ”）の代表顔画像を示している。１５０３は、所定人物の人物名（人物ＩＤ）の表示領域である。また、１５０４は、他の画像の中から検出し、Ｓ５０６で顔特徴量が類似していると判断された画像（サムネイル）である。このように、図１１では、人物ＩＤ１５０３の下に、Ｓ５０６で顔特徴量が類似していると判断された画像１５０４の一覧が表示される。

センシング処理が終了した直後は、図７に示すように各人物グループには名前が入力されていないが、「Ｎｏ ｎａｍｅ」の部分７０２をマウスポインタで指示することにより、任意の人物名を入力することができる。

また、人物毎の属性情報として、それぞれの人物の誕生日やアプリを操作しているユーザから見た続柄を設定することもできる。図１１の人物の代表顔１５０２をクリックすると、画面下部に図示するように、第１の入力部１５０５ではクリックした人物の誕生日を入力することができる。また、第２の入力部１５０６では、クリックした人物の続柄情報を入力することができる。

以上、入力された人物属性情報は、これまでの画像に関連付けられた属性情報とは異なり、図１２のようなＸＭＬフォーマットによって、画像属性情報とは別にデータベース部２０２内で管理される。

本実施形態では、あらかじめ用意した様々なレイアウトテンプレートを用いてレイアウト生成処理を行う。レイアウトテンプレートとは図１３や図１５に示すようなものであり、レイアウトする用紙サイズ上に、複数の画像配置枠１７０２、１９０２、１９０３（以降、スロットと同義）を備えている。

このようなテンプレートは多数用意されており、あらかじめ本実施例を実行するためのソフトウェアが画像処理装置１１５にインストールされた時点で、２次記憶装置１０３に保存しておけばよい。また、その他の方法として、ＩＦ１０７や無線ＬＡＮ１０９を介して接続されたインターネット上に存在する外部サーバー１１４から、任意のテンプレート群を取得してもよい。

これらのテンプレートは汎用性の高い構造化言語、例えば上述したセンシング結果の格納と同様にＸＭＬで記載されているものとする。ＸＭＬデータの例を図１４及び図１６に示す。

これらの例では、まずＢＡＳＩＣタグに、レイアウトページの基本的な情報を記述する。基本的な情報とは、例えば該レイアウトのテーマやページサイズ、およびページの解像度（ｄｐｉ）等が考えられる。同例Ｘにおいて、テンプレートの初期状態では、レイアウトテーマであるＴｈｅｍｅタグはブランクとなっている。また、基本情報として、ページサイズはＡ４、解像度は３００ｄｐｉを設定している。

また、ＩｍａｇｅＳｌｏｔタグは、上述した画像配置枠の情報を記述している。ＩｍａｇｅＳｌｏｔタグの中にはＩＤタグとＰＯＳＩＴＩＯＮタグの２つを保持し、画像配置枠のＩＤと位置を記述している。該位置情報については、図１４や図１６で図示するように、例えば左上を原点とするＸ−Ｙ座標系において定義される。

また、上記ＩｍａｇｅＳｌｏｔは、その他にそれぞれのスロットに対して、スロットの形状および配置すべき推奨人物グループ名を設定する。例えば、図１３のテンプレートにおいては、図１４のＳｈａｐｅタグで示すように、すべてのスロットは矩形“ｒｅｃｔａｎｇｌｅ”形状で、人物グループ名はＰｅｒｓｏｎＧｒｏｕｐタグによって“ＭａｉｎＧｒｏｕｐ”を配置することを推奨している。

また、図１５のテンプレートにおいては、図３４に示すように、中央に配置しているＩＤ＝０のスロットは矩形形状であることが記載されている。また、人物グループは“ＳｕｂＧｒｏｕｐ”を配置し、その他のＩＤ＝１，２と続くスロットは楕円“ｅｌｌｉｐｓｅ”形状で、人物グループは“ＭａｉｎＧｒｏｕｐ”を配置することを推奨している。

本実施形態においては、上述したようなテンプレートを多数保持する。

本実施形態に係るアプリケーションは、入力された画像群に対して解析処理を実行し、人物を自動的にグループ化してＵＩで表示することができる。また、ユーザはその結果を見て、人物グループ毎に名前や誕生日などの属性情報を入力したり、画像毎にお気に入り度などを設定することができる。さらに、テーマごとに分類された多数のレイアウトテンプレートを保持することができる。

以上の条件を満たす本実施形態のアプリケーションは、ある所定のタイミングで、自動的にユーザに好まれそうなコラージュレイアウトを生成し、ユーザに提示する処理を行う（以下、レイアウトの提案処理という）。

以上の条件を満たすと、本実施形態のアプリケーションは、ある所定のタイミングに、自動的にユーザに好まれそうなコラージュレイアウトを生成し、ユーザに提示する処理を行う。これを、レイアウトの提案処理と呼ぶこととする。

図６は、レイアウトの提案処理を行うための基本的なフローチャートを示している。

まず、Ｓ６０１において、レイアウトの提案処理のシナリオを決定する。シナリオには、提案するレイアウトのテーマ及びテンプレートの決定、レイアウト内で重視する人物（主人公）の設定、レイアウト生成に用いる画像群の選定情報などが含まれる。

以下では、２つのシナリオを例示して、シナリオの決定方法について説明する。

例えば、２週間前に自動的に各人物に関する誕生日のレイアウトの提案処理を行う設定がされていたとする。図１１で自動グループ化されている人物“ｓｏｎ”の１歳の誕生日が近いとする。この場合には、提案するレイアウトのテーマは成長記録“ｇｒｏｗｔｈ”と決定する。次にテンプレートの選択を行うが、この場合には成長記録に適した図１５のようなものを選択し、図２２に示すように、ＸＭＬのＴｈｅｍｅタグの部分に“ｇｒｏｗｔｈ”と記載する。次にレイアウトを行う際に注目する主人公“ＭａｉｎＧｒｏｕｐ”として、“ｓｏｎ”を設定する。また、レイアウトを行う際に副次的に注目する“ＳｕｂＧｒｏｕｐ”として“ｓｏｎ”と“ｆａｔｈｅｒ”を設定する。次に、レイアウトに利用するための画像群を選定する。この例の場合には、データベースを参照し、上記人物“ｓｏｎ”の誕生日からこれまでに撮影した画像群のうち、“ｓｏｎ”を含む画像群を大量に抽出してリスト化する。以上が、成長記録レイアウトのためのシナリオ決定である。

上記とは異なる例として、１カ月以内に所定のイベント情報が登録されていた場合、レイアウトの提案処理を実行する設定がされているとする。図１０（ｂ）で登録したイベント情報から、例えば数日前に家族旅行に行きその画像が大量に２次記憶装置に保存されていることがわかると、シナリオ決定部は、家族旅行のレイアウトを提案するためのシナリオを決定する。この場合には、提案するレイアウトのテーマは旅行“ｔｒａｖｅｌ”と決定する。次にテンプレートの選択を行うが、この場合には図１３のようなレイアウトを選択し、図３６に示すように、ＸＭＬのＴｈｅｍｅタグの部分に“ｔｒａｖｅｌ”と記載する。次にレイアウトを行う際に注目する主人公“ＭａｉｎＧｒｏｕｐ”として、“ｓｏｎ”、“ｍｏｔｈｅｒ”、“ｆａｔｈｅｒ”を設定する。このように、ＸＭＬの特性を活かせば、“ＭａｉｎＧｒｏｕｐ”として複数の人物を設定することができる。次に、レイアウトに利用するための画像群を選定する。この例の場合には、データベースを参照し、上記旅行イベントに紐付けられた画像群を大量に抽出してリスト化する。以上が、家族旅行レイアウトのためのシナリオ決定である。

次に、図６のＳ６０３において、上述したシナリオに基づくレイアウトの自動生成処理を実行する。図１７はレイアウト処理部の詳細な処理フローを示している。以降は、同図に沿って、各処理ステップの説明を行う。

まず、Ｓ２１０１で、上述したシナリオ生成処理で決定され、テーマと人物グループ情報が設定された後のテンプレート情報を取得する。

次に、Ｓ２１０３においては、上記シナリオで決定した画像リストに基づいて、各画像毎に該画像の特徴量をデータベースから取得し、画像群属性情報リストを生成する。ここでいう画像群情報リストとは、図９に示したＩＭＡＧＥＩＮＦＯタグが画像リスト分だけ並んだ構成となっている。

このように、本実施形態の自動レイアウト生成処理では、このように画像データそのものを直接扱うのではなく、あらかじめ画像毎にセンシング処理を行ってデータベース保存しておいた属性情報を利用する。レイアウト生成処理を行う際に、画像データそのものを対象としてしまうと、画像群を記憶するために非常に巨大なメモリ領域を必要としてしまうことを避けるためである。すなわち、これにより、レイアウト生成処理で必要なメモリ量を低減させることができる。

具体的には、まず、Ｓ２１０５において、入力された画像群の属性情報を用いて、入力された画像群の中から不要画像のフィルタリングを行う。フィルタリング処理は、図１８のフローにて行う。図１８では、各画像毎に、まずＳ２２０１で全体の平均輝度がある閾値（ＴｈＹ＿ＬｏｗとＴｈＹ＿Ｈｉｇｈ）内に含まれているかの判定を行う。否の場合にはＳ２２０６に進み、注目画像はレイアウト対象から除去する。

同様に、Ｓ２２０２〜Ｓ２２０５では、注目画像に含まれる顔領域それぞれについて、平均輝度、平均色差成分が、良好な肌色領域を示す所定閾値に含まれているかの判定を行う。Ｓ２２０２〜Ｓ２２０５のすべての判定がＹｅｓとなる画像のみ、以降のレイアウト生成処理に適用される。具体的には、Ｓ２２０２では、ＩＤ＝Ｎである顔領域のＡｖｅＹが所定閾値（ＴｈｆＹ＿ＬｏｗとＴｈｆＹ＿Ｈｉｇｈ）の範囲に含まれているか否かの判定を行う。Ｓ２２０３では、ＩＤ＝Ｎである顔領域のＡｖｅＣｈが所定閾値（ＴｈｆＹ＿ＬｏｗとＴｈｆＹ＿Ｈｉｇｈ）の範囲に含まれているか否かの判定を行う。Ｓ２２０４では、ＩＤ＝Ｎである顔領域のＡｖｅＣｒが所定閾値（ＴｈｆＹ＿ＬｏｗとＴｈｆＹ＿Ｈｉｇｈ）の範囲に含まれているか否かの判定を行う。Ｓ２２０５では、最後の顔であるか否かを判定する。最後の顔ではない場合は、Ｓ２２０２へ戻り、最後の顔である場合は、処理を終了する。

なお、このフィルタリング処理では、以降の一時レイアウト作成処理に明らかに不要と判断できる画像の除去を目的としているため、上記閾値は比較的湯緩やかに設定することが望ましい。例えばＳ２２０１の画像全体輝度の判定において、ＴｈＹ＿ＨｉｇｈとＴｈＹ＿Ｌｏｗの差が画像ダイナミックレンジに比して極端に小さいと、それだけＹｅｓと判定される画像が少なくなってしまう。本実施形態のフィルタリング処理ではそうならないよう、両者の差をできる限り広く設定し、かつ明らかに異常画像と判断されるものは除去できるような閾値に設定する。

次に図１７のＳ２１０７において、上記処理でレイアウト対象となった画像群を用いて、大量（Ｌ個）の一時レイアウトを生成する。一時レイアウトの生成は、取得したテンプレートの画像配置枠に対して、入力画像を任意に当てはめる処理を繰り返す。このときに、例えば、以下のパラメータ（画像選択・配置・トリミング）をランダムで決定する。

画像選択基準としては、例えば、レイアウト中の画像配置枠がＮ個の時、画像群の中からどの画像を選択するかが挙げられる。配置基準としては、例えば、選択した複数の画像を、どの配置枠に配置するかが挙げられる。トリミング基準としては、配置した際に、どの程度のトリミング処理を行うかというトリミング率が挙げられる。トリミング率は例えば０〜１００％で表わされ、トリミングは、図１９（ａ）に示すように、画像の中心を基準として所定のトリミング率で行われる。図１９（ａ）では、２３０１は画像全体を示し、２３０２はトリミング率５０％でトリミングした際の切り取り枠を示している。

上述したような画像選択・配置・トリミング基準に基づいて、可能な限り数多くの一時レイアウトを生成する。生成した各一時レイアウトは、図３７のＸＭＬのように表わすことができる。各スロットに対して、選択され配置された画像のＩＤがＩｍａｇｅＩＤタグに記述され、トリミング率がＴｒｉｍｉｎｇＲａｔｉｏタグに記述される。

なお、ここで生成する一時レイアウトの数Ｌは、後述するレイアウト評価ステップでの評価処理の処理量と、それを処理する画像処理装置１１５の性能に応じて決定されるが、例えば、数十万通り以上の一時レイアウトを生成するのが好ましい。

レイアウト評価ステップでの評価処理の処理量は、作成するレイアウトテンプレートの複雑度合いに応じて増減する。例えば、テンプレート内で取り扱うスロット数が多いほど評価処理量は増加し、また、各スロットに指定されたレイアウト条件が複雑であるほど評価処理量は増加する。したがって、生成しようとしているテンプレートの複雑度合をあらかじめ見積もって、それにより動的にＬを決定してもよい。

以上述べたように適切にＬを設定することで、自動レイアウト作成時のレスポンスとレイアウト結果の品質を最適にコントロールできる。

生成したレイアウトは、それぞれＩＤを付加して図２４のＸＭＬ形式で２次記憶装置１０３にファイル保存してもよいし、構造体など別のデータ構造を用いてＲＡＭ１０２上に記憶してもよい。

次に、図１７のＳ２１０８において、大量に生成した一時レイアウトの定量評価を行う。具体的には、作成したＬ個の一時レイアウトに対して、それぞれ所定のレイアウト評価量を用いて評価を行う。本実施形態におけるレイアウト評価量の一覧を、表３に示す。表３に示すように、本実施形態で用いるレイアウト評価量は、主に３つのカテゴリに分けることができる。

一つ目は、画像個別の評価量である。これは画像の明るさや彩度、ブレぼけ量等の状態、印刷サイズに対する適正度などを判断し、スコア化するものである。以下、本実施形態のスコア化の一例について説明する。明るさの適正度は、図１９（ｂ）に示すように、平均輝度がある所定レンジ範囲内においてはスコア値１００とし、所定レンジ範囲から外れるとスコア値を下げるよう設定する。彩度の適正度は、図１９（ｃ）に示すように、画像全体の平均彩度がある所定の彩度値より大きい場合にはスコア値１００とし、所定値より小さい場合にはスコア値を除々に下げるように設定する。なお、印刷サイズに対する適正度については、詳細は後述する。

二つ目は、画像とスロットの適合度の評価である。画像とスロットの適合度の評価としては、例えば、人物適合度、トリミング欠け判定が挙げられる。人物適合度は、スロットに指定されている人物と、実際に該スロットに配置された画像内に存在する人物の適合率を表したものである。例を挙げると、あるスロットが、ＸＭＬで指定されているＰｅｒｓｏｎＧｒｏｕｐで、“ｆａｔｈｅｒ”、“ｓｏｎ”が指定されているものとする。この時、該スロットに割り当てられた画像に該２人の人物が写っていたとすると、該スロットの人物適合度はスコア値１００とする。片方の人物しか写っていなかったとすると、適合度はスコア値５０とし、両者とも写っていなかった場合は、スコア値０とする。ページ内の適合度は、各スロット毎に算出した適合度の平均値とする。トリミング領域２７０２の欠け判定は、例えば、図２０に示すように、画像中に存在する顔の位置２７０３が判明している場合、欠けた部分の面積に応じて、０から１００までのスコア値を算出する。欠けた面積が０の場合、スコアは１００とし、逆にすべての顔領域が欠けた場合、スコア値は０とする。

三つめは、レイアウトページ内のバランスを評価である。バランスを評価するための評価値としては、例えば、画像類似性、画素値分布のばらつき、オブジェクトのばらつきが挙げられる。

レイアウト頁内のバランスを評価するための評価量として、画像類似性について説明する。画像の類似性は、大量に生成した一時レイアウト毎に算出されるレイアウト頁内のそれぞれの画像の類似性である。例えば、旅行テーマのレイアウトを作成したい場合、あまりに似通った類似度の高い画像ばかりが並んでいたとすると、それは良いレイアウトとは言えない場合がある。したがって、例えば、類似性は、撮影日時によって評価することができる。撮影日時が近い画像は、同じような場所で撮影された可能性が高いが、撮影日時が離れていれば、その分、場所もシーンも異なる可能性が高いからである。撮影日時は、図９で示したように、画像属性情報として、予めデータベース部２０２に保存されている、画像毎の属性情報から取得することができる。撮影日時から類似度を求めるには以下のような計算を行う。例えば、今注目している一時レイアウトに表４で示すような４つの画像がレイアウトされているものとする。

なお、画像ＩＤで特定される画像には、それぞれ撮影日時情報が付加されている。具体的には、撮影日時として、年月日及び時間（西暦：ＹＹＹＹ、月：ＭＭ、日：ＤＤ、時：ＨＨ、分：ＭＭ、秒：ＳＳ）が付加されている。このとき、この４つの画像間で、撮影時間間隔が最も短くなる値を算出する。

この場合は、画像ＩＤ１０２と１０８間の３０分が最も短い間隔である。この間隔をＭｉｎＩｎｔｅｒｖａｌとし、秒単位で格納する。すなわち３０分＝１８００秒である。このＭｉｎＩｎｔｅｒｖａｌをＬ個の各一時レイアウト毎に算出して配列ｓｔＭｉｎＩｎｔｅｒｖａｌ［ｌ］に格納する。次に、該ｓｔＭｉｎＩｎｔｅｒｖａｌ［ｌ］の中で最大値ＭａｘＭｉｎＩｎｔｅｒｖａｌ値を求める。すると、ｌ番目の一時レイアウトの類似度評価値Ｓｉｍｉｌａｒｉｔｙ［ｌ］は以下のようにして求めることができる。
Ｓｉｍｉｌａｒｉｔｙ［ｌ］＝１００×ｓｔＭｉｎＩｎｔｅｒｖａｌ［ｌ］／ＭａｘＭｉｎＩｎｔｅｒｖａｌ
すなわち、上記Ｓｉｍｉｌａｒｉｔｙ［ｌ］は、最小撮影時間間隔が大きいほど１００に近づき、小さいほど０に近づく値となっているため、画像類似度評価値として有効である。

レイアウト頁内のバランスを評価するための評価量として、画素値分布のばらつきについて説明する。ここでは、画素値分布のばらつきとして、色合いのバラつきを例に挙げて説明する。例えば旅行テーマのレイアウトを作成したい場合、あまりに似通った色（例えば、青空の青、山の緑）の画像ばかりが並んでいたとすると、それは良いレイアウトとは言えない場合がある。この場合は、色のばらつきの大きいものを高い評価とする。注目しているｌ番目の一時レイアウト内に存在する画像の平均色相ＡｖｅＨの分散を算出して、それを色合いのバラつき度ｔｍｐＣｏｌｏｒＶａｒｉａｎｃｅ［ｌ］として格納する。次に、ｔｍｐＣｏｌｏｒＶａｒｉａｎｃｅ［ｌ］の中での最大値ＭａｘＣｏｌｏｒＶａｒｉａｎｃｅ値を求める。すると、ｌ番目の一時レイアウトの色合いバラつき度の評価値ＣｏｌｏｒＶａｒｉａｎｃｅ［ｌ］は以下のようにして求めることができる。
ＣｏｌｏｒＶａｒｉａｎｃｅ［ｌ］＝１００×ｔｍｐＣｏｌｏｒＶａｒｉａｎｃｅ［ｌ］／ＭａｘＣｏｌｏｒＶａｒｉａｎｃｅ
上記ＣｏｌｏｒＶａｒｉａｎｃｅ［ｌ］は、ページ内に配置された画像の平均色相のバラつきが大きいほど１００に近づき、小さいほど０に近づく値となる。したがって、色合いのばらつき度評価値として用いることができる。

画素値分布のばらつきは、上述したものに限定されるものではない。

レイアウト頁内のバランスを評価するための評価量として、オブジェクトのバラつきについて説明する。ここでは、オブジェクトのバラつきとして、顔の大きさのバラつきを例に挙げて説明する。例えば、旅行テーマのレイアウトを作成したい場合、レイアウト結果を見て、あまりに似通った顔のサイズの画像ばかりが並んでいたとすると、それは良いレイアウトとは言えない場合がある。レイアウト後の紙面上における顔の大きさが、小さいものもあれば大きいものもあり、それらがバランスよく配置されていることが、良いレイアウトと考える。この場合は、顔のサイズのばらつきの大きいものを高い評価とする。注目しているｌ番目の一時レイアウト内に配置された後の顔の大きさ（顔位置の左上から右下までの対角線の距離）の分散値を、ｔｍｐＦａｃｅＶａｒｉａｎｃｅ［ｌ］として格納する。次に、該ｔｍｐＦａｃｅＶａｒｉａｎｃｅ［ｌ］の中での最大値ＭａｘＦａｃｅＶａｒｉａｎｃｅ値を求める。すると、ｌ番目の一時レイアウトの顔サイズバラつき度の評価値ＦａｃｅＶａｒｉａｎｃｅ［ｌ］は、以下のようにして求めることができる。
ＦａｃｅＶａｒｉａｎｃｅ［ｌ］＝１００×ｔｍｐＦａｃｅＶａｒｉａｎｃｅ［ｌ］／ＭａｘＦａｃｅＶａｒｉａｎｃｅ
上記ＦａｃｅＶａｒｉａｎｃｅ［ｌ］は、紙面上に配置された顔サイズのバラつきが大きいほど１００に近づき、小さいほど０に近づく値となる。したがって、顔サイズのバラつき度評価値として用いることができる。

オブジェクトのバラつきは、上述したものに限定されるものではない。

またその他カテゴリとして、ユーザの嗜好性評価が挙げられる。

ユーザの嗜好性評価は、例えば、上記に述べた各種の評価量による評価値が低いレイアウトであっても、ユーザが個人的に気に入った写真が含まれるレイアウトであれば、そのユーザにとっては良いレイアウトとなる場合もある。そのようなレイアウトの選択を阻害しないよう、ユーザ嗜好性を元にした評価量を用いて評価するのが好ましい。上述したように、ユーザは各画像に対して事前にお気に入り度を設定することができるため、これに基づいて嗜好性を評価することができる。また、例えば、自動で閲覧回数や閲覧時間に基づいて嗜好性を評価することもできる。これらの評価に用いる情報は、ＦａｖｏｒｔｅＲａｔｅタグ、ＶｉｅｗｉｎｇＴｉｍｅｓタグ、ＰｒｉｎｔｉｎｇＴｉｍｅｓタグで管理されている情報をもとにして算出できる。

１番目の一時レイアウトについて、各スロットに配置された画像のタグ情報の各々の数値について全ての画像の平均値ＦａｖｏｒｔｅＲａｔｅＡｖｅ［ｌ］、ＶｉｅｗｉｎｇＴｉｍｅｓＡｖｅ［ｌ］、ＰｒｉｎｔｉｎｇＴｉｍｅｓＡｖｅ［ｌ］を求める。

次に、これらの総和を取ることで、ユーザの嗜好性評価値ＵｓｅｒＦａｖｏｒ［ｌ］は、以下のようにして求めることができる。
ＵｓｅｒＦａｖｏｒ［ｌ］＝ＦａｖｏｒｔｅＲａｔｅＡｖｅ［ｌ］＋ＶｉｅｗｉｎｇＴｉｍｅｓＡｖｅ［ｌ］＋ＰｒｉｎｔｉｎｇＴｉｍｅｓＡｖｅ［ｌ］
上記ＵｓｅｒＦａｖｏｒ［ｌ］は、ユーザのお気に入り度が高い画像、閲覧回数が多い画像、印刷回数の多い画像を用いたレイアウトほど高い値を示す。したがって、本実施形態では、ＵｓｅｒＦａｖｏｒ［ｌ］の値が高いほどレイアウトに対するユーザ嗜好性が高いと判断する。

以上説明したような、各一時レイアウト毎に算出した複数の評価値を、以下では統合化して、各一時レイアウト毎のレイアウト評価値とする。１番目の一時レイアウトの統合評価値を、ＥｖａｌＬａｙｏｕｔ［ｌ］とし、上記で算出したＮ個の評価値（表３の評価値それぞれを含む）の値を、ＥｖａｌＶａｌｕｅ［ｎ］とする。このとき、統合評価値は以下で求めることができる。

上式において、Ｗ［ｎ］は、表３で示したシーン毎の各評価値の重みである。この重みはレイアウトのテーマ毎に異なる重みを設定する。例えば、表３に示すようにテーマを成長記録“ｇｒｏｗｔｈ”と旅行“ｔｒａｖｅｌ”で比較した場合、旅行テーマの方は、できるだけ良質の写真をいろいろな場面で数多くレイアウトすることが望ましい場合が多い。このため、画像の個別評価値やページ内のバランス評価値を重視する傾向に設定する。一方、成長記録“ｇｒｏｗｔｈ”の場合、画像のバリエーションよりは、成長記録の対象となる主人公が確実にスロットに適合しているか否かが重要である場合が多い。このため、ページ内バランスや画像個別評価よりも、画像・スロット適合度評価を重視する傾向に設定する。なお、本実施形態におけるテーマ毎の重要度は表３に示すように設定した。このようにして算出したＥｖａｌＬａｙｏｕｔ［ｌ］を用いて、Ｓ２１０９では、レイアウト結果表示のためのレイアウトリストＬａｙｏｕｔＬｉｓｔ［ｋ］を生成する。レイアウトリストＬａｙｏｕｔＬｉｓｔ［ｋ］の作成方法については、詳細は後述する。このレイアウトリストＬａｙｏｕｔＬｉｓｔ［ｋ］は、図６のＳ６０５でレンダリング表示を行う際にレイアウト順番をｋ番目とした時に、評価が終了したレイアウトの順番ｌとの対応付けを行うのに用いられる。ＬａｙｏｕｔＬｉｓｔ［ｋ］の中身は、レイアウト順番値ｌの値が、記載されている。このレイアウトリストＬａｙｏｕｔＬｉｓｔ［ｋ］のｋが小さい方から、順に表示が行われる。

図６に戻って、上記処理によって得られたレイアウト結果を、図６のＳ６０５でレンダリングした結果を図２１のように表示する。Ｓ６０５では、まずＬａｙｏｕｔＬｉｓｔ［０］に格納されているレイアウト識別子を読み出し、識別子に相当する一時レイアウト結果を、２次記憶装置１０３あるいはＲＡＭ１０２上から読み出す。レイアウト結果には、上述したようにテンプレート情報とテンプレート内に存在するスロット毎に、割り当てられた画像名が設定されている。したがって、これらの情報に基づいて、画像処理装置１１５上で動作するＯＳの描画関数を用いて、該レイアウト結果をレンダリングし、図２１の２９０２のように表示することになる。

図２１では、Ｎｅｘｔボタン２９０４を押下することにより、次点スコアであるＬａｙｏｕｔＬｉｓｔ［１］の識別子を読み出し、上記と同様にレンダリング後、表示を行う。これにより、ユーザは様々なバリエーションの提案レイアウトを閲覧することができる。また、Ｐｒｅｖｉｏｕｓボタン２９０３を押下することにより、前に表示したレイアウトを再表示することができる。さらに、表示されたレイアウトが気に入った場合には、プリントボタン２９０５を押下することで、画像処理装置１１５に接続されたプリンタ１１２からレイアウト結果２９０２をプリントアウトすることができる。

ここで、図１７に示すＳ２１０８の大量（Ｌ個）のレイアウトの定量評価の際の印刷サイズに対する適正度について詳細に説明する。

印刷サイズに対する適正度として、例えば、１０人が写っている集合写真（画像）を、レイアウトサイズの１／４程度のスロットに配置して印刷した場合について説明する。Ａ６の被記録媒体に印刷した場合、画像の印刷サイズは、Ａ６の１／４であり人物が小さく印刷されすぎて、ユーザは被写体の顔の表情を識別しにくい。一方、Ａ３の被記録媒体に印刷した場合は画像の印刷サイズはＡ５相当になり、人物の大きさが十分に大きく、ユーザは被写体の顔の表情を識別することができる。

また、１人の顔が画像全体に写っている写真（画像）をレイアウトサイズの１／４程度のスロットに配置し印刷した場合について説明する。Ａ６の被記録媒体に印刷した場合は、画像の印刷サイズは、Ａ６の１／４と小さいがスロットに対して顔が大きく写っているため、ユーザは顔の表情を十分に識別することができる。一方、Ａ３の被記録媒体に印刷した場合は画像の印刷サイズはＡ５相当になり、顔が大きく写っておりインパクトが大きくなりすぎる。前者、すなわち、画像が多人数を含む場合は、顔の大きさ及び顔の数により決定する被写体の情報量に対して、印刷サイズが小さすぎることが影響している。後者、すなわち、画像が少人数（例えば、１人）の場合は、顔の大きさ及び顔の数により決定する被写体の情報量に対して、印刷サイズが大きすぎることが影響している。本実施形態では、印刷サイズに対して最適なレイアウトを決定するために、顔の大きさ及び顔の数を用いた被写体の情報量のスコア化（印刷サイズに対する適正度のスコア化）について例を示す。

まず、顔の大きさ及び顔の数を特定する方法は、特に限定されないが、本実施形態では、Ｓ３０３のセンシングにおいて検出された顔位置情報を用いる。Ｓ３０３では、予め画像群の画像に対する顔位置情報を、バックグランドで計算されデータベース部２０２に登録する。本実施形態では、レイアウトの評価時に顔位置情報を毎回計算するのではなく、計算の効率化のためデータベース部２０２に登録された（保持された）顔位置情報を用いる。

ここで、顔の大きさ及び顔の数に基づく各画像の評価値の算出処理について、図２５を用いて説明する。図２５は、顔の大きさ及び顔の数に基づく各画像の評価値の算出処理のフローであり、ＣＰＵにより実行される。ここでは、被記録媒体として紙を用いた場合について説明する。この算出処理により得られた評価結果に基づいて、ユーザに提示するレイアウトを決定する。

ステップＳ２２０１では、顔位置情報に基づいて画像に顔が含まれるかどうかを判定する。顔が１つ以上含まれる場合、その画像は、人物が被写体だと判断する。

Ｓ２２０２において、被写体が人物だと判断された画像について、顔の大きさ及び顔の数より、当該画像における顔領域率を算出する。本実施形態では、まず、Ｓ３０３において検出された顔位置情報に基づいて、画像に含まれる全ての顔領域の合計値を求める。具体的には、ｎ人分の顔位置情報に基づいて、ｎ人分の顔領域のサイズを足し合わせて、１つの画像における全ての顔領域の合計サイズを求める。そして、得られた顔領域の合計サイズを画像全体のサイズで割って、その画像に対して顔領域が占める割合である顔領域率を算出する。なお、本実施形態では、サイズは、ピクセル数により求めるものとした。

ここでは、例えば、画像Ａとして人数が１０人写っている集合写真の顔領域率（画像Ａの顔領域率ａ）と、画像Ｂとして１人の顔が画像全体に写っている写真の顔領域率（画像Ｂの顔領域率ｂ）を求める。

Ｓ２２０２では、元画像の一部をトリミングして使用する場合は、トリミングされた画像における顔領域率を算出する。以下、顔領域のサイズ及び顔の数から算出される顔領域率を「被写体の特徴」ともいう。

なお、画像における顔領域率の算出方法は、上述したものに限定されるものではなく、各画像における顔領域率を求めることができるものであればよい。

ステップＳ２２０３において、画像の出力サイズ（本実施形態では、画像の印刷サイズ）を特定する。

ステップＳ２２０３において画像の印刷サイズを求める。

まず、画像を配置するレイアウト画像（本実施形態では、レイアウトテンプレート）における各スロットサイズを特定する。スロットサイズは、例えば、レイアウトテンプレートにスロットの情報が記されている場合はそこから算出することができる。ここでは、例えば、レイアウトサイズの１／４程度のスロットに画像を配置する。

そして、画像の印刷サイズ（画像Ａの印刷サイズ、画像Ｂの印刷サイズ）を求める。ユーザが予め印刷する用紙サイズが指定している場合などのように、レイアウト画像（レイアウトテンプレート）の用紙サイズが決定している場合は、用紙サイズとスロットサイズから画像の印刷サイズを求めることができる。ここでは、例えば、Ａ６用紙にレイアウト画像を印刷した場合を印刷サイズｃ、Ａ３に印刷した場合を印刷サイズｄとする。

ステップＳ２２０４において、顔領域の印刷サイズを求める。レイアウト画像を印刷した場合の顔領域の印刷サイズは、顔領域率と印刷サイズを掛け合わせたものとする。画像ＡをＡ６用紙に印刷した場合の顔領域の印刷サイズはａｃとなり、画像ＢをＡ６用紙に印刷した場合の顔領域の印刷サイズはｂｃとなる。画像ＡをＡ３用紙に印刷した場合の顔領域の印刷サイズはａｄとなり、画像ＢをＡ３用紙に印刷した場合の顔領域の印刷サイズはｂｄとなる。

Ｓ２２０５において、顔の大きさ及び顔の数、並びに顔の印刷サイズ（Ｆａｃｅ Ｓｉｚｅ）より評価量（Ｆａｃｅ Ｅｖａｌｕａｔｉｏｎ Ｖａｌｕｅ）を算出する。

本実施形態では、顔領域の印刷サイズが小さすぎても大きすぎても好ましくないとする。具体的には、顔の印刷サイズが小さすぎる場合の評価値を低くし、顔が大きくなりすぎる場合の評価値を低くする。印刷サイズに対する適正度は、例えば、以下の計算式から算出することができる。具体的には、閾値ｅ及び閾値ｆを設定し、顔領域の印刷サイズが、閾値ｅから閾値ｆの間に入る場合は評価量を１００とする。顔領域の印刷サイズが、しきい値ｅ以下の場合は徐々に評価値を小さくし、しきい値ｆより大きい場合は徐々に評価値を小さくする。
Ｆａｃｅ Ｅｖａｌｕａｔｉｏｎ Ｖａｌｕｅ＝１００＊Ｆａｃｅ Ｓｉｚｅ／ｅ
（Ｆａｃｅ Ｓｉｚｅ≦ｅの場合）
Ｆａｃｅ Ｅｖａｌｕａｔｉｏｎ Ｖａｌｕｅ＝１００
（ｅ＜ＦａｃｅＳｉｚｅ＜ｆの場合）
Ｆａｃｅ Ｅｖａｌｕａｔｉｏｎ Ｖａｌｕｅ＝１００＊（１−（Ｆａｃｅ Ｓｉｚｅ−ｆ）／（Ｍａｘ Ｓｉｚｅ−ｆ））
（Ｆａｃｅ Ｓｉｚｅ＞ｆの場合）
上述した方法により算出した印刷サイズに対する適正度を正規化しスコア化する。このように、印刷サイズにおける各画像の被写体サイズに応じて、各画像の評価がレイアウト候補の評価に与える強度を変化させる。なお、画像個別の評価の際に、印刷サイズに対する適正度と他の評価量と総合的にする場合、テーマ毎の重み付けの係数を乗じた上、加算することにより行うようにしてもよい。本実施形態では、レイアウト画像を印刷物として観察した時の観点でレイアウト評価をする。具体的には、指定された用紙サイズから紙面上にプリントされた場合のサイズに換算するようにする。

このように、レイアウト評価の１つとして、印刷サイズに対する適正度を評価することにより、印刷サイズに応じた適切なレイアウト候補の評価を高くすることができる。したがって、評価の高い順にユーザにレイアウト画像（レイアウト候補）を提案する際に、印刷サイズに応じた適切なレイアウトを得ることができる。

本実施形態では、印刷サイズに対する適正度は、印刷された際の画像のサイズと、その画像における顔領域のサイズとにより異なる結果となる。例えば、顔領域が同じサイズであったとしても、顔の数が１人と１０人の場合では評価量が異なる。

これにより、例えば、レイアウト画像を確認するモニタ表示上の条件が変わらなくても、被記録媒体上にレイアウトされる画像を適切に評価することができる。

（実施形態２）
実施形態１では、顔サイズと顔の数を被写体の特徴とし、これに応じて画像の個別評価を行うものとしたが、本実施形態では、画像の有する他の情報量に応じて評価を行うものとする。なお、実施形態１と同様の構成については説明を省略する。

画像の有する情報量に着目すると、画像群には情報量の多い画像、情報量の少ない画像が混在する。情報量の多い画像をスロットサイズの小さいスロットに配置するとレイアウト結果よりユーザは、情報を十分に得られないと感じることがある。一方、情報量の小さい画像をスロットサイズの大きいスロットに配置すると情報不足と感じることがある。これは、用紙サイズによってさらに顕著になる。例えば、情報量の多い画像を印刷サイズの小さいスロットに配置すると印刷結果からユーザは、より情報を十分に得られないと感じやすく、情報量の小さい画像を印刷サイズの大きいスロットに配置すると、より情報不足と感じやすい。

本実施形態では、レイアウト画像において画像の人物情報量に応じた最適な配置を行う。

実施形態１では、被写体の情報量に影響する被写体の特徴として、画像に写った人物の顔サイズ及び数を用いたが、ここでは、被写体の情報量に影響する他の被写体の特徴について述べる。

まず、被写体の情報量に影響する被写体の特徴として、画像の主被写体が人物の場合について説明する。

画像の主被写体が人物の場合、人物の顔の大きさ、人物の顔の数、顔の向き、顔の逆光度合い、人物の顔以外の部位（例えば、人物の体の部位）などが情報量に影響を与えるため、これらを被写体の特徴として定義する。そして、情報量が大きいものはその特徴に基づく評価量を大きく、情報量が小さいものはその特徴に基づく評価量を小さくする。

ここで、図２６に被写体の特徴と情報量の影響の大小の例を図示する。顔の数が多い場合、情報量が大きい。顔の向きは、正面の場合は情報量が大、横向きの場合は情報量が中、後ろ向きの場合は情報量が小とする。また、逆光の写真は顔がつぶれ気味となるので十分な情報量が得らないものとし、顔の逆光度合いが大きいほど情報量が小、逆光度合いが小さいほど情報量が大とする。また、画像において人物の顔だけでなく身体も写っていた方が人物が何をしているか、どういう状況なのか等が判断できるため情報量が多いものとし、顔のみの場合情報量が小、上半身の場合情報量が中、全体の場合情報量が大とする。上述したような情報量に対して、評価値をそれぞれ設定する。顔の向きが正面の場合、他の顔の向きと比較して情報量が最も大きいため、例えば、顔の向きが正面の場合は１、顔の向きが横向きの場合は０．５、後ろ向きの場合は０．１とする。

逆光度に応じた評価値としては、例えば、完全な逆光だったら０．１、逆光でなければ１とする。なお、本実施形態では、逆光度合いは顔の肌の色に応じて求めることとし、上述した逆光度の間は連続的な評価値とするものとした。なお、逆光度合いの評価値は、これに限定されるものではなく、逆光度合いを示す数値情報を複数の範囲に場合分けし、それぞれに評価値を設定するようにしてもよい。

画像に写っている人物の身体の部位に応じた評価値としては、例えば、顔のみの場合は１、上半身の場合は１．５、体全体が写っている場合は２とする。上述した部位の間は画像に写っている体の量により連続的な評価値とする。

本実施形態では、上述したすべての項目の評価量を掛け合わせたものを人物の情報量とする。画像に複数人写っている場合は、それぞれの人物の評価量を求め足し合わせたものをその画像の人物の情報量とする。

さらに、本実施形態では、実施形態１と同様に、顔領域率及びスロットサイズおよびスロットの印刷サイズおよび顔領域の印刷サイズを算出する。そして、求めた人物の情報量を顔の領域の印刷サイズで割ったものが単位顔領域印刷サイズあたりの人物情報量になる。

単位顔領域印刷サイズあたりの人物情報量（Ｐｅｒｓｏｎ ｉｎｆｏｒｍａｔｉｏｎ Ｖａｌｕｅ）に基づき画像の人物評価量（Ｐｅｒｓｏｎ Ｅｖａｌｕａｔｉｏｎ Ｖａｌｕｅ）を算出する。印刷サイズに対して適正な情報量が含まれている画像の評価量を１００とし、少なすぎても多すぎても評価量が小さくなるようにする。例えば、算出した画像の人物評価量が閾値ｇから閾値ｈの間に入る場合は評価量を１００とし、閾値ｇ未満の場合は人物評価量に応じて徐々に評価値を小さくする。一方、人物評価量が閾値ｈより大きい場合は人物評価量に応じて徐々に評価値を小さくする。

上述した方法により算出した印刷サイズに対する適正度を正規化しスコア化する。なお、画像個別の評価の際に、印刷サイズに対する適正度と他の評価量と総合的にする場合、テーマ毎の重み付けの係数を乗じた上、加算することにより行うようにしてもよい。

本実施形態では、本実施形態では、レイアウト画像を印刷物として観察した時の観点でレイアウト評価をする。具体的には、指定された用紙サイズから紙面上にプリントされた場合のサイズに換算するようにする。

このように、レイアウト評価の１つとして、印刷サイズに対する適正度を評価することにより、印刷サイズに応じた適切なレイアウト候補の評価を高くすることができる。したがって、評価の高い順にユーザにレイアウト画像（レイアウト候補）を提案する際に、印刷サイズに応じた適切なレイアウトを得ることができる。

本実施形態では、印刷サイズに対する適正度は、印刷された際の画像のサイズと、その画像における人物情報量とにより異なる結果となる。これにより、人物情報量が大きい画像が小さいスロット及び印刷サイズが小さく出力される確率を軽減または回避できる。また、人物情報量が小さい画像が大きいスロット及び印刷サイズが大きく出力される確率を軽減または回避できる。

なお、本実施形態では、すべての項目の評価値を掛け合わせたものを人物情報量としたが、一部の項目のみを使用して人物情報量としてもよい。

（実施形態３）
実施形態１及び２では、被写体が人物の場合の画像の個別評価について説明したが、本実施形態では、被写体が人物以外の場合の画像の個別評価について説明する。なお、実施形態１と同様の構成については説明を省略する。

人物以外の被写体として、例えば、風景及び文字が挙げられる。ここでは、風景及び文字の各被写体の特徴と情報量について、図２７を用いて説明する。図２７は、被写体の特徴と情報量の影響の大小の例を示す図である。

画像の被写体が風景の場合は、情報量に影響する被写体の特徴として、例えば、写っているランドマーク数がある。画像に含まれるランドマーク数が多いほど、その画像の情報量は多くなる。各画像に含まれるランドマーク数は、スマートフォンやデジタルカメラに搭載されているＧＰＳやジャイロセンサーなどによって、撮影場所、撮影方向、撮影時の焦点距離を特定し、地図データベースと参照することにより推定することができる。なお、ランドマーク数の求め方は、これに限定されるものではない。

また、画像の被写体が風景の場合、情報量に影響する被写体の他の特徴として、画像の空間周波数が挙げられる。画像の空間周波数も情報量と相関がある。青空の画像は情報量が少なく、街並みの画像は情報量が多く、それぞれ、青空の画像は空間周波数が低く、街並みの画像は空間周波数が高い。すなわち、空間周波数が高いほど情報量が大きいといえる。

さらに、画像の被写体が風景の場合、情報量に影響する被写体の他の特徴として色の分布が挙げられる。色の分布も情報量と相関がある。様々な被写体が写っているものは、色にばらつきがあり色の分布も広くなるのに対し、単一の被写体しか写っていないようなものは色の分布に偏りがあり色の分布も狭くなる。すなわち、色の分布が広いほうが情報量が多いといえる。

また、画像が文字の場合、情報量に影響する被写体の特徴として、文字数が挙げられる。画像における文字情報は、ユーザにとって重要な情報であることが多い。例えば、旅行やイベントの際の看板の文字、観光地の説明書きなどのように記録のための撮影の場合、文字情報がユーザにとって重要な情報であることが多い。したがって、本実施形態では、文字数が多いほど情報量が多いものとする。

また、画像が文字を含む場合、情報量に影響する被写体の特徴として、文字の言語の種類が挙げられる。日本語と英語を比較すると、日本語の方が１文字あたりの情報量が多いため、本実施形態では、日本語の情報量を大、英語の情報量を小とする。なお、ここでは、日本語と英語を例に挙げたが、これに限定されず、他の言語の場合も、適宜、情報量を設定すればよい。

また、画像が文字を含む場合、情報量に影響する被写体の特徴として、固有名称か否かが挙げられる。固有名詞は、ユーザにとって観光地名などの重要な情報であることが多いため、本実施形態では、固有名詞が含まれる場合は情報量が多いものとする。上述したような被写体の特徴に対して、情報量に応じて評価値をそれぞれ設定する。そして、各項目の評価量に基づいて被写体の特徴を画像ごとに求め、画像の印刷サイズで割ったものが単位印刷サイズあたりの被写体情報量になる。この被写体情報量を用いて実施形態１及び２と同様の方法により、各画像の評価量を決定することができる。

ここで、本実施形態の画像における被写体の特徴の算出方法について説明する。

まず、画像における顔領域及び文字領域を検出する。被写体の人物は、実施形態１で説明したＳ３０３のセンシングにおいて顔領域を検出することにより検出することができる。また、文字（文字領域）は、公知技術を用いて検出することができる。

次に、検出された顔領域には回領域位置情報を付加し、検出された文字領域には文字領域位置情報を付加し、それ以外の領域には風景領域位置情報を付加する。

そして、各画像の評価値を算出する。ここで、図２７を用いて、情報量に影響する被写体の特徴が画像に複数混在する場合の画像の評価値の算出方法について説明する。なお、図２８は、各画像の評価値の算出処理のフローであり、ＣＰＵ１００により実行される。

Ｓ２５０１では、画像に顔領域が含まれるか判定する（Ｓ２５０１）。本実施形態では、顔領域位置情報が付加されている場合、顔領域が含まれていると判定する。

画像に顔領域が含まれる場合は（Ｓ２５０１でＹｅｓ）、被写体が人物の場合の被写体の特徴に基づき、評価量ａを算出する（Ｓ２２０２）。なお、評価量ａは、例えば、実施形態１や実施形態２で説明した方法により算出することができる。その後、Ｓ２５０３へ進む。

画像に顔領域が含まれない場合は（Ｓ２５０１でＮｏ）、Ｓ２５０３へ進む。

Ｓ２５０３では、画像に文字領域が含まれるかどうかを判定する。本実施形態では、文字領域位置情報が付加されている場合、文字領域が含まれると判定する。

画像に文字領域が含まれる場合は（Ｓ２５０３でＹｅｓ）、被写体が文字の場合の被写体の特徴に基づき評価量ｂを算出する（Ｓ２５０４）。その後、Ｓ２５０５へ進む。

画像に文字領域が含まれない場合は、Ｓ２５０５に進む。

Ｓ２５０５では、画像に風景領域が含まれるかどうかを判定する。本実施形態では、風景領域位置情報が付加されている場合、風景領域が含まれると判定する。

風景領域が含まれる場合は（Ｓ２５０５でＹｅｓ）、被写体が風景の場合の被写体の特徴に基づき評価量ｃを算出する（Ｓ２５０６）。その後、Ｓ２５０７へ進む。

風景領域が含まれない場合は、Ｓ２５０７へ進む。

Ｓ２５０７では、算出した評価値ａ、評価値ｂ、及び評価値ｃを合計し、画像の評価値を求める。なお、合計する際に、テーマごとに重み付けを変えてもよい。例えば、テーマが人物の場合は人物の評価量の割合を高く、テーマが旅行の場合は、人物の情報量の評価量だけでなく、風景や文字の情報量に対する評価量に基づいて、評価を行う。

上述した方法により算出した印刷サイズに対する適正度を正規化しスコア化する。なお、画像個別の評価の際に、印刷サイズに対する適正度と他の評価量と総合的にする場合、テーマ毎の重み付けの係数を乗じた上、加算することにより行うようにしてもよい。

本実施形態では、本実施形態では、レイアウト画像を印刷物として観察した時の観点でレイアウト評価をする。具体的には、指定された用紙サイズから紙面上にプリントされた場合のサイズに換算するようにする。

このように、レイアウト評価の１つとして、印刷サイズに対する適正度を評価することにより、印刷サイズに応じた適切なレイアウト候補の評価を高くすることができる。したがって、評価の高い順にユーザにレイアウト画像（レイアウト候補）を提案する際に、印刷サイズに応じた適切なレイアウトを得ることができる。

なお、図２８では、顔領域の有無、文字領域の有無、風景領域の有無の順に評価値の算出を行ったが、画像の評価値の算出は、この順に限定されるものではない。

（他の実施形態）
本発明の基本的構成は上述したものに限定されるものではない。上述した実施形態は、本発明の効果を得るための一手段であり、類似の別手法を用いたり、異なるパラメータを用いたとしても、本発明と同等の効果が得られる場合は、本発明の範疇に含まれる。

例えば、上述した実施形態３では、被写体が人物、風景、文字のそれぞれの特徴の評価値を算出して各画像の評価値を求めたが、これに限定されるものではない。例えば、予め画像の被写体が何かを判断し、その被写体に関する特徴のみから各画像の評価値を求めるようにしてもよい。これにより、画像の評価値の算出時間を削減することができる。

ここで、画像の被写体の判定について簡単に説明する。画像の被写体の判定は、例えば、画像に含まれる顔領域、文字領域、及び風景領域の位置情報を利用することができる。例えば、画像に顔領域が１つ以上存在する場合、被写体＝人物と判定する。ただし、画像に顔領域が１つ以上存在し且つ人物の領域が予め設定したある一定サイズ以下の場合は、被写体＝人物＋風景とする。また、画像に文字領域が存在し且つ文字領域が予め設定したある一定サイズ以上である場合、被写体に文字を加える。すなわち、この場合は、被写体＝文字、被写体＝人物＋文字、又は被写体＝人物＋風景＋文字となる。そして、例えば、顔領域が含まれず、且つ文字領域を含まない又は文字領域が一定サイズ以下だった場合は、被写体＝風景とする。

また、上述した実施形態では、Ｓ１５０８の大量レイアウトの定量評価の際に、印刷サイズと画像の被写体の特徴に基づく評価量を用いることとしたが、これに限定されるものではない。例えば、Ｓ１５０７で印刷サイズと画像の被写体の特徴に基づく評価量を用いるようにしてもよい。具体的には、Ｓ１５０７において大量の一時レイアウトを生成する際に、印刷サイズと画像の被写体の特徴に基づく評価量が、予め設定した値以下となるスロットと画像の組み合わせは、レイアウトを作成しないようにしてもよい。これにより、明らかに評価値が低くなる一時レイアウトが作成されなくなり、処理時間を高速化することができる。

また、上述した実施形態では、Ｓ１５０８の大量レイアウトを中間レイアウトとして生成するものとしたが、必ずしも大量レイアウトを作成する必要はない。例えば、ユーザがテンプレートと使用したい少量の画像を選択する場合は、以下の方法により最適なレイアウトを作成することができる。

まず、ユーザがレイアウトテンプレート及び出力用紙サイズを選択する。このとき、レイアウトテンプレートには実施形態１と同様に各スロットに適した画像の条件が記載されているものとする。次に、ユーザがレイアウトの使用したい画像群を選択する。このとき、選択する画像数はスロット数よりも多くてもよい。次に、各画像の解析を行い、スロットに適した画像の条件を満たすか判定するために必要な情報を取得する。このとき、明らかな失敗画像である等と解析された場合は画像群から削除するようにしてもよい。そして、解析した情報をもとに各スロットに記載された条件に適合する画像を選択する。スロットに適した画像の条件を満たす画像が複数存在する場合、上述した実施形態で説明した印刷サイズと被写体の特徴を用いてより好適な画像を決定することができる。そして、各スロットに配置した際の印刷サイズと被写体の特徴を用いて実施形態１及び２で説明した評価値を算出し、評価値の高い画像を最終選択画像とする。これにより、各スロットに適した画像の条件を満たす画像をレイアウト画像に配置して、レイアウトを生成し、予め指定した用紙サイズで印刷することができる。

また、上述した実施形態では、作成したレイアウトを印刷する場合を例に挙げて説明したが、出力方法は印刷されたものに限定されるものではない。例えば、モニタ等の表示装置のける表示が最終成果物としてもよい。例えば、スマートフォン用の表示を最終成果物とする場合、最終成果物のサイズは、例えば、４インチ前後となり、タブレット用の表示を最終成果物とする場合は７〜１０インチとなる。また、ノートＰＣ用の表示を最終成果物とする場合は１０〜１５インチとなり、デスクトップ用の表示を最終成果物とする場合は２０インチ以上となる。これらの場合、出力サイズとして、印刷する際の被記録媒体のサイズの代わりに表示サイズに基づいて、評価を行うようにすればよい。

本実施形態では、ユーザが画像グループをマウスポインタによりドラッグ操作することで、人物グループの結合処理を実行する例を示したが、操作はマウスポインタによる操作に限定されるものでもない。

また、上述した実施形態では、オブジェクトとして人物を例に挙げて説明したが、オブジェクトは人物とは限らない。犬や猫などのペットの認識処理を行ってこれらを認識することにより、オブジェクトとしてペットを設定することができる。また、エッジ検出などの形を認識処理によれば、建物や小物なども認識できるため、オブジェクトとして、建物や小物などを設定することができる。

上述した実施形態では、画像処理装置としてコンピュータを例に挙げて説明したが、これに限定されるものではない。例えば、プリンタ、複写機、ファクシミリ装置、携帯電話、ＰＤＡ、画像ビューワー、デジタルカメラ、などの画像処理を行う装置において、本発明を適用可能である。

また、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、プリンタ、複写機、ファクシミリ装置等）に適用しても良い。

被記録媒体の材質は、紙に限定されるものではなく、記録剤を付与した印刷処理が可能なものであれば種々のものを採用可能である。なお、ここでいう記録剤は、液状のインクに限定されるものではなく、種々の記録剤を採用可能である。

上述した実施形態は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、プログラムは、１つのコンピュータで実行させても、複数のコンピュータを連動させて実行させるようにしてもよい。また、上記した処理の全てをソフトウェアで実現する必要はなく、処理の一部または全部をＡＳＩＣ等のハードウェアで実現するようにしてもよい。また、ＣＰＵも１つのＣＰＵで全ての処理を行うものに限らず、複数のＣＰＵが適宜連携をしながら処理を行うものとしてもよい。

Claims (10)

1. １以上の画像を含む画像群を取得する取得手段と、
   前記取得手段により取得した画像群に含まれる画像を配置してレイアウト候補を作成する作成手段と、
   レイアウト内に配置された各画像の被写体の特徴に応じた前記各画像の個別評価に基づいて、前記作成手段により作成されたレイアウト候補の評価を行う評価手段と、
   前記作成手段により作成されたレイアウト候補を所定の出力サイズで出力する出力手段と、
   を備え、
   各画像の被写体の特徴は、前記出力手段により出力されるレイアウト候補の出力サイズにより特定される各画像の被写体のサイズを含むことを特徴とする画像処理装置。
2. 前記評価手段は、前記出力手段により出力されるレイアウト候補の出力サイズにより特定される各画像の被写体のサイズに応じて、前記各画像の評価がレイアウト候補の評価に与える強度を変化させることを特徴とする請求項１に記載の画像処理装置。
3. 前記各画像の被写体の特徴は、被写体の情報量を含むことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記被写体の情報量は、前記被写体が人物である場合、顔の大きさ、顔の数、顔の向き、逆光度、及び顔以外の大きさのうち１以上の情報量を含むことを特徴とする請求項３に記載の画像処理装置。
5. レイアウト内に配置される各画像の被写体に人物、風景、及び文字のうち少なくともいずれを含むか特定する特定手段をさらに備えることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記作成手段は、複数のレイアウト候補を作成し、
   前記評価手段による評価結果に基づいて、前記作成手段により作成された複数のレイアウト候補の中から選択した１以上のレイアウト候補を提示する提示手段をさらに備えることを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記提示手段は、前記評価手段による評価が高いレイアウト候補を提示することを特徴とする請求項６に記載の画像処理装置。
8. 前記出力サイズは、前記レイアウト候補を印刷する被記録媒体のサイズであることを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. １以上の画像を含む画像群を取得する取得工程と、
   前記取得工程において取得した画像群に含まれる画像を配置してレイアウト候補を作成する作成工程と、
   レイアウト内に配置された各画像の被写体の特徴に応じた前記各画像の個別評価に基づいて、前記作成工程において作成されたレイアウト候補の評価を行う評価工程と、
   前記作成工程において作成されたレイアウト候補を所定の出力サイズで出力する出力工程と、
   を備え、
   各画像の被写体の特徴は、前記出力工程において出力される出力サイズにより特定される各画像の被写体のサイズを含むことを特徴とする画像処理方法。
10. 請求項１〜８のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。

Images