JP2014016817A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】像における出力対象の領域を適切に決定することができる画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】出力対象の候補である画像に基づき、予め定義された条件を満たす少なくとも一つのオブジェクト領域を当該画像から特定する。前記画像において前記特定手段により特定されたオブジェクト領域に基づき、当該オブジェクト領域が、前記画像における出力対象の領域の内外で分割されるか判定する。判定結果に基づき、前記画像における出力対象の領域を決定する。
【選択図】図２９

Description

本発明は画像処理装置、画像処理方法、およびプログラムに関する。

近年、写真印刷やビデオクリップ作成ソフトなどにおいて、テンプレートのスロットに画像を自動ではめ込み、レイアウト画像を完成させる技術が知られている。また、レイアウト枠に画像を配置するテンプレートにおいて、画像における主要被写体がレイアウト枠からはみ出るのを防ぐために、主要被写体の領域に応じて自動的にトリミングを行う技術がある。

特許文献１では以下の構成を備える。静止画上に設定される主要被写体領域と、主要被写体の中心を決める注目点を設定する。レイアウト枠には、静止画を嵌め込む際に注目点と合致させる基準点が設定されている。基準点からレイアウト枠までの距離と、注目点から静止画の外郭までの距離の算出距離の比率を求め、その最大値を第１パラメータとする。また、基準点からレイアウト枠までの距離と、注目点から主要被写体領域の外郭までの距離との比率を求め、その最小値を第２パラメータとする。第１パラメータが第２パラメータよりも大きいと、空白領域の発生又は主要被写体がはみ出るアルバム画像となり、静止画のはめ込みが禁止される。

特開２００７−２６２４６号公報

特許文献１では、人物などの注目領域の位置を考慮し、自動でトリミングの位置を決定する技術が述べられている。しかしながら、該技術において、注目領域が配置領域へうまく収まらないケースがある。例えば、画像内の複数の注目領域の全てをレイアウト枠（スロット）などアスペクト比が固定された配置領域へ配置する際に問題が生じる場合がある。図２９に示す３４０１は画像をトリミングし配置するスロット（レイアウト枠）である。３４０２は画像である。画像３４０２内の３４０３（破線部内）、３４０４（破線部内）は注目領域である。これら注目領域すべてをスロット３４０１へ余白なしに配置しようとすると３４０６のようになる。３４０６では注目領域３４０３、３４０４に切れ（部分消失）が発生し、見栄えの悪い配置となってしまう。特に、顔領域に切れが発生すると、表情がわからない、写真の主役として目立たないなどの理由により、ユーザが望むレイアウトとならないことがある。

上記の問題を鑑み、本発明は画像における出力対象の領域を適切に決定することができる画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。

上記課題を解決するために、本願発明に係る画像処理装置は、
出力対象の候補である画像に基づき、予め定義された条件を満たす少なくとも一つのオブジェクト領域を当該画像から特定する特定手段と、
前記画像において前記特定手段により特定されたオブジェクト領域に基づき、当該オブジェクト領域が、前記画像における出力対象の領域の内外で分割されるか判定する判定手段と、
前記判定手段による判定結果に基づき、前記画像における出力対象の領域を決定する決定手段と
を備える。

本発明によれば、画像における出力対象の領域を適切に決定することができる。

本発明のソフトウェアを実行可能なハードウェア構成図。 本発明の処理のソフトウェアブロック図。 画像解析処理のフローチャート。 画像解析処理のフローチャート。 人物グループ生成処理のフローチャート。 自動レイアウト提案処理のフローチャート。 人物グループの表示例を示す図。 サムネイル形式による画像群の表示例を示す図。 カレンダー形式による画像群の表示例を示す図。 画像解析結果の保存形式の例を示す図。 手動でお気に入り度を入力するためのＵＩ例を示す図。 手動でイベント情報を入力するためのＵＩ例を示す図。 手動で人物属性情報を入力するためのＵＩ例を示す図。 人物属性情報の保存形式の例を示す図。 レイアウトテンプレートの一例を示す図。 図１５のレイアウトテンプレートの保持形式の例を示す図。 レイアウトテンプレートの一例を示す図。 図１７のレイアウトテンプレートの保持形式の例を示す図。 第１の実施形態における自動レイアウト生成処理のフローチャート。 第１の実施形態における不要画像フィルタリング処理のフローチャート。 自動トリミング処理の一例を示す図。 明るさ適正度の算出方法の説明図。 彩度適正度の算出方法の説明図。 自動レイアウト生成結果の表示例を示す図。 決定されたテーマと主人公情報の保持例を示す図。 決定されたテーマと主人公情報の保持例を示す図。 生成した自動レイアウト情報の保持例を示す図。 第１の実施形態における全体フローチャート。 自動トリミング処理の一例を示す図。 自動トリミング処理の一例を示す図。 レイアウトテンプレートの一例を示す図。 切れ評価値の決定手段の例を示す図。 自動トリミング処理の一例を示す図。

＜第１の実施形態＞
以下では、入力画像群を用いて自動でレイアウト出力物を生成するための実施形態について説明する。これはあくまで実施の１つの形態を例として示したものであり、本発明は以下の実施に限定されるものではない。

なお、本実施形態では簡単のため、レイアウト出力物として、１ページのコラージュ系出力物を想定するが、本発明を単葉印刷や複数ページのアルバム出力であってもよい。

図１は、本実施形態に係わる情報処理装置のハードウェア構成例を説明するブロック図である。図１において、情報処理装置１１５は、ＣＰＵ１００と、ＲＯＭ１０１と、ＲＡＭ１０２と、２次記憶装置１０３と、表示装置１０４と、入力装置１０５と、ＩＦ１０７と、ＩＦ１０８と、無線ＬＡＮ Ｉ／Ｆ１０９を備えている。さらに、内部撮像デバイス１０６を備えている。これらは、制御バス／データバス１１０により相互に接続されている。本実施形態の情報処理装置１１５は、画像処理装置として機能する。

図１において、ＣＰＵ（中央演算装置）１００は、本実施形態で説明する情報処理方法を以下に示すアプリケーションなどのプログラムに従って実行する。ＲＯＭ１０１は、ＣＰＵ１００により実行されるプログラムが記憶されている。ＲＡＭ１０２は、ＣＰＵ１００によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。２次記憶装置１０３はハードディスク等であり、画像ファイルや画像解析結果を保存するデータベースなどを保存するための記憶媒体である。表示装置１０４は例えばディスプレイであり、本実施形態の処理結果や以下に示す種々のＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）をユーザに提示する装置である。表示装置１０４はタッチパネル機能を備えても良い。また、制御バス／データバス１１０は、上述の各部とＣＰＵ１００とを接続する。このほかにユーザが画像補正の処理の指示等を入力するためのマウスやキーボードといった入力装置１０５も備える。

また、情報処理装置１１５は、内部撮像デバイス１０６を備えてもよい。内部撮像デバイス１０６で撮像された画像は、所定の画像処理を経た後、２次記憶装置１０３に保存される。また、情報処理装置１１５はインターフェース（ＩＦ１０８）を介して接続された外部撮像デバイス１１１から読み込んでも構わない。さらに、情報処理装置１１５は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）と接続するための無線ＬＡＮ Ｉ／Ｆ１０９を備え、該ＬＡＮはインターネット１１３に接続されている。情報処理装置１１５は、インターネット１１３に接続された外部サーバー１１４より画像データを取得することもできる。

最後に、画像等を出力するためのプリンタ１１２が、ＩＦ１０７を介して情報処理装置１１５に接続されている。なお、プリンタ１１２はさらにインターネット１１３上に接続されており、無線ＬＡＮ Ｉ／Ｆ１０９経由でプリントデータのやり取りをすることもできる。

図２は本実施形態のアプリケーションを含む基本ソフトウェア構成のブロック図である。

まず情報処理装置１１５が取得した画像データは、通常ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｙ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）等の圧縮形式になっている。そのため、画像コーデック部２００は、該圧縮形式を解凍していわゆるＲＧＢ点順次のビットマップデータ形式に変換する。変換されたビットマップデータは、表示・ＵＩ制御部２０１に伝達され、ディスプレイ等の表示装置１０４上に表示される。

上記ビットマップデータは、さらに画像センシング部２０３（アプリケーション）に入力され、画像センシング部２０３において、画像の様々な解析処理（詳細は後述）が行われる。上記解析処理の結果得られた画像の様々な属性情報は、所定の形式に従ってデータベース部２０２（アプリケーション）において、上述した２次記憶装置１０３に保存される。なお、以降においては、画像解析処理とセンシング処理は同義で扱う。

シナリオ生成部２０４（アプリケーション）では、ユーザが入力した様々な条件に応じて、詳細は後述するが、自動で生成すべきレイアウトの条件を生成する。レイアウト生成部２０５ではシナリオ生成部２０４が生成したシナリオに従って、自動でレイアウトを生成する処理を行う。

レイアウト生成部２０５が生成したレイアウトは、レンダリング部２０６で表示用のビットマップデータを生成し、該ビットマップデータは表示・ＵＩ制御部２０１に送られ、結果が表示装置１０４に表示される。

また、レンダリング部２０６によるレンダリング結果はさらにプリントデータ生成部２０７に送られ、プリントデータ生成部２０７でプリンタ用コマンドデータに変換され、プリンタ１１２に送出される。

本実施形態の基本的な画像処理のフローチャートについて説明をする。

図２８は、本実施形態の処理の流れを表すフローチャートである。本処理フローは、本実施形態において、ＣＰＵ１００がＲＯＭ１０１等に格納されたプログラムを実行することにより実現される。

Ｓ３３０１では、ＣＰＵ１００は、画像データ群の取得を行う。ここでは例えば、過去にユーザが外部撮像デバイス１１１で撮影し、２次記憶装置１０３で保管している画像データを対象とし、ファイルパスを取得する。詳細な内容、手法については後述する。

Ｓ３３０２では、ＣＰＵ１００は、取得した画像データ群の画像それぞれについてデコードし、解析処理および解析結果のデータベース登録を行う。解析処理では、画像内の人物顔の個数、各顔の座標位置、シーン情報などを取得し、データベースへ格納する。詳細な内容、手法については後述する。

Ｓ３３０３では、ＣＰＵ１００は、人物グルーピングを行う。Ｓ３３０２で検出された顔の情報を用い、顔の特徴量が似ているものをグループ化する。詳細な内容、手法については後述する。

全ての画像について解析（Ｓ３３０２）およびグルーピング（Ｓ３３０３）を行うため、ＣＰＵ１００は、Ｓ３３０２、Ｓ３３０３を画像の数だけ繰り返す。

Ｓ３３０４では、ＣＰＵ１００は、ユーザ情報の入力を行う。Ｓ３３０３にてグループ化した顔について、ユーザがＵＩを用いて人物名および続柄、友人や家族といった属性を入力する。これを人物登録と呼ぶことにする。各グループのそれぞれの顔について、どの画像のどの座標に存在するかが記録されている。これらにより、ソフトウェアは各画像のどの位置に誰が写っているかを得る事ができる。その他、各画像についてユーザお気に入り度の入力などもここで行われる。詳細な内容、手法については後述する。

Ｓ３３０５では、ＣＰＵ１００は、テンプレートの取得を行う。本実施形態においては、予め様々なレイアウトテンプレートが用意されていることを想定する。レイアウトテンプレートとは図１５、図１７および図３１に示すようなものである。

尚、各図における１７０２、１７０３、１７０４、１９０３、３６０２、３６０３はそれぞれ画像を配置する画像配置領域であり、テンプレートにおいてスロットと呼ぶ。スロットは、既定のサイズを有する。図３１は重なりがあるスロット３６０２、３６０３を持つ。重なりがあるスロットにおいて、重なりの下側であるスロット３６０３では斜線部のように表示されている部分を画像配置領域とする。テンプレートについての詳細は後述する。

Ｓ３３０６では、ＣＰＵ１００は、提案処理のシナリオを決定する。シナリオには、提案するレイアウトのテーマおよびテンプレートの決定、およびレイアウト内で重視する人物（主人公）の設定、およびレイアウト生成に用いる画像群の選定情報が含まれる。尚、シナリオはユーザがＵＩを用いて手動で選択、指示しても良い。詳細な内容、手法については後述する。

Ｓ３３０７では、ＣＰＵ１００は、上述したシナリオに基づき、画像の選択、一時レイアウト生成、レイアウト評価を行う。画像の選択は、輝度などを評価し、フィルタリングする事により不要画像を排除する。こうして一時レイアウトに使用する候補の画像を選択する。選択方法の詳細については後述する。

一時レイアウト生成は、取得したテンプレートの画像配置枠に対して、上記でフィルタリング済みの画像を任意に当てはめる処理を繰り返し、大量の一時レイアウトを生成する。ここでは、各スロットにトリミングされた画像が配置されたレイアウトが出力される。一時レイアウトの生成の詳細については後述する。

レイアウト評価は、上記で大量に作成された一時レイアウトのそれぞれについて評価を行う。評価は、画像個別、画像とスロットの適合度、レイアウトページ内のバランスなどを算出し、それらを統合化して評価値とする。

本実施形態では、上記の画像とスロットの適合度の評価項目の一つである注目領域の切れ評価を行う。ここで「切れ」とは、その注目領域に含まれるオブジェクト領域が、表示対象の領域の内外で分割された状態を示す。このように分割された場合、注目領域の一部が表示され、一部が表示されていない状態、つまり部分的に消失した状態で注目領域が表示される。注目領域とは例えば、センシング処理で検出された顔の領域である。顔の座標、向き、大きさなどから顔の下は体として推測できるため、推測した体部も含めて注目領域としても良い。ある程度大きく写っている顔、ユーザが人物登録をした人物、人物属性が家族や友人である人物、ユーザが人物登録した人物と同じ距離に居る人物、ピントが合っている場所などを注目領域としても良い。

画像において、複数の注目領域がある場合には、それぞれを表示対象の領域に含める注目領域の候補として扱う。なお、本明細書において便宜上、複数の注目領域は、第１の候補、第２の候補とも記載する。

距離は、二眼カメラで視差の距離が一致する部分より同距離を判定する手段や、一撮影で複数のフォーカス位置を撮影できるカメラでは同フォーカス位置でピントが合っている物を同距離とするなど、その他の方法で求めればよい。以上によればセンシングや人物登録がなされれば自動的に注目領域を判定する事ができる。また、ユーザがマウスやキーボードなどのＵＩを用いて指定した領域を注目領域としても良い。注目領域は人物に限らず、車や建物、山などの静物や動物でも良い。

図２９の３４０１は図１５のスロット１７０４を表す。前述のようにスロットは画像を配置する領域である。３４０２はこのスロットに配置する画像である。画像３４０２は注目領域である３４０３（破線内部）と３４０４（破線内部）を持つ。３４０３および３４０４は顔検出処理が行われ、ユーザが人物登録した人物の顔領域である。３４０５は画像内全ての注目領域の中心点、つまり、３４０３と３４０４の中心点である。

３４０７、３４１０、３４１４、３４１６はそれぞれ画像３４０２の座標を表しており、斜線部はそれぞれトリミング領域３４０８、３４１１、３４１４、３４１７である。トリミング領域はスロット３４０１と同じアスペクト比である。トリミング領域がスロットと異なるアスペクト比であると、画像配置後のスロット内に余白が生じる事になり、利用者にとって見栄えの悪い画となり得る。

３４０８は注目領域３４０３および３４０４の中心点３４０５が中心になるようにトリミングを行う領域である。画像３４０２に対して３４０７内の３４０８で示す領域でトリミングを行った場合、３４０６のようになる。つまり、画像３４０２のうち、テンプレートに画像３４０２が配置された場合に、出力対象となる領域（出力領域）が３４０６である。なお、この出力対象の領域とは、表示、印刷等の出力処理により可視化される領域である。

３４０６では人物の顔部である注目領域３４０３と３４０４に切れが発生している。注目領域が切れてトリミングされた場合、注目領域の一部のみが出力されてしまう。本実施形態では、この様な場合は注目領域の切れ評価の値（以下、切れ評価値）を低く設定することで、このように注目領域が切れたレイアウトが出力対象とならないように制御する。切れ評価値は、例えば以下のように求められる。

図３２は表示面積率に対する切れ評価値の一例を表すグラフであり、関数やルックアップテーブルにて実現可能である。切れ評価値は、切れが発生していない場合に高い評価値となる数値であり、注目領域毎に値を求め、その後統合した値を算出する。切れ評価値は、トリミング後に注目領域が表示されている面積率（以下、表示面積率）を用いて算出する。表示面積率とは、例えば画像３４０２が３４０６のようにトリミングされた場合、注目領域３４０３は、６０％が３４０６に表示されているが４０％は消失し、表示されていない。この場合、表示面積率は６０％となる。尚、表示面積率は例えば、画像３４０２のトリミング位置を表す３４０７および３４０８において、トリミング領域３４０８と注目領域３４０３が重なる画素数をカウントし、注目領域３４０３の画素数で割った値を用いれば良い。また、注目領域とトリミング領域が矩形であれば、座標を用いて数値計算し、表示面積率を求めても良い。

図３２では３４０３の面積を１００％とし、その内３４０６に表示された領域の割合を横軸、その際の注目領域切れ評価値を縦軸に示す。表示される面積の割合が１００［％］付近の場合、注目領域の切れが生じていない状態であり、図３２に示すように切れ評価値は高い。表示面積の割合が少なくなるにつれ、注目領域に切れが生じている状態になるため切れ評価値は低くなり、表示面積がある程度以下となったら０となる。一方、表示される面積が０［％］付近では切れ評価値は高い。これは、完全に注目領域が表示されなければ切れは生じないためである。

図３２に示す表示面積率が、０％または１００％に近い場合は、注目領域が表示されていない、もしくは注目領域の全てが表示されている状態であり、即ち注目領域の一部が欠けていることが、目立たない状態であることがわかる。一方、表示面積率が５０％に近い場合は、注目領域の一部が欠けていることが目立つ状態である。本実施形態では、注目領域の切れが目立つ状態で画像が出力されることを防ぐために、表示面積率が０％または１００％に近いときには、切れ評価値を高くするように設定する。

ソフトウェア上での切れ評価値の実装は、入力を表示面積率、出力を切れ評価値とする図３２に示すような入出力特性の一次元ルックアップテーブルを用いれば良い。

上記では表示面積率に応じて切れ評価値を変動させたが、他の例として、少しでも切れが発生したら切れ評価を０とするなどの簡易的な方法を取っても良い。

画像３４０２に対し３４０７、３４０８に示すトリミングを施した３４０６の評価を行うと、以下のようになる。３４０６において、表示されている３４０３部の面積はおよそ６０［％］である。図３２に示すグラフに照らし合わせると、表示面積率６０［％］の時の切れ評価値は０である。同様に、３４０４部も表示面積率６０［％］であり、切れ評価値は０となる。これら複数の注目領域の切れ評価値を統合するにはこれらのワースト値を取る。つまり、最も小さい値を該スロットと該画像と該トリミング位置の切れ評価値とすれば良い。よって、スロット３４０１と画像３４０２とトリミング位置３４０７および３４０８の組み合わせである３４０６の切れ評価値は０である。

また、例えば画像３４０２の人物の顔部である注目領域３４０３、３４０４を重要注目部とし、顔の大きさ、向きなどから人物の体部を推測し、体部を准注目部とする。重要注目領域の表示割合、准注目領域の表示割合を算出し、准注目部のみが切れた場合は評価を下げない。重要注目部が切れている場合は切れ評価値を下げる。重要注目部が表示されず、准注目部のみが表示されている場合は最も評価を下げる機構を設ければ、より良い評価が可能となる。これは、顔が表示されず体が表示されている場合は得に利用者にとって印象が悪いトリミングとなるためである。

画像３４０２に対して３４０７内の３４０８で示す領域でトリミングを行った場合、３４０９のようになる。３４０９では注目領域である３４０４の人物は消えてしまっているが、３４０３および３４０４共に切れは発生していない。この場合、注目領域の切れ評価の値は高く設定する。図３２に示すグラフに照らし合わせると、注目領域３４０３は表示面積率１００［％］であるため切れ評価値は１００、注目領域３４０４は表示面積率０［％］であるため、切れ評価値１００となる。これら切れ評価値のワースト値を取ると１００であり、これがスロット３４０１と画像３４０２とトリミング位置３４１０および３４１１の組み合わせである３４０９の切れ評価値となる。３４１１は、３４０８からトリミング位置を移動させたものである。評価値が示す通り、３４０６と３４０９を比較すると人物の顔が切れていない３４０９の方が見栄えが良い結果となっている。

同様に、画像３４０２に対して３４１３内の３４１４で示す領域でトリミングを行った場合、３４１２のようになる。３４１４は、３４０８からトリミング位置を移動させたものである。

３４１２では注目領域である３４０３の人物は消えてしまっているが、３４０３および３４０４共に切れは発生していないため切れ評価値は１００となる。３４０６と３４１２を比較すると、人物の顔が切れていない３４１２の方が見栄えが良い結果となっている。

同様に、画像３４０２に対して３４１６内の３４１７で示す領域でトリミングを行った場合、３４１５のようになる。３４１５に切れは発生していなため、切れ評価値は１００となる。３４０６と３４１５を比較すると、人物の顔などが切れていない３４１５の方が見栄えが良い結果となっている。

即ち、図２９に示した例では、２つの注目領域のそれぞれの一部が、所定サイズの配置枠からはみ出てしまう場合よりも、１つの注目領域の全体が配置枠に含まれ、もう一方の注目領域が配置枠から外れた場合の方が、切れ評価値は高くなる。

次に同処理を、図３０を用いて説明する。

３５０１は図１５のスロット１７０４を表す。３５０２はこのスロットに配置される候補の画像である。画像３５０２は注目領域３５０３〜３５０７（破線内）を持つ。３５０３〜３５０７はセンシングで顔検出・認識処理が行われ、ユーザが人物登録した人物の顔領域である。

３５０９、３５１２、３５１５はそれぞれ画像３５０２の座標を表した図であり、斜線部３５１０、３５１３、３５１６はそれぞれトリミング領域を表す。

３５０９内の３５１０は全ての注目領域３５０３〜３５０７の中心がスロット３５０１の中心になるようなトリミング領域である。結果、全ての注目領域を余白なしにスロット３５０１と同じアスペクト比に収める事は出来ない。また、注目領域３５０３及び３５０７はそれぞれ５０［％］ほどしか表示されておらず、切れが発生しているため印象が悪いトリミングとなっている。図３２に示すグラフによれば、表示面積率［５０％］の切れ評価値は０となる。

画像３５０２に対して３５１２内の３５１３で示す領域でトリミングを行った場合、３５１１のようになる。３５１１では注目領域３５０３の人物は消えてしまっているが、全ての注目領域が切れてはいない。図３２のグラフを用いると表示面積率は０［％］のため切れ評価値は１００となる。３５０８と３５１１を比較すると、人物の顔が切れていない３５１１の方が見栄えが良い結果となっている。

同様に、画像３５０２に対して３５１５内の３５１６で示す領域でトリミングを行った場合、３５１４のようになる。３５１４では注目領域３５０３、３５０４の人物は消えてしまっているが、全ての注目領域に切れは生じていない。図３２のグラフを用いると切れ評価値は１００となる。３５０８と３５１４を比較すると、人物の顔などが切れていない３５１４の方が見栄えが良い結果となっている。

以上の、図２９、図３０に示した例では、画像における出力対象の領域に注目領域の一部のみが含まれ、一部は出力対象の領域外になる場合よりも、その注目領域の全体が出力対象の領域から外れた場合の方が、高い評価値とする。これにより、注目領域の切れが生じた画像が出力されることを防ぐことができる。

次に同処理を、図３３を用いて説明する。

３８０１は図１５のスロット１７０４を表す。３８０２はこのスロットに配置される候補の画像である。画像３５０２は注目領域３８０３〜３８０４（破線内）を持つ。３８０３〜３８０４はセンシングで顔検出・認識処理が行われ、ユーザが人物登録した人物の顔領域である。尚、３８０２は撮影した時点で顔切れが発生している注目領域３８０３を含んでいる画像である。撮影された画像に顔切れが発生しているかは、顔検出時や認識処理時に顔切れの判定を行う、ユーザが顔切れ画像として指定する、などの方法で実現可能である。尚、顔検出での顔切れ判定を行うには、例えば、写っている顔に目や鼻など顔の器官が足りない、画像の端部に存在する、などの項目の判定値により推測できる。

３８０６、３８０９はそれぞれ画像３８０２の座標を表しており、斜線部３８０７、３８１０はそれぞれトリミング領域を表す。画像３８０２に対して３８０６内の３８０７で示す領域でトリミングを行った場合、３８０５のようになる。３８０５では前述したように切れが起きている注目領域３８０３が含まれて表示されている。ここでは、３８０３が少しでも表示された場合、切れ判定の評価値は０とする。別の例として、３８０３の顔が全て写っていた時の面積を推測し、その面積と３８０５に表示された面積とで図３２に示すグラフのような関数を用いて切れ判定評価値としても良い。

画像３８０２に対して３８０９内の３８１０で示す領域でトリミングを行った場合、３８０８のようになる。３８０８では注目領域に切れが発生していない。そのため、切れ評価値は１００となる。３８０５よりも切れ評価値が高い３８０８の方が見栄えが良い画像となる。

なお、図２９、図３０に示した例では、画像を所定サイズの配置枠に配置するためのトリミング処理により、複数の注目領域のうち、一部が切れる例を示した。一方、図３３に示した例では、画像において元々注目領域の切れが生じている。よって、トリミング処理により注目領域に切れが生じた場合と、画像において元々切れが生じていた場合とにおいて、異なる評価基準により切れ評価を行ってもよい。

例えば、画像において元々切れが生じているときには、画像の撮影者がその切れた領域を注目領域として認識していなかった場合がある。例えば、主要な人物が画像の中央に配置されるように撮影したときに、主要でない人物の顔が画像から切れてしまった場合が考えられる。この場合、注目領域（顔）の一部が切れていたとしても、ユーザにとって望ましい画像であることも考えられる。そのため、画像において元々注目領域の切れがあった場合には、その注目領域については切れと判定しないようにしてもよい。または、その注目領域については、切れ評価値が所定値（例えば５０）よりも高くなるに、評価基準を設定してもよい。

図２８のＳ３３０７では、レイアウトに対する上記切れ評価値以外の各カテゴリの評価値をそれぞれ求め、重み付け加算により統合して該レイアウトの評価値とする。その他の評価値の出力方法は後述する。

図２８のＳ３３０８では、レンダリングおよび出力を行う。

上記処理によって得られたレイアウト結果をレンダリングし、結果を表示装置１０４に表示する。表示後、ユーザはマウスなどを用いてトリミング位置を修正しても良い。

以上のように、注目領域が部分的に消失する状態よりも完全に消失する状態の評価値が高く、優先的に採用する事により、注目領域に切れが発生した画像が出力されることを防ぐことができる。また、注目領域毎に切れ評価を行うため、複数の注目領域が存在する画像についても対応した評価が可能である。

尚、上記では検出した顔を注目領域として切れ評価を行ったが、Ｓ３３０４において人物登録されているような人物（家族や友人、知人）の顔に切れが発生した場合は、顔の切れが特に課題となる。そのため、例えば人物登録されている人物の顔が切れる場合には切れ評価値を０まで下げるが、登録されていない人物の顔が切れる場合には切れ評価値を５０までしか下げないなど、注目領域毎に重みを持たせた切れ評価を行っても良い。

切れ評価時にスロットの内側に表示される注目領域の数を考慮しても良い。例えば、全ての注目領域がスロットの外側となり、注目領域が１つも表示されないようなトリミングを行った場合、切れが発生していないため上記の例では切れ評価値は１００となる。そこで、注目領域が最低でも１つはスロット内に表示されているか否かの判定を設け、１つも表示されない場合の切れ評価は０とするなどの処理を入れる。これにより、スロット内に注目領域が１つも表示されないトリミングを防ぐ事が出来る。

また、スロット内に人物登録した注目領域が表示されていなければ切れ評価を０としても良い。これら処理は切れ評価時に限らず、後述する人物適合度の評価時など別の項目で行っても良いし、専用の評価項目として備えても良い。加えて、注目領域が複数であるか否かの判定を備え、注目領域が複数である場合にこれらの処理を行うようにしても良い。

以下では、本実施形態における各ステップの詳細についての説明を行う。

図３および図４は、画像センシング部２０３のフローを示しており、複数の画像データ群を取得して、それぞれについて解析処理を施し、その結果をデータベースに格納するまでの処理の流れを示している。この図３および図４の処理は、図２８のＳ３３０１〜Ｓ３３０３の処理に相当する。

まず図３を用いて、画像センシング部２０３が実行する処理のフローチャートについて説明する。

Ｓ３０１では、画像データ群の取得を行う。画像データ群の取得は、例えば、ユーザが、撮影画像が格納された撮像装置やメモリカードを情報処理装置１１５に接続することで、該撮像画像を読み込むことができる。また、内部撮像デバイス１０６で撮影され、２次記憶装置１０３に保存されていた画像も、当然のことながら対象となる。あるいは、画像は無線ＬＡＮ Ｉ／Ｆ１０９を介して、インターネット１１３上に接続された外部サーバー１１４等、情報処理装置１１５以外の装置から取得をしてもよい。

ここで、図８及び図９を用いて、画像データ群を取得した際の表示装置１０４の表示について説明する。画像データ群を取得すると、その画像データ群に対応するサムネイル群が図８および図９に示すように表示装置１０４上のＵＩは、取得した画像データに基づく画像を確認できる表示となる。表示装置１０４上のＵＩの表示方法は、画像を確認できるものであれば、特に限定されるものではない。例えば、図８に示すようにＵＩ８０１に２次記憶装置１０３内のフォルダ単位で画像のサムネイル８０２を表示してもよいし、図９に示すようにＵＩ９０１でカレンダー形式において日付ごと画像データが管理されていてもよい。図９のＵＩ９０１では、日付の部分９０２をクリックすれば、同日に撮影された画像が、図８のＵＩ８０１のようなサムネイル一覧で表示される。

次に図３のフローチャートにおいて、Ｓ３０２〜Ｓ３０５において、取得した画像データ群それぞれについて、解析処理および解析結果のデータベース登録を行う。

具体的には、Ｓ３０２において、各画像のデコードを行う。まず、画像センシング部２０３（アプリケーション）が、新規で保存され未だセンシング処理が行われていない画像をサーチし、抽出された各画像について、コーデック部が圧縮データからビットマップデータに変換する。

次に、Ｓ３０３において、変換されたビットマップデータに対して、各種センシング処理を実行してセンシング情報を取得し、データベースに登録する。表１は画像解析した結果得られる属性情報の例である。センシング処理には、表１に示されるような様々な処理を想定する。本実施形態では、センシング処理の例として、顔検出および顔領域の特徴量解析、画像の特徴量解析、シーン解析を行い、それぞれ表１に示すようなデータ型の結果を算出する。本実施形態では、画像基本特徴量としては、平均輝度（ｉｎｔ：値０〜２５５）、平均彩度（ｉｎｔ：０〜２５５）、平均色相（ｉｎｔ：値０〜３５９）を解析した。また、顔検出としては、人物顔の個数（ｉｎｔ：値０以上（０〜ＭＡＸＦＡＣＥ）、人物顔の位置情報である座標位置（ｉｎｔ＊８：値０以上（Ｗｉｄｔｈ及びＨｅｉｇｈｔそれぞれ同様）を解析した。さらに、顔領域内の平均Ｙ（ｉｎｔ：値０〜２５５）、顔領域内の平均Ｃｂ（ｉｎｔ：値−１２８〜１２７）、顔領域内の平均Ｃｒ（ｉｎｔ：値−１２８〜１２７）を解析した。

以下、それぞれのセンシング処理について説明する。

まず画像の基本的な特徴量である全体の平均輝度、平均彩度については、公知の方法で求めればよいため、簡単に説明する。平均輝度については、画像の各画素について、ＲＧＢ成分を公知の輝度色差成分（例えばＹＣｂＣｒ成分）に変換し、Ｙ成分の平均値を求めればよい。また、平均彩度については、上記ＣｂＣｒ成分について画素毎に以下を算出し、下記Ｓの平均値を求めればよい。

また、画像内の平均色相（ＡｖｅＨ）は、画像の色合いを評価するための特徴量である。各画素の色相は、公知のＨＩＳ変換式を用いて求めることができ、それらを画像全体で平均化することにより、ＡｖｅＨを求めることができる。

また、上記特徴量は、画像全体で算出してもよいし、例えば、画像を所定サイズの領域に分割し、領域毎に算出してもよい。

次に、人物の顔検出処理について説明する。本実施形態に係る人物の顔検出手法としては、種々の方法を使用することができる。特開２００２−１８３７３１号公報に記載の方法では、まず入力画像から目領域を検出し、目領域周辺を顔候補領域とする。

検出された顔候補領域に対して、画素毎の輝度勾配、および輝度勾配の重みを算出し、これらの値を、あらかじめ設定されている理想的な顔基準画像の勾配、および勾配の重みと比較する。その時に、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する方法が記載されている。

また、特開２００３−３０６６７号公報に記載の方法では、まず画像中から肌色領域を検出し、検出された肌色領域内において、人間の虹彩色画素を検出することにより、目の位置を検出することが可能であるとしている。

さらに、特開平８−６３５９７号公報に記載の方法では、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算する。マッチング度が最も高いテンプレートを選択し、最も高かったマッチング度があらかじめ定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とする。同テンプレートを用いることで、目の位置を検出することが可能であるとしている。

さらに、特開２０００−１０５８２９号公報に記載の方法では、まず、鼻画像パターンをテンプレートとし、画像全体、あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する。次に、画像の鼻の位置よりも上の領域を目が存在する領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が大きい画素の集合である目存在候補位置集合を求める。さらに、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離を算出する。その距離が最も短くなるクラスタを目が存在するクラスタと決定することで、器官位置の検出が可能であるとしている。

顔検出処理の方法として、その他、例えば、以下に示す顔および器官位置を検出する方法を用いてもよい。例えば特開平８−７７３３４号公報、特開２００１−２１６５１５号公報、特開平５−１９７７９３号公報、特開平１１−５３５２５号公報、特開２０００−１３２６８８号公報、特開２０００−２３５６４８号公報、特開平１１−２５０２６７号公報が挙げられる。さらには特許第２５４１６８８号公報が挙げられる。

上記処理の結果、各入力画像について、人物顔の個数と各顔毎の座標位置を取得することができる。

また、画像中の顔座標位置が分かれば、該顔領域毎に顔領域内に含まれる画素値の平均ＹＣｂＣｒ値を求めることにより、該顔領域の平均輝度および平均色差を得ることができる。

また、画像の特徴量を用いてシーン解析処理を行うことができる。シーン解析処理については、例えば、特開２０１０−２５１９９９号公報や特開２０１０−２７３１４４号公報等で開示されている技術を利用してもよい。なお、ここでは両者の詳細説明は割愛する。上記シーン解析の結果、風景（Ｌａｎｄｓｃａｐｅ）、夜景（Ｎｉｇｈｔｓｃａｐｅ）、人物（Ｐｏｒｔｒａｉｔ）、露出不足（Ｕｎｄｅｒｅｘｐｏｓｕｒｅ）、その他（Ｏｔｈｅｒｓ）、という撮影シーンを区別するためのＩＤを取得することができる。

なお、センシング情報は、上記のセンシング処理により取得されるものに限定されるものではなく、例えば、その他のセンシング情報を利用してもよい。

上記のようにして取得したセンシング情報が、データベース部２０２に保存される。データベース部２０２への保存形式は特に限定されないが、例えば図１０に示すような汎用的なフォーマット（例えばＸＭＬ：ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述し、格納する。

図１０においては、画像毎の属性情報を、３つのカテゴリに分けて記述する例を示している。１番目のＢａｓｅＩｎｆｏタグは、画像サイズや撮影時情報として、あらかじめ取得した画像ファイルに付加されている情報である。ここには、画像毎の識別子ＩＤや、画像ファイルが格納されている保存場所、画像サイズ、撮影日時などが含まれる。

次に２番目のＳｅｎｓＩｎｆｏタグは、上述した画像解析処理の結果を格納するためのタグである。画像全体の平均輝度、平均彩度、平均色相やシーン解析結果が格納され、さらに、画像中に存在する人物の顔位置や顔色に関する情報が記述可能である。

次に３番目のＵｓｅｒＩｎｆｏタグは、ユーザが画像毎に入力した情報を格納することができるが、詳細については後述する。

なお、画像属性情報のデータベース格納方法については、上記に限定されるものではない。その他公知のどのような形式であっても構わない。

次に、図３のＳ３０６において、個人認識処理を用いた人物グルーピングを行う。ここでは、Ｓ３０３で検出された顔位置情報を用いて、人物毎のグループを生成する処理を行う。あらかじめ人物の顔を自動でグループ化しておくことにより、その後ユーザが各人物に対して名前を付けていく作業を効率化することが可能となる。

ここでの人物グループ生成処理は、公知の個人認識技術を用いて、図５に示す処理フローに従って実行される。

なお、個人認識技術は、主に顔の中に存在する眼や口といった器官の特徴量抽出と、それらの関係性の類似度の比較、という二つの技術で構成されるが、その技術については、例えば特許第３４６９０３１号公報等で開示されている技術を用いることができる。なお、上記の個人認識技術は一例であって、本実施形態においては、そのいかなる手法を用いても構わない。

図５は、検出した顔位置情報に基づいて、同じ人物と思われる顔情報をグループ化するための処理の流れを示している。図５は人物グループ生成処理（図３のＳ３０６もしくは図４のＳ４０５）に対応するフローチャートである。

まず、Ｓ５０１で、２次記憶装置１０３に保存されている画像を順次読みだしてデコード処理を行う。デコード処理はＳ３０２と同様であるので説明を省略する。さらにＳ５０２でデータベースＳ５０３にアクセスし、該画像中に含まれる顔の個数と顔の位置情報を取得する。次に、Ｓ５０４において、個人認識処理を行うための正規化顔画像を生成する。

ここで正規化顔画像とは、画像内に様々な大きさ、向き、解像度で存在する顔を切り出して、すべて所定の大きさと向きになるよう、変換して切り出した顔画像のことである。個人認識を行うためには、眼や口といった器官の位置が重要となるため、正規化顔画像のサイズは、上記器官が確実に認識できる程度であることが望ましい。このように正規化顔画像を用意することにより、特徴量検出処理において、様々な解像度の顔に対応する必要がなくなるという利点がある。

次に、Ｓ５０５で、正規化顔画像から顔特徴量を算出する。ここでの顔特徴量とは眼や口、鼻といった器官の位置、大きさや、さらには顔の輪郭などを含むことを特徴とする。

さらに、Ｓ５０６で、あらかじめ人物の識別子（ＩＤ）毎に用意されている顔特徴量を格納したデータベース（以降、顔辞書５０７と呼ぶ）の顔特徴量と類似しているか否かの判定を行う。なお、この顔辞書の詳細については後述する。Ｓ５０６の判定がＹｅｓの場合、Ｓ５０９において同じ人物として、同じ人物の辞書ＩＤに、追加する。

Ｓ５０６の判定がＮｏの場合、現在評価対象となっている顔は、これまで顔辞書に登録された人物とは異なる人物であるとして、新規人物ＩＤを発行して顔辞書５０７に追加する。Ｓ５１０において、処理対象の画像データ中に、他の顔領域があるか否かを判定する。他の顔領域がある場合（Ｓ５１０でＹＥＳ）、Ｓ５０２に戻る。一方、他の顔領域がない場合（Ｓ５１０でＮＯ）、Ｓ５１１に進む。

Ｓ５１１において、全ての画像についてＳ５０２〜５０９の処理が終了したか否かを判定する。全ての画像について処理が終了した場合は、処理を終了し、全ての画像について処理が終了していない場合は、Ｓ５０２へ戻る。つまりＳ５０２〜Ｓ５０９までの処理を、入力画像群の中から検出した顔領域全てに適用して、登場した人物のグループ化を行う。

グループ化の結果は、図１４のＸＭＬフォーマットで示すように、顔領域毎にＩＤタグを用いて記述し、上述したデータベース３０４に保存しておく。

なお、上記実施形態においては、図３に示したように、全ての画像のセンシング処理及びデータベースの登録が終了した後に人物グループ生成処理を実行したが、本実施形態ではこれに限定するものではない。例えば、図４に示すように、Ｓ４０３におけるセンシング処理、データベースへの登録、Ｓ４０５におけるグループ化処理を各画像に対して繰り返し行ったとしても、同様の結果を生成することができる。

また、上記の処理によって得られた各人物グループは、表示装置１０４のＵＩに表示される。本実施形態に係る各人物グループの表示を図７に示す。図７のようなＵＩ７０１において、７０２は人物グループの代表顔画像を表しており、その横には、該人物グループの名前を表示する領域７０３が存在する。自動の人物グループ化処理を終了した直後は、図７に示すように人物名は「Ｎｏ ｎａｍｅ」と表示されている。また、７０４は該人物グループに含まれる複数の顔画像が表示されている。後述するが、図７のＵＩ７０１において、ユーザは、入力装置１０５を操作することにより「Ｎｏ ｎａｍｅ」の領域７０３を指定して人物名を入力したり、人物毎に誕生日や続柄等の情報を入力したりすることができる。

また、上記のセンシング処理は、オペレーティングシステムのバックグラウンドタスクを利用して実行しても良い。この場合、ユーザが情報処理装置１１５上で別の作業を行っていたとしても、画像群のセンシング処理を継続させることができる。

本実施形態においては、ユーザが手動で画像に関する様々な属性情報を入力することも想定してもよく、自動で画像に関する様々な属性情報を設定するようにしてもよい。

その属性情報の例の一覧を、表２に記載する。手動又は自動によって登録される属性情報を大きく分けると、画像毎に設定するものと、上記処理によりグループ処理された人物に対して設定される情報に分けられる。

まず、画像毎に設定される情報として、ユーザの「お気に入り度」が挙げられる。お気に入り度は、例えば、その画像を気に入っているかどうかを、ユーザが手動で入力することができる。例えば図１１示すように、ＵＩ１３０１上で、所望のサムネイル画像１３０２をマウスポインタ１３０３で選択し、右クリックをすることでお気に入り度を入力できるダイアログを表示する。ユーザはメニューの中で自分の好みに応じて、★の数を選択することができる。本実施形態では、お気に入り度が高いほど★の数が多くなるよう設定した。

また、上記お気に入り度は、ユーザが手動で設定せずに、自動で設定するようにしてもよい。例えば、ユーザが閲覧した回数をお気に入り度として自動設定してもよい。ユーザが図８に示す画像サムネイル一覧表示の状態から、所望の画像ファイルをクリックし、１画像表示画面に遷移したとする。その遷移した回数を計測して、計測された回数に応じてお気に入り度を設定する。すなわち、閲覧した回数が多いほど、ユーザが該画像を気に入っていると判断する。

また他の例として、プリント回数に応じてお気に入り度を自動設定してもよい。具体的には、例えばユーザによる画像に対するプリント指示があった回数をプリント回数として計測する。このプリント回数が多い画像ほど、ユーザによるお気に入り度が高いと判断する。

以上で説明したように、お気に入り度については、ユーザが手動で設定する方法や、閲覧回数やプリント回数に基づいてお気に入り度を自動設定する方法などが挙げられる。上述したような属性情報は、それぞれ個別に、図１０で示すようなＸＭＬフォーマットで、データベース部２０２のＵｓｅｒＩｎｆｏタグ内に格納される。例えば、お気に入り度はＦａｖｏｒｉｔｅＲａｔｅタグで、閲覧回数はＶｉｅｗｉｎｇＴｉｍｅｓタグで、プリント回数はＰｒｉｎｔｉｎｇＴｉｍｅｓタグでそれぞれ表わされる。

また、画像毎に設定する別の属性情報として、イベント情報が挙げられる。イベント情報としては、例えば、家族旅行“ｔｒａｖｅｌ”、卒業式“ｇｒａｄｕａｔｉｏｎ”、結婚式“ｗｅｄｄｉｎｇ”等がある。

イベントの指定は、例えば、図１２で示すように、カレンダー上で所望の日付をマウスポインタ１４０２などで指定して、その日のイベント名を入力することで設定できるようにしてもよい。指定されたイベント名は、画像の属性情報の一部として、図１０示すＸＭＬフォーマットに含まれることになる。図１０のフォーマットでは、ＵｓｅｒＩｎｆｏタグ内のＥｖｅｎｔタグを使って、イベント名と画像を関連付けている（紐付けている）。

次に、図１３を用いて人物の属性情報について説明する。

図１３は、人物の属性情報を入力するためのＵＩを示している。図１３において、１５０２は所定人物（この場合は“ｆａｔｈｅｒ”）の代表顔画像を示している。また、１５０４には、他の画像の中から検出し、Ｓ５０６で顔特徴量が類似していると判断された画像の一覧が表示されている。

センシング処理が終了した直後は、図７に示したように各人物グループには名前が入力されていないが、ユーザが「Ｎｏ ｎａｍｅ」の領域７０３をマウスポインタで指示する。そして、ユーザがキーボード等を操作して人物名を入力することにより、任意の人物名を入力することができる。

また、人物毎の属性として、それぞれの人物の誕生日やアプリを操作しているユーザから見た続柄を設定することもできる。本実施形態では、図１３の人物の代表顔１５０２をクリックすると、画面下部に図示するように、ユーザはクリックした人物の誕生日を第１入力部１５０５で、続柄情報を第２入力部１５０６で入力することができる。

以上、入力された人物の属性情報は、これまでの画像に紐付けられた画像の属性情報とは異なり、図１４のようなＸＭＬフォーマットによって、画像の属性情報とは別にデータベース部２０２内で管理される。

本実施形態においては、あらかじめ様々なレイアウトテンプレートが用意されていることを想定する。レイアウトテンプレートとは図１５、図１７および図３１に示すようなもので、レイアウトする用紙サイズ上に、複数の画像配置枠１７０２、１７０３、１７０４、１９０２、３６０２、３６０３（以降、スロットと同義）で構成されている。

このようなテンプレートは、あらかじめ本実施形態を実行するためのソフトウェアが情報処理装置１１５にインストールされた時点で、２次記憶装置に保存しておけばよい。また、その他の方法として、ＩＦ１０７や無線ＬＡＮ Ｉ／Ｆ１０９を介して接続されたインターネット１１３上に存在する外部サーバー１１４から、任意のテンプレート群を取得してもよい。

これらのテンプレートは汎用性の高い構造化言語、例えば上述したセンシング結果の格納と同様にＸＭＬで記載されているものとする。ＸＭＬデータの例を図１６および図１８に示す。これらの図では、まずＢＡＳＩＣタグにおいて、レイアウトページの基本的な情報を記述する。基本的な情報としては、例えば該レイアウトのテーマやページサイズ、およびページの解像度（ｄｐｉ）等が挙げられる。図１６や図１８において、テンプレートの初期状態では、レイアウトテーマであるＴｈｅｍｅタグはブランクとなっている。本実施形態では、基本情報として、ページサイズはＡ４、解像度は３００ｄｐｉを設定している。

また、以降は、上述した画像配置枠の情報をＩｍａｇｅＳｌｏｔタグで記述している。ＩｍａｇｅＳｌｏｔタグの中にはＩＤタグとＰＯＳＩＴＩＯＮタグの２つを保持し、画像配置枠のＩＤと位置を記述してある。該位置情報については、図１５や図１７で図示するように、例えば左上を原点とするＸ−Ｙ座標系において定義する。

また、ＩｍａｇｅＳｌｏｔタグは、その他にそれぞれのスロットに対して、スロットの形状および配置すべき推奨人物グループ名を設定することができる。例えば、図１５のテンプレートにおいては、図１６のＳｈａｐｅタグで示すように、すべてのスロットは矩形“ｒｅｃｔａｎｇｌｅ”形状で、人物グループ名はＰｅｒｓｏｎＧｒｏｕｐタグによって“ＭａｉｎＧｒｏｕｐ”を配置することを推奨している。

また、図１７のテンプレートにおいては、図１８に示すように、中央に配置しているＩＤ＝０のスロットは矩形形状であることが記載されている。また、人物グループは“ＳｕｂＧｒｏｕｐ”を配置し、その他のＩＤ＝１，２と続くスロットは楕円“ｅｌｌｉｐｓｅ”形状で、人物グループは“ＭａｉｎＧｒｏｕｐ”を配置することを推奨している。

本実施形態においては、このようなテンプレートを多数保持するものとする。

上記のように、本実施形態に係るアプリケーションは、入力された画像群に対して解析処理を実行し、人物を自動的にグループ化してＵＩで表示することができる。また、ユーザはその結果を見て、人物グループ毎に名前や誕生日などの属性情報を入力したり、画像毎にお気に入り度などを設定したりすることができる。

さらにはテーマごとに分類された多数のレイアウトテンプレートを保持することができる。

以上の条件を満たすと、本実施形態に係るアプリケーションは、ある所定のタイミングで、自動的にユーザに好まれそうなコラージュレイアウトを生成し、ユーザに提示する処理を行う（以下、レイアウトの提案処理とする）。

図６は、画像の解析情報およびユーザが入力した様々な情報に基づいて、レイアウト作成のためのシナリオを決定し、該シナリオに基づいて、自動でレイアウトを生成するための処理の流れを示している。まずＳ６０１において、提案処理のシナリオを決定する。シナリオには、提案するレイアウトのテーマおよびテンプレートの決定、およびレイアウト内で重視する人物（主人公）の設定、並びにレイアウト生成に用いる画像群の選定情報が含まれる。

以下では、２つのシナリオ決定について説明する。

例えば、図１３で自動グループ化されている人物“ｓｏｎ”の２週間前になった場合、自動的にコラージュレイアウトを生成し提示するように予め設定されているものとする。そして、“ｓｏｎ”の１歳の誕生日の２週間前になったときに、テーマの決定、テンプレートの選択、画像の選定が行われる。”ｓｏｎ“の１歳の誕生部では、提案するレイアウトのテーマは成長記録“ｇｒｏｗｔｈ”と決定する。次にテンプレートの選択を行うが、この場合には成長記録に適した図１７のようなものを選択し、図２５に示すように、ＸＭＬのＴｈｅｍｅタグの部分に“ｇｒｏｗｔｈ”と記載する。次にレイアウトを行う際に注目する主人公“ＭａｉｎＧｒｏｕｐ”として、“ｓｏｎ”を設定する。また、レイアウトを行う際に副次的に注目する“ＳｕｂＧｒｏｕｐ”として“ｓｏｎ”と“ｆａｔｈｅｒ”を設定する。次に、レイアウトに利用するための画像群を選定する。この例の場合には、データベース６０２を参照し、上記人物“ｓｏｎ”の誕生日からこれまでに撮影した画像群のうち、“ｓｏｎ”を含む画像群を大量に抽出してリスト化する。以上が、成長記録レイアウトのためのシナリオ決定である。

上記とは異なる例として、１ヶ月以内に撮影された旅行の写真がある場合、自動的にコラージュレイアウトを生成して提示するように予め設定されているものとする。図１２で登録したイベント情報から、例えば数日前に家族旅行に行きその画像が大量に２次記憶装置１０３に保存されていることがわかると、レイアウト生成部２０５は、家族旅行のレイアウトを提案するためのシナリオを決定する。この場合には、提案するレイアウトのテーマは旅行“ｔｒａｖｅｌ”と決定する。次にテンプレートの選択を行うが、この場合には図１５のようなテンプレートを選択し、図２６に示すように、ＸＭＬのＴｈｅｍｅタグの部分に“ｔｒａｖｅｌ”と記載する。次にレイアウトを行う際に注目する主人公“ＭａｉｎＧｒｏｕｐ”として、“ｓｏｎ”、“ｍｏｔｈｅｒ”、“ｆａｔｈｅｒ”を設定する。このように、ＸＭＬの特性を活かせば、“ＭａｉｎＧｒｏｕｐ”として複数の人物を設定することができる。次に、レイアウトに利用するための画像群を選定する。この例の場合には、データベース６０２を参照し、上記旅行イベントに紐付けられた画像群を大量に抽出してリスト化する。以上が、家族旅行レイアウトのためのシナリオ決定である。

次に、図６のＳ６０３において、上述したシナリオに基づくレイアウトの自動生成処理を実行する。ここで、図１９を用いて、シナリオに基づくレイアウトの自動生成処理について説明する。図１９はレイアウト生成部２０５の詳細な処理フローを示している。

図１９では、まずＳ２１０１で、上述したシナリオ生成処理で決定されたレイアウトテーマと人物グループ情報が設定された後のレイアウトテンプレート情報をＳ２１０２より取得する。

次に、Ｓ２１０３において、シナリオで決定した画像群リスト２１０６に基づいて、画像毎に該画像の特徴量をデータベース２１０４から取得し、画像群属性情報リストを生成する。ここでいう画像群属性情報リストとは、図１０に示したＩＭＡＧＥＩＮＦＯタグが画像リストの分だけ並んだ構成となっている。以降ではこの画像属性情報リストに基づいて、Ｓ２１０５〜Ｓ２１０９における自動レイアウト生成処理を行う。

このように、本実施形態の自動レイアウト生成処理では、このように画像データそのものを直接扱うのではなく、あらかじめ画像毎にセンシング処理を行ってデータベース保存しておいた属性情報を利用する。この理由は、レイアウト生成処理を行う際に、画像データそのものを対象としてしまうと、画像群を記憶するために非常に巨大なメモリ領域を必要としてしまうためである。即ち、本実施形態のようにデータベース部２０２に記憶しておいた属性情報を利用することにより、メモリ領域の使用量を低減することができる。

次に、Ｓ２１０５において、入力された画像群の属性情報を用いて、入力された画像群の中から不要画像のフィルタリングを行う。ここで、図２０を用いて、フィルタリング処理について説明する。図２０は、フィルタリング処理のフローチャートである。同図では、各画像毎に、まずＳ２２０１で全体の平均輝度がある閾値（ＴｈＹ＿ＬｏｗとＴｈＹ＿Ｈｉｇｈｔ）内に含まれているかの判定を行う。Ｓ２２０１にてＮＯの場合にはＳ２２０６に進み、注目画像はレイアウト対象から除去する。

同様に、Ｓ２２０２〜Ｓ２２０５では、注目画像に含まれる顔領域それぞれについて、平均輝度、平均色差成分が、良好な肌色領域を示す所定閾値に含まれているかの判定を行う。Ｓ２２０２〜Ｓ２２０５のすべての判定がＹｅｓとなる画像のみ、以降のレイアウト生成処理に適用される。

具体的には、Ｓ２２０２では、ＩＤ＝Ｎである顔領域のＡｖｅＹが所定閾値（ＴｈｆＹ＿ＬｏｗとＴｈｆＹ＿Ｈｉｇｈｔ）の範囲に含まれているか否かの判定を行う。Ｓ２２０３では、ＩＤ＝Ｎである顔領域のＡｖｅＣｈが所定閾値（ＴｈｆＹ＿ＬｏｗとＴｈｆＹ＿Ｈｉｇｈｔ）の範囲に含まれているか否かの判定を行う。Ｓ２２０４では、ＩＤ＝Ｎである顔領域のＡｖｅＣｒが所定閾値（ＴｈｆＹ＿ＬｏｗとＴｈｆＹ＿Ｈｉｇｈｔ）の範囲に含まれているか否かの判定を行う。Ｓ２２０５では、最後の顔であるか否かを判定する。最後の顔ではない場合は、Ｓ２２０２へ戻り、最後の顔である場合は、処理を終了する。

なお、このフィルタリング処理では、以降の一時レイアウト作成処理に明らかに不要と判断できる画像の除去を目的としているため、上記閾値は比較的湯緩やかに設定することが望ましい。例えばＳ２２０１の画像全体の輝度値の判定において、ＴｈＹ＿ＨｉｇｈとＴｈＹ＿Ｌｏｗの差が画像ダイナミックレンジに比して極端に小さいと、各判定にてＹｅｓと判定される画像が少なくなってしまう。従って、本実施形態のフィルタリング処理ではそうならないよう、両者の差をできる限り広く設定し、かつ明らかに異常画像と判断されるものは除去できるような閾値を設定する。

次に図１９のＳ２１０７において、上記処理でレイアウト対象となった画像群を用いて、大量（Ｌ個）の一時レイアウトを生成する。一時レイアウトは、取得したテンプレートの画像配置枠に対して、入力画像を任意に当てはめる処理を繰り返すことで実行する。

入力画像をテンプレートの画像配置枠に当てはめるにあたり、レイアウト中の画像配置枠がＮ個の時、画像群の中からどの画像を選択するかランダムに決定する。また選択した複数の画像を、テンプレート中のどの配置枠に配置するかランダムに決定する。さらに、画像が配置された際に、どの程度のトリミング処理を行うかというトリミング率をランダムに決定する。なお、トリミング率は例えば０〜１００％で表わされ、図２１のようにトリミングされる。図２１において、２３０１は画像全体を示し、２３０２はトリミング率５０％でトリミングした際の切り取り領域を示している。

本実施形態では、上記の画像選択・配置・トリミング基準に基づいて、可能な限り数多くの一時レイアウトを生成する。生成した各一時レイアウトは、図２７のＸＭＬのように表わすことができる。各スロットに対して、選択され配置された画像のＩＤがＩｍａｇｅＩＤタグで、トリミング領域がＴｒｉｍｉｎｇＣｒｏｐタグでそれぞれ記述されている。

なお、ここで生成する一時レイアウトの数Ｌについては、後述するレイアウト評価ステップでの評価処理の処理量と、それを処理する情報処理装置１１５の性能に応じて決定されるが、例えば数十万通り以上の一時レイアウトを用意することが望ましい。生成した一時レイアウトは、それぞれＩＤを付加して図２７のＸＭＬ形式で２次記憶装置１０３にファイル保存してもよいし、構造体など別のデータ構造を用いてＲＡＭ１０２上に記憶してもよい。

次に、図１９のＳ２１０８において、上記で作成したＬ個の一時レイアウトに対して、それぞれ所定のレイアウト評価量を用いて評価を行う。本実施形態におけるレイアウト評価量の一覧を、表３に示す。表３に示すように、本実施形態で用いるレイアウト評価量は、主に３つのカテゴリに分けることができる。

一つめの評価カテゴリは、画像個別の評価量である。これは画像の明るさや彩度、ブレぼけ量等の状態を判定し、スコア化するものである。スコア化の一例を以下に示す。まず明るさの適正度については、図２２に示す。図２２のグラフにおいて、縦軸をスコア値（ｓｃｏｒｅ）、横軸を平均輝度（Ａｖｅ Ｙ）とする。図２２において、平均輝度がある所定レンジ範囲内においてはスコア値１００とし、所定閾値範囲外となるとスコア値を１００から下げるよう設定している。また、彩度の適正度については、図２３に示す。図２３のグラフにおいて、縦軸をスコア値（ｓｃｏｒｅ）、横軸を平均彩度（Ａｖｅ Ｙ）とする。図２３において、画像全体の平均彩度がある所定の彩度値より大きい場合にはスコア値１００とし、所定値より小さい場合にはスコア値を除所に下げていくよう設定している。

二つ目の評価カテゴリは、画像とテンプレート中のスロットの適合度の評価（画像・スロット適合度評価）である。これは、画像とスロットの適合の程度をスコア化するものである。

本実施形態においては、上述した切れ評価値により、画像とスロットの適合度評価値を算出する。即ち、テンプレートにおける配置枠（スロット）に配置された画像において、画像における注目領域の一部が、レイアウトにおける配置枠の外にはみ出し、その注目領域の一部が配置枠に含まれるか判定し、その判定結果により、画像とスロットの適合度を評価する。具体的には、注目領域の一部がはみ出しているときの適合度を、注目領域の全部が配置枠からはみ出している場合、また注目領域の全部が配置枠に含まれる場合よりも高い評価とする。

また別の画像・スロット適合度評価値として、人物適合度がある。人物適合度とは、スロットに指定されている人物と、実際に該スロットに配置された画像内に存在する人物の適合率を表したものである。例を挙げると、あるスロットが、ＸＭＬで指定されているＰｅｒｓｏｎＧｒｏｕｐタグで、“ｆａｔｈｅｒ”、“ｓｏｎ”が指定されているものとする。この時、該スロットに割り当てられた画像に該２人の人物が表示されていたとすると、該スロットの人物適合度は評価値（スコア）１００とする。もし片方の人物しか表示されていなかったとすると、適合度は評価値５０とする。両者とも表示されていなかった場合は人物適合度の評価値は０となる。

図３０において、３５０４が”ｆａｔｈｅｒ”、３５０６が”ｓｏｎ”だった場合は以下のようになる。トリミング結果３５０８では“ｆａｔｈｅｒ”と“ｓｏｎ”の２人がいずれもスロットに表示されているため、人物適合度の評価値は１００であるが、３５０３および３５０７に切れが発生しているため切れ評価値は０となる。３５１１では”ｆａｔｈｅｒ”、”ｓｏｎ”共に表示されているため人物適合度の評価値は１００であり、どの注目領域にも切れが発生していないため切れ評価値も１００である。３５１４では”ｓｏｎ”は表示されているが”ｆａｔｈｅｒ”は表示されていないため人物適合度の評価値は５０であり、どの注目領域にも切れが発生していないため切れ評価値は１００となる。以上のように、トリミング結果３５０８、３５１１、３５１４の中で総合的に最も高い評価値となるのは、スロットに指定された人物が表示され、且つ切れが発生していない３５１１となる。

なお、顔が切れた人物が、スロットに対して指定された人物か否かにより、切れ評価の評価基準を異ならせてもよい。例えば、上記の例では、“ｆａｔｈｅｒ” “ｓｏｎ”の顔が切れてしまったときの切れ評価を、“ｆａｔｈｅｒ”“ｓｏｎ”以外の人物の顔が切れた時の切れ評価よりも低くしてもよい。

なお、ページ内の適合度は、スロット毎に算出した適合度の平均値とする。

三つめの評価カテゴリは、レイアウトページ内のバランスを評価するものである。表３ではバランスを評価するための評価値として、画像類似性、色合いばらつき、顔サイズばらつきを挙げている。

まず、画像類似性について説明する。画像の類似性は、大量に生成した一時レイアウト毎に、それぞれの画像の類似性を算出する。例えば旅行テーマのレイアウトを作成したい場合、あまりに似通った類似度の高い画像ばかりが並んでいたとすると、それは良いレイアウトとは言えないことがある。例えば、類似性は、撮影日時によって評価することができる。撮影日時が近い画像は、同じような場所で撮影された可能性が高いが、撮影日時が離れていれば、その分、場所もシーンも異なる可能性が高いからである。

撮影日時は、図１０で示したように、画像の属性情報として、予めデータベース部２０２に保存されている、画像毎の属性情報から取得することができる。撮影日時から類似度を求めるには以下のような計算を行う。

例えば、今注目している一時レイアウトに表４で示すような４つの画像がレイアウトされているものとする。なお、表４において、画像ＩＤで特定される画像には、それぞれ撮影日時情報が付加されている。具体的には、撮影日時として、年月日及び時間（西暦：ＹＹＹＹ、月：ＭＭ、日：ＤＤ、時：ＨＨ、分：ＭＭ、秒：ＳＳ）が付加されている。このとき、この４つの画像間で、撮影時間間隔が最も短くなる値を算出する。この場合は、画像ＩＤ１０２と画像ＩＤ１０８間の３０分が最も短い間隔である。この間隔をＭｉｎＩｎｔｅｒｖａｌとし、秒単位で格納する。すわなち、３０分＝１８００秒である。このＭｉｎＩｎｔｅｒｖａｌをＬ個の一時レイアウト毎に算出して配列ｓｔＭｉｎＩｎｔｅｒｖａｌ［ｌ］に格納する。次に、該ｓｔＭｉｎＩｎｔｅｒｖａｌ［ｌ］の中で最大値ＭａｘＭｉｎＩｎｔｅｒｖａｌ値を求める。すると、ｌ番目の一時レイアウトの類似度評価値Ｓｉｍｉｌａｒｉｔｙ［ｌ］は以下のようにして求めることができる。
Ｓｉｍｉｌａｒｉｔｙ［ｌ］ ＝ １００×ｓｔＭｉｎＩｎｔｅｒｖａｌ［ｌ］ ／ ＭａｘＭｉｎＩｎｔｅｒｖａｌ

すなわち、Ｓｉｍｉｌａｒｉｔｙ［ｌ］の値は、最小撮影時間間隔が大きいほど１００に近づき、小さいほど０に近づく値となり、画像類似度評価値として有効である。

次に、レイアウトページ内のバランスを評価するための評価量として、色合いのバラつきについて説明する。例えば旅行テーマのレイアウトを作成したい場合、あまりに似通った色（例えば、青空の青、山の緑）の画像ばかりが並んでいたとすると、それは良いレイアウトとは言えないことがある。したがって、ここでは注目しているｌ番目の一時レイアウト内に存在する画像の平均色相ＡｖｅＨの分散を算出して、それを色合いのバラつき度ｔｍｐＣｏｌｏｒＶａｒｉａｎｃｅ［ｌ］として格納する。次に、該ｔｍｐＣｏｌｏｒＶａｒｉａｎｃｅ［ｌ］の中での最大値ＭａｘＣｏｌｏｒＶａｒｉａｎｃｅを求める。すると、ｌ番目の一時レイアウトの色合いバラつき度の評価値ＣｏｌｏｒＶａｒｉａｎｃｅ［ｌ］は以下のようにして求めることができる。
ＣｏｌｏｒＶａｒｉａｎｃｅ［ｌ］ ＝ １００ × ｔｍｐＣｏｌｏｒＶａｒｉａｎｃｅ［ｌ］ ／ ＭａｘＣｏｌｏｒＶａｒｉａｎｃｅ

すなわち、ＣｏｌｏｒＶａｒｉａｎｃｅ［ｌ］の値は、ページ内に配置された画像の平均色相のバラつきが大きいほど１００に近づき、小さいほど０に近づく値となり、色合いのばらつき度評価値として有効である。

次に、レイアウトページ内のバランスを評価するための評価量として、顔の大きさのバラつき度について説明する。例えば旅行テーマのレイアウトを作成したい場合、レイアウト結果を見て、あまりに似通った顔のサイズの画像ばかりが並んでいたとすると、それは良いレイアウトとは言えないことがある。レイアウト後の紙面上における顔の大きさが、小さいものもあれば大きいものもあり、それらがバランスよく配置されていることが、良いレイアウトとする場合、顔サイズのばらつきが大きくなるように設定する。その場合、注目しているｌ番目の一時レイアウト内に配置された後の顔の大きさ（顔位置の左上から右下までの対角線の距離）の分散値を、ｔｍｐＦａｃｅＶａｒｉａｎｃｅ［ｌ］として格納する。次に、該ｔｍｐＦａｃｅＶａｒｉａｎｃｅ［ｌ］の中での最大値ＭａｘＦａｃｅＶａｒｉａｎｃｅ値を求める。すると、ｌ番目の一時レイアウトの顔サイズバラつき度の評価値ＦａｃｅＶａｒｉａｎｃｅ［ｌ］は、以下のようにして求めることができる。
ＦａｃｅＶａｒｉａｎｃｅ［ｌ］ ＝ １００ × ｔｍｐＦａｃｅＶａｒｉａｎｃｅ［ｌ］ ／ ＭａｘＦａｃｅＶａｒｉａｎｃｅ

すなわち、ＦａｃｅＶａｒｉａｎｃｅ［ｌ］の値は、紙面上に配置された顔サイズのバラつきが大きいほど１００に近づき、小さいほど０に近づく値となり、顔サイズのバラつき度評価値として有効である。

またその他カテゴリとして、ユーザの嗜好性評価が考えられる。

以上説明したような、一時レイアウト毎に算出した複数の評価値を、以下では統合化して、一時レイアウト毎のレイアウト評価値とする。今、ｌ番目の一時レイアウトの統合評価値を、ＥｖａｌＬａｙｏｕｔ［ｌ］とし、上記で算出したＮ個の評価値（表３の評価値それぞれを含む）の値をＥｖａｌＶａｌｕｅ［ｎ］とする。この時、統合評価値は以下で求めることができる。

上式において、Ｗ［ｎ］は、表３で示したシーン毎の各評価値の重みである。該重みはレイアウトのテーマ毎に異なる重みを設定していることが特徴となっている。例えば、表３に示すようにテーマを成長記録“ｇｒｏｗｔｈ”と旅行“ｔｒａｖｅｌ”で比較した場合、旅行テーマの方は、できるだけ良質の写真をいろいろな場面で数多くレイアウトする。そのため、画像の個別評価値やページ内のバランス評価値を重視するように設定する。一方、成長記録“ｇｒｏｗｔｈ”の場合、画像のバリエーションよりは、成長記録の対象となる主人公が確実にスロットに適合しているか否かが重要であるとし、ページ内バランスや画像個別評価よりも、画像・スロット適合度評価を重視するよう設定する。

ここで、表３に示すように注目領域切れの評価値の重みを高く設定する事により、人物などの注目領域の切れが少ないレイアウトが優先されることになる。別の例として、注目領域切れ評価の重みのみ１．０などの値を持ち、他の項目の重みをすべて０にすれば、注目領域切れのみに特化したレイアウト結果が得られる。

このようにして算出したＥｖａｌＬａｙｏｕｔ［ｌ］を用いて、Ｓ２１０９では、レイアウト結果表示のためのレイアウトリストＬａｙｏｕｔＬｉｓｔ［ｋ］を生成する。レイアウトリストは、予め定められた個数（例えば５個）に対して、ＥｖａｌＬａｙｏｕｔ［ｌ］のうち、評価値が高いもの順に識別子ｌを記憶しておく。例えば最も良いスコアを出したものが、ｌ＝５０番目に作成した一時レイアウトであった場合、ＬａｙｏｕｔＬｉｓｔ［０］＝５０となる。同様に、ＬａｙｏｕｔＬｉｓｔ［１］以降は、スコア値が２番目以降の識別子ｌを記憶しておく。

以上が、図１９のフローチャートの説明である。

次に、図１９を用いて説明した上記処理によって得られたレイアウト結果を、図６のＳ６０５において表示させる。本実施形態では、図２４のＵＩ２９０１上に表示させる。Ｓ６０５では、まずＬａｙｏｕｔＬｉｓｔ［０］に格納されているレイアウト識別子を読み出し、該識別子に相当する一時レイアウト結果を、２次記憶装置１０３あるいはＲＡＭ１０２上から読み出す。レイアウト結果には、上述したようにテンプレート情報と該テンプレート内に存在するスロット毎に、割り当てられた画像名が設定されている。Ｓ６０５ではこれらの情報に基づいて、情報処理装置１１５上で動作するＯＳの描画関数を用いて、該レイアウト結果をレンダリングし、図２４のレイアウト２９０２のように表示することになる。

図２４のＮｅｘｔボタン２９０４を押下することにより、次点スコアであるＬａｙｏｕｔＬｉｓｔ［１］の識別子を読み出し、上記と同様にレンダリング後、表示を行うことで、ユーザは様々なバリエーションの提案レイアウトを閲覧することができる。また、Ｐｒｅｖｉｏｕｓボタン２９０３を押下することにより、前に表示したレイアウトを再表示することもできる。さらに、表示されたレイアウトが気に入った場合には、プリントボタン２９０５を押下することで、情報処理装置１１５に接続されたプリンタ１１２からレイアウト２９０２をプリントアウトすることもできる。

以上のように、本実施形態によれば、テンプレートにおける配置枠（スロット）に配置された画像において、画像における注目領域が配置枠で切れているかにより、テンプレートに画像が配置されたレイアウトの、出力対象としての評価を行う。具体的には、注目領域の一部が、レイアウトにおける配置枠の外にはみ出し、その注目領域の一部が配置枠に含まれるか判定する。そして、注目領域の一部がはみ出しているときの適合度を、注目領域の全部が配置枠からはみ出している場合、また注目領域の全部が配置枠に含まれる場合よりも高い評価とする。これにより、例えば画像に含まれる人物の顔などの注目領域が切れて状態で、レイアウトが出力されることを防ぐことができる。

また、上述したように、注目領域の種別により、注目領域が切れたときの評価基準を異ならせてもよい。例えば、注目領域に対応する人物が、特定の人物の場合には、特定の人物でない注目領域が切れた時よりも評価を低くする。特定の人物とは、例えば、テンプレートのスロットにおいて指定された人物、また顔辞書に登録された人物である。これにより、画像に含まれている特定の人物の顔の一部が欠けた状態で、レイアウトが出力されることを防ぐことができる。

＜第２の実施形態＞
上述の第１の実施形態では大量の一時レイアウトを作成した後にレイアウト評価の一部として切れ評価を行ったが、本実施形態では、レイアウトを作成するときに、注目領域が切れないようにレイアウトを作成する。具体的には、テンプレートに配置される配置候補の画像に対して多数のトリミング領域の候補を設定し、上述した切れ評価を行う。このトリミング領域はスロットと同じアスペクト比であり、種々のサイズの候補を設定する。本実施形態では、小さい面積から設定し、画像左上の座標から該トリミング領域を設定して切れ評価を行う。設定されたトリミング領域の候補に対する切れ評価が予め定めた閾値より高ければ一時レイアウトの候補とする。トリミング領域を左上の座標から右へ１画素ずつ進め、最右座標まで評価したら次は左上から１画素下へずらし、また右方向へ進めて評価して行く。このように画像の全領域で評価を行ったら次はトリミング領域の面積を大きくして同様な評価を行う。

このようにして切れ評価を行い、閾値以上であった候補のトリミングの中からレイアウトを作成することにより、注目領域に切れが存在するトリミングが発生しにくくなる。

また、本実施形態によれば注目領域の切れ評価により、一時レイアウトを、注目領域の切れが生じていないレイアウトに絞り込むことができる。そのため、図２８のＳ３３０７における、レイアウトの評価処理の評価対象を絞り込むことができるので、レイアウトの評価処理を容易にすることができる。

＜その他の実施形態＞
また、本実施形態は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、プリンタ、複写機、ファクシミリ装置等）に適用しても良い。

また、本発明の目的は、以下によっても達成できる。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。次に、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行すればよい。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。さらに、プログラムを実行するコンピュータ（プロセッサ）は１つに限らず、複数のコンピュータが協働して、以上の実施形態の処理を実行してもよい。

さらに、まず、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、該プログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。また、上述した実施形態の一部をソフトウェア（プログラム）により実行し、残りの部分をハードウェアにより実行する場合であってもよい。

Claims (7)

1. 出力対象の候補である画像に基づき、予め定義された条件を満たす少なくとも一つのオブジェクト領域を当該画像から特定する特定手段と、
   前記画像において前記特定手段により特定されたオブジェクト領域に基づき、当該オブジェクト領域が、前記画像における出力対象の領域の内外で分割されるか判定する判定手段と、
   前記判定手段による判定結果に基づき、前記画像における出力対象の領域を決定する決定手段と
   を備えることを特徴とする画像処理装置。
2. 前記画像における出力対象の領域の複数の候補を設定する設定手段を有し、
   前記判定手段は、前記設定手段により設定された複数の候補に対して、前記オブジェクト領域が出力対象の領域の内外で分割されるか判定し、前記決定手段は、前記判定手段による判定結果に基づき、当該複数の候補から出力対象の領域を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段により、前記特定手段により特定されたオブジェクト領域が出力対象の領域で分割された第１の候補と、当該オブジェクト領域が出力対象の領域の外に配置された第２の候補が設定された場合に、前記決定手段は、当該第２の候補を出力対象の領域として決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記特定手段は、前記画像に含まれている顔領域を前記オブジェクト領域として特定することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記決定手段は、前記判定手段により前記画像における顔領域が当該画像における出力対象の領域の内外で分割されると判定されるときの、当該顔領域の内容に応じて、当該画像における出力対象の領域を決定することを特徴とする請求項４に記載の画像処理装置。
6. 出力対象の候補である画像に基づき、予め定義された条件を満たす少なくとも一つのオブジェクト領域を当該画像から特定する特定工程と、
   前記画像において前記特定工程により特定されたオブジェクト領域に基づき、当該オブジェクト領域が、前記画像における出力対象の領域の内外で分割されるか判定する判定工程と、
   前記判定工程による判定結果に基づき、前記画像における出力対象の領域を決定する決定工程と
   を有することを特徴とする画像処理方法。
7. 請求項６に記載の画像処理装置をコンピュータに実行させるためのプログラム。

Images