JP2013222304A - 画像処理装置およびその制御方法、プログラム - Google Patents

Abstract

【課題】画像の内容または属性について偏りのない画像選択が行える画像処理装置およびその制御方法を提供する。
【解決手段】画像処理装置は、複数の画像の各々について、画像の内容および属性情報の少なくとも何れかに基づいて評価値を算出し、複数の画像の一部またはすべてを、ユーザ指示に応じて選択できる選択候補として、算出された評価値の順に表示する。そして、画像処理装置は、表示されている選択候補から選択された画像の内容および属性情報の少なくとも何れかに基づいて、複数の画像のうちの選択された画像以外の画像の評価値を更新する。
【選択図】 図１２

Description

本発明は、ユーザが画像を選択するアルバム作製システムにおいて、適切な画像の選択を容易にする、画像処理装置および方法及びプログラムに関する。

合焦、顔の大きさなどに基づいて、画像を自動的に選択する印刷装置が提案されている。しかしながら、そのような一般的な技術では、良い画像を選択することができても、同じような構図、同じ被写体の組み合わせ、同一時間帯の画像ばかりになってしまう可能性がある。

また、特許文献１には、画像に写っている人物に応じて画像をグループ分けし、画像の鑑賞者に応じて、表示すべき画像グループを判断し、画像を表示する電子アルバム表示システムが記載されている。

また、特許文献２に記載のアルバム作成装置、アルバム作成方法、及びプログラムでは、候補画像をイベント毎に分類し、各イベントの主画像を選択し、各イベントの従画像を同じイベント分類内から主画像の内容に基づいて選択する。特に、特許文献２では、従画像選択部が主画像との類似度を算出し、類似度が小さい画像を選択すること、類似度とは、被写体が同じであるか否かであることが記載されている。

また、特許文献３に記載の画像選択装置および画像選択方法では、ユーザが印刷の目的に応じて自動印刷モードを選択する。そして、モードに応じて設定された評価基準および荷重を適用して各画像を評価し、閾値以上の総合評価値を有する画像を印刷対象の画像として選択する。ここでの評価項目には、少なくとも、ピントずれの程度、ブレの程度、露出の適正度、被写体の顔の大きさ、被写体の顔の位置、撮影位置までの距離、のいずれか１つが含まれる。

特開２００６−２３６２１８号公報 特開２００６−２９５８９０号公報 特開２００７−０４１８３６号公報

特許文献１に記載されている方法で、画像を選択し、印刷物のアルバムを作成した場合には、同じ被写体の組み合わせ、構図の写真が続いてしまう可能性がある。また、特許文献２に記載されている方法では、従画像同士の類似度は判断せず、人物の組み合わせによる類似度の判断は行なわない。また、画像の加工による類似度の低減についても言及していない。さらに、特許文献３に記載されている方法では、選択した画像に基づいて評価値を決定しないため、似たような画像ばかりが選択されてしまう可能性がある。また、被写体の組み合わせが評価項目に入っていないため、同一の組み合わせの画像ばかりになってしまう可能性がある。さらに、画像を加工する構成がないため、閾値に達した画像が不足の場合には、レイアウトに空欄ができてしまう。

したがって、以上のような特許文献１〜３に記載の従来技術では、良い画像を選択することはできても、選択された画像の集合は、同じような構図、同じ被写体の組み合わせ、同一時間帯の画像ばかりになってしまう可能性がある。

本発明は、上記課題に鑑みてなされたものであり、画像の内容または属性について偏りのない画像選択が行える画像処理装置およびその制御方法を提供することを目的とする。

上記の目的を達成するための本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
複数の画像の各々を、画像の内容および属性情報の少なくとも何れかに基づいて評価する評価手段と、
前記評価に基づいて、前記複数の画像の一部またはすべてを、ユーザ指示に応じて選択できる選択候補として、提示する提示手段と、
前記選択候補から選択された画像の内容および属性情報の少なくとも何れかに基づいて、前記複数の画像うちの前記選択された画像以外の画像の評価を更新する更新手段と、を備える。

本発明によれば、画像の内容または属性について偏りのない画像選択が行える画像処理装置およびその制御方法が提供される。

実施形態によるアルバム作成システムの物理的構成を示すブロック図。 実施形態によるアルバム作成システムの論理的構成を示すブロック図。 アルバム作成処理の全体の流れを示すフローチャート。 登録情報の編集処理の流れを示すフローチャート。 登録情報（被写体リスト、被写体関係情報）を説明する図。 ポイント算出規則設定処理を示すフローチャート。 画像ポイント算出処理を示すフローチャート。 画像に付与されている属性情報を示す図。 （ａ）画像内被写体関係情報と、（ｂ）被写体ポイントを説明する図。 画像ポイントを算出する過程を説明する図。 画像選択処理を示すフローチャート。 ユーザの画像選択操作を説明する図。 他の実施形態による画像選択処理を示すフローチャート。 ユーザの画像選択操作を説明する図。 他の実施形態による画像選択処理を示すフローチャート。 画像ポイントを算出する過程を説明する図。 他の実施形態によるアルバム作成処理を示すフローチャート。 トリミング処理を示すフローチャート。 トリミング処理を説明する図。 ポイント算出規則の一例を示す図。 アルバム作成システムの操作画面の一例を示す図。

［第１実施形態］
＜アルバム作成システムの構成＞
図１は、本実施形態に於けるアルバム作成システムとして動作する画像処理装置の一例を示す物理的構成図である。１００は、アルバム作成システムとして機能する画像処理装置である。画像処理装置１００には、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、表示部１０４、操作部１０５、印刷部１０６が具備されている。本アルバム作成システムは、ＲＯＭ１０２に記憶されたプログラムをＣＰＵ１０１が読み出して実行することによって動作し、たとえば図２に示す各機能部を実現する。なお、印刷部１０６は、画像処理装置１００の外部に接続される形態であってもよく、いわゆるコンピュータ（情報処理装置）と印刷装置から構成されてもよい。

図２は、第１実施形態によるアルバム作成システムの一例を示す論理的構成図である。画像読み込み部２０１によって、メモリーカードなどから読み込まれた画像は、入力画像集合記憶部２０２に記憶される。入力画像集合記憶部２０２には入力画像集合Ｉｍｇｓ−ｉｎが記憶されている。入力画像集合記憶部２０２には、読み込まれた複数の画像の一部または全てを要素とした集合が記憶されることになる。選択画像集合記憶部２０３には、入力画像集合記憶部２０２の集合から選択された画像を要素とする選択画像集合Ｉｍｇｓ−ｏｕｔが記憶されている。登録情報記憶部２０４には、被写体情報や構図情報などの登録情報が記憶されている。登録情報編集部２０５は、登録情報記憶部２０４に記憶されている登録情報を編集する。

ポイント算出規則記憶部２０６には、たとえば図２０に示されるような、画像にポイントを付与する規則であるポイント算出規則が記憶されている。ポイント算出規則は、ポイント算出規則編集部２０７によって編集される。画像選択部２０８は入力画像集合記憶部２０２の画像集合から画像を選択し、選択された画像を、選択画像Ｉｍｇ−ｓｅｌとする。ポイント算出部２０９は、画像に対するポイントを算出する。レイアウト処理部２１０は、画像選択部２０８によって選択された画像をアルバム用にレイアウトする。印刷処理部２１１は、印刷部１０６にレイアウトされた画像を印刷させる。トリミング部２１２は、入力画像集合記憶部２０２および選択画像集合記憶部２０３に記憶されている画像をトリミングする。

図２１に、アルバム作成システムの操作画面の一例を示す。ページレイアウト領域Ｌａｙｏｕｔ−ｅｄｉｔＤ内にはページ領域Ｐａｇｅ１、Ｐａｇｅ２、・・・が設定されている。各ページ領域Ｐａｇe１、Ｐａｇｅ２、・・・内には画像設置領域Ｐｌａｃｅ１、Ｐｌａｃｅ２、・・・が設定されている。また、ボタンＢｕｔｔｏｎＬによって左方向にアルバムのページを捲ることができ、ボタンＢｕｔｔｏｎＲによって右方向にアルバムのページを捲ることができる。ページレイアウト領域Ｌａｙｏｕｔ−ｅｄｉｔＤの下部には、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤと選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤが設定されている。入力画像集合表示領域Ｉｍｇｓ−ｉｎＤには、入力画像集合Ｉｍｇｓ−ｉｎの縮小画像（サムネイル）が、ユーザ指示に応じて選択できる選択候補として表示される。また、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤには、上記選択候補からユーザ指示により選択された選択済みの画像の集合である選択画像集合Ｉｍｇｓ−ｏｕｔが、各画像の縮小画像（サムネイル）により表示される。ユーザは、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示されている選択候補の画像を、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに移動することでアルバムに使用する画像を選択する。また、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤから選択した画像を、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに移動することで選択した画像を非選択状態に戻す（非選択画像に戻す）ことができる。選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示されている選択画像集合Ｉｍｇｓ−ｏｕｔは選択順に、画像設置領域Ｐｌａｃｅ１、Ｐｌａｃｅ２、・・・に表示される。

＜アルバム作成処理＞
図３は、アルバム作成処理の全体の流れを示すフローチャートである。ステップＳ３０１において、画像読み込み部２０１は、メモリーカードなどから画像の読み込みを行う。ここで読み込んだ画像は、入力画像集合Ｉｍｇｓ−ｉｎとして入力画像集合記憶部２０２に記憶される。ステップＳ３０２において、登録情報記憶部２０４、登録情報編集部２０５は、登録情報の設定を行なう。ステップＳ３０２における登録情報の設定処理の詳細は後述する。ステップＳ３０３において、ポイント算出規則記憶部２０６、ポイント算出規則編集部２０７は、ポイント算出規則の設定を行う。ステップＳ３０３におけるポイント算出規則の設定処理の詳細は後述する。ステップＳ３０４において、画像選択部２０８は、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤの設定を行う。入力画像集合記憶部２０２に記憶されている入力画像集合Ｉｍｇｓ−ｉｎの画像は、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示される。ステップＳ３０５において、画像選択部２０８は、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤの設定を行う。選択画像集合記憶部２０３に記憶されている選択画像集合Ｉｍｇｓ−ｏｕｔの画像は、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示される。ステップＳ３０６において、ポイント算出部２０９は、画像内容または属性に基づいて画像を評価し、その評価値を画像ポイントとして算出する。本実施形態では、ポイント算出部２０９は、ポイント算出規則記憶部２０６に記憶されているポイント算出規則に基づいて画像のポイントを算出し、算出したポイントを画像に付加する。ステップＳ３０６における画像ポイント算出処理の詳細については後述する。ステップＳ３０７において、画像選択部２０８は、画像を選択する。画像選択処理の詳細は後述する。ステップ３０８において、レイアウト処理部２１０は、選択された画像をアルバム用にレイアウトする。ステップＳ３０９において、印刷処理部２１１は、レイアウトされた画像を印刷する。トリミング部２１２については、第４実施形態により後述する。

＜画像に付いている情報＞
ステップＳ３０１において読み込まれた画像には、被写体情報と構図情報が付いている。例えば、図８（ａ１）の画像ＩｍｇＡＢには、被写体の識別情報としての被写体名を含む構図情報として、図８（ｂ１）のようなフレーム情報Ｆ１〜Ｆ４が付いている。ここで、フレームＦ１は、被写体Ａの全体領域、フレームＦ２は被写体Ａの顔領域を表す。また、フレームＦ３は、被写体Ｂの全体領域、フレームＦ４は被写体Ｂの顔領域を表す。各フレームには、被写体名、および、画像中の位置と大きさが指定されている。例えばフレームＦ１は、被写体Ａに対するものあり、左上の位置が（Ｘ１，Ｙ１）であり、幅がＷ１、高さがＨ１であると指定されている。さらに顔フレームＦ２には、図８（ｃ１）に示すように、顔の向きを示す情報Ｙ２（両耳を結ぶ線）と、Ｎ２（鼻筋を示す線）が付いていてもよい。同様に、図８（ａ２）の画像ＩｍｇＡＢＣには、図８（ｂ２）のようなフレーム情報Ｆ５〜Ｆ１０が付いている。画像に付いている被写体名は構図情報に含まれていてもよいし、被写体名と構図情報と分離していてもよい。また、画像に付いている被写体名と構図情報などは、画像を読み込んだ後に認識技術などによって付けてもよい。

＜登録情報の設定処理＞
図４の流れ図を用いて、登録情報の設定処理（図３のステップＳ３０２）の詳細な説明を行う。ステップＳ４０１において、登録情報編集部２０５は、登録情報記憶部２０４から登録情報の読み込みを行う。登録情報には、図５（ａ）に示すような被写体リストＯｂｊ−Ｌｉｓｔと、図５（ｂ）に示すような被写体関係情報Ｏｂｊ−Ｃｏｎｎｅｃｔとがある。図５（ａ）に示すように、被写体リストＯｂｊ−Ｌｉｓｔは、例えば人名Ａ〜Ｈからなるリストである。被写体リストの人名は、何らかの方法で予め与えられていても良いし、手動で設定されても良いし、入力画像集合内の人物認識によって自動的に取得しても良い。また、図５（ｂ）に示すように、被写体関係情報Ｏｂｊ−Ｃｏｎｎｅｃｔは、被写体名、被写体の所属するグループ、グループ名、被写体間の関係等を記録した情報である。具体的には、Ｆａｍｉｌｙ（Ａ，Ｂ，Ｃ）、父子（Ａ，Ｃ）のようにデータとして記録されている。ステップＳ４０２において、登録情報編集部２０５は、登録情報を編集するかどうかをユーザに確認する。ステップＳ４０２において、ユーザが登録情報を編集すると指定すれば、処理はステップＳ４０３に移る。ステップＳ４０２において、ユーザが登録情報を編集しないと指定すれば、処理を終了する。

ステップＳ４０３において、登録情報編集部２０５は、ユーザ操作に応じて、例えば、図５（ａ）のような被写体リストＯｂｊ−Ｌｉｓｔの編集を行う。ステップＳ４０４において、登録情報編集部２０５は、被写体の属性の設定を行う。ここでは属性として、図５（ｂ）の被写体関係情報Ｏｂｊ−Ｃｏｎｎｅｃｔに示すような被写体名Ａ、Ｂ、Ｃ・・・、およびそれらの関係の設定を行う。ステップＳ４０５において、登録情報編集部２０５は、ユーザ操作に応じて、アルバムの主体となる被写体の設定を行う。例えば、図５（ｂ）に示すように被写体Ａを主体に設定することができる。ステップＳ４０６において、登録情報編集部２０５は、ユーザ操作に応じて、被写体と被写体との関係を編集する。例えば、図５（ｂ）に示すように、「被写体Ｃは被写体Ａの息子である」のような設定を行う。ステップＳ４０７において、登録情報編集部２０５は、ユーザ操作に応じて、被写体のグルーピングを行う。例えば被写体ＡとＢとＣを同一グループとしてまとめる。ステップＳ４０８において、登録情報編集部２０５は、ユーザ操作に応じて、被写体のグループに属性を設定する。例えば図５（ｂ）の被写体ＡとＢとＣの属するグループ名に「家族」を設定する。ステップＳ４０９において、登録情報編集部２０５は、各種属性の設定を終了するかどうかユーザに確認する。ステップＳ４０９において、各種属性の設定を続けるとユーザが指定すれば、処理はステップＳ４０３に戻る。ステップＳ４０９において、各種属性の設定を終了するとユーザが指定すれば、登録情報の設定処理を終了する。なお、編集結果の登録情報は、登録情報記憶部２０４に記憶される。

このような処理によって、図５（ａ）の被写体リストを編集して、図５（ｃ）に示されるような被写体リストを作成できる。また、図５（ｂ）のような被写体関係情報を、図５（ｄ）に示すように、被写体関係情報編集画面Ｏｂｊ−Ｃｏｎｎｅｃｔ−Ｅｄｉｔ上で編集することができる。

＜ポイント算出規則の設定処理＞
次に、図６のフローチャートを用いて、ポイント算出規則編集部２０７によるポイント算出規則の設定処理（図３のステップＳ３０３）の詳細な説明を行う。ポイント算出規則は、画像中の被写体や構図情報から、画像のポイントを算出する規則である。ポイント算出規則は、ユーザ等が作成したもの、システムが予め設定したものでもよいし、入力画像集合を画像解析して得られた情報に応じた規則を適用してもよい。ポイント算出規則は、例えば、「画像ポイント＝被写体ポイント＋構図ポイント」のような規則や、「画像ポイント＝Ｆ（被写体ポイント，構図ポイント，合焦ポイント）：Ｆ（Ｘ，Ｙ，Ｚ）はユーザが定義した関数」のような規則である。なお、合焦ポイントの詳細な使用例については第３実施形態において詳述する。

ステップＳ５０１において、ポイント算出規則編集部２０７は、メモリーカードなどからポイント算出規則記憶部２０６にポイント算出規則を読み込む。ステップＳ５０２において、ポイント算出規則編集部２０７は、ポイント算出規則記憶部２０６に記憶されているポイント算出規則を編集するかどうかを判定する。ステップＳ５０２において、ポイント算出規則を編集するとユーザが指定すれば、処理はステップＳ５０３に移る。他方、ステップＳ５０２において、ポイント算出規則を編集しないとユーザが指定すれば、ポイント算出規則の設定処理を終了する。

ステップＳ５０３において、ポイント算出規則編集部２０７は、ポイント算出規則記憶部２０６に記憶されているポイント算出規則をユーザ操作に応じて編集する。例えば、「画像ポイント＝Ｆ（被写体ポイント，構図ポイント，合焦ポイント）：Ｆ（Ｘ，Ｙ，Ｚ）」のようなポイント算出規則があったとき、関数Ｆ（Ｘ，Ｙ，Ｚ）の形をユーザが変更することができる。ステップＳ５０４において、ポイント算出規則編集部２０７は、ポイント算出規則の編集を終了するかどうか判定する。ステップＳ５０４において、ポイント算出規則の編集を終了するとユーザが指定したならば、ポイント算出規則の設定処理を終了する。他方、ステップＳ５０４において、ポイント算出規則の編集を続けるとユーザが指定したならば、処理はステップＳ５０３に戻る。

図２０は、ポイント算出規則の一例である。ここでは、最優先の規則０によって、規則を適用する順番（優先順位）が指定されている。上述したようにこれらのポイント算出規則はユーザが編集可能である。また、ポイント算出規則は、プログラムと分離してデータベースに記録されていてもよいし、プログラム内に記述されていてもよい。

＜画像ポイント算出処理＞
図７のフローチャートを用いて、複数の画像の各々について、画像の内容および属性情報の少なくとも何れかに基づいて評価値を算出する処理の一例である画像ポイント算出処理（図３のステップＳ３０６）の詳細を説明する。本実施形態では、被写体名と構図情報とは分離可能な属性として画像に付いているものとして、画像ポイント＝被写体ポイント＋構図ポイント、と算出する。ステップＳ６０１において、ポイント算出部２０９は、入力画像集合記憶部２０２から最初の画像を選択する。ステップＳ６０２において、ポイント算出部２０９は、画像内被写体情報を抽出する。読み込んだ画像には、図１０（ｂ１）のように出現する被写体名と、図１０（ｅ１）のような構図情報が付与されている。また、登録情報記憶部２０４には、図５（ｂ）のような被写体関係情報Ｏｂｊ−Ｃｏｎｎｅｃｔが記憶されている。ここでは、読み込んだ画像に対して、画像内に出現する被写体が抽出される。そして、ポイント算出部２０９は、図５（ｂ）の被写体関係情報Ｏｂｊ−Ｃｏｎｎｅｃｔを用いて、図９（ａ）のような画像内被写体情報を抽出する。例えば画像Ｉｍｇ１に対して、図１０（ｃ１）のような画像内被写体情報が設定される。

ステップＳ６０３において、ポイント算出部２０９は、例えば図２０に示すようなポイント算出規則を用いて、画像の被写体ポイントを算出する。ここでは、図９（ａ）のような画像内被写体情報に対して、図９（ｂ）のように被写体ポイントが算出される。ここでは、図９（ｂ１）〜（ｂ６）において、（２０）や（１０）のような括弧内の数字が算出された被写体ポイントを表す。すると、例えば図１０（ａ１）の画像Ｉｍｇ１に対する被写体ポイントは、図１０（ｄ１）のようになる。次に、ステップＳ６０４において、ポイント算出部２０９は、画像に付与されている被写体の構図情報（図１０（ｅ１））と、例えば図２０に示すようなポイント算出規則を用いて、画像の構図ポイントを算出する。すると、例えば図１０（ａ１）の画像Ｉｍｇ１に対する構図ポイントは、図１０（ｆ１）のようになる。その後、被写体ポイントと構図ポイントは加算されて、図１０（ａ１）の画像については図１０（ｈ１）に示す画像ポイントが得られることになる。

ステップＳ６０５において、ポイント算出部２０９は、最後の画像に対して画像ポイント算出処理が行なわれたかどうか判定する。ステップＳ６０５においてＹＥＳならば、画像ポイント算出処理を終了する。ステップＳ６０５においてＮＯならば、処理はステップＳ６０６に移る。ステップＳ６０６において、ポイント算出部２０９は、入力画像集合内の次の画像を選択し、処理はステップＳ６０２に戻る。

以上のようなステップ６０１〜ステップＳ６０６の画像ポイント算出処理によって、最終的に、図１０（ａ１）〜図１０（ａ１０）の画像Ｉｍｇ１〜Ｉｍｇ１０に対して付与される画像ポイントは、図１０（ｈ１）〜図１０（ｈ１０）のように算出される。以下の説明で、画像ＩｍｇＸのポイントがＮであるとき、ＩｍｇＸ（Ｎ）と記述する。例えば図１０に示した画像（Ｉｍｇ１〜Ｉｍｇ１０）の各々の画像のポイントは、Ｉｍｇ１（１２０）、Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（１２０）、Ｉｍｇ５（１００）、Ｉｍｇ６（１００）、Ｉｍｇ７（９０）、Ｉｍｇ８（１００）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０）となる。

＜画像選択処理＞
本実施形態では、選択画像と被写体情報および構図が一致する他画像のポイントを下げる。図１１のフローチャートを用いて、画像選択処理（図３のステップＳ３０７）の詳細を説明する。

ステップＳ７０１において、画像選択部２０８は、入力画像集合（入力画像集合記憶部２０２に記憶されている）を、上記の画像ポイント算出処理で算出された画像ポイント順に、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示する。ステップＳ７０２において、ユーザによる画像の選択操作を受け付ける。ユーザによる画像の選択操作とは、たとえば、ユーザが図２１の入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示されている画像を選択し、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに移動する操作である。或いは、ユーザが選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示されている画像を選択し、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに移動する操作である。このときユーザが選択した画像を選択画像Ｉｍｇ−ｓｅｌとする。入力画像集合表示領域Ｉｍｇｓ−ｉｎＤから選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに移動した選択画像Ｉｍｇ−ｓｅｌは、入力画像集合から除外され、選択画像集合に加入されることになる。同様に、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤから入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに移動した選択画像Ｉｍｇ−ｓｅｌは、選択画像集合から除外され、入力画像集合に加入されることになる。ステップＳ７０３において、画像選択部２０８は、選択画像が入力画像集合内の画像である（Ｉｍｇ−ｓｅｌ⊂Ｉｍｇｓ−ｉｎ）かどうかを判定する。ステップＳ７０３においてＹＥＳならば、処理はステップＳ７０４に移る。また、ステップＳ７０３においてＮＯならば、選択画像が選択画像集合内の画像である（Ｉｍｇ−ｓｅｌ⊂Ｉｍｇｓ−ｏｕｔ）とみなして、処理はステップＳ７０９に移る。

ステップＳ７０４〜Ｓ７０８では、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示された選択候補から選択された画像の内容および属性情報の少なくとも何れかに基づいて、選択された画像以外の画像の評価値が更新される。本実施形態では、評価値の更新に画像の内容（被写体、構図）を用いる例を示す。ステップＳ７０４において、画像選択部２０８は、入力画像集合Ｉｍｇｓ−ｉｎから選択画像Ｉｍｇ−ｓｅｌを取り除く。ステップＳ７０５において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌを選択画像集合Ｉｍｇｓ−ｏｕｔに追加する。選択画像集合Ｉｍｇｓ−ｏｕｔは選択画像集合記憶部２０３に記憶される。ステップＳ７０６において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌと入力画像集合Ｉｍｇｓ−ｉｎ中の他画像との被写体の一致度、および選択画像Ｉｍｇ−ｓｅｌと選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との被写体一致度をそれぞれ算出する。被写体一致度は、同一人物か否かに基づいて判断される。次に、ステップＳ７０７において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌと入力画像集合Ｉｍｇｓ−ｉｎ中の他画像との構図一致度、および選択画像Ｉｍｇ−ｓｅｌと選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との構図一致度をそれぞれ算出する。構図一致度の算出は、例えば図２０の規則１０や規則１１を用いて行う。ステップＳ７０８において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌと、被写体および構図が一致する（被写体一致度と構図一致度が所定値より大きい）入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像のポイントを下げる。そして、処理はステップＳ７１４に移る。

他方、選択画像集合Ｉｍｇｓ−ｏｕｔに属する選択済みの画像がユーザ指示に応じて非選択状態になった場合（選択候補、すなわち入力画像集合Ｉｍｇｓ−ｉｎに戻った場合）は、ステップＳ７０９以降の処理が実行される。ステップＳ７０９以降では、選択候補に戻った画像の内容および属性情報の少なくとも何れかに基づいて、その選択候補に戻った画像以外の画像の評価値を更新する処理が実行される。ステップＳ７０９において、画像選択部２０８は、選択画像集合Ｉｍｇｓ−ｏｕｔから選択画像Ｉｍｇ−ｓｅｌを取り除く。ステップＳ７１０において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌを入力画像集合Ｉｍｇｓ−ｉｎに追加する。ステップＳ７１１において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌと入力画像集合Ｉｍｇｓ−ｉｎ中の他画像との被写体一致度、および選択画像Ｉｍｇ−ｓｅｌと選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との被写体一致度をそれぞれ算出する。ステップＳ７１２において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌと入力画像集合Ｉｍｇｓ−ｉｎ中の他画像との構図一致度、および選択画像Ｉｍｇ−ｓｅｌと選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との構図一致度をそれぞれ算出する。ステップＳ７１３において、画像選択部２０８は、選択画像Ｉｍｇｓ−ｓｅｌと、被写体および構図が一致する入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像のポイントを増加する。こうして、選択画像Ｉｍｇ−ｓｅｌ以外の画像について、選択画像Ｉｍｇ−ｓｅｌの選択により生じた画像ポイントの減少分を元に戻す。そして、処理はステップＳ７１４に移る。

なお、選択状態にある画像（選択画像集合に属する画像）を非選択状態に戻した場合の画像ポイントの再計算の方法は、上記に限られるものではない。例えば、各画像について、選択された画像と画像ポイントの減少値とを対応付けて保持しておき、各画像の画像ポイントを非選択状態に戻された画像に対応して保持されている減少値だけ増加させるようにしてもよい。

ステップＳ７１４において、画像選択部２０８は、入力画像集合Ｉｍｇｓ−ｉｎをポイント順に入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示する。ステップＳ７１５において、画像選択部２０８は、選択画像集合Ｉｍｇｓ−ｏｕｔを選択順に選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示する。ステップＳ７１６において、画像選択部２０８は、画像選択処理を終了するかどうかユーザに確認する。ステップＳ７１６において、ユーザが画像選択処理を終了すると判定したならば、処理を終了する。他方、ステップＳ７１６において、ユーザが画像選択処理を継続すると判定したならば、処理はステップＳ７０２に戻る。

＜ユーザの画像選択操作の説明＞
図１２を用いて、上記画像選択処理（図１１）におけるユーザの画像選択操作を説明する。画像選択処理への入力は、ステップＳ３０６（図３）においてポイント付けされた入力画像集合Ｉｍｇｓ−ｉｎである。ここでは、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ１（１２０）、Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（１２０）、Ｉｍｇ５（１００）、Ｉｍｇ６（１００）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））である。また、このときの選択画像集合Ｉｍｇｓ−ｏｕｔ＝（空集合）である。

まず、入力画像集合Ｉｍｇｓ−ｉｎの画像が、図１２（ｂ１）に示すように、ポイント順に入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示される。ここで、ポイントが同じ画像は、一定の基準でソートされて表示される。また、選択画像集合Ｉｍｇｓ−ｏｕｔの画像が、図１２（ａ１）に示すように、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示される（ステップＳ７０１）。

ユーザが入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示されている画像Ｉｍｇ１を選択（第１の選択）して、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに移動する（ステップＳ７０２）。すると、選択画像が入力画像集合内の画像である（Ｉｍｇ−ｓｅｌ⊂Ｉｍｇ−ｉｎ）と判定される（ステップＳ７０３）。結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（１２０）、Ｉｍｇ５（１００）、Ｉｍｇ６（１００）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））となる（ステップＳ７０４）。また、選択画像集合は、Ｉｍｇｓ−ｏｕｔ＝（Ｉｍｇ１（１２０））となる（ステップＳ７０５）。

次に、画像選択部２０８は、選択画像Ｉｍｇ１と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との被写体一致度を算出する（ステップＳ７０６）。ここでの、選択画像Ｉｍｇ１に対する画像内被写体情報は、図１０（ｃ１）である。図１０（ｃ１）と同じ画像内被写体情報は、図１０（ｃ４）と図１０（ｃ８）である。したがって、ステップＳ７０６では、画像Ｉｍｇ４とＩｍｇ８が、選択画像Ｉｍｇ1と被写体情報が一致すると判定される。

次に、画像選択部２０８は、選択画像Ｉｍｇ１と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との構図一致度を算出する（ステップＳ７０７）。ここでの、選択画像Ｉｍｇ１に対する構図は、図１０（ｅ１）である。図１０（ｅ１）と同じ構図は、図１０（ｅ３）と図１０（ｅ４）である。したがって、ステップＳ７０７では、画像Ｉｍｇ３とＩｍｇ４が、選択画像Ｉｍｇ１と構図が一致すると判定される。

次に、画像選択部２０８は、選択画像Ｉｍｇ１と、被写体情報および構図が一致する画像のポイントを下げる。ここでは、選択画像Ｉｍｇ１と被写体情報および構図が一致する画像はＩｍｇ４（１２０）であるので、Ｉｍｇ４のポイントを一定値（例えば４０）下げて、Ｉｍｇ４（８０）とする（ステップＳ７０８）。この結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（８０）、Ｉｍｇ５（１００）、Ｉｍｇ６（１００）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））となる。

次に、画像選択部２０８は、入力画像集合Ｉｍｇｓ−ｉｎの画像を、図１２（ｂ２）に示すように、ポイント順に入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示する（ステップＳ７１４）。また、画像選択部２０８は、選択画像集合Ｉｍｇｓ−ｏｕｔの画像を、図１２（ａ２）に示すように、ユーザの選択順に選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示する（ステップＳ７１５）。ユーザがさらに画像選択（第２の選択）を続けると、処理はステップＳ７１６を経て、ステップＳ７０２に戻る。

続いて、ユーザが入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示されている画像Ｉｍｇ６を選択したとする。すると、画像選択部２０８は、画像Ｉｍｇ６を選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに移動する（ステップＳ７０２）。選択画像である画像Ｉｍｇ６は入力画像集合内の画像である（Ｉｍｇ−ｓｅｌ⊂Ｉｍｇ−ｉｎ）と判定される（ステップＳ７０３）。その結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（８０）、Ｉｍｇ５（１００）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））となる（ステップＳ７０４）。また、選択画像集合は、Ｉｍｇｓ−ｏｕｔ＝（Ｉｍｇ１（１２０）、Ｉｍｇ６（１００））となる（ステップＳ７０５）。

次に、画像選択部２０８は、選択画像Ｉｍｇ６と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との被写体一致度を算出する（ステップＳ７０６）。ここでの、選択画像Ｉｍｇ６に対する画像内被写体情報は、図１０（ｃ６）である。図１０（ｃ６）と同じ画像内被写体情報は、図１０（ｃ５）と図１０（ｃ１０）である。したがって、ステップＳ７０６では、画像Ｉｍｇ５とＩｍｇ１０が、選択画像Ｉｍｇ６と被写体情報が一致すると判定される。

次に、画像選択部２０８は、選択画像Ｉｍｇ６と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との構図一致度を算出する（ステップＳ７０７）。ここでの、選択画像Ｉｍｇ６に対する構図は、図１０（ｅ６）である。図１０（ｅ６）と同じ構図は、図１０（ｅ５）である。したがって、ステップＳ７０７では、画像Ｉｍｇ５が、選択画像Ｉｍｇ６と構図が一致すると判定される。

次に、画像選択部２０８は、被写体情報および構図が選択画像Ｉｍｇ６と一致する画像のポイントを下げる。ここでは、被写体情報および構図が選択画像Ｉｍｇ６と一致する画像はＩｍｇ５（１００）であるので、画像選択部２０８はＩｍｇ５のポイントを一定値（例えば４０）下げて、Ｉｍｇ５（６０）とする（ステップＳ７０８）。この結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（８０）、Ｉｍｇ５（６０）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））となる。

次に、画像選択部２０８は、入力画像集合Ｉｍｇｓ−ｉｎの画像を、図１２（ｂ３）に示すように、ポイント順に入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示する（ステップＳ７１４）。また、画像選択部２０８は、選択画像集合Ｉｍｇｓ−ｏｕｔの画像を、図１２（ａ３）に示すように、ユーザの選択順に選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示する（ステップＳ７１５）。ユーザがさらに画像選択を続けると、処理はステップＳ７１６を経て、ステップＳ７０２に戻る。

次に、ユーザが選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示されている画像Ｉｍｇ１を選択して、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに移動したとする（ステップＳ７０２）。すると、画像選択部２０８は、選択画像が選択画像集合内の画像である（Ｉｍｇ−ｓｅｌ⊂Ｉｍｇｓ−ｏｕｔ）と判定する（ステップＳ７０３）。その結果、選択画像集合は、Ｉｍｇｓ−ｏｕｔ＝（Ｉｍｇ６（１００））となる（ステップＳ７０９）。

画像選択部２０８が、選択画像（Ｉｍｇ１）を入力画像集合の最後に加えるとＩｍｇｓ−ｉｎは次のようになる（ステップＳ７１０）。すなわち、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（８０）、Ｉｍｇ５（６０）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０）、Ｉｍｇ１（１２０））となる。

次に、画像選択部２０８は、選択画像Ｉｍｇ１と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との被写体一致度を算出する（ステップＳ７１１）。ここでの、選択画像Ｉｍｇ１に対する画像内被写体情報は、図１０（ｃ１）である。図１０（ｃ１）と同じ画像内被写体情報は、図１０（ｃ４）と図１０（ｃ８）である。したがって、ステップＳ７１１では、画像Ｉｍｇ４とＩｍｇ８が、選択画像Ｉｍｇ１と被写体情報が一致すると判定される。

次に、画像選択部２０８は、選択画像Ｉｍｇ１と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との構図一致度を算出する（ステップＳ７１２）。ここでの、選択画像Ｉｍｇ１に対する構図は、図１０（ｅ１）である。図１０（ｅ１）と同じ構図は、図１０（ｅ３）と図１０（ｅ４）である。したがって、ステップＳ７１２では、画像Ｉｍｇ３とＩｍｇ４が、選択画像Ｉｍｇ１と構図が一致すると判定される。

次に、画像選択部２０８は、選択画像Ｉｍｇ１と、被写体情報および構図が一致する画像のポイントをもとに戻す（ステップＳ７１３）。ここでは、選択画像Ｉｍｇ１と被写体情報および構図が一致する画像はＩｍｇ４（８０）であるので、Ｉｍｇ４のポイントを一定値（例えば４０）上げて、Ｉｍｇ４（１２０）とする（ステップＳ７１３）。その結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（１２０）、Ｉｍｇ５（６０）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０）、Ｉｍｇ１（１２０））となる。

次に、入力画像集合Ｉｍｇｓ−ｉｎの画像が、図１２（ｂ４）に示すように、ポイント順に入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示される（ステップＳ７１４）。また、選択画像集合Ｉｍｇｓ−ｏｕｔの画像が、図１２（ａ４）に示すように、ユーザの選択順に選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示される（ステップＳ７１５）。

ここで、ユーザが画像選択処理を終了する旨を入力すると、ステップＳ７１６を経て、本処理が終了する。

上記実施形態では、画像に図８（ａ１）、図８（ｂ１）のような属性情報（被写体情報、構図情報）が設定されているものとして、画像ポイント算出処理（図７）と画像選択処理（図１１）を説明した。画像に設定される属性としては、図８（ｃ１）のような顔の向きがあってもよい。ここでは、顔フレームＦ２内に、両耳の位置を通る線分Ｙ２と、鼻筋を示す線分Ｎ２を座標等で指定する。このとき、ステップＳ６０４（図７）の構図ポイント算出では、適当な関数ＦＤ（）を用いて、顔向きポイント＝ＦＤ（Ｙ２、Ｎ２）を算出し、顔向きポイントを構図ポイントに加える。このような顔向きポイント算出規則は、図２０の規則群中に記述されているものとする。また顔フレームＦ２内の表情に対して、ポイントを算出する関数ＦＨ（）を定義し、表情ポイント＝ＦＨ（Ｆ２）のように算出する。そして、表情ポイントを画像ポイントに加える規則を作成して、図２０の規則群に加えてもよい。

また、上記実施形態において、ステップＳ７０８では選択された画像と類似するか否かにより画像ポイントを所定値だけ減少させているが、これに限られるものではない。例えば、選択された画像と他の画像との類似度を算出し、算出された類似の度合いに応じて減少させる画像ポイントの値が変化するようにしてもよい。同様に、ステップＳ７１３で画像ポイントを戻す場合にも、算出された類似の度合いに応じて増加させる画像ポイントの値が変化するようにしてもよい。

＜第１実施形態の効果＞
以上のように、第１実施形態によれば、１つ以上の画像に対しその画像内容、属性情報、および選択済みの画像の画像内容および属性情報に応じてポイントを算出するポイント算出部と、画像をポイント順に並べて表示する表示部とを具備する。さらに、ユーザが表示された画像の中から画像を選択する画像選択部を有し、ユーザが画像を選択する度に、ポイント算出部は選択された画像以外の画像のポイントを再計算し、更新する。ポイントの算出に用いられる画像内容は被写体、被写体の組み合わせ、構図、被写体に対する合焦の有無、被写体が人間である場合の顔の向き、表情のいずれかあるいは１つ以上の組み合わせである。以上のような構成によれば、ユーザが選択した写真と、同一の被写体や同一の構図の写真のポイントが下げられ、優先順位が下げられて再表示されるので、選ばれにくくなる。したがって、アルバム作成の画像選択において、ユーザは被写体と構図が一度選んだ写真と異なる写真を選びやすくなる。したがって、上記実施形態によれば、アルバム作成のための画像選択の際に、被写体の組み合わせや構図、時間帯に偏りのない画像選択が容易になる。

［第２実施形態］
＜画像選択処理の他の実施形態＞
第１実施形態では、選択画像と被写体情報および構図が一致する他画像のポイントを下げる構成を説明した。第２実施形態では、さらに、選択画像と撮影時刻が（一定の範囲内で）一致する他画像のポイントを下げる。図１３の流れ図を用いて、第２実施形態による画像選択処理（図３のステップＳ３０８）の詳細を説明する。なお、図１３のステップＳ８０１〜Ｓ８０７、Ｓ８１０〜Ｓ８１３の処理は、第１実施形態（図１１）のステップＳ７０１〜Ｓ７０７、Ｓ７０９〜Ｓ７１２と同様の処理である。

ステップＳ８０８において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌと入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との撮影時刻一致度を算出する。ステップＳ８０９において、画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌと、撮影時刻、または、被写体および構図が一致する他画像のポイントを下げる。そして、処理はステップＳ８１６に移る。

また、ステップＳ８１４において画像選択部２０８は、選択画像Ｉｍｇ−ｓｅｌと入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との撮影時刻一致度を算出する。ステップＳ８１５において画像選択部２０８は、選択画像Ｉｍｇｓ−ｓｅｌと、撮影時刻、または、被写体および構図が一致する他画像のポイントを、ステップＳ７１３と同様に、元に戻す。そして、処理はステップＳ８１６に移る。ステップＳ８１６〜Ｓ８１８の処理は、図１１のステップＳ７１４〜Ｓ７１６と同様である。

＜第２実施形態におけるユーザの画像選択操作の説明＞
図１４を用いて、第２実施形態による画像選択処理（図１３）におけるユーザの画像選択操作を説明する。画像選択処理への入力は、図３のステップＳ３０６において、ポイント付けされた入力画像集合Ｉｍｇｓ−ｉｎである。ここでは、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ１（１２０）、Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（１２０）、Ｉｍｇ５（１００）、Ｉｍｇ６（１００）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））である。また、このときの選択画像集合Ｉｍｇｓ−ｏｕｔ＝（空集合）である。

まず、入力画像集合Ｉｍｇｓ−ｉｎの画像が、図１４（ｂ１）に示すように、ポイント順に入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示される。また、選択画像集合Ｉｍｇｓ−ｏｕｔの画像が、図１４（ａ１）に示すように、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示される（ステップＳ８０１）。

ユーザが入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示されている画像Ｉｍｇ１を選択して、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに移動する（ステップＳ８０２）。すると、選択画像は、入力画像集合内の画像である（Ｉｍｇ−ｓｅｌ⊂Ｉｍｇｓ−ｉｎ）と判定される（ステップＳ８０３）。その結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（１２０）、Ｉｍｇ５（１００）、Ｉｍｇ６（１００）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））となる（ステップＳ８０４）。また、選択画像集合は、Ｉｍｇｓ−ｏｕｔ＝（Ｉｍｇ１（１２０））となる（ステップＳ８０５）。

次に、画像選択部２０８は、選択画像Ｉｍｇ１と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との被写体一致度を算出する（ステップＳ８０６）。ここでの、選択画像Ｉｍｇ１に対する画像内被写体情報は、図１０（ｃ１）である。図１０（ｃ１）と同じ画像内被写体情報は、図１０（ｃ４）と図１０（ｃ８）である。したがって、ステップＳ８０６では、画像Ｉｍｇ４とＩｍｇ８が、選択画像Ｉｍｇ1と被写体情報が一致すると判定される。

次に、画像選択部２０８は、選択画像Ｉｍｇ１と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との構図一致度を算出する（ステップＳ８０７）。ここでの、選択画像Ｉｍｇ１に対する構図は、図１０（ｅ１）である。図１０（ｅ１）と同じ構図は、図１０（ｅ３）と図１０（ｅ４）である。したがって、ステップＳ８０７では、画像Ｉｍｇ３とＩｍｇ４が、選択画像Ｉｍｇ１と構図が一致すると判定される。次に、画像選択部２０８は、選択画像Ｉｍｇ１と他の画像との撮影時刻一致度を算出する（ステップＳ８０８）。ここでは、画像間の撮影時刻の差が５分以内（この時間差は設定可能）ならば、２つの画像の撮影時刻が一致しているものとする。選択画像Ｉｍｇ１に対する撮影時刻情報は、図１０（ｇ１）である。図１０（ｇ１）と同じとみなされる撮影時刻情報は、存在しない。

次に、画像選択部２０８は、選択画像Ｉｍｇ１と、撮影時刻、または、被写体情報および構図が一致する画像のポイントを下げる（ステップＳ８０９）。選択画像Ｉｍｇ１と撮影時刻、または、被写体情報および構図が一致する画像はＩｍｇ４（１２０）であるので、Ｉｍｇ４のポイントを一定値（例えば４０）下げて、Ｉｍｇ４（８０）とする。その結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（８０）、Ｉｍｇ５（１００）、Ｉｍｇ６（１００）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））となる。また、入力画像集合Ｉｍｇｓ−ｉｎの画像が、図１４（ｂ２）に示すように、ポイント順に入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示される（ステップＳ８１６）。さらに、選択画像集合Ｉｍｇｓ−ｏｕｔの画像が、図１４（ａ２）に示すように、ユーザの選択順に選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示される（ステップＳ８１７）。

ユーザはさらに画像選択を続ける。すると、処理はステップＳ８１８を経て、ステップＳ８０２に戻る。

続いて、ユーザが入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示されている画像Ｉｍｇ６を選択して、選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに移動したとする（ステップＳ８０２）。選択画像Ｉｍｇ６は入力画像集合内の画像である（Ｉｍｇ−ｓｅｌ⊂Ｉｍｇｓ−ｉｎ）と判定される（ステップＳ８０３）。その結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（１２０）、Ｉｍｇ４（８０）、Ｉｍｇ５（１００）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））となる（ステップＳ８０４）。また、選択画像集合は、Ｉｍｇｓ−ｏｕｔ＝（Ｉｍｇ１（１２０）、Ｉｍｇ６（１００））となる（ステップＳ８０５）。

次に、画像選択部２０８は、選択画像Ｉｍｇ６と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との被写体一致度を算出する（ステップＳ８０６）。本例において、選択画像Ｉｍｇ６に対する画像内被写体情報は、図１０（ｃ６）である。図１０（ｃ６）と同じ画像内被写体情報は、図１０（ｃ５）と図１０（ｃ１０）である。したがって、ステップＳ８０６では、画像Ｉｍｇ５とＩｍｇ１０が、選択画像Ｉｍｇ６と被写体情報が一致すると判定される。

次に、画像選択部２０８は、選択画像Ｉｍｇ６と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との構図一致度を算出する（ステップＳ８０７）。ここでの、選択画像Ｉｍｇ６に対する構図は、図１０（ｅ６）である。図１０（ｅ６）と同じ構図は、図１０（ｅ５）である。したがって、ステップＳ８０７では、画像Ｉｍｇ５が、選択画像Ｉｍｇ６と構図が一致すると判定される。

次に、画像選択部２０８は、選択画像Ｉｍｇ６と入力画像集合Ｉｍｇｓ−ｉｎ中および選択画像集合Ｉｍｇｓ−ｏｕｔ中の他画像との撮影時刻一致度を算出する（ステップＳ８０８）。ここでの、選択画像Ｉｍｇ６に対する撮影時刻は、図１０（ｇ６）である。図１０（ｇ６）と同じ撮影時刻は、図１０（ｇ３）である。したがって、ステップＳ８０８では、画像Ｉｍｇ３が、選択画像Ｉｍｇ６と撮影時刻が一致すると判定される。

続いて、画像選択部２０８は、選択画像Ｉｍｇ６と、撮影時刻、または、被写体情報および構図が一致する画像のポイントを下げる（ステップＳ８０９）。ここでは、選択画像Ｉｍｇ６と撮影時刻が一致する画像はＩｍｇ３である（１２０）。また、選択画像Ｉｍｇ６と被写体情報および構図が一致する画像はＩｍｇ５（１００）である。したがって、Ｉｍｇ３とＩｍｇ５のポイントを一定値（例えば４０）下げて、Ｉｍｇ３（８０）およびＩｍｇ５（６０）とする（ステップＳ８０９）。その結果、入力画像集合は、Ｉｍｇｓ−ｉｎ＝（Ｉｍｇ２（１２０）、Ｉｍｇ３（８０）、Ｉｍｇ４（８０）、Ｉｍｇ５（６０）、Ｉｍｇ８（１００）、Ｉｍｇ７（９０）、Ｉｍｇ９（９０）、Ｉｍｇ１０（９０））となる。

次に、画像選択部２０８は、入力画像集合Ｉｍｇｓ−ｉｎの画像を、図１４（ｂ３）に示すように、ポイント順に入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示する（ステップＳ８１６）。また、画像選択部２０８は、選択画像集合Ｉｍｇｓ−ｏｕｔの画像を、図１４（ａ３）に示すように、ユーザの選択順に選択画像集合表示領域Ｉｍｇｓ−ｏｕｔＤに表示する（ステップＳ８１７）。ここで、ユーザが画像選択処理を終了する旨を入力すると、ステップＳ８１８を経て、処理を終了する。

以上のように、第２実施形態では、ユーザが選んだ画像と、撮影時刻、または、被写体および構図が一致する画像のポイントを下げる。これ以外にも、ユーザが選んだ画像と、撮影場所、撮影時刻、被写体、構図のうちの１つ以上の組み合わせが一定の範囲内で一致する画像のポイントを下げるようにしてもよい。例えば、場所の一致度の判定は、次のように行う。画像Ａの撮影位置をＰＡ、被写体位置をＰＡ１、ＰＡ２・・・ＰＡｎ、画像Ｂの撮影位置をＰＢ、被写体位置をＰＢ１、ＰＢ２・・・ＰＡＢｍ、とする。そして、ある判定関数ＦＰ（）と閾値ＴＨＤを定義し、ＦＰ（ＰＡ，ＰＡ１，ＰＡ２・・・ＰＡｎ、ＰＢ、ＰＢ１、ＰＢ２・・・Ｐｂｍ）＜ＴＨＤ、のとき撮影場所が一致すると判定する。なお、撮影位置は、たとえばＧＰＳを利用して取得され得る。また、被写体位置は、画像内の各被写体までの焦点距離情報などを利用して撮影位置と被写体位置との位置関係を求めることで、取得され得る。

＜第２実施形態の効果＞
このように、ユーザが選択した写真と、撮影時刻、撮影場所、被写体、構図のいずれか、または、これらの１つ以上組み合わせが一致するとみなされる写真のポイントが下げられる。ポイントの下げられた写真は、優先順位が下げられて再表示されるので、再度選ばれにくくなる。したがって、アルバム作成の画像選択において、ユーザは、撮影時刻、撮影場所、被写体、構図などが一度選んだ写真と異なる写真を選びやすくなる。

［第３実施形態］
＜画像ポイント算出処理の他の実施形態＞
第１実施形態では、画像の被写体ポイントと構図ポイントをそれぞれ算出し、それらを合計することにより画像ポイント得た（図７のステップＳ６０３、Ｓ６０４）。第３実施形態では、ポイント算出処理の他の実施形態として、被写体情報と構図情報とを関連させて画像ポイントを算出する処理を説明する。以下、図１５のフローチャートを用いて、第３実施形態における画像ポイント算出処理（図３のステップＳ３０６）を説明する。

読み込んだ画像、例えば図１６（ａ１）のＩｍｇＡＸには、図１６（ａ２）、図１６（ａ４）、図１６（ａ６）、図１６（ａ８）のような属性情報が付いているものとする。図１６（ａ２）は被写体情報であり、図１６（ａ４）は構図情報であり、図１６（ａ６）および図１６（ａ８）は被写体構図情報である。そして、図１６（ａ２）のような被写体情報からは、被写体ポイントが算出される。また、図１６（ａ４）のような構図情報からは、構図ポイントが算出される。さらに、図１６（ａ６）や図１６（ａ８）のような被写体構図情報からは、被写体構図ポイントが算出される。また、例えば、規則５０〜規則５２（図２０）を用いて、合焦情報（フォーカスの有無、および、フォーカスの位置）に基づいて合焦ポイントを算出する。そして、例えば、規則１００（図２０）によって、画像ポイント＝被写体ポイント＋構図ポイント＋被写体構図ポイント＋合焦ポイント、と算出する。

本実施形態では、図１６（ａ１）のＩｍｇＡＸと、図１６（ｂ１）のＩｍｇＸＡの２枚の画像が読み込まれている場合についてのべる。

ステップＳ９０１において、ポイント算出部２０９は、最初の画像（＝ＩｍｇＡＸ）を選択する。ステップＳ９０２において、ポイント算出部２０９は、画像内被写体情報を抽出する。ステップＳ９０３において、ポイント算出部２０９は、画像の被写体ポイントを算出する（図１６（ａ３））。ここでは、図９（ａ）のような画像内被写体情報に対して、図２０のようなポイント算出規則を適用して、図９（ｂ）のような被写体ポイントを算出する。次に、ステップＳ９０４において、ポイント算出部２０９は、画像の構図ポイントを算出する（図１６（ａ５））。例えば、規則２１（図２０）のようなポイント算出規則を適用して、画像の構図ポイントを算出する。

続いて、ステップＳ９０５において、ポイント算出部２０９は、画像の被写体構図ポイントを算出する（図１６（ａ７）、図１６（ａ９））。例えば、規則２２（図２０）のようなポイント算出規則を適用して、画像の被写体構図ポイントを算出する。また、ステップＳ９０６において、ポイント算出部２０９は、画像の合焦ポイントを算出する。例えば、規則５０〜規則５２（図２０）のようなポイント算出規則を適用して、画像の合焦ポイントを算出する（図１６（ａ１０））。

ステップＳ９０７において、ポイント算出部２０９は、ステップＳ９０３〜Ｓ９０６で算出されたポイントを用いて画像にポイントを設定する。

例えば、図１６（ａ１）の画像ＩｍｇＡＸに対しては、図１６（ａ３）に示すように被写体ポイント＝（１０）、図１６（ａ５）に示すように構図ポイント＝（７０）が得られる。また、図１６（ａ７）および図１６（ａ９）に示すように、画像ＩｍｇＡＸに対して被写体構図ポイント＝（５０）＋（−１０）＝（４０）、図１６（ａ１０）に示すように合焦ポイント＝（１０）が得られる。以上から、図１６（ａ１１）に示すように、ＩｍｇＡＸの画像ポイント＝被写体ポイント（１０）＋構図ポイント（７０）＋被写体構図ポイント（４０）＋合焦ポイント（１０）＝（１３０）となる。

ステップＳ９０８において、ポイント算出部２０９は、最後の画像に対して画像ポイント算出処理が行なわれたかどうか判定する。ステップＳ９０８においてＹＥＳならば、画像ポイント算出処理を終了する。ステップＳ９０８においてＮＯならば、処理はステップＳ９０９に移る。ステップＳ９０９において、ポイント算出部２０９は、入力画像集合内の次の画像を選択し、処理はステップＳ９０２に戻る。例えば、ステップＳ９０９において次の画像ＩｍｇＸＡが選択され、ステップＳ９０２〜ステップＳ９０７の処理が行われる。すると、図１６（ｂ１１）に示すように、ＩｍｇＸＡの画像ポイント＝被写体ポイント（１０）＋構図ポイント（７０）＋被写体構図ポイント（−２０）＋合焦ポイント（−５）＝（５５）となる。

＜第３実施形態の効果＞
このように、写真内の被写体の位置に応じてポイントを付加でき、それらのポイント算出規則を設定できる。また焦点が主体に合っていたらポイントを高くしたり、焦点が無関係な人に合っていたらポイントを低くしたりする規則を記述して登録できる。したがって、アルバムの主体が指定した構図で出現する写真のポイントを高くしたり、無関係な人が大きく写っている写真のポイントを低くしたりできる。また、焦点が写真内の誰に合っているかに応じて、写真のポイントを制御できる。そして、被写体、構図、被写体情報を含む構図、合焦の有無、焦点の位置によって写真へのポイントの付き方を規則として記述でき、これらの規則群を用いて、写真のポイントを算出できる。

［第４実施形態］
＜アルバム作成処理の他の実施形態＞
第４実施形態では、画像ポイントが閾値以下の入力画像集合の画像に対して自動的に加工（ここではトリミング）を行い、トリミングした画像のポイントが閾値以上ならば、もとの画像と置き換えてアルバム作成処理を行う。図１７は、第４実施形態によるアルバム作成処理を説明するフローチャートである。なお、図１７のステップＳ１００１〜Ｓ１００６の処理は第１実施形態（図３）のステップＳ３０１〜Ｓ３０６と同様である。ただし、ステップＳ１００６の画像ポイント算出処理では、第１実施形態（図７のステップＳ６０１〜ステップＳ６０６）、第３実施形態（図１５のステップＳ９０１〜ステップＳ９０９）のいずれを用いてもよい。

ステップＳ１００７において、トリミング部２１２（図１）は、トリミング処理を行う。トリミング処理においては、入力画像集合内のポイントが閾値以下の画像をトリミングして、閾値以上になるものがあれば、元の画像をトリミング後の画像に置き換える。トリミング処理の詳細については後述する。ステップＳ１００８において、画像選択部２０８は、画像を選択する。ステップ１００９において、レイアウト処理部２１０は、選択された画像をアルバム用にレイアウトする。ステップＳ１０１０において、印刷処理部２１１は、レイアウトされた画像を印刷する。

＜トリミング処理の概要＞
第４実施形態のトリミング処理では、画像に対するポイントを算出した後、ポイントが閾値（ここでは、例えば９５）未満の画像に対して、ポイントを下げる原因になる被写体が含まれているかどうかを判定する。ここで、ポイントを下げる原因になる被写体とは、図５（ａ）の被写体リストＯｂｊ−Ｌｉｓｔ＝（Ａ、Ｂ、・・・、Ｈ）内に含まれていない被写体である。そして、ポイントを下げる原因になる被写体を除いた残りの被写体を求める。これらの残りの被写体を含む領域をトリミング画像とする。

例えば図１９（ｂ１）の画像Ｉｍｇ９（９０）には、被写体Ａ、Ｄ、Ｘが含まれている。このとき、例えば図２０のようなポイント算出規則を用いると、図１９（ｂ２）に示すように、被写体ポイントは＝（２０）＋（−３０）＝（−１０）である。また、図２０のポイント算出規則によって、図１９（ｂ３）に示すように、構図ポイントは＝（１００）である。ここでは被写体Ｘの影響でポイントが（−２０）となっている。そこで、被写体Ｘを除いた残りの被写体Ａ，Ｄに関する、被写体ポイントを求めると、図１９（ｃ２）のように（２０）となる。そこで、トリミング部２１２は、被写体Ａ、Ｄのみを含むように、元の画像Ｉｍｇ９から、図１９（ｃ１）のようなトリミング画像ＦｒＴｒ１を切り出す。そして新たなトリミング画像ＦｒＴｒ１に対して、トリミング部２１２は、画像ポイント＝「図１９（ｃ２）の被写体ポイント（２０）」＋「図１９（ｃ３）の構図ポイント（１００）」を算出する。すると、図１９（ｄ）に示すように、トリミング画像の画像ポイントはＦｒＴｒ１（１２０）となる。画像ポイントが閾値（９５）以上なので、トリミング部２１２は、トリミング画像ＦｒＴｒ１をＩｍｇ９ｔ（１２０）として入力画像集合のもとの画像と置き換える（図１９（ｅ））。

＜トリミング処理のフローチャート＞
第４実施形態によるトリミング処理を、図１８のフローチャートを用いて詳細に説明する。まず、図１７に示す流れ図（ステップＳ１００１〜ステップＳ１００６）の処理によって、読み込んだ画像には、図１０（ｈ１）〜（ｈ１０）のように画像ポイントが付与されている（図１９（ａ））。次に、図１８の流れ図（ステップＳ１１０１〜ステップＳ１１１２）によって、トリミング処理が行なわれる。

まず、ステップＳ１１０１において、トリミング部２１２は、閾値（本例では「９５」）を設定する。ステップＳ１１０２において、トリミング部２１２は、入力画像集合の最初の画像を選択する。ステップＳ１１０３において、トリミング部２１２は、画像ポイントを算出する。ここでは、図７の画像ポイント算出処理と同様の方法（画像ポイント＝被写体ポイント＋構図ポイント）で画像ポイントが算出される。なお、この処理は画像ポイント算出処理（ステップＳ１００６）において算出済みであれば不要である。次に、ステップＳ１１０４において、トリミング部２１２は、選択されている画像の画像ポイントが閾値未満かどうか判定する。ステップＳ１１０４において画像ポイントが閾値未満と判定されたならば、処理はステップＳ１１０５に進む。また、ステップＳ１１０４において画像ポイントが閾値以上と判定されたならば、処理はステップＳ１１１１に移る。

ステップＳ１１０５において、トリミング部２１２は、選択している画像から被写体を抽出する。例えば、図１９（ｂ１）に示す画像Ｉｍｇ９が選択中ならば、被写体Ａ、Ｄ、Ｘが抽出される。ステップＳ１１０６において、トリミング部２１２は、選択中の画像内にポイントを減らす原因の被写体があるかどうか判定する。ステップＳ１１０６においてＹＥＳならば処理はステップＳ１１０７に移り、ＮＯならば処理はステップＳ１１１１に移る。例えば、図１９（ｂ２）に示すように、選択中の画像Ｉｍｇ９内には、画像のポイントを減らす（−３０）原因になる被写体Ｘが存在するため、処理はステップＳ１１０７へ進む。

ステップＳ１１０７において、トリミング部２１２は、トリミング画像ＦｒＴｒ１を求める。例えば、トリミング部２１２は、図１９（ｃ２）のように、被写体Ｘを取り除き、被写体ＡとＤを残したトリミング画像を得る。領域ＦｒＴｒ１の位置と大きさを決めるには、条件ＡＤ＝「被写体ＡとＤの顔を含み、被写体Ｘの顔を含まない」を用いる。そして条件ＡＤを満たす最少領域を求め、その構図ポイントを算出する。条件ＡＤを満たす領域が条件ＡＤを満たさなくなるまで段階的に大きくしてゆき、各大きさの領域に付いて構図ポイントを求め、最大の構図ポイントの領域をＦｒＴｒ１とする。条件ＡＤを満たす領域が１つもなかったときや、トリミング画像ＦｒＴｒ１が小さくなりすぎて解像度が（予めアルバムなどの商材によって指定される解像度より）劣化したときは、トリミング画像ＦｒＴｒ１は元の画像（ここではＩｍｇ９）とする。また、画像を使用する商材あるいは配置する枠のサイズに対して、トリミング画像ＦｒＴｒ１の解像度が指定される解像度より劣化した時は、トリミング画像ＦｒＴｒ１は元の画像（ここではＩｍｇ９）とする。

ステップＳ１１０８において、トリミング部２１２は、図２０のような規則を用いて、トリミング画像の画像ポイント（＝被写体ポイント＋構図ポイント）を算出する。例えば、図１９（ｃ１）のトリミング画像ＦｒＴｒ１に対しては、被写体ポイント（２０：図１９（ｃ２））＋構図ポイント（１００：図１９（ｃ３））＝画像ポイント（１２０）となる。ステップＳ１１０９において、トリミング部２１２は、トリミング画像ＦｒＴＲ１（１２０）の画像ポイントが閾値（９５）以上かどうか判定する。ステップＳ１１０９においてＹＥＳならば処理はステップＳ１１１０に進み、ＮＯならば処理はステップＳ１１１１に移る。ここでは、ステップＳ１１０９においてＹＥＳになるので、ステップＳ１１１０においてトリミング画像ＦｒＴＲ１（１２０）を新たにＩｍｇ９ｔ（１２０）（図１９（ｄ））として入力画像集合の元の画像と置き換える（図１９（ｅ））。ステップＳ１１１１において、トリミング部２１２は、入力画像集合の最後の画像かどうか判定する。ステップＳ１１１１において最後の画像であると判定されたならば、トリミング処理を終了する。ステップＳ１１１１において最後の画像ではないと判定されたならば、処理はステップＳ１１１２に移る。ステップＳ１１１２において、トリミング部２１２は、入力画像集合の次の画像を選択し、処理をステップＳ１１０３に戻す。

なお、ステップＳ１１０７において、条件ＡＤの代わりに次のような条件ＡＤ２を用いてもよい。条件ＡＤ２＝「被写体ＡとＤの顔を含み、被写体Ｘの顔を含まない。かつ、トリミング画像は元の画像と縦横比が同じである」。

このように、入力画像集合に対してトリミング処理を行なった後、画像選択処理を行う。すると、画像選択処理（図１７、ステップＳ１００８）においてポイント順に画像が表示される（図１１のＳ７０１、図１１のＳ８０１）。その結果、図１９（ｅ）のように画像が表示される。

なお、閾値を基に無条件に画像をトリミングするだけでは無く、アルバムに対して、選択すべき写真の枚数が少なくなってきた場合に、上記のようなトリミング処理を行うようにしてもよい。
また、本実施形態では、閾値以下の画像をトリミングしているが、トリミングの結果ポイントが向上する全ての画像をトリミングしても良い。

また、本実施形態では、トリミング画像を入力画像集合の元の画像と置き換えているが、元の画像を残しておいてトリミング画像を入力画像集合に追加するようにしてもよい。この場合は、画像選択処理（図１１、図１３）の際に元画像あるいはトリミング画像が選択されると、他方の画像のポイントを下げることになる。
また、トリミング画像と元画像とは画像選択の際に識別できるように枠の色などを変えて表示しても良い。
また、入力画像集合表示領域を元画像用とトリミング画像用に分けても良い。

また、被写体の組み合わせ、構図、被写体に対する合焦の有無、被写体が人間である場合の顔の向きや表情、撮影時刻、撮影場所のいずれかあるいは１つ以上の組み合わせによるポイントが高くなるように画像を加工してもよい。

＜第４実施形態の効果＞
以上のように、第４実施形態によれば、画像のポイントに閾値を設け、ポイントが閾値未満であるか否かを判断し、閾値未満である画像を加工することにより、閾値以上の得点とする。これによって、面倒な画像加工を自動的に行い、自動的に適当な画像を増やすことができる。

［第５実施形態］
上記各実施形態のアルバム作成システムでは、図２１に示すような操作画面を提示し、ユーザが入力画像集合表示領域Ｉｍｇｓ−ｉｎＤに表示されている画像からアルバムに掲載すべき画像を選択することでアルバムが生成される。入力画像集合表示領域Ｉｍｇｓ−ｉｎＤにおける画像の表示順序は選択された画像に基づいて再計算された画像ポイントに応じて並べ変えられるため、ユーザがアルバムへの掲載する画像を選択する際に、似たような画像が偏って選択されることを防ぐことができる。しかしながら、このようなマニュアルによるアルバム作成システムではなく、再計算された画像ポイントの最も高い画像を順次取り出してアルバムに掲載していくことでアルバムを自動生成するよう構成してもよいことは言うまでもない。

自動的にアルバムを生成する構成とする場合は、たとえば、図１１、図１２の手順を以下のように変形すればよい。すなわち、ステップＳ７０１、Ｓ７０２（またはステップＳ８０１、Ｓ８０２）において、入力画像集合のうち最も高い画像ポイントを有する画像を選択してアルバムの形成に用いるようにする。このとき、選択された画像が入力画像集合から除外されて選択画像集合に加入される。そして、ステップＳ７０４〜Ｓ７０８（またはステップＳ８０４〜Ｓ８０９）により、選択された画像以外の画像について画像ポイントの再計算が行なわれる。以上の処理をアルバムに掲載する画像数だけ実行する（ステップＳ７１６、Ｓ８１８）。なお、入力画像集合表示領域Ｉｍｇｓ−ｉｎＤなどの画像の表示は省略可能となるので、ステップＳ７１４、Ｓ７１５（ステップＳ８１６、Ｓ８１７）は省略してよい。

このようなアルバムの自動生成によれば、被写体の組み合わせや構図、時間帯などに偏りのないように選択された画像が掲載されたアルバムが生成される。

＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. 複数の画像の各々を、画像の内容および属性情報の少なくとも何れかに基づいて評価する評価手段と、
   前記評価に基づいて、前記複数の画像の一部またはすべてを、ユーザ指示に応じて選択できる選択候補として、提示する提示手段と、
   前記選択候補から選択された画像の内容および属性情報の少なくとも何れかに基づいて、前記複数の画像うちの前記選択された画像以外の画像の評価を更新する更新手段と、を備えることを特徴とする画像処理装置。
2. 前記評価手段は、前記画像の評価を評価値として算出し、
   前記更新手段は、前記選択された画像と前記選択された画像以外の画像との類似の度合いをそれら画像の内容および属性情報の少なくとも何れかに基づいて取得し、取得された類似の度合いにしたがって前記選択された画像以外の画像の評価値を減少させることを特徴とする請求項１に記載の画像処理装置。
3. 前記更新手段は、前記選択された画像以外の画像のそれぞれとについて前記選択された画像と類似するか否かを判定し、類似すると判定された画像の評価値を所定値だけ減少させることを特徴とする請求項２に記載の画像処理装置。
4. 前記提示手段は、前記選択された画像を前記選択候補から除外することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記提示手段は、選択済みとなっている画像がユーザ指示に応じて非選択状態になった場合に、該非選択状態になった画像を前記選択候補に戻し、
   前記更新手段は、前記選択候補に戻った画像の内容および属性情報の少なくとも何れかに基づいて、該選択候補に戻った画像以外の画像の評価値を更新することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記更新手段は、前記選択候補に戻った画像と前記選択候補に戻った画像以外の画像との類似の度合いをそれら画像の内容および属性情報の少なくとも何れかに基づいて取得し、取得された類似度の度合いにしたがって前記選択候補に戻った画像以外の画像の評価値を増加させることを特徴とする請求項５に記載の画像処理装置。
7. 前記画像を、前記評価が向上するように加工する加工手段を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記画像の内容は、画像内の被写体の識別情報、被写体の画像内における位置および大きさに基づく構図情報、画像内の被写体に対する合焦の有無に基づく合焦情報、画像内の被写体の顔の向きの情報、の少なくともいずれかを含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記属性情報は、撮影時刻、撮影場所、の少なくともいずれかを含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 複数の画像の各々を、画像の内容および属性情報の少なくとも何れかに基づいて評価する評価手段と、
    前記評価手段による評価に基づいて、前記複数の画像からアルバムに掲載する画像を選択する第１の選択手段と、
    前記選択された画像の内容および属性情報の少なくとも何れかに基づいて、前記複数の画像のうち、前記選択された画像以外の画像の評価を更新する更新手段と、
    前記更新手段により更新された評価に基づいて、前記選択された画像以外の画像からアルバムに掲載する画像を選択する第２の選択手段と、
    前記第１の選択手段と前記第２の選択手段により選択されたアルバムに掲載する画像を用いてアルバムを生成する生成手段と、を備えることを特徴とする画像処理装置。
11. 画像処理装置の制御方法であって、
    複数の画像の各々を、画像の内容および属性情報の少なくとも何れかに基づいて評価する評価工程と、
    前記評価に基づいて、前記複数の画像の一部またはすべてを、ユーザ指示に応じて選択できる選択候補として、提示する提示工程と、
    前記選択候補から選択された画像の内容および属性情報の少なくとも何れかに基づいて、前記複数の画像のうち前記選択された画像以外の画像の評価を更新する更新工程と、を有することを特徴とする画像処理装置の制御方法。
12. 画像処理装置の制御方法であって、
    複数の画像の各々を、画像の内容および属性情報の少なくとも何れかに基づいて評価する評価工程と、
    前記評価工程における評価に基づいて、前記複数の画像からアルバムに掲載する画像を選択する第１の選択工程と、
    前記選択された画像の内容および属性情報の少なくとも何れかに基づいて、前記複数の画像のうち前記選択された画像以外の画像の評価を更新する更新工程と、
    前記更新工程において更新された評価に基づいて、前記選択された画像以外の画像から、アルバムに掲載する画像を選択する第２の選択工程と、
    前記第１の選択工程と前記第２の選択工程により選択されたアルバムに掲載する画像を用いてアルバムを生成する生成工程と、を有することを特徴とする画像処理装置の制御方法。
13. コンピュータに、請求項１１または１２に記載の画像処理装置の制御方法の各工程を実行させるためのプログラム。

Images