JP2022086520A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】ユーザの意図に沿う画像を適切に選択すること。【解決手段】プログラムは、コンピュータを、第１の画像群を指定する第１の指定手段と、第２の画像群を指定する第２の指定手段と、第１の画像群および第２の画像群に含まれる各画像を解析する解析手段と、第２の画像群の解析結果に基づいて、画像に得点を付与する得点基準を決定する決定手段と、得点基準と第１の画像群の解析結果とに基づいて第１の画像群の得点化を実施する得点化手段と、得点に基づいて第１の画像群から第３の画像群を選択する選択手段と、選択手段によって選択された第３の画像群を調整するための調整パラメータを指定可能な指定手段と、として機能させる。【選択図】図６

Description

本発明は、複数の画像の中から所定の基準に従って１つ以上の画像を選択する技術に関する。

複数の画像の中からアルバム作成のための画像を自動で選択し、アルバムのテンプレートを自動で決定し、テンプレートへの画像の自動割り当てを実施する自動レイアウト技術がある。

特許文献１では、自動で選択されるアルバム候補の画像群における主要オブジェクトの出現頻度を、ユーザの指定によって調整する技術が記載されている。また、特許文献１では、画像データに、得点と特定のオブジェクトであることを示す識別情報とを付与し、画像群全体から、得点およびユーザ指定に応じて設定されるオブジェクトの優先度に従って画像を選択する技術が記載されている。

特開２０１８－９７４８３号公報

しかしながら、特許文献1に記載の方法では、ユーザの意図に沿う画像が適切に選択されない虞がある。

本発明は、ユーザの意図に沿う画像を適切に選択する技術を提供することを目的とする。

本発明の一態様に係るプログラムは、コンピュータを、第１の画像群を指定する第１の指定手段と、第２の画像群を指定する第２の指定手段と、前記第１の画像群および前記第２の画像群に含まれる各画像を解析する解析手段と、前記第２の画像群の解析結果に基づいて、画像に得点を付与する得点基準を決定する決定手段と、前記得点基準と前記第１の画像群の解析結果とに基づいて前記第１の画像群の得点化を実施する得点化手段と、前記得点に基づいて前記第１の画像群から第３の画像群を選択する選択手段と、前記選択手段によって選択された第３の画像群を調整するための調整パラメータを指定可能な指定手段と、として機能させる。

本発明によれば、ユーザの意図に沿う画像を適切に選択することができる。

画像処理装置のハードウェアの構成を示すブロック図である。 アルバム作成アプリケーションのソフトウェアブロック図である。 アルバム作成アプリケーションが提供する表示画面を示す図である。 アルバム作成アプリケーションが提供する表示画面を示す図である。 アルバム作成アプリケーションが提供する表示画面を示す図である。 自動レイアウト処理を示すフローチャートである。 特徴量を示す図である。 得点基準決定処理の詳細を示すフローチャートである。 特徴量空間上での特徴量を示す図である。 画像選択の結果を示す図である。 画像データのレイアウトに使うテンプレート群を示す図である。 アルバム作成アプリケーションが提供する表示画面を示す図である。 得点調整を説明する図である。 アルバム作成アプリケーションのソフトウェアブロック図である。 自動レイアウト処理を示すフローチャートである。 得点基準決定処理の詳細を示すフローチャートである。 第二の得点基準決定処理を説明するフローチャートである。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

＜＜第１実施形態＞＞
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション（以下、「アプリ」ともいう）を動作させ、自動レイアウトを生成する方法を例に挙げて説明する。なお、以下の説明において、「画像」とは、特に断りが無い限り、静止画、動画、及び動画中から抜き出されたフレーム画像を含む。また、ここでの画像は、ネットワーク上のサービス及びネットワーク上のストレージ等のネットワーク上に保持され、ネットワーク経由で取得可能な、静止画、動画、及び動画中のフレーム画像をも含みうる。

図１は、画像処理装置のハードウェアの構成を示すブロック図である。なお、画像処理装置１００としては、例えば、パーソナルコンピュータ（以下、ＰＣと記載）またはスマートフォン等が挙げられる。本実施形態では、画像処理装置は、ＰＣであるものとして説明する。画像処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、ディスプレイ１０５、キーボード１０６、ポインティングデバイス１０７、及びデータ通信部１０８を有する。

ＣＰＵ（中央演算装置／プロセッサ）１０１は、画像処理装置１００を統括的に制御し、例えば、ＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み出して実行することにより、本実施形態の動作を実現する。図１では、ＣＰＵは１つであるが、複数のＣＰＵで構成されても良い。ＲＯＭ１０２は、汎用的なＲＯＭであり、例えば、ＣＰＵ１０１により実行されるプログラムが記憶されている。ＲＡＭ１０３は、汎用的なＲＡＭであり、例えば、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのワーキングメモリとして用いられる。ＨＤＤ（ハードディスク）１０４は、画像ファイル、及び、画像解析などの処理結果を保持するデータベース、ならびに、アルバム作成アプリケーションにより用いられるテンプレートなどを記憶するための記憶媒体（記憶部）である。

ディスプレイ１０５は、本実施形態のユーザインタフェース（ＵＩ）、及び、画像データ（以下、「画像」ともいう）のレイアウト結果として電子アルバムをユーザに表示する表示部である。キーボード１０６及びポインティングデバイス１０７は、ユーザからの指示操作を受け付ける。ディスプレイ１０５は、タッチセンサ機能を備えても良い。キーボード１０６は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上に作成したいアルバムの見開き数を入力する際に用いられる。ポインティングデバイス１０７は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上のボタンをクリックする際に用いられる。

データ通信部１０８は、有線又は無線等のネットワークを介した外部の装置との通信を行う。データ通信部１０８は、例えば、自動レイアウト機能によりレイアウトされたデータを画像処理装置１００と通信可能なプリンタ又はサーバに送信する。データバス１０９は、図１の各ブロック間を相互に通信可能に接続する。

尚、図１に示す構成は、一例に過ぎず、これに限られるものではない。例えば、画像処理装置１００は、ディスプレイ１０５を有しておらず、外部のディスプレイにＵＩを表示してもよい。

本実施形態におけるアルバム作成アプリケーションは、ＨＤＤ１０４に保存されている。そして、後述するようにユーザがディスプレイ１０５に表示されているアプリケーションのアイコンをポインティングデバイス１０７により選択して、クリックまたはダブルクリックするといった操作によって起動される。

図２は、アルバム作成アプリケーションのソフトウェアブロック図である。アルバム作成アプリケーションは、アルバム作成条件指定部２０１、ユーザ画像指定部２０２、調整パラメータ指定部２１０、および自動レイアウト処理部２１８を有する。自動レイアウト処理部２１８は、画像取得部２０３、画像変換部２０４、画像解析部２０５、得点基準決定部２０６、画像得点部２０７、調整パラメータ決定部２０８、及び見開き数入力部２０９を有する。さらに、画像選択部２１１、見開き割当部２１２、テンプレート入力部２１３、画像レイアウト部２１４、レイアウト情報出力部２１５、画像補正条件入力部２１６、及び画像補正部２１７を有する。

図２に示す各構成要素に対応する各プログラムモジュールが、上述のアルバム作成アプリケーションに含まれている。そして、ＣＰＵ１０１が各プログラムモジュールを実行することで、ＣＰＵ１０１が図２に示す各構成要素として機能する。以降、図２に示す各構成要素の説明として、各構成要素が種々の処理を実行するものとして説明する。また図２は、特に、自動レイアウト機能を実行する自動レイアウト処理部２１８に関するソフトウェアブロック図を示している。

アルバム作成条件指定部２０１は、ポインティングデバイス１０７によるＵＩ操作に応じてアルバム作成条件を自動レイアウト処理部２１８に指定する。本実施形態では、アルバム作成条件として、アルバムに使用する候補画像を含むアルバム候補画像群（第１の画像群ともいう）、見開き数、テンプレートの種類、及びアルバムに画像補正をするか否かを指定可能である。また、アルバムを作成する商材を指定可能である。アルバム候補画像群の指定は、例えば撮影日時などの個別の画像の付随情報、または、属性情報によって指定されてもよいし、デバイスおよびディレクトリ等のように画像を含むファイルシステムの構造に基づいて指定されてもよい。また、任意の画像を２枚指定させ、それぞれの画像データが撮影された日時の間に撮影された全ての画像を対象の画像群としてもよい。なお、本明細書において、「見開き」とは、表示においてはひとつの表示用ウィンドウに相当し、印刷物においては、本を開いた際にユーザが一度に鑑賞可能な互いに隣接する１対のページ（つまり２ページ分）に相当する。なお、見開き内の２ページは、それぞれ異なる用紙に印刷されたものが隣接するよう綴じられることで見開きを形成する場合と、１枚の用紙に印刷されたものが真ん中で折られることで見開きを形成する場合と、がある。 ユーザ画像指定部２０２は、ユーザの趣味または嗜好を表す、アルバムに採用したいユーザ画像群（第２の画像群ともいう）を、ユーザに指定させる。ユーザ画像群としては、１枚以上の選択を可能とする。また、過去に作成したアルバムで使用された画像群をＨＤＤ１０４またはデータ通信部１０８を介してアクセスできるクラウドに保存しておき、上記指定方法に加えて、その画像群の中からユーザに指定させてもよい。ここで指定する画像は、アルバム作成条件指定部２０１で指定した画像に含まれていてもよいし、含まれていなくてもよい。つまり、ユーザ画像群は、アルバム候補画像群に含まれていてもよいし、含まれていなくてもよい。

画像取得部２０３は、アルバム作成条件指定部２０１およびユーザ画像指定部２０２により指定された画像群をＨＤＤ１０４から取得する。画像取得部２０３は、メタ情報として、取得した画像に含まれる、画像の幅及び高さ情報、撮影時のＥｘｉｆ情報に含まれる撮影日時情報、並びに、画像がユーザ画像群に含まれるのかを示す情報などを画像解析部２０５へ出力する。また、画像取得部２０３は、取得した画像データを画像変換部２０４へ出力する。各画像には、識別情報が付与され、画像解析部２０５に出力されたメタ情報と、後述する画像変換部２０４を介して画像解析部２０５に出力された画像データとは、画像解析部２０５にて対応付けが可能である。

ＨＤＤ１０４に保存されている画像としては、静止画像及び動画から切り出されたフレーム画像が挙げられる。静止画像及びフレーム画像は、デジタルカメラ及びスマートデバイス等の撮像デバイスから取得されたものである。撮像デバイスは、画像処理装置１００が備えていてもよいし、外部装置が備えるものであってもよい。なお、撮像デバイスが外部装置である場合は、画像は、データ通信部１０８を介して取得される。また、静止画像及び切り出し画像は、データ通信部１０８を介してネットワークまたはサーバから取得した画像であってもよい。ネットワークまたはサーバから取得した画像としては、ソーシャルネットワーキングサービス画像（以下、「ＳＮＳ画像」という）が挙げられる。ＣＰＵ１０１によって実行されるプログラムは、各画像に対して、画像に付随したデータを解析して保存元を判定する。ＳＮＳ画像は、アプリケーションを介してＳＮＳから画像を取得することで、アプリケーション内で取得先を管理してもよい。画像は、上述した画像に限定されるものではなく、他の種類の画像であってもよい。

画像変換部２０４は、画像取得部２０３から入力した画像データを画像解析部２０５で使用するための画素数及び色情報に変換して、画像解析部２０５に出力する。本実施形態では、画像を、所定の画素数、例えば短辺４２０画素にして、長編は元の各辺の比率を維持した大きさに変換する。さらに、色の解析を行うためにｓＲＧＢなどの色空間に統一されるように変換する。このように画像変換部２０４は、画素数及び色空間が統一された解析画像へ変換するものとする。画像変換部２０４は、変換した画像を画像解析部２０５に出力する。また、画像変換部２０４は、レイアウト情報出力部２１５および画像補正部２１７に画像を出力する。

画像解析部２０５は、画像変換部２０４から入力する解析画像に対し、後述する方法で画像データを解析して、画像特徴量を取得する。解析処理としては、ピントの合焦度合いの推定、顔検出、個人認識、オブジェクト判定の各処理を実行し、これらの画像特徴量を取得する。画像特徴量としては、他には、色味、明るさ、解像度、データ量、及びボケ・ブレの程度などが挙げられるが、それ以外の画像特徴量でもよい。画像解析部２０５は、これらの画像特徴量と共に、画像取得部２０３から入力するメタ情報から必要な情報を抽出して組み合わせて、特徴量として得点基準決定部２０６へ出力する。また、画像解析部２０５は、解析結果の特徴量を画像得点部２０７にも出力する。また、画像解析部２０５は、撮影日時情報を見開き割当部２１２に出力する。

得点基準決定部２０６は、画像解析部２０５から取得した特徴量の内、ユーザ画像指定部２０２で指定されたユーザ画像群の特徴量を用いて、後述の方法により画像得点部２０７で得点を算出するための得点基準を決定し、画像得点部２０７に提供する。ここでいう得点とは、各画像に対するレイアウトへの適切度を示した指標であり、高得点であるほどレイアウトに適していることを示す。また、得点基準とは、画像得点部２０７において得点を算出するための基準のことであり、ユーザ画像群の特徴量を基に得点基準を決定することで、ユーザの意図に沿った画像選択が可能となる。

画像得点部２０７は、得点基準決定部２０６で決定された得点基準、調整パラメータ指定部２１０から取得した調整パラメータ、及び画像解析部２０５から取得した特徴量を使用してアルバム候補画像群の各画像に対して得点付けを行う。得点付けした結果は、画像選択部２１１および画像レイアウト部２１４に出力される。

見開き数入力部２０９は、アルバム作成条件指定部２０１から指定された、アルバムの見開き数を、見開き割当部２１２に入力する。アルバムの見開き数は、複数の画像が配置される複数のテンプレートの数に相当する。

画像選択部２１１は、画像得点部２０７で算出した得点に基づいて画像選択を行い、アルバムで使用されるレイアウト画像群（第３の画像群ともいう）のリストを作成して、見開き割当部２１２および調整パラメータ決定部２０８へ提供する。

見開き割当部２１２は、画像選択部２１１で選択された画像群に対して、撮影日情報を用いて、各画像を見開きに割り当てる。ここでは見開き単位で割り当てる例を説明するが、ページ単位に割り当ててもよい。

テンプレート入力部２１３は、アルバム作成条件指定部２０１から指定されたテンプレート情報に応じた複数のテンプレートをＨＤＤ１０４から読み込み、画像レイアウト部２１４に入力する。

画像レイアウト部２１４は、個々の見開きについての画像のレイアウト処理を行う。具体的には、処理対象の見開きについて、テンプレート入力部２１３により入力された複数のテンプレートから画像選択部２１１で選択した画像に適したテンプレートを決定し、各画像のレイアウトを決定する。

レイアウト情報出力部２１５は、画像レイアウト部２１４が決定したレイアウトに従って、ディスプレイ１０５に表示するためのレイアウト情報を出力する。レイアウト情報は、例えば、決定したテンプレートに画像選択部２１１により選択された選択画像のデータがレイアウトされたビットマップデータである。

画像補正条件入力部２１６は、アルバム作成条件指定部２０１から指定された画像補正のＯＮ／ＯＦＦ情報を画像補正部２１７に提供する。補正の種類としては、例えば、輝度補正、覆い焼き補正、赤目補正、またはコントラスト補正などが挙げられる。画像補正のＯＮまたはＯＦＦは、補正の種類ごとに指定されてもよいし、全ての種類についてまとめて指定されてもよい。

画像補正部２１７は、画像補正条件入力部２１６より受信した、画像補正条件に基づいて、レイアウト情報出力部２１５が保持するレイアウト情報に対して補正を実施する。尚、画像変換部２０４から画像補正部２１７で処理する画像の画素数は、画像レイアウト部２１４で決定したレイアウト画像のサイズに合わせて変えることができる。本実施形態では、レイアウト画像を生成した後に、各画像に画像補正を行うものとしたが、これに限定されず、見開き又はページにレイアウトする前に、各画像の補正を行うようにしてもよい。

調整パラメータ決定部２０８は、画像選択部２１１から受け取った選択画像群から調整パラメータを決定し、調整パラメータ指定部２１０に出力する。調整パラメータとは、ユーザが指定することが可能なパラメータであり、画像選択部２１１の選択結果を調整することが可能なパラメータである。

調整パラメータ指定部２１０は、調整パラメータ決定部２０８から受け取った調整パラメータを初期値とし、後述するＵＩ画面（ユーザインタフェース画面）をディスプレイ１０５に表示することで、ユーザに調整パラメータを指定させる。指定された調整パラメータは画像得点部２０７に出力される。これにより、画像選択部２１１で選ばれた画像群とユーザの意図との間にずれがあった場合に、ユーザは後述するＵＩ画面により得点基準を調整することが可能となり、この結果、調整された得点基準に基づいて画像を再選択することができる。

アルバム作成アプリケーションが画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上に、起動アイコンが表示される。ユーザがディスプレイ１０５に表示されている起動アイコンをポインティングデバイス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアプリのプログラムがＲＡＭ１０３にロードされ、ＣＰＵ１０１により実行されることで起動する。

＜表示画面の例＞
図３は、アルバム作成アプリケーションが提供するアプリ起動画面３０１の一例を示す図である。アプリ起動画面３０１（第１の画面）は、ディスプレイ１０５に表示される。ユーザはアプリ起動画面３０１を介して後述するアルバムの作成条件を設定し、アルバム作成条件指定部２０１は、このＵＩ画面を通じてユーザからの設定内容を取得する。

アプリ起動画面３０１上のパスボックス３０２は、アルバム作成の対象となる複数の画像（例えば複数の画像ファイル）のＨＤＤ１０４中の保存場所（パス）を表示する。フォルダ選択ボタン３０３がユーザからのポインティングデバイス１０７でのクリック操作により指示されると、ＯＳに標準で搭載されているフォルダの選択画面が表示される。フォルダの選択画面では、ＨＤＤ１０４で設定されているフォルダがツリー構成で表示され、ユーザは、ポインティングデバイス１０７により、アルバム作成の対象とする画像を含むフォルダを選択することができる。ユーザにより選択されたアルバム候補画像群が格納されるフォルダのパスが、パスボックス３０２に表示される。

テンプレート指定領域３０４は、ユーザがテンプレート情報を指定するための領域であり、テンプレート情報がアイコンとして表示される。テンプレート指定領域３０４には、複数のテンプレート情報のアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックすることでテンプレート情報を選択可能である。

見開き数ボックス３０５は、ユーザからのアルバムの見開き数の設定を受け付ける。ユーザは、キーボード１０６を介して見開き数ボックス３０５に直接数字を入力するか、ポインティングデバイス１０７を用いてリストから見開き数ボックス３０５に数字を入力する。

チェックボックス３０６は、ユーザからの画像補正のＯＮ／ＯＦＦの指定を受け付ける。チェックが入った状態は画像補正ＯＮが指定された状態であり、チェックが入っていない状態は画像補正ＯＦＦが指定された状態である。本実施形態では、全ての画像補正が１つのボタンでＯＮ／ＯＦＦされるものとしたが、これに限定されず、画像補正の種類毎にチェックボックスを備えるようにしてもよい。

商材指定部３０８は、作成するアルバムの商材を設定する。商材は、アルバムのサイズ、アルバムの用紙種類を設定することができる。個別に表紙種類および綴じ部の種類を設定してもよい。

ユーザによりＯＫボタン３０９が押下されると、アルバム作成条件指定部２０１は、アプリ起動画面３０１上で設定されている内容をアルバム作成アプリケーションの自動レイアウト処理部２１８に出力する。

その際、パスボックス３０２に入力されているパスは、画像取得部２０３に伝えられる。見開き数ボックス３０５に入力されている見開き数は、見開き数入力部２０９に伝えられる。テンプレート指定領域３０４で選択されているテンプレート情報は、テンプレート入力部２１３に伝えられる。画像補正チェックボックスの画像補正のＯＮ／ＯＦＦは、画像補正条件入力部２１６に伝えられる。

表示画面３０１上のリセットボタン３１０は、アプリ起動画面３０１上の各設定情報をリセットするためのボタンである。

図４は、アルバム作成アプリケーションが提供するユーザ画像選択画面４０１の一例を示す図である。アプリ起動画面３０１上のＯＫボタン３０９が押下されると、ディスプレイ１０５に表示される画面が、ユーザ画像選択画面４０１（第２の画面）に遷移される。ユーザは、ユーザ画像選択画面４０１を介してユーザ画像を設定し、ユーザ画像指定部２０２は、ユーザからの設定内容を取得する。ユーザ画像とは、ユーザ画像群を構成する画像である。

ユーザ画像選択画面４０１上のパスボックス４０２は、ユーザ画像の対象となる複数の画像（例えば複数の画像ファイル）のＨＤＤ１０４中の保存場所（パス）を表示する。フォルダ選択ボタン４０３がユーザからのポインティングデバイス１０７でのクリック操作により指示されると、フォルダの選択画面が表示される。フォルダの選択画面では、ＨＤＤ１０４で設定されているフォルダがツリー構成で表示され、ユーザは、ポインティングデバイス１０７により、アルバム作成の対象とする画像を含むフォルダを選択することができる。ユーザにより選択されたフォルダのフォルダパスが、パスボックス４０２に表示される。パスボックス４０２には、パスボックス３０２と同じフォルダパスが表示されていてもよい。

ユーザ画像指定領域４０４は、ユーザがユーザ画像を指定するための領域であり、パスボックス４０２で指定されたＨＤＤ１０４内のフォルダに格納された複数の画像ファイルがアイコンとして表示される。ユーザ画像指定領域４０４には、複数の画像のアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックして選択可能である。図４においては、チェックマーク４０５が印された画像が、ユーザによって指定された画像であることを示している。ユーザが選択すればチェックマーク４０５が付き、その状態で再度選択するとチェックマーク４０５が消える。

ユーザによりＯＫボタン４０６が押下されると、ユーザ画像指定部２０２は、ユーザ画像選択画面４０１上で設定されている内容を取得する。ユーザ画像指定部２０２は、取得した設定内容を、アルバム作成アプリケーションの自動レイアウト処理部２１８に出力する。その際、チェックマーク４０５が付いている画像ファイルのリストは、ユーザ画像群の情報として画像取得部２０３に伝えられる。

ユーザ画像選択画面４０１上のリセットボタン４０７は、ユーザ画像選択画面４０１上の各設定情報をリセットするためのボタンである。

図５は、アルバム作成アプリケーションが提供する調整パラメータ指定画面の一例を示す図である。図５（ａ）を用いて調整パラメータ指定画面５０１（第３の画面）を説明する。調整パラメータ指定画面５０１は、例えば後述するレイアウト確認画面（図１２）の画像再選択ボタン１２０４をユーザが押下することでディスプレイ１０５に表示される。ユーザは、調整パラメータ指定画面５０１を介して調整パラメータを指定し、調整パラメータ指定部２１０はユーザによって指定された調整パラメータを取得する。また、ユーザは、調整パラメータ指定画面５０１の初期値を確認して、自動でレイアウトされている画像の出現頻度などを確認することができる。

写真枚数調整５０２は、アルバムに配置する画像枚数をスライダーバーで調整するためのものである。ユーザは、スライダーバーを左右に移動させることにより、アルバムに配置する画像枚数を調整することができる。人物写真比率５０３は、アルバムに配置する人物が写っている写真の比率をスライダーバーで調整するためのものである。個人比率５０４は、アルバムに配置する特定の人物の比率を調整するためのものである。人物は画像解析部２０５が解析した個人認識の結果から、各人物毎にアルバムに配置する画像枚数を調整することができる。

ユーザによりＯＫボタン５０５が押下されると、調整パラメータ指定部２１０は調整パラメータ指定画面５０１上で設定されている内容を取得する。キャンセルボタン５０６が押下されると、調整パラメータ指定部２１０を閉じて調整パラメータ指定処理を終了する。図５（ｂ）の説明は、後述する。

＜処理の流れ＞
図６は、アルバム作成アプリケーションの自動レイアウト処理部２１８の処理を示すフローチャートである。図６に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＡＭ１０３に読み出して実行することにより実現される。図６の説明では、ＣＰＵ１０１が上記アルバム作成アプリケーションを実行することで機能する、図２に示す各構成要素が処理を実行するものとして説明する。図６を参照しながら、自動レイアウト処理を説明する。尚、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する（以下、本明細書において同様である）。

Ｓ６０１では、画像変換部２０４は、画像を変換して解析画像を生成する。Ｓ６０１の時点では、アプリ起動画面３０１及びユーザ画像選択画面４０１のＵＩ画面を通じた各種の設定が完了している状態であるものとする。即ち、アルバム作成条件、アルバム候補画像群、及びユーザ画像群が設定済みの状態であるものとする。Ｓ６０１において、具体的には、画像変換部２０４は、アルバム作成条件指定部２０１及びユーザ画像指定部２０２で指定されたＨＤＤ１０４内のフォルダに格納された複数の画像ファイルを特定する。そして、特定された複数の画像ファイルをＨＤＤ１０４からＲＡＭ１０３に読み出す。そして画像変換部２０４は、読み出された画像ファイルの画像を、前述したように、所定の画素数及び色情報を有する解析画像に変換する。本実施形態では、短辺が４２０画素であり、ｓＲＧＢに変換された色情報を有する解析画像に変換する。

Ｓ６０２では、画像解析部２０５は、Ｓ６０１で生成された解析画像の解析処理を実行し、特徴量を取得する。特徴量としては、例えば、画像に格納されているメタ情報、及び、画像を解析することで取得できる画像特徴量が挙げられる。本実施形態では、解析処理として、ピントの合焦度合いの取得、顔検出、個人認識、及びオブジェクト判定を実行するが、これに限定されず、その他の解析処理を実行してもよい。以下、Ｓ６０２において画像解析部２０５で行われる処理の詳細を説明する。

画像解析部２０５は、画像取得部２０３から受け取ったメタ情報のうち、必要なメタ情報を抽出する。画像解析部２０５は、例えば、ＨＤＤ１０４から読み出された画像ファイルに付随するＥｘｉｆ情報から、該画像ファイル内の画像の時間情報として、撮影日時を取得する。尚、メタ情報としては、例えば、画像の位置情報またはＦ値などを取得しても良い。また、メタ情報として、画像ファイルに付随する以外の情報を取得してもよい。例えば、画像の撮影日時に紐づくスケジュール情報を取得してもよい。

また、画像解析部２０５は、Ｓ６０１で生成された解析画像から画像特徴量を取得する。画像特徴量としては、例えば、ピントの合焦度合いが挙げられる。ピントの合焦度合いを求める方法として、エッジの検出が行われる。エッジの検出方法として一般的にソーベルフィルタが知られている。ソーベルフィルタでエッジ検出を行い、エッジの始点と終点の輝度差を、始点と終点の距離で割れば、エッジの傾きが算出される。画像中のエッジの平均傾きを算出した結果から、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているとみなすことができる。そして、傾きに対して異なる値の複数の閾値を設定すれば、どの閾値以上かを判定することにより、ピント量の評価値を出力可能である。本実施形態では、異なる２つの閾値を予め設定しておき、「○」、「△」、「×」の３段階により、ピント量を判定する。例えば、アルバムに採用したいピントの傾きを「○」と判定し、許容可能なピントの傾きを「△」と判定し、許容不可能な傾きを×と判定し、各閾値を予め設定しておく。閾値の設定は、例えば、アルバム作成アプリケーションの作成元等により提供されても良いし、ユーザインタフェース上で設定可能としても良い。尚、画像特徴量としては、例えば、画像の明るさ、色味、彩度、または解像度などを取得してもよい。

画像解析部２０５は、Ｓ６０１で生成された解析画像に対して、顔検出を実行する。ここで、顔検出の処理には、公知の方法を用いることができる。例えば、複数用意した弱識別器から強識別器を作成するＡｄａｂｏｏｓｔが顔検出処理に用いられる。本実施形態では、Ａｄａｂｏｏｓｔにより作成した強識別器により人物（オブジェクト）の顔画像が検出される。画像解析部２０５は、顔画像を抽出するとともに、検出した顔画像の位置の左上座標値と右下座標値を取得する。この２種の座標を持つことにより、画像解析部２０５は、顔画像の位置と顔画像のサイズとを取得可能である。なお、ここでは、ＡｄａＢｏｏｓｔを用いてオブジェクトを検出するケースを説明したが、ニューラルネットワーク等の学習済モデルを用いてオブジェクト検出を行ってもよい。

画像解析部２０５は、顔検出で検出された、解析画像に基づく処理対象の画像内の顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像とを比較することにより、個人認識を行う。画像解析部２０５は、複数の代表顔画像のそれぞれに対して、処理対象の画像内の顔画像との類似性を取得する。また、類似性が閾値以上であり且つ類似性が最も高い代表顔画像を特定する。そして、特定された代表顔画像に対応する個人ＩＤを、処理対象の画像内の顔画像のＩＤとする。尚、上記複数の代表顔画像のすべてについて、処理対象の画像内の顔画像との類似性が閾値未満の場合、画像解析部２０５は、処理対象の画像内の顔画像を新規の代表顔画像として、新規の個人ＩＤと対応付けて顔辞書データベースに登録する。

画像解析部２０５は、Ｓ６０１で生成された解析画像に対して、オブジェクト認識を実行する。ここで、オブジェクト認識の処理には、公知の方法を用いることができる。本実施形態では、ＤｅｅｐＬｅａｒｎｉｎｇにより作成した判別器によりオブジェクトが認識される。判別器は各オブジェクトに対する０～１の尤度を出力し、ある閾値を超えたオブジェクトが画像中にあると認識する。画像解析部２０５は、オブジェクト画像を認識することで、犬または猫などのペット、花、食べ物、建物、置物、およびランドマークなどのオブジェクトの種類を取得可能となる。本実施形態ではオブジェクトを判別しているが、これに限定されず、表情、撮影構図、または、旅行もしくは結婚式などのシーンなどを認識することで、それぞれの種類を取得してもよい。また、判別を実行する前の、判別器から出力された尤度そのものを利用しても良い。これにより、得点基準決定部２０６においてより自由度のある得点基準が決定できる。

図７は、特徴量を示す図である。画像解析部２０５は、Ｓ６０２で取得した特徴量を、図７に示すように各画像（解析画像）を識別するＩＤ毎に区別して、ＲＯＭ１０２等の記憶領域に記憶する。例えば、図７に示すように、Ｓ６０２で取得された撮影日時情報、ピント判別結果、検出された顔画像の数とその位置情報及び類似性、並びに、認識したオブジェクトの種類が、テーブル形式で記憶される。尚、顔画像の位置情報は、Ｓ６０２で取得された個人ＩＤ毎に区別して記憶される。また１つの画像から複数種類のオブジェクトが認識された場合、図７に示すテーブルには、その１つの画像に対応する行に、オブジェクトの複数種類がすべて記憶される。

Ｓ６０３では、アルバム候補画像群とユーザ選択画像群とに含まれる全ての画像に対して、Ｓ６０１～Ｓ６０２の処理が終了したか否かが判定される。ここで、終了していないと判定された場合、Ｓ６０１からの処理を繰り返す。終了していると判定された場合、処理はＳ６０４に進む。即ち、Ｓ６０１～Ｓ６０２の処理が、指定フォルダに格納されている全画像に対して繰り返し実行されることで、全画像のそれぞれの情報を含む図７に示すテーブルが作成される。

Ｓ６０４では、得点基準決定部２０６は、ユーザ画像群のユーザ画像の解析結果で得られた特徴量に基づいて得点基準を決定する。即ち、ユーザ画像群の画像ＩＤに対応する特徴量に基づいて、画像得点部２０７で使用する得点基準を決定する。ここで述べる得点とは、各画像に対するレイアウトへの適切度を示した指標である。また、得点基準とは、画像得点部２０７において得点を算出するための基準のことであり、例えば、ある係数を用いて構成される式または得点算出アルゴリズムのことである。得点基準決定部２０６は、得点基準に用いられる制御情報を生成し、制御情報に基づいて得点基準を決定し、画像得点部２０７に提供する。制御情報は、具体例としては、後述するように特徴量ごとの平均値および標準偏差である。

図８は、Ｓ６０４の得点基準決定処理の詳細を示すフローチャートである。図９は、特徴量空間上での特徴量を示す図である。以下、図８および図９を用いて、Ｓ６０４で行われる得点基準決定処理を説明する。

Ｓ８０１では、得点基準決定部２０６は、制御情報として、特徴量ごとに、ユーザ画像群の平均値および標準偏差を算出する。以下、図９を用いて制御情報を説明する。

図９（ａ）は、各画像の特徴量を、特徴量空間上にプロットした一例を示している。特徴量空間は多次元であるため、全てを図示することができないので、図９（ａ）では、各特徴量の中から個人ＩＤ１に対する類似性と撮影時間との２つの特徴量を抜き出したもので説明する。ただし、１つの特徴量を用いた１次元の特徴空間であってもよい。また、他の特徴量に対しても同様に処理を行う。点９０１を例とする網掛けされた点は、ユーザ画像に対応する特徴量をプロットした点を示している。点９０２を例とする網掛けされていない点は、アルバム候補画像に対応する特徴量をプロットした点を示している。図中の“×”で示す点９０３は、ユーザ画像群の特徴量ベクトルから求められる平均値ベクトルを示している。

図９（ｂ）は、個人ＩＤ１に対する類似性の特徴量軸に各画像をプロットしたものである。個人ＩＤ１の顔が画像に含まれ、かつ、個人ＩＤ１で識別される人物との相関が高いほど、つまり個人ＩＤ１と同一人物である確率が高いほど、大きな値（軸の右方向）になっている。点９０４は、この特徴量軸におけるユーザ画像群の平均値を示したものであり、幅９０５は、この特徴量軸におけるユーザ画像群の標準偏差を示したものである。図９（ｂ）に示す個人ＩＤ１に対する類似性の特徴量軸では、各ユーザ画像が近しい特徴を有しており、標準偏差９０５が小さい密な分布となっている。つまり、ユーザ画像群の全ての画像で個人ＩＤ１の人物が多く含まれている確率が高いことがわかる。

図９（ｃ）は、撮影日時の特徴量軸に各画像をプロットしたものである。点９０６は、この特徴量軸におけるユーザ画像群の平均値を示したものであり、幅９０７は、この特徴量軸におけるユーザ画像群の標準偏差を示したものである。撮影日時の特徴量軸では、各ユーザ画像が異なる特徴を有しており、標準偏差９０７が大きい疎な分布となっている。つまり、ユーザ画像群には様々な撮影日時の画像が含まれていることがわかる。

Ｓ８０２では、全ての特徴量項目に対して、Ｓ８０１の処理が終了したか否かが判定される。ここで、終了していないと判定された場合、Ｓ８０１からの処理を繰り返す。終了していると判定された場合、処理はＳ８０３に進む。

Ｓ８０３では、得点基準決定部２０６は、アルバム作成アプリケーションに予め組み込まれている得点基準を取得する。そして、Ｓ８０４において、Ｓ８０１で算出した制御情報（本例では、特徴量ごとの平均値および標準偏差）を用いて、得点基準を決定する。より詳細には、本実施形態では、以下で説明する式（１）および式（２）が、得点基準として取得され、Ｓ８０１で算出した制御情報（特徴量ごとの平均値および標準偏差）を式（１）に適用することで、得点基準が決定される。その後、Ｓ６０５に進み、画像得点部２０７によるアルバム候補画像群の画像の得点化の処理が行われる。以下、Ｓ６０４で決定される得点基準と、その後のＳ６０５での得点化の処理との例を併せて説明する。本実施形態では、Ｓ６０５では、画像得点部２０７は、はじめに、Ｓ８０１で算出した制御情報を用いた式（１）を用いて、得点化の対象となる画像（「注目画像」という）ごと、かつ特徴量ごとの得点を算出する。尚、得点化の対象となる画像は、アルバム候補画像群の画像である。
Ｓｊｉ＝（５０－１０×｜μｉ―ｆｊｉ｜／σｉ）／σｉ・・・（１）
ここで、ｊは注目画像のインデックスを、ｉは特徴量のインデックスを、ｆｊｉは注目画像の特徴量を、Ｓｊｉは特徴量ｆｊｉに対応する得点を、μｉとσｉはそれぞれユーザ画像群の特徴量ごとの平均値と標準偏差を示している。つまり、図９（ｂ）のような、ユーザ画像群の標準偏差９０５が小さい密な分布となっているような特徴量では、平均値に近い注目画像の特徴量の得点が、平均値から離れた特徴量に比べて高く算出される。一方、図９（ｃ）のような、ユーザ画像群の標準偏差９０７が大きい疎な分布となっているような特徴量では、平均値に近い注目画像の特徴量の得点は、平均値から離れた特徴量に比べて、図９（ｂ）のケースほど、差が生じない。

そして、Ｓ６０５では、画像得点部２０７は、式（１）で求めた、注目画像ごと、かつ特徴量ごとの得点Ｓｊｉと、式（２）と、を用いて、各注目画像の得点を算出する。
Ｐｊ＝Σｉ（Ｓｊｉ）／Ｎｉ・・・（２）
ここで、Ｐｊは各注目画像の得点を、Ｎｉは特徴量の項目数を示している。つまり、各注目画像の得点は、各特徴量の得点の平均として算出される。このように、Ｓ８０４において得点基準決定部２０６は、これらの式（１）および式（２）を得点基準として決定する。その後のＳ６０５において、画像得点部２０７は、上述したように式（１）および式（２）を適用して、各注目画像の得点化を行う。

尚、ここで、アルバムに用いる画像はピントが合っている方が好ましいので、図９に示すピントの特徴量が「〇」である注目画像に対しては所定の得点を加算するようにしても良い。また、ある特定のオブジェクトを有する注目画像に対しては所定の得点を加算するようにしても良い。例えば、動物を含む画像を多く選択したいケースにおいて、動物に属するオブジェクトを含む注目画像に対して所定の得点を加算することで、優先的に選択されるような制御が可能となる。

以上の得点基準によれば、図９（ｂ）における個人ＩＤ１に対する類似性のように、標準偏差σが小さくなる特徴量においては、ユーザ画像群と近い特徴を持つ注目画像ほど、式（１）により算出される得点が高くなる。そのため、ユーザ画像群において密な分布となる特徴量である個人ＩＤ１に対する類似性に関しては、ユーザ画像群と近い特徴を持つ注目画像ほど得点が高くなり、選択されやすくなる。

対して、図９（ｂ）における撮影日時のように、標準偏差σが大きくなるような特徴量においては、平均値μと注目画像の特徴量ｆｊｉとの差分によらず、式（１）により算出される得点は小さくなる。そのため、ユーザ画像群において疎な分布となる特徴量である撮影日時に関しては、注目画像がどのような特徴を持っていても画像選択への影響は小さくなる。

このように、本実施形態における得点基準を用いると、アルバム候補画像群からは、ユーザ画像群に共通する特徴を持つ画像が選択され、レイアウト画像群として統一感のある画像選択が可能となる。

本実施形態では、各注目画像の得点を算出するための得点基準として式（２）を用いたが、これに限定されず、例えば式（３）により、式（１）により算出した各特徴量の得点を重みづけ加算してもよい。
Ｐｊ＝Σｉ（ｗｉ×Ｓｊｉ）／Ｎｉ・・・（３）
ここで、ｗｉは各特徴量に対する重み係数である。これにより、各特徴量が注目画像の得点に与える影響度（寄与率）を変えることができる。例えば、図９において、個人ＩＤ１に対する類似性に対する寄与率を上げ、撮影日時に対する重み寄与率を下げることで、より個人ＩＤ１に対する類似性を重視した得点付けが可能となる。

また、式（１）により算出した各特徴量の得点のうち、最も大きい得点を注目画像の得点とするような得点基準を用いてもよい。これにより、各特徴量のうち、１つ以上の特徴量がユーザ画像群と近い特徴を持つ場合に、高い得点を付与することができる。例えば、図９において、注目画像の個人ＩＤ１に対する類似性以外の特徴量が、撮影日時のようにユーザ画像群と異なる特徴を有する場合でも、注目画像に高い得点を付与することができる。

また、多次元の特徴量空間上において、ユーザ画像群の平均ベクトルと、注目画像のベクトルとの差分をもとに、注目画像の得点を算出するような得点基準を用いてもよい。これにより、全ての特徴量を総合的に鑑みた得点付けが可能となる。例えば、図９（ａ）において、アルバム候補画像９０２は、多次元空間上で平均値ベクトル９０３と近い特徴を持つため、高い得点が付与される。対して、アルバム候補画像９０８は、多次元空間上では平均値ベクトル９０３と異なる特徴を持つため、高い得点は付与されない。すなわち、１つ以上の特徴量がユーザ画像群の平均値ベクトル９０３と異なる特徴を持つ場合に、高い得点が付与されないように制御できる。

本実施形態では、ユーザ画像群の各特徴量の平均および標準偏差を用いて得点基準を決定したが、これに限定されず、例えば式（４）のように、ユーザ画像群の各特徴量およびその標準偏差を用いる得点基準を決定しても良い。
Ｓｊｉ＝Σｋ（５０－１０×｜ｆｋｉ―ｆｊｉ｜／σｉ）／（σｉ×Ｎｋ）・・・（４）
ここで、ｋはユーザ画像のインデックスを、ｆｋｉはユーザ画像の特徴量を、Ｎｋはユーザ画像群に含まれる画像枚数を示している。このようにして、注目画像の特徴量と各ユーザ画像の特徴量とを比較をすることで、より正確に注目画像とユーザ画像群の特徴量の差分を評価できる。

本実施形態においては、制御情報としてユーザ画像群の特徴量の平均値および標準偏差を用いたが、これに限らず、特徴量の中央値、分布形状（正規分布またはポアソン分布など）、四分位範囲、または四分位偏差などを用いてもよい。例えば、ユーザ画像群の特徴量の中央値および標準偏差を用いてもよいし、ユーザ画像群の特徴量の平均値および四分位偏差を用いてもよい。即ち、ユーザ画像群の特徴量の平均値および中央値のうちの少なくとも一方と、標準偏差、四分位偏差、および分布形状のうちの少なくとも一方とを用いてもよい。

再び、図６を参照する。Ｓ６０４に続き、Ｓ６０５では、前述したように、画像得点部２０７は、得点基準決定部２０６で決定された得点基準を取得する。即ち、前述したように、式（１）～（４）に示すような式を、得点基準として取得する。そして、画像得点部２０７は、取得した得点基準に基づいてアルバム候補画像群の各画像に対して得点化を実行する。得点化とは、画像ごとに得点を付与する（スコアリング）ことである。付与された得点は、画像選択部２１１に提供され、後述のレイアウトに用いられる画像の選択時に参照される。

Ｓ６０６では、画像得点部２０７は、ユーザ指定のフォルダ内の全てのアルバム候補画像群の画像に対してＳ６０５の画像得点化が終了したか否かを判定する。終了していないと判定された場合、Ｓ６０５からの処理が繰り返される。終了していると判定された場合、Ｓ６０７に処理が進む。

Ｓ６０７では、画像選択部２１１は、画像得点部２０７で算出した各画像に対する得点から、レイアウトする画像を選択する。以下、選択された画像群のことを、レイアウト画像群という。

本実施形態においては、ユーザ画像群は、全てレイアウトする画像群として選択される。そして、画像選択部２１１は、アルバム作成条件指定部２０１で指定した画像群から、画像得点部２０７で付与された得点が高い画像を選択する。

得点基準決定部２０６および画像得点部２０７において、上述した方法を実行することで、画像選択部２１１での選択においては、ユーザ画像群と近しい特徴を持つ画像が選択されるようになる。

図１０は、画像選択結果の一例を示す図である。図１０（ａ）は、本実施形態における画像選択結果の一例を示している。図１０（ｂ）は、比較例として、本実施形態を用いない場合の画像選択結果の一例を示している。まず、図１０（ａ）を用いて説明する。説明のために、各画像にはＡからＥまでの異なる特徴量に対して、一番得点が高い特徴量を記している。図１０（ａ）では、ＡからＥまでの異なる特徴を有したアルバム候補画像群に対して、ユーザ画像指定部２０２においてＡとＣの特徴を有する画像をユーザ画像群として指定する。すると、画像選択部２１１ではＡとＣの特徴を有する画像がレイアウト画像群として選択される。このようにして、ユーザ画像群からユーザの意図を汲み取り、画像選択に反映することができる。一方、図１０（ｂ）は、ユーザ選択画像が無い場合の画像選択結果の一例を示している。この場合においては、アルバム候補画像群全体の特徴量の傾向をもとに画像を選択するため、画像枚数が多いＡの特徴およびＢの特徴を有する画像が多く選択される結果となる。また、図１０（ｂ）の場合に、仮に図１０（ａ）と同じように、ユーザ指定の画像があったとしても、アルバム候補画像群から自動選択されると、やはり、アルバム候補画像群全体の特徴量の傾向をもとに画像を選択することになる。このため、画像枚数が多いＡの特徴およびＢの特徴を有する画像が多く選択される結果となる。

なお、Ｓ６０７の画像選択処理においては、得点がある閾値以上である画像を選択する。この閾値は、アプリケーションプログラムに事前に組み込んでもよいし、アプリケーション内で設定できるようにしてもよいし、画像群から動的に設定してもよい。画像群から動的に設定するとは、例えば画像群全体の枚数の２割が選ばれるような閾値を求める方法がある。また、選択画像枚数の下限値を設けることで、例えば１見開きにつき最低１枚は画像がレイアウトできるように選択画像枚数を調整してもよい。

なお、画像選択の方法として、得点が高いほど、高い選択確率を設定し、確率で選択するようにしてもよい。このようにして、確率で選択することによって、自動レイアウト処理部２１８による自動レイアウト機能を実行する度にレイアウト画像を変えることができる。例えば、ユーザが自動レイアウト結果に納得しない場合に、後述するレイアウト確認画面（図１２）の画像再選択ボタン１２０４を押すことで、ユーザは前回と異なるレイアウト結果を得ることができる。

また、画像選択部２１１は、ユーザ画像群からレイアウト画像を選択せずに、アルバム作成条件指定部２０１で指定した画像群から、レイアウトする画像を選択してもよい。この方法に依れば、アルバムには載せたくないが、理想的な被写体配置または構図の画像をユーザ画像指定部２０２で指定することで、理想に近い画像を探して選択することが可能となる。

また、アルバム作成条件指定部２０１で指定した画像データ群及びユーザ画像を合わせた画像群から、レイアウトする画像を選択してもよい。この方法に依れば、ユーザ画像群内の画像よりも、よりレイアウトに適切な画像を探して選択する可能性が生まれる。この場合、画像得点部２０７は、アルバム候補画像群だけではなく、ユーザ画像群にも得点付けを実施しておく。

Ｓ６０８では、調整パラメータ決定部２０８は、Ｓ６０７で選択された画像群から調整パラメータを決定し、調整パラメータ指定部２１０に送る。調整パラメータ指定部２１０は受け取った調整パラメータを初期値として、前述した図５で説明した調整パラメータ指定画面５０１に値を設定する。以下、図５を参照しながら、Ｓ６０８の処理を説明する。本実施形態では調整パラメータとして写真枚数５０２、人物写真比率５０３、個人毎の比率５０４のそれぞれを例に挙げて説明する。

写真枚数５０２は、アルバムに配置する写真枚数、すなわちレイアウト画像群の枚数の過不足を表すパラメータである。具体的には、調整パラメータ決定部２０８は、式（５）により、写真枚数パラメータを求める。
写真枚数パラメータ ＝ レイアウト画像群の枚数 ÷ 見開き数 ― 基本写真枚数 ・・・（５）
ここで、基本写真枚数とは見開き１枚に配置する標準的な画像枚数のことで、例えば４枚とする。基本写真枚数はアプリケーションに予め組み込んでおく。調整パラメータ指定部２１０は受け取った写真枚数パラメータをもとに写真枚数５０２の初期値を設定する。例えば、レイアウト画像群の枚数が２８枚で、見開き数が「４」である場合、写真枚数パラメータは、「３」となる。これは、現在の写真枚数（レイアウト画像群の枚数）が、標準的な画像枚数よりも、やや多いことを表すパラメータとなる。

図５（ｂ）は、写真枚数５０２と写真枚数パラメータとを関連付ける方法を説明する図である。本実施形態では、スライダーバーは、５段階の目盛り５０７を有する。また、目盛り５０７には、それぞれに対応する写真枚数パラメータの範囲５０８が定められている。調整パラメータ指定部２１０は、受け取った写真枚数パラメータが該当する目盛りの位置にカーソル５０９を設定することで、ユーザに調整パラメータを提示する。これにより、ユーザは、画像選択部２１１で選ばれたレイアウト画像群がアルバムに対して多めなのか少なめなのかを知ることができる。なお、写真パラメータの範囲５０８は予めアプリケーションに組み込んでもよいし、１見開きに配置できる上限の写真枚数と基本写真枚数とから動的に設定してもよい。

尚、上記の式（５）においては、写真枚数パラメータは、見開き１枚に配置する標準的な画像枚数に対する過不足を求める例を説明したが、これに限らない。例えば、アルバム作成条件指定部２０１により設定されたアルバム候補画像群に対する、レイアウト画像群の画像枚数の過不足を写真枚数パラメータとして求めてもよい。この場合、例えば写真枚数パラメータは、式（６）により求められる。
写真枚数パラメータ ＝ レイアウト画像群の枚数 ÷ アルバム候補画像群の枚数 × １００ ・・・（６）

式（６）により求められる写真枚数パラメータを用いることで、ユーザは、アルバム候補画像群に対しておよそ何％の画像がレイアウト画像群として選ばれたかを知ることができる。尚、本実施形態では調整パラメータ指定部２１０は、写真枚数パラメータを写真枚数５０２のスライダーバーに変換したが、これに限らない。写真枚数５０２を直接レイアウト画像群の枚数と紐づけてもよいし、スライダーバーではなく数値を直接表示および入力できるようにしてもよい。

人物写真比率５０３は、レイアウト画像群における人が写っている写真の比率を表すパラメータである。調整パラメータ決定部２０８は、具体的には、式（７）より人物写真比率パラメータを求める。
人物写真比率パラメータ ＝ 人物写真枚数 ÷ レイアウト画像群の枚数 ・・・（７）
ここで、人物写真枚数は、レイアウト画像群において画像解析部２０５が解析した顔数が１以上の画像枚数である。調整パラメータ指定部２１０は、写真枚数５０２と同様に、調整パラメータ決定部２０８から受け取った人物写真比率パラメータを人物写真比率５０３のスライダーバーに割り当てる。なお、ここではレイアウト画像群の枚数に対する人物写真枚数の割合を人物写真比率パラメータとしたが、アルバム候補画像群中の人物写真枚数を何枚使ったかの割合にしてもよい。

個人比率５０４は、レイアウト画像群における各人物が写っている写真の比率を表すパラメータである。調整パラメータ決定部２０８は、具体的には、式（８）より個人比率パラメータを求める。
個人比率パラメータｋ ＝ 個人ＩＤｋの写真枚数 ÷ 人物写真枚数 ・・・（８）
ここで、ｋは個人ＩＤのインデックスを表す。個人ＩＤｋの写真枚数とは、レイアウト画像群において、画像解析部２０５が解析した個人ＩＤｋが記録されている画像枚数である。調整パラメータ指定部２１０は写真枚数５０２と同様に、調整パラメータ決定部２０８から受け取った個人比率パラメータｋを個人比率５０４のスライダーバーに割り当てる。なお、個人比率５０４のスライダーバーは個人ＩＤの数だけ作成してもよいし、ある閾値以上の数が検出された個人ＩＤのみ作成してもよい。また、調整パラメータ指定部２１０は、スライダーバーに隣接してそのスライダーバーと対応する個人ＩＤの代表顔画像を表示してもよい。

これらの調整パラメータにより、レイアウト画像群の特性をユーザに提示することができる。なお、本実施形態では調整パラメータとして写真枚数、人物写真比率、及び個人比率を例に説明すしたがこれに限らない。例えば、オブジェクト認識の結果を用いて動物写真の比率または花の写真の比率のように、人物以外の要素を用いてもよいし、画像の色味を指定してもよい。また、画像のメタ情報に含まれる位置情報を用いて地図上に撮影位置を表示し、撮影位置の重要度を指定できるようにしてもよい。以上が、Ｓ６０８の初期調整パラメータの決定処理の説明である。

尚、このように決定した初期調整パラメータは、図５に示す調整パラメータ指定画面５０１で表示される。そして、ＯＫボタン５０５が押下されると、Ｓ６０９に処理が進む。尚、Ｓ６０８の時点では、初期調整パラメータの変更は行われないので、ＯＫボタン５０５およびキャンセルボタン５０６を表示せず、所定時間、調整パラメータ指定画面５０１が表示されている状態で、Ｓ６０９に処理が進んでよい。そして、後述するＳ６１２のレイアウト情報の作成まで処理が進められてもよい。レイアウト情報の作成が完了後に、調整パラメータ指定画面５０１から、レイアウトを確認するための後述するレイアウト確認画面（図１２）に遷移してもよい。

あるいは、Ｓ５０８で決定した初期調整パラメータは、Ｓ６０８の初期調整パラメータの決定の時点では、ユーザに提示しなくてもよい。その後、後述するＳ６１２の処理の結果、表示されるレイアウト確認画面（図１２）に併せて、調整パラメータをユーザに提示してもよい。また、本例では、Ｓ６０８での調整パラメータ指定画面５０１では、ユーザは、調整パラメータを変えない場合を想定して処理を説明しているが、Ｓ６０８の初期調整パラメータを提示した際に、ユーザによって調整パラメータの指定があってもよい。この場合、Ｓ６０８に続いて、後述するＳ６１５の処理に進むことになる。

再び図６に戻り説明を続ける。Ｓ６０９では、見開き割当部２１２は、Ｓ６０７で取得したレイアウト画像群を、見開き数入力部２０９から入力された見開き数分の画像群に分割して割り当てる。本実施形態では、レイアウト画像をＳ６０２で取得した撮影時間順に並べ、隣り合う画像間の撮影時間の時間差が大きい場所で分割する。このような処理を、見開き数入力部２０９から入力された見開き数分に分割するまで行う。つまり、（見開き数－１）回の分割を行う。これにより、撮影時間順に画像が並んだアルバムを作成することができる。なお、Ｓ６０９の処理は、見開き単位ではなく、ページ単位で行っても良い。

Ｓ６１０では、画像レイアウト部２１４は、画像レイアウトの決定を行う。以下、テンプレート入力部２１３が、指定されたテンプレート情報に従って、ある見開きに対して図１１の（ａ）～（ｐ）を入力する例を説明する。

図１１は、画像データのレイアウトに使うテンプレート群を示す図である。テンプレート群に含まれている複数のテンプレートのそれぞれが、各見開きに対応している。テンプレート１１０１は１枚のテンプレートである。テンプレート１１０１には、メインスロット１１０２と、サブスロット１１０３と、サブスロット１１０４とが含まれる。メインスロット１１０２は、テンプレート１１０１内でメインとなるスロット（画像をレイアウトする枠）であり、サブスロット１１０３およびサブスロット１１０４よりもサイズが大きい。

ここでは、入力されたテンプレートのスロット数は一例として３と指定されている。選択されている３枚の画像の向きが縦方向か横方向かを撮影日時について並べると、図１１（ｑ）のようであるとする。

ここでは、見開きに割り当てられた各画像群において、画像得点部２０７で算出した得点が最も大きい画像をメインスロット用とし、その他の画像をサブスロット用に設定する。なお、画像解析部で取得したある特徴量に基づいてメインスロット用かサブスロット用かを設定してもよいし、ランダムに設定しても良い。また、ユーザ選択画像を優先的にメインスロットにしてもよい。

ここでは、画像データ１１０５がメインスロット用であり、画像データ１１０６と１１０７がサブスロット用であるものとする。本実施形態では、テンプレートの左上に撮影日時のより古い画像データがレイアウトされ、右下に撮影日時のより新しい画像がレイアウトされる。図１１（ｑ）では、メインスロット用の画像データ１１０５は、撮影日時が一番新しいので、図１１（ｉ）～（ｌ）のテンプレートが候補となる。また、サブスロット用の古い方の画像データ１１０６が縦画像であり、新しい方の画像データ１１０７が横画像であるので、結果、図１１（ｊ）のテンプレートが、選択された３つの画像データに最も適したテンプレートとして決定され、レイアウトが決まる。Ｓ６１０では、どの画像をどのテンプレートのどのスロットにレイアウトするかが決定される。

Ｓ６１１では、画像補正部２１７は、画像補正を実行する。画像補正部２１７は、画像補正条件入力部２１６から画像補正がＯＮであることを示す情報が入力された場合、画像補正を実行する。画像補正として、例えば、覆い焼き補正（輝度補正）、赤目補正、またはコントラスト補正が実行される。画像補正部２１７は、画像補正条件入力部２１６から画像補正がＯＦＦであることを示す情報が入力された場合、画像補正を実行しない。画像補正は、例えば、短辺１２００画素で、ｓＲＧＢの色空間にサイズが変換された画像データに対しても実行可能である。

Ｓ６１２では、レイアウト情報出力部２１５は、レイアウト情報を作成する。画像レイアウト部２１４は、Ｓ６１０で決定されたテンプレートの各スロットに対して、Ｓ６１１の画像補正が実行された画像データをレイアウトする。このとき、画像レイアウト部２１４は、スロットのサイズ情報に合わせてレイアウトする画像データを変倍してレイアウトする。そして、レイアウト情報出力部２１５は、テンプレートに画像データがレイアウトされたビットマップデータを、出力画像データとして生成する。

Ｓ６１３では、画像レイアウト部２１４は、Ｓ６１０～Ｓ６１２の処理が全ての見開きに対して終了したか否かを判定する。終了していないと判定された場合、Ｓ６１０からの処理を繰り返す。終了していると判定された場合、Ｓ６１４に遷移する。

Ｓ６１４では、自動レイアウト処理部２１８は、Ｓ６０９～Ｓ６１３の処理で作成されたレイアウト情報を作り直すか否かを判定する。即ち、レイアウト処理が完了したか否かを判定する。レイアウト処理が完了していない（即ち、レイアウト情報を作り直す）と判定された場合、Ｓ６１５に遷移する。レイアウト処理が完了したと判定された場合、図６の自動レイアウト処理は終了する。レイアウト情報を作り直すか否かの判定は、例えばレイアウト確認画面の画像再選択ボタンをユーザが押下したか否かで判定する。

図１２は、レイアウト確認画面の一例を示す図である。レイアウト確認画面１２０１（第４の画面）では、上部にフォトアルバムの各見開きのサムネイルが表示されるサムネイル表示領域１２０２が設けられ、下部にレイアウト画であるフォトアルバム１２０３の表示領域が設けられている。このように、レイアウト確認画面１２０１では、レイアウト情報出力部２１５が、Ｓ６１２で生成された、画像がテンプレートにレイアウトされたビットマップデータ（出力画像データ）をディスプレイ１０５に表示する。よって、ユーザがレイアウト結果を確認できるようになっている。ユーザが、画像再選択ボタン１２０４を押すと、Ｓ６１５に遷移する。

Ｓ６１５では、調整パラメータ指定部２１０は、調整パラメータ指定画面５０１をディスプレイ１０５に表示する表示制御を行う。この時、調整パラメータ指定画面５０１には、Ｓ６０８で決定した調整パラメータの値を反映して表示する。ユーザは調整パラメータ指定画面５０１を操作することで調整パラメータを指定する。これにより、ユーザはレイアウト画像群をどのように調整可能かを知ることができ、調整パラメータを変化させてもレイアウト画像群が変わらない状況を避けることができる。調整パラメータ指定部２１０は、ＯＫボタン５０５が押下された時点の調整パラメータを画像得点部２０７に送る。

Ｓ６１６では、画像得点部２０７は、Ｓ６０４で決定された得点基準およびＳ６１５で指定された調整パラメータに基づいて、アルバム候補画像群の各画像に対して再度得点化を実行する。Ｓ６０５では得点基準に基づいて得点を付けたが、Ｓ６１６ではさらに調整パラメータに基づいて得点を調整する。本実施形態では写真枚数パラメータ、人物写真比率パラメータ、及び個人比率パラメータを例に説明する。

アルバムに使用する選択画像の総枚数の目標値であるレイアウト目標値を式（９）で算出する。レイアウト画像群中の人物写真の枚数である人物写真目標値を、式（１０）で算出する。人物写真群中の各個人毎の画像枚数の目標値である個人ＩＤ目標値を、式（１１）で算出する。個人ＩＤ目標値は各個人毎に求める。
レイアウト目標値 ＝ （写真枚数パラメータ ＋ 基本写真枚数）×見開き数 ・・・（９）
人物写真目標値 ＝ レイアウト画像群の枚数 × 人物写真比率パラメータ ・・・（１０）
個人ＩＤ目標値 ＝ 人物写真枚数 × 個人ＩＤ比率パラメータ ・・・（１１）

図１３は、得点調整を説明する図である。図１３を用いて個人写真比率パラメータによる得点調整の方法を説明する。図１３は、画像に付けられた得点Ｐを軸として、各個人ＩＤが記録されている画像を軸上にプロットした模式図である。軸１３０１は、個人ＩＤ１が記録されている画像を表している。軸１３０２は、個人ＩＤ２が記録されている画像を表している。なお、画像に複数の個人が写っている場合は、同じ画像がそれぞれの個人ＩＤにプロットされる。ここでは説明のため、式（１０）により人物写真目標値が１０枚、式（１１）により個人ＩＤ１目標値が６枚、個人ＩＤ２目標値が４枚であったとして説明する。

点１３０３は、個人ＩＤ１の画像のうち、個人ＩＤ１目標値である上位６番目の画像の得点Ｐ_mを示しており、点１３０４は、個人ＩＤ２の得点のうち、個人ＩＤ２目標値である上位４番目の画像の得点Ｐ_nを示している。画像得点部２０７はＰ_mおよびＰ_nを揃えるように軸１３０１の画像群または軸１３０２の画像群に得点を加算する。ここでは、個人ＩＤ１の画像群である軸１３０１の画像全てにＰ_n―Ｐ_mを加算する。軸１３０５は、得点を加算した後の個人ＩＤ１の画像をプロットした状態を表しており、加算後の得点をＰ´_mとすると、Ｐ´_m＝Ｐ_m＋（Ｐ_n―Ｐ_m）＝Ｐ_nとなっている。

これにより、人物写真の得点上位から１０枚を選んだ際に、個人ＩＤ１の画像を６枚、個人ＩＤ２の画像を４枚選ぶことができる。なお、ここでは個人ＩＤが２つの場合で説明したが、複数の場合でも同様に個人ＩＤ毎の目標値が式（１１）で求めた目標値に近づくように加算すればよい。

次に、人物写真比率パラメータによる得点調整の方法を説明する。レイアウト画像群のうち、人物が写っている画像と、人物が写っていない画像とを、それぞれ得点Ｐを軸として並べる。式（９）および式（１０）から、非人物写真枚数の目標値は、「レイアウト目標値―人物写真目標値」である。そのため、上述した個人写真比率パラメータによる得点調整と同様に、得点上位からレイアウト目標値分の画像を選択した際に、人物写真の枚数と非人物写真の枚数とがそれぞれ目標値に近づくように得点加算を行う。

最後に、写真枚数パラメータで指定された枚数の画像が選ばれるように、アルバム候補画像群全体の得点に加算を行う。本実施形態では、画像選択部２１１が用いる閾値をＰ_thr、アルバム候補画像群の得点を降順に並べた際に、レイアウト目標値に位置する得点がＰ_targetとすると、加算値はＰ_thr―Ｐ_targetとする。

得点基準決定部２０６で決定される得点基準は、様々な特徴量が複合的に影響しているため、多くの場合、単純にユーザに提示できる指標ではない。しかし、上述した処理により調整パラメータ指定部２１０でアルバムに重要な指標を調整パラメータとして指定して得点調整をすることにより、ユーザの意図を汲んだ調整ができる。

図６に戻り説明を続ける。Ｓ６１７では、画像選択部２１１は、Ｓ６１６で算出した各画像に対する得点から、Ｓ６０７と同様にレイアウト画像群を再選択し、Ｓ６０９からの処理を繰り返す。

図６の自動レイアウト処理が終了すると、レイアウト情報出力部２１５は、Ｓ６１２で生成された、画像がテンプレートにレイアウトされたビットマップデータ（出力画像データ）を、ディスプレイ１０５に出力する。即ち、図１２のレイアウト確認画面１２０１を表示させる。以上が、ユーザが調整パラメータを指定することで画像を再選択する自動レイアウト処理フローに関する説明である。なお、生成された画像データは、ユーザ指示に基づき、インターネットを介してサーバにアップロードされてもよい。アップロードされた画像データに基づき、印刷及び製本処理が実行され、冊子としてのアルバム（フォトブック）が作られ、ユーザの元へ届けられる。

以上説明したように、本実施形態によれば、ユーザの意図に沿う画像を適切に選択することができる。より具体的には、本実施形態では、画像選択結果を基に調整パラメータの初期値を決定することで、画像選択結果の状態をユーザに示すことができる。本実施形態では、ユーザ画像群のユーザ画像に基づいてレイアウト画像群が自動的に選択されるが、この選択結果の調整を、ユーザが自身の意図に沿って行うことができる。このため、調整パラメータをユーザが再調整することで、ユーザの意図を汲んだ調整を行うことができる。この結果、ユーザの意図に沿う画像を適切に選択することができる。尚、本実施形態では、レイアウト画像群の全体の傾向ではなく、ユーザ画像群のユーザ画像に基づいてレイアウト画像群が自動的に選択された選択結果を調整する。このため、例えば、レイアウト画像群の全体の傾向が、ユーザ画像群の傾向と異なっている場合であっても、ユーザ画像群に応じて、画像枚数および各オブジェクトの出現頻度が選択結果として現れる。このような選択結果を、さらにユーザが調整パラメータを調整することで、さらに、よりユーザの意図を汲んだ調整を行うことができる。

＜＜第２実施形態＞＞
第１実施形態では、調整パラメータ指定部２１０で指定した調整パラメータに基づいて得点を調整する例を説明した。第２実施形態では、調整パラメータ指定部２１０で指定した調整パラメータに基づいて得点基準を調整する例を説明する。

図１４は、第２実施形態におけるアルバム作成アプリケーションのソフトウェアブロック図である。図２と同じ番号を付した構成は、第１実施形態で説明した処理と同様の処理を実施するため、ここでは説明を割愛する。

調整パラメータ指定部１４０１は、調整パラメータ指定部２１０と同様に調整パラメータ指定画面５０１をディスプレイ１０５に表示することでユーザに調整パラメータを指定させる。なお、本実施形態において、調整パラメータの初期値は、自動レイアウト処理の前にユーザに指定させてもよいし、アプリケーションに事前に組み込まれた初期値を用いてもよい。また、第１実施形態で説明したように、最初に選択されたレイアウト画像群の画像に応じて決定されてもよい。指定された調整パラメータは、得点基準決定部１４０２に出力する。

得点基準決定部１４０２は、画像解析部２０５から取得した各特徴量の内、ユーザ画像指定部２０２で指定されたユーザ画像群の特徴量を用いるのに加えて、調整パラメータ指定部１４０１で指定された調整パラメータを用いて得点基準を決定する。得点基準決定部１４０２は、決定した得点基準を画像得点部１４０３に出力する。

画像得点部１４０３は、得点基準決定部１４０２から取得した得点基準および画像解析部２０５から取得した特徴量を用いてアルバム候補画像群の各画像に対して得点付けを行う。

図１５は、本実施形態におけるアルバム作成アプリケーションの自動レイアウト処理部２１８の処理を示すフローチャートである。なお、図５と同じ番号を付した処理では、第１実施形態で説明した処理と同様の処理を実施するため、ここでは説明を割愛する。

Ｓ５０１～Ｓ５０３において画像解析が終了すると、Ｓ１５０１に進む。Ｓ１５０１では、得点基準決定部１４０２は、ユーザ画像群の画像ＩＤに対応する特徴量および調整パラメータに基づいて、画像得点部１４０３で使用する得点基準を決定する。

図１６は、Ｓ１５０１における得点基準決定処理の詳細を示すフローチャートである。尚、図１６において図８と同じ番号で示す処理は、図８と同様の処理を実施するため、ここでは説明を割愛する。尚、Ｓ８０４で決定する得点基準のことを、第一の得点基準と呼ぶ。Ｓ８０４で第一の得点基準を決定した後、Ｓ１６０１に進む。

Ｓ１６０１では、得点基準決定部１４０２は、調整パラメータ指定部１４０１から調整パラメータを取得する。本実施形態では、調整パラメータとして写真枚数パラメータ、人物写真比率パラメータ、及び人物比率パラメータを用いる。なお、第１実施形態の例とは異なり、本実施形態では、各調整パラメータは、標準的な設定からの変化を表す。例えば調整パラメータ指定画面５０１における写真枚数５０２のスライダーバーが５段階で、スライダーバーの中心を標準設定とすると、写真枚数調整パラメータは―２～＋２の値を取る。なお、ここでスライダーバーのステップ及び標準設定は、予めプログラムに設定されているものとする。また、スライダーバーに限らず、例えばチェックボックスによるＯＮ及びＯＦＦを調整パラメータの０及び１にそれぞれ割り当ててもよい。

Ｓ１６０２では、得点基準決定部１４０２は、第二の得点基準を決定する。Ｓ８０４で決定した第一の得点基準は、ユーザが選択したユーザ画像の特徴量に基づく得点基準である。一方、第二の得点基準は、Ｓ１６０１で取得した調整パラメータに基づいて決定される得点基準である。本実施形態では、写真枚数パラメータ、人物写真比率パラメータ、及び人物比率パラメータのそれぞれに基づく得点基準を、第二の得点基準として決定する。そして、その後、Ｓ１６０３では、これらの第一の得点基準と第二の得点基準とを用いて、画像得点部１４０３で用いられる得点基準が決定されることになる。以下、第二の得点基準の決定処理を説明する。

図１７は、第二の得点基準決定処理を説明するフローチャートである。Ｓ１７０１では、得点基準決定部１４０２は、画像解析部２０５が解析したアルバム候補画像群の各画像の特徴量を取得する。ここでは、顔面積を取得する。顔面積とは、注目画像において画像解析部２０５が検出した顔領域の面積を表す。なお、画像解析部２０５で検出した顔領域の面積は画像サイズに依存するため、顔領域の面積を画像サイズで割って正規化した数値を顔面積としてもよい。

Ｓ１７０２では、得点基準決定部１４０２は、写真枚数パラメータに紐づく得点基準^SＳを、式（１２）および式（１３）より決定する。
Ｒ＝０．３×ΣＰｊ ・・・（１２）
^SＳ＝写真枚数パラメータ×Ｒ ・・・（１３）
ここで、Ｒは、写真枚数パラメータが得点に影響する影響度を表しており、式（１２）の係数０．３を変更することで影響度を調整できる。本実施形態においては、予めアプリケーションに組み込んでおくが、指定できるようにしてもよい。Ｐｊは、第１実施形態で説明したように、各注目画像の得点を示している。式（１３）により、全体の得点を調整することで、写真枚数の調整ができる。

Ｓ１７０３では、得点基準決定部１４０２は、人物写真比率パラメータに紐づく得点基準^FＳを、式（１４）より決定する。
^FＳ＝人物写真比率パラメータ×Ｒ×（顔面積－顔面積の平均値）÷顔面積の標準偏差 ・・・（１４）
ここで、顔面積の平均値および顔面積の標準偏差とは、アルバム候補画像群の全画像に対する顔面積の平均値および標準偏差を表す。

Ｓ１７０４では、得点基準決定部１４０２は、個人写真比率パラメータに紐づく得点基準^PkＳを、式（１５）より決定する。
^PkＳ＝個人写真比率パラメータ×Ｒ×（個人ＩＤｋの顔面積－個人ＩＤｋの顔面積の平均値）÷個人ＩＤｋの顔面積の標準偏差 ・・・（１５）
ここで、個人ＩＤｋの顔面積の平均値および標準偏差とは、アルバム候補画像群の全画像に対する個人ＩＤｋの顔面積の平均値と標準偏差を表す。なお、^PkＳは調整パラメータ指定画面５０１で指定された人物の数Ｎｐ分計算する。このようにして、写真枚数パラメータ、人物写真比率パラメータ、及び人物比率パラメータのそれぞれに基づく得点基準が、第二の得点基準として決定される。図１６に戻る。

Ｓ１６０３では、得点基準決定部１４０２は第一の得点基準と第二の得点基準とを合わせて画像得点部１４０３で使用する得点基準を決定する。ここでは、第一の得点基準と第二の得点基準とを加算した式（１５）を最終的な得点基準とする。
Ｑｊ＝Ｐｊ＋^SＳｊ＋^FＳｊ＋Σ［ｋ＝１．．Ｎｐ］^PkＳｊ／Ｎｐ・・・（１５）
ここで、Ｑｊは、各注目画像の得点を表している。これによりユーザ選択画像群によるユーザの意図を反映した得点に加え、調整パラメータをも反映した得点付けができるようになる。なお、ここでは、式（２）または（３）、並びに、式（１３）、式（１４）、及び式（１５）を一律に加算したが、各得点に重みを付けて加算することで重視する得点を変えてもよい。以上が、Ｓ１５０１の得点基準決定処理の説明である。図１５に戻る。

Ｓ１５０２では、画像得点部１４０３は、得点基準決定部１４０２で決定された得点基準を取得し、得点基準に基づいてアルバム候補画像群の各画像に対して得点化を実行する。付与された得点は、画像選択部２１１に提供される。その他の処理は、第１実施形態で説明した例と同様である。尚、本実施形態では、Ｓ５１５で調整パラメータの指定後に、再度、Ｓ１５０１の得点基準決定処理が行われることになる。尚、１回目のＳ１５０１の得点基準決定処理では、第１実施形態で説明したように、調整パラメータ指定画面５０１を表示してもよいし、しなくてもよい。

以上説明したように、本実施形態によれば、ユーザ画像群に基づく第一の得点基準と調整パラメータに基づく第二の得点基準という２つの観点で決定される得点基準を用いる。これにより、ユーザ画像からのユーザの意図を汲みつつユーザの手動での調整も反映することができる。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
２０１ アルバム作成条件指定部
２０２ ユーザ画像指定部
２０５ 画像解析部
２０６ 得点基準決定部
２０７ 画像得点部
２１０ 調整パラメータ指定部
２１１ 画像選択部

Claims (23)

1. コンピュータを、
   第１の画像群を指定する第１の指定手段と、
   第２の画像群を指定する第２の指定手段と、
   前記第１の画像群および前記第２の画像群に含まれる各画像を解析する解析手段と、
   前記第２の画像群の解析結果に基づいて、画像に得点を付与する得点基準を決定する決定手段と、
   前記得点基準と前記第１の画像群の解析結果とに基づいて前記第１の画像群の得点化を実施する得点化手段と、
   前記得点に基づいて前記第１の画像群から第３の画像群を選択する選択手段と、
   前記選択手段によって選択された第３の画像群を調整するための調整パラメータを指定可能な指定手段と、
   として機能させるためのプログラム。
2. 前記得点化手段は、前記指定手段で指定された調整パラメータにさらに基づいて、前記得点化を実施することを特徴とする請求項１に記載のプログラム。
3. 前記得点化手段は、前記得点基準に基づいて実施した得点を、前記調整パラメータに基づいて調整することを特徴とする請求項２に記載のプログラム。
4. 前記決定手段は、前記指定手段で指定された調整パラメータにさらに基づいて、前記得点基準を決定することを特徴とする請求項１に記載のプログラム。
5. 前記決定手段は、
   前記第２の画像群の解析結果に基づいて第１の得点基準を決定し、
   前記調整パラメータに基づいて第２の得点基準を決定し、
   前記第１の得点基準と前記第２の得点基準とに基づいて、前記得点基準を決定することを特徴とする請求項４に記載のプログラム。
6. 前記選択手段が選択した画像に基づいて前記調整パラメータの初期値を決定する第二決定手段をさらに備えることを特徴とする請求項１乃至５のいずれか一項に記載のプログラム。
7. 前記指定手段は、前記第二決定手段が決定した前記調整パラメータの初期値を設定した画面を表示部に表示させ、前記表示部を介した前記調整パラメータの指定を受け付けることを特徴とする請求項６に記載のプログラム。
8. 前記指定手段によって指定される前記調整パラメータが変更された場合、
   前記選択手段は、前記変更された調整パラメータが反映された第３の画像群を選択することを特徴とする請求項７に記載のプログラム。
9. 前記調整パラメータは、さらに前記第１の画像群に基づいて決定されることを特徴とする請求項１乃至８のいずれか一項に記載のプログラム。
10. 前記調整パラメータは、前記選択手段が選択する画像の枚数、選択する画像に人が含まれている画像の比率、選択する画像に特定の人物が写っている画像の比率、のうち少なくともいずれか一つを含むことを特徴とする、請求項１乃至９のいずれか一項に記載のプログラム。
11. 前記得点化手段は、前記解析結果の種類ごとに求められた得点の平均値を各画像の得点として付与し、
    前記選択手段は、前記得点が高い画像から画像を選択することを特徴とする請求項１乃至１０のいずれか一項に記載のプログラム。
12. 前記得点化手段は、前記解析結果の種類ごとに求められた得点のうち、最も高い得点を各画像の得点として付与し、
    前記選択手段は、前記得点が高い画像から画像を選択することを特徴とする請求項１乃至１１のいずれか一項に記載のプログラム。
13. 前記解析手段は、各画像に付与されているメタ情報を解析結果として出力することを特徴とする請求項１乃至１２のいずれか一項に記載のプログラム。
14. 前記メタ情報には、撮影日時の情報が含まれることを特徴とする請求項１３に記載のプログラム。
15. 前記解析手段は、各画像から解析して得られる画像特徴であるピントの合焦度合い、顔検出の結果、およびオブジェクトを判別の結果のうち、少なくとも１つの画像特徴を解析結果として出力することを特徴とする請求項１乃至１４のいずれか一項に記載のプログラム。
16. 前記選択手段は、前記第２の画像群から少なくとも１枚の画像を選択することを特徴とする請求項１乃至１５のいずれか一項に記載のプログラム。
17. 前記第２の画像群は、前記第１の画像群に含まれることを特徴とする請求項１乃至１６のいずれか一項に記載のプログラム。
18. 前記コンピュータを、
    前記選択手段により選択された画像を用いて商材を作成する作成手段としてさらに機能させることを特徴とする請求項１乃至１７のいずれか一項に記載のプログラム。
19. コンピュータを、
    第１の画像群を指定する第１の画面と、
    第２の画像群を指定する第２の画面と、
    前記第２の画像群の解析結果に基づいて決定された得点基準を用いて前記第１の画像群から選択された第３の画像群の選択結果の状態を示す調整パラメータを提示する第３の画面と、
    を表示部に表示させる表示制御手段と、
    前記第３の画面を介して前記調整パラメータの変更を指定可能な指定手段と、
    として機能させ、
    前記表示制御手段は、前記指定手段によって前記調整パラメータが変更された場合、変更された調整パラメータをさらに用いて再選択された第３の画像群の選択結果を示す第４の画面を前記表示部に表示させることを特徴とするプログラム。
20. 第１の画像群を指定する第１の指定手段と、
    第２の画像群を指定する第２の指定手段と、
    前記第１の画像群および前記第２の画像群に含まれる各画像を解析する解析手段と、
    前記第２の画像群の解析結果に基づいて、画像に得点を付与する得点基準を決定する決定手段と、
    前記得点基準と前記第１の画像群の解析結果とに基づいて前記第１の画像群の得点化を実施する得点化手段と、
    前記得点に基づいて前記第１の画像群から第３の画像群を選択する選択手段と、
    前記選択手段によって選択された第３の画像群を調整するための調整パラメータを指定可能な指定手段と、
    を有することを特徴とする画像処理装置。
21. 第１の画像群を指定する第１の画面と、
    第２の画像群を指定する第２の画面と、
    前記第２の画像群の解析結果に基づいて決定された得点基準を用いて前記第１の画像群から選択された第３の画像群の選択結果の状態を示す調整パラメータを提示する第３の画面と、
    を表示部に表示させる表示制御手段と、
    前記第３の画面を介して前記調整パラメータの変更を指定可能な指定手段と、
    を有し、
    前記表示制御手段は、前記指定手段によって前記調整パラメータが変更された場合、変更された調整パラメータをさらに用いて再選択された第３の画像群の選択結果を示す第４の画面を前記表示部に表示させることを特徴とする画像処理装置。
22. 第１の画像群を指定する第１の指定工程と、
    第２の画像群を指定する第２の指定工程と、
    前記第１の画像群および前記第２の画像群に含まれる各画像を解析する解析工程と、
    前記第２の画像群の解析結果に基づいて、画像に得点を付与する得点基準を決定する決定工程と、
    前記得点基準と前記第１の画像群の解析結果とに基づいて前記第１の画像群の得点化を実施する得点化工程と、
    前記得点に基づいて前記第１の画像群から第３の画像群を選択する選択工程と、
    前記選択工程によって選択された第３の画像群を調整するための調整パラメータを指定可能な指定工程と、
    を有することを特徴とする画像処理方法。
23. 第１の画像群を指定する第１の画面と、
    第２の画像群を指定する第２の画面と、
    前記第２の画像群の解析結果に基づいて決定された得点基準を用いて前記第１の画像群から選択された第３の画像群の選択結果の状態を示す調整パラメータを提示する第３の画面と、
    を表示部に表示させる表示制御工程と、
    前記第３の画面を介して前記調整パラメータの変更を指定可能な指定工程と、
    を有し、
    前記表示制御工程は、前記指定工程によって前記調整パラメータが変更された場合、変更された調整パラメータをさらに用いて再選択された第３の画像群の選択結果を示す第４の画面を前記表示部に表示させることを特徴とする画像処理方法。

Images