JP2022086519A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】ユーザの意図に沿う画像を適切に選択すること。【解決手段】プログラムは、コンピュータを、第１の画像群を指定する第１の指定手段と、第２の画像群を指定する第２の指定手段と、前記第１の画像群および前記第２の画像群に含まれる各画像を解析する解析手段と、前記第２の画像群の解析結果に基づいて基準を決定する決定手段と、前記基準と前記第１の画像群の解析結果とに基づいて前記第１の画像群から画像を選択する選択手段と、として機能させる。【選択図】図５

Description

本発明は、複数の画像の中から所定の基準に従って１つ以上の画像を選択する技術に関する。

複数の画像の中からアルバム作成のための画像を自動で選択し、アルバムのテンプレートを自動で決定し、テンプレートへの画像の自動割り当てを実施する自動レイアウト技術がある。

特許文献１には、類似度がしきい値以上の画像同士の集まりとなるように、アルバム候補の複数の画像を、複数の画像群に分類し、分類された複数の画像群に含まれる画像の中から画像を抽出する技術が開示されている。特許文献１では、分類された後の画像群に含まれる画像数の割合によって、または、各画像群の抽出割合をユーザが指定することによって、各画像群から抽出する画像の割合を決定している。

特開２０２０－０４６９０２号公報

特許文献１に記載の方法では、ユーザの意図に沿う画像が適切に選択されない虞がある。

本発明は、ユーザの意図に沿う画像を適切に選択する技術を提供することを目的とする。

本発明の一態様に係るプログラムは、コンピュータを、第１の画像群を指定する第１の指定手段と、第２の画像群を指定する第２の指定手段と、前記第１の画像群および前記第２の画像群に含まれる各画像を解析する解析手段と、前記第２の画像群の解析結果に基づいて基準を決定する決定手段と、前記基準と前記第１の画像群の解析結果とに基づいて前記第１の画像群から画像を選択する選択手段と、として機能させる。

本発明によれば、ユーザの意図に沿う画像を適切に選択することができる。

画像処理装置のハードウェアの構成を示すブロック図である。 アルバム作成アプリケーションのソフトウェアブロック図である。 アルバム作成アプリケーションが提供する表示画面を示す図である。 アルバム作成アプリケーションが提供する表示画面を示す図である。 自動レイアウト処理を示すフローチャートである。 特徴量を示す図である。 特徴量空間上での特徴量を示す図である。 得点基準決定フローの処理を示すフローチャートである。 画像選択の結果の一例を示す図である。 画像データのレイアウトに使うテンプレート群を示す図である。 得点基準を説明する図である。 得点基準決定フローの処理を示すフローチャートである。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

＜＜第１実施形態＞＞
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション（以下、「アプリ」ともいう）を動作させ、自動レイアウトを生成する方法を例に挙げて説明する。なお、以下の説明において、「画像」とは、特に断りが無い限り、静止画、動画、及び動画中から抜き出されたフレーム画像を含む。また、ここでの画像は、ネットワーク上のサービス及びネットワーク上のストレージ等のネットワーク上に保持され、ネットワーク経由で取得可能な、静止画、動画、及び動画中のフレーム画像をも含みうる。

図１は、画像処理装置のハードウェアの構成を示すブロック図である。なお、画像処理装置１００としては、例えば、パーソナルコンピュータ（以下、ＰＣと記載）またはスマートフォン等が挙げられる。本実施形態では、画像処理装置は、ＰＣであるものとして説明する。画像処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、ディスプレイ１０５、キーボード１０６、ポインティングデバイス１０７、及びデータ通信部１０８を有する。

ＣＰＵ（中央演算装置／プロセッサ）１０１は、画像処理装置１００を統括的に制御し、例えば、ＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み出して実行することにより、本実施形態の動作を実現する。図１では、ＣＰＵは１つであるが、複数のＣＰＵで構成されても良い。ＲＯＭ１０２は、汎用的なＲＯＭであり、例えば、ＣＰＵ１０１により実行されるプログラムが記憶されている。ＲＡＭ１０３は、汎用的なＲＡＭであり、例えば、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのワーキングメモリとして用いられる。ＨＤＤ（ハードディスク）１０４は、画像ファイル、及び、画像解析などの処理結果を保持するデータベース、ならびに、アルバム作成アプリケーションにより用いられるテンプレートなどを記憶するための記憶媒体（記憶部）である。

ディスプレイ１０５は、本実施形態のユーザインタフェース（ＵＩ）、及び、画像データ（以下、「画像」ともいう）のレイアウト結果として電子アルバムをユーザに表示する。キーボード１０６及びポインティングデバイス１０７は、ユーザからの指示操作を受け付ける。ディスプレイ１０５は、タッチセンサ機能を備えても良い。キーボード１０６は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上に作成したいアルバムの見開き数を入力する際に用いられる。ポインティングデバイス１０７は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上のボタンをクリックする際に用いられる。

データ通信部１０８は、有線又は無線等のネットワークを介した外部の装置との通信を行う。データ通信部１０８は、例えば、自動レイアウト機能によりレイアウトされたデータを画像処理装置１００と通信可能なプリンタ又はサーバに送信する。データバス１０９は、図１の各ブロック間を相互に通信可能に接続する。

尚、図１に示す構成は、一例に過ぎず、これに限られるものではない。例えば、画像処理装置１００は、ディスプレイ１０５を有しておらず、外部のディスプレイにＵＩを表示してもよい。

本実施形態におけるアルバム作成アプリケーションは、ＨＤＤ１０４に保存されている。そして、後述するようにユーザがディスプレイ１０５に表示されているアプリケーションのアイコンをポインティングデバイス１０７により選択して、クリックまたはダブルクリックするといった操作によって起動される。

図２は、アルバム作成アプリケーションのソフトウェアブロック図である。アルバム作成アプリケーションは、アルバム作成条件指定部２０１、ユーザ画像指定部２０２、および自動レイアウト処理部２１８を有する。自動レイアウト処理部２１８は、画像取得部２０３、画像変換部２０４、画像解析部２０５、得点基準決定部２０６、画像得点部２０７、写真枚数調整量入力部２０８、見開き数入力部２０９、及び写真枚数決定部２１０を有する。さらに、画像選択部２１１、見開き割当部２１２、テンプレート入力部２１３、画像レイアウト部２１４、レイアウト情報出力部２１５、画像補正条件入力部２１６、及び画像補正部２１７を有する。

図２に示す各構成要素に対応する各プログラムモジュールが、上述のアルバム作成アプリケーションに含まれている。そして、ＣＰＵ１０１が各プログラムモジュールを実行することで、ＣＰＵ１０１が図２に示す各構成要素として機能する。以降、図２に示す各構成要素の説明として、各構成要素が種々の処理を実行するものとして説明する。また図２は、特に、自動レイアウト機能を実行する自動レイアウト処理部２１８に関するソフトウェアブロック図を示している。

アルバム作成条件指定部２０１は、ポインティングデバイス１０７によるＵＩ操作に応じてアルバム作成条件を自動レイアウト処理部２１８に指定する。本実施形態では、アルバム作成条件として、アルバムに使用する候補画像を含むアルバム候補画像群（第一の画像群ともいう）、見開き数、テンプレートの種類、及びアルバムに画像補正をするか否かを指定可能である。また、アルバムに配置する枚数を調整する写真枚数調整量、及び、アルバムを作成する商材を指定可能である。アルバム候補画像群の指定は、例えば撮影日時などの個別の画像の付随情報、または、属性情報によって指定されてもよいし、デバイスおよびディレクトリ等のように画像を含むファイルシステムの構造に基づいて指定されてもよい。また、任意の画像を２枚指定させ、それぞれの画像データが撮影された日時の間に撮影された全ての画像を対象の画像群としてもよい。なお、本明細書において、「見開き」とは、表示においてはひとつの表示用ウィンドウに相当し、印刷物においては、本を開いた際にユーザが一度に鑑賞可能な互いに隣接する１対のページ（つまり２ページ分）に相当する。なお、見開き内の２ページは、それぞれ異なる用紙に印刷されたものが隣接するよう綴じられることで見開きを形成する場合と、１枚の用紙に印刷されたものが真ん中で折られることで見開きを形成する場合と、がある。

ユーザ画像指定部２０２は、ユーザの趣味または嗜好を表す、アルバムに採用したいユーザ画像群（第二の画像群ともいう）を、ユーザに指定させる。ユーザ画像群としては、１枚以上かつ写真枚数決定部２１０で決定する写真枚数以下の選択を可能とする。また、過去に作成したアルバムで使用された画像群をＨＤＤ１０４またはデータ通信部１０８を介してアクセスできるクラウドに保存しておき、上記指定方法に加えて、その画像群の中からユーザに指定させてもよい。ここで指定する画像は、アルバム作成条件指定部２０１で指定した画像に含まれていてもよいし、含まれていなくてもよい。つまり、ユーザ画像群は、アルバム候補画像群に含まれていてもよいし、含まれていなくてもよい。

画像取得部２０３は、アルバム作成条件指定部２０１およびユーザ画像指定部２０２により指定された画像群をＨＤＤ１０４から取得する。画像取得部２０３は、メタ情報として、取得した画像に含まれる、画像の幅及び高さ情報、撮影時のＥｘｉｆ情報に含まれる撮影日時情報、並びに、画像がユーザ画像群に含まれるのかを示す情報などを画像解析部２０５へ出力する。また、画像取得部２０３は、取得した画像データを画像変換部２０４へ出力する。各画像には、識別情報が付与され、画像解析部２０５に出力されたメタ情報と、後述する画像変換部２０４を介して画像解析部２０５に出力された画像データとは、画像解析部２０５にて対応付けが可能である。

ＨＤＤ１０４に保存されている画像としては、静止画像及び動画から切り出されたフレーム画像が挙げられる。静止画像及びフレーム画像は、デジタルカメラ及びスマートデバイス等の撮像デバイスから取得されたものである。撮像デバイスは、画像処理装置１００が備えていてもよいし、外部装置が備えるものであってもよい。なお、撮像デバイスが外部装置である場合は、画像は、データ通信部１０８を介して取得される。また、静止画像及び切り出し画像は、データ通信部１０８を介してネットワークまたはサーバから取得した画像であってもよい。ネットワークまたはサーバから取得した画像としては、ソーシャルネットワーキングサービス画像（以下、「ＳＮＳ画像」という）が挙げられる。ＣＰＵ１０１によって実行されるプログラムは、各画像に対して、画像に付随したデータを解析して保存元を判定する。ＳＮＳ画像は、アプリケーションを介してＳＮＳから画像を取得することで、アプリケーション内で取得先を管理してもよい。画像は、上述した画像に限定されるものではなく、他の種類の画像であってもよい。

画像変換部２０４は、画像取得部２０３から入力した画像データを画像解析部２０５で使用するための画素数及び色情報に変換して、画像解析部２０５に出力する。本実施形態では、画像を、所定の画素数、例えば短辺４２０画素にして、長編は元の各辺の比率を維持した大きさに変換する。さらに、色の解析を行うためにｓＲＧＢなどの色空間に統一されるように変換する。このように画像変換部２０４は、画素数及び色空間が統一された解析画像へ変換するものとする。画像変換部２０４は、変換した画像を画像解析部２０５に出力する。また、画像変換部２０４は、レイアウト情報出力部２１５および画像補正部２１７に画像を出力する。

画像解析部２０５は、画像変換部２０４から入力する解析画像に対し、後述する方法で画像データを解析して、画像特徴量を取得する。解析処理としては、ピントの合焦度合いの推定、顔検出、個人認識、オブジェクト判定の各処理を実行し、これらの画像特徴量を取得する。画像特徴量としては、他には、色味、明るさ、解像度、データ量、及びボケ・ブレの程度などが挙げられるが、それ以外の画像特徴量でもよい。画像解析部２０５は、これらの画像特徴量と共に、画像取得部２０３から入力するメタ情報から必要な情報を抽出して組み合わせて、特徴量として得点基準決定部２０６へ出力する。また、画像解析部２０５は、解析結果の特徴量を画像得点部２０７にも出力する。また、画像解析部２０５は、撮影日時情報を見開き割当部２１２に出力する。

得点基準決定部２０６は、画像解析部２０５から取得した特徴量の内、ユーザ画像指定部２０２で指定されたユーザ画像群の特徴量を用いて、後述の方法により画像得点部２０７で得点を算出するための得点基準を決定し、画像得点部２０７に提供する。ここでいう得点とは、各画像に対するレイアウトへの適切度を示した指標であり、高得点であるほどレイアウトに適していることを示す。また、得点基準とは、画像得点部２０７において得点を算出するための基準のことであり、ユーザ画像群の特徴量を基に得点基準を決定することで、ユーザの意図に沿った画像選択が可能となる。

画像得点部２０７は、得点基準決定部２０６で決定された得点基準及び画像解析部２０５から取得した特徴量を使用してアルバム候補画像群の各画像に対して得点付けを行う。得点付けした結果は、画像選択部２１１および画像レイアウト部２１４に出力される。

写真枚数調整量入力部２０８は、アルバム作成条件指定部２０１から指定された、アルバムに配置する写真枚数を調整する調整量を、写真枚数決定部２１０に入力する。

見開き数入力部２０９は、アルバム作成条件指定部２０１から指定された、アルバムの見開き数を、写真枚数決定部２１０および見開き割当部２１２に入力する。アルバムの見開き数は、複数の画像が配置される複数のテンプレートの数に相当する。

写真枚数決定部２１０は、写真枚数調整量入力部２０８から指定された調整量および見開き数入力部２０９から指定された見開き数に基づいて、アルバムを構成する総写真枚数を決定し、画像選択部２１１に入力する。

画像選択部２１１は、写真枚数決定部２１０から入力された写真枚数および画像得点部２０７で算出した得点に基づいて画像選択を行い、アルバムで使用されるレイアウト画像群（第三の画像群ともいう）のリストを作成して、見開き割当部２１２へ提供する。

見開き割当部２１２は、画像選択部２１１で選択された画像群に対して、撮影日情報を用いて、各画像を見開きに割り当てる。ここでは見開き単位で割り当てる例を説明するが、ページ単位に割り当ててもよい。

テンプレート入力部２１３は、アルバム作成条件指定部２０１から指定されたテンプレート情報に応じた複数のテンプレートをＨＤＤ１０４から読み込み、画像レイアウト部２１４に入力する。

画像レイアウト部２１４は、個々の見開きについての画像のレイアウト処理を行う。具体的には、処理対象の見開きについて、テンプレート入力部２１３により入力された複数のテンプレートから画像選択部２１１で選択した画像に適したテンプレートを決定し、各画像のレイアウトを決定する。

レイアウト情報出力部２１５は、画像レイアウト部２１４が決定したレイアウトに従って、ディスプレイ１０５に表示するためのレイアウト情報を出力する。レイアウト情報は、例えば、決定したテンプレートに画像選択部２１１により選択された選択画像のデータがレイアウトされたビットマップデータである。

画像補正条件入力部２１６は、アルバム作成条件指定部２０１から指定された画像補正のＯＮ／ＯＦＦ情報を画像補正部２１７に提供する。補正の種類としては、例えば、輝度補正、覆い焼き補正、赤目補正、またはコントラスト補正などが挙げられる。画像補正のＯＮまたはＯＦＦは、補正の種類ごとに指定されてもよいし、全ての種類についてまとめて指定されてもよい。

画像補正部２１７は、画像補正条件入力部２１６より受信した、画像補正条件に基づいて、レイアウト情報出力部２１５が保持するレイアウト情報に対して補正を実施する。尚、画像変換部２０４から画像補正部２１７で処理する画像の画素数は、画像レイアウト部２１４で決定したレイアウト画像のサイズに合わせて変えることができる。本実施形態では、レイアウト画像を生成した後に、各画像に画像補正を行うものとしたが、これに限定されず、見開き又はページにレイアウトする前に、各画像の補正を行うようにしてもよい。

アルバム作成アプリケーションが画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上に、起動アイコンが表示される。ユーザがディスプレイ１０５に表示されている起動アイコンをポインティングデバイス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアプリのプログラムがＲＡＭ１０３にロードされ、ＣＰＵ１０１により実行されることで起動する。

＜表示画面の例＞
図３は、アルバム作成アプリケーションが提供するアプリ起動画面３０１の一例を示す図である。アプリ起動画面３０１は、ディスプレイ１０５に表示される。ユーザはアプリ起動画面３０１を介して後述するアルバムの作成条件を設定し、アルバム作成条件指定部２０１は、このＵＩ画面を通じてユーザからの設定内容を取得する。

アプリ起動画面３０１上のパスボックス３０２は、アルバム作成の対象となる複数の画像（例えば複数の画像ファイル）のＨＤＤ１０４中の保存場所（パス）を表示する。フォルダ選択ボタン３０３がユーザからのポインティングデバイス１０７でのクリック操作により指示されると、ＯＳに標準で搭載されているフォルダの選択画面が表示される。フォルダの選択画面では、ＨＤＤ１０４で設定されているフォルダがツリー構成で表示され、ユーザは、ポインティングデバイス１０７により、アルバム作成の対象とする画像を含むフォルダを選択することができる。ユーザにより選択されたアルバム候補画像群が格納されるフォルダのパスが、パスボックス３０２に表示される。

テンプレート指定領域３０４は、ユーザがテンプレート情報を指定するための領域であり、テンプレート情報がアイコンとして表示される。テンプレート指定領域３０４には、複数のテンプレート情報のアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックすることでテンプレート情報を選択可能である。

見開き数ボックス３０５は、ユーザからのアルバムの見開き数の設定を受け付ける。ユーザは、キーボード１０６を介して見開き数ボックス３０５に直接数字を入力するか、ポインティングデバイス１０７を用いてリストから見開き数ボックス３０５に数字を入力する。

チェックボックス３０６は、ユーザからの画像補正のＯＮ／ＯＦＦの指定を受け付ける。チェックが入った状態は画像補正ＯＮが指定された状態であり、チェックが入っていない状態は画像補正ＯＦＦが指定された状態である。本実施形態では、全ての画像補正が１つのボタンでＯＮ／ＯＦＦされるものとしたが、これに限定されず、画像補正の種類毎にチェックボックスを備えるようにしてもよい。

写真枚数調整３０７は、アルバムの見開きに配置する画像枚数をスライダーバーで調整するためのものである。ユーザは、スライダーバーを左右に移動させることにより、アルバムの各見開き配置する画像枚数を調整することができる。写真枚数調整３０７は、例えば、少は－５、多は＋５などの適当な数字に割り当てることで、見開き内に配置できる画像枚数の数を調整できるようにする。

商材指定部３０８は、作成するアルバムの商材を設定する。商材は、アルバムのサイズ、アルバムの用紙種類を設定することができる。個別に表紙種類および綴じ部の種類を設定してもよい。

ユーザによりＯＫボタン３０９が押下されると、アルバム作成条件指定部２０１は、アプリ起動画面３０１上で設定されている内容をアルバム作成アプリケーションの自動レイアウト処理部２１８に出力する。

その際、パスボックス３０２に入力されているパスは、画像取得部２０３に伝えられる。見開き数ボックス３０５に入力されている見開き数は、見開き数入力部２０９に伝えられる。テンプレート指定領域３０４で選択されているテンプレート情報は、テンプレート入力部２１３に伝えられる。画像補正チェックボックスの画像補正のＯＮ／ＯＦＦは、画像補正条件入力部２１６に伝えられる。

表示画面３０１上のリセットボタン３１０は、アプリ起動画面３０１上の各設定情報をリセットするためのボタンである。

図４は、アルバム作成アプリケーションが提供するユーザ画像選択画面４０１の一例を示す図である。アプリ起動画面３０１上のＯＫボタン３０９が押下されると、ディスプレイ１０５に表示される画面が、ユーザ画像選択画面４０１に遷移される。ユーザは、ユーザ画像選択画面４０１を介してユーザ画像を設定し、ユーザ画像指定部２０２は、ユーザからの設定内容を取得する。ユーザ画像とは、ユーザ画像群を構成する画像である。

ユーザ画像選択画面４０１上のパスボックス４０２は、ユーザ画像の対象となる複数の画像（例えば複数の画像ファイル）のＨＤＤ１０４中の保存場所（パス）を表示する。フォルダ選択ボタン４０３がユーザからのポインティングデバイス１０７でのクリック操作により指示されると、フォルダの選択画面が表示される。フォルダの選択画面では、ＨＤＤ１０４で設定されているフォルダがツリー構成で表示され、ユーザは、ポインティングデバイス１０７により、アルバム作成の対象とする画像を含むフォルダを選択することができる。ユーザにより選択されたフォルダのフォルダパスが、パスボックス４０２に表示される。パスボックス４０２には、パスボックス３０２と同じフォルダパスが表示されていてもよい。

ユーザ画像指定領域４０４は、ユーザがユーザ画像を指定するための領域であり、パスボックス４０２で指定されたＨＤＤ１０４内のフォルダに格納された複数の画像ファイルがアイコンとして表示される。ユーザ画像指定領域４０４には、複数の画像のアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックして選択可能である。図４においては、チェックマーク４０５が印された画像が、ユーザによって指定された画像であることを示している。ユーザが選択すればチェックマーク４０５が付き、その状態で再度選択するとチェックマーク４０５が消える。

ユーザによりＯＫボタン４０６が押下されると、ユーザ画像指定部２０２は、ユーザ画像選択画面４０１上で設定されている内容を取得する。ユーザ画像指定部２０２は、取得した設定内容を、アルバム作成アプリケーションの自動レイアウト処理部２１８に出力する。その際、チェックマーク４０５が付いている画像ファイルのリストは、ユーザ画像群の情報として画像取得部２０３に伝えられる。

ユーザ画像選択画面４０１上のリセットボタン４０７は、ユーザ画像選択画面４０１上の各設定情報をリセットするためのボタンである。

＜処理の流れ＞
図５は、アルバム作成アプリケーションの自動レイアウト処理部２１８の処理を示すフローチャートである。図５に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＡＭ１０３に読み出して実行することにより実現される。図５の説明では、ＣＰＵ１０１が上記アルバム作成アプリケーションを実行することで機能する、図２に示す各構成要素が処理を実行するものとして説明する。図５を参照しながら、自動レイアウト処理を説明する。尚、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する（以下、本明細書において同様である）。

Ｓ５０１では、画像変換部２０４は、画像を変換して解析画像を生成する。Ｓ５０１の時点では、アプリ起動画面３０１及びユーザ画像選択画面４０１のＵＩ画面を通じた各種の設定が完了している状態であるものとする。即ち、アルバム作成条件、アルバム候補画像群、及びユーザ画像群が設定済みの状態であるものとする。Ｓ５０１において、具体的には、画像変換部２０４は、アルバム作成条件指定部２０１及びユーザ画像指定部２０２で指定されたＨＤＤ１０４内のフォルダに格納された複数の画像ファイルを特定する。そして、特定された複数の画像ファイルをＨＤＤ１０４からＲＡＭ１０３に読み出す。そして画像変換部２０４は、読み出された画像ファイルの画像を、前述したように、所定の画素数及び色情報を有する解析画像に変換する。本実施形態では、短辺が４２０画素であり、ｓＲＧＢに変換された色情報を有する解析画像に変換する。

Ｓ５０２では、画像解析部２０５は、Ｓ５０１で生成された解析画像の解析処理を実行し、特徴量を取得する。特徴量としては、例えば、画像に格納されているメタ情報、及び、画像を解析することで取得できる画像特徴量が挙げられる。本実施形態では、解析処理として、ピントの合焦度合いの取得、顔検出、個人認識、及びオブジェクト判定を実行するが、これに限定されず、その他の解析処理を実行してもよい。以下、Ｓ５０２において画像解析部２０５で行われる処理の詳細を説明する。

画像解析部２０５は、画像取得部２０３から受け取ったメタ情報のうち、必要なメタ情報を抽出する。画像解析部２０５は、例えば、ＨＤＤ１０４から読み出された画像ファイルに付随するＥｘｉｆ情報から、該画像ファイル内の画像の時間情報として、撮影日時を取得する。尚、メタ情報としては、例えば、画像の位置情報またはＦ値などを取得しても良い。また、メタ情報として、画像ファイルに付随する以外の情報を取得してもよい。例えば、画像の撮影日時に紐づくスケジュール情報を取得してもよい。

また、画像解析部２０５は、Ｓ５０１で生成された解析画像から画像特徴量を取得する。画像特徴量としては、例えば、ピントの合焦度合いが挙げられる。ピントの合焦度合いを求める方法として、エッジの検出が行われる。エッジの検出方法として一般的にソーベルフィルタが知られている。ソーベルフィルタでエッジ検出を行い、エッジの始点と終点の輝度差を、始点と終点の距離で割れば、エッジの傾きが算出される。画像中のエッジの平均傾きを算出した結果から、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているとみなすことができる。そして、傾きに対して異なる値の複数の閾値を設定すれば、どの閾値以上かを判定することにより、ピント量の評価値を出力可能である。本実施形態では、異なる２つの閾値を予め設定しておき、「○」、「△」、「×」の３段階により、ピント量を判定する。例えば、アルバムに採用したいピントの傾きを「○」と判定し、許容可能なピントの傾きを「△」と判定し、許容不可能な傾きを×と判定し、各閾値を予め設定しておく。閾値の設定は、例えば、アルバム作成アプリケーションの作成元等により提供されても良いし、ユーザインタフェース上で設定可能としても良い。尚、画像特徴量としては、例えば、画像の明るさ、色味、彩度、または解像度などを取得してもよい。

画像解析部２０５は、Ｓ５０１で生成された解析画像に対して、顔検出を実行する。ここで、顔検出の処理には、公知の方法を用いることができる。例えば、複数用意した弱識別器から強識別器を作成するＡｄａｂｏｏｓｔが顔検出処理に用いられる。本実施形態では、Ａｄａｂｏｏｓｔにより作成した強識別器により人物（オブジェクト）の顔画像が検出される。画像解析部２０５は、顔画像を抽出するとともに、検出した顔画像の位置の左上座標値と右下座標値を取得する。この２種の座標を持つことにより、画像解析部２０５は、顔画像の位置と顔画像のサイズとを取得可能である。なお、ここでは、ＡｄａＢｏｏｓｔを用いてオブジェクトを検出するケースを説明したが、ニューラルネットワーク等の学習済モデルを用いてオブジェクト検出を行ってもよい。

画像解析部２０５は、顔検出で検出された、解析画像に基づく処理対象の画像内の顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像とを比較することにより、個人認識を行う。画像解析部２０５は、複数の代表顔画像のそれぞれに対して、処理対象の画像内の顔画像との類似性を取得する。また、類似性が閾値以上であり且つ類似性が最も高い代表顔画像を特定する。そして、特定された代表顔画像に対応する個人ＩＤを、処理対象の画像内の顔画像のＩＤとする。尚、上記複数の代表顔画像のすべてについて、処理対象の画像内の顔画像との類似性が閾値未満の場合、画像解析部２０５は、処理対象の画像内の顔画像を新規の代表顔画像として、新規の個人ＩＤと対応付けて顔辞書データベースに登録する。

画像解析部２０５は、Ｓ５０１で生成された解析画像に対して、オブジェクト認識を実行する。ここで、オブジェクト認識の処理には、公知の方法を用いることができる。本実施形態では、ＤｅｅｐＬｅａｒｎｉｎｇにより作成した判別器（学習済モデル）によりオブジェクトが認識される。判別器は各オブジェクトに対する０～１の尤度を出力し、ある閾値を超えたオブジェクトが画像中にあると認識する。画像解析部２０５は、オブジェクト画像を認識することで、犬または猫などのペット、花、食べ物、建物、置物、およびランドマークなどのオブジェクトの種類を取得可能となる。本実施形態ではオブジェクトを判別しているが、これに限定されず、表情、撮影構図、または、旅行もしくは結婚式などのシーンなどを認識することで、それぞれの種類を取得してもよい。また、判別を実行する前の、判別器から出力された尤度そのものを利用しても良い。これにより、得点基準決定部２０６においてより自由度のある得点基準が決定できる。

図６は、特徴量を示す図である。画像解析部２０５は、Ｓ５０２で取得した特徴量を、図６に示すように各画像（解析画像）を識別するＩＤ毎に区別して、ＲＯＭ１０２等の記憶領域に記憶する。例えば、図６に示すように、Ｓ５０２で取得された撮影日時情報、ピント判別結果、検出された顔画像の数とその位置情報及び類似性、並びに、認識したオブジェクトの種類が、テーブル形式で記憶される。尚、顔画像の位置情報は、Ｓ５０２で取得された個人ＩＤ毎に区別して記憶される。また１つの画像から複数種類のオブジェクトが認識された場合、図６に示すテーブルには、その１つの画像に対応する行に、オブジェクトの複数種類がすべて記憶される。

Ｓ５０３では、画像解析部２０５は、アルバム候補画像群とユーザ選択画像群とに含まれる全ての画像に対して、Ｓ５０１～Ｓ５０２の処理が終了したか否かを判定する。ここで、終了していないと判定された場合、Ｓ５０１からの処理を繰り返す。終了していると判定された場合、処理はＳ５０４に進む。即ち、Ｓ５０１～Ｓ５０２の処理が、指定フォルダに格納されている全画像に対して繰り返し実行されることで、全画像のそれぞれの情報を含む図６に示すテーブルが作成される。

Ｓ５０４では、得点基準決定部２０６は、ユーザ画像群のユーザ画像の解析結果で得られた特徴量に基づいて得点基準を決定する。即ち、ユーザ画像群の画像ＩＤに対応する特徴量に基づいて、画像得点部２０７で使用する得点基準を決定する。ここで述べる得点とは、各画像に対するレイアウトへの適切度を示した指標である。また、得点基準とは、画像得点部２０７において得点を算出するための基準のことであり、例えば、ある係数を用いて構成される式または得点算出アルゴリズムのことである。得点基準決定部２０６は、得点基準に用いられる制御情報を生成し、制御情報に基づいて得点基準を決定し、画像得点部２０７に提供する。制御情報は、具体例としては、後述するように特徴量ごとの平均値および標準偏差である。

図７は、特徴量空間上での特徴量を示す図である。図８は、Ｓ５０４の得点基準決定処理の詳細を示すフローチャートである。以下、図７および図８を用いて、Ｓ５０４で行われる得点基準決定処理を説明する。

Ｓ８０１では、得点基準決定部２０６は、制御情報として、特徴量ごとに、ユーザ画像群の平均値および標準偏差を算出する。以下、図７を用いて制御情報を説明する。

図７（ａ）は、各画像の特徴量を、特徴量空間上にプロットした一例を示している。特徴量空間は多次元であるため、全てを図示することができないので、図７（ａ）では、各特徴量の中から個人ＩＤ１に対する類似性と撮影時間との２つの特徴量を抜き出したもので説明する。ただし、１つの特徴量を用いた１次元の特徴空間であってもよい。また、他の特徴量に対しても同様に処理を行う。点７０１を例とする網掛けされた点は、ユーザ画像に対応する特徴量をプロットした点を示している。点７０２を例とする網掛けされていない点は、アルバム候補画像に対応する特徴量をプロットした点を示している。図中の“×”で示す点７０３は、ユーザ画像群の特徴量ベクトルから求められる平均値ベクトルを示している。

図７（ｂ）は、個人ＩＤ１に対する類似性の特徴量軸に各画像をプロットしたものである。個人ＩＤ１の顔が画像に含まれ、かつ、個人ＩＤ１で識別される人物との相関が高いほど、つまり個人ＩＤ１と同一人物である確率が高いほど、大きな値（軸の右方向）になっている。点７０４は、この特徴量軸におけるユーザ画像群の平均値を示したものであり、幅７０５は、この特徴量軸におけるユーザ画像群の標準偏差を示したものである。図７（ｂ）に示す個人ＩＤ１に対する類似性の特徴量軸では、各ユーザ画像が近しい特徴を有しており、標準偏差７０５が小さい密な分布となっている。つまり、ユーザ画像群の全ての画像で個人ＩＤ１の人物が多く含まれている確率が高いことがわかる。

図７（ｃ）は、撮影日時の特徴量軸に各画像をプロットしたものである。点７０６は、この特徴量軸におけるユーザ画像群の平均値を示したものであり、幅７０７は、この特徴量軸におけるユーザ画像群の標準偏差を示したものである。撮影日時の特徴量軸では、各ユーザ画像が異なる特徴を有しており、標準偏差７０７が大きい疎な分布となっている。つまり、ユーザ画像群には様々な撮影日時の画像が含まれていることがわかる。

Ｓ８０２では、得点基準決定部２０６は、全ての特徴量項目に対して、Ｓ８０１の処理が終了したか否かを判定する。ここで、終了していないと判定された場合、Ｓ８０１からの処理を繰り返す。終了していると判定された場合、処理はＳ８０３に進む。

Ｓ８０３では、得点基準決定部２０６は、アルバム作成アプリケーションに予め組み込まれている得点基準を取得する。そして、Ｓ８０４において、Ｓ８０１で算出した制御情報（本例では、特徴量ごとの平均値および標準偏差）を用いて、得点基準を決定する。より詳細には、本実施形態では、以下で説明する式（１）および式（２）が、得点基準として取得され、Ｓ８０１で算出した制御情報（特徴量ごとの平均値および標準偏差）を式（１）に適用することで、得点基準が決定される。その後、Ｓ５０５に進み、画像得点部２０７によるアルバム候補画像群の画像の得点化の処理が行われる。以下、Ｓ５０４で決定される得点基準と、その後のＳ５０５での得点化の処理との例を併せて説明する。本実施形態では、Ｓ５０５では、画像得点部２０７は、はじめに、Ｓ８０１で算出した制御情報を用いた式（１）を用いて、得点化の対象となる画像（「注目画像」という）ごと、かつ特徴量ごとの得点を算出する。尚、得点化の対象となる画像は、アルバム候補画像群の画像である。
Ｓｊｉ＝（５０－１０×｜μｉ―ｆｊｉ｜／σｉ）／σｉ・・・（１）
ここで、ｊは注目画像のインデックスを、ｉは特徴量のインデックスを、ｆｊｉは注目画像の特徴量を、Ｓｊｉは特徴量ｆｊｉに対応する得点を、μｉとσｉはそれぞれユーザ画像群の特徴量ごとの平均値と標準偏差を示している。つまり、図７（ｂ）のような、ユーザ画像群の標準偏差７０５が小さい密な分布となっているような特徴量では、平均値に近い注目画像の特徴量の得点が、平均値から離れた特徴量に比べて高く算出される。一方、図７（ｃ）のような、ユーザ画像群の標準偏差７０７が大きい疎な分布となっているような特徴量では、平均値に近い注目画像の特徴量の得点は、平均値から離れた特徴量に比べて、図７（ｂ）のケースほど、差が生じない。

そして、Ｓ５０５では、画像得点部２０７は、式（１）で求めた、注目画像ごと、かつ特徴量ごとの得点Ｓｊｉと、式（２）と、を用いて、各注目画像の得点を算出する。
Ｐｊ＝Σｉ（Ｓｊｉ）／Ｎｉ・・・（２）
ここで、Ｐｊは各注目画像の得点を、Ｎｉは特徴量の項目数を示している。つまり、各注目画像の得点は、各特徴量の得点の平均として算出される。このように、Ｓ８０４において得点基準決定部２０６は、これらの式（１）および式（２）を得点基準として決定する。その後のＳ５０５において、画像得点部２０７は、上述したように式（１）および式（２）を適用して、各注目画像の得点化を行う。

尚、ここで、アルバムに用いる画像はピントが合っている方が好ましいので、図６に示すピントの特徴量が「〇」である注目画像に対しては所定の得点を加算するようにしても良い。また、ある特定のオブジェクトを有する注目画像に対しては所定の得点を加算するようにしても良い。例えば、動物を含む画像を多く選択したいケースにおいて、動物に属するオブジェクトを含む注目画像に対して所定の得点を加算することで、優先的に選択されるような制御が可能となる。

以上の得点基準によれば、図７（ｂ）における個人ＩＤ１に対する類似性のように、標準偏差σが小さくなる特徴量においては、ユーザ画像群と近い特徴を持つ注目画像ほど、式（１）により算出される得点が高くなる。そのため、ユーザ画像群において密な分布となる特徴量である個人ＩＤ１に対する類似性に関しては、ユーザ画像群と近い特徴を持つ注目画像ほど得点が高くなり、選択されやすくなる。

対して、図７（ｂ）における撮影日時のように、標準偏差σが大きくなるような特徴量においては、平均値μと注目画像の特徴量ｆｊｉとの差分によらず、式（１）により算出される得点は小さくなる。そのため、ユーザ画像群において疎な分布となる特徴量である撮影日時に関しては、注目画像がどのような特徴を持っていても画像選択への影響は小さくなる。

このように、本実施形態における得点基準を用いると、アルバム候補画像群からは、ユーザ画像群に共通する特徴を持つ画像が選択され、レイアウト画像群として統一感のある画像選択が可能となる。

本実施形態では、各注目画像の得点を算出するための得点基準として式（２）を用いたが、これに限定されず、例えば式（３）により、式（１）により算出した各特徴量の得点を重みづけ加算してもよい。
Ｐｊ＝Σｉ（ｗｉ×Ｓｊｉ）／Ｎｉ・・・（３）
ここで、ｗｉは各特徴量に対する重み係数である。これにより、各特徴量が注目画像の得点に与える影響度（寄与率）を変えることができる。例えば、図７において、個人ＩＤ１に対する類似性に対する寄与率を上げ、撮影日時に対する重み寄与率を下げることで、より個人ＩＤ１に対する類似性を重視した得点付けが可能となる。

また、式（１）により算出した各特徴量の得点のうち、最も大きい得点を注目画像の得点とするような得点基準を用いてもよい。これにより、各特徴量のうち、１つ以上の特徴量がユーザ画像群と近い特徴を持つ場合に、高い得点を付与することができる。例えば、図７において、注目画像の個人ＩＤ１に対する類似性以外の特徴量が、撮影日時のようにユーザ画像群と異なる特徴を有する場合でも、注目画像に高い得点を付与することができる。

また、多次元の特徴量空間上において、ユーザ画像群の平均ベクトルと、注目画像のベクトルとの差分をもとに、注目画像の得点を算出するような得点基準を用いてもよい。これにより、全ての特徴量を総合的に鑑みた得点付けが可能となる。例えば、図７（ａ）において、アルバム候補画像７０２は、多次元空間上で平均値ベクトル７０３と近い特徴を持つため、高い得点が付与される。対して、アルバム候補画像７０８は、多次元空間上では平均値ベクトル７０３と異なる特徴を持つため、高い得点は付与されない。すなわち、１つ以上の特徴量がユーザ画像群の平均値ベクトル７０３と異なる特徴を持つ場合に、高い得点が付与されないように制御できる。

本実施形態では、ユーザ画像群の各特徴量の平均および標準偏差を用いて得点基準を決定したが、これに限定されず、例えば式（４）のように、ユーザ画像群の各特徴量およびその標準偏差を用いる得点基準を決定しても良い。
Ｓｊｉ＝Σｋ（５０－１０×｜ｆｋｉ―ｆｊｉ｜／σｉ）／（σｉ×Ｎｋ）・・・（４）
ここで、ｋはユーザ画像のインデックスを、ｆｋｉはユーザ画像の特徴量を、Ｎｋはユーザ画像群に含まれる画像枚数を示している。このようにして、注目画像の特徴量と各ユーザ画像の特徴量とを比較をすることで、より正確に注目画像とユーザ画像群の特徴量の差分を評価できる。

本実施形態においては、制御情報としてユーザ画像群の特徴量の平均値および標準偏差を用いたが、これに限らず、特徴量の中央値、分布形状（正規分布またはポアソン分布など）、四分位範囲、または四分位偏差などを用いてもよい。例えば、ユーザ画像群の特徴量の中央値および標準偏差を用いてもよいし、ユーザ画像群の特徴量の平均値および四分位偏差を用いてもよい。即ち、ユーザ画像群の特徴量の平均値および中央値のうちの少なくとも一方と、標準偏差、四分位偏差、および分布形状のうちの少なくとも一方とを用いてもよい。

再び、図５を参照する。Ｓ５０４に続き、Ｓ５０５では、前述したように、画像得点部２０７は、得点基準決定部２０６で決定された得点基準を取得する。即ち、前述したように、式（１）～（４）に示すような式を、得点基準として取得する。そして、画像得点部２０７は、取得した得点基準に基づいてアルバム候補画像群の各画像に対して得点化を実行する。得点化とは、画像ごとに得点を付与する（スコアリング）ことである。付与された得点は、画像選択部２１１に提供され、後述のレイアウトに用いられる画像の選択時に参照される。

Ｓ５０６では、画像得点部２０７は、ユーザ指定のフォルダ内の全てのアルバム候補画像群の画像に対してＳ５０５の画像得点化が終了したか否かを判定する。終了していないと判定された場合、Ｓ５０５からの処理が繰り返される。終了していると判定された場合、Ｓ５０７に処理が進む。

Ｓ５０７では、写真枚数決定部２１０は、アルバムに配置する写真枚数を決定する。本実施形態においては、写真枚数調整量入力部２０８から入力された、見開き写真枚数を調整する調整量と、見開き数入力部２０９から入力された見開き数とを用いて、式（５）により、アルバムに配置する写真枚数を決定する。
写真枚数＝［見開き数×（基本写真枚数＋調整量）］・・・（５）
ここで、［・］は小数部分を切り捨てる床関数を示し、基本写真枚数は調整しない場合の見開きに配置する画像枚数を示している。
本実施形態においては、基本写真枚数はレイアウト時の見栄えを考慮して６枚とし、アルバム作成アプリケーションのプログラムに予め組み込んでおく。

また、本実施形態では、見開き数および写真枚数調整量に基づいてレイアウトする写真枚数を決定したが、これに限らず、ユーザ画像指定部２０２において指定されたユーザ画像の枚数に応じて、レイアウトする写真枚数を決定してもよい。例えば、ユーザ画像の枚数が多いほど、レイアウトする写真枚数を多く設定するような制御をしてもよい。

Ｓ５０８では、画像選択部２１１は、画像得点部２０７で算出した各画像に対する得点および写真枚数決定部２１０から決定した写真枚数から、レイアウトする画像を選択する。以下、選択された画像群のことを、レイアウト画像群という。

本実施形態においては、ユーザ画像群は、全てレイアウトする画像群として選択される。そして、画像選択部２１１は、レイアウトする総画像枚数からユーザ画像群枚数を引いた数だけ、アルバム作成条件指定部２０１で指定した画像群から、画像得点部２０７で付与された得点が高い順番に画像を選択する。

得点基準決定部２０６および画像得点部２０７において、上述した方法を実行することで、画像選択部２１１での選択においては、ユーザ画像群と近しい特徴を持つ画像が選択されるようになる。

図９は、画像選択結果の一例を示す図である。図９（ａ）は、本実施形態における画像選択結果の一例を示している。図９（ｂ）は、比較例として、本実施形態を用いない場合の画像選択結果の一例を示している。まず、図９（ａ）を用いて説明する。説明のために、各画像にはＡからＥまでの異なる特徴量に対して、一番得点が高い特徴量を記している。図９（ａ）では、ＡからＥまでの異なる特徴を有したアルバム候補画像群に対して、ユーザ画像指定部２０２においてＡとＣの特徴を有する画像をユーザ画像群として指定する。すると、画像選択部２１１ではＡとＣの特徴を有する画像がレイアウト画像群として選択される。このようにして、ユーザ画像群からユーザの意図を汲み取り、画像選択に反映することができる。一方、図９（ｂ）は、ユーザ選択画像が無い場合の画像選択結果の一例を示している。この場合においては、アルバム候補画像群全体の特徴量の傾向をもとに画像を選択するため、画像枚数が多いＡの特徴およびＢの特徴を有する画像が多く選択される結果となる。また、図９（ｂ）の場合に、仮に図９（ａ）と同じように、ユーザ指定の画像があったとしても、アルバム候補画像群から自動選択されると、やはり、アルバム候補画像群全体の特徴量の傾向をもとに画像を選択することになる。このため、画像枚数が多いＡの特徴およびＢの特徴を有する画像が多く選択される結果となる。

なお、画像選択の方法として、得点が高いほど、高い選択確率を設定し、確率で選択するようにしてもよい。このようにして、確率で選択することによって、自動レイアウト処理部２１８による自動レイアウト機能を実行する度にレイアウト画像を変えることができる。例えば、ユーザが自動レイアウト結果に納得しない場合に、ＵＩ不図示の再選択ボタンを押すことで、ユーザは前回と異なるレイアウト結果を得ることができる。

また、画像選択部２１１は、ユーザ画像群からレイアウト画像を選択せずに、アルバム作成条件指定部２０１で指定した画像群から、レイアウトする総画像枚数分を選択してもよい。この方法に依れば、アルバムには載せたくないが、理想的な被写体配置または構図の画像をユーザ画像指定部２０２で指定することで、理想に近い画像を探して選択することが可能となる。

また、アルバム作成条件指定部２０１で指定した画像データ群及びユーザ画像を合わせた画像群から、レイアウトする総画像枚数分を選択してもよい。この方法に依れば、ユーザ画像群内の画像よりも、よりレイアウトに適切な画像を探して選択する可能性が生まれる。この場合、画像得点部２０７は、アルバム候補画像群だけではなく、ユーザ画像群にも得点付けを実施しておく。

また、画像選択部２１１において、画像得点部２０７で算出した得点が、ある閾値以上となった画像をレイアウト画像として選択する場合は、写真枚数決定部２１０において写真枚数を決定しなくてもよい。この場合、選択される画像枚数が見開き数となるような値が、閾値として設定され得る上限となる。

再び図５に戻り説明を続ける。Ｓ５０９では、見開き割当部２１２は、Ｓ５０８で取得したレイアウト画像群を、見開き数入力部２０９から入力された見開き数分の画像群に分割して割り当てる。本実施形態では、レイアウト画像をＳ５０２で取得した撮影時間順に並べ、隣り合う画像間の撮影時間の時間差が大きい場所で分割する。このような処理を、見開き数入力部２０９から入力された見開き数分に分割するまで行う。つまり、（見開き数－１）回の分割を行う。これにより、撮影時間順に画像が並んだアルバムを作成することができる。なお、Ｓ５０９の処理は、見開き単位ではなく、ページ単位で行っても良い。

Ｓ５１０では、画像レイアウト部２１４は、画像レイアウトの決定を行う。以下、テンプレート入力部２１３が、指定されたテンプレート情報に従って、ある見開きに対して図１０の（ａ）～（ｐ）を入力する例を説明する。

図１０は、画像データのレイアウトに使うテンプレート群を示す図である。テンプレート群に含まれている複数のテンプレートのそれぞれが、各見開きに対応している。テンプレート１００１は１枚のテンプレートである。テンプレート１００１には、メインスロット１００２と、サブスロット１００３と、サブスロット１００４とが含まれる。メインスロット１００２は、テンプレート１００１内でメインとなるスロット（画像をレイアウトする枠）であり、サブスロット１００３およびサブスロット１００４よりもサイズが大きい。

ここでは、入力されたテンプレートのスロット数は一例として３と指定されている。選択されている３枚の画像の向きが縦方向か横方向かを撮影日時について並べると、図１０（ｑ）のようであるとする。

ここでは、見開きに割り当てられた各画像群において、画像得点部２０７で算出した得点が最も大きい画像をメインスロット用とし、その他の画像をサブスロット用に設定する。なお、画像解析部で取得したある特徴量に基づいてメインスロット用かサブスロット用かを設定してもよいし、ランダムに設定しても良い。また、ユーザ選択画像を優先的にメインスロットにしてもよい。

ここでは、画像データ１００５がメインスロット用であり、画像データ１００６と１００７がサブスロット用であるものとする。本実施形態では、テンプレートの左上に撮影日時のより古い画像データがレイアウトされ、右下に撮影日時のより新しい画像がレイアウトされる。図１０（ｑ）では、メインスロット用の画像データ１００５は、撮影日時が一番新しいので、図１０（ｉ）～（ｌ）のテンプレートが候補となる。また、サブスロット用の古い方の画像データ１００６が縦画像であり、新しい方の画像データ１００７が横画像であるので、結果、図１０（ｊ）のテンプレートが、選択された３つの画像データに最も適したテンプレートとして決定され、レイアウトが決まる。Ｓ５１０では、どの画像をどのテンプレートのどのスロットにレイアウトするかが決定される。

Ｓ５１１では、画像補正部２１７は、画像補正を実行する。画像補正部２１７は、画像補正条件入力部２１６から画像補正がＯＮであることを示す情報が入力された場合、画像補正を実行する。画像補正として、例えば、覆い焼き補正（輝度補正）、赤目補正、またはコントラスト補正が実行される。画像補正部２１７は、画像補正条件入力部２１６から画像補正がＯＦＦであることを示す情報が入力された場合、画像補正を実行しない。画像補正は、例えば、短辺１２００画素で、ｓＲＧＢの色空間にサイズが変換された画像データに対しても実行可能である。

Ｓ５１２では、レイアウト情報出力部２１５は、レイアウト情報を作成する。画像レイアウト部２１４は、Ｓ５１０で決定されたテンプレートの各スロットに対して、Ｓ５１１の画像補正が実行された画像データをレイアウトする。このとき、画像レイアウト部２１４は、スロットのサイズ情報に合わせてレイアウトする画像データを変倍してレイアウトする。そして、レイアウト情報出力部２１５は、テンプレートに画像データがレイアウトされたビットマップデータを、出力画像データとして生成する。

Ｓ５１３では、画像レイアウト部２１４は、Ｓ５１０～Ｓ５１２の処理が全ての見開きに対して終了したか否かを判定する。終了していないと判定された場合、Ｓ５１０からの処理を繰り返す。終了していると判定された場合、図５の自動レイアウト処理は終了する。

図５の自動レイアウト処理が終了すると、レイアウト情報出力部２１５は、Ｓ５１２で生成された、画像がテンプレートにレイアウトされたビットマップデータ（出力画像データ）を、ディスプレイ１０５に出力し、表示させる。なお、生成された画像データは、ユーザ指示に基づき、インターネットを介してサーバにアップロードされてもよい。アップロードされた画像データに基づき、印刷及び製本処理が実行され、冊子としてのアルバム（フォトブック）が作られ、ユーザの元へ届けられる。

以上が、自動レイアウト処理を実施するための処理フローに関する説明である。本実施形態によれば、ユーザの意図に沿う画像を適切に選択することができる。特に、本実施形態では、ユーザ画像群と近しい特徴を持つ画像が高い得点となるような得点基準を決定することにより、ユーザの意図を汲みつつ統一感のある画像選択が可能となる。また、本実施形態によれば、アルバム候補画像群の全体の傾向と、ユーザ画像群の傾向とが異なる場合に、アルバム候補画像群の全体の傾向に応じて画像を選択する場合に比べて、ユーザの意図を汲んだ画像選択が可能となる。

＜＜第２実施形態＞＞
第２実施形態では、第１実施形態で説明したＳ５０４の得点基準決定処理において、第１実施形態で説明した得点基準とは異なる得点基準を決定する処理を説明する。具体的には、ユーザ画像群において疎となる分布を持つ特徴量に高得点が付与される得点基準を用いる。また、そのような分布の特徴量において、ユーザ画像群と近い特徴を持つ画像を選択するような得点基準を用いたり、逆に、敢えて選択しないような得点基準を用いたりする例を説明する。尚、自動レイアウト処理の基本的な処理は、第１実施形態で説明した例と同様であり、以下では、異なる点を中心に説明することにする。

図１１は、本実施形態の得点基準を説明する図である。図１１（ａ）は、第１実施形態における各画像を、ある特徴量軸にプロットした結果を示している。点１１０１を例とする網掛された点は、ユーザ画像を示している。点１１０２および点１１０３を例とする網掛けされていない点は、アルバム候補画像を示している。また、点１１０２および点１１０３の内部に記した「Ｈ」「Ｌ」の文字は、画像得点部２０７で算出した得点の度合いを示している。即ち、Ｈは、得点の度合いが高いことを示し、Ｌは、得点の度合いが低いことを示している。

第１実施形態では、Ｓ５０４において、得点基準決定部２０６は、各特徴量のうち、ユーザ画像群がまとまってプロットされる特徴量（即ち、標準偏差σが小さい特徴量）ほど、得点に大きな影響を与える得点基準を用いていた。この結果、図１１（ａ）に示すように、ユーザ画像群において密な分布となる特徴量において、ユーザ画像群と近い特徴を持つ画像ほど高い得点が付与され、選択されやすくなっていた。

本実施形態では、Ｓ５０４においては、ユーザ画像群が散らばってプロットされる特徴量（即ち、標準偏差σが大きい特徴量）ほど、得点に大きな影響を与えるような得点基準を用いる。例えば、式（６）により、注目画像ごとに、各特徴量の得点を算出しても良い。
Ｓｊｉ＝σｉ×（５０－１０×ＭＩＮｋ（｜ｆｋｉ―ｆｊｉ｜）／σｉ）／Ｎｋ・・・（６）

ここで、ＭＩＮｋ（・）は各ユーザ画像ｋにおける要素（・）の最小値を取得する関数である。つまり、式（６）においては注目画像と最も近いユーザ画像の特徴量の差分を得点基準に利用している。また、式（６）においては、ユーザ画像群の特徴点ｉの標準偏差σｉが大きいほど、高い得点が算出される。

この結果、図１１（ｂ）に示すように、ユーザ画像群が散らばってプロットされ、かつ、あるユーザ画像と近い特徴を持つ画像ほど、高い得点が付与されるようになる。したがって、ユーザ画像群において疎な分布となる特徴量において、ユーザ画像群と近い特徴を持つ画像を選択することが可能となる。

また、Ｓ５０４においては、図１１（ｃ）に示すように、ユーザ画像群が散らばってプロットされる特徴量ほど、かつ各ユーザ画像と異なる特徴を持つ画像ほど高い得点を付与するような得点基準を用いてもよい。例えば、式（７）により、得点を算出しても良い。
Ｓｊｉ＝σｉ×Σｋ（５０－１０×σｉ／ＭＩＮｋ（｜ｆｋｉ―ｆｊｉ｜））／Ｎｋ・・・（７）

これにより、アルバム候補画像群からは、ユーザ画像群とは異なる特徴を持つ画像が選択され、ユーザ画像群と合わせて、レイアウト画像群として様々なバリエーションを持つ画像を選択することが可能となる。

また、本実施形態では、得点基準決定部２０６において、ユーザ画像群に対して主成分分析を行って第一軸への写像関数を取得し、全ての画像を第一軸上に写像し、第一軸上でのユーザ画像と注目画像の特徴量の差分に基づいた得点基準を用いてもよい。

以上が、本実施形態における得点基準決定処理の処理内容に関する説明である。本実施形態によれば、ユーザ画像群と異なる特徴を持つ画像が高い得点となるような得点基準を決定することも可能であり、ユーザの意図を汲みつつバリエーション豊富な画像を選択することが可能となる。

＜＜第３実施形態＞＞
第３実施形態では、第１実施形態および第２実施形態におけるＳ５０４の得点基準決定処理を異ならせる例を説明する。具体的には、第１実施形態で説明した得点基準と第２実施形態で説明した得点基準とを自動で切り替えるような処理を行う例を説明する。

第１実施形態および第２実施形態においては、図１１に示すように、特徴量空間上でのユーザ画像群の分布、および、ユーザ画像と注目画像との特徴量の差分を得点基準に利用する例を説明した。

第１実施形態においては、ユーザ画像群がまとまって配置されるような特徴量が、得点算出に大きな影響を与えるような得点基準を用いることで、統一感のある画像選択を可能な例を説明した。

第２実施形態においては、ユーザ画像群が散らばって配置されるような特徴量が、得点算出に大きな影響を与えるような得点基準を用いることで、バリエーション豊富な画像を選択可能な例を説明した。

第３実施形態においては、特徴量空間上における特徴量の傾向に基づいて、第１実施形態および第２実施形態で説明した得点基準を自動で切り替えて利用する。

図１２は、本実施形態におけるＳ５０４の得点基準決定処理の詳細を示すフローチャートである。本実施形態では、図１２に示すフローに従い、得点基準決定部２０６において、特徴量ごとに求めた標準偏差の値に基づいて得点基準を自動で切り替える。

Ｓ１２０１においては、第１実施形態と同様に、特徴量ごとに、ユーザ画像群の特徴量の平均および標準偏差を算出する。

Ｓ１２０２においては、Ｓ１２０１で算出した標準偏差の値に基づいて、取得する得点基準を切り替える。即ち、Ｓ１２０２においては、得点基準決定部２０６は、Ｓ１２０１で算出した標準偏差が所定値未満であるかを判定する。標準偏差が所定値未満（例えば３未満）である場合は、Ｓ１２０３に進み、得点基準として第一の得点基準を決定する。例えば、式（１）を得点基準として決定する。一方、標準偏差が所定値以上（例えば３以上）である場合は、Ｓ１２０４に進み、得点基準として、第一の得点基準とは異なる第二の得点基準を決定する。例えば式（６）を得点基準として指定する。

これにより、例えば、図７（ａ）において、個人ＩＤ１に対する類似性に関しては、式（１）を得点基準として使用し、撮影日時に関しては、式（６）を得点基準として使用することができる。この場合は、個人ＩＤ１の人物が写り、かつ撮影日時は散らばっている画像に高い得点を付与し、選択することができる。すなわち、特徴量ごとに異なる傾向で画像を選択することができ、よりユーザの意図を汲んだ画像選択が可能となる。

本実施形態では、Ｓ１２０２において、Ｓ１２０１で算出した標準偏差に基づいて得点基準を第一の得点基準と第二の得点基準との間で切り替える例を説明したが、切り替え先の得点基準は、２つに限らず、３つ以上の間で得点基準を切り替えてもよい。また、本実施形態では、Ｓ１２０２において、Ｓ１２０１で算出した標準偏差に基づいて得点基準を切り替える例を説明したが、これに限られない。特徴量の種類に応じて、取得する得点基準を切り替えてもよい。具体的には、アルバム作成アプリケーションに予め設定した、特徴量の種類と利用する得点基準を対応させたテーブルを参照することで、特徴量ごとに一意に決まる得点基準を用いてもよい。即ち、特徴量の種類ごとに得点基準が切り替えられてよい。

Ｓ１２０５では、全ての特徴量項目に対して、Ｓ１２０１～Ｓ１２０４の処理が終了したか否かが判定される。ここで、終了していないと判定された場合、Ｓ１２０１からの処理を繰り返す。終了していると判定された場合、図１２の得点基準決定処理は終了する。

以上が、本実施形態における得点基準決定処理を実施するための処理フローに関する説明である。本実施形態によれば、ユーザ画像群と各特徴量とに応じて適切な得点基準を用いることにより、よりユーザの意図を汲んだ画像選択が可能となる。

＜＜その他の実施形態＞＞
尚、第３実施形態では、第１実施形態で説明した得点基準と第２実施形態で説明した得点基準とを自動で切り替えるような処理を行う例を説明したが、ユーザが、第一の得点基準または第二の得点基準を選べるように構成されていてもよい。例えば、バリエーションを重視するモードを選ぶか否かを示すようなチェックボックスを設けた不図示のＵＩ画面をユーザに提示してもよい。そして、このチェックボックスにチェックが入っている場合には、第２実施形態または第３実施形態で説明した処理を行うとしてもよく、チェックが入っていない場合に第１実施形態で説明した処理を行ってもよい。また、チェックボックスではなく、ユーザがモードを選択可能となるようにＵＩ画面が構成されていてもよい。

また、上述した実施形態では、ユーザ画像群の解析結果に基づいて得点基準を決定し、その基準とアルバム候補画像群の解析結果とに基づいてアルバム候補画像群の得点化を実施する例を説明した。そして、その得点に基づいてアルバム候補画像群からレイアウト画像群を選択する例を説明した。しかしながら、ユーザ画像群の解析結果に基づいて基準を決定し、その基準とアルバム候補画像群の解析結果とに基づいてレイアウト画像群が選択できればよい。つまり、ユーザ画像群の解析結果に基づいて求まる基準は、ユーザが画像を選択する意図（選択基準）が反映された基準である。よって、この選択基準を踏まえてアルバム候補画像群からレイアウト画像群を選択すれば、アルバム候補画像群の全体の傾向から画像を選択する場合に比べて、ユーザの意図を汲んだ画像選択が可能となる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
２０１ アルバム作成条件指定部
２０２ ユーザ画像指定部
２０５ 画像解析部
２０６ 得点基準決定部
２０７ 画像得点部
２１１ 画像選択部

Claims (22)

1. コンピュータを、
   第１の画像群を指定する第１の指定手段と、
   第２の画像群を指定する第２の指定手段と、
   前記第１の画像群および前記第２の画像群に含まれる各画像を解析する解析手段と、
   前記第２の画像群の解析結果に基づいて基準を決定する決定手段と、
   前記基準と前記第１の画像群の解析結果とに基づいて前記第１の画像群から画像を選択する選択手段と、
   として機能させるためのプログラム。
2. 前記決定手段は、前記基準として、画像に得点を付与する得点基準を決定し、
   前記コンピュータを、
   前記得点基準と前記第１の画像群の解析結果とに基づいて前記第１の画像群の得点化を実施する得点化手段としてさらに機能させ、
   前記選択手段は、前記得点化によって求められた得点に基づいて前記第１の画像群から画像を選択する、
   ことを特徴とする請求項１に記載のプログラム。
3. 前記決定手段は、前記第２の画像群の解析結果の平均値および中央値のうち、少なくとも１つを用いた前記得点基準を決定することを特徴とする請求項２に記載のプログラム。
4. 前記決定手段は、前記第２の画像群の解析結果の標準偏差、四分位偏差、分布形状のうち、少なくとも１つを用いた前記得点基準を決定することを特徴とする請求項２または３に記載のプログラム。
5. 前記決定手段は、前記第２の画像群の解析結果と前記得点化手段により得点化される画像の解析結果との差分を用いた前記得点基準を決定することを特徴とする請求項２乃至４のいずれか一項に記載のプログラム。
6. 前記決定手段は、前記第２の画像群の解析結果の傾向と前記選択手段により選択される画像の解析結果の傾向とが近くなるような前記得点基準を決定することを特徴とする請求項２乃至５のいずれか一項に記載のプログラム。
7. 前記決定手段は、前記選択手段により選択される画像の解析結果の分布が密となるような前記得点基準を決定することを特徴とする請求項２乃至６のいずれか一項に記載のプログラム。
8. 前記決定手段は、前記選択手段により選択される画像の解析結果の分布が疎となるような前記得点基準を決定することを特徴とする請求項２乃至６のいずれか一項に記載のプログラム。
9. 前記決定手段は、前記第２の画像群の解析結果の傾向と前記選択手段により選択される画像の解析結果の傾向とが異なるような前記得点基準を決定することを特徴とする請求項２乃至６のいずれか一項に記載のプログラム。
10. 前記決定手段は、複数の得点基準を有し、解析結果の種類ごとに前記得点基準を切り替えることを特徴とする請求項２乃至９のいずれか一項に記載のプログラム。
11. 前記決定手段は、前記第２の画像群の解析結果が所定値未満か否かに応じて、前記解析結果の種類ごとの前記得点基準を切り替えることを特徴とする請求項１０に記載のプログラム。
12. 前記決定手段は、解析結果の種類ごとに一意に決められた前記得点基準を決定することを特徴とする請求項１０に記載のプログラム。
13. 前記得点化手段は、前記解析結果の種類ごとに求められた得点の平均値を各画像の得点として付与し、
    前記選択手段は、前記得点が高い画像から画像を選択することを特徴とする請求項２乃至１２のいずれか一項に記載のプログラム。
14. 前記得点化手段は、前記解析結果の種類ごとに求められた得点のうち、最も高い得点を各画像の得点として付与し、
    前記選択手段は、前記得点が高い画像から画像を選択することを特徴とする請求項２乃至１２のいずれか一項に記載のプログラム。
15. 前記解析手段は、各画像に付与されているメタ情報を解析結果として出力することを特徴とする請求項１乃至１４のいずれか一項に記載のプログラム。
16. 前記メタ情報には、撮影日時の情報が含まれることを特徴とする請求項１５に記載のプログラム。
17. 前記解析手段は、各画像から解析して得られる画像特徴であるピントの合焦度合い、顔検出の結果、およびオブジェクトを判別の結果のうち、少なくとも１つの画像特徴を解析結果として出力することを特徴とする請求項１乃至１６のいずれか一項に記載のプログラム。
18. 前記選択手段は、前記第２の画像群から少なくとも１枚の画像を選択することを特徴とする請求項１乃至１７のいずれか一項に記載のプログラム。
19. 前記第２の画像群は、前記第１の画像群に含まれることを特徴とする請求項１乃至１８のいずれか一項に記載のプログラム。
20. 前記コンピュータを、
    前記選択手段により選択された画像を用いてレイアウトを実行し、画像データを作成する作成手段としてさらに機能させることを特徴とする請求項１乃至１９のいずれか一項に記載のプログラム。
21. 第１の画像群を指定する第１の指定手段と、
    第２の画像群を指定する第２の指定手段と、
    前記第１の画像群および前記第２の画像群に含まれる各画像を解析する解析手段と、
    前記第２の画像群の解析結果に基づいて基準を決定する決定手段と、
    前記基準と前記第１の画像群の解析結果とに基づいて前記第１の画像群から画像を選択する選択手段と、
    を備えることを特徴とする画像処理装置。
22. 第１の画像群を指定する第１の指定工程と、
    第２の画像群を指定する第２の指定工程と、
    前記第１の画像群および前記第２の画像群に含まれる各画像を解析する解析工程と、
    前記第２の画像群の解析結果に基づいて基準を決定する決定工程と、
    前記基準と前記第１の画像群の解析結果とに基づいて前記第１の画像群から画像を選択する選択工程と、
    を備えることを特徴とする画像処理方法。

Images