JP2018097492A - 画像処理装置、システム、方法、及びプログラム - Google Patents

Abstract

【課題】複数の画像の中から多様性のある画像を自動で選択すること。【解決手段】１つ以上の装置は、複数の画像において、第１の被写体と、第１の被写体と関連する第２の被写体とを認識し、第１の被写体と第２の被写体との認識の結果に基づいて、複数の画像のそれぞれについての得点を算出し、複数の画像のそれぞれについての得点に基づいて、第１の被写体に関する画像を複数の画像の中から選択する。【選択図】 図４

Description

本発明は、複数の画像の中から所定の基準に照らして１つ以上の画像を選択する技術に関する。

近年、大量画像データの有効活用を促す自動レイアウト機能を持ったアルバム作成サービスが提供され始めている。自動レイアウトでは、例えば、アルバム掲載用の画像の自動選択、アルバムに使用されるテンプレートの自動決定、テンプレートへの画像の自動割り当て等の、アルバムの作成のための処理の一部又は全部が自動で行われる。自動レイアウト機能によれば、ユーザは、迅速にアルバムを製作することができ、場合によっては、好みのアルバムを作成する際の作成指針として、自動製作されたアルバムを活用することもできる。

画像の自動選択では、ユーザが被写体を指定して、その被写体が写っている画像が選択されうる。特許文献１には、使用画像の選択条件をユーザが設定し、それに応じて複数の画像の中から、所定の用途に使用する画像を自動的に選択する技術が記載されている。特許文献１に記載された技術によれば、例えば、特定の被写体が含まれている画像を優先して選択することや、人物画像と判定された画像を使用画像として優先的に選択することができる。

特開２００７−０５８７９５号公報

特許文献１には、画像中にユーザが指定した被写体が含まれているか否かが判定されることが記載されているが、その被写体がどのような状態で写っているかについては考慮されていない。その結果、例えば、ユーザがペットの犬を指定した場合に、真正面を向いた犬の画像のみが選択され、アルバムとして自動選択される画像が単調で味気ないものになってしまいうる。その結果、選択画像に変化のないアルバムとなってしまい、ユーザの好みのアルバムを作成できないおそれがあった。

本発明は上記課題に鑑みなされたものであり、複数の画像の中から多様性のある画像を自動で選択する技術を提供することを目的とする。

本発明の一態様に係る画像処理装置は、複数の画像において、第１の被写体と、前記第１の被写体と関連する第２の被写体とを認識する認識手段と、前記第１の被写体と前記第２の被写体との前記認識の結果に基づいて、前記複数の画像のそれぞれについての得点を算出する算出手段と、前記複数の画像のそれぞれについての前記得点に基づいて、前記第１の被写体に関する画像を当該複数の画像の中から選択する選択手段と、を有する。

本発明によれば、複数の画像の中から多様性のある画像を自動で選択することが可能となる。

画像処理装置のハードウェアの構成例を示すブロック図である。 アルバム作成アプリケーションの機能構成例を示すソフトウェアブロック図である。 アルバム作成アプリケーションが提供する表示画面を示す図である。 自動レイアウト処理を示すフローチャートである。 画像解析情報を示す図である。 画像データ群の分割の結果を示す図である。 シーンごとに特定された統計情報を示す図である。 得点化軸の概念を示す図である。 画像データの選択を説明するための図である。 画像データのレイアウトに用いられるテンプレート群を示す図である。 画像得点部の詳細な機能構成例を説明する図である。 画像の得点化処理の流れの例を示す図である。 画像データのレイアウトに用いられる別のテンプレートの例を示す図である。 画像をトリミングして配置する場合の例を説明する図である。 メイン被写体とサブ被写体との関係について説明する図である。 ペット優先モードが選択された場合の得点化処理の例を示す図である。 ペット優先モードが選択された場合の得点化処理の例を示す図である。 ペット優先モードが選択された場合の得点化処理の例を示す図である。

以下、本発明に係る実施形態について図面を用いて詳細に説明する。

本実施形態では、画像処理装置上で、アルバム作成アプリケーション（アプリ）を動作させ、自動レイアウトを生成するまでの手順について説明する。なお、以下の説明において、「画像」とは、特に断りが無い限り、静止画、動画、及び動画中のフレーム画像を含む。また、ここでの画像は、ネットワーク上のサービスや、ネットワーク上のストレージ等、ネットワークに保持され、ネットワーク経由で取得可能な、静止画、動画、及び動画中のフレーム画像をも含みうる。

（装置構成）
図１は、本実施形態に係る画像処理装置１００のハードウェアの構成を示すブロック図である。なお、画像処理装置としては、例えば、パーソナルコンピュータ（ＰＣ）、スマートフォン等が挙げられ、本実施形態ではＰＣとする。ＣＰＵ（中央演算装置／プロセッサ）１０１は、画像処理装置１００を統括的に制御し、例えば、ＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み出して実行することにより、本実施形態の動作を実現する。なお、ＣＰＵは、任意のプロセッサで置き換えられうる。図１では、１つのＣＰＵが示されているが、複数のプロセッサが含まれてもよい。ＲＯＭ１０２は、汎用的なＲＯＭ（読み出し専用メモリ）であり、例えば、ＣＰＵ１０１により実行されるプログラムが記憶されている。ＲＡＭ１０３は、汎用的なＲＡＭ（ランダムアクセスメモリ）であり、例えば、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのワーキングメモリとして用いられる。ＨＤＤ（ハードディスクドライブ）１０４は、静止画ファイルや動画ファイル、画像解析などの処理結果を保持するデータベースや、アルバム作成アプリケーションにより用いられるテンプレートなどを記憶するための記憶媒体（記憶部）である。

ディスプレイ１０５は、本実施形態のユーザインタフェース（ＵＩ）や画像のレイアウトの結果をユーザに表示する。キーボード１０６及びポインティングデバイス１０７は、ユーザからの指示操作を受け付ける。キーボード１０６は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上に作成したいアルバムの見開き数を入力する際に用いられる。ポインティングデバイス１０７は、座標指示デバイスであり、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上のボタンをクリックする際に用いられる。なお、ディスプレイ１０５が、タッチセンサ機能を有し、ユーザからの指示操作の受け付けがディスプレイ１０５によって行われてもよい。

データ通信部１０８は、有線や無線等のネットワークを介した、又は画像処理装置に直接接続された、外部の装置との通信を行う。データ通信部１０８は、例えば、自動レイアウト機能によりレイアウトされたデータを画像処理装置１００と通信可能なプリンタやサーバに送信する。また、データ通信部１０８は、画像処理装置１００と通信可能なサーバやＳＮＳなどのネットワーク上のストレージから静止画や動画を受信することもできる。データバス１０９は、上述の各部とＣＰＵ１０１とを接続する。

本実施形態のアルバム作成アプリケーションは、例えば、ＨＤＤ１０４に保存され、ユーザがディスプレイ１０５に表示されているアプリケーションのアイコンをポインティングデバイス１０７によりダブルクリックしたことに応じて、起動される。

なお、図１では、据え置き型のパーソナルコンピュータやゲーム機等を想定したハードウェア構成例が示されているが、これに限られない。例えば、画像処理装置１００は、持ち運び可能なスマートデバイスであってもよく、このような装置においても、以下の機能及び処理を実現することができる。また、図１は、ローカル環境の画像処理装置１００を想定したハードウェア構成例を示しているが、ネットワーク上の１つ以上のサーバ等の装置を含んだシステムが以下の機能及び処理を実現してもよい。この場合、サーバ等の装置は、例えば図１の構成を有し、以下の機能及び処理の一部又は全部を実行しうる。サーバ等の装置によって以下の機能及び処理が実現される場合は、サーバ内に保存されている画像が利用されてもよいし、ユーザが例えばローカル端末からサーバへアップロードした画像が利用されてもよい。

図２は、アルバム作成アプリケーションの機能構成を示すソフトウェアブロック図である。図２は、特に、自動レイアウト機能を実行する自動レイアウト処理部２１７に関するソフトウェアブロック図を示している。自動レイアウト機能により、撮影された静止画や動画をその内容や属性に基づいて分類又は選択して画像をレイアウトし、ディスプレイ１０５に表示されるアルバム画像が生成される。なお、ＣＰＵ１０１がＨＤＤ１０４に保存されているアルバム作成アプリケーションを実行することにより、ＣＰＵ１０１が図２に示す各ブロックとして機能する。

条件指定部２０１は、例えばポインティングデバイス１０７による後述のユーザのＵＩ操作等の入力に応じたアルバム作成条件を、自動レイアウト処理部２１７に出力する。ここで、指定される条件は、例えば、対象の画像や主人公のＩＤ、アルバムの見開き数、テンプレート情報、画像補正のＯＮ／ＯＦＦ条件、動画使用のＯＮ／ＯＦＦ条件等を含みうる。画像の指定は、例えば撮影日時など、個別の画像データの付随情報や属性情報によってもよいし、デバイスやディレクトリ（フォルダ）の指定など、画像データを含むファイルシステムの構造に基づいてもよい。なお、「見開き」とは、例えば、表示における１つの表示用ウィンドウに、又は、印刷における、異なるシートに印刷された、互いに隣接する１対のページに、それぞれ相当する。なお、本実施形態に係る条件指定部２０１は、例えば、アルバムで採用される画像の被写体を、人物優先とするかペット優先とするかの指定をも行いうる。

画像取得部２０２は、条件指定部２０１から指定された静止画や動画の画像データ群を、ＨＤＤ１０４から（場合によってはデータ通信部１０８を介してネットワーク上のサーバやＳＮＳから）、取得する。なお、静止画像や動画像は、例えば、デジタルカメラやスマートデバイス等の撮像デバイスが撮像によって取得したものである。画像処理装置は、その内部に撮像デバイスを有してもよいし、外部の撮像デバイスから撮像結果を取得するのであってもよい。なお、撮像デバイスが外部装置である場合は、画像データは、例えばデータ通信部１０８を介して、ＨＤＤ１０４に取り込まれ、又は自動レイアウト処理部２１７に供給されうる。優先モード選択部２０３は、条件指定部２０１からの指定に応じて、作成するアルバムにおいて、人物画像を優先的に選択させるか、ペット画像を優先的に選択させるかを指定する情報を、画像解析部２０５へ入力する。

画像変換部２０４は、以降の処理に用いる画像データを所望の画素数や色情報に変換する。本実施形態では、画像変換部２０４は、画像データを、短辺４２０画素の画素数とｓＲＧＢの色情報の解析画像データ（以下では「解析画像」と呼ぶ。）へ変換するものとする。画像解析部２０５は、解析画像から、後述の、特徴量の取得、顔検出、表情認識、個人認識の各処理を実行する。また、画像解析部２０５は、ＨＤＤ１０４から又はデータ通信部１０８を介してネットワークから取得した画像データに付随したデータの取得、例えばＥｘｉｆ情報からの撮影日時の情報の取得も実行する。

画像分類部２０６は、画像データ群に対して撮影日時情報や撮影枚数、検出した顔情報等を用いて、後述のシーン分割やシーン分類を実行する。ここでのシーンは、例えば、旅行や日常、結婚式等の撮影シーンである。１つのシーンに対応する画像データは、例えば、１つの撮影対象について一時期の撮影機会に撮影された画像の集まりとして捉えられる。主人公情報入力部２０７は、条件指定部２０１から指示された主人公のＩＤ（識別情報）を画像得点部２０８に入力する。画像得点部２０８は、各画像データに対してレイアウトに適した画像が高得点になるような得点付けを行う。画像得点部２０８は、例えば後述するように、画像解析部２０５からの情報と、画像分類部２０６からの情報を用いて得点付けを行う。また、画像得点部２０８は、主人公情報入力部２０７から入力された主人公ＩＤが含まれる画像データについて、より高い得点を付与するように構成されうる。さらに、画像得点部２０８は、条件指定部２０１において指定された優先モードに基づいて人物以外のオブジェクトの認識が行われた場合は、そのオブジェクトが含まれる画像データについて、より高い得点を付与するように構成されうる。なお、画像得点部２０８は、画像解析部２０５からの情報と、画像分類部２０６からの情報以外の情報を、付加的に、又は代替的に用いて、得点付けを行ってもよい。

見開き数入力部２０９は、条件指定部２０１から指定されたアルバムの見開き数を見開き割当部２１０に入力する。アルバムの見開き数は、複数の画像が配置される複数のテンプレートの数に相当する。見開き割当部２１０は、見開き数入力部２０９から入力された見開き数に基づいて、画像データ群を分割（グルーピング）してアルバムの各見開きに割り当てる。見開き割当部２１０は、入力された見開き数に応じて画像データ群を分割し、各見開きに画像データ群の一部（分割分）を割り当てる。画像選択部２１１は、見開き割当部２１０で各見開きに割り当てられた画像データ群の一部から、画像得点部２０８で付された得点に基づいて画像を選択する。

テンプレート入力部２１２は、条件指定部２０１から指定されたテンプレート情報に応じた複数のテンプレートを画像レイアウト部２１３に入力する。画像レイアウト部２１３は、画像選択部２１１で選択された画像データに適したテンプレートを、テンプレート入力部２１２から入力された複数のテンプレートから選択し、画像データのレイアウトを決定する。レイアウト情報出力部２１６は、画像レイアウト部２１３が決定した画像データのレイアウトに従って、ディスプレイ１０５に表示するためのレイアウト情報を出力する。レイアウト情報は、例えば、選択されたテンプレートに画像選択部２１１により選択された画像データをレイアウトしたビットマップデータである。

補正条件入力部２１４は、条件指定部２０１から指定された画像補正のＯＮ／ＯＦＦ条件を画像補正部２１５に入力する。画像補正のＯＮ／ＯＦＦは、補正の種類ごとに指定されてもよいし、全ての種類についてまとめて指定されてもよい。補正は、例えば、輝度補正、赤目補正、コントラスト補正の少なくともいずれかを含みうる。画像補正部２１５は、画像補正条件がＯＮの場合、画像データに対して補正を実行し、画像補正条件がＯＦＦの場合、補正を実行しない。なお、画像補正部２１５は、補正のＯＮ／ＯＦＦに従って、画像変換部２０４から入力された画像データに対して補正を行う。画像変換部２０４から画像補正部２１５に入力される画像データの画素数は、画像レイアウト部２１３で決定されたレイアウトのサイズに合わせて変更可能である。

アルバム作成アプリケーションが画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上に、その起動アイコンが表示される。ユーザがディスプレイ１０５に表示されている起動アイコンをポインティングデバイス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＡＭ１０３にロードされる。ＲＡＭ１０３のプログラムがＣＰＵ１０１により実行されると、アルバム作成アプリケーションが起動する。なお、画像処理装置１００は、プログラムをＲＯＭ１０２に記憶するように構成されてもよい。

（表示画面の例）
図３は、アルバム作成アプリケーションが提供する表示画面３０１の一例を示す図である。表示画面３０１は、ディスプレイ１０５に表示される。ユーザは表示画面３０１を介して後述するアルバムの作成条件を設定し、条件指定部２０１は、ユーザからの設定内容を取得する。

表示画面３０１上のパスボックス３０２は、アルバム作成の対象となる画像データ群のＨＤＤ１０４中の保存場所（パス）を表示する。フォルダ選択ボタン３０３は、ユーザからのポインティングデバイス１０７でのクリック操作により、アルバム作成の対象とする画像データ群を含むフォルダをツリー構成でユーザ選択可能に表示する。ユーザにより選択された画像データ群を含むフォルダパスが、パスボックス３０２に表示される。なお、ユーザは、キーボード１０６を介して、アルバム作成の対象となる画像データ群を含むフォルダへのフォルダパスを、パスボックス３０２に直接入力してもよい。

主人公指定アイコン３０４は、解析対象の画像（例えば写真）に写った人物から中心人物として特定されるべき主人公が特定されるアイコンであり、人物の顔画像がアイコンとして表示される。主人公指定アイコン３０４には、例えば顔データベースに登録された人物の顔画像のうち、ユーザによって手動選択された、又は後述の手順で自動設定された、人物の顔画像が表示される。主人公指定アイコン３０４には、複数の異なる顔画像のアイコンが並んで表示されてもよい。なお、顔画像のアイコンは、それぞれ、例えば事前に画像から検出され、それぞれ個人ＩＤと関連付けられて、顔データベースに登録される。ユーザは、例えば、ポインティングデバイス１０７により主人公指定アイコン３０４をクリックすることにより、顔データベースに格納されている顔画像を表示させ、その表示された顔画像のうちの１つ以上を選択することにより、手動で主人公を選択しうる。優先モード選択ボタン３０９は、作成するアルバムにおいて、人物画像を優先的に選択させるのか、ペット画像を優先的に選択させるのかの、ユーザによる指定を受け付けるボタンである。

見開き数ボックス３０５は、ユーザからのアルバムの見開き数の設定を受け付ける。ユーザは、キーボード１０６を介して見開き数ボックス３０５に直接数字を入力するか、ポインティングデバイス１０７を用いてリストから見開き数ボックス３０５に数字を入力することができる。テンプレート指定アイコン３０６は、テンプレートのテイスト（ポップ調やシック調等）別にイラスト画像を表示する。テンプレート指定アイコン３０６には、複数のテンプレートアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックしていずれかのテンプレートを選択可能である。画像補正チェックボックス３０７は、ユーザからの画像補正のＯＮ／ＯＦＦの指定を受け付ける。チェックが入った状態は画像補正ＯＮが指定された状態であり、チェックが入っていない状態は画像補正ＯＦＦが指定された状態である。図３の例では、１つ以上の種類の補正の全てについて、まとめてＯＮまたはＯＦＦが指定される。なお、１つ以上の種類の補正について、個別に又は一定の単位ごとにＯＮ又はＯＦＦが指定されてもよい。

ＯＫボタン３０８は、表示画面３０１上で指定されている状態を条件指定部２０１に伝えるためのボタンであり、ユーザによりＯＫボタン３０９が押下されると、条件指定部２０１は、表示画面３０１上で設定されている内容を取得する。条件指定部２０１は、取得した設定内容を、アルバム作成アプリケーションの自動レイアウト処理部２１７に出力する。その際、パスボックス３０２に入力されているパスは、画像取得部２０２に伝えられる。主人公指定アイコン３０４で選択されている主人公の個人ＩＤは、主人公情報入力部２０７に伝えられる。見開き数ボックス３０５に入力されている見開き数は、見開き数入力部２０９に伝えられる。テンプレート指定アイコン３０６で選択されているテンプレート情報は、テンプレート入力部２１２に伝えられる。画像補正チェックボックス３０７の画像補正のＯＮ／ＯＦＦ指定は、補正条件入力部２１４に伝えられる。また、有線モード選択ボタンでの優先モードの指定情報が、優先モード選択部２０３に伝えられる。

表示画面３０１上のリセットボタン３０９は、表示画面３０１上の各設定情報をリセットするためのボタンである。

（処理の流れ）
続いて、図４を用いて、アルバム作成アプリケーションの自動レイアウト処理部２１７において実行される処理の流れについて説明する。図４に示す処理は、例えば、ＣＰＵ１０１がＨＤＤ１０４に格納されたプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。

まず、自動レイアウト処理部２１７は、ユーザからの優先モードの選択を受け付ける（Ｓ４０１）。すなわち、自動レイアウト処理部２１７は、作成するアルバムにおいて、人物画像を優先して選択する人物優先モードと、ペット画像を優先して選択するペット優先モードとのいずれのモードで動作するかの指定を受け付ける。

続いて、画像変換部２０４が、着目画像の解析画像を生成する（Ｓ４０２）。すなわち、画像変換部２０４は、条件指定部２０１で指定され、ＨＤＤ１０４に記憶された画像群内の各画像を、所望の画素数と色情報とを有する画像に変換する。本実施形態では、着目画像は、短辺４２０画素の画素数とｓＲＧＢの色情報とを有する解析画像に変換される。

その後、画像解析部２０５が、例えばＳ４０２で生成された解析画像から、着目画像の画像特徴量を取得する（Ｓ４０３）。画像解析部２０５は、ＨＤＤ１０４から取得された着目画像に付随する、例えばＥｘｉｆ情報から撮影日時を取得する。また、画像解析部２０５は、着目画像が撮影された位置に関する位置情報を取得してもよい。さらに、画像解析部２０５は、着目画像が撮影された際に用いられた撮影デバイスに関する情報を取得してもよい。また、画像解析部２０５は、Ｅｘｉｆ情報や画像取得時に付した識別情報から、画像の画素数を取得する。画像解析部２０５は、着目画像を変換して得られた解析画像から特徴量を取得する。特徴量は、例えば、ピントでありうる。

例えば、エッジの検出方法として一般的に知られているソーベルフィルタにより、着目画像に関するエッジ検出が行われ、エッジの始点と終点の輝度差を、始点と終点の距離で割ることにより、エッジの傾き、すなわち輝度勾配が算出されうる。そして、対象画像中のエッジの平均傾きを算出した結果から、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているとみなすことができる。したがって、この平均傾きの値を、特徴量として用いることができる。ここで、平均傾きに対して異なる複数の閾値を設定し、算出した平均傾きがどの閾値以上であるかを判定することにより、ピント量の評価値を出力することができる。本実施形態では、異なる２つの閾値（第１の閾値及び第２の閾値。なお、第１の閾値＞第２の閾値とする。）を予め設定しておき、○△×の３段階により、ピント量を判定する。例えば、ピント量は、算出した平均傾きが第１の閾値以上の場合は良好（○）、第１の閾値より小さく第２の閾値以上の場合は許容可能（△）、第２の閾値より小さい場合は許容不能（×）と判定されうる。そして、アルバムに採用したいピントの傾きを○、許容可能なピントの傾きを△、許容不能な傾きを×とし、各閾値を予め設定しておく。閾値は、例えば、アルバム作成アプリケーションの作成元等により（例えば実験結果などの結果に応じた値として）提供されてもよいし、ユーザインタフェースを介して設定されてもよい。なお、○△×に対してそれぞれ異なる数値をピント量として設定してもよい。

Ｓ４０４では、画像解析部２０５は、Ｓ４０２で生成された解析画像に対して、顔検出を実行する。ここで、顔検出の処理には、公知の方法を用いることができ、例えば、複数用意した弱識別器から強識別器を作成するＡｄａｂｏｏｓｔを用いることができる。本実施形態では、Ａｄａｂｏｏｓｔにより作成した強識別器により人物（オブジェクト）の顔の領域が検出対象画像から検出される。画像解析部２０５は、顔画像を抽出するとともに、検出した顔の領域の左上座標値と右下座標値とを取得する。この２種の座標を持つことにより、画像解析部２０５は、顔の領域の位置とサイズとを取得することができる。ここで、顔に限らず、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトを、顔の代わりの検出対象としてＡｄａｂｏｏｓｔによる強識別器を作成してもよい。これにより、画像解析部２０５は、顔画像以外のオブジェクトを検出することができる。

続いて、画像解析部２０５は、Ｓ４０４で検出した顔画像と、顔辞書データベースに個人ＩＤごとに保存されている代表顔画像との類似性を比較することにより、個人認識を行う（Ｓ４０５）。画像解析部２０５は、類似性が閾値以上で類似性が最も高いＩＤを、検出した顔画像のＩＤとする。なお、顔辞書データベースに登録されている全ての画像に対する類似性が閾値未満の場合、画像解析部２０５は、抽出した顔画像を新規の顔として新規の個人ＩＤとして顔辞書データベースに登録しうる。

画像解析部２０５は、図５に示すように、Ｓ４０３〜Ｓ４０５で取得した画像解析情報７００を、各画像を識別するＩＤ５０１ごとに区別して、ＲＡＭ１０３等の記憶領域に記憶する。例えば、図５に示すように、Ｓ４０３で取得された撮影日時情報５０２とピント判別結果５０３、Ｓ４０４で検出された顔（領域）の数５０４と位置情報５０５が、テーブル形式で記憶される。なお、顔画像の位置情報は、Ｓ４０５で取得された個人ＩＤごとに区別して記憶される。

その後、自動レイアウト処理部２１７は、Ｓ４０１で選択された優先モードに基づいて、ペット優先モードが選択されているか否かを判定する（Ｓ４０６）。自動レイアウト処理部２１７は、人物優先モードが選択されている場合（Ｓ４０６でＮＯ）には、処理をＳ４０８へ移し、ペット優先モードが選択されている場合（Ｓ４０６でＹＥＳ）には、処理をＳ４０７へ進める。

Ｓ４０７では、画像解析部２０５が、Ｓ４０２で生成された解析画像に対して、人物以外のオブジェクトを認識する。例えば、画像解析部２０５は、犬や猫等のペット、それらの遊び道具（例えばボールやぬいぐるみ）、それらの屋外／屋内での位置を推定できる環境（例えば芝生や海、窓やクッション）等の、人物以外の被写体を認識する。ここでの認識方法についても公知のものが用いられうる。例えば、パターンマッチング方法や機械学習による方法、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の、様々な技術の少なくともいずれかが用いられうる。ＣＮＮが用いられる例では、画像解析部２０５は、１０００個ほどのオブジェクトを認識できるＮｅｕｒａｌ Ｎｅｔｗｏｒｋを用いて、画像中に存在するオブジェクトの反応値（得点）をそれぞれ算出する。画像解析部２０５は、例えば、Ｓ４０１でペット優先モードが選択されていれば、ＣＮＮの結果からメイン被写体の「犬」というオブジェクトの得点を取得し、それと同時に、犬に関連するボールや芝生等のサブ被写体となるオブジェクトの得点も取得する。また、例えばメイン被写体の「猫」というオブジェクトについては、その得点と共に、猫に関連する窓やクッション等のサブ被写体となるオブジェクトの得点をも取得する。なお、メイン被写体と関連しうるサブ被写体の候補は、事前設定されて管理されうる。そして、画像解析部２０５は、メイン被写体に関連付けられるサブ被写体の候補が画像内に存在している場合にはそれを認識して得点を付与しうる。画像解析部２０５は、これらの得点を、後述するＳ４１３の処理を実行する画像得点部２０８へと送出する。

Ｓ４０８では、条件指定部２０１で指定されたＨＤＤ１０４の画像データ群の全画像データに対してＳ４０２〜Ｓ４０７の処理が終了したか否かが判定される。ここで、終了していないと判定された場合（Ｓ４０８でＮＯ）は、処理が行われていない画像データに対してＳ４０２からの処理が実行され、終了していると判定された場合（Ｓ４０８でＹＥＳ）、処理はＳ４０９に進む。

Ｓ４０９では、画像分類部２０６が、シーン分割を実行する。画像分類部２０６は、Ｓ４０３で取得済みの撮影日時情報から算出した、画像と画像との間の時間差に基づいて、画像データ群を複数のシーンに分割する。本実施形態では、例えば、以下の基準に従ってシーン分割が行われる。
１．画像データ間に撮影していない日が存在する場合は分割する。
２．画像データ間で、撮影日が連続しているが、その時間差が１６時間以上空いている場合は分割する。
３．画像データ間で、撮影日が連続しており、かつその時間差が１６時間未満の場合は、連続する各日の最初の撮影から最後の撮影までの時間差が４時間未満であれば同じシーンとして分割する。
４．画像データ間で、撮影日が連続しており、その時間差が１６時間未満であり、かつ連続する各日の最初の撮影から最後の撮影までの時間差が４時間以上である場合は、連続する各日の撮影枚数が５０枚未満である場合には、同じシーンとして分割する。

画像分類部２０６は、例えば、画像データ群のうち、最も撮影日時が古い画像に最初に着目し、その次に古い画像との時間差を参照する。そして、画像分類部２０６は、着目画像を順次撮影日時が新しいものに置き換えながら同様の手法で時間差を参照して、上述の条件のいずれかに該当するか判定を行う。画像分類部２０６は、画像データ群の新しい方の画像から古い方の画像への順に上述の時間差の参照および分割判定を行ってもよい。なお、ここでの「分割」は、着目した２つの画像間を境界として、撮影日時の新しい方と古い方とに画像データ群を分割（グルーピング）することを指す。なお、分割は、他の基準により行われてもよい。画像分類部２０６は、例えば、撮影地が画像の付随情報に含まれている場合に、時間的には上記の分割の条件に合致しなくても、撮影地が所定距離以上離れていることを条件に、それぞれ異なる撮影地について画像データを分割してもよい。図６（Ａ）は、上記のシーン分割方法で画像データ群がシーン分割された結果の一例を示す図である。図６（Ａ）の例では、画像群が、８つのシーンに分割されている。

その後、画像分類部２０６が、シーン分類を実行する（Ｓ４１０）。本実施形態では、画像分類部２０６は、例えば、シーン分割された分割画像群の画像データを、旅行、日常、セレモニーのいずれかのシーンに分類する。本実施形態では、シーンの種類として、「旅行」、「日常」、「セレモニー」があるものとし、サブ画像群をこれらのシーンのいずれかに分類する例を説明する。なお、シーン分類得点化には、シーンの各種類に対応する特徴量の情報が格納されたシーン分類テーブルが利用される。

ここで、プログラムに予め格納される、シーン分類テーブルの作成方法について説明する。まず、「旅行」、「日常」、「セレモニー」のシーンに分類されると予め判定された複数の画像データ群がプログラムの設計者によって集められ、集められた画像データ群について、特徴量が取得される。ここで取得される特徴量の例は、例えば撮影期間、撮影枚数、撮影人数である。撮影期間は、各画像データ群において最初に生成された画像データと最後に生成された画像データとの撮影時間差である。撮影枚数は、各画像データ群の枚数である。撮影人数は、各画像データ群が表す各画像に含まれる顔の平均数である。その結果、例えば、旅行シーンであると予め判定された複数の画像データから成る１画像データ群について、撮影期間、撮影枚数、撮影人数の特徴量が取得される。なお、特徴量は撮影期間、撮影枚数、撮影人数に限定されず、他の特徴量が用いられても良いし、その中のいずれかのみが用いられてもよい。

そして、上記のような撮影期間、撮影枚数、撮影人数の特徴量の取得が、予め集められた他の画像データ群についても行われる。次に、シーン毎に集められた複数の画像データ群から取得された特徴量に基づいて、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、１画像あたりの撮影人数の平均値と標準偏差とが求められる。このようにして求められた値と、シーンの各種類とが対応付けられることで、シーンの種類ごとの各平均値と標準偏差を示すシーン分類テーブル（図７）が作成される。図７は、特定された平均値と標準偏差を示すテーブル７００の例である。アルバム作成アプリケーションのプログラムには、図７に示すようなテーブル７００が予め組み込まれうる。テーブル７００では、シーンＩＤ７０１に対応付けて、撮影期間７０２、撮影枚数７０３、及び撮影人数７０４について、それぞれの平均値と標準偏差とが登録される。

Ｓ４１０では、アルバム作成アプリケーションが起動された後、パスボックス３０２等で指定された画像データ群がＳ４０９でシーン分割された結果の各分割画像群に対して、撮影期間、撮影枚数、及び撮影人数の平均値が算出される。そして、画像分類部２０６は、各分割群についての撮影期間、撮影枚数、撮影人数の特徴量について、図７のシーンごとの平均値と標準偏差とを用いて以下の式（１）及び（２）により得点化を行う。

得点 ＝ ５０−｜１０×（平均値−特徴量）／標準偏差｜ ・・・（１）
平均得点 ＝ （撮影期間の得点＋撮影枚数の得点＋撮影人数の得点）／特徴量項目数 ・・・（２）
ここで、式（１）は、撮影期間、撮影枚数、及び撮影人数のそれぞれについて計算され、式（２）は、式（１）の計算結果から計算される。なお、これらの計算は、シーンごとに行われ、１つの分割画像群について、全シーンに対応する平均得点が算出される。このとき、式（１）で用いられる平均値および標準偏差は、テーブル７００に登録された値が用いられ、特徴量は、分割画像群ごとの撮影期間、撮影枚数、及び撮影人数のそれぞれの値が用いられる。また、特徴量項目数は本例では３となる。

以上の算出の結果、各分割画像群に対して、旅行、日常、セレモニーのシーンごとの平均得点が算出される。そして、画像分類部２０６は、各分割群の画像データを、上記のうち最高得点に対応するシーンに分類する。ここで、複数のシーンについて得点が同点となった場合には、予め定められたシーンの優先順位に従って分類する。例えば、本実施形態では、日常＞セレモニー＞旅行の優先順位が定められており、日常シーンの優先度が最も高いものとする。例えば、図６（Ａ）のシーン分割された後の分割画像群５について、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であったとする。この場合、上記の式（１）及び（２）により算出された旅行シーンの平均得点は４５．３２、日常シーンの平均得点は１８．３８、セレモニーシーンの平均得点は−２９．９２となる。従って、分割画像群５は、旅行シーンに分類される。画像分類部２０６は、分類されたシーンに対して、識別可能なようにシーンＩＤを付与して管理する。

Ｓ４１１では、Ｓ４０９で分割された全分割画像群に対してＳ４１０のシーン分類が終了したか否かが判定される。ここで、終了していないと判定された場合（Ｓ４１１でＮＯ）は、シーン分類が行われていない分割画像群に対してＳ４０９の処理を実行し、終了していると判定された場合（Ｓ４１１でＹＥＳ）は、処理はＳ４１１に進む。

Ｓ４１２では、画像得点部２０８が主人公設定を実行する。主人公設定は、ユーザが指定した画像データ群に対して実行され、自動と手動の２種類の設定方法のいずれかにより行われる。画像得点部２０８は、Ｓ４０５で実行された個人認識結果と、Ｓ４０９で実行されたシーン分割の結果から、各個人ＩＤが画像データ群に登場する回数、各個人ＩＤが各シーンに登場する回数、各個人ＩＤが登場するシーンの回数等を取得可能である。画像得点部２０８は、それらの情報から、ユーザ指定によらず自動で主人公を設定することができる。本実施形態では、画像得点部２０８は、１つのアルバムに対して複数のシーンがある場合、複数のシーンでの登場回数が多い個人ＩＤを主人公ＩＤと設定し、単一のシーンのみである場合、単一シーンにおいて登場回数が多い個人ＩＤを主人公ＩＤと設定する。また、ユーザが主人公指定アイコン３０４の指定を行っている場合、主人公情報入力部２０７は、その指定されている個人ＩＤを画像得点部２０８に伝える。ユーザにより個人ＩＤが指定されている場合、画像得点部２０８は、上記の自動で設定される主人公ＩＤによらず、ユーザにより指定された個人ＩＤを主人公ＩＤとして設定する。この設定を手動設定と呼ぶ。

Ｓ４１３では、画像得点部２０８が得点化を実行する。得点化とは、画像データごとに後述の観点で評価した得点を付与する（スコアリングする）ことであり、後述の、レイアウトに用いられる画像データの選択時に参照される。図１０は、画像データのレイアウトに使うテンプレート群を示す図である。テンプレート群に含まれている複数のテンプレートのそれぞれが、各見開きに対応している。テンプレート１００１は１枚のテンプレートであり、スロット１００２はメインスロットを示し、スロット１００３と１００４はサブスロットを示す。メインスロット１００２は、テンプレート１００１内でメインとなるスロット（画像をレイアウトする枠）であり、サブスロット１００３と１００４よりもサイズが大きい。画像得点部２０８は、各画像データに対して、メインスロット用の得点とサブスロット用の得点の両方を付与する。

図８（Ａ）は、旅行、日常、セレモニーの各シーンによってアルバムに採用する画像の特徴をメインスロットとサブスロットとについて示した図である。図８（Ａ）に示すように、旅行、日常、セレモニーの各シーンでは、それぞれメインスロット及びサブスロットのために選択されるのが適切と考えられる画像の観点が異なる。例えば、旅行シーンでは、旅先での象徴的な景色と旅行の主役となる人物が一緒に写っている画像が、セレモニーシーンでは、新郎新婦が２人で寄り添う構図の写真（２人の距離が近い写真）が、それぞれメインスロット用画像として適切でありうる。また、日常シーンでは、主人公のアップや横顔の画像がメインスロット用画像として適切でありうる。また、各シーンに対して適切な画像は１種類に限定されなくてもよい。例えば、旅行シーンでは、上述のような景色と人物とが一緒に写っている画像に加えて、顔がアップや横顔の画像、旅行に同伴した人物や出会った人との記念撮影で得られた画像や、旅先での食べ物や建物、風景の画像なども適切でありうる。このように、各シーンに対して、１つ以上の相異なる適切な画像の条件が存在する。なお、本実施形態では、各シーンにおいて、メインスロット用の得点とサブスロット用の得点の２パターンの得点を算出するための適切な画像の条件を、２つ設定する。

図８（Ａ）に示す表において、各シーンのメインスロット向き画像の特徴とサブスロット向きの画像の特徴とのそれぞれについて、適合すると判定された複数の画像データが予め集められる。なお、集められた各画像データについて、その画像データに含まれる顔の数、顔の位置、顔のサイズの特徴量が、予め抽出される。そして、それらの特徴量の平均値と標準偏差とが、収集された画像データが対応する各シーンおよび各スロット種類（メインスロットとサブスロット）に対して算出され、アルバム作成アプリケーションのプログラムとともに記憶される。

画像得点部２０８は、各画像データがどのシーンに属すかについて、Ｓ４１０のシーン分類の結果から取得可能である。画像得点部２０８は、注目画像データのシーンに対応する、予め求めておいた上記の平均値と標準偏差、および注目画像データの主人公ＩＤの顔数、顔位置、顔サイズの各特徴量を用いて、式（３）及び（４）により、平均得点を算出する。

得点 ＝ ５０−｜１０×（平均値−特徴量）／標準偏差｜ ・・・（３）
平均得点 ＝ （顔数の得点＋顔位置の得点＋顔サイズの得点）／特徴量項目数 ・・・（４）
画像得点部２０８は、上記の得点化を、メインスロット用とサブスロット用の両方について実行する。ここで、アルバムに用いる画像はピントが合っている方が適切であるため、図５に示すピントの特徴量が○である画像ＩＤの画像データに対しては所定の得点を加算するようにしてもよい。図８（Ｂ）は、ある１つのシーンに対する上記の得点化による得点結果の一例を示しており、各画像ＩＤに対して、メインスロットとサブスロットについての得点化が行われている。すなわち、本実施形態では、各シーンについてメインスロットとサブスロットとにそれぞれ適する条件が図８（Ａ）に示すように定められており、予め、それらに適するであろうと判断された画像データが指定される。そして、その指定された画像データについて、顔数、顔位置、顔サイズの特徴量が取得され、特徴量ごとに平均値と標準偏差とが求められる。

一方、画像得点部２０８は、Ｓ４０１においてペット優先モードが選択されている場合、Ｓ４０７で行われたオブジェクト認識の結果をＳ４１３において取得する。例えば、各画像について、Ｓ４０７において、「犬」というオブジェクトの得点が事前設定された所定値以上である場合に、その画像が犬の画像であると判定される。その場合、続いて、犬に関連するオブジェクト（ボール、芝生、犬ぞりなど）の得点が同様に事前設定された所定値以上である場合に、サブ被写体として犬の得点と組み合わせられうる。なお、Ｓ４１３の詳細については、後述の図１２、図１６〜図１８を用いて説明する。

このような組み合わせによる得点は、例えば、メイン被写体である犬の得点に１より大きい係数を乗じ、それにサブ被写体となるオブジェクトの得点を加算することによる、加重加算を用いて算出されうる。このような組み合わせを行うことにより、犬のみが写っている画像よりも、犬と共にボール等の関連するオブジェクトが写っている画像の方が、さらに犬と共にボールと芝生等の複数のオブジェクトが写っている画像の方が、得点が高くなる。例えば、犬と共にボールが写っている画像は、犬がボールを追いかけている状態で撮影されたものである確率が高いと推定できる。したがって、このようなオブジェクトが多く映っている画像の得点を上げることで、犬がどのような状態で撮影されたかが分かる画像が、アルバムでのレイアウト対象として選択されやすくすることができる。

この処理フローを図１６に示す。なお、図１６〜図１８は、ペット優先モードが選択された場合に実行される処理の流れの例を示す図であり、これらの処理は、人物優先モードが設定されている場合には実行されない。

まず、画像得点部２０８は、得点化対象となる画像を選択する。そして、選択された画像に対して以下の処理を実行する。画像得点部２０８は、処理対象の画像に対してＳ４０７で行われたオブジェクトの認識結果を取得する（Ｓ１６０１）。そして、画像得点部２０８は、Ｓ１６０１で認識されたペット（本実施形態では犬、猫）の得点を取得する（Ｓ１６０２）。なお、画像得点部２０８は、犬と猫の得点をそれぞれ別々に格納してもよいし、アルバムで犬と猫を区別しないのであれば、どちらか大きい方の値をペットの得点としてもよい。また、画像得点部２０８は、ペット以外のオブジェクト（被写体）の得点を取得する（Ｓ１６０３）。上記Ｓ４０７の説明で、ＣＮＮを用いて１０００個ほどのオブジェクを認識すると説明したが、画像得点部２０８は、ペットを除く全てのオブジェクト（サブ被写体）の得点を取得することができる。画像得点部２０８は、取得されたペット以外の全てのサブ被写体に対して、ペットと関連するサブ被写体（前述したボール、芝生、クッションなど）であるかの判定を行う（Ｓ１６０４）。画像得点部２０８は、予め保持されているペットと関連するサブ被写体に関する情報に基づいてＳ１６０４の判定を実行する。Ｓ１６０４において、オブジェクトがペットと関連するサブ被写体と判定された場合（Ｓ１６０４でＹＥＳ）は、処理はＳ１６０５へ進み、オブジェクトがそのようなサブ被写体と判定されなかった場合（Ｓ１６０４でＮＯ）は、処理はＳ１６０６へと進む。Ｓ１６０５では、画像得点部２０８は、Ｓ１６０４でペットと関連があると判定されたサブ被写体の得点を、Ｓ１６０２で取得したペット得点に加算する。そして、Ｓ１６０６では、画像得点部２０８は、Ｓ１６０４の判定を行ったサブ被写体が最後のサブ被写体であるか否か、すなわち、Ｓ１６０４の判定がなされていないサブ被写体ががあるか否かを判定する（Ｓ１６０６）。画像得点部２０８は、最後のサブ被写体でないと判定した場合（Ｓ１６０６でＮＯ）は、処理を再びＳ１６０４へ戻し、最後のサブ被写体であると判定した場合（Ｓ１６０６でＹＥＳ）は、処理を終了する。

また、組み合わせによる得点の算出方法は、上述の加重加算による方法に限られない。例えば、サブ被写体に、組み合わせ条件を設けて得点を組み合わせることができる。例えば、犬ぞりは、主に雪が積もっている状況で使われるものであるため、１つの画像において芝生と共に写る確率が低いといえる。このため、例えば、犬ぞり及び芝生が排他的な関係にあることを事前設定しておき、これらのオブジェクトの両方が１つの画像において認識された場合は、それらのオブジェクトについての得点の高い方のみを、犬に関する得点に加算してもよい。また、例えば、犬はリード（紐や鎖）をつけることが多いが、猫はつけないことが多い。したがって、犬がメイン被写体の場合は、リードがオブジェクトとして認識されることで、散歩をしている状態で撮像されたと推定することができるが、猫がメイン被写体の場合にリードが認識された場合は、そのリードは誤判定である確率が高いといえる。このため、メイン被写体が猫である場合は、リードが認識されても得点として加算しないことにより、誤判定によって本来優先的に選択される必要のない画像が優先的に選択されてしまうことを防ぐことができる。なお、ここでの得点の加算には、加重加算が用いられてもよいし、そのような重み付けが用いられなくてもよい。

この処理フローを図１７に示す。なお、図１７は、図１６の代わりに実行される。ここでは、図１６と異なる点について詳細に説明する。画像得点部２０８は、ペットと関連すると判定した（Ｓ１６０４でＹＥＳ）サブ被写体の得点を、ペットの得点に直ちに加算するのではなく、一旦格納しておく（Ｓ１７０１）。そして、画像得点部２０８は、Ｓ１７０１で一旦格納されたサブ被写体の得点のうち、加算すべきでない不要なサブ被写体の得点を削除する（Ｓ１７０２）。例えば、画像得点部２０８は、上述のように、例えば犬ぞりの得点と、犬ぞりと排他的な関係にある芝生の得点を比べる。そして、画像得点部２０８は、犬ぞりの得点の方が高ければ、Ｓ１７０２において芝生の得点を削除する。なお、画像得点部２０８は、Ｓ１７０２で芝生の得点を削除するのではなく、次のＳ１６０５で芝生の得点を加算しないようにしてもよい。

また、Ｓ４０３では、被写体のエッジ量が解析されうるが、このエッジ量を、犬等のメイン被写体や芝生等のサブ被写体の得点の組み合わせにおいて考慮してもよい。例えば、ある画像において、犬のエッジ量が高く（ぶれていない）、芝生のエッジ量が低い（ぶれている）場合、犬が芝生の上を走っている状態でその画像が撮像されたと推定できる。すなわち、このような画像は躍動感があるように見えると考えられる。したがって、このようなエッジ量から撮像時の状態を推定することができる画像には、得点を高めるように重み付け又は得点の加算を行ってもよい。これにより、アルバムのレイアウト対象として選択される画像に多様性を持たせることができる。

なお、メイン被写体とサブ被写体との位置関係から、画像が撮像された際の状態を推定することもできる。例えば、画像内において犬の口の近くにボールが存在する場合は、その画像が、犬がボールを咥えている状態で撮像された画像であると推定することができる。一方で、画像内において、犬とボールとの距離が離れている場合は、その画像が、犬がボールを追いかけている状態で撮像された画像であると推定することができる。このとき、例えば、アルバムを作成する際の重点特徴をユーザに入力させ、それに応じて得点の重み付けを行うことができる。例えば、自動レイアウト処理部２１７は、「愛らしい」「躍動感のある」等の特徴を選択肢として表示して、そのいずれかをユーザに選択させることができる。そして、例えば、「愛らしい」が選択された場合には、犬がボールを咥えている状態の画像の得点が高くなるように、「躍動感のある」が選択された場合には、犬がボールを追いかけている状態の画像の得点が高くなるように、得点が調整（重み付け）される。また、例えば、画像内において犬や猫の下にクッションが存在する場合は、その犬や猫がクッションで横になっている状態でその画像が撮像されたと推定することができる。一方、犬や猫とクッションとの距離が離れている場合は、クッションと犬や猫との間の関連性は薄いと判定されうる。このため、このような場合には、クッションに関する得点を加算しないことにより、関連性が薄いオブジェクトを含んだ画像について、不必要に高い得点が付与されることを防ぐことができる。なお、ここで取得される得点は、ＣＮＮから出力される得点若しくはそれに関する値、又は、Ｓｏｆｔｍａｘ関数のような正規化関数の出力値でありうる。

この処理フローを図１８に示す。なお、図１８は、図１６及び図１７の代わりに実行される。ここでは、図１６と異なる点について詳細に説明する。画像得点部２０８は、画像中の認識されたペットの位置を検出する（Ｓ１８０１）。画像中の位置検出処理に関しては、公知技術が多く知られており、ここではそれらのうちのどれが用いられてもよく、特に限定しない。画像得点部２０８は、Ｓ１６０３の後、画像中で認識されたサブ被写体の位置を検出する（Ｓ１８０２）。Ｓ１８０１と同様に、位置検出処理はどのようなものが用いられてもよい。画像得点部２０８は、Ｓ１８０１とＳ１８０２で検出されたペットの位置とサブ被写体の位置の関係を算出する（Ｓ１８０３）。画像得点部２０８は、例えば、ペット及びサブ被写体の中心座標間の距離や、サブ被写体がボールである場合の犬の口の座標とボールの中心座標との距離など、被写体の特定位置の座標間の距離を用いて、この算出を行いうる。その後、画像得点部２０８は、ペットとサブ被写体との位置関係から、そのサブ被写体に関する重み付け係数を算出する（Ｓ１８０４）。なお、ペットとサブ被写体の位置関係とサブ被写体の重み付け係数の対応表が予め保持され、この対応表に基づいてＳ１８０４の算出が実行されてもよいし、所定の関数を用いてこの算出が行われてもよい。その後、画像得点部２０８は、この算出された重み付け係数を用いてサブ被写体に関する得点を、メイン被写体に関する得点に加重加算する（Ｓ１６０５）。

画像得点部２０８が、Ｓ４１３の処理を実行するとした場合の詳細な機能構成例について、図１１を用いて説明する。なお、後述する機能部については、それぞれ「装置」と名付けているが、これらは、例えばＣＰＵ１０１が、ＨＤＤ１０４等に記憶されたプログラムを実行することによって実現されてもよく、個別の回路等を有しなくてもよい。また、図１１の各装置１１０１〜１１１１は、１つの装置内に含まれているモジュールと捉えることもできる。そのため各装置１１０１〜１１１１を、単に部と呼ぶこともある。

画像群取得装置１１０１は、ユーザから入力された画像群を取得する。なお、画像群取得装置１１０１は、画像群の取得時に、Ｓ４０９の画像分類部２０６でシーン分割されたシーン分割情報をも取得する。色解析情報取得装置１１０２は、Ｓ４０３での画像特徴量取得処理の処理結果を得る。また、色解析情報取得装置１１０２は、画像の撮影日時情報や、画像の色合いやエッジ、ピント量などの解析情報を取得する。人物関連解析情報取得装置１１０３は、Ｓ４０４での顔検出およびＳ４０５での個人認識の処理結果を取得する。また、人物関連解析情報取得装置１１０３は、Ｓ４１２での主人公設定の処理結果をも取得しうる。オブジェクト認識情報取得装置１１０４は、Ｓ４０７でのオブジェクト認識の処理結果を取得する。

画像解析情報管理装置１１０５は、色解析情報取得装置１１０２、人物関連解析情報取得装置１１０３、及びオブジェクト認識情報取得装置１１０４で取得された各種情報を包括的に管理する。画像における特徴量を含めた全情報を取得する。また、画像解析情報管理装置１１０５は、色解析情報取得装置１１０２及び人物関連解析情報取得装置１１０３から算出・推量できる副次的な特徴をも管理しうる。例えば、画像解析情報管理装置１１０５は、Ｓ４０４で得られる各顔の位置だけでなく、そこから推量できる各顔同士の距離を管理しうる。なお、画像解析情報管理装置１１０５で管理される情報はこれらに限定されない。例えば、画像解析情報管理装置１１０５は、色解析情報取得装置１１０２、人物関連解析情報取得装置１１０３、及びオブジェクト認識情報取得装置１１０４で取得された情報ではない情報や、その情報に基づく副次的情報を管理してもよい。また、画像解析情報管理装置１１０５は、色解析情報取得装置１１０２、人物関連解析情報取得装置１１０３、又はオブジェクト認識情報取得装置１１０４で取得された情報のうちの一部のみを管理してもよい。

シーン格納装置１１０６は、複数の撮影シーンのそれぞれについて、画像が、どの撮影シーンであるか否かの判断に用いるためのシーン分類情報が格納される。本実施形態では、旅行シーン、日常シーン、セレモニーシーンの３種類について、それらを判別するためのシーン分類情報が、シーン格納装置１１０６に格納される。シーン判定装置１１０７は、画像解析情報管理装置１１０５で管理されている画像解析情報と、シーン格納装置１１０６に格納されているシーン分類情報とに基づいて、画像の撮影シーンを判定する。これにより、シーン判定装置１１０７は、上述のＳ４１０でのシーン分類の処理結果を取得する。本実施形態では、各画像が、シーン判定装置１１０７によって、旅行シーン、日常シーン、セレモニーシーンのいずれかに分類される。パラメータ設定装置１１０８は、シーン判定装置１１０７でのシーン分類処理によって決定された各画像の撮影シーンに基づいて、得点化に用いるパラメータを設定する。パラメータは、例えば、事前の機械学習によって決定されたパラメータであってもよいし、技術者の経験則またはシステム実行時に例えばユーザによって手動で設定されたパラメータであってもよい。

得点化装置Ａ１１０９、得点化装置Ｂ１１１０、及び得点化装置Ｃ１１１１には、パラメータ設定装置１１０８から、それぞれ個別に（場合によっては異なる）パラメータが与えられる。各得点化装置は、パラメータ設定装置１１０８から設定されたパラメータと、画像解析情報管理装置１１０５で取得された画像の解析情報に基づいて、その画像の得点化を行う。本実施形態では、得点化装置Ａ１１０９〜得点化装置Ｃ１１１１で取得された得点のいずれかが、例えば、メインスロット１００２の得点と、サブスロット１００３の得点およびサブスロット１００４の得点に対応する。得点化装置の個数は３つでなくてもよく、１つ若しくは２つ、又は４つ以上であってもよい。また、例えば、アルバム作成に要求される得点化軸の数は任意であり、必要に応じた数の得点化軸が設定されうる。

画像得点部２０８は、このような構成で各画像の得点を算出することにより、画像の撮影シーンに応じた得点化を行うことができる。このとき、画像得点部２０８は、撮影シーン間で得点化軸およびパラメータの決め方を一律としないことにより、撮影シーンごとに適切な構図や人数構成の画像を取得することができる。

続いて、図１２を用いて、シーン分類後の得点化処理を説明する。まず、画像得点部２０８は、色解析情報取得装置１１０２、人物関連解析情報取得装置１１０３、およびオブジェクト認識情報取得装置１１０４の画像解析情報を管理する画像解析情報管理装置１１０５から画像解析情報を取得して、設定する（Ｓ１２０１）。また、画像得点部２０８は、シーン格納装置１１０６において用意されていたシーン分類方法に基づいて、シーン判定装置１１０７で分類された画像の撮影シーンを、各画像群に対して設定する（Ｓ１２０２）。本実施形態では、旅行シーン、日常シーン、セレモニーシーンのいずれかが設定される。そして、画像得点部２０８は、得点化軸を設定する（Ｓ１２０３）。すなわち、上記の図１１の例によれば、画像得点部２０８は、得点化装置Ａ１１０９〜得点化装置Ｃ１１１１のうち、どの得点化装置が得点化処理を実行すべきかを設定する。後述するＳ１２０６で、軸の数だけループを行うが、得点化軸を、最初のループでは得点化装置Ａ１１０９に、次のループでは得点化装置Ｂ１１１０に、最後のループでは得点化装置Ｃ１１１１に、それぞれ設定する。ここで、Ｓ１２０２で設定された画像の撮影シーンＩＤをｉ（ｉ＞０）とし、得点化軸の番号をｊ（ｊ＞０）とすると、得点化軸はｅ_i,jと表すことができる。

次にＳ１２０４の処理が実行されるが、Ｓ１２０４では、人物優先モードが設定されている場合とペット優先モードが設定されている場合とで、異なる処理が実行される。まず、人物優先モードが設定されている場合の処理について説明する。Ｓ１２０４において、画像得点部２０８は、設定された画像の撮影シーンにおける、各得点化軸において要求されるパラメータを設定する。上述したように、パラメータ設定装置１１０８において撮影シーンに対応したパラメータが決定されるため、画像得点部２０８は、その決定されたパラメータをS１２０４において設定する。例えば、シーン分類が結婚式のシーンであって、得点化軸が得点化装置Ａ１１０９の場合、結婚式画像でメインスロット１００２の得点を算出するために機械学習されたパラメータが、ここで設定される。シーンや得点化軸が変わるごとに、それに応じたパラメータが設定される。続いてペット優先モードが設定された場合に実行されるＳ１２０４の処理について説明する。画像得点部２０８は、Ｓ１２０４において、図１６〜図１８の処理のいずれかで算出された得点を取得する。

次にＳ１２０５の処理が実行されるが、Ｓ１２０５においても、人物優先モードが設定されている場合とペット優先モードが設定されている場合とで、異なる処理が実行される。まず、人物優先モードが設定されている場合におけるＳ１２０５の処理について説明する。Ｓ１２０５において、画像得点部２０８は、設定されたパラメータに従って得点化を行う。得点化は、例えば以下のように行われる。各得点化軸ｅ_i,jに対応してＳ１２０４で設定されたｎ個のパラメータに、それぞれ閾値および重みの情報が関連付けられる。ここで、閾値及び重みは、各得点化軸ｅ_i,jにおける各パラメータに対応したｎ個分が確保され、それぞれ、Ｔｈ（ｎ，ｅ_i,j）及びＷ（ｎ，ｅ_i,j）と表記されるものとする。まず、Ｓ１２０１において取得された画像の解析情報と判定閾値Ｔｈ（ｎ，ｅ_i,j）とが比較される。そして、解析情報から得られたパラメータ値が判定閾値Ｔｈ（ｎ，ｅ_i,j）を上回っている場合に、重みＷ（ｎ，ｅ_i,j）を画像の各得点化軸における得点に加算する。各得点化軸での重みＷ（ｎ，ｅ_i,j）を累積加算した値をＳ_i,jとするときに、ｎ個のパラメータに関しての総和であるＳ_i,jが、最終的な得点となる。このように、各得点化軸における最終的な得点には、各パラメータが持つ重みＷの累積加減算値を与える。なお、得点化軸によっては重みが０のパラメータ（使用されないパラメータ）が存在してもよく、一方で、どの撮影シーンや得点化軸であっても重視すべきパラメータは、共通で使用されうる。

次に、ペット優先モードが設定されている場合におけるＳ１２０５の処理について説明する。図１６〜図１８で、メイン被写体であるペットの得点と、サブ被写体であるオブジェクトの得点を加算して、ペット画像の得点を算出する方法について説明した。本実施形態では、この得点を得点化装置Ａが用いる。ペットとサブ被写体の得点が加算された得点が得点化装置Ａの得点、すなわちメインスロット１００２に対応した得点となる。そのため、ペットとサブ被写体がより多く写っている画像ほど得点化装置Ａの得点が高くなる。こうすることで、メインスロット１００２の画像は、ペットとサブ被写体が写っている画像、つまりはペットの状態が推定できた画像が選択されやすくなる。

次に、得点化装置Ｂは、例えばペットのみの得点を使用する。こうすることで、サブスロット１００３には、ペットの得点が高い画像、つまりペットがより大きく写っていたり正面を向いているような画像が選択されやすくなる。次に、得点化装置Ｃには、例えばサブ被写体のみの得点を使用する。つまり、ボールやクッションなどのオブジェクトの得点を得点化装置Ｃが使用する。こうすることで、ペットが普段遊ぶようなオブジェクトをサブスロット１００４に設定でき、その結果アルバム内でペットに関連したオブジェクトの画像をワンカット挿入することができる。

また、得点化装置Ｂには、得点化装置Ａと同じ得点を加算してもよい。こうすれば、後述するレイアウトにおいて、得点化装置Ａの最高得点の画像がメインスロット１００２に選択され、メインスロットに用いられた画像を除く得点化装置Ｂの最高得点の画像がサブスロット１００３に選択される。すなわち、ペットとサブ被写体が写っていてペットの状態推定ができる画像のうち、最高得点の画像をメインスロット１００２に、次点の画像をサブスロット１００３にレイアウトすることができる。その時に、得点化装置Ｃには、ペットのみの得点を加算してもよい。このような得点化装置と算出方法の組み合わせにすることで、アルバムにレイアウトされる画像をすべてペット画像にすることができる。

最後に、Ｓ１２０６で得点化軸が最後か否かが判定され、処理が終了していない得点化軸が存在する（すなわち最後でない）場合（Ｓ１２０６でＮＯ）には、処理はＳ１２０３へと戻る。一方、最後の得点軸に関して処理が終了した場合（Ｓ１２０６でＹＥＳ）は、処理が終了する。以上の処理により、本実施形態の例によれば、得点化の対象画像に対してメインスロット１００２に対応する得点、サブスロット１００３に対応する得点、サブスロット１００４に対応する得点が算出される。

本実施形態では、各画像８０１について、図８（Ｂ）のようなメインスロットの得点８０２及びサブスロットの得点８０３が取得されうる。各得点化軸における得点が算出されることにより、どの画像が、どの程度、メインスロットまたはサブスロット向きであるか等の、評価結果を得ることができる。なお、得点化軸ごとに異なる基準で評価がされているため、例えば満点が異なりうる。このため、これらの得点を比較するための得点の正規化が行われてもよい。

また、本実施形態では、人物優先モードまたはペット優先モードのいずれかが選択される場合について説明したが、それ以外に人物＋ペット優先モードを設けてもよい。これは、人物とペットが一緒に写っている画像、例えば飼い主が犬を散歩させている画像や、飼い主が猫を抱いて撮った画像などを優先的にアルバムに採用するモードである。この場合、図１２で説明した人物の得点と図１６〜図１８で説明したペット得点を、Ｓ４１３で合算すればよい。または、アプリ上で人物やペットのウェイトを指定できるＵＩを設けてもよい。例えば、人物を多くペットを少なくする設定にすれば、人物の得点に大きな重み付け係数をかけ、ペットの得点には小さな重み付け係数をかけて合算する。こうすることで、バランス調整を行いながら人物とペットが両方写った画像を優先させることができる。

図４に戻り、Ｓ４１４では、画像得点部２０８が、ユーザ指定の画像データ群の全ての画像データに対して、Ｓ４１３の処理が終了したか否かを判定する。終了していないと判定された場合（Ｓ４１４でＮＯ）は、処理はＳ４１３へ戻り、Ｓ４１３の処理が繰り返され、終了していると判定された場合（Ｓ４１４でＹＥＳ）、処理はＳ４１５に進む。

Ｓ４１５では、見開き割当部２１０が、Ｓ４０８でのシーン分割の分割数が見開き数入力部２０９から入力されるアルバムの見開き数と同じであるか否かを判定する。同じでないと判定された場合（Ｓ４１５でＮＯ）は、処理はＳ４１６に進み、同じであると判定された場合（Ｓ４１５でＹＥＳ）は、処理はＳ４１９に進む。例えば、図６（Ａ）に示すようにシーン分割数が８であり、見開き数入力部２０９の入力数が８である場合、処理はＳ４１９に進む。

Ｓ４１６では、見開き割当部２１０は、Ｓ４０８でのシーン分割の分割数が見開き数入力部２０９から入力される見開き数（アルバムに使用されるテンプレート数）より少ないか否かを判定する。シーンの分割数の方が見開き数より多いと判定された場合（Ｓ４１６でＮＯ）は、処理はＳ４１８に進み、シーンの分割数の方が見開き数より少ないと判定された場合（Ｓ４１６でＹＥＳ）は、処理はＳ４１７に進む。図６（Ａ）に示すようにシーン分割数が８であり、見開き数入力部２０９の入力数が１０である場合、処理はＳ４１７に進む。

Ｓ４１７では、見開き割当部２１０は、サブシーン分割を実行する。サブシーン分割とは、シーン分割数＜アルバムの見開き数の場合に、分割されたシーンを更に細分割することを表す。図６（Ａ）のシーン分割数８に対して指定されたアルバムの見開き数が１０の場合で説明する。図６（Ｂ）は、図６（Ａ）をサブシーン分割した結果を示す。図６（Ｂ）は、図６（Ａ）の状態に対して、太線矢印で示す２箇所でサブシーン分割を行ったことにより、分割数を１０にしている。

分割の基準について説明する。図６（Ａ）の分割の中で、画像枚数が多い分割箇所が検索される。ここでは、分割数を８から１０に２箇所増やすために、画像枚数が多い２箇所の分割画像群が検索される。なお、画像数が同数の分割画像群については、画像間の撮影日時の差の最大値が大きい方の分割画像群が選択される。なお、それでも決定できない場合のために、例えば、より早い時間に対応する分割画像群を優先的に再分割するなど、選択基準をさらに定めておいてもよい。図６（Ａ）では、多い方から分割画像群５、次に、分割画像群１と分割画像群２である。分割画像群１と分割画像群２は同じ枚数の画像を含むが、分割画像群２の方が最初の画像から最後の画像の時間差が大きいため、分割画像群２が再分割対象として選択され、分割画像群５と分割画像群２とが、それぞれ再分割される。

分割画像群２には、（例えば撮影日が異なる）画像枚数の山が２つあるため、その部分に対応する図６（Ｂ）の太線矢印の箇所で分割する。一方、分割画像群５には、（例えばそれぞれ撮影日が異なる）画像枚数の山が３つあり、この場合、例えば撮影日が変わるなどの分割候補となり得る箇所が２箇所ある。この場合、分割画像群５は、分割後の枚数差が小さくなるように、図６（Ｂ）の太線矢印の箇所で分割される。一般的には、シーンの再分割では、選択したシーンに撮影日の異なる画像が含まれている場合は、撮影日の相違するそれぞれの画像データ群を新たなシーンとするような分割が行われる。そして、撮影日が３日以上にわたる場合、各シーンに含まれる画像の数の差が最小になり、同一撮影日の画像が同一シーンに含まれるような再分割が行われる。以上のようにして、分割数を８から１０へと増加させる。なお、ここでは、撮影日の異なる箇所で分割したが、画像枚数が多い箇所が単一日である場合、単一日の中で時間差が最大の箇所で分割するようにしてもよい。以上の手順によって、見開き数と画像群の数とを一致させる。なお、分割により生成された画像群については、改めて分類が行われてもよいし、分割前の画像群の分類が引き継がれてもよい。

Ｓ４１８では、画像群の数がアルバムの見開き数より多い場合に、見開き割当部２１０が画像群の統合を実行する。図６（Ｃ）は、図６（Ａ）のように分割された画像群の統合が実行された結果を示す。破線の箇所において分割されていた画像群を統合したことにより、分割数が６となっている。

統合の基準について説明する。画像群の中で、画像枚数が少ない画像群が検索される。そして、画像枚数が同じ画像群については、それらの画像群のうち、隣接する画像群が統合対象として選択されていない画像群が、優先的に統合対象として特定される。図６（Ａ）の例では、分割数を８から６に２箇所分だけ減らすために、画像枚数が少ない２箇所が特定される。図６（Ａ）では、少ない方から分割画像群８、分割画像群３及び分割画像群７である。分割画像群３と分割画像群７は同じ枚数の画像を含んでいる。ただし、分割画像群７に隣接する分割画像群８が統合対象であるので、分割画像群３が統合対象として選択される。結果、分割画像群８と分割画像群３それぞれの統合が行われる。

分割画像群の統合の際には、まず、統合対象の分割画像群を、撮影日時が前の分割画像群に統合するか、撮影日時が後の分割画像群に統合するかが決定される。この決定では、例えば、統合対象の分割画像群と隣接する２つの分割画像群のうち、撮影日時の時間差が小さい方の分割画像群が統合の相手として特定される。図６（Ａ）では、上述のように分割画像群３が統合対象として決定されているため、それに隣接する分割画像群２及び分割画像群４のいずれかが統合の相手とされる。ここで、図６（Ａ）では、分割画像群３と、その前後の分割画像群２と分割画像群４とのそれぞれとの時間差を比較すると、分割画像群３と分割画像群４との時間差の方が、分割画像群３と分割画像群２との時間差より小さい。このため、分割画像群３は、分割画像群４と統合される。このようにして、図６（Ｃ）の破線で示される箇所で統合が行われる。一方、分割画像群８は、隣接する分割画像群が１つしかないため、図６（Ｃ）の破線で示される箇所で、その唯一の隣接分割画像群（分割画像群７）と統合される。なお、統合には、例えば、分割画像群に含まれる画像ファイルを示す情報を、統合後の分割画像群に応じて更新することが含まれる。

Ｓ４１９では、見開き割当部２１０が見開き割当を実行する。この時点で、Ｓ４１５〜Ｓ４１８によって、シーン分割数と指定見開き数とが一致している。このため、見開き割当部２１０は、撮影日時順に先頭の画像群から、見開きの先頭に順に割り当てる。

Ｓ４２０では、画像選択部２１１が１つ以上の画像選択を実行する。以下、ある見開きに割り当てられた分割画像群から画像データを４枚選択する例を、図９（Ａ）〜図９（Ｉ）を参照しながら説明する。

図９（Ａ）に示すスタート〜エンドの区間は、見開きに割り当てられた分割画像群の、最初の画像データの撮影日時から最後の画像データの撮影日時までの時間差（分割撮影期間）を示している。図９（Ｂ）を参照しながら、１枚目を選択する方法を説明する。テンプレートには、図１０に示すように、１枚のメインスロット１００２が含まれる。したがって、１枚目として、メインスロット用の画像データが選択される。図９（Ｂ）に示す画像群の撮影期間に対応する複数の画像データのうち、Ｓ４１３で付与されたメインスロット用の得点が最高点の画像データが選択される。この選択された画像データの撮影日時が、図９（Ｂ）において（１）として示されている。

２枚目以降は、サブスロット用の画像データが選択される。本実施形態では、選択される画像データの撮影日時が、分割画像群の撮影期間の一部に集中しないように、画像選択が行われる。以下、本実施形態における、分割画像群の撮影期間を細分化する方法について説明する。まず、図９（Ｃ）に示すように、画像群の撮影期間が２分割される。次に、図９（Ｄ）に示すように、１枚目が選ばれていない実線で示される撮影期間に対応する画像データから、２枚目の画像データが選択される。例えば、図９（Ｄ）の実線の撮影期間に対応する複数の画像データのうち、サブスロット用の得点が最高点の画像データが選択される。

次に、図９（Ｅ）に示すように、図９（Ｄ）において分割されていた２つの撮影期間をさらに２分割する。そして、図９（Ｆ）に示すように、１枚目及び２枚目が選ばれていない実線の撮影期間に対応する複数の画像データのうち、例えばサブスロット用の得点が最高点の画像データが３枚目として選択される。

画像データの選択対象の撮影期間に画像データが存在せず、そのため選択できない場合について、４枚目の選択を例として説明する。図９（Ｇ）は、まだ画像データが選択されていない斜線の撮影期間から４枚目を選択しようとしたが、この斜線の撮影期間に画像データが存在しなかった状態を示している。この場合、図９（Ｈ）に示すように、分割されている撮影期間のそれぞれがさらに２分割される。次に、図９（Ｉ）に示すように、１〜３枚目が選ばれていない実線の撮影期間に対応する複数の画像データのうち、例えばサブスロット用の最高点の画像データが４枚目として選択される。このようにして、メインスロットとサブスロットとに配置される画像について、撮影された時間を分散させることにより、アルバムのマンネリ化を解消することができる。

また、Ｓ４１３においてペットの状態が推定された結果に基づいて、選択される画像が多様性を有するようにするための制御が行われてもよい。例えば、犬が芝生で走っている相対的に得点の高い画像が１０枚あり、犬が雪原で犬ぞりを引っ張っている相対的に得点の低い画像が１０枚あるものとする。この場合、得点に基づいて５枚の画像を選択すると、その選択された５枚の画像の全てが、犬が芝生で走っている画像となってしまい、同じような画像が並んだ単調なアルバムになってしまいうる。このため、多様性に富んだ様々な状態の画像を選択するために、例えば各状態の上限枚数が設定されてもよい。すなわち、犬が芝生で走っている画像の上限枚数を３枚とすることにより、犬が芝生で走っている画像を３枚選択したことに応じて、４枚目以降、犬が雪原で犬ぞりを引っ張っている画像の中から２枚を選択する。こうして、同じような画像ばかりが選択されてしまうことを防ぐことができる。

図４に戻り、Ｓ４２１では、画像レイアウト部２１３は、画像レイアウトの決定を行う。画像レイアウト部２１３は、テンプレート入力部２１２が入力したテンプレート群を候補として、その中から、テンプレート内のメインスロットの位置が、着目シーンの選択されたメインスロット用画像の時系列的な位置に対応しているテンプレートを選択する。本実施形態では、テンプレートの左上に撮影日時のより古い画像データがレイアウトされ、右下に撮影日時のより新しい画像がレイアウトされるものとする。一方で、各スロットの位置と画像とを個別に対応付けるのは煩雑であるため、例えばテンプレートをメインスロットとサブスロットの位置に応じてグループ分けしておき、さらに画像の方向（縦長、横長）に応じてさらにグループ分けしておくことができる。そして、メインスロット用画像の時系列上の位置及び方向に応じてテンプレートが絞り込まれ、その絞り込んだテンプレートの中でサブスロットについても同様の絞り込みが行われる。このようにして、テンプレート入力部２１２は、テンプレートの候補を絞り込み、最終的に採用するテンプレートを決定することができる。

ここで、テンプレート入力部２１２が、指定のテンプレート情報にしたがって、ある見開きに対して図１０の（１−１）〜（４−４）をテンプレートの候補として用いる場合の例について説明する。入力されたテンプレートのスロット数は、図１０に示すように、３である。ここで、選択されている３枚の画像データ１００５〜１００７の画像の向きが縦方向か横方向かを撮影日時について並べると、図１０の下部に示した図の通りであるものとする。そして、ここでは、画像データ１００５がメインスロット用であり、画像データ１００６と１００７がサブスロット用であるものとする。ここで、メインスロット用画像１００５は、図１０に示すように、撮影日時が最も新しいため、右側にメインスロットが配置された図１０の（３−１）〜（３−４）と（４−１）〜（４−４）のテンプレートが候補として絞り込まれる。このうち、メインスロット用の画像データ１００５は縦長であるため、テンプレート（３−１）〜（３−４）が候補となる。そして、サブスロット用の古い方の画像１００６が縦画像で、新しい方の画像１００７が横画像であるため、テンプレート（３−２）が、選択された画像に最も適したテンプレートとして選択される。以上のようにして、Ｓ４２１では、Ｓ４２０で選択された画像を、どのテンプレートのどのスロットにレイアウトするかが決定される。

なお、図１３のように、このとき、（３−２）のテンプレートに対して、スロット数や各スロットの縦横、位置も合致しており、さらに、メインスロットの大きさが（３−２）よりも大きいテンプレート（５−１）が存在しうる。このように、画像同士の撮影日時の順序や縦横位置に適合する複数のテンプレート候補が存在する場合は、各画像についてＳ４１３で決定された得点の差に基づいてテンプレートが選定されうる。例えば、メインスロット用画像の得点が、複数のサブスロットの平均得点に所定の閾値を加えた値よりも高い場合、メインスロットのサイズが大きいテンプレート（５−１）が選択され、それ以外の場合はテンプレート（３−２）が選択されうる。なお、例えばメインスロット用画像の得点が所定値より高い場合には（サブスロット用画像の得点によらず）テンプレート（５−１）が選択されてもよい。また、例えばサブスロット用画像の得点が所定値より高い場合には（メインスロット用画像の得点によらず）テンプレート（３−２）が選択されてもよい。また、メインスロット用画像とサブスロット用画像の両方がそれぞれの所定値より高い場合に、上述のように得点の差に基づいてテンプレートの選択が行われてもよい。このようにして、どの画像をどのテンプレートのどのスロットにレイアウトするかを識別できる情報が決定される。

また、Ｓ４１３においてペットの状態が推定された結果に基づいて、選択されるテンプレートや画像がレイアウトされるスロットが変更されてもよい。例えば、犬が走る画像の場合、一般に、画像の中で犬が横方向に移動することが多い。このため、犬が走っていると推定された画像については、その画像が縦画像であっても横方向にトリミングするなどの変形を施してからスロットにセットした方が、より被写体の動きに即したレイアウトとなりうる。このレイアウトの処理について図１４（Ａ）〜図１４（Ｄ）を用いて説明する。図１４（Ａ）は縦画像であり、この画像において、オブジェクト認識によって、犬と芝生とが認識され、その結果、犬が走っている画像であると推定されたものとする。このとき、図１４（Ａ）の画像を縦画像のままアルバムにレイアウトするよりも、横画像にトリミングしてレイアウトした方が、その画像の上下にある余分な領域を削除することができ、スロット内で被写体を大きく見せることができる。このため、図１４（Ａ）の画像に対しては、横方向にトリミングして図１４（Ｂ）のような画像が形成され、テンプレートの横方向のスロットにセットされうる。図１４（Ｃ）に示すテンプレートは、縦方向と横方向のスロットが１つずつ配置されたテンプレートである。通常、縦画像はテンプレートの縦方向のスロットにレイアウトされるため、図１４（Ａ）の画像は（１）のスロットにレイアウトされるが、横方向にトリミングした図１４（Ｂ）の画像が生成されることにより、（２）のスロットにレイアウトされることとなる。また、図１４（Ｄ）に示すテンプレートが予め選択されていても、オブジェクト認識の結果、犬が走っている画像がレイアウト対象であると推定された場合には、図１４（Ｃ）のような横方向のスロットがあるテンプレートが再選択されうる。そして、再選択されたテンプレートにおいて、例えば図１４（Ｃ）の（２）のスロットに、犬が走っている画像がレイアウトされうる。

Ｓ４２２では、画像補正部２１５が画像補正を実行する。画像補正部２１５は、補正条件入力部２１４から画像補正ＯＮが入力された場合に、自動で画像補正を実行する。画像補正として、例えば、輝度補正、赤目補正、コントラスト補正が実行される。画像補正部２１５は、補正条件入力部２１４から画像補正ＯＦＦが入力された場合には、画像補正を実行しない。画像補正は、例えば、短辺１２００画素で、ｓＲＧＢの色空間にサイズが変換された画像データに対して実行可能である。

Ｓ４２３では、レイアウト情報出力部２１６がレイアウト情報を作成する。画像レイアウト部２１３は、Ｓ４２１で決定されたテンプレートの各スロットに対して、（例えばＳ４２２の画像補正が実行された）画像データをレイアウトする。このとき、画像レイアウト部２１３は、スロットのサイズ情報に合わせてレイアウトする画像データを変倍してレイアウトする。そして、レイアウト情報出力部２１６は、テンプレートに画像データをレイアウトしたビットマップデータを生成する。

Ｓ４２４では、Ｓ４２０〜Ｓ４２３の処理が全ての見開きに対して終了したか否かが判定される。終了していないと判定された場合（Ｓ４２４でＮＯ）はＳ４２０からの処理を繰り返し、終了していると判定された場合（Ｓ４２４でＹＥＳ）は、図４の自動レイアウト処理は終了する。

なお、Ｓ４０７で認識されたペットとＳ４０３〜Ｓ４０５で検出された人物とを組み合わせて、ペットの状態推定が行われてもよい。ここでは、メイン被写体をペットとして、サブ被写体を検出された人物とする。

上述のように、Ｓ４０３〜Ｓ４０５において、画像解析部２０５が画像中の顔検出と個人認識とを行う。そして、画像得点部２０８は、その得点をＳ４１３において取得する。また、Ｓ４０１においてペットモードが選択された場合、Ｓ４０７で犬や猫のペット認識が行われ、画像得点部２０８は、Ｓ４１３でその得点を取得する。ここで、認識された個人が例えば２人（人物Ａ、人物Ｂ）存在し、ペットとして犬が認識されたとする。このうち、犬が、人物Ａよりも人物Ｂと共に写っている場合、人物Ｂが犬の飼い主であると判定される。このとき、飼い主と判定された人物については、Ｓ４０５で顔辞書データベースに登録された個人ＩＤに、犬の飼い主であることを示す情報を追加しておく。そして、アルバムに採用する画像を選択する際に、メイン被写体である犬が、飼い主と判定された人物と共に写っている画像の得点が高くなるよう重み付けをすることにより、飼い主と写っているペットの画像がより多く選択されうる。

また、認識された犬の位置と人物の位置から、得点が重み付けされてもよい。例えば、画像中において犬の顔と人物の顔との距離が近い場合は、その画像が、犬が人物と戯れている状態で撮像された画像であると推定することができる。逆にこれらの顔の距離が画像中で離れて存在している場合は、その画像が、犬と人物とがかかわっていない状態で撮影された画像であると推定できる。図１５（Ａ）は、メイン被写体の犬と、サブ被写体の人物との距離が近い画像の例を示しており、この画像は、犬が人物と戯れている状態で撮影された画像であると推定される。図１５（Ｂ）は、メイン被写体の犬と、サブ被写体の人物との距離が遠い画像の例を示しており、この画像は、犬と人物とが戯れていない（かかわっていない）状態で撮影された画像であると推定される。これに応じて、距離が近いほど重み付けを高くして得点が高くなるように、そして、距離が遠いほど重み付けを低くして得点が低くなるように、犬と人物の距離に応じて得点が重み付けされる。また、犬の顔の向きや人物の顔の向きが検出可能な場合、これらを用いて得点の重み付けが行われてもよい。すなわち、図１５（Ａ）のように、犬と人物とが向かい合っている画像は、犬と人物とが戯れている状態で撮影された画像であると推定され、図１５（Ｂ）のように向かい合っていない画像は、犬と人物とが戯れていない状態で撮影された画像であると推定される。このような推定に基づいて得点の重み付けを行うことにより、犬が人物と戯れている画像がより多く選択されるようにすることができる。

一方で、人物のみならず、上述のボールなどのオブジェクトを、さらなるサブ被写体として用いてもよい。例えば、画像中で、メイン被写体である犬、及びサブ被写体である人物とボールが認識された場合、その画像が、人物がボールを投げて犬と遊んでいる等の状態で撮影された画像であると推定されうる。また、画像中で犬と人物との距離が離れている場合であっても、その犬と人物との間にリード（紐や鎖）が検出された場合、その画像は、人物が犬を散歩させている等の状態で撮影された画像であると推定されうる。したがって、画像において、人物と犬とを関連付けさせる所定のオブジェクトが検出されたことによって、その画像の得点が高くなるように重みづけが行われ、アルバムで用いられる画像として選択されやすくすることができる。

このように、Ｓ４０７で認識されたペットをメイン被写体として、Ｓ４０３〜Ｓ４０５で検出された人物をサブ被写体として、ペットの状態推定が行われうる。このとき、どの人物が検出されたか、ペットとの距離はどれくらい近いか、Ｓ４０７で認識されたオブジェクトとの組み合わせが可能であるか等の基準に基づいて、画像の得点化が行われる。これにより、より多彩なペットの状態推定を行うことができる。

なお、上述の説明では、犬や猫のペットをメイン被写体として説明したが、ペットに限らず、動物園にいる動物や水族館の魚などをメイン被写体としてもよい。例えば、メイン被写体としてパンダが選択された場合、サブ被写体として笹が予め設定され、それらが写っている画像が、パンダが笹を食べている状態で撮像された画像と推定されうる。そして、このような画像の得点を高くすることにより、その画像が、単にパンダだけが写っている画像よりもアルバムでの使用のために選択されやすくすることができる。なお、このために、優先モード選択ボタン３１０に、動物園や水族館のモードを追加してもよい。

また、動物ではなく、鉄道車両などの、動きがあるオブジェクトが、メイン被写体に設定されてもよい。このとき、例えば、サブ被写体として陸橋や渓谷や駅舎などを予め指定しておく。これにより、メイン被写体が単体で写っている画像よりも、サブ被写体を伴って写っている画像の得点を高くすることができ、上述の場合と同様に、多様性のある画像を含んだアルバムの作成が可能となる。

本手法によれば、各画像は画像解析情報に従って得点化される。その際、メイン被写体に関連したサブ被写体の得点を取得し、メイン被写体の状態が推定され、その状態に応じて、画像の得点を重み付け加算することにより、様々なシチュエーションでのメイン被写体の画像が選択されるようにすることができる。これにより、アルバム内での画像が多様性に富み、ユーザの興味を引き付けるアルバムを生成することが可能となる。

なお、上では、アルバム作成アプリケーションが用いられる場合の処理について説明したが、画像群における撮影シーンから適切な画像を選択／表示するための画像評価処理に、上述の処理を適用することができる。

＜＜その他の実施形態＞＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：画像処理装置、２０１：条件指定部、２０２：画像取得部、２０３：優先モード選択部、２０４：画像変換部、２０５：画像解析部、２０６：画像分類部、２０７：主人公情報入力部、２０８：画像得点部、２０９：見開き数入力部、２１０：見開き割当部、２１１：画像選択部、２１２：テンプレート入力部、２１３：画像レイアウト部、２１４：補正条件入力部、２１５：画像補正部、２１６：レイアウト情報出力部、２１７：自動レイアウト処理部

Claims (17)

1. 複数の画像において、第１の被写体と、前記第１の被写体と関連する第２の被写体とを認識する認識手段と、
   前記第１の被写体と前記第２の被写体との前記認識の結果に基づいて、前記複数の画像のそれぞれについての得点を算出する算出手段と、
   前記複数の画像のそれぞれについての前記得点に基づいて、前記第１の被写体に関する画像を当該複数の画像の中から選択する選択手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１の被写体と前記第２の被写体との前記認識の結果に基づいて、前記第１の被写体がどのような状態で撮影されたかを推定する推定手段をさらに有し、
   前記算出手段は、前記推定手段による推定の結果に基づいて、前記複数の画像のそれぞれについての得点を算出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記推定手段は、前記第１の被写体と前記第２の被写体との画像内での距離に基づいて、前記第１の被写体がどのような状態で撮影されたかを推定する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記推定手段は、前記第１の被写体と前記第２の被写体とのそれぞれにおいて検出されたエッジ量に基づいて、前記第１の被写体がどのような状態で撮影されたかを推定する、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記推定手段は、前記第１の被写体と前記第２の被写体の向きに基づいて、前記第１の被写体がどのような状態で撮影されたかを推定する、
   ことを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
6. 前記推定手段は、前記第１の被写体と前記第２の被写体との組み合わせに基づいて、前記第１の被写体がどのような状態で撮影されたかを推定する、
   ことを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
7. 前記認識手段は、さらに、前記複数の画像のそれぞれについて、前記第１の被写体に関する第１の得点と前記第２の被写体に関する第２の得点とを取得し、
   前記算出手段は、前記第１の得点と前記第２の得点とを、前記第１の被写体がどのような状態で撮影されたかの推定に基づいた重みを用いて加重加算することにより、前記複数の画像のそれぞれについての前記得点を算出する、
   ことを特徴とする請求項２から６のいずれか１項に記載の画像処理装置。
8. 前記算出手段は、選択されるべき画像の特徴のユーザによる選択に応じて、前記重みの値を調整する、
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記選択手段は、複数の状態のうちの１つにおいて撮影された画像であって前記選択手段によって選択された画像の枚数が所定の上限に達した場合に、当該複数の状態のうちの別の１つにおいて撮影された画像を選択する、
   ことを特徴とする請求項２から８のいずれか１項に記載の画像処理装置。
10. 前記推定手段が推定した結果に基づいて、前記選択手段が選択した画像を変形する手段をさらに有する、
    ことを特徴とする請求項２から９のいずれか１項に記載の画像処理装置。
11. 前記選択手段が選択した画像をレイアウトして出力する出力手段をさらに有し、
    前記出力手段は、前記画像の変形に応じて前記レイアウトを変更する、
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記選択手段が選択した画像をレイアウトして出力する出力手段をさらに有する、
    ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
13. 前記認識手段は、前記複数の画像のそれぞれに含まれる複数の被写体の中から、事前設定された候補に基づいて、前記第１の被写体に関連する１つ以上の前記第２の被写体を認識する、
    ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記認識手段は、前記第１の被写体として、人物以外のオブジェクトが設定された場合に、当該第１の被写体に関連する前記第２の被写体の認識を行う、
    ことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
15. 複数の画像において、第１の被写体と、前記第１の被写体と関連する第２の被写体とを認識する認識手段と、
    前記第１の被写体と前記第２の被写体との前記認識の結果に基づいて、前記複数の画像のそれぞれについての得点を算出する算出手段と、
    前記複数の画像のそれぞれについての前記得点に基づいて、前記第１の被写体に関する画像を当該複数の画像の中から選択する選択手段と、
    を含むことを特徴とするシステム。
16. 認識手段が、複数の画像において、第１の被写体と、前記第１の被写体と関連する第２の被写体とを認識する認識工程と、
    算出手段が、前記第１の被写体と前記第２の被写体との前記認識の結果に基づいて、前記複数の画像のそれぞれについての得点を算出する算出工程と、
    選択手段が、前記複数の画像のそれぞれについての前記得点に基づいて、前記第１の被写体に関する画像を当該複数の画像の中から選択する選択工程と、
    を含むことを特徴とする方法。
17. １つ以上の装置に、
    複数の画像において、第１の被写体と、前記第１の被写体と関連する第２の被写体とを認識させ、
    前記第１の被写体と前記第２の被写体との前記認識の結果に基づいて、前記複数の画像のそれぞれについての得点を算出させ、
    前記複数の画像のそれぞれについての前記得点に基づいて、前記第１の被写体に関する画像を当該複数の画像の中から選択する選択工程と、
    を実行させるためのプログラム。

Images