JP2018124780A - プログラム、画像処理装置、および画像処理方法 - Google Patents

Abstract

【課題】 レイアウト対象の候補である複数の画像の数に応じた異なる方法を用いて複数の画像群への分割を行う技術を提供する。【解決手段】 画像処理装置が、テンプレートへのレイアウト対象の候補である複数の画像に対応する時間情報に応じて、前記複数の画像を複数の画像群に分割する。そして、前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数の画像群のそれぞれに対応するテンプレートにレイアウトする。上記の分割工程では、複数の画像の数が所定数より多いか否かに応じて異なる方法により、該複数の画像が複数の画像群に分割される。【選択図】 図１１

Description

本発明は、画像をテンプレートにレイアウトするためのプログラム、画像処理装置、および画像処理方法に関する。

デジタルカメラやデジタルビデオカメラ、スキャナなどの画像生成装置で撮影した画像は、モニタやプリンタなどの種々の画像出力装置で出力（表示や印刷）される。例えば複数の画像が電子アルバムとして出力される場合がある。この電子アルバムの出力において、１つの見開きに複数の画像が割り当てられ、見開き単位で出力を行われることがある。例えば、複数の見開きに画像を割り当てる場合に単に各見開きに撮影順に画像を並べただけでは、各見開きの画像のまとまりがなくなってしまうおそれがある。特許文献１では、日、あるいは月等の期間単位に区切って各画像をレイアウトする方法が記載されている。

特開２００７−３１８４６１号公報

レイアウト対象の候補である複数の画像が多い場合と少ない場合では、当該複数の画像における撮影期間や画像の特徴のばらつきなどが異なる場合がある。

そのため、特許文献１に記載のように複数の画像を複数の画像群に区切る場合、レイアウト対象の候補の画像の数に関わらず同一の方法により複数の画像が各画像群に区切られると、複数の画像が複数の画像群に適切に分割されないことがある。

そこで本発明は、レイアウト対象の候補である複数の画像の数に応じた異なる処理を用いて複数の画像群を決定するプログラム、画像処理装置、および画像処理方法を提供することを目的する。

上記課題を解決するため、本発明に係るプログラムは、テンプレートへのレイアウト対象の候補である複数の画像に対応する時間情報に応じて、前記複数の画像を複数の画像群に分割する分割工程と、前記分割工程において分割された前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数の画像群のそれぞれに対応するテンプレートにレイアウトするレイアウト工程と、をコンピュータに実行させ、前記分割工程では、前記複数の画像の数が所定数より多いか否かに応じて異なる方法により、前記複数の画像を前記複数の画像群に分割することを特徴とする。

本発明によれば、レイアウト対象の候補である複数の画像の数に応じた異なる処理を用いて複数の画像群を決定することができる。

画像処理装置のハードウェアの構成を示すブロック図である。 アルバム作成アプリケーションのソフトウェアブロック図である。 アルバム作成アプリケーションが提供する表示画面を示す図である。 自動レイアウト処理を示すフローチャートである。 画像解析情報を示す図である。 画像データ群のシーン分割の結果を示す図である。 シーン毎の平均値と標準偏差を示す図である。 得点化軸の概念を示す図である。 画像データの選択を説明するための図である。 画像データのレイアウトに使うテンプレート群を示す図である。 サブシーン分割の処理を示すフローチャートである。 各シーンのシーン情報を示す図である。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

［第１の実施形態］
本実施形態では、画像処理装置上で、アルバム作成アプリケーションを動作させ、自動レイアウト機能によりレイアウトを生成する処理について説明する。

図１は、画像処理装置のハードウェアの構成を示すブロック図である。なお、画像処理装置としては、例えば、ＰＣ、スマートフォン等が挙げられ、本実施形態ではＰＣとする。ＣＰＵ（中央演算装置／プロセッサ）１０１は、画像処理装置１００を統括的に制御し、例えば、ＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み出して実行することにより、本実施形態の動作を実現する。図１では、ＣＰＵは１つであるが、複数のＣＰＵで構成されても良い。ＲＯＭ１０２は、汎用的なＲＯＭであり、例えば、ＣＰＵ１０１により実行されるプログラムが記憶されている。ＲＡＭ１０３は、汎用的なＲＡＭであり、例えば、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのワーキングメモリとして用いられる。ＨＤＤ（ハードディスク）１０４は、画像ファイルや画像解析などの処理結果を保持するデータベースや、アルバム作成アプリケーションにより用いられるテンプレートなどを記憶するための記憶媒体（記憶部）である。

ディスプレイ１０５は、本実施形態のユーザインタフェース（ＵＩ）や画像のレイアウト結果として電子アルバムをユーザに表示する。キーボード１０６及びポインティングデバイス１０７は、ユーザからの指示操作を受け付ける。ディスプレイ１０５は、タッチセンサ機能を備えても良い。キーボード１０６は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上に作成したいアルバムの見開き数を入力する際に用いられる。ポインティングデバイス１０７は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上のボタンをクリックする際に用いられる。

データ通信部１０８は、有線や無線等のネットワークを介した外部の装置との通信を行う。データ通信部１０８は、例えば、自動レイアウト機能によりレイアウトされたデータを画像処理装置１００と通信可能なプリンタやサーバに送信する。データバス１０９は、図１の各ブロック間を相互に通信可能に接続する。

本実施形態におけるアルバム作成アプリケーションは、ＨＤＤ１０４に保存され、後述するようにユーザがディスプレイ１０５に表示されているアプリケーションのアイコンをポインティングデバイス１０７によりダブルクリックすることで起動される。

図２は、アルバム作成アプリケーションのソフトウェアブロック図である。図２に示す各構成要素に対応する各プログラムモジュールが、上述のアルバム作成アプリケーションに含まれている。そして、ＣＰＵ１０１が各プログラムモジュールを実行することで、ＣＰＵ１０１が図２に示す各構成要素として機能する。以降、図２に示す各構成要素の説明として、各構成要素が種々の処理を実行するものとして説明する。また図２は、特に、自動レイアウト機能を実行する自動レイアウト処理部２１６に関するソフトウェアブロック図を示している。

アルバム作成条件指定部２０１は、ポインティングデバイス１０７による後述のユーザのＵＩ操作に応じてアルバム作成条件を決定し、決定されたアルバム作成条件を自動レイアウト処理部２１６に出力する。

画像取得部２０２は、アルバム作成条件指定部２０１から指定された画像データ群をＨＤＤ１０４から取得する。画像変換部２０３は、以降の処理に用いる画像データを所望の画素数や色情報に変換する。本実施形態では、短辺４２０画素の画素数とｓＲＧＢの色情報の解析画像データに変換する。画像解析部２０４は、解析画像データから後述の、特徴量の取得、顔検出、表情認識、個人認識、オブジェクト認識の各処理を実行する。また、画像解析部２０４は、ＨＤＤ１０４から取得した画像データに付随したデータの取得、例えばＥｘｉｆ情報から撮影日時（時間情報）の取得も実行する。後述する複数の画像群の画像群への分割では、この時間情報が用いられる。画像分類部２０５は、画像データ群に対して撮影日時情報や撮影枚数、検出した顔情報等を用いて、後述のシーン分割やシーン分類を実行する。シーンとは、旅行や日常、結婚式等の撮影シーンである。本実施形態では、時間情報により複数の画像が複数の画像群に分割される。このとき、まとまった時間に撮影された複数の画像が同一の画像群に含まれるため、同一の画像群に含まれる複数の画像は、同一または類似の撮影シーンに撮影された画像とみなすことができる。

画像得点部２０７は、各画像データに対してレイアウトに適した画像が高得点になるような得点付けを行う。後述するが、画像得点部２０７は、画像解析部２０４からの画像解析の結果を示す情報と、画像分類部からの分類情報を用いて得点付けを行う。

ユーザ情報入力部２０６は、アルバム作成条件指定部２０１から指示された主人公のＩＤ（識別情報）を画像得点部２０７に入力する。画像得点部２０７は、ユーザ情報入力部２０６から入力された主人公ＩＤが含まれる画像データについてより高い得点を付加するように構成されている。また、ユーザ情報入力部２０６は、アルバム作成条件指定部２０１から指示された優先モードを画像得点部２０７に入力する。画像得点部２０７は、ユーザ情報入力部２０６から入力された少なくとも１つ以上のオブジェクトが含まれる画像データについてより高い得点を付加するように構成されている。

見開き割当部２０９は、複数の画像を複数の画像群に分割して、分割された複数の画像群をアルバムの複数の見開きそれぞれに割り当てる。見開き数入力部２０８は、アルバム作成条件指定部２０１から指定されたアルバムの見開き数およびユーザから指定された優先モードを、見開き割当部２０９に入力する。アルバムの見開き数は、複数の画像が配置される１または複数のテンプレートの数に相当する。

見開き割当部２０９は、入力された見開き数に応じて複数の画像を複数の画像群に分割し、各見開きに画像群の一部または全部を割り当てる。また見開き割当部２０９は、見開き数に複数の画像群の数を一致させるために、複数の画像群の分割・統合を行う。なお、本実施形態において、複数の画像群の分割・統合をシーン分割、シーン統合とも呼ぶ。そして、本実施形態では見開き割当部２０９は、ユーザから指定された優先モードに応じて、上記の複数の画像群の分割・統合（シーン分割、シーン統合）を行う。

画像選択部２１０は、見開き割当部２０９で各見開きに割り当てられた画像群から、アルバム作成条件指定部２０１から指定されたスロット数分の画像を、画像得点部２０７で付された得点に基づいて選択する。

画像レイアウト部２１２は、画像がレイアウトされるときのスロットや画像のうちスロットに表示される領域等の、画像データのレイアウトを決定する。テンプレート入力部２１１は、アルバム作成条件指定部２０１から指定されたテンプレート情報に応じた複数のテンプレートを画像レイアウト部２１２に入力する。画像レイアウト部２１２は、画像選択部２１０で選択された選択画像に適したテンプレートを、テンプレート入力部２１１から入力された複数のテンプレートから選択し、選択画像のレイアウトを決定する。レイアウト情報出力部２１５は、画像レイアウト部２１２が決定した選択画像のレイアウトに従って、ディスプレイ１０５に表示する為のレイアウト情報を出力する。レイアウト情報は、例えば、選択されたテンプレートに画像選択部２１０により選択された選択画像の画像データがレイアウトされたビットマップデータである。

画像補正部２１４は、覆い焼き補正（輝度補正）、赤目補正、コントラスト補正等の各種の補正処理を実行する。画像補正条件入力部２１３は、アルバム作成条件指定部２０１から指定された画像補正のＯＮ／ＯＦＦ条件を画像補正部２１４に入力する。画像補正部２１４は、画像補正条件がＯＮの場合、画像データに対して補正を実行し、画像補正条件がＯＦＦの場合、補正を実行しない。尚、画像補正部２１４は、画像変換部２０３から入力された画像データに対して補正のＯＮ／ＯＦＦに従って、補正を実行する。画像変換部２０３から画像補正部２１４に入力される画像データの画素数は、画像レイアウト部２１２で決定したレイアウトのサイズに合わせて変更可能である。

アルバム作成アプリケーションは、画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上に起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているディスプレイ１０５上の起動アイコンをポインティングデバイス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＯＭ１０２にロードされる。ＲＯＭ１０２のプログラムがＣＰＵ１０１によりＲＡＭ１０３に読み出されて実行されると、アルバム作成アプリケーションが起動する。

図３は、アルバム作成アプリケーションが提供する表示画面３０１の一例を示す図である。表示画面３０１は、ディスプレイ１０５に表示される。ユーザは表示画面３０１を介して後述するアルバムの作成条件を設定し、アルバム作成条件指定部２０１は、ユーザからの設定内容を取得する。

表示画面３０１上のパスボックス３０２は、アルバム作成の対象となる複数の画像（例えば複数の画像ファイル）のＨＤＤ１０４中の保存場所（パス）を表示する。フォルダ選択ボタン３０３がユーザからのポインティングデバイス１０７でのクリック操作により指示されると、フォルダの選択画面が表示される。フォルダの選択画面では、ＨＤＤ１０４で設定されているフォルダがツリー構成で表示され、ユーザは、ポインティングデバイス１０７により、アルバム作成の対象とする画像を含むフォルダを選択することができる。ユーザにより選択されたフォルダのフォルダパスが、パスボックス３０２に表示される。

主人公指定アイコン３０４は、ユーザが主人公を指定するためのアイコンであり、人物の顔画像がアイコンとして表示される。主人公指定アイコン３０４には、複数の異なる顔画像のアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックして選択可能である。見開き数ボックス３０５は、ユーザからのアルバムの見開き数の設定を受け付ける。ユーザは、キーボード１０６を介して見開き数ボックス３０５に直接数字を入力するか、ポインティングデバイス１０７を用いてリストから見開き数ボックス３０５に数字を入力する。

テンプレート指定アイコン３０６は、テンプレートのテイスト（ポップ調やシック調等）別にイラスト画像を表示する。テンプレート指定アイコン３０６には、複数のテンプレートアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックして選択可能である。チェックボックス３０７は、ユーザからの画像補正のＯＮ／ＯＦＦの指定を受け付ける。チェックが入った状態は画像補正ＯＮが指定された状態であり、チェックが入っていない状態は画像補正ＯＦＦが指定された状態である。

優先モード指定アイコン３１０は、ユーザが優先させたいモード（ここでは写真の被写体）を指定するためのアイコンであり、人物、ペット、花がアイコンとして表示される。優先モード指定アイコン３１０は、ユーザがポインティングデバイス１０７によりクリックして選択可能であり、ユーザによる重要なオブジェクトの種類の指示を受け付ける。即ち、ユーザは優先モード指定アイコン３１０をクリックすることで、レイアウトと対象として優先させたい被写体の種類として、人物、ペット、花を指定することができる。

また本実施形態において、複数の画像が分割された複数の画像群を見開き数に一致させるために、画像群の分割や統合が行われる。その際、優先モード指定アイコン３１０で指定された種類の被写体が分割または統合後に各画像群に含まれるように、画像群の分割や統合が行われる。即ち、画像群の分割または統合後に、優先モード指定アイコン３１０で指定された優先被写体が含まれない画像群が存在することを防ぎ、優先被写体が画像群に分散して含まれるように、画像群の分割や統合が行われる。詳細については後述する。

ユーザによりＯＫボタン３０８が押下されると、アルバム作成条件指定部２０１は、表示画面３０１上で設定されている内容を取得する。アルバム作成条件指定部２０１は、取得した設定内容を、アルバム作成アプリケーションの自動レイアウト処理部２１６に出力する。その際、パスボックス３０２に入力されているパスは、画像取得部２０２に伝えられる。主人公指定アイコン３０４で選択されている主人公の個人ＩＤ、また優先モード指定アイコン３１０で指定された優先モードが、ユーザ情報入力部２０６に伝えられ、また画像得点部２０７に伝えられる。見開き数ボックス３０５に入力されている見開き数、および優先モード指定アイコン３１０で指定された優先モードが、見開き数入力部２０８に伝えられ、また見開き割当部２０９に伝えられる。

テンプレート指定アイコン３０６で選択されているテンプレート情報は、テンプレート入力部２１１に伝えられる。チェックボックス３０７の画像補正のＯＮ／ＯＦＦ指定は、画像補正条件入力部２１３に伝えられる。表示画面３０１上のリセットボタン３０９は、表示画面３０１上の各設定情報をリセットするためのボタンである。

図４は、アルバム作成アプリケーションの自動レイアウト処理部２１６の処理を示すフローチャートである。図４に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。図４の説明では、ＣＰＵ１０１が上記アルバム作成アプリケーションを実行することで機能する、図２に示す各構成要素が処理を実行するものとして説明する。図４を参照しながら、自動レイアウト処理を説明する。

Ｓ４０１では、画像変換部２０３は、解析画像データを生成する。具体的には、画像変換部２０３は、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４内のフォルダに格納された複数の画像ファイルを特定し、特定された複数の画像ファイルをＨＤＤ１０４からＲＡＭ１０３に読み出す。そして画像変換部２０３は、読み出された画像ファイルの画像データを所望の画素数と色情報の解析画像データに変換する。本実施形態では、短辺が４２０画素でありｓＲＧＢの色情報を含む解析画像データに変換する。

Ｓ４０２では、画像解析部２０４は、画像特徴量を取得する。画像解析部２０４は、ＨＤＤ１０４から読み出された画像ファイルに付随する例えばＥｘｉｆ情報から、該画像ファイル内の画像の時間情報として、撮影日時を取得する。また、画像解析部２０４は、Ｓ４０１で生成された解析画像データから特徴量を取得する。特徴量としては、例えば、ピントの合焦度合いである。ピントの合焦度合いとして、エッジの検出が行われる。エッジの検出方法として一般的にソーベルフィルタが知られている。ソーベルフィルタでエッジ検出を行い、エッジの始点と終点の輝度差を、始点と終点の距離で割れば、エッジの傾きが算出される。画像中のエッジの平均傾きを算出した結果から、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているとみなすことができる。そして、傾きに対して異なる値の複数の閾値を設定すれば、どの閾値以上かを判定することにより、ピント量の評価値を出力可能である。本実施形態では、異なる２つの閾値を予め設定しておき、「○」、「△」、「×」の３段階により、ピント量を判定する。例えば、アルバムに採用したいピントの傾きを「○」と判定し、許容可能なピントの傾きを「△」と判定し、許容不可能な傾きを×と判定し、各閾値を予め設定しておく。閾値の設定は、例えば、アルバム作成アプリケーションの作成元等により提供されても良いし、ユーザインタフェース上で設定可能としても良い。

Ｓ４０３では、画像解析部２０４は、Ｓ４０１で生成された解析画像データに対して、顔検出を実行する。ここで、顔検出の処理には、公知の方法を用いることができ、例えば、複数用意した弱識別器から強識別器を作成するＡｄａｂｏｏｓｔが用いられる。本実施形態では、Ａｄａｂｏｏｓｔにより作成した強識別器により人物（オブジェクト）の顔画像が検出される。画像解析部２０４は、顔画像を抽出するとともに、検出した顔画像の位置の左上座標値と右下座標値を取得する。この２種の座標を持つことにより、画像解析部２０４は、顔画像の位置と顔画像のサイズを取得可能である。

Ｓ４０４では、画像解析部２０４は、Ｓ４０３で検出された、解析画像データに基づく処理対象の画像内の顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像とを比較することにより、個人認識を行う。画像解析部２０４は、複数の代表顔画像のうち、処理対象の画像内の顔画像との類似性が閾値以上であり且つ該類似性が最も高い代表顔画像を特定する。そして、特定された代表顔画像に対応する個人ＩＤを、処理対象の画像内の顔画像のＩＤとする。尚、上記複数の代表顔画像のすべてについて、処理対象の画像内の顔画像との類似性が閾値未満の場合、画像解析部２０４は、処理対象の画像内の顔画像を新規の代表顔画像として、新規の個人ＩＤと対応付けて顔辞書データベースに登録する。

Ｓ４０５では、画像解析部２０４は、Ｓ４０１で生成された解析画像データに対して、オブジェクト認識を実行する。ここで、オブジェクト認識の処理には、公知の方法を用いることができる。本実施形態では、ＤｅｅｐＬｅａｒｎｉｎｇにより作成した判別器によりオブジェクトが認識される。画像解析部２０４は、オブジェクト画像を認識することで、犬や猫などのペット、花、食べ物、建物、置物などのオブジェクトの種類を取得可能となる。

画像解析部２０４は、Ｓ４０２〜Ｓ４０５で取得した画像解析情報を、図５に示すように各画像を識別するＩＤ毎に区別して、ＲＯＭ１０２等の記憶領域に記憶する。例えば、図５に示すように、Ｓ４０２で取得された撮影日時情報とピント判別結果、Ｓ４０３で検出された顔画像の数と位置情報、Ｓ４０５で認識したオブジェクトの種類とがテーブル形式で記憶される。尚、顔画像の位置情報は、Ｓ４０４で取得された個人ＩＤ毎に区別して記憶される。また１つの画像から複数種類のオブジェクトが認識された場合、図５に示すテーブルには、その１つの画像に対応する行に、オブジェクトの複数種類がすべて記憶される。

Ｓ４０６では、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４内の指定フォルダに格納されている全画像に対して、Ｓ４０１〜Ｓ４０５の処理が終了したか否かが判定される。ここで、終了していないと判定された場合、Ｓ４０１からの処理を繰り返す。終了していると判定された場合、処理はＳ４０７に進む。即ち、Ｓ４０１〜Ｓ４０５の処理が、指定フォルダに格納されている全画像に対して繰り返し実行されることで、該全画像のそれぞれの情報を含む図５に示すテーブルが作成される。

Ｓ４０７では、画像分類部２０５は、指定フォルダに格納されている全画像を、時間情報に基づいて、複数の画像群に分割するシーン分割を実行する。この分割では、画像群の数が見開き数と一致していなくても良く、最終的な分割処理のための仮分割処理である。画像分類部２０５は、Ｓ４０２で取得済みの撮影日時情報（時間情報）から、指定フォルダ内の複数の画像間における撮影時間の差を算出する。そして、画像分類部２０５は、その撮影時間差に基づいて、指定フォルダ内の複数の画像を、複数の画像群（複数のシーン）に分割する。

本実施形態では、例えば、画像分類部２０５は、指定フォルダ内の複数の画像を撮影日時順でソートし、画像の名前（画像ファイル名等）と撮影日時を含むリストをＲＡＭ１０３に作成する。そのときに、該リストにおいて連続する２つの画像に着眼したときに、その２つの画像に対応する撮影日付が連続しない場合、画像分類部２０５は、その２つの画像を異なる画像群に割り当てる。ただし、画像群への分割は、他の基準により行われても良い。例えば、上記リストにおいて連続する２つ画像間で撮影日が連続する場合にも、その２つの画像が異なる画像群に割り当てられてもよい。その場合、例えばリストで連続する２つの画像に対応する撮影時刻の差が１６時間以上空いていれば、２つの画像が異なる画像群に割り当てられる。また、上記の撮影時刻の差が１６時間未満の場合であっても、連続する２つの日付のそれぞれにおいて最初の撮影時刻から最後の撮影時刻までの時間差が４時間未満であれば、該２つの日付に撮影された複数の画像が、日付を基準に別の画像群に分割が行われる。２つの日付のそれぞれにおいて最初の撮影時刻から最後の撮影時刻までの時間差が４時間以上の場合は、各日付の撮影枚数が５０枚未満なら日付を基準に分割が行われ、５０枚以上なら分割は行われない。図６（Ａ）は、上記のシーン分割方法で指定フォルダに含まれる複数の画像が複数の画像群に分割された（シーン分割が行われた）結果の一例を示す図である。図６（Ａ）が示す（１）〜（８）が各画像群（シーン）を示し、縦軸が各画像群の画像枚数を示し、横軸が各画像群の撮影日時を示す。

Ｓ４０８では、画像分類部２０５は、シーン分類を実行する。本実施形態では、画像分類部２０５は、例えば、シーン分割された分割分の画像データを、旅行、日常、セレモニーのいずれかの撮影シーンに分類する。ここで、図４に示す処理が開始される前に、予め、ユーザは、旅行、日常、セレモニーの撮影シーンであると判断した複数の画像データをそれぞれ集めて指定している。画像分類部２０５は、該指定により各シーンに対応付けられている画像と、Ｓ４０７で分割された画像群に含まれる画像とを比較することで、各画像群に対応する撮影シーンの種類を特定する。以下、この撮影シーンの特定処理について説明する。

まず、ユーザによる撮影シーンに対応する画像データの指定について説明する。例えば、アルバム作成条件指定部２０１は、不図示のユーザインタフェース画面上で、ユーザが旅行シーンであると判断した複数の画像データの指定を受け付ける。そして、画像解析部２０４は、それらの画像データについて、特徴量を取得する。ここで、取得される特徴量は、例えば、撮影期間、撮影枚数、撮影人数である。撮影期間は、上記のように指定された複数の画像データの最初の撮影から最後の撮影までの時間差である。撮影枚数は、該複数の画像データの撮影枚数である。撮影人数は、撮影された顔の数である。その結果、ユーザが旅行シーンであると判断した複数の画像データから成る１画像データ群について、撮影期間、撮影枚数、撮影人数の特徴量が取得される。

そして、画像解析部２０４は、上記のような撮影期間、撮影枚数、撮影人数の特徴量の取得を、ユーザがさらに指定した他の画像データ群についても行う。そして、画像解析部２０４は、複数の画像データ群から取得された特徴量に基づいて、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、撮影人数の平均値と標準偏差を求める。図７は、上記の求められた各平均値と標準偏差を示しており、画像解析部２０４は、これらの値をＲＯＭ１０２等の記憶領域に予め記憶しておく。または、アルバム作成アプリケーションのプログラムに予め組み込まれるようにしても良い。

再び、図４のＳ４０８の処理を説明する。アルバム作成アプリケーションが起動された後、ユーザがパスボックス３０２で指定した画像データ群がＳ４０６でシーン分割された各分割分に対して、画像分類部２０５は、撮影期間、撮影枚数、撮影人数の各特徴量の得点を算出する。画像分類部２０５は、各分割分の撮影期間、撮影枚数、撮影人数の得点を、図７に示すシーン毎の平均値と標準偏差を用いて式（１）より算出する。

得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜・・・（１）
また、それらの平均得点を式（２）により算出する。

平均得点＝（撮影期間の得点＋撮影枚数の得点＋撮影人数の得点）／特徴量項目数・・・（２）
算出の結果、各分割分の画像データに対して、旅行、日常、セレモニーのシーン毎の平均得点が算出される。そして、画像分類部２０５は、各分割分の画像データを、上記のうち最も高い得点に対応するシーンに分類する。ここで、同点のシーンとなった場合には、予め定められたシーンの優先順位に従って分類する。例えば、本実施形態では、日常＞セレモニー＞旅行の優先順位が定められており、日常シーンの優先度が最も高い。例えば、図６（Ａ）のシーン分割された後の画像群５は、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であった。上記の式（１）及び（２）により算出された旅行シーンの平均得点は４５．３２、日常シーンの平均得点は１８．３８、セレモニーシーンの平均得点は−２９．９２となる。従って、画像群５は、旅行シーンに分類される。画像分類部２０５は、分類されたシーンに対して、識別可能なようにシーンＩＤを付与して管理する。

Ｓ４０９では、Ｓ４０７で分割された全分割分に対してＳ４０８のシーン分類が終了したか否かが判定される。ここで、終了していないと判定された場合、Ｓ４０８からの処理を繰り返す。終了していると判定された場合、処理はＳ４１０に進む。

Ｓ４１０では、画像得点部２０７は、主人公設定を実行する。主人公設定は、ユーザが指定したフォルダ内の複数の画像に対して実行され、自動と手動の２種類の設定方法のいずれかにより行われる。手動の設定方法としては、図３における主人公指定アイコン３０４として表示された人物の顔画像のアイコンをユーザがポインティングデバイス１０７によりクリックすることで、主人公を選択する。また自動の設定方法は以下のように行われる。画像得点部２０７は、Ｓ４０４で実行された個人認識結果と、Ｓ４０６で実行されたシーン分割の結果から、画像データ群に登場する各個人ＩＤの回数、各シーンに登場する各個人ＩＤ回数、各個人ＩＤが登場するシーン回数等を取得可能である。画像得点部２０７は、それらの情報から、ユーザ指定によらず自動で主人公を設定する。本実施形態では、画像得点部２０７は、シーンが複数ある場合、複数のシーンでの登場回数が多い個人ＩＤを主人公ＩＤと設定し、単一のシーンのみである場合、単一シーンにおいて登場回数が多い個人ＩＤを主人公ＩＤと設定する。

また、ユーザが主人公指定アイコン３０４を指定している場合、ユーザ情報入力部２０６は、その指定されている個人ＩＤを画像得点部２０７に伝える。ユーザにより個人ＩＤが指定されている場合、画像得点部２０７は、上記の自動で設定された主人公ＩＤによらず、ユーザにより指定された個人ＩＤを主人公ＩＤとして設定する。この設定を手動設定と呼ぶ。

Ｓ４１１では、画像得点部２０７は、優先モード設定を実行する。優先モード設定は、ユーザが指定したフォルダ内の複数の画像に対して実行され、自動と手動の２種類の設定方法のいずれかにより行われる。手動の設定方法としては、図３の優先モード指定アイコン３１０として表示された人物、ペット、花のアイコンをユーザがポインティングデバイス１０７をクリックすることで、所望の優先モード（優先すべき被写体の種類）を選択する。自動の設定方法は以下のように行われる。画像得点部２０７は、Ｓ４０５で実行されたオブジェクト認識結果から、オブジェクトの種類ごとに上記複数の画像に登場する回数を取得する。同様に、画像得点部２０７は、オブジェクト種類ごとに各画像群（シーン）に登場する回数を取得可能であり、またオブジェクト種類ごとに、該オブジェクト種類のオブジェクトが登場するシーン回数等を取得可能である。画像得点部２０７は、それらの情報から、ユーザ指定によらず自動で優先モードを設定する。本実施形態では、画像得点部２０７は、画像群（シーン）が複数ある場合、複数の画像群での登場回数が多いオブジェクト種類を優先するモードとして設定する。また単一の画像群（シーン）のみである場合、画像得点部２０７は、単一の画像群において登場回数が多いオブジェクト種類を優先するモードとして設定する。

Ｓ４１２では、画像得点部２０７は、得点化を実行する。得点化とは、画像データ毎に後述の観点で評価した得点を付与する（スコアリング）ことであり、後述の、レイアウトに用いられる画像データの選択時に参照される。図１０は、画像データのレイアウトに使うテンプレート群を示す図である。テンプレート群に含まれている複数のテンプレートのそれぞれが、各見開きに対応している。テンプレート１００１は１枚のテンプレートであり、１００２はメインスロットを示し、１００３と１００４はサブスロットを示す。メインスロット１００２は、テンプレート１００１内でメインとなるスロット（画像をレイアウトする枠）であり、サブスロット１００３と１００４よりもサイズが大きい。画像得点部２０７は、各画像データに対して、メインスロット用の得点とサブスロット用の得点の両方を付与する。

図８（Ａ）は、旅行、日常、セレモニーの各撮影シーンによってアルバムに採用する画像の特徴をメインスロットとサブスロットについて示した図である。図４に示す処理が開始される前に、予め、ユーザは、図８（Ａ）に示す各シーンのメインスロット向きとサブスロット向きの特徴に適合すると判断した複数の画像データを集めて指定している。画像得点部２０７は、該指定によりメインスロット、サブスロットに対応付けられている画像と、Ｓ４０７で分割された各画像群に含まれる画像とを比較する。この比較により、各画像のメインスロット、サブスロットへの適合度が得点化される。以下、この得点化処理について説明する。

まず、予め行われるユーザによる指定について説明する。例えば、アルバム作成条件指定部２０１は、不図示のユーザインタフェース画面上でユーザが旅行シーンのメインスロット向き（又は、サブスロット向き）であると判断した複数の画像データの指定を受け付ける。画像解析部２０４は、指定された各画像データの顔の数、顔の位置、顔のサイズの特徴量を取得する。その結果、ユーザが例えば旅行シーンのメインスロット向き（又は、サブスロット向き）であると判断した複数の画像データそれぞれについて、顔数、顔の位置、顔サイズの特徴量が取得される。そして、画像解析部２０４は、顔数の平均値と標準偏差、顔の位置の平均値と標準偏差、顔サイズの平均値と標準偏差を求める。画像解析部２０４は、各シーン各スロット種類（メインスロットとサブスロット）について、上記のように、各特徴量の統計値として平均値と標準偏差を求める。画像解析部２０４は、これらの値をＲＯＭ１０２等の記憶領域に予め記憶しておく。または、アルバム作成アプリケーションのプログラムに予め組み込まれるようにしても良い。

画像得点部２０７は、各画像データがどのシーンに属すかについて、Ｓ４０７のシーン分類の結果から取得可能である。画像得点部２０７は、注目画像データのシーンに対応する予め求めておいた上記の平均値と標準偏差、および注目画像データの主人公ＩＤの顔数、顔位置、顔サイズの各特徴量を用いて、式（３）により、得点を算出する。

得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜・・・（３）
また式（４）により、それらの平均得点を算出する。

平均得点＝（顔数の得点＋顔位置の得点＋顔サイズの得点）／特徴量項目数・・・（４）
画像得点部２０７は、上記の得点化を、メインスロット用とサブスロット用の両方について実行する。ここで、アルバムに用いる画像はピントが合っている方が好ましいので、図５に示すピントの特徴量が「○」である画像ＩＤの画像データに対しては所定の得点を加算するようにしても良い。図８（Ｂ）は、上記の得点化による得点結果の一例を示しており、各画像ＩＤに対して、メインスロットとサブスロットについて得点化されている。

つまり、本実施形態では、各シーンについてメインスロットとサブスロットに適する条件が図８（Ａ）に示すように定められており、予め、ユーザは、それらに適するであろうと判断した画像データを指定している。画像解析部２０４は、そのユーザから指定された画像データについて、顔数、顔位置、顔サイズの特徴量を取得し、特徴量ごとに平均値と標準偏差を求めておく。そして、アルバム作成アプリケーションの起動後、図４の自動レイアウト処理が開始されると、自動レイアウト処理対象の各画像データ（シーン分類済）が、どの程度、メインスロット向きである等のユーザ判断基準に近いかを示す得点化（類似度）が行われる。例えば、図８（Ｂ）では、画像ＩＤ１は、メインスロット用として２０点が付与され、画像ＩＤ２は、メインスロット用として４５点が付与されている。これは、つまり、メインスロット用としては、画像ＩＤ２の方がユーザの判断基準により近いということを表している。

再び、図４を参照する。Ｓ４１３では、画像得点部２０７は、ユーザ指定のフォルダ内の全ての画像に対してＳ４１２の画像得点化が終了したか否かを判定する。終了していないと判定された場合、Ｓ４１２からの処理が繰り返される。終了していると判定された場合、Ｓ４１４に処理が進む。

本実施形態では、画像レイアウト部２１２は、複数のシーンのそれぞれに含まれる画像を、当該複数のシーンのそれぞれに対応する複数のテンプレート（複数の見開き）のそれぞれにレイアウトする。そのため、複数のシーンの数と、複数のテンプレートの数（所定数の見開き数）が一致する必要がある。

そこでＳ４１４では、見開き割当部２０９は、Ｓ４０７でのシーン分割の分割数（分割された画像群の数）が見開き数入力部２０８から入力されるアルバムの見開き数と同じであるか否かを判定する。同じでないと判定された場合、Ｓ４１５に進む。同じであると判定された場合、Ｓ４１８に進む。例えば、図６（Ａ）に示すようにシーン分割数が８であり、見開き数入力部２０８の入力数が８である場合、Ｓ４１８に進む。

Ｓ４１５では、見開き割当部２０９は、Ｓ４０６でのシーン分割の分割数が見開き数入力部２０８から入力される見開き数（アルバムに使用されるテンプレート数）より少ないか否かを判定する。上記分割数が上記見開き数より少なくない（多い）と判定された場合、Ｓ４１７に処理が進む。上記分割数が上記見開き数より少ないと判定された場合、Ｓ４１６に処理が進む。図６（Ａ）に示すようにシーン分割数が８であり、見開き数入力部２０８の入力数が１０である場合、Ｓ４１６に進む。Ｓ４１６、Ｓ４１７で見開き割当部２０９は、図６（Ａ）に示されている、Ｓ４０７で仮分割された複数の画像群に対して、分割数（シーン数）を変更し、見開き数と一致させるための処理を行う。以下、該処理の詳細について説明する。

Ｓ４１６では、見開き割当部２０９は、サブシーン分割を実行する。サブシーン分割とは、「シーン分割数＜アルバムの見開き数」の場合に、分割されたシーンを更に細分割することを表す。図６（Ａ）のシーン分割数８に対して指定されたアルバムの見開き数が１０の場合で説明する。図６（Ｂ）は、図６（Ａ）をサブシーン分割した結果を示す。破線矢印の箇所で分割したことで、分割数を１０に増やす。

分割の基準について説明する。図６（Ａ）の分割の中で、画像枚数が多い分割箇所が検索される。ここでは、分割数を８から１０に２箇所増やすために、画像枚数が多い２箇所を決定する。図６（Ａ）では、多い方から画像群５、次に、画像群１と画像群２である。画像群１と画像群２は同じ枚数だが、画像群２の方が最初の画像から最後の画像の時間差が大きいので、画像群２を分割対象とし、画像群５と画像群２をそれぞれ分割する。

まず、画像群２の分割を説明する。画像群２には画像枚数の山が２つあり、この２つは撮影日が違う。そのため、その部分に対応する図６（Ｂ）の破線矢印の箇所で分割される。次に、画像群５の分割を説明する。画像群５には画像枚数の山が３つあり、３日連続で撮影された画像群である。撮影日が変わる箇所が２箇所あるが、分割後の枚数差が小さくなるように、図６（Ｂ）の破線矢印の箇所で分割する。以上のように、分割数を８から１０にする。ここでは、撮影日の異なる箇所で分割したが、画像枚数が多い箇所が単一日である場合、単一日の中で時間差が最大の箇所で分割するようにしても良い。

Ｓ４１７では、見開き割当部２０９は、シーン統合を実行する。シーン統合とは、シーン分割数＞アルバムの見開き数の場合、分割されたシーンを統合することを表す。図６（Ｃ）は、図６（Ａ）をシーン統合した結果を示す。破線の箇所を統合したことで、分割数を６に減らしている。

統合の基準について説明する。図６（Ａ）の分割の中で、画像枚数が少ない分割箇所が検索される。ここでは、分割数を８から６に２箇所減らすために、画像枚数が少ない２箇所を決定する。図６（Ａ）では、少ない方から画像群８、画像群３、画像群７である。画像群３と画像群７は同じ枚数である。但し、画像群７に隣接する画像群８が統合対象であるので、画像群３を統合対象とする。結果、画像群８と画像群３それぞれの統合が行われる。

まず、画像群３の統合を説明する。画像群３の前後の画像群２と画像群４との時間差を比較すると、画像群４との時間差の方が小さい。従って、図６（Ｃ）の破線箇所に示すように、画像群３を画像群４に統合する。次に、画像群８の統合を説明する。画像群８は、後続の画像群がないので、図６（Ｃ）の破線箇所に示すように、前の画像群７と統合される。

Ｓ４１８では、見開き割当部２０９は、見開き割当を実行する。Ｓ４１４〜Ｓ４１７によって、シーン分割数と指定見開き数は同じとなっている。見開き割当部２０９は、複数の画像群のそれぞれを見開きのそれぞれに割り当て、ある見開きにおいて、複数の画像群が混在しないように割り当てを行う。具体的には、見開き割当部２０９は、撮影日時順に先頭の画像群から見開きの先頭に順に割り当てる。

Ｓ４１９では、画像選択部２１０は、特定の見開きにレイアウトされる画像を、該特定の見開きに対応する画像群から選択する。以下、ある見開きに割り当てられた画像群から画像データを４枚選択する例を、図９を参照しながら説明する。

図９（Ａ）に示すスタート〜エンドの区間は、見開きに割り当てられた分割分の、最初の画像データの撮影日時から最後の画像データの撮影日時までの時間差（分割撮影期間）を示している。図９（Ｂ）を参照しながら、１枚目を選択する方法を説明する。テンプレートには、１枚のメインスロット１００２がある。従って、１枚目として、メインスロット用の画像データが選択される。図９（Ｂ）に示す分割分の撮影期間に対応する複数の画像データのうち、Ｓ４１２で付与されたメインスロット用の得点が最も高い画像データが選択される。２枚目以降としては、サブスロット用の画像データが選択される。

本実施形態では、分割分の撮影期間の一部に集中しないように、画像選択が行われる。以下、本実施形態における、分割分の撮影期間を細分化する方法について説明する。図９（Ｃ）に示すように、分割分の撮影期間を２分割する。次に、図９（Ｄ）に示すように、１枚目が選ばれていない実線の撮影期間から２枚目が選択される。図９（Ｄ）の実線の撮影期間に対応する複数の画像データのうち、サブスロット用の得点が最も高い画像データが選択される。

次に、図９（Ｅ）に示すように、図９（Ｄ）の各分割分の撮影期間を２分割する。そして、図９（Ｆ）に示すように、１枚目と２枚目が選ばれていない実線の撮影期間に対応する複数の画像データのうち、サブスロット用の得点が最も高い画像データが３枚目として選択される。

画像データの選択対象の撮影期間に画像データが存在せず、そのため選択できない場合について、４枚目の選択を例として説明する。図９（Ｇ）は、まだ画像データが選択されていない斜線の撮影期間から４枚目を選択しようとする場合、この斜線の撮影期間には画像データが存在しない例を示す。この場合、図９（Ｈ）に示すように、各分割分の撮影期間を２分割する。次に、図９（Ｉ）に示すように、１〜３枚目が選ばれていない実線の撮影期間に対応する複数の画像データのうち、サブスロット用の得点が最も高い画像データが４枚目として選択される。

再び、図４を参照する。Ｓ４２０では、画像レイアウト部２１２は、画像レイアウトの決定を行う。以下、テンプレート入力部２１１が、指定されたテンプレート情報に従って、ある見開きに対して図１０の（ａ）〜（ｐ）を入力する例を説明する。

ここでは、入力されたテンプレートのスロット数は一例として３と指定されている。選択されている３枚の画像の向きが縦方向か横方向かを撮影日時について並べると、図１０（ｑ）のようであるとする。ここでは、画像データ１００５がメインスロット用であり、画像データ１００６と１００７がサブスロット用である。本実施形態では、テンプレートの左上に撮影日時のより古い画像データがレイアウトされ、右下に撮影日時のより新しい画像をレイアウトされる。図１０（ｑ）では、メインスロット用の画像データ１００５は撮影日時が一番新しいので、図１０（ｉ）〜（ｌ）のテンプレートが候補となる。また、サブスロット用の古い方の画像データ１００６が縦画像であり、新しい方の画像データ１００７が横画像であるので、結果、図１０（ｊ）のテンプレートが、選択された３つの画像データに最も適したテンプレートとして決定され、レイアウトが決まる。Ｓ４２０では、どの画像をどのテンプレートのどのスロットにレイアウトするかが決定される。

Ｓ４２１では、画像補正部２１４は、画像補正を実行する。画像補正部２１４は、画像補正条件入力部２１３から画像補正がＯＮであることを示す情報が入力された場合、画像補正を実行する。画像補正として、例えば、覆い焼き補正（輝度補正）、赤目補正、コントラスト補正が実行される。画像補正部２１４は、画像補正条件入力部２１３から画像補正がＯＦＦであることを示す情報が入力された場合、画像補正を実行しない。画像補正は、例えば、短辺１２００画素で、ｓＲＧＢの色空間にサイズが変換された画像データに対しても実行可能である。

Ｓ４２２では、レイアウト情報出力部２１５は、レイアウト情報を作成する。画像レイアウト部２１２は、Ｓ４２０で決定されたテンプレートの各スロットに対して、Ｓ４２１の画像補正が実行された画像データをレイアウトする。このとき、画像レイアウト部２１２は、スロットのサイズ情報に合わせてレイアウトする画像データを変倍してレイアウトする。そして、レイアウト情報出力部２１５は、テンプレートに画像データがレイアウトされたビットマップデータを、出力画像として生成する。

Ｓ４２３では、Ｓ４１９〜Ｓ４２２の処理が全ての見開きに対して終了したか否かが判定される。終了していないと判定された場合、Ｓ４１９からの処理を繰り返す。終了していると判定された場合、図４の自動レイアウト処理は終了する。

図４の自動レイアウト処理が終了すると、レイアウト情報出力部２１５は、Ｓ４２２で生成された、画像がテンプレートにレイアウトされたビットマップデータ（出力画像）を、ディスプレイ１０５に出力し、表示させる。

以下、図４のＳ４１６のサブシーン分割の詳細について説明する。図１１は、本実施形態における、アルバム作成アプリケーションの見開き割当部２０９に関するサブシーン分割の処理の詳細を示すフローチャートである。図１１を参照しながら、サブシーン分割の処理を説明する。

Ｓ１１０１では、見開き割当部２０９は、アルバムにレイアウトされる候補となる全画像の枚数を取得する。例えば、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４内の指定フォルダに格納されている全画像の枚数に関する情報が取得される。

Ｓ１１０２では、見開き割当部２０９は、サブシーンの分割数Ｎの初期値を設定する。例えば初期値Ｎとして、見開き数入力部２０８から入力されるアルバムの見開き数が設定される。ただし、Ｓ１１１７について後述するようにサブシーン分割数Ｎは見開き数よりも多くなる場合もある。

Ｓ１１０３では、見開き割当部２０９は、サブシーンの数が分割数Ｎに一致するように、サブシーンの仮分割を実行する。サブシーンの仮分割の方法については、図４のＳ４１６で説明したように、画像枚数の多い画像群を、日付を区切りとして分割する。画像枚数が同数の２つの画像群が存在した場合、その２つの画像群のそれぞれについて、最初の画像の撮影日時から最後の画像の撮影日時の時間差が算出され、その時間差が大きい画像群に対して仮分割が実行される。

Ｓ１１０４では、見開き割当部２０９は、現在分割されているサブシーンのそれぞれに関する情報を含むシーン情報を算出し、例えばＲＡＭ１０３に記憶する。

図１２（Ａ）は、後述するＳ１１１７における処理により、サブシーンの分割数Ｎが、初期値である見開き数である１０からＮ＝１４に更新されて仮分割が行われた場合のシーン情報の例を示す図である。シーンＩＤは、各サブシーンに分割された固有のＩＤ（本例では１から１４までの数字に対応）を表す。

図１２（Ａ）のシーン情報は、各サブシーンにおける画像数、オブジェクト数、重要度、各サブシーン内の撮影期間を含む。また各サブシーンにおける最後の撮影時刻と図１２が示すリストにおいて次のシーンＩＤのサブシーンにおける最初の撮影時刻との時間差もシーン情報に含まれる。画像数は、サブシーンに分割された各シーンに含まれる画像の枚数を表す。オブジェクト数は、各シーンに含まれる画像中のオブジェクト数の合計を表す。ここで、オブジェクト数は、例えば、Ｓ４０３において画像解析部２０４により検出された顔の数と、Ｓ４０５で認識されたオブジェクト種類ごとの数に対応する。シーン情報に含まれる「期間」は、サブシーンに分割された各画像群（シーン）に含まれる画像の撮影期間であり、画像データを撮影時間順に並べた時の先頭の画像の撮影日時と最後尾の画像の撮影日時との時間差を表す。シーン情報に含まれる「時間差」は、サブシーンに分割された各シーン間の時間差であり、画像データを撮影時間順に並べた時の対象シーンの最後尾の画像の撮影日時と次シーンの先頭の画像の撮影日時との撮影間隔を表す。図１２（Ａ）の「削除対象」、「シーン統合ＩＤ」については後述する。

Ｓ１１０５では、見開き割当部２０９は、Ｓ１１０１で取得した全画像枚数が所定枚数以上か否かを判定する。所定数以上の場合はＳ１１０６に処理が進み、所定数未満の場合はＳ１１０７に処理が進む。

Ｓ１１０６では、見開き割当部２０９は、サブシーンごとの重要度を算出する際にシーン情報内のオブジェクト（人物、ペット、花）が重視されるように、重要度算出方法を設定する。一方、Ｓ１１０７では、見開き割当部２０９は、サブシーンごとの重要度を算出する際に区切りに関する項目が重視されるように、重要度算出方法を設定する。以下の記載では、Ｓ１１０６、Ｓ１１０７で設定される重要度算出方法をそれぞれ、算出方法Ａ、算出方法Ｂとも記載する。Ｓ１１０８では、見開き割当部２０９は、Ｓ１１０６またはＳ１１０７で設定された重要度算出方法に基づいて、サブシーンごとの重要度を算出し、図１２が示すシーン情報の「重要度」としてＲＡＭ１０３に記憶する。Ｓ１１０８で算出された重要度が低いサブシーンが、後述するＳ１１０９以降の処理において、削除対象または統合対象になり易くなる。

以下、Ｓ１１０６〜Ｓ１１０８における重要度算出方法の設定処理、および設定された算出方法を用いた重要度算出処理について詳細に説明する。

Ｓ１１０６において設定される算出方法Ａは、以下の式（５）で算出される。

（シーン重要度）＝（時間差の日）×２４＋（時間差の時間）＋（シーン内のオブジェクトを含む画像の数）×α＋（シーン内のオブジェクトを含まない画像の数）×β・・・・（５）
なお、αはβよりも大きな値であり、任意の値が設定される。例えばα＝１０、β＝１とすれば、「オブジェクトを含む画像の数」は、「オブジェクトを含まない画像の数」の１０倍、シーン重要度に寄与することになる。

Ｓ１１０７において設定される算出方法Ｂは、以下の式（６）で算出される。

（シーン重要度）＝（時間差の日）×２４＋（時間差の時間）＋シーン内の画像数・・・・（６）
上記のように、算出方法Ａ、算出方法Ｂのいずれでも、見開き割当部２０９は、画像の撮影日時における時系列で隣り合うサブシーンとの時間差と、サブシーン内の画像数に応じて、シーンの重要度を算出する。具体的には、隣り合うサブシーンとの時間差が大きいほど、その隣り合うサブシーンとは異なる撮影場面に対応する可能性が高いため、シーンの重要度が高くなる。またサブシーンに含まれる画像数が多いほど、撮影者にとって重要な撮影場面にあったと考えられるため、重要度が高くなる。逆に、サブシーン内の画像数が少なく、隣り合うサブシーンとの時間差が小さいほど、シーンの重要度は低くなる。

式（５）で示した算出方法Ａは、式（６）で示した算出方法Ｂとは、画像にオブジェクトが含まれているか否かが考慮されている点で異なる。そのため、算出方法Ａによれば、図１２に示すシーン情報に含まれる「時間差」（各シーン間の時間差）、「画像数」に加え、「画像にオブジェクトが含まれているか否か」がシーン重要度に反映される。

一方で、算出方法Ｂでは、図１２に示すシーン情報に含まれる「時間差」（各シーン間の時間差）、「画像数」はシーン重要度に反映されるが、「画像にオブジェクトが含まれているか否か」は、シーン重要度には反映されない。

そのため、算出方法Ａは、算出方法Ｂに比べてオブジェクトを重視した重要度算出方法であるといえる。一方で、算出方法Ｂは、算出方法Ａと比較して、画像にオブジェクトが含まれるか否かよりも、シーン間の時間差（区切り）を重視した重要度算出方法であるといえる。

なお、ここでは算出方法Ｂとして、画像にオブジェクトが含まれるか否かは重要度には反映されない算出方法を例に説明した。しかしこれに限らず、例えば算出方法Ｂにおいても上記の式（５）を用いてもよい。ただし、算出方法Ａの場合に比べてαの値を小さくする。この場合でも、算出方法Ｂは、算出方法Ａと比較して、画像にオブジェクトが含まれるか否かよりも、シーン間の時間差を重視した重要度算出方法となる。

また算出方法Ａによる重要度の算出において、画像が含むオブジェクトの種類により、その画像の重要度を異ならせても良い。図４のＳ４１０主人公設定、およびＳ４１１優先モード設定において、主人公とした人物や優先モード設定として設定されている種類の被写体（オブジェクト）が含まれている画像に大きな重要度が設定される。そして、その画像の重要度がシーン重要度に反映される。

例えば主人公とした人物が写った画像データや、優先するオブジェクト種類が写った画像（画像Ａとする）の場合には重要度「５」、主人公とした人物と優先するオブジェクト種類の両方が写った画像（画像Ｂとする）の場合には重要度「１０」が設定される。また、主人公でない人物や優先しないオブジェクト種類が写った画像（画像Ｃとする）の場合には重要度「１」が設定される。またオブジェクトが写っていない画像（画像Ｄとする）の場合には、重要度「０」が設定される。

そして、算出方法Ａによるシーンの重要度として、式（５）の代わりに、下記の式（７）が用いられても良い。

（シーン重要度）＝α×｛（時間差の日）×２４＋（時間差の時間）｝＋β×｛（シーン内の画像Ａ）×５＋（シーン内の画像Ｂの数）×１０＋（シーン内の画像Ｃの数）×１｝・・・・（７）
なお、このようにシーンの重要性を判定する基準をユーザが指定する方法として、種々の方法を採用することができる。例えば、不図示の優先モード指定スライダーであるオブジェクト種類毎のスライダーバーによって重要度を算出してもよい。オブジェクト種類毎のスライダーバーとして、人物、ペット、花のスライダーバーがそれぞれ表示され、ユーザは、スライダーバーの各設定値がそれぞれ「多め」、「標準」、「少なめ」の３段階で指定できる。例えば、人物「標準」、ペット「多め」、花「少なめ」に指定された場合、人物が写った画像データの場合には「５」、ペットが写った画像データの場合には「１０」が重要度として設定される。また、人物とペットの両方が写った画像データの場合には「１５」、人物やペット以外のオブジェクトが写った画像の場合には「１」が設定される。そして、式（７）と同様の方法により、シーンの重要度が算出されて、シーン情報として記憶される。

また、人物の顔数から導き出される人物数によって重要度が算出されてもよい。人物数が少なくとも１以上の画像データの場合には「５」、人物数が０の画像データの場合には「１」として重要度が設定される。そして、式（７）と同様の方法により、シーンの重要度が算出されて、シーン情報として記憶される。つまり、顔が多く写った画像データが多いほど、それらの画像データが含まれるシーンは重要なシーンであると判定可能になる。

また、不図示の主人公設定スライダーである個人ＩＤ毎のスライダーバーによって重要度を算出してもよい。個人ＩＤ毎のスライダーバーでは、ユーザは、各設定値がそれぞれ「多め」、「標準」、「少なめ」の３段階で指定できる。例えば、ＩＤ１「標準」、ＩＤ２「多め」、ＩＤ３「少なめ」に指定された場合、ＩＤ１の人物が写った画像データの場合には「５」、ＩＤ２の人物が写った画像データの場合には「１０」が重要度として設定される。また、ＩＤ１とＩＤ２の両方の人物が写った画像データの場合には「１５」、ＩＤ３やそれ以外の人物が写った画像の場合には「１」が重要度として設定される。そして、式（７）と同様の方法により、シーンの重要度が算出されて、シーン情報として記憶される。つまり、ＩＤ３やそれ以外の人物よりもＩＤ１の人物、ＩＤ１の人物よりもＩＤ２の人物が写った画像データが多いほど、それらの画像データが含まれるシーンは重要なシーンであると判定可能になる。

上述したように、電子アルバムへのレイアウト対象の候補となる画像の総数が所定数より多い場合、画像にオブジェクトが含まれているか否かが重視される算出方法Ａにより、サブシーンの重要度が算出される。つまり、主人公や優先するオブジェクトが多く写った画像データが多いほど、それらの画像データが含まれるシーンは重要なシーンであると判定可能になる。そして、後述するＳ１１０８〜Ｓ１１１７における処理により、重要と判定されたシーンが、多くの見開きに割り当てられるサブシーンとして更に分割されやすくなり、また重要でないと判定されたサブシーンと統合されやすくなる。そのため、算出方法Ａによる重要度が判定されることで、オブジェクトを含む画像が多くの見開きにレイアウトされやすくなる。

しかしながら、仮に電子アルバムへのレイアウト対象の候補となる画像の総数が所定数より少ない場合にも算出方法Ａが用いられた場合、サブシーンの統合を適切に行えないことがある。レイアウト対象の候補となる画像の総数が少ない場合、各サブシーンに含まれる画像も少ない可能性が高い。そのため、オブジェクトを含む画像を他のサブシーンに比べて多く含むサブシーン（例えば人物が撮影された撮影場面に対応するサブシーン）があったとしても、そのサブシーンに含まれる画像の数は少ない可能性が高い。

このときに算出方法Ａによりオブジェクトが重視された重要度が算出されると、そもそも画像の数が少ないサブシーンが、多くの見開きに割り当てられるシーンとして更に分割されやすくなる。また、重要でないと判定されたサブシーン（風景等が撮影された画像のサブシーン）と統合されやすくなる。即ち、そもそも画像の数が少ないサブシーンが更に分割されて複数の見開きに割り当てられるため、１つの見開きに割り当てられる画像の数が更に少なくなることになる。そのため、オブジェクトを含む画像については１つの見開きにレイアウトされる画像数が少なくなる一方、オブジェクトを含まない画像については、１つの見開きに多くの画像がレイアウト可能となる。また、サブシーンの統合により、オブジェクトを含む画像、オブジェクトを含まない画像が混在した見開きとなる。

そのため、電子アルバムには、例えば人物を含む画像が１つのみ配置された多くの見開きページと、人物と風景が混在した見開きページが含まれるため、電子アルバムの全体のバランスとして望ましい結果が得られないことがある。

そこで本実施形態では、仮に電子アルバムへのレイアウト対象の候補となる画像の総数が所定数より少ない場合（Ｓ１１０５でＮｏ）、算出方法Ｂによりシーンの重要度が算出される（Ｓ１１０７、Ｓ１１０８）。上述したように、算出方法Ｂは、算出方法Ａと比較して、画像にオブジェクトが含まれるか否かよりも、シーン間の時間差を重視した重要度算出方法である。そのため、アルバムに配置される候補の画像の総数が少ない場合に、オブジェクトが重視されてシーン分割が行われることで、上述のように適切でないレイアウトとなってしまうことを低減することができる。

以下、Ｓ１１０９以降の処理について説明する。ここでの記載では、オブジェクト重視の重要度算出方法（算出方法Ａ）が設定された場合（Ｓ１１０５でＹｅｓと判定された場合）を例に説明していく。

Ｓ１１０９では、見開き割当部２０９は、所定の削除条件が満たされるサブシーンを、シーン情報から削除する。本実施形態では、シーン情報の「重要度」が０であることを、見開きへの割り当てから除外する条件としている。例えば、図１２（Ａ）のシーンＩＤ「１１」は、重要度が０である。従って、シーンＩＤ「１１」は、上記の条件を満たすため、削除対象のシーンとなる。なお、本実施形態での算出方法Ａとして上記式（７）が用いられた場合、上述のように、ユーザが優先モードを指定することで重要なオブジェクト種類が特定される。そして、そのオブジェクト種類の被写体を含む画像が画像群に含まれる場合、画像群の重要度は０とはならない。そのため、重要なオブジェクト種類の被写体を含む画像が削除されることはない。なお、削除条件として、重要度が１以上の任意の値以下の場合に、該サブシーンが削除されるようにしてもよい。

Ｓ１１１０では、見開き割当部２０９は、サブシーンの数が見開き数より多いか否かを判定する。サブシーンの数が見開きより多い場合はＳ１１１１に進み、サブシーンを統合（結合）する。サブシーンの数が見開きより少ない場合はＳ１１１７に進む。

Ｓ１１１１では、見開き割当部２０９は、サブシーン統合を実行する。本実施形態では、指定見開き数は、例えば１０である。図１２（Ａ）に示すように削除対象のシーンＩＤ「１１」を除く、残りの１３個のサブシーンについてシーンを統合する。ここでは、重要度の低いサブシーンが統合対象として優先される。具体的には、削除対象のサブシーン以外で、最も重要度の低いサブシーンがシーン統合の対象となる。また、サブシーンの統合方法について、図４のＳ４１７ではサブシーン内の画像数に応じたシーン統合を説明したが、ここではサブシーンごとのシーン情報を利用した統合方法に関して説明する。

図１２（Ａ）が示すシーン情報において、削除されたシーンＩＤ「１１」の次に重要度が低いシーンは、シーンＩＤ「８」のシーンである。画像の撮影日時の時系列においてシーンＩＤ「８」のシーンと隣り合うシーンＩＤ「７」のシーンとシーンＩＤ「９」のシーンのうち、時間差が小さいシーンＩＤ「７」のシーンにシーンＩＤ「８」のシーンを統合する。統合した結果、シーン数は１２となる。

Ｓ１１１２では、見開き割当部２０９が、統合されたサブシーンに基づいて各サブシーンの情報を再計算する。画像数については、シーンＩＤ「８」に対応する画像数がシーンＩＤ「７」に対応する画像数に加算される。オブジェクト数については、シーンＩＤ「８」に対応するオブジェクト数がシーンＩＤ「７」に対応するオブジェクト数に加算される。期間については、シーンＩＤ「８」に対応する期間がシーンＩＤ「７」の期間に加算される。時間差については、シーンＩＤ「８」に対応する時間差でシーンＩＤ「７」の時間差が更新される。

Ｓ１１１３では、見開き割当部２０９が、統合されたサブシーンに基づいてＳ１１１２において再計算された情報を用いて、サブシーンごとの重要度を再計算する。本実施形態では、統合するシーンの重要度が加算される。シーンＩＤ「８」のシーン、シーンＩＤ「７」のシーンが統合される場合、シーンＩＤ「８」に対応する重要度がシーンＩＤ「７」に対応する重要度に加算される。重要度の算出方法としては、Ｓ１１０８で用いられた算出方法（オブジェクト重視の算出方法Ａもしくは期間重視の算出方法Ｂ）により、Ｓ１１１２で更新されたシーン情報から各サブシーンの重要度が再計算されてもよい。

Ｓ１１１４では、見開き割当部２０９は、サブシーンの数が見開きと同じ数か否かを判定する。サブシーンの数と見開き数が同じと判定された場合は、Ｓ１１１５に処理が進む。サブシーンの数と見開き数が同じでないと判定された場合は、Ｓ１１１１に処理が戻り、サブシーン統合以降の処理（Ｓ１１１１〜Ｓ１１１３）が、シーン数が見開き数に等しくなるまで繰り返される。

図１２（Ａ）のシーン統合ＩＤの欄は、シーン統合により統合される複数のサブシーンを示す。図１２（Ａ）では、例えば、シーンＩＤ「２」および「３」の２つのシーンが、シーン統合ＩＤ「２」として統合されるサブシーンであることを表す。図１２（Ｂ）は、Ｓ１１１２およびＳ１１１３の処理結果を示す図である。図１２（Ｂ）に示すように、図１２（Ａ）のシーン統合ＩＤとして同一のＩＤが付与された複数のシーンが統合され、統合後のシーンに新たなシーンＩＤが付与される。

Ｓ１１１５では、見開き割当部２０９は、各サブシーンが見開きを構成することが可能か否かを判定するための条件を設定する。具体的には、各サブシーンの重要度、もしくはシーン情報の他の項目に関する閾値を設定する。Ｓ１１１５で設定された条件が、後述するＳ１１１６の判定処理で使用される。本実施形態において、Ｓ１１１６における判定の条件は例えば以下の通りである。即ち、各サブシーンのシーン情報として、画像数が１０以上、オブジェクト数が１０以上、重要度が２０以上、期間が１．５時間以上、時間差が１２時間以上を、重要なシーンであるための条件として定められる。Ｓ１１１５は、シーン情報の各項目について、上記の閾値が設定される。

Ｓ１１１６では、見開き割当部２０９は、各サブシーンについて、シーン情報が、重要なシーンであるための条件を満たすか否かを判定する。ここでの判定の条件として、Ｓ１１１５で設定された条件が使用される。即ち、見開き割当部２０９は、各サブシーンの重要度もしくはシーン情報の他の項目を用いて各サブシーンについて評価を行い、その評価が所定の条件を満たすか否かを判定する。全サブシーンが設定条件をクリアした場合は処理を終了する。全サブシーンが設定条件をクリアできなかった場合は、Ｓ１１１７に処理が進む。Ｓ１１１４、Ｓ１１１６で示した処理により、見開き数と一致した数であり（Ｓ１１１４でＹｅｓ）、且つ、全て重要である（Ｓ１１１６でＹｅｓ）複数のサブシーンが決定される。

そのように重要なシーンであるか判定する方法として、本実施形態では、見開き割当部２０９が、判定対象のシーンに対応するシーン情報を用いて該シーンを評価し、該シーンが重要なシーンであるか否かを判定する。具体的には、主人公となるオブジェクトの数が考慮され、またシーン内の画像数や撮影期間が考慮される。そのため、例えば、撮影対象物としての主人公が多く写った画像が多い日常のシーンや、撮影期間が長く撮影頻度も高い旅行のシーンほど重要な画像群（シーン）と判定される。その結果、見開きを構成するに値するシーンとして見開き内に残りやすくすることができる。反対に、主人公やオブジェクトが少ないシーンや、撮影期間が短く撮影頻度も低い突発的なシーンほど重要でないシーンと判定され、シーンの削除されやすくすることができる。

Ｓ１１１７では、見開き割当部２０９は、サブシーン分割数がＮであるとき、Ｎ＝Ｎ＋１の分割数を設定する。つまり、Ｓ１１０５では、見開き割当部２０９は、分割数を変更して、再度、Ｓ１１０３〜Ｓ１１０９の処理が行われ、Ｓ１１１０で再び判定が行われる。またＳ１１１０でＹｅｓと判定された場合、Ｓ１１１１〜Ｓ１１１５の処理が行われ、Ｓ１１１６で判定処理が行われる。ただし、分割数の変更は分割と統合を際限なく繰り返し、終了できない場合があるため、分割数Ｎに上限を設定する。分割数Ｎの上限に達したか否かを判定し、上限に達したと判定された場合、分割数Ｎの再設定は行わずに図１１の処理を終了する。

以上の図１１に示した処理により、見開き数と一致した数であり（Ｓ１１１４でＹｅｓ）、且つ、全て重要である（Ｓ１１１６でＹｅｓ）複数のサブシーンが決定される。図１２（Ｂ）に示した例では、１０個のサブシーンの何れのシーンについても、Ｓ１１１５で設定される条件として例示した上記の条件を満たしている。従って、Ｓ１１０４で見開き割当部２０９は、各サブシーンについて、シーン情報が、重要なシーンであるための条件を満たしていると判定し、図１１の処理を終了する。即ち見開き割当部２０９は、複数のシーン（複数の画像群）の全てが重要なシーンとなる条件を満たしていると判定した場合に、複数のシーン（複数の画像群）を、指定された見開き数のテンプレートへのレイアウト対象の候補として確定する。

また本実施形態では、仮に電子アルバムへのレイアウト対象の候補となる画像の総数が所定数より少ない場合（Ｓ１１０５でＮｏ）、算出方法Ｂによりシーンの重要度が算出される（Ｓ１１０７、Ｓ１１０８）。上述したように、算出方法Ｂは、算出方法Ａと比較して、画像にオブジェクトが含まれるか否かよりも、シーン間の時間差を重視した重要度算出方法である。そのため、アルバムに配置される候補の画像の総数が少ない場合に、あるサブシーンにおいてオブジェクトを含む画像が少ないことを理由に適切でないレイアウトとなってしまうことを低減することができる。レイアウト対象の候補となる画像の総数が所定数より少ない場合のシーン結合について、図１２（Ｃ）、図１２（Ｄ）を用いて説明する。

図１２（Ｃ）では、図１２（Ａ）の場合と、電子アルバムへの配置候補の画像は同じであり、Ｓ１１０３において、図１２（Ａ）の場合と同じようにサブシーンに仮分割されている。ただし、図１２（Ａ）の場合と異なり、シーンの重要度が算出方法Ｂに対応する式（６）で算出されているため、図１２（Ａ）とは重要度が異なる。

図１１のＳ１１１１でシーン統合が行われると、図１２（Ｃ）のシーン統合ＩＤが示すように、シーン統合と対象となる複数のシーンが設定される。例えば、図１２（Ｃ）では、シーンＩＤ「２」および「３」は、シーン統合ＩＤ「２」として統合されるサブシーンを表す。

また図１２（Ａ）では、シーンＩＤが９であるシーンが、シーンＩＤが１０のシーンに統合されていた。一方、図１２（Ｃ）では、シーンＩＤが９であるシーンは、シーンＩＤが１０のシーンとの時間差が大きいため、統合されていない。即ち、算出方法Ａでは、オブジェクトを含む画像の数が重視されていたため、シーンＩＤが９のシーンが統合対象となっていたが、算出方法Ｂでは時間差が重視されたため、シーンＩＤが９のシーンが統合対象とはならない。

図１２（Ｄ）は、Ｓ１１１１〜Ｓ１１１４における処理により、シーン統合が行われた結果を示す。図１２（Ｄ）に示すように、シーンが統合されて、図１２（Ｃ）のシーン統合ＩＤが図１２（Ｄ）のシーンＩＤとなっている。例えば、シーンＩＤ「６」「７」「８」が、シーン統合ＩＤ「５」として、統合されている。シーンＩＤ「１０」「１１」が、シーン統合ＩＤ「７」として、統合されている。

またＳ１１１５では、見開き割当部２０９は、各サブシーンが見開きを構成することが可能か否かを判定するための条件として、算出方法Ａが用いられた場合とは異なる条件で設定される。本実施形態において、判定条件は例えば以下のとおりである。即ち、各サブシーンのシーン情報として、画像数が１０以上、重要度が１００以上、期間が１．５時間以上、時間差が１２時間以上を、重要なシーンであるための条件として定める。つまり、算出方法Ａが用いられた場合では、オブジェクト数が条件に含まれているが、算出方法Ｂが用いられた場合、オブジェクト数は条件に含まれない。また、例えば式（５）のα、βの値によっては、式（６）により算出されるシーンの重要度と、算出される重要度の値が大きく異なる場合がある。そのため、Ｓ１１１５で設定される条件に含まれる重要度の閾値として、重要度の算出方法に応じて異なる値が設定される。

以上のように、本実施形態では、サブシーン分割処理を終了した段階で、全てのサブシーンについてシーン情報が、重要なシーンであるための条件を満たしていることになる。つまり、サブシーン分割処理を終了した段階で、全てのサブシーンを重要なシーンとすることができる。また、前述したようにシーン分割数と指定見開き数は同じになるので、図４のＳ４１６において各見開きが各サブシーンに対応付けられる。よって、重要であると判定されたシーンが、見開きを構成するのに値するシーンとして見開き内に残りやすくすることができ、重要なシーンの欠落を防止することができる。

Ｓ１１０６において、オブジェクトを重視したシーン重要度算出方法が設定された場合は、オブジェクトを含む画像が見開きに含まれることが多くなるようにシーン分割が行われる。そのため、分割後のサブシーンを各見開きに割当てた場合には、各見開きでオブジェクトが配置されるようにアルバムを作成することができる。

一方で、Ｓ１１０７において区切りを重視したシーン重要度算出方法が設定された場合は、サブシーン間の関連性がより低くなるようにシーン分割が行われる。そのため、シーン分割後のサブシーンを各見開きに割当てた場合には、各見開き間で区切れの良いアルバムを作成することができる。

本実施形態によれば、仮分割された複数の画像群それぞれの重要度に応じて、複数の画像群に含まれる少なくとも２つの画像群が統合される。その重要度の判定の際に、レイアウト対象の候補の画像の総数に応じて、画像群の重要度を判定する方法が動的に変更される。

例えばレイアウト対象の候補の画像の総数が多い時には、撮影日時に応じて所定数の画像群に仮分割されたとしても、各画像群に種々の画像が存在する可能性が高い。そのため、画像に関する所定の特徴（例えばオブジェクトに関する特徴）に応じて画像群の重要度が判定されたとしても、画像群の重要度に与える影響が比較的小さい。

一方で、レイアウト対象の候補の画像の総数が少ない場合、撮影日時に応じて所定数の画像群に仮分割されると、ある画像群（例えば人物が撮影された画像の画像群）に、上記の所定の特徴を有する画像が、他の画像群に比べて多く含まれることがある。そして、撮影日時に加えて画像の特徴が考慮された場合、該画像群の重要度が高くなり、そもそも少ない画像数の画像群が、さらに分割されて複数の見開きにレイアウトされることになる。結果として、例えば１つの見開きに人物を含む画像が１つのみレイアウトされたページが多くなるなど、適切でないレイアウトになることがある。

そこで本実施形態によれば、このようにレイアウト対象の候補の画像の数に応じて、画像群の重要度を判定する方法が動的に変更されることにより、画像群の重要度を適切に判定することができる。具体的には、レイアウト対象の候補の画像の数が少ない時には、画像の上記の所定の特徴（例えばオブジェクトに関する特徴）を用いずに、もしくは重視せずに画像群の重要度が判定される。そして、複数の画像が複数の画像群に適切に分割され、またその複数の画像群が複数の見開きに適切に割り当てられることになる。結果として、ユーザにとって望ましいレイアウト結果を提供することができる。

また本実施形態では、上述のように、ユーザが指定した優先モードにより重要なオブジェクト種類が特定され、そのオブジェクト種類の被写体を含む画像が含まれている画像群に、大きな重要度が設定される。そのため、本実施形態によれば、ユーザが指定した優先モード、即ちユーザが重要なオブジェクト種類として指定した被写体が、分割された全ての画像群に含まれ易くなる。そのため、ユーザが重要と考える種類の被写体が写っている画像が画像群に含まれない、または少ないということを低減することができる。

以上の実施形態では、ユーザ指定のフォルダ内の画像が分割された複数の画像群のそれぞれに、ユーザ指定のオブジェクト種類の被写体を含む画像をできるだけ含ませる方法として、該オブジェクト種類のオブジェクトを含む画像に高い重要度を与えていた。

しかしこれに限らず、例えばＳ１１０４における判定の条件として、ユーザ指定のオブジェクト種類の被写体を含む画像が所定の数以上含まれていることを、重要な画像群（シーン）の条件としてもよい。これにより、例えば上記所定の数に１を設定すれば、ユーザ指定のフォルダ内の画像が分割された複数の画像群のそれぞれに、ユーザ指定のオブジェクト種類の被写体（重要オブジェクト）を含む画像を少なくとも１つは含ませることができる。

また、以上の実施形態により、複数の画像群のそれぞれに、重要オブジェクトを含む画像を少なくとも１つは含ませることができたとしても、Ｓ４１９における画像選択において、その画像が選ばれるとは限らない。そこで、Ｓ４１９における選択の条件として、重要オブジェクトを含む画像が少なくとも１つは選ばれることが条件として設けられても良い。

またＳ４１７におけるシーン統合処理においても図１１に示した処理が実行されてもよい。この場合、サブシーンの分割数Ｎの初期値は、Ｓ４０７において分割されたシーン数、即ち、見開き数よりも大きい値が設定される。そのため、Ｓ１１０１が初めに実行されるとき、サブシーン分割は行われない。

また、画像データが動画データから切り出した画像を含む場合、画像データが多くなり、その当該シーンの重要度が増してしまうおそれがある。そのため、動画データか否かの識別子を取得し、動画から切り出した画像の画像数分を当該シーンの重要度から間引いてもよい。例えば、動画から切り出した画像データの場合には「０．１」、動画から切り出した画像データでない場合には「１」として、各画像データの重要度を合算した合計値を算出する。つまり、動画から切り出した画像データを多く含むシーンを重要なシーンと誤判定することを防ぐことができる。

なお、以上の実施形態では、図４のＳ４１６におけるシーン分割において、レイアウト対象の画像の総数が判定され（図１１のＳ１１０５）、その数により、画像群の重要度を判定する方法が動的に変更されていた。しかしこれに限らず、例えば図４の処理が開始されるときにレイアウト対象の画像の総数が判定され、その総数が所定値以下の場合、Ｓ４０１〜Ｓ４１７の処理が行われなくても良い。この場合、画像の特徴量は用いずに、画像の時間情報のみにより、レイアウト対象の候補である複数の画像が、見開き数と同数の複数の画像群に分割されてもよい。即ち、レイアウト対象の画像の総数により画像群の重要度の判定方法が変更されるのではなく、レイアウト対象の画像の総数により、画像群への分割方法自体が変更されてもよい。

［第２の実施形態］
第１の実施形態では、シーン情報は、各サブシーンにおける画像数、オブジェクト数、重要度、期間、時間差を含んで構成されるものとして説明し、Ｓ１１０４の判定では、それらのシーン情報を用いていた。しかしながら、Ｓ１１０４においては、画像データの文字情報を条件として用いて判定するようにしても良い。例えば、撮影されたシーンの画像データから文字情報が取得可能な場合、その文字情報をシーン情報として保持しておく。そして、Ｓ１１０４において、撮影されたシーンの文字情報が、観光スポット等の所定の地名を表す文字情報であるか否かや、ユーザのお気に入りの言葉を表す文字情報と一致するか否かを判定する。そして、所定の地名を表す文字情報であると判定された場合や、ユーザのお気に入りの言葉を表す文字情報と一致すると判定された場合、見開き割当部２０９は、そのシーンを重要なシーンであると判定する。

また、画像データから個人情報が取得可能な場合、その個人情報をシーン情報として保持しておく。ここで、個人情報とは、例えば、氏名や住所などの個人情報である。氏名や住所などの個人を特定する情報は見開きにレイアウトされる画像データに適さないと考えられる場合、各シーンの画像データ数に対するそのような種類の画像データの割合が所定の閾値以上であれば、重要でないシーンと判定する。例えば、Ｓ１１０４で、見開き割当部２０９は、見開きレイアウト対象外の画像データが１００％であるシーンの「重要度」を０とし、Ｓ１１０２での削除対象となるようにしても良い。

上記では、画像データから取得される文字情報、個人情報をＳ１１０４の判定の条件として用いているが、画像データから取得可能な情報であれば、上記の例に限られず、Ｓ１１０４の判定の条件として用いるようにしても良い。

なお、以上の実施形態では、ユーザ指定のフォルダ内の複数の画像を複数のシーン（画像群）に分割し、見開き数と画像群の数とを一致させるための処理を実行していた。しかしこれに限らず、例えば上記複数の画像について、撮影日時の新しい画像から、もしくは古い画像から順に、画像群としての条件（Ｓ１１０４の判断条件）を満たすか判断してもよい。そして、上記条件を満たす画像群の数が見開き数に達した場合に、画像群の決定処理を終了しても良い。この場合に、上記の条件として、重要オブジェクトを含む画像が画像群に含まれることを条件にしてもよい。

さらに、以上の実施形態では、レイアウト対象の候補である複数の画像を複数の画像群に分割する分割方法として、画像内のオブジェクトが重視された分割方法、または、複数の画像群の間の時間差が重視された分割方法が選択されていた。その選択の条件として、レイアウト対象の候補である複数の画像の数が用いられていた。しかし分割方法の選択の条件はこれに限らず、例えばユーザの指示に応じて、オブジェクト重視の分割方法または時間差重視の分割方法が選択されてもよい。

［その他の実施例］
なお、本実施形態の機能は以下の構成によっても実現することができる。つまり、本実施形態の処理を行うためのプログラムコードをシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）がプログラムコードを実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することとなり、またそのプログラムコードを記憶した記憶媒体も本実施形態の機能を実現することになる。

また、本実施形態の機能を実現するためのプログラムコードを、１つのコンピュータ（ＣＰＵ、ＭＰＵ）で実行する場合であってもよいし、複数のコンピュータが協働することによって実行する場合であってもよい。さらに、プログラムコードをコンピュータが実行する場合であってもよいし、プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。またはプログラムコードの一部をハードウェアで実現し、残りの部分をコンピュータが実行する場合であってもよい。

１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＡＭ
１０４ ＨＤＤ

Claims (15)

1. テンプレートへのレイアウト対象の候補である複数の画像に対応する時間情報に応じて、前記複数の画像を複数の画像群に分割する分割工程と、
   前記分割工程において分割された前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数の画像群のそれぞれに対応するテンプレートにレイアウトするレイアウト工程と、
   をコンピュータに実行させ、
   前記分割工程では、前記複数の画像の数が所定数より多いか否かに応じて異なる方法により、前記複数の画像を前記複数の画像群に分割することを特徴とするプログラム。
2. 前記分割工程では、
   前記複数の画像に対応する時間情報に応じて、前記複数の画像を複数の第１の画像群に仮分割する仮分割工程と、
   前記仮分割工程において仮分割された前記複数の第１の画像群のそれぞれの重要度を判定する判定工程と、
   前記判定工程により判定された重要度が低い第１の画像群が優先して統合対象となるように、前記複数の第１の画像群に含まれる少なくとも２つの画像群が統合された複数の第２の画像群を前記分割工程で分割された前記複数の画像群として決定する決定工程と、
   をコンピュータに実行させ、
   前記判定工程では、前記複数の画像の数が所定数より多いか否かに応じて異なる方法により、前記重要度を判定することを特徴とする請求項１に記載のプログラム。
3. 前記判定工程では、
   前記複数の第１の画像群に含まれる画像の所定の特徴を用いて前記重要度を判定する所定の第１の方法と、重要度の判定における前記所定の特徴の重みが前記所定の第１の方法よりも低い所定の第２の方法とにより、前記重要度を判定可能であり、
   前記複数の画像の数が所定数より多い場合、前記所定の第１の方法により前記重要度を判定し、前記複数の画像の数が所定数より多くない場合、前記所定の第２の方法により前記重要度を判定することを特徴とする請求項２に記載のプログラム。
4. 前記分割工程では、
   前記時間情報に加えて前記複数の画像に含まれる画像の所定の特徴に基づいて前記複数の画像の前記複数の画像群への分割を行う所定の第１の方法と、前記分割における前記所定の特徴の重みが前記所定の第１の方法よりも低い所定の第２の方法とにより、前記分割を行うことが可能であり、
   前記複数の画像の数が所定数より多い場合、前記所定の第１の方法により前記分割を行い、前記複数の画像の数が所定数より多くない場合、前記所定の第２の方法により前記分割を行うことを特徴とする請求項１に記載のプログラム。
5. 前記第２の方法では、前記所定の特徴は用いられないことを特徴とする請求項３または４に記載のプログラム。
6. 前記所定の特徴は、画像に含まれるオブジェクトに関する特徴であることを特徴とする請求項３乃至５のいずれか１項に記載のプログラム。
7. 前記所定の特徴は、画像に所定のオブジェクトが含まれることを含むことを特徴とする請求項６に記載のプログラム。
8. 前記レイアウト工程では、
   前記複数の画像群が所定の条件を満たす場合に、前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を前記テンプレートにレイアウトするレイアウト処理が実行され、前記複数の画像群が前記所定の条件を満たさない場合に、前記レイアウト処理は実行されず、
   前記所定の条件は、前記複数の画像の数が前記所定数より多いか否かに応じて異なることを特徴とする請求項１乃至７のいずれか１項に記載のプログラム。
9. 前記所定の条件は、前記複数の画像群のそれぞれに含まれる画像枚数と、前記複数の画像群のそれぞれに含まれるオブジェクト数と、前記複数の画像群のそれぞれにおける撮影期間と、前記複数の画像群の間における撮影日時の時間差との少なくとも１つに関する条件であることを特徴とする請求項８に記載のプログラム。
10. 前記複数の画像の数が前記所定数より多い場合、前記所定の条件に前記オブジェクト数に関する条件が含まれ、前記複数の画像の数が前記所定数より多くない場合、前記所定の条件に前記オブジェクト数に関する条件は含まれないことを特徴とする請求項９に記載のプログラム。
11. 前記複数の画像の数が前記所定数より多くない場合、前記所定の条件に前記時間差に関する条件が含まれることを特徴とする請求項９または１０に記載のプログラム。
12. 前記レイアウト工程において前記複数の画像群のそれぞれに含まれている少なくとも１つの画像が前記テンプレートにレイアウトされた画像を、ディスプレイに表示させる表示工程をさらにコンピュータに実行させることを特徴とする請求項１乃至１１のいずれか１項に記載のプログラム。
13. テンプレートへのレイアウト対象の候補である複数の画像に対応する時間情報に応じて、前記複数の画像を複数の画像群に分割する分割工程と、
    前記分割工程において分割された前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数の画像群のそれぞれに対応するテンプレートにレイアウトするレイアウト工程と、
    をコンピュータに実行させ、
    前記分割工程では、
    前記複数の画像の前記複数の画像群への分割の方法として、前記時間情報に加えて前記複数の画像に含まれるオブジェクトに基づいて前記分割を行う所定の第１の方法、または、前記分割における前記オブジェクトの重みが前記所定の第１の方法よりも低い所定の第２の方法が、所定の条件に基づいて選択され、
    前記選択された分割の方法により、前記分割が行われることを特徴とするプログラム。
14. テンプレートへのレイアウト対象の候補である複数の画像に対応する時間情報に応じて、前記複数の画像を複数の画像群に分割する分割手段と、
    前記分割手段により分割された前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数の画像群のそれぞれに対応するテンプレートにレイアウトするレイアウト手段と、
    を有し、
    前記分割手段は、前記複数の画像の数が所定数より多いか否かに応じて異なる方法により、前記複数の画像を前記複数の画像群に分割することを特徴とする画像処理装置。
15. テンプレートへのレイアウト対象の候補である複数の画像に対応する時間情報に応じて、前記複数の画像を複数の画像群に分割する分割工程と、
    前記分割工程において分割された前記複数の画像群のそれぞれに含まれている少なくとも１つの画像を、前記複数の画像群のそれぞれに対応するテンプレートにレイアウトするレイアウト工程と、
    を有し、
    前記分割工程では、前記複数の画像の数が所定数より多いか否かに応じて異なる方法により、前記複数の画像を前記複数の画像群に分割することを特徴とする画像処理方法。
    

Images