JP2019067261A - 画像処理装置、制御方法およびプログラム - Google Patents

Abstract

【課題】 変更後のレイアウト画像としてユーザ満足度の高いレイアウト画像や変更後のレイアウト画像に用いられるテンプレートとしてユーザ満足度の高いテンプレートを、ユーザが特定しやすくすることを目的とする。【解決手段】 変更指示が受け付けられた場合、第１の変更後レイアウト画像を、前記第１の変更後レイアウト画像よりも変更前レイアウト画像との類似度が高い第２の変更後レイアウト画像より優先して表示部に表示する処理、及び前記第１の変更後レイアウト画像を、前記第２の変更後レイアウト画像より強調して前記表示部に表示する処理のうち少なくとも一方の処理を実行する実行ステップを、画像処理装置に実行させるプログラムを提供することで課題を解決する。【選択図】 図１

Description

本発明は、画像処理装置、制御方法およびプログラムに関する。

デジタルカメラ等で写真を撮影することで取得される画像データが表わす画像をテンプレートに配置することで、レイアウト画像を作成する処理が知られている。そして、作成されたレイアウト画像をユーザ指示に応じて変更して、新たなレイアウト画像を表示するレイアウト画像変更処理が知られている。特許文献１には、画面に表示された複数のテンプレートからいずれかのテンプレートをユーザに選択させることが記載されている。そして、自動レイアウトによって生成されたレイアウト画像に用いられたテンプレートを、ユーザによって選択されたテンプレートに変更して、新たなレイアウト画像を表示することが記載されている。

特許５４４９４６０号公報

しかしながら、特許文献１に記載の技術は、複数のテンプレートからいずれかをユーザに選択させて、変更後のレイアウト画像を表示する。そのため、ユーザは、変更後のレイアウト画像や変更後のレイアウト画像に用いられ、且つユーザが所望する（ユーザ満足度の高い）テンプレートを手動で特定しなければならない。すなわち、特許文献１に記載の技術は、変更後のレイアウト画像としてユーザ満足度の高いレイアウト画像や変更後のレイアウト画像に用いられるテンプレートとしてユーザ満足度の高いテンプレートを、ユーザが特定しにくいという課題がある。

上述の課題を鑑み、本発明は、変更後のレイアウト画像としてユーザ満足度の高いレイアウト画像や変更後のレイアウト画像に用いられるテンプレートとしてユーザ満足度の高いテンプレートを、ユーザが特定しやすくすることを目的とする。

上記課題を解決するため、本発明に係るプログラムは、
テンプレートに配置画像が配置された変更前レイアウト画像を表示部に表示する表示ステップと、
前記変更前レイアウト画像と少なくとも一部が異なる変更後レイアウト画像を前記表示部に表示するための変更指示を受け付ける受け付けステップと、
前記変更指示が受け付けられた場合、第１の変更後レイアウト画像を、前記第１の変更後レイアウト画像よりも前記変更前レイアウト画像との類似度が高い第２の変更後レイアウト画像より優先して前記表示部に表示する処理、及び前記第１の変更後レイアウト画像を、前記第２の変更後レイアウト画像より強調して前記表示部に表示する処理のうち少なくとも一方の処理を実行する実行ステップと、
を画像処理装置のコンピュータに実行させることを特徴とする。

また、本発明に係るプログラムは、
テンプレートに配置画像が配置された変更前レイアウト画像を表示部に表示する表示ステップと、
前記変更前レイアウト画像と少なくとも一部が異なる変更後レイアウト画像を前記表示部に表示するための変更指示を受け付ける受け付けステップと、
前記変更指示が受け付けられた場合、第１の変更後テンプレートを、前記第１の変更後テンプレートよりも前記変更前レイアウト画像に用いられたテンプレートとの類似度が高い第２の変更後テンプレートより優先して前記表示部に表示する処理、及び前記第１の変更後テンプレートを、前記第２の変更後テンプレートより強調して前記表示部に表示する処理のうち少なくとも一方の処理を実行する実行ステップと、
を画像処理装置のコンピュータに実行させることを特徴とする。

本発明によれば、変更後のレイアウト画像としてユーザ満足度の高いレイアウト画像や変更後のレイアウト画像に用いられるテンプレートとしてユーザ満足度の高いテンプレートを、ユーザが特定しやすくなる。

画像処理装置のハードウェアの構成を示すブロック図である。 アルバム作成アプリのソフトウェアブロック図である。 アルバム作成アプリが提供する表示画面を示す図である。 自動レイアウト処理を示すフローチャートである。 画像データの画像解析情報を管理するテーブルを示す図である。 画像データ群の分割を説明するための図である。 シーンの分類分けを説明するための図である。 メインスロットとサブスロットについての得点化を説明するための図である。 画像データの選択を説明するための図である。 レイアウト画像の生成において用いられるテンプレート群を示す図である。 テンプレート変更処理を示すフローチャートである。 アルバム作成アプリが提供する編集画面を示す図である。 テンプレート間の類似度に関する値を示すテーブルを示す図である。 印刷システムの構成を示す図である。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

以下の実施形態では、画像処理装置上で、アルバム（フォトブック）作成のためのアプリケーションプログラム（以下、「アルバム作成アプリ」という）を動作させ、自動レイアウトを生成するまでの手順について説明する。以下に説明する画像とは、特に断りが無い限り、静止画、動画、動画中のフレーム画像、また、ＳＮＳ（ソーシャル・ネットワーキング・サービス）サーバ上の静止画と動画と動画中のフレーム画像を含む。

［第１の実施形態］
本実施形態では、画像処理装置上で、アルバム作成アプリを動作させ、自動レイアウト機能によりレイアウトを生成するまでの処理について説明する。

本実施形態の印刷システムの一例を図１４によって説明する。この印刷システムには、画像処理装置１００のほかに、画像形成装置２００、ネットワーク３００、外部サーバ４００及び画像形成装置５００が含まれるものとする。

画像形成装置２００は、画像処理装置１００等から受け付ける印刷ジョブに基づいて、記録剤によって記録媒体上に画像を形成する画像形成処理（印刷処理）を実行する。なお、本実施形態では、画像処理装置１００が、生成したレイアウト情報を外部サーバに送信（出力）する形態を説明するが、例えば、画像処理装置１００が、生成したレイアウト情報を印刷ジョブとして画像形成装置２００に送信する形態であっても良い。この場合、レイアウト情報に基づくアルバムは、画像形成装置２００によって作成される。

ネットワーク３００は、画像処理装置１００及び外部サーバ４００と接続しており、両者の間における情報の伝達を行うための通信網である。なお、ネットワーク３００は、有線ネットワークであっても良いし、無線ネットワークであっても良い。

外部サーバ４００は、ネットワーク３００を介して画像処理装置１００から後述のレイアウト情報を受け付ける。すなわち、外部サーバ４００は、アルバムの受注・管理を司るサーバである。外部サーバ４００は、画像処理装置１００を操作するユーザによってアルバム購入手続きが行われたら、受け付けたレイアウト情報に基づくアルバムを、画像形成装置５００に画像形成処理によって作成させる。その後、画像形成装置５００によって作成されたアルバムは、アルバム購入手続きを行ったユーザに届けられる。

図１は、画像処理装置のハードウェアの構成を示すブロック図である。なお、画像処理装置としては、例えば、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末、カメラ、プリンタ等が挙げられ、本実施形態ではＰＣとする。ＣＰＵ（中央演算装置／プロセッサ）１０１は、画像処理装置１００を統括的に制御し、例えば、ＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み出して実行することにより、本実施形態の動作を実現する。図１では、ＣＰＵは１つであるが、複数のＣＰＵで構成されても良い。ＲＯＭ１０２は、汎用的なＲＯＭであり、例えば、ＣＰＵ１０１により実行されるプログラムが記憶されている。ＲＡＭ１０３は、汎用的なＲＡＭであり、例えば、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのワーキングメモリとして用いられる。ＨＤＤ（ハードディスクドライブ）１０４は、画像ファイルや画像解析などの処理結果を保持するデータベースや、アルバム作成アプリにより用いられるテンプレートなどを記憶するための記憶媒体（記憶部）である。

ディスプレイ１０５は、本実施形態のユーザインタフェース（ＵＩ）や画像のレイアウト結果をユーザに表示する。キーボード１０６及びポインティングデバイス１０７は、ユーザからの指示操作を受け付ける。ディスプレイ１０５は、タッチセンサ機能を備えても良い。キーボード１０６は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上に作成したいアルバムの見開き数を入力する際に用いられる。ポインティングデバイス１０７は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上のボタンをクリックする際に用いられる。

データ通信部１０８は、有線や無線等のネットワークを介した外部の装置との通信を行う。データ通信部１０８は、例えば、自動レイアウト機能によりレイアウトされたデータを画像処理装置１００と通信可能なプリンタやサーバに送信する。データバス１０９は、図１の各ブロック間を相互に通信可能に接続する。

本実施形態におけるアルバム作成アプリは、ＨＤＤ１０４に保存され、後述するようにユーザがディスプレイ１０５に表示されているアプリケーションのアイコンをポインティングデバイス１０７によりダブルクリックして起動する。また、アルバム作成アプリは、例えば、データ通信部１０８を介して外部のサーバからインストールされることで、ＨＤＤ１０４に保存される。

＜アルバムの自動レイアウト＞
図２は、アルバム作成アプリのソフトウェアブロック図である。図２は、特に、自動レイアウト機能を実行する自動レイアウト処理部に関するソフトウェアブロック図を示している。なお、自動レイアウト機能は、撮影された静止画や動画をその内容や属性に基づいて分類及び選択した画像データを予め用意されたテンプレートにレイアウトし、ディスプレイ１０５に表示するための機能である。

アルバム作成条件指定部２０１は、例えばポインティングデバイス１０７による後述のＵＩ操作に応じたアルバム作成条件の指定を受付け、自動レイアウト処理部に出力する。指定される条件には、例えば処理の対象となる画像データや主人公のＩＤ、アルバムの見開き数、テンプレート情報、画像補正のＯＮ／ＯＦＦ条件、動画使用のＯＮ／ＯＦＦ条件、アルバムのモード等の指定が含まれる。なお、見開きとは、異なるシート（又はページ）に印刷された、互いに隣接する１対のページに相当する。また、本実施形態のアルバム作成アプリでは、一つの表示用ウィンドウで１つの見開きのレイアウトを作成するものとする。なお、アルバム作成条件指定部２０１は、例えば図３に示すような設定画面を表示し、当該画面に対する入力を受け付けることで、アルバム作成条件の指定を受付ける。

画像取得部２０２は、アルバム作成条件指定部２０１により指定された画像群（画像データ群）をＨＤＤ１０４等の記憶領域から取得する。なお、画像取得部２０２は、データ通信部１０８を介してネットワーク上のサーバやＳＮＳサーバ等の記憶領域から画像群を取得しても良い。ここでいう画像群とは、アルバム作成に利用される画像データの候補を指す。例えば、アルバム作成条件指定部２０１において、レイアウト対象となる画像データが生成された（当該画像データに対応する写真が撮影された）日時（以後、撮影日時という。）に関する条件としてＸＸ年１月１日〜ＸＸ年１２月３１日が指定される場合がある。この場合、画像取得部２０２は、ＸＸ年１月１日〜ＸＸ年１２月３１日に生成された全ての画像データを画像群として取得する。

記憶領域に保存されている画像データは、例えば、静止画像データや、動画データからフレームが切り出されることで取得される切り出し画像データである。静止画像データや切り出し画像データは、撮像デバイスから取得されたものである。撮像デバイスは、画像処理装置１００が備えていてもよいし、画像処理装置１００の外部の装置である外部装置（ＰＣやスマートフォン、デジタルカメラ、タブレット端末等）が備えるものであってもよい。なお、画像処理装置１００は、外部装置から画像データを取得する場合は、データ通信部１０８を介して画像データを取得する。また、画像処理装置１００は、静止画像データや切り出し画像データを、データ通信部１０８を介してネットワークやサーバから取得してもよい。ＣＰＵ１０１は、画像データに付随したデータを解析して、各画像データがどこから取得されたのかを判定する。

画像変換部２０３は、画像取得部２０２によって取得された画像データの画素数情報や色情報を変換する。なお、画像変換部２０３によって、どのような画素数情報や色情報の画像データへの変換が行われるかは予め決められており、その情報は、アルバム作成アプリ又はアルバム作成アプリが用いるパラメータファイルに保存されている。本実施形態では、画像取得部２０２によって取得された画像データを、画素数が短辺４２０画素、色情報がｓＲＧＢである画像データに変換する。

画像解析部２０４は、画像データの解析処理をする。本実施形態では、画像解析部２０４は、画像変換部２０３で変換済みの画像データの解析処理をする。具体的には、変換済みの画像データから特徴量を取得し、変換済みの画像データにおけるオブジェクト検出、顔検出、検出した顔の表情認識、検出した顔の個人認識を実行する。さらに、画像取得部２０２によって取得された変換前の画像データに付随したデータ（例えば、Ｅｘｉｆ情報）から、撮影日時情報の取得を行う。撮影日時情報として、Ｅｘｉｆ情報からの取得に限らず、画像データを作成または更新した日時の情報が用いられてもよい。また、ローカルサーバやＳＮＳサーバに画像データをアップロードまたはローカルサーバやＳＮＳサーバから画像データをダウンロードした日時の情報が用いられてもよい。これらの日時の情報も、以下では撮影日時情報として取り扱う。なお、ローカルサーバとは、ＨＤＤ１０４等の、画像処理装置１００が備える記憶領域であるものとする。

画像分類部２０５は、画像データ群に対して、撮影日時情報や枚数、検出した顔情報などのオブジェクト検出結果情報を使って後述のシーン分割、シーン分類を実行する。シーンとは、「旅行」や「日常」、「結婚式」等の撮影シーンのことである。シーンとは、例えば、一時期の撮影機会に生成された画像データの集まりであるともいえる。

画像得点部２０７は、各画像データに対して、レイアウトに適した画像データが高得点になるように得点付けをする。得点付けは、画像解析部２０４で得られた情報と、画像分類部２０５で得られた情報に応じて実行される。また、他の情報が付加的に或いは代替的に用いられてもよい。本実施形態では、画像得点部２０７は、主人公情報入力部から入力された主人公ＩＤが含まれる画像データの得点が高得点になるように、各画像データに対して得点付けをする。

ユーザ情報入力部２０６は、アルバム作成条件指定部２０１から指示された主人公のＩＤ（識別情報）を画像得点部２０７に入力する。画像得点部２０７は、ユーザ情報入力部２０６から入力された主人公ＩＤが含まれる画像データについてより高い得点を付加するように構成されている。また、ユーザ情報入力部２０６は、アルバム作成条件指定部２０１から指示された優先モードを画像得点部２０７に入力する。画像得点部２０７は、ユーザ情報入力部２０６から入力された少なくとも１つ以上のオブジェクトが含まれる画像データについてより高い得点を付加するように構成されている。

見開き入力部２０８は、アルバム作成条件指定部２０１から指定されたアルバムの見開き数を見開き割当部２０９に入力する。

見開き割当部２０９は、画像群を分割（グルーピング）して各見開きに割り当てる。見開き割当部２０９は、入力された見開き数に応じて画像群を分割して、各見開きに画像群の一部を割り当てる。

画像選択部２１０は、見開き割当部２０９で各見開きに割り当てられた画像群から、画像得点部２０７で付けた得点に基づいて、テンプレートに配置される配置画像を表す画像データを選択する。

テンプレート入力部２１１は、アルバム作成条件指定部２０１から指定されたテンプレート情報に応じた複数のテンプレートをＨＤＤ１０４から読み込み、画像レイアウト部２１２に入力する。なお、本実施形態では、複数のテンプレートは、ＨＤＤ１０４に保存されているアルバム作成アプリに保持されているものとする。また、複数のテンプレートには、例えば、テンプレート全体のサイズに関する情報や、テンプレートが備えるスロットの個数、サイズ、位置に関する情報等が含まれる。

画像レイアウト部２１２は、見開きのレイアウトを決定する。具体的には、テンプレート入力部２１１により入力された複数のテンプレートから画像選択部２１０で選択した画像データに適したテンプレートを選択し、各画像の配置位置を決定する。これにより、見開きのレイアウトが決定される。

レイアウト情報出力部２１５は、画像レイアウト部２１２が決定したレイアウトに従って、ディスプレイ１０５にレイアウト画像を表示するためのレイアウト情報を出力する。レイアウト画像は、例えば、選択されたテンプレートに画像選択部２１０により選択された画像データが表わす配置画像が配置された画像であり、レイアウト情報は、当該画像を表わすビットマップデータである。

画像補正部２１４は、覆い焼き補正（輝度補正）、赤目補正、コントラスト補正等の各補正処理を実行する。補正条件入力部２１３は、アルバム作成条件指定部２０１から指定された画像補正のＯＮ／ＯＦＦ条件を画像補正部２１４に入力する。

レイアウト情報出力部２１５から出力される画像データは、例えば図３に示すような形式でディスプレイ１０５に表示される。

本実施形態に係るアルバム作成アプリが、画像処理装置１００にインストールされると画像処理装置１００上で動作するＯＳによりディスプレイ１０５に表示されるトップ画面（デスクトップ）上に起動アイコンが生成される。そして、ユーザが起動アイコンをポインティングデバイス１０７の操作によりダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリのプログラムがＲＡＭ１０３にロードされる。そして、ＲＡＭ１０３にロードされたプログラムがＣＰＵ１０１によって実行されて、アルバム作成アプリが起動する。なお、プログラムは、ＲＯＭ１０２に記憶されていてもよい。

図３は、起動したアルバム作成アプリが提供するＵＩ構成画面３０１の一例を示す図である。ＵＩ構成画面３０１は、ディスプレイ１０５に表示される。ユーザがＵＩ構成画面３０１を介して、後述するアルバムの作成条件を設定することで、アルバム作成条件指定部２０１は、ユーザから指定される設定内容を取得する。ＵＩ構成画面３０１上のパスボックス３０２は、アルバム作成の対象となる画像・動画群のＨＤＤ１０４中の保存場所（パス）を示す。フォルダ選択ボタン３０３は、ユーザによるポインティングデバイス１０７の操作によりクリックされることより、アルバム作成の対象とする画像・動画群を含むフォルダをツリー構成でユーザが選択可能に表示する。そして、ユーザにより選択された画像・動画群を含むフォルダパスがパスボックス３０２に表示される。

主人公指定アイコン３０４は、ユーザが主人公を指定するためのアイコンであり、人物の顔画像がアイコンとして表示される。そして、ユーザ操作によって選択されたアイコンに対応する人物が、作成対象のアルバムの主人公として設定される。また、主人公指定アイコン３０４は、解析対象の画像データが表わす画像に写った人物から中心人物である主人公を特定するために用いられる。主人公指定アイコン３０４は、例えば顔データベースに登録された人物の顔画像のうち、ユーザによって選択された人物の顔画像や後述の方法で決定された人物の顔画像である。なお、主人公は図４に示す手順で自動設定されることもできる。

見開き数ボックス３０５は、ユーザからのアルバムの見開き数の設定を受け付ける。ユーザは、キーボード１０６を介して見開き数ボックス３０５に直接数字を入力するか、ポインティングデバイス１０７を用いてリストから見開き数ボックスに数字を入力する。

テンプレート指定アイコン３０６は、テンプレートのテイスト（ポップ調やシック調等）別にイラスト画像を表示する。そして、ユーザ操作によって選択されたアイコンに対応するテンプレートが、作成対象のアルバムに用いられるテンプレートとして設定される。本実施形態では、テンプレートは、画像データを配置するための画像配置枠（スロット）を有する。そして、テンプレートが有するスロットに、画像データが埋め込まれることで、１つのレイアウト画像が完成する。

モード指定部３０７は、作成対象のアルバムのモードに対応するアイコンである。なお、アルバムのモードとは、所定のオブジェクトを含む画像を優先してテンプレートにレイアウトするためのモードであり、各モードのアルバムには、各モードに応じたオブジェクトがより多く配置されることになる。本実施形態では、「人物」、「動物」、「料理」の３つのモードがある。なお、アルバムのモードは、例えば、アルバムのテーマと言い換えることができる。例えば、アルバムのモードとして「動物」が選択された場合は、動物を含む画像が優先されてテンプレートにレイアウトされる。なお、上述の３つ以外のオブジェクトが写りこんでいる画像を表わす画像データを優先してテンプレートにレイアウトするためのモードがあっても良い。また、同時に複数のモードが選択されても良い。その場合、選択された複数のモードに対応する複数のオブジェクトの少なくとも１つを含む画像を優先してテンプレートにレイアウトする。そして、選択されたアイコンに対応するモードが、作成対象のアルバムのモードとして設定される。

なお、アルバムのモードは上述の３つに限定されず、例えば、「建物」、「乗り物」、「花」等、他のモードがあっても良い。

チェックボックス３０８は、ユーザからの画像補正のＯＮ／ＯＦＦの設定を受け付ける。ＯＫボタン３０９は、設定が完了したことをユーザから受け付けるためのボタンである。ＯＫボタン３０９がユーザによって押下されると、アルバム作成条件指定部２０１は、自動レイアウト処理部に、画面３０１上で設定されている各設定情報を、各設定情報に対応する各モジュールに出力する。

リセットボタン３１０は、ＵＩ構成画面３０１上の各設定情報をリセットするためのボタンである。

なお、ＵＩ構成画面３０１上では、上述した設定以外の設定を実行可能であっても良い。例えば、動画に関する設定や、画像・動画データの取得先の設定等を実行可能であっても良い。

サーバ名ボックスは、アルバム作成に利用される画像群を含むサーバ名やＳＮＳ名を示す。ログイン画面を介したユーザの操作により、指定されたサーバやＳＮＳへのログインが完了すると、ＣＰＵ１０１は、指定されたサーバやＳＮＳからの画像データの取得が可能となる。

動画使用チェックボックスは、パスボックス３０２に指定のフォルダや、サーバ名ボックスに指定のサーバやＳＮＳ上にある動画をアルバム作成に利用するか否かの設定をユーザから受け付ける。

対象期間ボックスは、アルバム作成の対象となる画像群や動画群の撮影日時期間の条件の設定をユーザから受け付ける。

図４は、アルバム作成アプリの自動レイアウト処理部の処理を示すフローチャートである。図４に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。図４を参照しながら、自動レイアウト処理を説明する。

Ｓ４０１では、ＣＰＵ１０１は、画像取得部２０２によって取得される画像データを画像変換部２０３により解析することで、解析画像データを生成する。具体的には、ＣＰＵ１０１は、画像変換部２０３により、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４の画像データ群の各画像データを所望の画素数と色情報の解析画像データに変換する。なお、画像取得部２０２によって取得される画像データとは、ＣＰＵ１０１が、画像取得部２０２によってパスボックス３０２に指定されたフォルダやサーバやＳＮＳから取得した静止画と動画に対応するデータである。

Ｓ４０２では、ＣＰＵ１０１は、画像解析部２０４により、解析画像データ（Ｓ４０１で取得・解析した画像データ）から特徴量を取得する。例えば、ＣＰＵ１０１は、ＨＤＤ１０４から取得した各画像データに付随する、Ｅｘｉｆ情報から撮影日時を取得する。特徴量は、例えば、ピントである。

Ｓ４０３では、ＣＰＵ１０１は、画像解析部２０４により、Ｓ４０１で生成された解析画像データに対して、顔検出を実行する。ＣＰＵ１０１は、顔画像を抽出するとともに、検出した顔画像の位置の左上座標値と右下座標値を取得する。この２種の座標を持つことにより、ＣＰＵ１０１は、顔画像の位置と顔画像のサイズを取得可能である。ここで、顔に限らず、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトを顔の代わりの検出対象としてＡｄａｂｏｏｓｔにより強識別器を作成しても良い。これにより、ＣＰＵ１０１は、顔画像以外のオブジェクトを検出することができる。

Ｓ４０４では、ＣＰＵ１０１は、画像解析部２０４により、個人認識を行う。ＣＰＵ１０１は、各代表顔画像と抽出した顔画像との類似度を判定し、類似度が閾値以上で類似度が最も高い代表顔画像のＩＤを、検出した顔画像のＩＤとする。尚、顔辞書データベースに頬損されている全ての代表顔画像との類似度が閾値未満の場合、ＣＰＵ１０１は、抽出した顔画像を新規の個人ＩＤとして顔辞書データベースに登録する。

Ｓ４０５では、ＣＰＵ１０１は、画像解析部２０４により、Ｓ４０１で生成された解析画像データに対して、当該画像データによって表される画像に含まれるオブジェクトを認識するための処理であるオブジェクト認識処理を実行する。ここで、オブジェクト認識の処理には、公知の方法を用いることができる。本実施形態では、ＤｅｅｐＬｅａｒｎｉｎｇにより作成した判別器によりオブジェクトが認識される。画像解析部２０４は、オブジェクト画像を認識することで、犬や猫などのペット、花、食べ物、建物、置物などのオブジェクトの種類を取得可能となる。

ＣＰＵ１０１は、Ｓ４０２〜Ｓ４０５で取得した画像解析情報を、図５に示すように、各画像を識別するＩＤ毎に区別して、ＲＯＭ１０２等の記憶領域に記憶する。例えば、図５に示すように、Ｓ４０２で取得された撮影日時情報とピント判別結果、Ｓ４０３で検出された顔画像の数と位置情報と、Ｓ４０５で検出されたオブジェクトがテーブル形式で記憶される。尚、顔画像の位置情報は、Ｓ４０４で取得された個人ＩＤ毎に区別して記憶される。

Ｓ４０６では、ＣＰＵ１０１は、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４の画像データ群の全画像データに対してＳ４０１〜Ｓ４０５の処理が終了したか否かを判定する。ここで、ＣＰＵ１０１は、終了していないと判定された場合、Ｓ４０１からの処理を繰り返し、終了していると判定された場合、処理はＳ４０７に進む。

Ｓ４０７では、ＣＰＵ１０１は、画像分類部２０５により、シーン分割を実行する。シーン分割とは、条件指定部２０１で指定された画像群の全画像を、シーン毎に分割して、複数の画像群として管理することを指す。なお、以下の説明において、全画像データ（メイン画像群）が分割されて得られる各画像群を、サブ画像群と言う。

撮像画像データのグループ分けの一例を図６（Ａ）に示す。図６（Ａ）〜（Ｃ）において横軸は撮像日時（左側に向かうほど古く、右側に向かうほど新しい）、縦軸は撮像画像データの数を示す。図６（Ａ）では、撮像画像データ群をグループ６０１〜６０８の８個のサブ画像群（グループ）に分割している。図６（Ａ）において矢印はグループの境界を示している。

Ｓ４０８では、ＣＰＵ１０１は、画像分類部２０５により、シーン分類を実行する。具体的には、ＣＰＵ１０１は、Ｓ４０７でシーン分割された分割画像群をシーンの種類毎に得点化して、一番得点が高いシーンに、当該分割画像群を分類する。なお、以下の説明において、Ｓ４０８における得点化をシーン分類得点化という。本実施形態では、画像分類部２０５は、例えば、シーン分割された分割分の画像データを、「旅行」、「日常」、「セレモニー」のうちのいずれかのシーンに分類する。なお、図４の自動レイアウト処理部が開始される前に、予め、ユーザは、「旅行」、「日常」、「セレモニー」のシーンであると判断した複数の画像データをそれぞれ集めて指定してシーン分類テーブルを作成している。シーン分類テーブルとは、シーンの各種類に対応する特徴量の情報が格納されたテーブルであり、シーン分類得点化に利用される。

本実施形態では、シーン分類テーブルとして、図７に示すテーブル７００が利用されるものとする。テーブル７００では、シーンＩＤ７０１に対応付けて、撮影期間７０２、撮影枚数７０３、撮影人数７０４それぞれの平均値と標準偏差とが登録されている。

Ｓ４０９では、Ｓ４０７で分割された全分割画像データ群（本説明においては、図６（Ａ）の分割されたそれぞれのシーンに対応した分割画像データ群）に対してＳ４０８のシーン分類が終了したか否かが判定される。ＣＰＵ１０１は、終了していないと判定された場合、処理が済んでいない新たな分割画像データ群に着目してＳ４０８からの処理を繰り返す。また、ＣＰＵ１０１は、終了していると判定された場合、処理はＳ４１０に進む。

Ｓ４１０では、ＣＰＵ１０１は、画像得点部２０７により、主人公設定を実行する。主人公設定は、ユーザが指定した画像データ群に対して実行され、自動と手動の２種類の設定方法のいずれかにより行われる。

Ｓ４１１では、ＣＰＵ１０１は、画像得点部２０７により、優先モード設定を実行する。本実施形態において、アルバムはいずれかのモードに基づいて作成される。そして、アルバム作成に用いられるモードとして、それぞれのオブジェクト種類に対応する複数のモード（例えば、「人物」モード、「動物」モード等）がある。優先モード設定とは、いずれのモードを用いるかを設定する処理である。アルバムのモードは、ユーザが手動で設定しても良いし、画像取得部２０２によって取得される画像データの特徴に基づいて自動で設定されても良い。

Ｓ４１２では、ＣＰＵ１０１は、画像得点部２０７により、画像得点化を実行する。画像得点化とは、画像データ毎に後述の観点で評価した得点を付与する（スコアリング）ことであり、後述の、レイアウトに用いられる画像データの選択時に参照される。

図１０は、画像データのレイアウトに使うテンプレート群を示す図である。テンプレート群に含まれている複数のテンプレートのそれぞれが、各見開きに対応している。テンプレート１００１は１枚のテンプレートであり、メインスロット１００２はメインスロットを示し、サブスロット１００３と１００４はサブスロットを示す。メインスロット１００２は、テンプレート１００１内でメインとなるスロット（画像をレイアウト（配置）する枠）であり、サブスロット１００３と１００４よりもサイズが大きい。なお、１枚のテンプレートには、それぞれ同一の種類のシーンに分類された画像データがレイアウトされる。Ｓ４１０では、ＣＰＵ１０１は、画像得点化処理として、画像データが属する種類のシーンに対応するメインスロット用の得点とサブスロット用の得点の両方を画像データに付与する処理を行う。

画像得点化においては、メインスロットとサブスロットとに採用されるべき画像の特徴量の情報がシーンの種類毎に格納されたスロット特徴テーブルが利用される。図８（Ａ）は、「旅行」、「日常」、「セレモニー」の各種類のシーンに対応したテンプレートのメインスロットとサブスロットに採用される画像データの特徴について示した図である。これにより、メインスロット用とサブスロット用の両方に関する得点化が画像データについて実行される。

本実施形態では、更に、ＣＰＵ１０１は、上述のようにして算出された得点に対して、アルバム作成条件指定部２０１で指定されたモードに基づいて、点数を加算する。

なお、ＣＰＵ１０１は、画像得点化を、ユーザが指定した画像データ群における各画像データについて行う。画像得点化によって付加された得点が後段のＳ４２３での画像選択処理における選択基準となる。これによりＣＰＵ１０１は後述の画像選択処理において、Ｓ４１１で設定されたアルバムのモードに対応するカテゴリのオブジェクトが含まれる画像を表わす画像データを、当該オブジェクトが含まれない画像を表わす画像データより優先して選択する。

図８（Ｂ）は、レイアウト得点化による得点結果の一例を示している。例えば、画像ＩＤ１は、メインスロット用として２０点が付与され、画像ＩＤ２は、メインスロット用として４５点が付与されている。これは、つまり、メインスロット用としては、画像ＩＤ２の方がユーザの判断基準により近いということを表している。

Ｓ４１３では、ＣＰＵ１０１は、画像得点部２０７により、ユーザ指定の画像データ群の全ての画像データに対してレイアウト得点化が終了したか否かを判定する。ＣＰＵ１０１は、終了していないと判定された場合、未処理の次の画像について着目し、Ｓ４１３からの処理を繰り返す。ＣＰＵ１０１は、終了していると判定された場合、Ｓ４１４に進む。

本実施形態では、ＣＰＵ１０１は、画像レイアウト部２１２により、複数のシーンのそれぞれに含まれる画像データを、当該複数のシーンのそれぞれに対応する複数のテンプレート（複数の見開き）のそれぞれにレイアウトする。そのため、複数のシーンの数と、複数のテンプレートの数（所定数の見開き数）が一致する必要がある。

そこでＳ４１４では、ＣＰＵ１０１は、見開き割当部２０９により、Ｓ４０７でのシーン分割の分割数が見開き数入力部２０８から入力されるアルバムの見開き数と同じであるか否かを判定する。ＣＰＵ１０１は、同じでないと判定された場合、Ｓ４１５に進み、同じであると判定された場合、Ｓ４１８に進む。

Ｓ４１５では、ＣＰＵ１０１は、見開き割当部２０９により、Ｓ４０６でのシーン分割の分割数が見開き数入力部２０８から入力される見開き数（アルバムに使用されるテンプレート数）より少ないか否かを判定する。ＣＰＵ１０１は、少なくない（多い）と判定された場合、Ｓ４１７に進み、少ないと判定された場合、Ｓ４１６に進む。例えば、ＣＰＵ１０１は、図６（Ａ）に示すようにシーン分割数が８であり、見開き数入力部２０８の入力数が１０である場合、Ｓ４１６に進む。

Ｓ４１６では、ＣＰＵ１０１は、見開き割当部２０９により、サブシーン分割を実行する。サブシーン分割とは、シーン分割数＜アルバムの見開き数の場合に、分割されたシーンを更に細分割することを表す。図６（Ａ）のようにシーン分割数８であり、それに対して指定されたアルバムの見開き数が１０である場合について説明する。図６（Ｂ）は、図６（Ａ）をサブシーン分割した結果を示す。ここでは、分割の間隔をより細かく設定し、破線矢印の箇所で分割したことで、分割数を１０にしている。

分割の基準について説明する。図６（Ａ）の分割の中で、画像データ数が多い分割箇所が検索される。ここでは、分割数を８から１０に２箇所増やすために、画像データ数が多い２箇所を決定する。即ち、再分割すべきシーンを、最も多くの画像データを含む分割画像データ群に対応するシーンから順に指定する。画像データ数が同数の分割画像データ群に対応するシーンについては、対応する分割画像データ群に含まれる画像データ間の撮影日時の差の最大値が大きい方のシーンを選択する。それでも選択できない場合には、例えばより早い時間に生成された画像データを含む分割画像データ群に対応するシーンを優先的に再分割してもよい。

図６（Ａ）では、対応する分割画像データ群に含まれる画像データの数が多いシーンは、多い方から順にシーン５、シーン１、シーン２である。シーン１と２は同じデータ数だが、シーン２の方が、対応する分割画像データ群において最初に生成された画像データから最後に生成された画像データの時間差が大きい為、シーン２を分割対象とする。即ち、図６（Ａ）では、シーン５とシーン２をそれぞれ分割する。

まず、シーン２の分割を説明する。シーン２には画像データの山が２つあり、この２つの山に含まれる画像データは、山ごとに撮影日が違う。そこで、撮影日が切り替わる部分に対応する図６（Ｂ）の破線矢印の箇所で分割する。次に、シーン５の分割を説明する。シーン５には画像データの山が３つあり、シーン２と同様に、この３つの山に含まれる画像データは、山ごとに撮影日が違う。シーン５では、撮影日が変わる箇所が２箇所あるが、この場合、分割後のデータ数差が小さくなるように、撮影日単位で分割する。即ち、ここでは図６（Ｂ）の破線矢印の箇所で分割する。以上のように、分割数すなわちシーン数を８から１０にする。具体的にいえば、シーンの再分割では、選択したシーンに撮影日の異なる画像データが含まれていれば、撮影日の相違するそれぞれの画像データ群を新たなシーンとするよう分割される。そして、撮影日が３日以上にわたるならば、分割された各シーンに含まれる画像データの数の差が最小になり、且つ同一撮影日の画像が同一シーンに含まれるよう分割される。なお、ここでは撮影日の違う箇所で分割する例を説明したが、分割対象のシーンにおける画像データの撮影日が単一日であった場合は、単一日の中で撮影時刻の時間差が最大となる箇所で分割する。また、ここでは、撮影日が切り替わる箇所で分割したが、画像データ枚数が多い箇所が単一日である場合、単一日の中で時間差が最大の箇所で分割するようにしても良い。以上の手順によって見開き数にシーン数を一致させる。なお、分割により生成されたシーンについては、改めて分類してもよいし、分割前のシーンの分類を引き継いでもよい。

Ｓ４１７では、ＣＰＵ１０１は、見開き割当部２０９により、シーン統合を実行する。シーン統合とは、シーン分割数＞アルバムの見開き数の場合、分割されたシーンを統合することを表す。ここでは、図６（Ａ）のようにシーン分割数が８であり、それに対して指定見開き数が６の場合を例として説明する。図６（Ｃ）は、図６（Ａ）をシーン統合した結果を示す。破線の箇所の前後のシーンを統合したことで、分割数を６にしている。

統合の基準について説明する。まず、ＣＰＵ１０１は、分割された各シーンの中で、画像データ数が少ないシーンを検出する。ここでは、シーン数を８から６に減らすために、画像データ数が少ない２つのシーンを検出する。図６（Ａ）では、対応する分割画像データ群に含まれる画像データの数が多いシーンは、少ない方からシーン８、シーン３、シーン７である。シーン３とシーン７は同じ枚数である。

次に、ＣＰＵ１０１は、対応する分割画像データ群に含まれる画像データ数が最も少ないシーン８を統合対象とする。次に、シーン３とシーン７は、対応する分割画像データ群に含まれる画像データ数は同じであるので、いずれを統合対象とするか選択する。ここでは、シーン７に隣接するシーン８が統合対象であるので（シーン７とシーン８は統合されるため）、シーン３を統合対象とする。

次に、ＣＰＵ１０１は、統合対象のサブ画像データ群を、対応する分割画像データ群に含まれる画像データの撮影日時が前のシーンに統合するか、撮影日時が後のシーンに統合するかを決定する。このとき、ＣＰＵ１０１は、統合対象のシーンと隣接する２つのシーンのうち、対応する分割画像データ群に含まれる画像データの撮影日時の時間差が小さい方のシーンを統合の相手とする。そのため、図６（Ａ）では、シーン３について、それに隣接するシーン２、４のいずれかを統合の相手とする。ここで、シーン３とその前後のシーン２と４それぞれとの、対応する分割画像データ群に含まれる画像の撮影日時の時間差を比較すると、シーン３とシーン４との時間差の方が小さい。そのため、ＣＰＵ１０１は、シーン３をシーン４に統合すると決定する。即ち、ここでは図６（Ｃ）の破線の箇所で統合する。

ＣＰＵ１０１は、シーン８のように隣接するシーンが１つしかない場合には、唯一の隣接シーンを統合の相手とする。

こうして図６（Ｃ）の破線箇所の前後のシーンでシーン統合する。なお、シーン統合は、例えばシーンに含まれる画像ファイルを示す情報を、統合後のシーンに応じて更新することを含む。具体的には、ＣＰＵ１０１は、シーン数と見開き数が一致するように、シーン統合をする。ここでは、図６（Ａ）のようにシーン分割数が８であり、それに対して指定見開き数が６の場合を例として説明する。図６（Ｃ）は図６（Ａ）をシーン統合した結果である。破線の箇所の前後のシーンを統合したことで、分割数を６にしている。

Ｓ４１８では、ＣＰＵ１０１は、見開き割当部２０９により、見開き割当を実行する。Ｓ４１４〜Ｓ４１７によって、シーン分割数と指定見開き数は同じとなっている。ＣＰＵ１０１は、撮影日時順に先頭の分割データ群から見開きの先頭に順に割り当てる。すなわち、撮影日時順にサブ画像群をアルバムの各見開きのページに割当てる。これにより、撮影日時順にサブ画像群が並んだアルバムを作成することができる。

Ｓ４１９では、ＣＰＵ１０１は、画像選択部２１０により、画像選択を実行する。以下、ある見開きに割り当てられた画像データ群の分割分から画像データを４枚選択する例を、図９を参照しながら説明する。なお、見開きとは、２ページ分の領域であるが、最初の見開き及び最後の見開きは、１ページ分の領域となる。

図９（Ａ）は見開きに割り当てられた分割画像データ群のうち、撮影日時が一番早い画像データと一番遅い画像データとの撮影日時の時間差（分割撮影期間）、言い換えれば、分割画像データ群の撮影期間を示している。なお、ここでは、画像データの選択を、メインスロット、サブスロットの順で行う。ここでは、見開きに対応するテンプレートには１枚のメインスロット１００２が含まれるものとする。そのため、１枚目に選択される画像データは、メインスロット用の画像データである。ＣＰＵ１０１は、メインスロット用の画像データとして、図９（Ｂ）に示す分割撮影期間に対応する画像データのうち、Ｓ４１６で付加したメインスロット用の得点が最高点の画像データ（１）を選択する。

２枚目以降に選択される画像データは、サブスロット用の画像データである。２枚目以降の画像データの選択は分割撮影期間の一部に集中しないように、以下説明するような方法により行われる。まず、ＣＰＵ１０１は、図９（Ｃ）に示すように、分割撮影期間を２分割する。次にＣＰＵ１０１は、図９（Ｄ）に示すように、１枚目の画像データが選ばれていない分割撮影期間（図中、実線で示している期間）に生成された画像データから２枚目の画像データを選択する。なお、２枚目の画像データとしては、１枚目の画像データが選ばれていない分割撮影期間に生成された画像データのうちサブスロット用の得点が最高点の画像データ（２）を選択する。次にＣＰＵ１０１は、図９（Ｅ）に示すように図９（Ｄ）に示す各分割撮影期間を２分割する。そして、ＣＰＵ１０１は、図９（Ｆ）に示すように１枚目の画像データと２枚目の画像データがいずれも選ばれていない分割撮影期間（図中、実線で示している期間）に生成された画像データから３枚目の画像データを選択する。なお、３枚目の画像データとしては、１枚目の画像データと２枚目の画像データがいずれも選ばれていない分割撮影期間に生成された画像データのうちサブスロット用の得点が最高点の画像データ（３）を選択する。そして、４枚目の画像データとしては、１枚目、２枚目及び３枚目の画像データがいずれも選ばれていない分割撮影期間に生成された画像データのうちサブスロット用の得点が最高点の画像データを選択する。

次に、１枚目、２枚目及び３枚目の画像データがいずれも選ばれていない分割撮影期間に生成された画像が存在せず、当該分割撮影期間に生成された画像データから４枚目の画像データを選択できない例を説明する。ここで、図９（Ｇ）に示すように、まだ画像データが選ばれていない分割撮影期間（図中、斜線で示している期間）に生成された画像データは存在しないものとする。その場合、ＣＰＵ１０１は、図９（Ｈ）に示すように各分割撮影期間をさらに２分割する。次にＣＰＵ１０１は、図９（Ｉ）に示すように、期間内に生成された画像データがないと認識された分割撮影期間以外で、且つ未だ画像データが選ばれていない分割撮影期間（図中、実線で示している期間）に生成された画像から４枚目の画像データを選択する。なお、ＣＰＵ１０１は、４枚目の画像データとしては、当該分割撮影期間に生成された画像データのうちサブスロット用の最高点の画像データ（４）を選択する。

再び、図４を参照する。Ｓ４２０では、ＣＰＵ１０１は、画像レイアウト部２１２により、画像レイアウトの決定を行う。以下、指定されたテンプレート情報の内容が、スロット数が３であることを示すことから、当該テンプレート情報に対応する図１０の（ａ）〜（ｐ）のテンプレートが用いられる例を説明する。

まず、ＣＰＵ１０１は、アルバム作成条件指定部２０１から指定されたテンプレート情報に応じた複数のテンプレート（図１０の（ａ）〜（ｐ））を取得する。次に、ＣＰＵ１０１は、画像レイアウト部２１２により、処理対象の見開きの画像レイアウトを決定する。このときまずＣＰＵ１０１は、取得された複数のテンプレートの中から、Ｓ４１９で選択された画像データに適したテンプレートを決定する。

本実施形態では、テンプレートのより左上のスロットに撮影日時がより古い画像データ、より右下のスロットに撮影日時がより新しい画像データをレイアウトするものとする。そのため、まずＣＰＵ１０１は、図１０の（ａ）〜（ｐ）のテンプレートのうち、メインスロットの位置が、メイン画像を表わす画像データの撮影日時の順番に対応するテンプレートを選択する。すなわち、例えば、メイン画像を表わす画像データの撮影日時順が３番目であった場合には、メインスロットが、全スロットのうち左から３番目のスロットであるテンプレートが選択される。なお、予め画像データが撮影日時順にソートされているため、ＣＰＵ１０１は、メイン画像を表わす画像データの撮影日時の順番を把握することができる。また、ＣＰＵ１０１は、このようにして選択したテンプレートのうち、メイン画像が配置されるスロットのアスペクト比が、メイン画像のアスペクト比と一致する（又は近い）テンプレートを最終的に選択する。

ＣＰＵ１０１は、図１０の（ａ）〜（ｐ）のテンプレートのうち、サブ画像に適したテンプレートを選択する。ＣＰＵ１０１は、具体的にはまず、サブスロットの位置が、サブ画像を表わす画像データの撮影日時の順番に対応するテンプレートを選択する。また、ＣＰＵ１０１は、このようにして選択したテンプレートのうち、サブスロットのアスペクト比が、サブ画像のアスペクト比と一致する（又は近い）テンプレートを最終的に選択する。

なお、ここでは、３枚の各画像データが表わす各画像の撮影日時は図１０（Ａ）に示すような順番であったとする。また、ここでは、画像１００５がメインスロット用の画像（メイン画像）であり、画像１００６と画像１００７がサブスロット用の画像（サブ画像）とする。

上述したように、本実施形態では、テンプレートのより左上のスロットに撮影日時がより古い画像データ、より右下のスロットに撮影日時がより新しい画像データをレイアウトするものとする。そして、メイン画像である画像１００５は、撮影日時が一番新しく、且つ縦長の画像であるため、ここでは図１０（３−１）〜（３−４）のテンプレートが選択される。

そして、サブ画像である画像１００６は、撮影日時が一番古く、且つ縦長の画像である。また、サブ画像である画像１００７は、撮影日時が２番目に新しく、且つ横長の画像である。そのため、図１０（３−２）のテンプレートが選択される。なお、このとき、どのサブスロットにどのサブ画像が配置されるかも特定される。

このようにして、Ｓ４２５では、ＣＰＵ１０１は、レイアウト画像の作成に用いるテンプレートと、テンプレートのいずれのスロットにいずれの画像をレイアウトするかを決定する。具体的には、ＣＰＵ１０１は、選択したテンプレートに含まれる各スロットの情報と、各スロットにレイアウトされる画像に対応する画像データと、を紐づけて管理する。

Ｓ４２１では、ＣＰＵ１０１は、画像補正部２１４により、画像補正を実行する。画像補正として、例えば、覆い焼き補正（輝度補正）、赤目補正、コントラスト補正が実行される。

Ｓ４２２では、ＣＰＵ１０１は、レイアウト情報出力部２１５により、レイアウト情報を作成する。具体的には、ＣＰＵ１０１は、Ｓ４２０で選択されたテンプレートの各スロットに、Ｓ４２１の画像補正が実行された、各スロットに対応する画像データを紐づけて管理する。そして、ＣＰＵ１０１は、テンプレートに画像をレイアウトしたビットマップデータを生成する。このとき、ＣＰＵ１０１は、スロットのサイズ情報に合わせてレイアウトする画像を変倍又は等倍してレイアウトする。

Ｓ４２３では、Ｓ４１９〜Ｓ４２２の処理が全ての見開きに対して終了したか否かが判定される。終了していないと判定された場合、Ｓ４１９からの処理を繰り返す。終了していると判定された場合、図４の自動レイアウト処理は終了する。

自動レイアウト処理が終了されると、ＣＰＵ１０１は、作成したレイアウト情報に基づき、テンプレートに画像が配置されたレイアウト画像をディスプレイ１０５に表示する。なお、このとき、ＣＰＵ１０１は、１つのアルバムを作成するための複数のレイアウト画像を表示しても良い。また、ＣＰＵ１０１は、作成したレイアウト情報を画像形成装置２００等のプリンタに送信し、レイアウト画像を印刷しても良い。レイアウト画像が印刷されることにより、アルバムが作成される。

なお、上述の自動レイアウト処理では、アルバム作成アプリによって自動で（ユーザから選択指示を受け付けることなく）テンプレートや画像データが選択されて、レイアウト画像が生成されていた。しかし、レイアウト情報によって表わされる画像は、テンプレート及び画像データによって表わされる画像が含まれるものに限られない。これは、本実施形態ではレイアウト情報は、アルバムを作成するために用いられるものだが、アルバムには例えば、見返しや遊び紙、扉、奥付と呼ばれる、画像データによって表わされる画像が一般に印刷されない領域も含まれるためである。本実施形態ではレイアウト情報は、見返しや遊び紙、扉、奥付に対応する画像をも表わす。これらの画像を表わすためのデータは、上述のような自動レイアウト処理によっては生成されないため、予め見返しや遊び紙、扉、奥付に対応する画像用として作成されたデータが、レイアウト情報にいずれかのタイミングで含まれるものとする。

なお、本実施形態において、自動レイアウト処理の詳細は上述の形態に限定されない。例えば、アルバムに使用されるテンプレートの選択や、テンプレートに配置される画像を表わす画像データの選択の方法は、上述の形態に限定されない。少なくとも、アルバムに使用されるテンプレートの選択や、テンプレートに配置される画像を表わす画像データの選択等をユーザが実行せずに、レイアウト情報が作成される形態であれば良い。

＜アルバムの編集＞
ＣＰＵ１０１は、上述のようにしてレイアウト情報を作成した後、作成したレイアウト情報によって表わされるアルバムの編集を受け付けるための画面を表示する。なお、この画面においては、ユーザは、自動レイアウト処理によって作成されたレイアウト情報によって表わされるアルバムの内容を確認することができる。以後このような画面を編集画面という。本実施形態では、編集画面には、作成したレイアウト情報によって表わされるアルバムが有する複数の見開きのうち１つが拡大表示され、ユーザ操作に応じて、表示される見開きが切り替えられる。

そして、ユーザは、編集画面において、自動レイアウト処理によって作成されたレイアウト情報によって表わされるアルバムのテンプレートを変更することが可能である。テンプレートを変更して、再度自動レイアウト処理を実行する処理を、テンプレート変更処理という。

図１２は、アルバム作成アプリが提供する編集画面１２０１の一例を示す図である。編集画面１２０１は、ディスプレイ１０５に表示される。

見開き指定エリア１２０２は、ユーザによって行われるポインティングデバイス１０７でのクリック操作により、レイアウト結果表示エリア１２０３に表示する見開きの指定を受け付けるための領域である。ここでは、自動レイアウトによって作成されるアルバムには８つの見開きが含まれるものとし、それぞれの見開きに対応した見開き画像が見開き指定エリア１２０２に表示されている。

レイアウト結果表示エリア１２０３は、見開き指定エリア１２０２を介してユーザから指定された見開き（編集対象見開き）に対応するレイアウト結果を拡大表示する。なおレイアウト結果表示エリア１２０３には、見開き単位でなく、ページ単位でアルバムが表示されても良い。また、自動レイアウト処理が終了した直後に表示されるレイアウト結果表示エリア１２０３において表示される見開きは特に限定されず、例えば、複数の見開きのうち一番初めの（見開き番号が一番若い）見開きであっても良いし、重要度が一番高い見開きであっても良い。本実施形態では、自動レイアウト処理が終了した直後に表示されるレイアウト結果表示エリア１２０３において表示される見開きは、複数の見開きのうち一番初めの見開き（見開き名が「表紙」である見開き）であるものとする。

テンプレート変更ボタン１２０４は、編集対象見開きに対応するレイアウト画像に用いられているテンプレートを変更して、新たにレイアウト画像をユーザに提示するためのボタンである。ＣＰＵ１０１は、ユーザによって行われるポインティングデバイス１０７でのクリック操作により、テンプレート変更ボタン１２０４の押下を受け付けることで、テンプレートの変更の指示を受け付ける。テンプレート変更ボタン１２０４が押下されると、テンプレート変更処理が実行され、レイアウト結果表示エリア１２０３に表示されている見開きのレイアウト画像が変更される。具体的には、テンプレート変更ボタン１２０４が押下された特に表示されているレイアウト画像に用いられたテンプレートとは異なるテンプレートが用いられて、新たに作成されたレイアウト画像が表示される。なお、本実施形態では、スロットに配置される画像は、変更前のレイアウト画像と変更後のレイアウト画像とで同一のものが用いられるものとする。テンプレートが変更される手順の詳細については後述する。また、本実施形態では、テンプレート変更ボタン１２０４の押下により、レイアウト結果表示エリア１２０３に表示されている見開きのレイアウト画像のみが変更される形態としたが、この形態に限定されない。例えば、複数のレイアウト画像が一括で変更される形態としても良い。

ＯＫボタン１２０５は、テンプレート変更処理が行われたことによりレイアウト結果表示エリア１２０３に表示されたレイアウト画像を、編集対象見開きとして特定されている見開きに対応する印刷対象のレイアウト画像として特定するためのボタンである。ユーザは、テンプレート変更処理によって新たに表示されたレイアウト画像が気に入った場合は、ＯＫボタン１２０５を押下する。

リセットボタン１２０６は、レイアウト結果表示エリア１２０３に表示されている画像を、テンプレート変更処理が行われて表示された新しいレイアウト画像から、当該レイアウト画像が表示される前に表示されていたレイアウト画像に戻すためのボタンである。なお、本実施形態では、リセットボタン１２０６が押下されたら、レイアウト結果表示エリア１２０３に表示されている画像は、編集対象見開きとして特定されている見開きに対応する印刷対象のレイアウト画像に戻るものとする。

カートに入れるボタン１２０７は、自動レイアウトによって作成されたアルバムを注文するためのボタンである。カートに入れるボタン１２０７が押下された後に所定の注文操作がユーザによって実行されることで、このときの設定のレイアウト情報が外部サーバ４００に送信され（アップロード）、当該レイアウト情報に基づいてアルバムが作成されることになる。そのため、ユーザは、テンプレート変更処理等の操作によって任意にアルバムのレイアウト情報を編集した後、カートに入れるボタン１２０７を押下する。

ここで、本発明の課題について説明する。ユーザは、図４に示すフローチャートの自動レイアウト処理によって生成されたレイアウト画像に用いられたテンプレートが気に入らない場合や、他のテンプレートによるレイアウト画像を見たい場合、テンプレート変更処理を行う。このとき、例えば、複数の他のテンプレートをそれぞれ用いた複数のレイアウト画像を提示して、変更後のレイアウト画像をユーザに選択させる形態では、適切な（満足度の高い）レイアウト画像を探す手間をユーザが要するという課題が生じる。また、テンプレート変更処理の指示がユーザから受け付けられる毎に、変更後のレイアウト画像を１枚ずつ提示するとする。この形態において、優先的に提示されるレイアウト画像がユーザ満足度の低い可能性が高いレイアウト画像であれば、やはり、満足度の高いレイアウト画像を探す手間をユーザが要するという課題が生じる。

そこで、本実施形態では、テンプレート変更処理の指示がユーザから受け付けられた場合、ユーザ満足度の高い可能性が高いレイアウト画像を優先的にユーザに提示する。具体的には、本実施形態では、テンプレート変更処理の対象となるレイアウト画像に用いられているテンプレートとの類似度が低いテンプレートが用いられたレイアウト画像を優先的にユーザに提示する。

以下、テンプレート変更処理の詳細について説明する。図１１は、本実施形態における、編集画面１２０１が表示されている状態で実行される処理を示すフローチャートである。図４に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に格納されたアルバム作成アプリに対応するプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。

Ｓ１１０１では、ＣＰＵ１０１は、見開き指定エリア１２０２に表示された見開きから編集対象となる見開きを指定するための操作をユーザから受け付ける。

Ｓ１１０２では、ＣＰＵ１０１は、受け付けられた操作によって選択された見開きを、編集対象見開きとして特定し、編集対象見開きに対応するレイアウト画像（変更前レイアウト画像）に用いられているテンプレートを特定する。

Ｓ１１０３では、ＣＰＵ１０１は、編集対象見開きに対応するレイアウト画像に対してテンプレート変更処理が行われる場合に用いられるテンプレート（変更候補テンプレート）を特定する。本実施形態では具体的には、ＣＰＵ１０１は、編集対象見開きに対応するレイアウト画像に用いられたテンプレートと、スロットのアスペクト比という要素において類似度の低いテンプレートを、変更候補テンプレートとして特定する。

本実施形態では、スロット数の要素において類似度の高いテンプレート群である、図１０（ａ）〜（ｐ）に示したテンプレート群から、スロットのアスペクト比という要素において類似度の低いテンプレートが特定される。図１０（ａ）〜（ｐ）に示した各テンプレートのスロットには、左から順に番号が割り振られており、本実施形態においてスロットのアスペクト比の要素における類似度は、同一の番号のスロット同士が比較されて算出される。

図１３（Ａ）は、図１０（ａ）〜（ｐ）に示したテンプレートに関するテンプレート間の類似度に関する値を示すテーブルである。本テーブルは、縦列に示すテンプレートに対する横列に示すテンプレートの類似度に関する値を示している。なお、類似度に関する値が小さいほど両テンプレートの類似度が高い（より類似している）ことが示される。

編集対象見開きに対応するレイアウト画像に用いられたテンプレートに対する他のテンプレートの類似度に関する値の計算方法について述べる。まず、各テンプレートの、類似度の比較対象となる要素（ここでは、スロットのアスペクト比）をベクトルとして示す。こうして示された各ベクトル間の距離が、各テンプレートの類似度に関する値となる。

ここでは、テンプレート（ｘ）の、番号ｎのスロットのアスペクト比をＡＲｘ （ｎ）として示すものとする。その場合、スロット数がｍのテンプレートの、スロットのアスペクト比を要素としたベクトルは、以下のように示される。

また、テンプレート（ｘ）が表すベクトルとテンプレート（ｙ）が表すベクトルとの間の距離ｄは、以下のように示される。

なお例えば、あるスロットの高さが４、幅が３である場合、当該スロットのアスペクト比は、４／３となる。そこで、図１０に示すテンプレート（ａ）が表すベクトルは、以下のように示される。

また、テンプレート（ｂ）が表すベクトルは、以下のように示される。

さらに、テンプレート（ａ）が表すベクトルと、テンプレート（ｂ）が表すベクトル間の距離ｄは、以下の式によって算出される。

このようにして、各テンプレート間の類似度に関する値が算出された結果が、図１３（Ａ）に示すテーブルである。このテーブルを参照して、ＣＰＵ１０１は、編集対象見開きに対応するレイアウト画像に用いられたテンプレートとの類似度が低い（類似度に関する値が大きい）テンプレートを、変更候補テンプレートとして特定する。変更候補テンプレートの数は、特に限定されないが、本実施形態では４つであるものとする。

具体的には例えば、変更前のレイアウト画像に用いられたテンプレートがテンプレート（ａ）である場合は、上記テーブルにおけるテンプレート（ａ）に対応する行が参照される。そして、図１３（ｂ）に示すように、類似度に関する値が低い順で列が並び替えられる。このようにして並び替えられたあと、類似度に関する値が低い４つのテンプレートが、変更候補テンプレートとして特定される。

なお、上述では、各テンプレートの全ての組み合わせにおける類似度に関する値が求められる形態としたが、この形態に限定されない。例えば、編集対象見開きに対応するレイアウト画像に用いられたテンプレートに対する、他のテンプレートの類似度に関する値が求められる形態であっても良い。また、アルバム作成アプリが計算によって図１３（Ａ）に示すテーブルを作成するのではなく、アルバム作成アプリが図１３（Ａ）に示すテーブルを予め保持しておく形態であっても良い。この場合は、ＣＰＵ１０１は、予め保持しているテーブルから、編集対象見開きに対応するレイアウト画像に用いられたテンプレートに対応する値を抽出して、変更候補テンプレートを特定する。

上述のように、本実施形態では、編集対象見開きに対応するレイアウト画像に用いられたテンプレートに対して、スロットのアスペクト比以外の要素は同一だが、スロットのアスペクト比の要素において類似度の低いテンプレートが特定される。すなわち、スロットのアスペクト比以外の要素において類似度の高いテンプレート群のなかから、スロットのアスペクト比の要素において類似度の低いテンプレートが特定される。

しかしこの形態に限定されない。例えば、スロットのアスペクト比以外の要素（スロットの数、スロットの面積、スロットの形状、スロットの並び順、テンプレートにおけるスロットの座標位置、スロットの重なり数、スロットの連結数）において類似度の低いテンプレートが特定されても良い。なお、スロットの重なり数とは、テンプレートにおいてスロット同士が重なっている部分の数であり、スロットの連結数とは、テンプレートにおいてスロット同士が重ならずに連結している（接している）部分の数である。また、１つの要素だけでなく、２つの要素において類似度の低いテンプレートが特定されても良い。

また、いずれの要素において類似度の低いテンプレートを特定するかを、ユーザが指定可能な形態としても良い。さらに、複数の要素を指定可能な形態である場合、各要素に対して類似度の低さの重要度に関する重みづけを実行可能であって良い。その場合、低い重みがつけられている要素において類似度の低いテンプレートより、大きい重みがつけられている要素において類似度の低いテンプレートが優先して特定される。

また、いずれのテンプレート群の中から、類似度の低いテンプレートを選択するかについても限定されない。本実施形態では、表示対象見開きに対応するレイアウト画像に用いられたテンプレートが有するスロットの数と同一の数のスロットを有するテンプレート群の中から選択されたが、それと異なるテンプレート群の中から選択されても良い。

Ｓ１１０４では、ＣＰＵ１０１は、編集対象見開きに対応するレイアウト画像を、レイアウト結果表示エリア１２０３に表示する。

Ｓ１１０５では、ＣＰＵ１０１は、テンプレート変更ボタン１２０４の押下をユーザから受け付けたか否かを判定する。ＣＰＵ１０１は、ＹＥＳ判定の場合は、Ｓ１１０６に進み、ＮＯ判定の場合は、本フローチャートの処理を終了する。

Ｓ１１０６では、ＣＰＵ１０１は、テンプレート変更処理を実行する。具体的には、ＣＰＵ１０１は、まず、未だテンプレート変更処理において用いていない変更候補テンプレートのうち、類似度が一番低い（類似度に関する値が大きい）テンプレートを特定する。そして、ＣＰＵ１０１は、特定したテンプレート（変更後テンプレート）を用いて、Ｓ４２０〜Ｓ４２２の処理を再度行い、新たなレイアウト情報を作成する。なお、ＣＰＵ１０１は、処理の繰り返しにより変更候補テンプレートを全て表示した場合は、全ての変更候補テンプレートを未だ用いていないものと設定し直して、本処理を実行する。

Ｓ１１０７では、ＣＰＵ１０１は、作成したレイアウト情報によって表されるレイアウト画像（変更後レイアウト画像）を、レイアウト結果表示エリア１２０３に表示する。なお、本実施形態では、テンプレート変更処理後に表示されるレイアウト画像のスロットに配置される画像は、テンプレート変更処理前に表示されていたレイアウト画像のスロットに配置されていた画像と同一であるものとする。

Ｓ１１０８では、ＣＰＵ１０１は、ＣＰＵ１０１は、テンプレート変更ボタン１２０４の押下をユーザから受け付けたか否かを判定する。ＣＰＵ１０１は、ＹＥＳ判定の場合は、再度Ｓ１１０６に進み、ＮＯ判定の場合は、Ｓ１１０９に進む。

Ｓ１１０９では、ＣＰＵ１０１は、リセットボタン１２０６の押下（リセット操作）をユーザから受け付けたか否かを判定する。ＣＰＵ１０１は、ＹＥＳ判定の場合は、再度Ｓ１１１０に進み、ＮＯ判定の場合は、Ｓ１１１１に進む。

Ｓ１１１０では、ＣＰＵ１０１は、レイアウト結果表示エリア１２０３に表示されている画像を、テンプレート変更処理が行われて表示された新しいレイアウト画像から当該レイアウト画像が表示される前に表示されていたレイアウト画像に戻す（リセットする）。なお、リセットにより表示されるレイアウト画像は、リセットボタン１２０６が押下された時に表示されていたレイアウト画像の直前に表示されていたレイアウト画像であっても良い。また、見開き指定エリア１２０２から見開きが指定されることで表示されたレイアウト画像（テンプレート変更処理が行われる前に表示されたレイアウト画像）や、ＯＫボタン１２０５が押下された時に表示されていたレイアウト画像であっても良い。その後、ＣＰＵ１０１は、再びＳ１１０５に進む。

Ｓ１１１１では、ＣＰＵ１０１は、ＯＫボタン１２０５の押下をユーザから受け付けたか否かを判定する。ＣＰＵ１０１は、ＹＥＳ判定の場合は、Ｓ１１１２に進み、ＮＯ判定の場合は、再びＳ１１０５に進む。

Ｓ１１１２では、ＣＰＵ１０１は、ＯＫボタン１２０５が押下された時に表示されていたレイアウト画像を、編集対象見開きとして特定されている見開きに対応する印刷対象のレイアウト画像として特定する。なおＣＰＵ１０１は、ＯＫボタン１２０５が押下される前は、自動レイアウトで作成されたテンプレート変更処理前のレイアウト画像や、前回ＯＫボタン１２０５が押下された時に表示されていたレイアウト画像を、印刷対象のレイアウト画像として特定している。

その後、ＣＰＵ１０１は、処理を終了する。なお、ＯＫボタン１２０５が押下された後にも、テンプレート変更処理が実行されても良い。

ユーザは、このようなテンプレート変更処理によって、印刷対象のレイアウト画像を、テンプレートのみ変更して切り替えることができる。そして、ユーザは、テンプレート変更処理後に、カートに入れるボタン１２０７を押して、アルバム注文処理を実行する（出力操作）ことで、切り替え後の印刷対象のレイアウト画像を、アルバムとして出力することができる。また例えば、切り替え後の印刷対象のレイアウト画像を表す画像データを、画像処理装置２００の外部の装置に送信することができる。

上述のように、本実施形態では、あるレイアウト画像のテンプレート変更するための操作が受け付けられた場合、変更前のレイアウト画像に用いられたテンプレートとの類似度が低いテンプレートを用いたレイアウト画像をユーザに提示する。

これにより、ユーザの満足度が高くなる可能性が高いテンプレートを用いたレイアウト画像をユーザに提示できる。ひいてはユーザは、変更後のレイアウト画像として適切な（満足度の高い）レイアウト画像を容易に選択することができる。

［その他の実施形態］
上述の実施形態では、変更前のレイアウト画像に用いられたテンプレートとの類似度が低いテンプレートを用いたレイアウト画像を、変更後のレイアウト画像として表示する形態を説明した。変更後のレイアウト画像の表示方法は上述の形態に限定されない。例えば、変更前のレイアウト画像に用いられたテンプレートとの類似度が低いテンプレートを用いたレイアウト画像とそれ以外のレイアウト画像とを、同時にユーザに表示しても良い。そしてその際、変更前のレイアウト画像に用いられたテンプレートとの類似度が低いテンプレートを用いたレイアウト画像が、他のレイアウト画像よりも強調・優先して表示されても良い。また、変更前のレイアウト画像に用いられたテンプレートとの類似度が低いそれぞれ異なるテンプレートを用いた複数のレイアウト画像を表示しても良い。その際、変更前のレイアウト画像に用いられたテンプレートとの類似度がより低いテンプレートを用いたレイアウト画像が、他のレイアウト画像よりも強調・優先して表示されても良い。

また、例えば、変更前のレイアウト画像に用いられたテンプレートとの類似度が高いテンプレートを用いたレイアウト画像を、変更後のレイアウト画像として表示する形態であっても良い。また、変更前のレイアウト画像に用いられたテンプレートとの類似度が高いテンプレートを用いたレイアウト画像を優先的に表示するか、類似度が高いテンプレートを用いたレイアウト画像を優先的に表示するかをユーザ操作等により切り替え可能であっても良い。

上述した実施形態では、自動レイアウトによって作成されたレイアウト画像に対してテンプレート変更処理が実行されるものとしたが、この形態に限定されない。例えば、ユーザが手動でテンプレートやスロットに配置される画像を選択することで作成されたレイアウト画像に対して、本実施形態のテンプレート変更処理が実行されても良い。すなわち、ユーザが選択したテンプレートとの類似度が低いテンプレート及びユーザが選択した画像が用いられたレイアウト画像を優先的にユーザに提示する形態であっても良い。

上述した実施形態では、編集対象見開きに対応するレイアウト画像に用いられているテンプレートとの類似度によって、変更後のレイアウト画像に用いられるテンプレートを特定する形態について説明した。しかしながらこの形態に限定されず、編集対象見開き以外の見開きに対応するレイアウト画像に用いられているテンプレートとの類似度によって、変更後のレイアウト画像に用いられるテンプレートが特定されても良い。例えば、編集対象見開きの前後の見開き（又はそのいずれかの見開き）に対応するレイアウト画像に用いられているテンプレートとの類似度によって、変更後のレイアウト画像に用いられるテンプレートを特定する形態であっても良い。また、編集対象見開きに対応するレイアウト画像に用いられているテンプレートとの類似度と、編集対象見開きの前後の見開き（又はそのいずれかの見開き）に対応するレイアウト画像に用いられているテンプレートとの類似度の両方が加味されても良い。

また例えば、編集対象見開き以外の見開きに対応するレイアウト画像に対してテンプレート変更処理が行われていた場合は、当該テンプレート変更処理の結果が編集対象見開きに対応するレイアウト画像に対するテンプレート変更処理において参照されても良い。例えば、編集対象見開き以外の見開きに対応するレイアウト画像に対してテンプレート変更処理において、正方形のスロットを有するテンプレートが、変更後のレイアウト画像において用いられるテンプレートとして選択される傾向があることがある。その場合は、当該傾向を参照して、当該傾向に対応したテンプレートが、編集対象見開きに対応するレイアウト画像に対するテンプレート変更処理において用いられる形態としても良い。

上述した実施形態では、ユーザからの指示が受け付けられた場合に、編集対象見開きに対応するレイアウト画像に用いられているテンプレートと異なるテンプレートが用いられたレイアウト画像が表示される形態について説明した。しかしながらこの形態に限定されず、例えば、編集対象見開きに対応するレイアウト画像に用いられている画像と異なる（類似度が低い）画像が用いられたレイアウト画像が表示される形態であっても良い。この場合、変更前後で用いられるテンプレートは同一であって良い。すなわち、ユーザ指示に応じて、編集対象見開きに対応するレイアウト画像と少なくとも一部が異なり、且つ当該レイアウト画像との類似度が低いレイアウト画像が表示される形態であれば良い。一方で例えば、ユーザからの指示が受け付けられた場合に、画像が配置されていない状態の、編集対象見開きに対応するレイアウト画像に用いられているテンプレートと異なるテンプレートが表示される形態であっても良い。

上述した実施形態は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、プログラムは、１つのコンピュータで実行させても、複数のコンピュータで連動させて実行させるようにしてもよい。また、上記した処理の全てをソフトウェアで実現する必要はなく、処理の一部または全部をＡＳＩＣ等のハードウェアで実現するようにしてもよい。また、ＣＰＵも１つのＣＰＵで全ての処理を行うものに限らず、複数のＣＰＵが適宜連携をしながら処理を行うものとしてもよい。

１０１ ＣＰＵ
１０５ ディスプレイ

Claims (24)

1. テンプレートに配置画像が配置された変更前レイアウト画像を表示部に表示する表示ステップと、
   前記変更前レイアウト画像と少なくとも一部が異なる変更後レイアウト画像を前記表示部に表示するための変更指示を受け付ける受け付けステップと、
   前記変更指示が受け付けられた場合、第１の変更後レイアウト画像を、前記第１の変更後レイアウト画像よりも前記変更前レイアウト画像との類似度が高い第２の変更後レイアウト画像より優先して前記表示部に表示する処理、及び前記第１の変更後レイアウト画像を、前記第２の変更後レイアウト画像より強調して前記表示部に表示する処理のうち少なくとも一方の処理を実行する実行ステップと、
   を画像処理装置のコンピュータに実行させることを特徴とするプログラム。
2. 前記変更後レイアウト画像は、前記変更前レイアウト画像に用いられたテンプレートと異なるテンプレートに、前記変更前レイアウト画像に用いられた配置画像が少なくとも配置されたレイアウト画像であることを特徴とする請求項１に記載のプログラム。
3. 前記変更前レイアウト画像に用いられたテンプレートと前記第１の変更後のレイアウト画像に用いられたテンプレートとの類似度より、前記変更前レイアウト画像に用いられたテンプレートと前記第２の変更後のレイアウト画像に用いられたテンプレートとの類似度が高いことを特徴とする請求項２に記載のプログラム。
4. 前記第１の変更後レイアウト画像と前記第２の変更後レイアウト画像を含む変更後レイアウト画像群から、前記変更前レイアウト画像との類似度が一番低い変更後レイアウト画像を特定する特定ステップと、をさらにコンピュータに特定させ、
   前記変更指示が受け付けられた場合、前記特定された変更後レイアウト画像を、前記特定されなかった変更後レイアウト画像より優先して前記表示部に表示する処理、及び前記特定された変更後レイアウト画像を、前記特定されなかった変更後レイアウト画像より強調して前記表示部に表示する処理のうち少なくとも一方の処理が実行されることを特徴とする請求項１乃至３のいずれか１項に記載のプログラム。
5. 前記変更前レイアウト画像に用いられたテンプレートと前記第１の変更後のレイアウト画像に用いられたテンプレートとの所定の要素における類似度より、前記変更前レイアウト画像に用いられたテンプレートと前記第２の変更後のレイアウト画像に用いられたテンプレートとの所定の要素における類似度が高いことを特徴とする請求項１乃至４のいずれか１項に記載のプログラム。
6. 前記所定の要素は、テンプレートに含まれ、画像が配置される領域であるスロットのアスペクト比、前記スロットの形状、前記スロットの面積、前記スロットの数、前記テンプレートにおける前記スロットの座標位置、前記スロットの重なり数、前記スロットの連結数のうちいずれかであることを特徴とする請求項５に記載のプログラム。
7. 前記変更前レイアウト画像に用いられたテンプレートと、前記所定の要素以外の少なくとも１つの要素が同一であるテンプレートとの前記所定の要素における類似度に関する値を取得する取得ステップと、をさらにコンピュータに特定させ、
   前記取得された値に基づいて、前記変更前レイアウト画像との類似度が一番低い変更後レイアウト画像が特定されることを特徴とする請求項５又は６に記載のプログラム。
8. 前記変更前レイアウト画像に用いられたテンプレートと、前記所定の要素以外の少なくとも１つの要素が同一であるテンプレートとの前記所定の要素における類似度に関する値を示すテーブルに基づいて、前記変更前レイアウト画像との類似度が一番低い変更後レイアウト画像が特定されることを特徴とする請求項５又は６に記載のプログラム。
9. 前記所定の要素における類似度に関する値は、前記変更前レイアウト画像に用いられたテンプレートのおける前記所定の要素に基づくベクトルと、前記所定の要素以外の少なくとも１つの要素が同一であるテンプレートにおける前記所定の要素に基づくベクトルとの距離によって示されることを特徴とする請求項７又は８に記載のプログラム。
10. 前記変更指示が受け付けられたことにより、前記第１の変更後レイアウト画像を、前記第２の変更後レイアウト画像より優先して前記表示部に表示する処理、及び前記第１の変更後レイアウト画像を、前記第２の変更後レイアウト画像より強調して前記表示部に表示する処理のうち少なくとも一方の処理が実行された後に、前記変更指示が再び受け付けられた場合、前記第１の変更後レイアウト画像よりも前記変更前レイアウト画像との類似度が高い第３の変更後レイアウト画像を、前記第３の変更後レイアウト画像よりも前記変更前レイアウト画像との類似度が高い第４の変更後レイアウト画像より優先して前記表示部に表示する処理、及び前記第３の変更後レイアウト画像を、前記第４の変更後レイアウト画像より強調して前記表示部に表示する処理のうち少なくとも一方の処理が実行されることを特徴とする請求項１乃至９のいずれか１項に記載のプログラム。
11. 前記変更指示が受け付けられた場合、前記変更前レイアウト画像が前記表示部に表示されなくなることを特徴とする請求項１乃至１０のいずれか１項に記載のプログラム。
12. 前記変更指示が受け付けられたことにより、前記第１の変更後レイアウト画像を、前記第２の変更後レイアウト画像より優先して前記表示部に表示する処理、及び前記第１の変更後レイアウト画像を、前記第２の変更後レイアウト画像より強調して前記表示部に表示する処理のうち少なくとも一方の処理が実行された後に、リセット操作を受け付けるリセット受け付けステップと、
    前記リセット操作が受け付けられた場合、前記変更前レイアウト画像を前記表示部に表示することを特徴とする請求項１乃至１１のいずれか１項に記載のプログラム。
13. 前記変更指示が受け付けられたことにより、前記第１の変更後レイアウト画像を、前記第２の変更後レイアウト画像より優先して前記表示部に表示する処理、及び前記第１の変更後レイアウト画像を、前記第２の変更後レイアウト画像より強調して前記表示部に表示する処理のうち少なくとも一方の処理が実行された後に、出力操作を受け付ける出力受け付けステップと、
    前記出力操作が受け付けられた場合、前記第１の変更後レイアウト画像に関する出力が行われることを特徴とする請求項１乃至１２のいずれか１項に記載のプログラム。
14. 前記第１の変更後レイアウト画像に関する出力は、画像形成装置による前記第１の変更後レイアウト画像の印刷であることを特徴とする請求項１３に記載のプログラム。
15. 前記第１の変更後レイアウト画像に関する出力は、前記第１の変更後レイアウト画像を表す画像データの前記画像処理装置の外部への送信であることを特徴とする請求項１３に記載のプログラム。
16. 前記変更指示が受け付けられた場合、前記第１の変更後レイアウト画像を前記表示部に表示し、前記第２の変更後レイアウト画像を前記表示部に表示しないことで、前記第１の変更後レイアウト画像を、前記第２の変更後レイアウト画像より優先して前記表示部に表示する処理を実行することを特徴とする請求項１乃至１５のいずれか１項に記載のプログラム。
17. ユーザからの選択指示を受け付けることなく、複数のテンプレートから少なくとも１つのテンプレートを自動で選択する第１選択ステップと、
    ユーザからの選択指示を受け付けることなく、複数の画像データから少なくとも１つの画像データを自動で選択する第２選択ステップと、を更に有し、
    前記変更前レイアウト画像は、選択された画像データによって表わされる画像が、選択されたテンプレートに配置された画像であることを特徴とする請求項１乃至１５のいずれか１項に記載のプログラム。
18. 前記変更後レイアウト画像は、前記変更前レイアウト画像に用いられたテンプレートに、前記変更前レイアウト画像に用いられた配置画像と異なる配置画像が少なくとも配置されたレイアウト画像であることを特徴とする請求項1に記載のプログラム。
19. 前記変更前レイアウト画像に用いられた配置画像と前記第１の変更後のレイアウト画像に用いられた配置画像との類似度より、前記変更前レイアウト画像に用いられた配置画像と前記第２の変更後のレイアウト画像に用いられた配置画像との類似度が高いことを特徴とする請求項１８に記載のプログラム。
20. テンプレートに配置画像が配置された変更前レイアウト画像を表示部に表示する表示ステップと、
    前記変更前レイアウト画像と少なくとも一部が異なる変更後レイアウト画像を前記表示部に表示するための変更指示を受け付ける受け付けステップと、
    前記変更指示が受け付けられた場合、第１の変更後レイアウト画像を、前記第１の変更後レイアウト画像よりも前記変更前レイアウト画像との類似度が高い第２の変更後レイアウト画像より優先して前記表示部に表示する処理、及び前記第１の変更後レイアウト画像を、前記第２の変更後レイアウト画像より強調して前記表示部に表示する処理のうち少なくとも一方の処理を実行する実行ステップと、
    を有することを特徴とする制御方法。
21. テンプレートに配置画像が配置された変更前レイアウト画像を表示部に表示する表示手段と、
    前記変更前レイアウト画像と少なくとも一部が異なる変更後レイアウト画像を前記表示部に表示するための変更指示を受け付ける受け付け手段と、
    前記変更指示が受け付けられた場合、第１の変更後レイアウト画像を、前記第１の変更後レイアウト画像よりも前記変更前レイアウト画像との類似度が高い第２の変更後レイアウト画像より優先して前記表示部に表示する処理、及び前記第１の変更後レイアウト画像を、前記第２の変更後レイアウト画像より強調して前記表示部に表示する処理のうち少なくとも一方の処理を実行する実行手段と、
    を有することを特徴とする画像処理装置。
22. テンプレートに配置画像が配置された変更前レイアウト画像を表示部に表示する表示ステップと、
    前記変更前レイアウト画像と少なくとも一部が異なる変更後レイアウト画像を前記表示部に表示するための変更指示を受け付ける受け付けステップと、
    前記変更指示が受け付けられた場合、第１の変更後テンプレートを、前記第１の変更後テンプレートよりも前記変更前レイアウト画像に用いられたテンプレートとの類似度が高い第２の変更後テンプレートより優先して前記表示部に表示する処理、及び前記第１の変更後テンプレートを、前記第２の変更後テンプレートより強調して前記表示部に表示する処理のうち少なくとも一方の処理を実行する実行ステップと、
    を画像処理装置のコンピュータに実行させることを特徴とするプログラム。
23. テンプレートに配置画像が配置された変更前レイアウト画像を表示部に表示する表示ステップと、
    前記変更前レイアウト画像と少なくとも一部が異なる変更後レイアウト画像を前記表示部に表示するための変更指示を受け付ける受け付けステップと、
    前記変更指示が受け付けられた場合、第１の変更後テンプレートを、前記第１の変更後テンプレートよりも前記変更前レイアウト画像に用いられたテンプレートとの類似度が高い第２の変更後テンプレートより優先して前記表示部に表示する処理、及び前記第１の変更後テンプレートを、前記第２の変更後テンプレートより強調して前記表示部に表示する処理のうち少なくとも一方の処理を実行する実行ステップと、
    を有することを特徴とする制御方法。
24. テンプレートに配置画像が配置された変更前レイアウト画像を表示部に表示する表示手段と、
    前記変更前レイアウト画像と少なくとも一部が異なる変更後レイアウト画像を前記表示部に表示するための変更指示を受け付ける受け付け手段と、
    前記変更指示が受け付けられた場合、第１の変更後テンプレートを、前記第１の変更後テンプレートよりも前記変更前レイアウト画像に用いられたテンプレートとの類似度が高い第２の変更後テンプレートより優先して前記表示部に表示する処理、及び前記第１の変更後テンプレートを、前記第２の変更後テンプレートより強調して前記表示部に表示する処理のうち少なくとも一方の処理を実行する実行手段と、
    を有することを特徴とする画像処理装置。
    

Images