JP2022123207A

JP2022123207A - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: JP2022123207A
Application number: JP2021020365A
Authority: JP
Inventors: 惇平武市; Jumpei Takeichi; 寛康國枝; Hiroyasu Kunieda; 貴之山田; Takayuki Yamada
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-02-12
Filing date: 2021-02-12
Publication date: 2022-08-24
Also published as: US20220262055A1

Abstract

【課題】ユーザの満足度の高いアルバムを提供すること。【解決手段】コンピュータを、アルバムを構成するアルバム情報を取得する取得手段と、アルバム情報に基づいてアルバムを編集する編集画面をディスプレイに表示させる表示制御手段と、アルバム情報に基づいて、編集画面において、アルバムに採用済みの画像群から画像を外すレコメンドを行うレコメンド手段と、として機能させるためのプログラムを提供する。【選択図】図１６

Description

本発明は、アルバムを編集する技術に関する。

デジタルカメラの普及に加え、スマートデバイスの普及及びスマートデバイスのカメラ性能向上により、ユーザの写真撮影枚数が急激に増加している。特許文献１では、複数のユーザが共同でアルバムを作成する方法が提案されている。

特開２０１６－６６３２８号公報

しかしながら、特許文献１では、アルバムを編集する際に、画像の枚数を減らすことが考慮されておらず、ユーザの満足度の高いアルバムを提供できなかった。

本発明は、ユーザの満足度の高いアルバムを提供することを目的する。

本発明の一態様に係るプログラムは、コンピュータを、アルバムを構成するアルバム情報を取得する取得手段と、前記アルバム情報に基づいてアルバムを編集する編集画面をディスプレイに表示させる表示制御手段と、前記アルバム情報に基づいて、前記編集画面において、アルバムに採用済みの画像群から画像を外すレコメンドを行うレコメンド手段と、として機能させるためのプログラムである。

本発明によれば、ユーザの満足度の高いアルバムを提供することができる。

本発明に係るアプリケーションを実行可能なハードウェアブロック図である。アルバム作成アプリケーションのソフトウェアブロック図である。画像レイアウトを説明する図である。アプリケーションが表示する表示画面の図である。自動レイアウトの処理フロー図である。画像群分割を説明する図である。シーン分類を説明する図である。画像選択を説明する図である。テンプレート選択のブロック図である。テンプレート選択の処理フロー図である。画像レイアウトを説明する図である。見開き結合のブロック図である。見開き結合の処理フロー図である。アルバム編集アプリケーションのソフトウェアブロック図である。アルバムの編集画面の例を説明する図である。アルバムの編集画面の例を説明する図である。アルバム編集部のブロックを示す図である。レコメンド条件を設定するＵＩ画面の例を示す図である。外すレコメンドの例を示す図である。外すレコメンドの例を示す図である。外すレコメンドの例を示す図である。レコメンドを実行する処理フローを示す図である。

以下、本発明の実施形態について図面を用いて詳細に説明する。

（実施形態１）
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション（以下、「アプリケーション」または単純に「アプリ」ともいう）を動作させ、該アプリケーション上で複数の写真画像が自動でレイアウトされたアルバムデータを生成する。このアルバムデータを印刷することで印刷物として複数のアルバムを作成することができる。本実施形態では、少なくとも２つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。各アルバムは、例えば、特に強調してレイアウトする被写体（主被写体という）ごとに異なる構成の個別の見開きをそれぞれ有する。各アルバムを構成する見開きの総数（総見開き数と呼ぶ）は、アプリを操作するユーザの指定に従い全アルバムで同一である。但し、アルバム毎の共通見開きと個別見開きとのそれぞれの数は、画像群及び設定に応じて変化する。見開きおよび見開き内に配置される画像は、撮影時間順に並べられる。

個別の見開きを用いることで、作成される複数のアルバムは、各主被写体に部分的に特化したアルバムとなる。つまり、本実施形態で作成される複数のアルバムは、同一の画像が同一のレイアウトで全ての見開きに配置されているような、完全に同一のアルバムにならないことを想定している。尚、結果として、作成される複数のアルバムのうちの一部のアルバム同士が完全に同一のアルバムとなってもよい。

また、本実施形態では、共通見開きと個別見開きとを含むように作成されたアルバムのアルバムデータを、ユーザが編集することができる。以下の説明では、大別して、アルバムデータを自動で生成する処理と、生成されたアルバムデータをユーザが編集する処理とに分かれている。ユーザが編集する処理においても、自動で処理が行われる。まず、アルバムデータを自動で生成する処理の構成を説明する。その後、生成されたアルバムデータをユーザが編集する処理を説明する。

＜＜アルバムデータの生成処理＞＞
＜画像処理装置のハードウェア構成について＞
以下、本実施形態における画像処理装置のハードウェア構成について、図１を用いて説明する。尚、以下では、画像処理装置が情報処理装置（ＰＣ）のケースを説明するが、画像処理装置として、スマートフォン等の他の装置を採用してもよい。

図１に示すように、画像処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、ディスプレイ１０５と、キーボード１０６と、マウス１０７と、データ通信装置１０８と、を有する。これらの部品は、データバス１０９により接続されており、相互にデータを送信または受信することができる。

ＣＰＵ１０１は、画像処理装置１００全体を制御する。また、ＣＰＵ１０１は、本実施形態で説明する画像処理方法をプログラムに従って実行する。尚、図１では、画像処理装置が１個のＣＰＵを有するが、画像処理装置は複数のＣＰＵを有してもよい。

ＲＯＭ１０２には、ＣＰＵ１０１が実行するプログラムが記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供する。ＨＤＤ１０４には、画像ファイルまたは画像解析等の処理結果を保持するデータベース等が記憶され、本実施形態では、このＨＤＤ１０４に、アルバム作成のためのアプリケーションプログラムが記憶されている。尚、このアプリケーションプログラムについては、アルバム作成アプリと呼ばれることもあり、図２等を用いて後述する。

ディスプレイ１０５は、本実施形態のユーザインターフェイス（以下ＵＩ）または画像のレイアウト結果を表示して、ユーザに提示するための装置である。ディスプレイ１０５は、タッチセンサー機能を有してもよい。キーボード１０６は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上に所定の情報を入力するために用いられる。本実施形態では、ユーザは、キーボード１０６を介してアルバムの見開き数を入力する。マウス１０７は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上のボタンをクリックして押下するために用いられる。

データ通信装置１０８は、プリンタまたはサーバ等の外部装置と通信するための装置である。例えば、自動レイアウトされた結果であるアルバムデータは、データ通信装置１０８を介して、画像処理装置１００に接続されたプリンタまたはサーバに送信される。データバス１０９は、上述した各構成要素とＣＰＵ１０１とを接続する。以上が、本実施形態における画像処理装置のハードウェア構成についての内容である。

＜画像処理装置のソフトウェア構成について＞
以下、本実施形態における画像処理装置のソフトウェア構成、言い換えると、画像処理装置にインストールされているアルバム作成アプリケーションにより実現される機能構成について、図２を用いて説明する。アルバム作成アプリケーションは、ディスプレイ１０５に表示されているアプリケーションのアイコンがユーザによりマウス１０７を使ってダブルクリックされることにより起動する。アルバム作成アプリケーションは様々な機能を有するが、以下では主に、自動レイアウト処理部２０２により提供される自動レイアウト機能を説明する。

図２に示すように、このアプリは、アルバム作成条件設定部２０１と、自動レイアウト処理部２０２と、アルバム表示部２１４と、アルバム情報保持部２１５と、を有する。「自動レイアウト機能」とは、撮影された写真の画像をその内容および属性などに基づいて分類および選択した上でレイアウトして、アルバムデータを生成する機能である。生成されたアルバムデータは、ディスプレイ１０５に表示される。

アルバム作成条件設定部２０１は、ユーザのマウス操作に応じたアルバム作成条件を、自動レイアウト処理部２０２に設定する。本実施形態では、アルバム作成条件として、アルバムに使用する画像群、１冊のアルバムあたりの総見開き数、アルバムの商材、アルバムの冊数、及びアルバム毎の主被写体を設定する。画像群の設定は、例えば撮影日時など個別の画像データの付随情報または属性情報を用いて設定してもよいし、デバイスまたはディレクトリの指定など、画像データが保存されているファイルシステムの構造に基づいて設定してもよい。この画像群は、各主被写体となり得る各ユーザからの画像データを保存している保存先としてもよいし、特定のユーザが集めた画像データを保存している保存先であってもよい。尚、「見開き」とは、例えば表示においては一つの表示用ウィンドウに相当し、印刷物においては、本を開いた際にユーザが一度に鑑賞可能な互いに隣接する１対のページ（つまり２ページ分）に相当する。なお、見開き内の２ページは、それぞれ異なる用紙に印刷されたものが隣接するよう綴じられることで見開きを形成する場合と、１枚の用紙に印刷されたものが真ん中で折られることで見開きを形成する場合と、がある。ここでは、このような見開きの概念を用いて説明するが、ページでもよい。また、主被写体とは、アルバム中で特に強調してレイアウトする被写体である。例えば特定の個人、犬、猫、花、料理といった物体のカテゴリ、または、オブジェクトもしくは画像全体の色味等が挙げられる。ここでは、説明のため人物を主被写体とする。

ここで、本実施形態で作成するアルバムについて、図３を用いて説明する。本実施形態では、アルバム作成条件設定部２０１により設定されたアルバムの冊数及びアルバム毎の主被写体に基づき、複数の異なるバリエーションのアルバムが作成される。図３の例では、複数の異なるバリエーションのアルバムとして、アルバム１、アルバム２、及びアルバム３が作成されている。

各アルバムは、複数の異なるバリエーションのアルバム間で同じ画像が同じ配置でレイアウトされている「共通見開き」と、他のアルバムとは異なる画像または配置でレイアウトされている「個別見開き」とで構成される。図３の例では、アルバム１～アルバム３は夫々、共通見開き３０２を含む。一方、アルバム１は個別見開き３０３を含み、アルバム２は個別見開き３０４を含み、アルバム３は個別見開き３０５を含む。

画像３０１は見開きに配置された画像であり、画像３０１中の文字は画像中に写っている主被写体を表している。図３に示すように、共通見開き３０２には、複数の主被写体が写っている画像が含まれる。一方、個別見開き３０３には、主被写体Ａのみが写っている画像が含まれるといった具合に、個別見開き３０３～３０５には夫々、特定の主被写体のみが写っている画像が含まれる。このように、本実施形態で複数のアルバムを作成する場合、該複数のアルバムが夫々、異なる基準で作成された見開きを含む。即ち、異なる基準で作成されることで、その作成された結果の見開きも、異なる見開きになっている。

自動レイアウト処理部２０２は、画像取得部２０３、画像解析部２０４、主被写体設定部２０５、シーン分割部２０６、シーン分類部２０７、画像得点部２０８、見開き作成パラメータ生成部２０９、及び見開き作成部２１０を有する。また、見開き結合部２１１、レイアウト情報出力部２１２、及びアルバム情報出力部２１３を有する。

画像取得部２０３は、ＨＤＤ１０４に保存されている画像の中から、アルバム作成条件設定部２０１により設定されたアルバム作成条件を満たす画像群を取得する。ここでいう画像群とは、アルバム作成の際のレイアウト候補となる画像群を指す。例えば、撮影日時として、ＸＸ年１月１日～ＸＸ年１２月３１日が指定された場合は、ＸＸ年１月１日～ＸＸ年１２月３１日に撮影された画像全てが、レイアウト候補の画像群に該当する。ＨＤＤ１０４に保存されている画像としては、静止画像、又は、動画から切り出された切り出し画像などが挙げられる。静止画像または切り出し画像は、デジタルカメラ又はスマートデバイス等の撮像デバイスから取得したものである。撮像デバイスは、画像処理装置１００が備えていてもよいし、画像処理装置１００の外部装置が備えるものであってもよい。尚、撮像デバイスが外部装置である場合は、画像取得部２０３は、データ通信装置１０８を介して画像を取得する。また、静止画像または切り出し画像は、外部のネットワークまたはサーバからデータ通信装置１０８を介して取得した画像であってもよい。ネットワークまたはサーバから取得した画像としては、ソーシャルネットワーキングサービス画像（以下、ＳＮＳ画像）が挙げられる。尚、ＣＰＵ１０１はＯＳのプログラムを実行することで、各画像に対して、画像データに付随するデータを解析し、画像の取得先である保存元を求める。但し、アプリケーションを介してＳＮＳから画像を取得することで、アプリケーション内で該画像の取得先を管理してもよい。尚、画像取得部２０３が取得する画像は、上述したものに限定されるものではなく、他の種類の画像であってもよい。

画像解析部２０４は、画像取得部２０３が取得した画像データを解析する。本実施形態では、画像の特徴量を導出し、画像内のオブジェクト判定、顔検出、検出した顔の表情認識、及び検出した顔の個人認識を実行する。さらに、画像解析部２０４は、ＨＤＤ１０４から取得した画像データに付随したデータ（例えば、Ｅｘｉｆ情報）を参照して、撮影日時の情報を取得する。尚、画像解析部２０４が画像データを解析した結果得られる情報を「解析情報」と呼ぶ。

主被写体設定部２０５は、アルバム毎に強調する主被写体を設定する。本実施形態では、主被写体設定部２０５は、アルバム作成条件設定部２０１から送られた、アルバム毎に強調する主被写体の情報を取得する。

画像得点部２０８は、アルバム作成条件設定部２０１により設定されたアルバム作成条件および画像解析部２０４で導出した解析情報に基づき、各画像に対して得点付けを行う。本実施形態では、レイアウトに適した画像が高得点になるように各画像に対して得点付けを行う。レイアウトに適した画像が高得点になるように得点付けを行う際は、画像の解析情報、画像の分類結果、画像情報、またはアルバム作成条件などを用いる。但し、他の情報を付加的に或いは代替的に用いてもよい。レイアウトに適した画像とは、例えばコントラストが高い、もしくは、エッジがシャープである、といった審美性が高い画像、または、人、動物、もしくは建造物などの主題となる被写体（いわゆる主被写体）が大きく写っている画像が挙げられる。さらに、画像得点部２０８は、主被写体設定部２０５が設定した主被写体毎の得点付けも行う。例えば、非常に審美性が高い画像であっても、設定した主被写体が写っていない画像については、得点を低くする一方、逆光のような撮影状態の悪い画像であっても、設定した主被写体が大きく写っている画像については、得点を高くする。

シーン分割部２０６は、画像解析部２０４で導出した解析情報を用いて、画像取得部２０３で取得した画像群をシーン毎に分ける。ここでいう「シーン」とは、解析情報に応じてグルーピングした画像のまとまり（サブ画像群）を意味する。例えば、撮影時間の異なる２枚の画像に関し、シーン分割部２０６は、撮影時間の差が所定の閾値以下の画像を同じシーンと判定したり、写っている人物または背景が同じ画像を同じシーンと判定したりする。

シーン分類部２０７は、シーン分割部２０６により得られたシーン毎に該当するカテゴリを判定する。シーンのカテゴリとして、例えば、屋内もしくは屋外といったシチュエーション、または、旅行もしくは結婚式といった画像を撮影した時のイベント等が挙げられる。

見開き作成パラメータ生成部２０９は、主被写体設定部２０５で設定された主被写体と画像解析部２０４で導出した解析情報とに基づき、見開きを作成するためのパラメータを複数生成する。複数のパラメータには、例えば、共通見開き用のパラメータと、個別見開き用のパラメータとが含まれる。ここでいうパラメータとは、見開きの作成基準を決定づける設定値である。このようなパラメータとして、例えば、見開きに使用する画像を選択する際に用いられる、画像得点部２０８で得られた得点の優先度を決める重みまたは閾値が挙げられる。これは、主被写体設定部２０５で設定した主被写体が写っている画像の中から、特定の主被写体のみが写っている画像を優先するのか、或いは、２つ以上の主被写体が写っている画像を優先するのかを選択する設定値である。複数のパラメータを用いることで、アルバム毎の見開きによって、作成基準が変化する。また、見開き作成パラメータには、その画像が見開きに配置された場合の、見開き内での関係性等を考慮した得点を求めるパラメータが含まれる。

ここで、見開きに使用する画像を選択する際の画像単体での得点を求めるためのパラメータを、便宜上、第一パラメータといい、見開き内に配置される場合の関係性等を考慮した得点を求めるためのパラメータを便宜上、第二パラメータという。この場合、後述する見開き作成部２１０では、まず、第一パラメータに応じて見開きに使用する候補画像が選択される。そして、見開き作成部２１０では、第二パラメータに応じて、候補画像の中から見開きに適した画像およびテンプレートなどが決定されることになる。ここでは便宜上、第一パラメータおよび第二パラメータに分けたが、これらを総合的に加味したパラメータを、見開き作成パラメータと総称する。

見開き作成部２１０は、見開き作成パラメータ生成部２０９が生成したパラメータに従って、見開きで使用する画像を選択および配置することで、見開きデータを作成する。例えば見開き作成部２１０は、第一パラメータに従った候補画像を選択する。第一パラメータは、前述したように、設定された主被写体ごとに重みを変えるパラメータである他、所定の優先度に応じた重みを付与するパラメータでもある。優先度の例としては、トリミングの有無に応じた優先度を考慮してもよい。たとえば、共通見開きでの主被写体は複数人であることが多いため、主被写体が省かれないためにトリミングを行わないサイズの画像を優先してもよい。個別見開きでは主被写体は１人の為、主被写体がアップになるようにトリミングを行うことがあると考えられるためトリミングを行う画像の優先度を下げなくてもよい。

尚、このような優先度は、予め決定されていてもよいし、ユーザが適宜設定してもよい。優先度に応じた重みまたは閾値を用意しておくことで、ユーザは、各種の情報の優先度を変えることで、パラメータを変えることができる。また、このような優先度は、上述した情報の他、各種の情報を考慮した優先度としてよい。各種の情報としては、画像のシーンの情報、主被写体以外の物体数の情報、主被写体以外の人数、解像度、または背景などが挙げられる。

そして、見開き作成部２１０は、このようにして求めた候補画像の得点に、第二パラメータを適用した得点を求め、見開き内に配置される画像の得点の合計が高くなるような見開きを作成する。見開き内に配置される画像の合計を、見開きの得点という。第二パラメータは、見開き内での関係性を考慮したパラメータであり、例えば、同一見開き内で一定の時間間隔の画像が使用されること優先したり、スロットサイズに応じた重みを付与したりすることができる。

前述したように、見開き作成パラメータ（第一パラメータおよび第二パラメータ）は、共通見開き用と個別見開き用とでそれぞれ異なるパラメータとなる。これにより、異なる見開き基準で画像選択が行われるので、共通見開きと個別見開きとで、異なる見開きが作成されるようになる。

見開き結合部２１１は、見開き作成部２１０が作成した見開きデータを結合する。具体的には、見開き作成部２１０により作成された各見開きの順番を決定することで、アルバム全体のレイアウトを作成する。

レイアウト情報出力部２１２は、見開き結合部２１１が作成したアルバム全体のレイアウトに従って、アルバムデータを出力する。アルバムデータは、例えば、所定のレイアウトに従って各画像を配置したビットマップ形式の画像データである。

アルバム情報出力部２１３は、アルバム生成に用いたアルバム情報を出力する。アルバム情報には、例えば、アルバム構成情報およびアルバム生成情報が含まれる。アルバム構成情報は、使用画像情報、画像の配置情報、テンプレート情報、スロットの形状およびサイズ情報、背景色情報、トリミング情報、テキストまたはスタンプの編集情報、共通・個別ページ情報などのように、といったアルバムを構成する構成情報である。アルバム生成情報は、アルバム作成条件、画像の解析情報、得点情報、またはシーン情報のようなアルバムデータの生成の際に用いた生成情報である。尚、このアルバム生成情報でアルバムを生成すると同じアルバムを生成することができる。アルバム情報に、アルバムデータそのものが含まれていてもよい。この情報はアルバム単位で出力される。

アルバム表示部２１４は、レイアウト情報出力部２１２が出力したビットマップデータをディスプレイ１０５に表示する表示制御を行う。

アルバム情報保持部２１５は、アルバム情報出力部２１３が出力したアルバム情報を受け取り保持する。アルバム情報保持部はアルバム編集などでアルバムが更新された場合には更新に合わせたアルバム情報を受け取り保持する。ここでのアルバム情報とは、前述したアルバム構成情報とアルバム生成情報の他、アルバム変更情報が含まれる。アルバム変更情報の例としては、アルバム編集のユーザ操作履歴でもよいし、アルバムの編集により変更された差分情報でもよい。これらの情報は、アルバム単位で保持される。

本実施形態におけるアルバム作成アプリケーションのプログラムが、画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上にこのアプリの起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているデスクトップ上の起動アイコンをマウス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＡＭ１０３にロードされる。そして、ＲＡＭ１０３にロードされたプログラムがＣＰＵ１０１によって実行されて、アルバム作成アプリケーションが起動する。以上が、本実施形態における画像処理装置のソフトウェア構成についての内容である。なお、アプリケーションは、別の形態でも良く、例えば画像処理装置１００で動作するブラウザ内で画面等を表示するＷｅｂアプリでも良い。

＜ＧＵＩ画面について＞
以下、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面について、図４を用いて説明する。図４は、起動したアルバム作成アプリケーションによって提供され、ディスプレイ１０５に表示されるＧＵＩ画面４０１を示す図である。ユーザは、ＧＵＩ画面４０１を介して、アルバムの作成条件を設定することができる。

ＧＵＩ画面４０１は、アルバムに含ませる写真画像の設定部として、パスボックス４０２及びフォルダ選択ボタン４０３を有する。パスボックス４０２は、アルバム作成の対象となる画像群のＨＤＤ１０４中の保存場所（パス）を示すためのボックスである。フォルダ選択ボタン４０３は、アルバム作成の対象とする画像群を含むフォルダを選択するためのボタンである。ユーザがフォルダ選択ボタン４０３をマウス１０７でクリックすると、複数フォルダから構成されるツリーが表示される。そして、アルバム作成の対象とする画像群を含むフォルダをユーザが選択すると、該選択したフォルダのフォルダパスがパスボックス４０２に表示される。

見開き数ボックス４０４は、１冊のアルバムにおける総見開き数を指定するためのボックスである。ユーザは、キーボード１０６を使って見開き数ボックス４０４に直接数字を入力したり、マウス１０７を使ってリストから見開き数ボックス４０４に数字を入力したりすることができる。アルバム数ボックス４１０は、作成するアルバム冊数を指定するためのボックスである。

主被写体指定部４０５は、アルバム数ボックス４１０に入力した数のアルバムそれぞれに対して、強調する主被写体を指定するための要素である。例えば、ユーザはマウス１０７を用いて、主被写体が写っている画像を主被写体指定部４０５にドラッグ＆ドロップすることで、主被写体を指定することができる。例えば、図３で上述したＡさん、Ｂさん等が指定される。

見開き写真枚数設定部４０６は、作成するアルバムの各見開きに配置する画像の枚数を設定するためのスライダーバーである。スライダーが「多」側に移動されると、各見開きに配置する画像の枚数が増える。一方、スライダーが「少」側に移動されると、各見開きに配置する画像の枚数が減る。

商材指定部４０７は、作成するアルバムの商材を設定するための要素である。設定する商材に関する具体的な項目としては、アルバムのサイズまたはアルバムの用紙種類を採用することができる。表紙種類または綴じ部の種類を設定してもよい。

ＯＫボタン４０８は、選択された条件をアルバム作成条件として決定するボタンである。ユーザがＯＫボタン４０８をマウス１０７でクリックすると、アルバム作成条件が確定し、アルバム作成条件設定部２０１を介して、自動レイアウト処理部２０２にアルバム作成条件が伝えられる。具体的に説明すると、パスボックス４０２に入力されているパスの情報は、画像取得部２０３に伝えられる。また、見開き数ボックス４０４に入力されている総見開き数の値は、見開き作成部２１０に伝えられる。アルバム数ボックス４１０に入力されているアルバム数の値および主被写体指定部４０５で指定されている主被写体の情報は、見開き作成パラメータ生成部２０９に伝えられる。

リセットボタン４０９は、表示画面上の各設定内容をリセットするためのボタンである。以上が、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面についての内容である。

＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図５（ａ）を用いて説明する。図５（ａ）は、本実施形態に係るアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、図５（ａ）～（ｃ）に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２またはＲＡＭ１０３に読み出して実行することにより実現される。

ステップＳ５０１において、アルバム作成条件設定部２０１は、アルバム作成条件を設定する。尚以下では、「ステップＳ～」を単純に「Ｓ～」と略記する。本実施形態では、アルバム作成条件として、アルバムに使用する画像群、見開き数、アルバム数、アルバム毎の主被写体、各見開きに配置する画像枚数の多寡、およびアルバムを作成する商材を設定する（図４参照）。

Ｓ５０２において、画像取得部２０３は、Ｓ５０１で設定されたアルバムに使用する画像群に関する条件を満たす画像を、ＨＤＤ１０４から読み込む。そして、画像取得部２０３は、読み込んだ画像をＲＡＭ１０３に展開する。

Ｓ５０３において、画像解析部２０４は、Ｓ５０２でＲＡＭ１０３に展開された画像を解析する。ここで、本ステップの画像解析について、図５（ｂ）を用いて説明する。

Ｓ５０３０１において、画像解析部２０４は、画像取得部２０３が取得した画像データに対応する撮影日時の情報を取得する。本実施形態では、各画像データに付随するＥｘｉｆ情報に基づき、撮影日時の情報を取得する。

Ｓ５０３０２において、画像解析部２０４は、画像取得部２０３が取得した画像データに対する画質の特徴量を導出する。画質の特徴量としては、例えば、ピント量が挙げられる。ピント量の判別手法として、エッジの検出手法を用いることができ、エッジの検出方法として、公知のソーベルフィルタを用いることができる。ソーベルフィルタで画像のエッジを検出し、エッジの始点と終点との間における輝度差を、始点と終点との間の距離で割ることで輝度勾配、即ちエッジの傾きを算出する。画像中のエッジの平均傾きを算出して、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているみなすことができる。本実施形態では、算出したエッジの平均傾きの大きさを測るための複数の閾値を設定し、該算出したエッジの傾きが何れの閾値以上か判定することで、許容できるピント量か判定する。具体的には、異なる２つの傾き閾値として、第１の傾き閾値および第２の傾き閾値（尚、第１の傾き閾値＞第２の傾き閾値）を設定し、○△×の３段階でピント量を判別する。画像中のエッジの平均傾きが第１の閾値以上であれば、好適なピント量とする（○で表す）。また、画像中のエッジの平均傾きが第１の閾値未満且つ第２の閾値以上であれば、許容できるピント量とし（△で表す）、画像中のエッジの平均傾きが第２の閾値未満であれば許容できないピント量とする（×で表す）。

Ｓ５０３０３において、画像解析部２０４は、画像取得部２０３が取得した画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。本実施形態では、オブジェクトとして顔を検出する。顔の検出方法として、任意の公知方法を採用することができ、このような公知方法として例えば、複数用意した弱識別器から強識別器を作成するＡｄａＢｏｏｓｔが挙げられる。本実施形態では、ＡｄａＢｏｏｓｔにより作成した強識別器を用いて人物の顔を検出する。Ｓ５０３０３では、顔を検出すると共に、画像における該検出した顔の領域の左上座標値と右下座標値とを取得する。この２種の座標値を求めることにより、顔の位置および顔のサイズを特定することができる。更に、人物の顔と同様に、犬または猫等の動物と、料理とをそれぞれ検出するＡｄａＢｏｏｓｔも併せて実行することで、人物、動物、および料理のオブジェクトを検出すると同時に、画像内のオブジェクトが何か分類することができる。尚、検出対象のオブジェクトは上記のものに限らず、花、建物、または置物等であってもよい。また、ここでは、ＡｄａＢｏｏｓｔを用いてオブジェクトを検出（分類）するケースを説明したが、ニューラルネットワーク等の学習済モデルを用いてオブジェクト検出（分類）を行ってもよい。

Ｓ５０３０４において、画像解析部２０４は、画像解析部２０４が検出した顔に対して個人認識を行う。まず、抽出した顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似度を導出する。そして、導出した類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤを、抽出した顔画像に対応するＩＤに決定する。つまり、類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤに対応する人物が、抽出した顔画像の人物として特定される。画像解析部２０４は、複数の代表顔画像のそれぞれに対して、処理対象の画像内の顔画像との類似性を取得する。尚、個人ＩＤそれぞれに対して導出される類似度の全てが所定の閾値未満の場合、抽出した顔画像の人物を新規の人物とみなし、新規の個人ＩＤを割り振って、顔辞書データベースに登録する。顔辞書データベースは、例えばＨＤＤ１０４に格納されている。

図５（ａ）の説明に戻る。Ｓ５０４において、画像解析部２０４は、Ｓ５０１で設定された条件を満たす画像群の全画像に対して、Ｓ５０２からＳ５０３の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５０５に進む。一方、該判定結果が偽の場合、Ｓ５０２に戻る。

Ｓ５０５において、シーン分割部２０６は、画像取得部２０３が取得した画像群に対して、シーン分割を実行する。シーン分割とは、取得した画像群を、画像情報を用いて複数のサブ画像群に分けることを指す。具体的には、Ｓ５０３０１で取得済みの撮影日時の情報を画像情報として用いて、画像間の撮影日時の時間差に基づいて画像群を複数に分割する。実際の分割の例は以下の通りである。

画像群のうち、最も撮影時間が古い（または新しい）画像に最初に着目し、その次に古い（または新しい）画像との時間差を算出し、該算出した時間差が所定の閾値以上が判定する。このような処理を、着目画像を撮影時間が新しい（或いは古い）ものに順次置き換えながら、全ての画像に対して行う。尚、本実施形態における「分割」とは、２つの画像間を境に撮影時間の新しい方と古い方とで画像群を分割するという意味である。本実施形態では、着目画像の撮影時間とその次に古い（または新しい）画像の撮影時間との間の差分が１６時間以上の場合は、画像群を分割して、これらの画像が異なるサブ画像群に属するようにする。尚、分割の際に用いる時間差の閾値は、これに限定されるものではない。図６は、上述したシーン分割方法を用いて、画像群を分割した結果を示している。

また、本実施形態では、撮影日時の情報を用いてシーン分割を行ったが、用いる情報はこれに限らない。例えば、撮影位置の情報を用いて、撮影位置が近い画像同士が同一のシーンに属するように、画像群を分割してもよい。別の例として、個人認識結果を用いてもよい。例えば、卒業アルバムにおいて、あるグループ（クラスまたは部活等）に所属する生徒の画像を事前にアプリケーションに登録しておくことで、グループに所属する生徒が写っている画像をまとめた画像群を１つのシーン（サブ画像群）としてもよい。さらに別の例として、画像情報以外の情報を用いてもよい。ここでは類似するイベントを１つのシーンとしてまとめる方法を説明する。画像が保存されているフォルダ名、または、ソーシャルネットワーキングサービス等で付けたタグ情報を画像に付随するメタ情報として取得する。例えば、「運動会」または「修学旅行」などの検索ワードによって、検索ワードを含むメタ情報を持つ画像群を１つのシーンとする。検索ワードの指定に関しては、アルバム作成条件設定部２０１を介してアプリケーションに予め組み込まれている検索ワードの中から、ユーザが選択してもよいし、テキストボックスに検索ワードを入力してもよい。

Ｓ５０６において、シーン分類部２０７は、Ｓ５０５で得たサブ画像群の夫々に対して、シーン分類を行う。尚、以下では、各サブ画像群（各シーン）を「旅行」、「日常」、および「セレモニー」の３つカテゴリの何れかに分類する場合を例に挙げて説明するが、分類する項目はこれらに限定されるものではない。

まず、旅行、日常、およびセレモニーのうち何れに分類されるかを予め判定されたサブ画像群を複数取得し、該取得した複数のサブ画像群の夫々についての、撮影の特徴量を取得する。ここで取得する撮影の特徴量とは、例えば、撮影期間、撮影枚数、および撮影人数である。撮影期間は、サブ画像群に含まれる画像のうち最も古い画像の撮影時間と最も新しい画像の撮影時間との間の時間差である。撮影枚数は、サブ画像群に含まれる画像の数（つまり写真の枚数）である。撮影人数は、顔が写っている画像における顔の数であり、１つの画像に含まれる顔の数である。そして、複数のサブ画像群に対して、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、及び、１画像あたりの人数の平均値と標準偏差を求める。尚、本実施形態では、１画像あたりの顔の数を、１画像あたりの人数とする。

図７は、複数のサブ画像群に対して求めた、撮影期間（時間）の平均と標準偏差、撮影枚数の平均と標準偏差、及び、１画像あたりの人数の平均と標準偏差の一例を示す。これらの求めた値は、アルバム作成アプリケーションのプログラムに予め組み込んでおく。つまり、アプリケーションの設計段階で、予め集めた画像を用いた学習によってパラメータを生成し、該生成したパラメータをプログラムに組み込んでおく。アルバム作成アプリケーションが起動された後、ユーザがパスボックス４０２を介して指定した画像群に対するＳ５０５での分割の結果得られたサブ画像群毎に、撮影期間と、撮影枚数と、１画像あたりの人数とのそれぞれの平均値を算出する。そして、シーン毎に、前述したアプリに予め組み込まれたパラメータ（具体的には、各サブ画像群の撮影期間、撮影枚数、及び撮影人数の特徴量についてのそれぞれの平均値と標準偏差）を用いて、以下の式に従って得点を算出する。
シーン毎且つ特徴量毎の得点＝５０－｜１０×（シーン毎且つ特徴量毎の平均値－サブ画像群毎の特徴量）／シーン毎且つ特徴量毎の標準偏差｜・・・式（１）
シーン毎の平均得点＝（シーン毎の撮影期間の得点＋シーン毎の撮影枚数の得点＋シーン毎の撮影人数の得点）／特徴量の項目数・・・式（２）

式（１）により、着目サブ画像群の、各シーンおよび各特徴量についての得点が求められる。例えば、旅行シーンについて、撮影期間と、撮影枚数と、撮影人数とのそれぞれの得点が求められる。これらの得点を式（２）により平均化して、旅行シーンに対する得点とする。同様に、日常、セレモニーという他のシーンについても得点が得られる。以上説明した手法により、旅行シーンの平均得点と、日常シーンの平均得点と、セレモニーシーンの平均得点とが、サブ画像群毎に算出される。尚、式（２）における特徴量の項目数は３である。

サブ画像群毎に算出したシーン毎の得点のうち最高点のシーンをそのサブ画像群のシーンとして分類する。２以上のシーンが同点の場合は、既定の優先度に従ってシーン分類を行う。例えば、本実施形態では、日常＞セレモニー＞旅行の順に優先することが予め決められており、日常の優先度を最も高くする。尚、優先度の順番はこれに限定されるものではなく、また、ユーザが優先度の順番を変更できるようにしてもよい。

図６のサブ画像群（１）～（８）は、画像群に対するシーン分割により得たサブ画像群を示す。これらサブ画像群のうちサブ画像群（５）について、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であったとする。これに対する旅行の平均得点は４５．３２、日常の平均得点は１８．３８、セレモニーの平均得点は－２９．９２であったとする。その場合、サブ画像群（５）のシーンは旅行に分類される。分類したサブ画像群は、シーン識別ができるようにシーンＩＤを関連付けて管理する。尚、本実施形態では撮影期間、撮影枚数、及び撮影人数を、撮影の特徴量として採用するケースを説明したが、撮影の特徴量はこれらに限らない。例えば、屋内か屋外かを識別するために、機械学習を用いた画像セグメンテーションにより、空が写っているか否か、といったフラグを特徴量として採用してもよい。或いは、セレモニーをさらに細かく分類してもよい。例えば、結婚式と披露宴との何れかに分類する場合、個人認識結果を用いて全画像中で最も多く写っている上位二人を新郎新婦とする。そして、新郎新婦のみが写っている画像が多いシーンを結婚式と分類し、新郎新婦以外の人も共に写っている画像が多いシーンを披露宴と分類してもよい。さらには、特徴量を機械学習によって導出してもよい。例えば、分類したいシーンとそのシーンを表す画像群を用意し、ＣｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ（ＣＮＮ）を用いて入力を画像とし、出力をシーン分類結果となる学習を行うことで、シーン分類を行ってもよい。

Ｓ５０７において、主被写体設定部２０５は、アルバム毎の主被写体を設定する。本実施形態では、主被写体設定部２０５は、アルバム作成条件設定部２０１から送信された、アルバム毎の主被写体の情報を取得する。本実施形態では、全般的に、３種類のアルバムを作成する例を説明しているが、ここでは説明を簡潔にするため、２種類のアルバムに対して、アルバム１に主被写体Ａ、アルバム２に主被写体Ｂを設定した例を説明する。

Ｓ５０８において、画像得点部２０８は、各画像に対する得点付けを行う。この処理を画像得点化処理と呼ぶ。本ステップで導出する「得点」とは、アルバムへの使用適性を評価するためのパラメータであり、画像データ毎に後述する観点で評価した得点が付けられ、後述の画像選択時に参照される。本実施形態では、画質の良し悪しに加えて、Ｓ５０７で設定した主被写体毎の得点を付ける。まず、Ｓ５０３０２で導出した画質の特徴量に応じた得点を付ける。ここでは、ピント量が○（好適）なら１点、△（許容できる）なら０．５点、×（許容できない）なら０点とする。これにより、ピントが合っている画像の得点を高くすることができる。尚、本実施形態では、画質の特徴量としてピント量を採用したが、画質の特徴量はこれに限らない。例えば、画像サイズを用いてもよいし、撮影時に使用したレンズ情報などの撮影情報を用いてもよいし、アプリケーションに入力される画像の圧縮フォーマットを用いてもよい。

画質の特徴量に応じた得点を付けた後、画像得点部２０８は、設定した主被写体毎の得点を付ける。つまり本例では、１つの画像に対して３種類の得点、具体的には、画質が良いか、主被写体Ａが写っているか、主被写体Ｂが写っているか、という３つの観点で評価した得点が付けられる。主被写体毎の得点付けには、Ｓ５０３０３で導出した顔のサイズおよびＳ５０３０４の個人認識結果を用いることができる。画像中に主被写体が写っていない場合は０点とし、写っている場合は、画像サイズに対して主被写体に設定した個人の顔が占める割合を、主被写体毎の得点とする。尚、本実施形態では、顔サイズを用いて主被写体毎の得点付けを行うが、顔サイズ以外のものを用いてもよい。例えば、主被写体である人の表情を判定し、笑顔であれば加点してもよい。また、人以外を主被写体に設定した場合には、Ｓ５０３０３でのオブジェクト検出および分類の結果を用いることで、オブジェクトサイズに応じて同様に得点付けを行う。以上の処理の結果、例えば、１つ目の画像に対して、画質の点数、主被写体Ａの点数、主被写体Ｂの点数が算出される。例えば主被写体Ａが写っていて主被写体Ｂが写っていない画像には、画質が１点、主被写体Ａの点数が１点、主被写体Ｂの点数が０点のように各観点で点数が算出される。

Ｓ５０９において、画像得点部２０８は、画像取得部２０３が取得した画像群の全画像に対してＳ５０８の得点付けが完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１０に進む一方、該判定結果が偽の場合、Ｓ５０８に戻る。

Ｓ５１０において、見開き作成パラメータ生成部２０９は、アルバム作成条件設定部２０１からアルバム作成条件を受け取ると共に、主被写体設定部２０５からアルバム毎の主被写体の情報を受け取って、見開き作成パラメータを生成する。見開き作成パラメータとは、前述したように、見開きを構成する画像の選択およびレイアウトを行う際に使用する設定値のことである。例えば、Ｓ５０８で画像に付けた得点に基づいて見開きに使用する画像を選択する際、画質に応じた得点と各主被写体の得点とのうちどの得点を優先するかを制御する重み、または、画像選択の基準となる閾値などを生成する。見開き作成パラメータ生成部２０９は、見開き作成パラメータとして、全てのアルバムに共通する「共通パラメータ」と、アルバム毎に異なる「個別パラメータ」とを生成する。即ち、見開き作成パラメータ生成部２０９は、（アルバム数＋１）個の見開き作成パラメータを生成する。これにより、見開きを構成する画像および配置が同一の見開きが、複数のアルバムにおいて出現する「共通見開き」と、見開きを構成する画像および配置が特定のアルバムにおいてのみ出現する「個別見開き」とを作成できる。そして、このような見開き作成パラメータ（第一パラメータ）を用いて、Ｓ５０９で画像に付けられた各得点（本例では、３種類の得点）から画像を代表する得点が、見開き作成部２１０において求められることになる。即ち、１つの画像に対して、見開き作成パラメータの数分の得点がそれぞれ求められる。そして、そのようにして求められた得点を用いて、見開きに配置される画像が選択されることになる。例えば、見開きを作成する際において、ある画像Ｘに対して、共通パラメータを用いて得られる得点と、個別パラメータを用いて得られる得点とが異なることになる。以下、見開き生成パラメータと、見開き生成パラメータを用いた、見開きを作成する際の画像の得点の導出例とを説明する。

本実施形態では、共通パラメータには、画像に付けられた各得点が均等に評価される重みを設定する。共通パラメータｗ_iを用いた際の、ある画像Ｉを代表する得点^Iｓｃｏｒｅ_Sを以下の式（３）で表す。

ここで、^Iｓｃｏｒｅ_iは画像Ｉに付けられたｉ番目の得点、ｗ_iは各得点に対する重みを表す。本実施形態では、ｗ_i＝１／３に設定することで、画質の得点、主被写体Ａの得点、主被写体Ｂの得点を均等に評価する。これにより、画質がよく、且つ、より得点の高い人が多く写っている画像が優先される。ここでは、画質の得点には、前述したトリミングの有無などの優先度に応じた得点が反映されているものとする。

一方、個別パラメータには、アルバム毎の主被写体が写っている画像を優先する重みを設定する。個別パラメータｗ_oを用いた際の、ある画像Ｉを代表する得点^Iｓｃｏｒｅ_Iを以下の式（４）で表す。

ここで、^Iｓｃｏｒｅ_qは画像Ｉに付けられた画質の得点、^Iｓｃｏｒｅ_oは画像Ｉに付けられた主被写体Ｏの得点、ｗ_qは画質の得点に対する重み、ｗ_oは主被写体Ｏに対する重みを表す。本実施形態では、ｗ_q＝ｗ_o＝１に設定することで、主被写体が写っている画像のみを評価し、画質と主被写体の大きさにより優先される画像が決まる。尚、本実施形態では見開き作成パラメータとして得点に対する重みを用いたが、見開きパラメータはこれに限らない。また、^Iｓｃｏｒｅ_Sと^Iｓｃｏｒｅ_Iとは共に主被写体が写っている場合に得点が高くなるように求めたが、これに限らない。風景のような主被写体が全く写っていない画像については、別途画質の得点または画像情報などに基づいて、得点を算出してもよい。例えば、得点が高い画像との撮影時間の差が小さい画像については、画質の得点を代表得点としてもよい。これにより、主被写体が写っている画像と関連性がある可能性が高い画像にも高得点を付けることができる。また、これらの関連性などを、重みとして特定して、得点を求めてもよい。

Ｓ５１１において、見開き作成部２１０は、Ｓ５１０で生成されたパラメータを用いてアルバムの見開きデータを作成する。見開き作成部２１０は、見開きの得点が高くなるように、見開きデータを作成する。見開きの得点とは、前述したように、見開き内の各画像の得点の合計の得点である。即ち、第一パラメータに従って得られた各画像の得点に、第二パラメータを掛け合わせることで得られた得点の合計である。尚、前述したように、見開きの得点は、例えば、画像が配置されるスロットの大きさに応じた重みを画像の得点に掛け合わせた結果の合計となる。本例では、まず候補画像を決めた後に、スロットおよび配置を含むレイアウトが行われる。この結果、見開きとしての得点が高い見開きが作成される。ここで、本ステップの見開き作成処理について、図２（ｂ）及び図５（ｃ）を用いて説明する。図２（ｂ）は、見開き作成部２１０の詳細なブロック図である。図５（ｃ）は、Ｓ５１１における見開き作成の詳細なフローチャートである。

Ｓ５１１０１において、見開き作成パラメータ設定部２１００１は、Ｓ５１０で生成したパラメータのうち１つを読み込む。本実施形態では、アルバム１の個別パラメータ、アルバム２の個別パラメータ、共通パラメータの順に読み込む。

Ｓ５１１０２において、見開き候補画像取得部２１００２は、Ｓ５０８で付けられた得点と、Ｓ５１１０１で設定された見開き作成パラメータとに基づき、画像取得部２０３が取得した全画像群の中から、見開きに使用する候補画像を取得する。本実施形態では、Ｓ５０８で求めた得点と、Ｓ５１１０１で設定された見開き作成パラメータとに基づき、前述のように、式（３）または式（４）に従い、各画像に対する得点付けを再び行う（画像の再得点化）。そして、再得点化の結果得られる得点が所定の閾値以上となる画像を候補画像として取得する。つまり、本例の１回目のＳ５１１０２では、アルバム１の個別パラメータを適用した場合の各画像の再得点化が行われる。そして、アルバム１の個別パラメータを適用した場合の得点が所定の閾値以上となる画像が候補画像として取得される。候補画像がない場合は、最も得点が高い画像を候補画像とする。尚、ここでは全画像群から候補画像を取得したが、これに限らない。後述する画像選択処理で既に選ばれた画像は除外してもよい。

Ｓ５１１０３において、見開き数設定部２１００３は、直近のＳ５１１０１で設定された見開き作成パラメータが個別パラメータか判定する。本ステップの判定結果が真の場合、Ｓ５１１０４に進む一方、該判定結果が偽の場合、Ｓ５１１０５に進む。

Ｓ５１１０３でＹＥＳの場合（つまり、直近のＳ５１１０１で個別パラメータが設定された場合）、Ｓ５１１０４に進む。Ｓ５１１０４において、見開き数設定部２１００３は、Ｓ５０５で行ったシーン分割結果と、Ｓ５１１０２で取得した候補画像とに基づき、見開き数（即ち、Ｓ５１１０１で設定された個別パラメータに対応する個別見開き数）を設定する。本実施形態では、以下の式（５）及び式（６）に従って、見開き数を設定する。
シーン毎の見開き数＝ｃｅｉｌ（シーン中の候補画像数÷１見開きあたりの最大画像数）・・・式（５）
個別見開き数＝Σシーン毎の見開き数・・・式（６）

式（５）及び式（６）により、個別パラメータにより作成される見開き数が求まる。１見開きあたりの最大画像枚数は、見開き写真枚数設定部４０６を介するユーザ入力に基づいて設定される。例えば、図６のようにシーンが分割されている場合には、それぞれのシーン中の候補画像数に応じてそれぞれの見開き数が決定される。各シーンには、画像取得部２０３が取得した画像が必ず含まれるが、候補画像（個別パラメータに基づく再得点化の結果取得された候補画像）が、必ずしも含まれるとは限らない。候補画像が含まれないシーンは、当然ながら、この処理（個別パラメータに応じた処理）では、見開き数は０になる。一方で、個別パラメータに対応する主被写体の写っている画像が多く含まれるシーンには、相応の見開き数が割り当てられることになる。尚、個別見開き数が、Ｓ５０１で設定される総見開き数以上になる場合、以下の式（７）に従う。
個別見開き数＝総見開き数－１・・・式（７）

式（７）により、個別パラメータと共通パラメータという、異なるパラメータで作成された見開きを１アルバム中に混在させることができる。これにより、シーン毎に、主被写体が高画質で写っている画像数に応じて個別見開き数を設定できる。尚、個別見開き数に対する上限値、下限値を設定してもよい。

一方、Ｓ５１１０３でＮＯの場合（つまり、直近のＳ５１１０１で共通パラメータが設定された場合）、Ｓ５１１０５において、見開き数設定部２１００３は、以下の式（８）に従って、見開き数を設定する。

共通見開き数＝総見開き数－ＭＩＮ（各アルバムの合計個別見開き数）・・・式（８）
式（８）により、個別見開き数と総見開き数との両方に合わせた共通見開き数を設定できる。尚、式（８）によれば、個別見開き数が一番少ないアルバムの個別見開き数に合わせて共通見開き数が求められる。このため、他のアルバムでは、そのアルバムの個別見開き数に式（８）の共通見開き数を加えると、設定されている総見開き数を超えてしまう。この場合の処理については、後述する見開きを結合する処理において調整が行われることになる。

尚、ここでは、候補画像数に応じて見開き数を設定するケースを説明したが、見開き数の設定手法はこれに限らない。例えば、見開き作成パラメータ生成部２０９がパラメータ内に見開き数を設定し、見開き数設定部２１００３はパラメータに設定された見開き数を読み込んでもよい。また例えば、見開き作成パラメータ生成部２０９は、アルバム作成アプリケーションのプログラムに予め組み込んでおいた見開き数を設定してもよいし、ユーザ指定の個別見開きと共通見開きとの比率に基づいて、見開き数を算出してもよい。以上、個別見開き数と共通見開き数との説明を併せて行った。以下では、引き続き、Ｓ５１１０１で設定されたパラメータごとの処理の説明を続ける。

Ｓ５１１０６において、見開き割当部２１００４は、Ｓ５１１０２で取得した候補画像（即ち、処理対象の見開き生成パラメータに応じた候補画像）を、Ｓ５１１０４またはＳ５１１０５で設定した見開き数分のサブ画像群に分割して割り当てる。本実施形態では、候補画像をＳ５０３０１で取得した撮影時間順に並べ、隣り合う画像間の撮影時間の時間差が大きい場所で分割する。このような処理をＳ５１１０４またはＳ５１１０５で設定した見開き数分に分割するまで行う。つまり、（見開き数－１）回の分割を行う。これにより、撮影時間順に画像が並んだアルバムを作成することができる。つまり、図６で説明したような分割を行うが、その際の分割対象の画像群が、Ｓ５１１０２で取得した、処理対象の見開き生成パラメータに応じた候補画像群である点で、図６で説明した例と異なる。なお、Ｓ５１１０６の処理は、シーン単位で行っても良い。例えば、見開き割当部２１００４は、候補画像の中で旅行というシーンが割り当てられた画像を候補時間順に並べて分割する。続いて、見開き割当部２１００４は、日常というシーンが割り当てられた画像を候補時間順に並べて分割する。以上のように、見開き割当部２１００４は、シーンを切り替えながら分割処理を行っても良い。

Ｓ５１１０７において、見開き画像選択部２１００５は、Ｓ５１１０６で処理対象の見開きに割り当てられた候補画像群の中から、レイアウトに使用する画像を選択する。この時点では、処理対象の見開きに割り当てられた候補画像群の数は、１見開きあたりの最大画像数よりも多い場合もある。もちろん、同じ場合もあれば少ない場合もある。つまり、レイアウトに使用する画像は、決定されていない状態であるので、Ｓ５１１０７では、レイアウトに使用する画像を選択する処理が行われる。以下、図８を用いて、ある見開きに割り当てられた候補画像群から画像を４枚選択するケースを例に挙げて説明する。

図８（ａ）は、見開きに割り当てられた候補画像群に含まれる最初の画像から最後の画像までの撮影日時の時間差、言い換えれば、候補画像群の撮影期間を示す。図８（ｂ）を使って、４枚選択する際の１枚目を選択する方法を説明する。図８（ｂ）に示す候補画像群の撮影期間に撮影された全ての画像のうち、Ｓ５１１０２で再得点化した得点が最も高い画像を、１枚目の画像として選択する。そして、２枚目以降の選択では、候補画像群の撮影期間を細分化して画像を選択することにより、候補画像群の撮影期間の一部に選択画像が集中しないようにする。まず、図８（ｃ）に示すように候補画像群の撮影期間を２分割して、２つの撮影区間（期間）とする。つまり、撮影期間を２等分して２つの撮影区間にする（グループ分けする）。次に、図８（ｄ）に示すように、１枚目の画像が選ばれていない撮影区間（実線の区間）に属する画像の中から得点が最も高い画像を、２枚目の画像として選択する。次に、図８（ｅ）に示すように、図８（ｄ）の各撮影区間をそれぞれ２等分する。図８（ｆ）において、図８（ｅ）の実線で示す撮影区間、即ち、１枚目と２枚目が選ばれていない２つの撮影区間に撮影された画像（２つの撮影区間に対応する画像）のうち得点が最も高い画像を、３枚目の画像として選択する。

次に、画像を選択する範囲の撮影区間に画像が存在せず、画像選択できないケースを４枚目の画像選択を例に挙げて説明する。本実施形態では、画像の枚数に関わらず、時間に応じて撮影期間を分割している。従って、分割して得られた撮影区間に画像が存在しない場合がある。例えば、図８（ｇ）に示すように、まだ画像が選ばれていない撮影区間（斜線で示す撮影区間）から４枚目を選択したいが、この撮影区間には画像が存在しないとする。このような場合は、図８（ｈ）に示すように、画像を選択済みの各撮影区間をそれぞれ２分割する。次に、図８（ｉ）に示すように、図中に実線で示す１～３枚目が選ばれていない撮影区間に撮影された画像の中から得点が最も高い画像を、４枚目の画像として選択する。尚、選択する枚数が４枚から増減した場合についても、前述と同様に画像を選択する。

図５（ｃ）の説明に戻る。Ｓ５１１０８において、テンプレート設定部２１００６は、ＨＤＤ１０４に保存されているテンプレートの中から、レイアウトに利用する複数のテンプレートを選択的に設定する。本ステップでは、Ｓ５０１で設定されたアルバム作成条件を満たすデザインのテンプレートが設定される。

Ｓ５１１０９において、見開きレイアウト部２１００７は、処理対象の見開きに対する画像レイアウトを決定する。具体的には、見開きレイアウト部２１００７は、Ｓ５１１０８で設定された複数のテンプレートの中から、Ｓ５１１０７で選択された画像をレイアウトするのに適したテンプレートを決定する。ここで、本ステップにおけるテンプレート決定の方法について、図９を用いて説明する。図９は、テンプレート決定に関する機能ブロック図である。

選択画像情報取得部９０１は、見開き画像選択部２１００５で選択された画像の枚数と、該画像に関する画像情報とを取得する。取得する画像情報は、画像の幅と高さ、撮影日時情報、及び画像得点部２０８により算出された得点である。テンプレート選択部９０２は、選択画像枚数と一致するスロット数を持つテンプレートを、テンプレート設定部２１００６で設定されたテンプレートの中から選択する。選択画像ソート部９０３は、選択画像を撮影時間順にソートする。テンプレート選択部９０４は、テンプレート選択部９０２で選択されたテンプレートの内、メイン画像を配置するメインスロットが撮影時間順に並べたメイン画像の順と一致するテンプレートを選択する。ここで「メイン画像」とは、見開き画像選択部２１００５で選択された複数の画像のうち、Ｓ５１１０２の再得点化の結果得られる得点が最も得点が高い画像である。一方で、該複数の画像のうちメイン画像でない画像を「サブ画像」とする。このテンプレート選択の際、順番に加え、メイン画像のアスペクト比とメイン画像を配置するスロットのアスペクト比も一致していることが選択条件となる。本実施形態では、テンプレートの左上に撮影時間のより古い画像、右下に撮影時間のより新しい画像をレイアウトするものとする。テンプレート選択部９０５は、テンプレート選択部９０４で選択されたテンプレートの内、サブ画像を配置するスロットが撮影時間順に並べたサブ画像の順と一致し、画像とスロットのアスペクト比が一致しているテンプレートを選択する。図１０は、テンプレート決定処理のフローチャートである。

Ｓ１００１において、選択画像情報取得部９０１は、選択画像情報を取得する。本ステップで取得する選択画像情報には、選択画像数が含まれる。ここでは説明のため、選択画像数は３であるものとする。

Ｓ１００２において、テンプレート選択部９０２は、選択画像数とスロット数とが一致するテンプレートを選択する。ここでは、Ｓ１００１で取得した選択画像数３であったと仮定し、スロット数が３のテンプレートが選択されたものとする。以下、本ステップにて、図１１に示す（１－１）～（４－４）のテンプレートが選択されたケースを例に挙げて説明する。

Ｓ１００３において、選択画像ソート部９０３は、選択画像を撮影時間順に並べる。ここでは、選択画像を撮影時間順に並べた結果、図１１の（Ａ）に示す関係が得られたとする。また、画像１１０５がメイン画像であり、画像１１０６及び画像１１０７がサブ画像とする。

Ｓ１００４において、テンプレート選択部９０４は、撮影順に並べたときのメイン画像の配置位置とメイン画像用のスロット（メインスロットとする）の配置位置とが一致するテンプレートを選択する。さらに、メイン画像とメインスロットとのアスペクト比が一致するテンプレートを選択する。ここでは、画像１１０５は、撮影時間が一番新しく且つメインスロット用の画像であり、アスペクト比が縦画像であるため、図１１の（３－１）～（３－４）のテンプレートが候補となる。

Ｓ１００５において、テンプレート選択部９０５は、サブ画像とサブ画像用のスロット（サブスロットとする）とのアスペクト比が一致するテンプレートを選択する。図１１の例では、サブスロット用の古い方の画像１１０６、即ち、左上に配置したい画像が縦画像で、サブスロット用の新しい方の画像１１０７が横画像である。従って、（３－２）のテンプレートが、選択された３枚の画像に最も適したテンプレートとして決まる。このようにＳ５１１０９では、各見開きに対してレイアウトに用いるテンプレートと、テンプレートの何れのスロットに何れの画像をレイアウトするかを識別できる情報が決定する。なお、ここで決定される情報を見開きデータと呼ぶ。

図５（ｃ）の説明に戻る。Ｓ５１１１０において、見開きレイアウト部２１００７は、処理対象の見開き全てに対して、Ｓ５１１０７～Ｓ５１１０９の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１１１１に進む。一方、該判定結果が偽の場合、Ｓ５１１０７に戻る。

Ｓ５１１１１において、見開き作成パラメータ設定部２１００１は、Ｓ５１０で生成された全パラメータに対してＳ５１１０１～Ｓ５１１１０の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１２に進む。一方、該判定結果が偽の場合、Ｓ５１１０１に戻る。

図５（ａ）の説明に戻る。Ｓ５１２において、見開き結合部２１１は、見開き作成部２１０により作成された各見開きに対するアルバム内での見開き番号を決定し、アルバム全体のレイアウトを作成する。本実施形態では、見開きに配置された画像の撮影時間に基づき、画像が撮影時間順になるように見開きを並べる。

以下、Ｓ５１２の見開き結合について、図１２及び図１３を用いて詳細に説明する。図１２は、本実施形態における見開き結合部２１１の詳細な構成を示すブロック図である。図１３は、見開き結合部２１１が実行する処理のフローチャートである。

Ｓ１３０１において、見開き取得部１２０１は、見開き作成部２１０により作成された見開きのうち、１つのアルバムに関する見開きデータを取得する。本実施形態では、例えば本ステップで取得するアルバム１に関する見開きデータとは、共通パラメータで作成された見開きデータと、アルバム１の個別パラメータで作成された見開きデータとを含む。

Ｓ１３０２において、ソート基準値算出部１２０２は、見開き取得部１２０１が取得した各見開きデータに対して、ソートの基準となる値を算出する。本実施形態では、ソートの基準値を見開きデータに配置された画像の平均撮影時間とする。尚、ソートの基準値は撮影時間に限らない。例えば、見開きに配置された画像の平均撮影位置（緯度経度）としてもよいし、画像枚数でもよいし、色ヒストグラムのように画像解析情報を用いてもよい。

Ｓ１３０３において、ソート部１２０３は、見開き取得部１２０１が取得した見開きデータを、ソート基準値算出部１２０２が算出したソート基準値に基づいてソートする。本実施形態では、平均撮影時間が早い見開きから昇順に並べる。

Ｓ１３０４において、見開き数調整部１２０４は、処理対象のアルバムの見開きデータの数がＳ５０１で設定した総見開き数と同じか判定する。本ステップの判定結果が真の場合、Ｓ１３０６に進む。一方、本ステップの判定結果が偽の場合、つまり、Ｓ５１１０４で処理対象のアルバムの見開き数が総見開き数以上に設定された結果、アルバムの見開き数が総見開き数を超過した場合、Ｓ１３０５に進む。

Ｓ１３０５において、見開き数調整部１２０４は、見開き取得部１２０１が取得した見開きデータのうち、不要な見開きデータを削除することで、アルバムの見開き数がＳ５０１で設定された総見開き数に近づくように調整する。本実施形態では、共通見開きデータを削除することで見開き数を調整する。具体的には、アルバム内にある共通見開きデータのうち、ソート基準値算出部１２０２が算出した見開きデータの撮影時間が、個別見開きデータの撮影時間に最も近い共通見開きデータを削除する。削除した後、Ｓ１３０４に移行する。尚、本実施形態では共通見開きデータを削除したがこれに限らない。個別見開きデータを削除することで見開き数の合計を調整してもよい。

Ｓ１３０６において、見開き取得部１２０１は、全てのアルバムに対してＳ１３０１～Ｓ１３０５の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１３に進む一方、該判定結果が偽の場合、Ｓ１３０１に戻る。これにより、アルバム全体を通して画像を撮影時間順に並べることができる。以上が、本実施形態における自動レイアウト処理についての内容である。本実施形態では、共通見開きと個別見開きの数および位置をアルバム毎に自動で設定できる。複数のアルバムで同一な共通見開きとアルバムごとに異なる個別見開きを持つ主被写体の異なる複数アルバムを自動レイアウトすることができる。

＜＜アルバムデータの編集処理＞＞
＜編集処理の概要＞
これまでは、見開きの属性として、共通見開きと個別見開きとを有するアルバムデータを自動で生成する処理を説明した。以下では、生成されたアルバムデータを、ユーザが編集することが可能なアルバム編集アプリケーションの機能及び処理を説明する。本実施形態では、編集ユーザは、アルバム作成アプリケーションを操作するユーザと同一のユーザであることを想定して説明するが、同一ユーザでなくてもよい。以下では、まず、アルバムデータの編集処理の全般的な概要を説明し、その後に、本実施形態の詳細な処理を説明する。

図１４は、本実施形態におけるアルバム編集アプリケーション１４００のソフトウェアブロック図である。本実施形態では、アルバム編集アプリケーション１４００は、ＨＤＤ１０４に保存されたアルバム作成アプリケーションの機能の一部であるものとして説明するが、アルバム作成アプリケーションとは別のアプリケーションとして設けられてもよい。また、アルバム編集アプリケーションが起動される画像処理装置は、アルバムデータを生成した画像処理装置１００と同一の装置でもよいし、別の画像処理装置でもよい。

図１４に示すように、アルバム編集アプリケーション１４００は、編集モード指示部１４０１と、アルバム情報受取部１４０２と、アルバム編集部１４０３と、アルバム表示部１４０４と、アルバム情報保持部２１５とを含む。尚、アルバム情報保持部２１５は、アルバム編集アプリケーション１４００に含まれていなくてもよい。

編集モード指示部１４０１は、例えばマウス１０７によるＵＩ操作で編集モードパネル１５０８（図１５Ａ参照）をユーザがクリックしたことを検出した際に、アルバム編集アプリケーション１４００を編集モードに移行させる。編集モードとは、見開き追加、トリミング、画像入れ替え、テンプレート変更、サイズ変更、配置変更、テキスト・スタンプの挿入、または、見開き削除といったアルバムの内容を変更する操作を行うことができるモードである。ここでは、編集モードパネルのクリックの検出時に編集モードに移行する例を説明したが、アルバムデータの生成後は、常に編集モードに移行してもよい。あるいは、任意のアルバムを選択したときに編集モードに移行するとしてもよい。

アルバム情報受取部１４０２は、編集モード指示部１４０１により編集モードに移行した際に、アルバム情報保持部２１５からアルバム情報を受け取る。アルバム情報は、前述したように、アルバム構成情報、アルバム生成情報、及びアルバム変更情報を含む情報である。アルバム情報受取部１４０２は、アルバム単位でアルバム情報を受け取る。

アルバム編集部１４０３は、アルバム情報受取部１４０２がアルバム情報保持部２１５から受け取ったアルバム情報を用いて、ユーザによるマウス１０７またはキーボードを用いたＵＩ操作に応じてアルバムを編集する。前述したように、アルバム情報には、アルバム構成情報およびアルバム生成情報が含まれており、アルバム情報を用いることで、アルバム作成アプリケーションで作成されたアルバムデータと同様のアルバムデータを得ることができる。アルバム編集部１４０３でアルバムが更新されると、アルバム編集部１４０３は、アルバム情報保持部２１５にアルバム情報を出力してアルバム情報を更新する。また、アルバム編集部１４０３は、アルバム編集の際に、ユーザに表示する推奨（レコメンドともいう）を作成することができる。レコメンドの例としては、ユーザが編集している見開きにおける入れ替えの推奨画像、または、テンプレートもしくは配置を含む推奨見開きなどが挙げられる。アルバム編集部１４０３は、編集モード指示部１４０１により編集モードに移行した際に、各種のレコメンドを作成し、作成したレコメンドをアルバム表示部１４０４に出力することができる。

アルバム表示部１４０４は、アルバム編集部１４０３が出力したビットマップデータをディスプレイ１０５に表示する。また、アルバム表示部１４０４は、アルバム編集部１４０３によって編集中の編集画面をディスプレイ１０５に表示する。また、アルバム表示部１４０４は、アルバム編集部１４０３が作成したレコメンドを表示する。

なお、アルバム編集アプリケーション１４００の編集の結果、得られたアルバムデータは、ユーザ指示に基づき、インターネットを介してサーバにアップロードされてもよい。アップロードされたアルバムデータに基づき、印刷及び製本処理が実行され、冊子としてのアルバム（フォトブック）が作られ、指定されたユーザの元へ届けられる。

図１５Ａおよび図１５Ｂは、本実施形態におけるアルバムの編集画面のＵＩ表示例を示す図である。図１５Ａは、アルバム生成後のディスプレイ１０５に表示される画面例である。本実施形態のアルバムデータは、前述したように、アルバム対象者（主被写体）が、Ａさんのアルバム１、Ｂさんのアルバム２、およびＣさんのアルバム３の、３つのアルバムのデータであるものとする。画像１５０１は、見開きに配置された画像の例であり、画像１５０１中の文字は画像中に写っている主被写体を表している。共通見開き１５０２は、複数の主被写体が写っている画像を中心にレイアウトされている例である。一方、個別見開き１５０３、１５０４、１５０５はそれぞれ、主被写体Ａ、主被写体Ｂ、主被写体Ｃが写っている画像を中心にレイアウトされている。前述したように、本実施形態では、異なる基準で作成された見開きで構成されている複数のアルバムが作成されている。編集モードパネル１５０８は、マウス１０７でクリックしたときに編集モードに移行するパネルである。文字１５０６および１５０７は、ディスプレイ１０５上に共通見開きと個別見開きであることをそれぞれ示す文字である。尚、ここでは、文字で示しているが、見開きの背景色を共通見開きと個別見開きとで変えるとしてもよい。

図１５Ｂ（１）は、編集モードパネル１５０８をマウス１０７でクリックした後に、アルバム編集アプリケーション１４００によって、ディスプレイ１０５に表示される画面である。即ち、図１５Ｂ（１）は、編集画面の例を示している。図１５Ｂ（１）では、アルバム単位での編集画面を示している。即ち、各アルバムの各見開きがそれぞれ表示されている。尚、アルバムまたは見開きが画面内に入らない場合には、スクロール表示などにより全体を確認できるように構成してもよいし、表示する見開きサイズを変更して全見開きを画面に表示してもよい。本実施形態では、編集対象の見開きが、共通見開きか個別見開きかによって異なる処理が行われる。詳細は後述する。尚、「編集対象の見開き」とは、図１５Ｂ（１）の編集画面の例では、各アルバムの各見開きが「編集対象の見開き」になる。即ち、図１５Ｂ（１）の例では、計１２個の見開きが「編集対象の見開き」になる。

画像挿入パネル１５０９は、マウス１０７でクリックしたときに画像挿入を行う状態となる。例として、挿入する画像を決めるためにアルバム作成時の画像取得部の全画像を表示し、その画像を選択できるようにしてもよい。全画像ではなく、アルバムに使用されていない画像としてもよい。テキスト挿入パネル１５１０は、マウス１０７でクリックしたときにテキスト挿入を行う状態となる。例えば、テキスト挿入パネル１５１０へのマウス１０７のクリックに応じて、マウスカーソルをテキスト挿入カーソルに変更し、アルバム内をマウス１０７でクリックした場合にテキストを入力できるようにしてもよい。その際にテキストサイズ、フォント、またはテキストの色を設定できるようにしてもよい。スタンプ挿入パネル１５１１は、マウス１０７でクリックしたときにスタンプ挿入を行う状態となる。例えば、スタンプ挿入パネルへのマウス１０７のクリックに応じて、スタンプを表示し、その中からユーザが任意のスタンプを選択し、アルバム内にスタンプを追加できるようにしてもよい。見開き追加パネル１５１２は、マウス１０７でクリックしたときに見開き追加ＵＩを表示するパネルである。プラスマーク１５１３は、マウス１０７でクリックすることで見開き追加挿入位置をプラスマークの位置に固定して見開き追加を行うアイコンである。

図１５Ｂ（２）は、任意のアルバムの任意の見開きに焦点を当てた場合の編集モードである。図１５Ｂ（２）では、図１５Ｂ（１）のアルバム１の見開き１に焦点を当てている例を示している。図１５Ｂ（２）は、見開き単位での編集を行う編集画面である。図１５Ｂ（２）の編集画面においては、「編集対象の見開き」は、焦点が当てられている見開きになる。即ち、図１５Ｂ（２）の例では、「編集対象の見開き」は、アルバム１の見開き１となる。図１５Ｂ（２）に示すような見開き単位の編集モードにするには、例えば図１５Ｂ（２）のいずれかの見開きをマウス１０７でクリックしたときに、その見開きに焦点を当てた見開き単位の編集モードに移行するようにしてもよい。尚、図１５Ｂ（２）において小さく表示されているアルバム２の見開き１をクリックすると、そのクリックされたアルバム２の見開き１に焦点を当てた編集画面が表示される。

尚、ここまでの例では、各種のパネルをマウス１０７で左クリックすることを想定して説明しているが、例えばマウス１０７の右クリックでメニューを表示し、そのメニューをマウス１０７で左クリックすることで所望の編集状態としてもよい。

また、編集モード指示部１４０１は、編集結果を反映するタイミングを設定する。編集結果の反映とは、編集による変更情報に基づいて、あるアルバムに行った編集を他のアルバムにも行う処理である。編集結果反映のタイミングとしては、何らかの編集操作が行われたときでもよいし、ユーザがアルバムを保存したときでもよいし、編集対象見開きを変更したタイミングでもよいし、編集対象のアルバムを変更したタイミングでもよい。また、ユーザ設定によってタイミングを指定してもよいし、タイミングをソフトウェア側で予め決定しておき、そのタイミングを用いてもよい。このような各種のタイミング条件を満たした場合、アルバム編集部１４０３は、編集結果の反映処理を行う。本実施形態では編集結果反映のタイミングとして、何らかの編集操作が行われたときとする。以上がアルバム編集処理の全般的な説明である。

＜外すレコメンド処理＞
次に、本実施形態における編集時のレコメンド処理を説明する。本実施形態では、所定の条件に従って自動でレコメンドが実施される。本実施形態における編集時のレコメンドでは、アルバムに採用済みの画像を外すレコメンド（以下、単に「外すレコメンド」という）を含む各種のレコメンドが行われる。

図１６は、アルバム編集部１４０３のブロックを示す図である。アルバム編集部１４０３は、レコメンド条件設定部１６０１、編集見開き判定部１６０２、アルバム情報取得部１６０３、画像取得部１６０４、使用済み画像判定部１６０５、画像解析部１６０６、シーン分割部１６０７、シーン分類部１６０８を有する。また、主被写体設定部１６０９、画像得点部１６１０、パラメータ生成部１６２０、およびレコメンド部１６３０を有する。パラメータ生成部１６２０は、画像選択パラメータ生成部１６１１と見開き作成パラメータ生成部１６１５とを有する。レコメンド部１６３０は、画像選択部１６１２と見開き生成部１６１６とを有する。

レコメンド条件設定部１６０１は、レコメンド数、レコメンド単位、およびレコメンド種類などのレコメンド条件を設定する。レコメンド数とは、レコメンドをする数のことである。レコメンド単位とは、ユーザが表示している編集画面の表示単位のことである。レコメンド単位の例としては、「見開き」、「アルバム」、及び、「常に表示する」、がある。レコメンド単位を「見開き」とした場合には、図１５Ｂ（２）のように、ある見開きに焦点をあてた場合に、レコメンドが行われる設定となる。レコメンド単位を「アルバム」とした場合には、図１５Ｂ（１）のように、アルバム全体の編集画面を表示している場合にレコメンドが行われる設定となる。レコメンド単位を「常に表示する」とした場合には、見開き単位でもアルバム単位でもレコメンド単位が行われる設定となる。

レコメンド種類とは、レコメンドを表示する単位のことである。レコメンド種類の例としては、「画像」と「見開き」とがある。レコメンドの種類が「画像」の場合、見開きに含まれている（あるいは、これから含める）画像をレコメンドする。レコメンドの種類が「見開き」の場合、見開きそのもの（即ち、所定の画像が所定のスロットに配置された見開き全体）をレコメンドする。レコメンドには、画像の入れ替え、画像の追加、見開きの入れ替え、見開きの追加などの各種のレコメンドが含まれるが、本実施形態では、外すレコメンドを中心に説明する。

外すレコメンドの場合、レコメンドの種類が「画像」に設定されている場合、見開きの中の任意の画像を強調表示することで、その画像を外すことをユーザにレコメンドする。また、レコメンドの種類が「見開き」に設定されている場合、見開きの中から少なくとも１枚の画像を削除することで新たに生成された見開きをユーザにレコメンドする。このとき、必要に応じてスロットの位置またはサイズなどを変更した見開きが生成される。また、その際の画像の配置、テンプレート、および時系列は、外すレコメンドをする前の処理対象（編集対象）の見開きと同じでもよいし、異ならせるようにユーザが指定してもよい。また、見開き単位で外すレコメンドをする場合、外すレコメンド後（つまり、少なくとも１枚の画像を削除した後）の見開きに用いる画像は、外すレコメンド前の編集対象の見開きに用いられている画像であって削除対象でない画像と同じでもよい。あるいは、外すレコメンドの前後で、異なる画像を用いて、外すレコメンドの見開きを作成してもよい。また、外すレコメンドとして、見開きそのものを削除するレコメンドをしてもよい。

このようなレコメンド条件は、ユーザが設定してもよいし、あらかじめ定めておいてもよい。例えば、アルバムデータを生成する際に、図４で設定したアルバム条件設定において、見開き数を多めに設定したり、画像枚数を多めに設定したりして、アルバムデータを生成することがある。このような場合に、外すレコメンドが行われると、ユーザが画像枚数を減らしたり、見開き数を減らしたりする編集をする際のユーザビリティが向上する。また、アルバムを製本する際のコスト、用紙の種類、または綴じ方などに応じて、見開き数を減らしたい場面もある。このため、外すレコメンドを行うことで利便性が向上する。従って、アルバム作成アプリケーションによって作成されたアルバムデータを編集する際に、ユーザが編集作業を行う最初の時点からレコメンドを表示してもよい。また、他の例として、ユーザが編集作業を行っており、画像挿入パネル１５０９をクリックして、追加の画像を選択している場合には、その画像と入れ替えるのに適した、外すレコメンドを表示してもよい。

図１７は、レコメンド条件を設定するＵＩ画面の例を示す図である。図１７は、アルバム編集アプリケーション１４００が提供する表示画面１７０１であり、ディスプレイ１０５に表示される。表示画面１７０１でユーザによって指定された項目が、レコメンド条件としてレコメンド条件設定部１６０１で設定されることになる。

レコメンド数ボックス１７０２は、レコメンドで表示する数を指定するボックスである。ユーザは、キーボード１０６を使ってレコメンド数ボックス１７０２に直接数字を入力したり、マウス１０７を使ってリストからレコメンド数ボックス１７０２に数字を入力したりすることができる。

レコメンドスケールチェックボックス１７０３は、レコメンドを表示する際の編集画面の単位（スケール）を指定するボックスである。ユーザは、キーボード１０６またはマウス１０７を使ってチェックボックスを指定することができる。選択されたスケールの編集画面でのみレコメンドが表示されることになる。ここでのスケールとはユーザが表示している画面状態であり、アルバム、見開き、または、常に表示する、が示されている。前述したように、レコメンド単位として見開きが設定されると、図１５Ｂ（２）のような編集画面を表示する際にレコメンドが表示される。レコメンド単位としてアルバムが設定されると、図１５Ｂ（１）のような編集画面を表示する際にレコメンドが表示される。

レコメンド種類チェックボックス１７０４は、レコメンドを表示する際の種類を指定するボックスである。ユーザは、キーボード１０６またはマウス１０７を使ってチェックボックスを指定することができる。このレコメンド種類の設定では、前述のように、「画像」または「見開き」を設定することができる。

ＯＫボタン１７０５は、選択された条件をレコメンド条件として決定するボタンである。ユーザがＯＫボタン１７０８をマウス１０７でクリックすると、レコメンド条件が確定し、レコメンド条件設定部１６０１を介して、アルバム編集部１４０３にレコメンド条件が伝えられる。リセットボタン１７０６は、表示画面上の各設定情報をリセットするためのボタンである。

尚、図１７には示していないが、本実施形態で説明する外すレコメンドを行うか否かをユーザが指定できるＵＩが図１７に含まれていてもよい。また、外すレコメンドの対象である編集対象見開きを、共通見開き、個別見開き、または、共通見開きと個別見開きの両方の、いずれかからユーザが指定できるＵＩが図１７に含まれていてもよい。そして、レコメンド条件設定部１６０１は、これらの条件を加えたレコメンド条件を設定してもよい。

編集見開き判定部１６０２は、編集対象見開き（レコメンド対象となる見開き）が、共通見開きか個別見開きかを判定する処理部である。共通見開きとは見開きの自動作成時の基準が共通基準で作成された見開きのこととする。他の共通見開き判定例としては、アルバム間で同じ見開きがある見開きを共通見開きとしてもよいし、フラグを用いて共通見開きの管理を行ってもよいし、ある見開き番号の見開きを共通見開きとしてもよい。編集対象見開きは、前述したように、図１５Ｂ（２）の編集画面が表示される場合には、焦点が当てられているその見開きが編集対象見開きであり、図１５Ｂ（１）の編集画面が表示される場合には、アルバムの全ての見開きが編集対象見開きとなる。

アルバム情報取得部１６０３は、アルバム情報受取部１４０２が受け取ったアルバム情報を取得する。

画像取得部１６０４は、アルバム情報取得部１６０３が取得したアルバム情報に存在する、アルバム作成に用いた画像群を取得する。画像取得部１６０４は、画像取得部２０３と同様の処理部である。アルバム作成に用いた画像群を保持している場合には、画像取得部１６０４は、画像取得をスキップして取得済み画像をそのまま用いてもよい。尚、アルバム生成の画像取得部２０３でのフォルダ設定と異なる場合、または、ＨＤＤ１０４が更新されている場合には、画像取得部１６０４は、設定された画像群をＨＤＤ１０４から取得する。

使用済み画像判定部１６０５は、アルバム情報取得部１６０３で取得したアルバム構成情報（使用画像情報）から、画像取得部１６０４で取得した画像がアルバム内で使用されている画像であるかを判定する。本実施形態では、使用済み画像判定部１６０５は、アルバム情報取得部１６０３から全アルバムでの使用画像情報を取得し、使用済み画像であるかの判定を行う。尚、他の例として個別見開きに対する外すレコメンドの場合には、編集対象アルバムでの使用画像情報を用い、共通見開きに対する外すレコメンドの場合には、全アルバムでの使用画像情報を用いるとしてもよい。本実施形態で行う外すレコメンドは、既に使用済みの画像に対して行われるので、外す画像の候補は、使用済み画像と判定された画像となる。尚、使用済み画像と判定された画像に使用済み画像フラグまたは使用済み画像ラベルを付与してもよい。そして、アルバム編集部１４０３は、使用済み画像以外の画像に対して、以下の処理を行わない、または、使用済み画像は、外すレコメンドの対象の画像として選択しない、といった処理を行ってもよい。本実施形態では、使用済み画像と判定された画像に使用済み画像フラグを付加し、フラグが付加されていない画像は、外すレコメンド対象として選択しない。また、本実施形態では、使用済み画像判定部１６０５は、アルバム情報取得部１６０３で取得したアルバム変更情報（編集履歴）を参照し、ユーザ操作でアルバムに新たに追加された画像も、使用済み画像と判定する。ユーザ操作で追加された画像には、使用済み画像フラグとは区別して、ユーザ使用画像フラグを付加する。

画像解析部１６０６は、画像取得部１６０４が取得した画像データの解析処理をする。画像解析部１６０６は、画像解析部２０４と同様の処理部である。尚、画像取得部１６０４で取得した画像であってアルバム作成時と同じ画像には、アルバム作成時の解析結果を用いてもよい。

シーン分割部１６０７は、画像取得部１６０４で取得した画像群を画像解析部１６０６の解析情報を基にシーンに分割する。シーン分割部１６０７は、シーン分割部２０６と同様の処理部である。尚、画像取得部２０３で取得した画像であってアルバム作成時と同じ画像がある場合には、アルバム作成時の解析結果を用いてもよい。

シーン分類部１６０８は、シーン分割部１６０７により得られたシーン中の画像群のカテゴリを判定する。シーン分類部１６０８は、シーン分類部２０７と同様の処理部である。尚、画像取得部２０３で取得した画像であってアルバム作成時と同じ画像がある場合には、アルバム作成時の解析結果を用いてもよい。

主被写体設定部１６０９は、アルバム毎に優先する主被写体を設定する。主被写体設定部１６０９は、主被写体設定部２０５と同様の処理部である。本実施形態では、主被写体設定部１６０９は、個別見開きと共通見開きとのいずれも、アルバム作成時と同じ主被写体とする。

画像得点部１６１０は、画像解析部１６０６で得られた解析情報および主被写体設定部１６０９の主被写体により、各画像に対して得点付けをする。アルバム作成アプリケーションの画像得点部２０８と同様に、画像得点部１６１０は、レイアウトに適した画像が高得点になるように各画像に対して得点付けをする。レイアウトに適した画像が高得点になるように得点付けする際は、画像の解析情報、画像分類結果、画像情報、または主被写体情報などを用いる。これにより、画質の得点および主被写体毎の得点が各画像に付与される。尚、アルバム情報に各画像の得点が含まれている場合、その得点を用いてもよい。

パラメータ生成部１６２０は、画像を選択したり、見開きを決定したりするためのパラメータを生成する。パラメータ生成部１６２０は、画像選択パラメータ生成部１６１１と、見開き作成パラメータ生成部１６１５とを有する。図１７のレイアウト条件において、レコメンド種類として「画像」が選択されている場合には、画像選択パラメータ生成部１６１１を用いた処理が行われる。レコメンド種類として「見開き」が選択されている場合には、見開き作成パラメータ生成部１６１５を用いた処理が行われる。

レコメンド部１６３０は、画像選択部１６１２と見開き生成部１６１６とを有する。図１７のレイアウト条件において、レコメンド種類として「画像」が選択されている場合には、画像選択部１６１２を用いたレコメンド処理が行われる。レコメンド種類として「見開き」が選択されている場合には、見開き生成部１６１６を用いたレコメンド処理が行われる。

以下では、まず、レコメンド種類として「画像」が選択されている場合の例を説明する。即ち、画像選択パラメータ生成部１６１１と画像選択部１６１２とを用いる例を説明する。

画像選択パラメータ生成部１６１１は、主被写体設定部１６０９で設定された主被写体と画像解析部１６０６で得られた解析情報とにより、画像を選択するためのパラメータを生成する。ここでいうパラメータ（画像選択パラメータ）とは、画像選択を決定する設定のことである。例えば、画像を選択する際に、画像得点部１６１０で得られた得点に与える重みが挙げられる。画像選択パラメータ生成部１６１１での重みの算出に用いる情報の例としては、見開き作成パラメータ生成部２０９でおよび見開き作成部２１０で説明した各種の情報が挙げられる。即ち、画像選択パラメータは、前述した、画像単体での得点を求める第一パラメータと同等のパラメータである。また、画像選択パラメータ生成部１６１１は、見開き作成パラメータ生成部２０９での処理と同様に、共通見開き用のパラメータと、各アルバムの個別見開き用のパラメータとを生成する。

本実施形態の画像選択パラメータ生成部１６１１は、外すレコメンドをするための画像を選択するためのパラメータを生成するものである。従って、既に見開きに配置されている画像の選択のためのパラメータである。このため、使用済み画像以外の画像は、選択しないようなパラメータとする。また、既に見開きに配置されている画像の選択のためのパラメータであるので、その画像が配置されている見開きに応じた重みとすることもできる。即ち、前述したように、見開き内での関係性を考慮した第二パラメータをも含むパラメータとしてよい。具体的には、画像選択パラメータ生成部１６１１は、使用画像情報、画像が含まれている見開き内の時間情報、画像が含まれている見開き内のスロットのサイズ、および配置情報を用いて、重みを決定してよい。見開き作成部２１０の処理において説明したように、スロットに画像を配置する際に、トリミングをして配置した画像か、そうでない画像かを、その画像が使用されている見開きが共通見開きか個別見開きかに応じて重みを変えてもよい。また、画像選択パラメータ生成部１６１１は、ユーザが追加的に挿入したユーザ使用画像の得点が高くなるように重みをかけて、ユーザ使用画像の得点を大きくする調整をするパラメータを生成してもよい。これにより、自動レイアウトの際の画像得点では低得点でもユーザが好んで変更を加えたと考えられる画像に対して、外すレコメンドすることを抑制することができるようになる。

また、前述したように、共通見開き用のパラメータと個別見開き用のパラメータとが用いられる。このため、同一の画像Ｘであっても、その画像が共通見開きに配されている画像か、個別見開きに配されている画像か、個別見開きの場合でも、どのアルバムの個別見開きに配されている画像か、などによって得点が変わり得る。例えばアルバム１のアルバム対象者（主被写体）はＡさんである。このため、アルバム１のある個別見開き内において、Ａさんが一人で写っている画像Ｐ１は、Ａさんを含む複数人で写っている画像Ｐ２よりも、得点が高くなる。一方、主被写体がＢさんであるアルバム２の個別見開きにおいては、もし、その画像Ｐ１または画像Ｐ２が含まれている場合、アルバム１での得点と異なることになる。主被写体ごと（アルバムごと）に応じた個別パラメータが生成されることになるからである。一方、共通見開きの場合には、共通見開き内にアルバムごとでの同一の画像Ｐ３が含まれている場合、どのアルバムにおいても、その画像Ｐ３の得点は、同じ得点になる。

画像選択部１６１２は、画像得点部１６１０の結果と、使用済み画像判定部１６０５の使用画像情報と、画像選択パラメータ生成部１６１１のパラメータと、に基づいて、画像を選択する。即ち、画像選択部１６１２は、編集対象見開き内で得点の低い画像を、外すレコメンドとして提示する画像として選択する。本実施形態のレコメンド部１６３０では、アルバム内から外す画像をレコメンドする。このため、得点の低い画像を外すことが、他の画像を外すことと比較して、ユーザに対するお勧めになるからである。

尚、ユーザが編集画面において新たに追加したい画像であって、現在アルバムに使用されていない未使用画像を選択している場合、画像選択部１６１２は、その未使用画像（即ち、ユーザ使用画像）を考慮して画像の選択をする。例えば、ユーザ使用画像と、アルバムに配置されている画像との間で類似している類似画像群の中で、得点が低い画像を、外すレコメンドの画像として選択する。これにより、アルバム内で類似画像が配置されてしまうことを抑制することができる。ここでの類似判定とは、例えば画像としての類似が挙げられる。画像としての類似判定の例としては、ＳＳＩＭ（Structure Similality）を用いた判定が挙げられる。具体的には、編集対象見開きに含まれている（即ち、使用済みフラグが付与されている）各画像と、ユーザ使用画像との間でのＳＳＩＭの値をそれぞれ算出する。算出したＳＳＩＭの値が閾値０．８以上であれば類似と判定してもよい。この閾値は例であり、他の値としてもよい。またはＳＳＩＭの代わりにＰＳＮＲ（Peak Signal-to-Noise Ratio)）を用いてもよい。ＰＳＮＲも例えば４０ｄＢを閾値とする、などのように閾値は任意に定めてよい。この閾値の決定方法として、あらかじめ定めておいてもよいし、ユーザが選択してもよい。ユーザが選択する場合には、閾値を直接決めるのではなく、スライダーで閾値を厳しくする、または、弱くするといった間接的な選択方法でもよい。他の類似画像判定例としては、コンテンツごとに分ける方法がある。例えば、画像の主被写体に応じて分類する方法または画像内の物体検出をして、多くの同じ物体で構成されている画像を類似画像と分類する方法でもよい。

このようにユーザが選択した未使用画像（ユーザ使用画像）に類似する類似画像が存在する場合には、画像選択部１６１２は、外すレコメンド画像として、類似画像群の中で画像得点の低い画像を選択する。外すレコメンド画像を選択する際には、共通見開きと個別見開きとのそれぞれで、外す候補画像を選択してもよい。

また、本実施形態では、見開きが時間軸に沿って配置されている。このため、ユーザ使用画像が、どの見開きの時間軸にふさわしいかを決定するために見開きの時間軸とユーザ使用画像の時間情報との間で比較を行ってもよい。ふさわしい見開きとは、ユーザ使用画像の時間を見開きの時間範囲が含んでいる見開きのことである。画像選択部１６１２は、ふさわしい見開きを決定した後に、その見開き内の画像との間で類似判定を行う。そして、類似画像が存在する場合には、外すレコメンドとして、その類似画像の中で画像得点の低い画像を選択する。このように、画像選択部１６１２では、画像単体での観点から、外すレコメンドとしての画像の選択をしてもよいし、画像が含まれている見開きの情報を考慮して、外すレコメンドとしての画像の選択をしてもよい。そして、レコメンド部１６３０は、画像選択部１６１２が選択した画像を、外すレコメンドとして特定して、アルバム表示部１４０４に出力する。

アルバム表示部１４０４は、レコメンド部１６３０によって、外すレコメンドとして出力された画像の強調表示をする。本実施形態では、図１５Ｂ（１）または図１５Ｂ（２）で示す各編集画面における見開き内の画像を強調表示する例を説明するが、別画面などにおいて外すレコメンドの表示をしてもよい。

図１８は、レコメンド種類が「画像」の場合、即ち、画像選択パラメータ生成部１６１１および画像選択部１６１２での処理の結果表示される、外すレコメンドの例を示す図である。図１８（ａ）は、レコメンドスケールチェックボックス１７０３にて、レコメンド単位に「アルバム」が設定された例であり、図１８（ｂ）は、レコメンドスケールチェックボックス１７０３にて、レコメンド単位に「見開き」が設定された例を示している。また、図１８において、太字の点線部が、外すレコメンドとしての強調表示を示している。

図１８（ａ）の各アルバムの各見開きは、図１５Ｂ（１）の各アルバムの各見開きと同じである。この例では、レコメンド数ボックス１７０２で、レコメンド数が「２」と設定されている例を示している。図１８（ａ）では、編集対象見開きは、アルバム１～３の各見開き１～４となる。レコメンド単位は、「アルバム」であるので、アルバムごとに、外すレコメンドを表示する。アルバム１の例で説明すると、個別見開きである見開き２の画像１８０１と、共通見開きである見開き４の画像１８０２とが、外すレコメンドとして表示されている。尚、前述したように、画像１８０１および画像１８０２は、画像選択パラメータ生成部１６１１によって生成された画像選択パラメータに従って画像選択部１６１２において選択された画像である。同様に、アルバム２およびアルバム３においても、外すレコメンドが表示されている。尚、図１８（ａ）の例では、共通見開きと個別見開きとで、それぞれ外すレコメンドの画像を表示しているが、これに限られない。共通見開きのみ、または、個別見開きのみから、外すレコメンドを表示してもよいし、それぞれにおいて外すレコメンドを表示してもよいし、表示をユーザが切り替えられるようにしてもよい。

図１８（ｂ）は、図１５Ｂ（２）と同様に、アルバム１の共通見開きである見開き１に焦点を当てた編集画面である。図１８（ｂ）の場合、編集対象見開きは、このアルバム１の共通見開きである見開き１である。従って、この見開き１の画像の中から、得点の低い画像が、外すレコメンドとして表示される。図１８（ｂ）の例では、画像１８５１が、外すレコメンドとして表示されている。

次に、レコメンド種類が「見開き」の場合の処理を説明する。前述したように、レコメンド種類が「見開き」の場合には、見開き作成パラメータ生成部１６１５と見開き生成部１６１６とを用いた処理が行われることになる。

見開き作成パラメータ生成部１６１５は、主被写体設定部１６０９で設定された主被写体と画像解析部１６０６で得られた解析情報とにより、見開きを作成するためのパラメータを生成する。見開き作成パラメータ生成部１６１５は、見開き作成パラメータ生成部２０９と同様の処理部である。見開き作成パラメータ生成部１６１５は、編集見開き判定部１６０２で決定された見開き種類（見開き基準）に対応する、見開きを作成するためのパラメータを設定する。見開き作成パラメータは、基本的に、見開き作成パラメータ生成部２０９で生成される見開き作成パラメータと同様であり、ここでは、見開き単位での得点を導くパラメータ（第二パラメータ）を含むものである。本実施形態では、見開き作成パラメータは、見開き内から、少なくとも１枚の画像を削除した見開きを決定するために用いられる。そして、１枚の画像を削除した見開きを決定する際の、見開きの得点を求めるために、見開き生成パラメータが用いられる。例えば、図１５Ｂ（２）の例では、アルバム１の見開き１内の各画像の得点の合計が、その見開き１の得点になる。尚、見開き内の各画像の得点は、画像選択パラメータで説明した例と同様にして、見開き内の関係性を考慮した得点として求められる。また、見開き単位の得点の場合、この各画像の得点に、各画像が配置されているスロットのサイズによる重みを掛けた結果の得点を、合計したものが見開き単位の得点となる。大きいスロットに配置されている画像ほど、その見開き内で重要な画像であるので、そのような画像の要素を強めるためである。尚、ここでは、スロットサイズによる重み付けをした各画像の得点を合計する例を説明したが、重み付けをしなくてもよいし、各画像の平均を見開きの得点としてもよい。

見開き生成部１６１６は、画像得点部１６１０の結果と、レコメンド条件設定部１６０１の条件と、使用済み画像判定部１６０５の使用画像情報と、見開き作成パラメータ生成部１６１５の見開き作成パラメータと、に基づいて見開きを生成する。見開き生成部１６１６は、レコメンドとして提示する見開きを生成する。本実施形態では、元の画像配置から少なくとも１枚削減した見開きを作成し、その結果の見開きの得点が最も高くなる見開きを、レコメンドとして提示する。レコメンド数が複数の場合には、類似していない見開きの中で、見開き得点順にレコメンドを行えばよい。見開きの類似判定は、前述した画像の類似判定と同様に行えばよい。また、スロットの配置が類似しているか、などを含めた類似判定を行ってもよい。

本実施形態では、見開き生成部１６１６と見開き作成パラメータ生成部１６１５とによって、まず、編集対象見開き（例えば、図１５Ｂ（２）のアルバム１の見開き１）の中で、一番得点が低い画像ＰＬが特定される。そして、その画像ＰＬをその見開き１から取り除き、スロットサイズの変更、配置の変更、またはトリミングの変更などの各種の調整をした後の、見開き１が暫定的に作成される。このとき、スロットの位置などが異なる複数の暫定的な見開き１が作成される。あるいは、得点が一番低い画像ＰＬを取り除くのではなく、見開き１内の各画像を削除した場合の暫定的な見開き１をそれぞれ作成してもよい。そして、その暫定的に作成した複数の見開き１のうち、もっとも見開きの得点が高い見開きが、外すレコメンドとして表示される。尚、ここでは説明のため、一旦、暫定的な見開きが作成される例を説明したが、上記のように、見開き内の画像を少なくとも１枚外した結果の見開きのうち、見開きの得点が高い見開きのレイアウトが決定できればよい。このため、そのように構成したパラメータを見開き生成パラメータとしてもよい。

図１９および図２０は、レコメンド種類が「見開き」の場合、即ち、見開き作成パラメータ生成部１６１５および見開き生成部１６１６での処理の結果表示される、外すレコメンドの例を示す図である。図１９は、レコメンドスケールチェックボックス１７０３にて、レコメンド単位に「アルバム」が設定された例であり、図２０は、レコメンドスケールチェックボックス１７０３にて、レコメンド単位に「見開き」が設定された例を示している。また、図１９および図２０において、太字の点線部が、外すレコメンドとしての強調表示を示している。

図１９（ａ）は、共通見開きである見開き４が、外すレコメンドの対象の見開きとなっている例である。編集画面には、外す前の見開き１９０１と、外した後の見開き１９０２とが、併せて表示されている。また、画像を外した後の見開き１９０２では、スロットの位置などが適宜調整された見開きが表示されている。共通見開きに対する外すレコメンドは、各アルバムにおいて同一となる。図１９（ｂ）は、個別見開きが外すレコメンドの対象となっている例を示している。アルバムごとに、画像得点が低い画像を含む見開きが特定され、その特定された見開き内で、１枚画像を外した場合に、見開きの得点が高くなるそれぞれの見開きが、外すレコメンド１９２０として表示されている。図２０（ａ）は、レコメンド単位が「見開き」の例である。図２０（ｂ）は、レコメンド単位が「見開き」であり、レコメンド数ボックス１７０２にレコメンド数として「２」が指定された場合の例である。

図２１は、本実施形態に係るアルバム編集アプリケーション１４００のレコメンドを実行する処理フローを示す図である。図２１に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に格納されたプログラムをＲＯＭ１０２またはＲＡＭ１０３に読み出して実行することにより実現される。

Ｓ２１０１においてレコメンド条件設定部１６０１は、レコメンド条件を設定する。本実施形態では、図１７で示したように、レコメンド条件として、レコメンド単位、レコメンド数、およびレコメンド種類を設定する。

Ｓ２１０２において編集見開き判定部１６０２は、編集対象見開きが共通見開きか、個別見開きかを判定する。

Ｓ２１０３においてアルバム情報取得部１６０３は、アルバム情報であるアルバム構成情報とアルバム生成情報とアルバム変更情報とを取得する。

Ｓ２１０４において画像取得部１６０４は、アルバム情報に含まれる画像情報で特定される画像を、ＨＤＤ１０４から読み込み、ＲＡＭ１０３に展開する。すでに画像をＲＡＭ１０３に展開済みの場合には、処理を行わない。前述したように、画像情報には、アルバム編集アプリケーション１４００による編集処理において、ユーザから追加挿入された画像の情報も含まれる。

Ｓ２１０５において使用済み画像判定部１６０５は、編集見開き判定部１６０２で決定した見開き種類に基づいて、アルバム情報取得部１６０３で取得した画像が使用済み画像であるかを判定する。編集対象見開きが共通見開きの場合にはすべてのアルバムの使用画像情報を用い、個別見開きの場合には現在編集中のアルバムの使用画像情報を用いる。また、前述したように、ユーザが追加挿入した画像は、ユーザ使用画像と判定する。

Ｓ２１０６において画像解析部１６０６は、ＲＡＭ１０３に展開された画像データを解析する。画像解析処理は、図５（ｂ）のアルバム生成時と同様のフローである。

Ｓ２１０７において画像解析部１６０６は、Ｓ２１０４で取得したＨＤＤ１０４の画像群の全画像に対してＳ２１０４からＳ２１０６が終了したか否かを判定する。終了していない場合、Ｓ２１０５に戻る。終了している場合はＳ２１０８に移行する。

Ｓ２１０８においてシーン分割部１６０７は、画像取得部１６０４が取得した画像群に対して、シーン分割を実行する。Ｓ５０５と同様のフローである。Ｓ２１０９においてシーン分類部１６０８は、シーン分割部１６０７が分割したサブ画像群に対して、シーン分類をする。Ｓ５０６と同様のフローである。

Ｓ２１１０において主被写体設定部１６０９は、アルバム毎の主被写体を設定する。アルバム毎の主被写体は、アルバム情報取得部１６０３で取得したアルバム情報に基づいて設定される。

Ｓ２１１１において画像得点部１６１０は、各画像を得点化する。Ｓ５０８と同様のフローである。Ｓ２１１２において画像得点部１６１０は、画像解析部１６０６で処理を行った全画像に対してＳ２１１１の画像得点化が終了したか否かを判定する。終了していない場合、Ｓ２１１１に戻る。終了している場合、Ｓ２１１３に移行する。

Ｓ２１１３においてパラメータ生成部１６２０は、Ｓ２１０１で設定されたレコメンド条件に応じて、パラメータ生成を行う。レコメンド種類が「画像」の場合、画像選択パラメータ生成部１６１１が、画像選択パラメータを生成する。レコメンド種類が「見開き」の場合、見開き作成パラメータ生成部１６１５が見開き作成パラメータを生成する。

Ｓ２１１４においてレコメンド部１６３０が、Ｓ２１０１で設定されたレコメンド条件に応じて、レコメンドを行う。レコメンド種類が「画像」の場合、画像選択部１６１２が削除をレコメンドする画像を選択する。レコメンド種類が「見開き」の場合、見開き生成部１６１６が、少なくとも１枚の画像を削除した見開きを生成する。そして、レコメンド部１６３０は、外すレコメンドとして、画像または見開きを、アルバム表示部１４０４に出力する。

Ｓ２１１５においてレコメンド部１６３０は、レコメンド条件設定部１６０１で指定されたレコメンド数だけレコメンドを行ったかを判定する。終了していない場合、Ｓ２１１３に戻る。終了している場合はフローを終了する。

以上説明したように、本実施形態によれば、既にアルバムデータとして作成されているアルバムの中から、外すレコメンドを行うことができる。画像を増やすレコメンドだけではなく、画像を減らすレコメンドを行うことで、画像枚数という審美性を考慮したレコメンドが提示できる。また、事前に多めに画像を選択して作成されたアルバムから画像をユーザが不要な画像を減らすことでアルバムを完成させるような形態において、外す画像をレコメンドすることでユーザビリティを向上させることができる。

＜＜その他の実施形態＞＞
上記の実施形態では、図１５Ｂ（１）または（２）などの編集画面が表示された際に、外すレコメンドが表示される例を説明したが、これに限られない。図１５Ｂ（１）または（２）などが表示されている時点では、外すレコメンドは表示されず、所定のボタン操作をトリガーに、外すレコメンドが表示されるようにしてもよい。また、レコメンドが表示される表示画面は、編集画面とは別の画面でもよい。

複数のアルバムを構成するアルバム情報を取得して処理を行う形態について説明したが、単体のアルバムを構成するアルバム情報から画像を外すレコメンドが行われても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１４０３アルバム編集部
１６２０パラメータ生成部
１６３０レコメンド部
１４０４アルバム表示部

Claims

コンピュータを、
アルバムを構成するアルバム情報を取得する取得手段と、
前記アルバム情報に基づいてアルバムを編集する編集画面をディスプレイに表示させる表示制御手段と、
前記アルバム情報に基づいて、前記編集画面において、アルバムに採用済みの画像群から画像を外すレコメンドを行うレコメンド手段と、
として機能させるためのプログラム。
前記アルバムは、複数の見開きを含み、
前記編集画面は、画像がレイアウトされている見開きを用いて編集が可能な画面であり、
前記レコメンド手段は、前記見開きに配置されている画像を外すレコメンドを行うことを特徴とする請求項１に記載のプログラム。
レコメンド条件を設定する設定手段をさらに備え、
前記レコメンド手段は、前記設定されたレコメンド条件に従ってレコメンドを行うことを特徴とする請求項２に記載のプログラム。
前記レコメンド条件は、レコメンドを行う際の編集画面における表示単位と、レコメンドを行う種類とを含むことを特徴とする請求項３に記載のプログラム。
前記レコメンド手段は、前記表示単位がアルバム単位の場合、前記編集画面においてアルバム全体が表示されているときに、前記外すレコメンドを行うことを特徴とする請求項４に記載のプログラム。
前記レコメンド手段は、前記表示単位が見開き単位の場合、前記編集画面において任意の見開きに焦点を当てた表示がされているときに、前記外すレコメンドを行うことを特徴とする請求項４に記載のプログラム。
前記レコメンド手段は、前記レコメンドを行う種類が画像の場合、前記編集画面に表示されている見開きに含まれる画像の中から、外す対象の画像を強調した表示を前記表示制御手段に表示させることを特徴とする請求項４乃至６のいずれか１項に記載のプログラム。
前記レコメンド手段は、前記レコメンドを行う種類が見開きの場合、前記編集画面に表示されている見開きから、少なくとも１枚の画像を削除して生成した見開きを、前記表示制御手段に表示させることを特徴とする請求項４乃至６のいずれか１項に記載のプログラム。
前記表示制御手段は、前記画像を削除する前の見開きと、前記画像を削除した後の見開きとを前記編集画面に表示することを特徴とする請求項８に記載のプログラム。
前記レコメンド手段は、前記少なくとも１枚の画像を削除した後に、当該見開きのスロットサイズ、スロットの位置、画像の配置、または、画像のトリミングのうちの少なくとも一つを当該見開きに変更することで新たに生成した見開きを、前記表示制御手段に表示させることを特徴とする請求項８または９に記載のプログラム。
前記アルバムの見開きの属性には、各アルバムで共通する共通見開きの属性、または、各アルバムの個別見開きの属性が含まれ、
前記レコメンド手段は、前記見開きの属性に応じたパラメータで得点化を行った結果、得点が低い画像を、前記外すレコメンドの対象の画像と決定することを特徴とする請求項２乃至１０のいずれか１項に記載のプログラム。
前記アルバム情報は、前記編集画面を介してユーザがアルバムに追加したユーザ使用画像の情報をさらに含み、
前記レコメンド手段は、前記ユーザ使用画像がある場合、前記アルバムに使用されている画像の中で、前記ユーザ使用画像に類似し、かつ、得点が低い画像を、前記外すレコメンドの対象の画像と決定することを特徴とする請求項１乃至１１のいずれか１項に記載のプログラム。
前記アルバム情報は、アルバムデータを自動で作成するアルバム作成アプリケーションによって作成された情報であることを特徴とする請求項１乃至１２のいずれか１項に記載のプログラム。
前記取得手段は、前記アルバム情報として、複数のアルバムを構成するアルバム情報を取得することを特徴とする請求項１乃至１３のいずれか１項に記載のプログラム。
アルバムを構成するアルバム情報を取得する取得手段と、
前記アルバム情報に基づいてアルバムを編集する編集画面をディスプレイに表示させる表示制御手段と、
前記アルバム情報に基づいて、前記編集画面において、アルバムに採用済みの画像群から画像を外すレコメンドを行うレコメンド手段と、
を有することを特徴とする画像処理装置。
アルバムを構成するアルバム情報を取得する取得工程と、
前記アルバム情報に基づいてアルバムを編集する編集画面をディスプレイに表示させる表示制御工程と、
前記アルバム情報に基づいて、前記編集画面において、アルバムに採用済みの画像群から画像を外すレコメンドを行うレコメンド工程と、
を有することを特徴とする画像処理方法。