JP2021144618A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 ユーザが所望とするアルバムを容易に作成する技術が求められていた。【解決手段】 画像処理装置は、お手本アルバムデータのレイアウト結果と、類似アルバムデータのレイアウト結果に基づいて、類似アルバムデータのレイアウト結果における所定の条件を満たす差異が発生している領域を、他の領域よりも強調して表示する。【選択図】 図２

Description

本発明は、画像処理装置、制御方法、及びプログラムに関する。

特許文献１では入力した画像群の情報を用いてアルバムを生成する技術が開示されている。

特開２０１９−２１５５９３

近年、ユーザが所望とする印刷物を容易に生成する技術が求められていた。

本発明は上記課題を解決するためになされたものであり、お手本となるお手本アルバムデータに含まれるお手本画像を解析して、第１解析結果を取得する第１取得手段と、複数の候補画像を解析することで得られる第２解析結果を取得する第２取得手段と、前記第１解析結果と前記第２解析結果に基づいて、前記複数の候補から前記お手本画像に類似した画像を類似画像として選択する選択手段と、前記選択された類似画像データに基づいて類似アルバムデータを生成する生成手段と、前記お手本アルバムデータのレイアウト結果と、前記類似アルバムデータのレイアウト結果に基づいて、前記類似アルバムデータのレイアウト結果における所定の条件を満たす差異が発生している領域を、他の領域よりも強調して表示する表示制御手段を備えることを特徴とする。

本発明によれば、ユーザが所望とする印刷物を容易に出力することができる。

画像処理装置のハードウェア構成を示すブロック図である。 画像処理装置のソフトウェア構成を示すブロック図である。 アルバムデータの構造を示す図である。 アルバムレイアウトを示す図である。 アルバム作成アプリケーションのＧＵＩを示す図である。 自動レイアウト処理のフローチャートである。 レイアウト結果の一例を示す図である。 アルバム作成アプリケーションのＧＵＩを示す図である。 画像処理装置のソフトウェア構成を示すブロック図である。 自動レイアウト処理のフローチャートである。 シーン分類方法を説明する図である。 アルバム作成アプリケーションのＧＵＩを示す図である。

［第１の実施形態］
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション（以下、「アプリケーション」または単純に「アプリ」ともいう）を動作させ、該アプリケーション上で複数の写真画像が自動でレイアウトされたアルバムデータを生成する。そして、このアルバムデータを印刷装置に送信することで印刷物としてアルバムを作成する。本実施形態では、お手本となるアルバムデータに基づいて、お手本アルバムデータと類似する類似アルバムデータを作成する。より詳しく説明すると、類似アルバムデータは、お手本アルバムデータと同じページ数を持つ。さらに、お手本アルバムデータの各ページに配置されたお手本画像と類似した類似画像が類似アルバムデータに配置される。また、お手本画像がお手本アルバムデータに配置される位置と、類似画像が類似アルバムデータに配置される位置も同じである。例えば、お手本画像がお手本アルバムデータの３ページ目の左上に配置されている場合、類似画像は類似画像データの３ページ目の左上に配置される。なお、お手本アルバムデータの生成に使用された画像群と、類似アルバムデータの生成に使用される画像群は異なる。

＜画像処理装置のハードウェア構成について＞
以下、本実施形態における画像処理装置のハードウェア構成について、図１を用いて説明する。尚、以下では、画像処理装置が情報処理装置（ＰＣ）のケースを説明するが、画像処理装置として、スマートフォン等の他の装置を採用してもよい。

図１に示すように、画像処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、ディスプレイ１０５と、キーボード１０６と、マウス１０７と、データ通信装置１０８と、を有する。これらの部品は、データバス１０９により接続されており、相互にデータを送信または受信することができる。

ＣＰＵ１０１は、画像処理装置１００全体を制御する。また、ＣＰＵ１０１は、本実施形態で説明する画像処理方法をプログラムに従って実行する。尚、図１では、画像処理装置が１個のＣＰＵを有するが、画像処理装置は複数のＣＰＵを有してもよい。

ＲＯＭ１０２には、ＣＰＵ１０１が実行するプログラムが記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供する。ＨＤＤ１０４には、画像ファイルや画像解析等の処理結果を保持するデータベース等が記憶され、本実施形態では、このＨＤＤ１０４に、アルバム作成のためのアプリケーションプログラムが記憶されている。尚、このアプリケーションプログラムについては、アルバム作成アプリと呼ばれることもあり、図５等を用いて後述する。

ディスプレイ１０５は、本実施形態のユーザインターフェイス（以下ＵＩ）や画像のレイアウト結果を表示して、ユーザに提示するための装置である。ディスプレイ１０５は、タッチセンサー機能を有してもよい。キーボード１０６は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上に所定の情報を入力するために用いられる。本実施形態では、ユーザは、キーボード１０６を介してアルバムの見開き数を入力する。マウス１０７は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上のボタンをクリックして押下するために用いられる。

データ通信装置１０８は、プリンタやサーバ等の外部装置と通信するための装置である。例えば、自動レイアウトされた結果であるアルバムデータは、データ通信装置１０８を介して、画像処理装置１００に接続されたプリンタやサーバに送信される。なお、サーバに送信されたアルバムデータは、サーバに接続されたプリンタにより印刷される。データバス１０９は、上述した各構成要素とＣＰＵ１０１とを接続する。以上が、本実施形態における画像処理装置のハードウェア構成についての内容である。

＜画像処理装置のソフトウェア構成について＞
以下、本実施形態における画像処理装置のソフトウェア構成、言い換えると、画像処理装置にインストールされているアルバム作成アプリケーションにより実現される機能構成について、図２を用いて説明する。アルバム作成アプリケーションは、ディスプレイ１０５に表示されているアプリケーションのアイコンがユーザによりマウス１０７を使ってダブルクリックされることにより起動する。アルバム作成アプリケーションは様々な機能を有するが、以下では主に、本実施形態において特に重要な機能である、自動レイアウト処理部２０１により提供される自動レイアウト機能を説明する。

図２に示すように、アルバム作成アプリケーションは、アルバム作成条件設定部２０２と、自動レイアウト処理部２０１と、アルバム表示部２１０と、を有する。「自動レイアウト機能」とは、撮影された写真の画像群から、各画像の内容や属性に基づいてアルバムデータの生成に適した画像を選択した上でレイアウトして、アルバムデータを作成する機能である。作成されたアルバムデータは、ディスプレイ１０５に表示される。

アルバム作成条件設定部２０２は、ユーザのマウス操作に応じたアルバム作成条件を、自動レイアウト処理部２０１に設定する。本実施形態では、アルバム作成条件として、お手本となるアルバムデータ、アルバムに使用する画像群、アルバム商材を設定する。お手本となるアルバムデータは、例えばファイルやディレクトリの指定により設定されても良い。また、アルバムデータがアルバム作成アプリケーション特有のファイル構造で保存されている場合、ファイル構造に基づいてアルバム作成条件が設定されても良い。また、アルバム作成条件は、アプリにプリセットとして予め登録された選択肢の中から選ぶことで設定されてもよい。画像群は、例えば撮影日時など個別の画像データの付随情報や属性情報を用いて設定されてもよい。また、画像群は、アルバムデータがアルバム作成アプリケーション特有のファイル構造で保存されている場合、ファイル構造に基づいて設定されても良い。アルバム商材とはアルバムに使用する紙の種類や製本時の綴じ部の処理のことである。

ここで、本実施形態で作成するアルバムについて説明する。本実施形態で作成されるアルバムは、表紙および複数の見開きで構成される。「見開き」とは、例えば表示においてはひとつの表示用ウィンドウに相当し、印刷においては、異なるシートに印刷された、互いに隣接する１対のページに相当する。また、１枚の用紙に画像を印刷し真ん中で折ることでアルバムを形成することもある。その場合は、「見開き」とは、同一シートに印刷された、互いに隣接する１対のページに相当する。ここでは、このような見開きの概念を用いて説明するが、ページでもよい。本実施形態では、アルバム作成条件設定部２０２により設定されたお手本アルバムデータおよび候補画像群に基づき、お手本アルバムデータと類似する類似アルバムデータが作成される。

また本実施形態におけるアルバムデータとは、アルバムに配置される画像と、該画像が配置される見開き番号や位置、サイズ等の情報を含む。図３は、本実施形態で用いるアルバムデータの例である。図３（ａ）はアルバム全体に関する情報を表す商材テーブルの例を示す。商材テーブルはアルバムのページ数やサイズ、印刷する紙の種類や製本方法が記録されている。図３（ｂ）は紙面に配置される画像とその位置を表すスロットテーブルの例を示す。スロットテーブルは、各行にアルバムに配置する画像と、画像が配置される見開き番号、見開きページにおいて画像が配置される位置、画像のサイズ及び角度が記録されている。以降、図３の表で１行分の情報をスロット情報と呼び、お手本アルバムデータにおいて同じ見開き番号に属するスロット群をまとめてテンプレートと呼ぶ。なお、アルバムデータに含まれる情報はこれに限らない。画像が重なった際の表示順を表すレイヤー情報や、トリミング量、エフェクトの種類、文字情報や図形情報などをスロット情報に含めてもよい。

図４は図３のアルバムデータをレイアウトした例である。表紙４０１、見開き４０３、見開き４０４、見開き４０５は、それぞれ図３（ｂ）の見開き番号０、１、２、１０に対応する。尚、表紙４０１は左側が裏表紙、右側が表紙に相当する。図４の塗りつぶされた領域はスロットを表し、図３（ｂ）のｉｍａｇｅｐａｔｈに記録された画像データが配置される。例えばスロット４０２には、ｉｍａｇｅ１．ｊｐｇが配置される。後述する自動レイアウト処理では、お手本アルバムデータに配置された画像の構図やオブジェクト、色味等の画像特徴に類似する画像を、お手本アルバムデータと同様の位置に配置した類似アルバムデータを作成する。

お手本アルバムデータ取得部２０３は、ＨＤＤ１０４に保存されているアルバムデータの中から、アルバム作成条件設定部２０２により設定された設定内容に基づいてお手本アルバムデータを取得する。

お手本画像解析部２０４は、お手本アルバムデータ取得部２０３が取得したお手本アルバムデータに使用されるお手本画像群を解析する。本実施形態では、画像の特徴量を導出し、画像内のオブジェクト判定、構図判定、顔検出、検出した顔の表情認識、検出した顔の個人認識を実行する。さらに、お手本画像解析部２０４は、ＨＤＤ１０４から取得した画像データに付随したデータ（例えば、Ｅｘｉｆ情報）を参照して、撮影日時の情報を取得する。尚、お手本画像解析部２０４がお手本画像を解析した結果得られる情報を「解析情報」と呼ぶ。なお、解析情報は、各お手本画像と関連付けて管理される。例えば、図３（ｂ）のスロット情報の一部として解析情報が管理されても良い。

候補画像取得部２０５は、ＨＤＤ１０４に保存されている画像の中から、アルバム作成条件設定部２０２により設定されたアルバム作成条件を満たす画像群を取得する。ここでいう画像群とは、アルバム作成の際にレイアウト候補となる画像群を指す。本実施形態でいえば、類似アルバムデータのレイアウト候補となる画像群である。例えば、撮影日時として、ＸＸ年１月１日が指定された場合は、ＸＸ年１月１日に撮影された画像全てが、レイアウト候補の画像群に該当する。ＨＤＤ１０４に保存されている画像としては、静止画像や、動画から切り出された切り出し画像が挙げられる。静止画像や切り出し画像は、デジタルカメラやスマートデバイス等の撮像デバイスから取得したものである。撮像デバイスは、画像処理装置１００が備えていてもよいし、画像処理装置１００の外部装置が備えるものであってもよい。尚、撮像デバイスが外部装置である場合は、候補画像取得部２０５は、データ通信装置１０８を介して画像を取得する。また、静止画像や切り出し画像は、外部のネットワークやサーバからデータ通信装置１０８を介して取得した画像であってもよい。ネットワークやサーバから取得した画像としては、ソーシャルネットワーキングサービス画像（以下、ＳＮＳ画像）が挙げられる。尚、ＣＰＵ１０１はＯＳのプログラムを実行することで、各画像に対して、画像データに付随するデータを解析し、画像の取得先である保存元を求める。但し、アプリケーションを介してＳＮＳから画像を取得することで、アプリケーション内で該画像の取得先を管理してもよい。尚、候補画像取得部２０５が取得する画像は、上述したものに限定されるものではなく、他の種類の画像であってもよい。また、本実施形態では、類似アルバムデータのレイアウト候補となる画像群を候補画像群と呼ぶ。

候補画像解析部２０６は、候補画像取得部２０５が取得した候補画像データを解析する。なお、候補画像解析部２０６の処理は、お手本画像解析部２０４の処理と類似しているため、詳細な説明は省略する。さらに、候補画像取得部２０５は、アルバムに適した画像かを示す得点を候補画像群に含まれる各候補画像に付与する。なお得点は、例えばコントラストが高い、エッジがシャープである、といった審美性が高い画像や、瞬きしていない、人や建造物などの主題となる被写体が大きく写っているといった画像データ程、高い得点が付与される。ここで、候補画像解析部２０６の処理により得られた解析情報と、候補画像取得部２０５により付与された得点が、各候補画像と関連付けて管理される。

類似画像選択部２０７は、お手本画像解析部２０４が解析したお手本画像の解析情報と、候補画像解析部２０６が解析した候補画像の解析情報を基に、候補画像群から類似アルバムデータに使用する類似画像を選択する。つまり、類似画像選択部２０７は、お手本画像１枚毎に、候補画像群から１枚の類似画像を選択する。類似画像とは、候補画像群の中でお手本画像との類似度が高い画像である。類似度には、例えばお手本画像解析部２０４が解析した画像特徴量と、候補画像解析部２０６が解析した画像特徴量の距離が挙げられ、距離が小さいほど類似度が高いと言える。なお、類似画像選択部２０７は、類似画像の選択時に候補画像解析部２０６が解析した個人認識の結果を用いたり、候補画像データに付与された得点を用いてもよい。また、類似度に画像特徴量の距離を用いたが、これに限らない。例えば特徴量ベクトル間の成す角度を表すコサイン類似度を用いてもよい。類似画像選択部２０７は、選択された類似画像をレイアウト作成部２０８に送り、得られた類似度を差異領域判定部２１１に送る。

レイアウト作成部２０８は、お手本アルバムデータ取得部２０３が取得したお手本アルバムデータのお手本テンプレートに、類似画像選択部２０７が選択した類似画像を割り当てる。お手本テンプレートに類似画像を割り当てたデータをレイアウトデータと呼ぶ。なお、お手本テンプレートとは、お手本画像が割り当て済みのテンプレートである。つまり、レイアウト作成部２０８は、お手本テンプレートの各スロットに割り当てられているお手本画像に対応する類似画像を配置することでレイアウトデータを生成する。本実施形態におけるレイアウトデータの作成方法について図７を用いて説明する。図７は、お手本テンプレート７０１と、レイアウト作成部２０８が作成するレイアウトデータ７０７が記載されている。レイアウト作成部２０８はまず、お手本テンプレート７０１を取得する。お手本テンプレート７０１には、お手本画像７０２と７０３が配置されている。候補画像群７０４は候補画像取得部２０５が取得した画像群を表している。候補画像群７０４においてお手本画像７０２と類似すると判定された類似画像７０５が、お手本テンプレート７０１のお手本画像７０２の代わりに配置される。さらに、候補画像群７０４においてお手本画像７０３と類似すると判定された類似画像７０６が、お手本テンプレート７０１のお手本画像７０３の代わりに配置される。その結果、レイアウトデータ７０７が生成される。

アルバムデータ出力部２０９は、レイアウト作成部２０８が作成した全見開きのレイアウトデータに基づいてアルバムデータを生成し、出力する。なお、本実施形態において出力とは、アルバムデータに基づく表示処理を指すが、例えば、アルバムデータに基づく印刷処理でも構わない。

アルバム表示部２１０は、アルバムデータ出力部２０９が出力したアルバムデータに基づいて、アルバムの画像を作成しディスプレイ１０５に表示する。アルバムの画像とは、例えば、レイアウトデータに基づくビットマップ形式の画像データであり、見開き画像と呼ばれることもある。差異領域判定部２１１は、レイアウト作成部２０８が作成したレイアウトデータについて、お手本テンプレートと差異がある領域を判定する。本実施形態では、差異領域の判定に類似画像選択部２０７が算出したお手本画像と候補画像との類似度を用いる。図７（ａ）を用いて説明すると、お手本画像７０２と、お手本画像７０２と類似していると判定された類似画像７０５の類似度が閾値以上か否かを判定する。ここで類似度が閾値以上でないと判定された場合、お手本テンプレートのお手本画像７０２が配置されていたスロットが差異領域と判定される。本実施形態において、閾値は事前に主観評価による設定した値がアプリに組み込まれているものとする。例えば類似度としてコサイン類似度を用いた場合、類似度が０に近ければ類似しておらず、１に近ければ類似している。事前に複数のペア画像に対して類似しているか否かの主観評価を行うことで、例えばコサイン類似度が０．８以下の場合は差異がある、０．８より大きい場合は差異がない、と判定することができる。あるいは閾値をアプリのＧＵＩを通じてユーザが調整してもよい。さらに他の例では、平均的な類似度との乖離によって閾値を決めてもよい。例えばレイアウト作成部２０８が選択した全ての類似画像の類似度をもとに、第二四分位数及び第三四分位数を算出する。その後、以下の式１に従って閾値を決定する。

閾値＝第二四分位数＋（第三四分位数―第二四分位数）×１．５ （式１）
これにより、差異領域判定部２１１は、類似度の分布に応じて類似度が低い画像を判定することができる。

差異領域強調部２１２は、差異領域判定部２１１により差異があると判定された差異領域を、ディスプレイ１０５に表示されたＧＵＩ上で他の領域よりも強調して表示する。表示するＧＵＩについては図８を用いて後述する。

本実施形態におけるアルバム作成アプリケーションのプログラムが、画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上にこのアプリの起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているデスクトップ上の起動アイコンをマウス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＡＭ１０３にロードされる。そして、ＲＡＭ１０３にロードされたプログラムがＣＰＵ１０１によって実行されて、アルバム作成アプリケーションが起動する。以上が、本実施形態における画像処理装置のソフトウェア構成についての内容である。なお、アプリケーションは、別の形態でも良く、例えば画像処理装置１００で動作するブラウザ内で画面等を表示するＷｅｂアプリでも良い。

＜ＧＵＩ画面について＞
以下、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面について、図５及び図８を用いて説明する。図５は、起動したアルバム作成アプリケーションによって提供され、ディスプレイ１０５に表示されるＧＵＩ画面５０１を示す図である。ユーザは、ＧＵＩ画面５０１を介して、アルバムの作成条件を設定することができる。

ＧＵＩ画面５０１は、お手本アルバムデータの設定部として、パスボックス５０２及び選択ボタン５０３を有する。パスボックス５０２は、ＨＤＤ１０４中に保存されたお手本アルバムデータの保存場所（パス）を示すためのボックスである。選択ボタン５０３は、お手本アルバムデータを選択するためのボタンである。ユーザが選択ボタン５０３をマウス１０７でクリックすると、複数フォルダおよびファイルから構成されるツリーが表示される。そして、お手本とするアルバムデータを保持するファイルをユーザが選択すると、該選択したファイルのファイルパスがパスボックス５０２に表示される。

パスボックス５０４及び選択ボタン５０５は、アルバムに配置される写真画像を選択するために使用される。パスボックス５０４は、アルバム作成の対象となる画像群の保存場所（パス）を示すためのボックスである。選択ボタン５０５は、アルバム作成の対象とする画像群を含むフォルダを選択するためのボタンである。ユーザが選択ボタン５０５をマウス１０７でクリックすると、複数フォルダから構成されるツリーが表示される。そして、アルバム作成の対象とする画像群を含むフォルダをユーザが選択すると、該選択したフォルダのフォルダパスがパスボックス５０４に表示される。つまり、本実施形態では、図５の５０４および５０５を使って候補画像群が選択される。

商材設定ボックス５０６及び商材選択ボタン５０７は、作成するアルバムの商材に関わる設定を受け付ける。商材設定ボックス５０６は、作成するアルバムの商材情報を示すためのボックスであり、選択ボタン５０３により選択されたお手本アルバムデータの商材情報が表示される。また、商材選択ボタン５０７は商材を切り替えるためのボタンである。ユーザが商材選択ボタン５０７をマウス１０７でクリックすると、商材の一覧が表示される。そして、ユーザが商材を選択すると、該選択した商材情報が商材設定ボックス５０６に表示される。

ＯＫボタン５０８は、選択された条件をアルバム作成条件として決定するボタンである。ユーザがＯＫボタン５０８をマウス１０７でクリックすると、アルバム作成条件が確定し、アルバム作成条件設定部２０２を介して、自動レイアウト処理部２０１にアルバム作成条件が伝えられる。具体的に説明すると、お手本アルバムパスボックス５０２に入力されているパスの情報は、お手本アルバムデータ取得部２０３に伝えられる。また、ボックス５０４に入力されているパスの情報は、候補画像取得部２０５に伝えられる。また、商材設定ボックス５０６に入力されている商材情報は、アルバムデータ出力部２０９に伝えられる。

リセットボタン５０９は、表示画面上の各設定内容をリセットするためのボタンである。以上が、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面についての内容である。

図８は、起動したアルバム作成アプリケーションによって提供され、ディスプレイ１０５に表示されるＧＵＩを説明する図である。図８（ａ）は、アルバム表示部２１０が表示するＧＵＩ画面８０１を示す図である。ユーザは、ＧＵＩ画面８０１を介して、アルバムデータ出力部２０９が出力したアルバムデータの確認及び編集を行うことができる。

ＧＵＩ画面８０１は、見開き一覧８０２、見開き表示部８０３、画像一覧８０４、レイアウト完了ボタン８０５を有する。

見開き一覧８０２は、アルバムデータが持つ各見開きのレイアウトデータを基にサムネイル画像を一覧表示する。ユーザはマウス１０７でサムネイル画像をクリックした場合、見開き表示部８０３は、見開き一覧８０２で選択されたサムネイルに対応する見開き画像を表示する。

ユーザは表示された見開き画像をマウス１０７で操作することにより、画像の配置変更や削除ができる。また、差異領域判定部２１１が差異領域であると判定した領域を、差異領域強調部２１２が強調表示する。図８（ｂ）は見開き表示部８０３において、差異領域強調部２１２が強調表示する例を示す。差異領域８０６は、差異領域と判定されたスロットの枠を装飾することで強調表示される例である。例えば赤色や黄色等で、他のスロット表示部に比べて太い枠を表示することで強調表示が行われる。また、差異領域８０７のように、該スロット全体にエフェクトをかけてもよい。具体的には、該スロットの画像を半透明にする、グレーアウトのように色味を変更する、スロット全体を単色で塗りつぶすなどの画像処理を適用することによって、お手本テンプレートと差異があることを示す。さらに他の例では、差異領域８０８のように該スロットの一部に警告を示すマークを表示する。いずれの場合も、ユーザがマウス１０７で該差異領域を操作した際に、ポップアップでお手本と差異がある旨を表示することにより強調表示の原因を示してもよい。

画像一覧８０４は、アルバム作成条件設定部２０２で設定された候補画像群に含まれる候補画像データのサムネイルを一覧表示する。ユーザはマウス１０７でサムネイル画像を見開き表示部８０３にドラッグ＆ドロップすることで、見開き画像に選択された候補画像データを配置できる。

レイアウト完了ボタン８０５は、アルバムデータの編集を完了するためのボタンである。ユーザがレイアウト完了ボタン８０５をマウス１０７でクリックすることで、アルバムデータは、データ通信装置１０８を介して、画像処理装置１００に接続されたプリンタやサーバに送信される。

＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図６を用いて説明する。図６（ａ）は、本実施形態に係るアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、図６に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。

ステップＳ６０１において、アルバム作成条件設定部２０２は、アルバム作成条件を設定する。なお以下では、「ステップＳ〜」を単純に「Ｓ〜」と略記する。本実施形態では、アルバム作成条件として、お手本アルバムデータ及びアルバムに使用する候補画像群が設定される。

Ｓ６０２において、お手本アルバムデータ取得部２０３は、Ｓ６０１で設定されたお手本アルバムデータを読み込み、ＲＡＭ１０３に展開する。また、お手本アルバムデータ取得部２０３は、お手本アルバムデータに記録された画像ファイルパスに従ってＨＤＤ１０４からお手本画像データを読み込み、ＲＡＭ１０３に展開する。

Ｓ６０３において、お手本画像解析部２０４は、Ｓ６０２でＲＡＭ１０３に展開された各お手本画像データを解析する。ここで、本ステップの画像解析について、図６（ｂ）を用いて説明する。

Ｓ６０３０１において、お手本画像解析部２０４は、お手本アルバムデータ取得部２０３が取得した各お手本画像データに対応する撮影日時の情報を取得する。本実施形態では、各お手本画像データに付随するＥｘｉｆ情報に基づき、撮影日時の情報を取得する。

Ｓ６０３０２において、お手本画像解析部２０４は、各お手本画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。本実施形態では、オブジェクトとして顔を検出する。顔の検出方法として、任意の公知方法を採用することができ、このような公知方法として例えば、複数用意した弱識別器から強識別器を作成するＡｄａＢｏｏｓｔが挙げられる。本実施形態では、ＡｄａＢｏｏｓｔにより作成した強識別器を用いて人物の顔を検出する。お手本画像解析部２０４は、顔を検出すると共に、画像における該検出した顔の領域の左上座標値と右下座標値とを取得する。この２種の座標値を求めることにより、顔の位置および顔のサイズが特定される。更に、人物の顔と同様に、犬や猫等の動物と、料理とをそれぞれ検出するＡｄａＢｏｏｓｔも併せて実行することで、人物、動物、料理のオブジェクトを検出すると同時に、画像内のオブジェクトが何か分類することができる。尚、検出対象のオブジェクトは上記のものに限らず、花、建物、置物等であってもよい。また、ここでは、ＡｄａＢｏｏｓｔを用いてオブジェクトを分類するケースを説明したが、ディープニューラルネットワークによる画像認識を採用してもよい。

Ｓ６０３０３において、お手本画像解析部２０４は、Ｓ６０３０２で検出した顔に対して個人認識を行う。まず、抽出した顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似度を導出する。そして、導出した類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤを、抽出した顔画像に対応するＩＤに決定する。つまり、類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤに対応する人物が、抽出した顔画像の人物として特定される。尚、個人ＩＤそれぞれに対して導出される類似度の全てが所定の閾値未満の場合、抽出した顔画像の人物を新規の人物とみなし、新規の個人ＩＤを割り振って、顔辞書データベースに登録する。顔辞書データベースは、例えばＨＤＤ１０４に格納されている。

Ｓ６０３０４において、お手本画像解析部２０４は、各お手本画像データに対する特徴量を導出する。画像特徴量としては、例えば、色情報が挙げられる。色情報を画像特徴量として使用する方法として、ヒストグラムを用いることができる。画像データは一般的に１画素毎にＲＧＢの３値が記録されている。この時、画像全体のＲ値、Ｂ値、Ｇ値それぞれに対してヒストグラムを作成する。ヒストグラムは、ある値の範囲毎の出現頻度をカウントすることで作成できる。例えば画素値が０〜２５５で記録されており、１６段階（０〜１５、１６〜３１、・・・、２４０〜２５５）でカウントする場合、３値×１６段階＝４８次元の特徴量を得られる。尚、画像特徴量はこれに限らない。例えば、ディープニューラルネットワークを使って特徴量を導出してもよい。具体的には、オブジェクト認識を行うディープニューラルネットワークに対してお手本画像データを入力すると、認識結果であるオブジェクトの種類及びその確率を表す数値の他に、演算過程の中間値が得られる。この中間値はオブジェクトを認識するための画像の特徴が圧縮されているため、お手本画像データを表す特徴量として用いることができる。また他には、Ｓ６０３０２及びＳ６０３０３で検出したオブジェクトや個人認識の結果を特徴量として用いてもよい。例えば、画像に写っている人の数を特徴量としてもよいし、個人認識結果を基に写っている人の画像群全体における出現頻度を特徴量としてもよい。図６（ａ）に戻る。

尚、本実施形態ではお手本画像解析部２０４は、お手本画像データを解析するがこれに限らない。例えばお手本画像解析部２０４が解析した結果をＨＤＤ１０４に保存しておく。お手本画像解析部２０４はＨＤＤ１０４にお手本画像データの解析結果が保存されているかを確認し、保存されている場合は結果を読み込んでもよい。

Ｓ６０４において、候補画像取得部２０５は、Ｓ６０１で設定された候補画像群をＨＤＤ１０４から読み込み、ＲＡＭ１０３に展開する。Ｓ６０５において、候補画像解析部２０６は、Ｓ６０４でＲＡＭ１０３に展開された候補画像群に含まれる候補画像データを解析する。ここで、本ステップの画像解析について、図６（ｃ）を用いて説明する。尚、Ｓ６０５０１〜Ｓ６０５０４についてはＳ６０３０１〜Ｓ６０３０４と基本的には同様の解析処理のため詳細は省略する。なお、両者の違いは、対象となる画像データが、お手本画像データであるか候補画像データであるかである。

Ｓ６０５０１において、候補画像解析部２０６は、候補画像取得部２０５が取得した候補画像群の各候補画像データに対応する撮影日時の情報を取得する。

Ｓ６０５０２において、候補画像解析部２０６は、候補画像取得部２０５が取得した候補画像群の各候補画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。

Ｓ６０５０３において、候補画像解析部２０６は、Ｓ６０５０２で検出した顔に対して個人認識を行う。

Ｓ６０５０４において、候補画像解析部２０６は、候補画像群の各候補画像データに対する画像の特徴量を導出する。

Ｓ６０５０５において、候補画像解析部２０６は、候補画像群の各候補画像データに対して、画像得点を付与する。画像得点は、例えばピント量が挙げられる。ピント量の判別手法として、エッジの検出手法を用いることができ、エッジの検出方法として、公知のソーベルフィルタを用いることができる。ソーベルフィルタで画像のエッジを検出し、エッジの始点と終点との間における輝度差を、始点と終点との間の距離で割ることで輝度勾配、即ちエッジの傾きを算出する。画像中のエッジの平均傾きを算出して、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているみなすことができる。本実施形態では、算出したエッジの平均傾きの大きさを測るための複数の閾値を設定し、該算出したエッジの傾きが何れの閾値以上か判定することで、許容できるピント量か判定する。具体的には、異なる２つの傾き閾値として、第１の傾き閾値および第２の傾き閾値（尚、第１の傾き閾値＞第２の傾き閾値）を設定し、○△×の３段階でピント量を判別する。画像中のエッジの平均傾きが第１の閾値以上であれば、好適なピント量とする（○で表す）。また、画像中のエッジの平均傾きが第１の閾値未満且つ第２の閾値以上であれば、許容できるピント量とし（△で表す）、画像中のエッジの平均傾きが第２の閾値未満であれば許容できないピント量とする（×で表す）。これにより、ピントが合っている画像の得点を高くすることができる。尚、本実施形態では、画質を表す得点としてピント量を採用したが、これに限らない。例えば、画像サイズを用いてもよいし、撮影時に使用したレンズ情報などの撮影情報を用いてもよいし、アプリケーションに入力される画像の圧縮フォーマットを用いてもよい。

また、画質以外に、画像に写っているコンテンツによって得点が付与されてもよい。例えば、Ｓ６０５０２で導出した顔のサイズおよびＳ６０５０３の個人認識結果を用いることができる。まず、候補画像解析部２０６は、各候補画像データにおける個人認識による結果、最も出現回数が多い人物を主被写体と設定する。候補画像データ中に主被写体が写っていない場合は、その候補画像データにおける主被写体毎の得点として０点が付与される。一方、候補画像データに主被写体が写っている場合、画像サイズに対して主被写体に設定した個人の顔が占める割合が、その候補画像データにおける主被写体毎の得点として付与される。なお、本実施形態では、顔サイズを用いて主被写体毎の得点付けを行うが、顔サイズ以外のものを用いてもよい。例えば、主被写体である人の表情を判定し、笑顔であれば加点してもよい。また、人以外を主被写体に設定した場合には、Ｓ５０３０３でのオブジェクト検出および分類の結果を用いることで、オブジェクトサイズに応じて同様に得点付けを行ってもよい。以上のように、候補画像解析部２０６は、解析対象の候補画像データにおけるピント量および主被写体が写っているか否かなどに基づいて、候補画像群の各候補画像データに得点を付与する。図６（ａ）に戻る。

Ｓ６０６において、レイアウト作成部２０８は、レイアウト作成を行う見開き番号を選択する。本実施形態では、１見開き目から順番に選択する。

Ｓ６０７において、類似画像選択部２０７は、お手本画像解析部２０４が解析したお手本画像解析結果と候補画像解析部２０６が解析した候補画像解析結果を基に、Ｓ６０６で選択した見開き番号に類似画像として配置される候補画像データを選択する。本実施形態ではまず、類似画像選択部２０７は、お手本画像解析部２０４が解析したお手本画像解析結果のうち、Ｓ６０６で選択した見開き番号に配置されているお手本画像データに関するお手本画像特徴量を取得する。その後、類似画像選択部２０７は、取得した各お手本画像特徴量に対して、各候補画像データの画像特徴量の類似度を計算する。類似度は、例えば２つの特徴量のユークリッド距離を用いることで計算できる。最も類似度が高い候補画像データが類似画像として選択される。さらに、同じ候補画像データが重複して選択されないように、一度選択された候補画像データは以降の類似度計算からは除外される。なお、本実施形態では画像特徴量を用いて類似画像を選択したがこれに限らない。例えば、候補画像解析部２０６が解析した画像得点を用いてもよい。具体的には、お手本画像データの特徴量に対して、類似する特徴量を持つ候補画像データを上位５つ選択する。そのうちの最も得点が高い候補画像データが類似画像として選択されてもよい。さらに他の例では、お手本画像解析部２０４及び候補画像解析部２０６が解析した個人認識結果を用いてもよい。例えばお手本画像データに主被写体が写っている場合、主被写体が写っていない候補画像データは、画像特徴の類似度が高くても類似画像データとして選択されないようにする。以上の処理により、お手本アルバムデータのレイアウト結果であるｎ（ｎは自然数）番目のページに配置されたお手本画像と、類似アルバムデータのレイアウト結果であるｎ番目のページに配置された類似画像の類似度が取得される。

Ｓ６０８において、レイアウト作成部２０８は、Ｓ６０７で選択した類似画像データを、お手本テンプレートに割り当てる。本実施形態におけるレイアウト作成方法について図７（ａ）を用いて説明する。図７（ａ）は、Ｓ６０７で選択された見開きのお手本テンプレートと、レイアウト作成部２０８が作成するレイアウトデータの例である。レイアウト作成部２０８はまず、お手本テンプレート７０１を取得する。お手本テンプレート７０１は、お手本アルバムデータ取得部２０３が取得したお手本テンプレートのうち、Ｓ６０６で選択された見開き番号で使用されているテンプレートである。お手本テンプレート７０１は、お手本画像データとその配置情報が記録されている。お手本画像データ７０２及び７０３は、お手本画像のコンテンツとその配置を表している。候補画像群７０４は候補画像取得部２０５が取得した画像群を表している。類似画像データ７０５及び７０６は、Ｓ６０７で選択された類似画像データを表しており、類似画像データ７０５はお手本画像データ７０２と類似しており、類似画像データ７０６はお手本画像データ７０３と類似している。レイアウト作成部２０８は、お手本画像７０２の代わりに類似画像データ７０５を配置し、お手本画像７０３の代わりに類似画像データ７０６を配置することでレイアウトデータ７０７を作成する。これにより、お手本テンプレートと類似したレイアウトデータが作成される。

Ｓ６０９において、差異領域判定部２１１は、レイアウト作成部２０８が作成したレイアウトデータにおいて、お手本アルバムデータ取得部２０３が取得したお手本テンプレートと差異がある領域を判定する。なお、上述の図２の差異領域判定部２１１の説明において判定方法が説明されているため、ここでは詳細な説明は省略する。また、図７（ｂ）は、お手本テンプレート７０１におけるお手本画像データ７０２に類似する類似画像データが存在しなかった場合のレイアウトデータを示す。この場合、Ｓ６０９において、レイアウトデータ７０７の点線領域７０８が、差異がある領域と判定される。

Ｓ６０９において、レイアウト作成部２０８は、お手本アルバムデータ取得部２０３が取得したお手本アルバムデータにおいて、全ての見開きに対してＳ６０６〜Ｓ６０７の処理が完了したかを判定する（Ｓ６１０）。本ステップの判定結果が真の場合、Ｓ６１１に進む一方、該判定結果が偽の場合、Ｓ６０６に戻る。

Ｓ６１１において、アルバムデータ出力部２０９は、レイアウト作成部２０８が作成した全見開きのレイアウトデータと、アルバム作成条件設定部２０２で設定された商材情報をまとめてアルバムデータとして出力（表示制御）する。アルバムデータは例えば図３のような形式をしており、ＨＤＤ１０４に保存する。

そして、この保存されたアルバムデータが、図８（ａ）のようにレイアウト結果として表示される。なお、レイアウト結果としてアルバムデータが表示される場合、Ｓ６０９の判定結果が反映される。すなわち、図８（ａ）の見開き表示部８０３に表示された見開き画像にＳ６０９において差異があると判定された差異領域が含まれる場合、図８（ｂ）のように差異領域が他の領域よりも強調して表示される。以上の処理により、お手本アルバムデータのレイアウト結果と、類似アルバムデータのレイアウト結果に基づいて、類似アルバムデータのレイアウト結果における所定の条件を満たす差異が発生している領域が他の領域よりも強調して表示される。

本実施形態によれば、お手本テンプレートを基に作成された類似アルバムデータに対して、お手本画像データとレイアウトされた類似画像データとの類似性が低い領域が強調表示される。これにより、ユーザはお手本テンプレートと差異があるスロットを容易に確認することが可能となる。その結果、ユーザが所望とするアルバムを容易に出力することができる。

［第２の実施形態］
本実施形態では、スロット単位ではなく見開き全体において差異がある場合の強調表示について、図９及び図１０を用いて説明する。図９は、本実施形態におけるアルバム生成についてのブロック図である。なお、第１の実施形態と同じ番号に関しては、同じ装置での同じ処理を表しているため、ここでは説明を割愛する。

シーン分類部９０１は、候補画像解析部２０６で導出した解析情報を用いて、候補画像群を複数のサブ画像群に分け、サブ画像群毎にシーンのカテゴリを判定する。シーンのカテゴリとして、例えば、屋内、屋外といったシチュエーションや、旅行や結婚式といった写真を撮影した時のイベント等が挙げられる。

具体的にはまず、シーン分類部９０１は、候補画像解析部２０６で取得済みの撮影日時の情報を用いて、候補画像群に含まれる候補画像データ間の撮影日時の時間差に基づいて候補画像群を複数のサブ画像群に分割する。実際の分割の例は以下の通りである。

まずシーン分類部９０１は、候補画像群のうち、最も撮影時間が古い候補画像データを着目画像として特定する。シーン分類部９０１は、着目画像と、着目画像の次に撮影時間が古い候補画像データ（この段階だと２番目に古い画像）との時間差を算出し、該算出した時間差が所定の閾値以上が判定する。シーン分類部９０１は、このような処理を、着目画像を撮影時間が新しい候補画像データに順次置き換えながら、全ての候補画像データに対して行う。なお、本実施形態における「分割」とは、２つの画像間を境に撮影時間の新しい方と古い方とで候補画像群を複数のサブ画像群に分割するという意味である。本実施形態では、着目画像の撮影時間と、着目画像の次に古い候補画像データの撮影時間との間の差分が１６時間以上の場合、シーン分類部９０１は、画像群をこの候補画像データ間で分割して、これらの候補画像データを異なるサブ画像群に属させる。

その後、各サブ画像群に対してシーンのカテゴリを判定する。本実施形態では、サブ画像群のシーンとして、旅行、日常、セレモニーの３つに分類する場合を例に挙げて説明するが、分類はこれに限定されるものではない。

図１１のテーブル生成方法について説明する。まず、旅行、日常、セレモニーのうちいずれに分類済みのサブ画像群を取得する。ここでは、例えば、旅行に分類済みの複数のサブ画像群、日常に分類済みの複数のサブ画像群、セレモニーに分類済みの複数のサブ画像群が取得される。そして取得された複数のサブ画像群それぞれについて、画像の特徴量を取得する。本実施形態で取得する特徴量は、例えば、撮影期間、撮影枚数、撮影人数である。撮影期間は、サブ画像群の最初の撮影から最後の撮影までの時間差である。撮影枚数は、サブ画像群に含まれる画像データの数（写真の枚数）である。撮影人数は、サブ画像群に含まれる各画像データに写っている顔の数である。すなわち、１つの画像データに含まれる顔の数である。そして、シーン分類部９０１は、各シーンの複数のサブ画像群の画像の特徴量に基づいて、各シーンの撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、１画像あたりの人数の平均値と標準偏差を求める。なお、本実施形態では、１画像データあたりの顔の数が、１画像データあたりの人数とする。図１１は、撮影期間（時間）、撮影枚数（枚）、撮影人数（人）の各平均値と標準偏差の一例を示す。これらの求めた値は、アルバム作成アプリケーションのプログラムに予め組み込んでおく。すなわち、予め集めた画像を使って設計段階で学習によって図１１のパラメータを作成して、プログラムに組み込んでおく。

続いて、シーン分類部９０１は、候補画像群を分割することで生成された複数のサブ画像群毎に、撮影期間、撮影枚数、及び撮影人数の平均値を算出する。そして、シーン毎に、各サブ画像群の撮影期間、撮影枚数、撮影人数の平均値、図１１の各シーンの平均値と標準偏差に基づいて、以下の式により得点化する。

シーン及び特徴量毎の得点＝５０−｜１０×（シーン及び特徴量毎の平均値−サブ画像群毎の特徴量）／シーン及び特徴量毎の標準偏差｜ （式２）
シーン毎の平均得点＝（シーン毎の撮影期間の得点＋シーン毎の撮影枚数の得点＋シーン毎の人数の得点）／特徴量項目数 （式３）
式２及び式３により、候補画像群の中の着目サブ画像群の、各シーンおよび各特徴量についての得点が求められる。例えば、着目サブ画像群について旅行シーンの撮影期間、撮影枚数、撮影人数それぞれの得点が求められる。これら得点を式２により平均化して、着目サブ画像群の旅行シーンに関する得点が算出される。同様に、日常、セレモニーという他のシーンについても得点が得られる。以上により、着目サブ画像群の旅行、日常、セレモニー毎の平均得点が算出される。

そして、シーン分類部９０１は、着目サブ画像群において最高点のシーンをその着目サブ画像群のシーンとして分類する。２以上のシーンが同点の場合は、優先シーンに応じてシーンを分類する。例えば、本実施形態では、日常＞セレモニー＞旅行の順に優先することが予め決められており、日常の優先度を最も高くする。なお、優先度の順番はこれに限定されるものではなく、また、ユーザが優先度の順番を設定できるようにしてもよい。シーン分類部９０１は、候補画像群の中の他のサブ画像群を着目サブ画像群と特定して、同様のシーンの判定処理を実行する。

以上の処理により候補画像群から生成された複数のサブ画像群それぞれに対して、本実施例では、日常、セレモニーまたは旅行のシーンが割り当てられる。ここでアルバム作成アプリケーションは、各サブ画像群に対してシーン識別ができるようにシーンＩＤを関連付けて管理する。

尚、本実施形態では撮影日時の情報を用いて候補画像群からサブ画像群を生成したが、用いる情報はこれに限らない。例えば、撮影位置の情報を用いて、撮影位置が近い画像同士が同一のサブ画像群に属するように、候補画像群を分割してもよい。別の例として、個人認識結果を用いてもよい。例えば、卒業アルバムにおいて、あるグループ（クラスや部活等）に所属する生徒の画像を事前にアプリケーションに登録しておくことで、グループに所属する生徒が写っている画像をまとめた画像群を１つのサブ画像群としてもよい。さらに別の例として、画像情報以外の情報を用いてもよい。ここでは類似するイベントを１つのシーンとしてまとめる方法を説明する。画像が保存されているフォルダ名や、ソーシャルネットワーキングサービス等で付けたタグ情報を画像データに付随するメタ情報として取得する。例えば、「運動会」や「修学旅行」などの検索ワードによって、同じ検索ワードを含むメタ情報を持つ画像データ群を１つのサブ画像群とする。検索ワードの指定に関しては、アルバム作成条件設定部２０２を介してアプリケーションに予め組み込まれている検索ワードの中から、ユーザが選択してもよいし、テキストボックスに検索ワードを入力してもよい。

また、本実施形態ではシーン分類において撮影期間、撮影枚数、撮影人数を特徴量としたが、これに限らない。例えば、屋内か屋外かを識別するために、機械学習を用いた画像セグメンテーションにより空が写っているか否か、といったフラグを特徴量としてもよい。あるいは、セレモニーの中でも、さらに細かく分類してもよい。例えば結婚式と披露宴に分類する場合、個人認識結果を用いて全画像データ中で最も多く写っている上位二人を新郎新婦として特定する。そして、新郎新婦のみが写っている写真が多いシーンを結婚式、新郎新婦以外の人も共に写っている写真が多いシーンを披露宴のように分類してもよい。さらには、特徴量を機械学習によって取得してもよい。例えば、分類したいシーンとそのシーンを表す画像群を用意し、Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）を用いて入力を画像、出力をシーン分類結果となる学習を行うことで、シーン分類を行ってもよい。

類似画像選択部９０２は、お手本画像解析部２０４が解析したお手本画像の解析情報と、候補画像解析部２０６が解析した候補画像の解析情報を基に、候補画像群からアルバムに使用する画像データを選択する。本実施形態では、類似画像選択部２０７の類似画像選択処理を行う際に、シーン分類部９０１で判定したシーンＩＤを使用する。具体的には、お手本画像と同じシーンＩＤが関連付けられているサブ画像群に含まれる候補画像データの中から、類似画像選択部２０７で説明した類似画像選択処理を実行する。この際に、お手本画像と同じシーンＩＤが付与されたサブ画像群が存在しなかった場合は「類似画像なし」というフラグをお手本テンプレートの対象スロットに付けて管理する。尚、類似画像選択処理にシーンＩＤを使用する方法はこれに限らない。例えば、お手本画像に付与されたシーンＩＤと関連する複数のシーンＩＤが付与された画像データを類似画像の選択対象としてもよい。また、シーンＩＤのみで「類似画像なし」のフラグを判定しなくてもよい。お手本画像と候補画像の類似度を基に選択された類似画像の類似度が低い場合に「類似画像なし」と判定してもよい。

差異領域判定部９０３は、差異領域判定部２１１の処理に加え、類似画像選択部９０２で「類似画像なし」と判定された画像についても差異領域であると判定する。

差異領域強調部９０４は、差異領域判定部９０３が差異があると判定した領域について強調表示する。スロットに対する強調表示は差異領域判定部２１１と同様である。さらに本実施形態では、差異領域判定部９０３は、見開き全体についても対する差異領域を強調表示する。本実施形態では、ある見開きの全スロットについて、差異領域判定部９０３が差異領域と判定した場合、該見開き全体を強調表示する。図１２は、本実施形態の強調表示について説明する図である。

見開きページ１２０１ではお手本テンプレートのスロット位置のみを表示し、画像を割り当てない状態で表示する。その結果、ユーザは、見開きページ１２０１を見ることで画像データが割り当てられないことを認識し、お手本テンプレートと差異がある見開きページであることを容易に認識できる。なお、図１２（ａ）では、画像が割り当てられていないスロットを表示することで強調表示を行っていたが、他の方法で強調表示を行っても良い。例えば、図１２（ｂ）の見開きページ１２０２のように、スロットも画像データも含まれない見開きページを表示しても良い。また、例えば、見開きページにおける左ページのスロットに割り当てられた類似画像データの類似度が低く、右ページのスロットに割り当てられた類似画像データの類似度が高かった場合、図１２（ｂ）の見開きページ１２０３が表示されても良い。この場合、右ページにおいて強調表示は行われず、左ページ全体に枠を表示すること強調表示が行われる。この結果、ユーザは、見開きページ１２０３を見ることで左側半分に配置された類似画像データの類似度が低いことを容易に認識できる。

図１０は、本実施形態で自動レイアウトを実行する処理のフローチャートである。なお、図６と異なる点について説明する。

Ｓ１００１において、シーン分類部９０１は、お手本画像解析部２０４が解析した解析結果を基に、お手本テンプレートの１つの見開きに対して前述した処理を行うことでシーンを割り当てる。また、シーン分類部９０１は、候補画像解析部２０６が解析した解析結果を基に、候補画像群から生成された複数のサブ画像群それぞれに対してシーンを割り当てる。

また、図１０のＳ６０７においては、図６のＳ６０７とは一部の処理が異なる。具体的には、類似画像の選択に、シーンＩＤが使用される点である。類似画像の詳細な選択方法は上述されているため省略する。それ以外の各ステップの処理は、実施形態１と同じであるため詳細な説明は省略する。

本実施形態によれば、シーンが欠落する等、お手本テンプレートに対して見開き全体でレイアウトが出来なかった場合に、該見開きを強調表示することができる。その結果、ユーザが所望とするアルバムを容易に出力することができる。なお、第２の実施形態では、各サブ画像群に対してシーンを割り当てる処理が含まれる例で説明したがその限りではない。シーンの割り当てが無かったとしても、お手本テンプレートのお手本画像に類似する候補画像データが１つもない場合に、見開きを強調表示しても良い。

［その他の実施形態］
上述した実施形態では、スロットに配置されたお手本画像と、お手本画像の代わりに配置される候補画像データの類似度をもとに差異領域を判定する方法に関して記載しているが、これに限らない。見開きやページ全体を１枚の画像と見做して判定しても良い。例えば、お手本テンプレート７０１の見開き画像と、レイアウトデータ７０７の見開き画像の類似度によって差異領域を判定してもよい。さらに、１つの見開き画像を複数の領域に分割し、各領域において差異領域を判定してもよい。

上述した実施形態では、アルバムを生成する際に利用する例を用いて説明したがその限りではない。アルバム以外の出力結果（例えば、カタログ、本など）を得る際に上述した実施形態が使用されても良い。

上述した実施形態は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（ＣＰＵ、ＭＰＵ、プロセッサ等）がプログラムを読み出して実行する処理である。また、プログラムは、１つのコンピュータで実行させても、複数のコンピュータで連動させて実行させるようにしてもよい。また、上記した処理の全てをソフトウェアで実現する必要はなく、処理の一部または全部をＡＳＩＣ等のハードウェアで実現するようにしてもよい。

また、ＣＰＵも１つのＣＰＵで全ての処理を行うものに限らず、複数のＣＰＵが適宜連携をしながら処理を行うものとしてもよい。

１００ 画像処理装置
２０１ 自動レイアウト処理部

Claims (10)

1. お手本となるお手本アルバムデータに含まれるお手本画像を解析して、第１解析結果を取得する第１取得手段と、
   複数の候補画像を解析することで得られる第２解析結果を取得する第２取得手段と、
   前記第１解析結果と前記第２解析結果に基づいて、前記複数の候補から前記お手本画像に類似した画像を類似画像として選択する選択手段と、
   前記選択された類似画像データに基づいて類似アルバムデータを生成する生成手段と、
   前記お手本アルバムデータのレイアウト結果と、前記類似アルバムデータのレイアウト結果に基づいて、前記類似アルバムデータのレイアウト結果における所定の条件を満たす差異が発生している領域を、他の領域よりも強調して表示する表示制御手段を備えることを特徴とする画像処理装置。
2. 前記お手本アルバムデータのレイアウト結果として配置されるお手本画像と、前記類似アルバムデータのレイアウト結果として配置される類似画像の類似度を取得する第３取得手段と、
   前記類似度に基づいて、前記所定の条件を満たす差異が発生している領域を特定する特定手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記第３取得手段は、前記お手本アルバムデータのレイアウト結果であるｎ（ｎは自然数）番目のページに配置されたお手本画像と、前記類似アルバムデータのレイアウト結果であるｎ番目のページに配置された類似画像の類似度を取得することを特徴とする請求項２に記載の画像処理装置。
4. 前記所定の条件を満たす差異が発生している領域とは、前記アルバムデータのレイアウト結果である見開きページの一部の領域であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記所定の条件を満たす差異が発生している領域とは、前記アルバムデータのレイアウト結果である見開きページの全体の領域であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記お手本アルバムデータのレイアウト結果として出力されるページ数は、前記類似アルバムデータのレイアウト結果として出力されるページ数と同じであることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記表示制御手段は、前記類似アルバムデータのレイアウト結果における所定の条件を満たす差異が発生している領域に対して他の領域より強調して表示するために、前記類似アルバムデータのレイアウト結果における所定の条件を満たす差異が発生している領域に対して他の領域とは異なる画像処理を適用することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記表示制御手段は、前記類似アルバムデータのレイアウト結果における所定の条件を満たす差異が発生している領域に対して他の領域より強調して表示するために、前記類似アルバムデータのレイアウト結果における所定の条件を満たす差異が発生している領域に対して前記類似画像を配置しないことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
9. お手本となるお手本アルバムデータに含まれるお手本画像を解析して、第１解析結果を取得する第１取得工程と、
   複数の候補画像を解析することで得られる第２解析結果を取得する第２取得工程と、
   前記第１解析結果と前記第２解析結果に基づいて、前記複数の候補から前記お手本画像に類似した画像を類似画像として選択する選択工程と、
   前記選択された類似画像データに基づいて類似アルバムデータを生成する生成工程と、
   前記お手本アルバムデータのレイアウト結果と、前記類似アルバムデータのレイアウト結果に基づいて、前記類似アルバムデータのレイアウト結果における所定の条件を満たす差異が発生している領域を、他の領域よりも強調して表示する表示制御工程を備えることを特徴とする制御方法。
10. コンピュータに、
    お手本となるお手本アルバムデータに含まれるお手本画像を解析して、第１解析結果を取得する第１取得工程と、
    複数の候補画像を解析することで得られる第２解析結果を取得する第２取得工程と、
    前記第１解析結果と前記第２解析結果に基づいて、前記複数の候補から前記お手本画像に類似した画像を類似画像として選択する選択工程と、
    前記選択された類似画像データに基づいて類似アルバムデータを生成する生成工程と、
    前記お手本アルバムデータのレイアウト結果と、前記類似アルバムデータのレイアウト結果に基づいて、前記類似アルバムデータのレイアウト結果における所定の条件を満たす差異が発生している領域を、他の領域よりも強調して表示する表示制御工程を実行させるためのプログラム。

Images