JP2010153936A - 画像評価装置及び画像評価プログラム - Google Patents

Abstract

【課題】重要度の高い画像を自動でピックアップしてダイジェスト画像として、アルバムデータのシーンデータを構成する画像評価装置を提供する。
【解決手段】画像評価装置１００は、複数の画像と複数のテンプレートとこのテンプレートの配置情報を関連付けて記憶する記憶部１０３と、画像の特徴量を計算する特徴量計算部１０４と、特徴量に基づいて画像分類し、類似する画像から構成される複数のクラスタを生成するクラスタリング処理を実行するクラスタリング実行部１０５と、クラスタを構成する画像の枚数に応じて代表画像であるダイジェスト画像を決定するダイジェスト画像決定部１０２と、複数のクラスタの中からテンプレートの配置情報に応じてクラスタを抽出し、抽出された当該クラスタの重要度順を決定する重要度決定部１０７と、アルバムデータを作成するアルバム作成部１０９と、を有する。
【選択図】図１

Description

本発明は、画像評価装置及び画像評価プログラムに関する。

カメラで写真（画像）を撮影する際、人は、気に入ったシーンにおいて、複数回シャッターをきることが多く、特に、デジタルカメラの普及に伴い、さらに気軽にシャッターをきることができる為、枚数が増える傾向にある。ユーザーは、このようにして撮影した写真（画像）を整理する段階おいて、同じような写真（以下、類似画像と称する）が何枚もある事実に直面する。このような複数の類似画像のなかから、最も良い画像を選び出して整理して閲覧し易くしたり、または、最も良い画像を選び出して印刷するためにダイジェストを作成したりするなどの作業は、ユーザーにとって、非常に時間と手間のかかる作業である。

このような状況を解消するための手段の１つとして、複数の画像の類似度を分析してグループ分けを行い、その結果に基づいてサムネイル表示をすることで、ユーザーの画像検索時間を短縮するという方法が知られている。また、画像を閲覧し易くするために、複数枚の画像を１ページにレイアウトしてアルバムを作成する場合において、類似した画像毎にグループ分けして画像群を構成し、ユーザーが指定したキーワードの画像と類似した画像を、ユーザーが指定した枚数分抽出して、それらの画像を１ページにレイアウトしてアルバムの１ページ（シーンデータ）を構成する方法が知られている（例えば、特許文献１及び２参照）。このような方法によれば、ユーザーがアルバムを作成する場面や、印刷用の画像を選ぶ場面において、類似した画像毎にグループ分けして画像群を構成しているので、類似画像をまとめてユーザーに提示したり、あるいは類似度の低い画像（似ていない画像同士）をピックアップしてユーザーに提示したりすることで、画像群のダイジェスト作成のための画像抽出の手助けができる。
特開２００５−２３５５４６号公報 特開２００８−６５６７０号公報

しかしながら、従来の方法では、画像群の全体から、重要度の高い画像を自動でピックアップしてダイジェストを作成することができない。そのため、閲覧のためのレイアウトを行う際には、ユーザーが自ら重要性の高い画像を選択して、絞り込み枚数を指定する手間が依然として必要であるとの課題があった。

本発明はこのような課題に鑑みてなされたものであり、記憶されている複数の画像から、重要度の高い画像を自動でピックアップしてダイジェスト画像として、アルバムデータのシーンデータを構成する画像評価装置及び画像評価プログラムを提供することを目的とする。

前記課題を解決するため、本発明に係る画像評価装置は、複数の画像及び複数のテンプレートとこのテンプレートに関連する配置情報を記憶する記憶部と、画像の特徴量を計算し、画像に当該特徴量を関連付けて記憶部に記憶する特徴量計算部と、記憶部に記憶された特徴量に基づいて画像分類し、類似する画像から構成される複数のクラスタを生成するクラスタリング処理を実行し、画像に当該クラスタを関連付けて記憶部に記憶するクラスタリング実行部と、クラスタを構成する画像から代表画像であるダイジェスト画像を決定するダイジェスト画像決定部と、複数のクラスタの中からテンプレートの配置情報に応じてクラスタを抽出し、抽出された当該クラスタの重要度順を決定する重要度決定部と、抽出されたクラスタのダイジェスト画像を重要度順に応じてテンプレートに配置して合成画像を構成するシーンデータを作成し、シーンデータで構成されるアルバムデータを記憶部に記憶するアルバム作成部と、を有する。

このような画像評価装置において、重要度決定部は、クラスタを構成する画像の枚数の情報に基づいてクラスタの重要度を決定する構成であることが好ましい。

また、このような画像評価装置は、画像から失敗画像を検出して、当該失敗画像を画像に関連付けて記憶部に記憶する失敗画像処理部を有し、ダイジェスト画像決定部は、失敗画像を除いてダイジェスト画像を決定する構成であることが好ましい。

また、このような画像評価装置において、ダイジェスト画像決定部は、クラスタを構成する画像の枚数に応じて代表画像であるダイジェスト画像を決定する際に、クラスタを構成する画像の失敗画像を除いた画像の枚数が３枚以上の場合には、当該画像の間の類似度を算出して、３枚以上の画像のうち当該類似度が最も高い画像を代表画像であるダイジェスト画像とし、失敗画像を除いた画像の枚数が２枚の場合には、当該２枚の画像で構成されるクラスタに隣接するクラスタのダイジェスト画像と、当該２枚の画像との類似度を算出して、２枚の画像のうち当該ダイジェスト画像との類似度の低い方の画像を代表画像であるダイジェスト画像とし、失敗画像を除いた画像の枚数が１枚の場合には、当該画像を代表画像であるダイジェスト画像として、決定する構成であることが好ましい。

前記課題を解決するため、本発明に係る画像評価プログラムは、制御部と、少なくとも複数の画像と複数のテンプレートが記憶された記憶部と、を有し、複数の画像をテンプレートに配置した合成画像を表示可能な画像表示部に表示する際に、記憶部にアクセス可能で複数の画像から合成画像を構成して画像表示部へ表示する処理をコンピュータに実行させる画像評価プログラムであって、制御部により、記憶部から画像を読み出し、当該画像の特徴量を計算し、画像に当該特徴量を関連付けて記憶部に記憶する特徴量計算処理と、記憶部に記憶された特徴量に基づいて画像分類し、類似する画像から構成される複数のクラスタを生成し、画像に当該クラスタを関連付けて記憶部に記憶するクラスタリング実行処理と、クラスタを構成する画像において、画像間の類似度を特徴量に基づいて算出して、類似度の最も高い画像を代表画像であるダイジェスト画像として決定するダイジェスト画像決定処理と、複数のクラスタの中からテンプレートの配置情報に応じてクラスタを抽出し、抽出された当該クラスタの重要度順を決定する重要度決定処理と、抽出されたクラスタのダイジェスト画像を重要度順に応じてテンプレートに配置して合成画像を構成するシーンデータを作成し、シーンデータで構成されるアルバムデータを記憶部に記憶するアルバム作成処理と、を実行する。

また、このような画像評価プログラムにおいて、重要度決定処理は、クラスタを構成する画像の枚数の情報に基づいてクラスタの重要度を決定する処理であることが好ましい。

また、このような画像評価プログラムにおいて、画像から失敗画像を検出して、当該失敗画像を画像に関連付けて記憶部に記憶する失敗画像処理工程を実行し、ダイジェスト画像決定処理は、失敗画像を除いてダイジェスト画像を決定する処理であることが好ましい。

また、このような画像評価プログラムにおいて、ダイジェスト画像決定処理は、クラスタを構成する画像の枚数に応じて代表画像であるダイジェスト画像を決定する際に、クラスタを構成する画像の失敗画像を除いた画像の枚数が３枚以上の場合には、当該画像の間の類似度を算出して、３枚以上の画像のうち当該類似度が最も高い画像を代表画像であるダイジェスト画像とし、失敗画像を除いた画像の枚数が２枚の場合には、当該２枚の画像で構成されるクラスタに隣接するクラスタのダイジェスト画像と、当該２枚の画像との類似度を算出して、２枚の画像のうち当該ダイジェスト画像との類似度の低い方の画像を代表画像であるダイジェスト画像とし、失敗画像を除いた画像の枚数が１枚の場合には、当該画像を代表画像であるダイジェスト画像として、決定する処理であることが好ましい。

なお、本発明に係る画像評価プログラムは、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体または記憶装置に格納される。また、ネットワークなどを介してデジタル信号として配信される場合もある。このとき、中間的な処理結果はメインメモリー（ＲＡＭ）等の記憶装置に一時的に保管される。

本発明に係る画像評価装置及び画像評価プログラムを以上のように構成すると、複数の画像データから自動で類似画像のクラスタリングが可能となり、類似画像のクラスタ（類似画像グループ）の中から重要度の高い画像データのピックアップを自動的に行うことが可能となる。

以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１及び図２を用いて本実施形態に係る画像評価装置１００の構成について説明する。尚、本実施の形態では、画像評価装置１００について説明するが、画像評価装置１００を、撮像部を有するデジタルカメラに適用することもでき、また、デジタルフォトフレーム等にも適用することができる。図１に示すように、この画像評価装置１００は、ＨＤＤ１１、メモリ１２、ＣＰＵ（制御部）１３、外部Ｉ／Ｆ１４、ビデオメモリ１５、入力デバイス１６を有し、これらがデータバス１７を介して接続され、又、ＨＤＤ１１等に記憶された画像データは、ビデオメモリ１５を介して画像表示部（モニタ）１８で表示し閲覧することができる。入力デバイス１６は、ユーザーからの指示を受け、その信号を、ＣＰＵ（制御部）１３に伝え、その信号に基づくＣＰＵ（制御部）１３の制御により各部が動作する。外部Ｉ／Ｆ１４は、図示しないデジタルカメラやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やリムーバルメモリ等の外部装置に記憶されているデータを読み込むためのコントローラ等を備え、外部装置で撮影された画像がこの外部Ｉ／Ｆ１４を介してＣＰＵ（制御部）１３の制御によりにＨＤＤ１１等の記憶部に記憶される。また、ＨＤＤ１１は、画像評価装置１００として機能する為のプログラム等や画像等のデータを記憶している。メモリ１２は、画像評装置１００の起動プログラムを記憶したり、ＨＤＤ１１に記憶されているプログラムやデータを一時的に格納する機能を有する。そして、ＣＰＵ（制御部）１３は、ＨＤＤ１１やメモリ１２等に記憶されたプログラムを実行し、画像評価装置１００の各部を制御する。

図２で示すように、画像評価装置１００は、ＣＰＵ（制御部）１３と、ダイジェスト画像決定部１０２と、データベース（記憶部）１０３と、特徴量計算部１０４と、クラスタリング実行部１０５と、作業領域（Ｗｏｒｋ ＲＡＭ）１０６と、重要度決定部１０７と、失敗画像処理部１０８と、アルバム作成部１０９と、画像表示部１８と、を有する。ＣＰＵ（制御部）１３は、装置全体を制御し、特徴量計算部１０４は、ＣＰＵ（制御部）１３の指示より、データベース（記憶部）１０３に記憶されている画像を読み出し、作業領域（Ｗｏｒｋ ＲＡＭ）１０６上で画像の特徴量を計算する。クラスタリング実行部１０５は、その特徴量に基づいて画像を分類し、類似画像から構成される複数のクラスタを生成する（クラスタリング処理を実行する）。ダイジェスト画像決定部１０２は、複数のクラスタに分類された画像から重要度の高い画像（ダイジェスト画像）を決定し、要度決定部１０７は、各ダイジェスト画像の重要度（優先度）を決定する。また、失敗画像処理部１０８は、画像の露出良または露出不良や手ぶれなどを判断してクラスタに分類された画像から失敗画像を取り除き、アルバム作成部１０９は、データベース（記憶部）１０３に記憶されているテンプレートに画像を配置して合成画像となるシーンデータの構成をダイジェスト画像やその重要度などに基づいて決定すると共に複数のシーンデータから構成されるアルバムデータを作成する。画像表示部１８は、このアルバムデータに含まれるシーンデータに基づいて合成画像を表示する。作業領域（Ｗｏｒｋ ＲＡＭ）１０６は、クラスタリング処理の結果や途中計算などを一時的に保存する構成を有している。

データベース（記憶部）１０３は、図３及び図４に示すように、画像データの格納先や所属するクラスタ番号などが記憶される画像情報記憶ファイル１１３と、テンプレートの番号や属性（枚数、画像配置の位置や大きさ）情報が記憶されるテンプレート情報ファイル１１５と、テンプレート、画像のファイルデータ及びシーン番号などが記憶されるアルバムデータファイル１１４とを有する。画像情報記憶ファイル１１３は、図３のようなデータ構造を有しており、画像データのファイル名が記憶されるファイル名カラム１１３ａと、この画像データ及び属性情報からなる画像ファイルの格納先のアドレスが記憶される画像ファイル格納アドレスカラム１１３ｂと、後述する特徴量算出の結果である画像の特徴量が記憶される特徴量カラム１１３ｃと、後述するクラスタリングの結果が記憶されるクラスタ番号カラム１１３ｄと、画像が失敗画像であるか無いかを判別する失敗フラグデータカラム１１３ｅとを有している。

一方、テンプレート情報ファイル１１５は、図４（ｂ）に示すようなデータ構造を有しており、テンプレートデータの番号が記憶されるテンプレート番号カラム１１５ａと、テンプレートに配置できる枚数が記憶される枚数データカラム１１５ｂと、テンプレートに配置する画像の大きさや位置の情報が記憶されている位置大きさ情報カラム１１５ｃとを有している。

また、アルバムデータファイル１１４は、図４（ａ）に示すようなデータ構造を有しており、シーンデータの順番が記憶されるシーン番号データカラム１１４ａと、そのシーンデータの合成画像を構成するテンプレートデータを識別するためのテンプレートデータの番号が記憶されるテンプレート番号カラム１１４ｂと、テンプレート番号カラム１１４ｂで指定した番号のテンプレートに配置できる画像枚数分の画像ファイル名が配置順に記憶される位置情報データカラム１１４ｃとを有している。このアルバムデータファイル１１４に記憶されるアルバムデータは、テンプレートに複数の画像を配置した合成画像を構成する１つのシーン（シーンデータ）を複数有する構成である。

そして、アルバムデータを構成するシーンデータで使用するテンプレートデータは、テンプレートの番号で指定でき、指定したテンプレートの属性情報は、テンプレート情報ファイル１１５により、枚数及び画像の配置位置や大きさが決定される。テンプレートに配置する際の画像の重要度は、アルバムデータファイル１１４の位置情報データカラム１１４ｃの１，２，３，４，・・の順であり、位置情報データカラム１１４ｃのこの番号は、テンプレート情報ファイル１１５の位置大きさ情報カラム１１５ｃの番号に該当する。また、画像ファイルに含まれる属性情報には撮影時刻のデータ等も有しており、このようファイル形式は、例えば、日本電子工業振興協会（ＪＥＩＤＡ）で規格されたＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）等のデータ構造を有している。

アルバムデータファイル１１４に記憶されているアルバムデータの１つのシーンデータにおいて、その１つのシーンを構成する画像データはファイル名で指定され、そのファイル名に対応する画像ファイル格納アドレスカラム１１３ｂのアドレスにより特定できる。したがって、ＣＰＵ（制御部）１３は、アルバムデータファイル１１４の１つのシーンのファイル名を参照して、データベース（記憶部）１０３の画像情報記憶ファイル１１３のファイル名カラム１１３ａから対応するファイル名と、そのファイル名に対応するアドレスを画像ファイル格納アドレスカラム１１３ｂを参照して特定し、そのアドレスを参照して、データベース（記憶部）１０３から画像データを読み込む。また、ＣＰＵ（制御部）１３は、アルバムデータファイル１１４の１つのシーンのテンプレート番号を抽出して、データベース（記憶部）１０３のテンプレート情報ファイル１１５から該当する番号のテンプレート情報を読み出し、そのテンプレートと画像データとに基づいて、合成画像を構成し、この合成画像を画像表示部１８に表示する。

（アルバムデータの作成）
画像評価装置１００により、画像の評価及びその評価結果を用いて、アルバムデータを作成する処理について、図５のフローチャートを使用して説明する。ユーザが、入力デバイス１６からアルバムデータ作成の指示を行うと、その信号がＣＰＵ（制御部）１３に対して発信され、ＣＰＵ（制御部）１３は、データベース（記憶部）１０３からアルバム作成を行う画像データを画像情報記憶ファイル１１３のファイル名カラム１１３ａに記憶されたファイル名（例えば、０００１．ｊｐｇなど）と対応付けられたアドレスに基づいて画像ファイルを読み出し、この画像ファイルに含まれる画像データを基に、特徴量計算部１０４が、当該画像の特徴量を計算し、計算結果である特徴量をＣＰＵ（制御部）１３に返し、その結果が、画像情報記憶ファイル１１３の特徴量カラム１１３ｃに記憶される（ステップＳＴ１００）。ここで、画像の特徴量は、ｍｐｇｅ７ ｖｉｓｕａｌ ｄｉｓｃｒｉｐｉｔｉｏｎで定義されている各種画像統計量が特徴量とされ、これにより各画像を特徴づける。具体的には、画像の特徴量は、画像のテクスチャと関連したエッジエヒストグラムと呼ばれる画像統計量や、色分布に関する統計量であるカラーヒストグラムやカラーレイアウトである。例えば、色分布に関する統計量であるカラーヒストグラムの場合を例にして説明する。ここで、特徴量計算部１０４に入力される画像データは、第１の表色系としてＹＣｂＣｒ（以下、単に「ＹＣＣ」と呼ぶ）表色系にて表現されているものとする。また、以降の説明において、この画像データを単に「ＹＣＣデータ」と呼ぶ。特徴量計算部１０４に入力されたＹＣＣデータを、ＹＣＣ色空間上にプロットして、特徴量計算部１０４は、各ブロック毎にプロットされた個数をカウントする。そして、カウントする事により３次元のＹＣＣヒストグラムが生成される。したがって、特徴量計算部１０４が、これを用いて特徴量の算出を行い、ＣＰＵ（制御部）１３は、計算結果である当該特徴量を、当該画像のデータと関連づけてデータベース（記憶部）１０３の画像情報記憶ファイル１１３の特徴量カラム１１３ｃに記憶し保存する。

次に、ＣＰＵ（制御部）１３は、その画像のデータを失敗画像処理部１０８に渡して、失敗画像の検出の指示を与えると、失敗画像処理部１０８が、渡された画像データの露出良または露出不良やブレ（手ぶれ）などの情報を基に、当該画像が失敗画像に該当するか否かの判定を行い、その結果をＣＰＵ（制御部）１３に返し、ＣＰＵ（制御部）１３は、その結果を基に画像情報記憶ファイル１１３の失敗フラグデータカラム１１３ｅに失敗画像であることを識別するためのフラグを記憶する（ステップＳＴ１１０）。ここでは、画像が失敗画像である場合は、”１”が記憶され、そうでない場合は、”０”が記憶されるように構成された場合について説明する。この失敗画像処理部１０８の失敗画像の判断は、例えば、画像の彩度及び明度に基づいて、一定の閾値範囲にある場合は、露出良とし、その範囲を外れる場合は露出不良であり失敗画像に該当すると判断し、または、画像のエッジ情報を基に、ブレのある失敗画像であるか否かの判定を行う。このような判定の結果が、ＣＰＵ（制御部）１３に返され、上述したように、失敗フラグデータカラム１１３ｅに失敗画像であることを識別するためのフラグを記憶する。

上述の特徴量算出処理（ステップＳＴ１００）及び失敗画像の検出処理（ステップＳＴ１１０）は、データベース（記憶部）１０３内に保存された画像全てに対して実行されるまで繰り返される。

以上、データベース（記憶部）１０３に保存されている画像全てに対し、画像データを読み込んで特徴量計算及びデータベース（記憶部）１０３への保存が終了した段階で、画像評価装置１００は引き続き、画像クラスタリング処理を行う（ステップＳＴ１２０）。画像クラスタリング処理においてＣＰＵ（制御部）１３はデータベース（記憶部）１０３に格納された、各画像ファイルを読み出し、この画像ファイルに含まれる画像データを基に、画像データと関連づけられた特徴量全てを読み出し、これら全画像分の特徴量（以下特徴量セットと呼ぶ）をクラスタリング実行部１０５に渡し、クラスタリング実行命令をクラスタリング実行部１０５に発行する。クラスタリング実行部１０５は、与えられた特徴量セットを基に、画像を分類して複数のクラスタを生成するクラスタリングを実行し、図７に示すように、各特徴量と関連づけられた画像が何れのクラスタに属するかを表す計算結果（以下、クラスタリング結果と呼ぶ）をＣＰＵ（制御部）１３に返す。このクラスタとは、画像の類似度を検出して、類似画像群（類似画像グループ）を構成するものである。

つまり、ステップＳＴ１２０では、その特徴量セットを基に、各特徴量を成分とする特徴ベクトルを画像毎に定義し、この特徴量ベクトルに定義された線形空間を特徴空間として定義した上で、各画像に対応する特徴ベクトルの”距離”に応じてグルーピング化を行う。より具体的には、上述したように、特徴量として、画像のテクスチャと関連したエッジヒストグラムと呼ばれる画像統計量や、色分布に関する統計量であるカラーヒストグラムやカラーレイアウトを用いており、特徴空間上でのユークリッド距離に応じて類似度を判定し、階層的クラスタリングによりグルーピングを行うと、その類似度（距離）に応じて、どの画像が同じグループに属するかを表す系統図（図６）が生成される。この生成された系統図を、予め決められた距離Ｔ_Ｄで切断することにより、類似画像グループが決定し、クラスタリングすることができる。そして、ＣＰＵ（制御部）１３は、クラスタリング実行部１０５から受け取ったクリスタリング結果を基に、生成された全クラスタにクラスタ番号を昇順に付与し、データベース（記憶部）１０３の各画像に対して、画像毎に属するクラスタ番号を対応付けて画像情報記憶ファイル１１３のクラスタ番号カラム１１３ｄに記憶する。例えば、本実施形態では、図７に示すように、画像が４つのクラスタ（類似画像グループ）にクラスタリングされ、各クラスタに各々１〜４のクラスタ番号が付与され、図３に示すように、各画像のクラスタ番号カラム１１３ｄに、所属するクラスタ番号が記憶される。ここで、以上で述べたような画像のデータ、特徴量のセット、クラスタリング結果などの各種データは、作業領域１０６に一時的に記憶され、これらを各部が使用することにより、各部間でのデータの受け渡しが行われる。また、この時、ＣＰＵ（制御部）１３は、このクラスタリング結果において、クラスタに属する画像が、一枚しかなく、かつ、その一枚が失敗画像である場合は、アルバム作成部１０９がアルバムデータのシーンデータを作成する際に選択するクラスタの候補から失敗画像一枚のみのクラスタを除くので、クラスタ番号カラム１１３ｄにはクラスタ番号が記憶されない。具体的には、図６の画像ファイル名「００１１．ｊｐｇ」は、図３の失敗フラグデータカラム１１３ｅに失敗画像であることを示すフラグ”１”が記憶されており、クラスタ番号カラム１１３ｄは、空のデータとなっている。したがって、以下のシーンデータの作成の際には、このようなデータは除かれることとなる。

ＣＰＵ（制御部）１３は以上の画像クラスタリング実行処理（ＳＴ１２０）を終了すると、データベース（記憶部）１０３の画像データ及び所属するクラスタ番号、テンプレート情報ファイル１１５及びアルバムデータファイル１１４の各データを全て読み込み、アルバム作成部１０９に渡し、シーンデータ作成開始の指示を発行すると、アルバム作成部１０９は、アルバムデータファイル１１４のシーン番号データカラム１１４ａを参照し、１つめのシーンの選択（シーン選択）を行う（ＳＴ１３０）。次に、アルバム作成部１０９は、テンプレート番号カラム１１４ｂを参照し、テンプレート番号を確認すると、テンプレート情報ファイル１１５のテンプレート番号カラム１１５ａから確認したテンプレート番号の情報を読み込み、そのシーンに応じたテンプレートの配置枚数を決定し（ＳＴ１４０）、その決定をＣＰＵ（制御部）１３に戻す。例えば、図４（ａ）を参照すると、アルバムデータファイル１１４のシーン番号データカラム１１４ａのシーン番号「１」の場合は、テンプレート番号カラム１１４ｂを参照するとテンプレートＮｏ．「１」が記憶されている。そして、図４（ｂ）を参照すると、テンプレート情報ファイル１１５のテンプレート番号カラム１１５ａのテンプレート番号がテンプレートＮｏ．「１」の場合、枚数データカラム１１５ｂには、「４」が記憶されているので、テンプレートＮｏ．「１」のテンプレートに必要な画像の枚数は、「４」枚である。そして、シーン番号「１」に必要な画像枚数が「４」枚であるから、位置情報データカラム１１４ｃの１〜４までのカラムに画像のファイル名が記憶できる。このとき、アルバムデータファイル１１４の位置情報データカラム１１４ｃの１〜４の順番は、テンプレート情報ファイル１１５の位置大きさ情報カラム１１５ｃの１〜４の番号に該当する番号であり、この１〜４の順は配置される画像の重要度ともなっている。

そして、アルバム作成部１０９は、画像データ及び所属するクラスタ番号から、その必要枚数に応じたクラスタ（類似画像グループ）を抽出する（ＳＴ１５０）。このとき、例えばクラスタ番号は、撮影日時順に並んでいるので、クラスタ番号の昇順に、この場合は、クラスタ番号１〜４までが、シーン番号１のシーンデータを作成する際に選択される。以下、テンプレートに必要な枚数に応じて、次のクラスタ番号から昇順に選択される。

次に、ＣＰＵ（制御部）１３が、アルバム作成部１０９から、必要枚数に応じたクラスタ（類似画像グループ）の抽出結果を受け取ると、ダイジェスト画像決定部１０２に、その選択されたクラスタ番号を有する画像データのファイルを渡す。そして、ダイジェスト画像決定部１０２は、その選択されたクラスタ番号のクラスタ毎（類似画像グループ毎）にダイジェスト画像の決定処理を実行し、その結果をＣＰＵ（制御部）１３に渡す（ＳＴ１６０）。ＣＰＵ（制御部）１３は、ダイジェスト画像決定部１０２から、ダイジェスト画像（Ａ（ｎ））の決定の結果を受け取ると、そのダイジェスト画像（Ａ（ｎ））の情報と、そのダイジェスト画像（Ａ（ｎ））の属するクラスタ番号を有する画像データのファイルを重要度決定部１０７に渡す。すると、重要度決定部１０７は、ダイジェスト画像（Ａ（ｎ））の属するクラスタ番号を有する画像データのファイルの数、つまり、そのクラスタに属する画像の枚数をカウントして、枚数の多い順に重要度（Ｃ（ｎ））を決定し（ＳＴ１７０）、その結果をＣＰＵ（制御部）１３に渡す。具体的には、アルバム作成部１０９がクラスタ（類似画像グループ（ｎ）の１〜４）を選択すると、ダイジェスト画像決定部１０２が、このクラスタに属する画像群から、ダイジェスト画像（Ａ（ｎ））を決定する（図９参照）。

ここで、ダイジェスト画像（Ａ（ｎ））の決定は、詳細は後述するが、各画像群の画像の類似度を比較して、最も類似する画像が選択される。図９で、類似画像グループ（ｎ）の「１」の画像群からは、左から２番目の画像（画像ファイル名「０００２．ｊｐｇ」）が、ダイジェスト画像（Ａ（ｎ））とされる。そして、この類似画像グループ（ｎ）の「１」には、３枚の画像が属しており（画像ファイル名「０００１．ｊｐｇ」，「００２．ｊｐｇ」，「０００３．ｊｐｇ」）、他の類似画像グループ（ｎ）に属する画像の枚数と比較すると、２番目に多い。したがって、この場合は、重要度（Ｃ（ｎ））は、２となる。また、類似画像グループ（ｎ）の「３」の画像群からは、左から４番目の画像（画像ファイル名「０００８．ｊｐｇ」）が、ダイジェスト画像（Ａ（ｎ））とされ、この類似画像グループ（ｎ）の「３」には、４枚の画像が属しており（画像ファイル名「０００５．ｊｐｇ」，「００６．ｊｐｇ」，「０００７．ｊｐｇ」，「０００８．ｊｐｇ」）、他の類似画像グループ（ｎ）に属する画像の枚数と比較すると、１番目に多い数である。したがって、この場合は、重要度（Ｃ（ｎ））は、１となる。このように、枚数（同じクラスタを有する画像データのファイルの数）の多い順に重要度が高く設定される。

次に、ＣＰＵ（制御部）１３は、ダイジェスト画像（Ａ（ｎ））の情報及び重要度（Ｃ（ｎ））の情報をアルバム作成部１０９に渡すと、アルバム作成部１０９は、重要度（Ｃ（ｎ））の情報を参照し、アルバムデータファイル１１４の位置情報データカラム１１４ｃに記憶すべき画像データのファイル名を１〜４の順番に決定し、ＣＰＵ（制御部）１３にその情報を返すと、ＣＰＵ（制御部）１３は、データベース（記憶部）１０３のアルバムデータファイル１１４の位置情報データカラム１１４ｃに記憶することで、テンプレート上での配置を決定する（ＳＴステップ１８０）。この時、位置情報データカラム１１４ｃの１〜４の順番は、重要度（Ｃ（ｎ））の情報に該当するものである。したがって、図４（ｂ）に示すように、位置情報データカラム１１４ｃの「１」には、画像データのファイル名「０００８．ｊｐｇ」が記憶され、「２」には、画像データのファイル名「０００２．ｊｐｇ」が記憶され、「３」には、画像データのファイル名「０００９．ｊｐｇ」が記憶され、「４」には、画像のデータファイル名「０００３．ｊｐｇ」が記憶される。

ステップＳＴ１９０に進み、ＣＰＵ（制御部）１３は、全てのグループ（クラスタ）について、上述の処理が終了した否かを判断し、終了していない場合には、ステップＳＴ１３０に戻り、全ての類似画像グループ（クラスタ）について終了するまで、処理を実行する。全て類似画像グループ（クラスタ）につい終了したと判断すると、この工程を終了する。

（ダイジェスト画像の決定）
次に、ダイジェスト画像決定部１０２が、クラスタ（類似画像グループ）毎のダイジェスト画像（Ａ（ｎ））を決定する処理（ステップＳＴ１６０）の詳細について、図８のフローチャートを基に説明する。ダイジェスト画像決定部１０２は、選択されたクラスタ（類似画像グループ）毎に、そのクラスタ（以下、類似画像グループという）に含まれる画像ファイル数（画像の枚数ｍ）を抽出し（ステップＳＴ１６０１）、枚数ｍが２枚以上であると判断すると、その中に失敗画像が含まれているか否かを検出する（ステップＳＴ１６０２）。一方、ダイジェスト画像決定部１０２は、画像の枚数ｍが２枚以上無い（１枚である）と判断すると、その類似画像グループに属している１枚の画像をダイジェスト画像とする（ステップＳＴ１６１１）。例えば、類似画像グループ「２」は、属する画像データのファイル名「０００４．ｊｐｇ」のみであるので、このファイル名「０００４．ｊｐｇ」の画像データがダイジェスト画像（Ａ（ｎ））とされる（図７，図９参照）。

ダイジェスト画像決定部１０２は、類似画像グループに属する画像データ（画像情報記憶ファイル１１３の画像ファイル名毎のデータ）から、失敗フラグデータカラム１１３ｅに”１”のデータが記憶されているかを判断して、失敗画像の枚数を決定し（ステップＳＴ１６０２）、次に、失敗していない画像の枚数（ｋ＝ｍ−失敗画像枚数）の算出を行う（ステップＳＴ１６０３）。

ダイジェスト画像決定部１０２は、ステップＳＴ１６０３で、失敗していない画像枚数ｋが、２枚であると判断すると、次に、失敗が無いか否か、つまり、類似画像グループに属する画像ファイル数（画像の枚数ｍ）が２であるか否かを判断し（ステップＳＴ１６０７）、”失敗無し”と判断すると、前後の類似グループのダイジェスト画像（Ａ（ｎ））と比較して、前後の類似グループとの類似度が低い方をダイジェスト画像（Ａ（ｎ））として決定する（ステップＳＴ１６０８）。つまり、ダイジェスト画像決定部１０２は、類似する画像枚数が２枚しか存在しない場合で、かつ、どちらも失敗写真で無い場合は、前後のダイジェスト画像（Ａ（ｎ））と比較し、類似度が低いもの、すなわちダイジェストの前後の画像と似通っていない画像を採用する。一方、ダイジェスト画像決定部１０２は、ｍ＝２（”失敗無し”）でないと判断した場合には、すなわち２枚のうち１枚が失敗画像である場合は、失敗していない画像をダイジェスト画像（Ａ（ｎ））とする（ステップＳＴ１６０９）。例えば、類似画像グループ「４」の場合、この類似画像グループに含まれる画像は、２枚であるが、その内の１枚（画像のファイル名「００１０．ｊｐｇ」は、失敗フラグデータカラム１１３ｃに”１”のデータが記憶さており、失敗画像である。この失敗画像を除いた画像は、ここでは１枚となるので、その画像（画像ファイル名「０００９．ｊｐｇ」）が、ダイジェスト画像（Ａ（ｎ））とされる（図３，図９参照）。

一方、ダイジェスト画像決定部１０２は、ステップＳＴ１６０３で、失敗していない画像枚数ｋが、１枚であると判断すると、その類似画像グループから失敗画像を除き（ステップＳＴ１６１０）、ステップＳＴ１６１１に進み、残った１枚の失敗画像でない画像をダイジェスト画像（Ａ（ｎ））とする。

また、ダイジェスト画像決定部１０２は、ステップＳＴ１６０３で、失敗していない画像の枚数ｋが３枚以上であると判断される場合には、次に、類似画像グループの画像群からその失敗画像を除外する（ステップＳＴ１６０４）。そして、その類似画像グループに属する画像群の各画像間の類似度を算出し（ステップＳＴ１６０５）、最も類似度の高い画像をダイジェスト画像（Ａ（ｎ））とする（ステップＳＴ１６０６）。このダイジェスト画像（Ａ（ｎ））の決定の際の各画像間での類似度の算出方法は、公知の手法を用いることができるが、例えば、各画像間の類似度は、各画像の色空間の特徴量（ｉ次元）により、各画像間との距離をｉ次元空間で求め、さらに、この距離の平均値を画像毎に求め、平均値が一番小さい画像を最も類似する画像であるとして、その画像をダイジェスト画像（Ａ（ｎ））として決定することができる。ここで、類似画像グループ毎のダイジェスト画像（Ａ（ｎ））が、どの画像であるかの結果や、類似画像グループの画像のデータ等は、一時的に作業領域（Ｗｏｒｋ Ｒａｍ）１０６に記憶されるようになっている。このように、ダイジェスト画像決定部１０２は、選択された類似画像グループ毎に、ダイジェスト画像（Ａ（ｎ））が決定すると、その終了した旨と得られた類似画像グループ毎のダイジェスト画像（Ａ（ｎ））の結果をＣＰＵ（制御部）１３に通知して終了する。

以上のように、類似画像グループ毎のダイジェスト画像（Ａ（ｎ））と、その重要度（Ｃ（ｎ））の結果に基づいて、テンプレート上の配置位置を決定したシーンデータから構成されるアルバムデータファイル１１４に基づいて、ＣＰＵ（制御部）１３は、テンプレート上に画像のデータを配置し、図１０に示すような合成画像２００を画像表示部１８に表示することができる。ここでは、テンプレート番号「１」のテンプレートを使用した場合であり、画像２００ａは、位置情報データカラム１１４ｃの「１」の画像のデータファイル名「０００８．ｊｐｇ」の画像であり、画像２００ｂは、位置情報データカラム１１４ｃの「２」の画像のデータファイル名「０００２．ｊｐｇ」の画像であり、画像２００ｃは、位置情報データカラム１１４ｃの「３」の画像のデータファイル名「０００９．ｊｐｇ」の画像であり、画像２００ｄは、位置情報データカラム１１４ｃの「４」の画像のデータファイル名「０００３．ｊｐｇ」の画像である。各テンプレートは、それぞれ配置される画像の枚数や位置や大きさなどが決まっており、その情報は、テンプレートデータファイル１１５に記憶されている。そして、重要度（Ｃ（ｎ））の順に、テンプレート上に配置される位置や大きさが決まるようになっており、自動的に最もお気に入りであると考えられる画像（類似する画像の枚数が多い画像）が、ダイジェスト画像となり、そのダイジェスト画像を複数配置して合成画像２００を構成するようになっている。また、そのお気入りの順番（類似する画像の枚数が多い順番）に、アルバムデータのシーンデータが構成され、１つのシーンデータの合成画像２００において、最も重要度の高い画像が、最も大きく配置されるようにもなっている。したがって、ユーザーの手を煩わすことなく、自動で重要度が生成されてお気に入り画像を選択し、かつ、重要度の高い順に配置を決定し、自動でアルバムレイアウトを実施することができる。なお、本実施の形態においては、類似画像グループの画像群の中でブレたり、露出不良のある画像は、除いて各画像間の類似度を算出するようになっているので、自動でダイジェストを作成した結果のユーザーの満足度を高めることができるようになっている。しかし、システムの構成やユーザーの意志により、失敗写真の検出、除去の処理を省略することもできる。

本実施形態の画像評価装置の構成を表すハードウェア構成図である。 本実施形態の画像評価装置の構成を表すブロック図である。 本実施形態の画像データファイルのデータ構造図である。 本実施形態のデータ構造図であり（ａ）はアルバムデータファイルのデータ構造図であり、（ｂ）はテンプレートデータファイルのデータ構造図である。 アルバムデータ作成の処理手順を表すフローチャートである。 階層的クラスタリングの結果得られる系統図をＴ_dで切断した結果を表す模式図である。 最終的に得られたクラスタリング結果の例を表す模式図である。 類似画像グループの中で注目度の高い画像であるダイジェスト画像を判別する手順を示すフローチャートである。 類似画像グループの画像群のダイジェストとその重要度を決定する画像の例を示す模式図である。 画像の重要度の結果を表示用の画面レイアウトに適用して画像表示部に表示される画面の例を示す模式図である。

符号の説明

１００ 画像評価装置 １３ ＣＰＵ（制御部） １８ 画像表示部
１０２ ダイジェスト画像決定部 １０３ データベース（記憶部）
１０４ 特徴量計算部 １０５ クラスタリング実行部
１０７ 重要度決定部 １０９ アルバム作成部

Claims (8)

1. 複数の画像及び複数のテンプレートとこのテンプレートに関連する配置情報を記憶する記憶部と、
   前記画像の特徴量を計算し、前記画像に当該特徴量を関連付けて前記記憶部に記憶する特徴量計算部と、
   前記記憶部に記憶された前記特徴量に基づいて画像分類し、類似する画像から構成される複数のクラスタを生成するクラスタリング処理を実行し、前記画像に当該クラスタを関連付けて前記記憶部に記憶するクラスタリング実行部と、
   前記クラスタを構成する前記画像から代表画像であるダイジェスト画像を決定するダイジェスト画像決定部と、
   複数の前記クラスタの中から前記テンプレートの配置情報に応じて前記クラスタを抽出し、抽出された当該クラスタの重要度順を決定する重要度決定部と、
   抽出された前記クラスタの前記ダイジェスト画像を前記重要度順に応じて前記テンプレートに配置して合成画像を構成するシーンデータを作成し、前記シーンデータで構成されるアルバムデータを前記記憶部に記憶するアルバム作成部と、
   を有する画像評価装置。
2. 前記重要度決定部は、前記クラスタを構成する前記画像の枚数の情報に基づいて前記クラスタの前記重要度を決定する構成である請求項１に記載の画像評価装置。
3. 前記画像から失敗画像を検出して、当該失敗画像を前記画像に関連付けて前記記憶部に記憶する失敗画像処理部を有し、
   前記ダイジェスト画像決定部は、前記失敗画像を除いて前記ダイジェスト画像を決定する構成である請求項２に記載の画像評価装置。
4. 前記ダイジェスト画像決定部は、前記クラスタを構成する前記画像の枚数に応じて前記代表画像である前記ダイジェスト画像を決定する際に、前記クラスタを構成する前記画像の前記失敗画像を除いた前記画像の枚数が３枚以上の場合には、当該画像の間の類似度を算出して、３枚以上の前記画像のうち当該類似度が最も高い前記画像を前記代表画像である前記ダイジェスト画像とし、前記失敗画像を除いた前記画像の枚数が２枚の場合には、当該２枚の画像で構成される前記クラスタに隣接するクラスタのダイジェスト画像と、当該２枚の画像との類似度を算出して、前記２枚の画像のうち当該ダイジェスト画像との類似度の低い方の前記画像を前記代表画像である前記ダイジェスト画像とし、前記失敗画像を除いた前記画像の枚数が１枚の場合には、当該画像を前記代表画像である前記ダイジェスト画像として、決定する構成である請求項３に記載の画像評価装置。
5. 制御部と、少なくとも複数の画像と複数のテンプレートが記憶された記憶部と、を有し、複数の前記画像を前記テンプレートに配置した合成画像を表示可能な画像表示部に表示する際に、前記記憶部にアクセス可能で複数の前記画像から前記合成画像を構成して前記画像表示部へ表示する処理をコンピュータに実行させる画像評価プログラムであって、
   前記制御部により、
   前記記憶部から前記画像を読み出し、当該画像の特徴量を計算し、前記画像に当該特徴量を関連付けて前記記憶部に記憶する特徴量計算処理と、
   前記記憶部に記憶された前記特徴量に基づいて画像分類し、類似する画像から構成される複数のクラスタを生成し、前記画像に当該クラスタを関連付けて前記記憶部に記憶するクラスタリング実行処理と、
   前記クラスタを構成する前記画像において、前記画像間の類似度を前記特徴量に基づいて算出して、前記類似度の最も高い画像を代表画像であるダイジェスト画像として決定するダイジェスト画像決定処理と、
   複数の前記クラスタの中から前記テンプレートの配置情報に応じて前記クラスタを抽出し、抽出された当該クラスタの重要度順を決定する重要度決定処理と、
   抽出された前記クラスタの前記ダイジェスト画像を前記重要度順に応じて前記テンプレートに配置して合成画像を構成するシーンデータを作成し、前記シーンデータで構成されるアルバムデータを前記記憶部に記憶するアルバム作成処理と、
   を実行する画像評価プログラム。
6. 前記重要度決定処理は、前記クラスタを構成する前記画像の枚数の情報に基づいて前記クラスタの前記重要度を決定する処理である請求項５に記載の画像評価プログラム。
7. 前記画像から失敗画像を検出して、当該失敗画像を前記画像に関連付けて前記記憶部に記憶する失敗画像処理工程を実行し、
   前記ダイジェスト画像決定処理は、前記失敗画像を除いて前記ダイジェスト画像を決定する処理である請求項６に記載の画像評価プログラム。
8. 前記ダイジェスト画像決定処理は、前記クラスタを構成する前記画像の枚数に応じて前記代表画像であるダイジェスト画像を決定する際に、前記クラスタを構成する前記画像の前記失敗画像を除いた前記画像の枚数が３枚以上の場合には、当該画像の間の類似度を算出して、３枚以上の前記画像のうち当該類似度が最も高い前記画像を前記代表画像である前記ダイジェスト画像とし、前記失敗画像を除いた前記画像の枚数が２枚の場合には、当該２枚の画像で構成される前記クラスタに隣接するクラスタのダイジェスト画像と、当該２枚の画像との類似度を算出して、前記２枚の画像のうち当該ダイジェスト画像との類似度の低い方の前記画像を前記代表画像である前記ダイジェスト画像とし、前記失敗画像を除いた前記画像の枚数が１枚の場合には、当該画像を前記代表画像である前記ダイジェスト画像として、決定する処理である請求項７に記載の画像評価プログラム。

Images