JP2006172090A - 代表画像選択装置および方法並びにプログラム - Google Patents

Abstract

【課題】 とくにカテゴリに分類されたような複数の画像から、ユーザにとって重要な所定数の代表画像を確実に選択できるようにする。
【解決手段】 複数の画像を階層化して分類し、分類されたカテゴリに対して重要度を設定する。重要度が高いカテゴリから代表画像の候補画像を複数選択し、さらに候補画像から所定数の代表画像を選択する。
【選択図】 図１

Description

本発明は、複数の画像から、複数の画像を代表する代表画像を選択する代表画像選択装置および方法並びに代表画像選択方法をコンピュータに実行させるためのプログラムに関するものである。

デジタルカメラおよびスキャナの普及により、誰もが手軽にデジタルの画像を取得することが可能となっている。また、画像をパソコンに取り込んで整理することも行われている。この場合、画像の整理は、ユーザに起こったイベント毎に画像を分類して行うことが多い。例えば、ヨーロッパ旅行へ出かけた場合には、フランス、イギリス、スペイン等のように取得した画像を国毎のカテゴリに分類し、さらにフランスのカテゴリに分類された画像については、パリおよびニース等の出かけた場所毎にさらに細かいカテゴリに画像を分類する。また、パリに分類された画像については、エッフェル塔、凱旋門およびノートルダム寺院等のさらに細かいカテゴリに画像を分類する。さらには、ノートルダム寺院については、寺院の前、離れた場所および寺院の中等のさらに細かいカテゴリに画像を分類することもある。

このように画像を階層化して複数のカテゴリに分類しておけば、後で画像を参照する際にイベント毎に分けられた画像を参照できるため、画像の整理を容易に行うことができる。

その一方で、画像を階層化して分類する作業は、画像を見ながら、さらにはユーザの記憶をたどりながら行う必要があるため、ユーザにとって非常に煩わしい作業となっている。

このため、画像を自動で分類するための各種手法が提案されている。例えば、画像に付与された撮影日時を表す撮影日時情報に基づいて、画像を時間軸上に配置し、撮影時間が隣接する２つの画像についての撮影時間差の大小に応じて画像を複数のカテゴリに分類する方法が提案されている（特許文献１参照）。また、ユーザのスケジュールを表すスケジュール情報を参照して、画像をユーザのスケジュールに応じたカテゴリに分類する手法（特許文献２参照）、また、複数の画像から特徴量を算出し、画像の特徴量間の関連性に基づいて画像を複数のカテゴリに分類する手法も提案されている（特許文献３参照）。

このような手法を用いることにより、ユーザは自分で画像を分類する必要がなくなるため、画像を整理する際のユーザの負担を軽減できる。

また、画像を整理する際に、各カテゴリに分類された画像群を代表する代表画像を表示すれば、各カテゴリにどのような画像が分類されているかを一見して知ることができる。このため、画像検索時に各カテゴリの代表画像を表示する手法（特許文献４参照）、および各カテゴリに対応するフォルダを表示する際に、フォルダに代表画像を表示する手法（特許文献５参照）が提案されている。

これら特許文献４，５に記載された手法においては、代表画像はユーザが選択するものであるが、自動で代表画像を選択する手法も提案されている。例えば、複数の画像のうち最大画素数を有する画像を代表画像として選択する手法（特許文献６参照）、および画像の再生時間を記録しておき、再生時間が長い画像を代表画像として選択する手法（特許文献７参照）が提案されている。
特開２０００−１１２９９７号公報 特開２００３−１０８９７３号公報 特開２００１−２５６２４４号公報 特開平５−１２８１６６号公報 特開２００３−２９６１６５号公報 特開２０００−２４４８４９号公報 特開２００３−３３９０１３号公報

しかしながら、デジタルカメラを用いて撮影を行う場合、一般的に画素数を頻繁に変更することは少ないため、デジタルカメラにより取得する画像の画素数は一定であることが多い。このような状況では、特許文献６に記載された手法によっては代表画像を選択することはできない。

また、上記特許文献７のように、再生時間が長い画像を代表画像として選択する手法においては、ユーザが画像をデジタルカメラからパソコンに取り込んで、パソコンにおいて画像を再生する機会が多い画像が代表画像として選択される。しかしながら、デジタルカメラからパソコンに画像を取り込んだ直後（すなわち全く画像が再生されていない状態）においては、代表画像を選択することができない。

本発明は上記事情に鑑みなされたものであり、とくに上述したようにカテゴリに分類された複数の画像から、ユーザにとって重要な代表画像を確実に選択できるようにすることを目的とする。

本発明による第１の代表画像選択装置は、複数の画像から所定数の代表画像を選択する代表画像選択装置において、
前記複数の画像を階層化して分類することにより得られた、それぞれに重要度が設定された複数のカテゴリのうち、前記重要度が高いカテゴリから前記代表画像の候補画像を複数選択する候補選択手段と、
該選択された複数の候補画像から、前記所定数の代表画像を選択する選択手段とを備えたことを特徴とするものである。

「重要度が高いカテゴリ」とは、重要度が最も高いカテゴリのみならず、重要度が高い順にカテゴリをソートした際の上位数個のカテゴリをも含むものである。

なお、本発明による第１の代表画像選択装置においては、前記選択手段を、前記選択された候補画像のそれぞれについて、該候補画像に対して画質を向上させる画像処理を施すことにより得られる処理済み画像と該画像処理を施す前の処理前画像との、相対応する画素間の画素値の変化量の代表値を算出し、該代表値が小さい順に最小代表値から前記所定数の画像を前記代表画像として選択する手段としてもよい。

「画像処理」とは、画質を向上させることが可能であればいかなる処理であってもよく、具体的には、階調補正処理、色補正処理、明るさ補正処理、ホワイトバランス補正処理、彩度補正処理、シャープネス処理、ノイズ除去処理、赤目補正処理および美肌処理等の各種処理のうちの少なくとも１つの処理を用いることができる。

「代表値」とは、画像の一部または全体における画素値の変化量を代表する値であればいかなる値をも用いることができ、具体的には画素値の変化量の平均値およびメディアン値等を用いることができる。なお、「画素値」としては、例えば画像がＲＧＢの３色からなる場合において、各色から算出される輝度値、３色の画素値そのものを用いることができる。この場合、画素値の変化量としては、画像と処理済み画像とにおける輝度値の差の絶対値、画像と処理済み画像とにおける画素値のＲＧＢ３次元色空間における距離（すなわち差の２乗の平方根）等を用いることができる。

本発明による第２の代表画像選択装置は、複数の画像から所定数の代表画像を選択する代表画像選択装置において、
前記複数の画像のそれぞれについて、該画像に対して画質を向上させる画像処理を施すことにより得られる処理済み画像と該画像処理を施す前の処理前画像との、相対応する画素間の画素値の変化量の代表値を算出する変化量算出手段と、
該代表値が小さい順に最小代表値から前記所定数の画像を前記代表画像として選択する選択手段とを備えたことを特徴とするものである。

なお、本発明による第１および第２の代表画像選択装置において、前記代表値は、前記画素値の変化量の平均値を正規化した値であってもよい。

また、前記代表値は、前記画素値の変化量の平均値を正規化した値を、前記画像の再生時間および最後に再生された日時の少なくとも１つの情報に応じて修正した値であってもよい。

「再生時間に応じて修正する」とは、再生時間が長いほど、その再生時間に対応する値を画素値の変化量の平均値を正規化した値から減算して代表値を小さくすることを意味する。また、「最後に再生された日時に応じて修正する」とは、最後に再生された日時からの経過時間が長いほど、大きな値を画素値の変化量の平均値を正規化した値に加算することにより代表値を大きくすることを意味する。

本発明による第１の代表画像選択方法は、複数の画像から所定数の代表画像を選択する代表画像選択方法において、
前記複数の画像を階層化して分類することにより得られた、それぞれに重要度が設定された複数のカテゴリのうち、前記重要度が高いカテゴリから前記代表画像の候補画像を複数選択し、
該選択された複数の候補画像から、前記所定数の代表画像を選択することを特徴とするものである。

本発明による第２の代表画像選択方法は、複数の画像から所定数の代表画像を選択する代表画像選択方法において、
前記複数の画像のそれぞれについて、該画像に対して画質を向上させる画像処理を施すことにより得られる処理済み画像と該画像処理を施す前の処理前画像との、相対応する画素間の画素値の変化量の代表値を算出し、
該代表値が小さい順に最小代表値から前記所定数の画像を前記代表画像として選択することを特徴とするものである。

なお、本発明による第１および第２の代表画像選択方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、重要度が設定された複数のカテゴリのうち、重要度が高いカテゴリから代表画像の候補画像が複数選択され、選択された複数の候補画像から所定数の代表画像が選択される。ここで、候補画像は重要度が高いカテゴリから選択されているため、ユーザにとって重要であることが多い。したがって、ユーザにとって重要な代表画像を確実に選択することができる。

また、複数のカテゴリのうち重要度が高いカテゴリから複数の候補画像を選択し、さらに複数の候補画像から代表画像を選択しているため、複数の画像の全体から代表画像を選択する場合と比較して、代表画像を選択するための処理時間を短縮することができる。

ここで、画像に対して画質を向上させる画像処理を施すことにより得られる処理済み画像と画像処理前の処理前画像との、相対応する画素間の画素値の変化量の代表値が小さいということは、処理済み画像と処理前画像とで変化が小さいということ、いわば画像処理の必要性が小さい、うまく撮影された高画質の画像であることを意味する。

このため、選択された複数の候補画像のそれぞれについて、上記画素値の変化量の代表値を算出し、代表値が小さい順に最小代表値から所定数の画像を代表画像として選択することにより、高画質の画像を代表画像として選択することができる。

また、代表値を、画素値の変化量の平均値を正規化した値とすることにより、代表値の最大値および最小値が明確となるため、代表値をわかりやすい値とすることができる。

この際、画像の再生時間および最後に再生された日時の少なくとも１つの情報に応じて、正規化した値を修正することにより、ユーザの嗜好を反映させて代表画像を選択することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による代表画像選択装置の構成を示す概略ブロック図である。図１に示すように第１の実施形態による代表画像選択装置１は、画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラム、画像を閲覧するためのビューアソフトおよび各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのキーボードおよびマウス等からなる入力部１６と、各種表示を行う液晶モニタ等からなる表示部１８とを備える。

また、代表画像選択装置１は、画像データを記録したメモリカード２から画像データを読み出したり、メモリカード２に画像データを記録したりするためのカードスロット２０と、画像データをＪＰＥＧやモーションＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、画像データやＣＰＵ１２が実行する各種プログラム等を記録するハードディスク２４と、システムメモリ１４、カードスロット２０およびハードディスク２４を制御するメモリ制御部２６とを備える。

また、代表画像選択装置１は、ハードディスク２４におけるユーザが所望するフォルダに保存された画像を複数のカテゴリに階層化して分類する画像分類部２８と、各カテゴリの重要度を設定する重要度設定部３０とを備える。さらに、代表画像選択装置１は、表示部１８の表示を制御する表示制御部３２と、重要度が高いカテゴリから、ユーザが所望するフォルダに保存された複数の画像を代表する代表画像を選択する代表画像選択部３４とを備える。

画像分類部２８は、例えば上記特許文献１に記載された手法を用いてハードディスク２４に保存された複数の画像を複数のカテゴリに階層化して分類する。以下、画像の分類について説明する。なお、ここではユーザがフランス旅行に出かけた際に撮影した複数の画像を分類する場合について説明する。図２はユーザのフランス旅行のある１日のタイムテーブルを示す図である。図２に示すように、ユーザはフランス旅行においてパリを訪問し、その後バスでニースに移動したものとする。また、パリにおいては、凱旋門、エッフェル塔およびノートルダム寺院を訪問したものとする。そして、翌日にブルゴーニュ地方を訪問したものとする。

ここで、ユーザはフランス旅行に出かけた後、別の旅行に出かけたものとすると、フランス旅行とその別の旅行とでは、１日以上差が開くこととなる。また、フランス旅行においてある１日にパリおよびニースを訪問し、翌日にブルゴーニュ地方を訪問した場合、パリおよびニースの訪問とブルゴーニュ地方の訪問とでは、１時間以上差が開くこととなる
また、バスで移動の場合、パリ訪問と、バスの中と、ニース訪問との間は１時間は差が開くことはないが３０分以上は差が開くこととなる。また、凱旋門、エッフェル塔およびノートルダム寺院はパリの市内において訪問するため、訪問時間は３０分は差が開くことはないが１０分以上は差が開くこととなる。さらに、ノートルダム寺院においてユーザは寺院の目の前、寺院から離れた場所および寺院の中のように寺院の敷地内で移動するが、同じ寺院の敷地内における移動であるため、訪問時間は１０分は差が開くことはないが３分以上は差が開くこととなる。

したがって、訪問先でまとめて撮影を行った場合において、撮影時間が隣接する画像間において、撮影時間間隔が３分未満のものは同一の撮影時間と見なして、時間軸上に画像枚数をプロットすると、その関係は図３に示すものとなる。すなわち、図３に示すように時間と画像枚数との関係においては、訪問先単位で一定の時間をおいてまとまって複数の画像（すなわち画像群）が取得されていることが分かる。

画像分類部２８は、この関係を用いて画像を複数のカテゴリに階層化して分類する。すなわち、図３に示す関係を参照し、まず、撮影時間間隔が１日以上ある画像群を１つのカテゴリとして分類する。この場合、フランス旅行において取得したすべての画像を１つのカテゴリとして分類する。次いで、分類後の画像について、撮影時間間隔が１時間以上ある画像群を１つのカテゴリとして分類する。この場合、パリおよびニース訪問において取得した画像群と、ブルゴーニュ地方訪問において取得した画像群とをそれぞれ１つのカテゴリとしてさらに分類する。

さらに、分類後の画像について、撮影時間間隔が３０分以上１時間未満となる画像群を１つのカテゴリとして分類する。この場合、パリおよびニース訪問のカテゴリにおいて、パリ訪問、バスの中およびニース訪問のそれぞれにおいて取得した画像群を１つのカテゴリとしてさらに分類する。さらに、撮影時間間隔が１０分以上３０分未満となる画像群を１つのカテゴリとして分類する。この場合、パリ訪問のカテゴリにおいて、凱旋門訪問、エッフェル塔訪問およびノートルダム寺院訪問のそれぞれにおいて取得した画像群を１つのカテゴリとしてさらに分類する。さらに、撮影時間間隔が３分以上１０分未満となる画像群を１つのカテゴリとして分類する。この場合、ノートルダム寺院訪問のカテゴリにおいて、寺院の前、寺院から離れた場所および寺院の中のそれぞれにおいて取得した画像群を１つのカテゴリとして分類する。

そして、カテゴリ単位で１つのフォルダを作成し、分類された画像を各カテゴリに対応するフォルダに格納することにより、画像の分類を終了する。

図４は、分類後のフォルダ構造を示す図である。なお、ここでは、フランス旅行における１日目の画像を分類した場合のフォルダ構造について説明する。図４に示すように、フランス旅行で取得した画像を保存する、フランス旅行のカテゴリに対応するフォルダＦ１（フランス旅行フォルダ）が最上位層にあり、フォルダＦ１の下層に、パリのカテゴリに分類された画像、バスで移動中のカテゴリに分類された画像およびニースのカテゴリに分類された画像をそれぞれ保存する、パリのカテゴリに対応するフォルダＦ１−１、バスで移動のカテゴリに対応するフォルダＦ１−２およびニースのカテゴリに対応するフォルダＦ１−３が作成される。

また、パリフォルダの下層に、凱旋門のカテゴリに分類された画像、エッフェル塔のカテゴリに分類された画像およびノートルダム寺院のカテゴリに分類された画像をそれぞれ保存する、凱旋門のカテゴリに対応するフォルダＦ１−１−１、エッフェル塔のカテゴリに対応するフォルダＦ１−１−２およびノートルダム寺院のカテゴリに対応するフォルダＦ１−１−３が作成される。

さらに、ノートルダム寺院フォルダの下層に、ノートルダム寺院の前のカテゴリに分類された画像、離れた場所のカテゴリに分類された画像および寺院の中のカテゴリに分類された画像をそれぞれ保存する、寺院の前のカテゴリに対応するフォルダＦ１−１−３−１、離れた場所のカテゴリに対応するフォルダＦ１−１−３−２および寺院の中のカテゴリに対応するフォルダＦ１−１−３−３が作成される。

なお、ここでは説明のためにフォルダに名称を付与しているが、実際にはフォルダには名称が付与されるわけではなく、単純に図４に示すように階層に応じた番号が付与されるのみである。このため、ユーザはフォルダを開くまでは、どのフォルダにどの画像が分類されているかは分からない。

重要度設定部３０は、画像分類部２８による分類結果を用いて、各カテゴリの重要度を設定する。

ここで、複数の画像を複数のカテゴリに分類した場合、各カテゴリに分類された画像の数が多いほど、そのカテゴリは重要であると認識している人が多い。また、階層化して分類されたカテゴリにおいて、各カテゴリの上位の階層のカテゴリに含まれる画像数が多いほど、そのカテゴリは重要であると認識している人が多い。また、階層化して分類されたカテゴリにおいて、同一の階層に含まれ、かつ１つ上位の階層が共通するカテゴリの数が多いほどそのカテゴリは重要であると認識している人が多い。また、階層化して分類された各カテゴリにおいて、階層が深い（すなわち下位の階層数が多い）ほど、そのカテゴリは重要であると認識している人が多い。さらに、階層化して分類されたあるカテゴリにおいて、最上位の階層から各カテゴリまでの階層数が多いほどそのカテゴリは重要であると認識している人が多い。

重要度設定部３０はこの点に鑑み、画像分類部２８が分類した各カテゴリについて、各カテゴリに含まれる画像数、各カテゴリの上位の階層のカテゴリに含まれる画像数、各カテゴリに関連するカテゴリの数、各カテゴリの下位の階層数、および最上位の階層から各カテゴリまでの階層数の少なくとも１つの情報に基づいて、各カテゴリの重要度を設定する。以下、重要度の設定について説明する。

なお、ここでは、図４に示すように、フランス旅行において１００枚の画像を取得し、そのうちパリのカテゴリに分類された画像が６０枚、バスの中のカテゴリに分類された画像が１０枚、ニースのカテゴリに分類された画像が３０枚であったとする。また、パリのカテゴリの下層において、凱旋門のカテゴリに分類された画像が２０枚、エッフェル塔のカテゴリに分類された画像が１０枚、ノートルダム寺院のカテゴリに分類された画像が３０枚であったとする。さらに、ノートルダム寺院の下層において、寺院の前のカテゴリに分類された画像が１５枚、離れた場所のカテゴリに分類された画像が５枚、寺院の中のカテゴリに分類された画像が１０枚であったとする。

重要度設定部３０は、下記の式（１）を用いて、各カテゴリに含まれる画像数、各カテゴリに関連するカテゴリの数および各カテゴリ以下の階層数を重み付け加算して各カテゴリの重要度を算出する。

重要度＝ａ１×（各カテゴリに含まれる画像数）
＋ｂ１×（各カテゴリに関連するカテゴリの数）
＋ｃ１×（各カテゴリの下位の階層数） （１）
但し，ａ１，ｂ１，ｃ１：重み係数（本実施形態においては、ａ１＝ｂ１＝ｃ１＝１）
ここで、関連するカテゴリとは、階層化して分類されたカテゴリにおいて、同一の階層に含まれ、かつ１つ上位の階層が共通するカテゴリを意味する。したがって、本実施形態においては、パリ、バスで移動およびニースのカテゴリが関連するカテゴリとなる。また、凱旋門、エッフェル塔およびノートルダム寺院も関連するカテゴリに、寺院の前、離れた場所および寺院の中も関連するカテゴリとなる。

例えば、フランス旅行のカテゴリについては、各カテゴリに含まれる画像数は１００、各カテゴリに関連するカテゴリの数は１、カテゴリ以下の階層数は４となるため、重要度は１０５となる。このようにして算出した重要度を図５に示す。なお、このような重要度の算出方法を手法１とする。

ここで、手法１においては、重み係数をａ１＝ｂ１＝ｃ１＝１としているが、各カテゴリに含まれる画像数、各カテゴリに関連するカテゴリの数および各カテゴリ以下の階層数のいずれを重視するかに応じて重み係数を変更してもよいことはもちろんである。

なお、下記の式（２）用いて、各カテゴリに含まれる画像数、各カテゴリに関連するカテゴリの数および最上位の階層から各カテゴリまでの階層数を重み付け乗算して各カテゴリの重要度を算出してもよい。

重要度＝ａ２×（各カテゴリに含まれる画像数）
×（各カテゴリに関連するカテゴリの数）
×（上位の階層から各カテゴリまでの階層数） （２）
但し，ａ２：重み係数（本実施形態においてはａ２＝１）
例えば、フランス旅行のカテゴリについて、各カテゴリに含まれる画像数は１００、各カテゴリに関連するカテゴリの数は１、最上位の階層からカテゴリまでの階層数は１となるため、重要度は１００となる。このようにして算出した重要度を図６に示す。なお、このような重要度の算出方法を手法２とする。

ここで、手法２においては、重み係数をａ２＝１としているが、重み係数を変更してもよいことはもちろんである。

また、各カテゴリに含まれる画像数および各カテゴリの上位の階層のカテゴリに含まれる画像数を重み付け加算して各カテゴリの重要度を算出してもよい。例えば、寺院の前のカテゴリに分類された画像数は１５、１つ上位のノートルダム寺院のカテゴリに分類された画像数は３０、さらにこれより１つ上位のパリのカテゴリに分類された画像数は６０、さらに上位のフランス旅行のカテゴリに分類された画像数は１００であるため、寺院の前のカテゴリの重要度は、重み係数をすべて１とした場合、１５＋３０＋６０＋１００＝２０５と算出される。また、凱旋門のカテゴリに分類された画像数は２０、さらにこれより１つ上位のパリのカテゴリに分類された画像数は６０、さらに上位のフランス旅行のカテゴリに分類された画像数は１００であるため、凱旋門のカテゴリの重要度は、重み係数をすべて１とした場合、２０＋６０＋１００＝１８０となる。このようにして算出した重要度を図７に示す。なお、このような重要度の算出方法を手法３とする。

ここで、手法３においては、重み係数をすべて１としているが、いずれの階層を重視するかに応じて重み係数を変更してもよいことはもちろんである。

さらに、最も低い階層のカテゴリについてのみ重要度を算出し、算出した重要度を１つ上位の階層のカテゴリの重要度に設定してもよい。なお、最も低い階層のカテゴリについての重要度の算出は、上記手法１〜３のいずれを用いてもよい。ここで、最も低い階層のカテゴリについての重要度を手法３により算出した場合の各カテゴリの重要度を図８に示す。なお、このような重要度の算出方法を手法４とする。

上記手法１〜４により重要度を算出すると、重要度の値は異なるものの、同一の階層においては、算出された重要度に基づいてカテゴリに順位をつけた場合、いずれの手法によっても重要度の順位は同一となる。例えば、パリのカテゴリの１つ下の階層においては、重要度は高い方からノートルダム寺院、凱旋門およびエッフェル塔の順序となる。また、ノートルダム寺院の１つ下の階層においては、重要度は高い方から寺院の前、寺院の中および離れた場所の順序となる。

代表画像選択部３４は、重要度が設定されたカテゴリのうち、重要度が大きいカテゴリから所定数（Ｎ個とする）の代表画像を選択する。

図９は代表画像選択部３４の構成を示す概略ブロック図である。図９に示すように代表画像選択部３４は、候補画像選択部５０、画像処理部５２、変化量算出部５４および決定部５６を備える。

候補画像選択部５０は、以下の処理により、最下位の階層において、算出された重要度の値が高いカテゴリから代表画像の候補である複数の候補画像を選択する。図１０は候補画像選択部５０が行う候補画像選択の処理を示すフローチャートである。なお、ここでは少なくともＭ個（Ｍ≧Ｎ）の候補画像を選択するものとする。

まず、候補画像の数ｍを０に設定し（ステップＳＴ１）、複数の画像を分類したカテゴリの最下位の階層のカテゴリにおいて、候補画像が未選択のカテゴリのうち、重要度が最も高いカテゴリを選択し、そのカテゴリに分類されたすべての画像を候補画像として選択する（ステップＳＴ２）。ここで、ｍ＝０の場合は、最下位の階層における最も重要度が高いカテゴリから候補画像を選択する。例えば、上記のように重要度を算出した場合、ノートルダム寺院カテゴリの下位の階層の寺院の前のカテゴリから候補画像を選択する。

続いて、候補画像の数ｍを、ステップＳＴ２で選択した候補画像の数ｍ１に設定し（ステップＳＴ３）、候補画像の数ｍがＭ以上となったか否かを判定する（ステップＳＴ４）。ステップＳＴ４が肯定されると、ステップＳＴ２において選択した候補画像を最終的な候補画像として決定し（ステップＳＴ５）、処理を終了する。

ステップＳＴ４が否定されると、ステップＳＴ２に戻り、ステップＳＴ２以降の処理を繰り返す。

以上の処理においては、最下位の階層における最も重要度が高いカテゴリに分類された画像数がＭ未満の場合には、次に重要度が高いカテゴリに分類された画像が候補画像に加えられ、候補画像の数がＭ以上となるまでステップＳＴ２以降の処理が繰り返される。

例えば、上記のように重要度を算出した場合において、候補画像の数Ｍを１０とした場合には、ノートルダム寺院カテゴリの下位の階層の寺院の前のカテゴリに分類された１５枚の画像を候補画像として選択する。また、候補画像の数Ｍを２０とした場合には、寺院の前のカテゴリに分類された１５枚の画像および寺院の中のカテゴリに分類された１０枚の画像からなる合計２５枚の画像を候補画像として選択する。

画像処理部５２は、あらかじめ定められたアルゴリズムにしたがい、階調補正処理、色補正処理、明るさ補正処理、ホワイトバランス補正処理、彩度補正処理、シャープネス処理、ノイズ除去処理、赤目補正処理および美肌処理等の各種処理のうちの少なくとも１つの処理からなる画像処理を、選択した候補画像を表すすべての画像データに対して施すことにより処理済み画像データを得る。

変化量算出部５４は、処理前の画像データにより表される処理前画像と、処理済み画像データにより表される処理済み画像との相対応する画素間の画素値の変化量の代表値をすべての画像データについて算出する。なお、画素値の変化量としては、画素値の変化量そのもの（例えば画素値がＲＧＢの各色からなる場合、処理前画像と処理済み画像の相対応する画素におけるＲＧＢ値の差ΔＲ、ΔＧ、ΔＢの２乗の平方根）、ＲＧＢ各色から求められる輝度値の差の絶対値等を用いることができる。なお、ここでは、代表値として画素値の変化量の平均値を用いるが、これに限定されるものではなく、画素値の変化量のメディアン値等、画素値の変化量を代表する値であれば、任意の値を用いることができる。

なお、画素値の変化量の平均値を、下記の式（３）により正規化し、正規化した値を代表値としてもよい。

代表値＝（１−変化量の平均値／変化量の最大値）×１００ （３）
但し、変化量の最大値はすべての候補画像について算出した変化量のうちの最も大きい値である。

決定部５６は、代表値が小さい順に画像をソートし、最小代表値からＮ番目までの画像、すなわち代表値が小さい上位Ｎ個の画像を代表画像として選択する。

図１１は画像処理部５２、変化量算出部５４および決定部５６が行う代表画像選択の処理を示すフローチャートである。まず、ＣＰＵ１２が処理の対象となる画像データを、候補画像を表す画像データのうちファイル名が最初の画像データとすべく、ｊ＝１（ｊ＝１〜Ｍ）に設定する（ステップＳＴ１１）。次いで、画像処理部５２が画像データに対して画像処理を施して処理済み画像データを取得する（ステップＳＴ１２）。

そして、変化量算出部５４が、処理前の画像と処理済み画像との画素値の変化量を算出する（ステップＳＴ１３）。さらに、変化量算出部５４は画素値の変化量の代表値を算出する（ステップＳＴ１４）。

そして、ＣＰＵ１２がすべての候補画像を表す画像データについて処理を終了したか否かを判定し（ステップＳＴ１５）、ステップＳＴ１５が否定されるとファイル名が次の画像データを処理対象とすべくｊ＝ｊ＋１に設定し（ステップＳＴ１６）、ステップＳＴ１２に戻る。ステップＳＴ１５が肯定されると、最小代表値からＮ番目までの画像、すなわち代表値が小さい上位Ｎ個の画像を代表画像として選択し（ステップＳＴ１７）、処理を終了する。

以上の処理により、例えば、寺院の前のカテゴリに分類された画像のみを候補画像として選択した場合には、寺院の前のカテゴリに分類された画像からＮ個の代表画像が選択される。また、寺院の前のカテゴリおよび寺院の中のカテゴリに分類された画像を候補画像として選択した場合には、寺院の前のカテゴリおよび寺院の中のカテゴリのすべての画像からＮ個の代表画像が選択される。この際、寺院の前のカテゴリおよび寺院の中のカテゴリの少なくとも一方から代表画像が選択されるため、候補画像を選択したカテゴリであっても、代表画像が選択されないカテゴリが存在する場合もある。

表示制御部３２は、ＣＰＵ１２がハードディスク２４に保存されている画像を閲覧するためのビューアソフトを起動した際に、ビューアソフトにより表示部１８に表示される画像一覧画面において、重要度設定部３０が設定した重要度を視認可能に表示部１８に表示するとともに、代表画像選択部３４が選択した代表画像を表示する。

図１２は画像一覧画面の例を示す図である。図１２に示すように画像一覧画面４０は、ハードディスク２４に保存されているフォルダ構造を示すフォルダフィールド４０Ａ、およびフォルダフィールド４０Ａにおいて選択したフォルダ（図１２において矩形Ａ１により囲んだフォルダ）に保存されている画像についてのサムネイル画像の一覧を表示する一覧表示フィールド４０Ｂが含まれる。

フォルダフィールド４０Ａにおいては、上述したように階層化されたカテゴリに対応するフォルダの階層構造が表示される。表示制御部３２は、重要度設定部３０が設定した各カテゴリの重要度に応じて、カテゴリに１〜４までの順位を設定する。そして、順位に応じてフォルダを色分けしてフォルダフィールド４０Ａにフォルダの階層構造を表示する。例えば、１位のフォルダはピンク色、２位のフォルダはオレンジ色、３位のフォルダは黄色、４位のフォルダは緑色というようにフォルダを色分けする。ここで、図１２に示す画像一覧画面４０のフォルダフィールド４０Ａにおいて、一番上に表示されている階層が上述したフランス旅行の画像を分類したフォルダを表すものとする。

なお、重要度に応じた順位の設定は、例えば手法４により重要度を算出した場合、２００を超える重要度を１位、１５０を超え２００以下の重要度を２位、１００を超え１５０以下の重要度を３位、１００以下の重要度を４位というようにすればよい。

ここで、重要度に応じて色分けする手法のみならず、図１３に示すように重要度の順位を数値として表示するようにしてもよい。また、重要度に応じたマークやグラフを表示してもよい。

一方、一覧表示フィールド４０Ｂには、ユーザが最下位の階層のフォルダを選択した場合には、選択したフォルダに保存されている画像についてのサムネイル画像の一覧が表示されるが、最下位の階層以外の階層のフォルダを選択した場合には、選択したフォルダの一階層下位のフォルダが縮小表示される。

図１４は一覧表示フィールド４０Ｂにフォルダが縮小表示された画像一覧画面４０の例を示す図である。なお、ここでは、ユーザがフランス旅行のフォルダ（すなわちフォルダＦ１）におけるノートルダム寺院フォルダ（フォルダＦ１−１−３）を選択したものとし、代表画像は寺院の前フォルダ（フォルダＦ１−１−３−１）から３つ、寺院の中フォルダ（フォルダＦ１−１−３−３）から１つ選択されたものとする。

図１４に示すように一覧表示フィールド４０Ｂには、選択したフォルダＦ１−１−３の一階層下位の３つのフォルダＦ１−１−３−１，Ｆ１−１−３−２，Ｆ１−１−３−３が縮小表示されている。また、フォルダＦ１−１−３−１には３つ、Ｆ１−１−３−３には１つの代表画像がサムネイル表示されている。なお、フォルダＦ１−１−３−２からは代表画像が選択されていないため、縮小表示されたフォルダＦ１−１−３−２には代表画像のサムネイル表示はなされない。

次いで、第１の実施形態において行われる処理について説明する。図１５は第１の実施形態において行われる処理を示すフローチャートである。なお、画像データはメモリカード２から読み出されてハードディスク２４のユーザが所望するフォルダに保存されているものとする。ビューアソフトを起動し、分類の指示をユーザが入力部１６から行うことにより処理が開始され、画像分類部２８が上述したように画像データを階層化して複数のカテゴリに分類する（ステップＳＴ２１）。

そして、重要度設定部３０がカテゴリに重要度を設定し（ステップＳＴ２２）、代表画像選択部３４の候補画像選択部５０が、代表画像の候補画像を選択する（ステップＳＴ２３）。続いて、画像処理部５２が選択されたすべての候補画像を表す画像データに画像処理を施して処理済み画像データを取得し（ステップＳＴ２４）、変化量算出部５４が処理前画像と処理済み画像との変化量の代表値を算出する（ステップＳＴ２５）。そして、決定部５６が代表画像を決定する（ステップＳＴ２６）。

さらに表示制御部３２が重要度を視認可能にして画像一覧画面を表示部１８に表示し（ステップＳＴ２７）、処理を終了する。

このように、第１の実施形態によれば、重要度が設定された複数のカテゴリのうち、重要度が高いカテゴリから代表画像の候補画像を選択し、選択した複数の候補画像から代表画像を選択するようにしたものである。ここで、候補画像は重要度が高いカテゴリから選択されているため、ユーザにとって重要であることが多い。したがって、本実施形態によれば、ユーザにとって重要な代表画像を確実に選択することができる。

また、複数のカテゴリのうち重要度が高いカテゴリから候補画像を選択し、さらに候補画像から代表画像を選択しているため、複数の画像の全体から代表画像を選択する場合と比較して、代表画像を選択するための処理時間を短縮することができる。

ここで、画像に対して画質を向上させる画像処理を施すことにより得られる処理済み画像と画像処理前の処理前画像との、相対応する画素間の画素値の変化量の代表値が小さいということは、処理済み画像と処理前画像とで変化が小さいということ、いわば画像処理の必要性が小さい、うまく撮影された高画質の画像であることを意味する。

このため、選択された複数の候補画像のそれぞれについて、上記画素値の変化量の代表値を算出し、代表値が小さい所定数の画像を代表画像として選択することにより、高画質の画像を代表画像として選択することができる。

また、代表値を、画素値の変化量の平均値を正規化した値とすることにより、代表値の最大値および最小値が明確となるため、代表値をわかりやすい値とすることができる。

なお、上記第１の実施形態においては、画素値の変化量の代表値が小さい上位Ｎ個の画像を代表画像として選択しているが、選択した候補画像をファイル名順に並べた場合のファイル名が先頭の画像または最後の画像を含むＮ個の画像を代表画像として選択してもよい。また、候補画像からランダムに選択したＮ個の画像を代表画像としてもよい。

また、上記第１の実施形態においては、撮影日時の間隔に基づいて画像を複数のカテゴリに階層化して分類しているが、例えば撮影場所の緯度および経度を表すＧＰＳ情報を取得可能なカメラを用いて撮影を行った場合には、画像にはＧＰＳ情報が付与される。このような場合、ＧＰＳ情報を用いて撮影場所毎に画像を階層化して分類してもよい。

また、特許文献２に記載されたような、ユーザのスケジュールを表すスケジュール情報を参照して、画像をユーザのスケジュールに応じたカテゴリに分類する手法、特許文献３に記載されたような、複数の画像から特徴量を算出し、画像の特徴量間の関連性に基づいて画像を複数のカテゴリに分類する手法を用いて画像を分類してもよい。

また、ユーザが手動により自分の好みに応じて画像を分類してもよいことはもちろんである。

また、上記第１の実施形態においては、重要度設定部３０において、手法１〜４を用いて各カテゴリの重要度を設定しているが、ユーザが手動により自分の好みに応じて重要度を設定してもよいことはもちろんである。

次いで、本発明の第２の実施形態について説明する。図１６は本発明の第２の実施形態による代表画像選択装置の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態における代表画像選択装置１′は、第１の実施形態における画像分類部２８および重要度設定部３０を備えないものであり、ハードディスク２４におけるユーザが所望するフォルダに保存された複数の画像をカテゴリに分類することなく、この複数の画像から代表画像を選択する代表画像選択部３４′を備えた点が第１の実施形態と異なる。

図１７は代表画像選択部３４′の構成を示す概略ブロック図である。図１７に示すように代表画像選択部３４′は、第１の実施形態における代表画像選択部３４の画像処理部５２、変化量算出部５４および決定部５６にそれぞれ対応する、画像処理部５２′、変化量算出部５４′および決定部５６′を備える。

次いで、第２の実施形態において行われる処理について説明する。図１８は第２の実施形態において代表画像選択部３４′が行う処理を示すフローチャートである。まず、ＣＰＵ１２が処理の対象となる画像データをファイル名が最初の画像データとすべく、ｋ＝１（ｋはユーザが所望するフォルダに保存されている画像データの数）に設定する（ステップＳＴ３１）。次いで、画像処理部２８′が画像データに対して画像処理を施して処理済み画像データを取得する（ステップＳＴ３２）。

そして、変化量算出部５４′が、処理前の画像と処理済み画像との画素値の変化量を算出する（ステップＳＴ３３）。さらに、変化量算出部５４′は画素値の変化量の代表値を算出する（ステップＳＴ３４）。

そして、ＣＰＵ１２がユーザが所望するフォルダに保存されたすべての画像について処理を終了したか否かを判定し（ステップＳＴ３５）、ステップＳＴ３５が否定されるとファイル名が次の画像データを処理対象とすべくｋ＝ｋ＋１に設定し（ステップＳＴ３６）、ステップＳＴ３２に戻る。ステップＳＴ３５が肯定されると、最小代表値からＮ番目までの画像、すなわち代表値が小さい上位Ｎ個の画像を代表画像として選択し（ステップＳＴ３７）、処理を終了する。

このように、第２の実施形態によれば、画像を複数のカテゴリに分類しない場合においても、所望のフォルダに保存された画像の代表画像を選択することができる。

なお、上記第１および第２の実施形態においては、画素値の変化量の平均値またはこれを正規化した値を代表値としているが、ユーザが所望するフォルダに保存された画像を何度か再生している場合には、上記特許文献７に記載された手法を用いて、画像の再生時間を記録しておき、再生時間が長いほど代表値が小さくなるように、正規化した画素値の変化量の平均値を修正してもよい。これにより、再生時間が長い画像はより代表画像として選択されやすくなる。

また、最後に画像を再生した日時を記録しておき、この日時から代表画像選択の処理を行っている日時までの経過時間が長いほど、代表値が大きくなるように、正規化した画素値の変化量の平均値を修正してもよい。これにより、最近に再生した画像はより代表画像として選択されやすくなる。一方、長期間再生されていない画像は代表画像としては選択されにくくなる。

これにより、ユーザの嗜好を反映させて代表画像を選択することができる。

本発明の第１の実施形態による代表画像選択装置の構成を示す概略ブロック図 ユーザのフランス旅行のある１日のタイムテーブルを示す図 フランス旅行の時間軸と画像数との関係を示す図 分類後のフォルダ構造を示す図 分類後のフォルダ構造を手法１により算出した重要度とともに示す図 分類後のフォルダ構造を手法２により算出した重要度とともに示す図 分類後のフォルダ構造を手法３により算出した重要度とともに示す図 分類後のフォルダ構造を手法４により算出した重要度とともに示す図 第１の実施形態における代表画像選択部の構成を示す概略ブロック図 候補画像選択の処理を示すフローチャート 第１の実施形態における代表画像選択の処理を示すフローチャート 第１の実施形態における画像一覧画面を示す図（その１） 第１の実施形態における画像一覧画面を示す図（その２） 第１の実施形態における画像一覧画面を示す図（その３） 第１の実施形態において行われる処理を示すフローチャート 本発明の第２の実施形態による代表画像選択装置の構成を示す概略ブロック図 第２の実施形態における代表画像選択部の構成を示す概略ブロック図 第１の実施形態における代表画像選択の処理を示すフローチャート

符号の説明

１，１′ 代表画像選択装置
２ メモリカード
１２ ＣＰＵ
１４ システムメモリ
１６ 入力部
１８ 表示部
２０ カードスロット
２２ 圧縮解凍部
２４ ハードディスク
２６ メモリ制御部
２８ 画像分類部
３０ 重要度設定部
３２ 表示制御部
３４，３４′ 代表画像選択部
４０ 画像一覧画面
５０ 候補画像選択部
５２，５２′ 画像処理部
５４，５４′ 変化量算出部
５６，５６′ 決定部

Claims (9)

1. 複数の画像から所定数の代表画像を選択する代表画像選択装置において、
   前記複数の画像を階層化して分類することにより得られた、それぞれに重要度が設定された複数のカテゴリのうち、前記重要度が高いカテゴリから前記代表画像の候補画像を複数選択する候補選択手段と、
   該選択された複数の候補画像から、前記所定数の代表画像を選択する選択手段とを備えたことを特徴とする代表画像選択装置。
2. 前記選択手段は、前記選択された候補画像のそれぞれについて、該候補画像に対して画質を向上させる画像処理を施すことにより得られる処理済み画像と該画像処理を施す前の処理前画像との、相対応する画素間の画素値の変化量の代表値を算出し、該代表値が小さい順に最小代表値から前記所定数の画像を前記代表画像として選択する手段であることを特徴とする請求項１記載の代表画像選択装置。
3. 複数の画像から所定数の代表画像を選択する代表画像選択装置において、
   前記複数の画像のそれぞれについて、該画像に対して画質を向上させる画像処理を施すことにより得られる処理済み画像と該画像処理を施す前の処理前画像との、相対応する画素間の画素値の変化量の代表値を算出する変化量算出手段と、
   該代表値が小さい順に最小代表値から前記所定数の画像を前記代表画像として選択する選択手段とを備えたことを特徴とする代表画像選択装置。
4. 前記代表値は、前記画素値の変化量の平均値を正規化した値であることを特徴とする請求項２または３記載の代表画像選択装置。
5. 前記代表値は、前記画素値の変化量の平均値を正規化した値を、前記画像の再生時間および最後に再生された日時の少なくとも１つの情報に応じて修正した値であることを特徴とする請求項２または３記載の代表画像選択装置。
6. 複数の画像から所定数の代表画像を選択する代表画像選択方法において、
   前記複数の画像を階層化して分類することにより得られた、それぞれに重要度が設定された複数のカテゴリのうち、前記重要度が高いカテゴリから前記代表画像の候補画像を複数選択し、
   該選択された複数の候補画像から、前記所定数の代表画像を選択することを特徴とする代表画像選択方法。
7. 複数の画像から所定数の代表画像を選択する代表画像選択方法において、
   前記複数の画像のそれぞれについて、該画像に対して画質を向上させる画像処理を施すことにより得られる処理済み画像と該画像処理を施す前の処理前画像との、相対応する画素間の画素値の変化量の代表値を算出し、
   該代表値が小さい順に最小代表値から前記所定数の画像を前記代表画像として選択することを特徴とする代表画像選択方法。
8. 複数の画像から所定数の代表画像を選択する代表画像選択方法をコンピュータに実行させるためのプログラムにおいて、
   前記複数の画像を階層化して分類することにより得られた、それぞれに重要度が設定された複数のカテゴリのうち、前記重要度が高いカテゴリから前記代表画像の候補画像を複数選択する手順と、
   該選択された複数の候補画像から、前記所定数の代表画像を選択する手順とを有することを特徴とするプログラム。
9. 複数の画像から所定数の代表画像を選択する代表画像選択方法をコンピュータに実行させるためのプログラムにおいて、
   前記複数の画像のそれぞれについて、該画像に対して画質を向上させる画像処理を施すことにより得られる処理済み画像と該画像処理を施す前の処理前画像との、相対応する画素間の画素値の変化量の代表値を算出する手順と、
   該代表値が小さい順に最小代表値から前記所定数の画像を前記代表画像として選択する手順とを有することを特徴とするプログラム。

Images