JP2008269490A - 画像管理方法、画像管理装置、制御プログラム及びコンピュータ可読記憶媒体 - Google Patents

Abstract

【課題】 画像の一覧表示において、管理されている画像をより容易に一望可能とする。
【解決手段】
複数の画像を管理する画像管理装置は、画像に付帯された時間情報を用いて管理下にある複数の画像を分類して、画像グループを生成する。そして、生成された画像グループのうち複数の画像が属する画像グループの各々については、更に、画像グループに属する複数の画像を画像の特徴量を用いて分類して画像グループを生成する。そして、上記処理により得られた画像グループの各々につい、上記管理下にある複数の画像の一覧表示に用いる表示データを１つずつ取得する。
【選択図】 図２

Description

本発明は、複数の画像を管理するための画像管理方法、画像管理装置、制御プログラム及びコンピュータ可読記憶媒体に関するものである。

近年、記憶メディアの大容量化に伴って機器が管理可能な写真等の画像の数が増加している。機器の管理下にある画像の数が多くなると、当該機器の画面上に画像の一覧表示を行なった際には、画面上に多くのアイテムが表示されてしまい、管理されている画像の全貌が把握しづらくなる。使用者にとって、デジタル写真はコスト負担が事実上ほとんどかからないので、気軽に写真を撮影することが多くなり、メディアの大容量化が撮影写真数（画像数）の増加につながりがちである。このような画像の一覧表示に係る課題は、カメラ等の表示画面が小さい携帯機器において特に深刻である。

上述の課題の解決には、写真のグループ化が有効であり、自動的に関連のある一連の画像がグループ化され、グループを１枚の写真で代表させることが効果的であろう。使用者の撮影する写真は、一枚ずつが孤立した単独の写真ではなく、前後に類似する写真が含まれることが多い。例えば、写真を連写した場合はそうなるし、あるいは連写でなくとも、同じ場所で似たような写真を複数枚撮影した場合もそうである。こだわりを持って写真を撮影すれば、絞り、シャッター速度、アングル、焦点距離、等の条件に応じて似たような写真を多数撮影することは大いにある。

このような一群の写真は、その中からベストショットを選ぶ等の際に一覧する必要があるが、どのような写真が撮影されているか、その全貌を把握したいだけの場合は、必ずしも１枚１枚の写真をすべて並べて表示したいわけではない。このような場合は、写真のグループ化は、複数の写真を一望するという要求に対して有効な対策になる。特に、表示画面が小さい場合は有効である。

画像のグループ化、すなわち、分類については、これまでにも各種の技術が提案されてきた。特許文献１は、一連の画像群において、シーンが類似する画像を類似シーンセットとして分類することを提案している。更に、付帯情報（撮影時刻、等）を用いてシーンセットの出力態様を設定させ、ユーザにとって所望の画像を検索しやすいように、類似している画像がより近い配置または順序で出力されるようにしている。特許文献１においては、分類のために画像間類似度を使用し、撮影時刻は出力態様（配置または順序）として使用している。しかしながら、特許文献１は、表示の配置、順序を工夫して分かりやすくしているに過ぎず、アイテム数の削減には到っていないため、小画面に一覧表示する上では、十分な解決とはなっていない。

特許文献２も同様に画像の分類方法を提案している。特許文献２は、プリント注文受付機等において、複数の写真画像を類似写真画像群に分類し、その写真画像群から所定の選別条件に基づいてベターショットとなる合格写真画像を抽出する。写真画像の分類は、シーンの特徴解析、撮影時刻、場所、カメラの向き、撮影条件などの情報に基づいて行なわれる。より具体的には、まず、撮影時間情報を参照して撮影の時間間隔が短い写真画像を同じグループに分類する。次に、そのグループ内で撮影場所が異なるものを更にグループ分割する。次に、カメラの向きについても同様にグループ分割する。最後に、このように分割されたグループについて写真画像のシーンの特徴が略同じとなるグループを統合して同じグループにしている。

特許文献２は、分類の方法を開示しているものであり、分類後の一覧表示については何等考慮されていない。従って小画面に一覧表示を実行するための工夫については何等言及されていない。

また、画像の分類と類似する概念として、動画の代表画像抽出の技術があり、過去に多数の技術が提案されている。特許文献３はその一例であり、ビデオの一覧表示あるいはビデオの早見を目的として、動画からシーンの代表画像を抽出する手法を提案している。より具体的には、２つの時刻に対応する画像データの距離がある閾値より大きく、かつ２番目の時刻の時間的近傍でシーンが安定しているとき、２番目の時刻の画像を代表画面としている。

しかしながら、特許文献３の手法が遂行しているのは、あくまでも代表画像の抽出であり、静止画のグループ化ではない。実際、抽出された代表画像は動画として安定した流れの中の画像であることを保証しているのみで、代表画像間は必ずしも類似画像の連続とはならない。
特開２００３−３３０４９１号公報 特開２００４−２３６１２０号公報 特開平０８−０３２９２４号公報

以上のように、特許文献１〜３における提案は、一覧の画像を撮影時刻や画像類似性に基づいて何らかのグループ化する技術を開示している。しかしながら、いずれの特許文献の提案も、ＰＣ等の比較的リッチな環境における見易さの追求や、後段の加工処理を目指すためのものであり、小画面に一覧表示することを主たる目的として想定していない。そのために小画面に一覧表示するのに必要な工夫や、過不足なく全貌を一覧可能にするための工夫については開示されていなかった。

本発明は上述の課題に鑑みてなされたものであり、画像の一覧表示において、管理されている画像をより容易に一望可能とすることを目的とする。

上記の目的を達成するための本発明の一態様による画像管理方法は、
複数の画像を管理する画像管理方法であって、
画像に付帯された時間情報を用いて管理下にある複数の画像を分類して、画像グループを生成する第１分類工程と、
前記第１分類工程で得られた画像グループのうち複数の画像が属する画像グループの各々について、画像グループに属する複数の画像を画像の特徴量を用いて分類して、画像グループを生成する第２分類工程と、
前記第１及び第２分類工程の実行により得られた画像グループの各々について、前記管理下にある複数の画像の一覧表示に用いる表示データを１つずつ取得する取得工程とを備える。

上記の目的を達成するための本発明の他の態様による画像管理装置は以下の構成を備える。即ち、
複数の画像を管理する画像管理装置であって、
画像に付帯された時間情報を用いて管理下にある複数の画像を分類して、画像グループを生成する第１分類手段と、
前記第１分類手段で得られた画像グループのうち複数の画像が属する画像グループの各々について、画像グループに属する複数の画像を画像の特徴量を用いて分類して、画像グループを生成する第２分類手段と、
前記第１及び第２分類手段により得られた画像グループの各々について、前記管理下にある複数の画像の一覧表示に用いる表示データを１つずつ取得する取得手段とを備える。

本発明によれば、画像の一覧表示において、管理されている画像をより容易に一望することが可能となる。

以下、添付の図面を参照して本発明の好適な実施形態を説明する。

図１は、本実施形態の画像管理方法を実現する画像一覧表示装置の構成例を示すブロック図である。図１において、ＣＰＵ１０１はマイクロプロセッサであり、画像処理、特徴抽出処理、比較処理、一覧表示処理等のための演算、論理判断等を行う。また、ＣＰＵ１０１は、バス１０７を介して、当該バス１０７に接続された各構成要素を制御する。バス１０７は、ＣＰＵ１０１の制御対象である各構成要素を指示するアドレス信号、各構成要素を制御するためのコントロール信号を転送する。また、各構成要素間のデータ転送もバス１０７を介して行なわれる。

ＲＯＭ１０２は読出し専用の不揮発性メモリであり、ＣＰＵ１０１によって実行される制御プログラム１１１や曖昧度テーブル１１２を格納している（詳細は後述する）。ＣＰＵ１０１が制御プログラム１１１を実行することにより、後述のフローチャートに示される処理が実行される。入力装置１０３は操作ボタン等を具備し、ユーザによる操作入力をＣＰＵ１０１に伝える。なお、入力装置１０３として、通常のパーソナルコンピュータの様にキーボード、マウス、あるいはタッチパネル等を用いても良い。表示装置１０４は、例えば液晶ディスプレイで構成され、ＣＰＵ１０１の制御下で種々の表示を行なう。

ＲＡＭ１０５は読み書き可能なランダムアクセスメモリであって、各構成要素からが各種データを一次的に記憶するのに用いられる。ＲＡＭ１０５には、画像のグループ化及びグループ分割の判断をするための境界値を記憶する閾値テーブル１１３、ディスプレイに画像一覧を表示するためのもとになるリストを記憶するディスプレイリスト１１４等が格納される（詳細な後述する）。

不揮発性メモリ１０６は、例えばフラッシュメモリ等のような、一括消去、追記書込み可能な不揮発性のメモリで構成される。本実施形態では、画像一覧表示装置による写真（画像）の管理に必要なデータを記憶する画像データベース１１５（詳細は後述する）が不揮発性メモリ１０６に格納される。

以上のような構成を備えた実施形態の画像一覧表示装置は、入力装置１０３等からの各種イベントに応じて種々の処理が実行される。例えば、入力装置１０３から供給された信号はインタラプト信号としてＣＰＵ１０１に供給され、ＣＰＵ１０１ではそのインタラプト信号に応じてイベントが発生する。ＣＰＵ１０１はこのイベントに応じてＲＯＭ１０２またはＲＡＭ１０５内に記憶されている各種命令を読み出して実行することで、各種の制御を実行する。

図２は実施形態による画像一覧表示の例を示した図である。図２において、画面２０１はディスプレイ画面全体を示している。一般に１つの画面に何枚の画像が表示できるかは画面の大きさや表示する画像の大きさに依存し、固定でない。図２の例の場合、画像２１１から画像２１６まで６枚の画像が画面２０１に表示されており、画像２１７と画像２１８は、画面２０１には表示しきれず、次画面であるところの画面２０２に表示される。このように、画面２０１、画面２０２の表示では全ての画像が一望できていない。

本実施形態では、後述する処理によって画像２１１〜２１８をグループ化することにより、画面２０２のような一覧表示が行われる。画面２０２では、画像２１１と画像２１２が画像グループ２２１としてまとめて表示され、画像２１５と画像２１６が画像グループ２２４としてまとめて表示され、他は単独の画像として表示されている。なお、図２に示すように、画面２０３の表示において、画像グループを太枠で示す等して、単独の画像と識別できるようにしてもよい。以上のような画面２０３における一覧表示によれば、画像グループ２２１、２２５、画像２２２，２２３，２２５に対応するアイテムが１画面に表示されることになる。このように、表示される画像の数を減少させることにより、管理されている全画像の把握がより容易となる。

図３は実施形態による画像のグループ化を例示により説明する図であり、画像３０１から画像３０８がどのようにグループ化されるかを示している。図３の（ａ）において、各画像の上に「ｔ＝ｘｘｘｘ」として示されているのは時間情報としての撮影時刻である。まず、撮影時刻の差が所定の閾値内となる画像、即ち、撮影時刻の近い画像がグループ化される。このような撮影時刻に基づくグループ化を時間近傍性によるグループ化（第１分類）という。図３の（ａ）、（ｂ）の例では、画像３０４から３０８までが１つの画像グループ３１１としてまとめられている。

次に、時間近傍性によってグループ化された画像（図３では画像グループ３１１に属する画像）について、画像類似性が判定され、類似しない画像が画像グループ３１１から排除される（画像類似性による分割）。これは、第１分類により得られた複数の画像が存在するグループを画像類似性により分割するものである（第２分類）。図３の（ｂ）の例では、画像グループ３１１から画像３０４と画像３０８が、画像類似性に乏しいとして排除され、図３の（ｃ）に示されるように画像グループ３１１’となっている。なお、時間近傍性によってグループ化された画像について画像類似性を判定する場合、判定対象の画像の撮影時刻が近いので、各画像は基本的に類似していると前提することができる。よって、極端に画像類似性が悪い画像のみを排除すればよく、画像類似性の判定にかかる処理負荷を比較的軽くできる。例えば、そのような画像類似性の判定では、画像の色味の類似性のみで判断し、構図の類似性などを無視するようにしてもよい。

また、時間近傍性によるグループ化において、グループ化されなかった画像のうち、時系列的に隣接する画像であって、画像類似性の高い画像を、撮影時刻が近似していなくても、同一の画像グループにまとめる（画像類似性による統合）。これは、第１、第２分類の結果として得られた単一の画像が属する画像グループの画像を対象として、画像の特徴量を用いた分類を行い、画像グループを生成する処理である（第３分類）。図３の（ｃ）の例では、画像３０１と画像３０２がグループ化されて画像グループ３２１が生成されている。なお、この場合、撮影時刻が異なるので全く異なる画像である可能性があるため、ある程度正確に画像類似性を評価する必要がある。従って、色味の類似性だけでなく、構図の類似性やテクスチャの類似性等が評価されることになる。そのため、時間近傍性によりグループ化されなかった画像の画像類似性の判定においては、処理負荷が重くなる傾向がある。以下、上述した画像グループを単にグループと記載する場合もある。また、本明細書では、画像グループには複数の画像が存在し、画像グループに属さない画像を孤立した画像とするが、孤立した画像は単一の画像のみが属する画像グループと等価である。また、時間近傍性による分類によって得られた画像グループを対象とした画像類似性による分割においては、１つの画像グループから複数の画像グループが派生してもよい。

図４は、実施形態による、画像を管理するための情報であるところの、画像データベース１１５のデータ構成例を示す図である。

図４において、撮影時刻４０１には、各画像を撮影した日時が記憶される。即ち、各画像には、時間情報が付帯されている。たとえば、「2005010111200」とは「2005年1月1日12時0分」を意味している。画像特徴量４０２には、画像を解析して抽出される画像特徴量が記憶される。本実施形態では、少なくとも、色味、構図、テクスチャに相当する数値群が記憶され、各数値はカンマで区切って記憶されている。なお、図４では３つの特徴量を示したが、実際の画像特徴量は更に多次元である。４０３はグループＩＤであり、各画像がグループ化された場合に属するグループのＩＤが記憶される。なお、グループＩＤ４０３において０とは、どのグループにも属さない単独の画像（或いは、単一の画像からなる画像グループとみなしても良い）であることを意味している。

図５は、実施形態による曖昧度テーブル１１２のデータ構成例を示す図である。曖昧度テーブル１１２は、画像類似性を判断するときに、どの画像特徴をどの程度利用するかという判断基準を示したテーブルである。図５において、「Type1」は時間近傍性に基づいてグループ化されたグループ（例えば図３の画像グループ３１１）から画像類似性の低い画像を分離するときの判断基準である。図５の曖昧度テーブル１１２によれば、「Type1」では、色味のチェックを緩やかに適用することが示されている。

一方、「Type2」は撮影時刻が異なる孤立画像をグループ化する場合（例えば、図３の画像グループ３２１が生成される際）の判断基準であり、色味と構図のチェックを厳密に適用することが示されている。色味のチェックは画素の色情報のヒストグラムを取るだけで特徴量が算出できるのに対し、構図をチェックするには画像中の線分の分離、エッジ抽出等の画像処理が必要になる。従って、Type1とType2とでは、画像特徴量を算出する際の計算量が大きく異なる。

本実施形態において、画像の類似度は例えば以下の式により実行される。

ここで、
Ｌ：画像類似度、
Ｐ１_i：画像１のｉ番目の画像特徴ベクトル、
Ｐ２_i：画像２のｉ番目の画像特徴ベクトル、
F_i：ｉ番目の画像特徴の曖昧度。

上記式は画像類似度算出の例を示している。まず、各画像特徴ｉについて比較する２つの画像の特徴ベクトルの差分ΔＰ_iを求める。そして、各画像特徴について、差分の長さ（内積：ΔＰ_i・ΔＰ_i）に曖昧度テーブル１１２に登録されている曖昧度を乗じ、それらの総和を求める。こうして求められた総和を曖昧度の総和で除算して画像類似度Ｌが求まる。この式に基づくと画像が類似しているときは（画像類似性が高いほど）画像類似度Ｌの値は小さく算出され、異なった画像になるほど画像類似度Ｌの値が大きく算出される。なお、この算出式は単なる一例に過ぎない。画像特徴の比較に適したやり方でありさえすれば、異なる式であっても差し支えない。

図６は、実施形態による閾値テーブル１１３のデータ構成例を示す図である。閾値テーブル１１３には、時間的近傍性による画像の分類に用いられる閾値６０１と、画像類似性による画像の分類やグループの分割に用いられる閾値６０２が登録されている。閾値６０１は、上記の第１の分類に用いられる第１の閾値である。時間近傍性による分類においては、２つの画像の撮影時刻の差が閾値６０１より小さい場合に、それら２つの画像は画像類似性が高いとして、同一グループであると判定される。また、画像類似性による統合では、２つの画像間の画像類似度が閾値６０２より小さい場合に、それら２つの画像がグループ化される。また、画像類似性による分割では、同一グループ内の２つの画像間の画像類似度が閾値６０２より大きい場合に、両画像は画像時類似性が低いとして、別グループと判定される。すなわち、閾値６０２は上記の第２及び第３の分類において第２及び第３の閾値として用いられる。

なお、上記の閾値６０１、６０２は状況に応じて動的に変化させることができ（図１６により後述する）、その変化した値が閾値テーブル１１３に記憶される。上述した画像類似度は画像が類似するほど小さい類似度となる。また、時間近傍性の観点から分類する場合も、画像の撮影時日時が近いほどその差分は小さくる。従って、グループ化を抑制したい場合には、閾値６０１や閾値６０２に対してより小さい値を設定すればよい。また、逆に、グループ化を促進したい場合は、閾値６０１や閾値６０２に対してより大きい値を設定する。このように、閾値テーブル１１３に設定される閾値を通じてグループ化の程度をコントロールすることができ、画像の一覧表示が１画面に収まるようにグループ数を調節することができる。

図７は、画面に画像一覧を表示する際にワークエリアに一時的に作成されるディスプレイリスト１１４のデータ構成例を示す図である。ディスプレイリスト１１４の各行は一覧表示における１つのアイテムを表す。アイコン種別７０１には、各アイテムを表示する際のアイコンの種別を示す情報が格納される。本例において、アイコン種別７０１が「単独」の場合は画像のアイコン（たとえば細枠のアイコン）を表し、「グループ」の場合はグループのアイコン（たとえば太い二重枠のアイコン）を表す。サムネール情報７０２は、各アイテムの表示の際に使用される表示データであり、本例ではアイコン画像を表す。メンバー数７０３は、当該アイテムが「グループ」に属する場合には、そのグループに含まれる画像の実数を表現する。なお、単独のアイテムについては、メンバー数７０３として０が格納される。

図８は、図７に示したディスプレイリスト１１４に基づいた一覧表示の例を示す図である。表示画面８０１において、「アイコン種別」が「グループ」のアイテムは太枠のアイコン８０２，８０３で表示され、その右横に当該グループに含まれる画像数が表示されている。また、「アイコン種別」が「単独」のアイテムは、細枠のアイコン８０４〜８０６で表示される。

以上のような実施形態の画像一覧表示装置の動作を図９以降のフローチャートに従って説明する。

図９は、実施形態による画像一覧表示装置の動作、より具体的にはＣＰＵ１０１が制御プログラム１１１を実行することにより実現される処理手順を示すフローチャートである。

ステップＳ９０１において、ＣＰＵ１０１はシステムの初期化処理を行なう。システムの初期化処理では、各種パラメータの初期化や、表示装置１０４への初期画面の表示等が行なわれる。ステップＳ９０２において、ＣＰＵ１０１は、入力装置１０３からの何らかのイベントの発生を待つ。イベントが発生すると、ステップＳ９０３において、ＣＰＵ１０１は当該発生したイベントの種類を判別し、判別したイベントの種類に応じて各種の処理に分岐する。図９では、各種イベントに対応した分岐先の複数の処理をステップＳ９０４という形でまとめて表現している。例えば、図１０のフローチャートに示された画像分類処理、図１５のフローチャートに示された画像一覧表示処理、図１６のフローチャートに示された画面適応型画像一覧表示処理がこの分岐先の一部となる。なお、他の処理としては、詳細な説明は省略するが、画像取り込み処理、画像削除処理などの、通常の画像一覧表示装置の処理が挙げられる。ステップＳ９０５において、ＣＰＵ１０１は、上記の各処理の結果や終了を通知する。この通知は、ステップＳ９０４における処理の実行中にエラーが発生した場合のエラー表示、ステップＳ９０４における処理が正常終了した場合の終了表示など、一般によく知られた処理である。

図１０は、ステップＳ９０４の処理の一つとしての、画像分類処理を詳細に示すフローチャートである。ステップＳ１００１において、ＣＰＵ１０１は、撮影時刻に基づいて画像をグループ化する。即ち、時間近傍性によるグループ化が実行される。ステップＳ１００１による時間近傍性によるグループ化は、図１１のフローチャートを参照することにより後述する。ステップＳ１００２において、ＣＰＵ１０１は、ステップＳ１００１で作成されたグループ内で類似しない画像を除外する非類似画像分離処理（図３により上述した画像類似性による分割）を行う。ステップＳ１００２の非類似画像分離処理は、図１２により後述する。ステップＳ１００３において撮影時刻が近似しない画像について、類似する画像をグループ化する類似画像マージ処理（図３により説明した画像類似性による統合）を行う。ステップＳ１００３の類似画像マージ処理は図１３により後述する。

従来では、まず画像類似性により画像をグループ化するものもあるが、その場合は比較的厳密に画像を分類する必要があるため、精度的に「Type2」程度の処理を行うことになる。しかも任意の２つの画像を比較する必要があるために比較すべき画像の組合せ数も多くなり、処理性能が劣っていた。特にパワーのないデバイスに搭載する上ではネックがあった。これに対して、実施形態では、画像群のグループ化を行う際には、まず、最も処理負荷の小さい時間近傍性に基づくグループ化が行なわれ（Ｓ１００１）、その後、画像類似性に基づく判定により類似していない画像がグループから分離される（Ｓ１００２）。上述したように、時間近傍性に基づいて生成されたグループから画像を分離するか否かの判定には、比較的軽い画像類似性の判定を用いることができる。実施形態においては、図５の曖昧度テーブル１１２の「Type1」の曖昧度が使用される。その場合、構図に関する処理が不要となるため、「Type2」の曖昧度に比べて極めて軽い処理となる。また、「Type2」の曖昧度を用いた画像類似性判定の対象となる画像は、時間近傍性に基づいたグループ化によりグループに属さなかった画像である。そのため、処理の重たい画像類似度判定の対象となる画像が絞られ、有利である。従って、パワーのないデバイスにおいても、スムーズに画像の分類を行なうことが可能となる。更に、本実施形態では、時系列に隣接する２つの画像について類似性を判定していくので、更に類似度計算の負荷が減少する。

図１１はステップＳ１００１の時間近傍性に基づくグループ化処理を示すフローチャートである。図１１に示されるグループ化処理では、一覧表示装置の管理下にある複数の画像を、画像に付帯された時間情報を用いて分類し、複数の画像が属する画像グループを生成する。

ステップＳ１１０１において、ＣＰＵ１０１は、各種初期化の処理を行う。ステップＳ１１０２において、ＣＰＵ１０１は、画像データベース上の２つの時系列的に隣接する画像（直前画像と注目画像）にポインタを設定する。ポインタが設定された２つの画像は処理対象の画像であり、ＣＰＵ１０１は、これら処理対象の画像の情報を取得する。ステップＳ１１０３においてすべての画像データについて処理が終了したかどうか判定し、終了していれば本処理を終了し、図１０の処理へ戻る。終了していなければ、ステップＳ１１０４に進み、ＣＰＵ１０１は、２つの処理対象の画像の撮影時刻を取得する。ステップＳ１１０５において、ＣＰＵ１０１は、２つの処理対象の画像の撮影時刻を比較する。ステップＳ１１０６において、ＣＰＵ１０１は、撮影時刻の差分が閾値テーブル１１３の閾値６０１を超えているかどうかで両者の撮影時刻の近似性を判断する。近似していないと判断した場合、即ち撮影時刻の差分が閾値６０１を超える場合は、処理はステップＳ１１０２に戻る。そして、ＣＰＵ１０１は次の画像について上記処理を実行する。ステップＳ１１０６において近似していると判断された場合、即ち、撮影時刻の差分が閾値６０１以下の場合、処理はステップＳ１１０７へ進む。ステップＳ１１０７において、ＣＰＵ１０１は、２つの処理対象の画像を同一グループにマージする処理を行い、次の画像の処理のために処理をステップＳ１１０２に戻す。なお、ステップＳ１１０７において同一グループへのマージが行なわれる場合は、画像データベース１１５の上記２つの処理対象の画像におけるグループＩＤ４０３の欄が同じ値に設定されることになる。

図１２はステップＳ１００２の非類似画像分離処理を示すフローチャートである。図１２に示される処理は、ステップＳ１００１で作成されたグループ内の画像に対して実行される。非類似画像分離処理では、時間近似性に基づいて得られた画像グループに属している複数の画像について特徴量を用いた分類が行なわれ、画像類似性が低い画像が存在する場合にはそれらを分離することにより新たな画像グループが生成される。

ステップＳ１２０１において、ＣＰＵ１０１は、各種初期化の処理を行う。ステップＳ１２０２において、ＣＰＵ１０１は、画像データベース１１５上の２つの時系列的に隣接する画像（直前画像と注目画像）にポインタを設定する。ポインタが設定された２つの画像は処理対象の画像であり、ＣＰＵ１０１は、これら処理対象の画像の情報を取得する。ステップＳ１２０３において、ＣＰＵ１０１は処理対象とすべきすべての画像について処理が終了したかどうか判定し、終了していれば図１０の処理に戻る。終了していなければステップＳ１２０４に進み、ＣＰＵ１０１は、曖昧度テーブル１１２から分割時の曖昧度（図５のType１）を取得する。ステップＳ１２０５において、ＣＰＵ１０１は、ステップＳ１２０４で取得した曖昧度を用いて処理対象の２つの画像の画像類似度を算出する。画像類似度の算出処理については、図１４により後述する。ステップＳ１２０６において、ＣＰＵ１０１は、ステップＳ１２０５で算出された画像類似度が閾値６０２（図６）を超えているかどうかにより画像類似性を判断する。そして、処理対象の２つの画像が類似していると判断された場合は、そのままステップＳ１２０２に戻り、次の画像について上記処理を繰り返す。処理対象の２つの画像が類似していないと判断された場合、ＣＰＵ１０１は、ステップＳ１２０７において、注目画像をグループから分離する処理を行う。その後、次の画像を処理するべくステップＳ１２０２に処理を戻す。なお、画像をグループから分離する場合は、画像データベース１１５のグループＩＤ４０３の欄を０（グループに属さない）に設定する。

図１３はステップＳ１００３の類似画像マージ処理を示すフローチャートである。図１３に示される処理は、ステップＳ１００１で作成されたグループに所属しない画像に対して実行される。即ち、類似画像マージ処理では、時間近似性に基づく画像グループに属さない画像（例えば、図３の（ｂ）の３０１〜３０３）を対象として、画像の特徴量を用いた分類が行われ、画像グループが生成される。

ステップＳ１３０１において、ＣＰＵ１０１は、各種初期化の処理を行う。ステップＳ１３０２において、ＣＰＵ１０１は、画像データベース上の２つの時系列的に隣接する画像（直前画像と注目画像）にポインタを設定する。ポインタが設定された２つの画像は処理対象の画像であり、ＣＰＵ１０１は、これら処理対象の画像の情報を取得する。ステップＳ１３０３において、ＣＰＵ１０１は、処理対象とすべきすべての画像データについて処理が終了したかどうか判定し、終了していれば図１０の処理に戻る。終了していなければステップＳ１３０４に進み、曖昧度テーブル１１２からマージ時の曖昧度（図５のType2）を取得する。ステップＳ１３０５において、ＣＰＵ１０１は、ステップＳ１３０４で取得した曖昧度を用いて、処理対象の２つの画像の画像類似度を算出する。画像類似度の算出処理については、図１４により後述する。ステップＳ１３０６において、ＣＰＵ１０１は、算出された画像類似度が閾値テーブル１１３に保持されている閾値６０２を超えているかどうかにより画像類似性を判断する。そして、類似していないと判断された場合は、そのまま処理をステップＳ１３０２に戻し、次の画像について上記の処理を繰り返す。類似していると判断された場合、ＣＰＵ１０１は、ステップＳ１３０７において、注目画像を直前の画像と同じグループにマージする処理を行う。そして、処理をステップＳ１３０２に戻し、次の注目画像について上述の処理を繰り返す。なお、注目画像をグループにマージする場合は、画像データベース１１５のグループＩＤ４０３の欄を、直前の画像と同じ値（０以外）に設定する。

なお、上記の類似画像マージ処理を適用する段階では、時間的近傍性によるグループ化において孤立した画像についてのみが処理対象となり、しかも隣接画像間だけで画像類似性の比較が行われる。このため、類似画像マージ処理の適用対象が限定されるので、いきなり適用する場合に比べて処理負荷は相当軽減さることになる。なお、上記ステップＳ１２０６とステップＳ１３０６においては同一の閾値（閾値６０２）を用いたが、それぞれ独立した閾値を用いるようにしてもよい。すなわち、第２の分類に用いられる第２の閾値と、第３の分類に用いられる第３の閾値は独立した閾値としてもよい。

図１４は、ステップＳ１２０５、Ｓ１３０５における画像類似度取得処理を示すフローチャートである。以下に説明する処理により、上記［数１］に示した画像類似度の計算が行なわれる。但し、図５に示した曖昧度テーブル１１２に示されるように、ステップＳ１３０５の類似度計算は、ステップＳ１２０５の類似度計算よりも多くの画像特徴量を利用しており、高精度に行なわれる。

ステップＳ１４０１において、ＣＰＵ１０１は、各種パラメータを初期設定する。次に、ステップＳ１４０２において、ＣＰＵ１０１は、最終的に画像類似度が代入される変数Ｌを初期設定する。ステップＳ１４０３において、ＣＰＵ１０１は、比較対象の画像の特徴量を取得する。ステップＳ１４０４において、ＣＰＵ１０１は、比較対照の画像のすべての画像特徴について処理を終了しているかどうかを判定する。終了していなければ処理はステップＳ１４０５に分岐しする。ステップＳ１４０５において、ＣＰＵ１０１は、２つの画像の特徴ベクトルの差分ベクトルΔＰ_iを求め、その差分ベクトルの内積ΔＰ_iに曖昧度（Ｆ_iを乗じてＳを求める。ステップＳ１４０６において、Ｓの値をＬに加算し、処理をステップＳ１４０４に戻す。ステップＳ１４０４において、全ての画像特徴について処理が終了していると判定されれた場合、処理はステップＳ１４０７に分岐する。ステップＳ１４０７において、Ｌをすべての曖昧度の総和で除し、ステップＳ１４０８において、その計算結果であるＬを画像類似度として出力し、リターンする。

図１５はステップＳ９０４の処理の一つとしての、画像一覧表示処理を示すフローチャートである。ステップＳ１５０１において、ＣＰＵ１０１は、図７により上述したディスプレイリスト１１４を作成する。ディスプレイリストの作成では、図１０に示される画像分類処理の実行結果として得られた画像グループの各々ついて、管理下にある複数の画像の一覧表示に用いるべき１つのアイテムを取得する。図７に示すように、画像グループに対応したアイテムでは、アイコン種別７０１が「グループ」に設定され、メンバー数７０３には当該画像グループに属する画像の数が登録される。また、サムネール情報７０２には、当該画像グループに属する複数画像から選択された１つの画像に対応したサムネール（縮小画像）が登録される。複数画像からの選択の基準としては、例えば時間情報によって示される時刻（撮影時刻）が最も過去のものを選択することが挙げられる。また、ディスプレイリスト１１４には、画像グループに属していない単独の画像に対応するアイテムも登録される。単独の画像に対応したアイテムでは、アイコン種別７０１が「単独」に設定され、メンバー数７０３には「０」が登録され、サムネール情報７０２には、当該画像に対応したサムネールが登録される。

そして、ステップＳ１５０２において、ＣＰＵ１０１は、作成されたディスプレイリストに従って、表示装置１０４上に、図８に示すような画像一覧を表示する。ディスプレイリストの表示では、アイコン種別７０１の内容に従って表示形態を変更することで、画像グループのアイコンであるか、画像のアイコンであるかが識別可能となっている。更に、図８に示されるように、画像グループのアイコン表示の近傍に、対応する画像グループに属している画像の数を表示するようにしてもよい。また、各アイテムを示すためのアイコン表示としてサムネールを用いたが、他の形態のアイコンを用いても良い。

図１６は、ステップＳ９０４の処理の一つとしての、画面適応型の画像一覧表示処理を示すフローチャートである。画面適応型の画像一覧表示処理では、一覧表示すべきアイテムの数が予め定められた数となるように、画像分類処理で用いる分類条件が調整される。以下の実施形態では、閾値テーブル１１３に設定される閾値６０１，６０２を変更することにより、分類条件を変更するが、これに限られるものではない。例えば、曖昧度テーブル１１２の内容を変更することで分類条件を調整しても良いし、閾値と曖昧度の両方を変更して分類条件を調製するようにしてもよい。なお、ユーザは入力装置１０３からの指示により、図１５に示した画像一覧表示処理と図１６に示す画面適応型の画像一覧表示のいずれかを選択することができる。

ステップＳ１６０１において、今回一覧画面において表示可能なアイテム数を求める。ステップＳ１６０２において、ＣＰＵ１０１は、グループ化するための閾値を算出する。閾値には時間近似性のための閾値６０１と画像類似性のための閾値６０２があるので、ＣＰＵ１０１は、それらの両方の閾値を求めて閾値テーブル１１３に設定する。ステップＳ１６０３において、ＣＰＵ１０１は、ステップＳ１６０２で設定した閾値を用いて画像データベース１１５中のすべての画像について図１０に示した画像分類処理を行う。ステップＳ１６０４において、ＣＰＵ１０１は、グループ化された結果、アイテム数が表示可能なアイテム数に収まっているかどうかを判定する。収まっていない場合、処理はステップＳ１６０５に分岐する。ステップＳ１６０５において、ＣＰＵ１０１は、グループ化の分類条件を変更する。例えば、ＣＰＵ１０１は、閾値６０１，６０２を変更する。このとき、ＣＰＵ１０１は、グループ化が促進されるように閾値６０１，６０２を変更する。なお、閾値の調整のみならず、曖昧度の調整を行なっても良い。ステップＳ１６０４において、アイテム数が表示可能なアイテム数に収まっていると判定された場合は、処理をステップＳ１６０６に進める。ステップＳ１６０６において、ＣＰＵ１０１は、表示すべきデータについて、図８で説明したディスプレイリスト１１４を作成する。ステップＳ１６０７において、ＣＰＵ１０１は、ステップＳ１６０６で作成されたディスプレイリストに従って表示装置１０４に画像一覧を表示する。

以上のように、上記実施形態によれば、連写、同一場所での撮影等の類似状況の写真を自動的にグループ化しまとめて管理することができる。すなわち、使用者にとって同じ意味を持つ写真群（画像群）を自動的にグループ化して１つのアイテムで代表させ、多数の写真の小画面における一望性が改善される。これによって、ユーザは容易に管理されている画像を把握でき、操作性の高い画像管理方法を実現することができる。

＜他の実施形態＞
なお、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。例えば、
（１）上述の実施形態においては、ディスプレイに適用することを想定し、１画面に収容可能なグループ数になるように閾値を調節しているが、１枚の記録紙に印刷できるような調整にすれば、同様に印刷装置にも適用できる。
（２）また、上述の実施形態においては、画像特徴の類似度算出の際に、特徴ベクトルの差分ベクトルを求め、その内積を求めて類似度としているが、それ以外の類似度の求め方でも同様に構成でき、本発明の本質には影響しない。
（３）また、時間的近傍性によるグループ化においても、上記実施形態では時系列的に隣接する２つの画像の時間差を用いたがこれに限られるものではない。例えば、撮影時刻の月日別に画像を分類してグループ化することも可能である。
（４）上記以外にも、本発明の趣旨を逸脱しない限りにおいて、構成を適宜変更することが可能である。

また、上述した画像一覧表示装置はパーソナルコンピュータやデジタルカメラやプリンタ等の情報処理装置に組み込むことが可能である。例えばデジタルカメラに組み込まれた場合、画像データベース１１５を格納する不揮発性メモリ１０６は、着脱可能なメモリカードとなろう。また、コンピュータやプリンタに組み込まれた場合、不揮発性メモリ１０６はハードディスク等によって実現されても良い。

また、上記実施形態では、図１０に示される画像分類処理においてステップＳ１００１〜Ｓ１００３を実行するが、ステップＳ１００１とＳ１００２のみとしてもよい。また、ステップＳ１００３の処理まで実行するか否かをユーザが選択できるようにしてもよい。

以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するためのコンピュータ可読記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。

実施形態による画像一覧表示装置の構成例を示すブロック図である。 実施形態の画像一覧表示装置による一覧表示の例を示した図である。 実施形態の画像一覧表示装置による画像のグループ化の例を示した図である。 実施形態の画像一覧表示装置における画像データベースのデータ構成例を示した図である。 実施形態の画像一覧表示装置における曖昧度テーブルのデータ構成例を示した図である。 実施形態の画像一覧表示装置における閾値テーブルのデータ構成例を示した図である。 実施形態の画像一覧表示装置におけるディスプレイリストのデータ構成例を示した図である。 図７のディスプレイリストに従った画像表示例を示す図である。 実施形態の画像一覧表示装置による全体処理の一例を示すフローチャートである。 実施形態による画像分類処理を示すフローチャートである。 実施形態による近似時刻グループ化処理を示すフローチャートである。 実施形態による非類似画像分離処理を示すフローチャートである。 実施形態による類似画像マージ処理を示すフローチャートである。 実施形態による画像類似度取得処理を示すフローチャートである。 実施形態による画像一覧表示処理を示すフローチャートである。 実施形態による画面適応型の画像一覧表示処理を示すフローチャートである。

Claims (12)

1. 複数の画像を管理する画像管理方法であって、
   画像に付帯された時間情報を用いて管理下にある複数の画像を分類して、画像グループを生成する第１分類工程と、
   前記第１分類工程で得られた画像グループのうち複数の画像が属する画像グループの各々について、画像グループに属する複数の画像を画像の特徴量を用いて分類して、画像グループを生成する第２分類工程と、
   前記第１及び第２分類工程の実行により得られた画像グループの各々について、前記管理下にある複数の画像の一覧表示に用いる表示データを１つずつ取得する取得工程とを備えることを特徴とする画像管理方法。
2. 前記第１分類工程による分類の結果として得られた単一の画像が属する画像グループの画像を対象として、画像の特徴量を用いた分類を行い、画像グループを生成する第３分類工程を更に備え、
   前記取得工程は、前記第１、第２及び第３分類工程の実行により得られた画像グループの各々について、前記管理下にある複数の画像の一覧表示に用いる表示データを１つずつ取得することを特徴とする請求項１に記載の画像管理方法。
3. 前記取得工程で取得された表示データを用いて、前記管理下にある複数の画像を一覧表示する表示工程を更に備え、
   前記表示工程において、複数の画像が属する画像グループから取得された表示データの表示形態は、単一の画像が属する画像グループに対応する表示データの表示形態と異なることを特徴とする請求項１又は２に記載の画像管理方法。
4. 前記表示工程において、複数の画像が属する画像グループから取得された表示データの表示には、対応する画像グループに属している画像の数の表示が含まれることを特徴とする請求項３に記載の画像管理方法。
5. 画像グループから取得された前記表示データは、対応する画像グループに属している画像の縮小画像であることを特徴とする請求項１乃至４の何れか１項に記載の画像管理方法。
6. 前記第３分類工程における特徴量による分類は、前記第２分類工程における特徴量による分類よりも高精度であることを特徴とする請求項２に記載の画像管理方法。
7. 前記取得工程において取得される一覧表示のための表示データの数が、予め定められた数となるように前記第１、第２及び第３分類工程における分類条件を調整する調整工程を更に備えることを特徴とする請求項２に記載の画像管理方法。
8. 前記第１分類工程では、前記時間情報に従って画像を時系列的に並べた場合に隣接する２つの画像について、前記時間情報が表す時間の差と第１の閾値との比較により当該隣接する２つの画像を同一の画像グループに分類し、
   前記第２分類工程では、画像を時系列的に並べた場合に隣接する２つの画像について、画像の特徴量に基づいて算出された類似度と第２の閾値との比較により当該隣接する２つの画像を別の画像グループに分類し、
   前記第３分類工程では、画像を時系列的に並べた場合に隣接する２つの画像について、画像の特徴量に基づいて算出された類似度と第３の閾値との比較により当該隣接する２つの画像を同一の画像グループに分類することを特徴とする請求項２に記載の画像管理方法。
9. 前記取得工程において取得される一覧表示のための表示データの数が、予め定められた数となるように前記第１、第２及び第３分類工程における前記第１、第２及び第３の閾値を調整する調整工程を更に備えることを特徴とする請求項８に記載の画像管理方法。
10. 複数の画像を管理する画像管理装置であって、
    画像に付帯された時間情報を用いて管理下にある複数の画像を分類して、画像グループを生成する第１分類手段と、
    前記第１分類手段で得られた画像グループのうち複数の画像が属する画像グループの各々について、画像グループに属する複数の画像を画像の特徴量を用いて分類して、画像グループを生成する第２分類手段と、
    前記第１及び第２分類手段により得られた画像グループの各々について、前記管理下にある複数の画像の一覧表示に用いる表示データを１つずつ取得する取得手段とを備えることを特徴とする画像管理装置。
11. 請求項１乃至９の何れか１項に記載の画像管理方法をコンピュータに実行させるための制御プログラム。
12. 請求項１１に記載の制御プログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images