JP2009134411A - 画像分類方法及びスライドショーシステム - Google Patents

Abstract

【課題】撮像時刻と画像特徴量の両方を考慮して画像を分類する方法を提供する。
【解決手段】まず、分類されるファイルの数に基づいて距離閾値Ｔｔを算出する。（Ｓ４１）。そして、階層的クラスタリングを用いて撮像時刻による粗グループへのグルーピングを行う。その際、距離閾値Ｔｔに基づいてグルーピングを行う（Ｓ４２）。次に、各粗グループ内のファイルについて、粗グループ内のファイルの数に基づいて距離閾値Ｔｆを算出する（Ｓ４３）。次に、距離閾値Ｔｆに基づいて、階層的クラスタリングを用いて画像特徴量による最終グループへのグルーピングを行う。（Ｓ４４）。その際、距離閾値Ｔｆに基づいてグルーピングを行う（Ｓ４２）。
【選択図】 図４

Description

本発明は、画像分類方法及びスライドショーシステムに関するものである。

プレゼンテーション等において、撮像された画像を順次スライド表示するスライドショーシステムは、一般的に使用されている。

このようなスライドショーシステムにおいて、撮像された画像全部を表示すると、類似画像が連続して表示されることがあり、鑑賞者に退屈感を与えるという問題点がある。よって、類似した画像は、代表画像のみを表示し、他の画像は飛ばして表示するような工夫が必要である。

一般に、類似した画像が連続して撮像されるのは、撮像時刻が近接している場合に多いが、撮像時刻が離れていても画像が類似している場合がある。このような場合には、例え画像が類似していても、独立したものとして扱って表示を行うべきである。

しかしながら、このような目的のために、画像をどのように分類し、表示するかは、従来分かっていなかった。

本発明はこのような事情に鑑みてなされたもので、撮像時刻と画像特徴量の両方を考慮して画像を分類する方法、及びこれを利用したスライドショーシステムを提供することを課題とする。

前記課題を解決するための第１の手段は、撮像された複数の画像をその類似度に応じて分類する方法であって、画像が撮影された時刻の近接度に基づいて複数の粗グループに分類する前処理分類工程と、前記前処理工程によって分類された粗グループ毎に、画像特徴量の近接度に基づいて複数の最終グループに分類する精密分類工程とを有することを特徴とする画像分類システムである。

前記課題を解決するための第２の手段は、前記第１の手段であって、前記前処理分類工程に使用する閾値が、全体の画像数の関数とされていることを特徴とするものである。

前記課題を解決するための第３の手段は、前記第１の手段又は第２の手段であって、前記精密分類工程に使用する閾値が、分類を行っている粗グループの画像数の関数とされていることを特徴とするものである。

前記課題を解決するための第４の手段は、前記第１の手段から第３の手段のいずれかの画像分類方法によって前記最終グループに分類された画像のうち、前記最終グループ毎に予め定められた枚数の画像を表示することを特徴とするスライドショーシステムである。

本発明によれば、撮像時刻と画像特徴量の両方を考慮して画像を分類する方法、及びこれを利用したスライドショーシステムを提供することができる。

以下、本発明の実施の形態の例について、図を用いて説明する。図1は、本発明の実施の形態である画像分類とスライドショーシステムを行う装置の概要を示す図である。本実施の形態では、システムの状態を撮影モード、画像出力モード、及びそれ以外の類似画像識別モードの三態に分類し、図２で撮影モード、図３で類似画像識別モード、図４で、図３の中にある類似画像検出処理の詳細を示し、さらに、図５で画像出力モードを示している。

図２は、撮影モード時の動作フローを示す図である。撮像装置100内において、図示しないレリーズボタンをユーザーが押すと、撮像された画像データがメモリ101内に保存される（Ｓ２１）。メモリ101に蓄えられた画像は、画像処理部102により、縮小／拡大やその他各種画像処理を施され、表示部103にて画像表示される（Ｓ２２）と共に、可搬性メモリ104に記録される。また、可搬性メモリ104に保存した画像を識別するためのファイル名（以下ファイル名とする）、撮影情報、及び後述する類似画像情報のレコードを記載した画像リストを可搬性メモリ104に保存し、新たに撮影した画像の場合は、ファイル名、撮影情報を追記する（Ｓ２３）。以上の動作を行った後、再度レリーズボタンが押されるまでシステムは待機状態となる。この時の画像リストの一例を図６に示す。ファイル（画像）名、撮影日、撮影時刻、シャッタスピード、露出等の撮影情報、類似画像情報、画像特徴量が書き込まれている（図６中、類似画像情報の欄は未記入のままである）。以上が、撮影モード時の動作である。

次に、類似画像検出モードの動作について説明をする。これは画像特徴量を計算するプロセスである。画像特徴量は、例えば、ISO/IEC 15938-3（mpeg7 visual discription）に定義されている各種画像統計量（色、テクスチャ、形状等）を特徴量として各画像を特徴付け、各特徴量を成分とする特徴ベクトルを画像毎に定義することにより行う。この特徴ベクトルの定義された線形空間を特徴空間として定義する。

図３に、このプログラムのフローチャートを示す。ユーザーが類似画像識別開始スイッチ106を押す事により、制御部107はシステムの動作を類似画像検出モードに移行させる（Ｓ３１）。類似画像検出モードにおいて、まず画像処理部102は、前述の画像リストを参照し、画像リストの先頭に登録されている画像のファイル名を参照する（Ｓ３２）。

画像処理部102は参照したファイル名を類似画像検出部105に送信し、類似画像検出部105は、受信したファイル名に対応する画像に対して、後述するように画像特徴量計算を行う(Ｓ３３)。システムは参照する画像を画像リストの順番に従って順次画像特徴量の計算を行う（Ｓ３４，Ｓ３５）。

次に、前述の画像リストを参照して、時間によるグルーピングを行い、時間によるグルーピングを行った時間グループに対して、画像の特徴量から類似画像か否かを判定する為の指標である類似画像の情報を計算する(Ｓ３６)。解析を行った結果、類似画像検出部105は、画像処理部102に対し、検出した類似画像の情報（以下類似画像情報と呼ぶ）を送信する（Ｓ３７）。画像処理部102はそれら類似画像情報を受け取ると、画像リスト中の対応する画像の類似画像情報項目を受信した類似画像情報により更新、保存する（Ｓ３８）。システムは画像リストに登録された画像全てに対し類似画像識別処理、及び画像リストの更新を行う。なお、この類似画像識別モード時において、類似画像識別開始スイッチ106をユーザーが押したならば、システムはその時に行っている処理を中断し、類似画像識別モードを終了させるようにしてもよい。

次に、図３のステップＳ３６で示される、本発明の実施の形態で使用する類似画像検出処理に関して詳細に説明をする。類似画像とは、可搬性メモリ104に保存されている画像のうち、同一シーンを撮影している画像等、互いに似通っている画像のグループを意味する。

本実施の形態においては、まず、撮像時刻が近い画像は同じシーンである可能性が高いと判断し、撮像時刻を成分とする時間ベクトルを用いて、階層的クラスタリングをはじめとする各種クラスタリング手法によりグルーピングする。

次に撮像時刻でグルーピングした時間グループ毎に対して、先に計算した画像特徴量に応じて階層的クラスタリングをはじめとする各種クラスタリング手法によりグルーピングする。

まず、撮像時刻を成分とする時間ベクトルを用いて、階層的クラスタリングにより、撮像時刻の近接度により類似画像を粗グループに分類する方法について説明する。

全ての撮影画像について、他の全ての撮影画像と、それらの撮影時刻の比較を行い、撮像時刻の近いもの同士を組み合わせることにより、図７に示すようなトーナメント表を作成する。図７においては、ファイル00001に一番近いものがファイル00002であるので、これらをトーナメントの対戦相手とする。その際、トーナメント表の縦棒の長さが、撮像時刻の差に対応する値となる。ファイル00003については、ファイル00001とファイル00002のグループに一番近いので、ファイル00001とファイル00002の勝者と組み合わせる。その際、ファイル00003の縦棒の長さは、ファイル00001とファイル00002それぞれとのファイル00003との撮像時刻差のうち長い方に対応する値とする。

ファイル00004については、ファイル00005との撮像時刻が一番近いので、これらをトーナメントの対戦相手とする。ファイル00006とファイル00007についても同様である。その際、トーナメント表の縦棒の長さが、撮像時刻の差に対応する値となる。そして、ファイル0008については、ファイル00006とファイル00007のグループに一番近いので、ファイル00006とファイル00007の勝者と組み合わせる。その際、ファイル00008の縦棒の長さは、ファイル00006とファイル00007それぞれと、ファイル00008の撮像時刻差のうち長い方に対応する値とする。このようにして、まず、全ファイルについて、トーナメントで対戦すべき相手を決定し、トーナメント表の縦棒の長さで、互いの撮像時刻の差に対応する値を決定する。

次に、グループ同士の時間的近接度を計算する。この場合、ファイル00001、00002、00003からなるグループとファイル00004、00005からなるグループの撮像時刻が、他のグループの撮像時刻よりも短いので、これらの２グループを対戦相手とする。トーナメント表の対戦相手をつなぐ横棒の高さは、２つのグループの撮像時刻の差に対応する値である。

ここで、グループＡ，Ｂ，Ｃのうち、Ａに対してＢの方がＣより近接度が高いとは、グループＡを構成する画像全部の撮像時刻と、グループＢを構成する画像全部の撮像時刻同士の差をとったときの最大値が、グループＡを構成する画像全部の撮像時刻と、グループＣを構成する画像全部の撮像時刻同士の差をとったときの最大値よりも小さいことを意味し、この撮像時刻差の最大値が、トーナメント表の対戦相手をつなぐ横棒の高さとなる。

このようにして、以後は、撮像時刻が近いグループ同士を組み合わせるようにトーナメント表を作っていく。トーナメント表が完成したら、距離閾値を用いてグルーピングを行う。図７においては、距離閾値Ｔｔが設定され、これより下のものが同じグループとみなされる。すなわち、ファイル00001〜00008が第１グループ、ファイル00009〜00011が第２グループ、ファイル00012〜00016が第３グループ、ファイル00017〜00024が第４グループと言うように粗グループが形成される。距離閾値Ｔｔの値を変えることにより、分類の粗密をコントロールすることができる。

このような階層的クラスタリングの詳細については、例えば、書籍[Richard O.Duda et al., "Pattern Classification Second Edition", John Wiley & Sons（邦題：パターン識別、監訳：尾上守夫、出版社：新技術コミュニケーションズ）]等の画像処理の教科書に記載されている。階層的クラスタリングによりグルーピングを行うと、その類似度（距離）に応じて、どのファイルとどのファイルが同じグループに属するかを表す系統図が生成される。

次に、撮像時刻を基にして、以上のような手法で決められた粗グループ毎に、先に計算した画像特徴量を用いてグルーピングを行って、最終グループに分類する。

すなわち、撮影時刻によるグルーピングを行ってグルーピングされた1つの時間グループに対して、撮像時刻を基におこなった階層的クラスタリング手法によりグルーピングを行う。この場合、撮像時刻の代わりに、画像特徴量が用いられるだけである。すなわち、各画像について決定された特徴ベクトルの特徴空間中での距離が、撮像時刻の差の代わりに用いられる。階層的クラスタリング手法は、粗グループへの分類で行った手法とおなじであるので、その詳細な説明を省略する。

例えば、第１グループでは、図８に示すようなトーナメント表が得られたとする。この表を距離閾値Ｔｆで切断すると、ファイル00001〜00003のグループと、ファイル00004〜00005のグループの２つに分類される。これが、第１粗グループから選ばれた最終グループである。又、第２グループでは、図９に示すようなトーナメント表が得られたとする。この表を距離閾値Ｔｆで切断すると、ファイル00006〜00007のグループと、ファイル00008のグループの２つに分類される。これが、第２粗グループから選ばれた最終グループである。このようにして、各粗グループを画像特徴量に基づいて、階層的クラスタリング手法により最終グループに分類する。

以上の説明においては、距離閾値Ｔｔ、Ｔｆは決められているものとして説明したが、グルーピングの対象となるファイル（画像）の枚数が多ければ距離閾値を高くして、分類を粗くし、枚数が少なければ距離閾値を低くして分類を細かくすることが考えられる。このためには、例えば、距離閾値Ｔｓを以下のように決定すればよい。このようにすると、ファイルの枚数の多少に関わらず、グループの数が適当な数となる。

Ts = aX＋b …（１）
a ＞0、bは任意の実数
Ts < 0ならばTs = 0

Ts：距離閾値
X：ファイル枚数
a、ｂ：係数
なお距離閾値とファイル枚数との関係式は、別の関数を用いてもよい。

図４に以上説明した類似画像検出処理についてのフローチャートを示す。まず、分類されるファイルの数に基づいて（１）式により距離閾値Ｔｔを算出する。（Ｓ４１）。そして、階層的クラスタリングを用いて撮像時刻による粗グループへのグルーピングを行う。その際、距離閾値Ｔｔに基づいてグルーピングを行う（Ｓ４２）。

次に、各粗グループ内のファイルについて、粗グループ内のファイルの数に基づいて（１）式により距離閾値Ｔｆを算出する（Ｓ４３）。次に、距離閾値Ｔｆに基づいて、階層的クラスタリングを用いて画像特徴量による最終グループへのグルーピングを行う。（Ｓ４４）。その際、距離閾値Ｔｆに基づいてグルーピングを行う（Ｓ４２）。

そして、撮像時刻に基づいて分類された粗グループ中の最後のグループかを判断し（Ｓ４５）、最後のグループであれば終了し、最後のグループでなければ次の粗グループについての処理を行うためにステップＳ４３に戻る（Ｓ４６）。

このようにして、最終分類が行われると、その分類コードは、図６に示す画像リストの類似画像情報に書き込まれる。類似画像情報中のデータが同じであれば、それは類似画像であることを示す。

図５は、スライドショーを行う場合の、画像出力モードにおけるシステムの動作を示すフローチャートである。ユーザーにより画像出力開始スイッチ109が押されると、制御部107は画像出力開始モードに移行する旨を画像処理部102に通知する（Ｓ５１）。画像処理部102は、画像リストを参照し、各画像の類似画像情報が同じファイルのうち、画像リストの上段にある画像を出力候補画像として決定する(Ｓ５２)。すなわち、図６に示す画像リストの場合、00001、00004、00006、00008、00009、……が出力候補画像として決定される。画像処理部102は出力候補画像の枚数、及び各画像の画像情報より、画像を出力する順番、時間、レイアウト情報等を記述した再生リストを作成する（Ｓ５３）。再生リストの例を図９に示す。再生リストの作成が終了したならば、画像処理部102は、この再生リストを参照して、画像データより出力画像を構築し、外部端子108を通じてモニタ110へ出力する

本発明の実施の形態である画像分類とスライドショーシステムを行う装置の概要を示す図である。 撮像モードを示すフローチャートである。 類似画像識別モードを示すフローチャートである。 類似画像検出処理の詳細を示すフローチャートである。 画像出力モードを示すフローチャートである。 画像リストの一例を示す図である。 撮像時刻に基づく階層的クラスタリングの例を示す図である。 画像特徴量に基づく階層的クラスタリングの例を示す図である。 画像特徴量に基づく階層的クラスタリングの例を示す図である。 再生リストの一例を示す図である。

符号の説明

１００…撮像装置、１０１…メモリ、１０３…表示部、１０４…可搬性メモリ、１０５…類似画像検出部、１０６…類似画像識別開始スイッチ、１０７…制御部、１０８…外部端子、１０９…画像出力開始スイッチ、１１０…モニタ

Claims (4)

1. 撮像された複数の画像をその類似度に応じて分類する方法であって、画像が撮影された時刻の近接度に基づいて複数の粗グループに分類する前処理分類工程と、前記前処理工程によって分類された粗グループ毎に、画像特徴量の近接度に基づいて複数の最終グループに分類する精密分類工程とを有することを特徴とする画像分類方法。
2. 請求項１に記載の画像分類方法であって、前記前処理分類工程に使用する閾値が、全体の画像数の関数とされていることを特徴とする画像分類方法。
3. 請求項１又は請求項２に記載の画像分類方法であって、前記精密分類工程に使用する閾値が、分類を行っている粗グループの画像数の関数とされていることを特徴とする画像分類方法。
4. 請求項１から請求項３のうちいずれか１項に記載の画像分類方法によって前記最終グループに分類された画像のうち、前記最終グループ毎に予め定められた枚数の画像を表示することを特徴とするスライドショーシステム。

Images