JP2007233708A - 画像分類装置および方法並びにプログラム - Google Patents

Abstract

【課題】複数の画像を複数のカテゴリに階層化して分類する際に、階層毎に分類の意味合いを変更できるようにする。
【解決手段】分類部３０が、複数の画像からなる画像群を複数のカテゴリに階層化して分類する際に、少なくとも各階層毎に、複数の画像の撮影日時に関する異なるパラメータに基づいて、複数の画像を階層化して分類する。
【選択図】図１

Description

本発明は、複数の画像を複数のカテゴリに階層化して分類する画像分類装置および方法並びに画像分類方法をコンピュータに実行させるためのプログラムに関するものである。

デジタルカメラおよびスキャナの普及により、誰もが手軽にデジタルの画像を取得することが可能となっている。また、画像をパソコンに取り込んで整理することも行われている。この場合、画像の整理は、ユーザに起こったイベント毎に画像を分類して行うことが多い。例えば、ヨーロッパ旅行へ出かけた場合には、フランス、イギリス、スペイン等のように取得した画像を国毎のカテゴリに分類し、さらにフランスのカテゴリに分類された画像については、パリおよびニース等の出かけた場所毎にさらに細かいカテゴリに画像を分類する。また、パリに分類された画像については、エッフェル塔、凱旋門およびノートルダム寺院等のさらに細かいカテゴリに画像を分類する。さらには、ノートルダム寺院については、寺院の前、離れた場所および寺院の中等のさらに細かいカテゴリに画像を分類することもある。

このように画像を階層化して複数のカテゴリに分類しておけば、後で画像を参照する際にイベント毎に分けられた画像を参照できるため、画像の整理を容易に行うことができる。

その一方で、画像を階層化して分類する作業は、画像を見ながら、さらにはユーザの記憶をたどりながら行う必要があるため、ユーザにとって非常に煩わしい作業となっている。

このため、画像を自動で分類するための各種手法が提案されている。例えば、画像に付与された撮影日時を表す撮影日時を表す情報に基づいて画像を時間軸上に配置し、撮影時間が隣接する２つの画像についての撮影時間差をしきい値と比較して画像をあらかじめ定めたｋ個のカテゴリに分類する方法が提案されている（ｋ平均クラスタリングの手法、特許文献１参照）。また、画像に関係付けられた撮影日時情報を基に保存された画像の数を所定の期間毎に集計して画像の撮影頻度を求め、この撮影頻度から得られる所定の期間内に撮影された画像数の大小を所定のしきい値から判断して、複数の画像をイベント毎の複数のカテゴリに分類する手法も提案されている（特許文献２参照）。また、ユーザのスケジュールを表すスケジュール情報を参照して、画像をユーザのスケジュールに応じたカテゴリに分類する手法も提案されている（特許文献３参照）。さらに、画像が撮影された場所の位置情報を用いて、基準となる場所と画像の撮影場所との間の距離を算出し、撮影時間に応じて画像を分類する際のしきい値を距離に応じて変更して画像を分類する手法も提案されている（特許文献４参照）。
特開２０００−１１２９９７号公報 特開２００３−１４１１３０号公報 特開２００３−２９８９９１号公報 特開２００５−１７４０６０号公報

ところで、複数の画像を複数のカテゴリに階層化して分類する際には、階層毎に分類の意味合いを変更したい場合がある。しかしながら、上記特許文献１〜４の手法においては、あらかじめ設定されたしきい値を用いて画像を分類するのみであるため、階層毎に分類の意味合いを変更したい場合には対応することができない。

本発明は上記事情に鑑みなされたものであり、複数の画像を複数のカテゴリに階層化して分類する際に、階層毎に分類の意味合いを変更できるようにすることを目的とする。

本発明による画像分類装置は、複数の画像からなる画像群を複数のカテゴリに階層化して分類する画像分類装置において、
少なくとも前記各階層毎に、前記複数の画像の撮影日時に関する異なるパラメータに基づいて、前記複数の画像を階層化して分類する分類手段を備えたことを特徴とするものである。

なお、本発明による画像分類装置においては、前記分類手段を、前記複数の階層のうちの最上位の第１階層については、あらかじめ定められた第１のしきい値を超える撮影時間差を得た２つの画像の間を前記カテゴリの区切り位置として分類を行い、第２階層以降については、上位の階層に含まれる複数の画像についての隣接する画像間の撮影時間差の平均値に基づいて決定された第２のしきい値を超える撮影時間差を得た２つの画像の間を前記カテゴリの区切り位置として分類を行う手段としてもよい。

ここで、第１のしきい値としては、６〜１０時間とすることが好ましい。

「平均値に基づいて決定された（第２の）しきい値を超える撮影時間差を得た２つの画像の間を前記カテゴリの区切り位置として分類を行う」には、単に平均値をしきい値とする手法の他、複数の画像を撮影日時の昇順または降順に並べた場合における、隣接する画像間のすべての撮影時間差と平均値を用いたポアソン分布の確率関数から得られるしきい値とを比較し、しきい値を超える撮影時間差を得た２つの画像の間をカテゴリの区切り位置とする手法を用いることができる。

ここで、「ポアソン分布の確率関数」とは、単位時間内に平均λ回起こる事象Ａがあるときに、単位時間内に事象Ａがｘ回起こる確率を算出するための関数であり、詳しくは後述する。

また、すべての撮影時間差と平均値との差をすべての撮影時間差の分散または標準偏差に基づいて正規化した値と、分散または標準偏差に基づくしきい値とを比較し、しきい値を超える正規化した値を得た２つの画像の間をカテゴリの区切り位置とする手法も用いることができる。

さらに、すべての撮影時間差と平均値を重みづけした重みづけ平均値とを比較し、重みづけ平均値を超える撮影時間差を得た２つの画像の間をカテゴリの区切り位置とする手法も用いることができる。

また、本発明による画像分類装置においては、前記分類手段を、前記複数の階層のうちの最上位階層を含む上位の所定数の階層については、撮影年、撮影月および撮影日のうちの少なくとも撮影日に基づいて前記複数の画像を分類し、前記所定数の階層より下位の階層については、上位の階層に含まれる複数の画像についての隣接する画像間の撮影時間差の平均値に基づいて決定されたしきい値を超える撮影時間差を得た２つの画像の間を前記カテゴリの区切り位置として分類を行う手段としてもよい。

「撮影日時情報が画像に適切に付与されているか否か」の判断は、撮影日時情報を記述したタグ情報が画像に付与されているか否かのみならず、タグ情報が画像に付与されているものの、撮影日時情報の記述がなかったり、記述があったとしてもそれが不正な値である場合には撮影日時情報が付与されていないと判断してもよい。例えば、撮影日時情報により表される撮影日時が「１９００年１月１日００：００：００」のようにあり得ない撮影日時である場合には、不正な値であるとして撮影日時情報が付与されていないと判断してもよい。

また、本発明による画像分類装置においては、前記分類手段を、前記複数の階層のうちの最上位の第１階層については、前記撮影日時情報が前記画像に適切に付与されているか否かに応じて前記複数の画像を分類し、前記撮影日時情報が適切に付与された画像については、該撮影日時情報に基づいて第２階層以降の分類を行う手段としてもよい。

この場合、前記分類手段を、前記第２階層については、あらかじめ定められた第１のしきい値を超える撮影時間差を得た２つの画像の間を区切り位置として分類を行い、第３階層以降については、上位の階層に含まれる複数の画像についての隣接する画像間の撮影時間差の平均値に基づいて決定された第２のしきい値を超える撮影時間差を得た２つの画像の間を前記カテゴリの区切り位置として分類を行う手段としてもよい。

なお、前記第１のしきい値は６〜１０時間であることが好ましい。

また、この場合、前記分類手段を、前記第２階層を含む上位の所定数の階層については、撮影年、撮影月および撮影日のうちの少なくとも撮影日に基づいて前記複数の画像を分類し、前記所定数の階層より下位の階層については、上位の階層に含まれる複数の画像についての隣接する画像間の撮影時間差の平均値に基づいて決定されたしきい値を超える撮影時間差を得た２つの画像の間を前記カテゴリの区切り位置として分類を行う手段としてもよい。

また、本発明による画像分類装置においては、前記複数の画像の分類結果を表示する表示手段をさらに備えるようにしてもよい。

また、本発明による画像分類装置においては、前記複数の画像の分類結果を保存する保存手段をさらに備えるようにしてもよい。

本発明による画像分類方法は、複数の画像からなる画像群を複数のカテゴリに階層化して分類する画像分類方法において、
少なくとも前記各階層毎に、前記複数の画像の撮影日時に関する異なるパラメータに基づいて、前記複数の画像を階層化して分類することを特徴とするものである。

なお、本発明による画像分類方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、少なくとも各階層毎に、複数の画像の撮影日時に関する異なるパラメータに基づいて、複数の画像を階層化して分類するようにしたため、階層毎に分類の意味合いを変更したい場合には階層毎にパラメータを変更すればよく、これにより、階層毎に分類の意味合いを変更したい場合にも対応することができる。

とくに、複数の階層のうちの最上位の第１階層については、あらかじめ定められた第１のしきい値を超える撮影時間差を得た２つの画像の間をカテゴリの区切り位置として分類を行い、第２階層以降については、上位の階層に含まれる複数の画像についての隣接する画像間の撮影時間差の平均値に基づいて決定された第２のしきい値を超える撮影時間差を得た２つの画像の間をカテゴリの区切り位置として分類を行うことにより、第２階層以降の階層については、画像を分類するためのしきい値が一定のしきい値ではなく、分類の対象となる複数の画像に含まれる画像の実際の撮影時間差に応じて適応的に変更されたしきい値となる。したがって、複数の画像の実際の撮影時間差に応じて、複数の画像を複数のカテゴリに精度良く分類することができる。

また、複数の階層のうちの最上位階層を含む上位の所定数の階層については、撮影年、撮影月および撮影日のうちの少なくとも撮影日に基づいて複数の画像を分類し、所定数の階層より下位の階層については、上位の階層に含まれる複数の画像についての隣接する画像間の撮影時間差の平均値に基づいて決定されたしきい値を超える撮影時間差を得た２つの画像の間をカテゴリの区切り位置として分類を行うことにより、所定階層より下位の階層については、画像を分類するためのしきい値が一定のしきい値ではなく、分類の対象となる複数の画像に含まれる画像の実際の撮影時間差に応じて適応的に変更されたしきい値となる。したがって、複数の画像の実際の撮影時間差に応じて、複数の画像を複数のカテゴリに精度良く分類することができる。

また、複数の階層のうちの最上位の第１階層については、撮影日時情報が画像に適切に付与されているか否かに応じて複数の画像を分類し、撮影日時情報が適切に付与された画像が分類については、撮影日時情報に基づいて第２階層以降の分類を行うことにより、分類の対象となる複数の画像に、撮影日時情報が適切に付与されていない画像についても、分類を行うことができる。

この場合、第２階層を含む上位の所定数の階層については、撮影年、撮影月および撮影日のうちの少なくとも撮影日に基づいて複数の画像を分類し、所定数の階層より下位の階層については、上位の階層に含まれる複数の画像についての隣接する画像間の撮影時間差の平均値に基づいて決定されたしきい値を超える撮影時間差を得た２つの画像の間をカテゴリの区切り位置として分類を行うことにより、所定階層より下位の階層については、画像を分類するためのしきい値が一定のしきい値ではなく、分類の対象となる複数の画像に含まれる画像の実際の撮影時間差に応じて適応的に変更されたしきい値となる。したがって、複数の画像の実際の撮影時間差に応じて、複数の画像を複数のカテゴリに精度良く分類することができる。

また、第２階層については、あらかじめ定められた第１のしきい値を超える撮影時間差を得た２つの画像の間をカテゴリの区切り位置として分類を行い、第３階層以降については、上位の階層に含まれる複数の画像についての隣接する画像間の撮影時間差の平均値平均値に基づいて決定された第２のしきい値を超える撮影時間差を得た２つの画像の間をカテゴリの区切り位置として分類を行うことにより、第３階層以降の階層については、画像を分類するためのしきい値が一定のしきい値ではなく、分類の対象となる複数の画像に含まれる画像の実際の撮影時間差に応じて適応的に変更されたしきい値となる。したがって、複数の画像の実際の撮影時間差に応じて、複数の画像を複数のカテゴリに精度良く分類することができる。

また、分類結果を表示することにより、複数の画像がどのように分類されたかを容易に確認することができる。

また、分類結果を保存することにより、複数の画像がどのように分類されたかを後から容易に確認することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像分類装置の構成を示す概略ブロック図である。図１に示すように第１の実施形態による画像分類装置１は、画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラムおよび各種定数等が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのキーボードおよびマウス等からなる入力部１６と、各種表示を行う液晶モニタ等からなる表示部１８とを備える。

また、画像分類装置１は、画像を表す画像データを記録したメモリカード２から画像データを読み出したり、メモリカード２に画像データを記録したりするためのカードスロット２０と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、画像データやＣＰＵ１２が実行する各種プログラム等を記録するハードディスク２４と、システムメモリ１４、カードスロット２０およびハードディスク２４を制御するメモリ制御部２６と、表示部１８の表示を制御する表示制御部２８とを備える。

また、画像分類装置１は、ハードディスク２４に作成された複数のフォルダのうち、ユーザが所望する処理対象のフォルダに保存された画像を複数のカテゴリに階層化して分類する分類部３０と、分類結果を表す分類情報を管理する分類情報管理部３２とを備える。

以下、第１の実施形態における分類部３０が行う画像の分類処理について説明する。なお、本実施形態においては処理対象のフォルダには複数の画像が保存されているものとする。図２は第１の実施形態における分類処理のフローチャートである。ユーザが入力部１６から画像分類の指示を行うことにより分類部３０が処理を開始し、まず、処理対象のフォルダに保存されている画像を撮影日時の昇順にソートし（ステップＳＴ１）、上位階層分類処理を行う（ステップＳＴ２）。

図３は第１の実施形態における上位階層分類処理のフローチャートである。まず分類部３０は、処理対象の画像を撮影日時が最も古い画像に設定し（ｉ＝１）、画像を分類するカテゴリナンバーを１に設定し、処理対象の画像のカテゴリナンバーを現在のカテゴリナンバーに設定する（ステップＳＴ１１）。そして、処理対象画像と撮影日時が次に古い次画像との撮影時間差がしきい値Ｔｈ１よりも大きいか否かを判定する（ステップＳＴ１２）。

ここで、しきい値Ｔｈ１を小さくしすぎると、画像を分類したカテゴリの数が多くなりすぎて、１つのカテゴリに含まれるべき画像が別のカテゴリに分類されてしまう場合がある。例えば、子供の運動会においては、お昼休みの間は撮影を行わないために画像が取得されないことから、しきい値Ｔｈ１を１時間程度とすると、運動会において取得した画像が午前と午後とで異なるカテゴリに分類されてしまうこととなる。逆に、しきい値Ｔｈ１を大きくしすぎると、画像を分類したカテゴリの数が少なくなりすぎて、別のカテゴリに分類されるべき画像が１つのカテゴリに分類されてしまう場合がある。例えば、しきい値を２４時間とすると、異なるイベントが連続した日に行われた場合、異なるイベントの画像が同一のカテゴリに分類されてしまうこととなる。ここで、統計的にしきい値Ｔｈ１を６〜１０時間とすると、多くのイベントの画像をそれぞれ異なるカテゴリに分類できることが、本出願人の調査により分かっている。したがって、第１の実施形態においては、しきい値Ｔｈ１を６〜１０時間の間の所定の値に設定するものとする。

ステップＳＴ１２が肯定されると、新たなカテゴリナンバーを現在のカテゴリナンバーに１を加算した値に設定し（ステップＳＴ１３）、次画像のカテゴリナンバーを現在のカテゴリナンバーに設定する（ステップＳＴ１４）。なお、ステップＳＴ１２が否定された場合はステップＳＴ１４に進み、次画像のカテゴリナンバーを現在のカテゴリナンバーに設定する。

続いて、処理対象画像を上記次画像に設定し（ステップＳＴ１５）、新たに設定した処理対象画像に次画像が存在するか否かを判定する（ステップＳＴ１６）。ステップＳＴ１６が肯定されるとステップＳＴ１２に戻り、ステップＳＴ１２以降の処理を繰り返す。ステップＳＴ１６が否定されると、上位階層分類処理を終了する。この状態においては、処理対象のフォルダに分類されている画像は１階層にのみ分類されており、この階層を第１階層とする。

上位階層分類処理に続いて、第２階層以降の下位階層分類処理を行う（ステップＳＴ３）。図４および図５は第１の実施形態における下位階層分類処理のフローチャートである。まず、処理対象のカテゴリを第１階層のカテゴリにおいて撮影日時が最も古い画像が保存されているカテゴリ（最初のカテゴリとする）に設定し（ステップＳＴ２１）、処理対象のカテゴリに保存されている画像を撮影日時の昇順にソートする（ステップＳＴ２２）。そして、処理対象のカテゴリに保存されている画像がＮ（例えばＮ＝５）より多いか否かを判定する（ステップＳＴ２３）。

ステップＳＴ２３が否定された場合には処理を終了する。ステップＳＴ２３が肯定されると、撮影日時が隣接する画像間の撮影時間差の平均値である平均撮影時間差を算出する処理を行う（ステップＳＴ２４）。以下、平均時間差算出処理について説明する。

図６は平均時間差算出処理のフローチャートである。まず、処理対象の画像を撮影日時が最も古い画像に設定し（ｉ＝１、ステップＳＴ４１）、撮影時間差の合計値を０に設定する（ステップＳＴ４２）。そして、処理対象画像と撮影日時が次に古い次画像との撮影時間差があらかじめ設定した設定値Ｂ０よりも大きいか否かを判定する（ステップＳＴ４３）。ステップＳＴ４３が肯定されると、新たな合計値を現在の合計値に設定値Ｂ０を加算した値に設定する（ステップＳＴ４４）。ステップＳＴ４３が否定されると、新たな合計値を現在の合計値に撮影時間差を加算した値に設定する（ステップＳＴ４５）。

そして、処理対象画像を上記次画像に設定し（ステップＳＴ４６）、新たに設定した処理対象画像に次画像が存在するか否かを判定する（ステップＳＴ４７）。ステップＳＴ４７が肯定されるとステップＳＴ４３に戻り、ステップＳＴ４３以降の処理を繰り返す。ステップＳＴ４７が否定されると、合計値を処理対象のフォルダに保存されたすべての画像数から１を減算した値により除算することにより平均撮影時間差を算出し（ステップＳＴ４８）、平均撮影時間差算出処理を終了する。

図４に戻り、ステップＳＴ２４に続いて、ポアソン分布の確率変数からしきい値Ｔｈ２を算出する（ステップＳＴ２５）。以下、しきい値Ｔｈ２の算出について説明する。

ここで、「ポアソン分布の確率関数」とは、単位時間内に平均λ回起こる事象Ａがあるときに、単位時間内に事象Ａがｘ回起こる確率Ｐ（ｘ）を算出するための関数であり、下記の式（１）により表される。

式（１）より、１分間に平均λ回撮影を行う人がいるときに、ｔ分間に同一のイベントにおいて１度も撮影を行わない確率Ｐを求めるための関数を求めると下記の式（２）となる。

ここで、確率Ｐ（０）をあらかじめ設定しておき、画像間の撮影時間差からλを算出すると、ｔは下記の式（３）により求めることができる。

本実施形態においては、求めたｔの値を「ポアソン分布の確率関数から得られるしきい値」とするものである。具体的には、式（１）〜（３）における確率Ｐ（０）の値を１０％程度の値に設定しておき、ステップＳＴ２５において算出した平均時間差から単位時間あたりの撮影回数λを算出することによりｔの値を算出することができ、算出したｔの値をしきい値Ｔｈ２とするものである。

続いて、算出したしきい値Ｔｈ２があらかじめ定めたしきい値の最小値Ｔｍｉｎ０よりも大きいか否かを判定する（ステップＳＴ２６）。ステップＳＴ２６が肯定されると、処理対象の画像を撮影日時が最も古い画像に設定し（ｉ＝１）、画像を分類するカテゴリナンバーを１に設定し、処理対象の画像のカテゴリナンバーを現在のカテゴリナンバーに設定する（ステップＳＴ２７）。そして、処理対象画像と撮影日時が次に古い次画像との撮影時間差がしきい値Ｔｈ２よりも大きいか否かを判定する（ステップＳＴ２８）。ステップＳＴ２８が肯定されると、新たなカテゴリナンバーを現在のカテゴリナンバーに１を加算した値に設定し（ステップＳＴ２９）、次画像のカテゴリナンバーを現在のカテゴリナンバーに設定する（ステップＳＴ３０）。なお、ステップＳＴ２８が否定された場合はステップＳＴ３０に進み、次画像のカテゴリナンバーを現在のカテゴリナンバーに設定する。

続いて、処理対象画像を上記次画像に設定し（ステップＳＴ３１）、新たに設定した処理対象画像に次画像が存在するか否かを判定する（ステップＳＴ３２）。ステップＳＴ３２が肯定されるとステップＳＴ２８に戻り、ステップＳＴ２８以降の処理を繰り返す。ステップＳＴ３２が否定されると、現在の処理対象のカテゴリに分類された画像に時間的に隣接する画像が分類されたカテゴリ（次カテゴリとする）が存在するか否かを判定し（ステップＳＴ３３）、ステップＳＴ３３が否定されると処理を終了する。ステップＳＴ３３が肯定されると、処理対象を次カテゴリに設定し（ステップＳＴ３４）、ステップＳＴ２２に戻り、ステップＳＴ２２以降の処理を繰り返す。

一方、ステップＳＴ２６が否定されると、処理対象のカテゴリに保存されたすべての画像のカテゴリナンバーを１に設定し（ステップＳＴ３５）、処理を終了する。この場合、処理対象のカテゴリに分類された画像は何ら分類されないこととなる。

図２に戻り、分類部３０は、現在分類されている最も下位の階層のすべてのカテゴリに分類された画像数がＮ以下となっているか否かを判定し（ステップＳＴ４）、ステップＳＴ４が肯定されると処理を終了する。ステップＳＴ４が否定されると、ステップＳＴ３に戻り、ステップＳＴ４が肯定されるまで下位階層分類処理を行う。

なお、ここでは、現在分類されている最も下位の階層のすべてのカテゴリに分類された画像数がＮ以下となるまで下位階層分類処理を行っているが、あらかじめ定めた回数のみ繰り返し行うようにしてもよい。また、ステップＳＴ２４において算出した平均撮影時間差があらかじめ定めた設定値未満となった場合、あるいは最大撮影時間差があらかじめ定めた設定値未満となった場合に、下位階層分類処理を終了してもよい。

分類部３０は、上記のように処理対象のフォルダに保存されたすべての画像を分類した後、カテゴリに毎に新たなフォルダを作成し、各フォルダにそれぞれに分類された画像を保存する。これにより、図７に示すように処理対象のフォルダに保存された画像を階層化して分類することができる。

このように、第１の実施形態においては、第１の階層と第２階層以降の階層とで撮影日時に関する異なるパラメータに基づいて、複数の画像を階層化して分類するようにしたため、階層毎に分類の意味合いを変更したい場合には階層毎にパラメータを変更すればよく、これにより、階層毎に分類の意味合いを変更したい場合にも対応することができる。

とくに、複数の階層のうちの最上位の第１階層については、あらかじめ定められたしきい値Ｔｈ１を超える撮影時間差を得た２つの画像の間をカテゴリの区切り位置として分類を行い、第２階層以降については、上位の階層に含まれる複数の画像についての隣接する画像間の撮影時間差の平均値を算出し、平均値に基づいて決定されたしきい値Ｔｈ２、とくにポアソン分布の確率関数から得られるしきい値Ｔｈ２に基づいて分類を行っているため、第２階層以降の階層については、画像を分類するためのしきい値が一定のしきい値ではなく、分類の対象となる複数の画像に含まれる画像の実際の撮影時間差に応じて適応的に変更されたしきい値となる。したがって、複数の画像の実際の撮影時間差に応じて、複数の画像を複数のカテゴリに精度良く分類することができる。

なお、上記第１の実施形態においては、平均撮影時間差算出処理において、撮影時間差があらかじめ設定した設定値Ｂ０よりも大きいか否かを判定し、この判定が肯定された場合には、撮影時間差を設定値Ｂ０により置換して平均撮影時間差を算出しているが、この処理を行うことなく、撮影時間差のみを用いて平均撮影時間差を算出してもよい。

また、上記第１の実施形態において平均撮影時間差を算出する際に、処理対象のフォルダまたはカテゴリに分類後のフォルダに保存された撮影日時が最も新しい画像と撮影日時が最も古い画像との撮影時間差を、（画像数−１）により除算することにより算出してもよい。

また、上記第１の実施形態においては、ポアソン分布の確率関数から得られるしきいＴｈ２を用いて下位階層分類処理を行っているが、撮影時間差の標準偏差σを算出し、処理対象画像と撮影日時が次に古い次画像との撮影時間差の絶対値を標準偏差により正規化した値（｜ｘｊ−ｘｍ｜／σ）が、標準偏差に基づいて定めたしきい値Ｔｈ３より大きいか否かを判定することにより、カテゴリの区切り位置を決定するように下位階層分類処理を行ってもよい。ここで、しきい値Ｔｈ３の値としては、σまたは２σ等の値を用いればよい。なお、標準偏差は下記の式（４）により算出する。なお、式（４）においてσが標準偏差、ｎは処理対象のフォルダに保存された画像数−１、ｘｍは平均撮影時間差、ｘｊは撮影時間差である。

これにより、分類を行うためのしきい値との比較が、統計的に正規化された状態で行われることとなるため、一定のしきい値ではなく、撮影時間差の正規分布に応じて適応的に変更されたしきい値により画像を分類することとなる。したがって、分類の対象となる複数の画像の撮影時間差に応じて、複数の画像を複数のカテゴリに精度良く分類することができる。

また、処理対象画像と撮影日時が次に古い次画像との撮影時間差が、重み係数α（αは経験的に定めた値）により重みづけした平均撮影時間差からなるしきい値Ｔｈ４（＝α×Ｔｓ０）よりも大きいか否かを判定することにより、カテゴリの区切り位置を決定するように下位階層分類処理を行ってもよい。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態においては、分類部３０が行う上位階層分類処理が第１の実施形態と異なるのみであり、装置の構成については第１の実施形態と同一であるため、ここでは詳細な説明は省略する。

図８は第２の実施形態における上位階層分類処理のフローチャートである。まず分類部３０は、処理対象のフォルダに分類されているすべての画像の撮影日が同一であるか否かを判定する（ステップＳＴ５１）。ステップＳＴ５１が否定されると、処理対象の画像を撮影日時が最も古い画像に設定し（ｉ＝１）、画像を分類するカテゴリナンバーを１に設定し、処理対象の画像のカテゴリナンバーを現在のカテゴリナンバーに設定する（ステップＳ５２）。そして、処理対象画像および撮影日時が次に古い次画像の撮影日が同一であるか否かを判定する（ステップＳＴ５３）。

ステップＳＴ５３が否定されると、新たなカテゴリナンバーを現在のカテゴリナンバーに１を加算した値に設定し（ステップＳＴ５４）、次画像のカテゴリナンバーを現在のカテゴリナンバーに設定する（ステップＳＴ５５）。なお、ステップＳＴ５３が肯定された場合はステップＳＴ５５に進み、次画像のカテゴリナンバーを現在のカテゴリナンバーに設定する。

続いて、処理対象画像を上記次画像に設定し（ステップＳＴ５６）、新たに設定した処理対象画像に次画像が存在するか否かを判定する（ステップＳＴ５７）。ステップＳＴ５７が肯定されるとステップＳＴ５３に戻り、ステップＳＴ５３以降の処理を繰り返す。ステップＳＴ５７が否定されると、上位階層分類処理を終了する。

一方、ステップＳＴ５１が肯定されると、処理対象のフォルダに保存されたすべての画像のカテゴリナンバーを１に設定し（ステップＳＴ５８）、処理を終了する。この場合、処理対象のフォルダに保存された画像は何ら分類されないこととなる。

この状態においては、処理対象のフォルダに分類されている画像は撮影日単位で１階層にのみ分類されており、この階層を第１階層とする。

第２の実施形態においては、撮影日毎に分類された画像について上記第１の実施形態と同様に下位階層分類処理を行って、さらに画像を階層化して分類する。

このように第２の実施形態においては、撮影日毎に複数の画像を分類し、第２階層以降については、上記第１の実施形態と同様に撮影時間差の平均値に基づいて決定されたしきい値に基づいて分類を行うようにしたため、第２階層以降の階層については、画像を分類するためのしきい値が一定のしきい値ではなく、分類の対象となる複数の画像に含まれる画像の実際の撮影時間差に応じて適応的に変更されたしきい値となる。したがって、複数の画像の実際の撮影時間差に応じて、複数の画像を複数のカテゴリに精度良く分類することができる。

なお、上記第２の実施形態においては、上位階層分類処理において、処理対象のフォルダに分類された画像を撮影日毎に分類しているが、まず処理対象のフォルダに分類された画像を撮影年毎に分類し、撮影年毎に分類した画像をさらに撮影月毎に分類し、さらに撮影月毎に分類した画像を撮影日毎に分類するようにしてもよい。この場合、上記階層分類処理により第１から第３階層まで分類処理がなされることとなるため、下位階層分類処理は第４階層以降の階層に画像を分類する処理となる。また、上位階層分類処理において、処理対象のフォルダに分類された画像を撮影月毎に分類し、撮影月毎に分類した画像を撮影日毎に分類するようにしてもよい。この場合、上記階層分類処理により第１から第２階層まで分類処理がなされることとなるため、下位階層分類処理は第３階層以降の階層に画像を分類する処理となる。

次いで、本発明の第３の実施形態について説明する。なお、第３の実施形態においては、分類部３０が行う処理が第１の実施形態と異なるのみであり、装置の構成については第１の実施形態と同一であるため、ここでは詳細な説明は省略する。

以下、第３の実施形態における分類部３０が行う画像の分類処理について説明する。なお、本実施形態においては処理対象のフォルダには複数の画像が保存されているものとする。図９は第３の実施形態における分類処理のフローチャートである。ユーザが入力部１６から画像分類の指示を行うことにより分類部３０が処理を開始し、まず、処理対象のフォルダに保存されている画像を撮影日時の昇順にソートし（ステップＳＴ６１）、最上位階層分類処理を行う（ステップＳＴ６２）。

図１０は第３の実施形態における最上位階層分類処理のフローチャートである。まず分類部３０は、処理対象の画像を撮影日時が最も古い画像に設定し（ｉ＝１、ステップＳＴ７１）、処理対象画像に撮影日時情報が適切に付与されているか否かを判定する（ステップＳＴ７２）。ここで、ステップＳＴ７２の処理は、撮影日時情報が画像に付与されているか、すなわち撮影日時情報を記述したタグ情報が画像に付与されているか否かを判定することにより行えばよい。

一方、タグ情報が付与されているものの、撮影日時情報の記述がない場合がある。また記述があるものの記述が不正なものであると、撮影日時情報により表される撮影日時が「１９００年１月１日００：００：００」のようにあり得ない撮影日時となる場合がある。したがって、ステップＳＴ７２の処理においては、このような不正な撮影日時が付与されている場合にも、処理対象画像に撮影日時情報が適切に付与されていないと判定するものとする。

ステップＳＴ７２が肯定されると、処理対象画像のカテゴリナンバーを１に設定し（ステップＳＴ７３）、ステップＳＴ７２が否定されると、処理対象画像のカテゴリナンバーを２に設定する（ステップＳＴ７４）。

次いで、処理対象画像に次画像が存在するか否かを判定し（ステップＳＴ７５）、ステップＳＴ７５が肯定されると、処理対象画像を次画像に設定し（ステップＳＴ７６）、ステップＳＴ７２に戻り、ステップＳＴ７２以降の処理を繰り返す。ステップＳＴ７５が否定されると、最上位階層分類処理を終了する。この状態においては、処理対象のフォルダに分類されている画像は、１階層にのみ分類されており、この階層を第１階層とする。また、第１階層においては、撮影日時情報が適切に付与されている画像が分類された第１カテゴリ（カテゴリナンバー＝１）、および撮影日時情報が適切に付与されていない画像が分類された第２カテゴリ（カテゴリナンバー＝２）の２つのカテゴリに分類されている。

図９に戻り、最上位階層分類処理に続いて、第１カテゴリに対する上位階層分類処理を行う（ステップＳＴ６３）。この上位階層分類処理は、上記第１および第２の実施形態における上位階層分類処理のいずれかの処理を行えばよいため、ここでは詳細な説明は省略する。

さらに、上位階層分類処理に続いて、第１カテゴリに対する下位階層分類処理を行う（ステップＳＴ６４）。この下位階層分類処理は、上記第１および第２の実施形態における下位階層分類処理のいずれかの処理を行えばよいため、ここでは詳細な説明は省略する。

そして、分類部３０は、現在分類されている最も下位の階層のすべてのカテゴリに保存されている画像数がＮ以下となっているか否かを判定し（ステップＳＴ６５）、ステップＳＴ６５が肯定されると処理を終了する。ステップＳＴ６５が否定されると、ステップＳＴ６４に戻り、ステップＳＴ６５が肯定されるまで下位階層分類処理を行う。

ここで、第２カテゴリについては、分類を全く行わなくてもよいが、第１カテゴリの階層数に合わせて、第２カテゴリにサブカテゴリとなる階層を形成してもよい。例えば、第１カテゴリの最下位層が第３階層である場合には、第２カテゴリを第３階層まで階層化し、第３階層のカテゴリにすべての画像を分類すればよい。

なお、ここでは、現在分類されている最も下位の階層のすべてのカテゴリに保存されている画像数がＮ以下となるまで下位階層分類処理を行っているが、第１および第２の実施形態と同様に、あらかじめ定めた回数のみ繰り返し行うようにしてもよい。また、ステップＳＴ２４において算出した平均撮影時間差があらかじめ定めた設定値未満となった場合、あるいは最大撮影時間差があらかじめ定めた設定値未満となった場合に、下位階層分類処理を終了してもよい。このように、分類処理を繰り返し行うことにより、図１１に示すように処理対象のフォルダに保存された画像を階層化して分類することができる。なお、図１１においては、第２カテゴリについて第１階層の階層数に合わせてフォルダを生成した状態を示しており、第３階層のフォルダにすべての画像が保存されることとなる。

このように、第３の実施形態においては、最上位の第１階層について、撮影日時情報が画像に適切に付与されているか否かに応じて複数の画像を分類し、撮影日時情報が適切に付与された画像については、撮影日時情報に基づいて第２階層以降の分類を行うこようにしたため、分類の対象となる複数の画像に、撮影日時情報が適切に付与されていない画像についても、分類を行うことができる。

なお、上記第３の実施形態においては、最上位階層分類処理以降は、第１および第２の実施形態と同様の上位階層分類処理および下位階層分類処理を行っているが、第１カテゴリに分類された画像に対して、上記特許文献１〜特許文献４に記載された手法と同様の手法により、階層化して分類を行うようにしてもよい。また、これに限定されるものではなく、撮影日情報を用いた任意の手法により分類を行うようにしてもよい。

また、上記第３の実施形態においては、処理対象のフォルダに保存されている画像を撮影日時の昇順にソートした後に最上位階層分類処理を行っているが、先に最上位階層分類処理を行い、その後にソートを行うようにしてもよい。

また、上記第１から第３の実施形態においては、分類結果を表す分類情報を分類情報管理部３２に保存しておいてもよい。また、ハードディスク２４に保存しておいてもよい。これにより、処理対象のフォルダについての分類結果を後で参照することができる。

また、分類結果を表示部１８に表示するようにしてもよい。これにより、ユーザは分類結果を容易に確認することができる。

以上、本発明の第１から第３の実施形態に係る装置について説明したが、コンピュータを、上記の分類部３０に対応する手段として機能させ、図２〜６，８〜１０に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。

図１２は、分類部３０が行う処理を実行するためのプログラムを組み込んだビューアソフトの表示画面の例を示す図である。図１２に示すようにこの画面５０には、フォルダのツリー構造を表示するフォルダ表示エリア５０Ａと、ユーザが指定したフォルダに保存された画像のサムネイル画像の一覧を表示するサムネイル画像表示エリア５０Ｂと、各種処理を行わせるためのボタンを表示するボタン表示エリア５０Ｃとが含まれている。

フォルダ表示エリア５０Ａには、０１，０２，０３の３つのフォルダが表示されている。なお、各フォルダには複数の画像が保存されているものとする。また、ボタン表示エリア５０Ｃには、画像を拡大するための拡大ボタン、プリントを行うためのプリントボタンに加えて、分類処理を実行させるための分類ボタン５０Ｄが含まれている。

そして、ユーザがフォルダ表示エリア５０Ａにおいて処理対象のフォルダを指定した後に、分類ボタン５０Ｄをクリックすることにより、ビューアソフトが分類処理を実行する。例えば、０１フォルダを指定後に分類ボタン５０Ｄをクリックすると、０１フォルダに保存された画像が分類されることとなる。これにより、０１フォルダに保存された画像が階層化されて分類され、図１３に示すように、フォルダ表示エリア５０Ａには、階層化されたフォルダが表示されることとなる。

なお、分類の結果を表す分類情報は、パソコンのハードディスクに保存しておけばよい。

また、フォルダ表示エリア５０Ａにおいては０１フォルダの階層構造が展開されており、下位階層のフォルダには撮影日時が付与されている。この撮影日時は対応するフォルダに分類されている画像のうち、撮影日時が最も古い画像の撮影日時である。

また、フォルダ表示エリア５０Ａにおいて所望とするフォルダを選択することにより、選択したフォルダに分類された画像のサムネイル画像の一覧をサムネイル画像表示エリア５０Ｂに表示することができる。なお、図１３においては、20050503 11:07:53の撮影日時が付与されているフォルダが選択された状態を、フォルダに斜線を付与することにより示している。

ユーザはサムネイル画像の一覧を見て、所望とする画像を他のフォルダに移動させることにより、分類の態様を変更することができる。なお、分類の態様の変更は分類情報に反映されて、パソコンのハードディスクに保存されることとなる。

本発明の第１の実施形態による画像分類装置の構成を示す概略ブロック図 第１の実施形態における分類処理のフローチャート 第１の実施形態における上位階層分類処理のフローチャート 第１の実施形態における下位階層分類処理のフローチャート（その１） 第１の実施形態における下位階層分類処理のフローチャート（その２） 平均撮影時間差算出処理のフローチャート 第１の実施形態において処理対象のフォルダに保存された画像を階層化して分類した状態を示す図 第２の実施形態における上位階層分類処理のフローチャート 第３の実施形態における分類処理のフローチャート 第３の実施形態における最上位階層分類処理のフローチャート 第３の実施形態において処理対象のフォルダに保存された画像を階層化して分類した状態を示す図 ビューアソフトの表示画面の例を示す図（その１） ビューアソフトの表示画面の例を示す図（その２）

符号の説明

１ 画像分類装置
２ メモリカード
１２ ＣＰＵ
１４ システムメモリ
１６ 入力部
１８ 表示部
２０ カードスロット
２２ 圧縮解凍部
２４ ハードディスク
２６ メモリ制御部
２８ 表示制御部
３０ 分類部
３２ 分類管理部

Claims (12)

1. 複数の画像からなる画像群を複数のカテゴリに階層化して分類する画像分類装置において、
   少なくとも前記各階層毎に、前記複数の画像の撮影日時に関する異なるパラメータに基づいて、前記複数の画像を階層化して分類する分類手段を備えたことを特徴とする画像分類装置。
2. 前記分類手段は、前記複数の階層のうちの最上位の第１階層については、あらかじめ定められた第１のしきい値を超える撮影時間差を得た２つの画像の間を前記カテゴリの区切り位置として分類を行い、第２階層以降については、上位の階層に含まれる複数の画像についての隣接する画像間の撮影時間差の平均値に基づいて決定された第２のしきい値を超える撮影時間差を得た２つの画像の間を前記カテゴリの区切り位置として分類を行う手段であることを特徴とする請求項１記載の画像分類装置。
3. 前記第１のしきい値は６〜１０時間であることを特徴とする請求項２記載の画像分類装置。
4. 前記分類手段は、前記複数の階層のうちの最上位階層を含む上位の所定数の階層については、撮影年、撮影月および撮影日のうちの少なくとも撮影日に基づいて前記複数の画像を分類し、前記所定数の階層より下位の階層については、上位の階層に含まれる複数の画像についての隣接する画像間の撮影時間差の平均値に基づいて決定されたしきい値を超える撮影時間差を得た２つの画像の間を前記カテゴリの区切り位置として分類を行う手段であることを特徴とする請求項１記載の画像分類装置。
5. 前記分類手段は、前記複数の階層のうちの最上位の第１階層については、前記撮影日時情報が前記画像に適切に付与されているか否かに応じて前記複数の画像を分類し、前記撮影日時情報が適切に付与された画像については、該撮影日時情報に基づいて第２階層以降の分類を行う手段であることを特徴とする請求項１記載の画像分類装置。
6. 前記分類手段は、前記第２階層については、あらかじめ定められた第１のしきい値を超える撮影時間差を得た２つの画像の間を区切り位置として分類を行い、第３階層以降については、上位の階層に含まれる複数の画像についての隣接する画像間の撮影時間差の平均値に基づいて決定された第２のしきい値を超える撮影時間差を得た２つの画像の間を前記カテゴリの区切り位置として分類を行う手段であることを特徴とする請求項５記載の画像分類装置。
7. 前記第１のしきい値は６〜１０時間であることを特徴とする請求項６記載の画像分類装置。
8. 前記分類手段は、前記第２階層を含む上位の所定数の階層については、撮影年、撮影月および撮影日のうちの少なくとも撮影日に基づいて前記複数の画像を分類し、前記所定数の階層より下位の階層については、上位の階層に含まれる複数の画像についての隣接する画像間の撮影時間差の平均値に基づいて決定されたしきい値を超える撮影時間差を得た２つの画像の間を前記カテゴリの区切り位置として分類を行う手段であることを特徴とする請求項５記載の画像分類装置。
9. 前記複数の画像の分類結果を表示する表示手段をさらに備えたことを特徴とする請求項１から８のいずれか１項記載の画像分類装置。
10. 前記複数の画像の分類結果を保存する保存手段をさらに備えたことを特徴とする請求項１から９のいずれか１項記載の画像分類装置。
11. 複数の画像からなる画像群を複数のカテゴリに階層化して分類する画像分類方法において、
    少なくとも前記各階層毎に、前記複数の画像の撮影日時に関する異なるパラメータに基づいて、前記複数の画像を階層化して分類することを特徴とする画像分類方法。
12. 複数の画像からなる画像群を複数のカテゴリに階層化して分類する画像分類方法をコンピュータに実行させるためのプログラムにおいて、
    少なくとも前記各階層毎に、前記複数の画像の撮影日時に関する異なるパラメータに基づいて、前記複数の画像を階層化して分類する手順を有することを特徴とするプログラム。

Images