JP2007317077A - 画像分類装置および方法ならびにプログラム - Google Patents

Abstract

【課題】複数の画像を画像解析の結果に基づいてイベント毎に分類する際に、分類対象の複数の画像の画像群としての特性に応じて、より適切な分類基準に基づく自動分類を実現する
【解決手段】複数の画像Ｐ[n]の各々に対する複数の種類の画像解析処理によって得られる複数の特徴量ｇ_m[n]のうちの１つの特徴量または２以上の特徴量の組合せからなる仮イベント特徴量Ｅv_j[n]を画像毎に複数取得し、取得された仮イベント特徴量Ｅv_j[n]のうち、時系列的に隣接する各画像間での仮イベント特徴量の変化量△Ｅv_j[n,n+1]と、撮影時間間隔△Ｔ[n,n+1]とが、所定の基準を致す程度に高い正の相関を示すものを、イベント特徴量Ｅv_S[n]として選択し、複数の画像Ｐ[n]におけるイベント特徴量Ｅv_S[n]（n=1,2,...,N）の値の分布に基づいて、複数の画像を分類する。
【選択図】図５

Description

本発明は、複数の画像の一部または全部を１以上のグループに分類する画像分類装置および方法、ならびに、この画像分類方法を実現するための制御をコンピュータに実行させるためのプログラムに関するものである。

銀塩カメラと比較すると、デジタルカメラでは、フィルム料金がかからない分、撮影自体のコストが下がり、その結果、より多くの画像を撮影する傾向にある。また、デジタルカメラに着脱される記録メディアの大容量化もその傾向を助長している。その結果、デジタルカメラの記録メディアや、記録メディアから読み出された画像データが保存されるパソコンのハードディスクやＣＤ−Ｒ等の記憶メディアには、非常に多くの画像がストックされ、その中には、必要な画像（写りのよい画像）と不要な画像（失敗写真や重複して撮影された画像等）が混在し、さらにそれらは未整理のままとなっていることが多い。

このような大量の画像を整理するのは大変面倒な作業となる。そこで、このような画像ストックからの必要な画像の検索・抽出や不要な画像の抽出・削除、また、画像ストック中の画像のイベントや日時、場所等の観点に基づく分類等の画像整理を行う装置が提案されている。

例えば、画像の自動分類方法としては、複数の画像を付帯情報（例：撮影日時）や付帯情報（例：撮影日時、ＧＰＳ情報）から得られる二次的情報（天気、国名）に基づいて自動分類する方法や（例えば、特許文献１）、複数の画像を、装置の初期設定やユーザの選択に応じて、撮影地や撮影日時の観点から自動分類する方法（例えば、特許文献２）、さらに、複数の画像を時系列に並べ替え、各画像を複数のブロックに分割し、各ブロックのカラーヒストグラムを計算し、ブロック間の類似性を決定するヒストグラム交差値を計算することを含む、ブロックに基づくヒストグラム相関に基づき画像をイベント毎に自動的に分類する方法（例えば、特許文献３）等が知られている。
特開２００３−２７１６１７号公報 特開２００５−０３７９９２号公報 特開２０００−１１２９９７号公報

ここで、特許文献１または２に記載されている自動分類手法では、撮影日時や撮影場所といった分類の観点は予め決められたものとなっている。また、特許文献３に記載されている自動分類方法では、画像の内容を解析した結果に基づいて自動分類を行っているが、この方法では、画像の色情報（カラーヒストグラム）が、画像の内容を表す特徴量として固定的に用いられている。

しかしながら、未整理状態の画像の分類を行う場合、上記のような固定的な観点に基づいて分類方法では、必ずしも好ましい分類結果が得られるとは限らず、分類対象の複数の画像の画像群としての特性によって、最適な分類方法は異なるはずである。例えば、特許文献３記載の自動分類方法においても、画像解析によって得られる特徴量は、色に関するものに限らず、輝度、テキスチャ、奥行き、画像中のエッジ等、様々な特徴量があり、色情報（カラーヒストグラム）に基づいて画像群の分類を行うことが最適な場合もあれば、そうでない場合もあると考えられる。

本発明は、上記事情に鑑みてなされたものであり、複数の画像を画像解析の結果に基づいてイベント毎に分類する際に、分類対象の複数の画像の画像群としての特性に応じて、より適切な分類基準に基づく自動分類を実現する装置および方法ならびにプログラムを提供することを目的とする。

本発明は、分類対象の画像に表現されたイベントの時系列的な変化を最もよく表す特徴量をイベント特徴量として選択し、選択されたイベント特徴量の値の分布に基づいて複数の画像の分類を行うものである。

すなわち、本発明の画像分類方法は、複数の画像の各々に対して複数の種類の画像解析処理を行うことによって得られる複数の特徴量のうちの１つの特徴量または２以上の特徴量の組合せからなる仮イベント特徴量を画像毎に複数取得し、取得された複数の仮イベント特徴量のうち、複数の画像を時系列に並べ替えた場合における隣接画像間での仮イベント特徴量の変化量と、隣接画像間での撮影時間間隔とが、所定の基準を満たす程度に高い正の相関を示すものを、複数の画像中のイベントを最もよく表すイベント特徴量として選択し、複数の画像におけるイベント特徴量の値の分布に基づいて、複数の画像を分類することを特徴とする。

本発明の画像分類装置は、上記の画像分類方法を実現するものであり、複数の画像の各々に対して複数の種類の画像解析処理を行うことによって得られる複数の特徴量のうちの１つの特徴量または２以上の特徴量の組合せからなる仮イベント特徴量を画像毎に複数取得する仮イベント特徴量取得手段と、取得された複数の仮イベント特徴量のうち、複数の画像を時系列に並べ替えた場合における隣接画像間での仮イベント特徴量の変化量と、隣接画像間での撮影時間間隔とが、所定の基準を満たす程度に高い正の相関を示すものを、複数の画像中のイベントを最もよく表すイベント特徴量として選択するイベント特徴量選択手段と、複数の画像におけるイベント特徴量の値の分布に基づいて、複数の画像を分類する画像分類手段とを設けたことを特徴とするものである。

本発明の画像分類プログラムは、上記の画像分類方法をコンピュータに実行させるためのもの、言い換えると、コンピュータを上記の画像分類装置の各手段として機能させるものである。

次に本発明の画像分類方法、装置、およびプログラムの詳細について説明する。

「画像中のイベント」とは、その画像中に表現された出来事、状況、文脈等を意味し、その画像の主題とは必ずしも一致しない。例えば、運動会のリレー競技で走っている子どもの画像の場合、主題は子どもであるが、イベントは運動会となる。

「複数の種類の画像解析処理を行うことによって得られる複数の特徴量」の具体例としては、画像の色、輝度、テキスチャ、奥行き、画像中のエッジ等を表すものが考えられる。

また、「複数の特徴量」には、画像中の背景領域に対して画像解析処理を行うことによって得られる特徴量が含まれていることが好ましい。例えば、運動会というイベントの場合、主題部分となる可能性が高い競技者の状態は人物や競技によって変化する可能性が高いが、背景部分にある、空や校舎、グラウンド、応援する生徒達等は、主題部分が変化しても変化しない可能性が高い。したがって、背景領域に対する画像解析によって得られる特徴量は、画像中のイベントをより的確に表現している可能性が高いと考えられる。なお、「背景領域」の認識方法は、例えば、画像の周辺部の所定の範囲の領域を固定的に背景領域と認識するものであってもよいし、画像中のエッジ成分が検出されない領域を背景領域と認識するものであってもよい。

「仮イベント特徴量」は、上記の特徴量の１つであってもよいし、２以上の上記の特徴量を組み合わせたもの、例えば、２以上の上記の特徴量の各々に重みづけ係数を乗じたものの総和や、上記の複数の特徴量からｎ個（ｎ≧２）の特徴量を抽出する組合せの各々において、各組合せのｎ個の特徴量の積にさらに重みづけ係数を乗じたものの総和、２以上の上記の特徴量の各々を累乗したものに重みづけ係数を乗じたものの総和等であってもよい。

本発明では、画像間の撮影時間間隔が長ければ、その画像間で画像中のイベントが異なっている可能性が高いことを前提としているので、「複数の画像を時系列に並べ替えた場合における隣接画像間での仮イベント特徴量の変化量と、隣接画像間での撮影時間間隔とが、所定の基準を満たす程度に高い正の相関を示すものを、複数の画像中のイベントを最もよく表すイベント特徴量として選択」する。

ここで、「所定の基準」の具体例としては、最も高い正の相関を示すことや、正の相関性が高いものから順に並べたときに所定の順位以内であること、相関係数が所定の閾値以上であること等が考えられる。

「複数の画像におけるイベント特徴量の値の分布に基づいて、複数の画像を分類する」方法の具体例としては、複数の画像をイベント特徴量の値の順に並べ替えたときの隣接する画像間でのイベント特徴量の差が所定の閾値以下の場合には同じグループと判定する処理を各画像間で繰り返し行う方法が考えられる。

なお、本発明において「イベント特徴量」に基づいて分類された各グループがどのようなイベントを意味するかについては、ユーザの解釈に委ねられる。

本発明によれば、複数の画像の各々に対して複数の種類の画像解析処理を行うことによって得られる複数の特徴量に基づいて得られた複数の種類の仮イベント特徴量のうち、複数の画像を時系列に並べ替えた場合における隣接画像間での仮イベント特徴量の変化量と、隣接画像間での撮影時間間隔とが、所定の基準を満たす程度に高い正の相関を示すものを、複数の画像中のイベントを最もよく表すイベント特徴量として選択するので、選択されたイベント特徴量は、画像に表現されたイベントの時系列的な変化を最もよく表すものとなる。したがって、複数の画像におけるイベント特徴量の値の分布に基づいて、複数の画像を分類することにより、分類対象の複数の画像の画像群としての特性に応じた、より適切な分類基準に基づくイベント毎の自動分類が実現される。

また、仮イベント特徴量のもとになる、画像解析による特徴量に、画像中の背景領域に対して画像解析処理を行うことによって得られる特徴量を含むようにした場合には、画像中の背景領域は、その画像のイベントを表現する可能性が高いので、背景領域の特性がより的確に反映されたイベント特徴量に基づいて画像の分類を行うことにより、画像に表現されたイベントをより的確に反映した分類結果が得られる。

以下、図面を参照して本発明の実施形態について説明する。

図１は本発明の実施形態となる画像分類装置を備えた写真プリントの注文受付装置の外観斜視図である。図１に示すように、本発明の実施形態となる注文受付装置１は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されるものであり、プリント注文するための画像が記録された各種メモリカード２を装填し、メモリカード２から画像を読み出したり、メモリカード２に画像を記録したりするための複数種類のカードスロット４と、プリント注文のための各種表示を行う表示部６とを備えている。また、この注文受付装置１は、顧客からの注文に基づいて写真プリントを行うプリンタ８、および画像に対する画像処理やプリント注文の管理を行うためのデジタルイメージコントローラ（ＤＩＣ）１０とネットワーク経由で接続されている。なお、表示部６はタッチパネル式の入力部１８を備え、ユーザは表示部６の表示にしたがって表示部６にタッチすることにより、プリント注文や画像分類に必要な入力を行うことができる。

図２は本発明の実施形態による注文受付装置１の構成を示す概略ブロック図である。図２に示すように、注文受付装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、装置１を動作させるための基本的なプログラムおよび各種係数等が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１８と、上述した表示部６とを備える。

また、注文受付装置１は、上述したカードスロット４のメモリカード２から読み出した画像、ＣＰＵ１２が実行する、画像のプリント注文や分類を行うための各種プログラムや、分類条件等の参照データ等を記録するハードディスク２４と、システムメモリ１４、カードスロット４、カードリーダ５およびハードディスク２４を制御するメモリ制御部１６と、表示部６の表示を制御する表示制御部２６と、入力部１８による入力を制御する入力制御部２２と、装置１をプリンタ８、およびＤＩＣ１０とネットワークを介して通信するためのネットワークインターフェース３０とを備える。

なお、カードスロット４はメモリカード２の種類に応じて複数用意されているが、図２においては１つのカードスロット４のみを示している。

注文受付装置１で行われる後述の処理は、ハードディスク２４に記憶されている各種プログラムが実行されることによって実現される。なお、ハードディスク２４への各種プログラムの記憶は、この各種プログラムが記録されたＣＤ−ＲＯＭ等のコンピュータが読取可能な記録媒体からインストールすることによってなされる。また、各種プログラムは、注文受付装置１で行われる処理全体を制御するメインプログラムと、メインプログラムから必要に応じて呼び出される、注文処理や画像分類処理を行うサブプログラム等とからなる。

このような注文受付装置１におけるプリント注文は以下のようにして行われる。図３は注文受付装置１の表示部６に表示される初期画面を示す図である。この画面はメインプログラムの制御によって表示される。図３に示すように初期画面４０には、プリント注文を行うためのプリント注文ボタン４０Ａ、および後述するように画像の分類を行うための画像分類ボタン４０Ｂが表示されている。ここで、ユーザがプリント注文ボタン４０Ａを選択した場合、ＣＰＵ１２では、メインプログラムからプリント注文処理サブプログラムが呼び出され、このサブプログラムによる処理が実行される。ユーザが画面に表示される指示にしたがって複数の画像を記録したメモリカード２をカードスロット４に装填すると、装置１では、メモリカード２から複数の画像を読み出して一時的にハードディスク２４に保存し、さらに、複数の画像の一覧を表示部６に表示する
ユーザは表示部６に表示された画像の一覧からのプリント注文を行う画像の選択、注文枚数および注文サイズの設定をタッチパネル方式の入力部１６を用いて行う。そして、ユーザがプリント実行の指示を入力部１６を用いて行うと、ユーザが選択した画像、並びに注文枚数および注文サイズを表す注文情報がＤＩＣ１０に送信され、ここで画質を向上させるために必要な画像処理が画像に対して施され、注文情報に応じた注文枚数および注文サイズによりプリント注文した画像がプリンタ８からプリント出力される。

次に、本発明の実施形態における画像分類の処理について説明する。この処理は、ユーザが図３の初期画面で画像整理ボタン４０Ｂを選択することにより、メインプログラムから画像分類サブプログラムが呼び出され、実行されることによって実現される。

図４は、本発明の実施形態となる画像分類処理における主なデータの流れと機能を模式的に表したブロック図である。図に示したように、画像の入力を受け付ける画像入力部５１と、既定の分類条件を分類条件テーブルＴ１から取得する分類条件取得部５２と、取得された既定の分類条件に基づき、入力された画像の分類を行う画像分類部５３と、画像の分類結果を表示部６に表示させる分類結果表示部５４と、分類結果の選択を受け付ける分類結果選択部５５と、選択された分類結果をメモリカード２に記録する分類結果記録部５６とによって、この画像分類処理が実現される。

画像入力部５１は、表示部６に「メモリカードを挿入してください」等のメモリカード２のカードスロット４への挿入を促すメッセージを表示させ、メモリカード２がカードスロット４に挿入されると、挿入されたメモリカード２から画像ファイルを読み込み、装置１のハードディスク２４に一時的に記憶させる。

分類条件テーブルＴ１には、以下の４つの分類条件が予め登録されている。
(1) イベント特徴量
(2) 撮影日付、撮影時刻
(3) 撮影場所
(4) 人物
この分類条件テーブルＴ１に登録されている既定の分類条件にしたがった画像分類処理の具体例については後述する。

分類条件取得部５２は、分類条件テーブルＴ1に登録されている既定の分類条件を先頭から１件ずつ読み込み、画像分類部５３に引き渡す。具体的には、分類条件取得部５２によって分類条件テーブルＴ1から読み込まれた分類条件は、システムメモリ１４の所定の領域（以下、分類条件メモリと呼ぶ）に記憶される。

画像分類部５３は、分類条件メモリに記憶されている分類条件を読み込み、読み込まれた分類条件に基づいて、画像入力部５１によって入力された複数の画像を１以上のグループに分類する処理を行う。この処理によって分類された各グループは、画像ファイルの論理的な格納場所、すなわち、フォルダ（ディレクトリパス）に対応づけられる。

ここで、分類条件テーブルＴ1に予め登録されている４つの分類条件に基づく処理に詳細について説明する。

図５は、第１の分類条件である、本発明の実施形態となる「イベント特徴量」に基づく分類処理の際の主なデータの流れと機能を模式的に表したブロック図である。図に示したように、この分類処理は、複数の画像Ｐ[n]（n=1,2,...,Nとし、これが撮影順を表すものとする）の各々に対してＭ種類の画像解析処理を行い、画像毎にＭ種類の特徴量ｇ_m[n]（m=1,2,...,M）を取得する第１〜第Ｍ画像処理部５３Ａ−１〜５３Ａ−Mと、Ｍ種類の特徴量ｇ_m[n]を用いて、画像毎にＪ種類の仮イベント特徴量Ｅv_j[n]（j=1,2,...,J）に展開する仮イベント特徴量展開部５３Ｂと、各画像の撮影日時と仮イベント特徴量Ｅv_j[n]に基づいて、隣接する画像Ｐ[n]とＰ[n+1]の間での撮影時間間隔△Ｔ[n,n+1]、および、各仮イベント特徴量の変化量△Ｅv_j[n,n+1]とを算出する差分算出部５３Ｃと、撮影時間間隔△Ｔ[n,n+1]と各仮イベント特徴量の変化量△Ｅv_j[n,n+1]との間の相関係数Ｒ_jを算出する相関係数算出部５３Ｄと、相関係数が最大となる仮イベント特徴量をイベント特徴量Ｅv_S[n]に決定するイベント特徴量決定部５３Ｅと、画像Ｐ[n]におけるイベント特徴量Ｅv_S[n]の値の分布に基づいて、画像Ｐ[n]を１以上のグループに分類し、画像Ｐ[n]とグループ識別子Group-k（k=1,2,...,K）との対応づけを行うグルーピング処理部５３Ｆとによって実現される。

第ｍ画像解析部５３Ａ−mは、Ｎ枚の画像Ｐ[1]、Ｐ[2]、・・・、Ｐ[N]の各々に対して、所定の画像解析処理を行い、特徴量ｇ_m[1]、ｇ_m[2]、・・・、ｇ_m[N]を算出する。第１から第Ｍまでの各画像解析部５３Ａ−１から５３Ａ−Mは、画像解析の種類が異なるものの、上記と同様の処理を行う。したがって、ある画像Ｐ[n]に対して、第１から第Ｍまでの各画像解析部５３Ａ−１から５３Ａ−Mによって、Ｍ種類の画像解析処理が行われ、ｇ₁[n]、ｇ₂[n]、・・・、ｇ_M[n]のＭ種類の特徴量が得られる。すなわち、Ｎ枚の画像Ｐ[1]、Ｐ[2]、・・・、Ｐ[N]からは、ｇ₁[1]、ｇ₂[1]、・・・、ｇ_M[1]、ｇ₁[2]、ｇ₂[2]、・・・、ｇ_M[2]、・・・、ｇ₁[N]、ｇ₂[N]、・・・、ｇ_M[N]の、Ｍ（種類）×Ｎ（画像）個の特徴量が算出される。

ここで、各画像解析部で行われる、色、輝度、テキスチャ、奥行き、エッジ等の特徴量を求める処理の具体例について説明する。

まず、色の特徴量の具体例としては、代表色、ユニーク色、最明色、平均色バランス、色分散等が挙げられる。

代表色とは、各画像Ｐ[n]中で最も出現頻度の高い色であり、３次元ヒストグラム等から求めることができ、Ｒ，Ｇ，Ｂの信号値で表現することができる。代表色は、最も一般的な色の特徴量の１つであり、例えば、赤いじゅうたんが敷かれた会議室、緑色の壁のコンサート会場、黄色いドレスの主人公（主被写体）等のイベントを表しうる。

ユニーク色とは、分類対象の画像群との相対的な関係において、その画像に特有の色であり、例えば、各画像Ｐ[n]中での出現頻度が所定のレベル以上（例えば、画像内で１００番以内の出現頻度）で、すべての画像Ｐ[1]、Ｐ[2]、・・・、Ｐ[N]中での出現頻度が所定のレベル以下（例えば、全画像中で１０００番以下の出現頻度）の色と定義することができ、代表色と同様に、３次元ヒストグラム等から求めることができ、Ｒ，Ｇ，Ｂの信号値で表現することができる。このユニーク色は、前記の代表色に比べて、分類上、より特徴的なイベントを表しうる。

最明色とは、各画像Ｐ[n]中で最も輝度の高い画素または画像領域の色であり、Ｒ、Ｇ、Ｂの信号値で表すことができる。これは光源の色に対応し、例えば、夕焼けの野球場やタングステン電球の食堂等のイベントを表しうる。

平均色バランスとは、各画像Ｐ[n]中でのＲ、Ｇ、Ｂのチャンネル毎の信号値の平均であり、最明色と同様に、光源の色を反映しうる。

色分散とは、Ｒ、Ｇ、Ｂのチャンネル毎に求めた信号値の平均からの偏差である。これは、画像中の色の多様さを表すことから、例えば、モノトーンで地味なイベント（曇天の雪景色での雪合戦）と派手な色が多いイベント（カラフルなウエアが多いゲレンデでのスキー）とを識別しうる。

次に、輝度の特徴量の具体例としては、輝度分散、最大輝度値、最小輝度値、輝度レンジ等が挙げられる。

輝度分散とは、各画像Ｐ[n]中の各画素の輝度値の平均からの偏差であり、明るさの多様さを表す。最大／最小輝度値とは各画像Ｐ[n]中の各画素の輝度の最大／最小値で、輝度レンジとは最大輝度値と最小輝度値の差であり、これらは、輝度分布を表す。これらの輝度の特徴量は、画像のコントラストに関係し、一般的に、晴天の屋外（値が大きい）、曇天の屋外や室内（値が小さい）等のイベントを表しうる。

次に、テキスチャの特徴量の具体例としては、ピーク周波数、ピーク周波数スペクトル強度、高周波成分比率、中周波成分比率等が挙げられる。

ピーク周波数は、各画像Ｐ[n]の画像データをフーリエ変換等によって空間周波数領域に変換した後、特定のピーク成分を検出することによって求められる。これは画像中の特徴的なパターンに対応し、例えば、縞模様からシマウマの縞が写りこんだ動物園見学の画像をグループ化したり、格子パターンからビルの窓格子が写りこんだ東京都庁訪問の画像をグループ化したり、レンガブロックのパターンから皇居前でのジョギングの様子が撮影された画像をグループ化したり、波のパターンから湘南海岸でのサーフィンの様子が撮影された画像をグループ化したりすることができる。なお、ピーク周波数スペクトル強度は、上記のピーク周波数のスペクトル強度であり、ピーク周波数に対する補助的な特徴量として利用することができる。

高／中周波成分比率とは、各画像Ｐ[n]の画像データを空間周波数領域に変換した後の、特定の高／中周波成分の比率であり、例えば、高周波成分の比率が高くなる木の枝や葉の構造が写りこんだジャングル探検の画像をグループ化したり、高周波成分の比率が低く、中低周波成分の比率が高くなる波・雲等が写りこんだ海水浴の画像をグループ化したりすることができる。

次に、奥行きの特徴量の具体例としては、画像中の複数の放射状構造線のなす角度や相似形オブジェクトの長さの比等が挙げられる。

複数の放射状構造線のなす角度とは、各画像Ｐ[n]から道路のラインや建物の辺等の消失点に向かう直線を複数検出し、２つの直線のなす角度を求めたものであり、例えば、道路が消失点に向かって遠くに延びる自動車でのドライブを撮影した画像と、放射状の構造線が存在しない室内を撮影した画像とを分類しうる。

相似形オブジェクトの長さの比とは、各画像Ｐ[n]から人や立ち木等の複数の相似形オブジェクトを検出し、その長さの比を求めたものであり、遠景が写りこんだ画像（長さの比が大きい）と近景のみの画像（長さの比が小さい）とを分類しうる。

次に、エッジの特徴量の具体例としては、各画像Ｐ[n]から検出された連続エッジ（曲線、直線）の形状特徴量が挙げられる。

この形状特徴量は、例えば、曲線にフィッティングする関数（ベジェ曲線等）を求め、その係数を特徴量とすることにより、球体を検出することができるので、ガスタンクが写りこんだ画像や運動会の大玉送りの玉が写りこんだ画像をグループ化することができる。

また、画像の背景領域の特徴量を求める処理として、画像の周辺部の所定の範囲の領域のみに対して前記の特徴量を求める処理や、画像中においてエッジ成分が検出されない所定の面積以上の領域に対して前記の特徴量を求める処理も行ってもよい。

仮イベント特徴量展開部５３Ｂは、下の式（１）により、画像Ｐ[n]についての特徴量ｇ₁[n]、ｇ₂[n]、・・・、ｇ_M[n]と、予め定められた複数の重みづけ係数ａ_m[j]，ｂ_m[j]，ｃ_m[j]（j=1,2,・・・,J）のＪ種類の組合せに基づいて、画像Ｐ[n]についてのＪ種類の仮イベント特徴量Ｅv₁[n]、Ｅv₂[n]、・・・、Ｅv_J[n]を求める。

Ｅv_j[n] = (a₁[j]・g₁[n]+a₂[j]・g₂[n]+...+a_M[j]・g_M[n])
+(b₁[j]・g₁[n]・g₂[n]+ b₂[j]・g₂[n]・g₃[n]+...+ b_M-1[j]・g_M-1[n]・g_M[n])
+(c₁[j]・g₁[n]²+ c₂[j]・g₂[n]²+...+ c_M[j]・g_M[n]²)
（１）
例えば、ｊ＝1の係数が、a₁[1]＝1、a₂[1]＝a₃[1]＝・・・＝a_M[1]＝b₁[1]＝b₂[1]＝・・・＝b_M-1[1]＝c₁[1]＝c₂[1]＝・・・＝c_M[1]＝0と定められていたとすると、
Ｅv₁[n]＝g₁[n]
となり、これは第１画像解析部５３Ａ−１で得られる特徴量のみからなる仮イベント特徴量を表す。

また、ｊ＝2の係数が、a₁[2]＝a₂[2]＝・・・＝a_M[2]＝1、b₁[2]＝b₂[2]＝・・・＝b_M-1[2]＝c₁[2]＝c₂[2]＝・・・＝c_M[2]＝0と定められていたとすると、
Ｅv₂[n]＝g₁[n]+g₂[n]+...+g_M[n]
となり、これは、第１〜第Ｍ画像解析部５３Ａ−１〜５３Ａ−Mの各々で得られる特徴量の総和からなる仮イベント特徴量を表す。

なお、重みづけ係数を予め定める際には、上記の画像の背景領域の特徴量に対する重みづけを大きくすることが好ましい。

この仮イベント特徴量展開部５３Ｂによって、Ｎ枚の画像Ｐ[1]、Ｐ[2]、・・・、Ｐ[N]の各々についての特徴量ｇ₁[1]、ｇ₂[1]、・・・、ｇ_M[1]、ｇ₁[2]、ｇ₂[2]、・・・、ｇ_M[2]、・・・、ｇ₁[N]、ｇ₂[N]、・・・、ｇ_M[N]から、画像毎にＪ種類の仮イベント特徴量Ｅv₁[1]、Ｅv₂[1]、・・・、Ｅv_J[1]、Ｅv₁[2]、Ｅv₂[2]、・・・、Ｅv_J[2]、・・・、Ｅv₁[N]、Ｅv₂[N]、・・・、Ｅv_J[N]が得られる。

差分算出部５３Ｃは、各画像の画像ファイルのＥｘｉｆタグに記録されている撮影日時を取得し、隣接する画像Ｐ[n]とＰ[n+1]の間での撮影時間間隔△Ｔ[n,n+1]を算出するとともに、隣接する画像Ｐ[n]とＰ[n+1]の間での各仮イベント特徴量の変化量△Ｅv₁[n,n+1]、△Ｅv₂[n,n+1]、・・・、△Ｅv_J[n,n+1]を算出する。この処理を画像Ｐ[1]、Ｐ[2]、・・・、Ｐ[N]の隣接画像間の各々で行うことにより、△Ｔ[1,2]、△Ｅv₁[1,2]、△Ｅv₂[1,2]、・・・、△Ｅv_J[1,2]、△Ｔ[2,3]、△Ｅv₁[2,3]、△Ｅv₂[2,3]、・・・、△Ｅv_J[2,3]、・・・、△Ｔ[N-1,N]、△Ｅv₁[N-1,N]、△Ｅv₂[N-1,N]、・・・、△Ｅv_J[N-1,N]が算出される。なお、ここでは、画像Ｐ[1]、Ｐ[2]、・・・、Ｐ[N]が撮影日時の時系列順に並んでいることを前提としているが、そうでない場合には、この差分算出部５３Ｃの処理前に、各画像ファイルのＥｘｉｆタグに記録されている撮影日時を取得し、撮影日時の昇順に並べ替える処理を行っておく。

相関係数算出部５３Ｄは、各仮イベント特徴量について、隣接画像間における撮影時間間隔と仮イベント特徴量の変化量の組（△Ｔ[1,2], △Ｅv_j[1,2]）、（△Ｔ[2,3], △Ｅv_j[2,3]）、・・・、（△Ｔ[N-1,N], △Ｅv_j[N-1,N]）から、隣接画像間における撮影時間間隔と仮イベント特徴量の変化量の間の相関係数Ｒ_jを算出する。したがって、（△Ｔ[1,2], △Ｅv₁[1,2]）、（△Ｔ[2,3], △Ｅv₁[2,3]）、・・・、（△Ｔ[N-1,N], △Ｅv₁[N-1,N]）から相関係数Ｒ₁が算出され、（△Ｔ[1,2], △Ｅv₂[1,2]）、（△Ｔ[2,3], △Ｅv₂[2,3]）、・・・、（△Ｔ[N-1,N], △Ｅv₂[N-1,N]）から相関係数Ｒ₂が算出され、同様の処理が、（△Ｔ[1,2], △Ｅv_J[1,2]）、（△Ｔ[2,3], △Ｅv_J[2,3]）、・・・、（△Ｔ[N-1,N], △Ｅv_J[N-1,N]）から相関係数Ｒ_Jが算出されるまで繰り返され、結果的に、仮イベント特徴量毎にＪ個の相関係数Ｒ₁、Ｒ₂、・・・、Ｒ_Jが算出される。

イベント特徴量決定部５３Ｅは、仮イベント特徴量毎の相関係数Ｒ₁、Ｒ₂、・・・、Ｒ_Jのうち、最大のものＲ_Sを抽出し、これに対応する仮イベント特徴量Ｅv_S[1]、Ｅv_S[2]、・・・、Ｅv_S[N]を、各画像Ｐ[1]、Ｐ[2]、・・・、Ｐ[N]の各々についてのイベント特徴量に決定する。なお、本実施形態では、相関係数が最大となるもののみをイベント特徴量としたが、例えば、相関係数が高いものから順に所定の数だけイベント特徴量を選択し、選択された各イベント特徴量による分類結果をユーザが選択できるようにしてもよい。

グルーピング処理部５３Ｆは、各画像Ｐ[1]、Ｐ[2]、・・・、Ｐ[N]のイベント特徴量Ｅv_S[1]、Ｅv_S[2]、・・・、Ｅv_S[N]を、このイベント特徴量についての数直線上に配置し、隣接する２つの画像についてのこのイベント特徴量の大小に応じて画像を１以上のグループに分類する。具体的には、この数直線上での隣接画像間でのこのイベント特徴量の差が所定の閾値よりも大きい場合に、その隣接画像間にグループの境界を設けるようにして、分類を行う。このグルーピング処理の結果は、各画像と各グループを識別するグループ識別子とを対応づけて、（Ｐ[1], Group-1）、（Ｐ[2], Group-1）、（Ｐ[3], Group-2）、・・・、（Ｐ[N], Group-K）というようにして表すことができる。ここで、Group-k（k=1,2,...,K）はグループ識別子であり、この例では、画像Ｐ[1]からＰ[N]がＫ個のグループに分類されたことを表している。

ここで、上記のイベント特徴量を用いた分類の考え方について説明する。例えば、ある仮イベント特徴量Ｅv_j1[n]について、縦軸を仮イベント特徴量、横軸を撮影順とする座標平面上に、入力された複数の画像の各々についての仮イベント特徴量Ｅv_j1[n]（n=1,2,...,N）の時系列的な分布を表すと、図７（ａ）のように、連続する複数の画像毎にグループ（Ａ〜Ｅ）を形成したものとなったとすれば、この仮イベント特徴量Ｅv_j1[n]は、この入力画像をイベント毎に分類するのに好ましいものであると考えられる。一方、ある仮イベント特徴量Ｅv_j2[n]についても同様の時系列的な分布を表すと、図７（ｂ）のように、ランダムな分布になったとすれば、この仮イベント特徴量Ｅv_j2[n]は、この入力画像をイベント毎に分類するのには好ましいものではないと考えられる。上記の分類方法では、これらの分布パターンを識別するために、「画像間の撮影間隔が長いほど、その画像間でイベントが異なっている可能性が高い」ことを前提とし、入力画像を時系列に並べたときの隣接画像間における撮影間隔と仮イベント特徴量の差とが最も高い正の相関を示す仮イベント特徴量を、入力された複数の画像に表現されたイベント毎に分類するのに最適なイベント特徴量として選択し、選択されたイベント特徴量の分布に応じて、入力画像の分類を行っている。図７（ｃ）は、図７（ａ）の好ましい仮イベント特徴量Ｅv_j1[n]と、図７（ｂ）の好ましくない仮イベント特徴量Ｅv_j2[n]の各々について、前記の撮影間隔と仮イベント特徴量の差との間の相関関係を表したものである。図７（ｃ）に示したように、より好ましい仮イベント特徴量の場合に、前記の撮影間隔と仮イベント特徴量の差とは、より高い正の相関を示す。なお、図７（ａ）の場合、イベント特徴量Ｅv_j1[n]に応じた分類結果では、グループＢとＤは同一グループとなる。例えば、グループＢには去年の運動会の画像が含まれ、グループＤには今年の運動会の画像が含まれる場合、これらの２つのグループは、運動会という１つのグループに統合されて分類される。

次に、第２の分類条件である「撮影日付、撮影時刻」に基づく分類処理では、画像分類部５３は、入力された画像ファイルのＥｘｉｆタグに記録されている撮影日時を取得し、各画像の撮影日時を時間軸上に配置し、撮影日時が隣接する２つの画像についての撮影間隔の大小に応じて画像を複数のグループに分類する手法（特開２０００−１１２９９７号公報参照）、撮影日時が隣接する画像間の撮影間隔が所定の閾値よりも大きい場合にその画像の間をグループの境界とする手法（特開２００１−２２８５８２号公報）等を用いて、撮影日付、撮影時刻に基づく分類を行う。なお、入力された画像を、撮影日時のうちの撮影年月の値毎に、「２００６年１月」、「２００６年２月」というように単純に分類してもよい。また、例えば、「２００６年」等の撮影年のグループの中に「１月」、「２月」等の撮影月のグループを作成するなどして、階層的にグループ化してもよい。

第３の分類条件である「撮影場所」に基づく分類処理では、画像分類部５３は、入力された画像ファイルのＥｘｉｆタグに記録されている撮影場所を表すＧＰＳ情報（緯度・経度）を取得し、取得された各画像ファイルの緯度・経度を、縦軸を緯度、横軸を経度とする座標平面上にプロットしたものを画像（以下、プロット画像という）として捉え、プロット画像に対して膨張処理を行うことによって連結領域を形成し、連結領域に対してラベリング処理を行うことによってグループ化を行う（例えば、特開２００５−４９９６８号公報参照）。ここで、ＧＰＳ情報に基づいて分類された各グループには、「撮影場所１」「撮影場所２」というようなグループ名を付してもよいし、ＧＰＳ情報と地名を対応づける参照テーブルを予め用意しておき、各グループのＧＰＳ情報に対応する地名を参照テーブルから取得し、取得された地名をグループ名としてもよい。なお、この撮影場所による分類は、撮影時等に画像に対する付帯情報としてＧＰＳ情報が記録されていることが前提となっているので、分類対象の画像にＧＰＳ情報が付帯していない場合には、この分類条件による処理は行わない。

第４の分類条件である「人物」に基づく分類処理では、画像分類部５３は、入力された画像ファイルを順次読み込み、画像中の顔領域の検出を行い、さらに、検出された顔の類似性を判定し、類似する顔の画像をグループ化する。ここで、顔領域の検出は、AdaBoost等のマシンラーニングによって得られた識別器を用いた方法（例えば特開２００５−１０８１９５号公報）、顔の類似性の判定は、顔領域から抽出された目、鼻、口等の特徴点の位置、形状、サイズ等を表す特徴ベクトル（特徴量）を求め、各顔画像間での特徴ベクトルの統計的距離に基づいて顔画像のグルーピングを行う方法（例えば特開平０９−２５１５３４号公報）等の公知の技術を利用することが可能である。

以上のような画像分類部５３によって行われた分類の結果としては、画像ファイル名と、そのファイルが属するグループ名（フォルダ名）とが対応づけられたリスト形式のものが考えられる。

分類結果表示部５６は、画像分類部５３で行われた既定の分類条件による分類結果を表示部６に順次表示させる。図８は、分類結果を表示した分類結果表示画面の一例である。図に示したように、分類結果表示画面４１は、既定の分類条件に基づく複数の分類結果の表示を切り換えるための「分類結果ｎ」ボタン４１Ａ−n（n=1,2,3,4、図では、第３の分類条件「撮影場所」による分類が行われなかったため、分類結果が３つになった場合を示している）と、画像分類部５３によって分類されたフォルダを表示するフォルダ領域４１Ｂと、フォルダ領域４１Ｂにおいてユーザによって選択されたフォルダ内の画像ファイルを読み込んで、サムネイル画像を表示するサムネイル画像領域４１Ｃと、現在表示されている分類結果のタイトルを編集するための画面を表示させる「タイトルの編集」ボタン４１Ｄと、フォルダ領域４１Ｂにおいてユーザによって選択されたフォルダの名前を編集するための画面を表示させる「フォルダ名の編集」ボタン４１Ｅと、入力画像の分類方法を現在表示されている分類結果に対応するものに確定する「この分類結果に決定」ボタン４１Ｆと、画像分類メニューでの作業を終了する「終了」ボタン４１Ｇとから構成されている。

ここで、フォルダ領域４１Ｂには、分類結果のリストの各ファイルが属するフォルダ名の情報に基づいて、フォルダの分類の階層を視覚化した表示が行われる。

「タイトルの編集」ボタン４１Ｄに対するタッチが検出された場合には、タイトル編集画面が表示部６に表示される。タイトル編集画面は、定型的なタイトルからの選択を行うためのユーザインターフェースと、仮名やアルファベット等の文字ボタンを用いて自由にタイトルの入力を行うためのユーザインターフェースとを備えている。この画面で選択・入力されたタイトルは、分類結果表示画面４１の所定の領域に表示される。

ユーザがフォルダ領域４１Ｂに表示されているフォルダから、フォルダ名の変更を行いたいフォルダを選択してタッチした後、「フォルダ名の編集」ボタン４１Ｅにタッチした場合には、フォルダ名編集画面を表示部６が表示される。フォルダ名編集画面は、定型的なフォルダ名からの選択を行うためのユーザインターフェースと、仮名やアルファベット等の文字ボタンを用いて自由にフォルダ名の入力を行うためのユーザインターフェースとを備えている。この画面で選択・入力されたフォルダ名は、分類結果表示画面４１のフォルダ領域４１Ｂやサムネイル画像表示領域４１Ｃのフォルダ名の部分に反映される。

分類結果選択部５５は、分類結果表示画面４１の「この分類結果に決定」ボタン４１Ｆに対するタッチを検出し、そのタッチが行われた時に分類結果表示画面４１に表示されている分類結果と、それに対応する分類条件を特定する。

分類結果記録部５６は、分類結果選択部５５によって特定された分類結果に対応する分類結果リストをカードスロット４に装填されたメモリカード２に記録する。このとき、前記のタイトルの編集やフォルダ名の編集の内容も反映される。

次に、図６のフローチャートを用いて、本発明の実施形態となる画像分類処理の流れの概要について説明する。

ユーザが図３の初期画面で画像分類ボタン４０Ｂを選択すると、画像入力部５２が「メモリカードを装填してください」とのメッセージを表示部６に表示させ、ユーザが、メモリカード２をカードスロット４に装填すると、画像入力部５２は、装填されたメモリカード２から複数の画像の画像ファイルを読み込んでハードディスク２４に一時的に記憶させる（ステップＳ１）。

次に、分類条件取得部５２は、分類条件テーブルＴ１を参照し、登録されている既定の分類条件の１件目を取得する（ステップＳ２）。

画像分類部５４は、取得された第１の分類条件「イベント特徴量」に基づき、画像入力部５２で入力された画像を、前述の方法で、イベント特徴量の分布に応じて１以上のグループに分類する（ステップＳ３）。

１件目の分類条件に基づく画像分類処理が完了したら、分類条件取得部５３が再び分類条件テーブルＴ1を参照し、２件目の分類条件の取得を試み（ステップＳ４、Ｓ５；あり）、取得された第２の分類条件「撮影日付、撮影時刻」に基づき、画像入力部５２で入力された画像を、前述の方法で、撮影日付、撮影時刻が近似するものをグループ化する（ステップＳ３）。以下、同様にして、３件目の分類条件の取得（ステップＳ４、Ｓ５；あり）、第３の分類条件「撮影場所」に基づいた撮影場所の近似するものをグループ化する画像分類処理（ステップＳ３）、４件目の分類条件の取得（ステップＳ４、Ｓ５；あり）、第４の分類条件「人物」に基づいた顔の特徴量の近似するものをグループ化する画像分類処理（ステップＳ３）を行い、次の分類条件の取得（ステップＳ４）で該当なしとなり（ステップＳ５；なし）、次の処理へ移る。

次に、分類結果表示部５４が、上記の第１の分類条件による分類結果（分類結果１）を表した分類結果表示画面４１（図８参照）を表示部６に表示させる（ステップＳ６）。

ここで、ユーザは、必要に応じて、「分類結果２」ボタン４１Ａ−２、「分類結果３」ボタン４１Ａ−３にタッチして他の分類結果に表示を切り替えて比較検討を行ったり、「タイトルの編集」ボタン４１Ｄにタッチすることによって表示されるタイトル編集画面でタイトルの編集を行ったり、フォルダ領域４１Ｂの所望のフォルダと「フォルダ名の編集」ボタン４１Ｅにタッチすることによって表示されるフォルダ名編集画面でフォルダ名の編集を行ったりし、その後、「この分類結果に決定」ボタン４１Ｆにタッチすると（ステップＳ７；あり）、分類結果選択部５５が分類結果表示画面４１に表示されている分類結果、およびタイトル編集やフォルダ名編集の内容を特定し、分類結果記録部５６は、特定された分類結果のリストをメモリカード２に記録する（ステップＳ８）。

なお、ユーザが、分類結果表示画面４１において「終了」ボタン４１Ｇにタッチした場合には（ステップＳ７；なし）、整理結果の記録は行わずに、初期画面４０に戻る。

以上のように、本発明の実施形態となる、第１の分類条件「イベント特徴量」に基づく画像分類処理では、仮イベント特徴量展開部５３Ｂが、第１〜第Ｍ画像解析部５３Ａ−１〜Ｍにおける、複数の画像Ｐ[n]（n=1,2,...,N）に対する画像解析処理によって得られる複数の特徴量ｇ_m[n]（m=1,2,...,M, n=1,2,...,N）に基づいて画像毎の複数の種類の仮イベント特徴量Ｅv_j[n]（j=1,2,...,J, n=1,2,...,N）を取得し、相関係数算出部５３Ｄが、差分算出部５３Ｃによって算出された時系列的に隣接する画像Ｐ[n]とＰ[n+1]の間での仮イベント特徴量の変化量△Ｅv_j[n,n+1]（j=1,2,...,J, n=1,2,...,N-1）と、撮影時間間隔△Ｔ[n,n+1]（n=1,2,...,N-1）との間の相関係数Ｒ_j（j=1,2,...,J）を算出し、イベント特徴量決定部５３Ｅが、相関係数の値が最大となる仮イベント特徴量をイベント特徴量Ｅv_S[n]（n=1,2,...,N）として決定するので、このイベント特徴量Ｅv_S[n]は、画像入力部５１から入力された複数の画像Ｐ[n]に表現されたイベントの時系列的な変化を最もよく表すものとなる。したがって、グルーピング処理部５３Ｆが、複数の画像Ｐ[n]（n=1,2,...,N）におけるイベント特徴量Ｅv_S[n]（n=1,2,...,N）の値の分布に基づいて、複数の画像Ｐ[n]を分類することにより、分類対象の複数の画像の画像群としての特性に応じた、より適切な分類基準に基づくイベント毎の自動分類が実現される。

また、画像解析による特徴量ｇ_m[n]に、画像中の背景領域に対して画像解析処理を行うことによって得られる特徴量が含まれていたり、仮イベント特徴量に、この背景領域に関する特徴量に対してより大きい重みづけがなされた仮イベント特徴量が含まれていたりするので、その画像のイベントを表現する可能性が高い背景領域の特性がより的確に反映されたイベント特徴量Ｅv_S[n]（n=1,2,...,N）に基づいて画像の分類を行うことにより、画像に表現されたイベントをより的確に反映した分類結果が得られる。

さらに、画像分類部５３が、分類条件テーブルＴ1に登録されている複数の分類条件に基づいて、複数パターンの分類処理を行い、分類結果選択部５５において、ユーザが複数の分類結果を選択できるようにしたので、ユーザの要求により合致した分類結果が得られる。

本発明の実施形態による画像分類装置を適用した注文受付装置の外観斜視図 本発明の実施形態による注文受付装置の構成を示す概略ブロック図 初期画面を示す図 本発明の実施形態による画像分類処理全体における主なデータの流れと機能ブロックを模式的に表した図 本発明の実施形態によるイベント特徴量に基づく画像分類処理における主なデータの流れと機能ブロックを模式的に表した図 本発明の実施形態による画像分類処理全体の流れを示すフローチャート 総合的特徴量の性質を示す図 分類結果表示画面の一例を示す図

符号の説明

１ 注文受付装置
２ メモリカード
４ カードスロット
６ 表示部
８ プリンタ
１０ ＤＩＣ
１２ ＣＰＵ
１４ システムメモリ
１６ メモリ制御部
１８ 入力部
２２ 入力制御部
２４ ハードディスク
２６ 表示制御部
３０ ネットワークインターフェース
４０ 初期画面
４１ 分類結果表示画面
５１ 画像入力部
５２ 分類条件取得部
５３ 画像分類部
５３Ａ−１〜Ｍ 第１〜第Ｍ画像解析部
５３Ｂ 仮イベント特徴量展開部
５３Ｃ 差分算出部
５３Ｄ 相関係数算出部
５３Ｅ イベント特徴量決定部
５３Ｆ グルーピング処理部
５４ 分類結果表示部
５５ 分類結果選択部
５６ 分類結果記録部

Claims (4)

1. 複数の画像の各々に対して複数の種類の画像解析処理を行うことによって得られる複数の特徴量のうちの１つの特徴量または２以上の特徴量の組合せからなる仮イベント特徴量を画像毎に複数取得する仮イベント特徴量取得手段と、
   該仮イベント特徴量取得手段によって取得された複数の前記仮イベント特徴量のうち、前記複数の画像を時系列に並べ替えた場合における隣接画像間での該仮イベント特徴量の変化量と、該隣接画像間での撮影時間間隔とが、所定の基準を満たす程度に高い正の相関を示すものを、前記複数の画像中のイベントを最もよく表すイベント特徴量として選択するイベント特徴量選択手段と、
   前記複数の画像における該イベント特徴量の値の分布に基づいて、前記複数の画像を分類する画像分類手段とを備えたことを特徴とする画像分類装置。
2. 前記画像解析処理を行うことによって得られる複数の特徴量が、画像中の背景領域に対して１種類以上の画像解析処理を行うことによって得られる１以上の特徴量を含むものであることを特徴とする請求項１記載の画像分類装置。
3. 複数の画像の各々に対して複数の種類の画像解析処理を行うことによって得られる複数の特徴量のうちの１つの特徴量または２以上の特徴量の組合せからなる仮イベント特徴量を画像毎に複数取得し、
   取得された複数の前記仮イベント特徴量のうち、前記複数の画像を時系列に並べ替えた場合における隣接画像間での該仮イベント特徴量の変化量と、該隣接画像間での撮影時間間隔とが、所定の基準を満たす程度に高い正の相関を示すものを、前記複数の画像中のイベントを最もよく表すイベント特徴量として選択し、
   前記複数の画像における該イベント特徴量の値の分布に基づいて、前記複数の画像を分類することを特徴とする画像分類方法。
4. コンピュータを、
   複数の画像の各々に対して複数の種類の画像解析処理を行うことによって得られる複数の特徴量のうちの１つの特徴量または２以上の特徴量の組合せからなる仮イベント特徴量を画像毎に複数取得する仮イベント特徴量取得手段と、
   該仮イベント特徴量取得手段によって取得された複数の前記仮イベント特徴量のうち、前記複数の画像を時系列に並べ替えた場合における隣接画像間での該仮イベント特徴量の変化量と、該隣接画像間での撮影時間間隔とが、所定の基準を満たす程度に高い正の相関を示すものを、前記複数の画像中のイベントを最もよく表すイベント特徴量として選択するイベント特徴量選択手段と、
   前記複数の画像における該イベント特徴量の値の分布に基づいて、前記複数の画像を分類する画像分類手段として機能させることを特徴とする画像分類プログラム。

Images