JP2008521354A - イベントによる複数段階画像クラスタリング - Google Patents

Abstract

レコードそれぞれに関連した、時間及び／又は場所などの特徴値に基づいてレコード系列をイベントに分類する方法において、連続したレコード間の特徴差が判定される。特徴差がランク付けされる。３つ以上の特徴差クラスタの系列が計算される。クラスタが、イベント間の間隔を表すそれぞれの特徴差の相対的尤度の降順に配置される。レコードは画像を含み得る。

Description

ピクチャ画像やその他のレコードは多くの場合、画像を取り出し、レビューし、アルバム化し、その他のやり方で操作するうえで便宜上イベントによって分類される。通常、これは手作業によって、又は自動化手法によって達成されている。特定の場合、画像やその他のレコードは、イベントをサブイベントに分割することによって更に分類されている。更なる分割が場合によっては実施される。

画像を分類する、現在知られており、利用されている手法は満足の行くものであるが、欠点がある。手作業の分類は効果的であるが、画像の数が少なくない限り、手間がかかり、煩わしい。自動化手法は存在しているが、いくつかの制約（一貫性、柔軟性及び精度を欠くために本質的に正確でないなど）を有する傾向にある。

一部の自動化手法は、色、形状又はテクスチャに基づいて同様な画像特性を有するグループに画像を分割する。この手法は、イベントによる分類に用いることが可能であるが、その目的で用いる場合、本質的に難しい。Lim, J-Hらによる「Home Photo Content Modeling for Personalized Event-Based Retrieval, IEEE Multimedia, Vol. 10(4), Oct.-Dec. 2003, pp. 28-37」には、画像コンテンツを用いてイベントによって画像を分類することが開示されている。

多くの画像にはメタデータ（すなわち、画像のグループ化を手助けするのに用いることが可能な関連非画像情報）が付随している。前述のメタデータの一例には、経時的データ（日付や時間など）や、地理データ（全地球測位システム（「GPS」）の地理的位置データなど）がある。前述のタイプのデータはイベントによってグループ化するうえで特に適している。イベントは時間的に制限され、通常、空間的に制限されるからである。ユーザは長い間、各画像をみて、年代順及び地理によってソートすることによって画像を手作業でグループ化してきている。Limらによる前述の論文には、画像コンテンツを用いてイベントによって自動化画像分類における時系列データ及び地理データを用いることが示唆されている。

A.Loui及びE.Pavieによる「A method for automatically classifying images into events」と題する西暦２００３年８月１２日発行の米国特許第6,606,411号明細書、及びA.Loui及びE.Pavieによる「A method for automatically comparing content of images for classification into events」と題する西暦２００２年２月２６日発行の米国特許第6,351,556号明細書には、2手段イベント・クラスタリング・アルゴリズムを用いてイベントによって画像コンテンツをクラスタリングすることが開示されている。2手段イベント・クラスタリングは、時間コンテンツ及び画像コンテンツを用いて画像をグループ化する。

2手段アルゴリズムは、イベント境界を２つの一般的な工程で設定する。まず、組が、画像間の時間差に基づいてイベントに分割される。画像が次いで、イベント境界を越えて比較され、イベントが必要に応じてマージされる。イベント境界が上記手順によって設定されると、イベントをサブイベントに更に分割するために更なる工程が行われる。イベント検出と同様に、この処理は、複数の工程を伴い、画像コンテンツ及び日付・時間を考慮する。しかし、２つの情報源の役割が反対にされる。アルゴリズムはまず、隣接画像のコンテンツを比較し、サブイベント境界を仮にマーキングする。前述のサブイベントが次いで、日時情報に対して確認され、境界がリアルタイム差と合わない場合、マージされる。

前述の参考文献によって開示されている2手段アルゴリズムは、まずまずの、又は良好な結果をもたらし得るが、広範囲の検査によって、その一貫性の問題が明らかになった。画像組は、大きな時間差を有していた場合、前述の値によってずれさせられ、その結果、発見されるイベントが少なくなることが多かった。最も極端な場合には、単一の画像を加えることによって、他のイベント全ての検出が妨げられた。この一貫性の問題は欠点である。

よって、比較的一貫して、かつ比較的低いエラー・レートで大きな画像収集物を自動的に分類し、ソートすることが可能な自動クラスタリング方法、コンピュータ・プログラム、及び装置を提供することが望ましい。

本発明は、特許請求の範囲によって規定する。本発明は、より広い局面では、レコードそれぞれに関連した、時間及び／又は場所などの特徴値に基づいてレコード系列をイベントに分類する方法を提供する。上記方法では、連続したレコード間の特徴差が判定される。特徴差がランク付けされる。３つ以上の特徴差クラスタの系列が計算される。クラスタが、イベント間の間隔を表すそれぞれの特徴差の相対的尤度の降順に配置される。レコードは画像を含み得る。

比較的一貫して、かつ比較的低いエラー・レートで大きな画像収集物を自動的に分類し、ソートすることが可能な改良された自動クラスタリング方法、コンピュータ・プログラム、及び装置が提供されることが本発明の効果である。

本発明の実施例の以下の説明を、添付図面とともに解して参照することによって、本発明の前述並びに他の特徴及び目的と、それらを達成するやり方はより明らかになり、本発明自体はより深く分かるであろう。

上記方法では、レコードのデータベースは、レコード間の特徴値差がイベント間の間隔を表す別々の相対的尤度に基づいて複数の別々のクラスタおよび残りに分類される。

以下の記載では、本発明の一部の実施例をソフトウェア・プログラムとして説明する。前述のソフトウェアの均等物をハードウェアにおいても構成することが可能であることを当業者は容易に認識するであろう。レコードは、画像及び画像系列に関して概括的に表す。それ自体での、又は、画像及び画像系列との何れかの組み合わせでの他のタイプのレコードは、同様に扱われるが、適当な出力差を得るために修正される。出力は、クラスタリング結果を反映する情報の通信によって供給することが可能である。

画像操作のアルゴリズム及びシステムは周知であるため、本明細書は特に、本発明による方法の一部を構成するか、又は本発明による方法とより直接的に協調するアルゴリズム及びシステムに関する。それに関するか、特に示されていないか、又は本明細書及び特許請求の範囲記載の、画像信号を生成し、かつその他のやり方で処理するその前述のアルゴリズム及びシステム、並びにハードウェア及び／又はソフトウェアは、公知の前述のシステム、アルゴリズム、構成部分及び要素から選択することができる。以下の明細書に表す記載を前提とすれば、そのソフトウェア実現形態は全て、前述の技術分野において通常であり、当業者が通常理解している範囲内である。

本発明は、コンピュータ・ハードウェア、及びコンピュータ化された機器において実現することが可能である。例えば、方法を、ディジタル・カメラ内、ディジタル・プリンタ内、及びパソコン上で行うことが可能である。図２を参照すれば、本発明を実現するコンピュータ・システム１１０を示す。好ましい実施例を例証する目的でコンピュータ・システム１１０を示している。しかし、本発明は、示したコンピュータ・システム１１０に限定されない一方、ディジタル画像を処理する電子処理システム（ディジタル・カメラ、ホーム・コンピュータ、キオスク、小売又は卸売の現像においてみられるものなど）上や何れかのその他のシステム上で用いることができる。コンピュータ・システム１１０は、ソフトウェア・プログラムを受け取り、処理し、その他の処理機能を行う（本明細書ではディジタル画像プロセッサとも呼ぶ）マイクロプロセッサ・ベースの装置１１２を含む。ディスプレイ１１４は、ソフトウェアに関連したユーザ関連情報を表示するために、マイクロプロセッサ・ベースの装置１１２に電気的に、例えば、グラフィカル・ユーザ・インタフェースによって接続される。キーボード１１６も、ユーザがソフトウェアに情報を入力することを可能にするために、マイクロプロセッサ・ベースの装置１１２に接続される。入力用にキーボード１１６を用いることの代替策として、当該技術分野において周知の通り、ディスプレイ１１４上のセレクタ１２０を移動させ、セレクタ１２０がオーバレイするアイテムを選択するためにマウス１１８を用いることができる。

ソフトウェア・プログラムを通常含むコンパクト・ディスク読み取り専用メモリ（CD-ROM）１２４は、マイクロプロセッサ・ベースの装置１１２にソフトウェア・プログラムやその他の情報を入力する手段を提供するために、マイクロプロセッサ・ベースの装置に挿入される。更に、フロッピー（登録商標）・ディスク１２６は、ソフトウェア・プログラムも含むことができ、ソフトウェア・プログラムを入力するためにマイクロプロセッサ・ベースの装置１１２に挿入される。コンパクト・ディスク読み取り専用メモリ(CD-ROM)１２４又はフロッピー（登録商標）・ディスク１２６はあるいは、外部に配置されたディスク・ドライブ装置１２２に挿入することができる。ディスク・ドライブ装置１２２はマイクロプロセッサ・ベースの装置１１２に接続される。更に、マイクロプロセッサ・ベースの装置１１２は、当該技術分野において周知の通り、ソフトウェア・プログラムを内部に記憶するようプログラムすることができる。マイクロプロセッサ・ベースの装置１１２は、外部ネットワーク（ローカル・エリア・ネットワークやインターネットなど）へのネットワーク接続１２７（電話回線など）も有することができる。プリンタ１２８も、コンピュータ・システム１１０からの出力のハードコピーを印刷するために、マイクロプロセッサ・ベースの装置１１２に接続することができる。

画像は、パソコン・カード（PCカード）１３０を介してディスプレイ１１４上に表示することもできる。パソコン・カードは例えば、以前知られていたように、カード１３０内に電子的に実施されたディジタル化画像を含むPCMCIA（パーソナル・コンピュータ・メモリ・カード国際協会の技術仕様に基づいている）カードである。PCカード１３０は最終的には、ディスプレイ１１４上の画像の視覚表示を可能にするために、マイクロプロセッサ・ベースの装置１１２に挿入される。あるいは、PCカード１３０は、マイクロプロセッサ・ベースの装置１１２に接続された、外部に配置されたＰＣカード・リーダ１３２に挿入することが可能である。画像は、コンパクト・ディスク１２４、フロッピー（登録商標）・ディスク１２６又はネットワーク接続１２７を介して入力することもできる。ＰＣカード１３０、フロッピー（登録商標）・ディスク１２６又はコンパクト・ディスク１２４に記憶されたか、又はネットワーク接続１２７を介して入力された画像は何れも、種々のソース（ディジタル・カメラ（図示せず）やスキャナ（図示せず）など）から得られたことがあり得る。画像は、マイクロプロセッサ・ベースの装置１１２に接続されたカメラ・ドッキング・ポート１３６を介してディジタル・カメラ１３４から直接、又は、マイクロプロセッサ・ベースの装置１１２へのケーブル接続１３８を介してか、若しくは、マイクロプロセッサ・ベースの装置１１２への無線接続１４０を介してディジタル・カメラ１３４から直接入力することもできる。

出力装置は、変換の対象となっている最終画像を供給する。出力装置は、紙やその他のハードコピーの最終画像を供給するプリンタやその他の出力装置であり得る。出力装置は、最終画像をディジタル・ファイルとして供給する出力装置でもあり得る。出力装置は、アウトプット（印刷画像など）と、メモリ装置上のディジタル・ファイル（CDやDVDなど）との組み合わせを含むことも可能である。

本発明は、ディジタル画像を生成する複数のキャプチャ装置に用いることが可能である。例えば、図２は、画像キャプチャ装置が、カラー・ネガ上又はリバーサル・フィルム上にシーンをキャプチャする通常の写真フィルム・カメラであるディジタル現像システム、及びフィルム上の現像画像を走査し、ディジタル画像を生成するフィルム・スキャナ装置を表し得る。キャプチャ装置は、電子イメージャ（電荷結合素子やCMOSイメージャなど）を有する電子キャプチャ装置（図示せず）でもあり得る。電子キャプチャ装置は、電子イメージャから信号を受信し、信号を増幅し、ディジタル形式に変換し、画像信号をマイクロプロセッサ・ベースの装置１１２に送信するアナログ・ディジタル変換器／増幅器を有し得る。

マイクロプロセッサ・ベースの装置１１２は、快く見える画像を対象の出力装置上又は出力媒体上に生成するようディジタル画像を処理する手段を備える。本発明は、ディジタル写真プリンタ及びソフト・コピー・ディスプレイに限定されないがそれらを含み得る種々の出力装置に用いることが可能である。マイクロプロセッサ・ベースの装置１１２は、快く見える画像が画像出力装置によって生成されるようにディジタル画像の全体の輝度、トーン・スケール、画像構造等を調整するようディジタル画像を処理するために用いることが可能である。本発明が前述の画像処理機能のみに限定されないことを当業者は認識するであろう、
ディジタル画像は、１つ又は複数のディジタル画像チャネル又は色成分を含む。各ディジタル画像チャネルは、2次元の画素アレイである。各画素値は、画素の物理的領域に対応する撮像キャプチャ装置によって受信される光の量に関する。色撮像アプリケーションの場合、ディジタル画像は多くの場合、赤色、緑色及び青色のディジタル画像チャネルから成る。動き撮像アプリケーションは、ディジタル画像系列とみなすことが可能である。本明細書記載のアプリケーションのディジタル画像チャネルに限定されないが、本明細書記載の何れのアプリケーションのディジタル画像チャネルにも本発明を適用することが可能であることを当業者は認識するであろう。ディジタル画像チャネルは、行及び列によって配置された2次元画素値アレイとして説明しているが、等しい効果で非直線アレイに本発明を適用することが可能であることを当業者は認識するであろう。

図２に示す汎用制御コンピュータは、コンピュータ読み取り可能記憶媒体に記憶されたプログラムを有するコンピュータ・プログラム・プロダクトとして本発明を記憶することが可能である。コンピュータ読み取り可能記憶媒体は例えば、磁気記憶媒体（磁気ディスク（フロッピー（登録商標）・ディスクなど）や磁気テープなど）、光記憶媒体（光ディスク、光テープやマシン読み取り可能バー・コードなど）、ソリッド・ステート電子記憶装置（ランダム・アクセス・メモリ（RAM）やリード・オンリ・メモリ（ROM）など）を含み得る。本発明の関連コンピュータ・プログラム実現形態は、オフラインのメモリ装置によって示されるコンピュータ・プログラムを記憶するために用いられる何れかの他の物理的な装置上又は媒体上に記憶することもできる。本発明を説明する前に、本発明を如何なる周知のコンピュータ・システム（パソコンなど）にも利用することが可能であることに言及することによって、理解することが容易になる。

更に、本発明は、ソフトウェア及び／又はハードウェアの組み合わせで実現することが可能であり、物理的に接続されており、かつ／又は同じ物理的場所内にある装置に限定されない。図２に示す装置の１つ又は複数は、遠隔に配置することが可能であり、ネットワークを介して接続することが可能である。1つ又は複数の装置を、無線で（無線周波数リンクなどによって）、直接、又はネットワークを介して接続することが可能である。

本発明は、種々のユーザ・コンテキスト及びユーザ環境において用いることができる。例示的なコンテキストおよび環境として、卸売ディジタル現像（例示的な処理工程又は処理段階（フィルム撮影、ディジタル処理、焼付けなど）が関係する）、小売ディジタル現像（フィルム撮影、ディジタル処理、焼付け）、家庭向印刷（家庭で走査されるフィルム又はディジタル画像、ディジタル処理、焼付け）、デスクトップ・ソフトウェア（改良するために、又は単に変えるようディジタル・プリントにアルゴリズムを施すソフトウェア）、ディジタル・フルフィルメント（ディジタル画像入力（メディアから、又はウェブを介して）、ディジタル処理、及び画像出力（メディア上のディジタル形式、ウェブを介したディジタル形式、又はハードコピーのプリント上の印刷、キオスク（ディジタル入力又はスキャン入力、ディジタル処理、ディジタル出力又はハードコピー出力）、モバイル装置（例えば、処理装置、表示装置、又は処理命令を与えるための装置として用いることが可能なＰＤＡ若しくは携帯電話機）、及び、ワールド・ワイド・ウェブを介して提供されるサービスが挙げられるが、これらに限定されるものでない。

それぞれの場合では、本発明は、単独であっても、より大きなシステム・ソリューションの構成部分であってもよい。更に、ヒューマン・インタフェース（例えば、走査や入力、ディジタル処理、ユーザに向けた表示（必要に応じて）、ユーザ要求又は処理命令の入力（必要に応じて）、出力）はそれぞれ、同じであるか又は別々の装置及び物理的場所にあり得る。装置及び場所間の通信は、公衆ネットワーク接続若しくは専用ネットワーク接続経由であり得るか、又はメディア・ベースの通信であり得る。本発明の前述の記載と整合する場合、本発明の方法は完全自動であり得るか、ユーザ入力（完全に又は部分的に手作業である）を有し得るか、結果を受け入れる／拒否するためのユーザ・レビュー又は操作者レビューを有し得るか、又は、メタデータ（ユーザ供給されるか、測定装置（例えば、カメラ内の）によって供給されるか、若しくは、アルゴリズムによって判定され得るメタデータ）によって支援され得る。更に、アルゴリズムは、種々のワークフロー・ユーザ・インタフェース手法とインタフェースし得る。

本発明は、本明細書記載の実施例の組み合わせを含む。「特定の実施例」及び同様なものへの言及は、本発明の少なくとも１つの実施例に存在している構成を表す。「実施例」あるいは「特定の実施例」あるいは同様なものに対する別個の言及は、１つ又は複数の同じ実施例を必ずしも表す訳でない。しかし、前述の実施例は、明記していない限り、又は当業者に容易に分かるように、相互排他的でない。

方法は、個々の画像に関連した特徴値及び／又は個々の画像から得られた特徴値を用いて分類する。特徴値は、メタデータを表すか、又は、メタデータから得ることが可能である。メタデータは、すなわち、画像とともに情報の転送を可能にする、特定のやり方で個々の画像に関連付けられた非画像情報である。例えば、メタデータは場合によっては同じファイル内に画像情報として備えられる。前述の情報の例として、日付、時間、フラッシュ発光、イルミナント・タイプ、レンズ焦点距離、GPSデータ、カメラ・タイプ、カメラ・シリアル・ナンバー及びユーザ名が挙げられる。

「特徴値」は、特徴値のランク付けを可能にする序数形式で示すことが可能な何れかの種類の非画像情報を表し得る。特徴値は本明細書では数値として取り扱われる。特徴値が非数値の場合、イベント関連差に比例した数値への変換が使用中に実施される。画像タイプのレコード（画像であるか、又は画像を含むレコード）に適した各種の特徴値の一部の例として挙げられるのは、時間、日付、日時（日付及び時間）、場所、人々の存在、特定の個人の存在、シーン・タイプ、画像特性（彩度、種類又は色、及び輝度など）、及び前述のもののうちの2つ以上のものの組み合わせである。

上記手法は、イベントによって、多数の考えられる値を有し得る非画像情報（時系列データや地理データなど）を用いて画像をグループ化するうえで最も有利である。前述のデータは、基準との差、又はデータ内部の差を提供するものとして一般化することが可能である。特徴値は一般に、関連画像ファイルとともに供給されるが、特徴値と個々の画像とを関連付ける情報が喪失されていない場合に画像ファイルと分けることが可能である。

特定のデータベース内で特徴値が一意である場合、好都合である。そうでない場合、重複値のランク付けを可能にするようランク順序付け規則を設けることが可能である。ランク順序付け規則は、任意に、又は、更なる尺度（画像に関連した他のメタデータ）に基づいて重複値を順序付けることが可能である。重複値の相対的な割合が大きくない限り、重複特徴値の影響はクラスタリングに重要でない。その場合、特定の特徴を用いたクラスタリングは、実際のイベントとの相関度が高くないことがあり得る。クラスタリングに用いる特徴を変更することが望ましいことがあり得る。

ランク付けに用いる特徴値における前述の差は、日付及び時間や、GPS地理座標などの設定された標準に対するものであり得る。差は、絶対的な基準に対するものでもあり得る。（便宜上、以下の説明の大半は、年代順及び／又は地理に基づいた特徴値に関する。）例えば、１つ又はいくつかのカメラを任意の基準時間に同期化させることが可能である。同様に、特定のGPS座標組を、後の距離測定のために、任意の開始点として選択することが可能である。基準自体は、時間又は場所において固定されていなくてもよい。距離は、基準のカメラやその他の移動可能な特徴に対するものであり得る。同様に、時間を、特定の基準時間、又は基準時間系列のうちの最も近いものとの差で測定することが可能である。例えば、画像は、別個に操作された複数のカメラによって供給することが可能である。移動可能な基準は、カメラのうちの指定されたものであり得る。この場合、基準カメラは、画像が他のカメラによってキャプチャされた場合に別々の絶対的な空間場所を有し得る。前述の差は、別々の画像のキャプチャの時点における基準カメラとの間隔であり得る。

一組の画像内の差は、画像と、その組における１つ又は複数の他の近傍画像又はその他のかたちで関係している画像との差であり得る。好都合な差は、最も近い近傍との差、又は順序付けされた系列内の先行画像との差である。フィルム上に元々キャプチャされた画像からのメタデータは一般に、この情報を含む。ディジタル・カメラは通常、フィルム名を画像に順次割り当てる。内部の差の特定の例として、経過時間及び距離（先行画像との）が挙げられる。

内部の差は、レコード全ての、又は所定のサイズのサブセットの平均に基づき得る。平均化は算術平均であり得る。他の「平均」（メジアンやモードなど）を適宜、用いることが可能である。

特徴は本明細書では概括的に、スカラーである（すなわち、特徴値が、１の次元を有する）ものとして記載する。特徴値は、より大きな次元を有し得る。例えば、好都合な特徴は、日時及び地理的距離のベクトルであり得る。より高い次元の特徴の場合、境界はいくかのやり方で選ぶことが可能である。例えば、ベクトルの成分をスケーリングし、単一のスカラー値に合成することが可能である。スカラー値は次いで、2手段クラスタリングのような手法を用いてスカラー特徴と同様にクラスタリングすることが可能である。別の手法では、スカラー特徴のクラスタリング手法を用いてベクトルの成分毎に、別個の境界を見つけることが可能である。ベクトル自体を次いで、成分群の和又は共通部分に基づいて分類することが可能である。例えば、時間差及び地理的距離のベクトルをかんがえてみる。２手段クラスタリングを用いて、イベントである可能性が高い時間差とイベントである可能性が低い時間差との間で境界を求める。同様な境界を、距離成分の２手段クラスタリングを用いて求める。時間差および距離のベクトルは次いで、成分のクラスタリングに基づいて分類される。ベクトルの両方の成分が、イベントである可能性が高いとみなされる場合、ベクトルは、イベントである可能性が高いとみなされ、さもなければ、ベクトルは、イベントとみなされる可能性が低いとみなされる。

特徴値は種々のレコードの類似度の尺度であり得る。例えば、画像の場合、画像コンテンツの類似度の特徴値は、画像コントラスト、ダイナミックレンジや色特性などの尺度に基づき得る。別の画像コンテンツ・ベースの特徴値は、時系列に順序付けられた画像のブロック・ヒストグラム差である。この場合、グラフの水平軸はブロック・ヒストグラム差を表す。ブロック・ヒストグラム差は、時系列に順序付けられた２つの連続した画像の差（又は相違点）の尺度である。イベント内の画像対間のブロック・ヒストグラム差はわずかである一方、イベント境界における画像対間の対応する差は比較的大きい。ブロック・ヒストグラム差を、別のやり方で順序付けされたデータに、又は順序付けされていないデータに用いることも可能である。

ブロック・ヒストグラム差は、ブロック・ヒストグラム類似性を１（又は、恒等元に関連した別の値）から減算した後の余りとして好都合に得られる。ブロック・ヒストグラム類似性を、当業者に知られているやり方（内容を本明細書及び特許請求の範囲に援用する米国特許第6,351,556号明細書記載の手順など）で判定することが可能である。

特定の実施例では、ブロック・ヒストグラム差は式によって表される。

ブロック・ヒストグラム差=1−Inter（R,C）
ここで、Inter(R,C)は、ヒストグラム交差等式である。

ここで、R及びCは、連続した２つの画像（基準画像及び候補画像それぞれとしても呼ばれる）であり、nは、ヒストグラム内のビンの数である。

やはり適切な、所定の閾値を用いた別のブロック・ヒストグラム差判定手法は、内容を本明細書及び特許請求の範囲に援用する米国特許第6,606,411号明細書に開示されている。

特徴値は任意的には、平均化に先行してスケーリング関数によってスケーリングされる。スケーリング関数は、可逆であり、減少している正の傾きを有する連続した数学関数である。その結果、スケーリング関数によって、わずかな特徴値差が維持され、大きな特徴値差が圧縮される。特定の用途のためのスケーリング関数は発見的に判定することが可能である。特徴値はヒストグラム内に配置することが可能である。スケーリング関数を用いてヒストグラムを修正して、スケーリングされたヒストグラムを得る。

上記方法は概括的には、本明細書及び特許請求の範囲において、データベース内のレコード全ての分類の意味合いで記載する。これが常にあてはまる訳ではない。例えば、一部のレコードを、クラスタリングから手作業で、又は自動的に除外することが可能である。上記方法は、既存のグループの代表的なレコードのグループ化にも関し得る。これに鑑みて、本明細書及び特許請求の範囲記載の方法に関して記載した「レコードのデータベース」の語は、特定の時点においてクラスタリングすることが可能なレコード組を表すものとみなし得る。特徴差はその組のレコード間のものである。前述のレコード組は、下にある物理レコード収集物又は論理レコード収集物と同じ対象を指しても指さなくてもよい。

図１は、上記方法の概要を示すフロー図である。ディジタル化レコードがコンピュータ・システムに入力される。コンピュータ・システムでは、本発明のソフトウェア・プログラムがディジタル化レコードを別個のカテゴリに分類する。レコードは特徴値順にランク付けされ（これが既に行われていない限り）、レコードが、分類のために得られる（１０）。レコードが画像であり、ランク付け特徴が、個別の画像のキャプチャの日時である実施例では、画像は時系列順にランク付けされる。

連続したレコード間の特徴値差（本明細書及び特許請求の範囲では「特徴差」としても表す）が次に判定される（２０）。例えば、これは、画像に関連したキャプチャ日付値間の時間差であり得る。特徴差は、ヒストグラムにおいて、又はその他のやり方でランク付けされる（３０）。ヒストグラムの例を図４に示す。この場合、特徴は時間であり、ヒストグラムの横座標は、分などの単位での時間差であり、ヒストグラムの縦座標は、示された時間差を有する画像の数である。画像は、黒くしたブロックによって示される。３つのクラスタ間の境界は破線８０によって示す。

ヒストグラムやその他のランク付けを、時間差スケーリング関数を用いてスケーリングして、スケーリングされたヒストグラムを得ることが可能である。スケーリングされたヒストグラムは元のヒストグラムに取って代わる。スケーリングによって、受け入れることができない情報喪失なしで圧縮することが可能な広い範囲の値を有する特徴差の操作がより便利になる。前述のヒストグラム例では、前述のスケーリングにより、小さな時間差を維持し、大きな時間差を圧縮しながら、全体の時間差範囲を削減することが可能になる。後の分類工程において圧縮がクラスタリングを変えないようにスケーリングを選択すべきである。

ランク付けされた特徴差は、クラスタリングされていない差の組を規定する。クラスタリングを次いで、イベント間の間隔を表す特徴差クラスタを、クラスタリングされていない差の組から分割する（４０）ことによって始める。これは、第１のクラスタと、特徴差のクラスタと残りとの間の第１の境界とを算出又は計算するものとして表すことも可能である。第１のクラスタにおける特徴差は、残りの特徴差よりもイベント間の間隔を表す可能性が高い。上記計算の特定の手順は、以下に詳細に記載する。

イベントは、レコードが基づいている情報におけるグループ化を反映する、レコードのグループ化である。例えば、画像キャプチャに関して用いる場合、「イベント」の語は本明細書及び特許請求の範囲では、画像キャプチャ装置のユーザの主観的な意図によって認識される重要な発生又は出来事として規定する。「境界」は、イベントである尤度が異なる２つのグループを隔てる特徴値差のヒストグラムやその他のランク付けにおける値レベルである。

境界は、第1のクラスタを規定することに加えて、次のクラスタ及び次の境界の算出（４０）のために、特徴差の残りを、クラスタリングされていない差の組として再規定する（５０）。（各算出工程（４０）は、本明細書において「段階」としても表す。）第２の境界は、第２のクラスタを規定し、次の反復のために、残りのクラスタリングされていない特徴差を、クラスタリングされていない差の組としてもう一度、再規定する（５０）。

図３を参照すれば、反復算出工程の結果は、イベント間であるそれぞれの時間差の相対的尤度の降順での、時間差の3つ以上の相互排他的なクラスタの系列である。すなわち、イベント間の間隔を表す尤度が最も大きい特徴差を有するクラスタが最初に算出される。次いで、第１のクラスタの特徴差が、クラスタリングされていない差の組から除外され、イベント間の間隔を表す尤度が2番目に大きい特徴差を有する次のクラスタが算出される。クラスタリングされていない差の組からのクラスタを順次分割してこの手順を繰り返すことが可能である。上記分割によって、イベント間の間隔を表すそれぞれの特徴差の相対的尤度の降順にクラスタが設けられる。

境界全てが算出された後に残っている最後のクラスタリングされていない差の組は、本明細書では最後の「クラスタ」としても表される。段階の全てが判定された後の残りの特徴差の最後のクラスタは、イベント間の間隔を表す可能性が最も低い特徴差群を表す、すなわち、最後のクラスタは、イベント内の特徴差の群である。最後のクラスタは、「非イベント」クラスタとしても表すことが可能である。

段階の算出は所定の反復数、又は停止基準に達するまで続く（６０）。適切な停止基準の例は、限度特徴差である。この場合、特徴差クラスタの計算は、限度特徴差に達するまで続く。これは、そのクラスタの算出に続いて、時間差の各クラスタの特徴差の範囲を確認することによって判定することが可能である。限度特徴差が求められた場合、クラスタは廃棄され、系列は、先行する反復に存在している特徴差クラスタに戻される。あるいは、前方手順を用いて同じ種類の判定を行うことが可能である。特定の実施例では、特徴差は時間差であり、限度特徴差（停止基準）は、８乃至６０分、又はより好ましくは１６分の範囲の最小持続時間である。（本明細書記載の時間は、示した値に丸めることによって得られる範囲を含む。）
停止基準は、ユーザの停止決定であり得る。例えば、ユーザ・インタフェースは、各段階の算出後にイベント編成を表示することが可能である。クラスタリングを検査した後に、ユーザは、より細かいイベント区別が要求されるかを決定することが可能である。より細かい区別が要求される場合、ユーザが満足するか、又は別の停止基準に達するまで更なる段階を算出することが可能である。

境界及びクラスタの算出は、米国特許第6,606,411号明細書記載の2手段イベント・クラスタリングをはじめとする各種の手順を用いて行うことが可能である。2手段イベント・クラスタリングでは、アルゴリズムが命名された2群Ｋ手段手順（すなわち、2手段）によって特徴差ベースのイベント間隔が実現される。2手段アルゴリズムでは、特徴差は、グループ手段からの分散が最小にされるように２つのグループに分割される。境界によって、２つのグループに分けられる。

境界及びクラスタの算出は、「VARIANCE-BASED EVENT CLUSTERING」と題する西暦2004年11月17日付け出願の米国特許出願第10／997,411号明細書に開示されているような分散ベースのイベント・クラスタリング・アルゴリズムを用いて行うことも可能である。分散ベースのアルゴリズムは、特徴差全ての平均及び分散尺度（標準偏差など）を算出し、前述の値に基づいて境界を判定する。特定数の標準偏差を超える値だけ組平均から発散する時間差は何れもイベントとみなされる。標準偏差（イベント閾値）の正確な数は、組の平均および標準偏差から算出される。特徴値からの分散尺度の計算は、通常の統計的手順に従う。分散尺度は、特定の平均に対する一組の値の分散に関する統計的パラメータである。適切な分散尺度の例として、標準偏差、分散、平均偏差及び標本分散が挙げられる。境界（米国特許出願第10／997,411号明細書記載のグループ化閾値と同等である）は、分散尺度に対して設定される。例えば、分散尺度が標準偏差である場合、境界は標準偏差の倍数である。特定の用途に適切な倍数は、例示的な画像組を用いて発見的に判定することが可能である。

上記方法は、階層型クラスタリングをはじめとする他のグループ化手法に用いることも可能である。

別々のグループ化手法を別々の段階に用いることが可能である。例えば、２手段クラスタリングを用いて第１のクラスタを計算し、次いで、分散ベースのクラスタリングを用いて、第２のクラスタを計算すること等が可能である。この手法の利点は、1つ又は複数の先行段階に、より速いが、より低精度の手法を用いることが可能であるが、後続段階に、より遅いが、より高精度の手法を用いることが可能である。これによって、全体の精度損失なくクラスタの全体の計算時間が削減される。この手法の別の利点は、段階毎に最も適切な手法を用いることが可能になることである。例えば、２手段クラスタリング手法の特性によって、分散ベースのクラスタリングよりも、大きな特徴差間の境界を求めることがよりふさわしくなり得る。別々の段階の手法の適切性は、画像データベースの検査によって発見的に判定することが可能である。

特徴差のクラスタリングに続いて、クラスタが指定される（７０）。指定によって、更なる使用、ユーザへの提示、更なる解析等の間の、データベース内のイベントの編成が定められる。イベントと最後のものとの間に特徴差を有するものとして最後のものを指定することができる以外は、特徴差のクラスタは全て、イベント内の特徴差の非イベント・クラスタとして指定することが可能である。あるいは、別々のクラスタ又はクラスタ組は、イベントとして、かつ、サブ分割（すなわち、サブイベントによってそれぞれのイベントが分割され、サブ・サブイベントによってそれぞれのサブイベントが分割される）等として指定することが可能である。単純なケースでは、各クラスタは別のレベル（イベント、サブイベント等）として指定される。あるいは、レベル毎のクラスタ数は、レベルに応じて、２つ以上であり得るものであり、かつ／又は、異なり得る。

特徴差のクラスタをどのようにして指定するかについての決定は、データベースの画像コンテンツ及び同様なデータベースの経験の解析に基づいて発見的に行うことが可能である。どのようにして指定するかについての決定は、ユーザによって、当初、又は、自動的に判定されるデフォールト指定の代わりに行うことも可能である。クラスタ自体は指定工程によって変更されないので、指定を変更することによって課される計算負荷はほとんどない。よって、ユーザは、最終的な決定を行う前に、特徴差のクラスタの指定を前後に種々のやり方で変更し、結果を見ることが可能にされ得る。

更なる解析を行うことが可能である。イベントの切れ目を検査することが可能である。例えば、画像データベースにおける各イベント内で、画像のコンテンツを解析して、クラスタリング解析によって規定されるようにイベント内に、時間的に隣接イベントに最も近い画像を保持すべきか否か、又は、隣接イベントを併せてマージすべきか否かを判定することが可能である。この種の解析の手順（前述のブロック・ベースのヒストグラム比較手順など）は知られている。レコードがイベントにグループ化された後、手順を用いて各イベント内で更にサブ分類することが可能である。前述のコンテンツ解析をこの目的で用いることが可能である。クラスタの前述の再指定は、利便性、及び課される計算負荷に応じて、更なる解析前後に行われ得る。

上記方法によって、レコードの別々のクラスタが、更なる解析において違ったふうに処理されることが可能になる。各クラスタはイベントである確率が同様なレコードを有しているので、更なる解析工程をその確率に合わせることが可能である。解析が画像クラスタ毎にカスタマイズされた場合、結果における精度の向上の機会が存在している。別々の段階の手法の適切性は、画像データベースの試験によって発見的に判定することが可能である。

例えば、米国特許第6,606,411号明細書には、２つのイベントにわたって複数の画像を比較することによってイベントの切れ目を検査する手法が開示されている。画像比較毎に、以下の工程を用いて、イベントをマージすべきか否かを決定する。

(a)大局ヒストグラム交差を大局閾値と比較する。閾値が満たされない場合、イベントはマージしない。さもなければ、工程bに続く。

(b)ブロック・ヒストグラム交差をブロック低閾値及びブロック高閾値と比較する。低閾値も高閾値も満たされない場合、イベントをマージしない。低閾値も高域値も満たされない場合、イベントをマージする。さもなければ、工程cに続く。

(c)３セグメント交差を３セグメント閾値と比較する。閾値が満たされた場合、イベントをマージする。さもなければ、工程dに続く。

(d)画像が上下左右にシフトされた場合に高交差値を求めて検査する。交差値が何れも高い場合、イベントをマージしない。さもなければ、高い交差値の方へ画像をシフトして、ステップbから繰り返す。

比較の各工程において行われたマージ決定は、特定の閾値によって変わってくる。よって、大局閾値、ブロック低閾値、ブロック高域値及び３セグメント閾値の値は、比較の結果に重大な影響を及ぼす。閾値値を減少させた場合、より多くの閾値が満たされ、より多くのイベントがマージされる。あるいは、閾値値を増加させた場合、より少ない閾値が満たされ、より多くのイベントが維持される。閾値の影響によって、イベント間の特徴差のクラスタに基づいたカスタム化の良好な目標になる。「最も可能性の高いイベント」のクラスタからの特徴差によって隔てられたイベントの境界を比較する場合に高閾値を用いることが可能である。同様に、「最も可能性の低いイベント」のクラスタからの特徴差によって隔てられたイベントを比較する場合に低閾値を用いることが可能である。このカスタム化によって、確率が最も高いイベント間隔のより多くを維持し、確率が最も低いイベント間隔のより多くをマージするためのイベント境界比較が可能になり得る。別々のクラスタの閾値の正確な値は経験的に選ぶことが可能である。

「VARIANCE-BASED EVENT CLUSTERING」と題する西暦2004年11月17日付け出願の米国特許出願第10／997,411号明細書には、場所情報に基づいてイベント境界を検証する方法が開示されている。上記方法は、特徴差の組の平均及び統計的ばらつきを求める工程と、イベント閾値関数からイベント閾値を計算する工程とを含む。平均からのばらつきがイベント閾値を超える特徴差はイベント差とみなされ、残りは非イベント差とみなされる。この手法を用いて、特徴差クラスタの複数の段階からの特徴差を、イベント間の間隔を表すよう考慮に入れるべきであるか否かを確認することが可能である。各クラスタの場所情報を分散ベースの手法によって解析することが可能であり、別々のイベント閾値関数をクラスタ毎に用いることが可能である。イベント閾値関数は、イベントの間隔を表すものとみなされる特徴差がどれであるかに影響を及ぼすので、高確率クラスタにおいてより多くのイベント境界を維持し、低確率クラスタにおけるより多くの境界をマージするために別々の関数をクラスタに対して選択することが可能である。

特定の実施例では、特徴値差をクラスタリング前に編集して、1つ又は複数の範囲の値内のものを除外する。この手法は、2手段クラスタリングのような特定のグループ化手法によって生成される段階の数を調節するのに有用であり得る。多くの小さい特徴差が省略される場合、より小さいクラスタについては、方法は、より多くの数の段階を識別することが可能である。あるいは、多くの大きな特徴差が省略される場合、より大きなクラスタについては、方法は、より少ない数の段階を識別することが可能である。日時特徴差を有する画像のデータベースによる前述の手法の試験によって、最小の持続時間より少ない時間差を除外するための編集が、より正確なクラスタ境界をもたらすことが示された。最小の持続時間に好ましい範囲は、２乃至２４分であった。更に好ましい最小持続時間は８分であった。

図５乃至図６を参照すれば、別々の、レコード（種々の画像組など）のデータベース間の均一性を促進するために、特定の実施例では、段階間隔（すなわち、境界）は、特定の目標範囲の方へシフトさせることが可能である。各段階の目標範囲は、上下の目標又は境界によって規定される。各範囲の下限は好都合には、次の段階の上限の役割を果たすことが可能である。目標範囲は、同様なレコード収集物を用いて発見的に判定される値に基づいて段階毎に設定することが可能である。類似度は、手作業で、又は画像コンテンツ解析若しくは同様なものを用いることによって判定することが可能である。特定の実施例では、目標範囲が以下の工程によって施される。

(a)境界を求める（図５乃至図６の参照番号８０）。

(b)目標範囲によって規定される段階の下限と、境界を比較する。

(c)境界が下限を上回る場合、結果を受け入れる。さもなければ、工程dに続く。

(d)段階の上限に等しい単一のシミュレーションされた特徴差（図６の参照番号９０）に加えて、特徴差組上の境界を再算出する。シミュレーションされた特徴差は、この算出の目的のためにだけ含まれ、意図された範囲の方へ境界をシフトするのに役立つ。

目標範囲の方へ境界をシフトすることは、ユーザ選択の代わりとして、自動的に行うことが可能であるか、又は、シフトされていない境界とともに示すことが可能である。

実験
上記方法の目的は、イベント間の間隔である類似した確率を有する時間差を集約することである。アルゴリズムは、実際のコンシューマ画像による試験により、この目的に対して評価された。12000を超える画像が、15人の参加者から収集された。各参加者は自分自身の画像をイベントに分類した。境界は、第３者の審査員によって後に検査され、少数の異常が修正された。組毎に生じたイベント判断は、図７におけるように、スケーリングされた時間に対してプロットされた。

画像の組は次いで、本明細書記載の複数段階方法によって別々の時間差範囲（段階）に分割された。各時間差範囲をイベント判断にマッピングして、段階の最初におけるイベントと段階の最後におけるイベントの比率を明らかにした。前述の値に基づいて、その段階においてイベントが発生するレートが算出された。例を図８に示す。各段階の線の傾きはイベント発生レートを表す。

イベント発生レートが、１５個の画像組それぞれにおける段階全てについて明らかになった。段階毎のレートは次いで、段階毎の大局イベント発生レートをもたらす画像組全てにわたって平均された。各段階は画像組にわたる同様なイベント確率を表すはずであるので、段階のイベント発生レートにおけるばらつきはほとんどないはずである。この仮説を試験するために、組発生レートと大局イベント発生レートとの間の差が等間隔で測定された（図９参照）。前述のエラー値を次いで、組全てにわたって平均して、その段階境界組の平均発生レート・エラーを求めた。

発生レート・エラーは、前述のように、複数段階方法の数多くの変形について算出された。推測されるように、結果に影響を及ぼす主な要因のうちの1つは、段階の数である。試験は、最小で1段階によって、かつ、最多の９段階によって実行された。結果として生じた発生レート・エラーを表１に示す。前述の試験の場合、段階目標値は、k（kは段階の数に等しい）手段の中心の間の中間点として算出された。

この試験からの段階境界の更なる実験によって、発生レート・エラーがイベント・クラスタリング特性に実際に関係していることが明らかになった。1つ又は2つの段階によって達成された高い発生レ―ト・エラーは、比較的低いイベント・クラスタリング品質につながる。イベント・クラスタリング特性は、3段階の場合、かなり良好であり、段階数とともに増加する。発生レート・エラー値によって示唆されるように、特性は約６段階においてピークに達し、更なる段階ではわずかに増加する。前述の結果に基づけば、最小で３つの段階が本願では好ましい。

発生レート・エラーの最小化を、特徴差のクラスタリングの停止基準として用いることが可能である。この場合、分類されるデータベースの段階の数は、同様なレコード・データベースの、又は分類されるデータベースからのレコードの標本の、発見的に判定された最小発生レート・エラーに対応する段階の数によって設定される。

方法の特徴を示すフローチャートである。 システムの実施例の線図である。 図１の方法における、クラスタへの分類を示す図である。 図１の方法の実施例における時間差のヒストグラムである（境界及びクラスタを示す）。 図１の方法の別の実施例における目標範囲の適用を示すヒストグラムである。 図１の方法の別の実施例における目標範囲の適用を示すヒストグラムである。 画像データベースの、総イベント対時間差の比率の実験的に判定されたプロットである。 段階をクラスタリングするための境界がスーパインポーズされている、図7と同じプロットである。 図７のデータの組発生レートと大局イベント発生レートとの間の差の、イベントに対する比率のプロットである。

Claims (30)

1. レコードの系列をイベントに、前記レコードそれぞれに関連した特徴値に基づいて分類する方法であって、
   連続した前記レコード間の特徴差を判定する工程と、
   前記特徴差をランク付けする工程と、
   前記特徴差の３つ以上のクラスタの系列を、イベント間の間隔を表すそれぞれの前記特徴差の相対的尤度の降順に計算する工程とを備える方法。
2. 請求項１記載の方法であって、前記降順において最低の前記クラスタにおけるそれぞれの前記特徴差がイベント内にあるものとして指定し、前記降順において最高の前記クラスタにおけるそれぞれの前記特徴差がイベント間にあるものとして指定する工程を更に備える方法。
3. 請求項２記載の方法であって、前記最低のクラスタと前記最高のクラスタとの間の１つ又は複数の中間クラスタにおける前記特徴差それぞれがイベント間にあるものとして指定する工程を更に備える方法。
4. 請求項３記載の方法であって、前記最高のクラスタにおけるそれぞれの前記特徴差とは違ったふうに前記中間クラスタの少なくとも１つにおけるそれぞれの前記特徴差を解析する工程を更に備える方法。
5. 請求項２記載の方法であって、前記最低のクラスタと前記最高のクラスタとの間の少なくとも中間クラスタにおけるそれぞれの前記特徴差がイベントのサブ分割であるものとして指定する工程を更に備える方法。
6. 請求項１記載の方法であって、所定の停止基準に応じて前記計算を停止する工程を更に備える方法。
7. 請求項１記載の方法であって、前記系列の前記計算中に、
   前記クラスタをユーザに反復して提示する工程と、
   前記提示それぞれに続いて前記計算をユーザが停止することを可能にする工程とを備える方法。
8. 請求項１記載の方法であって、前記計算が、別々のクラスタリング・アルゴリズムによって前記クラスタの少なくとも２つをクラスタリングする工程を更に備える方法。
9. 画像分類用のコンピュータ・プログラム・プロダクトであって、前記コンピュータ・プログラム・プロダクトが、請求項１記載の工程を行うためにコンピュータ・プログラムを記憶させたコンピュータ読み取り可能な記憶媒体を備えるコンピュータ・プログラム・プロダクト。
10. レコードの系列をイベントに、前記レコードそれぞれに関連した特徴値に基づいて分類する方法であって、
    連続した前記レコードの前記特徴値間の差を判定して特徴差を得る工程と、
    前記特徴差をランク付けして、クラスタリングされていない差の組を得る工程と、
    前記クラスタリングされていない差の組からの前記特徴差の複数のクラスタを順次分割する工程であって、前記クラスタが相互排他的であり、前記分割が、イベント間の間隔を表すそれぞれの前記特徴差の相対的尤度の降順で行われる工程を備える方法。
11. 請求項１０記載の方法であって、前記クラスタの少なくとも２つにおける前記特徴差それぞれがイベント間にあるものとして指定する工程を更に備える方法。
12. 請求項１０記載の方法であって、前記少なくとも２つのクラスタのそれぞれの前記特徴差を違ったふうに解析する工程を更に備える方法。
13. 請求項１２の方法であって、前記解析が、サブクラスタを計算する工程を更に備える方法。
14. 請求項１０記載の方法であって、前記クラスタのうちの第１の分割クラスタにおける前記特徴差それぞれがイベント間にあるものとして指定し、前記クラスタの少なくとも１つの他のクラスタにおける前記特徴差それぞれをイベントサブ分割として指定する工程を更に備える方法。
15. 請求項１０記載の方法であって、所定の停止基準に達するまで前記分割を続ける工程を更に備える方法。
16. 請求項１５記載の方法であって、前記停止基準が、所定の値のイベント発生レートである方法。
17. 請求項１５記載の方法であって、前記停止基準が限度特徴差である方法。
18. 請求項１７記載の方法であって、前記特徴差は時間差であり、前記限度特徴差は、８乃至６０分の範囲の最小時間差である方法。
19. 請求項１８記載の方法であって、前記限度特徴差が、１６分の最小時間差である方法。
20. 請求項１０記載の方法であって、前記分割は、2手段イベント・クラスタリング・アルゴリズム、及び分散尺度に基づいたクラスタリング・アルゴリズムの少なくとも一方を用いる工程を更に備える方法。
21. 請求項１０記載の方法であって、前記分割は、2手段イベント・クラスタリング・アルゴリズムを用いて前記クラスタの少なくとも１つを分割する工程、及び分散尺度に基づいた別のクラスタリング・アルゴリズムを用いて前記クラスタの少なくとも１つの別のクラスタを分割する工程を更に備える方法。
22. 請求項１０記載の方法であって、前記レコードはそれぞれ、単一の画像又は画像系列を有する方法。
23. レコードのデータベースをイベントに分類する方法であって、前記レコードはそれぞれ、関連した特徴値を有しており、前記特徴値は序数であり、1又は複数の次元を有しており、前記レコードは、それぞれの前記特徴値の順にランク付けされ、前記方法は、
    連続した前記レコード間の特徴値差を判定する工程と、
    前記特徴値差をランク付けして、クラスタリングされていない差の組を得る工程と、
    前記クラスタリングされていない差の組の前記特徴値差から境界を算出する工程であって、前記境界は、イベント間の間隔を表す可能性が比較的高い前記クラスタリングされていない差の組の前記差のクラスタを規定し、前記境界は、前記クラスタを除外するよう、前記クラスタリングされていない差の組を再規定する工程と、
    前記算出を少なくとも一度繰り返す工程とを備える方法。
24. 請求項２３記載の方法であって、前記算出は、２以上５以下の境界が得られるまで反復される方法。
25. 請求項２４記載の方法であって、前記特徴差は、時間差、場所の差、コンテンツ類似度の差、及び2つ以上のこれらの差の組み合わせ、のうちの１つである方法。
26. 請求項２３記載の方法であって、前記特徴差は、時間差及び場所の差のベクトルである方法。
27. 請求項２３記載の方法であって、所定の停止基準に達するまで前記分割が続く方法。
28. 請求項２７記載の方法であって、前記クラスタの少なくとも２つを違ったふうに解析する工程を更に備える方法。
29. 請求項２３記載の方法であって、前記クラスタのうちの第１の規定クラスタにおける前記特徴差それぞれがイベント間にあるものとして指定し、前記クラスタの全ての他のクラスタにおける前記特徴差それぞれがイベント内にあるものとして指定する工程を更に備える方法。
30. イベントに分割された画像ファイルのデータベースを、前記画像ファイルそれぞれに関連した日時情報に基づいて編成する装置であって、
    連続したレコード間の特徴差を判定する手段と、
    前記特徴差をランク付けする手段と、
    イベント間の間隔を表すそれぞれの前記特徴差の相対的尤度の降順に前記特徴差の3つ以上のクラスタの系列を計算する手段と、
    前記降順において最低の前記クラスタにおけるそれぞれの前記特徴差がイベント内にあるものとして指定し、前記降順において最高の前記クラスタにおけるそれぞれの前記特徴差がイベント間にあるものとして指定する手段とを備える装置。

Images