JP2008521133A - 分散ベースのイベント・クラスタリング - Google Patents

Abstract

画像分類手法では、複数のグループ化値が受信される。グループ化値はそれぞれ、関連した画像を有する。グループ化値の平均が算出される。平均に対する、グループ化値の分散尺度が計算される。グループ化閾値が分散尺度から判定される。グループ化閾値を超えるグループ化値は、グループ閾値として識別される。画像は、グループ境界に基づいて複数のグループに割り当てられる。

Description

本発明は、画像を自動分類するディジタル画像処理に関し、特に分散ベースのイベント・クラスタリングに関する。

ディジタル画像の急速な普及によって、画像をより簡単に取り出し、レビューし、アルバム化するために画像を分類する必要性が高まっている。手作業の分類は効果的であるが、画像の数が少なくない限り、手間がかかり、煩わしい。自動化手法が存在しているが、いくつかの制約（大量の処理資源を必要とするなど）を有する傾向にある。その結果、種々の自動化手法の適合性は、分類の特定の用途及びタイプによって変わってくる傾向にある。１つのタイプの分類は、イベントによるものである。

一部の自動化手法は、色、形状又はテクスチャに基づいて同様な画像特性を有するグループに画像を分割する。この手法は、イベントによる分類に用いることが可能であるが、その目的で用いる場合、本質的に難しい。Lim, J-Hらによる「Home Photo Content Modeling for Personalized Event-Based Retrieval, IEEE Multimedia, Vol. 10(4), Oct.-Dec. 2003, pp. 28-37」には、画像コンテンツを用いて、イベントによって画像を分類することが開示されている。

多くの画像にはメタデータ（すなわち、画像のグループ化を手助けするのに用いることが可能な関連非画像情報）が付随している。前述のメタデータの一例には、経時的データ（日付や時間など）や、地理データ（全地球測位システム（「GPS」）の地理的位置データなど）がある。前述のタイプのデータはイベントによってグループ化するうえで特に適している。イベントは時間的に制限され、通常、空間的に制限されるからである。ユーザは長い間、各画像をみて、年代順及び地理によってソートすることによって画像を手作業でグループ化してきている。Limらによる前述の論文には、画像コンテンツを用いた、イベントによる自動化画像分類において経時的データ及び地理データを用いることが示唆されている。

分散（標準偏差、分散、平均偏差、標本分散など）に関する尺度を用いてデータを分類する統計手法が周知である。

よって、データ（経時的データや地理データなど）のグループ化に分散ベースの手法を用いた単純かつ効率的な画像分類を提供することが望ましい。

本発明は特許請求の範囲によって規定される。本発明は、より広い局面では、複数のグループ化値が受け取られる画像分類方法を提供する。グループ化値はそれぞれ、関連した画像を有する。グループ化値の平均が算出される。平均に対する、グループ化値の分散尺度が計算される。グループ化閾値が分散尺度から判定される。グループ化閾値を超えるグループ化値は、グループ閾値として識別される。画像は、グループ境界に基づいて複数のグループに割り当てられる。

本発明の効果は、経時的データや地理データなどのデータのグループ化に分散ベースの手法を用いて単純かつ効率的な画像分類を達成する改良された方法、コンピュータ・プログラム及びシステムを提供することである。

本発明の実施例の以下の説明を、添付図面とともに解して参照することによって、本発明の前述並びに他の特徴及び目的と、それらを達成するやり方はより明らかになり、本発明自体はより深く分かるであろう。

方法では、個々のディジタル画像に関連した一組のグループ化値が受け取られ、平均される。平均に対する分散尺度が計算され、グループ化閾値が判定される。閾値を超えるグループ化値はグループ化境界として識別され、画像は、グループ化境界に基づいてグループに割り当てられる。

以下の記載では、本発明の一部の実施例をソフトウェア・プログラムとして説明する。前述のソフトウェアの均等物をハードウェアにおいても構成することが可能であることを当業者は容易に認識するであろう。画像操作のアルゴリズム及びシステムは周知であるため、本明細書は特に、本発明による方法の一部を構成するか、又は本発明による方法とより直接的に協調するアルゴリズム及びシステムに関する。それに関するか、特に示されていないか、又は本明細書及び特許請求の範囲記載の、画像信号を生成し、かつその他のやり方で処理するその前述のアルゴリズム及びシステム、並びにハードウェア及び／又はソフトウェアは、公知の前述のシステム、アルゴリズム、構成部分及び要素から選択することができる。以下の明細書に表す記載を前提とすれば、そのソフトウェア実現形態は全て、前述の技術分野において通常であり、当業者が通常理解している範囲内である。

本発明は、コンピュータ・ハードウェア、及びコンピュータ化された機器において実現することが可能である。例えば、方法を、ディジタル・カメラ内、ディジタル・プリンタ内、及びパソコン上で行うことが可能である。図９を参照すれば、本発明を実現するコンピュータ・システム１１０を示す。好ましい実施例を例証する目的でコンピュータ・システム１１０を示している。しかし、本発明は、示したコンピュータ・システム１１０に限定されない一方、ディジタル画像を処理する電子処理システム（ディジタル・カメラ、ホーム・コンピュータ、キオスク、小売又は卸売の現像においてみられるものなど）上や何れかのその他のシステム上で用いることができる。コンピュータ・システム１１０は、ソフトウェア・プログラムを受け取り、処理し、その他の処理機能を行う（本明細書ではディジタル画像プロセッサとも呼ぶ）マイクロプロセッサ・ベースの装置１１２を含む。ディスプレイ１１４は、ソフトウェアに関連したユーザ関連情報を表示するために、マイクロプロセッサ・ベースの装置１１２に電気的に、例えば、グラフィカル・ユーザ・インタフェースによって接続される。キーボード１１６も、ユーザがソフトウェアに情報を入力することを可能にするために、マイクロプロセッサ・ベースの装置１１２に接続される。入力用にキーボード１１６を用いることの代替策として、当該技術分野において周知の通り、ディスプレイ１１４上のセレクタ１２０を移動させ、セレクタ１２０がオーバレイするアイテムを選択するためにマウス１１８を用いることができる。

ソフトウェア・プログラムを通常含むコンパクト・ディスク読み取り専用メモリ（CD-ROM）１２４は、マイクロプロセッサ・ベースの装置１１２にソフトウェア・プログラムやその他の情報を入力する手段を提供するために、マイクロプロセッサ・ベースの装置に挿入される。更に、フロッピー（登録商標）・ディスク１２６は、ソフトウェア・プログラムも含むことができ、ソフトウェア・プログラムを入力するためにマイクロプロセッサ・ベースの装置１１２に挿入される。コンパクト・ディスク読み取り専用メモリ(CD-ROM)１２４又はフロッピー（登録商標）・ディスク１２６はあるいは、外部に配置されたディスク・ドライブ装置１２２に挿入することができる。ディスク・ドライブ装置１２２はマイクロプロセッサ・ベースの装置１１２に接続される。更に、マイクロプロセッサ・ベースの装置１１２は、当該技術分野において周知の通り、ソフトウェア・プログラムを内部に記憶するようプログラムすることができる。マイクロプロセッサ・ベースの装置１１２は、外部ネットワーク（ローカル・エリア・ネットワークやインターネットなど）へのネットワーク接続１２７（電話回線など）も有することができる。プリンタ１２８も、コンピュータ・システム１１０からの出力のハードコピーを印刷するために、マイクロプロセッサ・ベースの装置１１２に接続することができる。

画像は、パソコン・カード（PCカード）１３０を介してディスプレイ１１４上に表示することもできる。パソコン・カードは例えば、以前知られていたように、カード１３０内に電子的に実施されたディジタル化画像を含むPCMCIA（パーソナル・コンピュータ・メモリ・カード国際協会の技術仕様に基づいた）カードである。PCカード１３０は最終的には、ディスプレイ１１４上の画像の視覚表示を可能にするために、マイクロプロセッサ・ベースの装置１１２に挿入される。あるいは、PCカード１３０は、マイクロプロセッサ・ベースの装置１１２に接続された、外部に配置されたＰＣカード・リーダ１３２に挿入することが可能である。画像は、コンパクト・ディスク１２４、フロッピー（登録商標）・ディスク１２６又はネットワーク接続１２７を介して入力することもできる。ＰＣカード１３０、フロッピー（登録商標）・ディスク１２６又はコンパクト・ディスク１２４に記憶されたか、又はネットワーク接続１２７を介して入力された画像は何れも、種々のソース（ディジタル・カメラ（図示せず）やスキャナ（図示せず）など）から得られたことがあり得る。画像は、マイクロプロセッサ・ベースの装置１１２に接続されたカメラ・ドッキング・ポート１３６を介してディジタル・カメラ１３４から直接、又は、マイクロプロセッサ・ベースの装置１１２へのケーブル接続１３８を介してか、若しくは、マイクロプロセッサ・ベースの装置１１２への無線接続１４０を介してディジタル・カメラ１３４から直接入力することもできる。

出力装置は、変換の対象となっている最終画像を供給する。出力装置は、紙やその他のハードコピー・ベースの最終画像を供給するプリンタやその他の出力装置であり得る。出力装置は、最終画像をディジタル・ファイルとして供給する出力装置でもあり得る。出力装置は、最終画像をディジタル・ファイルとして供給する出力装置でもあり得る。出力装置は、アウトプット（印刷画像など）と、メモリ装置上のディジタル・ファイル（CDやDVDなど）との組み合わせを含むことも可能である。

本発明は、ディジタル画像を生成する複数のキャプチャ装置に用いることが可能である。例えば、図９は、画像キャプチャ装置が、カラー・ネガ上又はリバーサル・フィルム上にシーンをキャプチャする通常の写真フィルム・カメラであるディジタル現像システム、及びフィルム上の現像画像を走査し、ディジタル画像を生成するフィルム・スキャナ装置を表し得る。キャプチャ装置は、電子イメージャ（電荷結合素子やCMOSイメージャなど）を有する電子キャプチャ装置（図示せず）でもあり得る。電子キャプチャ装置は、電子イメージャから信号を受信し、信号を増幅し、ディジタル形式に変換し、画像信号をマイクロプロセッサ・ベースの装置１１２に送信するアナログ・ディジタル変換器／増幅器を有し得る。

マイクロプロセッサ・ベースの装置１１２は、快く見える画像を対象の出力装置又は媒体上に生成するようディジタル画像を処理する手段を備える。本発明は、ディジタル写真プリンタ及びソフト・コピー・ディスプレイに限定されないがそれらを含み得る種々の出力装置に用いることが可能である。マイクロプロセッサ・ベースの装置１１２は、快く見える画像が画像出力装置によって生成されるように全体の輝度、トーン・スケール、画像構造等を調整するようディジタル画像を処理するために用いることが可能である。本発明が前述の画像処理機能のみに限定されないことを当業者は認識するであろう。

ディジタル画像は、１つ又は複数のディジタル画像チャネル若しくは色成分を含む。各ディジタル画像チャネルは、2次元の画素アレイである。各画素値は、画素の物理的領域に対応する撮像キャプチャ装置によって受信される光の量に関する。色撮像アプリケーションの場合、ディジタル画像は多くの場合、赤色、緑色及び青色のディジタル画像チャネルから成る。動き撮像アプリケーションは、ディジタル画像系列とみなすことが可能である。本明細書記載のアプリケーションのディジタル画像チャネルに限定されないが、本明細書記載の何れのアプリケーションのディジタル画像チャネルにも本発明を適用することが可能であることを当業者は認識するであろう。ディジタル画像チャネルは、行及び列によって配置された2次元画素値アレイとして説明しているが、等しい効果で非直線アレイに本発明を適用することが可能であることを当業者は認識するであろう。処理された画素値によって元の画素値を置き換えるものとしてディジタル画像処理工程を後述していることは、元の画素値を保持しながら、処理された画素値によって新たなディジタル画像を生成するものとして同じ処理工程を説明することと機能的に同等である。

図９に示す汎用制御コンピュータは、コンピュータ読み取り可能記憶媒体に記憶されたプログラムを有するコンピュータ・プログラム・プロダクトとして本発明を記憶することが可能である。コンピュータ読み取り可能記憶媒体は例えば、磁気記憶媒体（磁気ディスク（フロッピー（登録商標）・ディスクなど）や磁気テープなど）、光記憶媒体（光ディスク、光テープやマシン読み取り可能バー・コードなど）、ソリッド・ステート電子記憶装置（ランダム・アクセス・メモリ（RAM）やリード・オンリ・メモリ（ROM）など）を含み得る。本発明の関連コンピュータ・プログラム実現形態は、オフラインのメモリ装置によって示されるコンピュータ・プログラムを記憶するために用いられる何れかの他の物理的な装置上又は媒体上に記憶することもできる。本発明を説明する前に、本発明を如何なる周知のコンピュータシステム（パソコンなど）にも利用することが可能であることに言及することによって、理解することが容易になる。

更に、本発明は、ソフトウェア及び／又はハードウェアの組み合わせで実現することが可能であり、物理的に接続されており、かつ／又は同じ物理的場所内にある装置に限定されない。図９に示す装置の１つ又は複数は、遠隔に配置することが可能であり、ネットワークを介して接続することが可能である。1つ又は複数の装置を、無線で（無線周波数リンクなどによって）、直接、又はネットワークを介して接続することが可能である。

本発明は、種々のユーザ・コンテキスト及びユーザ環境において用いることができる。例示的なコンテキストおよび環境として、卸売ディジタル現像（例示的な処理工程又は処理段階（フィルム撮影、ディジタル処理、焼付けなど）が関係する）、小売ディジタル現像（フィルム撮影、ディジタル処理、焼付け）、家庭向印刷（家庭で走査されるフィルム又はディジタル画像、ディジタル処理、焼付け）、デスクトップ・ソフトウェア（改良するために、又は単に変えるようディジタル・プリントにアルゴリズムを施すソフトウェア）、ディジタル・フルフィルメント（ディジタル画像入力（メディアから、又はウェブを介して）、ディジタル処理、及び画像出力（メディア上のディジタル形式、ウェブを介したディジタル形式、又はハードコピーのプリント上の印刷、キオスク（ディジタル入力又はスキャン入力、ディジタル処理、ディジタル出力又はハードコピー出力）、モバイル装置（例えば、処理装置、表示装置、又は処理命令を与えるための装置として用いることが可能なＰＤＡ若しくは携帯電話機）、及び、ワールド・ワイド・ウェブを介して提供されるサービスが挙げられるが、これらに限定されるものでない。

それぞれの場合では、本発明は、単独であっても、より大きなシステム・ソリューションの構成部分であってもよい。更に、ヒューマン・インタフェース（例えば、走査や入力、ディジタル処理、ユーザに向けた表示（必要に応じて）、ユーザ要求又は処理命令の入力（必要に応じて）、出力）はそれぞれ、同じであるか又は別々の装置及び物理的場所にあり得る。装置及び場所間の通信は、公衆ネットワーク接続若しくは専用ネットワーク接続経由であり得るか、又はメディア・ベースの通信であり得る。本発明の前述の記載と整合する場合、本発明の方法は完全自動であり得るか、ユーザ入力（完全に又は部分的に手作業である）を有し得るか、結果を受け入れる/拒否するためのユーザ・レビュー又は操作者レビューを有し得るか、又は、メタデータ（ユーザ供給されるか、測定装置（例えば、カメラ内の）によって供給されるか、若しくは、アルゴリズムによって判定され得るメタデータ）によって支援され得る。更に、アルゴリズムは、種々のワークフロー・ユーザ・インタフェース手法とインタフェースし得る。

本発明は、本明細書記載の実施例の組み合わせを含む。「特定の実施例」及び同様なものへの言及は、本発明の少なくとも１つの実施例に存在している構成を表す。「実施例」あるいは「特定の実施例」あるいは同様なものに対する別個の言及は、１つ又は複数の同じ実施例を必ずしも表す訳でない。しかし、前述の実施例は、明記していない限り、又は当業者に容易に分かるように、相互排他的でない。

画像分類手法では、画像は、グループに分類され、任意的には、サブグループに分類され、更に、サブセットに分類される。「サブグループ」及び「サブセット」の語は便宜上用いられる。あるいは、前述の分類は全て、「グループ」という語によって表すことが可能である。上記手法は、前述のグループそれぞれがイベント又はサブイベントを表す画像分類に特に適している。「イベント」という語は本明細書では、ユーザの主観的な意図によって認識されるものとしての重要な発生又は出来事として定義する。

上記手法は、個々の画像に関連しており、かつ／又は個々の画像から得られるグループ化値を用いて分類する。グループ化値は、メタデータを表すか、又は、メタデータから得ることが可能である。メタデータは、すなわち、画像とともに情報の転送を可能にする、特定のやり方で個々の画像に関連付けられた非画像情報である。例えば、メタデータは場合によっては同じファイル内に画像情報として備えられる。前述の情報の例として、日付、時間、フラッシュ発光、イルミナント・タイプ、レンズ焦点距離、GPSデータ、カメラ・タイプ、カメラ・シリアル・ナンバー及びユーザ名が挙げられる。

「グループ化値」は、数値形式で示すことが可能な何れかの種類の非画像情報を表し得る。上記手法は、イベントによって、多数の考えられる値を有し得る非画像情報（経時的データや地理データなど）を用いて画像をグループ化するうえで最も有利である。前述のデータは、基準との差、又はデータ内部の差を提供するものとして一般化することが可能である。

前述の差は、日付及び時間や、GPS地理座標などの設定された標準に対するものであり得る。差は、絶対的な基準に対するものでもあり得る。（便宜上、以下の説明の大半は、年代順及び／又は地理に基づいたグループ化値に関する。）例えば、１つ又はいくつかのカメラを任意の基準時間に同期化させることが可能である。同様に、特定のGPS座標組を、後の距離測定のために、任意の開始点として選択することが可能である。基準自体は、時間又は場所において固定されていなくてもよい。距離は、基準のカメラやその他の移動可能な構成に対するものであり得る。同様に、時間を、特定の基準時間、又は基準時間系列のうちの最も近いものとの差で測定することが可能である。例えば、画像は、別個に操作された複数のカメラによって供給することが可能である。移動可能な基準は、カメラのうちの指定された１つであり得る。この場合には、画像が他のカメラによってキャプチャされる場合に基準カメラは異なる絶対的な空間場所を有し得るものであり、その差は、別々の画像のキャプチャの時点における基準カメラとの間隔であり得る。

一組の画像内の差は、画像と、その組における１つ又は複数の他の近傍画像又はその他のかたちで関係している画像との差であり得る。好都合な差は、最も近い近傍との差、又は順序付けされた系列内の先行画像との差である。フィルム上に元々キャプチャされた画像からのメタデータは一般に、この情報を含む。ディジタル・カメラは通常、フィルム名を画像に順次割り当てる。内部の差の特定の例として、経過時間及び距離（先行画像との）が挙げられる。

上記方法では、グループ化値が受け取られ、平均される。グループ化値は一般に、関連画像ファイルとともに供給されるが、グループ化値と個々の画像とを関連付ける情報が喪失されていない場合に画像ファイルと分けることが可能である。

本明細書記載の実施例では、平均することによって算術平均が得られる。その他の「平均」（メジアンやモードなど）を特定の分散尺度及び特定の用途に適宜用いることが可能である。

グループ化値は任意的には、平均化に先行してスケーリング関数によってスケーリングされる。スケーリング関数は、可逆であり、減少している正の傾きを有する連続した数学関数である。その結果、スケーリング関数によって、わずかなグループ化値差が維持され、大きなグループ化値差が圧縮される。特定の用途のためのスケーリング関数は発見的に判定することが可能である。

グループ化値はヒストグラム内に配置することが可能である。スケーリング関数を用いてヒストグラムを修正して、スケーリングされたヒストグラムを得る。ヒストグラムを用いて、方法によって得られるグループの視覚的な確認をもたらすことが可能である。

グループ化値からの分散尺度の計算は、通常の統計的手順に従う。分散尺度は、特定の平均に対する一組の値の分散に関する統計的パラメータである。適切な分散尺度の例として、標準偏差、分散、平均偏差及び標本分散が挙げられる。

グループ化閾値は、分散尺度に対して設定される。例えば、分散尺度が標準偏差である場合、グループ化閾値は標準偏差の倍数である。特定の用途に適切なグループ化閾値は、例示的な画像組を用いて発見的に判定することが可能である。

グループ化閾値が判定された後、イベント閾値を超えるグループ化値がグループ化境界として識別され、画像は、前述のグループ化境界に基づいてグループに割り当てられる。例えば、特定の実施例では、予め選択された数の標準偏差を上回った数だけ、設定された平均から発散する時間差は何れもイベント境界とみなされ、画像は前述の境界によってグループ化される。更なるグループ化境界は、元のグループ化閾値のより大きな倍数である更なるグループ化閾値によって得ることが可能である。例えば、当初のグループ化閾値tを、kt、2kt…nktの標準偏差における更なるグループ化閾値とともに用いることが可能である。

この方法を行ううえで、選択されたスケーリング関数が、グループ化閾値未満に位置するグループ化値差を不明瞭にしておらず、グループ化閾値を超えるグループ化値の差を圧縮しており、よって、選択されたスケーリング関数が特定の画像組のグループ化値に適切であることを確認するよう、スケーリングされたヒストグラムを検査することが可能である。

次に図１、及び図４乃至５を参照すれば、特定の実施例では、画像はキャプチャ時間情報を用いてグループ化される。画像に関連したグループ化値が受け取られ（２００）、時間差ヒストグラムが作成され、時間差スケーリング関数（図８に示す）を用いて時間差ヒストグラムをマッピングして（２０２）、スケーリング関数（図５に示す）を得る。図５に示すように、平均が算出され（２０４）、スケーリングされた時間差の組の標準偏差が計算され（２０６）、イベント閾値が判定される（２０８）。（図５内のイベント閾値の右の、）イベント閾値を超える時間差は、イベント境界として識別される（２１０）。（図５内のイベント閾値の左の、）イベント閾値内の時間差に関連した画像は、イベント境界によって境界がつけられるグループに割り当てられる（２１２）。

この実施例は、別個に操作された、いくつかのカメラ（これらは全て、日付及び時間をメタデータとして画像とともに記録するが、別々のカメラ間のリアルタイムのクロック同期を欠いている）によってキャプチャされた画像をグループ化するのに特に有用である。この場合、1つ又は複数のカメラの時間／日付クロックにおけるわずかな誤差は、かなり長いイベントに基づいてグループ化を行うものでない。

イベント閾値は、共通の原点を備える時間基準に対する実際の（クロック）時間又は経過時間を用いてソーシャル・イベントのキャプチャされた画像の分類のために発見的に判定された。この判定には、約１５０組のコンシューマ画像が用いられた。各組は、コンシューマ・イベント（休暇、学校の行事、結婚式、卒業式、及び同様なものを含む）の、平均して約４０乃至８０枚の写真である。イベント閾値は、関数
イベント閾値=0.2+8.159e^{(-0.0002*（（標準偏差）^２）)}
に従うことが判定された。

上記関数をテスト・データから得て、種々の画像組におけるイベントをグループ化した。

次に図７を参照すれば、上記方法は、グループ化値が地理的である問題領域に適用可能である。グループ化はこの場合、画像キャプチャの時点における基準７０２からの、別個に操作されたカメラ７００の距離による。画像組例の場合のスケーリングされたヒストグラムは図５と同様である。水平軸（「グループ化値」とラベリングされている）は基準からの相対距離又は半径を表す。閾値は円７０４である。例えば、方法のこの実施例は、画像メタデータとしてGPS座標を記録することができる複数の携帯電話カメラやその他のモバイル・キャプチャ装置を用いて別々の撮影者によってキャプチャされた一組の画像のグループ境界を区切るために用いることが可能である。GPS座標は、基準場所又は基準ユーザからの距離に変えられる。画像は、中央の場所、又は基準ユーザに対する個々の撮影者のローミングに基づいてグループ化される。より具体的な例として、数名の観客が、種々の選手を報道範囲に含んでいるゴルフ・トーナメントの静止画像／ビデオ画像をキャプチャする。観客によってキャプチャされたピクチャ／ビデオは次いで、距離に基づいてグループ化することが可能である。利用可能な通信リンクによって、種々のグループに割り当てられる画像は自動的に共有することが可能である。その結果、観客は全て、トーナメント中に他の場所で起きている事を同時に視聴できることによって便益を受けることが可能である。上記方法の結果、グループ化された画像に示す場所は予め規定しなくてもよく、特に基準が移動可能な場合、トーナメントの間に変わり得る。

次に図６を参照すれば、上記方法は、グループ化値が時系列情報及び地理情報を含む問題領域に適用可能である。この場合、グループ化値は、画像キャプチャの時間系列における連続した画像間の距離（図６の矢印によって示す）である。グループは、画像６５２のグループのまわりの距離境界６５０によって画定され、前述のイベント境界と同等である。スケーリングされたヒストグラム、及び方法工程は、前述の実施例のものと同様である。表１は、画像の時間系列のグループ化値の例である。左の欄は、キャプチャされる画像の順序を表し、右の欄は画像iと画像i+1との間の距離を表す。

画像は、５番目の画像、６番目の画像、９番目の画像及び１０番目の画像の間のグループに分割される。図６はこれをグラフィカルに示す。対応するスケーリングされた距離ヒストグラムは図５と同様である。この実施例では、更なるグループ化閾値が、グループ化閾値によって規定されるグループ内のサブグループを規定する。

グループ化値は、画像コンテンツの尺度であり得る（画像コントラスト、ダイナミック・レンジや色特性など）。次に図１０を参照すれば、別の画像コンテンツ・ベースのグループ化値は、時系列に順序付けた画像のブロック・ヒストグラム差である。この場合、グラフの水平軸はブロック・ヒストグラム差を表す。ブロック・ヒストグラム差は、時系列に順序付けられた２つの連続した画像の差（又は相違点）である。イベント内の画像対間のブロック・ヒストグラム差はわずかである一方、イベント境界における画像対間の対応する差は比較的大きい。ブロック・ヒストグラム差を、別のやり方で順序付けされたデータに、又は順序付けされていないデータに用いることも可能である。

ブロック・ヒストグラム差は、ブロック・ヒストグラム類似性を１（又は、恒等元に関連した別の値）から減算した後の余りとして好都合に得られる。ブロック・ヒストグラム類似性を、当業者に知られているやり方（内容を本明細書及び特許請求の範囲に援用する、米国特許第6,351,556号明細書に開示された手順など）で判定することが可能である。

図１０の実施例では、ブロック・ヒストグラム差は式
ブロック・ヒストグラム差=1−Inter（R,C）
によって表される。ここで、Inter(R,C)は、ヒストグラム交差等式

である。 ここで、R及びCは、連続した２つの画像（基準画像及び候補画像それぞれとしても呼ばれる）であり、nは、ヒストグラム内のビンの数である。

図２及び図４を参照すれば、本発明の方法を反復的に用いて、先行して判定されたグループ又はサブグループを得ることが可能である。図２における算出（４０４）工程、計算（４０６）工程、判定（４０８）工程、識別（４１０）工程及び割り当て（４１２）工程は、２００だけ異なる参照番号を有する、図１の工程に対応する。図４は、イベント閾値３０２における画像３００の組の２つのイベント３０４、３０６へのグループ化、及びこれに続く、一イベント３０６のサブグループ化のサブイベントa（３０８）及びサブイベントb（３１０）へのサブグループ化を示す。

各反復は、画像の別のグループ化値組を用いることができる。（単純にするために、各反復によって得られるレベルは本明細書では「サブグループ」として表される。これは、そのレベルにおいて得られるグループが、先行して判定されたグループ内又はサブグループ内にあることを意味している。便宜上、サブグループ化を得るために用いるグループ化値は、プレフィックス「第２のグループ化値」）によって区別される。例えば、当初、上記方法を用いて画像を時間によってグループ化することが可能であり、次いで、前述のグループを距離によってサブグループ化することが可能である。同様に、グループ化値を時間及び／又は距離に関係付けることが可能であり、第２のグループ化値は、画像コンテンツのブロック・ヒストグラム差又は別の尺度であり得る。

表２は、画像組内のイベント及びサブイベントを検出するための種々の組み合わせの例を載せている。

表２では、「X(n)」は、種々のアルゴリズムを施す順序を表す。

上記方法は、他のグループ化手法、特に、先行して用いたものとは別の情報を用いるグループ化手法に用いることも可能である。例えば、上記方法を用いて、別の手法（ブロック・ヒストグラム・クラスタリングや2手段クラスタリング（内容をともに本明細書及び特許請求の範囲に援用する米国特許第6,606,411号明細書及び米国特許第6,351,556号明細書に開示されている）など）を用いた別のクラスタリング法が先行又は後続する時間差を用いて画像収集物のイベントを検出することが可能である。図３を参照すれば、ブロック・ヒストグラム・クラスタリングはクラスタリング手法の例（画像のコンテンツが解析され、画像が、その解析に応じてサブセット（グループ又はサブグループ）に割り当てられる）である。ブロック・ヒストグラム交差値は、画像対について判定される（５００）。ヒストグラム交差値が所定の差閾値を超えた場合にブロック・ベースのヒストグラムを相互に関係付けることが行われる（５０２）。

本発明の方法の実施例のフローチャートである。 本発明の方法の別の実施例のフローチャートである。 本発明の方法の更に別の実施例のフローチャートである。 図２の方法を用いた、画像のイベント及びサブイベントへの分類の図である。 一組の画像のグループ化値のスケーリングされたヒストグラム、並びに、ヒストグラム上に付した平均、標準偏差及びイベント閾値を示す図である。 グループ化値が、連続した画像間の距離である、図１の方法の実施例を用いた、イベントへの画像の分類の図である。 グループ化値が、基準からの距離である、図１の方法の実施例を用いた、イベントへの画像の分類の図である。 図５のスケーリングされたヒストグラムをもたらすのに用いるスケーリング関数の図である。 装置の実施例の線図である。 一組の画像のブロック・ヒストグラム差のスケーリングされたヒストグラム、並びに、ヒストグラム上に付した平均、標準偏差及びブロック・ヒストグラム閾値を示す図である。

Claims (28)

1. 画像分類方法であって、
   複数のグループ化値を受け取る工程であって、前記グループ化値がそれぞれ、関連した画像を有する工程と、
   前記グループ化値の平均を算出する工程と、
   前記グループ化値の分散尺度を前記平均に対して計算する工程と、
   前記グループ化値に適用可能なグループ化閾値を前記分散尺度から判定する工程と、
   前記グループ化閾値を超えるグループ化値をグループ境界として識別する工程と、
   前記グループ境界に基づいて複数のグループに前記画像を割り当てる工程とを備える方法。
2. 請求項１記載の方法であって、前記グループ化値は、時間差及び距離の少なくとも一方に基づいている方法。
3. 請求項２記載の方法であって、前記時間差又は前記距離が、系列内の近接画像に対する方法。
4. 請求項２記載の方法であって、前記時間差又は前記距離が全て、時間基準及び地理基準の少なくとも一方に対する方法。
5. 請求項４記載の方法であって、前記時間基準又は地理基準が、前記画像全てについて一定である方法。
6. 請求項１記載の方法であって、前記グループ化値がそれぞれの画像のキャプチャ中の移動可能な基準からの相対距離であり、前記移動可能な基準が、2つ以上の前記画像のキャプチャの時点で異なる絶対的な空間場所を有する方法。
7. 請求項６記載の方法であって、前記受け取る工程が、別個に操作された複数のカメラを用いて前記画像をキャプチャする工程を更に備える方法。
8. 請求項１記載の方法であって、前記受け取る工程が、別個に操作された複数のカメラを用いて前記画像をキャプチャする工程を更に備える方法。
9. 請求項８記載の方法であって、前記グループ化値が時間であり、前記カメラは、リアルタイムのクロック同期化がない方法。
10. 請求項８記載の方法であって、前記カメラの１つを移動可能な基準として指定する工程を更に備え、前記グループ化値それぞれは、個別の画像のキャプチャの時点での前記移動可能な基準との個別の前記カメラの間隔を表す方法。
11. 請求項１記載の方法であって、前記グループ化値がブロック・ヒストグラム差である方法。
12. 請求項11記載の方法であって、前記ブロック・ヒストグラム差が、時系列の近接画像に対する方法。
13. 請求項１記載の方法であって、前記平均が算術平均である方法。
14. 請求項１記載の方法であって、前記分散尺度が標準偏差である方法。
15. 請求項1記載の方法であって、前記画像はそれぞれ、第２のグループ化値を有しており、前記方法は、前記割り当てる工程に続いて、
    前記グループの1つ又は複数について、それぞれの前記画像の前記第２のグループ化値のグループ平均を算出する工程と、
    前記平均それぞれに対するそれぞれの前記第２のグループ化値の分散尺度を計算する工程と、
    前記それぞれの前記グループに適用可能な個別の第２のグループ化閾値を前記分散尺度それぞれから判定する工程と、
    それぞれの前記第２のグループ化閾値を超える前記第２のグループ化値をそれぞれの前記グループのサブグループ境界として識別する工程と、
    前記1つ又は複数のグループそれぞれの前記画像を、それぞれの前記サブグループ境界に基づいて複数のサブグループに割り当てる工程とを更に備える方法。
16. 請求項15記載の方法であって、前記グループ化値は、時間差及び距離の一方である方法。
17. 請求項１６記載の方法であって、前記第２のグループ化値は、前記時間差及び前記距離の他方である方法。
18. 請求項１６の方法であって、前記第２のグループ化値が画像コンテンツに基づいている方法。
19. 請求項１６記載の方法であって、前記第２のグループ化値がブロック・ヒストグラム差である方法。
20. 請求項１記載の方法であって、前記グループの1つ又は複数の前記画像のコンテンツを解析する工程と、前記グループの前記1つ又は複数の前記画像を前記解析する工程に応じてサブセットに割り当てる工程とを更に備える方法。
21. 請求項１記載の方法であって、前記平均の前記計算に先行して、前記グループ化値を差スケーリングする工程を更に備えており、相対的に大きな値が変えられ、相対的に小さな値が保持される方法。
22. 請求項１記載の方法であって、前記グループ化閾値が式
    イベント閾値=0.2+8.159e^{（-0.0002*（s＾2））}
    によって表され、
    ここで、
    eは自然対数であり、
    sは前記グループ化値の標準偏差である方法。
23. 請求項１記載の方法であって、前記分散尺度が標準偏差、分散、平均偏差、及び標本分散のうちの１つである方法。
24. 請求項１記載の方法であって、前記画像それぞれが、前記個別の画像のキャプチャの時点における地理基準又は時間基準との間隔を表すメタデータを有しており、前記計算する工程が前記メタデータを利用する方法。
25. 請求項１記載の方法であって、前記計算する工程は、時間差又は距離差ヒストグラムを作成する工程と、マッピング関数を前記ヒストグラムに適用する工程とを更に備える方法。
26. 画像分類方法であって、
    複数のグループ化値を受け取る工程であって、前記グループ化値がそれぞれ、関連した画像を有し、前記グループ化値がそれぞれ、個別の画像のキャプチャの時点での地理的基準又は時間基準からの間隔を表す工程と、
    前記グループ化値の算術平均を算出する工程と、
    前記グループ化値の標準偏差を前記平均に対して計算する工程と、
    前記グループ化値に適用可能なグループ化閾値を判定する工程であって、前記グループ化閾値が前記標準偏差の倍数である工程と、
    前記グループ化閾値を超えるグループ化値をグループ境界として識別する工程と、
    前記グループ境界に基づいて複数のグループに前記画像を割り当てる工程とを備える方法。
27. 画像分類用のコンピュータ・プログラム・プロダクトであって、前記コンピュータ・プログラム・プロダクトが、
    複数のグループ化値を受け取る工程であって、前記グループ化値がそれぞれ、関連した画像を有する工程と、
    前記グループ化値の平均を算出する工程と、
    前記グループ化値の分散尺度を前記平均に対して計算する工程と、
    前記グループ化値に適用可能なグループ化閾値を前記分散尺度から判定する工程と、
    前記グループ化閾値を超えるグループ化値をグループ境界として識別する工程と、
    前記グループ境界に基づいて複数のグループに前記画像を割り当てる工程とを行うためにコンピュータ・プログラムを記憶させたコンピュータ読み取り可能な記憶媒体を備えるコンピュータ・プログラム・プロダクト。
28. 画像分類装置であって、
    複数のグループ化値を受け取る手段であって、前記グループ化値がそれぞれ、関連した画像を有する手段と、
    前記グループ化値の平均を算出する手段と、
    前記グループ化値の分散尺度を前記平均に対して計算する手段と、
    前記グループ化値に適用可能なグループ化閾値を前記分散尺度から判定する手段と、
    前記グループ化閾値を超えるグループ化値をグループ境界として識別する手段と、
    前記グループ境界に基づいて複数のグループに前記画像を割り当てる手段とを備える画像分類装置。

Images