JP2004525471A

JP2004525471A - 再帰的ヒストグラムベクトル生成によるパレットに基づいたヒストグラムマッチング

Info

Publication number: JP2004525471A
Application number: JP2002590064A
Authority: JP
Inventors: ミロスラヴトラヤコヴィク
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-05-11
Filing date: 2002-05-07
Publication date: 2004-08-19
Also published as: KR20030066582A; US20020168106A1; WO2002093463A1; CN1462411A; US6865295B2; EP1393244A1

Abstract

第1のデータセットのヒストグラムベクトルを第2のデータセットの対応したヒストグラムベクトルと比較するヒストグラム比較プロセスが提供される。第1の及び第2のデータセットのヒストグラムベクトルは、選択された幾つかのヒストグラムクラスのヒストグラム値から形成される。これらの選択された幾つかのクラスは、最も高い頻度カウントを含む第1のデータセットのクラスである。第2のデータセットは、第1のデータセットの選択された幾つかのクラスのみを用いて特徴付けられ、他のクラスに属する値を有するデータ項目は、無視される。第2のデータセットに対応するパレットデータセットが作製され、ここで、第3のデータセットのデータ項目は、第1のデータセットの選択されたクラスに対する添字又は無視されたデータ項目に対するヌル添字に対応する。重複した領域に対応するヒストグラムは、第3のデータセットに基づいて循環的に決定される。第1の領域に対応するヒストグラムが与えられれば、第2の重複する領域のヒストグラムは、当該第2の領域にはあるが第1の領域にはない要素の添字の頻度カウントを増加させ、第1の領域にはあるが第2の領域にはない要素の添字の頻度カウントを減少させるだけで決定される。

Description

【技術分野】
【０００１】
本発明は、画像処理及びパターンマッチングの分野に関し、特に、その2つのデータセットの各々のヒストグラム特徴付けに基づいた2つのデータセットの比較に関する。
【背景技術】
【０００２】
データの組を特徴付けるために、ヒストグラムが一般的に使用されている。データの組の間の類似点は、多くの場合、データの各組における共通の値の出現の相対頻度を比較することによって決定されることができる。パターンマッチング、特に画像マッチングは、多くの場合、画像間の類似点を決定する又はより大きい画像内でターゲットオブジェクトを検索するために、ヒストグラム比較を含む。
【０００３】
ヒストグラムは、「クラス」又は「ビン」を有し、これは、特徴付けられているデータセット内のクラスの要素の数の頻度カウントを含む。各データ項目は、その値に基づいてクラスと関係しており、データセットの各データ値の出現は、関連したクラスの頻度カウントを増加させる。一部のヒストグラム構造においては、各データ項目は複数のクラスと関係していてもよく、データ項目の各出現に対して各クラスの頻度カウントが増加する。ここでは参照の簡単のため、各データ値は、単一のクラスと関係していると仮定されるが、これによって一般性が失われることはない。なぜなら、本発明の原理は、頻度カウントをクラスに割当てるのに用いられる技術に関係なく適用可能であるためである。
【０００４】
データセット中の異なったデータ値を分類するのに用いられるクラスの数が、一般に、ヒストグラムの識別機能即ち解像度を決定する。多くの異なったデータ値が同じヒストグラムクラスに割り当てられると、大幅に異なったデータ値を有するデータセットのヒストグラムが等価となる可能性があり、従って、区別が不可能となる可能性がある。反対に、異なったデータ値の各々が異なったヒストグラムクラスに割り当てられる場合、非常に近いが全く同じではないデータ値を有するデータセットのヒストグラムは、データセットが類似しているにも関わらず大きく異なることになる。通常、異なったデータ値を分類するために用いられるクラスの数は、実質的に異なるデータセット間で良い識別性を与えると共に実質的に類似したデータセットに類似した又は等しいヒストグラムを提供するように選択される。
【０００５】
従来のヒストグラム比較プロセスにおいては、ヒストグラム間の類似性の基準を提供するのに必要な時間はヒストグラムのクラスの数と比例し、領域のヒストグラムを計算する時間は領域のサイズと比例する。良い識別能力(即ち多数のクラス)を有するヒストグラム構造は、極端に長い処理時間を生じさせ得る。リアルタイムビデオ処理等の一部のアプリケーションにおいては、処理の速度がアプリケーションの実現可能性にとって極めて重要であり、多くの場合、ヒストグラムの識別能力を低減させる妥協が課される。
【０００６】
画像処理の分野における一般的なアプリケーションは、比較的大きい画像内での比較的小さいターゲット画像位置の検索である。このようなアプリケーションにおいて、より小さいターゲット画像を含む可能性があるより大きい画像内の領域の各々は、該領域の内容がターゲット内容に対応するかどうか決定するために評価される。本出願の状況において、ターゲットの内容に対してヒストグラムが作製され、このターゲットヒストグラムは、より大きい画像内のターゲットを含む可能性のある領域の各々に対応するヒストグラムと比較される。サイズNxMピクセルの画像とサイズnxmピクセルのターゲットを考える。画像は、ターゲットを含み得る(N-(n-1))x(M-(m-1))の領域を有する。典型的なアプリケーションでは、画像は、サイズが1024x1024ピクセルであってよく、ターゲットはサイズが100x100ピクセル未満であってよい。この例では、この画像は約100万の可能な領域を有し、これらの領域の各々についてヒストグラムが必要である。この潜在的に多数の評価すべき領域は、特にリアルタイム画像処理において、更に効果的なヒストグラム作製及びヒストグラム比較プロセスを必要とする。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、過剰な処理時間を必要とすることなくヒストグラム間の充分な識別性を可能にするヒストグラム比較プロセスを提供することである。本発明の他の目的は、ヒストグラムのクラスの数とは実質的に関係ない処理時間を有するヒストグラム比較プロセスを提供することである。本発明の他の目的は、ターゲットのサイズとは関係ないヒストグラム比較プロセスを提供することである。本発明の他の目的は、より大きいデータセットにおける重複した領域に対応するヒストグラムを評価するのに特に効率的であるヒストグラム比較プロセスを提供することである。
【課題を解決するための手段】
【０００８】
これらの及びその他の目的は、第1のデータセットのヒストグラムベクトルを対応する第2のデータセットのヒストグラムベクトルと比較するヒストグラム比較プロセスを提供することによって達成される。第1の及び第2のデータセットのヒストグラムベクトルは、選択された幾つかのヒストグラムクラスのヒストグラム値から形成され、これらの選択された幾つかのクラスは、最も高い頻度カウントを含む、第1のデータセットのクラスである。第2のデータセットは、第1のデータセットの選択された幾つかのクラスのみを用いて特徴付けられ、他のクラスに属する値を有するデータ項目は無視される。第2のデータセットに対応するパレットデータセットが作製され、ここで、第3のデータセットのデータ項目は、第1のデータセットの選択されたクラスに対する添字又は無視されたデータ項目に対するヌル添字に対応する。重複した領域に対応するヒストグラムは、第3のデータセットに基づいて循環的に決定される。第1の領域に対応するヒストグラムを与えられれば、第2の重複する領域のヒストグラムは、当該第2の領域にはあるが第1の領域にはない要素の添字の頻度カウントを増加させ、第1の領域にはあるが第2の領域にはない要素の添字の頻度カウントを減少させるだけで決定される。
【発明を実施するための最良の形態】
【０００９】
本発明は、添付の図面を参照して例示によってより詳細に説明される。
【００１０】
図面を通して、同一の参照番号は同一の又は対応する特徴又は機能を示す。
【００１１】
本発明は、2つのデータセットのヒストグラムに基づいた比較を提供し、特に、第1のデータセット又は第1のデータセットの近似を、より大きいデータセットの1つ以上の領域内で、又はデータセットのより大きい集合内の1つ以上のデータセット内で、検索するのに非常に適している。参照の簡単のため、第1のデータセットは、ターゲットデータセット又はターゲットと呼ばれる。画像処理の状況では、ターゲットは人の画像であってもよい。本発明によるヒストグラムに基づいた比較プロセスは、人々の集団のより大きい画像の中で前記の人の画像を見つけ出すために、若しくは、人々の異なった画像の群の中で前記の人の画像を見つけ出すために、又は、この2つの組合せで、用いられることができる。本発明は、画像をパラダイムデータセットとして用いて示されるが、当業者にはこの開示を鑑みれば明らかであるように、本発明は、値のクラスの出現の頻度(即ちヒストグラム)に基づいた、データのあらゆる組の比較に適用可能である。
【００１２】
図1は、値のアレイの例100を示し、これは、ターゲットである値のアレイ(図2の210)と比較されるべきデータセットに対応する。参照及び説明の簡単のため、本発明は、より大きい検索データセット内でより小さいターゲットデータセットを見つけ出すという状況で示される。しかし、上述のとおり、本発明は、ターゲットデータセットを一群の他のデータセット内で見つけ出すのに適用可能であり、各検索データセットは、ターゲットデータセットと同じサイズであってもよい。好適には、検索データセットは少なくともターゲットデータセットと同じ大きさであるが、当業者は、この比較が、ターゲットの1つ以上のより小さい部分をより小さい検索データセットの中で見つけ出すように構築されることができると理解するであろう。加えて、データセットは値の二次元のアレイである必要はなく、本発明の原理を用いると、一次元又は多次元のアレイもまた同等である。
【００１３】
検索アレイ100の各要素101は、a〜zの範囲内のデータ値を有するように示される。画像処理と関連して、これらのデータ値は、カラー値、輝度値、テクスチャ値等又はこれらの値の組合せに対応してもよい。例えば、2001年5月11日に出願のMiroslav Trajkovicの同時係属中の米国特許出願第09/854121号"Object tracking based on color distribution"(代理人整理番号US010238)は、参照によりここに組み込まれ、この出願は、合成データ値の使用が、データ項目(画像のピクセル)がグレーとは区別可能であれば色彩成分によって決定され、データ項目がグレーであるか又はグレーに近ければ明るさ成分によって決定されることを開示する。更に、色彩成分は、各データ項目の色相(カラー)及び彩度(白さ)の基準の組合せである。人口統計等の他の状況においては、データ値は、経済力の分類及び政治的所属等に対応してもよい。
【００１４】
図2は、ターゲットである値のアレイの例210を、検索アレイ100と同じである可能なデータ値(a〜z)の組を用いて示す。即ち、画像処理の状況では、ターゲットアレイ210の文字「a」は、検索画像100中の文字「a」を有するデータ項目と同じカラー値又は合成値に対応し、その逆も同じである。一般に、ターゲットと検索アレイとの両方のデータ項目の値を決定するのに同じプロセスが用いられる。
【００１５】
一般に、ターゲットデータセットは、可能なデータ値の数よりも少ない異なった値を含む。即ち、例えば、全ての可能なカラー値を含む画像はほとんどない。図2の例において、a〜zという26個の可能な値の範囲又はヒストグラムビンから、ターゲットは、9つの異なった値f、 a、 j、 b、 s、 d、 p、 g及びhを含む。ターゲットに対応するこれらの9つの値の各々のヒストグラムビン220の内容は230において示される。示されるように、データ値「a」はターゲット中に4回現れ、値「s」は3回現れ、値「d」及び「f」は2回現れ、そして、値「g」、「h」、「j」、「b」及び「p」は各1回現れる。ターゲットのヒストグラム表示の他の全てのヒストグラムビンは、ゼロの頻度カウントを含む。
【００１６】
本発明に従って、ターゲット中において「N」個の最も頻繁に出現するデータ値が識別される。この例では、Nは7と選択され、7つの最も頻繁に現れるデータ値は、a、 s、 d、 f、 g、 h及びjと識別される。同点の値は、N個の値に含めるために任意に選択される。即ち、文字g、h、j、b及びpは各々一回現れるが、7つのデータ値の選択を完了するのにはこれらの文字のうちのどの3つが選択されてもよい。
【００１７】
本発明は、カラー値のヒストグラムに基づいた画像処理及び画像のマッチングに特に適しているため、ターゲットデータセットのN個の最も頻繁に現れるデータ値は、ここで、ターゲットパレットと呼ばれる。図2の例において、ターゲットパレットは、値a、s、d、f、g、h及びjを含み、列240によって示されるように各々には一連の添字1〜7が割り当てられる。これらの添字240はベクトル250を形成するのに用いられ、これは、以下ではターゲットヒストグラムベクトル又はターゲットベクトルと呼ばれ、ターゲットの各パレット値の数を示す。即ち、ベクトルの第1の要素又は次元は、「a」のパレット値(パレット添字「1」)に対応し、第1の要素の値は4であり、これによって、ターゲットが値「a」の4つの出現を含むことを示す。同様に、第2の要素は、ターゲットが値「s」(パレット添字「2」)の3つの出現を含むことを示し、第3の要素は、ターゲットが値「d」(パレット添字「3」)の2つの出現を含み、同様に続くことを示す。ターゲットパレット及びベクトルのサイズがN (7)に限られているので、ターゲットに対応するヒストグラム230に含まれる値の一部(具体的にはb及びp)は、ターゲットパレットにおいても、ターゲットベクトルにおいても、表されないことに注意する。以下で示されるように、本発明の原理を用いてデータセットを比較する速度は、類似したデータセットを区別する能力であるNに実質的に依存する。Nの選択は、特定のアプリケーション及び速度と性能との間の適切な兼ね合いに依存する。画像処理アプリケーションにおいて、Nの値は、8及び16ビットという一般的なワードサイズ又はバイトとの互換性のため、一般的に7又は15である。
【００１８】
本発明に従えば、他のデータセット又はデータセットのサブセットとのターゲットの比較は、ターゲットヒストグラムベクトルを他のデータセット又はサブセットに対応するヒストグラムベクトルと比較することによって実行される。他のデータセット又はサブセットのヒストグラムベクトルとのターゲットヒストグラムベクトルの比較は、検索アレイ中のターゲットパレット値の出現に対応する「パレットアレイ」の使用によって容易になる。検索アレイ100の例において、 a、s、d、f、g、h又はjのパレット値の1つを含むアレイの各要素101は、パレットアレイにおいてそれぞれパレット指数1、2、3、4、5、6又は7により識別される。パレットアレイの他の全ての要素は、ゼロ又はヌルにセットされ、パレット値が検索アレイの対応する要素に含まれていないことを示す。図4は、図1の検索アレイ100の例に対応するパレットアレイ400を示し、以下で更に説明される。
【００１９】
図3は、本発明によるデータセット比較プロセスの流れ図の例を示す。310で、ターゲットヒストグラムは、ターゲットデータセットの各データ値の出現の数をカウントすることによって決定される。マッピングは、特定の値を、規定されたヒストグラムのクラス又はビンに対応するデータ値にマッピング又は量子化するように実行されてもよい。例えば、ヒストグラムクラスが連続的な範囲の値の整数値への分割に対応するならば、適当なヒストグラムクラス又はビンに対応する整数データ値を識別するために丸めこみ又は切捨てプロセスが適用される。
【００２０】
ターゲットパレットは、上記に示されるように、320において、N個の最も頻繁に出現するデータ値(ヒストグラムクラス)をターゲットデータセット内で識別することによって形成される。ターゲットパレットは、上記のとおり、ターゲットヒストグラムベクトルを330で形成し、340で、検索データセット中でターゲットパレット値の出現に対応するパレットアレイを作製するのに用いられる。
【００２１】
図4は、図1の検索アレイ100内の図2のターゲットパレット値の例(a、s、d、f、g、h及びj)の出現に対応するパレットアレイの例400を示す。それぞれ、図1の検索アレイ100の第1の列の最初の5つの要素はq、z、g、w及びsであり、図4のパレットアレイ400の第1列の最初の5つの要素は0、0、5、0及び2である。最初の2つの文字q及びzは、ターゲットパレット値の組の中にはなく、よって、パレットアレイ400は、第1の列の対応した最初の2つの位置にゼロ又はヌル値を含む。第3の文字gはターゲットパレット値の組の1つであり、そのパレット添字は5である。従って、パレットアレイ400の第1列の第3の要素は、添字値5である。同様に、第4及び第5の文字w及びsは、パレットアレイ値ゼロ(wはパレット値でない)及び2(sはターゲットパレットの第2の値である)にマッピングする。アルゴリズム的には、このプロセスは、
V_i,jがパレット値の1つであれば、
p_i,j＝mとなり、
そうでなければ、p_i,j=0となる
と規定される。ここで、V_i,jは、検索データセットのi,j位置のデータ項目の値であり(図1の100)、p_i,jは、パレットアレイの対応したi,jエントリの値であり、mは、検索値V_i,jに対応するパレット値の添字である。
【００２２】
画像内でのターゲットの検索は、画像パレット400を処理することによって実行される。画像パレット400において、図3のループ350〜380を介して、ターゲットヒストグラムベクトルに類似したヒストグラムベクトルを有する、ターゲットと同じサイズの領域が検索される。当業者に明らかであるように、ヒストグラムが異なったサイズについて正規化されるのであれば、ターゲットヒストグラムベクトルとはサイズが異なる領域が用いられてもよい。参照の簡単のため、以降では等しいターゲット及び領域サイズが仮定される。
【００２３】
ターゲットヒストグラムベクトルを作製するのに用いられるパレット値に対する添字は画像パレット400の各要素と関連しているので、検索データセットの領域のためのヒストグラムベクトルの作製には、検索データセットの領域に各添字が現れる回数の累算のみが必要である。例えば、パレット添字1の3回の出現、パレット添字2の1回の出現、パレット添字3の2回の出現(以下同様)を含む図4の領域410は、ヒストグラムベクトル(3,1,2,1,1,0,1)415を有する。同様に、領域420は、ヒストグラムベクトル(3,3,2,2,1,0,1)425を有する。パレットアレイの各ターゲットサイズの領域のためのヒストグラムベクトルは、図3の360で決定され、370でターゲットヒストグラムベクトルと比較される。好適には、2つのヒストグラムベクトルの間の類似点を決定するために以下の式が用いられる。
【数１】

ここで、各ヒストグラムベクトルにおいて、hRは領域のヒストグラムベクトルであり、hTはターゲットのヒストグラムベクトルであり、Nは長さ又は次元の数である。この例では、図4のベクトル415(3,1,2,1,1,0,1)の図2のターゲットベクトル250(4,3,2,2,1,1,1)との類似性は以下のとおりである。
S = min(3,4)+min(1,3)+min(2,2)+min(1,2)+min(1,1)+min(0,1)+min(1,1)
S = 3+1+2+1+1+0+1 = 9
【００２４】
ベクトル425(3,3,2,2,1,0,1)のターゲットベクトル250(4,3,2,2,1,1,1)との類似性は、以下の通りである。
S = min(3,4)+min(3,3)+min(2,2)+min(2,2)+min(1,1)+min(0,1)+min(1,1)
S = 3+3+2+2+1+0+1 = 12
【００２５】
これらの2つの類似性の基準に基づいて、領域420(ベクトル425に対応する)は、領域410よりもターゲットに類似していると決定される。この類似性の基準は、最大の可能な値に基づいて0〜1の範囲に正規化されることができ、これは、ターゲットヒストグラムベクトルhTの成分の合計である。この例では、最大値は14であり、従って、領域420は12/14即ち約0.86の正規化類似性基準を有する一方で、領域410についての約0.63の類似性基準を有すると決定される。
【００２６】
ヒストグラムベクトルが検索組又はパレット400の異なるターゲットサイズの領域の各々について決定されなければならないことに注意されたい。本発明の別の態様に従って、各領域のヒストグラムベクトルが、その直接隣にあるヒストグラムベクトルに基づいて決定される。例えば、図4において垂直方向に隣接したターゲットのサイズの領域450及び460を考える。ここで、領域460は破線によって規定される領域である。領域450のヒストグラムベクトルは、(1,1,0,2,0,1,1)である。領域460のヒストグラムベクトルは、領域450の第1行のピクセルの組(領域450内にあるが領域460内にはないピクセルに対応する)と関連する添字のベクトル値を減少させ、領域450の下の行のピクセルの組と関連する添字のベクトル値(領域460内にあるが領域450内にはないピクセルに対応する)を増加させることにより決定することができる。この例では、第7番目のパレットカラーのベクトル値は減少し、第4番目のパレットカラーのベクトル値は増加する。これにより、領域460のヒストグラムベクトル(1,1,0,2+1,0,1,1-1)=(1,1,0,3,0,1,0)を与える。同様に、他の領域に水平に隣接した領域のヒストグラムは、当該他の領域から「削除される」垂直列の添字のベクトル値を減少させ、当該他の領域に「追加される」垂直列の添字のベクトル値を増加させて水平に隣接した領域を形成することによって決定されることができる。このように、第1のターゲットのサイズの領域のヒストグラムベクトルを決定した後は、以降の各ヒストグラムベクトルは限られた数のインクリメント又はデクリメント動作によって決定されることができる。
【００２７】
図5-A及び5-Bは、本発明による検索アレイの重複した領域の検索ヒストグラムベクトルの再帰的決定の更なる効率向上を示す。この実施例は、特に、MMX技術を含むシステム等の、ベクトル演算を直接遂行するように構成されるシステムに適している。
【００２８】
ターゲット領域450の例は、図5-Aに示される。参照の簡単のため、添字i,jが、各要素の行(i)及び列(j)を識別するために用いられる。この領域の左上の添字i,jは、領域を識別するために用いられる。例えば、図5-Bの領域460は、領域450と同じ列(j)にあるが次に低い行(i+1)にある領域(i+1,j)であると識別される。
【００２９】
ヒストグラムベクトルh_hは、領域450の各行に対応して示される。ベクトルh_h(i,j) 451は、(i,j)で始まるターゲットのサイズの行に対応し、h_h(i+1,j) 452はその下の列に対応し、同様に続く。領域450のヒストグラムベクトル455は、各行ベクトルのベクトル和として示され、h_r(i,j)として識別される。
【００３０】
ヒストグラムベクトルh_r(i,j)が存在するとしたとき、領域460に対応するヒストグラムベクトルh_r(i+1,j)は、図5-Bにて示したように、この領域の一番上の行に対応するヒストグラムベクトルh_h(i,j)
451を減じて、領域450の下の行に対応するヒストグラムベクトルh_r(i+4,j) 464を追加することによって計算されることができる。アルゴリズム的には以下のとおりである。
【数２】

ここでwは、領域の行数である。単一のベクトルの加算及び減算が、当該領域の垂直サイズwとは関係なく領域に対応するヒストグラムベクトルの決定を提供することに注意されたい。ベクトルの加算及び減算の速度はベクトルの次元数に依存する。本出願においては、このベクトルの次元数は、パレット値の数である。パレット値の数は、上記で説明された類似性の基準の識別機能を決定し、従って、本発明に従えば、前記プロセスの速度は、本発明のヒストグラム比較プロセスの識別機能と直接関連する。
【００３１】
上記の式は、垂直列(j)の各領域に対応するヒストグラムベクトルを決定するために適用される。本発明の好適な実施例において、再帰的技術は、隣接した垂直列(j+1)を処理する際にも適用される。上記したように、水平行ベクトルh_hは、領域の垂直サイズからほぼ独立した時間で領域ヒストグラムベクトルを計算するために用いられる。同様に、各水平行ベクトルh_hは、領域の水平サイズからほぼ独立した時間で次のように決定される。
【数３】

ここでp(x,y)はパレットアレイのx,y位置のパレット添字値であり、mは領域の幅である。上記の式は、「C」言語で書かれたものであり、隣接した(i,j+1)ヒストグラムベクトルを前の(i,j)ヒストグラムベクトルに等しく設定することと、ヒストグラムベクトルのp番目のベクトル要素を増加させる(ここでpは、領域(i,j)の行の最後の水平要素に直接隣接したパレットアレイ要素(i,j+m)の内容である)ことと、ヒストグラムベクトルのp番目のベクトル要素を減少させる(ここでpは、領域(i,j)の行の最初のパレットアレイ要素(i,j)の内容である)こととに対応する。このように、各行ベクトルh_hを決定するのには、領域の水平サイズmに関係なく単一のインクリメント及びデクリメント動作のみが必要である。
【００３２】
行ベクトルのこの再帰的決定の例が、図4の破線の輪郭472内で要素(0-1-6-1)についての行ベクトルの決定と関連して示されており、これは、領域450の第2のパレット行(4-0-1-6)と直接隣接している。この第2のパレット行(4-0-1-6)に対応する行ベクトル452(1,0,0,1,0,1,0)が、図5-Aに示される。前の隣接した行の行ベクトル452から行472に対応するベクトルを決定するために、ベクトル値は、最初に前のベクトル452(1,0,0,1,0,1,0)と等しく設定される。次に、追加されたパレット要素(「1」)のパレット値に対応するベクトル要素473が増加させられ(1+1,0,0,1,0,1,0)、除去されたパレット要素(「4」)474に対応するベクトル要素が減少させられ(1+1,0,0,1-1,0,1,0)、所望の要素行(0-1-6-1)472に対応するベクトル(2,0,0,0,0,1,0)が形成される。この決定には前の行の最初及び最後のプラス1パレット値のみが必要であるため、この単一のインクリメント及びデクリメントプロセスは要素行の幅に関係なく適用可能であることに注意されたい。
【００３３】
この開示を鑑みて当業者に明らかであるように、ターゲット及び検索データセットを形成している2次元(i,j)アレイとは別の構造について、類似した式が導出可能である。例えば、1次元(線形)アレイは、jの一定(単一)値に対応し、直前に説明された隣接した水平の再帰的決定は、単独で用いることができる。このため、各ヒストグラムベクトルを決定するのに単一のインクリメント及びデクリメント動作を必要とする。
【００３４】
本発明は、好適には、画像及びベクトルプロセッサ等の補助ハードウェア要素が処理システムにより制御される処理システム上で実行可能であるコンピュータプログラムとして実施される。他の実施例は、当業者に明らかである。例えば、パレットアレイ400は、ターゲットベクトル及び第1の領域ベクトルをも決定するソフトウェアルーチンによってメモリ中に作製されてもよい。プログラマブルゲートアレイ等の「アプリケーション特定」集積回路は、ターゲットベクトルを領域ベクトルと比較し、上記で規定された再帰的アルゴリズムを適用して以降の領域ベクトルのそれぞれを決定し、各領域が評価されるまでプロセスを繰り返して、メモリを「ステップスルーする」ように構成されることができる。
【００３５】
前述は、単に本発明の原理を示すのみである。よって、当業者が、ここに明示的に説明され又は示されてはいないが本発明の原理を実現しているため請求項の精神及び範囲内にある種々の構成を設計することが可能であることは理解されるであろう。
【図面の簡単な説明】
【００３６】
【図１】検索アレイの例に対応する値のアレイの例を示す。
【図２】ターゲットとなる値のアレイの例及び本発明によるターゲットヒストグラムベクトルの形成を示す。
【図３】本発明によるアレイ比較プロセスの流れ図の例を示す。
【図４】本発明による、検索アレイ中のターゲットパレット値の出現に対応するパレットアレイの例を示す。
【図５−Ａ】本発明による検索アレイの重複した領域における検索ヒストグラムベクトルの再帰的決定の例を示す。
【図５−Ｂ】本発明による検索アレイの重複した領域における検索ヒストグラムベクトルの再帰的決定の例を示す。

Claims

2つのデータセットを比較する方法において、
- 第1のデータセットの値の分布に対応する第1のヒストグラムを決定するステップと、
- 前記第1のデータセットにおける異なった値の特定の数に対応する複数のパレット値を決定するステップと、
- 前記第1のヒストグラムに対応する第1のヒストグラムベクトルを決定するステップであって、
前記第1のヒストグラムベクトルは、前記複数のパレット値の中のパレット値に各々が対応する要素を有する、ステップと、
- 第2のデータセットの中で前記複数のパレット値に対応する値を識別するステップと、
- 前記第2のデータセットの前記値に対応する第2のヒストグラムベクトルを決定するステップと、
- 前記第1のヒストグラムベクトルを前記第2のヒストグラムベクトルと比較するステップと、
を有する方法。
請求項1に記載の方法において、前記第2のヒストグラムベクトルを決定するステップは、前に決定されたヒストグラムベクトルと、前記前に決定されたヒストグラムベクトルには含まれるが前記第2のヒストグラムベクトルには含まれない要素と、前記第2のヒストグラムベクトルには含まれるが前記前に決定されたヒストグラムベクトルには含まれない要素とに基づいた前記第2のヒストグラムベクトルの再帰的決定を含む、方法。
請求項2に記載の方法において、前記再帰的決定は、
- 1つ以上の行ベクトルを、対応する1つ以上の前の行ベクトルに基づいて決定するステップと、
- 前記第2のヒストグラムベクトルを、前記前に決定されたヒストグラムベクトル及び前記1つ以上の行ベクトルに基づいて決定するステップと、
を含む、方法。
請求項1に記載の方法において、前記第1のデータセットはターゲット画像の第1のピクセル値に対応し、前記第2のデータセットはソース画像の第2のピクセル値に対応する、方法。
請求項4に記載の方法において、前記第1のピクセル値及び前記第2のピクセル値は、各ピクセルの色相成分、彩度成分及び明るさ成分の少なくとも1つに対応する、方法。
請求項1に記載の方法において、前記複数のパレット値は、前記第1のヒストグラム中で前記第1のデータセット中の他の値よりも高い頻度カウントを有する前記第1のデータセットの値に対応する、方法。
請求項1に記載の方法において、異なった値の前記特定の数は、前記第1のデータセットの可能な異なった値の最大数よりも実質的に小さい、方法。
請求項1に記載の方法において、前記第1の及び第2のデータセットの値を複数のヒストグラムクラスにマッピングするステップを更に含み、前記各パレット値は、前記複数のヒストグラムクラスのヒストグラムクラスに対応する、方法。
請求項1に記載の方法において、
前記第2のデータセットの値を識別するステップは、
- 前記複数のパレット値の中のパレット値の各出現を識別する前記第2のデータセットに対応するパレットデータセットを作製するステップを含み、
前記第2のヒストグラムベクトルを決定するステップは、
- 前記パレットデータセットの各パレット値の出現のカウントを与えるステップを含む、
方法。
請求項1に記載の方法において、
- 前記第2のデータセットは、前記第2のデータセットと重なる第3のデータセットを含む、より大きいデータセットのサブセットであり、
- 前記第3のデータセットは第3のヒストグラムベクトルを有し、
- 前記第2のヒストグラムを決定するステップは、
- 前記第2のヒストグラムベクトルを前記第3のヒストグラムベクトルと等しくするステップと、
- 前記第3のデータセットには含まれるが前記第2のデータセットには含まれないパレット値の前記第2のヒストグラムベクトルを減少させるステップと、
- 前記第2のデータセットには含まれるが前記第3のデータセットには含まれないパレット値の前記第2のヒストグラムベクトルを増加させるステップと、
を含む、
方法。
請求項10に記載の方法において、
- 第1の中間ベクトルが前記第2のデータセットに含まれない前記第3のデータセットの1つ以上のセグメントについて決定され、
- 第2の中間ベクトルが前記第3のデータセットに含まれない前記第2のデータセットの1つ以上のセグメントについて決定され、
- 前記第2のヒストグラムベクトルを減少させるステップは、前記第1の中間ベクトルを減じるステップを含み、
- 前記第2のヒストグラムベクトルを増加させるステップは、前記第2の中間ベクトルを加えるステップを含む、
方法。
請求項1に記載の方法において、
- 前記複数のパレット値に対応する複数のデータセットの値の各々を識別するステップと、
- 前記複数のデータセットの前記値に対応する複数の他のヒストグラムベクトルを決定するステップと、
- 前記第1のヒストグラムベクトルを前記複数のヒストグラムの各々と比較するステップと、
- 前記第1のヒストグラムベクトルを前記第2のヒストグラムベクトル及び前記複数のヒストグラムベクトルの各々と比較することに基づいて、前記第1のデータセットと最も類似した前記複数のデータセットの選択された1つを識別するステップと、
を更に含む方法。
処理システムによって実行されると、
- 第1のデータセットの値の分布に対応する第1のヒストグラムを作製する動作と、
- 前記第1のデータセットにおける異なった値の特定の数に対応する複数のパレット値を決定する動作と、
- 前記第1のヒストグラムに対応する第1のヒストグラムベクトルを決定する動作であって、
前記第1のヒストグラムベクトルは、前記複数のパレット値の中のパレット値に各々が対応する要素を有する、動作と、
- 第2のデータセットの中で前記複数のパレット値に対応する値を識別する動作と、
- 前記第2のデータセットの前記値に対応する第2のヒストグラムベクトルを決定する動作と、
- 前記第1のヒストグラムベクトルを前記第2のヒストグラムベクトルと比較する動作と、
を実行するように構成されるコンピュータプログラム。
請求項13のコンピュータプログラムにおいて、

- 前記複数のパレット値に対応する前記複数のデータセットの各々の値を識別する動作と、
- 複数のヒストグラムベクトルを決定する動作であって、前記各ヒストグラムベクトルは前記複数のデータセットの各々の前記値に対応する、動作と、
- 各ヒストグラムベクトルと関連した比較基準を決定するために前記第1のヒストグラムベクトルを各ヒストグラムベクトルと比較する動作と、
- 前記選択されたデータベースを各ヒストグラムベクトルと関連した前記比較基準に基づいて識別する動作と、
を実行することにより、前記複数のデータセットの各々との前記ターゲットの類似性に基づいて、前記第2のデータセットを含む複数のデータセットのうちの選択されたデータセットを識別するように更に構成されるコンピュータプログラム。
請求項14に記載のコンピュータプログラムにおいて、前記第1のデータセットはターゲット画像の第1のピクセル値に対応し、前記複数のデータセットの各々は各データセットのピクセル値に対応する、コンピュータプログラム。
請求項15のコンピュータプログラムにおいて、前記第1のピクセル値及び前記第2のピクセル値は、各ピクセルの色相成分、彩度成分及び明るさ成分の少なくとも1つに対応する、コンピュータプログラム。
- 第1のデータセットの値の分布に対応する第1のヒストグラムを決定するステップと、
- 前記第1のデータセットにおける異なった値の特定の数に対応する複数のパレット値を決定するステップと、
- 前記第1のヒストグラムに対応する第1のヒストグラムベクトルを決定するステップであって、
前記第1のヒストグラムベクトルは、前記複数のパレット値のパレット値に各々が対応する要素を有する、ステップと、
- 第2のデータセットの中で前記複数のパレット値に対応する値を識別するステップと、
- 前記第2のデータセットの前記値に対応する第2のヒストグラムベクトルを決定するステップと、
- 前記第1のヒストグラムベクトルを前記第2のヒストグラムベクトルと比較するステップと、
を行うように構成されるプロセッサと、
- 前記プロセッサに動作可能に結合されたメモリであって、
前記第2のヒストグラムベクトルの決定を容易にするために、前記複数のパレット値に対応する前記第2のデータセットの前記値の表示を記憶するように構成されるメモリと、
を有する画像処理システム。
請求項17に記載の画像処理システムにおいて、前記メモリに記憶された前記値の前記表示に基づいて前記第2のヒストグラムベクトルを決定するように構成されるアプリケーション特定装置を更に備えた画像処理システム。