JP2017224337A - 勾配ヒストグラムに基づいて画像記述子を変換する方法および関連する画像処理装置 - Google Patents

Abstract

【課題】複数のヒストグラムビンｈｉを含む勾配ヒストグラムに基づく画像記述子を、複数の値ｖｊからなるセットを含む変換された勾配ヒストグラム記述子に変換する方法を提供する。【解決手段】方法は、複数の値ｖｊからなるセットを算出するべく少なくとも１つの基準を用いる段階を含む。少なくとも１つの基準は、ヒストグラムビンｈｉの配置基準を含む。【選択図】図８

Description

この発明は、ロバストで、判別可能で、スケーラブルで、かつ、簡潔な画像記述子の算出に関係する。

さらに特には、本発明は、画像の関心点周りのローカル領域内で部分領域の勾配のヒストグラムを計算することにより算出される画像記述子に言及する。

画像記述子を、少しの例を挙げれば、対象認識、内容に基づく画像取得、および、画像登録を含む、多くのコンピューター画像アプリケーションに広く適用できることを見出した。この種類の画像記述子の最も広く知られている例の１つは、Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）記述子である。

手短に言えば、ＳＩＦＴのやり方では、以下のようにローカル画像記述子が形成される。最初に、縮尺および配向に対して不変である安定した画像キーポイントを識別して、かつ、位置付けるべく、複数の画像の縮尺および位置に亘る検索が実行される。そして、各キーポイントに対して、１または複数の優勢な配向がローカル画像勾配に基づいて決定される。各キーポイントの割り当てられた配向、縮尺および位置に関して、次のローカル記述子の算出を実行できるようにする。これによって、これらの変換に対する不変性を達成する。

そして、以下のようにキーポイント周りのローカル画像記述子が形成される。最初に、キーポイント周りの領域において、勾配の大きさおよび配向の情報が画像サンプルポイントで算出される。そして、これらのサンプルが、ｎ×ｎの部分領域の全体の内容を概括する配向ヒストグラムへと蓄積される。

実例としてのみ、キーポイント記述子の例が図１ａおよび１ｂに示されている。図１ａは、ローカル領域Ｒの４×４の部分領域ＳＲへの細分を示し、図１ｂは、各配向ヒストグラムｈに対して、そのヒストグラムエントリの大きさに対応する各矢印の長さと共に、配向の３６０°範囲の８つのビンｈへの細分を示している。

従って、図１ａで示されたようなローカル画像記述子は、４×４×８＝１２８の要素を有している。ＳＩＦＴのやり方は、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ６０， ２ （２００４）, ９１‐１１０ページ内での、Ｄａｖｉｄ Ｇ. Ｌｏｗｅによる「Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ」でさらに詳しく示されている。

安定した画像キーポイントの検出に対する異なるメカニズムと、キーポイント周りのローカル領域の細分に対する異なる手法と、部分領域勾配ヒストグラムの算出に対する異なる手法とを用いた、ＳＩＦＴのやり方の多くの代案およびバリエーションが存在する。

例えば、図２ａおよび図２ｂは夫々、ＳＩＦＴのやり方で使用されているデカルト空間細分の代案として、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ ２７（１０）:１６１５‐１６３０内でのＫ. ＭｉｋｏｌａｊｃｚｙｋおよびＣ. Ｓｃｈｍｉｄによる「Ａ ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ ｏｆ ｌｏｃａｌ ｄｅｓｃｒｉｐｔｏｒｓ」で説明されているＧｒａｄｉｅｎｔ Ｌｏｃａｔｉｏｎ Ｏｒｉｅｎｔａｔｉｏｎ Ｈｉｓｔｏｇｒａｍ （ＧＬＯＨ）、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ ２７（１０）:１６１５‐１６３０内でのＣｈａｎｄｒａｓｅｋｈａｒ他、ＭｉｋｏｌａｊｃｚｙｋおよびＣ. Ｓｃｈｍｉｄによる「Ａ ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ ｏｆ ｌｏｃａｌ ｄｅｓｃｒｉｐｔｏｒｓ」で説明されているＵｎｃｏｍｐｒｅｓｓｅｄ Ｈｉｓｔｏｇｒａｍ ｏｆ Ｇｒａｄｉｅｎｔｓ （ＵＨｏＧ）、および、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ. ９４， Ｎｏ. ５， Ｍａｙ ２０１１内でのＣｈａｎｄｒａｓｅｋｈａｒ他による「Ｃｏｍｐｒｅｓｓｅｄ Ｈｉｓｔｏｇｒａｍ ｏｆ Ｇｒａｄｉｅｎｔｓ: Ａ Ｌｏｗ−Ｂｉｔｒａｔｅ Ｄｅｓｃｒｉｐｔｏｒ」で説明されているＵｎｃｏｍｐｒｅｓｓｅｄ Ｈｉｓｔｏｇｒａｍ ｏｆ Ｇｒａｄｉｅｎｔｓ （ＵＨｏＧ）のような、他の技術のｌｏｇ−ｐｏｌａｒ空間細分特性を示している。

他の例として、図３ａおよび図３ｂは、勾配配向の３６０°範囲をＳＩＦＴのやり方で使用されるビンへと細分することの代案として、勾配のＸおよびＹ成分の２次元空間をＵＨｏＧの特性であるビンへと細分することに基づいた、勾配ヒストグラムの算出へのアプローチを示している。

本発明がロバストで、判別可能で、スケーラブルかつ簡潔な画像記述子の算出を実行することに基づく画像記述子を生成する技術の例として唯一、上述の先行技術が本明細書で考慮されている。

そのような画像記述子が、これより前に議論したように、多くのコンピューター画像アプリケーションにおいて広く適用され得ることを見出したけれども、これらのストレージおよび伝送のコストは、これらのサイズによってバイトで規定されるように、特定アプリケーション領域で一般に高いものと考えられる。何故かと言うと、画像におけるキーポイントに対するローカル画像記述子のサイズが相対的に低いものであってもよいけれども、画像記述子全体が数百のそのようなキーポイントおよび関連したローカル記述子を備えるからである。これは、画像記述子全体が実際の画像から抽出されるＪＰＥＧの圧縮版と同程度のサイズを有し得ることを意味している。

記述子サイズのこのレベルが問題であると考えられる１つのそのようなアプリケーション領域は、移動端末を使用した画像検索である。異なる構成がこのアプリケーション領域で実現可能であるけれども、１つの典型的な構成は、携帯電話等の移動端末クライアントによる関心対象の画像のキャプチャ、そのクライアントによる画像記述子の自動抽出、その画像記述子を処理してその関心対象に関する識別または追加情報等の適切な応答を提供するであろうサーバへと無線通信ネットワークを介してその画像記述子を伝送すること、および、そのクライアントへの前述の応答の返送を必要とする。従って、無線ネットワーク上でクライアントからサーバへと送信される情報量の最小化が望ましいことは明らかである。そのようなアプリケーションの恩恵を得るべく、そのような画像記述子の圧縮における、かなりの量の開発が行われてきた。

キーポイント記述子に基づいた勾配のヒストグラムの圧縮への最も簡潔なアプローチは、ヒストグラムビンの値のスカラー量子化によるものであり、それは、夫々のビンの値の表現において個々に用いられるビット数を減らすことを意味している。実際には、記述子の弁別力を大幅に損なわずにとても高い圧縮率を達成することは困難であるので、このアプローチは一般に用いられていない。例えば、ビンごとに８ビットでＳＩＦＴ記述子ヒストグラムビンを符号化することが一般に用いられているが、バイトでのサイズが無線ネットワーク上で伝送するには大きすぎると一般に考えられている画像記述子をもたらす結果となっている。他方で、ビンごとに例えば１または２だけのわずかなビットへのスカラー量子化は、画像記述子の弁別力を危険にさらすことが判明してきた。

それゆえ、より複雑な圧縮スキームが提案されてきた。そのようなスキームのレビューは、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＩＣＰＲ）, Ｉｓｔａｎｂｕｌ, Ｔｕｒｋｅｙ, Ａｕｇｕｓｔ ２０１０内でのＶ．Ｃｈａｎｄｒａｓｅｋｈａｒ他による「Ｓｕｒｖｅｙ ｏｆ ＳＩＦＴ ｃｏｍｐｒｅｓｓｉｏｎ ｓｃｈｅｍｅｓ」で示されている。

手短に言えば、代表的な有限数のベクトル重心の１つに変換することによってビンの値が併せて量子化されるベクトル量子化を主要テーマとするスキームは、特に有名であって、ツリー構造化および生成物ベクトル量子化等の様々な形態で調査されてきた。そのようなアプローチの欠点は、それらが相対的に高い計算の複雑性を必要とし、複数の重心のストレージ用に数百キロバイトから数メガバイトあるいはそれ以上の極めて多くの必要メモリを必要とすることであり、複数の重心の数は数千から数百万に及び、そして複数の重心の決定は計算上複雑なトレーニングフェーズを必要とする。

全ての可能な入力ベクトルを含む空間内でタイプの一様な格子を形成し、与えられた入力ベクトルのいずれに対しても、最も近いタイプの指標によって符号化することにより、ビンの値が再度併せて量子化されるタイプ・コーディングを主要テーマとするスキームも、徹底的に調査されてきた。そのようなアプローチの必要メモリは、ベクトル量子化アプローチに比べて減らされるが、高い圧縮率での認識性能の観点で、合成圧縮記述子が量子化されたベクトル記述子にあまり匹敵しないことも判明してきた。全体的にみれば、タイプ・コーディングに関連する計算コストは簡単なスカラー量子化に比べて著しく高い。

他の圧縮スキームは、例えば１２８−ｄｉｍｅｎｓｉｏｎａｌ ＳＩＦＴキーポイント記述子のようなキーポイント記述子上で、ＰＣＡ等として知られている次元低減方法を利用しており、合成次元のスカラー量子化がこれに続く。そのようなアプローチにある重要な問題は、それらが高い計算の複雑性とオーバートレーニングのハイリスクとを必要とすることである。

要するに、記述子に基づく勾配のヒストグラムの圧縮、および、ロバストで、判別可能で、スケーラブルかつ簡潔な画像記述子の生成に対する既存のアプローチは、特定の欠点を示している。

記述子要素のスカラー量子化等の簡単なアプローチは、とても低い計算の複雑性と必要メモリとの恩恵を有しているが、高い圧縮率における記述子の弁別力を危険にさらすことが判明してきた。

より複雑なアプローチは、高い圧縮率でより良い性能を達成することが示されてきたが、異なる欠点を被る。ベクトル量子化アプローチは、計算の複雑性および必要メモリを大幅に増大させてきた。タイプ・コーディングアプローチは、増大した複雑性を必要とし、ベクトル量子化アプローチの必要メモリによる負担を受けないながらも、そのようなアプローチと比較して性能が低いことも判明してきた。さらに、ベクトル量子化およびタイプ・コーディングのいずれのアプローチも、圧縮された領域における次元低減にはあまり適していない。ＰＣＡ等として知られている次元低減技術に基づくアプローチも使用されてきたが、高い計算の複雑性およびオーバートレーニングのハイリスクを被りもしている。

それゆえ、本発明の目的は、画像記述子のサイズを低減できるようにする勾配ヒストグラムに基づいた画像記述子を変換するための方法を示すことである。

本発明のさらなる目的は、特に移動端末アプリケーションにおける無線ネットワークを介した格納および伝送のコストを低減できるようにする勾配ヒストグラムに基づいた画像記述子を変換するための方法を示すことである。

本発明のさらなる目的は、画像キーポイント周りの部分領域に関する複数の勾配ヒストグラムによって構成された画像記述子のサイズを低減できるようにする勾配ヒストグラムに基づいた、画像記述子を変換するための方法を示すことである。

本発明のこれらの、および、他の目的は、本説明の不可欠な部分である添付の特許請求の範囲でクレームされているように、勾配ヒストグラムに基づいた画像記述子を変換するための方法および関連する画像処理装置を通して達成される。

合成において、本発明は、勾配の前述のヒストグラムの変換に基づいた勾配のヒストグラムを用いる画像記述子から、ロバストで、判別可能で、スケーラブルかつ簡潔な画像記述子を算出することに関係しており、前述の変換は、その中に含まれた顕著でロバストな情報を、分布の形状、および、それらのビンの値の間における関係の形態で捉えている。より具体的には、本発明は、ヒストグラムビン間の相関に対応する値を算出することで、勾配のヒストグラムを変換している。

本発明による方法は、画像キーポイント周りの部分領域に関する勾配のヒストグラムを処理する異なる手法に基づいた、ロバストで、判別可能でスケーラブルかつ簡潔な画像記述子の計算にも関係している。

本発明のさらなる特徴は、添付の特許請求の範囲において提示されており、本説明の不可欠な部分として意図されている。

上記の目的は、特に添付の図面を参照することで、勾配ヒストグラムに基づいた画像記述子を変換するための方法の以下の詳細な説明から、より明らかになるであろう。
先行技術のキーポイント記述子の例を示している。 先行技術のキーポイント記述子の例を示している。 ＧＬＯＨの先行技術において用いられている空間細分スキームを示している。 ＵＨｏＧの先行技術において用いられている空間細分スキームを示している。 ＵＨｏＧの技術の勾配ヒストグラムの算出へのアプローチを示している。 ＵＨｏＧの技術の勾配ヒストグラムの算出へのアプローチを示している。 本発明によるキーポイント記述子の例を示している。 本発明によるキーポイント記述子の例を示している。 画像キーポイント周りの部分領域に対応する勾配のヒストグラムを処理する方法を示している。 画像キーポイント周りの部分領域に対応する勾配のヒストグラムを処理する方法を示している。 画像キーポイント周りの部分領域に対応する勾配のヒストグラムを処理する方法を示している。 本発明の実施形態のフロー図を表している。 本発明の実施形態のフロー図を表している。 本発明の実施形態のフロー図を表している。 本発明の実施形態のフロー図を表している。 本発明の実施形態のフロー図を表している。 本発明の実施形態のフロー図を表している。 図２ｂの空間細分スキームを使用することによる、本発明による画像記述子の処理を示している。 図３ａの勾配ヒストグラム細分スキームを使用することによる、本発明による画像記述子の処理を示している。 本発明による方法を実行するのに適した画像処理装置を示している。

例として、いかなる制限もせずに、画像記述子、特に、ローカル領域Ｒを４×４の部分領域ＳＲへと細分する例を示している図４ａ、および、部分領域に対する８つのビンの勾配ヒストグラムの例を示している図４ｂを備える、図４ａおよび図４ｂで示されるようなＳＩＦＴ画像記述子から、ロバストで、判別可能で、スケーラブルかつ簡潔な画像記述子を算出するための、本発明の複数の態様が示される。

ｈは図４ｂの勾配ヒストグラムを表すものとし、ビンｈ_ｉにおいて、ｉはビンの指標であり、以下の関係式（１）で表される。
ｉ＝０...ｎ−１・・・関係式（１）
本発明による勾配ヒストグラム変換は、勾配ヒストグラムビン間の相関に対応する値ｖ_ｊを計算する。

複数のビンは、その間で相関に対応する値が算出されるものであり、図４ｂの勾配ヒストグラムの場合に、それらの角度分離へと変換する、それらの位置または近接に従って選択されてもよい。

勾配ヒストグラムビンの間の相関に対応する値の例として、以下の数式（１）で示されるように、隣接するビンの差は、ヒストグラムの全体的な形状および極値の位置を捉えている。

ｖ_０＝ｈ_０−ｈ_１
ｖ_１＝ｈ_１−ｈ_２
ｖ_２＝ｈ_２−ｈ_３
ｖ_３＝ｈ_３−ｈ_４
ｖ_４＝ｈ_４−ｈ_５
ｖ_５＝ｈ_５−ｈ_６
ｖ_６＝ｈ_６−ｈ_７
ｖ_７＝ｈ_７−ｈ_０・・・数式（１）

以下の数式（２）で示されるような９０°の、または、勾配ヒストグラム特性およびビン細分性が許容するように、より概して９０°と同程度の角度差を備える勾配に対応するビン間の差が、互いにほぼ直角の勾配間の相関についての情報を捉えている。

ｖ_０＝ｈ_０−ｈ_２
ｖ_１＝ｈ_１−ｈ_３
ｖ_２＝ｈ_２−ｈ_４
ｖ_３＝ｈ_３−ｈ_５
ｖ_４＝ｈ_４−ｈ_６
ｖ_５＝ｈ_５−ｈ_７
ｖ_６＝ｈ_６−ｈ_０
ｖ_７＝ｈ_７−ｈ_１・・・数式（２）

以下の数式（３）で示されるような１８０°の、または、勾配ヒストグラム特性およびビン細分性が許容するように、より概して１８０°と同程度の角度差を備える勾配に対応するビン間の差が、水平配向内および垂直配向内等の配向内での勾配間における相関についての重要なハイレベルの情報を捉えている。

ｖ_０＝ｈ_０−ｈ_４
ｖ_１＝ｈ_１−ｈ_５
ｖ_２＝ｈ_２−ｈ_６
ｖ_３＝ｈ_３−ｈ_７・・・数式（３）

以下の数式（４）で示される関数は、２よりも多い勾配ビンを結合し、どちらか一方の方向における垂直勾配に対する、どちらか一方の方向における水平勾配等の、特定の配向間の勾配の相関についての情報を捉えている。

ｖ_０＝（ｈ_０＋ｈ_４）−（ｈ_２＋ｈ_６）
ｖ_１＝（ｈ_１＋ｈ_５）−（ｈ_３＋ｈ_７）・・・数式（４）

以下の数式（５）で示される関数は、全体のヒストグラムの形状の代表となる判別可能な値を作り出すべく、勾配ヒストグラムの全てのビンを結合している。

ｖ_０＝（ｈ_０＋ｈ_２＋ｈ_４＋ｈ_６）−（ｈ_１＋ｈ_３＋ｈ_５＋ｈ_７）
ｖ_１＝（ｈ_０＋ｈ_１＋ｈ_２＋ｈ_３）−（ｈ_４＋ｈ_５＋ｈ_６＋ｈ_７）・・・数式（５）

その間で相関に対応する値が算出されるビンは、異なる抽出条件に従って選択されてもよい。例えば、その間で相関に対応する値が算出されるビンは、合成値の弁別力を増大するべく選択されてもよい。そのような関数は、例えば、以下の数式（６）で示されるような関数の形をとってもよい。

ｖ_０＝（ｈ_０＋ｈ_２＋ｈ_４＋ｈ_６）−（ｈ_１＋ｈ_３＋ｈ_５＋ｈ_７）
ｖ_１＝（ｈ_０＋ｈ_１＋ｈ_２＋ｈ_３）−（ｈ_４＋ｈ_５＋ｈ_６＋ｈ_７）
ｖ_２＝（ｈ_０＋ｈ_４）−（ｈ_２＋ｈ_６）
ｖ_３＝（ｈ_１＋ｈ_５）−（ｈ_３＋ｈ_７）・・・数式（６）

他の例として、その間で相関に対応する値が算出されるビンは、ランダム選択処理を通して選択されてもよい。そのような関数の例は、以下の数式（７）で示される。

ｖ_０＝２ｈ_０−ｈ_３−ｈ_６
ｖ_１＝ｈ_０＋ｈ_１＋ｈ_５−３ｈ_７・・・数式（７）

ヒストグラム変換の他の例として、以下の数式（８）で示される関数のセットは可逆変換を構成しており、それによって、ｖ_７が全ヒストグラムカウントを代表する値となっている。

ｖ_０＝ｈ_０−ｈ_１
ｖ_１＝ｈ_１−ｈ_２
ｖ_２＝ｈ_２−ｈ_３
ｖ_３＝ｈ_３−ｈ_４
ｖ_４＝ｈ_４−ｈ_５
ｖ_５＝ｈ_５−ｈ_６
ｖ_６＝ｈ_６−ｈ_７
ｖ_７＝ｈ_０＋ｈ_１＋ｈ_２＋ｈ_３＋ｈ_４＋ｈ_５＋ｈ_６＋ｈ_７・・・数式（８）

数式（１）〜（８）の関数は、ビン間の和または差、または、ビンの和の間の差として算出される勾配ヒストグラムビン間の相関を示しているが、これは限定的なことではなく、ビン間の比、ビンの和の間の比、ビンの生成物間の比、または、ビンの生成物間の差等のように、異なる線形または非線形演算処理が使用されてもよい。

一般に、勾配ヒストグラムは、勾配ヒストグラムビン間の相関に対応する値ｖ_ｊを計算することによって変換されてもよく、前述の勾配ヒストグラムビンの選択は、それらの近接度や合成値の弁別力等の１または複数の基準、または、その基準の組合せ次第である。

さらに、それらの近接に従ってビンが選択される場合、勾配ヒストグラムは、例えば、数式（１）のような隣接するビン間のみの相関や、数式（３）のような１８０°に分離されたビン間のみの相関等に基づいて、単一角度分離を示す勾配ヒストグラムビン間の相関に対応する値ｖ_ｊを計算することにより、変換されてもよい。代替的に、勾配ヒストグラムは、例えば、数式（１）で示されるようないくつかの相関や、数式（２）で示されるようないくつかの相関等に基づいて、複数の角度分離を示す勾配ヒストグラムビン間の相関に対応する値ｖ_ｊを計算することにより、変換されてもよい。全体的にみれば、以下の関係式（２）によって互いに関係付けられ得る勾配ヒストグラムの次元ｎと比較して、合成変換記述子の次元ｋと異なるタイプの情報の混合に対して特殊なタイプの情報の量の均衡を保っているので、変換選択処理はかなり重要である。
ｋ＝ｎ
ＯＲ
ｋ＜ｎ
ＯＲ
ｋ＞ｎ・・・関係式（２）

下文に、勾配ヒストグラムｈの変換から算出される、以下の関係式（３）を満たす値ｖ_ｊは、ｋ個の要素の変換された勾配ヒストグラム記述子ｖとして一括して称されるであろう。
ｊ＝０...ｋ−１・・・関係式（３）

これより前に見られるように、単一の画像記述子Ｈは、画像キーポイントＫＰ周りのローカル領域Ｒの部分領域ＳＲにそれぞれ対応する、勾配ｈ_ｐの複数のヒストグラムを構成してもよい。図４ａは、ローカル領域Ｒを４×４の部分領域ＳＲへと細分する例を示しており、勾配ｈ_ｐのヒストグラムによってそれぞれ描かれている。そのような画像記述子は、各部分領域ＳＲの勾配ヒストグラムを、上述したように変換された勾配ヒストグラム記述子ｖ_pへと個々に変換することで、新しい画像記述子Ｖへと変換されてもよい。

上述の勾配ヒストグラム変換処理は、簡潔な画像記述子を生成する点で多くの利点を有する。最初の利点は、変換の適切な選択を通して、上述の処理により、例えば８つの勾配ビンをこれより前で示された数式（３）および（４）を組み合わせた６つの要素と置き換えることによって、最初の勾配ヒストグラムより少ない要素を使用する勾配ヒストグラムの、顕著な形状特性および判別可能な情報を符号化できることであり、その結果、画像コレスポンデンスを確立、または、検証する点で依然としてとても成功である、より小さな画像記述子をもたらし、かつ、高い認識性能を達成する。

他の利点は、最初の勾配ヒストグラムと異なり、変換された勾配ヒストグラム記述子が、簡単で粗いスカラー量子化による圧縮に適している点であり、それによって、各記述子要素が、１または２ビットと同じくらい低い、たった数ビットに、個々に量子化され、実際に、特定の勾配ビン間の相関、または、特定のビンの他の特定のビンに対する優劣性の粗い測定のみを提供する。しかしながら、前述の粗い測定は、画像コレスポンデンスを確立、または、検証する点で成功であり、かつ、同一のスカラー量子化条件下、および、ベクトル量子化およびタイプ・コーディング等のより複雑な圧縮スキーム下の記述子にも基づいた最初の勾配ヒストグラムより高い認識性能を達成している、ロバストで、判別可能で簡潔な画像記述子をやはり提供する。

例えば、スカラー量子化を使用すると、値ｖ_ｊは、例えば以下の関係式（４）等でｑレベルに個々に量子化されるけれども、これは限定的なことではなく、異なる数の量子化レベルは、合成記述子において望ましい簡潔さを達成するべく用いられてもよい。
ｑ＝２
ＯＲ
ｑ＝３
ＯＲ
ｑ＝４・・・関係式（４）
この量子化は、各値ｖ_ｊの値を閾値のセットと比較することによって実行されてもよい。量子化閾値を決定するには多数の選択肢がある。量子化閾値は、例えば、各ｖ_ｊのダイナミックレンジの均一な分割によって決定されてもよい。代替的に、量子化閾値は、例えば一様分布のように、ｑの量子化レベル間の値の特定の長期分布を達成するべくセットされてもよい。さらに、量子化閾値は、全ての部分領域ＳＲにおいて算出される全ての値ｖ_ｊに対して同一であってもよく、全ての部分領域ＳＲに亘って、同一の指標ｊに対して同一であってもよく、全てのｊに亘って、各部分領域ＳＲに対して同一であってもよく、各部分領域ＳＲおよび各指標ｊに対して異なっていてもよい。

従って、上述の勾配ヒストグラム変換処理は、同様の、または、改良された性能特性を達成しながら、全体的な計算の複雑性および必要メモリにおける関連する低減と共に、これより前に見られた複雑な圧縮スキーム等に対する必要性を排除している。

結果として続く第３の利点は、変換された勾配ヒストグラム記述子の次元が、圧縮前だけでなく、圧縮後にも非常にスケーラブルである点と、必要ならば、その個々に量子化された要素の１または複数を簡単に除去することで、アプリケーションまたは伝送チャネル特性によって、変換された勾配ヒストグラム記述子の次元が簡単にさらに減少されてもよい点であり、それは、ベクトル量子化またはタイプ・コーディング等のより複雑な圧縮技術で簡単に達成されるものではない。

それと同時に、上述のような各部分領域の勾配ヒストグラムの個々の変換および圧縮は、非常に有利である。なぜならば、もし必要とされるならば、１または複数の個々に変換され量子化された部分領域ヒストグラムを簡単に除去することによって、全体の変換された画像記述子のスケーラビリティを助けることになるからである。

しかしながら、上述の変換された勾配ヒストグラム記述子が、これより前に議論されたより複雑な圧縮スキーム、または、勾配に基づく記述子の最初のヒストグラムに適用可能な如何なる圧縮スキームと矛盾していないこと、および、もし望まれるならば、そのような圧縮スキームと併せて用いられてもなおよいこと、も強調されるべきである。

これより前に見られるように、画像記述子Ｈに基づく勾配の単一のヒストグラムは、画像キーポイントＫＰ周りのローカル領域Ｒの部分領域ＳＲにそれぞれ対応する勾配ｈ_ｐの複数のヒストグラムを構成してもよく、そのような画像記述子Ｈは、上述のような各部分領域ＳＲの勾配ヒストグラムの個々の変換によって変換されてもよい。より具体的には、各部分領域勾配ヒストグラムは、他の部分領域勾配ヒストグラムと同一の方式で変換されてもよいが、代替的に、少なくとも１つの部分領域勾配ヒストグラムが、他の部分領域勾配ヒストグラムと異なって変換されてもよい。

例えば、いくつかの部分領域ヒストグラムを他の部分領域ヒストグラムと異なって変換することの文脈において、勾配のいずれのヒストグラムの変換関数も、勾配のその空間的に隣接するヒストグラムの少なくともいくつかに於いて使用される変換関数と少なくとも部分的に異ならなくてはいけないという要件が、画像記述子の変換処理に課されてもよい。これは、図５で示されている。

より具体的には、図５におけるＡおよびＢは、互いに完全に、または、部分的に異なる変換関数のセットを参照している。例えば、数式（１）の関数をＡと、数式（２）の関数をＢとみなすことで、関数の完全に異なるセットがもたらされる一方で、数式（３）の関数および数式（１）の偶数要素をＡと、数式（３）の関数および数式（１）の奇数要素をＢとみなすことで、関数の部分的に異なるセットがもたらされる。図５においては、Ａ（または代わりにＢ）によって変換された各部分領域ヒストグラムに対し、Ｂ（または代わりにＡ）によってその４つの水平および垂直に隣接するヒストグラムが変換されるように、変換関数ＡおよびＢが部分領域ヒストグラムに適用される。変換関数の複数のセットのこの利用が少しばかり実施の複雑性を増大させながらも、全ての部分領域ヒストグラムにおいて同一の変換関数を利用する上で大きな利点を有している。ＳＩＦＴ記述子を用いれば、勾配に基づく画像記述子の他のヒストグラムと同様に、特に水平または垂直に接続された隣接する勾配ヒストグラムが、変換された勾配ヒストグラム記述子においても維持される重要な相関性を示していることは、当業者に知られている。その後のいずれかの粗い量子化と組合せて、そのような隣接するヒストグラム内で同一の変換を適用することにより、隣接するヒストグラムが同一の要素を持つ可能性が高まるという結果がもたらされる。この問題は、上述のような異なる変換関数を利用することで緩和され、一様化と、結果として続く、記述子の弁別力を増大させる。

いくつかの部分領域ヒストグラムを他の部分領域ヒストグラムと異なって変換することの文脈における他の例として、いくつかの部分領域の変換された勾配ヒストグラム記述子は、キーポイントの中央または周りの領域に対する部分領域の位置等の特定の決定要素に従って、他の部分領域の変換された勾配ヒストグラム記述子と異なる要素の数を構成してもよい。

図６はこれの１つの例を示しており、１２個の境界部分領域ＳＲ_ｂが上述のように要素ｋ_ｂへと変換される一方で、画像キーポイントＫＰを直接囲んでいる中央の４つの部分領域ＳＲ_ｃは上述のように要素ｋ_ｃへと変換され、以下の関係式（５）を満たす。
ｋ_ｃ＞ｋ_ｂ・・・関係式（５）
それゆえ、これは、全体的な変換された画像記述子に対する中央部分領域ＳＲｃの情報内容を増大させており、前述の部分領域ＳＲｃは、当業者によって、画像コレスポンデンスを確立または検証する点でより重要であると一般に考えられている。

いくつかの部分領域ヒストグラムを他の部分領域ヒストグラムと異なって変換することの文脈における他の例として、いくつかの部分領域の変換された勾配ヒストグラム記述子は、キーポイント周りの領域の中央に対する部分領域の位置等の特定決定要素に従って、他の部分領域の変換された勾配ヒストグラム記述子と異なって圧縮されてもよい。

図７は、これの１つの例を示しており、１２個の境界部分領域ＳＲ_ｂが上述のように変換され、ｑ_ｂレベルへと量子化される一方で、画像キーポイントＫＰを直接囲む中央の４つの部分領域ＳＲ_ｃは上述のように変換され、ｑ_ｃレベルへと量子化され、以下の関係式（６）を満たす。
ｑ_ｃ＞ｑ_ｂ・・・関係式（６）
従って、これは全体的な変換された画像記述子の中で中央部分領域ＳＲ_ｃの表現精度を向上させ、前述の部分領域ＳＲ_ｃは、当業者によって、画像コレスポンデンスを確立または検証する点でより重要であると一般に考えられている。

さらに、特異的要素の変換関数またはそれらの元となる統計等の特定の決定要素に従って、異なる圧縮特性が、変換された勾配ヒストグラム記述子の特異的要素だけに適用されてもよい。

全体的にみれば、異なる部分領域に対する適切な変換関数の選択、および、異なる部分領域および／または部分領域要素に対する適切な圧縮パラメータの選択等の要因がかなり重要である。なぜならば、その複雑性およびストレージ／伝送コストに対して、それらが記述子の情報内容および弁別力を制御するからである。

本発明の実施形態は、図８から図１３を用いて今説明される。

［第１の実施形態］

本発明の第１の実施形態は、図８において示されている。例えば図４ａおよび図４ｂに従って、勾配ヒストグラムｈ_ｐを構成する勾配ヒストグラムに基づいた記述子Ｈが、それらの近接度に従う選択された勾配ヒストグラムビン間の相関に対応する値を算出することでその次元を低減するべく、各勾配ヒストグラムｈ_ｐを変換することで処理される。

より具体的には、図８において、以下の関係式（７）を満たす各ヒストグラムｈ_ｐが、順に処理される。
ｐ＝０...Ｎ−１ （Ｎ＝１６）・・・関係式（７）
ステップＳ１００において、ｐは０にセットされる。

そして、ステップＳ１１０において、ｎ個（ｎ＝８）のビンのヒストグラムｈ_ｐが、隣接するビン間の相関を捉える単一の角度分離、すなわち数式（９）の関数を有するビン間の相関を捉えるべく選択された関数のセットによって、以下の関係式（８）と共に、ｋ個（ｋ＝４）の要素の記述子ｖ_ｐに変換される。
ｋ＜ｎ・・・関係式（８）

ｖ_０＝ｈ_０−ｈ_１
ｖ_１＝ｈ_２−ｈ_３
ｖ_２＝ｈ_４−ｈ_５
ｖ_３＝ｈ_６−ｈ_７・・・数式（９）

代替的に、数式（９）の関数は、９０°で分離されたビン間の相関を捉える関数、または、異なる要素の数ｋを備える記述子ｖ_ｐをもたらす関数等の、他の単一の角度分離を有するビン間の相関を捉える、異なる関数によって置換されてもよいが、なお以下の関係式（９）を満たす。
ｋ＜ｎ・・・関係式（９）

そして、ステップＳ１２０においてｐの値が考察され、もしＨにおける最後のヒストグラムの指標と等しいならば処理は終わり、そうでないならばステップＳ１３０で１増やされ、処理はステップＳ１１０に戻る。

従って、合成記述子Ｖは、大幅にＨより少ない要素を使用するＨの顕著な形状特性および判別可能な情報を符号化し、画像コレスポンデンスを確立または検証する点、および、高い認識性能を達成する点で依然としてとても成功である、より小さな記述子という結果をもたらす。

例えば、非負の値、および／または、特定のダイナミックレンジ、例えば８ビットに変換するべく、任意で、Ｖの個々の要素の値が適切になるよう調整され、かつ、変えられてもよい。

２つの記述子が異なる画像における同一のキーポイントから抽出されたかどうかを決定する、および、画像間の画像コレスポンデンスを確立するための、合成記述子のその次の処理は、本発明の範囲を超えており、最初の勾配ヒストグラム記述子に関しては、例えばＩｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ, ６０, ２ （２００４）, ９１‐１１０ページ内のＤａｖｉｄ Ｇ. Ｌｏｗｅによる「Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ」で説明されているものと類似した方式で、または、任意の他の適切な方式で進んでもよい。

［第２の実施形態］

本発明の第２の実施形態は、図９において示されている。例えば図４ａおよび図４ｂによる、勾配ヒストグラムｈ_ｐを構成している勾配ヒストグラムに基づく記述子Ｈは、それらの近接に関する複数の基準に従って選択された勾配ヒストグラムビン間の相関に対応する値を算出することによって次元を低減するべく、各勾配ヒストグラムｈ_ｐを変換することで処理される。

より具体的には、図９において、以下の関係式（１０）を満たす各ヒストグラムｈ_ｐが、順に処理される。
ｐ＝０...Ｎ−１ （Ｎ＝１６）・・・関係式（１０）
ステップＳ２００において、ｐは０にセットされる。

そして、ステップＳ２１０において、ｎ個のビン（ｎ＝８）のヒストグラムｈ_ｐが、複数の角度分離を有するビン間の相関を捉えるべく選択された関数のセット、すなわち、隣接するビン間の相関、および、１８０°で分離されたビン間の相関を捉える、数式（１０）の関数によって、以下の関係式（１１）を満たす、ｋ個の要素（ｋ＝６）の記述子ｖ_ｐに変換される。
ｋ＜ｎ・・・関係式（１１）

ｖ_０＝ｈ_０−ｈ_１
ｖ_１＝ｈ_２−ｈ_３
ｖ_２＝ｈ_４−ｈ_５
ｖ_３＝ｈ_６−ｈ_７
ｖ_４＝ｈ_０−ｈ_４
ｖ_５＝ｈ_２−ｈ_６・・・数式（１０）

代替的に、数式（１０）の関数は、９０°で分離されたビン間の相関、および、１８０°で分離されたビン間の相関を捉える関数、または、異なる要素の数ｋを備える記述子ｖ_ｐという結果をもたらす関数等の、他の複数の角度分離を有するビン間の相関を捉える異なる関数によって置換されてもよいが、なお以下の関係式（１２）を満たす。
ｋ＜ｎ・・・関係式（１２）

そして、ステップＳ２２０においてｐの値が考察され、もしＨにおける最後のヒストグラムの指標と等しければ処理は終了し、そうでないならばステップＳ２３０で１増やされ、処理はステップＳ２１０に戻る。

従って、合成記述子Ｖは、Ｈより少ない要素を使用するＨの、異なるタイプの顕著な形状特性および判別可能な情報を符号化し、画像コレスポンデンスを確立または検証し、かつ、高い認識性能を達成する点で依然としてとても成功である、より小さな記述子という結果をもたらす。

そして、合成記述子のその次の処理は、最初の実施形態に類似した方式で進んでもよい。

［第３の実施形態］

本発明の第３の実施形態は、図１０において示されている。例えば図４ａおよび図４ｂによる、勾配ヒストグラムｈ_ｐを構成している勾配ヒストグラムに基づく記述子Ｈは、それらの近接に関する複数の基準に従って選択された勾配ヒストグラムビン間の相関に対応する値を算出することによって、各勾配ヒストグラムｈ_ｐを変換することで処理される。

より具体的には、図１０において、以下の関係式（１３）を満たす各ヒストグラムｈ_ｐが順に処理される。
ｐ＝０...Ｎ−１ （Ｎ＝１６）・・・関係式（１３）
ステップＳ３００において、ｐは０にセットされる。

そして、ステップＳ３１０において、ｎ個のビン（ｎ＝８）のヒストグラムｈ_ｐが、複数の角度分離を有するビン間の相関を捉えるべく選択された関数のセット、すなわち、数式（１１）の関数によって、ｋ個の要素（ｋ＝８）の記述子ｖ_ｐに変換される。

ｖ_０＝ｈ_２−ｈ_６
ｖ_１＝ｈ_３−ｈ_７
ｖ_２＝ｈ_０−ｈ_１
ｖ_３＝ｈ_２−ｈ_３
ｖ_４＝ｈ_４−ｈ_５
ｖ_５＝ｈ_６−ｈ_７
ｖ_６＝（ｈ_０＋ｈ_４）−（ｈ_２＋ｈ_６）
ｖ_７＝（ｈ_０＋ｈ_２＋ｈ_４＋ｈ_６）−（ｈ_１＋ｈ_３＋ｈ_５＋ｈ_７）・・・数式（１１）

代替的に、数式（１１）の関数は、他の複数の角度分離を有するビン間の相関を捉える異なる関数、または、異なる要素の数ｋを備える記述子ｖ_ｐという結果をもたらす関数によって置換されてもよく、以下の関係式（１４）を満たす。
ｋ＝ｎ
ＯＲ
ｋ＜ｎ
ＯＲ
ｋ＞ｎ・・・関係式（１４）

そして、ステップＳ３２０において、ｋ個の要素の記述子ｖ_ｐの各要素がｑレベルへと個々に量子化され、量子化された記述子

を与える（以下、同様に上に波線「〜」がある「ｖ」および「Ｖ」はそれぞれ「ｖ〜」および「Ｖ〜」と表す）。この実施形態において、我々はｑ＝３をセットするけれども、これは限定的ではなく、合成記述子における望ましい簡潔さを達成するべく、例えばｑ＝２、ｑ＝４等の、量子化レベルの異なる数が用いられてもよい。この量子化は、各要素ｖ_ｐｊの値を閾値のセットと比較することによって実行されてもよい。量子化閾値を決定する場合に多数の選択肢がある。量子化閾値は、例えばｖ_ｐｊのダイナミックレンジの均一な分割によって決定されてもよい。代替的に、例えば一様分布といった、ｑの量子化レベル間の値の特定の長期分布を達成するべく、量子化閾値がセットされてもよい。さらに、量子化閾値は、全ての要素ｖ_ｐｊに対して同一であってもよく、全てのｐに亘る同一の指標ｊに対して同一であってもよく、全てのｊに亘る同一の指標ｐに対して同一であってもよく、各ｖ_ｐｊに対して異なっていてもよい。

そして、ステップＳ３３０において、ｐの値は考察され、もしＨにおける最後のヒストグラムの指標と等しければ処理は終了し、そうでないならばステップＳ３４０において１増やされ、処理はステップＳ３１０に戻る。

明らかであるが、代替的な実施は、例えば最初に全体の記述子Ｖを算出し、そして量子化された記述子Ｖ〜を生成するべく量子化を進めることによって、本発明の範囲から逸脱せずに、図１０と比較して適切に順序または特定の動作を変化させてもよい。

従って、合成記述子Ｖ〜は、Ｈの異なるタイプの顕著な形状特性および判別可能な情報を符号化する。粗いスカラー量子化は、特定の勾配ビン間の相関、または、他の特定のビンに対する特定のビンの優劣性の粗い測定のみを提供する、ほんのわずかなレベルへと各記述子要素を個々に量子化する。そして、画像コレスポンデンスを確立または検証する点で成功であり、同一のスカラー量子化条件下で、かつ、より複雑な圧縮スキーム下でも、最初の勾配ヒストグラムに基づく記述子より高い認識性能を達成する、ロバストで、判別可能で簡潔な画像記述子という結果をもたらす。

そして、合成記述子のその次の処理は、前の実施形態と類似した方式で進んでもよい。

［第４の実施形態］

本発明の第４の実施形態は、図１１において示されている。例えば図４ａおよび図４ｂに従って、勾配ヒストグラムｈ_ｐを構成している勾配ヒストグラムに基づく記述子Ｈは、隣接するｈ_ｐである勾配ヒストグラムのいくつかの処理において用いられる変換関数のセットとの違いを示す変換関数のセットで、各勾配ヒストグラムｈ_ｐを変換することによって処理される。

より具体的には、図１１において、以下の関係式（１５）を満たす各ヒストグラムｈ_ｐが順に処理される。
ｐ＝０...Ｎ−１ （Ｎ＝１６）・・・関係式（１５）
ステップＳ４００において、ｐは０にセットされる。

そして、ステップＳ４１０において、ｈ_ｐの処理に適切な関数を選択すべく、ｐの値が考察される。この選択は、例えば図５において示されたラインに沿って進む。ＡおよびＢと示された２つの変換のセットが用いられ、ｐ＝０，２，５，７，８，１０，１３，１５の場合にＡが選択され、および、ｐ＝１，３，４，６，９，１１，１２，１４の場合にＢが選択されるＢ。しかしながら、これは限定的ではなく、勾配ヒストグラムの処理において用いられる変換関数のセットが、隣接する前述のヒストグラムである勾配ヒストグラムのいくつかの処理において用いられる変換関数のセットとの違いを示すべく、異なる空間配置と共に変換関数の異なる数のセットが使用されてもよい。

そして、ステップＳ４２０において、適切に選択された変換関数のセットを使用して、ｎ個のビン（ｎ＝８）のヒストグラムｈ_ｐがｋ個の要素（ｋ＝８）の記述子ｖ_ｐに変換される。変換関数ＡおよびＢのセットは、夫々以下に示される数式（１２）および（１３）により規定されてもよい。各関数のセットは複数の角度分離を有するビン間の相関を捉えるべく選択され、ＡとＢとの間で共通する関数はない。

ｖ_０＝ｈ_２−ｈ_６
ｖ_１＝ｈ_３−ｈ_７
ｖ_２＝ｈ_０−ｈ_１
ｖ_３＝ｈ_２−ｈ_３
ｖ_４＝ｈ_４−ｈ_５
ｖ_５＝ｈ_６−ｈ_７
ｖ_６＝（ｈ_０＋ｈ_４）−（ｈ_２＋ｈ_６）
ｖ_７＝（ｈ_０＋ｈ_２＋ｈ_４＋ｈ_６）−（ｈ_１＋ｈ_３＋ｈ_５＋ｈ_７）・・・数式（１２）
ｖ_０＝ｈ_０−ｈ_４
ｖ_１＝ｈ_１−ｈ_５
ｖ_２＝ｈ_１−ｈ_２
ｖ_３＝ｈ_３−ｈ_４
ｖ_４＝ｈ_５−ｈ_６
ｖ_５＝ｈ_７−ｈ_０
ｖ_６＝（ｈ_１＋ｈ_５）−（ｈ_３＋ｈ_７）
ｖ_７＝（ｈ_０＋ｈ_１＋ｈ_２＋ｈ_３）−（ｈ_４＋ｈ_５＋ｈ_６＋ｈ_７）・・・数式（１３）

代替的に、数式（１２）および（１３）において示されるような関数のどちらか、または、両方のセットが、他の複数の角度分離を有するビン間の相関を捉える異なる関数、または、異なる要素の数ｋを備える記述子という結果をもたらす関数によって置換されてもよく、以下の関係式（１６）を満たす。
ｋ＝ｎ
ＯＲ
ｋ＜ｎ
ＯＲ
ｋ＞ｎ・・・関係式（１６）
さらに、関数ＡおよびＢのセットは、共通する関数を１つも含まなくてもよく、また、いくつかの共通する関数を含んでもよい。さらに、相関に対応する値がその間で算出されるビンは、関数ＡおよびＢのセットのどちらか、または、両方に対して、異なる抽出条件に従い、選択されてもよい。そのような基準は、これより前に見られるように、合成値の弁別力を向上すべく、相関に対応する値がその間で算出されるであろうビンを選択すること、または、相関に対応する値がランダム選択処理を通してその間で算出されるであろうビンを選択することを含んでもよい。さらにまた、前述の基準のいずれかの混合が、関数ＡおよびＢのセットのどちらか、または、両方の選択において用いられてもよい。

そして、ステップＳ４３０において、ｋ個の要素の記述子ｖ_ｐの各要素がｑレベルへと個々に量子化され、第３の実施形態に関して類似した方式で量子化された記述子ｖ_ｐ〜を与える。

そして、ステップＳ４４０において、ｐの値が考察され、もしＨにおける最後のヒストグラムの指標と等しければ処理は終了し、そうでないならばステップＳ４５０において１増やし、処理はステップＳ４１０に戻る。

明らかであるが、代替的な実施は、例えば最初に全体の記述子Ｖを算出し、そして量子化された記述子Ｖ〜を生成するべく量子化を進めることによって、本発明の範囲から逸脱せずに、図１１と比較して適切に順序または特定の動作を変化させてもよい。

従って、合成記述子Ｖ〜はＨの判別可能な情報を符号化する。この実施形態のように複数のセットの変換関数を利用することは、全ての部分領域ヒストグラムにおいて同一変換関数を利用することに対して大きな利点を有する。勾配のヒストグラムに基づく画像記述子を用いれば、隣接する勾配ヒストグラムは変換された勾配ヒストグラム記述子において維持され、粗いスカラー量子化との組合せで、隣接する変換されたヒストグラムが同一の要素を持つ可能性を高めるという結果をもたらす、有意な相関を示すことは、当業者に知られている。この問題は、一様化を向上し、かつ、その結果として記述子の弁別力を向上するこの実施形態により、異なる変換関数を利用することで緩和される。

そして、合成記述子のその次の処理は、前の実施形態と類似した方式で進めてもよい。

［第５の実施形態］

本発明の第５の実施形態は、図１２において示されている。例えば図４ａおよび図４ｂに従って、勾配ヒストグラムｈ_ｐを構成している勾配ヒストグラムに基づく記述子Ｈは、勾配ヒストグラムビン間の相関に対応する値を算出することで各勾配ヒストグラムｈ_ｐを変換することによって、かつ、いくつかの部分領域の変換された勾配ヒストグラム記述子が他の部分領域の変換された勾配ヒストグラム記述子と異なる要素の数を含むべく、処理される。

より具体的には、図１２において、以下の関係式（１７）を満たす各ヒストグラムｈ_ｐが順に処理される。
ｐ＝０...Ｎ−１ （Ｎ＝１６）・・・関係式（１７）
ステップＳ５００において、ｐは０にセットされる。

そして、ステップＳ５１０において、ｈ_ｐの処理のための適切な次元を選択するべく、ｐの値が考察される。この選択は、例えば図６において示されたラインに沿って進む。ｐ＝５，６，９，１０を満たす中央部分領域ヒストグラムは、合成記述子が各（ｋ_ｃ＝３）の要素ｋ_ｃを有するべく変換され、ｐ＝０，１，２，３，４，７，８，１１，１２，１３，１４，１５を満たす境界部分領域ヒストグラムは、合成記述子が各（ｋ_ｂ＝２）の要素ｋ_ｂを有するべく変換される。しかしながら、これは限定的ではなく、異なる数の可能な次元が、異なる空間配置と共に、使用されてもよい。

そして、ステップＳ５２０において、ｎ個のビン（ｎ＝８）のヒストグラムｈ_ｐが、以下に示される数式（１４）の関数に従って、勾配ヒストグラムビン間の相関に対応する値を算出することによって、記述子ｖ_ｐに変換される。

ｖ_０＝ｈ_０−ｈ_４ （中央および境界部分領域の両方に対して用いられる）
ｖ_１＝ｈ_１−ｈ_５ （中央および境界部分領域の両方に対して用いられる）
ｖ_２＝（ｈ_１＋ｈ_５）−（ｈ_３＋ｈ_７） （中央境界部分領域に対してのみ用いられる）・・・数式（１４）

明らかであるが、この実施形態は、いずれかの前の実施形態と組み合わされてもよく、数式（１４）の変換関数は、これより前に見られるような選択条件のいずれかの混合に従って選択された変換関数によって置換されてもよく、および／または、異なるセットの変換関数が異なる部分領域ヒストグラムに対して用いられてもよい。

そして、ステップＳ５３０において、第３および第４の実施形態に対するものと類似した方式で量子化された記述子ｖ_ｐ〜を与えて、ｋ個の要素の記述子ｖ_ｐの各要素がｑレベルへと個々に量子化される。

そして、ステップＳ５４０において、ｐの値が考察され、もしＨにおける最後のヒストグラムの指標と等しければ処理は終了し、そうでないならばステップＳ５５０において１増やし、処理はステップＳ５１０に戻る。

明らかであるが、代替的な実施は、例えば最初に全体の記述子Ｖを算出し、そして量子化された記述子Ｖ〜を生成するべく量子化を進めることによって、本発明の範囲から逸脱せずに、図１２と比較して適切に順序または特定の動作を変化させてもよい。

従って、合成記述子Ｖ〜は、境界部分領域ヒストグラムに対する中央部分領域ヒストグラム等の画像コレスポンデンスを確立または検証する点でより重要であり得る、Ｈのこれら部分をより顕著にする方式で、これら部分に対して増大した次元の表現を可能にすることによって、Ｈの判別可能な情報を符号化する。

［第６の実施形態］

本発明の第６の実施形態は、図１３において示されている。例えば図４ａおよび図４ｂに従って、勾配ヒストグラムｈ_ｐを構成している勾配ヒストグラムに基づく記述子Ｈは、勾配ヒストグラムビン間の相関に対応する値を算出することで各勾配ヒストグラムｈ_ｐを変換することによって、かつ、いくつかの変換された勾配ヒストグラム記述子要素が他の変換された勾配ヒストグラム記述子要素と異なるレベルの数へと量子化されるべく、処理される。

より具体的には、図１３において、以下の関係式（１８）を満たすヒストグラムｈ_ｐが順に処理される。
ｐ＝０...Ｎ−１ （Ｎ＝１６）・・・関係式（１８）
ステップＳ６００において、ｐは０にセットされる。

そして、ステップＳ６１０において、ｎ個のビン（ｎ＝８）のヒストグラムｈ_ｐが、以下の数式（１５）で示されるような、ビン間の相関を捉えるべく選択された関数のセットによって、ｋ個の要素（ｋ＝８）の記述子ｖ_ｐに変換される。

ｖ_０＝ｈ_２−ｈ_６
ｖ_１＝ｈ_３−ｈ_７
ｖ_２＝ｈ_０−ｈ_１
ｖ_３＝ｈ_２−ｈ_３
ｖ_４＝ｈ_４−ｈ_５
ｖ_５＝ｈ_６−ｈ_７
ｖ_６＝（ｈ_０＋ｈ_４）−（ｈ_２＋ｈ_６）
ｖ_７＝（ｈ_０＋ｈ_２＋ｈ_４＋ｈ_６）−（ｈ_１＋ｈ_３＋ｈ_５＋ｈ_７）・・・数式（１５）

明らかであるが、この実施形態は、いずれの前の実施形態と組み合わされてもよく、数式（１５）の変換関数は、これより前に見られるような選択条件のいずれかの混合に従って選択された変換関数によって置換されてもよく、および／または、変換関数の異なるセットが異なる部分領域ヒストグラムに対して用いられてもよく、および／または、異なる変換された記述子の次元が異なる部分領域ヒストグラムに対して用いられてもよい。

そして、ステップＳ６２０において、各要素ｖ_ｐｊの量子化に対する量子化レベルの適切な数を選択するべく、ｐの値が考察される。この選択は、例えば図７において示されたラインに沿って進む。ｐ＝５，６，９，１０を満たす中央部分領域記述子はｑ_ｃレベル（ｑ_ｃ＝４）へと量子化され、ｐ＝０，１，２，３，４，７，８，１１，１２，１３，１４，１５を満たす境界部分領域記述子はｑ_ｂレベル（ｑ_ｂ＝２）へと量子化される。しかしながら、これは限定的ではなく、異なる数の可能な量子化レベルが、異なる空間配置と共に、使用されてもよい。さらに、これは図１３において示されていないけれども、各要素ｖ_ｐｊに対する量子化レベルの数は、ｐの値、すなわち要素の部分領域位置に代えて、または、それに加えて、ｊの値に従い、すなわち、記述子要素の特殊なタイプに従い、決定されてもよい。

そして、ステップＳ６３０において、第３、第４および第５の実施形態に関して類似した方式で量子化された記述子ｖ_ｐ〜を与え、ｋ個の要素の記述子ｖ_ｐの要素が量子化レベルの適切な数へと個々に量子化される。

そして、ステップＳ６４０において、ｐの値が考察され、もしＨにおける最後のヒストグラムの指標と等しければ処理は終了し、そうでないならばステップＳ６５０において１増やし、処理はステップＳ６１０に戻る。

明らかであるが、代替的な実施は例えば最初に全体の記述子Ｖを算出し、そして量子化された記述子Ｖ〜を生成するべく量子化に進むことによって、本発明の範囲から逸脱せずに、図１３と比較して適切に順序または特定の動作を変化させてもよい。

従って、合成記述子Ｖ〜は、画像コレスポンデンスを確立または検証する点でより重要であろう、Ｈのこれら部分またはＶのこれらの要素に対して、より高度な表現精度を与える方式で、Ｈの判別可能な情報を符号化する。

図４ａおよび図４ｂにおいて示されているようなＳＩＦＴ画像記述子から、ロバストで、判別可能で、スケーラブルかつ簡潔な画像記述子を算出すべく、本発明の態様および実施形態が詳細に示されているけれども、本発明は勾配のヒストグラムに基づく他の画像記述子に適用可能である。例えば、図１４は、隣接する勾配ヒストグラムの処理において用いられる変換関数のセットとの違いを示す変換関数のセットと共に勾配ヒストグラムの夫々を変換することによって、本発明の第４の実施形態と類似した方式で、前述の変換関数のセットに対応する図１４におけるシンボルＡ、ＢおよびＣと共に、ｌｏｇ−ｐｏｌａｒ空間細分を使用する勾配ヒストグラムに基づいた記述子の処理を示している。他の例として、勾配のＸおよびＹ成分の２次元空間の、図１５において示されるようなビンへの細分に基づいた勾配のヒストグラムに対して、本発明の前の実施形態と類似した方式における適切な１つの変換関数のセットは以下の数式（１６）である。

ｖ_０＝ｈ_０−ｈ_１
ｖ_１＝ｈ_１−ｈ_２
ｖ_２＝ｈ_２−ｈ_３
ｖ_３＝ｈ_３−ｈ_４
ｖ_４＝ｈ_４−ｈ_５
ｖ_５＝ｈ_５−ｈ_６
ｖ_６＝ｈ_６−ｈ_７
ｖ_７＝ｈ_７−ｈ_０
ｖ_８＝ｈ_８−（ｈ_０＋ｈ_１＋ｈ_２＋ｈ_３＋ｈ_４＋ｈ_５＋ｈ_６＋ｈ_７）・・・数式（１６）

さらに、本発明は、適切に処理された勾配のヒストグラムに基づく画像記述子に適用可能でもある。そのような適切な処理は、例えば、本発明に従う処理より前に、部分領域勾配ヒストグラムの組合せを必要としてもよい。

説明的な目的のためだけに図４ａを参照し、ｐ＝０...１５を備える部分領域ヒストグラムｈ_ｐを構成する勾配ヒストグラム記述子Ｈに対して、ｐ＝０、１、４、５を備えるヒストグラムが、それらのビンの値を平均化することによって単一の部分領域ヒストグラムへと組み合わされてもよく、類似した組合せがｐ＝２、３、６、７およびｐ＝８、９、１２、１３およびｐ＝１０、１１、１４、１５を備えるヒストグラムに対して実行されてもよい。これは、本発明の前の任意の実施形態に従ってその後に処理され得る減らされた次元を備える、勾配ヒストグラム記述子という結果をもたらす。勾配ヒストグラムはまた、和等の、それらのビンの値の代替的な関数によって組み合わされてもよい。

代替的に、または加えて、そのような適切な処理は、例えば、部分領域勾配ヒストグラム内でのビンの合併を必要としてもよい。説明的な目的のためだけに図４ｂを参照し、勾配ヒストグラムｈに対して、隣接するビンが、平均化、加算、メディアンまたは任意の適切な関数によって、単一のビンへと合併されてもよい。これは、本発明の前の任意の実施形態に従ってその後に処理され得る減らされた次元を備える、勾配ヒストグラム記述子という結果をもたらす。

例としてのみ、図１６は、本発明に従う方法を実行する概念的な処理装置を示す。より具体的には、処理装置１１００は、画像またはビデオデータ等の画像データを構成する入力、勾配のヒストグラムに基づいて予め算出された記述子、本発明の方法に従って予め算出された簡潔な記述子、プログラミング命令、またはユーザ入力を、ユーザ入力装置、メディアリーダ、または、送信されたシグナルのレシーバの形をとってもよい入力装置１０００から受け取る。処理装置１１００は、他の処理ブロック、揮発性メモリ１１２０、不揮発性メモリ１１３０、任意で、勾配のヒストグラムに基づく記述子を生成すべく構成された記述子抽出ブロック１１４０、本発明に従う方法を実行すべく構成された簡潔な記述子抽出ブロック１１５０、および、任意で、例えば画像コレスポンデンスを確立または検証するべく前述の簡潔な記述子を処理するように構成された簡潔な記述子処理ブロック１１６０の動作を制御する、中央演算処理装置１１１０のメイン処理ブロックを構成する。処理装置１１００は、画像ディスプレイユニット、メディアライタ、または、画像またはビデオデータ等の注釈付画像データ、確立または検証された画像コレスポンデンス等の処理情報、または、本発明の方法に従って算出された簡潔な記述子を含み得る出力を提供する、シグナルの伝送器の形をとり得る出力装置１９００に接続される。図１６において示されている処理ブロックおよび構成が単に概念的であって、本発明に従う方法を実施する全ての装置に厳密に対応しなくてもよいことが理解されるべきである。

本明細書で例として説明された、勾配ヒストグラムに基づく画像記述子を変換する方法および関連する画像処理装置は、発明的思想の新規な真意から逸脱することなく多くの可能なバリエーションが施されてもよい。本発明の実際的な実施において、説明された詳細が異なる形状を有してもよく、または、他の技術的に等価な要素と置換されてもよいことも明らかである。

それゆえ、本発明が、勾配ヒストグラムに基づく画像記述子を変換する方法および関連する画像処理装置に制限されないが、以下の特許請求の範囲において明確に特定されるような発明的な思想から逸脱することなく、多くの変更、改良または等価な部分および要素の置換が施されてもよいことが容易に理解され得る。

Claims (19)

1. 複数のヒストグラムビン（ｈ_ｉ）を含む勾配ヒストグラム（ｈ）に基づく画像記述子を、複数の値（ｖ_ｊ）からなるセットを構成する変換された勾配ヒストグラム記述子（ｖ）に変換する方法であって、
   前記複数の値（ｖ_ｊ）からなるセットを算出するべく少なくとも１つの基準を用いる段階を含み、前記少なくとも１つの基準は、前記複数のヒストグラムビン（ｈ_ｉ）の配置基準を含む方法。
2. 前記配置基準は、単一の角度分離を示す複数の勾配ヒストグラムビン（ｈ_ｉ）間の複数の値（ｖ_ｊ）を算出することを規定する請求項１に記載の方法。
3. 前記配置基準は、複数の角度分離を示す複数の勾配ヒストグラムビン（ｈ_ｉ）間の複数の値（ｖ_ｊ）を算出することを規定する請求項１に記載の方法。
4. 前記複数の値（ｖ_ｊ）の少なくとも１つは、隣接する複数のヒストグラムビン（ｈ_ｉ）間で算出される請求項２または３に記載の方法。
5. 前記複数の値（ｖ_ｊ）は複数のレベル（ｑ）へと個々に量子化され、前記複数のレベルは、複数の値（ｖ_ｊ）の夫々に対して同一であるか、または、少なくとも２つの値（ｖ_ｊ）に対して異なる請求項１から４のいずれか一項に記載の方法。
6. 前記複数の値（ｖ_ｊ）は、複数のヒストグラムビン（ｈ_ｉ）間の和または差、複数のヒストグラムビン（ｈ_ｉ）の和の間の差、複数のヒストグラムビン（ｈ_ｉ）間の線形または非線形演算処理、複数のヒストグラムビン（ｈ_ｉ）間の比、複数のヒストグラムビン（ｈ_ｉ）の和の間の比、複数のヒストグラムビン（ｈ_ｉ）の生成物間の比、複数のヒストグラムビン（ｈ_ｉ）の生成物間の差のうちの、１または複数の動作に従って算出される請求項１から５のいずれか一項に記載の方法。
7. 前記勾配ヒストグラム（ｈ）は複数の要素の第１の数（ｎ）の次元を有し、前記複数の値（ｖ_ｊ）からなるセットは複数の要素の第２の数（ｋ）の次元を有し、複数の要素の前記第１の数（ｎ）は複数の要素の前記第２の数（ｋ）と等しい請求項１から６のいずれか一項に記載の方法。
8. 前記勾配ヒストグラム（ｈ）は複数の要素の第１の数（ｎ）の次元を有し、前記複数の値（ｖ_ｊ）からなるセットは複数の要素の第２の数（ｋ）の次元を有し、複数の要素の前記第１の数（ｎ）は複数の要素の前記第２の数（ｋ）より大きい請求項１から６のいずれか一項に記載の方法。
9. 前記勾配ヒストグラム（ｈ）は複数の要素の第１の数（ｎ）の次元を有し、前記複数の値（ｖ_ｊ）からなるセットは複数の要素の第２の数（ｋ）の次元を有し、複数の要素の前記第１の数（ｎ）は複数の要素の前記第２の数（ｋ）より小さい請求項１から６のいずれか一項に記載の方法。
10. 複数の勾配ヒストグラム（ｈ_ｐ）に基づく画像記述子（Ｈ）を、変換された画像記述子（Ｖ）に変換する方法であって、
    前記複数の勾配ヒストグラム（ｈ_ｐ）の各々は、画像キーポイント（ＫＰ）周りのローカル領域（Ｒ）の部分領域（ＳＲ）に関係し、前記複数の勾配ヒストグラム（ｈ_ｐ）の夫々は、請求項１から９のいずれか一項に従って、変換された勾配ヒストグラム記述子（Ｖ）へと変換される複数のヒストグラムビン（ｈ_ｉ）を含む、方法。
11. 複数の部分領域勾配ヒストグラムのうちの少なくとも１つの部分領域勾配ヒストグラムは、他の複数の部分領域勾配ヒストグラムと異なって変換される請求項１０に記載の方法。
12. 複数の部分領域勾配ヒストグラムは、単一の部分領域ヒストグラムにおいて、特に、それらの複数のビンの値を合計する、または、平均化することによって、組み合わされる請求項１１に記載の方法。
13. 変換された前記少なくとも１つの部分領域勾配ヒストグラムを得るべく使用される動作は、複数の隣接する部分領域の少なくとも１つの部分領域の、複数の変換された部分領域勾配ヒストグラムを得るべく使用される動作と、少なくとも部分的に異なる請求項１１に記載の方法。
14. 変換された前記少なくとも１つの部分領域勾配ヒストグラムは、複数の隣接する部分領域の少なくとも１つの部分領域の、複数の前記変換された部分領域勾配ヒストグラムとは異なる数の複数の要素を含む請求項１１に記載の方法。
15. 前記画像キーポイント（ＫＰ）を直接囲む複数の部分領域（ＳＲ_ｃ）に対する複数の変換された部分領域勾配ヒストグラムは、複数の残っている部分領域（ＳＲ_ｂ）の複数の変換された勾配ヒストグラムの複数の要素（ｋ_ｂ）より多くの複数の要素（ｋ_ｃ）を含む請求項１４に記載の方法。
16. 前記画像キーポイント（ＫＰ）を直接囲む複数の部分領域（ＳＲ_ｃ）の前記複数の変換された勾配ヒストグラムの複数の要素は、複数の残っている部分領域（ＳＲ_ｂ）の複数の変換された勾配ヒストグラムが量子化されるレベル（ｑ_ｂ）の数よりも多い数のレベル（ｑ_ｃ）で量子化される請求項１５に記載の方法。
17. 前記量子化は、前記複数の部分領域勾配ヒストグラムの複数の特異的要素に対してのみ適用される請求項１６に記載の方法。
18. 前記変換された画像記述子（Ｖ）は、量子化されて変換された画像記述子（Ｖ〜）を生成するべく、量子化処理が施される請求項１０に記載の方法。
19. 請求項１から１８のいずれか一項に記載の方法を実行する手段を備える画像処理装置。

Images