JP2014056572A - 勾配方位のヒストグラムによるテンプレート・マッチング - Google Patents

Abstract

【課題】 演算の面で効率的なエッジ・ベースマッチング技術を提供する。
【解決手段】 画像処理のためのシステムは、エッジ・ベース技術を使用してモデル画像のエッジ・ピクセルを決定することと、モデル画像のエッジ・ピクセルのそれぞれについて角度方位を決定することを含む。システムは、モデル画像の角度方位に基づいて勾配方位のヒストグラムを決定する。システムは、エッジ・ベース技術を使用して入力画像のエッジ・ピクセルを決定し、入力画像のエッジ・ピクセルのそれぞれについて角度方位を決定する。システムは、入力画像の角度方位に基づいて勾配方位のヒストグラムを決定する。システムは、モデル画像の勾配方位のヒストグラムと入力画像の勾配方位のヒストグラムとを比較し、入力画像内の対象物の場所の候補を決定する。
【選択図】 図１１

Description

本発明は、画像のためのテンプレート・マッチングに関する。

図１に示すテンプレート・マッチングは、画像の内容を認識するために一般に使用されている技術である。テンプレート・マッチング技術には、モデル画像内に与えられたターゲットを特定し、入力画像内におけるそのターゲットの位置、方位、および拡大縮小率を自動的に見つけ出すことが含まれている。概して、入力画像は幾何学的変形（回転、ズームなど）および測光値の変化（輝度／コントラストの変化、ぼやけ、ノイズなど）を被る。テンプレート・マッチングの場合、モデル画像内にあるターゲットに関連する特性が、対象画像に対するテンプレート・マッチングを実行する前に既に知られていると想定することがある。入力画像に対するそれらの特性のマッチングは、「オンライン」と考えるが、ターゲットのそのような特性の抽出、モデリング、および学習は「オフライン」と考え予め行なうことがある。

テンプレート・マッチング技術の１つに、良好なマッチング精度を達成する、特徴点に基づくテンプレート・マッチングがある。特徴点に基づくテンプレート・マッチングにおいては、対象物の判別可能な注目点および特徴がモデル画像および入力画像から抽出される。続いてモデル画像と入力画像の間において、Ｋ近傍法サーチまたは何らかの特徴点の分類技術を用いてこれらの特徴のマッチングが行なわれる。次に、それらのマッチした特徴点からホモグラフィ変形が推定され、さらにそれを精緻化することができる。

特徴点に基づくテンプレート・マッチングは、対象物が充分な数の注目特徴点を含んでいる場合に良好に機能する。通常それは、入力画像またはモデル画像内におけるターゲットがほとんど、もしくはまったく注目点を含んでいないとき（たとえば、コーナ）、またはターゲットが非常に単純であるか（たとえば、ペーパー・クリップのようにターゲットがエッジのみからなる場合）または対称であるとき、またはターゲットが反復パターンを含むとき（たとえば、機械ねじ）には、有効なホモグラフィを作り出すことができない。このような場合には、曖昧なマッチングが多すぎて有効なホモグラフィの生成が妨げられる。そのような失敗を低減するためには、単に局所的な特徴に依存するのではなく、エッジ、輪郭、または形状などといった対象物の全般情報を利用することができる。

テンプレート・マッチングの別のカテゴリは、ピクセル・バイ・ピクセル態様で基準テンプレートのウインドウをスライドさせることによってターゲットをサーチし、それらの間における類似性の程度を計算することであり、それにおいて類似性に関する種々の値は、一般に、相関または正規化された相互相関によって与えられる。ピクセル・バイ・ピクセル・マッチングは非常に時間を消費し、しかも演算コストが高い。入力画像のサイズがＮ×Ｎであり、モデル画像のサイズがＷ×Ｗである場合には、入力画像およびモデル画像内における対象物の方位が一致していると仮定したときの演算の複雑性は、Ｏ（Ｗ^２×Ｎ^２）である。任意の方位にある対象物をサーチするとき、１つの技術として、あらゆる可能性のある方位に回転したモデル画像を用いてテンプレート・マッチングを行なうものがあるが、これはマッチング・スキームの演算コストをより一層高いものにする。演算時間を低減するために、粗および密の分解能を用いる多分解能テンプレート・マッチングが使用されることもある。

したがって、望まれていることは、演算の面で効率的なエッジ・ベースマッチング技術である。

本発明は、画像処理のための方法であって、
（ａ）エッジ・ベース技術を使用してモデル画像のエッジ・ピクセルを決定することと、
（ｂ）前記モデル画像の前記エッジ・ピクセルのそれぞれについて角度方位を決定することと、
（ｃ）前記モデル画像の前記角度方位に基づいて勾配方位のヒストグラムを決定することと、
（ｄ）エッジ・ベース技術を使用して入力画像のエッジ・ピクセルを決定することと、
（ｅ）前記入力画像の前記エッジ・ピクセルのそれぞれについて角度方位を決定することと、
（ｆ）前記入力画像の前記角度方位に基づいて勾配方位のヒストグラムを決定することと、
（ｇ）前記モデル画像の前記勾配方位のヒストグラムと前記入力画像の前記勾配方位のヒストグラムとを比較し、前記入力画像内における対象物の場所の候補および前記対象物の方位の候補を決定することと、
を含むことを特徴とする方法である。
本発明において、前記エッジ・ベース技術のそれぞれは勾配を含むことを特徴とする。

本発明において、前記モデル画像の前記エッジ・ピクセルの前記角度方位は、３６０度未満の範囲において規定されることを特徴とする。
本発明において、前記範囲は、略１８０度であることを特徴とする。

本発明において、前記モデル画像の前記勾配方位のヒストグラムは、前記モデル画像のピクセルの各群を結合することに基づくことを特徴とする。

本発明において、前記入力画像の前記勾配方位のヒストグラムは、前記入力画像のピクセルの各群を結合することに基づくことを特徴とする。

本発明において、前記比較は、前記モデル画像内の対象物の境界よりも大きいサイズを有する注目領域に基づくことを特徴とする。

本発明において、前記入力画像の前記エッジ・ピクセルのそれぞれについての前記角度方位は量子化されることを特徴とする。

本発明において、前記モデル画像の前記エッジ・ピクセルのそれぞれについての前記角度方位は量子化されることを特徴とする。

本発明において、前記モデル画像の前記勾配方位のヒストグラムと前記入力画像の前記勾配方位のヒストグラムとを比較し、前記入力画像内における前記対象物の場所の候補を決定することは、前記ヒストグラムの複数の異なる関係に基づくことを特徴とする。

本発明において、前記場所の候補は、別の技術に基づいてさらに精緻化されることを特徴とする。

本発明において、前記別の技術は、テンプレート・マッチングに基づくことを特徴とする。

本発明において、前記比較することは、角度の判別のためにさらに処理されることを特徴とする。

本発明において、前記ヒストグラムを決定することは、実質的にＯ（１）ピクセル演算の複雑性に基づくことを特徴とする。

本発明において、前記比較することは、ストリーミングＳＩＭＤ拡張の使用を含むことを特徴とする。

本発明において、前記モデル画像の前記エッジ・ピクセルは、エッジ・マスクに基づいてさらに修正されることを特徴とする。

本発明において、前記比較することは、エッジ距離低減プロセスに基づいてさらに修正されることを特徴とする。

本発明によれば、このような構成にすることによって、演算の面で効率的なエッジ・ベースマッチング技術を提供することができる。

テンプレート・マッチングを示す図である。 モデル画像、入力画像、および出力画像を示す図である。 別のモデル画像、入力画像、および出力画像を示す図である。 別のモデル画像、入力画像、および出力画像を示す図である。 画像マッチング技術を示す図である。 複数の角度方位を示す図である。 画像のピクセル・ブロックを示す図である。 異なる角度についてのビット・パターンを示す図である。 異なる角度についての別のビット・パターンを示す図である。 異なる角度における複数のテンプレートを示す図である。 マッチングのための画像処理技術を示す図である。 勾配方位のヒストグラムの決定を示す図である。 ヒストグラム比較技術を示す図である。 優勢な方位のマッチング技術を示す図である。 角度決定技術を示す図である。 角度決定技術を示す図である。 ヒストグラム計算技術を示す図である。 モデル・エッジ技術を示す図である。 距離最小化に基づく精緻化を示す図である。

本発明の上述の、およびその他の目的、特徴、および利点は、以下に詳細に述べる発明の詳細な説明を、添付図面を併用してより容易に理解されるであろう。

図２を参照すると、多くの場合において、モデル画像が有する一連の特徴点には限りがあるが、それらの特徴点には比較的鋭いエッジ特徴が含まれる傾向がある。そのような例の１つがペーパー・クリップである。この場合には適切なマッチング技術を使用し、１つまたは複数の入力画像内にあるマッチしている対象物を演算が効率的であるように見つけ出すことが望ましい。マッチしている対象物は、未知の位置に未知の回転で存在していることもある。

図３を参照すると、多くの場合において、入力画像が１つまたは複数のマッチしている注目対象物を有していることがあり、それらが互いに重なり合っていることもある。その場合には適切なマッチング技術を使用し、１つまたは複数の入力画像内にあるマッチしている対象物を演算が効率的であるように見つけ出すことが望ましい。マッチしている対象物は、未知の位置に未知の回転で存在していることもある。

図４を参照すると、多くの場合において、入力画像が１つまたは複数のマッチしている注目対象物を有していることがあり、それらが互いに重なり合っていることもある。その場合には適切なマッチング技術を使用し、１つまたは複数の入力画像内にあるマッチしている対象物を演算が効率的であるように見つけ出すことが望ましい。マッチしている対象物は、未知の位置に未知の回転で、未知の拡大縮小率で存在していることもある。

再び図２、図３、および図４を参照すると、マッチング技術は演算が効率的でなければならない一方、鋭いコーナ、有意のエッジなどの画像の特徴を見分けるか、または比較的少ないそのような特徴を有する画像を見分けるために充分にロバストであるべきである。それ加えて、マッチング技術は、画像内のライティングまたは照明の変化、画像内のぼやけ、画像内のノイズ、およびその他の画像の不完全性に起因する影響を減少するために充分にロバストであるべきである。

図５を参照すると、モデル画像１００は、システムによって受信されてもよい。画像マッチングのための注目画像となりそうなモデル画像１００の領域を決定する好ましい技術として、エッジ・ベース技術１１０を使用してモデル画像のエッジの場所を見つけ出すものがある。たとえばエッジ１１０を決定する１つの方法として、勾配ベース技術がある。エッジ・ベース技術は、概してロバストであり、ライティングの変化に対して概して不変であり、照明の変化に対して概して不変であり、かつ概してノイズ耐性があり、概して演算が効率的であるように実施されてもよい。エッジ・ピクセルであると決定されたピクセルのそれぞれについて、エッジの方位１２０を決定することができる。たとえば、各エッジ・ピクセルにおける方位１２０が、増分を１度などとして０から１７９度まで（たとえば、３６０度未満）の方位を有していると決定することができる。望ましい場合には、その方位を完全な３６０度とすることができる。エッジの方位１２０は、したがって、それの特定の方向ではなく、好ましくはエッジの整列に関係する情報を含む。該技術の不変性を増大させるために、好ましくはエッジの方位１２０は、概して１８０度の範囲内において規定される（たとえば、３６０度未満）。この態様においては、エッジの方向が１つの方向（たとえば北）を向くか、その反対の方向（たとえば南）を向くかのいずれかになるが、システムは、いずれが特定の方向であるかを知り得ない。この態様のエッジの方位の特性は、コントラストの反転に対してより不変なシステムを結果としてもたらす。

ピクセル分解能テンプレート１４０を、エッジの方位１２０に基づいて決定することができる。ピクセル分解能テンプレート１４０は、それぞれのエッジ・ピクセルの場所において、増分を１度（または、そのほかの適切な角度増分）として１８０度の角度情報を有することができる。入力画像を「高分解能」のピクセル分解能テンプレートのみに基づいて処理することは、ピクセル分解能テンプレートの高い角度分解能および高い空間分解能に起因して演算が効率的でない。システムの演算効率を向上させるために、好ましくは、ピクセル分解能テンプレート１４０に基づいて１つまたは複数の追加の量子化された角度テンプレートおよび／または空間テンプレートが使用される。

図６を参照すると、望ましい場合にはエッジの方位１２０を、たとえば−１５度〜＋１５度、＋１５度〜＋４５度、＋４５度〜＋７５度、＋７５度〜＋１０５度、＋１０５度〜＋１３５度、および＋１３５度〜＋１６５度というように６セットの方位のうちの１つに量子化することができる。残りの６つの方位については、システムが好ましく方向に関して不変であることから、決定する必要がない。したがって、ピクセル・テンプレート１４０の各ピクセルは、６つの方位のうちの１つの中に入るものとして分類することができ、全体的に見てより低い角度分解能のテンプレート１５０を形成する。

図７を参照すると、望ましければ、システムの演算効率をさらに増大させるために、ピクセルの各群を、それらの角度的な方位を含めて、より低い分解能における複合型の角度方向に結合することによって、より低い角度分解能テンプレート１５０に基づいたより低い空間分解能テンプレートを規定することができる。より低い角度分解能テンプレート１５０は、より低い空間分解能を提供するように修正することができる。たとえば、より低い角度分解能テンプレートの４×４ピクセルの各ブロックを、単一の方向および／または複数の方向を示すように組み合わせることができる。ピクセルの各ブロックについて、各方位の発生頻度をランク順に配列することができる。代替案としては、ブロック内のピクセルの方位を、それらの関連付けされたエッジ強度および／または勾配の大きさに基づいて、ランク順に配列することができる。その後、ランク付けされた方位の上位４つ（または、そのほかの適切な数）を、そのブロック内の方位をそれらが代表するものとして選択することができる。たとえば、４つの異なる方位が存在した場合には、それらのそれぞれを選択することができる。たとえば、まったく等しい３つの方位およびそれらとは異なる４番目の方位が存在する場合には、代表的な方位を２つの異なる方位とすることができる。同様にエッジの強度および／または勾配の大きさを、ランク付けのベースとして使用することができる。方位の選択のためのランク付けのベースとして使用されることを除けば、好ましくは方位の頻度（量子化された方向が同じピクセルの数）がより低い空間分解能テンプレートでは表現されない。

図８を参照すると、演算効率をさらに増大させるために、バイトのセットを使用し、各バイトのビットで角度方位を代表してテンプレートをエンコードすることができる。たとえば第１ビットは、６つの方位のうちの第１の角度方位を代表することができる。たとえば第２ビットは、６つの方位のうちの第２の角度方位を代表することができる。たとえば第３ビットは、６つの方位のうちの第３の角度方位を代表することができる。たとえば第４ビットは、６つの方位のうちの第４の角度方位を代表することができる。たとえば第５ビットは、６つの方位のうちの第５の角度方位を代表することができる。たとえば第６ビットは、６つの方位のうちの第６の角度方位を代表することができる。前述したとおり、好ましくは角度方位が、たとえば−１５度〜＋１５度、＋１５度〜＋４５度、＋４５度〜＋７５度、＋７５度〜＋１０５度、＋１０５度〜＋１３５度、および＋１３５度〜＋１６５度というように水平および垂直からオフセットされている。しばしば入力画像内の対象物の角度方位は、垂直および／または水平のエッジのいずれかを有する傾向があり、また角度範囲（たとえば、−１５度〜＋１５度）内の略中心にそれらの水平および／または垂直の関係を置くことが、わずかな角度修正に対してシステムをよりロバストにする傾向がある。バイトによって表現されるピクセルの各群の潜在的な角度関係を用いれば、システムは、演算の面で効率的なパターン・マッチングを実行することができる。

図９を参照すると、いくつかの場合においては、比較された角度が両側の量子化された角度の境界上に存在する影響を低減するために、特定のピクセルのための角度決定の方位により高いロバスト性が含まれことが望ましい。たとえば、モデル画像が４４度の角度（ビット・パターン０００００１００）を有することがある。しかしながら、入力画像が有する対象物の同一部分の局所的な方位の角度は、ノイズまたはその他の小さな変化に起因して４６度であったとしてもよい。その場合には入力画像の角度が量子化されて００００１０００のビット・パターンが与えられる。方位の角度に非常に小さな差しかないにもかかわらず、角度コードが互いにマッチすることはない。角度に軽微な偏差を伴うそのような場合において、おそらくは数度の差しかなくても（たとえば、４４度と４６度）、入力画像とモデル・テンプレートの間において角度決定の方位が有意に現われることがある。この可能性を低減するために、モデル・テンプレートのビット・パターンを広げて、隣接する角度領域を含ませることができる。したがって、モデル画像のビット・パターンが量子化された領域の両側を含むように、すなわち００００１１１０に修正された場合には、００００１０００のビット・パターンを有する入力画像のピクセル領域は、オーバーラップを有することになり、したがってマッチする。この態様においては、マッチングがよりロバストになるが、判別可能性がわずかに低くなる。このアプローチは、追加のビット・パターンを使用して精緻化し、拡張することができる。特に、量子化領域の両方の側ではなく、一方の側においてビット・パターンを拡幅することができる。さらにまた、ビット・パターンの拡幅の決定を、量子化の境界に対する実際の方位の角度の近接度に基づくことができる。

図１０を参照すると、望ましい場合には、異なる角度方位に置かれた対象物を有する入力画像のためのシステムの演算効率を増大させるために、モデル画像を、複数の異なる方位に回転することができる。テンプレートは、異なる角度方位のそれぞれにおいて計算される。この態様においては、特定のモデル画像のためのテンプレートのそれぞれを、効率的にあらかじめ計算することができる。たとえば、それらの角度ポジションが、０度、３０度、６０度、９０度、１２０度、および／または１５０度を含むことができる。この態様においては、処理されるべくシステムに入力される画像を、多様な、より低い空間分解能テンプレート、特に、角度的に量子化されたより低い分解能テンプレートと比較することができる。

図１１を参照すると、モデル画像２１０のためのモデル処理２００および入力画像処理２３０の一例が示されている。モデル画像２１０は、ロー・パス・フィルタリング演算などを使用する前処理２１２を行なって画像内のノイズを低減することができる。フィルタリング後のモデル画像２１２は、回転モジュール２１４によって、方位のセットの中にある回転、たとえば３０度ずつの回転を与えることができる。システムは、２１６において、方位２１４のセットのそれぞれについて勾配を計算して画像内のエッジを識別し、エッジに対応するピクセルを決定することができる。システムは、２１６においてエッジが決定された方位のセットのそれぞれについて、各ピクセルの方位およびピクセルのブロック（たとえば、４×４ピクセルのブロックなど）についての優勢な方位の抽出を２１８において行ない、それの結果を、前述したとおり、適切なビット・パターンを有するバイトのセットとして記憶することができる。それに加えてシステムは、１度ずつの回転といった実質的により細かい角度分解能において完全分解能のテンプレートを生成することができる。このプロセスの結果がモデル特徴テンプレートのセット２２０になる。

入力画像２３２のための例示的な入力画像プロセス２３０は、画像内のノイズを低減させる前処理２３４を含むことができる。システムは、２３６において勾配を計算してフィルタリング後の入力画像内のエッジを識別し、エッジに対応するピクセルを決定することができる。システムは、２３６において決定されたエッジのそれぞれについて、各ピクセルの方位およびピクセルのブロック（たとえば、４×４ピクセルのブロックなど）についての優勢な方位の抽出を２３８において行ない、それの結果を、前述したとおり、適切なビット・パターンを有するバイトのセット２４０として記憶することができる。この場合においても同様にシステムは、完全分解能の入力特徴画像を計算することができる。このプロセスの結果が入力特徴画像２４０である。

システムは、２５０において、入力画像２３２の異なる領域について、入力特徴画像２４０と粗い回転のそれぞれにおけるモデル特徴テンプレート２２０の間のテンプレート・マッチング・スコアを計算することができる。これらの比較テンプレートは、望ましい場合には、前述したそれぞれの画像のバイト表現を基礎とする。たとえば、システムは、テンプレートの中心を入力画像の各ピクセルもしくはピクセルのブロックに置くか、または任意のその他の適切な態様で処理することができる。入力特徴画像とテンプレートとの間におけるマッチング２５２、好ましくはもっとも高いスコアを有するマッチングのセットが任意の適切な態様において決定される。

マッチング２５２の結果は、注目対象物を含むことがありそうな入力画像内の場所の初期候補を提供し、また注目対象物の粗い角度方位も提供する。その後システムは、より細かい角度分解能で粗分解能のモデル画像を使用してより細かい角度推定を決定することによって、入力画像内の注目対象物のそれぞれの角度方位の精緻化２５４を行なう。それに加えてシステムは、より細かい角度分解能で粗分解能のモデル画像を使用することによって、入力画像内の注目対象物のそれぞれの空間的な場所の精緻化２５４を行なうことができる。望ましい場合には入力特徴画像がより高い分解能を使用してもよく、かつ／またはより細かい角度分解能を使用してもよい。入力特徴画像とテンプレートの間における精緻化されたマッチングのセットが適切な態様で決定される。

２段階マッチング・プロセスを使用することは、１段階プロセスよりも演算の面で効率がよい。第１段階では、効率的に、入力画像内の潜在的な注目対象物の粗い推定がなされる。第２段階では、サーチのエリアおよびサーチの角度範囲を縮小することによって、効率的に、入力画像内の識別された潜在的な注目対象物の場所のより細かい推定がなされる。

マッチングの精緻化２５４の結果は、断片的精緻化プロセス２５６に提供することができる。断片的精緻化プロセス２５６は、「完全分解能」モデル画像を使用した角度サーチおよび／または空間サーチを含むことができる。また、断片的精緻化プロセス２５６は、「完全分解能」モデル画像を、それのより細かい角度分解能の間を何らかの態様で補間した角度において使用し、断片的な角度推定を決定することによって入力画像内の注目対象物の角度方位を精緻化することができる。それに加えて、断片的精緻化プロセス２５６は、「完全分解能」モデル画像を、それのより細かい角度分解能において、および／または何らかの態様で補完した位置における断片的な角度において使用することによって、入力画像内の注目対象物の空間的な場所を精緻化することができる。望ましい場合には、入力特徴画像がより高い分解能を使用してもよく、および／またはより細かい角度分解能のテンプレートを使用してもよい。さらに精緻化されたマッチング２５８のセットが適切な態様で決定される。

３段階マッチング・プロセスは、１段階または２段階プロセスよりもさらに演算の面で効率的である。第１段階では、効率的に、入力画像内における潜在的な注目対象物の場所の粗い推定がなされる。第２段階では、サーチの角度範囲を絞り込むことによって、効率的に、入力画像内における識別済みの潜在的な注目対象物の場所のより細かい推定がなされる。第３段階は、効率的に、絞り込まれた空間および／または角度サーチが下位の角度および／または下位のピクセル分解能とともに提供され、それによって入力画像内における識別済みの潜在的な注目対象物の場所のより細かい推定がなされる。

対象物の場所および方位を見つけ出すためのより演算的に効率的な技術は、マッチングを２つのステップに分解する技術であり、第１ステップにおいて、モデル画像の勾配方位のヒストグラム（ＨｏＧＯ）を入力パッチの勾配方位のヒストグラム（ＨｏＧＯ）でマッチングを行なうことによって粗い対象物方位を迅速に見つけ出し、第２ステップにおいて、前述したエッジ・ベースのマッチング技術を用いて対象物の場所を見つけ出す。モデルＨｏＧＯの入力ＨｏＧＯでのマッチングにおいては、１つのモデル・テンプレートだけが入力にマッチし、それにより数回にわたってモデル特徴テンプレートを回転する必要性、およびそれらのいくつかの回転されたモデルのマッチングを入力に対して行なう必要性が取り除かれる。結果として、このＨｏＧＯ特徴を用いて大きな時間的節約が達成される。ＨｏＧＯマッチングによって各ピクセルの粗方位が見つかった後に、続いて粗い対象物位置が、各ピクセルにおけるＨｏＧＯマッチングによって獲得された特定の角度のモデルを使用し、前述したエッジ・ベースのマッチング技術を用いて計算される。

画像の特徴記述は、勾配方位のヒストグラムを使用することを含み、これはエッジ決定のバージョンと考えられ得る。画像の局所的な領域について、画像の局所的な部分の勾配方位が決定される。概略的には、勾配方位のヒストグラムに基づく記述子が、画像内の対象物の外観および形状といった画像の内容の記述を提供する。たとえば、記述子は、より小さい接続された領域に画像を分割し、各領域について勾配方位のヒストグラムを決定することによって獲得することができる。ヒストグラムの集合は、対応する記述子を表わす。より改善された正確性のためには、より大きな画像領域にわたる強度の測定を決定することによって局所的なヒストグラムのコントラスト正規化を行なうことができる。多くの場合に、そのような記述子は、幾何学的変化および測光値の変化に対して概して不変となる傾向にある。

図１２を参照すると、修正されたモデル画像プロセス４００が図示されている。モデル画像が４１０において受信されると、増分を１度などとしてモデル画像を回転することによって回転されたモデル画像の最大の注目領域を４１２において決定することができる。すべての回転後のモデル画像の全体的な最大領域を選択することができる。モデルの回転は、注目領域によってモデル画像が完全にカプセル化される可能性を増加させ、その結果、すべての潜在的なエッジ・ピクセルがヒストグラム計算に向けて計数されるようになる。たとえば、矩形のモデル画像を回転し、任意の角度回転にあるモデル画像によって取り囲まれるすべてのピクセルを決定することができる。これらのピクセルを取り囲む正方形の境界ボックスを注目領域として選択することができる。概略的には、おそらくは円形の注目領域を伴う円形のモデル画像を除けば、注目領域はモデル画像より大きくなる。

モデル画像４１０を内包する注目領域４１２を４１４において処理してノイズを低減し、かつ／または注目領域を含むモデル画像をダウン・サンプリングする。モデル画像処理４００は、画像のエッジ・ベースの領域などの、画像の異なる部分について勾配４１６を計算することができる。たとえば、ソーベル・フィルタＤｘ、Ｄｙを使用して勾配を計算することができる。静的および／または動的閾値に満たない勾配は、望ましい場合には、破棄することができる。充分に大きな勾配の大きさを有する各ピクセルについての方位を、ａｒｃｔａｎ（Ｄｘ／Ｄｙ）などのようにして４１８で決定することができる。

４２０においては、ピクセルの各ブロックについての優勢な勾配、たとえばそれぞれのブロック内における最大の勾配などを選択することができる。通常、方位を１８０度の範囲内とすることができる。通常、４２２において、優勢な方位４２０を離散的なインデクスに量子化することができる。たとえば、優勢な方位を、１０度の範囲内で量子化し、量子化インデクスにマッピングすることができる。望ましい場合には、静的および／または動的閾値に満たない最大の勾配は破棄するか、あるいはゼロにセットすることができる。例として、次に示す方位の量子化および量子化インデクスを使用することができる。
方位 量子化
＜ 閾値 ０
［０ １０］ １
［１１ ２０］ ２
［２１ ３０］ ３
［３１ ４０］ ４
［４１ ５０］ ５
［５１ ６０］ ６
［６１ ７０］ ７
［７１ ８０］ ８
［８１ ９０］ ９
［９１ １００］ １０
［１０１ １１０］ １１
［１１１ １２０］ １２
［１２１ １３０］ １３
［１３１ １４０］ １４
［１４１ １５０］ １５
［１５１ １６０］ １６
［１６１ １７０］ １７
［１７１ １８０］ １８

方位インデクスのヒストグラムが４２４において計算され、説明のためにグラフ４２６として図示される。

図１３を参照すると、システムは、各ピクセルまたはブロックの場所における量子化された方位インデクスのヒストグラムを用いて入力画像の対象物の粗方位を決定することができる。入力は、モデルのヒストグラム４２６、および注目領域のサイズを示す最大モデル［Ｗｍ Ｈｍ］４４２を含むことができる。システムは、各ピクセルまたはブロック［ｘ，ｙ］において入力パッチ［ｘ ｙ Ｗｍ Ｈｍ］についての勾配方位（たとえば、入力パッチ）のヒストグラムを４４４において計算する。言い換えると、システムは、入力画像の各ピクセルまたはブロックにおけるヒストグラムを計算する。

比較メトリック４４６を使用してモデル・ヒストグラム４２６と入力パッチ・ヒストグラム４４４のマッチングを行なう。比較メトリック４４６は、実質的に、量子化された各角度方位、たとえば１８個の異なる角度方位におけるモデル・ヒストグラムと入力パッチ・ヒストグラムの比較を行なう。そのような比較を行なう１つの態様は、一方のヒストグラムを他方に関して反復的にシフトし、それぞれのシフトされたポジションにおいてそれら２つの比較を行なうことである。最大のヒストグラム・マッチング・スコアを有する方位が、推定された粗方位として４４８において選択される。結果は、方位マップ４５０およびスコア・マップ４５２である。方位マップ４５０は、入力画像のすべてのピクセル、ピクセルの各群、または選択されたピクセルのセット（たとえば、エッジに対応するピクセルのセットなど）の方位を提供する。スコア・マップ４５２は、入力画像のすべてのピクセル、ピクセルの各群、または選択されたピクセルのセット（たとえば、エッジに対応するピクセルのセットなど）の大きさを提供する。この態様において、ピクセルまたはピクセルの各群の方位および大きさが決定される。

任意の適切なヒストグラム比較メトリックをマッチングのために使用することができ、それにおいて比較される２つのヒストグラムをＨ１およびＨ２とする。そのような技術の例を次に挙げる。

相互相関

ここで、Ｎはヒストグラムのビンの数である。

χ２乗

インターセクション

バッタチャリャ距離

カルバック・ライブラー・ダイバージェンス

各入力パッチ位置［ｘ ｙ］においてヒストグラムを計算するとき、近隣対象物のエッジ・ピクセルが現在の対象物のヒストグラムの計算に含められることを防止するため、システムは、それらの近隣のエッジ・ピクセルを排除するマスクを含むことができる。マスクの半径は、モデルの注目領域の最大の幅および高さの半分として計算することができる。

図１４を参照すると、システムは、入力画像内の対象物の位置および／または方位の推定を、粗い対象物決定プロセスからさらに精緻化することができる。対象物の位置をさらに精緻化する好ましい技術は、以前に説明したような優勢な方位テンプレートに基づく。入力は、１０度毎などのモデル勾配特徴のデータベース５００、入力勾配特徴（ＧＦ）画像５０２、方位マップ４５０、およびスコア・マップ４５２を含むことができる。モデル勾配特徴画像５００は、前述したとおり、検出された各エッジ・ピクセルにおけるバイナリ・コードを含むことができる。入力勾配特徴（ＧＦ）画像５０２は、前述したとおり、検出された各エッジ・ピクセルにおけるバイナリ・コードを含む。

入力勾配特徴画像内の各ピクセルまたはブロックについて、４５４のプロセスが実行される。システムは、スコア・マップ４５２からの各ピクセルまたはブロックにおけるスコア（ｘ，ｙ）が閾値より大きいか否かを４５６において決定する。大きい場合には、入力勾配特徴画像５０２内の各ピクセルについて、プロセスが、４５８において粗方位を方位マップから獲得する。プロセスはまた、４６０において、その粗方位に対応するモデル勾配特徴テンプレート５００も獲得する。プロセスは、４６４において、各場所における入力勾配特徴画像５０２に対する対応のモデル勾配特徴テンプレートのマッチングを、優勢な方位テンプレート・スコアを使用して行なう。結果として得られるスコアは、４６４においてスコア・マップ内に保存される。スコア（ｘ，ｙ）が閾値に満たない場合には、４７０においてスコア（ｘ，ｙ）がゼロにセットされ、４７２において方位（ｘ，ｙ）がゼロにセットされる。結果は、更新後の方位マップ４６６および更新後のスコア・マップ４６８であり、さらに精緻化が行なわれる。

図１５および図１６を参照すると、対象物のヒストグラムは、１８０度回転したその対象物のヒストグラムと同一であることから、ヒストグラム・マッチング技術によって推定される方位は、［０ １８０］度の範囲内であり、それが推定される方位の曖昧さを結果としてもたらし、言い換えるとヒストグラムは、対象物とそれが１８０度回転された対象物を区別することができない。方位の曖昧さを解決するためにシステムは、勾配方位のヒストグラムを用いて粗い回転角度（その範囲は０から１８０度まで）を計算することができる。次にその最初の粗い角度が、小さい近隣内におけるマッチングにより、第２のサーチ段階の結果として精緻化される。その後この第２のサーチが、以前に精緻化された角度から１８０度オフセットされた角度の周辺の小さい近隣内におけるサーチによって反復される。２つの第２のサーチからの最良の角度が正しい対象物の角度として選択され、その後それを別のサーチ段階においてさらに精緻化することができる。このストラテジは、小さな空間的近隣内において２つの第２のサーチが実行されることから、方位の推定の曖昧さを解決し、方位の推定の正確度および効率を改善する。

各入力パッチにおいてヒストグラムを計算する複雑度はＯ（ｒ）であり、ここでｒは、モデル・テンプレートの注目領域の半径またはカーネル半径である。高い複雑度は、限定的な演算能力でのリアルタイム応用のために、そのようなヒストグラム・ベースの技術を使用する可能性を損なう。より大きな画像を対応するより大きなモデル対象物を用いて処理することへの希望があることから、より効率的なヒストグラム計算が望まれている。はるかに効率的な、Ｏ（１）の複雑度を呈するヒストグラム計算技術が達成される。

図１７を参照すると、好ましいヒストグラム計算技術は、画像内の各列について１つのヒストグラムを維持する。このヒストグラムのセットは、プロセスの行にわたって、好ましくは全体的に保存される。各列のヒストグラムは、２ｒ＋１の隣接ピクセルを累積し、当初は画像の最初の行に中心が置かれる。カーネル・ヒストグラムは、２ｒ＋１の隣接する列ヒストグラムを合計することによって計算される。したがって、この技術は、カーネル・ヒストグラムを、それぞれがそれ独自のヒストグラムを維持するそれの列の和集合に分割することができる。全体の入力画像のためのヒストグラムの計算の間にすべてのヒストグラムを、２ステップのアプローチを用いて一定時間内に最新の状態に維持することができる。

たとえば、１つのピクセルから次のピクセルへと右に向かって移動する場合について考える。カーネルの右にある列のヒストグラムは、現在の行のための処理がまだなされてなく、そのためそれらは１つ上の行に中心が置かれる。第１のステップは、カーネルの右にある列ヒストグラムを更新することからなり、それの最上端ピクセルを取り去り、１つの新しいピクセルをそれの下に追加することによってそれを行なう。このことの効果は、列ヒストグラムを１行下に下げることである。この第１のステップは、１つの取り去りと１つの追加とがフィルタの半径とは無関係に行なわれるので、Ｏ（１）である。第２のステップは、２ｒ＋１の列ヒストグラムの合計であるカーネル・ヒストグラムを右に１ピクセル移動させる。これは、最左翼の列ヒストグラムを取り去り、最初のステップにおいて下げられた列ヒストグラムを追加することによって達成される。この第２のステップもまたＯ（１）である。正味の効果は、列ヒストグラムが下向きに移動する間にカーネル・ヒストグラムが右に移動することである。各ピクセルに一度だけ訪れて、単一のヒストグラムだけを追加する。ピクセルごとに行なわれる操作（列ヒストグラムおよびカーネル・ヒストグラム両方の更新）は、すべてＯ（１）である。

初期化は、列ヒストグラム内に最初のｒ行を累積することと、最初のｒ個の列ヒストグラムからカーネル・ヒストグラムを計算することとからなる。これは、結果としてＯ（ｒ）の初期化に帰する。それに加えて、１つの行から別の行へ移動するときにオーバーヘッドが存在し、それが別のＯ（ｒ）項を占める。しかしながら、Ｏ（ｒ）の初期化が行当たり一度しか生じないので、任意に大きい画像の場合にはピクセル当たりのコストが有意でなくなる。特に、画像の寸法がカーネルの半径に比例するとき、または画像が寸法Ｏ（ｒ）のタイル内で処理される場合には、ピクセル当たりのコストが実質的にＯ（１）まで下がる。

一例として、基本的な最適化されていないヒストグラム生成技術の演算の数は、Ｍをカーネルの高さ（または幅）とするとき、Ｍ×Ｍになる。高速Ｏ（１）技術については、演算の数（ＮＯ）がピクセルによって異なる。

ｙ＝０，ｘ＝０であれば、ＮＯ＝０であり、初期カーネル・ヒストグラムを使用する。

ｙ＝０，ｘ＞０であれば、ＮＯ＝Ｂ回のヒストグラムの追加＋Ｂ回のヒストグラムの取り去り＝２＊Ｂ、ここで、Ｂはヒストグラム・ビンの数である。

ｙ＞０，ｘ＝０であれば、ＮＯ＝Ｍ回のヒストグラムのインクリメント＋Ｍ回のヒストグラムのデクリメント＋カーネルの更新＝２＊Ｍ＋Ｂ＊Ｍ、ここで、Ｍはカーネルの高さ（または幅）である。

ｙ＞０，ｘ＞０であれば、ＮＯ＝１回の追加＋１回の取り去り＋Ｂ回の追加＋Ｂ回の取り去り＝２＋２＊Ｂ。

高速Ｏ（１）ヒストグラム生成技術のメモリ利用度は、列ヒストグラムのメモリ＋カーネル・ヒストグラムのメモリ＝Ｍ＊Ｂ＊１６＋Ｂ＊１６とすることができ、ここで、Ｍはモデルの幅、Ｂはビンの数、１６はヒストグラムのビット深度である。

提案されている高速Ｏ（１）ヒストグラム生成技術を用いれば、粗方位推定アルゴリズムを次に示す形に変更することができる（擬似コードで示した技術）。

入力：サイズｍ×ｎの画像Ｘ、モデル・ヒストグラムＭ、カーネルの幅ｗｔ、カーネルの高さｈｔ
出力：同一サイズのスコア・マップＭＳ、同一サイズの角度マップＭＲ
カーネル・ヒストグラムＨおよび列ヒストグラムｈ_{０．．．ｎ‐１}を初期化
ｙ＝０からｍ‐１まで以下の操作を反復する。
ｘ＝０からｎ‐１まで以下の操作を反復する。
ｈ_{ｘ＋ｗｔ‐１}からＸ_{ｙ‐１，ｘ＋ｗｔ‐１}を取り去る。
ｈ_{ｗ＋ｗｔ‐１}にＸ_{ｙ＋ｈｔ‐１，ｗ＋ｗｔ‐１}を追加する。
カーネル・ヒストグラムＨをＨ＋ｈ_{ｗ＋ｗｔ‐１}‐ｈ_ｘ‐１に更新する。
ヒストグラム比較メトリックを用いて入力ヒストグラムＨをモデル・ヒストグラムＭにマッチングする。
もっとも高いスコアをＭＳに、対応する角度をＭＲに記録する。
ｘのループ・エンド。
ｙのループ・エンド。

いくつかの状況においては、複数のビンを並列に処理することによって、ストリーミングＳＩＭＤ拡張（ＳＳＥ）をヒストグラムの追加および／または取り去りに使用することができる。たとえば、複数のヒストグラム・ビンの追加または取り去りに１つのＳＳＥインストラクションを使用することができる。また望ましい場合に、システムは、カーネル・ヒストグラムの処理の前にピクセルの行全体について列ヒストグラムを処理することもできる。さらにシステムは、ＳＳＥ拡張を使用して、複数の列ヒストグラムを並列に更新することができる。

対象物のマッチングおよび場所特定のための１つの技術は、対象物画像から勾配方位テンプレートを抽出し、入力画像内においてそのテンプレートのマッチングを行なうことによる。初期の場所および方位（たとえば、姿勢）の改善された精緻化は、初期の場所および方位のまわりの範囲内をサーチすることによって決定され得る。前述したとおり、テンプレート・マッチング技術は、対象物についての潜在的な場所を決定することが可能であるが、多重対象物および／または多重拡大縮小プロセスについては時間を消費し、有意の演算リソースを必要とする。したがって、テンプレート・マッチングに対する代替技術が望まれている。好ましくは、方位付き勾配ヒストグラムの技術が、粗マッチングのために使用され、その後、非テンプレート・マッチング・ベースの技術が、改善された位置および方位の獲得に使用される。適切な変形ベースの技術を使用することによって、特にヒストグラム・ベースの技術から結果としてもたらされたデータを使用することによって、網羅的サーチを回避することができる。

図１８を参照すると、モデル画像内の対象物形状が与えられたときの入力画像内の対象物形状のマッチングのために改善されたマッチング技術を使用することができる。入力画像内の対象物の姿勢、すなわち位置および回転の初期推定が、前述したような粗い対象物マッチング技術の結果として提供される。対象物の姿勢の推定は、モデル・エッジ・ピクセルと入力エッジ・ピクセルの間の距離を最小化（たとえば、縮小）することによって精緻化できる。

望ましい場合には注目領域を含むモデル画像が、６００において、勾配方位を使用するなどして、モデル画像のエッジ・ピクセルおよび／または領域を、そのようなエッジの大きさとともに決定するように処理されてもよい。閾値技術６１０をモデル・エッジ・ピクセルに適用して、エッジに関連付けされることがありそうにないピクセルを除去することができる。閾値適用６１０の結果は、モデル・エッジ・マスク６２０である。通常、モデル・エッジ・ピクセルは、エッジの不連続性に起因して幾分乱れている。モデル・エッジ・マスク６２０は、キャニー技術などのモデル・エッジ改善技術６３０を使用し、エッジの方向に基づいてそれの推定を行なうことによってさらに改善することができる。別のモデル・エッジ改善技術６３０は、孤立したエッジ・ピクセルまたは真の対象物輪郭の外側のピクセルが低減されるか、またはそのほかの形で取り除かれるように局所的なエッジ・ピクセルを短いエッジおよび／または輪郭に当て嵌めることである。別のモデル・エッジ改善技術６３０は、最大勾配の大きさ、および／またはもっとも強い勾配の大きさを伴うエッジ・ピクセルの数の少なくともいくらかのパーセンテージとなるような充分に強い大きさを伴う代表的なモデル・エッジ・ピクセルを選択することである。モデル・エッジ改善技術６３０の結果は、モデル距離変換画像プロセス６４０に提供される。モデル距離変換は、バイナリ・マスク画像内の非ゼロ・ピクセルに至るまでのもっとも近い距離、たとえばバイナリ・マスク画像内のもっとも近い非ゼロ・ピクセルを（ｘ０，ｙ０）としたときのＤ（ｘ，ｙ）＝｜｜（ｘ，ｙ）−（ｘ０，ｙ０）｜｜などを計算する変換とすることができる。ベクトル距離変換を適用して各ピクセルについての２次元オフセット（ｄｘ，ｄｙ）、たとえばもっとも近い非ゼロ・ピクセルを（ｘ０，ｙ０）としたときの（ｄｘ，ｄｙ）＝（ｘ−ｘ０，ｙ−ｙ０）などを計算することができる。２次元オフセットは、もっとも近い近隣非ゼロを見つけ出すための情報を含む。

図１９を参照すると、変換精緻化プロセスが示されている。入力エッジ・マスク画像内には背景の散乱が存在するので、エッジ距離最小化プロセスのためにすべての入力点が選択される必要はない。入力画像の入力点を選択する１つの技術は、前述したとおり、勾配特徴マッチング・プロセスの部分として優勢な勾配の大きさ７００を伴うピクセルを識別することである。別の技術は、充分に大きな勾配の大きさ７１０を伴うエッジ・ピクセルを使用する。好ましくは、ポイント・サンプリング・プロセス７２０などによって入力点の数が制限され、システムの演算要件が低減される。入力画像の初期入力点に変換７３０を適用することができる。元のマッチング結果は、回転（シータ）およびｘおよびｙ方向における平行移動（ｔｘおよびｔｙ）として表わされる２次元リジッド変換に置き換えることができる。この変換は、元の２次元の点を、次に示すような形で新しい位置に移動する。

各入力エッジ・ピクセルに対応するモデル・エッジ・ピクセルを使用して更新後の変換７４０を計算することができる。この態様において、距離変換画像６４０を使用し、より演算的に効率的な態様で対応を決定することができる。入力エッジ・ピクセル（ｘ，ｙ）が与えられるとき、このピクセルにおける２次元オフセットは（ｄｘ，ｄｙ）、対応するモデル・ピクセルは（ｘ＋ｄｘ，ｙ＋ｄｙ）である。閾値を、近い対応だけが有効なポイント対応として維持されるように選択することができる。言い換えると、｜ｄｘ｜＞閾値または｜ｄｙ｜＞閾値であれば、この対応は、不使用としてラベル付けされる。修正後の変換を計算する前に、修正後の変換が改善された結果となるか否かを評価するためにコストおよび誤差関数を使用することができる。
例示的なコスト関数は次式で表されてもよい。

ここで、Ｓは拡大縮小率、Ｒは回転、Ｔは平行移動、第１項は位置誤差、第２項は方位角誤差、Ｐｉｎｐｕｔは入力画像、Ｐｍｏｄｅｌは入力モデルである。またロバストな距離メトリックε（・）（たとえば切断指数関数(truncated exponential function)）を適用して外れ値の影響を低減することができる。

修正後の変換を計算する１つの技術は、パラメータ空間（シータ、ｔｘ，ｔｙ）内においてコスト関数の数値微分を計算し、その後その数値微分（ヤコビアン行列）に基づいて変換更新ベクトルを計算することである。たとえば、複数回の反復にわたってレーベンバーグ・マーカート法を使用することができる。改善された変換を計算する別の技術は、最小二乗フィッティングである。最小二乗フィッティングの結果は、解析的に決定することができる。最小二乗フィッティング技術は、改善された変換を直接的に決定することができる。

提案されている方法は、少数のエッジ・ピクセルのペアに依存し、非常に高い速度へと導くことできる一方で正確度を保持する。これのために本方法は、低減された数の入力点を選択する段階を含む。選択は、局所的な勾配特徴に基づいてもよい。

上述の明細書中で用いられた用語および表現は、限定のためではなく説明のための用語として使用されており、そのような用語および表現の使用においては、図示され説明されている特徴またはその一部の均等物を排除する意図はなく、本発明の範囲が特許請求の範囲によってのみ規定され、かつ限定されるものであると認識される。

Claims (17)

1. 画像処理のための方法であって、
   （ａ）エッジ・ベース技術を使用してモデル画像のエッジ・ピクセルを決定することと、
   （ｂ）前記モデル画像の前記エッジ・ピクセルのそれぞれについて角度方位を決定することと、
   （ｃ）前記モデル画像の前記角度方位に基づいて勾配方位のヒストグラムを決定することと、
   （ｄ）エッジ・ベース技術を使用して入力画像のエッジ・ピクセルを決定することと、
   （ｅ）前記入力画像の前記エッジ・ピクセルのそれぞれについて角度方位を決定することと、
   （ｆ）前記入力画像の前記角度方位に基づいて勾配方位のヒストグラムを決定することと、
   （ｇ）前記モデル画像の前記勾配方位のヒストグラムと前記入力画像の前記勾配方位のヒストグラムとを比較し、前記入力画像内における対象物の場所の候補および前記対象物の方位の候補を決定することと、
   を含むことを特徴とする方法。
2. 前記エッジ・ベース技術のそれぞれは勾配を含むことを特徴とする、請求項１に記載の方法。
3. 前記モデル画像の前記エッジ・ピクセルの前記角度方位は、３６０度未満の範囲において規定されることを特徴とする、請求項１に記載の方法。
4. 前記範囲は、略１８０度であることを特徴とする、請求項３に記載の方法。
5. 前記モデル画像の前記勾配方位のヒストグラムは、前記モデル画像のピクセルの各群を結合することに基づくことを特徴とする、請求項１に記載の方法。
6. 前記入力画像の前記勾配方位のヒストグラムは、前記入力画像のピクセルの各群を結合することに基づくことを特徴とする、請求項５に記載の方法。
7. 前記比較は、前記モデル画像内の対象物の境界よりも大きいサイズを有する注目領域に基づくことを特徴とする、請求項１に記載の方法。
8. 前記入力画像の前記エッジ・ピクセルのそれぞれについての前記角度方位は量子化されることを特徴とする、請求項１に記載の方法。
9. 前記モデル画像の前記エッジ・ピクセルのそれぞれについての前記角度方位は量子化されることを特徴とする、請求項１に記載の方法。
10. 前記モデル画像の前記勾配方位のヒストグラムと前記入力画像の前記勾配方位のヒストグラムとを比較し、前記入力画像内における前記対象物の場所の候補を決定することは、前記ヒストグラムの複数の異なる関係に基づくことを特徴とする、請求項１に記載の方法。
11. 前記場所の候補は、別の技術に基づいてさらに精緻化されることを特徴とする、請求項１に記載の方法。
12. 前記別の技術は、テンプレート・マッチングに基づくことを特徴とする、請求項１１に記載の方法。
13. 前記比較することは、角度の判別のためにさらに処理されることを特徴とする、請求項１に記載の方法。
14. 前記ヒストグラムを決定することは、実質的にＯ（１）ピクセル演算の複雑性に基づくことを特徴とする、請求項１に記載の方法。
15. 前記比較することは、ストリーミングＳＩＭＤ拡張の使用を含むことを特徴とする、請求項１４に記載の方法。
16. 前記モデル画像の前記エッジ・ピクセルは、エッジ・マスクに基づいてさらに修正されることを特徴とする、請求項１に記載の方法。
17. 前記比較することは、エッジ距離低減プロセスに基づいてさらに修正されることを特徴とする、請求項１に記載の方法。