JP2000500594A - 画像中のパターンを自動的に位置付けるベクトル相関システム - Google Patents

Abstract

(57)【要約】 開示の概要本発明は、エッジ検出とパターン探索とが１つの処理に結合された、画像及びテンプレート相関とベクトル相関とを複合した接近法に関し、大きな計算装置を必要とすることなく多大な柔軟性を提供するものである。画像中で位置づけるべき対象物の重要なエッジのみをモデル化した座標点の散在的なセットからテンプレートが考案されている。画像中の対象物の位置の見積もりがより正確となるように、異なるテンプレートが動的に再構成される。

Description

【発明の詳細な説明】 画像中のパターンを自動的に位置付けるベクトル相関システム 技術分野 本発明は、画像をデジタル処理するためのシステムに関し、とりわけエッジで 特徴付けられるパターンを自動的に位置付けるためのシステムに関する。特別に 構成されたテンプレートが画像中で様々な点の周りを変位させられ、パターンを 位置付ける。 発明の背景 序論 電子デジタル処理ハードウェアにおいて、画像は離散的な記憶装置に記憶され る。画像は、通常数値からなる配列に分割され、各記憶位置が固有の空間座標点 に対応し、画素（ピクセル）と呼ばれる記憶位置内の値がその座標点での画像の 階調に対応する。図１Ａは、各画素座標点における階調が値で与えられている画 像中の対象物の例を示す。 画像とテンプレートの相関 コンピュータ画像システムにおいて画像中の対象物を自動的に位置づける一般 的な技術の１つに、相関或いはコンボリューションを用いるものがある。画像相 関法には、コンボリューション、最小平均２乗誤差、最小平均絶対誤差を含む様 々な種類のものがある。相関法の定義には、位置づけられるべき対象物と同様の 形状を有する個別の小さな画像であるテンプレートすなわち核の決定と使用とが 必要とされる。図１Ｂは、図１Ａに示す対象物と同様の形状をしたテンプレート を示す。対象物と同様に、テンプレートは各点での階調値を有する固有の座標点 で 表される。テンプレートは、画像中の関連領域の周囲でその位置を選択的に変位 されて動かされる。画像中の新たなテンプレートの位置のそれぞれにおいて、共 通の空間座標点における各画像画素に対応する値を有する各テンプレート画素の 値を求めるために、積和が計算される。図１Ｃは、画像上で移動された図１Ｂの テンプレートの一位置を示す。この場合、変位に重なりがなく、積の合計は０で ある。相関或いはコンボリューションの計算出力は、テンプレートの形状が画像 中のパターンの形状と最もマッチする位置において最大となる。図１Ｄは、画像 を横断するテンプレートのすべての可能な相関を示す。数値はかなり大きくなる ため、図１Ｄは、相関のおおよその相対的な指標のみを陰影の濃度によって示す 。 離散２次元のコンボリューションの公式は、 で与えられる。ここで、Ｉは画像、Ｋは核、ｘ及びｙは空間座標点で定義される 画像座標である。ｕとｖとの総和は、テンプレート上の範囲となる。実際上、テ ンプレートは、位置が決定された対象物を含む画像よりも小さいものとなる。 正規化相関は、テンプレートの各要素の値に一定の階調因子が乗じられ、一定 のオフセットが加算されることを除いて、相関に類似する方法として知られてい る。各テンプレート変位において、階調因子とオフセットとは、画像位置のそれ ぞれにおけるテンプレートの相関における誤差が最小となるように独立して調整 される。テンプレートマッチングにおける正規化相関は、ＶＩＳＩＯＮ '87 Ｃo nference Ｐroceedingの５−３３〜５−５５ページにあるＷillian Ｓilverによ る"Ａlignment and Ｇauging Ｕsing Ｎormalized Ｃorrelation Ｓearch"と題 された記事に詳細に述べられており、引用して具体化する。 最小平均２乗誤差法では、各テンプレートの点が対応する画像の点から減算さ れ、それぞれの差が２乗される。そして、すべての差の平均が計算される。最小 ２乗誤差の公式は、 で与えられる。ここで、Ｎは核中の画素の数である。最小平均２乗誤差の計算出 力は、テンプレートの形状が画像中のパターンの形状と最もマッチする位置にお いて最小となる。最小平均絶対誤差法では、各テンプレートの点が対応する画素 の点から減算され、それぞれの差の絶対値が計算される。そしてすべての差の平 均が計算される。最小絶対誤差の公式は、 で与えられる。最小絶対誤差の計算結果も、テンプレートの形状が画像中のパタ ーンの形状と最もマッチする位置において最小となる。 上記の技術は、それ自体が濃淡画像であるテンプレートを、座標位置が関連す る画像の範囲内にある対象物を含む対応する濃淡画像の周囲で、その位置を変位 させるという意味において実質的に同一である。各位置において、隣接する画像 の画素の値と共通の座標点において対応するテンプレートの値とにある関数が適 用される。その結果は、座標点での各画素が、テンプレートがその点における画 像中の対象物とどれくらい一致するかを示す１つの数値となる別の画像となる。 ２値ベクトル相関 ベクトル相関或いはコンボリューションは、上述した相関法の代わりとなる接 近法を提供するものである。ベクトル相関では、画像と選択されたテンプレート とは、ベクトルである画素によって構成される。２値ベクトル相関の理論は、Ｉ ＥＥＥ Ｔransactions on Ｓystems,Ｍan,and Ｃybernetics,Ｎov./Ｄec.,1989, vol.19,no.6の１６３ ６〜１６４４ページにあるＳ.Ｓ.Ｗilsonによる"Ｖector Ｍorphology and Ｉco nic Ｎeural Ｎetworks"と題された論文に述べられており、引用して具体化する 。同様の技術が、１９９１年Ｗiley-Ｉnterscience刊のＮeural and Ｉntellige nt Ｓystems Ｉntegrationの１３５〜１６０ページにあるＳ.Ｓ.Ｗilsonによる" Ｔeaching network connections for real-time object recognition"と題され た論文にさらに述べられている。簡単にいえば、２値ベクトル相関は、濃淡画像 をいくつかの２値画像に変容させることからなる。ここで、２値画像の合成画像 は、ベクトル画像中の各画素が２値画像の１つからそれぞれなるいくつかの構成 要素を有するという意味でのベクトルで表される。次に、パターンを認識するた めに、ベクトルテンプレートが定義される。ベクトルテンプレートも、同数のベ クトル画像としての構成要素からなる。 ベクトルテンプレートの位置は、画像中の関連領域の周囲でその位置を変位さ れ、動かされる。各位置において、テンプレート中のベクトル画素と、対応する 座標点での画像中のベクトル画素とを求めるために内部積（すなわちドット積） の合計が計算される。数学的な観点では、離散２次元ベクトルコンボリューショ ンの公式は、 で与えられる。ここで、Ｉはベクトル画像、Ｋはベクトル核、ｘ及びｙは画像座 標である。ｕとｖとの総和は、テンプレート上の範囲となる。 以下、ベクトル相関の技術を詳細に示す。画像を入力すると、最初に、水平有 限差分と呼ばれる異なる画像を、入力画像の画素の値から右側に最小距離で変位 する隣接画素の値を減算することによって形成する。結果の画像は、際だった垂 直エッジがある座標点の周囲で正または負の大きな値を含むものとなる。水平有 限差分画像中の正の値はイーストエッジと呼ばれ、左から右に向かって濃度が減 少するエッジであることを示す。水平有限差分画像中の負の値はウェストエッジ と呼ばれ、左から右に向かって濃度が増加するエッジであることを示す。 ２番目に、垂直有限差分と呼ばれる異なる画像を、入力画像の画素の値から上 方に最小距離で変位する隣接画素の値を減算することによって形成する。結果の 画像は、際だった水平エッジがある座標点の周囲で正または負の大きな値を含む ものとなる。垂直有限差分画像中の正の値はノースエッジと呼ばれ、上方に向か って濃度が減少するエッジであることを示す。垂直有限差分画像中の負の値はサ ウスエッジと呼ばれ、下方に向かって濃度が増加するエッジであることを示す。 ２値ベクトル相関では３番目に、各画素が４つの磁針方向に対応するＮ、Ｓ、 Ｅ及びＷとラベルされた４つの２進数値からなるベクトルを含む２値ベクトル画 像を形成する。２進数Ｎは、垂直有限差分を閾値と呼ばれる小さな正の数と比較 し、それらの値が閾値を超える場合には２進数の１を、それ以外は２進数の０を 割り当てることによって計算される。２進数Ｓは、垂直有限差分を負の閾値と比 較し、それらの値が閾値より小さい場合には２進数の１を、それ以外は２進数の ０を割り当てることによって計算される。ＥとＷの２値要素は、水平有限差分画 像を用いて同様の方法で計算される。 最後に４番目として、ベクトルテンプレートの位置を、原画像の関連領域の範 囲内で変位させる。画像中の新たな位置のそれぞれで、内部積の合計が、対応す る座標点で原画像中の各ベクトル画素に対応するテンプレート中の各ベクトル画 素の値を求めるために計算される。 図２Ａは、水平有限差分と垂直有限差分との両方を用いたエッジ検出後のベク トル画像の例である。画像中での各座標点がベクトルとして描かれているが、０ でない要素のラベルのみを描いて簡略化している。実際には２つの要素が、Ｎ及 びＷなどの０でないものとすることはできるが、図２Ａの例では示されていない 。図２Ｂは、水平有限差分画像と垂直有限差分画像の両方と所定の閾値とを用い て形成された、対応するベクトルテンプレートである。図２Ｂのテンプレートが 図２Ａの画像の周囲でその位置を移動されたとき、図２Ｃにおおよそ示す相関結 果 が得られるのは明らかである。 ベクトル相関の利点 ベクトル相関は、パターンのエッジとの相関であり、非常に正確である。図２ Ｃを参照すると、画像中のパターンの正確な位置からのテンプレートのわずかな オフセットは、テンプレートのエッジのほとんどがパターンと完全にミスコンタ クトし、相関が得られないことを意味している。しかしながら、図１Ｄに示すよ うに、通常の相関が用いられた場合には、画像がテンプレートと部分的にコンタ クトする広い領域がある。 ベクトル相関は、パターンのエッジがひどく劣化していない限り、劣化した画 像中のパターンを位置させることができる。劣化した画像は、関連するパターン を取り囲んで大きく乱れ、或いはパターン中で断片を失っている。通常の相関で は、パターンを取り囲んでいる雑音から区別することができない。 通常の相関では、テンプレートの画像が使用される。このため、対象物の視覚 的特質がテンプレートとして用いられている対象物と実質的に異なれば、テンプ レートマッチングは正確な結果を与えることができない。ベクトル相関は、対象 物の重要なエッジ形状のみが対象物を識別するために用いられるので、通常の相 関よりも優れている。 ベクトル相関の問題点 ベクトル相関においては、ベクトル画像を形成して処理する特別なステップの ために、徹底的な計算がされる。第１に、有限差分と算出されたエッジとを記憶 するための記憶装置の必要量が増加する。第２に、探索すべきパターンを特徴付 けるために使用されるテンプレートはベクトルであり、定義するのがより複雑と なる。第３に、斜めのエッジは、正確に表されない。ノース方向とイースト方向 とに斜めとなっているエッジは、同一の点に表されたノース及びイーストのエッ ジの両方を有するテンプレートによって表されなければならない。テンプレート 中の斜めの点は、取り扱いがより困難になる。最後に、この方法は、高性能の並 列プロセッサに限定される。 １または２のユニットを取り囲む小さな有限差分座標変位を使用すると、非常 に狭小な有限差分画像のエッジが生成される。相関テンプレートがベクトル画像 上で動かされると、狭小なエッジは相関に強度の局所性を与え、画像へのテンプ レートのパターンマッチングに高い正確性をもたらす。しかしながら、パターン の位置は未知なので、一般に、パターンが探索されるまでに、テンプレートは多 くの位置上を移動されなければならない。このことが、きめ細かい探索として引 用される。この場合の未知のパターンは、テンプレートがどの位置でもフィット しないようにわずかに回転させられれば、失われてしまう。 有限差分は、単純な画像にはより大きく作成される。たとえば、１０のユニッ トを取り囲む有限差分座標変位は、１０画素の幅で探索すべき回転されたパター ンを許すエッジを導く。さらに、パターンは、水平及び垂直方向の両方で１０ユ ニットまでを取り囲むステップにおいて徹底的にではなく、粗い格子内で画像上 でテンプレートをサンプリングすることによって探索される。この例では、探索 は１０の２乗、すなわち１００倍速くなる。しかしながら、パターンが探索され た場合、正確性に乏しいものとなる。 妥協点として、エッジ検出は、粗く探索してパターンのおおよその位置を得、 きめ細かい探索でパターンを合わせることが行われる。大きな有限差分で１回、 小さな有限差分で１回の計２回行わなければならない。大容量の記憶装置と高性 能の並列プロセッサとが、依然として必要とされる。 発明の概要 本発明は、画像中で対象物を自動的に位置させるシステムを教示する。画像は 、それぞれ既知の階調値と既知の座標点とを有する複数の画像画素によって定義 さ れる。本発明は、１つの処理に結合されたエッジ検出とパターン探索との組み合 わせを用い、計算の複雑性が限られた範囲で、非常な柔軟性を提供する。最初に 、対象物の見積もりに対応するマニュアルテンプレートが決定される。マニュア ルテンプレートは、座標点と対応するエッジ方向のセットからなるベクトルの散 在的なセットから構成されるアブストラクトテンプレートに変換される。各座標 点は、マニュアルテンプレートのエッジ上にあり、対応するエッジ方向は、その 座標点におけるエッジと垂直にその座標点を通過する。次に、アブストラクトテ ンプレートは、レンジングテンプレートに変換される。レンジングテンプレート は。対応するエッジ方向に沿ったアブストラクトテンプレートの各ベクトルの座 標点から等間隔で配置されるように定義された座標点の対から構成される。正の 座標点は、予め選択された変位の正の値に対応し、負の座標点は、同様の変位の 負の値に対応する。 レンジングテンプレートは、画像の範囲内で複数の既知の座標点位置のそれぞ れに変位させられる。各位置において、レンジングテンプレートは画像と相関さ れる。相関が向上し、画像の範囲での対象物の位置の見積もりがより正確となる ように、異なるアブストラクト及びレンジングテンプレートが動的に再構成され 、回転させられる。ベクトル相関の利点は保持されるが、エッジ検出が削減され 、限られた数のみの座標点が必要とされるので、計算の負荷が削減される。エッ ジ検出した画像が記憶されないという点において、計算に要求される記憶装置が 少なくなる。 図面の簡単な説明 本発明の特徴及び発明性は、以下の詳細な説明、請求の範囲、及び以下にその 簡単な説明をする図面により、さらに明らかとなる。 図１Ａは、対象物の階調画像の例である。 図１Ｂは、図１Ａの画像中の対象物の位置を探し出すためのテンプレートの例 である。 図１Ｃは、図１Ａの画像上で位置をずらされた図１Ｂのテンプレートの一位置 を示す。 図１Ｄは、画像中の対象物と画像の周囲を移動させられるテンプレートとの相 関のおおよその指標を陰影の濃度によって示す。 図２Ａは、２値ベクトル画像の例である。 図２Ｂは、２値ベクトルテンプレートの例である。 図２Ｃは、２値ベクトル画像中の対象物と画像の周囲で移動された２値ベクト ルテンプレートとのベクトル相関の結果を示す。 図３Ａは、本発明にかかる簡略したベクトル形式に変換されたマニュアル決定 テンプレートを示す。 図３Ｂは、図３Ａのアブストラクトベクトルテンプレート用のテーブルを示す 。 図３Ｃは、δ＝３の変位を有する図３Ｂのアブストラクトテンプレートから得 られたレンジングテンプレートを示す。 図３Ｄは、画像中でずれて回転された対象物に一致する図３Ｃのレンジングテ ンプレートを示す。 図４Ａは、図３Ｃのレンジングテンプレートのための相関の水平プロファイル である。 図４Ｂは、δ＝１の変位を有する作成されたレンジングテンプレートである。 図４Ｃは、図４Ｂのレンジングテンプレートのための相関の水平プロファイル である。 図５は、本発明のシステムを使用して対象物を探し出すための有効な方法を示 すフロー図である。 好ましい実施の形態の詳細な説明 図３Ａ〜図３Ｄに図示するように、本発明は、画像２２内における対象物２０ の座標点位置を位置づけるために用いられる自動画像処理システムに関する。図 示した画像２２は、複数の画像画素からなる２次元のものである。各画像画素は 、それぞれ既知の階調値と既知の座標点とを有する。座標点は、水平方向のｘ軸 と垂直方向のｙ軸とによって定義される。このシステムは、最終的に画像２２内 における対象物２０の座標点を決定する。 最初に、システムは、エッジ２６によって境界を定義したポシブルテンプレー ト２４をマニュアル操作で決定する。図示するように、テンプレート２４は、対 象物と可能な限り一致する形状及び大きさに設定される。 テンプレート２４が定義されると、コンピュータの記憶位置に容易に格納され るＮ個のベクトル(ｕ₁，ｖ₁，θ₁)、(ｕ₂，ｖ₂，θ₂)、・・・(ｕ_N，ｖ_N，θ_N) によって定義されるアブストラクトテンプレート２８に変換される。図３Ａに図 式的に、及び図３Ｂにテーブルの形態で示すように、Ａ〜Ｉの各ベクトルは、そ れぞれテンプレートのエッジ２６の水平及び垂直座標（ｕ，ｖ_ii）となる座標点 ｕ_i及びｖ_iの組で与えられる。座標点は、以下に述べるように、画像２０の座標 系にマップすることができる。各座標点と関連付けて、座標点の位置で対応する エッジ２６に直交する対応する矢印θ_iで示すエッジ方向がある。各矢印の末端 はテンプレート２４の境界より内側にあり、一方、各矢印の末端はテンプレート の外側にある。画像２２のｘ及びｙ軸に沿った対象物２０の位置の決定を同等に 正確にするため、マニュアルテンプレート２４の実質的に垂直及び実質的に水平 な範囲に沿ってＮとほぼ同数のベクトルがある。同一のベクトルが、水平及び垂 直成分の両方を同時に有していてもよい。図３Ａに示すように、３つのベクトル が各水平及び垂直範囲に存在し、１つ以上のエッジを含む。たとえば、これら３ つのエッジは、図３Ａの最右の垂直範囲を含む。 計算の複雑性を最小にするため、限られた数だけのエッジの点がベクトル(ｕ_i ,ｖ_i,θ_i)に変換されることが必要とされる。しかしながら、エッジ間に十分に 大きな角度差がない隣接するエッジでない限り、少なくとも１つのベクトルがマ ニュアル決定テンプレートのそれぞれ異なるエッジに用いられることが望ましい 。図３Ａに示すように、エッジ２６のそれぞれは、アブストラクトテンプレート ２８の一部分からなる少なくとも１つのベクトルを含む。 テンプレート２４がアブストラクトテンプレート２８のベクトルに変換される と、図３Ｃに示すように、レンジングテンプレート３０が形成される、レンジン グテンプレートは、アブストラクトテンプレート２８の各ベクトル（ｕ_i，ｖ_i, θ_i）用の座標点（ｕｐ_i，ｖｐ_i）及び（ｕｎ_i，ｖｎ_i）を用いて定義される。 点（ｕｐ_i，ｖｐ_i）は、方向θ_iに沿った正の変位δによって生成され、点（ｕ ｎ_i ｖｎ_i）は、方向θ_iに沿った正の変位δによって生成される。前者の座標 点は、マニュアル決定テンプレート２４のエッジ２６で定義される境界の外側に 存在し、一方、後者の座標点は、境界の内側に存在する。数学的には、（ｕｐ_i, ｖｐ_i）＝（ｕ_i＋δｃｏｓθ_i，ｖ_i＋δｓｉｎθ_i）及び（ｕｎ_i,ｖｎ_i）＝（ｕ_i −δｃｏｓθ_i，ｖ_i−δｓｉｎθ_i）である。しかしながら、レンジングテンプ レート３０が用いられる前に、テンプレートの座標点に重みを割り当てなければ ならない。たとえば、例示した実施の形態では、正の変位を有する点（ｕｐ_i， ｖｐ_i）用の重みは＋１であり、負の変位を有する点（ｕｎ_i，ｖｎ_i）用の重み は−１である。小さな白四角は負の重みを有するレンジングテンプレートの座標 点を表し、小さな黒四角は正の重みを有するレンジングテンプレートの座標点を 表す。レンジングテンプレート３０における非常に散在した座標点の組み合わせ による＋１または−１の重みを有することによって、相関の公式は非常に単純と なる。 ここで、Ｉは画像２２、ｘ及びｙは画像の座標点、ｕ及びｖは上記で定義したレ ンジングテンプレート３０の座標点である。この公式での表記は、正の項Ｐ_i＝ Ｉ （ｘ−ｕｐ_i，ｙ−ｖｐ_i）及び負の項Ｎ_i＝Ｉ（ｘ−ｕｎ_i，ｙ−ｖｎ_i）を代入 することによって簡略化される。 変位δが大きければ計算速度は向上するが、少なくとも１つのベクトルを有す るテンプレート２４のうちのエッジの最小サイズの半分程度よりは大きくならな い。しかしながら、計算結果が不正確となりうる。図３Ｃに例示するように、ア ブストラクトテンプレート２８のベクトルＣ及びＤを用いて決定した座標点（ｕ ｎ_i，ｖｎ_i）は、互いに非常に隣接したものとなる。変位δがさらに大きくなれ ば、座標点が互いに通り抜け、望ましくない結果となる。たとえば、アブストラ クトテンプレート２８では、最短のサイズは１０ユニット程度の長さとなる。変 位δが３ユニットに設定されると、結果として得られたレンジングテンプレート ３０は、３ユニットまでの範囲で対象物の中心から外れていても、対象物２０の パターンを検出することができる。このため、対象物２０は、６×６格子を用い て散在的に探索することによって探し出すことができる。しかしながら、画像２ ２における対象物２０の位置は、±３画素以上正確には探索されない。図３Ｄは 、テンプレートが際だって中心から外れ、対象物２０が際だって回転している場 合でも、レンジングテンプレート３０と画像２２内の対象物２０とが一致するこ とを示す。 図４Ａは、回転されていない対象物のｘ軸に沿ったレンジングテンプレートの 動きの関数として数式（６）を用いた相関のプロファイルである。レンジングテ ンプレート３０は変位δ＝３を有するので、最大相関は、６ユニットの幅を有す る。本発明が使用される産業環境における実際の対象物の不規則でわずかにかす んだエッジは、０相関となるように最大相関から徐々に減少する結果となる。 図４Ｂを参照すると、他のレンジングテンプレート３０’が変位δ＝１ユニッ トを選択することによって生成される。得られたレンジングテンプレート３０’ は、テンプレートが１ユニット以下の範囲で対象物２０の中心から外れている場 合のみに、画像２２中の対象物２０を検出することができる。このため、対象物 ２０は、入力画像２２中のすべての位置を探索することによってのみ探し出され る。しかしながら、対象物２０の中心は、１ユニットの正確性で探し出すことが できる。図４Ｃは、水平方向ｘ軸に沿ってδ＝１であるレンジングテンプレート ３０’の動きとして数式（６）を用いた相関のプロファイルである。産業環境で の画像にとって、相関プロファイルは、相関のピークについて放物線を逆にした ものとほぼ同様になる。最もフィットする放物線の数学的な中心が画素のサイズ よりもかなり小さいほどの正確性を導けることがわかるであろう。 図４Ａ及び４Ｃに示すプロファイルは、公式（６）でのベクトル相関の公式が 、正規化相関の方法に従って変化しうることを示している。この発明の正規化公 式は、 である。画像２２中の画素を示す各座標点の照度に任意の定数が乗算され、他の 任意の定数が画素を表す各座標点の値に加算されるのであれば、相関ｃｏｒｒ’ （ｘ、ｙ）の結果は変化しないことは、当技術分野の技術者には容易に立証でき る。このため、正規化相関の公式は、照明レベル及びコントラストに従属しない 相関の値を生成する。さらに、相関の値は、完全相関の１以下で、質の悪い相関 の０以上となる。 本発明のシステムにおける動的処理を、図５のフローチャートに示す。ここで は、画像２２中で位置づけられる対象物２０の水平及び垂直方向の最小長は、１ ６ユニット程度であるものと仮定する。変位δは、上記した理由により１６ユニ ットの半分の８ユニットの最大値が設定される。最初に、対象物２２は回転され ていないものと仮定する。従って、θ_Tiの値は、０に等しくなる。しかしながら 、回転Δθ_Tの可能な範囲の正の変化は、後に使用する所定の値に設定される。 ここでは、８に設定される。その後、位置５２においてポシブルテンプレート２ ４’がマニュアル操作で決定される。このマニュアルテンプレートは、上述した ように、位置５４において簡略化したベクトル表記を用いてアブストラクトテン プレート２８’に変換される。次に、ベクトル表記の形態のアブストラクトテン プレート２８’は、位置５６においてレンジングテンプレート３０'' に変換さ れる。位置５８では、レンジングテンプレート３０'' は、画像２２の範囲内で の新たな位置に動かされる。レンジングテンプレート３０'' のサイズは、８ユ ニットの値をとるδの使用を含むので、レンジングテンプレートは１６×１６探 索格子内の画像上で動かされ、位置６０においてそれぞれの新しい位置での正規 化相関が計算される。新たな位置のそれぞれにおいて正規化ベクトル相関が計算 されると、位置６２においてその値が予め設定された閾値と比較される。ここで は、この値は０．５に設定されている。この値が０．５よりも小さい場合には、 位置６４に示すように、すべての画像位置が試行されていない限り、レンジング テンプレート３０'' は、画像２２の範囲で新たな探索範囲に動かされる。 すべての画像位置が試行され、受け入れ可能な最小の閾値に達しない場合には 、対象物２０が画像２２中になかったとして、位置６５において正確に対象物が 探索されないとことをシステムが応答することも可能である。しかしながら、シ ステムが対象物を探索できなくても、対象物が実際に存在することが確証できる 場合には、点線矢印６６、６８及び７０で示すように、３つの選択肢をとること ができる。典型としては、位置５６において変位δにより大きな値を選択する。 また、位置５４においてマニュアルテンプレート２４からアブストラクトテンプ レート２８’への変換により多くのベクトルを用いてもよい。さらに、位置５２ に おいて異なるマニュアルテンプレート２４をマニュアル操作で選択してもよい。 その後、位置６２で閾値が満足させられるまで、正規化されたベクトル表記が画 像２２中の異なる位置のそれぞれで再び計算される。 位置６２で正規化相関の最小の閾値が満足すると、画像中２２中の対象物２０ の座標位置に最もよく対応して求められた相関における画像２２の範囲でのレン ジングテンプレート３０'' の位置ｘ_m、ｙ_mを保存する。そして、位置７６で変 位δを半分に削減し、対象物２０の回転可能範囲Δθ_Tを半分に削減する。これ により、上記に与えられた情報を使用すると、δ及びΔθ_Tは、いずれも４とな る。θ_TIが０の時、対象物２２の回転角度に対応するθ_Tの値は、−４となる。 これら新しい値を用いて、位置７８では、２次元空間において座標点を回転する ための標準公式に従ってアブストラクトテンプレート２８’が新たなアブストラ クトテンプレート２８'' に変換される。 アブストラクトテンプレートにおけるエッジ方向の角度も、回転させられる。そ して、図５のフローチャートの位置８０に示すように、新たなアブストラクトテ ンプレート２８'' が新たなレンジングテンプレート３０''' に変換される。レ ンジングテンプレート３０'' のための１６×１６の最初の格子サイズと異なり 、レンジングテンプレート３０''' のための格子サイズは、半分すなわち８×８ とな る。フローチャートの位置８２に示すように、最初に記憶された位置ｘ_m、ｙ_mの 周囲で異なる位置にレンジングテンプレート３０''' を動かすことによって、最 大正規化相関は、記憶すべき最大正規化相関に対応する最良の位置を用いたｘ_m 、ｙ_mのより正確な仕様とθ_Tの値とを決定することができる。位置８４に示すよ うに、次に、直前のθ_Tの値を取得し、位置７６で決定したΔθ_Tの値を加算する ことで、θ_Tを再計算する。フローチャートの位置８６でθ_T≦θ_Ti＋Δθ_Tiが満 たされている限り、位置７８、８０、８２及び８４のステップが繰り返される。 こうして、ここでは、最大相関の値が、３つの異なるθ_Tの値−４、０及び＋４ に対応する３つの異なる画像２２中のレンジングテンプレートの位置ｘ_m、ｙ_m用 として保存される。位置８８では、保存された値のうちで最大相関δ＝４を与え るθＴが決定され、レンジングテンプレート３０''' による対象物２２の対応す る位置が決定され、ｘ_m、ｙ_m及びθ_Tiして保存される。変位δ＝４であるテンプ レート３０'' の強度が最も強い相関の位置と角度とが、さらに小さい変位δ＝ ２ユニットを有するレンジングテンプレート３０'''' を使用した新たな探索の ための開始ポイントとなる。直前で最良だった角度から回転角度θ_T＝−２、０ 及び＋２度が、よりおおよその回転θ_T及び位置ｘ_m、ｙ_mを探索するために用い られる。 より小さな変位と角度とがアブストラクトテンプレート２８から新たなレンジ ングテンプレートを算出するために用いられ、変位δが所定の最小値となるまで 同様の方法によって関連パターンの探索が続けられる。フローチャートの位置９ ０に示す値は、１である。変位が１となると、本発明のシステムは、位置９２に 示すように、適切な回転角度θ_Tに対応する画像２２中の対象物２０の座標位置 ｘ_m、ｙ_mを決定することを中止する。当技術分野における技術者であれば、多次 元空間で関数の最大値を位置付けるための方法も、上記方法の一部と類似するこ とがわかるであろう。多次元空間における勾配法は、１９８６年Ｃambridge Ｕn iversity Ｐress刊のＷ.Ｐress,Ｂ Ｆlannery,Ｓ.Ｔeukolsky及びＷ.Ｖetterlin gによる"Ｎumerical Ｒecipes the Ａltof Ｓcientific Ｃomputing"の第１０章 に述べられており、引用して具体化する。 １つの処理でエッジ検出とパターン探索とを使用することにより、大変な柔軟 性が与えられると共に、複雑なコンピュータ操作の必要性が削減される。このた め、簡略化したベクトル表記を有するアブストラクトテンプレートを使用するこ とにより、解像度の増加した画像２２の周囲で異なる位置に動かすことができる 広い範囲の互いに異なるレンジングテンプレートを動的に変化させて生成できる という利点がある。画像２２中の対象物の位置及び回転角度を、各座標位置や最 初にマニュアル操作で決定されたテンプレート２４のエッジを含む各点の対応す る階調を記憶することなく、所望の正確性で、高速に位置あわせすることができ る。 好ましくは、本発明のシステムは、当技術分野における技術者に公知の標準的 なコンピュータハードウェア及びソフトウェアを用いて実行されるものとするこ とができる。画像２２の対象物２０は、陰極管線（ＣＲＴ）から構成される通常 のスクリーン上に表示されるものとすることができる。このシステムは、これら に限定されるものではないが、磁気テープ及びディスク、光学ドライブ、コンパ クトディスクドライブ及び紙を含む様々な記憶媒体によってソフトウェアとして 記憶させてもよい。 本発明の好ましい実施の形態を開示した。しかしながら、当技術分野における 通常の技術を有するものは、ある程度の変形がこの発明の教示の範囲に含まれる ことがわかるであろう。従って、以下の請求の範囲が、本発明の本来の範囲及び 内容を決定するために検討されるべきである。

Claims (1)

1. 【特許請求の範囲】 １．自動画像処理システムに使用され、それぞれ既知の階調値と既知の座標点と を有する複数の画像画素で定義される画像の範囲内で対象物の位置を位置づける 方法であって、 対象物の評価に対応するテンプレートをマニュアル操作で決定し、 前記テンプレートをアブストラクトテンプレートに変換し、 前記アブストラクトテンプレートをレンジングテンプレートに転換し、 前記レンジングテンプレートを前記画像の範囲内で複数の既知の座標点位置に 変位させ、 前記レンジングテンプレートを前記各位置で前記画像と相関させ、 予め定義された閾値に達した前記相関に対応する位置を保存する ステップを含むことを特徴とする。 ２．請求項１に記載の方法であって、前記転換ステップは、それぞれ前記テンプ レートのエッジ上の座標点に存在する座標点と前記座標点において前記座標点上 のエッジを垂直に通過する対応するエッジ方向との組からなる多数のベクトルを 使用してアブストラクトテンプレートを定義するステップをさらに含むことを特 徴とする。 ３．請求項２に記載の方法であって、前記テンプレートの範囲に実質的な垂直な 方向及び実質的に水平な方向に沿った同数のベクトルを用いるステップをさらに 含むことを特徴とする。 ４．請求項３に記載の方法であって、 前記ベクトルの前記数を最小化し、 隣接するエッジ間に十分に大きな角度差がある閾値の決定を条件として、テン プレートのエッジのそれぞれに少なくとも１つのベクトルを選択する ステップをさらに含むことを特徴とする。 ５．請求項２に記載の方法であって、前記転換ステップは、 前記ベクトルの前記座標点から定義され、対応するエッジ方向に延伸する変位 を決定し、 前記アブストラクトテンプレートの各ベクトルについて、前記対応するエッジ 方向に沿ったベクトルの座標点からそれぞれ同一の間隔で存在する前記変位の正 の値に対応する正の座標点と前記変位の負の値に対応する負の座標点とからなる 座標点の組を位置づける ステップを含むことを特徴とする。 ６．請求項５に記載の方法であって、重みを割り当てるステップを含むことを特 徴とする。 ７．請求項５に記載の方法であって、前記変位は、前記ベクトルを有する前記テ ンプレートのエッジの最小サイズの半分以下であることを特徴とする。 ８．請求項５に記載の方法であって、 Ａ．前記変位を半分に削減し、 Ｂ．改訂されたテンプレートに転換し、 Ｃ．前記保存ステップに対応する位置で取り囲まれた複数の位置で最大相関を探 索し、 Ｄ．前記変位が最小値に等しくなるまで、ステップＡからＣを継続する ステップをさらに含むことを特徴とする。 ９．請求項５に記載の記憶装置であって、 Ａ．当初の回転角から回転範囲を減じたものに等しい回転角度を設定し、 Ｂ．前記アブストラクトテンプレートから改訂されたアブストラクトテンプレー トを取得し、 Ｃ．前記改訂されたアブストラクトテンプレートから改訂されたレンジングテン プレートを取得し、 Ｄ．前記改訂されたレンジングテンプレートを前記画像中の既知の複数の座標点 位置のそれぞれに置換し、 Ｅ．前記既知の座標点位置のそれぞれに対応する最大相関を探索し、 Ｆ．ステップＥからの位置と対応する回転角度を保存し、 Ｇ．前記回転角度に前記回転範囲を加算することによって、新たな回転角度を計 算する ステップをさらに含むことを特徴とする。 １０．請求項９に記載の方法であって、 Ｈ．前記新たな回転角度が前記当初の回転角度に前記回転範囲を加算したものよ りも大きくなるまでステップＢからＧを繰り返し、 Ｉ．最大相関を与えて前記回転角度を前記当初の回転角度に変えることによって 前記位置と前記回転角度とをステップＦから選択し、 Ｋ．前記変位と前記回転範囲とをそれぞれ半分に削減し、 Ｌ．前記変位が最小の閾値となるまでステップＡからＫを繰り返す ステップをさらに含むことを特徴とする。 １１．それぞれ既知の階調値と既知の座標点とを有する複数の画像画素で定義さ れる画像の範囲内で対象物の位置を位置づける装置であって、 対象物の評価に対応するテンプレートを決定する手段と、 前記テンプレートをアブストラクトテンプレートに変換する手段と、 前記アブストラクトテンプレートをレンジングテンプレートに転換する手段と 、 前記レンジングテンプレートを前記画像の範囲内で複数の既知の座標点位置に 変位させる手段と、 前記レンジングテンプレートを前記各位置で前記画像と相関させる手段と、 予め定義された閾値に達した前記相関に対応する位置を保存する手段と を備えることを特徴とする。 １２．請求項１１に記載の装置であって、それぞれ前記テンプレートのエッジ上 の座標点に存在する座標点と前記座標点において前記座標点上のエッジを垂直に 通過する対応するエッジ方向との組からなる多数のベクトルを使用してアブスト ラクトテンプレートを定義する手段をさらに備えることを特徴とする。 １３．請求項１２に記載の装置であって、前記転換手段は、 前記ベクトルの前記座標点から定義され、対応するエッジ方向に延伸する変位 を決定する手段と、 前記アブストラクトテンプレートの各ベクトルについて、前記対応するエッジ 方向に沿ったベクトルの座標点からそれぞれ同一の間隔で存在する前記変位の正 の値に対応する正の座標点と前記変位の負の値に対応する負の座標点とからなる 座標点の組を位置づける手段と をさらに備えることを特徴とする。 １４．それぞれ既知の階調値と既知の座標点とを有する複数の画像画素で定義さ れる画像の範囲内で対象物の位置を位置づけるための処理ステップを実行するこ とが可能なソフトウェアを含む記憶媒体であって、 前記処理ステップは、 対象物の評価に対応するテンプレートをマニュアル操作で決定し、 前記テンプレートをアブストラクトテンプレートに変換し、 前記アブストラクトテンプレートをレンジングテンプレートに転換し、 前記レンジングテンプレートを前記画像の範囲内で複数の既知の座標点位置に 変位させ、 前記レンジングテンプレートを前記各位置で前記画像と相関させ、 予め定義された閾値に達した前記相関に対応する位置を保存する ことを特徴とする。 １５．請求項１４に記載の記憶媒体であって、前記転換ステップは、それぞれ前 記テンプレートのエッジ上の座標点に存在する座標点と前記座標点において前記 座標点上のエッジを垂直に通過する対応するエッジ方向との組からなる多数のベ クトルを使用してアブストラクトテンプレートを定義するステップをさらに含む ことを特徴とする。 １６．請求項１５に記載の記憶媒体であって、前記転換ステップは、 前記ベクトルの前記座標点から定義され、対応するエッジ方向に延伸する変位 を決定し、 前記アブストラクトテンプレートの各ベクトルについて、前記対応するエッジ 方向に沿ったベクトルの座標点からそれぞれ同一の間隔で存在する前記変位の正 の値に対応する正の座標点と前記変位の負の値に対応する負の座標点とからなる 座標点の組を位置づける ステップを含むことを特徴とする。 １７．請求項１６に記載の記憶媒体であって、 Ａ．前記変位を半分に削減し、 Ｂ．改訂されたテンプレートに転換し、 Ｃ．前記保存ステップに対応する位置で取り囲まれた複数の位置で最大相関を探 索し、 Ｄ．前記変位が最小値に等しくなるまで、ステップＡからＣを継続する 処理ステップをさらに含むことを特徴とする。 １８．請求項１６に記載の記憶媒体であって、 Ａ．当初の回転角から回転範囲を減じたものに等しい回転角度を設定し、 Ｂ．前記アブストラクトテンプレートから改訂されたアブストラクトテンプレー トを取得し、 Ｃ．前記改訂されたアブストラクトテンプレートから改訂されたレンジングテン プレートを取得し、 Ｄ．前記改訂されたレンジングテンプレートを前記画像中の既知の複数の座標点 位置のそれぞれに置換し、 Ｅ．前記既知の座標点位置のそれぞれに対応する最大相関を探索し、 Ｆ．ステップＥからの位置と対応する回転角度を保存し、 Ｇ．前記回転角度に前記回転範囲を加算することによって、新たな回転角度を計 算する 処理ステップをさらに含むことを特徴とする。 １９．請求項１８に記載の記憶媒体であって、 Ｈ．前記新たな回転角度が前記当初の回転角度に前記回転範囲を加算したものよ りも大きくなるまでステップＢからＧを繰り返し、 Ｉ．最大相関を与えて前記回転角度を前記当初の回転角度に変えることによって 前記位置と前記回転角度とをステップＦから選択し、 Ｋ．前記変位と前記回転範囲とをそれぞれ半分に削減し、 Ｌ．前記変位が最小の閾値となるまでステップＡからＫを繰り返す 処理ステップをさらに含むことを特徴とする。