JP2000182047A - テンプレ―トとデ―タの探索領域との一致部分を位置特定するための方法、ステップサイズを決定するための方法およびデバイス、ならびにデ―タの探索領域内のデ―タの第1のテンプレ―トの位置を推定するための装置 - Google Patents

テンプレ―トとデ―タの探索領域との一致部分を位置特定するための方法、ステップサイズを決定するための方法およびデバイス、ならびにデ―タの探索領域内のデ―タの第1のテンプレ―トの位置を推定するための装置

Info

Publication number
JP2000182047A
JP2000182047A JP11336212A JP33621299A JP2000182047A JP 2000182047 A JP2000182047 A JP 2000182047A JP 11336212 A JP11336212 A JP 11336212A JP 33621299 A JP33621299 A JP 33621299A JP 2000182047 A JP2000182047 A JP 2000182047A
Authority
JP
Japan
Prior art keywords
template
window
search area
data
step size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP11336212A
Other languages
English (en)
Inventor
Sun Shijun
シジュン・スン
Ukku Paaku Hyun
ヒュン・ウック・パーク
Kim Yonmin
ヨンミン・キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Washington
Original Assignee
University of Washington
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/216,692 external-priority patent/US6301387B1/en
Priority claimed from US09/216,691 external-priority patent/US6243494B1/en
Application filed by University of Washington filed Critical University of Washington
Publication of JP2000182047A publication Critical patent/JP2000182047A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Details Of Television Scanning (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

(57)【要約】 【課題】 テンプレートを探索領域のウィンドウと比較
するため使用される相関自己予測探索(CAPS)方法
を提供する。 【解決手段】 探索領域(40)内の探索用段階サイズ
決定のためテンプレート(38)が分析される。第1
に、テンプレートをデータ点でパディングして拡大し、
パディングされたテンプレートと元のテンプレート(3
8)とを相互相関計算し、複数の軸に沿った有効な段階
サイズを識別する。水平軸(44)、垂直軸(46)お
よび場合により第3の軸の各々の段階サイズが導出され
る。次に、テンプレートと選択されたウィンドウとを相
関計算し相関係数を導出することで、段階サイズに基づ
いて選択された探索領域(40)のウィンドウ(42)
が高速探索でテストされる。相関係数が所与の値を超え
ると、一致部分の可能性があるものとして、さらに精密
な比較段階へ進む。

Description

【発明の詳細な説明】
【0001】
【発明の分野】この発明は、データドメイン内でのテン
プレートマッチングに関し、特にデータドメイン内の所
与のデータテンプレートを位置特定するための方法に関
する。
【0002】イメージ探索に関しては、テンプレートマ
ッチングとは、サブイメージと同じ、またはより典型的
にはサブイメージよりも大きなサイズのイメージ内での
サブイメージの位置を特定する処理のことである。サブ
イメージをテンプレートと呼び、サブイメージよりも大
きなイメージを探索領域と呼ぶ。テンプレートマッチン
グ処理は、探索領域上をテンプレートをシフトさせるこ
と、および、テンプレートが載っている探索領域のウィ
ンドウとテンプレートとの間の類似度を計算することに
関わる。他のステップは、テンプレートと探索領域のウ
ィンドウとの間に良好な類似度測度がある単一のまたは
1組の一致部分の位置を決定することを含む。
【0003】テンプレートマッチングおよびイメージ位
置合わせにおける類似度測定のための一般的な技術は、
相互相関(関係)計算である。テンプレートと探索領域
の各ウィンドウとの間で相関測度が決定され、最大の相
関値を有するテンプレートの位置が見つけられる。2次
元探索領域については、一般に、探索領域内のテンプレ
ートのすべての並行移動に関して、相関関数が計算され
る。一般的アプローチは、空間フィルタ関数を使用して
ウィンドウ領域とテンプレートとが空間的にたたみ込ま
れる統計的相関測定である。このアプローチは計算時間
の点で極めて費用がかかるため、より一般的な計算機実
現としては差の絶対値の和が使用される。
【0004】ローゼンフェルド(Rosenfeld)他が、
「粗−精テンプレートマッチング(Coarse-Fine Templa
te Matching)」(『システム、人およびサイバネティ
ックスに関するIEEE紀要(IEEE Transactions on S
ystems, Man and Cybernetics)』、1977年2月、
104頁〜107頁)で説明しているアプローチでは、
第1の粗評価段階において「解像度が低められた」テン
プレートが使用される。テンプレートは、サイズの等し
い(たとえばブロック当り「m」画素の)ブロックに分
割される。各ブロックの平均値が計算される。探索領域
の各画素についても、解像度が低められたテンプレート
と同じサイズ(たとえばm画素)の近傍にわたって平均
値が計算される。そして、探索領域の各画素について、
各テンプレートブロックの平均値とピクチャの近傍の平
均値との差の絶対値の平均が計算される。もし探索領域
のいずれかの画素についての差の絶対値の平均が選択さ
れた値よりも低ければ、一致の可能性のある部分が識別
されたことになる。次に、ここまでの粗評価ステップで
の差の絶対値の平均がしきい値を下回った各画素点のま
わりの探索領域のウィンドウと完全な解像度のテンプレ
ートとが比較される。この精評価ステップで、実際に良
好な相関が存在するかが識別される。
【0005】ゴシュタスビー(Goshtasby)他は、「テ
ンプレートマッチングのための二段階相関アプローチ
(A Two-Stage Correlation Approach to Template Mat
ching)」、『パターン分析および機械知能に関するI
EEE紀要(IEEE Transactionon Pattern Analysis an
d Machine Intelligence)』(Vol. PAMI-6、No.3、1
984年5月)で、第1段階での評価のための精密なし
きい値の必要性を述べている。著者らは、サブテンプレ
ートサイズおよび誤って捨てられる確率に基づいてしき
い値を導出するための方法を説明する。
【0006】粗−精または2段階方策では、イメージと
一致するよう、テンプレートをサブサンプリングする。
テンプレートをサブサンプリングするタスクは瑣末なタ
スクではなく、かなりの処理コストを使う。加えて、誤
検出があると処理時間が無駄になったりまたは非効率的
に使用されたりする。したがって、テンプレートマッチ
ングのより効率的な方法が必要である。
【0007】デジタル・ビデオおよびマルチメディア通
信のための動き評価の分野では、3段階相関アプローチ
が使用される。第1のステップにおいて、探索ステップ
サイズ4が使用される。一旦最大値点が見つかると、ス
テップサイズは2に減じられその前に決定された点の近
傍を評価し、次の探索点を選択する。第3のステップで
は最良の一致部分を見つけるため近傍の点すべてが探索
される。このアプローチは、探索処理を高速化するが、
また、一致誤りまたは最適ではない一致の確率も高い。
また、複数の一致点が生じた場合に対処するのが困難で
ある。したがって、テンプレートと探索領域のウィンド
ウとの相関計算をするためのより信頼性の高い高速探索
法が必要である。
【0008】
【発明の概要】この発明により、テンプレートと探索領
域のウィンドウとを比較するため、相関自己予測探索
(CAPS)方法が使用される。テンプレートが、元と
なるウィンドウに対して最大の相関係数を有する位置
が、そのテンプレートについての一致部分として選択さ
れる。次に、極大基準または他の基準が使用されて、探
索領域内の1つまたは2つ以上の一致点が選択される。
この発明者の着想による相関自己予測探索の原理は、
(1)探索ステップサイズを決定するためテンプレート
自体から統計的情報を抽出すること、および(2)この
抽出された情報に基づいて高速探索を行なうことであ
る。探索は、テンプレートと探索領域のさまざまなウィ
ンドウとの相関計算によって行なわれる。2−D CA
PS探索については2つの次元(2−D)に沿ってウィ
ンドウが選択される。3−D CAPS探索については
3つの次元(3−D)に沿ってウィンドウが選択され
る。3次元相関自己予測探索(3−D CAPS)方法
が使用され、2次元テンプレートと探索領域のさまざま
な2次元ウィンドウとが比較される。2次元相関自己予
測探索および3次元自己予測探索の局面が開示される。
【0009】2次元探索領域に関しては、ウィンドウを
選択するための次元のうち2つは、探索領域の2つの次
元である。第3の次元は、探索領域およびテンプレート
または探索領域の付加的スライスを操作したものの中で
の探索に対応する。一実施例では、テンプレートは探索
領域に対して回転させられる。このような実施例では、
第3の次元は回転である。他実施例では、テンプレート
は探索領域に対して拡大/縮小される(たとえばズーム
インまたはズームアウトされる)。このような実施例で
は、第3の次元は倍率である。他実施例では、テンプレ
ートおよび探索領域は各々の解像度を変えるようサブサ
ンプリングされる。このような実施例では第3の次元は
サブサンプリング係数(すなわち解像度)である。これ
らの例は各々、テンプレートに対しての探索領域の操作
に対応し、これらの操作の結果探索領域の付加的なスラ
イスができ、このスライス内において探索領域の内容が
操作される(たとえば回転される、拡大/縮小される、
またはサブサンプリングされる)。他実施例では、第3
の次元は、時間、周波数または空間である。たとえば、
探索領域の対象についてフレームが順番に経時的に入手
される。他の例では、探索領域の対象について異なった
周波数でさらにサンプリングされる。さらに他の例で
は、対象は3つの空間次元において入手され、その結果
3次元探索領域となる。
【0010】ステップサイズは、2−D CAPSにつ
いては2つの次元に沿って、3−DCAPSについては
3つの次元に沿って導出される。この発明の他局面によ
ると、一旦ステップサイズが導出されると、導出された
ステップサイズを使用してテンプレートと探索領域との
間で高速探索が行なわれる。ステップサイズによって、
探索領域に対して(または探索領域の操作されたものま
たはスライスに対して)どのウィンドウをテストするか
が決定される。テストは、選択されたウィンドウとテン
プレートとの相関係数の計算を含む。特定の値を上回る
相関係数を有する相関関係については、よりよい一致部
分が見つかるか否かを調べるため、選択されたウィンド
ウの近傍で局所的により徹底的なフル探索が行なわれ
る。
【0011】2−D CAPSステップサイズ この発明の一局面によると、第1の分析ステップの間
に、テンプレートに対して自己相関計算が行なわれ所望
の統計が発生される。自己相関を使用するため、元のテ
ンプレートに付加的な画素がパディングされ、テンプレ
ートサイズが大きくされる。探索領域が周期的であると
仮定される一アプローチにおいては、循環パディングが
使用される。このようなアプローチでは、パディングさ
れたテンプレートは元のテンプレートのコピーのアレイ
である。これによってテンプレートサイズが探索領域
(イメージ)サイズに拡大される。
【0012】他のアプローチでは、画素が元のテンプレ
ートのまわりに付け加えられテンプレートのサイズが探
索領域(イメージ)のサイズに拡大される線形パディン
グが使用される。この発明の局面により、元のテンプレ
ートの平均画素値がパディング定数(すなわち付け加え
る画素についての画素値)として使用される。代替的
に、値ゼロまたは他の固定値をパディングされる画素に
ついてのパディング定数として使用し得る。
【0013】パディングされたテンプレートが作られた
後、パディングされたテンプレートと元のテンプレート
との間で相互相関計算が行なわれる。パディングされた
テンプレートの中央の領域は元のテンプレートによって
形成されているため、自己相関が最も高い。これは、パ
ディングされたテンプレートの元のテンプレートに対す
る自己相関のグラフにおけるピークに対応する。ピーク
の幅は、パディングされたテンプレートの水平方向に沿
っても、また、パディングされたテンプレートの垂直方
向に沿っても測定され得る。最高ピークの高さは1.0
である。水平幅は、最大ピークの各側部の自己相関値
0.5となる位置の間の水平軸に沿っての距離とされ
る。同様に、垂直幅は、最大ピークの各側部の自己相関
値0.5となる位置の間の垂直軸に沿っての距離とされ
る。このような値0.5をここでは切断値と呼ぶ。切断
値は別の値でもあり得る。
【0014】この発明の他局面により、パディングされ
たテンプレートと元のテンプレートとの間の自己相関
は、パディングされたテンプレートのすべての点につい
ては計算されない。パディングされたテンプレートの中
央では、元のテンプレートがパディングされたテンプレ
ートのこのような中央には位置づけられているため、相
関値は1.0であることがわかっている。次に、水平軸
および垂直軸の両方に沿って、パディングされたテンプ
レートの中央を中心として相関値が導出される。相関値
が、この軸に沿っての移動の間に導出されていくと、相
関値が切断値よりも小さくなる点がでてくる。水平軸に
沿っては、中央から両方の方向において切断値に達す
る。相関値が切断値より小さくなったこのような2つの
位置の間の水平距離が水平幅である。このような軸に沿
ってさらに相関値を導出する必要はない。垂直軸に沿っ
ても、中央から両方の方向において切断値に達する。相
関値が切断値より小さくなったこれらの2つの位置の間
の垂直距離が垂直幅である。このような垂直軸に沿って
さらに相関値を導出する必要はない。したがって、相関
係数が導出されるのは、中央から軸に沿って遠ざかるス
テップにおいてのみであり、切断値に達するステップに
至るまでの間である。
【0015】次に、水平ステップサイズおよび垂直ステ
ップサイズはそれぞれ、水平幅および垂直幅から導出さ
れる。一実施例では、水平ステップサイズは水平幅の
0.5倍である。同様に、垂直ステップサイズは垂直幅
の0.5倍である。これらのステップサイズが、2−D
相関自己予測探索(CAPS)ステップサイズである。
【0016】3−D CAPSステップサイズ テストされるウィンドウを選択するために探索領域の2
つの線形次元に沿って移動するために、水平ステップサ
イズおよび垂直ステップサイズが使用される。この発明
の他の局面によると、3次元分析も行なわれる。3次元
分析においては、2次元探索領域(2次元イメージな
ど)がさまざまに回転されて、拡大/縮小されてまたは
解像度を変えて分析される。いわば、2次元探索領域
は、第3の軸に沿っての探索領域のスライスが、(1)
元の探索領域の回転されたコピー、(2)元の探索領域
の拡大/縮小されたサイズのコピーまたは(3)元の探
索領域の解像度が変えられたコピーのいずれか1つに対
応する、3次元探索領域となる。さらに他の実施例で
は、探索領域は3次元探索領域(たとえば3次元イメー
ジ)である。これらの3次元分析のいずれにおいても、
第3のCAPSステップサイズが導出される(たとえば
回転ステップサイズ、拡大/縮小ステップサイズ、解像
度ステップサイズまたはz軸ステップサイズ)。
【0017】この発明の他局面によると、回転次元に対
するステップサイズは、(パディングされたテンプレー
トの中央、x=0およびy=0軸に沿って)元のテンプ
レートに対してのパディングされたテンプレートの回転
をさまざまなものにして、パディングされたテンプレー
トと元のテンプレートとの相関係数を計算することで導
出される。元のテンプレートがパディングされたテンプ
レートの中央を形成するので、回転がゼロのときは、相
関係数は1であることがわかる。元のテンプレートは中
央に関して正の角方向および負の角方向の両方に回転さ
れる。所与の角方向に沿っての回転の各増分について、
相関係数が計算される。いくつかの点において、相関係
数は切断値(たとえば0.5)となろう。切断値に達す
るまでの正の回転方向に沿っての回転角と、切断値に達
するまでの負の回転方向に沿っての回転角との間にまた
がる角回転が回転幅である。一例においては、この回転
幅の2分の1がCAPS回転ステップサイズである。
【0018】この発明の他局面によると、拡大/縮小次
元についてのステップサイズは、パディングされたテン
プレートに対しての元のテンプレートの拡大/縮小率を
変えてパディングされたテンプレートと元のテンプレー
トとの相関係数を計算することで導出される。元のテン
プレートは小さなサイズから大きなサイズへと相対的に
拡大/縮小される。拡大/縮小の範囲は、相対的に拡大
/縮小されたテンプレートがパディングされたテンプレ
ートよりも大きくならないよう限定される。拡大/縮小
されたテンプレートとパディングされたテンプレートと
の間で、倍率を増加させかつ減少させていくつかの倍率
において相関係数が計算される。テンプレートの縮尺を
減じていくとき、所与の倍率において切断値(たとえば
0.5)に対応する相関係数に達する。同様に、テンプ
レートの縮尺を増していくとき、所与の倍率において切
断値(たとえば0.5)に対応する相関係数に達する。
拡大/縮小幅は、切断値をとる相関係数の間の拡大/縮
小軸に沿っての距離に対応する。拡大/縮小軸に沿って
の増加方向での距離と減少方向での距離とは異なってい
るかもしれないので、好ましくは2つの距離のうち小さ
い方を拡大/縮小ステップサイズとする。代替的実施例
では、拡大/縮小ステップサイズは拡大/縮小幅を2で
割ったものである。
【0019】この発明の他局面によると、サブサンプリ
ング解像度次元についてのステップサイズは、パディン
グされたテンプレートとさまざまな解像度に変えられた
元のテンプレートのコピーとについて、パディングされ
たテンプレートと元のテンプレートとの相関係数を計算
することで導出される。元のテンプレートは特定の解像
度でサンプリングされる。パディングされたテンプレー
トは同じ解像度でサンプリングされる。サンプリング解
像度の元のテンプレートとパディングされたテンプレー
トとの間で相関係数が計算される。これがいくつかの解
像度について繰返される。さらに、各解像度において、
複数の相関係数が導出される。これは、サブサンプリン
グのときにはn×n個のデータ点を表わすため1つのデ
ータ点が使用されるからである。相関値は、n×n個の
データ点のいずれを使用するか(またはどの点の補間を
使用するか)に依存して異なり得る。分析においては最
小相関値が考慮される。最小相関係数を解像度に対して
プロットすると、最小相関値は元の解像度ではパディン
グされたテンプレートの中央において最大である。プロ
ットの解像度の軸に沿って移動していくと、最小相関係
数はある解像度サンプリング係数において切断値まで減
少する。このような解像度が解像度ステップサイズであ
る。
【0020】2−Dテンプレートマッチング 一旦2−D CAPSステップサイズが導出されると、
導出されたステップサイズを使用してテンプレートと探
索領域との間で高速探索が行なわれる。特定の値を上回
る相関係数を有する相関については、高速探索の結果、
選択された値を上回る相関係数となった各領域におい
て、局所的にフル探索が行なわれる。
【0021】この発明の他局面によると、元のテンプレ
ートと探索領域との間での1組の相関計算として高速探
索が行なわれる。特に、相関計算は、テンプレートと探
索領域内のウィンドウ領域との間で行なわれる。相関計
算の組は、ステップサイズに基づいてウィンドウ領域を
選択することで選択される。たとえば、1つのウィンド
ウは探索領域の中央である。そして対応する水平幅また
は垂直幅を使用して軸に沿って正のステップまたは負の
ステップがとられ、他のウィンドウについての相関値が
導出される。特定の値を上回る相関係数となった相関は
いずれも、局所一致点とみなされる。
【0022】この発明の他局面によると、高速探索の間
に局所一致部分を識別するため使用される特定の値は、
切断値×しきい値である。切断値は、テンプレートから
統計を導出するため上述の第1の分析ステップの間に使
用された切断値と同一である。しきい値は、イメージ特
性に基づいて割当てられる。典型的なしきい値は0.8
と0.9との間である。
【0023】テンプレートとある位置との間の相関係数
が特定の値(たとえば切断値×しきい値)を上回るか否
かに基づいて、1つまたは2つ以上の位置が局所一致点
として識別される。
【0024】この発明の他局面によると、次に、局所一
致部分であるすべての位置の近傍でフル探索が行なわれ
る。このような近傍でのフル探索は、水平軸および垂直
軸の各々における次のステップと前のステップとにおけ
るウィンドウと局所一致位置ウィンドウとの間にあるす
べての可能性のある探索領域ウィンドウと、テンプレー
トとの相関計算を行なうことを含む。たとえば、もし水
平ステップサイズが3画素であり垂直ステップサイズが
4画素であれば、相関計算は、水平軸に沿ってはウィン
ドウ±1画素および±2画素で行なわれ、垂直軸に沿っ
ては±1画素、±2画素および±3画素で行なわれる。
さらに、領域内の、軸から、ステップサイズによって決
まる量だけずれたウィンドウについて相関計算が行なわ
れる。したがって、この例では、局所一致部分の近傍で
のフル探索は、テンプレートと探索領域との間での34
個の相関計算を含む。局所一致位置と、近傍のフル探索
の間にテストされるしきい値を上回る位置とのすべてが
テンプレート一致部分と見なされる。いくつかの実施例
では、最大の相関値を有する位置のみが一致部分と見な
される。他実施例では、複数の一致部分があってもよ
い。したがって、最高の一致点またはしきい値を上回る
すべての一致点が結果的に一致点として選択される。
【0025】3−Dテンプレートマッチング 一旦3−D CAPSステップサイズが導出されると、
高速探索が行なわれる。この発明の他局面によると、ウ
ィンドウを選択するための3つのCAPSステップサイ
ズと特定の相関値とを使用して、元のテンプレートと探
索領域(イメージ)との一致部分が識別される。高速探
索の間に局所一致部分を識別するため使用される特定の
値は、切断値×しきい値である。切断値は、テンプレー
トから統計を導出するため上述のように第1の分析ステ
ップの間に使用される切断値と同一である。しきい値
は、探索領域/イメージ特性に基づいて割当てられる。
典型的なしきい値は0.8と0.9との間である。
【0026】探索の第3の次元のため、探索領域は複数
のスライス(実質的にデータ点の3次元セット)を含む
よう操作されるかまたはリサンプリングされる。各スラ
イスは、第3の次元内の探索領域に対応する(たとえ
ば、回転、拡大/縮小、サブサンプリングされたコピ
ー)。可能性のあるスライスの数は、回転角についての
解像度、倍率またはサブサンプリング係数に依存する。
第3の軸のステップサイズ(たとえば回転、倍率、サブ
サンプリング係数)を使用して、これらの可能性のある
スライスのサブセットが高速探索中に考慮される。たと
えば、第3の軸のステップサイズが4であると、300
個の可能性のあるスライスのうち、高速探索中には75
個のスライスのサブセットが考慮される。
【0027】スライスのサブセット中の各スライスにお
いて、水平ステップサイズおよび垂直ステップサイズを
使用してウィンドウを選択することで相関係数が導出さ
れる。相関係数が少なくとも切断値×しきい値に等しい
場合は、その位置は次の評価段階のため使用される。こ
れらの位置はここでは候補位置と呼ばれ、この位置がそ
こから識別されるスライスはホームスライスと呼ばれ
る。
【0028】次の段階において、高速探索段階において
識別された候補位置が、スライスの全セット中探索領域
の近傍のスライスに写影される。第2段階において処理
されたいずれの所与の候補位置についても、近傍のスラ
イスはホームスライスから第3の次元のステップサイズ
よりも少しだけ離れたスライス領域を含む。探索領域の
可能性のある回転が300個存在する実現例を考える。
つまり、セット全体で300個のスライスがある。例と
して第3の次元のステップサイズが高速探索段階の間4
であると仮定すると、第1のスライスのサブセット中に
は75個のスライスがある。第2段階中、所与の候補位
置が、スライスのセット全体の中で、そのホームスライ
スから各方向の、近傍の3つのスライス上へと写影され
る。(4番目のスライスはスライスのサブセット中次の
スライスであったであろうことに留意されたい。)これ
らの複数(たとえば6つ)の近傍のスライス内のこれら
の点について相関係数が計算される。もし、係数が、こ
れらの複数の近傍のスライスのいずれかについてしきい
値の2分の1よりも大きければ、このようなスライスに
ついての位置がやはり候補位置となり、このようなスラ
イスはそのホームスライスである。
【0029】最終段階、局所フル探索において、候補位
置のホームスライス上の各候補位置の近傍の位置につい
て相関係数が導出される。候補位置の近傍は、候補位置
から水平および垂直ステップサイズ未満だけ離れたホー
ムスライス上のウィンドウを含む。たとえば、もし水平
ステップサイズが2であり垂直ステップサイズが2であ
れば、候補位置の近傍には8つの位置(ウィンドウ)が
ある(たとえば、候補位置に対してウィンドウの座標の
ずれは(−1,0)、(1,0)、(0,1)、(0,
−1)、(−1,1)、(1,−1)、(−1,−1)
および(1,1)である)。しきい値を満たす係数が一
致点である。一致点は、テンプレートと一致する探索領
域のウィンドウを識別する。
【0030】この発明の一利点はこれまでの相関探索法
よりもより迅速にかつより高い信頼性をもってテンプレ
ート一致部分が発見される点である。特に、この探索法
は、ローパスフィルタリングまたはガウス雑音により変
えられるテンプレートのコピーから探索領域を形成する
ことで実験的に立証されるように、テンプレートのオフ
セットおよび雑音により強い。この発明のこれらのおよ
び他の局面ならびに利点は、添付の図面を参照し以下の
詳細な説明を参照するとよりよく理解されるであろう。
【0031】
【詳細な説明】例示的ホストコンピュータシステム この発明の機能は、好ましくは、当業では周知のタイプ
のプログラムされたデジタルコンピュータで行なわれ、
その一例を図1に示す。コンピュータシステム10は、
ディスプレイモニタ12、キーボード14、ポインティ
ング/クリッキングデバイス16、プロセッサ18、ラ
ンダムアクセスメモリ(RAM)20、ハードディスク
ドライブなどの不揮発性記憶装置22、通信またはネッ
トワークインターフェイス24(たとえばモデム、イー
サネットアダプタ)および、携帯可能な記憶媒体28を
読出す、フロッピィディスクドライブ、CD−ROMド
ライブ、ジップドライブ、ベルヌーイドライブまたは他
の磁気的、光学的もしくは他の記憶媒体などの携帯可能
な記憶媒体駆動装置26を有する。これらさまざまな構
成要素は、1つまたは2つ以上のバス32を通じてイン
ターフェイスし、データおよびコマンドを交換する。コ
ンピュータシステム10は、キーボード14、ポインテ
ィング/クリッキングデバイス16、ネットワークイン
ターフェイス24または他の入力装置もしくは入力ポー
トを通じての入力により情報を受取る。コンピュータシ
ステム10は、メインフレームコンピュータ、ミニコン
ピュータまたはマイクロコンピュータなどの、当業界で
は周知のいずれのタイプでもあり得る。
【0032】概観 図2を参照し、データの探索領域40内のデータのテン
プレート38の位置の探索のため、テンプレートが探索
領域のウィンドウ42の上に重ね合わせられる。探索領
域40は、イメージまたは他のデータ点のドメインであ
る。ウィンドウ領域42は、探索領域のサブ部分であ
る。テンプレート38はまた、1組のデータ点を含む。
テンプレートのデータ点は、ウィンドウのデータ点と比
較され、データ点が所望の程度まで相関しているかどう
かが決定される。もし所望の程度で相関していれば、テ
ンプレートに対する一致部分が見つかったことになる。
「n」個のデータ点の「m」個の行から形成される探索
領域40内で、「p」個のデータ点の「k」個の行から
形成されるテンプレートは、(m−k+1)*(n−p
+1)個の可能性のあるウィンドウ42にわたって軸4
4および46に沿って並行移動させられ得る。3次元分
析の場合には、テンプレート38と探索領域40との間
にはさらに別の方向付けが形成され得る。
【0033】テンプレート38と比較されるウィンドウ
42の数を減じるため、テンプレートから効率的な軸ス
テップサイズが導出される。2次元探索については、第
1の軸44に沿ってのステップサイズが導出され、第2
の軸46に沿ってのステップサイズが導出される。3次
元探索については、第3の軸に沿ってのステップサイズ
もまた導出される。探索領域40の可能性のあるすべて
のウィンドウとテンプレートとを比較するのではなく、
テンプレート38は、対応する軸ステップサイズだけ軸
に沿って移動させられる。
【0034】一旦所望のステップサイズが導出される
と、ステップサイズの増分ごとに、テンプレート38が
探索領域40のさまざまなウィンドウ42と比較され
る。一実施例では、比較は、テンプレート38とウィン
ドウ42との相関関数であり、その結果、相関係数が得
られる。テンプレート38との相関係数が選択された値
を上回ることがわかったウィンドウ42はすべて、テン
プレートに対して一致の可能性のある部分である。好ま
しい実施例では、選択される値は切断値×しきい値に等
しい。しきい値は、探索領域のタイプに基づいて選択さ
れる。例示的値は0.8から0.9であるが、1未満で
これよりも大きい値または切断値より大きくこれより小
さい値も使用できる。
【0035】例示的第3の軸は、回転軸、拡大/縮小
軸、サンプリング解像度軸、第3の空間軸、時間軸およ
び周波数軸を含む。いずれの場合も、探索領域は第3の
次元のデータ点の組を含む。回転、拡大/縮小およびサ
ンプリング解像度の実施例では、第3の次元の点は、元
の2次元の探索領域を操作したものである。2−dの探
索領域が回転される、拡大/縮小される、または所定の
解像度でサンプリングされる。第3の空間軸、時間軸お
よび周波数軸の実施例については、第3の次元のデータ
点は、探索領域に対応するデータの付加的なフレームに
対応する。一実施例では、z軸に沿った3−dイメージ
の付加的な2−d空間スライスが得られる。他の実施例
では、探索領域の付加的な2−dスライスがさまざまな
異なった時点で得られる。さらに他の実施例では、探索
領域の付加的な2−dスライスがさまざまな異なった周
波数について得られる。
【0036】図3を参照し、テンプレート38は、回転
軸47に関してさまざまな回転オフセットで探索領域4
0に対し回転させられ得る。この例では、第3の軸はサ
ンプル領域の回転されたスライスに対応する。図4を参
照し、テンプレート38は、拡大/縮小軸48に沿って
探索領域40に対し拡大/縮小され得る。この例では、
第3の軸は探索領域の拡大/縮小に対応する。図5を参
照し、テンプレート38および探索領域40は、さまざ
まな異なったサンプリング解像度でサンプリングされ得
る。この例では、第3の軸49は探索領域のサンプリン
グ解像度に対応する。図6を参照し、探索領域40は、
第3の線形軸、異なった時点でのサンプリングまたは異
なった周波数でのサンプリングに対応する第3の軸51
に沿ったデータ点の付加的なフレームを含む。
【0037】概括すると、3−D CAPS方法は、少
なくとも2つの軸44および46が空間軸であり、第3
の軸53が(テンプレート38に対しての)2−D探索
領域の操作または2−d探索領域40の対象の付加的な
フレーム(図6を参照)に対応する、3次元のサンプル
空間40′中でテンプレート38の一致部分を探索する
ことを含む。
【0038】水平軸および垂直軸についてのステップサ
イズの決定 効率的なステップサイズを決定するため、テンプレート
38自体が分析される。図7を参照し、第1のステップ
50で、テンプレート38は付加的なデータ点でパディ
ングされ、パディングされたテンプレート52となる。
図8は、循環パディングにより得られるパディングされ
たテンプレート52′の例を示す。循環パディングにお
いては、テンプレート38の複数のコピーがテンプレー
トのサイズを大きくするため使用される。図示される実
施例では、元のテンプレート38の9個のコピーのアレ
イが使用され、パディングされたテンプレート52′の
中央のウィンドウ54cが元のテンプレート38であ
る。コピーの数は実施例によって異なり得る。好ましい
実施例では、循環的にパディングされたテンプレート内
には少なくとも9つの完全なテンプレートのコピーがあ
る。
【0039】図9は、線形パディングで得られるパディ
ングされたテンプレート52"の例を示す。線形パディ
ングにおいては、各々共通の値を有するデータ点が加わ
えられる。この共通の値がパディング定数である。一実
施例では、パディング定数は0または他の固定値であり
得る。好ましい実施例では、パディング定数は、テンプ
レート38を構成するさまざまなデータ点のデータ値か
ら導出される。たとえば、一実施例では、さまざまな平
均化技術のいずれかを使用して、すべてのテンプレート
38のデータ点について平均データ値が導出される。こ
の平均値がパディング定数として用いられる。イメージ
データについては、付加されるデータ点は画素であり、
パディング定数は画素の強度および/または色である。
好ましくは、線形パディングにより形成されるパディン
グされたテンプレート52"の中央ウィンドウ54c
も、元のテンプレート38によって形成される。
【0040】再び図7を参照し、次のステップ60にお
いて、テンプレート38とパディングされたテンプレー
ト52のさまざまなウィンドウ54とが相関計算され
る。パディングされたテンプレート52の中央は元のテ
ンプレート38と等しいので、テンプレート38と中央
ウィンドウ54cとの相関値は1.0であることがわか
る。したがって、この相関値は計算の必要がない。これ
は既にわかっている。2次元分析については、元のテン
プレート38とパディングされたテンプレートのウィン
ドウ54との相関値が、中央ウィンドウ54cから軸4
4および46などのいずれかに沿っていずれかの方向に
移動させられたウィンドウについて、導出される。評価
のため、隣接するウィンドウを選択するためのステップ
サイズは1データ点である。たとえば、40画素×60
画素のテンプレートおよび120画素×180画素のパ
ディングされたテンプレートを考える。ステップサイズ
は1画素である。中央ウィンドウ54cから始めて、第
1の軸44に沿った第1の方向56には40個の可能性
のあるウィンドウがあり、同じく軸44に沿った第2の
方向58には40個の可能性のあるウィンドウがある。
ステップ60において、テンプレートと選択されたウィ
ンドウとの相関計算が行なわれる。選択されるウィンド
ウ54は、第1の方向56において第1の軸44に沿っ
て変わるので、得られる相関係数は1.0よりも小さく
なるであろう。最終的には、相関係数が予め定められた
切断値よりも低くなるウィンドウが存在するであろう。
このような切断値は実施例によって異なり得るが、好ま
しくは、ウィンドウとテンプレートとの間の推定された
一致部分を識別するしきい値よりも小さい。軸44に沿
った各方向において切断値に達するウィンドウがパディ
ングされたテンプレート内に見つかるであろう。
【0041】図10を参照し、パディングされたテンプ
レート52とテンプレート38との第1の軸44に沿っ
ての相関のグラフは、中央部分でピークを示し、中央か
ら遠ざかるにつれて値が小さくなっている。予め定めら
れた切断値はライン62で示される。ライン62は、少
なくとも2つの点で相関係数と交差している。循環パデ
ィングについては、2つ以上のピークがある可能性があ
る。最大ピークの各側部に最も近いデータ点が、第1の
軸44に沿った幅を測定するため使用される。
【0042】第1の軸44に沿って可能性のあるウィン
ドウ各々について相関計算を行なうのではなく、中央ウ
ィンドウから各方向56および58に向けて遠ざかる方
向において相関係数が切断値と交差する地点のウィンド
ウが識別されるまで、各方向56および58において中
央ウィンドウから遠ざかる方向に向けて軸44に沿って
ウィンドウの相関計算が行なわれる。2次元分析に関し
ては、第1の軸44に沿って中央ウィンドウ54cから
の各方向において切断点が見出される。データ点のこれ
ら2つのウィンドウの間の距離が、第1の軸に沿っての
幅である。
【0043】図7を参照し、ステップ64において、テ
ンプレート38との相関値が予め定められた切断値以下
であるウィンドウの間の、第1の軸44に沿っての幅か
ら、第1の軸のステップサイズが導出される。第1の軸
44に沿ったステップサイズは、幅の何分の1かであ
る。好ましい実施例では、所与の軸についてのステップ
サイズとして、幅の2分の1が用いられる。他実施例で
は、ステップサイズは幅全体または幅の他の自然数分の
1として取られる。
【0044】ステップ66および68において、方向7
0および72に向けて第2の軸46に沿っての相関計算
が繰返され、第2の軸46に沿っての幅が見出される。
再び図10を参照し、パディングされたテンプレート5
2とテンプレート38との間の第2の軸46に沿っての
相関のグラフは、中央でピークを示し、中央から遠ざか
るにつれて小さな値となっている。予め定められた切断
値はライン62で示される。ライン62は少なくとも2
つの点で相関係数と交差する。循環パディングにおいて
は、2つ以上のピークがある可能性がある。最大ピーク
の各側部に最も近いデータ点が、第1の軸46に沿って
の幅を測定するため使用される。2次元分析について
は、第2の軸46に沿って中央ウィンドウ54cからの
各方向において切断点が見出される。データ点内のこれ
ら2つのウィンドウの間の距離が、第2の軸に沿っての
幅である。この距離の何分の1かが、対応する軸につい
てのステップサイズ(たとえば第1の軸または水平ステ
ップサイズ、第2の軸または垂直ステップサイズ)とし
て取られる。好ましい実施例では、幅の2分の1がステ
ップサイズとして取られる。他実施例では、ステップサ
イズは幅全体または幅の他の自然数分の1として取られ
る。好ましくは、第2の軸46に沿ってのステップサイ
ズは、第1の軸44に沿ってのステップサイズと同様の
態様で導出される。ここではステップサイズを、相関自
己予測探索(CAPS)ステップサイズと呼ぶ。
【0045】第3の次元についてのステップサイズの決
定 上述のように、第1の軸(たとえば水平軸)および第2
の軸(たとえば垂直軸)のCAPSステップサイズによ
り、探索領域40内でのテンプレート38のx−y並行
移動が可能となる。しかし、いくつかの応用において
は、テンプレートは単にx軸およびy軸に沿って並行移
動させられるだけではないであろう。テンプレートはま
た、探索領域に対し回転させられるかもしれない。他の
応用では、テンプレートは探索領域とは異なった解像度
のものであるかもしれず、または、探索領域とは異なる
サイズに拡大/縮小されているかもしれない。さらに他
の実施例では、探索領域は3次元イメージであり得、テ
ンプレートもまたz軸に沿って並行移動させられ得る。
さらに他の実施例では、探索領域は、イメージまたはオ
ブジェクトの時間サンプルまたは周波数サンプルのシー
ケンスの中の1つであり得、そのため、第3の軸は時間
または周波数に対応し得る。これらの実施例のいずれに
おいても、探索領域の複数のスライスが存在し得、3次
元分析となる。スライスは、回転、拡大/縮小、サンプ
リング解像度、付加される線形次元、または付加される
時間もしくは周波数次元に対応し得る。
【0046】回転ステップサイズの決定 第3の次元が回転である、3次元テンプレートマッチン
グにおいては、回転CAPSステップサイズが決定され
る。回転ステップサイズは、回転幅から導出される。回
転幅を導出するため、(たとえばパディングされたテン
プレートの中央として選択される)x=0およびy=0
軸に沿って、元のテンプレート38とパディングされた
テンプレート52(たとえば図8または図9の52′ま
たは52")との間の相関係数が計算される。したがっ
て、元のテンプレートがパディングされたテンプレート
の中央を形成するので、回転が0に等しいときは相関係
数が1であることがわかる。次に、図11に示すように
パディングされたテンプレート52の中心に関して(た
とえば回転軸47に関して)正の角方向78および負の
角方向80の両方に元のテンプレートが回転させられ
る。所与の角方向に沿っての回転の各増分について、相
関係数が計算される。いずれかの時点で、相関係数は予
め定められた切断値となるであろう(図10を参照)。
切断値に対応するウィンドウに達した正の回転方向に沿
っての回転角と、切断値に対応するウィンドウに達した
負の回転方向に沿っての回転角との間の角回転が回転幅
である。このような幅はデータ点で表わされる。この距
離の何分の1かが回転軸ステップサイズとして取られ
る。好ましい実施例では、回転幅の2分の1が回転軸ス
テップサイズとして取られる。他実施例では、回転ステ
ップサイズは、回転幅全体または回転幅の他の自然数分
の1として取られる。
【0047】拡大/縮小ステップサイズの決定 第3の次元が拡大/縮小である3次元テンプレートマッ
チングにおいては、拡大/縮小CAPSステップサイズ
が決定される。拡大/縮小ステップサイズは、拡大/縮
小幅から導出される。複数の倍率の各々について、その
倍率により再び拡大/縮小されたテンプレート38とパ
ディングされたテンプレート(52′または52")と
の間の相関係数が計算される。好ましくは、(たとえば
パディングされたテンプレートの中央として選択され
る)x=0、y=0ウィンドウで拡大/縮小軸(z=倍
率)に沿って各々の相関計算が行なわれる。その結果、
元のテンプレートがパディングされたテンプレートの中
心を形成するので、元の倍率1.0では相関係数は1.
0であることがわかる。倍率は1より小さくも1より大
きくもなり得る。1未満の倍率においては、テンプレー
トのサイズが減じられる。1より大きい倍率の場合は、
テンプレートサイズは拡大される。一実施例では、テン
プレート38の再拡大/縮小のため双一次補間が使用さ
れる。
【0048】倍率=1の点に関して拡大/縮小軸に沿っ
て相関値にある程度の対称性をもたらすため、以下の関
係に基づいて変数aについて相関値が分析される。
【0049】s=(1+|a|)sign(a) ただしsは倍率である。
【0050】この結果、s=1およびa=0で相関係数
は1となる。sが1よりも小さい場合aは負である。s
が1よりも大きい場合aは正である。図12は、相関係
数対aのグラフを示す。倍率sが1よりも小さくなるよ
う変えられるに伴い(すなわち負のaになるに伴い)、
相関係数も1よりも小さい方向に減じられていく。同様
に、倍率sが1よりも大きい値に変わるに伴い(すなわ
ち正のaとなるに伴い)、相関値も1よりも小さくなっ
ていく。各方向において、相関係数が切断値(たとえば
0.5)となる倍率およびa値があるであろう。これら
の点を図12ではa1およびa2と表示する。a1とa
2との間の距離が拡大/縮小幅である。一実施例では、
aを単位としたステップサイズは拡大/縮小幅の2分の
1である。倍率sとaとの関係を使用して、倍率を単位
としたステップサイズが導出される。しかし、倍率の2
つの範囲(倍率が1よりも小さい範囲と倍率が1よりも
大きい範囲)が対称ではないことが観察された。確実に
正確な探索を行なうため、a1およびa2のうち小さい
方の距離が拡大/縮小ステップサイズを決定するため使
用される。たとえば、a1が−0.32でありa2が
0.27である実施例においては、0.27が使用され
る。具体的には、0.27が倍率1.27に変換され、
拡大/縮小ステップサイズとして使用される。したがっ
て、テンプレートは倍率1.27で拡大されるかまたは
倍率1.27-1(すなわち1/1.27=0.79)で
縮小される。
【0051】サブサンプリング係数(解像度)ステップ
サイズの決定 第3の次元が解像度を決定するサブサンプリング係数で
ある、3次元テンプレートマッチングの場合には、サン
プリング解像度CAPSステップサイズが決定される。
サンプリング解像度ステップサイズは、相関係数をサン
プリング解像度に対してプロットしたときに識別される
サブサンプリング係数幅から導出される。さまざまな解
像度(たとえばサブサンプリング係数)の各々において
パディングされたテンプレート(52′または52")
とテンプレート38との間の相関係数が計算される。各
計算において、テンプレート38およびパディングされ
たテンプレート52の両方が所与の解像度においてサン
プリングされる。好ましくは、各相関計算は、(たとえ
ばパディングされたテンプレートの中央として選択され
る)x=0、y=0ウィンドウで行なわれる。結果とし
て、元のテンプレートがパディングされたテンプレート
の中央を形成するため、元の解像度では相関係数が1.
0であることがわかる。
【0052】サブサンプリング係数nについて考える。
各サブサンプリング係数において、テンプレートが、係
数nでサブサンプリングされ、サブテンプレートが形成
される。また、パディングされたテンプレートも同じ係
数nでサブサンプリングされ、パディングされたサブテ
ンプレートが形成される。複数のサブサンプリング係数
(たとえば解像度)の各々についてx=0、y=0の位
置でサブサンプリングされたテンプレートとサブサンプ
リングされたパディングされたテンプレートとの間で相
関計算が行なわれる。パディングされたテンプレートの
中央は元のテンプレートなので、サブサンプリングされ
たテンプレートおよびパディングされたテンプレートの
x=0、y=0位置は相関値が1.0となるであろうこ
とが予測される。しかし、テンプレートおよびパディン
グされたテンプレートのサブサンプリングにおいては、
2Dサブサンプリングを行なう異なった方法がn2個あ
る(すなわち、1つのサンプル点で(n×n)の元のイ
メージ領域を表わし、n2−1個のサンプル点は廃棄さ
れる)。最悪の状況であっても、確実に正確なテンプレ
ートマッチングを行なうため、n2個の異なった方法か
ら得られる相関係数のうちの最小値が使用される。した
がって、x=0、y=0位置で得られる相関係数は1よ
りも小さくなるであろう。
【0053】図13を参照し、サブサンプリング係数に
対応して相関係数がプロットされる。上述のように、相
関係数は、所与のサブサンプリング係数についての可能
なサブサンプリング方法のうちで最小の相関値である。
階層レベルという点では、第1のレベル0はn=1のサ
ブサンプリング係数に対応する。次のレベルはn=2に
対応する。次のレベルはn=4に、そして次がn=8に
対応し、n=2(level )の比率で以下同様である。レベ
ルは図13に示される。好ましい実施例では、解像度ス
テップサイズは、階層レベルの1つに対応する係数nと
して選択される。信頼性のある階層レベルが切断値から
決定される。図13に示す切断値0.5の場合には、階
層的マッチングは第3のレベルn=8に進み得る。した
がって、この例では、解像度ステップサイズはサブサン
プリング比8である。解像度ステップサイズを導出する
ためには、すべてのnの値について相関係数を計算する
必要はないことに留意されたい。これらは、階層レベル
n=1、2、4、8、16、…に対応するサブサンプリ
ング係数について計算される。
【0054】回転分析を伴うテンプレートマッチング 回転分析を伴う3次元テンプレートマッチングについて
は、回転ステップサイズは上述のように導出される。さ
らに、回転角度0を使用して上述のように水平ステップ
サイズおよび垂直ステップサイズが計算される。3つの
CAPSステップサイズを導出して、テンプレートマッ
チングが行なわれる。一実施例では、3つの方向(たと
えば2つの並行移動方向および1つの回転方向)につい
ての3つのCAPSステップサイズとしきい値とを使用
して、元のテンプレート38と探索領域40との間でテ
ンプレートマッチング位置が導出される。
【0055】回転を行なうとき、テンプレート38は固
定された探索領域に対して回転できる。または、探索領
域は固定されたテンプレートに対して回転できる。探索
領域を回転させると、計算全体がより高速となり、計算
処理の並列化が可能となることがわかっている。テンプ
レートの方が小さくとも、テンプレートを回転させるに
は各回転増分についてアルファマスクを導出する必要が
ある。実際には、探索領域を回転させるかまたはテンプ
レートを回転させるかの好ましい選択は、テンプレート
および探索領域の相対的なサイズに依存する(たとえ
ば、テンプレートが小さいほど、さまざまな回転でのア
ルファマスクの計算が高速になる)。
【0056】ここに説明するのは、探索領域を回転させ
ることを含む処理である(すなわち、第3の空間軸4
0′は探索領域40の回転されたコピーに対応する)。
所与の実現例については、探索領域は固定された間隔
(すなわち角解像度)で回転される可能性があり、それ
によって、1組の回転された探索領域が得られる。これ
らの探索領域の回転をここでは「スライス」と呼ぶ。ス
ライスの数は角解像度に依存する。一実施例では、角解
像度は、 δθ=(2π)/[2π*max(tx,ty)]
round up としてテンプレートから導出され、式中、txおよびt
yはそれぞれテンプレートの幅および高さであり、「ro
und up」は[]内の値を次の整数値に切り上げることを
意味する。
【0057】分母は、探索されるべき回転されたテンプ
レート、スライスの総数である。倍率2πがあるので、
角解像度がラジアンで与えられる。角解像度において
は、探索領域40に対し、「h」個の可能性のある回転
位置があり、したがって、「h」個のスライスがある。
回転ステップサイズを使用して、これらの可能性のある
スライスのサブセットのみが、最初の評価段階において
考慮される。たとえば、回転ステップサイズが3である
270個の可能性のあるスライスのうち、90個のスラ
イスのサブセットが始めの評価段階において考慮され
る。したがって、1ステップで探索領域40は回転ステ
ップサイズだけ回転させられ、異なった回転角における
探索領域のスライスの第1のサブセットが導出される。
【0058】スライスのサブセットが識別されると、サ
ブセットの各スライスにおいて2次元分析が行なわれ
る。第1の軸ステップサイズおよび第2の軸ステップサ
イズを使用して、テンプレート38とサブセットの所与
のスライスのさまざまなウィンドウとの間で相関計算が
行なわれる。これは、サブセットの各スライスについて
行なわれる。各相関計算について、相関係数が計算され
る。もし、相関係数が選択された値と一致するかまたは
選択された値を超えれば、対応するウィンドウが一致候
補である。選択される値は好ましくは、最終的にテンプ
レート一致部分を決定するために使用されるしきい値よ
りも小さい。一実施例では、選択される値はしきい値の
2分の1に等しいが、他の値も使用可能である。選択さ
れる値が小さければ小さいほど、見つけられる一致候補
も多い。サブセット内のスライス当り、0または1以上
の一致候補があり得る。一致候補の位置を候補位置と呼
ぶ。一致候補がそこから識別されるスライスをここでは
そのホームスライスと呼ぶ。
【0059】図14を参照し、可能性のあるスライスの
セット全体のいくつかのスライス85が図示される。た
とえば、回転ステップサイズが3であると、始めの評価
段階において、スライスのサブセット中のスライスが3
番目ごとに使用される。スライス「i」および「i+
3」はこのようなサブセットの部分である。スライスi
のウィンドウ86およびスライスi+3のウィンドウ8
8について一致候補が見出される例を考える。
【0060】次の段階において、第1の段階において識
別された候補位置(たとえばウィンドウ86および8
8)が、スライスのセット全体のうちの探索領域の近傍
スライス上に写影される。この第2の段階において処理
されるいずれの所与の候補位置についても、選択される
近傍スライスは、回転ステップサイズよりも小さな、探
索領域の回転を含む。回転ステップサイズが3である図
14を参照し、候補位置86および88が、各方向の1
つまたは2つ以上の近傍スライスにウィンドウとして写
影される。写影は、回転ステップサイズ(たとえば3)
まで伸ばされると、サブセット中のスライスの1つに候
補位置を写影してしまうので、回転ステップサイズまで
は伸ばされない。このようなスライスは既に一致候補に
ついてテストされている。図示しているのは最も近い近
傍への写影である。したがって、スライスiからの候補
位置86は、ウィンドウ90および92としてのスライ
スi−1およびスライスi+1に写影される。スライス
i+3からの候補位置88は、ウィンドウ94および9
6としてのスライスi+2およびスライスi+4に写影
される。他実施例では、スライスiからの候補位置86
はスライスi−2、i−1、i+1およびi+2に写影
され、一方、スライスi+3からの候補位置88はスラ
イスi+1、i+2、i+4およびi+5に写影され
る。
【0061】相関計算は、テンプレート38と写影との
間で行なわれる。もし得られた相関係数のいずれかが第
2のしきい値と一致するかまたは第2のしきい値を超え
れば、写影は候補位置である。写影があるスライスをそ
のホームスライスと呼ぶ。処理中のこの時点で、1つま
たは2つ以上の候補位置がある(もしテンプレートが一
致部分を有していなければ候補は0である)。
【0062】次に処理の第3段階が行なわれる。第1
に、しきい値に一致するかまたはしきい値を超える相関
係数を有する候補位置はすべて、一致の可能性のある部
分である。いくつかの実施例では、これらは一致部分と
考えられる。さらに、各候補位置のそれぞれのホームス
ライスに対して各候補位置の近傍で、2次元分析が行な
われ、他の一致の可能性のある部分が識別される。所与
の候補位置についての2次元分析は、元のテンプレート
38と候補位置の近傍の候補位置のホームスライスのウ
ィンドウとの相関計算である。このようなウィンドウ
は、第1および第2の軸に沿って減じられたCAPSス
テップサイズを使用して選択される。一実施例では、ス
テップサイズ1が使用される。この段階中、得られた相
関係数はしきい値と比較される。相関係数がしきい値に
一致するかまたはしきい値を超えるテストされた所与の
ホームスライスのいずれのウィンドウも、一致の可能性
のある部分である。いくつかの実施例では、これらは一
致部分と考えられる。他実施例では、しきい値に一致す
るかまたはしきい値を超えるウィンドウのうちで最も高
い相関値を有するウィンドウまたは複数のウィンドウが
一致部分である。
【0063】図15およびスライスi+1の候補位置9
2に関連して、3段階式2次元分析を説明する。同じ処
理が、(スライス85のサブセット中のスライスの間
の)中間スライスへの写影である各候補位置に適用され
る。所与の候補位置について、(それぞれの軸につい
て)ステップサイズにより境界づけられる2次元領域内
のウィンドウが局所フル探索でテストされる。軸44お
よび46のいずれかに沿ってちょうどステップサイズだ
け離れたところにあるウィンドウは既にテストされてい
ることに留意されたい。局所フル探索を行なうため、局
所一致部分と、軸44および46のいずれかに沿って±
1ステップサイズだけ離れたところにあるウィンドウと
の間の領域内の中間ウィンドウのすべてがテストされ
る。たとえば、第1の軸ステップサイズがxであり第2
の軸ステップサイズがyであるならば、第1の軸に沿っ
て、局所的に一致したウィンドウから+/−0、1、
2、…、x−1データ点だけ離れた中央点を有するウィ
ンドウ、および、第2の軸に沿って局所的に一致したウ
ィンドウから+/−0、1、2、…、y−1データ点だ
け離れたところにある中央点を有するウィンドウが、フ
ル探索中にテストされる。しかし、局所一致部分は再び
相関計算する必要はない。
【0064】図16を参照し、局所一致部分に対応する
ウィンドウは中央データ点96を有する。テンプレート
は、両方向に、各軸に沿って1データ点のステップ間隔
で、1ステップサイズだけ離れたところにあるデータ点
の前まで移動させられる。テンプレートがこの領域にわ
たって移動させられるため、局所フル差探索中にテスト
されるウィンドウは中央データ点98を有することにな
るであろう。図16は、第1の軸のステップサイズが5
であり第2の軸のステップサイズが4である実現例につ
いて、所与の局所フル探索についてのすべての中央点9
8を黒い点で示す。図16は、高速探索からの近傍の中
央点を白抜きの点99で示す。
【0065】相関計算は、一致候補の近傍で各ウィンド
ウとテンプレート38との間で行なわれる。(3次元テ
ンプレートマッチング処理の始めの段階および第2の段
階において使用される)水平CAPSステップサイズが
5であり、(3次元テンプレートマッチング処理の始め
の段階および第2の段階において使用される)垂直CA
PSステップサイズが4である図16に示す近傍では、
テストされる付加的なウィンドウは62個ある。付加的
な62個のウィンドウのうちしきい値に一致するかまた
はしきい値を超える相関係数を有するものはいずれも、
テンプレートの一致部分である。代替的に、しきい値を
超える相関係数をもつウィンドウのうち最大の相関係数
を有する1または複数のウィンドウのみが一致部分とし
て選択される。たとえば、1以上のウィンドウが同一の
相関係数を有しその係数が最高値であるかもしれない。
他の例としては、各ウィンドウの相関係数がやはりしき
い値を上回る場合に、最大の方から「n」個の相関係数
に対応するウィンドウが選択され得る。
【0066】拡大/縮小分析を伴うテンプレートマッチ
ング 第3の次元が倍率である3次元テンプレートマッチング
においては、各スライスが異なった倍率を有する、探索
領域の異なったスライスが探索される。所与の実現例に
ついては、探索領域は固定された間隔で拡大/縮小され
得、拡大/縮小された探索領域のセットが得られる。ス
ライスの数は拡大/縮小の解像度に依存する。一実施例
では、拡大/縮小解像度はテンプレートから導出され
る。たとえば、もしテンプレートが64×64画素のイ
メージであれば、拡大/縮小解像度は1/64である。
拡大/縮小ステップサイズを使用して、これらの可能性
のあるスライスのサブセットのみが、最初の評価段階の
間考慮される。たとえば、拡大/縮小間隔ステップサイ
ズが(拡大/縮小解像度を単位として)3である270
個の可能性のあるスライスのうち、初期評価段階におい
ては90個のスライスのサブセットが考慮される。初期
評価は、分析の第2の段階および局所フル探索段階とと
もに、回転分析について上に説明したものと同様であ
る。
【0067】初期評価においてスライスのサブセットが
識別され、サブセットの各スライスにおいて2次元分析
が行なわれる。第1の軸のステップサイズおよび第2の
軸のステップサイズを使用して、テンプレート38とサ
ブセットの所与のスライスのさまざまなウィンドウとの
間で相関計算が行なわれる。これはサブセットの各スラ
イスについて行なわれる。各相関計算について相関係数
が計算される。もし相関係数が選択された値と一致する
かまたは選択された値を上回れば、対応するウィンドウ
は一致候補である。好ましくは、選択される値は最終的
にテンプレートの一致部分を決定するために使用される
しきい値よりも小さい。一実施例では、選択される値は
しきい値の2分の1に等しいが、他の値も使用し得る。
選択値が低いほど見出される一致候補が多くなる。サブ
セット内のスライス当り0または1以上の一致候補が存
在し得る。一致候補の位置は、候補位置と呼ばれる。そ
こから一致候補が識別されるスライスはその一致候補の
ホームスライスと呼ばれる。
【0068】図14を参照し、可能性のあるスライスの
セット全体のいくつかのスライス85が図示される。た
とえば、拡大/縮小ステップサイズが3であると、スラ
イスのサブセット中のスライスが初期評価段階のために
3番目ごとに使用される。スライス「i」およびスライ
ス「i+3」はこのようなサブセットの部分である。ス
ライスiのウィンドウ86およびスライスi+3のウィ
ンドウ88について一致候補が見出された例について考
える。
【0069】次の段階において、第1の段階において識
別された候補位置(たとえばウィンドウ86および8
8)が、スライスのセット全体のうちの探索領域の近傍
スライス上に写影される。この第2の段階において処理
されるいずれの所与の候補位置についても、選択される
近傍スライスは、拡大/縮小ステップサイズよりも小さ
な探索領域の拡大/縮小変形を含む。拡大/縮小ステッ
プサイズが3である図14を参照し、候補位置86およ
び88が、ウィンドウとして各方向において1つまたは
2つ以上の近傍スライスに写影される。写影は、拡大/
縮小ステップサイズ(たとえば3)まで伸ばされると、
サブセット中のスライスの1つに候補位置を写影してし
まうので、拡大/縮小ステップサイズまでは伸ばされな
い。このようなスライスは既に一致候補についてテスト
されている。図示しているのは最も近い近傍への写影で
ある。したがって、スライスiからの候補位置86は、
ウィンドウ90および92としてのスライスi−1およ
びスライスi+1に写影される。スライスi+3からの
候補位置88は、ウィンドウ94および96としてのス
ライスi+2およびスライスi+4に写影される。他実
施例では、スライスiからの候補位置86はスライスi
−2、i−1、i+1およびi+2に写影され、一方、
スライスi+3からの候補位置88はスライスi+1、
i+2、i+4およびi+5に写影される。
【0070】相関計算は、テンプレート38と写影との
間で行なわれる。もし得られた相関係数のいずれかが選
択された値と一致するかまたは選択された値を超えれ
ば、写影は候補位置である。写影があるスライスをその
ホームスライスと呼ぶ。処理中のこの時点で、1つまた
は2つ以上の候補位置がある(もしテンプレートが一致
部分を有していなければ候補は0である)。
【0071】次に処理の第3段階が行なわれる。第1
に、しきい値に一致するかまたはしきい値を超える相関
係数を有する候補位置はすべて、一致の可能性のある部
分である。いくつかの実施例では、これらは一致部分と
考えられる。さらに、各候補位置のそれぞれのホームス
ライスに対して各候補位置の近傍で、2次元分析が行な
われ、他の一致の可能性のある部分が識別される。所与
の候補位置についての2次元分析は、元のテンプレート
38と候補位置の近傍の候補位置のホームスライスのウ
ィンドウとの相関計算である。このようなウィンドウ
は、第1および第2の軸に沿って減じられたCAPSス
テップサイズを使用して選択される。一実施例では、ス
テップサイズ1が使用される。この段階中、得られた相
関係数はしきい値と比較される。テストされた所与のホ
ームスライスのうち相関係数がしきい値に一致するかま
たはしきい値を超えるウィンドウはいずれも、一致の可
能性のある部分である。いくつかの実施例では、これら
は一致部分と考えられる。他実施例では、しきい値に一
致するかまたはしきい値を超える最も高い相関値を有す
る1または複数のウィンドウが一致部分である。
【0072】図15およびスライスi+1の候補位置9
2に関連して、3段階式2次元分析を説明する。同じ処
理が、(スライス85のサブセット中のスライスの間
の)中間スライスへの写影である各候補位置に適用され
る。所与の候補位置について、(それぞれの軸につい
て)ステップサイズにより境界づけられる2次元領域内
のウィンドウが局所フル探索でテストされる。軸44お
よび46のいずれかに沿ってちょうどステップサイズだ
け離れたところにあるウィンドウは既にテストされてい
ることに留意されたい。局所フル探索を行なうため、局
所一致部分と、軸44および46のいずれかに沿って±
1ステップサイズだけ離れたところにあるウィンドウと
の間の領域内の中間ウィンドウのすべてがテストされ
る。たとえば、第1の軸ステップサイズがxであり第2
の軸ステップサイズがyであるならば、第1の軸に沿っ
て、局所的に一致したウィンドウから+/−0、1、
2、…、x−1データ点だけ離れた中央点を有するウィ
ンドウ、および、第2の軸に沿って局所的に一致したウ
ィンドウから+/−0、1、2、…、y−1データ点だ
け離れたところにある中央点を有するウィンドウが、フ
ル探索中にテストされる。しかし、局所一致部分は再び
相関計算する必要はない。
【0073】図16を参照し、局所一致部分に対応する
ウィンドウは中央データ点96を有する。テンプレート
は、両方向に、各軸に沿って1データ点のステップ間隔
で、1ステップサイズだけ離れたところにあるデータ点
の直前まで移動させられる。テンプレートがこの領域に
わたって移動させられるため、局所フル差探索中にテス
トされるウィンドウは中央データ点98を有することに
なるであろう。図16は、第1の軸のステップサイズが
5であり第2の軸のステップサイズが4である実現例に
ついて、所与の局所フル探索についてのすべての中央点
98を黒い点で示す。図16は、高速探索からの近傍の
中央点を白抜きの点99で示す。
【0074】相関計算は、一致候補の近傍で各ウィンド
ウとテンプレート38との間で行なわれる。(3次元テ
ンプレートマッチング処理の始めの段階および第2の段
階において使用される)水平CAPSステップサイズが
5であり、(3次元テンプレートマッチング処理の始め
の段階および第2の段階において使用される)垂直CA
PSステップサイズが4である図16に示す近傍では、
テストされる付加的なウィンドウは62個ある。付加的
な62個のウィンドウのうちしきい値に一致するかまた
はしきい値を超える相関係数を有するものはいずれも、
テンプレートの一致部分である。代替的に、しきい値を
超える相関係数をもつウィンドウのうち最大の相関係数
を有する1または複数のウィンドウのみが一致部分とし
て選択される。たとえば、1つまたは2つ以上のウィン
ドウが同一の相関係数を有しその係数が最高値であるか
もしれない。他の例としては、各ウィンドウの相関係数
がやはりしきい値を上回る場合に、最大の方から「n」
個の相関係数に対応するウィンドウが選択され得る。
【0075】解像度サブサンプリング分析を伴うテンプ
レートマッチング 第3の次元がサブサンプリング解像度係数である3次元
テンプレートマッチングについては、導出されたサブサ
ンプリング係数(「サブサンプリング係数(解像度)ス
テップサイズの決定」の項を参照)を使用して探索領域
をサブサンプリングすることで探索領域のスライスが得
られる。さらに、サブサンプリング係数を使用してテン
プレートがサブサンプリングされる。このスライスおよ
びサブサンプリングされたテンプレートは、信頼性の高
いサブサンプリングレベルに対応する。
【0076】第1の段階において、信頼性の高いサブサ
ンプリングレベルにおいてテンプレートと探索領域のス
ライスとのフル探索が行なわれる。特に、サブサンプリ
ングされた探索領域のすべての可能性のあるウィンドウ
とサブサンプリングされたテンプレートとの間で相関計
算が行なわれる。各相関計算について相関係数が計算さ
れる。もし相関係数が選択された値と一致するかまたは
選択された値を上回るのであれば、対応するウィンドウ
は候補位置である。好ましくは、選択される値はテンプ
レートの一致部分を最終的に決定するために使用される
しきい値よりも小さい。一実施例においては、選択され
る値はしきい値の2分の1に等しいが、他の値も使用し
得る。しきい値が小さいほど、見出される候補位置は多
くなる。
【0077】分析の次の段階において、第1の段階にお
いて識別された候補位置が元の探索領域(すなわちサブ
サンプリングされていない始めのイメージ)に写影さ
れ、テストされるべき元の探索領域の領域を規定する。
たとえば、もし信頼性のあるサブサンプリングレベルで
のサブサンプリング係数が8(すなわちn=8)であれ
ば、このような信頼性のあるサブサンプリングレベル内
の各データ点について、元の探索領域内にn2個のデー
タ点がある。したがって、この例では、各候補位置に対
応する元の探索領域内に64個のウィンドウがある。
【0078】各候補位置について、(元の探索領域内
の)写影された候補位置の各々の近傍で2次元分析が行
なわれ、可能性のあるテンプレート一致部分が識別され
る。近傍は、n2(たとえば64)個の可能性のあるウ
ィンドウに対応する。2次元分析の1ステップにおい
て、第1の軸のステップサイズと第2の軸のステップサ
イズとが、写影された候補位置に対応するn2個のウィ
ンドウ内のウィンドウのサブセットを選択するため使用
される。このようなn2個のウィンドウのうち、相関係
数が選択された値に一致するかまたは選択された値を上
回るものはいずれも最終候補である。
【0079】各最終候補について、各最終的一致候補の
近傍で2次元局所フル探索が行なわれる。このステップ
での近傍は、最終候補と、いずれかの軸に沿って±1ス
テップサイズ離れたところにあるウィンドウとの間の領
域内の中間ウィンドウすべてに対応する。たとえば、第
1の軸のステップサイズがxであり第2の軸のステップ
サイズがyであるとすると、第1の軸に沿って局所的に
一致したウィンドウから+/−0、1、2、…、x−1
データ点だけ離れたところに中央点を有するウィンドウ
と、第2の軸に沿って局所的に一致したウィンドウから
+/−0、1、2、…、y−1データ点だけ離れたとこ
ろに中央点を有するウィンドウとがフル探索の間にテス
トされる。xおよびyは各々nより小さくなければいけ
ないことに留意されたい。もし、しきい値を超える最大
相関係数を有するウィンドウがあれば、それが一致部分
である。さまざまな実施例中、各一致候補についてゼロ
または1以上の一致部分が見出されるであろう。いくつ
かの実施例では、(元のテンプレートに対して)最大の
相関係数を有する1または複数のウィンドウのみがテン
プレート一致部分として選択される。他の実施例では、
しきい値を上回る相関係数を有するすべてのウィンドウ
がテンプレート一致部分である。
【0080】2D−CAPS探索 一旦、所望の2D−CAPSステップサイズが導出され
ると、高速探索処理の間にステップサイズの増分ごと
に、テンプレート38が探索領域40のさまざまなウィ
ンドウ42と比較される。一実施例では、比較はテンプ
レート38とウィンドウ42との相関関数であり、その
結果相関係数が得られる。テンプレート38との相関係
数が特定の値を上回ることがわかったウィンドウ42は
いずれも、テンプレートに対する局所一致部分である。
好ましい実施例では、特定の値は、切断値×しきい値で
ある。
【0081】次に、局所一致部分であるすべての位置の
近傍でフル探索が行なわれる。このような近傍のフル探
索は、水平軸および垂直軸の各々における前のステップ
および次のステップのウィンドウと局所一致位置のウィ
ンドウとの間のすべての可能性のある探索領域ウィンド
ウとテンプレートとの間での相関計算を行なうことを含
む。たとえば、もし水平ステップサイズが3画素であり
垂直ステップサイズが4画素であれば、水平軸に沿って
ウィンドウ±1画素および±2画素で、かつ、垂直軸に
沿って±1画素、±2画素および±3画素で相関計算が
行なわれる。さらに領域内のステップサイズによって規
定される量だけ軸からずれたウィンドウについて、相関
計算が行なわれる。したがって、この例についての局所
一致の近傍のフル探索は、テンプレートと探索領域との
間の(2*2+1)*(2*3+1)−1=34個の相
関を含む。局所一致位置およびしきい値を上回る近傍の
フル探索の間にテストされる位置のいずれの位置もテン
プレート一致部分と考えられる。いくつかの実施例で
は、最大の相関値を有する位置のみが一致部分と考えら
れる。他実施例では、複数の一致部分があり得る。した
がって、しきい値を超える最高の一致部分またはすべて
の一致部分が結果としての一致部分として選択される。
【0082】高速探索 高速探索においては、探索領域のすべての可能性のある
ウィンドウがテンプレートと比較されるわけではない。
図17を参照し、探索領域40は、イメージ画素点など
のデータ点74および75のアレイとして図示される。
テンプレートと比較されるべきウィンドウを探索領域4
0から選択するため2つのCAPSステップサイズが使
用される。探索領域40内の、後続のステップの間にテ
ンプレートの中心となるデータ点を白抜きの円で示し、
番号75を付す。中央点ではない他のデータ点はデータ
点74として示す。
【0083】図17、18および19を参照し、ステッ
プ76において、テンプレート38(図1を参照)が探
索領域40の開始ウィンドウ42に重ね合わされる。開
始ウィンドウは、探索領域中のいずれのウィンドウでも
あり得る。ステップ78において、テンプレート38と
開始ウィンドウ42および第1の軸44に沿ってのすべ
ての+/−x番目のウィンドウとの間で相関計算が行な
われる。ただしxは第1の軸のステップサイズである。
したがって、水平軸のステップサイズxについて、テン
プレートは水平軸44に沿って一度につきxデータ点だ
けずらされる。具体的には、テンプレート38の中央点
77は所与の反復後の所与の画素75と一致する。次
に、テンプレートは、水平軸44に沿って所与の画素7
5からx点だけ離れたところにある他のデータ点74を
中心とするよう移動させられる。テンプレート38は、
第1のステップサイズxを使用して軸44に沿って各方
向に移動させられる。各ステップにおいて相関計算が行
なわれる。
【0084】ステップ80において、データ点のy番目
の行ごとに位置づけ直されたテンプレートの中央点に関
して、第1の軸44に沿ってのシフトとウィンドウのテ
ストとが行なわれる。特に、一旦、探索領域の始めの行
がテストされてしまうと、テンプレート38は第2の軸
46に沿って、yデータ点だけ離れた他の行へ移動させ
られ、ここで、yは第2の軸のステップサイズである。
この次の行が、次に第1の軸のステップサイズを使用し
た第1の軸44に沿ってのシフトによりテストされる。
各反復ごとに相関計算が行なわれる。次に、第2の軸4
6に沿ってyデータ点だけ離れた他の行についてテスト
が行なわれる。この態様で、第2の軸46に沿って第2
のステップサイズだけテンプレートがシフトされ、第1
の軸44に沿って第1のステップサイズだけシフトさ
れ、高速探索の間にテストされるべきウィンドウが選択
される。たとえば、400画素×400画素で、第1の
軸のステップサイズが4であり第2の軸のステップサイ
ズが4である探索領域においては、高速探索中にテスト
されるウィンドウは100*100=10000個であ
る。
【0085】ステップ82では、テストされたウィンド
ウのうち、相関計算の結果相関係数が切断値×予め定め
られたしきい値の積よりも大きいかまたはこれと等しく
なったウィンドウ位置すべてが局所一致部分と考えられ
る。好ましい実施例では、各軸について切断値は同じで
ある。1つの軸において使用される切断値が他の軸にお
いて使用される切断値と異なる場合には、いずれの切断
値を使用することもできる。代替的に、切断値の平均値
を使用し得る。しきい値は、予め定められた値であり、
テンプレートに対する一致部分としてのウィンドウを示
すものとして許容される最小相関係数を示す。典型的な
値は0.8および0.9である。この特定の値は、探索
領域またはデータのタイプに基づいて変化し得る。この
特定の値は、データのタイプまたは探索領域の特性によ
って経験的に決定され得る。
【0086】局所フル探索 一旦高速探索が完了すると(または高速探索の間に)、
各局所一致部分について局所フル探索が行なわれる。図
20を参照し、局所一致部分である探索領域40の所与
のウィンドウ190に対して、(それぞれの軸が)ステ
ップサイズにより規定される2次元領域内のウィンドウ
192が局所フル探索によってテストされる。軸44お
よび46のいずれかに沿ってちょうどステップサイズだ
け離れたところにあるウィンドウは高速探索中に既にテ
ストされていることに留意されたい。局所フル探索を行
なうため、局所一致部分と、軸44および46のいずれ
かに沿って±1ステップサイズだけ離れたところにある
ウィンドウとの間の領域内の中間ウィンドウのすべてが
テストされる。たとえば、第1の軸ステップサイズがx
であり第2の軸ステップサイズがyであるならば、第1
の軸に沿って、局所的に一致したウィンドウから+/−
0、1、2、…、x−1データ点だけ離れた中央点を有
するウィンドウ、および、第2の軸に沿って局所的に一
致したウィンドウから+/−0、1、2、…、y−1デ
ータ点だけ離れたところにある中央点を有するウィンド
ウが、フル探索中にテストされる。しかし、局所一致部
分は再び相関計算する必要はない。
【0087】図21を参照し、局所一致部分に対応する
ウィンドウは中央データ点196を有する。テンプレー
トは、両方向に、各軸に沿って1データ点のステップ間
隔で、1ステップサイズだけ離れたところにあるデータ
点の直前まで移動させられる。テンプレートがこの領域
にわたって移動させられるため、局所フル差探索中にテ
ストされるウィンドウは中央データ点198を有するこ
とになるであろう。図21は、第1の軸のステップサイ
ズが4であり第2の軸のステップサイズが4である実現
例について、所与の局所フル探索についてのすべての中
央点198を黒い点で示す。図21は、高速探索からの
近傍の中央点を白抜きの点75で示す。
【0088】相関計算は、一致候補の近傍で各ウィンド
ウとテンプレート38との間で行なわれる。ステップが
4である図21に示す近傍では、テストされる付加的な
ウィンドウは48個ある。しきい値に一致するかまたは
しきい値を超える相関係数を有する付加的な48個のウ
ィンドウまたは局所一致部分のいずれも、テンプレート
の一致部分である。代替的に、しきい値を超える相関係
数をもつウィンドウのうち最大の相関係数を有するウィ
ンドウまたは複数のウィンドウのみが一致部分として選
択される。たとえば、1つまたは2つ以上のウィンドウ
が同一の相関係数を有しその係数が最高値であるかもし
れない。他の例としては、各ウィンドウの相関係数がや
はりしきい値を上回る場合に、最大の方から「n」個の
相関係数に対応するウィンドウが選択され得る。
【0089】相関関数の実現例 2つのデータセット「a」と「b」との間での相関計算
のための相関係数を以下に規定する。データセット
「a」はテンプレート38または、テンプレートの粗表
示したものもしくは推定したものである。好ましい実施
例ではデータセット「a」はテンプレート38である。
データセット「b」はCAPSステップサイズを見出す
処理のためのパディングされたテンプレート52のウィ
ンドウ(またはパディングされたテンプレートを回転さ
せたウィンドウ)である。データセット「b」は、候補
位置、可能性のあるテンプレート一致部分またはテンプ
レート一致部分を識別する処理のための、探索領域40
のウィンドウ(または探索領域の回転オフセットのウィ
ンドウ)である。データセット「a」および「b」は各
々、マトリックス、イメージまたは他のデータ点のセッ
トであり得る。相関係数corrは、
【0090】
【数1】
【0091】であり、これは、
【0092】
【数2】
【0093】と簡略化できる。ただし、ここでE(x)
=データセット(x)の期待値であり、sd(x)=デ
ータセット(x)の標準偏差であり、corrは−1.
0から+1.0の間である。
【0094】価値のある有利な効果 この発明の一利点は、従来の相関探索法よりもテンプレ
ート一致部分がより迅速かつより大きな信頼性を持って
見出されるという点である。特に、この探索法は、ロー
パスフィルタリングまたはガウス雑音により変えられた
テンプレートのコピーから探索領域を形成することで経
験的に立証されるように、テンプレートのオフセットお
よび雑音により強い。
【0095】この発明の好ましい実施例を例示し説明し
てきたが、さまざまな代替例、変更例および均等物が使
用され得る。たとえば、テンプレート38とウィンドウ
領域のサブセットとの間でそれぞれ相関計算を行なうも
のとして高速探索を説明したが、代わりにテンプレート
38の推定を使用し得、その後、係数が予め定められた
値を上回った相関値についての完全なテンプレートを使
用して付加的な相関計算を行なってもよい。
【0096】さらに、局所一致部分(たとえば1に等し
いステップサイズ)の近傍において可能性のあるウィン
ドウ各々について相関計算を行なうことを含むものとし
てフル局所探索を説明したが、第1のステップサイズお
よび第2のステップサイズよりも小さいが1よりも大き
いステップサイズを使用して中間レベル探索を行なって
もよい。中間レベル探索についてのステップサイズは、
テンプレートの特性に基づいて、高速探索と同様の態様
で決定され得る。たとえば、ステップサイズを識別する
処理の間2つの切断値が使用される。所与の軸について
の1つの切断値は、高速探索についてのステップサイズ
を決定するため使用される。同じ軸についての他の切断
値は、中間レベル探索についてのステップサイズを決定
するため使用される。高速探索についてのステップサイ
ズは、中間レベル探索のためのステップサイズよりも大
きなものであろう。
【0097】動作においては、中間レベル探索は、高速
探索から得られたすべての局所一致部分の近傍で行なわ
れ、この近傍は高速探索の第1のステップサイズおよび
第2のステップサイズにより規定される。予め定められ
た値を上回る第1のテンプレートに対する相関値を有す
る、中間レベル探索においてテストされたウィンドウは
いずれも、中間レベル探索局所一致部分である。予め定
められた値は、上に説明した切断値およびしきい値とは
独立にまたはこれらに関連して選択される。次に、中間
レベル探索局所一致部分の近傍でフル探索が行なわれ、
この近傍は、中間レベル探索において使用されたステッ
プサイズにより規定される。しきい値を超える第1のテ
ンプレートに対する相関値を有するフル探索相関および
局所一致部分のいずれか1つ、または2以上のものか、
テンプレート一致部分である。
【0098】ここで使用するときは、ウィンドウの近傍
とは、探索領域の軸から1ステップサイズだけ遠くまた
はそれより近い、探索領域軸と平行なラインによって規
定される領域を指す。
【0099】ここでは回転、拡大/縮小および解像度に
ついて第3の次元の分析を説明したが、この発明により
実現され得る付加的な第3の次元の分析は、(3つの直
交する軸をなすためのz軸など)他の空間次元、(連続
フレーム内の動きなどの)時間、または(ミリメートル
から赤外または紫外周波数帯域までなど、異なった周波
数帯域で取られた衛星ピクチャなど)周波数帯域を含
む。さらに、3を超える付加的な次元についてのテンプ
レートマッチングも行ない得る。
【0100】したがって、この記載は、この発明の範囲
を限定するものととられてはならず、この発明の範囲は
添付の請求の範囲によって規定される。
【図面の簡単な説明】
【図1】 この発明の方法の実施例を実現するためのホ
ストコンピュータシステムのブロック図である。
【図2】 テンプレートおよび探索領域の図である。
【図3】 2つの線形軸と1つの回転軸に沿っての3次
元探索のためのテンプレートおよび探索領域のブロック
図である。
【図4】 2つの線形軸と1つの拡大/縮小軸とに沿っ
た3次元探索のためのテンプレートおよび探索領域のブ
ロック図である。
【図5】 2つの線形軸と1つのサンプリング解像度軸
とに沿った3次元探索のためのテンプレートおよび探索
領域のブロック図である。
【図6】 3次元探索のためのテンプレートおよび探索
領域のブロック図である。
【図7】 この発明の実施例によるCAPSステップサ
イズを決定するための処理のフローチャートである。
【図8】 循環パディングされたテンプレートの図であ
る。
【図9】 線形パディングされたテンプレートの図であ
る。
【図10】 図8または図9のパディングされたテンプ
レートとテンプレートとの相関の断面に相当する部分の
グラフである。
【図11】 パディングされたテンプレート内の回転ス
テップの図である。
【図12】 テンプレートとパディングされたテンプレ
ートとの間の相関と指標化された倍率とのグラフであ
る。
【図13】 テンプレートとパディングされたテンプレ
ートとの間の相関とサブサンプリング係数とのグラフで
ある。
【図14】 図6の探索領域の複数のスライスの図であ
る。
【図15】 図14の所与のスライスについての候補ウ
ィンドウの近傍内での移動を示す図である。
【図16】 図15のスライス内での局所フル探索の間
にテンプレートが重ねられるウィンドウの中央点の図で
ある。
【図17】 データ点の探索領域とテンプレートに対し
てテストされるべきウィンドウ領域との図である。
【図18】 テンプレートと探索領域のウィンドウ領域
のサブセットとの間の局所一致部分を識別するための探
索領域の高速探索を行なうための処理のフローチャート
である。
【図19】 高速探索処理の間にテストされるべき探索
領域のウィンドウを選択するためのステップサイズを示
す図である。
【図20】 局所テンプレート一致部分として識別され
たウィンドウを示す、図17の探索領域の図である。
【図21】 (高速探索中にテストされる近傍のウィン
ドウの中央点とともに示される)よりよく一致した部分
を求めてテストされるべき局所テンプレート一致部分の
近傍内のウィンドウについての中央データ点の図であ
る。
【符号の説明】
38 テンプレート、40 探索領域、42 ウィンド
ウ、44 第1の軸、46 第2の軸、47 回転軸、
48 拡大/縮小軸、49 第3の軸。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ヒュン・ウック・パーク アメリカ合衆国、98133 ワシントン州、 ショアライン、バグレイ・レーン・ノー ス、19621、エス−206 (72)発明者 ヨンミン・キム アメリカ合衆国、98155 ワシントン州、 シアトル、エヌ・イー・ワンハンドレッド アンドエイティナインス・プレイス、4431 (54)【発明の名称】 テンプレ―トとデ―タの探索領域との一致部分を位置特定するための方法、ステップサイズを決 定するための方法およびデバイス、ならびにデ―タの探索領域内のデ―タの第1のテンプレ―ト の位置を推定するための装置

Claims (45)

    【特許請求の範囲】
  1. 【請求項1】 データの第1のテンプレートとデータの
    探索領域との一致部分を位置特定するための方法であっ
    て、第1のテンプレートは第1の複数のデータ点を含
    み、探索領域は、第1の複数のデータ点の数を上回る数
    の第2の複数のデータ点を含み、前記方法は、 ステップサイズを使用して、探索領域内のウィンドウ領
    域のサブセットを選択するステップを含み、ステップサ
    イズは、第1のテンプレートを第1のテンプレートから
    生成された、生成されたテンプレートと比較することで
    決定され、前記方法はさらに、 データの第1のテンプレートと、データの探索領域との
    間の一致部分を位置特定するために、選択されたウィン
    ドウ領域のサブセットを評価するステップを含む、テン
    プレートとデータの探索領域との一致部分を位置特定す
    るための方法。
  2. 【請求項2】 第1のテンプレートを付加的なデータで
    パディングして、第1のテンプレートをパディングされ
    たテンプレートに拡大するステップをさらに含み、パデ
    ィングされたテンプレート内の第1のウィンドウ領域が
    第1のテンプレートにより形成され第1の複数のデータ
    点を含み、ウィンドウ領域のサブセットを選択する前記
    ステップは、 第1のウィンドウ領域に関し第1の軸に沿って、パディ
    ングされたテンプレート内のウィンドウ領域と第1のテ
    ンプレートとの相関計算をし、第1のステップサイズを
    導出するステップと、 第1のウィンドウ領域に関し第2の軸に沿って、パディ
    ングされたテンプレート内のウィンドウ領域と第1のテ
    ンプレートとの相関計算をし、第2のステップサイズを
    導出するステップとを含む、請求項1に記載のテンプレ
    ートとデータの探索領域との一致部分を位置特定するた
    めの方法。
  3. 【請求項3】 ウィンドウ領域のサブセットを選択する
    前記ステップはさらに、探索領域内のウィンドウ領域の
    サブセットを選択し第1のテンプレートと相関計算する
    ステップを含み、ウィンドウ領域のサブセットは、第1
    のステップサイズおよび第2のステップサイズのいずれ
    か一方または両方を使用して選択され、前記ステップは
    さらに、 ウィンドウ領域の選択されたサブセット中の各ウィンド
    ウ領域と第1のテンプレートとの相関計算をするステッ
    プを含む、請求項2に記載のテンプレートとデータの探
    索領域との一致部分を位置特定するための方法。
  4. 【請求項4】 相関計算されたウィンドウ領域であっ
    て、第1のテンプレートとの相関計算の結果予め定めら
    れた値を上回る相関係数が得られる相関計算された各ウ
    ィンドウ領域を、テンプレート一致の可能性のある部分
    として識別するステップをさらに含む、請求項2に記載
    のテンプレートとデータの探索領域との一致部分を位置
    特定するための方法。
  5. 【請求項5】 ウィンドウ領域のサブセットはウィンド
    ウ領域の第1のサブセットであり、さらに、 所与のテンプレート一致の可能性のある部分の近傍の探
    索領域内のウィンドウ領域の第2のサブセットを選択す
    るステップと、 選択されたウィンドウ領域の第2のサブセット中の各ウ
    ィンドウ領域と第1のテンプレートとの相関計算をする
    ステップとを含む、請求項4に記載のテンプレートとデ
    ータの探索領域との一致部分を位置特定するための方
    法。
  6. 【請求項6】 第2のサブセットと、局所テンプレート
    一致部分とのうちの、相関計算がされたウィンドウ領域
    のうち、第1のテンプレートとの相関計算によりしきい
    値を超える相関係数が得られたものの1または2以上を
    テンプレート一致部分として識別するステップをさらに
    含む、請求項5に記載のテンプレートとデータの探索領
    域との一致部分を位置特定するための方法。
  7. 【請求項7】 第2のサブセットと、局所テンプレート
    一致部分とのうちの、相関計算がされたウィンドウ領域
    のうち、第1のテンプレートとの相関計算によりしきい
    値を超え、かつ最高の相関係数が得られたもののみがテ
    ンプレート一致部分である、請求項6に記載のテンプレ
    ートとデータの探索領域との一致部分を位置特定するた
    めの方法。
  8. 【請求項8】 所与のテンプレート一致の可能性のある
    部分の近傍は、第1の軸と平行に第1のステップサイズ
    未満だけ離れ、第2の軸と平行に第2のステップサイズ
    未満だけ離れた、探索領域のすべての可能性のあるウィ
    ンドウに対応する、請求項5に記載のテンプレートとデ
    ータの探索領域との一致部分を位置特定するための方
    法。
  9. 【請求項9】 前記第1のステップサイズを導出するス
    テップは、 第1のウィンドウ領域に関して第1の軸に沿って、パデ
    ィングされたテンプレート内のウィンドウ領域と第1の
    テンプレートとの相関計算をし、前記各ウィンドウ領域
    に対して相関係数を得るステップと、 第1のウィンドウ領域と、第1の軸に沿って第1の方向
    に向かったところの切断値基準と一致する相関係数を有
    するウィンドウ領域との間の第1の軸に沿っての第1の
    距離を決定するステップと、 第1のウィンドウ領域と、第1の軸に沿って第1の方向
    と反対の第2の方向に向かったところの切断値基準に一
    致する相関係数を有するウィンドウ領域との間の第1の
    軸に沿っての第2の距離を決定するステップと、 第1の距離および第2の距離から第1のステップサイズ
    を導出するステップとを含む、請求項2に記載のテンプ
    レートとデータの探索領域との一致部分を位置特定する
    ための方法。
  10. 【請求項10】 テンプレートをパディングされたテン
    プレートに拡大する前記ステップは、第1のテンプレー
    トを反復して、第1のテンプレートの複数のコピーから
    パディングされたテンプレートを形成するステップを含
    む、請求項2に記載のテンプレートとデータの探索領域
    との一致部分を位置特定するための方法。
  11. 【請求項11】 テンプレートをパディングされたテン
    プレートに拡大する前記ステップは、 第1の複数のデータ点からパディング値を導出するステ
    ップと、 パディングされたテンプレートを形成するため第1のテ
    ンプレートに付け加えられる各データ点に対する値とし
    てパディング値を使用するステップとを含む、請求項2
    に記載のテンプレートとデータの探索領域との一致部分
    を位置特定するための方法。
  12. 【請求項12】 パディング値を導出する前記ステップ
    は、第1の複数のデータ点の平均値を決定するステップ
    を含み、パディング値は決定された平均値である、請求
    項11に記載のテンプレートとデータの探索領域との一
    致部分を位置特定するための方法。
  13. 【請求項13】 第1のウィンドウ領域に関して第3の
    軸に沿って、パディングされたテンプレート内のウィン
    ドウ領域と、第1のテンプレートとの相関計算をし、第
    3のステップサイズを導出するステップをさらに含み、
    ウィンドウ領域のサブセットを選択する前記ステップ
    は、第1のステップサイズ、第2のステップサイズおよ
    び第3のステップサイズを使用して、テンプレート一致
    部分についての評価を行なうため探索領域のウィンドウ
    を選択するステップを含む、請求項2に記載のテンプレ
    ートとデータの探索領域との一致部分を位置特定するた
    めの方法。
  14. 【請求項14】 第1の軸および第2の軸は線形軸であ
    り、第3の軸は回転軸である、請求項13に記載のテン
    プレートとデータの探索領域との一致部分を位置特定す
    るための方法。
  15. 【請求項15】 第1の軸および第2の軸は線形軸であ
    り、第3の軸は時間に対応する、請求項13に記載のテ
    ンプレートとデータの探索領域との一致部分を位置特定
    するための方法。
  16. 【請求項16】 第1の軸および第2の軸は線形軸であ
    り、第3の軸は周波数に対応する、請求項13に記載の
    テンプレートとデータの探索領域との一致部分を位置特
    定するための方法。
  17. 【請求項17】 第1の軸、第2の軸および第3の軸
    は、直交する空間軸である、請求項13に記載のテンプ
    レートとデータの探索領域との一致部分を位置特定する
    ための方法。
  18. 【請求項18】 第1のテンプレートおよびパディング
    されたテンプレートを複数のサブサンプリング係数につ
    いてサブサンプリングするステップと、 各サブサンプリング係数について、サブサンプリングさ
    れた第1のテンプレートと、サブサンプリングされたパ
    ディングされたテンプレート内のウィンドウ領域との相
    関計算をし、サブサンプリング係数に対応する相関係数
    を得るステップと、 サブサンプリング係数に対応するそれぞれの相関係数の
    各々に基づいて第3のステップサイズを導出するステッ
    プとをさらに含む、請求項2に記載のテンプレートとデ
    ータの探索領域との一致部分を位置特定するための方
    法。
  19. 【請求項19】 複数の各倍率について、第1のテンプ
    レートおよびパディングされたテンプレートの一方を第
    1のテンプレートおよびパディングされたテンプレート
    の他方に対して拡大/縮小するステップと、 第1のウィンドウにおいて、各倍率について、第1のテ
    ンプレートおよびパディングされたテンプレートの拡大
    /縮小された一方と、第1のテンプレートおよびパディ
    ングされたテンプレートの他方との相関計算をし、倍率
    に対応する相関係数を得るステップと、 倍率に対応するそれぞれの相関係数の各々に基づいて第
    3のステップサイズを導出するステップとをさらに含
    む、請求項2に記載のテンプレートとデータの探索領域
    との一致部分を位置特定するための方法。
  20. 【請求項20】 第1のテンプレートおよびパディング
    されたテンプレートから第3のステップサイズを導出す
    るステップをさらに含み、探索領域は2次元探索領域で
    あり、第1のステップサイズ、第2のステップサイズお
    よび第3のステップサイズを使用して、テンプレート一
    致部分についての評価を行なうため探索領域のウィンド
    ウを選択する前記ステップは、 2次元探索領域から探索領域スライスを導出し3次元探
    索領域を得るステップを含み、2次元探索領域は3次元
    探索領域の1スライスである、請求項2に記載のテンプ
    レートとデータの探索領域との一致部分を位置特定する
    ための方法。
  21. 【請求項21】 第1のステップサイズ、第2のステッ
    プサイズおよび第3のステップサイズを使用してテンプ
    レート一致部分についての評価を行なうため探索領域の
    ウィンドウを選択するステップはさらに、 第3のステップサイズを使用して3次元探索領域を形成
    するすべてのスライスからスライスのサブセットを選択
    するステップと、 スライスのサブセット中の各スライスについて、第1の
    テンプレートとの一致部分を位置特定するため、評価す
    るため、前記各スライス内のウィンドウ領域のサブセッ
    トを選択するステップとをさらに含み、第1のステップ
    サイズおよび第2のステップサイズはウィンドウ領域の
    サブセットを選択するため使用され、さらに、 ウィンドウの選択されたサブセットの各ウィンドウと第
    1のテンプレートとの相関計算をするステップをさらに
    含む、請求項20に記載のテンプレートとデータの探索
    領域との一致部分を位置特定するための方法。
  22. 【請求項22】 第1のテンプレートとの相関計算の結
    果、予め定められた値を上回る相関係数となった、相関
    計算された各ウィンドウ領域を、テンプレート一致の可
    能性のある部分として識別するステップをさらに含む、
    請求項21に記載のテンプレートとデータの探索領域と
    の一致部分を位置特定するための方法。
  23. 【請求項23】 テンプレート一致の可能性のある部分
    の所与の1つのいずれにも、ホームスライスが存在し、
    ホームスライス中にテンプレート一致の可能性のある部
    分のこのような所与の1つが位置し、 各テンプレート一致の可能性のある部分の1つに対し
    て、前記1つのテンプレート一致の可能性のある部分の
    ホームスライスから第3のステップサイズよりも少しだ
    け離れた、3次元探索領域内の近傍スライスに前記1つ
    の一致の可能性のある部分を写影し、近傍スライス中の
    ウィンドウのテストサブセットを得るステップと、 各テンプレート一致の可能性のある部分について、前記
    1つのテンプレート一致の可能性のある部分についてウ
    ィンドウのテストサブセット中の各ウィンドウと第1の
    テンプレートとの相関計算をするステップと、 第1のテンプレートへの相関計算の結果予め定められた
    値を上回る相関係数となった、ウィンドウのテストサブ
    セット中の各相関計算されたウィンドウを、他のテンプ
    レート一致の可能性のある部分として識別するステップ
    とをさらに含み、前記他のテンプレート一致の可能性の
    ある部分を含む前記近傍スライスのスライスは、前記他
    のテンプレート一致の可能性のある部分に対するホーム
    スライスである、請求項22に記載のテンプレートとデ
    ータの探索領域との一致部分を位置特定するための方
    法。
  24. 【請求項24】 ウィンドウのサブセットはウィンドウ
    の第1のサブセットであり、各テンプレート一致の可能
    性のある部分および各前記他のテンプレート一致部分
    は、一致候補であり、 各一致候補について、一致候補の近傍のウィンドウの第
    2のサブセットを選択するステップと、 選択されたウィンドウ領域の第2のサブセット中の各ウ
    ィンドウ領域と第1のテンプレートとの相関計算をする
    ステップとをさらに含む、請求項23に記載のテンプレ
    ートとデータの探索領域との一致部分を位置特定するた
    めの方法。
  25. 【請求項25】 第1のテンプレートとの相関計算の結
    果、しきい値を上回る相関係数となる、第2のサブセッ
    ト中の1つまたは2つ以上の相関計算されたウィンドウ
    領域をテンプレート一致部分として識別するステップを
    さらに含む、請求項24に記載のテンプレートとデータ
    の探索領域との一致部分を位置特定するための方法。
  26. 【請求項26】 テンプレート一致部分は、第1のテン
    プレートとの相関計算の結果、しきい値を上回る最高相
    関係数となる、ウィンドウの第2のサブセット中のウィ
    ンドウとして選択される、請求項25に記載のテンプレ
    ートとデータの探索領域との一致部分を位置特定するた
    めの方法。
  27. 【請求項27】 前記1つの一致候補の近傍は、第1の
    軸と平行に前記1つの一致候補から第1のステップサイ
    ズ未満だけ離れ、第2の軸と平行に前記1つの一致候補
    から第2のステップサイズ未満だけ離れた、前記1つの
    一致候補のホームスライス上のすべての可能性のあるウ
    ィンドウに対応する、請求項24に記載のテンプレート
    とデータの探索領域との一致部分を位置特定するための
    方法。
  28. 【請求項28】 探索領域は2次元探索領域であり、 第1のテンプレートおよびパディングされたテンプレー
    トから第3のステップサイズを導出するステップと、 2次元探索領域をサブサンプリングするためのサブサン
    プリング係数として第3のステップサイズを使用して、
    サブサンプリングされた探索領域を導出するステップ
    と、 第1のテンプレートをサブサンプリングするためのサブ
    サンプリング係数として第3のステップサイズを使用し
    て、サブサンプリングされたテンプレートを導出するス
    テップとをさらに含み、 サブサンプリングされた探索領域のウィンドウは、サブ
    サンプリングされたテンプレートをサブサンプリングさ
    れた探索領域上に重ね合わせることで決定される領域内
    のサブサンプリングされた探索領域のデータ点を含み、
    サブサンプリングされた探索領域のすべての可能性のあ
    るウィンドウのセットは、サブサンプリングされたテン
    プレートが重なり得るすべての可能性のある領域を含
    み、 サブサンプリングされた探索領域のすべての可能性のあ
    るウィンドウのセット中各ウィンドウについて、前記1
    つのウィンドウと第1のテンプレートとの相関計算を
    し、相関係数を導出するステップと、 相関係数が予め定められた値を上回るすべての可能性の
    あるウィンドウのセットの各ウィンドウを、候補位置と
    して識別するステップとをさらに含む、請求項2に記載
    のテンプレートとデータの探索領域との一致部分を位置
    特定するための方法。
  29. 【請求項29】 サブサンプリングされた探索領域は複
    数のデータ点を含み、複数のデータ点の各データ点は2
    次元探索領域のn2データ点に対応し、nは第3のステ
    ップサイズに等しく、さらに、 サブサンプリングされた探索領域内の各候補位置につい
    て、サブサンプリングされた探索領域内の前記1つの候
    補位置に対応する2次元探索領域内のウィンドウの第1
    のサブセットを選択し、ウィンドウの少なくとも1つの
    第1のサブセットを得るステップと、 ウィンドウの前記少なくとも1つの第1のサブセットの
    各々について、第1のステップサイズおよび第2のステ
    ップサイズを使用してウィンドウの第2のサブセットを
    選択するステップと、 第1のテンプレートとの相関計算で予め定められた値を
    上回る相関係数となる、ウィンドウの第2のサブセット
    中の各ウィンドウを、一致候補として識別するステップ
    とを含む、請求項28に記載のテンプレートとデータの
    探索領域との一致部分を位置特定するための方法。
  30. 【請求項30】 各一致候補について、一致候補の近傍
    のウィンドウの第3のサブセットを選択するステップ
    と、 選択されたウィンドウ領域の第3のサブセット中の各ウ
    ィンドウ領域と第1のテンプレートとの相関計算をする
    ステップとをさらに含む、請求項29に記載のテンプレ
    ートとデータの探索領域との一致部分を位置特定するた
    めの方法。
  31. 【請求項31】 第1のテンプレートへの相関計算の結
    果しきい値を上回る相関係数となる第3のサブセット中
    の1つまたは2つ以上の相関計算されたウィンドウ領域
    を、テンプレート一致部分として識別するステップをさ
    らに含む、請求項30に記載のテンプレートとデータの
    探索領域との一致部分を位置特定するための方法。
  32. 【請求項32】 データの対象テンプレートと、データ
    の探索領域との間の一致部分を位置特定するため、それ
    によって探索領域内のウィンドウ領域のサブセットが選
    択される、ステップサイズを決定するための方法であっ
    て、対象テンプレートは、第1の複数のデータ点を含
    み、探索領域は、第1の複数のデータ点の数を上回る第
    2の複数のデータ点を含み、前記方法は、 対象テンプレートから生成されたテンプレートを生成す
    るステップと、 生成されたテンプレート内のウィンドウ領域と、対象テ
    ンプレートとの相関計算をし、ステップサイズを導出す
    るステップとを含む、ステップサイズを決定するための
    方法。
  33. 【請求項33】 データの対象テンプレートと、データ
    の探索領域との間の一致部分を位置特定するため、それ
    によって探索領域内のウィンドウ領域のサブセットが選
    択される、ステップサイズを決定するためのデバイスで
    あって、対象テンプレートは、第1の複数のデータ点を
    含み、探索領域は、第1の複数のデータ点の数を上回る
    第2の複数のデータ点を含み、前記デバイスは、 対象テンプレートから生成されたテンプレートを生成す
    る生成器と、 生成されたテンプレート内のウィンドウ領域と、対象テ
    ンプレートとの相関計算をし、ステップサイズを導出す
    る相関器とを含む、ステップサイズを決定するためのデ
    バイス。
  34. 【請求項34】 データの探索領域内のデータの第1の
    テンプレートの位置を推定するための装置であって、第
    1のテンプレートは、第1の複数のデータ点を含み、探
    索領域は、第1の複数のデータ点の数を上回る第2の複
    数のデータ点を含み、前記装置は、 ステップサイズを使用して探索領域内のウィンドウ領域
    のサブセットを選択する選択器を含み、ステップサイズ
    は、第1のテンプレートから生成された、生成されたテ
    ンプレートと、第1のテンプレートとを比較することに
    よって決定され、前記装置はさらに、 データの第1のテンプレートとデータの探索領域との間
    の一致部分を位置特定するため、選択されたウィンドウ
    領域のサブセットを評価する評価器を含む、データの探
    索領域内のデータの第1のテンプレートの位置を推定す
    るための装置。
  35. 【請求項35】 データの探索領域内のデータの第1の
    テンプレートの位置を推定するための装置であって、第
    1のテンプレートは第1の複数のデータ点を含み、探索
    領域は第1の複数のデータ点の数を上回る数の第2の複
    数のデータ点を含み、前記装置は、 第1のテンプレートを付加的なデータでパディングして
    テンプレートをパディングされたテンプレートへ拡大す
    るプロセッサを含み、パディングされたテンプレート内
    の第1のウィンドウ領域は、第1のテンプレートにより
    形成され第1の複数のデータ点を含み、前記装置はさら
    に、 第1のウィンドウ領域に関し第1の軸に沿って、パディ
    ングされたテンプレート内のウィンドウ領域と第1のテ
    ンプレートとの相関計算をし、第1のステップサイズを
    導出し、第1のウィンドウ領域に関し第2の軸に沿っ
    て、パディングされたテンプレート内のウィンドウ領域
    と第1のテンプレートとの相関計算をし、第2のステッ
    プサイズを導出する、相関器を含み、 第1のステップサイズおよび第2のステップサイズは、
    探索領域内の第1のテンプレートの位置を推定するため
    評価するため、ウィンドウ領域を選択するため使用され
    る、データの探索領域内のデータの第1のテンプレート
    の位置を推定するための装置。
  36. 【請求項36】 プロセッサは、可能性のあるウィンド
    ウ領域のサブセット内の各ウィンドウ領域について、探
    索領域内の可能性のあるウィンドウ領域のサブセットの
    1つのウィンドウ領域と第1のテンプレートとそれぞれ
    相関計算し、可能性のあるウィンドウ領域のサブセット
    は、第1のステップサイズおよび第2のステップサイズ
    のいずれか一方または両方を使用して探索領域内のすべ
    ての可能性のあるウィンドウ領域から選択され、サブセ
    ットの前記1つのウィンドウ領域と第1のテンプレート
    とそれぞれ相関計算するステップにおいて行なわれるそ
    れぞれの相関計算各々の結果相関係数が得られ、プロセ
    ッサはさらに、第1のテンプレートと可能性のあるウィ
    ンドウ領域のサブセット内の前記1つのウィンドウ領域
    との間のそれぞれの相関計算の各々について得られた相
    関係数を予め定められた値と比較する、請求項31に記
    載のデータの探索領域内のデータの第1のテンプレート
    の位置を推定するための装置。
  37. 【請求項37】 プロセッサは、得られる相関係数が予
    め定められた値と一致した、サブセット内の前記1つの
    ウィンドウ領域各々をテンプレート一致の可能性のある
    部分として識別する、請求項36に記載のデータの探索
    領域内のデータの第1のテンプレートの位置を推定する
    ための装置。
  38. 【請求項38】 ウィンドウ領域のサブセットは、ウィ
    ンドウ領域の第1のサブセットであり、プロセッサは、
    前記識別されたテンプレート一致の可能性のある部分の
    うち所与のテンプレート一致の可能性のある部分の近傍
    の探索領域内のウィンドウ領域の第2のサブセットを選
    択し、プロセッサはさらに、ウィンドウ領域の選択され
    た第2のサブセット中の各ウィンドウ領域と第1のテン
    プレートとの相関計算をする、請求項37に記載のデー
    タの探索領域内のデータの第1のテンプレートの位置を
    推定するための装置。
  39. 【請求項39】 プロセッサは、第2のサブセットと、
    局所テンプレート一致部分とのうちの、相関計算がされ
    たウィンドウ領域のうち、第1のテンプレートとの相関
    計算によりしきい値を超える相関係数が得られたものの
    1または2以上をテンプレート一致部分として識別す
    る、請求項38に記載のデータの探索領域内のデータの
    第1のテンプレートの位置を推定するための装置。
  40. 【請求項40】 第2のサブセットと、局所テンプレー
    ト一致部分とのうちの、相関計算がされたウィンドウ領
    域のうち、第1のテンプレートとの相関計算によりしき
    い値を超え、かつ最高の相関係数が得られたもののみが
    テンプレート一致部分である、請求項39に記載のデー
    タの探索領域内のデータの第1のテンプレートの位置を
    推定するための装置。
  41. 【請求項41】 相関器は、第1のテンプレートと、パ
    ディングされたテンプレート内のウィンドウ領域との相
    関計算をし、第3のステップサイズを導出し、第1のス
    テップサイズ、第2のステップサイズおよび第3のステ
    ップサイズは、探索領域内の第1のテンプレートの位置
    を推定するため評価するためウィンドウ領域を選択する
    ために使用される、請求項35に記載のデータの探索領
    域内のデータの第1のテンプレートの位置を推定するた
    めの装置。
  42. 【請求項42】 第1の軸および第2の軸は線形軸であ
    り、第3の軸は回転軸である、請求項41に記載のデー
    タの探索領域内のデータの第1のテンプレートの位置を
    推定するための装置。
  43. 【請求項43】 第1の軸、第2の軸および第3の軸
    は、直交する空間軸である、請求項41に記載のデータ
    の探索領域内のデータの第1のテンプレートの位置を推
    定するための装置。
  44. 【請求項44】 第1の軸および第2の軸は線形軸であ
    り、第3の軸は時間に対応する、請求項41に記載のデ
    ータの探索領域内のデータの第1のテンプレートの位置
    を推定するための装置。
  45. 【請求項45】 第1の軸および第2の軸は線形軸であ
    り、第3の軸は周波数に対応する、請求項41に記載の
    データの探索領域内のデータの第1のテンプレートの位
    置を推定するための装置。
JP11336212A 1998-12-18 1999-11-26 テンプレ―トとデ―タの探索領域との一致部分を位置特定するための方法、ステップサイズを決定するための方法およびデバイス、ならびにデ―タの探索領域内のデ―タの第1のテンプレ―トの位置を推定するための装置 Withdrawn JP2000182047A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US09/216691 1998-12-18
US09/216,692 US6301387B1 (en) 1998-12-18 1998-12-18 Template matching using correlative auto-predictive search
US09/216692 1998-12-18
US09/216,691 US6243494B1 (en) 1998-12-18 1998-12-18 Template matching in 3 dimensions using correlative auto-predictive search

Publications (1)

Publication Number Publication Date
JP2000182047A true JP2000182047A (ja) 2000-06-30

Family

ID=26911253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11336212A Withdrawn JP2000182047A (ja) 1998-12-18 1999-11-26 テンプレ―トとデ―タの探索領域との一致部分を位置特定するための方法、ステップサイズを決定するための方法およびデバイス、ならびにデ―タの探索領域内のデ―タの第1のテンプレ―トの位置を推定するための装置

Country Status (4)

Country Link
EP (1) EP1011065B1 (ja)
JP (1) JP2000182047A (ja)
AT (1) ATE319140T1 (ja)
DE (1) DE69930053D1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128247A (ja) * 2005-11-02 2007-05-24 Omron Corp 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体
JP2009070402A (ja) * 2008-11-21 2009-04-02 Omron Corp 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体
JP2010218022A (ja) * 2009-03-13 2010-09-30 Toshiba Corp 信号探索装置、信号探索方法及びプログラム
KR20190135176A (ko) * 2018-05-28 2019-12-06 삼성에스디에스 주식회사 템플릿 매칭 방법 및 그 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1914667A3 (en) * 2006-03-24 2008-05-07 MVTec Software GmbH System and methods for automatic parameter determination in machine vision
CN111950632B (zh) * 2020-08-12 2021-11-09 贝壳找房(北京)科技有限公司 用于实现小区信息聚类的方法、装置、介质以及电子设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128247A (ja) * 2005-11-02 2007-05-24 Omron Corp 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体
JP4696856B2 (ja) * 2005-11-02 2011-06-08 オムロン株式会社 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体
JP2009070402A (ja) * 2008-11-21 2009-04-02 Omron Corp 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体
JP4706749B2 (ja) * 2008-11-21 2011-06-22 オムロン株式会社 画像処理装置、画像処理方法
JP2010218022A (ja) * 2009-03-13 2010-09-30 Toshiba Corp 信号探索装置、信号探索方法及びプログラム
KR20190135176A (ko) * 2018-05-28 2019-12-06 삼성에스디에스 주식회사 템플릿 매칭 방법 및 그 장치
KR102548722B1 (ko) * 2018-05-28 2023-06-27 삼성에스디에스 주식회사 템플릿 매칭 방법 및 그 장치

Also Published As

Publication number Publication date
EP1011065A1 (en) 2000-06-21
ATE319140T1 (de) 2006-03-15
DE69930053D1 (de) 2006-04-27
EP1011065B1 (en) 2006-03-01

Similar Documents

Publication Publication Date Title
Bansal et al. Ultrawide baseline facade matching for geo-localization
EP1658579B1 (en) Method for for classification and spatial localization of bounded 3d-objects
US6173066B1 (en) Pose determination and tracking by matching 3D objects to a 2D sensor
JP3942193B2 (ja) 画像中のパターンを自動的に位置付けるベクトル相関システム
EP1693783B1 (en) Fast method of object detection by statistical template matching
US6301387B1 (en) Template matching using correlative auto-predictive search
CN104616278B (zh) 三维点云兴趣点检测方法和系统
US20050123191A1 (en) System and method for progressive stereo matching of digital images
EP1631933A1 (en) Human figure contour outlining in images
Maalek et al. Robust detection of non-overlapping ellipses from points with applications to circular target extraction in images and cylinder detection in point clouds
CN113450269A (zh) 一种基于3d视觉的点云关键点提取方法
WO2014002813A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN112329880A (zh) 一种基于相似性度量和几何特征的模板快速匹配方法
CN109146918A (zh) 一种基于分块的自适应相关目标定位方法
JP2000182047A (ja) テンプレ―トとデ―タの探索領域との一致部分を位置特定するための方法、ステップサイズを決定するための方法およびデバイス、ならびにデ―タの探索領域内のデ―タの第1のテンプレ―トの位置を推定するための装置
US6243494B1 (en) Template matching in 3 dimensions using correlative auto-predictive search
Yammine et al. Novel similarity-invariant line descriptor and matching algorithm for global motion estimation
US11210551B2 (en) Iterative multi-directional image search supporting large template matching
CN110603535B (zh) 支持大模板匹配的迭代多方向图像搜索
JP3527588B2 (ja) テンプレートマッチング方法
JP2006031392A (ja) テンプレート照合装置および方法
Yuan et al. Robust region duplication detection on log-polar domain using band limitation
WO2016005252A1 (en) Method and device for image extraction from a video
JP4946882B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2004192506A (ja) パターンマッチング装置、パターンマッチング方法およびプログラム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070206