JP2002516440A - 画像認識および相関システム - Google Patents

画像認識および相関システム

Info

Publication number
JP2002516440A
JP2002516440A JP2000550058A JP2000550058A JP2002516440A JP 2002516440 A JP2002516440 A JP 2002516440A JP 2000550058 A JP2000550058 A JP 2000550058A JP 2000550058 A JP2000550058 A JP 2000550058A JP 2002516440 A JP2002516440 A JP 2002516440A
Authority
JP
Japan
Prior art keywords
pixel
pixels
optimal
reference image
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000550058A
Other languages
English (en)
Inventor
マニカム，スワミ
ロス，スコット
ブッシュマン，トーマス
Original Assignee
データキューブ，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by データキューブ，インコーポレイテッド filed Critical データキューブ，インコーポレイテッド
Publication of JP2002516440A publication Critical patent/JP2002516440A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 相関において使用される画素数を削減するために、スパース相関と画像ピラミッド化を組み合わせたデジタル画像認識のためのシステムは、基準画像テンプレート（１１０）内のすべての画素の網羅的相関を行うことなく、基準画像テンプレート（１００）の効果的認識を可能にする。基準画像テンプレート（１００）を検索対象であるサーチ画像シーン（１０２）に対して相関させることにより、基準画像テンプレート（１００）の画素から最適スパース画素セット（１１２）が選択される。そのようなスパース画素セットは、基準画像テンプレート（１００）の相関感受性特徴の定義するのに最適な画素を含んでいる。最適な地点でスパース画素の蓄積を終了することにより、認識の精度を損なうことなく性能が最大限に高められる。結果として得られた最適スパース画素セットは、次に一連の変換を通してサーチ画像シーン内の画素に対して相関され、サーチ画像シーン（１０２）内における基準画像テンプレート（１００）の整合を見つけ出す。

Description

【発明の詳細な説明】
【０００１】 より大きなデジタルサーチ画像シーン内においてデジタル基準画像テンプレー
トの位置の特定を試みるデジタル画像認識システムが知られている。そのような
デジタル画像は、行列状に配列された画素列から成り、各画素はその外観を示す
ものとして階調値を有している。そして、デジタル基準画像テンプレートとデジ
タルサーチ画像シーンとの両方において、それらの位置に対する上記階調値を比
較することにより、マッチングが行われる。デジタルサーチ画像シーン内にデジ
タル基準画像テンプレート内におけるものと同一または類似のパターンが見出さ
れた場合に、整合が見出だされることになる。
【０００２】 上記のようなシステムは、典型的には様々な製造およびロボット工学応用分野
において使用されるコンピュータ内において実現化されている。たとえば、この
ようなシステムは、半導体ウェーハ処理操作、装着プリント回路基板（ＰＣＢ）
組立体のための基準認識、搬送ベルト、パレットおよびトレイ上への物体の位置
決めを補助する定量化またはシステム制御のための機械視覚、および位置合わせ
マークなどの被検査印刷物の自動認識などの作業を自動化するために用いること
ができる。
【０００３】 そのようなデジタル画像を表すために用いられる画素の行列は、典型的にはカ
ルテシアン座標系に配置されるか、あるいは、たとえば六角形やダイヤモンド形
画素などの非矩形画素の他の配列で配置される。認識方法は、通常、サーチ画像
シーンを、探索される基準画像テンプレートと比較して画素毎に走査すること必
要とする。さらに、公知の検索技術では、サーチ画像シーン内における基準画像
テンプレートの回転や倍率変更などの変換が可能であるため、そのような変換に
対応した認識方法が要求される。
【０００４】 そのような認識方法では、典型的には画像を画素毎に走査し、基準画像テンプ
レートの一連の変換を行うので、含まれる要素または画素の数に応じて計算動作
の数が指数的に増大する傾向にある。これを定量化すると、典型的にはＯ（ｎＸ ）で表され、ここでｘは要素の数に基づく計算動作数増加のべき指数である。た
とえば、４個の要素の並べ替えには１６回の比較動作が必要とされ、１０個の要
素には１０２回、すなわち１００回比較動作が必要とされるため、リストを逐次
代入し、これをリスト内のすべての他の要素と比較することにより、リストを並
べ替える並べ替え方法は、Ｏ（ｎ２）となる。
【０００５】 デジタル画像認識方法は、サーチ画像シーン内のすべての画素に対して、基準
画像テンプレート内のすべての画素を走査する必要があることが多いため、Ｏ（
ｎｘ）で表される動作の数も相当なものとなる。さらに、回転や倍率変更などの
変換もそのようなそれぞれの画素走査に対して反復されなければならないため、
Ｏ（ｎｘ）はさらに増大する。画素数が増加すると解像度が向上し、より高品質
な視覚画像を提供できるため、多数の画素を収容することが望ましい。
【０００６】 これまでは、デジタル画像のマッチングを確実かつ精確に行うために、コグネ
ックス（Cognex）社を譲渡人とする「機械視覚高精度検索のための方法および装
置」という名称の、米国特許第５，６０２，９３７号に開示されているような、
正規化階調相関（ＮＧＣ）が用いられてきた。しかしながら、従来のＮＧＣは、
階調の線形変化の検出には効果的であるが、デジタル画像の他の側面における変
化、たとえば回転、倍率変更、透視、歪曲、焦点ずれ、および従来型階調変化な
どに対して、非常に小さな許容誤差しか有さい。さらに、ＮＧＣでは、基準画像
テンプレート内のすべての画素を、サーチ画像シーン内のすべての画素と相関さ
せる必要があるために、約（Ｏ（ｎ４））となり、計算に非常に費用がかさむ。
【０００７】 相関画像マッチングに対する一般的な表記を以下に示す。ｔ（ｘ，ｙ），１≦
ｘ≦Ｘｔ，１≦ｙ≦Ｙｔを、より大きなシーンｓ（ｘ，ｙ）内で位置特定しよう
とする矩形テンプレートとする。すると、シーンｓｉ（ｘ，ｙ）、１≦ｉ≦Ｎ個
の変換のセットに対する相関Ｒ（ｉ）は下記式で記述されるが、ｓｉ（ｘ，ｙ）
は、ｓ（ｘ，ｙ）の平行移動、回転、倍率変更または他の変換でありうる。 Ｒ（ｉ）＝ｆ（ｔ（ｘ，ｙ），ｓｉ（ｘ，ｙ）） 式中、ｆ（）は相関係数を示す。テンプレートマッチングにおける最も一般的な
変換は、ｘおよびｙ方向または軸に沿った平行移動である。この場合、対称検索
範囲−Ｕ≦ｕ≦Ｕ、−Ｖ≦ｖ≦Ｖの変位ｓ（ｘ＋ｕ，ｙ＋ｖ）は、Ｎ＝Ｕ（２Ｕ
＋１）*（２Ｖ＋１）変換ｓｉ（ｘ，ｙ），１≦ｉ≦Ｎに相当する。
【０００８】 従来のＮＧＣのスピードアップを図るために様々な取り組みが行われており、
そのような取り組みとしては、パイプライン画像処理、ＲＩＳＣプロセッサ、お
よび高速のメモリを利用して、１秒間あたりにより多くの画素を処理できるよう
にした、より高速なハードウェアなどがある。しかしながら、そうした馬力駆動
による手法では、ＮＧＣの（Ｏ（ｎ４））の計算上の距離（computational metr
ic）は変わらない。
【０００９】 階調相関の計算上の距離を減らすために用いられる別法は、画像ピラミッドを
用いるものである。画像ピラミッドは、デジタル画像の複数のコピーを順番に記
憶し、この順序内の各階層において画素密度、したがって解像度を変化させる。
この手法において、ピラミッドの頂点において粗い整合が見出され、画像ピラミ
ッドの後続の階層を横断するために山登り戦略（hill climbing strategy）が用
いられる。この手法は、相関に用いられる画素数を大幅に削減する。そのような
方法は粗いマッチングに対する性能の向上には効果的であるものの、まだなお、
サーチ画像シーン内のすべての画素に対しての、基準画像テンプレート内のすべ
ての画素を包含していなければならない。
【００１０】 さらに別の戦略は、スパース相関である。従来のＮＧＣの手法が基準画像テン
プレート内のすべての画素に対する相関を適用しているのに対し、スパース相関
では相関のためのそのような画素のサブセットを選択する。各相関関数ｆ（）は
、ｘ軸およびｙ軸に対する総和Σｘｙを組み入れたものである。従来の相関につ
いていうと、Ｎ個の相関に対する総和Σｘｙは、網羅的検索における全テンプレ
ートに亘って計算され、したがって、
【数１】 となる。 しかしながら、スパース相関についていうと、総和は、すべての基準画像テンプ
レートの画素の網羅的セットに亘るものではなく、予め定められたＫ個の画素Ｐ
＝｛（ｘ１，ｙ１），（ｘ２，ｙ２），．．．，（ｘＫ，ｙＫ）｝に対してだけ
計算される。したがって、
【数２】 となる。 Ｋはテンプレート内の全画素数よりもはるかに小さいので、これにより計算にか
かるコストが大幅に削減される。
【００１１】 サブセットを選択するためには、画素を１個おきに飛ばしたり、画素をランダ
ムに選択するなどのいくつかの戦略が用いられてきた。しかしながら、これらの
手法は相関の効率および結果として得られるマッチングの精確さを著しく低下さ
せる。
【００１２】 点相関と呼ばれるスパース相関の一種が提案されており（クラッテンタラー（
Krattenthaler）ら、１９９４年）、この方法においてマッチングは、予め計算
された基準画像テンプレートのスパースな点セットを用いて行われる。この方法
において、相関感受性画素のセットが選択されるが、その際、テンプレートの画
素は、他の画素よりもテンプレートマッチングに対する影響が大きい場合に、点
相関に最適であると判断される。この相関感受性画素のセットは、予め定められ
た可能な組み合わせのセットを介して、テンプレートが移動、回転および倍率変
更される期間である学習セッション中に選択される。
【００１３】 この学習手順について以下に要約する。ポイント対、好ましくはエッジ上のポ
イント対をランダムに選択することにより、Ｍ個の始点を有する点セットＰＭを
計算する。基準画像テンプレート内の画素を逐次代入し、最初はＰＭであるＰＬ を構築する。 − Ｌ個の点で構成されるスパースな点セットＰＬをすでに計算しているとす
ると、新しいセットＰＬ＋１は以下のようにして見出される： １． であるテンプレート内の各点Ｘｊ＝（ｘｉ，ｙｉ）に対して、 − ＰＬ∪Ｘｊである点のセットによる点相関を用いて、すべての変換ｉ、１
≦ｉ≦Ｎに対する相関結果Ｒｊ（ｉ）を計算する。 − 点Ｘｊの特性を決定する相関結果Ｒｊ（ｉ）の相関測定値Ｃｍｊを計算す
る。 ２．相関測定値Ｃｍｊが極値をとるような、スパースな点セットＰＬ＋１の新し
い要素となる点Ｘｊを選択する。
【００１４】 そのような学習手順は続く検索の性能を向上させるものの、まだなお計算に費
用がかさむ。Ｏ（ｎ）の可能な組み合わせ（回転、倍率変更他）があると仮定す
ると、ステップ１におけるＮはＯ（ｎ３）となる。テンプレートの画素の数がＯ
（ｎ２）個であるとすれば、ステップ１ではＯ（ｎ５）回の計算が必要となる。
ｎ個の画素を選択するために必要とされる計算の数は、 （１＋２＋３＋．．．＋ｎ）*Ｏ（ｎ５）、すなわちＯ（ｎ７）となる。
したがって、Ｏ（ｎ２）個の画素を選択するためには、計算の複雑性はＯ（ｎ８ ）になる。
【００１５】 しかしながら、現代のプロセッサを以ってしても、多数の画素を有する高解像
度画像に対するＯ（ｎ８）は実際的には実行不可能である。したがって、相関感
受性画素の最適スパース画素セットを決定することが望ましい。選択されたスパ
ース画素セットが少なすぎる場合には、精度が損なわれるであろう。反対に、ス
パース画素セットの数が多すぎると、性能を低下させる。１つの方法として、ス
パースな点セット内に一定数の点を単に蓄積するだけのものがあるが、そのよう
な手法は基準画像テンプレートとサーチ画像シーンの様々な組み合わせに対応す
ることができない。
【００１６】 したがって、階調相関マッチングのための最適スパース画素セットを計算する
ための方法であって、回転、倍率変更、透視、輝度および焦点の変化を許容し、
専用の画像処理ハードウェアを必要とせずにソフトウェアにおいて実行可能な十
分な速度を有し、それにも拘らず従来の網羅的ＮＧＣに匹敵する精度レベルを維
持した方法を開発することが有益であると考えられる。
【００１７】 （発明の概要） 画像ピラミッド化にスパース相関を組み合わせて、相関において用いられる画
素数を削減したデジタル画像認識のためのシステムは、基準画像テンプレート内
のすべての画素の網羅的相関を行うことなく、基準画像テンプレートの効果的な
認識を行うことができる。検索対象であるサーチ画像シーンに対して基準画像テ
ンプレートを相関させることにより、基準画像テンプレートの画素から最適スパ
ース画素セットが選択される。そのようなスパース画素セットは、基準画像テン
プレートの相関感受性特徴を定義するのに最適な画素を含んでいる。スパース画
素の蓄積を最適な点で終了することにより、認識の精度を損なうことなく性能を
最大限に高めることができる。
【００１８】 ランタイムにおいて、得られた最適スパース画素セットは、サーチ画像シーン
内における基準画像テンプレートの整合を見出すための一連の変換を介して、フ
レームグラバとカメラを介して取得されるか、もしくは書き込み可能メディアか
ら読み込まれたサーチ画像シーン内の画素に対して相関される。
【００１９】 探索される画像を示す基準画像テンプレート、および検索対象領域を示すサー
チ画像シーンは、画素化階調デジタル画像表示で構成されている。検索対象であ
るサーチ画像シーンと基準画像テンプレートとの両方の画像ピラミッドが、相関
処理とともに使用するために構築される。次に、サーチ画像シーンが、学習手順
中に基準画像テンプレートの画素のサブセットと相関され、最適スパース画素セ
ットを与える。学習シーケンスの間に、基準画像テンプレートは、その平行移動
、回転、倍率変更および歪曲（透視変換）されたインスタンス、他のオブジェク
ト、および指定されたサーチ画像シーン内の背景から識別される。学習シーケン
スの終了時に、基準画像テンプレートは、テンプレートをその任意の変換（平行
移動、回転、倍率変更および透視歪曲）されたインスタンス、他のオブジェクト
、およびサーチ画像シーンの内の背景から識別することができる最適スパース画
素セットに関連付けられる。
【００２０】 初期スパース画素セットは、基準画像テンプレート内の少数の画素を選択する
ことにより決定され、最適画素アキュムレータセット内に格納される。次に、そ
れまでに蓄積された最適画素アキュムレータセットによって表される基準画像テ
ンプレートが、サーチ画像シーンに対して相関され、高スコアを求める。サーチ
画像内の各場所において、基準画像テンプレートは回転および倍率変更によって
変換され、極値スコアを有する画像変換を求める。この場所および画像変換にお
いて、最適画素アキュムレータセット内にまだ入っていない基準テンプレート画
素が一斉に調べられ、最適画素アキュムレータセットに追加される次の最適画素
となる。それぞれの可能性のある試験的最適アキュムレータセットは、極値スコ
アをもたらした画像変換にマッチするように変換された後、サーチ画像シーンに
対して相関される。試験的最適画素アキュムレータセットを少量だけ回転および
倍率変更することにより、エッジ付近またはエッジ上の画素を選択することを防
ぐ論理回路が用いられる。最適画素候補は、それを最適画素アキュムレータセッ
トに含めることによって、以前に計算された極値スコアを最も低下させるような
画素に決定される。そして、この最適画素候補が最適画素アキュムレータセット
に追加される。最適画素アキュムレータセットの構築は、観察される極値スコア
の移動平均が明確な上昇挙動または傾向を示した時点で終了する。
【００２１】 次に、この学習手順から得られた最適スパース画素セットを全サーチ画像シー
ンに亘る相関に利用して、サーチ画像シーン内における基準画像テンプレートの
マッチングを行う。最適スパース画素セットは元の基準画像テンプレートに比べ
てはるかに少数の点しか含んでいないので、相関演算でははるかに少数の画素し
か考慮する必要がない。
【００２２】 基準画像テンプレートとサーチ画像シーンとを相関させるために、サーチ画像
シーンと基準画像テンプレートの画像ピラミッドが構築される。サーチ画像シー
ンの最上層ピラミッドデータ内では、基準画像テンプレートピラミッドの最上層
のための最適スパース画素セットを用いた網羅的検索が行われる。この網羅的検
索は、すべての可能性のある平行移動、回転および倍率変更の範囲にわたる増加
ステップを含んでいる。場所、回転および倍率変更の各変換に対して、最も高い
相関スコアが保たれる。網羅的検索の終了時には、すべてのスコアが降順に並べ
替えられる。次に、最もスコアの高い場所、回転および倍率変更から山登り戦略
が用いられ、後続のピラミッド階層に適用される。ピラミッドのフル解像度階層
において、精度追加のために選択された追加のスパース画素が基準画像テンプレ
ートから最適スパース画素セットに追加され、サブ画素スペース（sub-pixel sp
ace）における２回目の山登り動作が実行される。計算されたスコアがユーザに
よって指定されたフル解像度相関スコアよりも大きい場合には、マッチが見出だ
されたと判定される。そうでない場合には、ピラミッドの頂点における網羅的検
索からの次の最良のスコアを有する変形が追跡される。
【００２３】 （発明の詳細な説明） 本発明によって定義されるデジタル画像マッチングは、サーチ画像シーンの画
素に対する基準テンプレート画像のパターンマッチングを行って、階調の類似パ
ターンおよび相対位置を見出すことを包含する。所定の画素におけるこれらの２
画像の相関により、マッチングの度合いを示す０．０〜１．０の間の相関スコア
が得られ、ここで１．０は完全にマッチしていることを示す。見出される基準テ
ンプレート画像は、サーチ画像シーン内において、平行移動、回転、倍率変更お
よび歪曲（透視）、あるいはその他の変換がなされていてもよいので、そのよう
な相関は適切な認識に対しても完全なスコア１．０を与えることはないかもしれ
ない。
【００２４】 基準画像テンプレートの境界特徴（defining characteristic）は、テンプレ
ートの整合の候補としての強さを示す役割を果たす。ある特定の特徴が、高い認
識精度をもたらす傾向にある。図１ａを参照すると、多数の垂直エッジを有する
ものの、水平エッジを少ししか有さない低品質なテンプレート１０が示されてい
る。このテンプレートは、垂直方向よりも水平方向において高い精度で見出され
ると予想される。これに対し、図１ｂは多くの直交するエッジを有し、したがっ
て両方向において高い精度を与えると予想される高品質のテンプレートを示して
いる。
【００２５】 図２ａを参照すると、基準画像テンプレート１４およびサーチ画像シーン１５
が示されている。上方の影付き部分１６は、下部１８とは階調が異なっている。
基準画像テンプレート１４に対するサーチ画像シーン１５の検索は、サーチ画像
シーン１５内の各画素を走査し、各画素において基準画像テンプレートの相関を
適用し、相関スコアを決定することを含んでいる。本例においては、点線２０お
よび２２によって示される画素において、マッチング画像２４が見出されている
が、これは、この場所において相関スコアの極値が見つかったためである。
【００２６】 図２ｂを参照すると、回転および倍率変更された画像２６による同様のマッチ
ング動作が開示されている。図２ａの場合と同様に、サーチ画像シーン２６が基
準画像テンプレートに対して画素毎に走査される。上述のように、各画素におい
て適用される相関は、回転および倍率変更された基準画像テンプレートにも相関
する。点線３４および３６によって示される画素において、画像３０を２倍の倍
率で倍率変更し、画像３２を角度θだけ回転させた後のマッチング画像２７が見
出される。
【００２７】 図３は、本発明に従う主要なデータ構造のブロック図である。見出すべき画像
の基準画像テンプレート１００が、検索対象のサーチ画像シーン１０２とともに
得られる。１０４および１０６において、基準画像テンプレートと目的とする画
像シーンのそれぞれは、相関に用いるための画像ピラミッド表示に変換される。
【００２８】 当該技術分野において知られている画像ピラミッドが図４に示されている。上
で示したように、画像ピラミッドでは各階層毎に解像度が低下し、底部における
フル画像解像度から、それに続く各階層ごとに解像度が低下していく。ピラミッ
ドの各階層ごとに精細な細部は消滅していく。高いピラミッドは頂点においてよ
り少ない画素しか含まず、性能は向上するが、ピラミッドの各階層ごとに精細な
細部は不明瞭になっていく。したがって、大きな特徴を有する大きな画像は、重
要な精細な細部を有する画像よりも高度にピラミッド化することができる。しか
しながら、ピラミッドの高さは検索の精度には影響を及ぼさない。これは最下層
が完全な画素細部を含んでいるからである。基準画像テンプレートおよびサーチ
画像シーンの品質によって変化するものの、典型的なピラミッドの高さは４階層
である。
【００２９】 １０８において初期スパース画素セットが作成され、これは、以下で詳述する
ように、基準画像ピラミッド１０４と目的とする画像ピラミッド１０６とを相関
させることによって画素相関結果１１０を計算するために用いられる。テンプレ
ート相関結果を計算している間に、最適スパース画素セット１１２が蓄積される
。従来の相関において用いられていた完全な基準画像テンプレートの代わりに、
この最適スパース画素セットが目的とする画像ピラミッド１０６との正規化階調
相関のために用いられ、検索相関結果１１４を計算する。この結果からの極値相
関結果が、サーチ画像シーン内における基準画像テンプレートの位置、回転およ
び倍率変更を示す。
【００３０】 図５をより詳細に参照すると、サーチ画像シーン内において基準画像テンプレ
ートを見つけ出すステップのフローチャートが示されている。上で示したように
、画像ファインダには２つの手順が存在する。第１の手順は、最適スパース画素
セットを計算するために用いられる学習手順である。第２の手順は、サーチ画像
シーン内で基準画像テンプレートを見出すための最適スパース画素セットとのマ
ッチング手順である。学習手順とマッチング手順の両方について以下に記述する
。
【００３１】 ステップ２００において、ディスクから読み込むかあるいは、より大きなサー
チ画像シーンの一部を抽出することにより、基準画像テンプレートの画素化階調
デジタル画像が構築される。ステップ２０２において、検索対象となるサーチ画
像シーンの画素化階調デジタル画像が、フレームグラバおよびカメラを介してシ
ーンの画像を取得するか、あるいはディスクから読み込むかのいずれかによって
構築される。次に、基準画像テンプレートの画素化階調デジタル画像は、ステッ
プ２０４において画像ピラミッド形式に変換される。最大ピラミッド階層数２０
６は、ユーザの入力によって指定されるか、あるいは任意によりデフォルト値に
よって指定することもできる。そして、画素化階調デジタル画像内の画素数およ
び細部の粒度によって、適切なピラミッド階層が自動的に決定される。ステップ
２０８において、サーチシーン画像を表示するための同様のピラミッドが構築さ
れる。基準画像テンプレートとサーチ画像シーンのどちらの画像ピラミッドも、
高い階層において高速処理のために精細な細部を省略し、低い階層においては完
全な細部を維持し、これにより精度を損なうことなく性能を向上させている。
【００３２】 ステップ２１０において、基準画像テンプレートを定義する最適スパース画素
セットを決定するための学習シーケンスが開始される。２１２において基準画像
テンプレートから３個の画素を選択することにより、初期スパース画素セットＰ Ｍ が決定される。最大階調および最小階調を示す画素、ならびに基準画像テンプ
レート内の最も中心の画素が選択される。あるいは、２個または３個のランダム
な点を選択するなどの他の方法を、初期最適スパース画素セットを選択するため
に用いることもできる。そして、この初期スパース画素セットＰＭは２２４にお
いて最適画素アキュムレータセットＰＬを初期化するために用いられ、このセッ
トＰＬは基準画像テンプレートの相関感受性特徴を定義するのに最適であると見
出された画素を蓄積するために用いられることになる。
【００３３】 いま、Ｌ＝３のＬ個の点から構成される最適画素アキュムレータセットＰＬが
構築されているとする。テンプレート相関結果を計算するためのサーチシーン画
像内の各場所における一連の基準画像テンプレートの変形を逐次代入して、新し
いセットＰＬ＋１が見つけられる（図３、１１０）。サーチ画像シーンの領域は
、たとえば基準画像テンプレートが実際上、サーチシーン画像からコピーされた
ものであり、したがって誤った相関整合を引き起こしうる場合には、この相関検
索から除外してもよい。
【００３４】 最適スパース画素セットを構築するために、ここまでに最適画素アキュムレー
タセット内に格納された画素が、予め定められた範囲内の平行移動、回転および
倍率変更のすべての変換に対して、サーチ画像シーン内の各画素と相関される。
各増分２２６の逐次代入が倍率値の範囲で行われ、特定のアプリケーションに適
するように変更可能である。各倍率の逐次代入において、基準画像の変換は、２
２８において、一連の角度増分、典型的には０〜３６０の範囲でさらに回転され
る。角度増分も同様に、高い相関整合潜在性を生み出すように選択可能である。
【００３５】 初期最適画素アキュムレータセットから始まって、最適画素アキュムレータセ
ットＰＬによって表されるテンプレートＴ（ｘ，ｙ）との点相関２３２を用いて
、すべての変換ｉ、１≦ｉ≦Ｎに対してサーチ画像シーンＩ（ｘ，ｙ）内におけ
る相関結果Ｒｊ（ｉ）が計算される。 Ｒ（ｉ）＝ｆ（Ｔ（ｘ，ｙ），Ｉ（ｘ，ｙ）） ２３３において、最も偽陽性の高い相関スコアインスタンスを計算し、その位置
を特定する。２３４において、位置（ｘ，ｙ）、回転、倍率および相関スコアを
画素相関結果１１０として保存する。
【００３６】 ２３６において、 である基準画像テンプレート内の各画素Ｘｊ＝（ｘｉ，ｙｉ）、すなわち、最適
画素アキュムレータセットＰＬにまだ含まれていない各画素に対して、画素セッ
トＴ（ｘ，ｙ）＝ＰＬ∪Ｘｊとの点相関を用いて相関スコアを計算する（２３８
）。上記画素セットは、ステップ２３４からの画素相関結果１１０を用いて、最
も偽陽性の高いインスタンスを有するサーチ画像シーンＩ（ｘ，ｙ）内の画素に
おいて、ステップからの保存された回転および倍率変更に変換されたものである
。この中間スコアを保存する。 Ｒ（ｉ）＝ｆ（Ｔ（ｘ，ｙ），Ｉ（ｘ，ｙ）） ステップ２３０で用いられた回転増分の約±半分および倍率増分の約半分の範囲
内で、２３９において、点相関および適切に変換（回転および倍率変更）された
画素を用いて相関演算を行う。最も低い相関スコアに注目する。
【００３７】 ここでこの候補画素を調べて、最適画素アキュムレータセットＰＬに入れるべ
きかどうかを決定する。２３４において、以下の式を用いて評価すべき最良のス
コアを計算する。最良のスコア＝最高偽陽性スコア（２３２）−中間スコア（２
３８）＋最低のスコア（２３９）であり、２４１において最も高いスコアが注目
される。最高の最良スコア２４２の結果を出した候補画素が、２４４において最
適画素アキュムレータセットＰＬ＋１に入れられる。候補画素が最適画素アキュ
ムレータセットに選ばれない場合は、２３８において、基準画像テンプレートか
らのまだ選択されていない次の画素が調べられる。
【００３８】 画素が最適画素アキュムレータセットに入れられた場合には、２４６において
、最適スパース画素セットが得られたかどうかを確認するためのチェックが行わ
れる。さらに画素を追加したときに、基準画像テンプレートがサーチ画像シーン
内の他のものから、より識別されない（観測された最高の偽陽性値が増加傾向を
示す）場合には、２５０において最適画素アキュムレータセットが得られたと判
定される。このチェックは、一連の予備スコアを格納し、スコアが予め定められ
た量、たとえば０．００１だけ異なった時期を決定することにより行われる。こ
の傾向は、スパース画素アキュムレータセット内に蓄積されている画素の基準画
像テンプレート識別能が低下しつつあることを示すものである。したがって、こ
の段階において、アキュムレータスパース画素セットは最適スパース画素セット
を含んでいる。そうでない場合には、ステップ２２６から再開することにより、
２４８において、次の候補画素が選択される。
【００３９】 ピラミッドの頂点において選択されたスパース画素のセットは、ピラミッドの
後続の各階層に対して外挿される。ピラミッドの底部、すなわちフル解像度の階
層において、精度を高めるために追加のスパース画素セットが選択される。これ
は、平行移動を±１画素、回転を±ａｔａｎ（１／フル解像度におけるテンプレ
ートの半径）の角度、および倍率変更を±１／基準画像テンプレートの半径に限
定することにより達成される。この段階において、学習段階が完了し、最適画素
アキュムレータセットがランタイム検索段階のために保存される。
【００４０】 このような方法での最適スパース画素セットの構築の計算複雑性は、Ｏ（ｎ３ ）である。したがって、上で定義した最適スパース画素セット学習方法は、点相
関のステップ１の計算複雑性を、Ｏ（ｎ５）からＯ（ｎ３）＋Ｏ（ｎ２）に低減
する。ピラミッド化により、さらにＯ（ｎ２）まで減少する。さらに、すべての
中間相関結果が保存されることにより、（（１＋２＋３＋．．．＋ｎ）*Ｏ（ｎ
２））を（（１＋１＋１＋．．．＋１）*Ｏ（ｎ２））に減少する。したがって
、従来技術の点相関学習方法に比べて、計算複雑性がＯ（ｎ８）からＯ（ｎ３）
まで減少可能である。
【００４１】 ランタイム検索段階の間には、基準画像テンプレート２５２およびサーチシー
ン画像２５４が再び画像ピラミッド形式２５６に変換される。次に、保存された
最適スパース画素セットを用いて、サーチ画像シーン内における基準画像テンプ
レートの整合が見出される。ステップ２５０からの変換（回転、倍率変更、透視
変換）された最適スパース画素セットは、２５８において、サーチ画像シーンと
の従来の正規化階調相関において用いられる。最適スパース画素セットは、対応
する基準画像テンプレートに比べてはるかに少数の画素しか含まないので、階調
相関がＯ（ｎ４）の複雑性に留まっているにせよ、多くの少数画素に基づく計算
が必要になる。サーチ画像シーン内の各位置に対する相関結果は、２６０におい
て降順に並べ替えられる。最も高い相関スコアを有するサーチ画像シーン内の画
素（および対応する変形）が考慮される。２６２において、山登り戦略が適用さ
れ、２６４においてユーザによって指定されたフル解像度レベルが得られるまで
、サーチ画像シーンのピラミッドの各階層を横断する。上述のように、最適画素
セットをさらに識別するために精度画素が追加される。ピラミッドの頂点におい
て選択されたスパース画素のセットは、ピラミッドの後続の各階層に対して外挿
される。ピラミッドの底部、すなわちフル解像度の階層において、精度を高める
ために追加のスパース画素セットが選択される（２６６）。これは、平行移動を
±１画素、回転を±ａｔａｎ（１／フル解像度におけるテンプレートの半径）の
角度、および倍率変更を±１／基準画像テンプレートの半径に限定することによ
り達成される。このようにして計算された相関スコアが、２６８において、ユー
ザによって指定されたフル解像度相関スコア閾値よりも大きければ、２７０にお
いて整合が見つかったと判定される。そうでない場合には、２７２において、２
６０からの次の最も高い相関スコアが試される。
【００４２】 当業者であれば、上に定義したようなデジタル画像認識システムが多くの形態
で提供されうることを容易に理解できるはずである。そのような形態には、ａ）
書き換え不可能な記憶媒体（たとえば、コンピュータ内のＲＯＭなどの読み出し
専用メモリ素子、あるいはコンピュータＩ／Ｏアタッチメントによって読み出し
可能なＣＤ−ＲＯＭディスクなど）に永久的に記憶されている情報、ｂ）書き込
み可能な記憶媒体（たとえば、フロッピディスク、ハードディスク、または他の
磁気媒体）にすでに記憶されている情報、またはｃ）モデムまたは他のインター
フェースを介して、コンピュータの向こうの遠隔発信源からインターネットまた
は電話通信網などの通信媒体を介してコンピュータに送られる情報が含まれるが
、これらに限定されることはない。さらに、本発明はコンピュータソフトウェア
において実施されてもよいが、本発明を遂行するために必要な動作は、その部分
または全体がハードウェア構成要素を用いて実施されてもよい。
【００４３】 本明細書中で定義した本発明に対する様々な変更および拡張は当業者にとって
明らかであるだろうが、本発明は請求項の精神および範囲によって示される以外
に限定されることを意図してはいない。
【図面の簡単な説明】
【図１ａ】 多くの垂直エッジを有する基準画像テンプレートを示す図。
【図１ｂ】 多くの水平および垂直エッジを有する基準画像テンプレートを
示す図。
【図２ａ】 サーチ画像シーン内にある基準画像テンプレートを示す図。
【図２ｂ】 サーチ画像シーン内にある回転および倍率変更された基準テン
プレート画像を示す図。
【図３】 本発明のデータ構造のブロック図。
【図４】 画像ピラミッドを示す図。
【図５】 本明細書中で定義されるようなデジタル画像パターンマッチング
ツールおよび方法のフローチャートを示す図。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ブッシュマン，トーマス アメリカ合衆国 01945 マサチューセッ ツ州マーブルヘッド トリニティ ロード 10 Ｆターム(参考） 5L096 FA34 FA67 FA69 FA70 GA26 HA08 JA09 JA14

Claims (33)

    【特許請求の範囲】
  1. 【請求項１】 基準画像テンプレートを表す最適スパース画素セットを計算
    する方法であって、階調相関に基づくデジタル画像パターンマッチングに適合さ
    れた方法において、 前記基準画像テンプレート内の前記画素のサブセットから初期スパース画素セ
    ットを計算することと、 最適画素アキュムレータセット内に前記初期スパース画素セットを格納するこ
    とにより、初期化を行うことと、 前記最適画素アキュムレータセットを前記基準画像テンプレートおよび前記サ
    ーチ画像シーンに相関させて、まだ前記最適画素アキュムレータセット内に含ま
    れていない前記基準画像テンプレートのサブセットから、相関スコアに基づいて
    最適画素候補を決定することと、 前記最適画素候補が前記相関スコアに高度に影響を及ぼす場合には、前記最適
    画素アキュムレータセット内に、前記最適画素候補を格納することと、 前記相関および前記格納を反復することにより、前記基準画像テンプレートの
    残りの画素の中から、前記最適画素アキュムレータセットを構築することと、 前記アキュムレータスパース画素セットが所定の蓄積最適化論理に従う最適な
    画素セットを含んだところで、前記構築を終了することと、 前記最適スパース画素セット内に、前記最適画素アキュムレータセットを格納
    することとを含むことを特徴とする方法。
  2. 【請求項２】 前記初期スパース画素セットの前記計算の前に、前記基準画
    像テンプレートおよび前記サーチ画像シーンを画像ピラミッド形式に翻訳するこ
    とを特徴とする請求項１に記載の方法。
  3. 【請求項３】 前記所定の蓄積最適化論理は、前記画素のうちのどれが前記
    設定された最適画素アキュムレータセット内にすでに蓄積されている他の画素よ
    りも、前記相関スコアに対して影響力があるかを判定することをさらに含むこと
    を特徴とする請求項１に記載の方法。
  4. 【請求項４】 前記所定の蓄積最適化論理は、前記相関スコアの平均が所定
    の量だけ変化した時期を判定することをさらに含むことを特徴とする請求項３に
    記載の方法。
  5. 【請求項５】 前記所定の蓄積最適化論理は、前記格納のために選択された
    画素および前記格納のために選択されていない画素からの前記相関スコアの総和
    が、所定の量だけ増加した時期を判定することをさらに含むことを特徴とする請
    求項４に記載の方法。
  6. 【請求項６】 前記所定の量は、約０．００１であることを特徴とする請求
    項５に記載の方法。
  7. 【請求項７】 高い表示スコアを有する前記画素は、前記最適画素アキュム
    レータセット内にすでに蓄積されている他の画素よりも大きな相関スコアを有す
    る画素に決定されることを特徴とする請求項１に記載の方法。
  8. 【請求項８】 前記相関の工程は、所定の一連の変換を通して前記基準画像
    テンプレートの変換を行うことをさらに含むことを特徴とする請求項１に記載の
    方法。
  9. 【請求項９】 前記変換は、回転および倍率変更を行うことをさらに含むこ
    とを特徴とする請求項８に記載の方法。
  10. 【請求項１０】 前記回転および倍率変更は、所定の範囲に沿って所定の間
    隔で行われることを特徴とする請求項９に記載の方法。
  11. 【請求項１１】 前記相関の工程は、前記基準画像テンプレートを画素毎に
    倍率変更することをさらに含むことを特徴とする請求項１に記載の方法。
  12. 【請求項１２】 デジタル基準画像テンプレートのパターンマッチングに適
    合されたコンピュータシステムにおいて用いられるコンピュータプログラム製品
    であって、 コンピュータ判読可能なプログラムコードを有するコンピュータ使用可能媒体
    を含み、該プログラムコードは、該プログラムコード上で具体化される基準画像
    テンプレートを表す最適スパース画素セットを計算するように適合されており、
    前記コンピュータプログラム製品は、 前記基準画像テンプレートないの前記画素のサブセットから初期スパース画
    素セットを計算するための、コンピュータ判読可能なプログラムコードと、 最適画素アキュムレータセット内に前記初期スパース画素セットを格納する
    ことにより、初期化を行うための、コンピュータ判読可能なプログラムコードと
    、 前記最適画素アキュムレータセットを前記基準画像テンプレートおよび前記
    サーチ画像シーンに対して相関させ、前記最適画素アキュムレータセット内にま
    だ含まれていない画素のサブセットから、相関スコアに基づいて最適画素候補を
    決定するための、コンピュータ判読可能なプラグラムコードと、 前記最適画素候補が前記相関スコアに高度に影響を及ぼす場合には、前記最
    適画素アキュムレータセット内に、前記最適画素候補を格納するための、コンピ
    ュータ判読可能なプログラムコードと、 前記相関および前記格納を反復することにより、前記基準画像テンプレート
    の残りの画素の中から前記最適画素アキュムレータセットを構築するための、コ
    ンピュータ判読可能なプログラムコードと、 前記アキュムレータスパース画素セットが所定の蓄積最適化論理に従う最適
    な画素セットを含んだところで、前記構築を終了するためのコンピュータ判読可
    能なプログラムコードと、 前記最適スパース画素セット内に、前記最適画素アキュムレータセットを格
    納するための、コンピュータ判読可能なプログラムコードとをさらに含んでいる
    ことを特徴とするコンピュータプログラム製品。
  13. 【請求項１３】 前記プログラムコードは、前記基準画像テンプレートおよ
    び前記サーチ画像シーンを画像ピラミッド形式に翻訳するためのコードをさらに
    含むことを特徴とする請求項１２に記載のコンピュータプログラム製品。
  14. 【請求項１４】 前記所定の蓄積最適化論理のためのプログラムコードは、
    前記画素のうちのどれが前記最適画素アキュムレータセット内にすでに蓄積され
    た前記画素の他のものよりも、前記相関スコアに対して影響力があるかを判定す
    るためのプログラムコードをさらに含むことを特徴とする請求項１２に記載のコ
    ンピュータプログラム製品。
  15. 【請求項１５】 前記所定の蓄積最適化論理のためのプログラムコードは、
    前記相関スコアの総和が所定の量だけ変化した時期を判定するためのプログラム
    コードをさらに含むことを特徴とする請求項１４に記載のコンピュータプログラ
    ム製品。
  16. 【請求項１６】 前記所定の蓄積最適化論理のためのプログラムコードは、
    前記格納のために選択された画素および前記格納のために選択されていない画素
    からの前記相関スコアの平均が、所定の量だけ増加した時期を判定するためのプ
    ログラムコードをさらに含むことを特徴とする請求項１５に記載のコンピュータ
    プログラム製品。
  17. 【請求項１７】 前記所定の量は、約０．００１であることを特徴とする請
    求項１６に記載のコンピュータプログラム製品。
  18. 【請求項１８】 前記高い表示スコアを有する画素を決定するためのプログ
    ラムコードは、前記最適画素アキュムレータセット内にすでに蓄積されている他
    の画素よりも大きな相関スコアを有する画素に決定することを特徴とする請求項
    １２に記載のコンピュータプログラム製品。
  19. 【請求項１９】 前記相関を行うためのプログラムコードは、所定の一連の
    変換を通して前記基準画像テンプレートの変換を行うためのプログラムコードを
    さらに含むことを特徴とする請求項１２に記載のコンピュータプログラム製品。
  20. 【請求項２０】 前記変換を行うためのプログラムコードは、前記基準画像
    テンプレートを回転および倍率変更するためのプログラムコードをさらに含むこ
    とを特徴とする請求項１９に記載のコンピュータプログラム製品。
  21. 【請求項２１】 前記回転および倍率変更は、所定の範囲に沿って所定の間
    隔で行われることを特徴とする請求項２０に記載のコンピュータプログラム製品
    。
  22. 【請求項２２】 前記相関を行うためのプログラムコードは、前記基準画像
    テンプレートを画素毎に走査することをさらに含むことを特徴とする請求項１９
    に記載のコンピュータプログラム製品。
  23. 【請求項２３】 階調相関マッチングによってサーチ画像シーン内において
    基準画像テンプレートを見出すためのデジタル画像認識方法であって、 画素化階調デジタル画像として表される基準画像テンプレートを提供する工程
    と、 画素化階調デジタル画像として表されるサーチ画像シーンを提供する工程と、 前記基準画像テンプレートを表す最適スパース画素セットを計算する工程と、
    該工程は以下に示すさらなる工程、すなわち 前記基準画像テンプレート内の前記画素のサブセットから初期スパース画素
    セットを計算する工程と、 最適画素アキュムレータセット内に前記初期スパース画素セットを格納する
    ことにより、初期化を行う工程と、 前記最適画素アキュムレータセットを、前記基準画像テンプレートおよびサ
    ーチ画像シーンに対して相関させ、まだ前記最適画素アキュムレータセット内に
    含まれていない前記基準画像テンプレートの画素のサブセットから、相関スコア
    に基づいて最適画素候補を決定する工程と、 前記最適画素候補が高い相関感受性を有する場合には、前記最適画素アキュ
    ムレータセット内に、前記最適画素候補を格納する工程と、 前記相関および前記格納の工程を反復することにより、前記基準画像テンプ
    レートの残りの画素の中から、前記最適画素アキュムレータセットを構築する工
    程と、 前記アキュムレータスパース画素セットが所定の蓄積最適化論理に従う最適
    な画素セットを含んだところで、前記構築を終了する工程と、 前記最適スパース画素セット内に、前記最適画素アキュムレータセットを格
    納する工程とによるものであり、 前記最適スパース画素セットを前記サーチ画像シーンと相関させることにより
    、前記基準画像テンプレートの前記サーチ画像シーン内における位置を特定する
    工程とを含むことを特徴とする方法。
  24. 【請求項２４】 前記位置特定の工程は、前記サーチ画像シーンを画素毎に
    走査することを含むことを特徴とする請求項２３に記載の方法。
  25. 【請求項２５】 前記位置特定の工程は、前記最適スパース画素セットに含
    めるために、前記基準画像テンプレートから精度画素の追加のサブセットを選択
    することをさらに含むことを特徴とする請求項２４に記載の方法。
  26. 【請求項２６】 画素化デジタル画像のパターンマッチングのためのコンピ
    ュータ装置であって、 行列状の複数の画素から成る画素化基準画像テンプレートを格納するための基
    準画像メモリと、 行列状の複数の画素から成る画素化サーチ画像テンプレートを格納するための
    サーチシーンメモリであり、前記画素のそれぞれが階調および位置を有するサー
    チシーンメモリと、 前記基準画像テンプレートの前記画素のサブセットを格納するように適合され
    た最適スパース画素メモリと、 複数の画素の相関スコアを決定するように適合されたプロセッサであり、前記
    相関結果は前記基準画像テンプレートと前記サーチシーン画像の間のパターン整
    合の指標であり、前記相関結果は前記最適スパース画素メモリからの前記複数の
    画素および前記サーチ画像メモリからの前記複数の画素を、前記階調値と前記位
    置とを比較するために前記プロセッサに順次複写していくことによって決定され
    るようなプロセッサとを備え、 前記画素は、前記パターン整合の判定に高度に影響を及ぼす相関スコアを有し
    ている結果、前記最適スパース画素メモリ内に選択的に格納されることを特徴と
    するコンピュータ装置。
  27. 【請求項２７】 前記基準画像メモリおよび前記サーチシーンメモリは、前
    記画素を各階層が異なる解像度を有するような多階層ピラミッドの形で格納する
    ように適合されたピラミッド画像メモリをさらに備えることを特徴とする請求項
    ２６に記載のコンピュータ装置。
  28. 【請求項２８】 前記最適スパース画素メモリ内への前記画素の前記選択的
    格納は、前記画素が前記基準画像メモリ内の前記画素よりも前記パターン整合を
    判定しやすくなるように、前記相関スコアに影響を与える画素に決定されること
    を特徴とする請求項２６に記載のコンピュータ装置。
  29. 【請求項２９】 前記相関スコアは高偽陽性スコアであることを特徴とする
    請求項１に記載の方法。
  30. 【請求項３０】 前記所定の蓄積最適化論理は、前記最適画素アキュムレー
    タセットへの追加画素の追加しても、それ以上前記基準画像テンプレートを前記
    サーチ画像シーンから識別できなくなる時期を判定することを含むことを特徴と
    する請求項１に記載の方法。
  31. 【請求項３１】 前記所定の蓄積最適化論理は、前記高偽陽性スコアが増大
    傾向を示す時期を判定することを含むことを特徴とする請求項２９に記載の方法
    。
  32. 【請求項３２】 前記変換の工程は、透視歪曲のための調整を行うことをさ
    らに含むことを特徴とする請求項９に記載の方法。
  33. 【請求項３３】 前記変換の工程は、画素毎に水平および垂直移動させるこ
    とをさらに含むことを特徴とする請求項３２に記載の方法。
JP2000550058A 1998-05-18 1999-05-18 画像認識および相関システム Pending JP2002516440A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US8586298P 1998-05-18 1998-05-18
US60/085,862 1998-05-18
PCT/US1999/010815 WO1999060517A1 (en) 1998-05-18 1999-05-18 Image recognition and correlation system

Publications (1)

Publication Number Publication Date
JP2002516440A true JP2002516440A (ja) 2002-06-04

Family

ID=22194461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000550058A Pending JP2002516440A (ja) 1998-05-18 1999-05-18 画像認識および相関システム

Country Status (8)

Country Link
US (1) US6272247B1 (ja)
EP (1) EP1080444A4 (ja)
JP (1) JP2002516440A (ja)
KR (1) KR20010043717A (ja)
CN (1) CN1161710C (ja)
CA (1) CA2332118A1 (ja)
IL (1) IL139620A0 (ja)
WO (1) WO1999060517A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011036851A1 (ja) * 2009-09-28 2011-03-31 日本電気株式会社 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT413156B (de) * 1999-12-29 2005-11-15 Oesterr Forsch Seibersdorf Verfahren und anordnung zur prüfung von gegenständen
US6744913B1 (en) * 2000-04-18 2004-06-01 Semiconductor Technology & Instruments, Inc. System and method for locating image features
US6707932B1 (en) * 2000-06-30 2004-03-16 Siemens Corporate Research, Inc. Method for identifying graphical objects in large engineering drawings
US7039229B2 (en) * 2000-08-14 2006-05-02 National Instruments Corporation Locating regions in a target image using color match, luminance pattern match and hill-climbing techniques
US7062093B2 (en) * 2000-09-27 2006-06-13 Mvtech Software Gmbh System and method for object recognition
US6603882B2 (en) * 2001-04-12 2003-08-05 Seho Oh Automatic template generation and searching method
JP2002319028A (ja) * 2001-04-20 2002-10-31 Shinkawa Ltd 画像処理方法、同装置、およびボンディング装置
AU2003212540A1 (en) 2002-03-22 2003-10-08 British Telecommunications Public Limited Company Anomaly recognition method for data streams
DE60303138T2 (de) 2002-03-22 2006-08-31 British Telecommunications P.L.C. Vergleichen von mustern
US7272252B2 (en) * 2002-06-12 2007-09-18 Clarient, Inc. Automated system for combining bright field and fluorescent microscopy
US20050037406A1 (en) * 2002-06-12 2005-02-17 De La Torre-Bueno Jose Methods and apparatus for analysis of a biological specimen
US7054492B2 (en) * 2002-09-24 2006-05-30 Lee Shih-Jong J Fast regular shaped pattern searching
US7142718B2 (en) * 2002-10-28 2006-11-28 Lee Shih-Jong J Fast pattern searching
US7149357B2 (en) * 2002-11-22 2006-12-12 Lee Shih-Jong J Fast invariant pattern search
GB0229625D0 (en) 2002-12-19 2003-01-22 British Telecomm Searching images
US7110603B2 (en) * 2003-04-16 2006-09-19 Lee Shih-Jong J Fast invariant matching using template decomposition and synthesis
JP3981658B2 (ja) * 2003-09-30 2007-09-26 松下電器産業株式会社 画像処理方法および画像処理装置
JP4517633B2 (ja) * 2003-11-25 2010-08-04 ソニー株式会社 対象物検出装置及び方法
US7463773B2 (en) * 2003-11-26 2008-12-09 Drvision Technologies Llc Fast high precision matching method
GB0328326D0 (en) 2003-12-05 2004-01-07 British Telecomm Image processing
DE602005008993D1 (de) * 2004-09-17 2008-09-25 British Telecomm Public Ltd Co Analyse von mustern
US20060178833A1 (en) * 2005-02-04 2006-08-10 Bauer Kenneth D System for and method of providing diagnostic information through microscopic imaging
EP1732030A1 (en) 2005-06-10 2006-12-13 BRITISH TELECOMMUNICATIONS public limited company Comparison of patterns
CN101248457B (zh) 2005-07-28 2011-07-27 英国电讯有限公司 图像分析方法
JP4533273B2 (ja) * 2005-08-09 2010-09-01 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム
US20070091109A1 (en) * 2005-09-13 2007-04-26 Roscoe Atkinson Image quality
EP1798961A1 (en) 2005-12-19 2007-06-20 BRITISH TELECOMMUNICATIONS public limited company Method for focus control
EP1837806A1 (en) * 2006-03-24 2007-09-26 MVTec Software GmbH System and methods for automatic parameter determination in machine vision
US7885455B2 (en) * 2006-04-14 2011-02-08 UTC Fire & Security Americas Corporation, Inc Method of combining images of multiple resolutions to produce an enhanced active appearance model
US8103061B2 (en) * 2006-10-02 2012-01-24 Johnson & Johnson Consumer Companies, Inc. Method and apparatus for identifying facial regions
US7831098B2 (en) * 2006-11-07 2010-11-09 Recognition Robotics System and method for visual searching of objects using lines
CN100463002C (zh) * 2006-12-07 2009-02-18 北京航空航天大学 基于像素跳跃的图像匹配方法
US7814443B2 (en) * 2007-01-16 2010-10-12 International Business Machines Corporation Graph-based pattern matching in L3GO designs
JP2008181216A (ja) * 2007-01-23 2008-08-07 Mitsubishi Electric Corp 判別器生成装置及び物体検出装置
WO2009139161A1 (ja) * 2008-05-15 2009-11-19 株式会社ニコン 画像処理装置、画像処理方法、処理装置、処理方法およびプログラム
US8908937B2 (en) 2010-07-08 2014-12-09 Biomet Manufacturing, Llc Method and device for digital image templating
US8917290B2 (en) * 2011-01-31 2014-12-23 Biomet Manufacturing, Llc Digital image templating
CN102855251B (zh) * 2011-06-30 2015-07-01 北京百度网讯科技有限公司 一种需求识别的方法及装置
JP2013080326A (ja) * 2011-10-03 2013-05-02 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP6422250B2 (ja) * 2014-07-08 2018-11-14 キヤノン株式会社 画像処理方法、画像処理装置、プログラム及び記録媒体
US10503999B2 (en) 2015-03-24 2019-12-10 Hrl Laboratories, Llc System for detecting salient objects in images
US10262229B1 (en) 2015-03-24 2019-04-16 Hrl Laboratories, Llc Wide-area salient object detection architecture for low power hardware platforms
EP3274930A4 (en) * 2015-03-24 2018-11-21 Hrl Laboratories, Llc Sparse inference modules for deep learning
KR101774746B1 (ko) 2015-08-13 2017-09-05 주식회사 슈프리마 지문 인증 방법 및 그 지문 인증 방법을 이용한 장치
US10010372B1 (en) 2016-01-06 2018-07-03 Paul Beck Marker Positioning Apparatus
US10004564B1 (en) 2016-01-06 2018-06-26 Paul Beck Accurate radiographic calibration using multiple images
CN109858504A (zh) * 2017-11-30 2019-06-07 阿里巴巴集团控股有限公司 一种图像识别方法、装置、系统以及计算设备
US11210551B2 (en) 2019-07-29 2021-12-28 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Iterative multi-directional image search supporting large template matching
JP7496546B2 (ja) * 2020-05-28 2024-06-07 パナソニックＩｐマネジメント株式会社 画像処理方法、プログラム及び画像処理システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58130030A (ja) 1981-10-05 1983-08-03 工業技術院長 Ｘ線ディジタル画像処理装置
US4720871A (en) * 1986-06-13 1988-01-19 Hughes Aircraft Company Digital image convolution processor method and apparatus
US5067162A (en) * 1986-06-30 1991-11-19 Identix Incorporated Method and apparatus for verifying identity using image correlation
US5146228A (en) 1990-01-24 1992-09-08 The Johns Hopkins University Coherent correlation addition for increasing match information in scene matching navigation systems
JP3549569B2 (ja) 1993-04-27 2004-08-04 ソニー エレクトロニクス インコーポレイテッド 映像内の目標パターン探知方法
US5602937A (en) * 1994-06-01 1997-02-11 Cognex Corporation Methods and apparatus for machine vision high accuracy searching
US5642444A (en) * 1994-07-28 1997-06-24 Univ North Carolina Specialized image processing system architecture and method for image data arrays

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011036851A1 (ja) * 2009-09-28 2011-03-31 日本電気株式会社 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム
US8897601B2 (en) 2009-09-28 2014-11-25 Nec Corporation Image conversion parameter calculation device, image conversion parameter calculation method, and program
JP5712925B2 (ja) * 2009-09-28 2015-05-07 日本電気株式会社 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム

Also Published As

Publication number Publication date
CN1301369A (zh) 2001-06-27
EP1080444A1 (en) 2001-03-07
IL139620A0 (en) 2002-02-10
KR20010043717A (ko) 2001-05-25
WO1999060517A1 (en) 1999-11-25
EP1080444A4 (en) 2002-02-13
US6272247B1 (en) 2001-08-07
CN1161710C (zh) 2004-08-11
CA2332118A1 (en) 1999-11-25

Similar Documents

Publication Publication Date Title
JP2002516440A (ja) 画像認識および相関システム
KR100816607B1 (ko) 화상 대조 시스템, 화상 대조 방법 및 컴퓨터로 판독가능한 기록 매체
US6005978A (en) Robust search for image features across image sequences exhibiting non-uniform changes in brightness
KR101117837B1 (ko) 멀티 스케일 지향 패치를 이용한 멀티 이미지 특징 매칭
US10452938B2 (en) System and method for pattern detection and camera calibration
JP4907219B2 (ja) マシンビジョンにおける自動パラメータ決定のシステムおよび方法
US6516087B1 (en) Method for real time correlation of stereo images
KR19990067567A (ko) 영상에 패턴을 자동으로 위치시키기 위한 벡터상관 시스템
JPH06333054A (ja) 映像内の目標パターン探知方式
CN111149101B (zh) 一种目标图案查找方法及计算机可读存储介质
JP3099771B2 (ja) 文字認識方法、装置及び文字認識プログラムを記録した記録媒体
US20120038785A1 (en) Method for producing high resolution image
JPH05189571A (ja) パターンマッチング方法及び装置
US6351560B1 (en) Apparatus, method, and program for locating an objective on a form and a recording medium for recording the program for locating the objective on the form
JP4841881B2 (ja) 文字認識プログラム、文字認識装置及び文字認識方法
JP4530723B2 (ja) パターンマッチング方法、パターンマッチング装置、および電子部品実装方法
CN116824183B (zh) 基于多重特征描述符的图像特征匹配方法和装置
Chen et al. Cooperative search algorithm for mutual-information-based image registration
JP3424407B2 (ja) 押込型硬度計
JP4376577B2 (ja) 画像処理装置及び画像処理方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム
JPH0581471A (ja) 画像上の文字の配列方向判定方法
CN110045381A (zh) 一种基于线特征简化的侧扫声呐线特征匹配改进方法
CN116324881A (zh) 模板图像创建方法、模板图像创建系统和程序
JP2004062271A (ja) 画像処理方法
JP2002259988A (ja) 移動物体領域抽出方法