JP2001052183A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像処理における演算に多大な時間がかかる
という課題があった。 【解決手段】 原画像をよく似た属性の部分領域である
セグメントに予め分割するセグメント化部と、原画像及
びセグメントの画像の表示を行う画像表示部と、テンプ
レート画像として選択したいセグメントを指定する入力
装置と、指定されたセグメントに外接する外接長方形を
生成する外接長方形生成部と、原画像から外接長方形で
囲まれた領域を切り出す画像切出部と、切り出された画
像をテンプレート画像として登録するパターン登録部と
を備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ロボットや産業
機械の位置制御及び検査などに使われる視覚装置におけ
る画像処理装置および画像処理方法に関するものであ
り、特にテンプレートマッチング法のためのテンプレー
ト画像の生成、およびテンプレートマッチング方法に関
するものである。

【０００２】

【従来の技術】従来の画像処理装置の説明をはじめる前
に、先ず、基本的なテンプレートマッチング手法につい
て説明する。テンプレートマッチング法（Template Mat
ching＝ＴＭ手法）は、ティーチング・バイ・ショーイ
ング、即ち、対象毎にプログラムを組まなくても対象の
画像を登録するだけで、自動的にその対象を再認識する
ことができることを特徴とし、画像処理に関する知識の
ないユーザでも簡単に使いこなせるため、ユーザのニー
ズが高い位置合わせ手法である。また、最近のファクト
リーオートメーション（以下ＦＡという）分野における
画像処理装置への要求として２値化処理だけで対応でき
ないような複雑な検査や位置決めを高速に精度よく行う
ことが要求されており、正規化相互相関係数に基づいた
位置合わせを行なう濃淡テンプレートマッチングへの期
待は大きい。しかし、濃淡テンプレートマッチングはそ
の膨大な計算量のために、従来専用ハードウエアなしに
は、実現不可能とされてきた。そのため、画像処理装置
が高価になり、市場開拓の障害となっていた。

【０００３】図１６は従来の濃淡テンプレートマッチン
グ処理を説明する説明図である。図に示すように、濃淡
テンプレートマッチングは位置（ｘ，ｙ）から開始され
るテンプレートと同じ大きさの局所領域Ｓ_x,y を順にず
らしながら、テンプレート画像Ｇ_i,j と探索画像Ｆ_i,j
の相関値Ｍ_x,y を計算し、相関値が最も高い位置（ｘ，
ｙ）をテンプレートが発見された位置として出力する。
なお、この相関値Ｍ_{x, y} は次の式（１）で与えられる。

【０００４】

【数１】

【０００５】ただし、上記式（１）において、Ｆ，Ｇは
探索画像あるいはテンプレート画像の局所領域内におけ
る画像の輝度の平均値、ｎは局所領域Ｓ_x,y に含まれる
画素の個数である。また、この式（１）には分母側に画
像の輝度分散を表す項が含まれていることからもわかる
ように、この相関値Ｍ_x,y は、画像の明るさの線形的な
変動Ｆ’_i,j ＝Ｆ_i,j ×ｋ１＋ｋ２に全く影響を受けな
いことがわかる。従って、濃淡テンプレートマッチング
を用いることによってテンプレート画像と検査画像との
コントラストが変化したり、画像全体の明るさの変化や
ノイズへの余裕度が大きい。

【０００６】しかしながら、このような濃淡テンプレー
トマッチングは相関値演算に時間がかかり、ＦＡ分野な
ど、高速化が要求される場合には時間の制限から実用的
に対応できなかった。たとえば、５１２×５１２の検査
画像中、１２８×１２８のテンプレート画像のサーチを
行う場合、次の式（２）による回数の積和演算が必要で
あり、１００Ｍｉｐｓクラスの計算機をもってしても１
０秒以上の計算時間を要することとなる。

【０００７】 １２８×１２８×（５１２−１２８）×（５１２−１２８） ＝２．４×１０⁹ ・・・（２）

【０００８】これに対して、よく知られた高速化手法と
して粗精サーチ法がある。図１７は粗精サーチ法による
処理の概要を説明する説明図である。図に示すように、
粗精サーチ法は、第１ステップとして原画像を１／４や
１／８に縮退した画像（粗画像）を作り、粗画像のテン
プレート画像でだいたいの位置をサーチし、その周辺だ
けを原画像で精サーチして正確な位置を求めるという方
法である。この方法で先ほどの例と同じ結果を得るのに
必要な演算量は、粗精サーチの比率を１：Ｎとすれば、
下記式（３）で与えられる回数で済む。

【０００９】

【数２】

【００１０】図１８は図１７で説明した粗精サーチ法に
おける式（３）の精サーチ量Ｎと粗精比との関係を示す
グラフ図である。図１８に示すように、Ｎを変化させる
と、Ｎが極小となる最適な粗精比が存在するが、このよ
うな場合にも、ＦＡラインでの実用化レベルとして目安
にされる０．１ｓｅｃ以内の認識を達成するには、まだ
数百倍の時間短縮を達成しなければならない。

【００１１】このように、従来の粗精サーチによるテン
プレートマッチング法では、処理速度が遅く実用的でな
いという問題点があった。

【００１２】このようなテンプレートマッチング技術に
対して、いくつかの技術が開発されている。図１９は、
例えば特公平２−６４２号公報に示された従来の部分テ
ンプレートマッチング法を示す説明図である。図におい
て、１１はパターン位置検出対象である半導体ペレット
の回路素子形成領域であり、１２は回路素子形成領域１
１の２辺に規則的に配列された接続パッドである。１３
ａ，１３ｂはパターン位置検出に際して探索されるパタ
ーン探索領域（目標パターン）である。

【００１３】ここでは目標パターンとそれぞれ一致する
テンプレートを持ち、予め教示していた位置関係を利用
して、真のピークを検出しようとするものである。この
場合、対象としたいテンプレートを部分に分けて、それ
ぞれの部分でパターン探索領域１３ａ，１３ｂとテンプ
レートマッチングすることによって、同一の特徴を持っ
たパターンが複数個等間隔に配列されている場合でも、
目標パターンを識別できる。また、目標パターンを部分
に分けて撮像できるので、分解能を高めることができ
る。

【００１４】しかしながら、この方式ではどの部分をテ
ンプレートとすれば良いのか、ユーザが判断しなければ
ならず、ノウハウが必要とされた。

【００１５】一方、テンプレートの自己評価方法を使用
する画像処理装置として、特開昭６１−７４０８２号公
報に開示されるものがある。図２０は前述した従来の画
像処理装置の構成を示すブロック図である。図におい
て、１４は検出対象を撮像する撮像手段、１５は撮像さ
れた画像データを２値化する２値化回路、１６は２値化
された画像データを格納する画像メモリ、１７はシフト
メモリ１８、並列切出しレジスタ１９、標準パターンレ
ジスタ２０、パターン照合回路２１より成り、画像デー
タより切り出した部分パターンを標準パターンと照合す
るマッチング回路、２２はパターン照合回路２１の出力
の最小値を検出する最小値検出回路、２３は領域限定回
路、２４はそれらに所定のタイミングを与えるタイミン
グ発生回路、２５は当該システムの全体制御を行う計算
機である。

【００１６】次に動作について説明する。撮像手段１４
で撮像された検出対象の画像から、求めるべき標準パタ
ーンの大きさの部分パターンを切り出して、標準パター
ンの候補とし、順次切り出された部分パターンあるいは
部分パターンと検出対象の画像から標準パターンとして
の適性を表す評価値を求め、その値に基づいて標準パタ
ーンを決定するように動作する。このように、画面内か
ら自動的にパターンマッチングに適した標準パターンを
選択できるので、ユーザのノウハウが不要となる。

【００１７】しかしながら、上記画像処理装置では入力
画像の中からテンプレートを選択するのに、ユーザは予
めテンプレートの大きさを決定しておかなければなら
ず、せっかく自己評価して最適なテンプレートが自動的
に登録されるとしても最適な大きさが選択されているか
どうかは評価できない。

【００１８】また、入力画像全面をテンプレートの候補
として順次切り出して、それぞれについて評価しなけれ
ばならないので、時間もかかる。多くのテンプレートマ
ッチングを用いて認識を行なう場合、ユーザが認識した
い対象物は自明であることが多いのに、そのユーザの知
識が活かせず、評価値のみでテンプレートが決定されて
しまうので、不必要な処理にかかる時間が多く、ユーザ
の意図も反映しにくいという問題点があった。

【００１９】図２１は特開平４−３５９３８８号公報に
開示される従来の画像処理装置の構成を示すブロック図
である。図において、２６はサーチ画像を保存する探索
画像用記憶装置、２７はテンプレート画像を保存してお
くテンプレート画像用記憶装置、２８は両画像の０値を
処理する０値データ処理回路で、２９は両画像値の比を
求める割算器である。３０は割算器２９の計算値を保存
する計算値保存用記憶装置、３１は割算器２９の出力値
と計算値保存用記憶装置３０の保存値との差の絶対値を
求める絶対値計算回路、３２は今回得られた絶対値と前
回得られた絶対値を加算する加算回路、３３はしきい値
を保存するしきい値保存回路で、３４は加算回路３２に
よる加算値としきい値とを比較する比較回路である。ま
た、この画像処理装置では、残差逐次検定法（Suquenti
al Similarity Ditection Algorithm ＝ＳＳＤＡ法）に
よる打ち切りを、画像間に明るさの差があっても達成で
きるように変形している。従って、画像取得時の周囲の
明るさなどの制限がなくなって、常時環境が変化するよ
うな状況でのアプリケーションに用いることができる。

【００２０】この画像処理装置では、入力画像全体の明
るさのコントラストの幅が変化しても対応できるように
なっているが、画像全体の明るさがシフトアップもしく
はシフトダウンしたときには、両画像の比はテンプレー
トの位置によって変化するので対応できない。また、し
きい値処理をしており、このしきい値を決定するにはノ
ウハウを要する。

【００２１】また、サブピクセルの精度を求める方法と
して、特開平５−１２０４３６号公報に開示されるもの
が提案されている。図２２は前述した特開平５−１２０
４３６号公報に開示された従来の画像処理方法を示すフ
ロー図である。概要について説明すると、画素位置を画
素単位でずらしつつ被検出画像とテンプレート画像との
相関値を算出し、その相関値が最大となる画素位置を探
索し（第１段階）、その８近傍画素の位置と相関値を求
め（第２段階）、これらの座標と相関値から多変数多項
式回帰曲面を決定し（第３段階）、その曲面のピークか
らサブピクセル精度のピーク検出を行なう（第４段階）
ものである。このように、多変数多項式回帰曲面から、
高精度でピーク位置の変化に連続な推定ピーク位置を求
めることができるので、画素単位を超越したサブピクセ
ル精度で位置検出することができる。

【００２２】しかしながら、中心と８近傍の全９点の相
関値を最初に計算しなければならず、処理時間がかか
る。また、ＸＹ平面と相関値の関係が２次の曲面を形成
することが仮定となっているが、実際の相関値のピーク
と近傍の形状は２次曲面よりもするどいピークを描くこ
とが多いので、２次曲面の近似では正確にピークを求め
ることができない。

【００２３】

【発明が解決しようとする課題】従来の画像処理装置は
以上のように構成されているので、通常の濃淡テンプレ
ートマッチングでは相関値の演算に多大な時間がかかる
ため実用的ではなく、粗精サーチによるテンプレートマ
ッチングでも処理時間の短縮は充分とはいえず、ＦＡな
どの高速処理が要求される分野には時間の制約から実用
的に対応することができないものであり、さらに、部分
テンプレートマッチング法によるものでは、どの部分を
テンプレートとするかをユーザが判断するためのノウハ
ウが必要であり、テンプレートの自己評価を行う方式で
は評価値のみでテンプレートが決定されてしまうため、
ユーザの知識を生かせず、不必要な処理にかかる時間が
多く、ユーザの意図も反映しにくいものであり、ＳＳＤ
Ａ法によるものでは画像全体の明るさのシフトアップや
ダウンに対応できず、しきい値処理のためのしきい値の
決定にノウハウが必要であり、サブピクセル精度で位置
検出するものでは、中心と８近傍の相関値の計算に時間
がかかり、２次曲面の近似では正確にピークを求めるこ
とができないなどの課題があった。

【００２４】この発明は上記のような課題を解決するた
めになされたもので、特別なノウハウを必要とせず、認
識精度を低下させることなく処理時間を短縮できる画像
処理装置を得ることを目的とする。

【００２５】

【課題を解決するための手段】この発明に係る画像処理
装置は、原画像をよく似た属性の部分領域であるセグメ
ントに予め分割するセグメント化部と、原画像及びセグ
メント化部にて分割されたセグメントの画像の表示を行
う画像表示部と、テンプレート画像として選択したいセ
グメントを指定するための情報が入力される入力装置
と、この入力装置に入力された情報にて指定されたセグ
メントに外接する外接長方形を生成する外接長方形生成
部と、原画像から外接長方形で囲まれた領域を切り出す
画像切出部と、この画像切出部によって切り出された画
像をテンプレート画像として登録するパターン登録部と
を備えるものである。

【００２６】この発明に係る画像処理装置は、原画像を
よく似た属性の部分領域であるセグメントに予め分割す
るセグメント化部と、原画像及びセグメント化部にて分
割されたセグメントの画像を表示する画像表示部と、テ
ンプレート画像として選択したいセグメントを指定する
情報が入力される入力装置と、原画像から入力装置に入
力された情報にて指定されたセグメントを含む領域の切
り出しを行う画像切出部と、この画像切出部によって切
り出された画像をテンプレートマッチングに使用する領
域とそれには使用しない領域とに分け、テンプレートマ
ッチングには使用されない領域にマスクを生成するマス
ク生成部と、このマスク生成部にて生成されたマスクも
テンプレート画像として登録するパターン登録部とを備
えるものである。

【００２７】この発明に係る画像処理装置は、入力画像
に空間バンドパスフィルタを作用させるフィルタリング
部と、このフィルタリング部の出力に対して２種類のし
きい値を用いたしきい値処理を行って３値の画像表現を
得る３値化部と、この３値化部の出力する３値化された
中間画像と、同様にして作成したテンプレート画像との
間で近似的な相互相関演算を行い、その相関値に基づい
て最良の重ね合わせが得られる位置を得る３値テンプレ
ートマッチング部と、重ね合わせた入力画像のフィルタ
リング部の出力中の、テンプレートデータの中から予め
選び出した着目画素に対応する画素を参照して、その画
素がテンプレートデータに保存されている要件を満たし
ているか否かを判定する適合度判定部と、要件を満たし
ていると判定された画素の集まりから、入力画像の小数
点以下の位置ずれ量を算出する位置ずれ量算出部と、こ
の位置ずれ量算出部の算出した小数点以下の位置ずれ量
とテンプレートデータに保存されている小数点以下の位
置ずれ量とを比較して最終の位置合わせ結果を得る演算
部とを備えるものである。

【００２８】この発明に係る画像処理装置は、原画像よ
り切り出された指定領域の画像と、その開始点や姿勢を
変えながら取り出した指定領域と同じ大きさの領域の画
像との類似度を評価する類似度評価部と、この類似度評
価部の評価結果に基づいて、指定領域の画像がテンプレ
ート画像として適切であるか否かを判定する判定部とを
備えるものである。

【００２９】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による画
像処理装置の構成を示すブロック図である。図におい
て、８０は画像入力部より入力された原画像であり、８
１はこの原画像８０に予めよく似た属性の部分領域であ
るセグメントに分割するセグメント化部である。８２は
原画像８０とセグメント化部８１によって分割されたセ
グメントの画像の表示を行う画像表示部であり、８３は
ユーザがこの画像表示部８２の表示を参照してテンプレ
ート画像として選択したいセグメントを指定する情報の
入力を行う入力装置である。８４はこの入力装置８３よ
り入力された情報によって指定されたセグメントに外接
する外接長方形を生成する外接長方形生成部であり、８
５は原画像８０よりこの外接長方形生成部８４の生成し
た外接長方形で囲まれた領域を切り出す画像切出部、８
６はこの画像切出部８５によって切り出された画像をテ
ンプレート画像として登録するパターン登録部である。

【００３０】次に動作について説明する。ここで、図２
はこの実施の形態１による画像処理装置の動作を示すフ
ロー図であり、図３は実施の形態１の画像処理装置によ
る画像処理の過程をイメージ的に示した説明図である。
このように構成された画像処理装置を用いたテンプレー
トパターンの登録を次のように行われる。ユーザは登録
したい対象物をカメラなどの画像入力部を用いて撮像す
る（ステップＳＴ１２１）。入力された原画像８０は一
旦画像メモリに格納される。次にこの原画像８０をセグ
メント化部８１によって領域分けする（ステップＳＴ１
２２）。領域分けは様々な方法で行なえることが知られ
ている。例えば、次のような方法がある。入力画像をあ
るしきい値で２値化して２値画像を生成し、ラベリング
を行なうことによって領域分けを行う。この他に、入力
画像に空間バンドパスフィルタであるディファレンス・
オブ・ガウシアン・フィルタ（ Difference of Gaussia
n filter；以下、ＤＯＧフィルタという）をかけ、２つ
のしきい値でしきい値処理を行ない、３値画像を生成
し、ラベリングすることによって領域分けする。なお、
これら以外の手法を用いてセグメント化してもよい。

【００３１】次に、どのように領域分けされたかをユー
ザにわかるように画像表示部８２に領域分けされた画像
を表示する（ステップＳＴ１２３）。ユーザはそれを見
て、自分が登録したい対象物の領域を選択し、マウスや
キーボードなどの入力装置８３を用いて入力する（ステ
ップＳＴ１２４）。図３に示した例では対象物は全体が
ひとつの領域に入っており、ユーザもそのひとつの領域
を選択するように描かれているが、対象物が２つ以上の
領域に分けられているときなど、複数個の領域を同時に
選択することもできる。また、ユーザが選択しやすいよ
うに領域に番号をつけ番号を指定してもよいし、面積や
コーナー数を一緒に表示してもよい。なお、この実施の
形態１ではユーザが対象物の領域を選択する例を示した
が、予めユーザが登録したい対象物の特徴、即ち、面積
や形状的特徴などを入力しておき、それに最も近い領域
を自動的に選択したり、ユーザに示すなどしてユーザの
プログラミングを補助するようにしても良い。

【００３２】入力装置８３から入力された情報によって
原画像８０中の対象物に対応したセグメントが選択され
（ステップＳＴ１２５）、選択された領域が決定した
後、そのセグメントに外接する外接長方形が外接長方形
生成部８４によって生成される（ステップＳＴ１２
６）。なお、複数の領域が同時に選択された場合は、そ
のすべての領域を含む外接長方形を生成する。外接長方
形は着目領域中すべての画素の位置のＸの最小値、Ｙの
最小値と、Ｘの最大値、Ｙの最大値の二点を対角とする
長方形で、Ｘ軸に平行な辺とＹ軸に平行な辺とで構成さ
れる。最後に画像切出部８５によって原画像８０より、
この外接長方形によって囲まれた領域の切り出しを行い
（ステップＳＴ１２７）、パターン登録部８６にてそれ
をテンプレート画像として登録する（ステップＳＴ１２
８）。

【００３３】以上のように、この実施の形態１によれ
ば、ユーザの指定したセグメントに外接する長方形で囲
まれた領域の画像をテンプレート画像とするように構成
したので、パターンマッチングの原理を熟知していない
ユーザでも、少ない操作で適切な基準パターンを選ぶこ
とができる。

【００３４】実施の形態２．この実施の形態２は、テン
プレートマッチングに使用しない領域に対してマスクを
生成するものである。

【００３５】図４はこの発明の実施の形態２による画像
処理装置の構成を示すブロック図である。図において、
８７は画像切出部８５によって原画像８０から切り出さ
れた画像を、テンプレートマッチングに使用する領域と
それには使用しない領域とに分け、テンプレートマッチ
ングには使用されない領域にマスクを生成するマスク生
成部である。なお、図１と同一構成要素には同一符号を
付して重複する説明を省略する。

【００３６】次に動作について説明する。図５は実施の
形態２の画像処理装置による動作を示すフロー図であ
り、図６は実施の形態２の画像処理装置による画像処理
の過程をイメージ的に示した説明図である。図５に示す
ように構成された実施の形態２による画像処理装置を用
いたテンプレートパターンの登録は以下に示す手順で行
われる。登録手順のうち、画像入力（ステップＳＴ１２
１）から画像切り出し（ステップＳＴ１２７）までの手
順は上記実施の形態１と同じやり方で行なうので重複す
る説明を省略する。ただし、上記実施の形態１のように
セグメントの外接長方形を切り出すもののみではなく、
ユーザが自由に好きな形に指定した領域を切り出すよう
にしてもよい。

【００３７】これらいずれかの方法で領域を切り出した
後、マスク生成部８７は切り出した領域をテンプレート
マッチングに使用する領域と使用しない領域とに自動的
に分ける。この領域分けは上記実施の形態１で行なった
ような領域分けの方法がある。また、上記実施の形態１
のようにテンプレート領域を決定するときに、原画像８
０の全体を領域分けしてから、ユーザが領域を選択する
ことによって、テンプレート領域を決定した場合、対象
物の領域は既知であるので、対象物の領域はテンプレー
トとして使用する領域とし、その他の領域、主に背景で
あることが多い領域は使用しない領域として分けること
ができる。この使用しない領域はマスク領域としてマス
クを生成し（ステップＳＴ１２９）、マスク領域の画像
データはテンプレートマッチング動作時に参照しないよ
うにテンプレートデータに記録しておく（ステップＳＴ
１３０）。なお、テンプレートマッチングを実行すると
きには、マッチングに使用する領域のみを使用してサー
チを行なう。

【００３８】以上のように、この実施の形態２によれ
ば、テンプレートマッチングに使用しない領域に対して
マスクを生成するように構成したので、登録した矩形パ
ターンの面積に比べて認識対象物体が小さい場合でも信
頼性の高いマッチングが可能になる。

【００３９】実施の形態３．この実施の形態３は、着目
画素がテンプレートデータに保存されている要件を満た
しているか否かを判定して、満たしている着目画素のみ
を採用し、採用画素の集まりから入力画像の小数点以下
の位置ずれ量を計算するものである。

【００４０】図７はこの発明の実施の形態３による画像
処理装置の構成を示すブロック図である。図において、
４１はこの対象物を撮像して原画像の入力を行うテレビ
カメラなどの画像入力部、９０は画像入力部４１より入
力されたサーチ画像を縮小する画像縮小部、９１はこの
画像縮小部９０にて縮小された画像と画像入力部４１か
らの縮小されていない画像とを切り替える切替部であ
り、９２はこの切替部９１より出力される画像に空間バ
ンドパスフィルタを作用させるフィルタリング部であ
る。このフィルタリング部９２でも上記実施の形態１の
場合と同様に、空間バンドパスフィルタとしてＤＯＧフ
ィルタが用いられている。９３はこのフィルタリング部
９２の出力に対して２種類のしきい値を用いたしきい値
処理を行って、３値表現された多重解像度のシーン表現
である３値画像を得る３値化部であり、９４はこの３値
化部９３でしきい値処理に用いる２種類のしきい値の最
適値を決定する最適しきい値決定部である。

【００４１】また、９５はこの３値化部９３の出力する
３値画像と３値表現された２次元テンプレート画像との
間でテンプレートマッチングを行って近似的な相互相関
の演算を行って、得られた相関値に基づいて最良の重ね
合わせが得られる位置を算出する３値テンプレートマッ
チング部である。９６は記憶されているテンプレートデ
ータの中から予め選び出した着目画素について、重ね合
わせた入力画像のフィルタリング部９２の出力中の対応
する画素を参照して、その画素がそのテンプレートデー
タに保存されている要件を満たしているか否かを判定す
る適合度判定部である。９７はこの適合度判定部９６に
おいて前記要件を満たしていると判定された画素の集ま
りから、入力画像の小数点以下の位置ずれ量を計算する
位置ずれ量算出部であり、９８はこの位置ずれ量算出部
９７の算出した小数点以下の位置ずれ量を前記テンプレ
ートデータに保存されている小数点以下の位置ずれ量と
比較して最終位置合わせ結果を得る演算部である。

【００４２】次に動作について説明する。図８は実施の
形態３の画像処理装置によるテンプレート生成処理を示
すフロー図、図９は図８に示したテンプレート生成処理
における小数点以下位置ずれ量の計算方法を示す説明
図、図１０は実施の形態３の画像処理装置による画像処
理の流れを示すフロー図、図１１は実施の形態３の画像
処理装置による画像処理の過程をイメージ的に示した説
明図である。

【００４３】先ず、図８に従ってテンプレートデータの
生成について説明する。ユーザは対象物を撮像して入力
し、テンプレート領域としての対象物の部分を切り出す
ように操作する（ステップＳＴ１３１）。切り出された
画像はフィルタリング部９２において、自動的にＤＯＧ
フィルタでフィルタリングされてフィルタリング画像を
生成する（ステップＳＴ１３２）。３値化部９３はこの
フィルタリング画像を２つのしきい値で３値化し、３値
画像を生成する（ステップＳＴ１３３）。この３値画像
はテンプレート画像として保存する（ステップＳＴ１３
４）。一方、その３値画像の中で正領域と負領域が隣あ
っている位置をいくつか選びだし（ステップＳＴ１３
５）、着目点としてその座標と属性をテンプレートデー
タとして保存する（ステップＳＴ１３６）。ここで、こ
の属性とは正領域と負領域の位置関係のことで、正領域
の右に負領域がある組合せ、反対の位置関係にある組合
せ、上下関係にある組合せなどがある。場合によって
は、右上、右下、左上、左下というような斜め方向の属
性を含んでもよいが、ここでは簡単に説明するため、上
下左右の位置関係のみを扱う。

【００４４】次に各着目点における小数点以下の位置ず
れ量を計算する（ステップＳＴ１３７）。この計算方法
を図９を用いて説明する。この位置ずれ量計算は３値化
する前のフィルタリング画像を用いて行なう。着目点が
正領域、負領域に相当するフィルタリング画像の値をも
とに、その２点を結んだグラフが０点、すなわち、Ｘ軸
と交差する位置のＸ座標を計算で求める。ここでは、２
点間は線形であると仮定して、計算しているが、その他
の補間手法を用いても良い。算出された小数点以下の位
置ずれ量はテンプレートデータとして保存される（ステ
ップＳＴ１３８）。このようにして、テンプレートデー
タには３値画像によるテンプレート画像、着目点の座標
と属性、小数点以下の位置ずれ量の標準値などが保存さ
れる。

【００４５】次にサーチ手順を図１０に従って説明す
る。先ず、画像入力部４１よりサーチ画像を入力し（ス
テップＳＴ１４１）、そのサーチ画像をデジタル化して
フィルタリング部９２に送り、ＤＯＧフィルタを作用さ
せ、フィルタリング画像を生成する（ステップＳＴ１４
２）。そのフィルタリング画像を３値化部９３に送り、
二つのしきい値でしきい値処理して３値画像を得る（ス
テップＳＴ１４３）。このようにして得られた３値化さ
れた中間画像を３値テンプレートマッチング部９５に送
り、同様にして作成してテンプレートデータとして記憶
されているテンプレート画像との間で近似的な相互相関
演算を行ない（ステップＳＴ１４４，ＳＴ１４５）、そ
の相関値に基づいて最良の重ね合わせを得る位置を算出
する（ステップＳＴ１４６）。

【００４６】ついで適合度判定部９６において、記憶さ
れているテンプレートデータの中からあらかじめ選び出
した着目画素について、サーチ画像のフィルタリング画
像と重ね合わせを行い（ステップＳＴ１４７）、その画
素の符号が一致するか否かをチェックする（ステップＳ
Ｔ１４８）。すなわち、着目点の位置において、テンプ
レート画像の正領域の位置にはサーチ画像の対応する点
においても正領域の領域になっており、その組合せにお
ける負領域の位置にはサーチ画像でも負領域が存在する
というように＋−の組合せでどちらでも一致する場合、
その着目点は採用するものと判定して位置ずれ量算出部
９７に送る。位置ずれ量算出部９７はこの採用すると判
定された着目点について小数点以下の位置ずれ量を計算
する（ステップＳＴ１５０）。この小数点以下の位置ず
れ量の計算方法はテンプレートデータ生成のときと同様
に、フィルタリング画像の正負のそれぞれの値から０を
通る位置を推定する方法である。小数点以下の位置ずれ
量はＸ，Ｙの方向別に加算されて記録され（ステップＳ
Ｔ１５１）、そのときデータ数もインクリメントする
（ステップＳＴ１４９）。さきほどの着目点での＋−が
一致しなかった着目点については、そのデータは使わず
に捨てる。

【００４７】すべての着目点について上記小数点以下の
位置ずれ量の処理が行われた後、演算部９８は方向別に
それらの平均を求め、これをサーチ画像の小数点以下の
位置ずれ量とする（ステップＳＴ１５２）。次に、それ
をテンプレートとして記憶されている固有の位置ずれ量
と比較し、その差と３値画像の近似的相互相関のピーク
で求めた対象物の位置とを加算して、その位置を対象物
の正確な位置とする（ステップＳＴ１５３）。

【００４８】以上のように、この実施の形態３によれ
ば、テンプレートマッチングに使用しない領域に対して
マスクを生成するように構成したので、登録した矩形パ
ターンの面積に比べて認識対象物体が小さい場合でも信
頼性の高いマッチングが可能になる。

【００４９】実施の形態４．この実施の形態４は、指定
領域の画像と、開始点や姿勢をずらしながら切り出した
領域の画像の類似度を評価し、その評価結果に基づいて
指定領域のテンプレート画像として適当かを判定するも
のである。

【００５０】図１２はこの発明の実施の形態４による画
像処理装置の構成を示すブロック図である。図におい
て、９９は画像入力部から入力された原画像８０よりユ
ーザの指定する指定領域を切り出す第１画像切出部であ
り、１００はこの第１画像切出部９９の切り出した画像
が一旦登録されるパターン登録部である。１０１は原画
像８０を回転および平行移動させる回転／平行移動部で
あり、１０２はこの回転／平行移動部１０１にて回転あ
るいは平行移動された原画像８０より前記指定画像と同
一の大きさの領域を切り出す第２画像切出部である。１
０３はこの第２画像切出部１０２によって切り出された
領域の画像と前記指定領域の画像との類似度を評価する
類似度評価部であり、１０４はこの類似度評価部１０３
の評価結果に基づいて、パターン登録部１００に登録さ
れている指定領域の画像がテンプレート画像として適切
であるか否かを判定する判定部である。なお、図１と同
一構成要素には同一符号を付して重複する説明を省略す
る。

【００５１】次に動作について説明する。図１３は実施
の形態４の画像処理装置による動作を示すフロー図であ
り、図１４は実施の形態４の画像処理装置による画像処
理の過程をイメージ的に示した説明図、図１５は実施の
形態４の画像処理装置によるテンプレート画像の回転処
理を示す説明図である。なお、この実施の形態４の画像
処理装置はテンプレートを登録する方法を使用するもの
である。

【００５２】ユーザは登録したい対象物をカメラで撮像
して原画像８０として入力し、その原画像８０の中で自
分が登録したい領域を第１画像切出部９９に指示してそ
れを切りとり、テンプレートとしてパターン登録部１０
０に一旦登録する（ステップＳＴ１６１）。なお、この
テンプレートを仮テンプレートと呼ぶ。次に、類似度評
価部１０３はこの仮テンプレートを用いて、回転／平行
移動部１０１および第２画像切出部１０２によって領域
の開始点や姿勢をずらしながら切り出されてくる領域の
画像と、この仮テンプレートとの相互相関値を求め（ス
テップＳＴ１６２）、スコアマップを生成する（ステッ
プＳＴ１６３）。

【００５３】次に判定部１０４によってマップ形状の解
析を行なう（ステップＳＴ１６４）。このマップ形状の
解析は図１４に示すように行われる。即ち、真の対象物
の位置にマップ上でピークがあらわれるか、同じような
ピークが複数個でないか、ノイズに埋もれないか、など
の安定性のチェック（ステップＳＴ１６５）やユニーク
ネスのチェック（ステップＳＴ１６６）である。もし、
同じ画像に対象物とおなじようなパターンが複数個あ
り、ピークがいくつもあらわれるような場合にはユーザ
に警告を発する（ステップＳＴ１６７）。ユーザが画面
中に複数個の対象物を撮像しているためにピークが複数
ある場合は正しい認識を行なっていると判断できるの
で、このテンプレートを本登録する（ステップＳＴ１６
８）。しかし、ユーザが意図しないでピークが現れる場
合は、テンプレート画像そのものがテンプレートマッチ
ングに適していないとして、別のアルゴリズムによる認
識を行なうか、テンプレートの形状を変えるようにアド
バイスする。また、対象物の背景が複雑で真のピークが
ノイズに埋もれてしまう場合は、テンプレートマッチン
グに向いていないとして、再度登録しなおすように指示
する（ステップＳＴ１６９）。

【００５４】また、テンプレート画像自身を回転させた
り、Ｘ，Ｙ方向にずらしたときの画像ともとのテンプレ
ート画像との相互相関や特徴量空間を比較し、類似して
いると判断された場合はユーザに警告する。例えば、図
１５の右のテンプレート（例２）では、０°のテンプレ
ート画像と１８０°回転させたときのテンプレート画像
は似ているので、この対象物は１８０°ごとに回転を区
別できないことをユーザに知らせる。

【００５５】以上のように、この実施の形態４によれ
ば、指定領域の画像と、開始点や姿勢をずらしながら切
り出した領域の画像の類似度を評価し、その評価結果に
基づいて指定領域のテンプレート画像として適当かを判
定するように構成したので、パターンマッチングの原理
を熟知していないユーザでも、適切な基準パターンを選
ぶことができる。

【００５６】

【発明の効果】以上のように、この発明によれば、原画
像をよく似た属性の部分領域であるセグメントに予め分
割するセグメント化部と、原画像及びセグメント化部に
て分割されたセグメントの画像の表示を行う画像表示部
と、テンプレート画像として選択したいセグメントを指
定するための情報が入力される入力装置と、この入力装
置に入力された情報にて指定されたセグメントに外接す
る外接長方形を生成する外接長方形生成部と、原画像か
ら外接長方形で囲まれた領域を切り出す画像切出部と、
この画像切出部によって切り出された画像をテンプレー
ト画像として登録するパターン登録部とを備えるので、
パターンマッチングの原理を熟知していないユーザで
も、少ない操作で適切な基準パターンを選ぶことができ
るという効果がある。

【００５７】この発明によれば、原画像をよく似た属性
の部分領域であるセグメントに予め分割するセグメント
化部と、原画像及びセグメント化部にて分割されたセグ
メントの画像を表示する画像表示部と、テンプレート画
像として選択したいセグメントを指定する情報が入力さ
れる入力装置と、原画像から入力装置に入力された情報
にて指定されたセグメントを含む領域の切り出しを行う
画像切出部と、この画像切出部によって切り出された画
像をテンプレートマッチングに使用する領域とそれには
使用しない領域とに分け、テンプレートマッチングには
使用されない領域にマスクを生成するマスク生成部と、
このマスク生成部にて生成されたマスクもテンプレート
画像として登録するパターン登録部とを備えるので、登
録した矩形パターンの面積に比べて認識対象物体が小さ
い場合でも信頼性の高いマッチングが可能になるという
効果がある。

【００５８】この発明によれば、入力画像に空間バンド
パスフィルタを作用させるフィルタリング部と、このフ
ィルタリング部の出力に対して２種類のしきい値を用い
たしきい値処理を行って３値の画像表現を得る３値化部
と、この３値化部の出力する３値化された中間画像と、
同様にして作成したテンプレート画像との間で近似的な
相互相関演算を行い、その相関値に基づいて最良の重ね
合わせが得られる位置を得る３値テンプレートマッチン
グ部と、重ね合わせた入力画像のフィルタリング部の出
力中の、テンプレートデータの中から予め選び出した着
目画素に対応する画素を参照して、その画素がテンプレ
ートデータに保存されている要件を満たしているか否か
を判定する適合度判定部と、要件を満たしていると判定
された画素の集まりから、入力画像の小数点以下の位置
ずれ量を算出する位置ずれ量算出部と、この位置ずれ量
算出部の算出した小数点以下の位置ずれ量とテンプレー
トデータに保存されている小数点以下の位置ずれ量とを
比較して最終の位置合わせ結果を得る演算部とを備える
ので、画素単位の位置合わせを高速に行うことができ、
さらに画素の小数点以下の精度での位置合わせが可能に
なるという効果がある。

【００５９】この発明によれば、原画像より切り出され
た指定領域の画像と、その開始点や姿勢を変えながら取
り出した指定領域と同じ大きさの領域の画像との類似度
を評価する類似度評価部と、この類似度評価部の評価結
果に基づいて、指定領域の画像がテンプレート画像とし
て適切であるか否かを判定する判定部とを備えるので、
パターンマッチングの原理を熟知していないユーザで
も、適切な基準パターンを選ぶことができるという効果
がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による画像処理装置
の構成を示すブロック図である。

【図２】 実施の形態１による画像処理装置の動作を示
すフロー図である。

【図３】 実施の形態１の画像処理装置による画像処理
の過程をイメージ的に示した説明図である。

【図４】 この発明の実施の形態２による画像処理装置
の構成を示すブロック図である。

【図５】 実施の形態２の画像処理装置による動作を示
すフロー図である。

【図６】 実施の形態２の画像処理装置による画像処理
の過程をイメージ的に示した説明図である。

【図７】 この発明の実施の形態３による画像処理装置
の構成を示すブロック図である。

【図８】 実施の形態３の画像処理装置によるテンプレ
ート生成処理を示すフロー図である。

【図９】 図８に示したテンプレート生成処理における
小数点以下位置ずれ量の計算方法を示す説明図である。

【図１０】 実施の形態３の画像処理装置による画像処
理の流れを示すフロー図である。

【図１１】 実施の形態３の画像処理装置による画像処
理の過程をイメージ的に示した説明図である。

【図１２】 この発明の実施の形態４による画像処理装
置の構成を示すブロック図である。

【図１３】 実施の形態４の画像処理装置による動作を
示すフロー図である。

【図１４】 実施の形態４の画像処理装置による画像処
理の過程をイメージ的に示した説明図である。

【図１５】 実施の形態４の画像処理装置によるテンプ
レート画像の回転処理を示す説明図である。

【図１６】 従来の濃淡テンプレートマッチング処理を
説明する説明図である。

【図１７】 粗精サーチ法による処理の概要を説明する
説明図である。

【図１８】 図１７で説明した粗精サーチ法における式
（３）の精サーチ量Ｎと粗精比との関係を示すグラフ図
である。

【図１９】 従来の部分テンプレートマッチング法を示
す説明図である。

【図２０】 従来の画像処理装置の構成を示すブロック
図である。

【図２１】 従来の画像処理装置の構成を示すブロック
図である。

【図２２】 従来の画像処理方法を示すフロー図であ
る。

【符号の説明】

４１ 画像入力部、８０ 原画像、８１ セグメント化
部、８２ 画像表示部、８３ 入力装置、８４ 外接長
方形生成部、８５ 画像切出部、８６ パターン登録
部、８７ マスク生成部、９０ 画像縮小部、９１ 切
替部、９２ フィルタリング部、９３ ３値化部、９４
最適しきい値決定部、９５ ３値テンプレートマッチ
ング部、９６ 適合度判定部、９７ 位置ずれ量算出
部、９８ 演算部、９９ 第１画像切出部、１００ パ
ターン登録部、１０１ 回転／平行移動部、１０２ 第
２画像切出部、１０３ 類似度評価部、１０４ 判定
部。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 原画像をよく似た属性の部分領域である
   セグメントに予め分割するセグメント化部と、 上記原画像及び上記セグメント化部にて分割されたセグ
   メントの画像の表示を行う画像表示部と、 テンプレート画像として選択したい上記セグメントを指
   定するための情報が入力される入力装置と、 この入力装置に入力された情報にて指定された上記セグ
   メントに外接する外接長方形を生成する外接長方形生成
   部と、 上記原画像から上記外接長方形で囲まれた領域を切り出
   す画像切出部と、 この画像切出部によって切り出された画像をテンプレー
   ト画像として登録するパターン登録部とを備えた画像処
   理装置。
2. 【請求項２】 原画像をよく似た属性の部分領域である
   セグメントに予め分割するセグメント化部と、 上記原画像及び上記セグメント化部にて分割されたセグ
   メントの画像を表示する画像表示部と、 テンプレート画像として選択したい上記セグメントを指
   定する情報が入力される入力装置と、 上記原画像から上記入力装置に入力された情報にて指定
   された上記セグメントを含む領域の切り出しを行う画像
   切出部と、 この画像切出部によって切り出された画像をテンプレー
   トマッチングに使用する領域とそれには使用しない領域
   とに分け、上記テンプレートマッチングには使用されな
   い領域にマスクを生成するマスク生成部と、 このマスク生成部にて生成されたマスクもテンプレート
   画像として登録するパターン登録部とを備えた画像処理
   装置。
3. 【請求項３】 入力画像に空間バンドパスフィルタを作
   用させるフィルタリング部と、 このフィルタリング部の出力に対して２種類のしきい値
   を用いたしきい値処理を行って３値の画像表現を得る３
   値化部と、 この３値化部の出力する３値化された中間画像と、同様
   にして作成したテンプレート画像との間で近似的な相互
   相関演算を行い、その相関値に基づいて最良の重ね合わ
   せが得られる位置を得る３値テンプレートマッチング部
   と、 重ね合わせた上記入力画像の上記フィルタリング部の出
   力中の、テンプレートデータの中から予め選び出した着
   目画素に対応する画素を参照して、その画素が上記テン
   プレートデータに保存されている要件を満たしているか
   否かを判定する適合度判定部と、 上記要件を満たしていると判定された画素の集まりか
   ら、上記入力画像の小数点以下の位置ずれ量を算出する
   位置ずれ量算出部と、 この位置ずれ量算出部の算出した小数点以下の位置ずれ
   量と上記テンプレートデータに保存されている小数点以
   下の位置ずれ量とを比較して最終の位置合わせ結果を得
   る演算部とを備えた画像処理装置。
4. 【請求項４】 原画像より切り出された指定領域の画像
   と、その開始点や姿勢を変えながら取り出した上記指定
   領域と同じ大きさの領域の画像との類似度を評価する類
   似度評価部と、 この類似度評価部の評価結果に基づいて、上記指定領域
   の画像がテンプレート画像として適切であるか否かを判
   定する判定部とを備えた画像処理装置。