JP2007004829A - 画像処理装置 - Google Patents

Abstract

【課題】探索時において、冗長な部分テンプレートの探索にかかる処理時間を省き、高速な処理と必要精度の実現を同時に達成可能とすること。
【解決手段】教示画像から探索対象物体の複数の画像的特徴部分を探索し、該探索した複数の画像的特徴部分の位置情報を用いて教示画像から複数の部分テンプレートを切り出し、該切り出した複数の部分テンプレートと撮像された探索対象画像とを用いてテンプレートマッチングを行うことによって探索対象画像と教示画像との位置決めを行う画像処理装置において、切り出される複数の部分テンプレートを用いた場合のテンプレートマッチングによる位置決め予想精度を計算する予想精度計算手段４２と、位置決め精度の要求値を指定する要求精度指定手段４３と、要求精度と予想精度とを比較する予想精度比較手段４１と、この予想精度比較手段４１の比較結果に応じて探索すべき画像的特徴部分の個数を可変する個数可変手段（設定パラメータ変更手段）４０とを備える。
【選択図】 図１０

Description

本発明は、テンプレートマッチング方式を用いた画像処理装置に関するものである。

画像の一部を部分テンプレートして用いるテンプレートマッチング方式を用いた従来技術として特許文献１がある。

この従来技術は、教示画像の複数の部分の一部を部分テンプレートとして使用した複合テンプレートマッチングを行って、対象画像と教示画像との一致度を調べるものであり、具体的には、屈曲点抽出マスクを使用して教示画像の中から複数の屈折点（特徴点）を抽出し、抽出されたそれぞれの屈折点を含む領域を部分テンプレートとして切り出し、該切り出した複数の部分テンプレートと対象画像を照合する複合テンプレートマッチング処理を行うようにしている。

特開平１−４４５８４号公報

しかしながら、この従来技術では、教示画像に含まれる情報全体を探索して複数の特徴点の位置を求め、これらの位置情報を元に部分テンプレートを切り出すようにしているので、探索処理に時間がかかると共に、背景部分などに不要な部分テンプレートが設定されることを防ぐことができず、認識、位置決め精度が不安定になったり、認識の正確度、位置決め精度が低下する問題点がある。

この発明は上記に鑑みてなされたもので、安定且つ正確な位置決め認識が可能となるテンプレートマッチング処理をなし得る画像処理装置を得ることを目的としている。

上述した課題を解決し、目的を達成するために、本発明（実施の形態５に対応）は、教示画像から探索対象物体の複数の画像的特徴部分を探索し、該探索した複数の画像的特徴部分の位置情報を用いて前記教示画像から複数の部分テンプレートを切り出し、該切り出した複数の部分テンプレートと撮像された探索対象画像とを用いてテンプレートマッチングを行うことによって探索対象画像と教示画像との位置決めを行う画像処理装置において、前記切り出される複数の部分テンプレートを用いた場合のテンプレートマッチングによる位置決め予想精度を計算する予想精度計算手段と、前記位置決め精度の要求値を指定する要求精度指定手段と、前記要求精度と予想精度とを比較する予想精度比較手段と、この予想精度比較手段の比較結果に応じて前記探索すべき画像的特徴部分の個数を可変する個数可変手段とを備えることを特徴とする。

次の発明（実施の形態６に対応）では、上記の発明において、前記個数可変手段は、予想精度の方が要求精度よりも良いと判定された場合は、前記探索すべき複数の画像的特徴部分に対応する部分テンプレートから位置決め精度維持のための評価値の高いものを優先して要求精度に対応する複数の部分テンプレートを抽出選択することを特徴とする。

つぎの発明では、上記の発明において、前記テンプレートマッチングの際の探索対象画像に対する外乱除去のための所定の画像演算処理を前記複数の部分テンプレート毎に設定し、この設定内容に応じた画像演算処理を前記探索対象画像に加えるようにしたことを特徴とする。

この発明によれば、切り出される複数の部分テンプレートを用いた場合のテンプレートマッチングによる位置決め予想精度を計算し、指定された位置決め精度の要求値と前記予想精度とを比較し、この比較結果に応じて探索すべき画像的特徴部分の個数を可変するようにしているので、要求精度よりも予想精度が良い場合には部分テンプレートを削減する事による高速化を図ることができるとともに、要求精度よりも予想精度が悪い場合には部分テンプレート数を増やすことなどにより高精度の位置決め認識をなし得る。

つぎの発明によれば、予想精度の方が要求精度よりも良いと判定された場合は、前記探索すべき複数の画像的特徴部分に対応する部分テンプレートから位置決め精度維持のための評価値の高いものを優先して要求精度に対応する複数の部分テンプレートを抽出選択するようにしているので、探索対象物体に設定された部分テンプレートによる予想精度がオペレータが指定する精度よりも良い場合には、設定された部分テンプレートのうち精度維持に有効なものを優先した選択抽出を行うことができ、使用する部分テンプレート数を減らして高速化を図ることができる。

つぎの発明によれば、ノイズ、汚れ、輪郭不鮮明などの外乱除去のための画像演算処理を前記複数の部分テンプレート毎に設定し、この設定内容に応じた画像演算処理を前記探索対象画像に加えることで、探索対象画像から上記外乱を除去するようにしているので、ノイズ,汚れ,輪郭不鮮明等の外乱要因を効果的に除去することができ、探索の際に安定かつ正確な位置決め認識が可能となる。

以下に添付図面を参照して、この発明にかかる画像処理装置の好適な実施の形態を詳細に説明する。

実施の形態１.
図１〜図３に従ってこの発明にかかる画像処理装置の実施の形態１を説明する。図１はこの発明にかかる画像処理装置の実施の形態１のシステム構成を示すものである。

図１において、１はＣＣＤカメラなどの撮像手段、２は画像生成手段、３は粗精度位置決め手段、４は教示画像記憶手段、５は部分テンプレート初期候補領域設定手段、６は部分テンプレート自動設定手段、７は部分テンプレート情報記憶手段、８は部分テンプレート画像切出し手段、９は画像一致度計算手段、１０は部分テンプレート適合位置算出手段、１１は全体推定位置算出手段である。

教示画像記憶手段４には、部分テンプレート作成用の教示画像が予め記憶されている。部分テンプレート初期候補領域設定手段５は、教示画像記憶手段４に記憶された教示画像のうちの部分テンプレートの初期候補領域の位置をオペレータが指定設定するためのものであり、そのための領域指定方式には図２に示すように複数の候補領域を指定する手法と、図３に示すように領域全体を指定する手法とがある。

図２の手法では、教示画像Ｋ中の探索対象物体Ｅの内側に複数の初期部分テンプレート候補領域Ｇを設定している。このような複数の初期部分テンプレート候補領域Ｇの設定の際には、その後の探索の際に背景画像による悪影響を防ぎかつ効率よい探索を行うためには、探索対象物体Ｅの内側または背景との境界領域であって画像的特徴を持った部分（以下画像特徴部分という）の近傍に初期部分テンプレート候補領域Ｇを設定するほうが望ましい。また、図３の手法では、教示画像Ｋ中の探索対象物体Ｅを囲むように１つの部分テンプレート初期候補領域Ｊを設定するようにしている。

部分テンプレート自動設定手段６は、部分テンプレート初期候補領域設定手段５から与えられた部分テンプレート初期候補領域の位置情報と教示画像記憶手段４に記憶された教示画像Ｋとを用いて、教示画像Ｋ中での複数の部分テンプレート位置を決定するための演算処理を行うものであり、最終的に決定された複数の部分テンプレート位置情報（領域情報を含む）を部分テンプレート情報記憶手段７に記憶する。

部分テンプレート自動設定手段６では、図２に示したように、複数の初期候補領域が指定された場合は、これら１つの初期部分テンプレート候補領域を予め指定した探索方向に所定の探索範囲内で微少移動（スキャン）しながら、画像特徴部分を発見するまでスキャンを続けることで、１つの部分テンプレート位置を検出する。なお、画像的特徴部分とは、例えば画像上のＸ方向及びＹ方向に対する画像輝度変化の大きい部分が多く含まれる部分、あるいは屈折点などである。このような検出処理を各初期部分テンプレート候補領域について行うことで、複数の部分テンプレート位置を検出する。そして、このようにして検出された各部分テンプレート位置を中心にしたｎ×ｍ画素の領域を、各部分テンプレート位置に対応する部分テンプレート領域として決定する。

図３に示したような、初期部分テンプレート候補領域の指定が行われた場合の処理も基本的には同じであり、部分テンプレート自動設定手段６は、１つの部分テンプレート初期候補領域Ｊ内で、上記同様の探索を行うことで、複数の画像的特徴部分を発見し、これら複数の画像的特徴部分を複数の部分テンプレート位置として設定する。

部分テンプレート情報記憶手段７には、部分テンプレート自動設定手段６の探索処理によって得られた複数の部分テンプレートについての位置および領域情報が記憶される。

部分テンプレート画像切出し手段８は、部分テンプレート情報記憶手段７に記憶された複数の部分テンプレートについての位置および領域情報に基づいて、教示画像記憶手段４に記憶された教示画像Ｋから複数の部分テンプレートを切出す処理を実行する。すなわち、教示画像Ｋ中のなかの、部分テンプレート位置（領域）情報で指定された領域が部分テンプレートとして切出される。

撮像手段１は、テンプレートマッチング処理を行うための探索対象物体を撮像し、撮像した画像を画像生成手段２に入力する。画像生成手段２は、撮像手段１からの撮像画像を用いてテンプレートマッチング処理を行うための探索対象画像Ｄを形成する。

粗精度位置決め手段３は、画像生成手段２からの探索対象画像Ｄと教示画像記憶手段４に記憶された教示画像Ｋとを用いて、探索対象画像Ｄと教示画像Ｋとの粗い位置決めを実行する。例えば、両画像Ｄ,Ｋの相関をとることにより、探索対象画像Ｄと教示画像Ｋとのおおよその位置ずれ、回転ずれ、縮倍率のずれなどを検出して、これらの検出情報を画像一致度計算手段９に入力する。

画像一致度計算手段９は、部分テンプレート画像切出し手段８によって切り出された複数の部分テンプレートと、画像生成手段２からの探索対象画像Ｄと、粗精度位置決め手段３からの粗位置決め情報とを用いて、探索対象画像Ｄ中の各部分テンプレート毎の探索範囲内において各部分テンプレートに対する一致度を順次計算し、これらの計算結果を部分テンプレート適合位置算出手段１０に入力する。なお、前記探索範囲とは、部分テンプレート位置を中心にしたｋ×ｌ画素の範囲に予め設定されているものである。部分テンプレート適合位置算出手段１０は、画像一致度計算手段９から入力された前記探索範囲内における一致度情報に基づいて、探索対象画像Ｄ中で各部分テンプレートに最も適合する位置を算出する。部分テンプレート適合位置算出手段１０で算出された各部分テンプレートの適合位置情報は全体推定位置算出手段１１に入力される。全体推定位置算出手段１１は、部分テンプレート適合位置算出手段１０で算出された複数のテンプレートについての各適合位置情報に基づいて、探索対象画像Ｄ中の探索対象物体と教示画像Ｋ中の探索対象物体との全体的なＸ，Ｙ方向への位置ずれ、回転ずれ、歪み、縮倍率の違いなどを算出することで、探索対象画像Ｄ中の探索対象物体と教示画像Ｋ中の探索対象物体との詳細な位置決め認識処理を実行する。このように、画像一致度計算手段９および部分テンプレート適合位置算出手段１０および全体推定位置算出手段１１で行われる処理は、所謂通常のテンプレートマッチングであり、一致度計算には、正規化相関、差分総和などが用いられる。

つぎに図１の構成の作用を説明する。まず、部分テンプレートを切り出すまでの処理について説明する。教示画像記憶手段４には、撮像手段１、画像生成手段２などを用いて作成した探索対象物体についての教示画像Ｋが予め記憶されている。オペレータは、この教示画像Ｋを見ながら、部分テンプレート初期候補領域設定手段５を用いて、図２あるいは図３に示したように、教示画像Ｋ中に初期部分テンプレート候補領域を設定する。このように、初期部分テンプレート候補領域が設定されると、部分テンプレート自動設定手段６は、この設定された初期部分テンプレート候補領域を用いて前述した教示画像Ｋの探索処理を行って、複数の画像的特徴部分を検出し、該検出した複数の画像的特徴部分を複数の部分テンプレート位置として、部分テンプレート情報記憶手段７に記憶する。

テンプレートマッチング処理を行う場合には、撮像手段１及び画像生成手段２を用いて探索対象画像Ｄを取り込み、さらにこの探索対象画像Ｄを粗精度位置決め手段３に入力する。粗精度位置決め手段３は、画像生成手段２からの探索対象画像Ｄと教示画像記憶手段４に記憶された教示画像Ｋとを用いて、探索対象画像Ｄと教示画像Ｋとの粗い位置決めを実行し、探索対象画像Ｄの教示画像Ｋに対するおおよその全体的な位置ずれ、回転ずれ、縮倍率ずれなどを検出し、検出した情報を画像一致度計算手段９に入力する。

一方、部分テンプレート画像切出し手段８は、部分テンプレート情報記憶手段７に記憶された複数の部分テンプレート位置情報で指定された複数の領域を、教示画像Ｋから切出し、該切り出した複数の画像領域を複数の部分テンプレートとして画像一致度計算手段９に入力する。

画像一致度計算手段９は、探索対象画像Ｄと、切り出された複数のテンプレートと、粗位置決め情報とを用いて、探索対象画像Ｄ中の各部分テンプレート毎の探索範囲内において各部分テンプレートに対する一致度を順次計算する。部分テンプレート適合位置算出手段１０は、画像一致度計算手段９から入力された前記探索範囲内における一致度情報に基づいて、複数の部分テンプレート各々の最適な適合位置を探索対象画像Ｄ中で求める。全体推定位置算出手段１１は、これら複数の適合位置を用いて、教示画像Ｋでの探索対象物体に対する探索対象画像Ｄ中の探索対象物体の全体的な位置ずれ、回転ずれ、歪み、縮倍率などを算出して、これらの算出情報を用いて探索対象物体の位置決め、認識処理などに利用する。

このようにこの実施の形態１においては、教示画像Ｋから切り出した複数の小領域を部分テンプレートとして自動設定し、これら複数の部分テンプレートを用いて探索対象画像中における教示画像の位置決めを行なうテンプレートマッチング方式の画像処理装置において、部分テンプレート設定の際の初期候補をオペレータが指定することができる部分テンプレート初期候補領域設定手段５を設けるようにしているので、オペレータが知り得る視覚情報を部分テンプレート設定に反映させることができるようになり、これにより画像として不確定な背景部分に部分テンプレートが設定される事などを防ぐことができ、探索の際に安定かつ正確な位置決め認識が可能となる。

実施の形態２．
つぎに図４および図５を用いてこの発明の実施の形態２を説明する。この実施の形態２においては、図１に示した実施の形態１の構成から部分テンプレート初期候補領域設定手段５を省略すると共に、図１の構成に画像演算処理指定手段２０および画像演算処理実行手段２１を追加するようにしている。それ以外の構成要素の機能は先の実施の形態１と同じであり、重複する説明は省略する。

この実施の形態２においては、部分テンプレート初期候補領域設定手段５を省略しているので、部分テンプレート自動設定手段６での部分テンプレート探索処理は、従来技術と同様、教示画像Ｋの全領域に亘って実行される。

この実施の形態２においては、図５に示すように、探索対象画像Ｄ中に汚れが発生していたり、撮像対象物体と撮像手段１との距離変動や撮像対象物体の加工不具合による輪郭不鮮明部分が存在する場合、これらの外乱要素の影響を除去するための画像演算処理及びその対象領域を指定しておき、探索時には粗い位置決めが終わった探索対象画像Ｄ中の探索対象物体の該当部分に画像演算処理を施すことにより、外乱要素の影響を受けずに安定かつ正確な位置決め認識を可能としている。

画像演算処理指定手段２０は、部分テンプレート情報記憶手段７に上記外乱要素の影響を除去するための画像演算処理及びその対象領域を入力指定する。ただし、この入力指定の際には、部分テンプレート情報記憶手段７に記憶されている複数の部分プレート位置情報毎に、上記画像演算処理及びその対象領域を入力指定する。なお、汚れに対する画像演算処理としては、例えばメディアンフィルター、最大値フィルター、最小値フィルター、平均値フィルター等による平滑化フィルタリング画像演算が指定され、また、輪郭不鮮明に対する画像演算処理としては、例えばエッジ強調フィルターによるフィルタリング画像演算が指定される。

画像演算処理実行手段２１では、部分テンプレート情報記憶手段７から前記画像演算処理及びその対象領域を部分プレート位置情報毎に読み出し、探索時、粗い位置決めが終わった探索対象画像Ｄ中の該当領域（対象領域で指定され部分）に指定された画像演算処理を実行することにより、汚れなどを取り除き、エッジ強調を行った探索対象画像Ｄを画像一致度計算手段９に入力する。したがって、その後の処理では、外乱要素の影響を受けずに安定かつ正確な位置決め認識が可能となる。

このようにこの実施の形態２においては、探索対象画像Ｄからノイズ、汚れ、輪郭不鮮明等の外乱要因を除去するようにしているので、探索の際に安定かつ正確な位置決め認識が可能となる。

実施の形態３．
つぎに図６および図７を用いてこの発明の実施の形態３を説明する。この実施の形態３においては、図１に示した実施の形態１の構成から部分テンプレート初期候補領域設定手段５を省略すると共に、図１の構成に回転位置演算情報設定手段３０、探索範囲設定手段３１および回転位置計算手段３２を追加するようにしている。それ以外の構成要素の機能は先の実施の形態１と同じであり、重複する説明は省略する。

この実施の形態３においても、部分テンプレート初期候補領域設定手段５を省略しているので、部分テンプレート自動設定手段６での部分テンプレート探索処理は、従来技術と同様、教示画像Ｋの全領域に亘って実行される。

この実施の形態３では、探索対象物体Ｅとして、図７に示すように、固定部分Ｅ１と、この固定部分Ｅ１中の少なくとも１点Ｏを回動中心として回転可能な可動部分Ｅ２とを有するものを探索対象としている。

探索範囲設定手段３１は、画像一致度計算手段９において探索対象画像Ｄに対する複数の部分テンプレートの移動探索を行うときの、可動部分用の部分テンプレートの探索範囲を可動部分用の部分テンプレート毎に設定するためのものである。設定された各可動部分の部分テンプレートに関する探索範囲は、部分テンプレート情報記憶手段７で、可動部分用の部分テンプレート別に記憶される。

すなわち、図７に示すような、可動部分Ｅ２をもつ探索対象物体Ｅの場合、撮影時に、可動部分Ｅ２の回転角度が各探索対象物体毎に異なっている可能性が高いので、オペレータが、可動部分Ｅ２の回転構造を考慮して各部分テンプレート毎の探索範囲を設定することで、可動範囲に対応する最適な探索範囲を指定できるようにしている。これにより、可動範囲以外での無駄な移動探索が行われることがなくなり、効率の良い探索処理をなし得る。例えば、可動部分Ｅ２用の部分テンプレートとして、図７に示すように、可動部分Ｅ２の２つの角部にそれぞれ部分テンプレートＴ１，Ｔ２が設定されたとすると、オペレータは、可動部分Ｅ２の可動範囲を考慮して例えば枠Ｗ１、Ｗ２で示すような各部分テンプレートＴ１，Ｔ２の探索範囲を設定するようにする。

この場合、図７に示すように、固定部分Ｅ１用のテンプレートとして、固定部分Ｅ１の４角に対応して４個の部分テンプレートＵ１〜Ｕ４が設定され、また前述したように、可動部分Ｅ２用のテンプレートとして、Ｔ１,Ｔ２が設定されたとする。

このような場合、画像一致度計算手段９では、探索時、部分テンプレート情報記憶手段７から、各部分テンプレートＴ１，Ｔ２の探索範囲Ｗ１，Ｗ２を取り込む。固定部分用の部分テンプレートＵ１〜Ｕ４の探索範囲は、特に入力設定を行う必要がなく、予め適当なる範囲が設定されている。したがって、画像一致度計算手段９では、固定部分用の部分テンプレートＵ１〜Ｕ４に関しては予め設定された探索範囲で照合を行い、可動部分用の部分テンプレートＴ１，Ｔ２に関しては探索範囲を指定された探索範囲Ｗ１，Ｗ２に補正し、補正された探索範囲Ｗ１，Ｗ２で照合を実行する。画像一致度計算手段９では、探索時、部分テンプレート画像切り出し手段８から、固定部分用の部分テンプレートＵ１〜Ｕ４と、可動部分用の部分テンプレートＴ１,Ｔ２とを取り込む。そして、粗精度位置決めを行った探索対象画像Ｄに対して、各部分テンプレートＵ１〜Ｕ４およびＴ１,Ｔ２毎に、指定された探索範囲（部分テンプレートＴ１,Ｔ２の探索範囲はＷ１，Ｗ２）での照合を行い、照合結果としての画像一致度を部分テンプレート適合位置算出手段１０に入力することで、探索対象画像Ｄ中における各部分テンプレートＵ１〜Ｕ４およびＷ１,Ｗ２の適合位置を導出する。

一方、回転位置演算情報設定手段３０は、可動部分用の部分テンプレートＴ１,Ｔ２の位置情報を用いて可動部分Ｅ２の回転中心Ｏの位置を演算する為の寸法情報やプログラム（これらを含めて演算情報という）を部分テンプレート情報記憶手段７に入力して記憶させる。この演算情報に含まれるプログラムとしては、たとえば２つのテンプレートＴ１,Ｔ２の位置を結ぶ線分の中心を通り前記線分から直角な方向に所定の距離だけ離れた位置が回動中心Ｏの位置であることを利用することができる。勿論、可動部分に関しては、図７に示したものに限らない任意の動き方があり、それらの動き方に応じてその回動中心を求めるための任意のプログラム、必要な場合は所要の寸法情報などを含む任意の演算情報を設定すればよい。

回転位置計算手段３２は、部分テンプレート情報記憶手段７に記憶された前記演算情報を用い、部分テンプレート適合位置算出手段１０で算出した可動部分用の部分テンプレートの適合位置すなわち探索対象画像Ｄ中の探索対象物体の可動部分の角部などの位置に基づいて、探索対象画像Ｄ中の探索対象物体の可動部分の回動中心Ｏの位置を導出する。この回転位置計算手段３２で計算された回動中心Ｏの位置情報は仮想部分テンプレートの位置情報として全体推定位置算出手段１１に入力される。

全体推定位置算出手段１１では、部分テンプレート適合位置算出手段１０から与えられる可動部分用の部分テンプレートＴ１,Ｔ２の適合位置および固定部分用の部分テンプレートＵ１〜Ｕ４の適合位置と、回転位置計算手段３２から与えられる仮想部分テンプレートの位置情報（回動中心Ｏの位置情報）とを用いて、前述した探索対象画像Ｄ中の探索対象物体の全体的な位置の推定を実行する。

このようにこの実施の形態３においては、オペレータが、可動部分Ｅ２の回転構造を考慮して各部分テンプレート毎の探索範囲を設定できるようにしているので、可動範囲以外での無駄な移動探索が行われることがなくなり、効率の良い探索処理をなし得る。

また、可動部分の回転中心Ｏを求めるための情報を入力できるようにし、この情報を用いて探索対象物体の可動部分の回転中心を求め、この回転中心位置を仮想部分テンプレートの適合位置として用いるようにしているので、探索対象画像Ｄ中の探索対象物体の全体的な位置の推定の際の情報量が増え、これにより安定かつ正確な位置決め認識が可能となる。

実施の形態４．
つぎに図８および図９を用いてこの発明の実施の形態３を説明する。この実施の形態４は、実施の形態３の変形例である。この実施の形態４では、探索対象物体Ｅとして、図９に示すように、固定部分Ｅ１と、この固定部分Ｅ１に対し移動中心軸Ｃ１に沿った方向に移動可能な可動部分Ｅ１と、固定部分Ｅ１に対し移動中心軸Ｃ１に垂直な移動中心軸Ｃ２に沿った方向に移動可能な可動部分Ｅ２とを有するものを採用している。

図８においては、図６に示した実施の形態３の構成の回転位置演算情報設定手段３０を軸交差位置演算情報設定手段３３に置換するとともに、回転位置計算手段３２を軸交差位置計算手段３５に置換するようにしている。それ以外の構成要素の機能は先の実施の形態３と同じであり、重複する説明は省略する。この実施の形態４においても、部分テンプレート初期候補領域設定手段５を省略しているので、部分テンプレート自動設定手段６での部分テンプレート探索処理は、従来技術と同様、教示画像Ｋの全領域に亘って実行される。

探索範囲設定手段３１は、画像一致度計算手段９において探索対象画像Ｄに対する複数の部分テンプレートの移動探索を行うときの、可動部分用の部分テンプレートの探索範囲を可動部分用の部分テンプレート毎に設定するためのものである。設定された各可動部分の部分テンプレートに関する探索範囲は、部分テンプレート情報記憶手段７で、可動部分用の部分テンプレート別に記憶される。

すなわち、図９に示すような、可動部分Ｅ２，Ｅ３をもつ探索対象物体Ｅの場合、撮影時に、可動部分Ｅ２，Ｅ３の移動位置が各探索対象物体毎に異なっている可能性が高いので、オペレータが、可動部分Ｅ２，Ｅ３の可動構造を考慮して各部分テンプレート毎の探索範囲を設定することで、可動範囲に対応する最適な探索範囲を指定できるようにしている。これにより、可動範囲以外での無駄な移動探索が行われることがなくなり、効率の良い探索処理をなし得る。例えば、可動部分Ｅ２用の部分テンプレートとして、図９に示すように、可動部分Ｅ２の２つの角部にそれぞれ部分テンプレートＴ１，Ｔ２が設定されたとすると、オペレータは、可動部分Ｅ２の可動範囲を考慮して例えば枠Ｗ１、Ｗ２で示すような各部分テンプレートＴ１，Ｔ２の探索範囲を設定するようにする。同様に、可動部分Ｅ３用の部分テンプレートＴ３，Ｔ４には、可動範囲Ｗ３，Ｗ４を設定する。

この場合には、図９に示すように、固定部分Ｅ１用のテンプレートとして、２個の部分テンプレートＵ１，Ｕ２が設定され、また、可動部分Ｅ２用のテンプレートとして、Ｔ１,Ｔ２が、さらに可動部分Ｅ３用のテンプレートとして、Ｔ３,Ｔ４が設定されている。

画像一致度計算手段９では、探索時、部分テンプレート情報記憶手段７から、前記設定された各部分テンプレートＴ１，Ｔ２,Ｔ３およびＴ４の探索範囲Ｗ１，Ｗ２，Ｗ３およびＷ４を取り込む。固定部分用の部分テンプレートＵ１，Ｕ２の探索範囲は、特に入力設定を行う必要がなく、予め適当なる範囲が設定されている。したがって、画像一致度計算手段９では、固定部分用の部分テンプレートＵ１，Ｕ２に関しては予め設定された探索範囲で照合を行い、可動部分用の部分テンプレートＴ１〜Ｔ４に関しては探索範囲を指定された探索範囲Ｗ１〜Ｗ４に補正し、補正された探索範囲Ｗ１〜Ｗ４で照合を実行する。画像一致度計算手段９では、探索時、部分テンプレート画像切り出し手段８から、固定部分用の部分テンプレートＵ１，Ｕ２と、可動部分用の部分テンプレートＴ１〜Ｔ４とを取り込む。そして、粗精度位置決めを行った探索対象画像Ｄに対して、各部分テンプレートＵ１，Ｕ２およびＴ１〜Ｔ４毎に、指定された探索範囲（部分テンプレートＴ１〜Ｔ４の探索範囲はＷ１〜Ｗ４）での照合を行い、照合結果としての画像一致度を部分テンプレート適合位置算出手段１０に入力することで、探索対象画像Ｄ中における各部分テンプレートＵ１，Ｕ２およびＷ１〜Ｗ４の適合位置を導出する。

一方、軸交差位置演算情報設定手段３３は、可動部分用の部分テンプレートＴ１，Ｔ２，Ｔ３およびＴ４の各位置情報を用いて直動可能な可動部分Ｅ２，Ｅ３の各中心移動軸Ｃ１，Ｃ２の位置、方向を演算し、さらにこれらの中心移動軸Ｃ１，Ｃ２の位置、方向から中心移動軸Ｃ１，Ｃ２の交差点である不動点Ｏの位置を演算する為の寸法情報やプログラム（これらを含めて演算情報という）を部分テンプレート情報記憶手段７に入力して記憶させる。この演算情報に含まれるプログラムとしては、たとえば可動部分用の部分テンプレートＴ１，Ｔ２の位置を結ぶ線分の中心を通り前記線分と直角な軸を中心軸Ｃ１とし、また部分テンプレートＴ３，Ｔ４の位置を結ぶ線分の中心を通り前記線分と直角な軸を中心軸Ｃ２とし、中心軸Ｃ１およびＣ２の交点が不動点（軸交差点）Ｏの位置であることを利用することができる。

軸交差位置計算手段３５は、部分テンプレート情報記憶手段７に記憶された前記演算情報を用い、部分テンプレート適合位置算出手段１０で算出した可動部分用の部分テンプレートの適合位置すなわち探索対象画像Ｄ中の探索対象物体の可動部分の角部などの位置に基づいて、探索対象画像Ｄ中の探索対象物体の可動部分Ｅ２、Ｅ３の軸交差位置Ｏを導出する。この軸交差位置計算手段３５で計算された軸交差位置Ｏの位置情報は仮想部分テンプレートの位置情報として全体推定位置算出手段１１に入力される。

全体推定位置算出手段１１では、部分テンプレート適合位置算出手段１０から与えられる可動部分用の部分テンプレートＴ１,Ｔ２,Ｔ３，Ｔ４の適合位置および固定部分用の部分テンプレートＵ１，Ｕ２の適合位置と、軸交差位置計算手段３５から与えられる仮想部分テンプレートの位置情報（軸交差位置Ｏの位置情報）とを用いて、前述した探索対象画像Ｄ中の探索対象物体の全体的な位置の推定を実行する。

このようにこの実施の形態４においては、オペレータが、可動部分Ｅ２，Ｅ３の回転構造を考慮して各部分テンプレート毎の探索範囲を設定できるようにしているので、可動範囲以外での無駄な移動探索が行われることがなくなり、効率の良い探索処理をなし得る。

また、異なる方向に直道可能な複数の可動部分Ｅ２,Ｅ３の軸交差点位置Ｏを求めるための情報を入力できるようにし、この情報を用いて探索対象物体の可動部分Ｅ２,Ｅ３の軸交差点位置Ｏを求め、この軸交差点位置Ｏを仮想部分テンプレートの適合位置として用いるようにしているので、探索対象画像Ｄ中の探索対象物体の全体的な位置の推定の際の情報量が増え、これにより安定かつ正確な位置決め認識が可能となる。

実施の形態５．
つぎに図１０を用いてこの発明の実施の形態５を説明する。この実施の形態５においては、図１に示した実施の形態１の構成から部分テンプレート初期候補領域設定手段５を省略すると共に、図１の構成に設定パラメータ変更手段４０、予想精度比較手段４１，予想精度計算手段４２および要求精度指定手段４３を追加するようにしている。それ以外の構成要素の機能は先の実施の形態１と同じであり、重複する説明は省略する。

予想精度計算手段４２は、部分テンプレート自動設定手段６によって設定されて部分テンプレート情報記憶手段７に記憶されている部分テンプレート位置情報に基づいて、探索対象物体に対応する評価用画像を内部生成し、この内部生成した評価用画像に基づき当該複数の部分テンプレートを用いた場合のテンプレートマッチングによる位置決め予想精度を計算する。この予想精度の計算の際に、必要に応じて適当な外乱要素を加えるようにしてもよい。

要求精度指定手段４３には、所望の要求精度値（指定精度）がオペレータによって入力設定される。予想精度比較手段４１は、オペレータが入力した指定精度と、予想精度計算手段４２で計算された予想精度とを比較し、その比較結果を設定パラメータ変更手段４０に入力する。

設定パラメータ変更手段（請求の範囲の個数可変手段に対応する）４０は、予想精度比較手段４１での比較結果に基づいて、部分テンプレート自動設定手段で用いられる設定パラメータを変更する。例えば、指定精度よりも予想精度が良い場合には、選択される部分テンプレート数を少なくするように設定パラメータを変更する。逆に、指定精度の方が良い場合には精度を高めるために選択される部分テンプレート数が多くなるように設定パラメータを変更する。部分テンプレート自動設定手段６においては、こうして変更された設定パラメータに基づき、再度自動設定が行なわれる。なお、上記評価処理から設定パラメータの変更処理に至る一連の過程は、ある所定の収束条件を満たすまで何回も繰り返してもよい。

このように探索対象物体に設定された部分テンプレートによる予想精度とオペレータが指定する精度にずれがあった場合でも、適切な設定パラメータに修正した上で冗長な部分テンプレートを削除し、適切な数量の部分テンプレートが選択されることになる。そのため、探索時において、冗長な部分テンプレートの探索にかかる処理時間を省けるため、高速な処理と必要精度の実現が同時に達成可能となる。

実施の形態６．
つぎに図１１を用いてこの発明の実施の形態６を説明する。この実施の形態６においては、図１０に示した実施の形態５の構成の設定パラメータ変更手段４０を有効部分テンプレート決定手段（請求の範囲の個数可変手段に対応する）５０に置換するようにしている。それ以外の構成要素の機能は先の実施の形態５と同じであり、重複する説明は省略する。

この実施の形態６でも、先の実施の形態５と同様、予想精度計算手段４２は、部分テンプレート情報記憶手段７に記憶されている部分テンプレート位置情報に基づいて、探索対象物体に対応する評価用画像を内部生成し、この内部生成した評価用画像に基づき位置決め予想精度を計算する。予想精度比較手段４１は、オペレータが要求精度指定手段４３を介して入力した指定精度と、予想精度計算手段４２で計算された予想精度とを比較し、その比較結果を有効部分テンプレート決定手段５０に入力する。

有効部分テンプレート決定手段５０は、予想精度が指定精度よりも良い場合には、精度維持に有効な部分テンプレートを抽出して選択する。例えば、あらかじめ部分テンプレート数と予想精度の関係（例えば比例関係）を求めておき、この関係を用いて、指定精度を若干上回る程度の精度を得るための部分テンプレート数を求め、該求めた部分テンプレート数によって部分テンプレート自動設定手段の設定パラメータを変更する。なお、上記関係としては、位置決め精度維持のための評価値の低い部分テンプレートから削除していった場合の、部分テンプレート数と予想精度の関係を設定しておき、部分テンプレートの抽出選択の際には、位置決め精度維持のための評価値の高いものから順に採用決定する。なお、この際に、分散配置指標を導入すれば、一部領域にテンプレートが固まることを避けることができる。

このように探索対象物体に設定された部分テンプレートによる予想精度がオペレータが指定する精度よりも良い場合には、自動設定された部分テンプレートのうち位置決め精度維持に有効なものを抽出選択する事により、使用する部分テンプレート数を減らして高速化を図ることができる。

なお、上記各実施の形態１〜６に示した各特徴部分の構成を組み合わせた実施も勿論可能である。

この発明にかかる画像処理装置の実施の形態１の構成例を示すブロック図である。 実施の形態１で行われる部分テンプレートの初期候補位置設定処理を説明する図である。 実施の形態１で行われる部分テンプレートの初期候補位置の他の設定処理を説明する図である。 この発明にかかる画像処理装置の実施の形態２の構成例を示すブロック図である。 実施の形態２で行われる外乱除去処理を説明する図である。 この発明にかかる画像処理装置の実施の形態３の構成例を示すブロック図である。 実施の形態３で行われる可動部材の探索範囲設定処理などを説明する図である。 この発明にかかる画像処理装置の実施の形態４の構成例を示すブロック図である。 実施の形態４で行われる可動部材の探索範囲設定処理などを説明する図である。 この発明にかかる画像処理装置の実施の形態５の構成例を示すブロック図である。 この発明にかかる画像処理装置の実施の形態６の構成例を示すブロック図である。

符号の説明

１ 撮像手段
２ 画像生成手段
３ 粗精度位置決め手段
４ 教示画像記憶手段
５ 部分テンプレート初期候補領域設定手段
６ 部分テンプレート自動設定手段
７ 部分テンプレート情報記憶手段
８ 部分テンプレート画像切出し手段
９ 画像一致度計算手段
１０ 部分テンプレート適合位置算出手段
１１ 全体推定位置算出手段
２０ 画像演算処理指定手段
２１ 画像演算処理実行手段
３０ 回転位置演算情報設定手段
３１ 探索範囲設定手段
３２ 回転位置計算手段
３３ 軸交差位置演算情報設定手段
３５ 軸交差位置計算手段
４０ 設定パラメータ変更手段
４１ 予想精度比較手段
４２ 予想精度計算手段
４３ 要求精度指定手段
５０ 有効テンプレート決定手段
Ｄ 探索対象画像
Ｅ 探索対象物体
Ｅ１ 固定部分
Ｅ２，Ｅ３ 可動部分
Ｋ 教示画像
Ｏ 回転中心

Claims (3)

1. 教示画像から探索対象物体の複数の画像的特徴部分を探索し、該探索した複数の画像的特徴部分の位置情報を用いて前記教示画像から複数の部分テンプレートを切り出し、該切り出した複数の部分テンプレートと撮像された探索対象画像とを用いてテンプレートマッチングを行うことによって探索対象画像と教示画像との位置決めを行う画像処理装置において、
   前記切り出される複数の部分テンプレートを用いた場合のテンプレートマッチングによる位置決め予想精度を計算する予想精度計算手段と、
   前記位置決め精度の要求値を指定する要求精度指定手段と、
   前記要求精度と予想精度とを比較する予想精度比較手段と、
   この予想精度比較手段の比較結果に応じて前記探索すべき画像的特徴部分の個数を可変する個数可変手段と、
   を備えることを特徴とする画像処理装置。
2. 前記個数可変手段は、予想精度の方が要求精度よりも良いと判定された場合は、前記探索すべき複数の画像的特徴部分に対応する部分テンプレートから位置決め精度維持のための評価値の高いものを優先して要求精度に対応する複数の部分テンプレートを抽出選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記テンプレートマッチングの際の探索対象画像に対する外乱除去のための所定の画像演算処理を前記複数の部分テンプレート毎に設定し、この設定内容に応じた画像演算処理を前記探索対象画像に加えるようにしたことを特徴とする請求項１または２に記載の画像処理装置。

Images