JP2004127157A

JP2004127157A - Image recognition method

Info

Publication number: JP2004127157A
Application number: JP2002293525A
Authority: JP
Inventors: Hiroshi Kimura; 木村　博志
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2002-10-07
Filing date: 2002-10-07
Publication date: 2004-04-22
Anticipated expiration: 2022-10-07
Also published as: JP4302382B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image recognition method, which includes the creation of a master pattern to realize high-speed and high-precision search of an image pattern regardless of deformation variation of a test object or variation on assembling. <P>SOLUTION: A reference image including an object pattern is input, a master image for detail search including the object pattern is created using the reference image, a master image for rough search, which does not have pixel on a border line of the object pattern, is created using the reference image, and the pattern is recognized using the master image for rough search. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像認識方法に関し、例えば異欠品部品検査や部品の取り付け位置検査等をする場合に適用し得る画像認識装置に関する。
【０００２】
【従来の技術】
異欠品部品検査や部品の取り付け位置検査等を行う際に、予め登録されているマスタパターンと被検パターンを照合するパターンマッチング手法として、正規化相関法が知られている。正規化相関方法を用いた制御システムは、一般的に言って、照明の変動にロバストであるという優れた長所がある反面、計算量が多くなるという問題がある。
【０００３】
そこで、従来、マスタパターンとして登録したい領域を間引いた縮小画像パターンをマスタパターンとする方法が知られている（例えば、特許文献１参照。）。
【０００４】
一方、対象物の境界線上の画像のみをマスタパターンとする方法も知られている（例えば、特許文献２参照。）。
【０００５】
【特許文献１】
特開平６−２１５１３６号公報
【特許文献２】
特開平１１−３４２５号公報
【０００６】
【発明が解決しようとする課題】
しかし、縮小画像パターンをマスタパターンとする方法では、領域全体を均一に間引くため、位置を確認する上では重要でない面上の点が多く含まれ、計算量をさほど減らせないという問題があった。さらに、対象物の境界線上の画像のみをマスタパターンとする方法では、マスタパターンの画素数を減らせるため、高速化が可能であるが、対象物の境界線の形状は製造条件等のバラツキにより変動するため、対象物の境界線上の画像のみをマスタパターンとすると精度が出ないという問題があった。
【０００７】
そこで、本発明は、高速且つ高精度に画像パターンのサーチを実現するための画像認識方法を提供することを目的とする。
【０００８】
また、本発明は、被検対象物の変形バラツキ又は組み付け上のバラツキに拘わらず、高速且つ高精度に画像パターンのサーチを実現するためのマスタパターンの生成方法を含む画像認識方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、本発明に係る画像認識方法では、対象物パターンを含む基準画像を入力し、基準画像を用いて対象物パターンを含む詳細サーチ用マスタ画像を生成し、基準画像を用いて対象物パターンの境界線上の画素を有しない粗サーチ用マスタ画像を生成し、粗サーチ用マスタ画像を用いてパターン認識を行うことを特徴とする。
【００１０】
また、上記の目的を達成するために、本発明に係る他の画像認識方法では、対象物パターンを含む基準画像を入力し、基準画像を用いて対象物パターンを含む詳細サーチ用マスタ画像を生成し、基準画像を用いて対象物パターンの境界線上の画素を有しない粗サーチ用マスタ画像を生成し、被検パターンを含む被検画像を入力し、粗サーチ用マスタ画像によって被検画像のサーチを行って被検画像から被検パターンを含む画像領域を抽出し、詳細サーチ用マスタ画像によって画像領域のサーチを行って被検パターンと対象物パターンとのパターン認識を行うことを特徴とする。
【００１１】
このように、本発明に従った画像認識方法では、粗サーチ用マスタ画像によって特定の領域を抽出した後に、詳細サーチ用マスタ画像を用いたパターンマッチングが行われるので、高速且つ高精度に画像パターンのサーチを行うことができる。また、粗サーチ用マスタ画像は、対象物パターンの境界線上の画素を有していないので、被検対象物が多少変形していても画像パターンの認識を行うことができるロバスト性を備えている。
【００１２】
なお、本発明に係る画像認識方法において、粗サーチ用マスタ画像は、対象物パターンの境界線から第１の画素分離れた境界線近傍点を含むことが好ましく、対象物パターンの境界線から第１の画素分離れ且つ境界線の両側に位置する２組の境界線近傍点を含むことがさらに好ましい。
【００１３】
また、本発明に係る画像認識方法において、粗サーチ用マスタ画像は、対象物パターンの境界線上の画素を有しない境界線近傍点を隣り合う画素間が第２の画素分毎になるように間引いたものであることが好ましく、対象物パターンの境界線の両側に位置する２組の境界線近傍点をそれぞれ隣り合う画素間が第２の画素分毎になるように間引いたものであることがさらに好ましい。
【００１４】
また、本発明に係る画像認識方法において、粗サーチ用マスタ画像は、対象物パターンの境界線から第１の画素分離れた境界線近傍点を隣り合う画素間が第２の画素分毎になるように間引いたものであることが好ましく、対象物パターンの境界線から第１の画素分離れ且つ境界線の両側に位置する２組の境界線近傍点をそれぞれ隣り合う画素間が第２の画素分毎になるように間引いたものであることがさらに好ましい。
【００１５】
また、本発明に係る画像認識方法において、第１の画素分は、対象物の成形バラツキ又は組み付け位置バラツキに対応した値であることが好ましく、対象物の変形バラツキ又は組み付け位置バラツキに拘わらず粗サーチ用マスタ画像が被検パターンをサーチするのに適した値であることがさらに好ましい。
【００１６】
また、本発明に係る画像認識方法において、第２の画素分は、パターン認識の目標時間及び対象物パターンの境界線の全長に応じて決定されることが好ましい。
【００１７】
パターン認識の目標時間及び対象物パターンの境界線の全長に応じて、最適な結果が得られるように、隣り合う画素間が第２の画素分毎になるように間引かれていることから、高速且つ高精度に画像パターンのサーチを行うことができる。
【００１８】
【発明の実施の形態】
以下、本発明に係る画像認識方法の一実施形態について、図１〜図７を用いて説明する。図１は、本発明に係る画像認識方法を実施するための画像認識装置１の全体構成の概略を示すものであり、画像認識装置１は、主に、ＣＣＤカメラ等から構成される画像入力部２、Ａ／Ｄ変換器３、入力画像を一時記憶するために画像メモリ４、演算部５、マウスやトラックボウル等から構成される着目領域指示部９、液晶ディスプレイやプリンタ等から構成される結果出力部１０、及びマスタ画像を記憶するためにマスタ記憶部１１から構成される。なお、画像認識装置１の各構成要素は、不図示のバス等によって相互に接続され、不図示のＣＰＵ等から構成される全体制御部によって制御される。また、演算部５は、少なくとも着目領域選択部６、マスタ画像生成部７及びサーチ処理部８を有しており、ＣＰＵ，ＲＯＭ、ＲＡＭ及び各種インターフェースなどから構成されている。
【００１９】
次に、本発明に係る画像認識方法の一実施形態におけるマスタ画像の生成手順について、図２を用いて説明する。
【００２０】
まず、マスタ画像生成のために、基準となる対象物１００を用いて、少なくとも対象物の外形パターンを含む基準画像としてのマスタ生成用画像を画像入力部２によって入力し（ステップ２０１）、Ａ／Ｄ変換器３によってデジタル信号に変換して画像メモリ４に一時記憶する（ステップ２０２）。入力されたマスタ生成用画像１１０の一例を図３（ａ）に示す。
【００２１】
次に、入力されたマスタ生成用画像から、マスタ画像として登録したい部分を着目領域として選択する（ステップ２０３）。選択は、オペレータが、マスタ生成用画像１１０を結果出力部１０に表示させながら、着目領域指示部９によって選択することによって行われ、着目領域選択部６によってマスタ生成用画像１１０から選別される。選択された着目領域１２０の一例を図３（ｂ）に示す。着目領域１２０の画像情報は、詳細サーチ用マスタ画像として、マスタ画像記憶部１１に記憶される（ステップ２０４）。なお、領域１３０については後述する。
【００２２】
次に、マスタ生成部７は、マスタ生成用画像の着目領域１２０の画像情報から境界線近傍点を抽出し（ステップ２０５）、抽出された境界線近傍点を粗サーチ用マスタ画像としてマスタ記憶部１１に記憶する（ステップ２０６）。
【００２３】
粗サーチ用マスタ画像を求める手順について図４を用いて以下に説明する。なお、図４（ａ）〜（ｃ）は、図３（ｂ）の領域１３０の部分に対応し、図４（ｄ）は図３（ｂ）の着目領域１２０に対応している。また、図４（ａ）〜（ｃ）は、説明のために画素を強調して表しており、各図において１３５は、対象物パターンを示している。
【００２４】
まず着目領域１２０の画像情報に対して公知の微分処理等を行い、対象物１００の境界線１４０を検出する（図４（ａ）参照）。次に、境界線１４０から、境界線の内側及び外側のそれぞれに、境界線に対して垂直方向にａ画素分だけ離れた２つの境界線近傍点１４２及び１４４を求める（図４（ｂ）参照）。最後に、求められた境界線近傍点１４２及び１４４から、隣り合う画素同士の距離がｂ画素分になるように画素を間引く（図４（ｃ）参照）。この結果得られた粗サーチ用マスタ画像の一例を図４（ｄ）に示す。
【００２５】
なお、図４（ｃ）に示すように、境界線１４０の外側にある境界線近傍点１４２は、それぞれ背景部の濃度を引き継ぐので、明濃度を有し、境界線１４０の内側にある境界線近傍点１４４は、それぞれ対象物パターン１３５の濃度を引き継ぐので、暗濃度を有している。２組の境界線近傍点１４２及び１４４が異なった濃度を有していることは、粗サーチ用マスタ画像１５０によるサーチを行う場合に、被検パターンとのパターンマッチングをより確実に行えるという効果もある。なお、背景が暗濃度、対象物が明濃度であってもよい。２組の境界線近傍点１４２及び１４４に必ず濃度差があることが重要である。
【００２６】
ここで、「ａ画素分」は、被検対象物の変形バラツキ量に応じて決定されることが望ましい。例えば、最大幅が１００ｍｍ程度の樹脂成形品を被検対象物とし、その変形バラツキが±１ｍｍ程度である場合、被検対象物の組み付け時の誤差を考慮して縦横１５０ｍｍ程度の視野サイズが必要である。この場合では、１画素あたりの分解能は０．３ｍｍであるから、±１ｍｍの変形バラツキを許容するためには、±３画素分だけ離れた位置に境界線近傍点を設定するのが適当である。
【００２７】
即ち、被検対象物である樹脂成形品の外形の境界線上に、パターン認識用のマスタ画像（この場合では粗サーチ用マスタ画像）があると、樹脂成形品の変形バラツキによって、高精度なパターン認識ができない場合が生じてしまう。したがって、被検対象物の変形のバラツキに拘わらず、粗サーチではパターン認識ができるように「ａ画素分」を設定したものである。図５に示すように、理想的境界線（基準となる対象物の境界線に相当）に対して、実際の被検対象物の境界線がバラついても、ａ画素分だけ離れた境界線近傍点を有する粗サーチ用マスタ画像１５０を有していれば、被検対象物の形状が多少変化していてもその認識ができるようになり、ロバスト性を向上させることが可能となった。
【００２８】
また、「ｂ画素分」は、画像処理の目標時間と、被検対象物の境界線の全長に応じて決定されることが望ましい。例えば、ＰｅｎｔｉｕｍＩＩＩ　（登録商標）１ＧＨｚのＣＰＵを用いて、０．１ｓ以内に画像処理を完了するためには、境界線近傍点は４００画素以内にすることが必要である。さらに、限られた境界線近傍点で、最高の認識精度を出すためには、境界線近傍点が被検対象物の境界線全体に渡って、まんべんなく散りばめられていることが必要である。例えば、境界線の全長が８００画素の被検対象物の場合、境界線近傍点は、境界線の両側に２００画素づつ（合計４００画素）配置することになるので、間隔ｂは、８００÷２００＝４より、４画素分毎が最適となる。
【００２９】
なお、上述した例における粗サーチ用マスタ画像１５０は、境界線の両側に配置された２組の境界線近傍点を含んでいるが、どちらか一組をすることも可能である。また、画像処理能力が極めて高いＣＰＵ又はシステムを利用する場合には、隣り合う画素の距離がｂ画素分となるように間引かずに、粗サーチ用マスタ画像を生成することもできる。
【００３０】
次に、本発明に係る画像認識方法の一実施形態における認識手順について図６を用いて説明する。
【００３１】
まず、対象物１００に代わって被検対象物１６０を配置し、被検画像を画像入力部２によって入力し、Ａ／Ｄ変換器３によってデジタル信号に変換して画像メモリ４に一時記憶する（ステップ６０１）。入力された被検画像１７０の一例を図７（ａ）に示す。なお、マスタ画像生成用の画像入力部と、被検画像入力用の画像入力部を別々に設けても良い。
【００３２】
次に、サーチ処理部８は、被検画像１７０に対して、図２のステップ２０６で記憶した粗サーチ用マスタ画像１５０を用い、粗サーチを行う（ステップ６０２）。粗サーチは、粗サーチ用マスタ画像１５０をａ画素分（境界線近傍点を求めた時と同じａ画素分）刻みで移動させながら（図７（ａ）参照）、被検画像１７０全体についてサーチを行い、被検画像１７０中で粗サーチ用マスタ画像１５０と最も一致した画像領域が決定される。最も一致した画像領域１８０の一例を図７（ｂ）に示す。
【００３３】
次に、サーチ処理部８は、被検画像中で最も一致した画像領域１８０を中心に±ａ画素の範囲内の画像領域（詳細サーチ用画像領域）１９０に対して、図２のステップ２０４で記憶した詳細サーチ用マスタ画像を用い、詳細サーチを行う（ステップ６０３）。なお、±ａ画素の範囲内の画像領域１９０について詳細サーチを行うのは、粗サーチ用マスタの境界線近傍点が境界線からａ画素離れた位置にあることから、粗サーチ用マスタの周辺部ギリギリにパターンがある場合に、ａ画素分オーバーラップして詳細サーチを行った方がより正確なパターンマッチングを行える場合があると予想されるからである。
【００３４】
詳細サーチは、ステップ６０２における粗サーチによって抽出された詳細サーチ用画像領域１９０に対して、詳細サーチ用マスタ画像を１画素刻みで移動させながら行なわれる。公知のパターンマッチング法によって、詳細サーチ用マスタ画像の対象物パターンと被検パターンとが比較され、被検対象物１６０の異欠品部品検査が行われる（ステップ６０４）。
【００３５】
なお、異欠部品検査の代わりに、部品の位置決め判定（例えば、プリント配線基板上の所定の部品位置の正誤判定）のために、上記のマスタ作成手順及び認識手順を用いることもできる。
【図面の簡単な説明】
【図１】本発明に係わる画像認識方法を実施するための画像認識装置の概要を示すための図である。
【図２】マスタ画像を作成する手順を示すフローチャートである。
【図３】（ａ）はマスタ作成用画像の一例を示す図で、（ｂ）は着目領域の一例を示す図である。
【図４】（ａ）〜（ｃ）は、粗サーチ用マスタ画像の作成手順を説明するための図であり、（ｄ）は作成された粗サーチ用マスタ画像の一例を示す図である。
【図５】粗サーチ用マスタ画像の機能を説明するための図である。
【図６】画像パターンの認識をする手順を説明するためのフローチャートである。
【図７】（ａ）は被検画像の一例を示す図であり、（ｂ）は詳細サーチ用の画像領域の一例を示す図である。
【符号の説明】
１…画像認識装置
２…画像入力部
３…Ａ／Ｄ変換器
４…画像メモリ
５…演算部５
９…着目領域指示部
１０…結果出力部
１１…マスタ記憶部
１００…対象物
１１０…マスタ生成用画像
１２０…着目領域
１５０…粗サーチ用マスタ
１６０…被検対象物
１７０…被検画像
１９０…詳細サーチ用画像領域[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image recognition method, and more particularly, to an image recognition apparatus that can be applied to, for example, inspection of a part missing or inspection of a mounting position of a part.
[0002]
[Prior art]
2. Description of the Related Art A normalized correlation method is known as a pattern matching method for checking a pre-registered master pattern and a test pattern when inspecting a defective part or inspecting a component mounting position. A control system using the normalized correlation method generally has an excellent advantage that it is robust against illumination fluctuations, but has a problem that it requires a large amount of calculation.
[0003]
Therefore, conventionally, a method has been known in which a reduced image pattern in which an area to be registered as a master pattern is thinned is used as a master pattern (for example, see Patent Document 1).
[0004]
On the other hand, a method is also known in which only an image on the boundary of an object is used as a master pattern (for example, see Patent Document 2).
[0005]
[Patent Document 1]
JP-A-6-215136 [Patent Document 2]
JP-A-11-3425
[Problems to be solved by the invention]
However, in the method of using the reduced image pattern as the master pattern, since the entire area is uniformly thinned out, there are many points on the surface that are not important for confirming the position, and there is a problem that the amount of calculation cannot be reduced much. Furthermore, in the method in which only the image on the boundary line of the object is used as the master pattern, the number of pixels of the master pattern can be reduced, so that the speed can be increased. However, the shape of the boundary line of the object depends on manufacturing conditions and the like. Because of the fluctuation, there is a problem that accuracy is not obtained if only the image on the boundary line of the object is used as the master pattern.
[0007]
Accordingly, an object of the present invention is to provide an image recognition method for realizing a high-speed and high-accuracy image pattern search.
[0008]
Further, the present invention provides an image recognition method including a master pattern generation method for realizing a high-speed and high-accuracy image pattern search regardless of a deformation variation of an object to be inspected or a variation in assembly. With the goal.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, in an image recognition method according to the present invention, a reference image including an object pattern is input, a master image for detailed search including the object pattern is generated using the reference image, and a reference image is generated. Is used to generate a coarse search master image having no pixels on the boundary line of the object pattern, and pattern recognition is performed using the coarse search master image.
[0010]
In order to achieve the above object, in another image recognition method according to the present invention, a reference image including an object pattern is input, and a master image for detailed search including the object pattern is generated using the reference image. Then, a master image for coarse search having no pixel on the boundary line of the object pattern is generated using the reference image, a test image including the test pattern is input, and a search for the test image is performed using the master image for coarse search. To extract an image area including the test pattern from the test image, perform a search of the image area using the master image for detailed search, and perform pattern recognition between the test pattern and the target object pattern.
[0011]
As described above, in the image recognition method according to the present invention, after a specific area is extracted by the coarse search master image, the pattern matching using the detailed search master image is performed. Can be searched. Further, since the master image for coarse search does not have pixels on the boundary line of the object pattern, it has robustness that can recognize the image pattern even if the object to be inspected is slightly deformed. .
[0012]
In the image recognition method according to the present invention, it is preferable that the coarse search master image includes a point near the boundary line separated by the first pixel from the boundary line of the object pattern. It is more preferable to include two sets of points near the boundary line that are separated by one pixel and located on both sides of the boundary line.
[0013]
Further, in the image recognition method according to the present invention, the rough search master image is thinned so that points near the boundary line having no pixels on the boundary line of the object pattern are arranged so that adjacent pixels are every second pixel. It is preferable that two sets of points in the vicinity of the boundary line located on both sides of the boundary line of the object pattern are thinned out so that the distance between adjacent pixels is every second pixel. More preferred.
[0014]
Further, in the image recognition method according to the present invention, in the coarse search master image, a pixel adjacent to a point near the boundary line separated by the first pixel from the boundary line of the target object pattern is every second pixel. It is preferable that two adjacent pixels are separated from each other by a first pixel from the boundary line of the object pattern and adjacent to two sets of boundary line neighboring points located on both sides of the boundary line. It is more preferable that the data is thinned out every minute.
[0015]
Further, in the image recognition method according to the present invention, it is preferable that the first pixel value is a value corresponding to a molding variation or an assembling position variation of the object, and the first pixel portion is roughly irrespective of the deformation variation or the assembling position variation of the object. More preferably, the search master image has a value suitable for searching for a test pattern.
[0016]
In the image recognition method according to the present invention, it is preferable that the second pixel is determined in accordance with the target time of pattern recognition and the total length of the boundary line of the target object pattern.
[0017]
Depending on the target time of pattern recognition and the total length of the boundary line of the object pattern, adjacent pixels are thinned so as to be every second pixel so as to obtain an optimal result. An image pattern search can be performed at high speed and with high accuracy.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of an image recognition method according to the present invention will be described with reference to FIGS. FIG. 1 schematically shows an overall configuration of an image recognition device 1 for implementing an image recognition method according to the present invention. The image recognition device 1 mainly includes an image input unit composed of a CCD camera or the like. 2, an A / D converter 3, an image memory 4 for temporarily storing an input image, an operation unit 5, an attention area designating unit 9 composed of a mouse, a track bowl, and the like, and a result composed of a liquid crystal display, a printer, and the like. It comprises an output unit 10 and a master storage unit 11 for storing a master image. The components of the image recognition device 1 are interconnected by a bus or the like (not shown) and controlled by an overall control unit including a CPU and the like (not shown). The calculation unit 5 includes at least a region of interest selection unit 6, a master image generation unit 7, and a search processing unit 8, and includes a CPU, a ROM, a RAM, and various interfaces.
[0019]
Next, a procedure for generating a master image in one embodiment of the image recognition method according to the present invention will be described with reference to FIG.
[0020]
First, in order to generate a master image, an image for master generation as a reference image including at least the outer shape pattern of the object is input by the image input unit 2 using the target object 100 serving as a reference (step 201). The signal is converted into a digital signal by the D converter 3 and temporarily stored in the image memory 4 (step 202). An example of the input master generation image 110 is shown in FIG.
[0021]
Next, a part to be registered as a master image is selected as a region of interest from the input master generation image (step 203). The selection is performed by the operator selecting the master generation image 110 on the result output unit 10 while using the attention area designating unit 9, and is selected from the master generation image 110 by the attention area selection unit 6. An example of the selected region of interest 120 is shown in FIG. The image information of the region of interest 120 is stored in the master image storage unit 11 as a master image for detailed search (step 204). The area 130 will be described later.
[0022]
Next, the master generation unit 7 extracts a point near the boundary line from the image information of the attention area 120 of the image for master generation (step 205), and uses the extracted point near the boundary line as the master image for coarse search. 11 (step 206).
[0023]
The procedure for obtaining a master image for coarse search will be described below with reference to FIG. 4A to 4C correspond to the region 130 in FIG. 3B, and FIG. 4D corresponds to the region of interest 120 in FIG. 3B. 4 (a) to 4 (c), pixels are emphasized for explanation, and in each of the drawings, 135 indicates an object pattern.
[0024]
First, a known differentiation process or the like is performed on the image information of the region of interest 120, and a boundary 140 of the target object 100 is detected (see FIG. 4A). Next, from the boundary line 140, two points near the boundary line 142 and 144 that are separated by a pixels in the direction perpendicular to the boundary line inside and outside the boundary line are obtained (see FIG. 4B). ). Finally, the pixels are thinned out from the calculated boundary vicinity points 142 and 144 so that the distance between adjacent pixels is b pixels (see FIG. 4C). FIG. 4D shows an example of the coarse search master image obtained as a result.
[0025]
Note that, as shown in FIG. 4C, the boundary line neighboring points 142 outside the boundary line 140 each take over the density of the background portion, and thus have a bright density and have the boundary line inside the boundary line 140. The neighboring points 144 each have a dark density because they take over the density of the target object pattern 135. The fact that the two sets of boundary point neighboring points 142 and 144 have different densities also has the effect of making it possible to more reliably perform pattern matching with a test pattern when performing a search using the coarse search master image 150. is there. The background may have a dark density and the target may have a light density. It is important that there is always a density difference between the two sets of points 142 and 144 near the boundary line.
[0026]
Here, it is desirable that “a pixels” is determined according to the deformation variation amount of the test object. For example, when a resin molded product having a maximum width of about 100 mm is a test object, and its deformation variation is about ± 1 mm, a view size of about 150 mm in length and width is required in consideration of an error in assembling the test object. It is. In this case, since the resolution per pixel is 0.3 mm, in order to allow deformation variation of ± 1 mm, it is appropriate to set a point near the boundary at a position separated by ± 3 pixels. .
[0027]
In other words, if there is a master image for pattern recognition (in this case, a master image for coarse search) on the boundary of the outer shape of the resin molded product as the object to be inspected, a highly accurate pattern is formed due to variation in the deformation of the resin molded product. In some cases, recognition cannot be performed. Therefore, "a pixel" is set so that pattern recognition can be performed in the rough search regardless of the variation in the deformation of the test object. As shown in FIG. 5, even if the boundary of the actual object to be inspected fluctuates with respect to the ideal boundary (corresponding to the boundary of the reference object), the vicinity of the boundary separated by a pixels With the rough search master image 150 having points, even if the shape of the object to be inspected is slightly changed, it can be recognized, and the robustness can be improved.
[0028]
Further, it is desirable that “b pixels” is determined according to the target time of the image processing and the total length of the boundary line of the test object. For example, in order to complete image processing within 0.1 s using a Pentium III (registered trademark) 1 GHz CPU, it is necessary to set the point near the boundary line to within 400 pixels. Furthermore, in order to obtain the highest recognition accuracy at a limited number of points near the boundary line, it is necessary that the points near the boundary line are evenly scattered over the entire boundary line of the test object. For example, in a case where the total length of the boundary is 800 pixels, the points near the boundary are arranged on both sides of the boundary by 200 pixels (400 pixels in total). = 4, every four pixels is optimal.
[0029]
Although the rough search master image 150 in the above-described example includes two sets of points near the boundary line arranged on both sides of the boundary line, any one of them may be used. When a CPU or a system having an extremely high image processing capability is used, a coarse search master image can be generated without thinning out so that the distance between adjacent pixels is b pixels.
[0030]
Next, a recognition procedure in an embodiment of the image recognition method according to the present invention will be described with reference to FIG.
[0031]
First, a test object 160 is arranged in place of the target object 100, a test image is input by the image input unit 2, converted to a digital signal by the A / D converter 3, and temporarily stored in the image memory 4 ( Step 601). FIG. 7A shows an example of the input test image 170. Note that an image input unit for generating a master image and an image input unit for inputting a test image may be separately provided.
[0032]
Next, the search processing unit 8 performs a coarse search on the test image 170 using the coarse search master image 150 stored in step 206 of FIG. 2 (step 602). In the coarse search, the entire search image 170 is searched while the coarse search master image 150 is being moved in steps of a pixels (the same a pixels as when the point near the boundary line is obtained) (see FIG. 7A). Is performed, and the image region that most matches the rough search master image 150 in the test image 170 is determined. FIG. 7B shows an example of the image region 180 that has the best match.
[0033]
Next, the search processing unit 8 performs a search on the image area (detailed search image area) 190 within the range of ± a pixels centering on the image area 180 most matched in the test image in step 204 in FIG. A detailed search is performed using the stored master image for detailed search (step 603). Note that the detailed search for the image area 190 within the range of ± a pixels is performed because the point near the boundary line of the coarse search master is located a pixel away from the boundary line by a pixel, so that the peripheral search of the coarse search master is performed. This is because it is expected that more accurate pattern matching may be performed when a detailed search is performed by overlapping a pixel when a pattern is barely present.
[0034]
The detailed search is performed while moving the detailed search master image by one pixel in the detailed search image area 190 extracted by the coarse search in step 602. The object pattern of the master image for detailed search is compared with the pattern to be inspected by a known pattern matching method, and a part missing inspection of the object 160 to be inspected is performed (step 604).
[0035]
It should be noted that the above-described master creation procedure and recognition procedure can be used for determining the positioning of a component (for example, determining whether a predetermined component position is correct or incorrect on a printed wiring board) instead of inspecting a defective component.
[Brief description of the drawings]
FIG. 1 is a diagram showing an outline of an image recognition device for implementing an image recognition method according to the present invention.
FIG. 2 is a flowchart illustrating a procedure for creating a master image.
FIG. 3A is a diagram illustrating an example of a master creation image, and FIG. 3B is a diagram illustrating an example of a region of interest;
FIGS. 4A to 4C are diagrams for explaining a procedure for creating a rough search master image, and FIG. 4D is a diagram showing an example of the created rough search master image.
FIG. 5 is a diagram for explaining a function of a coarse search master image.
FIG. 6 is a flowchart illustrating a procedure for recognizing an image pattern.
7A is a diagram illustrating an example of a test image, and FIG. 7B is a diagram illustrating an example of an image region for a detailed search;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Image recognition apparatus 2 ... Image input part 3 ... A / D converter 4 ... Image memory 5 ... Operation part 5
Reference area indicating unit 10 Result output unit 11 Master storage unit 100 Object 110 Master generation image 120 Area of interest 150 Rough search master 160 Test object 170 Test image 190 Details Search image area

Claims

Input the reference image including the object pattern,
Using the reference image to generate a master image for detailed search including the object pattern,
Using the reference image to generate a coarse search master image having no pixels on the boundary of the object pattern,
An image recognition method characterized by performing pattern recognition using a master image for coarse search.

The image recognition method according to claim 1, wherein the rough search master image includes a point near a boundary line separated by a first pixel from a boundary line of the object pattern.

2. The image recognition method according to claim 1, wherein the master image for coarse search includes two sets of points near the boundary line that are separated by a first pixel from the boundary line of the target object pattern and are located on both sides of the boundary line.

The master image for rough search is obtained by thinning out points near the boundary line having no pixels on the boundary line of the target object pattern so that adjacent pixels are every second pixel. Image recognition method as described.

The master image for coarse search is obtained by thinning out two sets of points near the boundary line located on both sides of the boundary line of the object pattern so that adjacent pixels are every second pixel. The image recognition method according to claim 1.

The rough search master image is obtained by thinning out points near a boundary line separated by a first pixel from a boundary line of the object pattern so that adjacent pixels are every second pixel. Item 2. The image recognition method according to Item 1.

The coarse search master image is separated from the boundary line of the object pattern by a first pixel, and two sets of boundary line neighboring points located on both sides of the boundary line are defined as a second pixel between adjacent pixels. 2. The image recognition method according to claim 1, wherein the image is thinned out every minute.

The image recognition method according to any one of claims 2, 3, 6, and 7, wherein the first pixel value is a value corresponding to a variation in deformation or an assembling position of the object.

The image recognition method according to claim 4, wherein the second pixel is a value corresponding to a target time of the pattern recognition and a total length of a boundary line of the object pattern.

Input the reference image including the object pattern,
Using the reference image to generate a master image for detailed search including the object pattern,
Using the reference image to generate a coarse search master image having no pixels on the boundary of the object pattern,
Input a test image including a test pattern,
Perform a search for the test image using the coarse search master image, to extract an image region containing the test pattern from the test image,
An image recognition method, wherein the image area is searched using the master image for detailed search, and pattern recognition between the test pattern and the object pattern is performed.

The image recognition method according to claim 10, wherein the rough search master image includes a boundary line vicinity point separated by a first pixel from a boundary line of the object pattern.

The image recognition method according to claim 10, wherein the coarse search master image includes two sets of points near the boundary line that are separated by a first pixel from the boundary line of the target object pattern and are located on both sides of the boundary line.

The master image for rough search is obtained by thinning out points near a boundary line having no pixels on the boundary line of the object pattern so that adjacent pixels are every second pixel. Image recognition method as described.

The master image for coarse search is obtained by thinning out two sets of points near the boundary line located on both sides of the boundary line of the object pattern so that adjacent pixels are every second pixel. The image recognition method according to claim 10.

The rough search master image is obtained by thinning out points near a boundary line separated by a first pixel from a boundary line of the object pattern so that adjacent pixels are every second pixel. Item 11. The image recognition method according to Item 10.

The coarse search master image is separated from the boundary line of the object pattern by a first pixel, and two sets of boundary line neighboring points located on both sides of the boundary line are defined as a second pixel between adjacent pixels. The image recognition method according to claim 10, wherein the image is thinned out every minute.

The image recognition method according to any one of claims 11, 12, 15, and 16, wherein the first pixel is a value corresponding to a variation in deformation or an assembling position of the object.

17. The first pixel portion is a value suitable for the rough search master image only for searching for the test pattern, regardless of a variation in deformation or a variation in assembling position of the object. The image recognition method according to claim 1.

The image recognition method according to any one of claims 13 to 16, wherein the second pixels are determined according to a target time of the pattern recognition and a total length of a boundary line of the object pattern.