JP2010008159A - Visual inspection processing method - Google Patents
Visual inspection processing method Download PDFInfo
- Publication number
- JP2010008159A JP2010008159A JP2008166272A JP2008166272A JP2010008159A JP 2010008159 A JP2010008159 A JP 2010008159A JP 2008166272 A JP2008166272 A JP 2008166272A JP 2008166272 A JP2008166272 A JP 2008166272A JP 2010008159 A JP2010008159 A JP 2010008159A
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- data
- learning
- pixel
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、検査対象物を撮像した検査対象画像を用いて検査対象物の異常の有無を判定する外観検査処理方法に関するものである。 The present invention relates to an appearance inspection processing method for determining the presence or absence of abnormality of an inspection object using an inspection object image obtained by imaging the inspection object.
検査対象物を撮像した検査対象画像を用いて検査対象物の異常の有無を判定する従来の外観検査処理方法として、検査対象画像から複数の特徴量を抽出し、抽出した複数の特徴量からなる検査データを学習済みのニューラルネットワークに入力データとして入力することによって、検査対象物が正常状態であるか否かを判定する方法が知られている（例えば、特許文献１参照）。従来の外観検査処理方法は、上記のような判定を行う前に、正常サンプルの画像及び異常サンプルの画像の両方から複数の特徴量を抽出し、抽出した複数の特徴量からなる学習データを複数作成する。その後、複数の学習データを学習前のニューラルネットワークに入力データとして入力して学習させている。 As a conventional appearance inspection processing method for determining the presence / absence of an abnormality in an inspection object using an inspection object image obtained by imaging the inspection object, a plurality of feature amounts are extracted from the inspection object image, and the extracted feature amounts are included. There is known a method for determining whether or not an inspection object is in a normal state by inputting inspection data as input data to a learned neural network (see, for example, Patent Document 1). The conventional appearance inspection processing method extracts a plurality of feature amounts from both the normal sample image and the abnormal sample image before performing the determination as described above, and a plurality of learning data composed of the extracted plurality of feature amounts. create. After that, a plurality of learning data is input to the neural network before learning as input data for learning.
特許文献１の外観検査処理方法では、検査対象物の表面を撮影し、検査対象画像から他の領域とは異なって撮像された領域（例えば黒く撮像された領域）の大きさや方向、長さを特徴量として抽出し、抽出した特徴量を学習データとしてニューラルネットワークに入力する。
しかしながら、従来の外観検査処理方法には、正常サンプルに比べて発生頻度が少ない異常サンプルの画像に関する学習データを必要とすることから、ニューラルネットワークの精度を短時間で高めることができず、検査精度を高めるのに時間を要するという問題があった。また、異常サンプル画像を擬似的に作成することは容易なことではない。 However, since the conventional visual inspection processing method requires learning data relating to an image of an abnormal sample that occurs less frequently than a normal sample, the accuracy of the neural network cannot be increased in a short time. There was a problem that it took time to increase Moreover, it is not easy to create an abnormal sample image in a pseudo manner.
本発明は上記の点に鑑みて為されたものであり、その目的は、高い検査精度の外観検査を短時間で容易に実現することができる外観検査処理方法を提供することにある。 The present invention has been made in view of the above points, and an object of the present invention is to provide an appearance inspection processing method capable of easily realizing appearance inspection with high inspection accuracy in a short time.
請求項１の発明は、検査対象物を撮像したカラー画像である検査対象画像の各画素における色度座標の各座標値を用いて前記検査対象物の異常の有無を判定する外観検査処理方法であって、正常状態の検査対象物を撮像したカラー画像である正常サンプル画像の画素ごとに色度座標の各座標値を特徴量とする学習データを作成し、各学習データを競合学習型ニューラルネットワークに入力して学習させ、当該競合学習型ニューラルネットワークの出力層のニューロンをカテゴリに対応付けているクラスタリングマップを作成し、前記競合学習型ニューラルネットワークの学習後に、各学習データを当該競合学習型ニューラルネットワークに再度入力し、前記学習データごとに、前記クラスタリングマップ上の各ニューロンにおいて、前記学習データと重みベクトルとのユークリッド距離を求め、前記クラスタリングマップ上の各ニューロンに対して、各学習データと前記重みベクトルとから求めた複数のユークリッド距離により決定した分散、及び前記重みベクトルである平均値により定義したガウス関数を設定し、前記クラスタリングマップ上の各ニューロンに対するガウス関数の設定後に、各学習データを前記競合学習型ニューラルネットワークに再度入力し、前記学習データごとに、前記クラスタリングマップ上の全てのニューロンのガウス関数値の総和を求め、全ての学習データに関する前記ガウス関数値の総和の分布から、正常画像であるための下限閾値を設定し、その後、前記検査対象画像の画素ごとに色度座標の各座標値を特徴量とする検査データを作成し、各検査データを前記競合学習型ニューラルネットワークに入力し、前記検査データごとに、当該検査データに関するガウス関数値の総和を求め、当該検査データに関するガウス関数値の総和が前記下限閾値未満である場合、当該検査データに対応する画素を異常判定画素とし、前記検査対象画像における前記異常判定画素を用いた評価条件によって前記検査対象物の異常の有無を判定することを特徴とする。 The invention of claim 1 is an appearance inspection processing method for determining the presence / absence of abnormality of the inspection object using each coordinate value of chromaticity coordinates in each pixel of the inspection object image which is a color image obtained by imaging the inspection object. In addition, learning data having each chromaticity coordinate value as a feature amount is created for each pixel of a normal sample image that is a color image obtained by imaging a normal inspection object, and each learning data is used as a competitive learning type neural network. To create a clustering map in which neurons in the output layer of the competitive learning type neural network are associated with categories, and after learning the competitive learning type neural network, each learning data is transferred to the competitive learning type neural network. Re-input to the network, and for each learning data, in each neuron on the clustering map, the learning A variance determined by a plurality of Euclidean distances obtained from each learning data and the weight vector for each neuron on the clustering map, and an average of the weight vectors A Gaussian function defined by a value is set, and after setting a Gaussian function for each neuron on the clustering map, each learning data is input again to the competitive learning neural network, and for each learning data, on the clustering map A total sum of Gaussian function values of all neurons is obtained, a lower threshold for setting a normal image is set from the distribution of the sum of Gaussian function values for all learning data, and then a color is set for each pixel of the inspection target image. Create inspection data with each coordinate value of degree coordinate as feature quantity, Data is input to the competitive learning type neural network, and for each test data, a sum of Gaussian function values related to the test data is obtained, and when the sum of Gaussian function values related to the test data is less than the lower threshold, A pixel corresponding to the inspection data is used as an abnormality determination pixel, and the presence or absence of abnormality of the inspection object is determined based on an evaluation condition using the abnormality determination pixel in the inspection object image.
請求項２の発明は、請求項１の発明において、前記評価条件は、前記検査対象画像における前記異常判定画素の総数が予め設定された基準値を超える場合に前記検査対象物が異常であると判定する条件であることを特徴とする。 According to a second aspect of the invention, in the first aspect of the invention, the evaluation condition is that the inspection object is abnormal when the total number of the abnormality determination pixels in the inspection target image exceeds a preset reference value. It is a condition for judging.
請求項３の発明は、請求項１の発明において、前記評価条件は、前記検査対象画像上において前記異常判定画素が連結された領域の大きさが予め設定された基準値を超える場合に前記検査対象物が異常であると判定する条件であることを特徴とする。 According to a third aspect of the present invention, in the first aspect of the invention, the evaluation condition is that the inspection is performed when a size of a region where the abnormality determination pixels are connected on the inspection target image exceeds a preset reference value. The condition is that the object is determined to be abnormal.
請求項４の発明は、請求項１の発明において、前記評価条件は、前記学習データとして用いた正常サンプル画像とは異なる複数の正常サンプル画像の各画素における色度座標の各座標値を特徴とする入力データを作成し、各入力データを前記競合学習型ニューラルネットワークに入力し、前記入力データごとに、当該入力データに関するガウス関数値の総和を求め、前記入力データに関するガウス関数値の総和が前記下限閾値未満である場合、前記入力データに対応する画素を異常判定画素とし、各正常サンプル画像の異常判定画素の総数を求め、求めた異常判定画素の総数の最大値を求め、前記検査対象物の異常判定画素が前記最大値を超える場合に前記検査対象物が異常であると判定する条件であることを特徴とする。 The invention of claim 4 is characterized in that, in the invention of claim 1, the evaluation condition is characterized by coordinate values of chromaticity coordinates in each pixel of a plurality of normal sample images different from the normal sample image used as the learning data. Each input data is input to the competitive learning neural network, and for each input data, a sum of Gaussian function values related to the input data is obtained, and a sum of Gaussian function values related to the input data is If it is less than the lower threshold, the pixel corresponding to the input data is set as an abnormality determination pixel, the total number of abnormality determination pixels of each normal sample image is obtained, the maximum value of the obtained total number of abnormality determination pixels is obtained, and the inspection object The condition for determining that the inspection object is abnormal when the number of abnormality determination pixels exceeds the maximum value.
請求項１の発明によれば、正常サンプル画像を用いるのみで、例えば検査機に対して検査対象物の外観検査に関する検査パラメータを自動設定することができるので、操作者の熟練度合いや専門知識の有無に関係なく、複雑かつ高精度な外観検査を簡単に実現することができるとともに、操作者の主観によらず信頼性の高い外観検査を実現することができる。異常サンプル画像を擬似的に作成する必要もないため、高い検査精度の外観検査を容易に実現することができる。 According to the first aspect of the present invention, the inspection parameters relating to the appearance inspection of the inspection object can be automatically set, for example, with respect to the inspection machine only by using the normal sample image. Regardless of the presence or absence, it is possible to easily realize a complicated and highly accurate appearance inspection, and it is possible to realize a highly reliable appearance inspection regardless of the subjectivity of the operator. Since it is not necessary to create an abnormal sample image in a pseudo manner, an appearance inspection with high inspection accuracy can be easily realized.
請求項２の発明によれば、異常判定画素の総数によって検査対象物の異常を判定することによって、特に全体及び広範囲の領域が斑模様になっている検査対象物を精度よく異常と判定することができる。 According to the invention of claim 2, by determining the abnormality of the inspection object based on the total number of abnormality determination pixels, it is possible to accurately determine the inspection object in which the whole and a wide range of areas are speckled with high accuracy. Can do.
請求項３の発明によれば、異常判定画素が連結された領域の大きさによって検査対象物の異常を判定することによって、特に一部分に傷や斑が発生している検査対象物を精度よく異常と判定することができる。 According to the third aspect of the invention, the abnormality of the inspection object is determined accurately based on the size of the region where the abnormality determination pixels are connected. Can be determined.
請求項４の発明によれば、学習データとして用いていない各正常サンプル画像における異常判定画素の総数の最大値を求めることによって、正常（良品）である検査対象物の範囲を明確にすることができるので、検査対象物の判定を精度よく行うことができる。 According to the invention of claim 4, the range of normal (non-defective) inspection objects can be clarified by obtaining the maximum value of the total number of abnormality determination pixels in each normal sample image that is not used as learning data. Therefore, the inspection object can be accurately determined.
（実施形態１）
本実施形態で説明する外観検査方法は、検査対象物を撮像したカラー画像である検査対象画像の各画素における色度座標の各座標値を用いて、検査対象物の異常の有無つまり検査対象物が良品であるか不良品であるかを判定する方法である。
(Embodiment 1)
The appearance inspection method described in the present embodiment uses the coordinate values of the chromaticity coordinates in each pixel of the inspection target image, which is a color image obtained by imaging the inspection target, to determine whether there is an abnormality in the inspection target, that is, the inspection target. Is a method for determining whether the product is a non-defective product or a defective product.
まず、上記外観検査方法に用いられる外観検査装置の構成について図１を用いて説明する。この外観検査装置は、図１に示すように、分類部２に含まれる競合学習型ニューラルネットワーク１を用いて検査対象物の異常の有無つまり検査対象物が良品であるか不良品であるかを判定するものである。 First, the configuration of an appearance inspection apparatus used in the appearance inspection method will be described with reference to FIG. As shown in FIG. 1, the appearance inspection apparatus uses a competitive learning type neural network 1 included in the classification unit 2 to check whether there is an abnormality in the inspection object, that is, whether the inspection object is a good product or a defective product. Judgment.
競合学習型ニューラルネットワーク１は、図２に示すように、入力層１１の各ニューロンＮ１と出力層１２の各ニューロンＮ２とが相互に結合されており、入力層１１の各ニューロンＮ１に、入力データが入力される。 As shown in FIG. 2, in the competitive learning type neural network 1, each neuron N1 in the input layer 11 and each neuron N2 in the output layer 12 are coupled to each other, and each neuron N1 in the input layer 11 receives input data. Is entered.
図１に示す分類部２は、競合学習型ニューラルネットワーク１とともに、クラスタ判定部３を含んでいる。分類部２の入力側には、画像入力部４と、色抽出部５とが設けられている。 The classification unit 2 shown in FIG. 1 includes a cluster determination unit 3 along with the competitive learning type neural network 1. An image input unit 4 and a color extraction unit 5 are provided on the input side of the classification unit 2.
画像入力部４は、検査対象物（図示せず）を撮像するカメラ部（図示せず）を備え、カメラ部で撮像されたＲＧＢカラー画像を色抽出部５に出力する。 The image input unit 4 includes a camera unit (not shown) that images an inspection object (not shown), and outputs an RGB color image captured by the camera unit to the color extraction unit 5.
色抽出部５は、画像入力部４から入力されたＲＧＢカラー画像の各画素におけるＲＧＢ色度座標から、赤を示すＲ座標値、緑を示すＧ座標値、及び青を示すＢ座標値を特徴量として抽出する。学習時において、色抽出部５は、抽出したＲ座標値、Ｇ座標値及びＢ座標値の組み合わせの学習データを画素ごとに作成する。各学習データは、競合学習型ニューラルネットワーク１に入力データとして入力される。これに対して、検査時においては、色抽出部５は、抽出したＲ座標値、Ｇ座標値及びＢ座標値の組み合わせの検査データを画素ごとに作成する。検査データは、競合学習型ニューラルネットワーク１に入力データとして入力される。なお、学習データは、予め収集されて学習データ記憶部６に記憶されているものを用いてもよい。 The color extraction unit 5 is characterized by an R coordinate value indicating red, a G coordinate value indicating green, and a B coordinate value indicating blue from the RGB chromaticity coordinates in each pixel of the RGB color image input from the image input unit 4. Extract as a quantity. At the time of learning, the color extraction unit 5 creates learning data of a combination of the extracted R coordinate value, G coordinate value, and B coordinate value for each pixel. Each learning data is input to the competitive learning neural network 1 as input data. On the other hand, at the time of inspection, the color extraction unit 5 creates inspection data of a combination of the extracted R coordinate value, G coordinate value, and B coordinate value for each pixel. The inspection data is input to the competitive learning type neural network 1 as input data. Note that learning data collected in advance and stored in the learning data storage unit 6 may be used.
次に、本実施形態の外観検査方法について説明する。まず、図３（ａ）に示すように、分類部２において、クラスタ（カテゴリ）登録を行い、学習データを競合学習型ニューラルネットワーク１に入力して学習させる。競合学習型ニューラルネットワーク１の学習後に、クラスタリングマップ上の各ニューロンにガウス関数を設定する。 Next, the appearance inspection method of this embodiment will be described. First, as shown in FIG. 3A, the classification unit 2 performs cluster (category) registration, and learning data is input to the competitive learning type neural network 1 for learning. After learning by the competitive learning type neural network 1, a Gaussian function is set for each neuron on the clustering map.
続いて、競合学習型ニューラルネットワーク１を学習させるまでの動作について詳細に説明する。まず、画像入力部４が、正常状態の検査対象物を撮像し、ＲＧＢカラー画像を正常サンプル画像として色抽出部５に出力する。色抽出部５は、画像入力部４からの正常サンプル画像の画素ごとに、学習データを作成する。その後、分類部２は、各学習データを競合学習型ニューラルネットワーク１に入力データとして入力して学習させ、競合学習型ニューラルネットワーク１の出力層１２の各ニューロンＮ２（図２参照）を正常カテゴリ（良品カテゴリ）又は未知のカテゴリの何れかに対応付けているクラスタリングマップを作成する。クラスタリングマップは、図１に示すマップ記憶部７に記憶される。 Next, operations until the competitive learning type neural network 1 is learned will be described in detail. First, the image input unit 4 images a normal inspection object and outputs an RGB color image to the color extraction unit 5 as a normal sample image. The color extraction unit 5 creates learning data for each pixel of the normal sample image from the image input unit 4. Thereafter, the classification unit 2 inputs each learning data as input data to the competitive learning type neural network 1 for learning, and assigns each neuron N2 (see FIG. 2) of the output layer 12 of the competitive learning type neural network 1 to a normal category (see FIG. 2). A clustering map associated with either a good product category or an unknown category is created. The clustering map is stored in the map storage unit 7 shown in FIG.
続いて、競合学習型ニューラルネットワーク１の学習後の動作について図４を用いて詳細に説明する。競合学習型ニューラルネットワーク１の学習後に（図４のＳ１）、分類部２は、各学習データを競合学習型ニューラルネットワーク１に再度入力し（Ｓ２）、学習データごとに、クラスタリングマップ上の各ニューロンにおいて、学習データと重みベクトルとのユークリッド距離を求める（計算する）（Ｓ３）。 Next, the operation after learning of the competitive learning type neural network 1 will be described in detail with reference to FIG. After learning of the competitive learning type neural network 1 (S1 in FIG. 4), the classification unit 2 inputs the learning data again to the competitive learning type neural network 1 (S2), and for each learning data, each neuron on the clustering map. , The Euclidean distance between the learning data and the weight vector is obtained (calculated) (S3).
その後、分類部２は、各ニューロンについて、各学習データと重みベクトルとから求めた複数のユークリッド距離のリストを作成する（Ｓ４）。その後、分類部２は、各ニューロンについて、複数のユークリッド距離のリストから最大値を選択し（Ｓ５）、選択したユークリッド距離の最大値を分散σとし、重みベクトルを平均ベクトル［ｍ］として定義したガウス関数を設定する（Ｓ６）。ガウス関数は、ｙ＝ｅｘｐ（−｜［ｘ］−［ｍ］｜２／２σ２）である。［ｘ］は、競合学習型ニューラルネットワーク１に入力される入力データを成分とする特徴ベクトルである。｜［ｘ］−［ｍ］｜は特徴ベクトル［ｘ］の平均ベクトル［ｍ］に対するユークリッド距離である。上記ガウス関数を各ニューロンに割り当てて正常サンプル画像の色分布を近似する。なお、ステップＳ５，Ｓ６において、複数のユークリッド距離のリストから最大値を選択するのではなく、全てのユークリッド距離のうち、大きいほうから数％（例えば上位５％）の順位に該当する値を選択し、選択した値を分散σとしてもよい。 Thereafter, the classification unit 2 creates a list of a plurality of Euclidean distances obtained from each learning data and the weight vector for each neuron (S4). Thereafter, the classification unit 2 selects the maximum value from the list of a plurality of Euclidean distances for each neuron (S5), defines the maximum value of the selected Euclidean distance as the variance σ, and defines the weight vector as the average vector [m]. A Gaussian function is set (S6). The Gaussian function is y = exp (− | [x] − [m] | 2 / 2σ 2 ). [X] is a feature vector whose component is input data input to the competitive learning type neural network 1. | [X] − [m] | is the Euclidean distance of the feature vector [x] with respect to the average vector [m]. The Gaussian function is assigned to each neuron to approximate the color distribution of the normal sample image. In steps S5 and S6, instead of selecting a maximum value from a list of a plurality of Euclidean distances, a value corresponding to a rank of several percent (for example, the top 5%) is selected from the largest of all Euclidean distances. The selected value may be the variance σ.
各ニューロンのガウス関数の設定後に、分類部２は、各学習データを競合学習型ニューラルネットワーク１に再度入力し（Ｓ７）、学習データごとに、クラスタリングマップ上における全ニューロンのガウス関数の出力値ｙの総和（以下「ガウス関数値総和」という。）を求め（Ｓ８）、全ての学習データに関するガウス関数値総和のリストを作成する（Ｓ９）。その後、分類部２は、全ての学習データに関するガウス関数値総和のリストから最小値を選択し、選択したガウス関数値総和の最小値を、正常画像であるための下限閾値に設定する（Ｓ１０）。これにより、検査基準を生成することができる。なお、ステップＳ１０において、分類部２は、全ての学習データに関するガウス関数値総和のリストから最小値を選択するのでなく、全てのガウス関数値総和のうち下位１０％の値の平均値を求め、この平均値の５０％の値を下位閾値に設定してもよい。 After setting the Gauss function of each neuron, the classification unit 2 inputs the learning data again to the competitive learning type neural network 1 (S7), and the output value y of the Gauss function of all neurons on the clustering map for each learning data. (S8), and a list of Gaussian function value sums for all learning data is created (S9). Thereafter, the classification unit 2 selects a minimum value from the list of Gaussian function value sums for all learning data, and sets the selected minimum value of the Gaussian function value sums as a lower threshold for a normal image (S10). . Thereby, an inspection standard can be generated. In step S10, the classification unit 2 does not select the minimum value from the list of Gaussian function value sums for all learning data, but calculates the average value of the lower 10% of all the Gaussian function value sums. A value of 50% of this average value may be set as the lower threshold value.
次に、検査時の動作について図３（ｂ）を用いて説明する。まず、画像入力部４が、検査対象物を撮像し、ＲＧＢカラー画像を検査対象画像として色抽出部５に出力する。色抽出部５は、画像入力部４からの検査対象画像の画素ごとに、検査データを作成する。その後、分類部２は、各検査データを競合学習型ニューラルネットワーク１に入力データとして入力し、検査データごとに、クラスタリングマップ上の各ニューロンに設定されたガウス関数の出力値ｙを求め、さらに、検査データに関するガウス関数値総和を求める。その後、分類部２は、検査データに関するガウス関数値総和が下限閾値未満である場合、上記検査データに対応する画素を異常判定画素と判定する。 Next, the operation at the time of inspection will be described with reference to FIG. First, the image input unit 4 captures an inspection target and outputs an RGB color image to the color extraction unit 5 as an inspection target image. The color extraction unit 5 creates inspection data for each pixel of the inspection target image from the image input unit 4. Thereafter, the classification unit 2 inputs each test data as input data to the competitive learning type neural network 1, and obtains an output value y of the Gaussian function set for each neuron on the clustering map for each test data, Find the sum of Gaussian function values for test data. Then, the classification | category part 2 determines with the pixel corresponding to the said test | inspection data being an abnormality determination pixel, when the Gaussian function value sum regarding test | inspection data is less than a minimum threshold value.
その後、分類部２は、異常判定画素の発生状態に応じて検査対象物の異常の有無を判定する。本実施形態の分類部２は、具体的に、１つの検査対象画像における異常判定画素の総数を計数し、計数した異常判定画素の総数が予め設定された基準値を超える場合に、検査対象物が異常（不良品）であると判定する。一方、計数した異常判定画素が上記基準値以下の場合、分類部２は、検査対象物が正常（良品）であると判定する。 Thereafter, the classification unit 2 determines the presence / absence of an abnormality of the inspection object according to the occurrence state of the abnormality determination pixel. Specifically, the classification unit 2 of the present embodiment counts the total number of abnormality determination pixels in one inspection target image, and when the total number of abnormality determination pixels counted exceeds a preset reference value, the inspection target Is determined to be abnormal (defective product). On the other hand, if the counted abnormality determination pixel is equal to or less than the reference value, the classification unit 2 determines that the inspection target is normal (non-defective product).
本実施形態では、図５に示すように、ある検査データを競合学習型ニューラルネットワーク１に入力したときに、分類部２は、クラスタリングマップ上の各ニューロンの重みベクトルと検査データとのユークリッド距離を求めて、異なる正常カテゴリの領域Ｄに挟まれた領域Ｄ１に存在するニューロンＮ３が発火した場合、この検査データのカテゴリを未知とせずに正常カテゴリ（良品カテゴリ）であると判定する。つまり、分類部２は、検査データに対応する画素を正常画素と判定する。一方、領域Ｄ１の外側に位置するニューロンＮ４が発火した場合、分類部２は、検査データを未知のカテゴリと判定する。つまり、分類部２は、検査データに対応する画素を異常画素と判定する。 In this embodiment, as shown in FIG. 5, when certain inspection data is input to the competitive learning type neural network 1, the classification unit 2 calculates the Euclidean distance between the weight vector of each neuron on the clustering map and the inspection data. When the neuron N3 existing in the region D1 sandwiched between the regions D of different normal categories is fired, it is determined that the category of the inspection data is a normal category (good product category) without making the category unknown. That is, the classification unit 2 determines that the pixel corresponding to the inspection data is a normal pixel. On the other hand, when the neuron N4 located outside the region D1 is fired, the classification unit 2 determines the examination data as an unknown category. That is, the classification unit 2 determines that the pixel corresponding to the inspection data is an abnormal pixel.
図１に示す分類部２で行われた検査対象物の判定結果は、分類部２から判定記憶部８に出力され、判定記憶部８に記憶される。判定記憶部８には、これまでの判定結果が全て記憶されている。 The determination result of the inspection object performed by the classification unit 2 illustrated in FIG. 1 is output from the classification unit 2 to the determination storage unit 8 and stored in the determination storage unit 8. The determination storage unit 8 stores all determination results so far.
また、分類部２の判定結果は、分類部２から出力部９に伝送され、出力部９の表示画面に表示される。この出力部９の表示画面には、図６に示すように、検査対象画像と検査結果画像が並べて表示されるとともに、検査対象物が正常（良品）であるか異常（不良品）であるかの旨が表示される。検査対象物が良品である場合、図６（ａ）に示すように、良品検査画像及び良品検査結果画像が表示される。一方、検査対象物が不良品である場合、図６（ｂ）に示すように、不良品検査画像及び不良品検査結果画像が表示される。検査結果画像は、正常画素と異常画素とを区別できるように、正常画素を黒色、異常画素を白色というように色分けされて表示される。検査対象物が不良品である場合、図６（ｂ）に示すように、不良品検査画像中の緑色の色斑Ａ１、赤色の色斑Ａ２、青色の色斑Ａ３が、不良品検査結果画像において、それぞれ異常画素の集合Ｂ１，Ｂ２，Ｂ３として検出されている。 The determination result of the classification unit 2 is transmitted from the classification unit 2 to the output unit 9 and displayed on the display screen of the output unit 9. On the display screen of the output unit 9, as shown in FIG. 6, the inspection target image and the inspection result image are displayed side by side, and whether the inspection target is normal (good product) or abnormal (defective product). Is displayed. When the inspection object is a non-defective product, a non-defective product inspection image and a non-defective product inspection result image are displayed as shown in FIG. On the other hand, when the inspection object is a defective product, a defective product inspection image and a defective product inspection result image are displayed as shown in FIG. The inspection result image is displayed by being color-coded such that normal pixels are black and abnormal pixels are white so that normal pixels and abnormal pixels can be distinguished. When the object to be inspected is a defective product, as shown in FIG. 6B, the green color spot A1, the red color spot A2, and the blue color spot A3 in the defective product inspection image are defective product inspection result images. Are detected as a set of abnormal pixels B1, B2, and B3, respectively.
以上、本実施形態によれば、正常サンプル画像を用いるのみで、外観検査装置に対して検査対象物の外観検査に関する検査パラメータを自動設定することができるので、操作者の熟練度合いや専門知識の有無に関係なく、複雑かつ高精度な外観検査を簡単に実現することができるとともに、操作者の主観によらず信頼性の高い外観検査を実現することができる。異常サンプル画像を擬似的に作成する必要もないため、高い検査精度の外観検査を容易に実現することができる。 As described above, according to the present embodiment, the inspection parameters relating to the appearance inspection of the inspection object can be automatically set for the appearance inspection apparatus only by using the normal sample image. Regardless of the presence or absence, it is possible to easily realize a complicated and highly accurate appearance inspection, and it is possible to realize a highly reliable appearance inspection regardless of the subjectivity of the operator. Since it is not necessary to create an abnormal sample image in a pseudo manner, an appearance inspection with high inspection accuracy can be easily realized.
また、本実施形態によれば、異常判定画素の総数によって検査対象物の異常を判定することによって、特に全体及び広範囲の領域が斑模様になっている検査対象物を精度よく異常と判定することができる。 In addition, according to the present embodiment, by determining the abnormality of the inspection object based on the total number of abnormality determination pixels, it is possible to accurately determine the inspection object in which the whole and a wide range of areas are speckled with high accuracy. Can do.
さらに、競合学習型ニューラルネットワーク１の入力データ（学習データ、検査データ）特徴量として、検査対象画像の各画素における色度座標の座標値を用いることによって、カラー画像に対する画像処理に一般的に用いられている色度座標の座標値を兼用することができるので、入力データの特徴量を抽出する手段を新たに設ける必要がない。 Furthermore, by using the coordinate value of the chromaticity coordinates in each pixel of the inspection target image as the input data (learning data, inspection data) feature quantity of the competitive learning type neural network 1, it is generally used for image processing on a color image. Since the coordinate values of the chromaticity coordinates that have been used can also be used, there is no need to newly provide means for extracting the feature quantity of the input data.
なお、実施形態１では、カラー画像としてＲＧＢカラー画像を用いているが、実施形態の変形例として、ＲＧＢカラー画像に代えて、例えばＹＣｂＣｒなど他の色空間の規格によるカラー画像を用いてもよい。ＹＣｂＣｒカラー画像の場合、色抽出部５は、ＹＣｂＣｒカラー画像の各画素における色度座標から、輝度を示すＹ座標値、青の差分信号を示すＣｂ座標値、及び赤の差分信号を示すＣｒ座標値を特徴量として抽出する。実施形態２〜４についても同様である。 In the first embodiment, an RGB color image is used as a color image. However, as a modification of the embodiment, a color image based on another color space standard such as YCbCr may be used instead of the RGB color image. . In the case of a YCbCr color image, the color extraction unit 5 determines a Y coordinate value indicating luminance, a Cb coordinate value indicating a blue difference signal, and a Cr coordinate indicating a red difference signal from the chromaticity coordinates in each pixel of the YCbCr color image. A value is extracted as a feature amount. The same applies to the second to fourth embodiments.
（実施形態２）
実施形態２では、図１に示す分類部２が、検査対象画像上において異常判定画素が連結された領域の大きさが予め設定された基準値を超える場合に検査対象物が異常（不良品）であると判定する点で、実施形態１と相違する。なお、実施形態１と同様の構成要素については、同一の符号を付して説明を省略する。
(Embodiment 2)
In the second embodiment, the classification unit 2 shown in FIG. 1 has an abnormality (defective product) when the size of the region where abnormality determination pixels are connected on the inspection target image exceeds a preset reference value. This is different from the first embodiment in that it is determined. In addition, about the component similar to Embodiment 1, the same code | symbol is attached | subjected and description is abbreviate | omitted.
本実施形態の分類部２は、検査対象画像の各画素に対応する検査データを入力するとともに、検査対象画像における各画素の位置情報を画像入力部４から色抽出部５を介して取得する。各画素の位置情報を取得した分類部２は、各画素に対応する検査データと位置情報との対応付けを行う。 The classification unit 2 of the present embodiment inputs inspection data corresponding to each pixel of the inspection target image, and acquires position information of each pixel in the inspection target image from the image input unit 4 via the color extraction unit 5. The classification unit 2 that acquired the position information of each pixel associates the inspection data corresponding to each pixel with the position information.
その後、異常判定画素を判定した分類部２は、検査対象画像上における異常判定画素の位置を確認し、検査対象画像上における異常判定画素の連結領域の大きさを求め、求めた領域の大きさと基準値とを比較する。上記領域の大きさが基準値を超える場合、分類部２は、検査対象物が異常（不良品）であると判定する。これに対して、上記領域の大きさが基準値以下である場合、分類部２は、検査対象物が正常（良品）であると判定する。 Thereafter, the classification unit 2 that has determined the abnormality determination pixel confirms the position of the abnormality determination pixel on the inspection target image, obtains the size of the connected region of the abnormality determination pixel on the inspection target image, and determines the size of the obtained region. Compare with the reference value. If the size of the region exceeds the reference value, the classification unit 2 determines that the inspection target is abnormal (defective product). On the other hand, when the size of the region is equal to or smaller than the reference value, the classification unit 2 determines that the inspection target is normal (non-defective product).
以上、本実施形態によれば、異常判定画素が連結された領域の大きさによって検査対象物の異常を判定することによって、特に一部分に傷や斑が発生している検査対象物を精度よく異常と判定することができる。 As described above, according to the present embodiment, the abnormality of the inspection object is determined based on the size of the region where the abnormality determination pixels are connected, so that the inspection object in which a part of the scratch or the spot is generated is accurately abnormal. Can be determined.
（実施形態３）
実施形態３では、検査対象物の異常の有無を判定する際に、学習データとして用いた正常サンプル画像とは異なる複数の正常サンプル画像を用いる点で、実施形態１と相違する。なお、実施形態１と同様の構成要素については、同一の符号を付して説明を省略する。
(Embodiment 3)
The third embodiment is different from the first embodiment in that a plurality of normal sample images different from the normal sample images used as learning data are used when determining the presence / absence of an abnormality of the inspection object. In addition, about the component similar to Embodiment 1, the same code | symbol is attached | subjected and description is abbreviate | omitted.
本実施形態では、図１に示す色抽出部５が、検査対象画像の画素ごとに検査データを作成するとともに、学習データとして用いた正常サンプル画像とは異なる複数の正常サンプル画像の各画素におけるＲＧＢ色度座標のＲ座標値、Ｇ座標値及びＢ座標値を特徴とする入力データを作成する。 In the present embodiment, the color extraction unit 5 illustrated in FIG. 1 creates inspection data for each pixel of the inspection target image, and performs RGB in each pixel of a plurality of normal sample images different from the normal sample image used as learning data. Input data characterized by an R coordinate value, a G coordinate value, and a B coordinate value of chromaticity coordinates are created.
本実施形態の分類部２は、検査対象画像における異常判定画素の判定とは別に、各入力データを競合学習型ニューラルネットワーク１に入力し、入力データごとに、入力データに関するガウス関数値の総和を求める。上記入力データに関するガウス関数値の総和が下限閾値未満である場合、入力データに対応する画素を異常判定画素とし、各正常サンプル画像の異常判定画素の総数を求め、求めた異常判定画素の総数の最大値を求める。 The classification unit 2 of this embodiment inputs each input data to the competitive learning type neural network 1 separately from the determination of the abnormality determination pixel in the inspection target image, and calculates the sum of Gaussian function values related to the input data for each input data. Ask. When the sum of the Gaussian function values related to the input data is less than the lower threshold, the pixels corresponding to the input data are determined as abnormality determination pixels, and the total number of abnormality determination pixels of each normal sample image is obtained. Find the maximum value.
その後、分類部２は、検査対象物の異常判定画素が上記最大値を超える場合に検査対象物が異常であると判定する。 Thereafter, the classification unit 2 determines that the inspection object is abnormal when the abnormality determination pixel of the inspection object exceeds the maximum value.
以上、本実施形態によれば、学習データとして用いていない各正常サンプル画像における異常判定画素の総数の最大値を求めることによって、正常（良品）である検査対象物の範囲を明確にすることができるので、検査対象物の判定を精度よく行うことができる。 As described above, according to the present embodiment, the range of normal (non-defective) inspection objects can be clarified by obtaining the maximum value of the total number of abnormality determination pixels in each normal sample image that is not used as learning data. Therefore, the inspection object can be accurately determined.
１ 競合学習型ニューラルネットワーク
２ 分類部
５ 色抽出部
1 Competitive learning type neural network 2 Classification unit 5 Color extraction unit
Claims (4)
正常状態の検査対象物を撮像したカラー画像である正常サンプル画像の画素ごとに色度座標の各座標値を特徴量とする学習データを作成し、各学習データを競合学習型ニューラルネットワークに入力して学習させ、当該競合学習型ニューラルネットワークの出力層のニューロンをカテゴリに対応付けているクラスタリングマップを作成し、
前記競合学習型ニューラルネットワークの学習後に、各学習データを当該競合学習型ニューラルネットワークに再度入力し、前記学習データごとに、前記クラスタリングマップ上の各ニューロンにおいて、前記学習データと重みベクトルとのユークリッド距離を求め、前記クラスタリングマップ上の各ニューロンに対して、各学習データと前記重みベクトルとから求めた複数のユークリッド距離により決定した分散、及び前記重みベクトルである平均値により定義したガウス関数を設定し、
前記クラスタリングマップ上の各ニューロンに対するガウス関数の設定後に、各学習データを前記競合学習型ニューラルネットワークに再度入力し、前記学習データごとに、前記クラスタリングマップ上の全てのニューロンのガウス関数値の総和を求め、全ての学習データに関する前記ガウス関数値の総和の分布から、正常画像であるための下限閾値を設定し、
その後、前記検査対象画像の画素ごとに色度座標の各座標値を特徴量とする検査データを作成し、各検査データを前記競合学習型ニューラルネットワークに入力し、
前記検査データごとに、当該検査データに関するガウス関数値の総和を求め、当該検査データに関するガウス関数値の総和が前記下限閾値未満である場合、当該検査データに対応する画素を異常判定画素とし、
前記検査対象画像における前記異常判定画素を用いた評価条件によって前記検査対象物の異常の有無を判定する
ことを特徴とする外観検査処理方法。 An appearance inspection processing method for determining the presence or absence of an abnormality of the inspection object using each coordinate value of chromaticity coordinates in each pixel of the inspection object image which is a color image obtained by imaging the inspection object,
Create learning data with each chromaticity coordinate value as a feature value for each pixel of a normal sample image, which is a color image of a normal inspection object, and input each learning data to a competitive learning neural network. Create a clustering map that associates neurons in the output layer of the competitive learning neural network with categories,
After learning of the competitive learning type neural network, each learning data is input again to the competitive learning type neural network, and for each learning data, in each neuron on the clustering map, the Euclidean distance between the learning data and the weight vector. For each neuron on the clustering map, a variance determined by a plurality of Euclidean distances obtained from each learning data and the weight vector, and a Gaussian function defined by the average value that is the weight vector are set. ,
After setting a Gaussian function for each neuron on the clustering map, each learning data is input again to the competitive learning type neural network, and for each learning data, a sum of Gaussian function values of all neurons on the clustering map is calculated. Obtaining, from the distribution of the sum of the Gaussian function values for all learning data, set a lower threshold for a normal image,
Then, creating inspection data with each coordinate value of chromaticity coordinates for each pixel of the inspection target image as a feature, and inputting each inspection data to the competitive learning type neural network,
For each inspection data, obtain the sum of Gaussian function values related to the inspection data, and if the sum of Gaussian function values related to the inspection data is less than the lower limit threshold, the pixel corresponding to the inspection data is an abnormality determination pixel,
An appearance inspection processing method, wherein presence / absence of abnormality of the inspection object is determined based on an evaluation condition using the abnormality determination pixel in the inspection object image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008166272A JP2010008159A (en) | 2008-06-25 | 2008-06-25 | Visual inspection processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008166272A JP2010008159A (en) | 2008-06-25 | 2008-06-25 | Visual inspection processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010008159A true JP2010008159A (en) | 2010-01-14 |
Family
ID=41588856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008166272A Pending JP2010008159A (en) | 2008-06-25 | 2008-06-25 | Visual inspection processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010008159A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012026982A (en) * | 2010-07-27 | 2012-02-09 | Panasonic Electric Works Sunx Co Ltd | Inspection device |
| JP2017096853A (en) * | 2015-11-26 | 2017-06-01 | 株式会社リコー | Information processing device, defect detection method and program |
| JP2017527905A (en) * | 2014-08-26 | 2017-09-21 | ノースロップ グラマン システムズ コーポレイションＮｏｒｔｈｒｏｐ Ｇｒｕｍｍａｎ Ｓｙｓｔｅｍｓ Ｃｏｒｐｏｒａｔｉｏｎ | Foreign matter detection system based on color |
| JP2019095932A (en) * | 2017-11-20 | 2019-06-20 | 日本製鉄株式会社 | Abnormality determination method and device |
| JP2020035097A (en) * | 2018-08-28 | 2020-03-05 | 株式会社モルフォ | Image identification device, image identification method, and image identification program |
| JP2021523348A (en) * | 2018-05-10 | 2021-09-02 | インスペクト エー．エム．ブイ リミテッド | Systems and methods for detecting defects in imaged items |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11173996A (en) * | 1997-12-09 | 1999-07-02 | Mayekawa Mfg Co Ltd | Nondesturctive detecting method for abnormal egg |
| JP2004239834A (en) * | 2003-02-07 | 2004-08-26 | Toppan Printing Co Ltd | Defect detecting apparatus and defect detection method for hologram |
| JP2006184254A (en) * | 2004-12-28 | 2006-07-13 | Meiji Milk Prod Co Ltd | Method of setting nondefective determination reference and method of determining determination processing precision in inspection device, and device for setting nondefective determination reference and device for determining determination processing accuracy |
| JP2007299059A (en) * | 2006-04-27 | 2007-11-15 | Matsushita Electric Works Ltd | Signal discrimination method |
| JP2008090529A (en) * | 2006-09-29 | 2008-04-17 | Matsushita Electric Works Ltd | Abnormality detection device, abnormality detection method |
-
2008
- 2008-06-25 JP JP2008166272A patent/JP2010008159A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11173996A (en) * | 1997-12-09 | 1999-07-02 | Mayekawa Mfg Co Ltd | Nondesturctive detecting method for abnormal egg |
| JP2004239834A (en) * | 2003-02-07 | 2004-08-26 | Toppan Printing Co Ltd | Defect detecting apparatus and defect detection method for hologram |
| JP2006184254A (en) * | 2004-12-28 | 2006-07-13 | Meiji Milk Prod Co Ltd | Method of setting nondefective determination reference and method of determining determination processing precision in inspection device, and device for setting nondefective determination reference and device for determining determination processing accuracy |
| JP2007299059A (en) * | 2006-04-27 | 2007-11-15 | Matsushita Electric Works Ltd | Signal discrimination method |
| JP2008090529A (en) * | 2006-09-29 | 2008-04-17 | Matsushita Electric Works Ltd | Abnormality detection device, abnormality detection method |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012026982A (en) * | 2010-07-27 | 2012-02-09 | Panasonic Electric Works Sunx Co Ltd | Inspection device |
| JP2017527905A (en) * | 2014-08-26 | 2017-09-21 | ノースロップ グラマン システムズ コーポレイションＮｏｒｔｈｒｏｐ Ｇｒｕｍｍａｎ Ｓｙｓｔｅｍｓ Ｃｏｒｐｏｒａｔｉｏｎ | Foreign matter detection system based on color |
| JP2017096853A (en) * | 2015-11-26 | 2017-06-01 | 株式会社リコー | Information processing device, defect detection method and program |
| JP2019095932A (en) * | 2017-11-20 | 2019-06-20 | 日本製鉄株式会社 | Abnormality determination method and device |
| JP2021523348A (en) * | 2018-05-10 | 2021-09-02 | インスペクト エー．エム．ブイ リミテッド | Systems and methods for detecting defects in imaged items |
| JP2020035097A (en) * | 2018-08-28 | 2020-03-05 | 株式会社モルフォ | Image identification device, image identification method, and image identification program |
| US11295173B2 (en) | 2018-08-28 | 2022-04-05 | Morpho, Inc. | Image identification apparatus, image identification method, and recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6924413B2 (en) | Data generator, data generation method and data generation program | |
| JP6936957B2 (en) | Inspection device, data generation device, data generation method and data generation program | |
| US11282185B2 (en) | Information processing device, information processing method, and storage medium | |
| JP6932987B2 (en) | Image processing device, image processing program, image processing system | |
| JP2018198053A5 (en) | ||
| WO2018179559A1 (en) | Defect detection system for aircraft component and defect detection method for aircraft component | |
| JP2010008159A (en) | Visual inspection processing method | |
| US20120207379A1 (en) | Image Inspection Apparatus, Image Inspection Method, And Computer Program | |
| US20210272272A1 (en) | Inspection support apparatus, inspection support method, and inspection support program for concrete structure | |
| JP2018029250A5 (en) | ||
| JP2018152055A (en) | System and method for scoring color candidate poses against color image in vision system | |
| CN109285140A (en) | A kind of printed circuit board image registration appraisal procedure | |
| JP7393313B2 (en) | Defect classification device, defect classification method and program | |
| CN105718931A (en) | System And Method For Determining Clutter In An Acquired Image | |
| KR101813223B1 (en) | Method and apparatus for detecting and classifying surface defect of image | |
| CN113077416A (en) | Welding spot welding defect detection method and system based on image processing | |
| US11562505B2 (en) | System and method for representing and displaying color accuracy in pattern matching by a vision system | |
| US20220261974A1 (en) | Method of detecting an abnormality and abnormality detection device | |
| US10083516B2 (en) | Method for segmenting a color image and digital microscope | |
| JP2005252451A (en) | Image quality inspection method and image quality inspection apparatus | |
| JP4195980B2 (en) | Appearance inspection method and appearance inspection apparatus using color image | |
| JP2019168930A5 (en) | ||
| JP4459945B2 (en) | Extraction color range setting method | |
| JP6114559B2 (en) | Automatic unevenness detector for flat panel display | |
| US20100303361A1 (en) | Pattern edge detecting method and pattern evaluating method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100804 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100809 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110701 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110701 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20110627 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120515 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120918 |