JP2011232303A - Image inspection method and image inspection device - Google Patents

Image inspection method and image inspection device Download PDF

Info

Publication number
JP2011232303A
JP2011232303A JP2010105594A JP2010105594A JP2011232303A JP 2011232303 A JP2011232303 A JP 2011232303A JP 2010105594 A JP2010105594 A JP 2010105594A JP 2010105594 A JP2010105594 A JP 2010105594A JP 2011232303 A JP2011232303 A JP 2011232303A
Authority
JP
Japan
Prior art keywords
image
erroneous determination
inspection
inspected
mahalanobis distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010105594A
Other languages
Japanese (ja)
Inventor
Naoki Mizuno
直樹 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Elemex Corp
Original Assignee
Ricoh Elemex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Elemex Corp filed Critical Ricoh Elemex Corp
Priority to JP2010105594A priority Critical patent/JP2011232303A/en
Publication of JP2011232303A publication Critical patent/JP2011232303A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To improve the quality of a reference space created based on a group of normal products in an image inspection method and an image inspection device which inspect an image of a target product to be inspected, by comparing an inspection threshold determined based on the reference space with a Mahalanobis distance of the image of the target product.SOLUTION: It is evaluated whether a defectiveness determination image being an image of a target image to be inspected, which is determined to be defective as a result of inspection using an initial reference space (S31 to S35), is erroneously determined or not. A computer stores, into a storage device, an erroneously determined image being the defectiveness determination image evaluated to be erroneously determined (S37). It is determined whether the number N of erroneously determined images stored in the storage device reaches a prescribed number Nor not (S38). When it reaches the prescribed number N(S38 Yes), erroneously determined images are read out from the storage device (S39). The read-out erroneously determined images are added to an initial group of reference images to create a reference space again (S40).

Description

本発明は、検査対象とされる被検査製品の欠陥の有無を判定するために、その被検査製品の外観を示した画像の良否の検査を行う画像検査方法及び画像検査装置に関する。   The present invention relates to an image inspection method and an image inspection apparatus for inspecting the quality of an image showing the appearance of a product to be inspected in order to determine the presence or absence of defects in the product to be inspected.

従来、検査対象とされる被検査製品の外観検査をする場合がある。ここで、検査員が、目視によって行っていたその外観検査(目視検査)を自動化することを考える。この場合、検査員が被検査製品の外観から得ている情報が多岐に渡り、これらの情報を総合的に判断して検査員が検査している場合など、その自動化のための検査基準値を決めるのが困難な場合がある。そこで、従来、多変量解析(多くの情報を一つの尺度に集約する解析手法)の一種であるMT法(マハラノビス・タグチ法)を活用した検査方法が知られている(例えば、特許文献1参照。)。   Conventionally, there is a case where an appearance inspection of a product to be inspected which is an inspection target is performed. Here, it is considered that the inspector automates the appearance inspection (visual inspection) that has been performed visually. In this case, when the inspector obtains a wide range of information from the appearance of the product to be inspected, and the inspector inspects these information comprehensively, the inspection standard value for automation is used. It can be difficult to decide. Therefore, conventionally, an inspection method utilizing the MT method (Mahalanobis-Taguchi method), which is a type of multivariate analysis (analysis method that aggregates a large amount of information into one scale), is known (for example, see Patent Document 1). .)

このMT法は、多数の情報をマハラノビス距離という一つの尺度に集約し、このマハラノビス距離の大小によって、良否を判定する方法である。つまり、正常な状態にある正常製品群の画像から特徴量(情報)を抽出して、基準となるマハラノビス距離を算出する(基準空間を作るとも言い、基準空間のマハラノビス距離は平均で約1となる)。次いで、検査対象となる被検査製品の画像のマハラノビス距離を算出する。そして、このマハラノビス距離が、基準となるマハラノビス距離から離れるほど、その被検査製品は異常な状態にあると判定をする。   This MT method is a method in which a large number of pieces of information are collected on one scale called Mahalanobis distance, and the quality is determined based on the magnitude of the Mahalanobis distance. That is, a feature amount (information) is extracted from an image of a normal product group in a normal state, and a reference Mahalanobis distance is calculated (also referred to as creating a reference space, and the reference space Mahalanobis distance is about 1 on average. Become). Next, the Mahalanobis distance of the image of the inspected product to be inspected is calculated. Then, as the Mahalanobis distance is further away from the reference Mahalanobis distance, it is determined that the inspected product is in an abnormal state.

特開2005−252451号公報JP-A-2005-252451

しかしながら、上述した基準空間が検査精度に大きな影響を与えるにも関わらず、特許文献1に開示の方法等の今までの方法では、一度作った基準空間はそのまま使用し続けていた。そのため、仮にその基準空間が適切でない場合には、良品であるにも関わらず不良品と判定される誤判定がなされてしまうことがあり、検査精度の向上に限界があるという問題があった。   However, in spite of the fact that the above-mentioned reference space has a great influence on the inspection accuracy, the reference space once created continues to be used as it is in the conventional methods such as the method disclosed in Patent Document 1. For this reason, if the reference space is not appropriate, there is a problem that an erroneous determination may be made that the product is a non-defective product even though it is a non-defective product, and there is a problem that there is a limit to the improvement in inspection accuracy.

本発明は上記問題点に鑑みてなされたものであり、検査精度のさらなる向上を実現するために、基準空間の質を高めることができる画像検査方法及び画像検査装置を提供することを課題とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide an image inspection method and an image inspection apparatus capable of improving the quality of a reference space in order to realize further improvement in inspection accuracy. .

上記課題を解決するために、本発明は、コンピュータによって処理される、被検査製品の画像の良否検査を行う画像検査方法であって、
外観が正常な状態にある複数の正常製品の画像をそれぞれ基準画像として取得する基準画像取得ステップと、
その基準画像取得ステップで取得した各基準画像から所定の特徴量を抽出する抽出ステップと、
その抽出ステップで抽出した前記特徴量に基づいて、各基準画像のマハラノビス距離からなる基準空間を作成する作成ステップと、
その作成ステップで作成した前記基準空間のマハラノビス距離に基づいて、前記被検査製品の画像の良否判定の基準となる閾値を決定する閾値決定ステップと、
前記被検査製品の画像のマハラノビス距離を算出して、そのマハラノビス距離と前記閾値とを比較することで、前記被検査製品の画像の良否判定をする検査実施ステップと、
その検査実施ステップで不良と判定された前記被検査製品の画像である不良判定画像が、誤判定であるか否かが評価されたとして、その評価によって、誤判定であると評価された前記不良判定画像である誤判定画像を取得する誤判定画像取得ステップと、
前記基準画像取得ステップで取得した前記基準画像の群に前記誤判定画像を加えて、前記基準空間を再度作成する再作成ステップと、を含むことを特徴とする。
In order to solve the above problems, the present invention is an image inspection method for performing pass / fail inspection of an image of a product to be inspected processed by a computer,
A reference image acquisition step of acquiring images of a plurality of normal products having a normal appearance as reference images,
An extraction step for extracting a predetermined feature amount from each reference image acquired in the reference image acquisition step;
A creation step for creating a reference space composed of the Mahalanobis distance of each reference image based on the feature amount extracted in the extraction step;
Based on the Mahalanobis distance of the reference space created in the creation step, a threshold value determining step for determining a threshold value that serves as a criterion for quality determination of the image of the inspected product;
An inspection execution step of calculating pass / fail of the image of the inspected product by calculating the Mahalanobis distance of the image of the inspected product and comparing the Mahalanobis distance with the threshold value;
The defect judged to be a misjudgment as a result of evaluation as to whether or not the defect judgment image, which is an image of the inspected product judged as a defect in the inspection execution step, is a misjudgment. An erroneous determination image acquisition step of acquiring an erroneous determination image which is a determination image;
A re-creation step of re-creating the reference space by adding the erroneous determination image to the group of the reference images acquired in the reference image acquisition step.

これによれば、誤判定画像取得ステップにおいて、誤判定であると評価された不良判定画像(誤判定画像)が取得される。そして、再作成ステップにおいて、当初の基準画像の群にその誤判定画像を加えて、基準空間が再度作成される。その再作成された基準空間は、誤判定画像の特徴量が考慮されたものといえるので、基準空間の質を高めることができる。よって、その基準空間を使用して、被検査製品の画像の検査を行うことにより、検査精度のさらなる向上を実現することができる。   According to this, in the erroneous determination image acquisition step, a defect determination image (error determination image) evaluated as an erroneous determination is acquired. In the re-creation step, the erroneous determination image is added to the original group of reference images, and the reference space is created again. Since it can be said that the re-created reference space takes into account the feature amount of the erroneously determined image, the quality of the reference space can be improved. Therefore, it is possible to further improve the inspection accuracy by inspecting the image of the inspected product using the reference space.

また、本発明の画像検査方法において、前記誤判定画像取得ステップの前に実行される、前記誤判定画像を記憶手段に記憶させる記憶ステップと、
その記憶ステップで前記記憶手段に記憶された前記誤判定画像の数量が所定量に達したか否かを判定する数量判定ステップと、を含み、
前記誤判定画像取得ステップは、前記数量判定ステップで前記誤判定画像の数量が前記所定量に達したと判定した場合に、前記記憶手段から前記誤判定画像を読み出す形で、前記誤判定画像を取得するステップである。
Further, in the image inspection method of the present invention, a storage step that is executed before the erroneous determination image acquisition step and that stores the erroneous determination image in a storage unit;
A quantity determination step for determining whether or not the quantity of the erroneous determination image stored in the storage means in the storage step has reached a predetermined amount,
The erroneous determination image acquisition step reads the erroneous determination image in a form of reading the erroneous determination image from the storage means when it is determined in the quantity determination step that the quantity of the erroneous determination image has reached the predetermined amount. It is a step to acquire.

これによれば、誤判定画像取得ステップにおいて、誤判定と評価された誤判定画像の数量が所定量に達した場合に、記憶手段から誤判定画像が読み出される。その結果、その読み出し後に基準空間が作成されることになるので、誤判定と評価される毎に基準空間を作り直す必要がなく、計算処理を効率化することができる。   According to this, in the erroneous determination image acquisition step, when the number of erroneous determination images evaluated as erroneous determination reaches a predetermined amount, the erroneous determination image is read from the storage unit. As a result, since the reference space is created after the reading, it is not necessary to recreate the reference space every time it is evaluated as erroneous determination, and the calculation process can be made more efficient.

また、本発明は、被検査製品の画像の良否検査を行う画像検査装置であって、
外観が正常な状態にある複数の正常製品の画像をそれぞれ基準画像として取得する基準画像取得手段と、
その基準画像取得手段が取得した各基準画像から所定の特徴量を抽出する抽出手段と、
その抽出手段が抽出した前記特徴量に基づいて、各基準画像のマハラノビス距離からなる基準空間を作成する作成手段と、
その作成手段が作成した前記基準空間のマハラノビス距離に基づいて、前記被検査製品の画像の良否判定の基準となる閾値を決定する閾値決定手段と、
前記被検査製品の画像のマハラノビス距離を算出して、そのマハラノビス距離と前記閾値とを比較することで、前記被検査製品の画像の良否判定をする検査実施手段と、
その検査実施手段によって不良と判定された前記被検査製品の画像である不良判定画像が、誤判定であるか否かが評価されたとして、その評価によって、誤判定であると評価された前記不良判定画像である誤判定画像を取得する誤判定画像取得手段と、
前記基準画像取得手段が取得した前記基準画像の群に前記誤判定画像を加えて、前記基準空間を再度作成する再作成手段と、を含むことを特徴とする。
Further, the present invention is an image inspection apparatus for performing quality inspection of an image of a product to be inspected,
Reference image acquisition means for acquiring images of a plurality of normal products in a normal appearance as reference images,
Extraction means for extracting a predetermined feature amount from each reference image acquired by the reference image acquisition means;
Creating means for creating a reference space consisting of Mahalanobis distance of each reference image based on the feature amount extracted by the extracting means;
Based on the Mahalanobis distance of the reference space created by the creating means, a threshold value determining means for determining a threshold value that serves as a reference for determining the quality of the image of the inspected product;
An inspection execution means for determining the quality of the image of the inspected product by calculating the Mahalanobis distance of the image of the inspected product and comparing the Mahalanobis distance with the threshold value;
The defect judged to be a misjudgment as a result of the evaluation as to whether or not the defect judgment image, which is an image of the inspected product judged as a defect by the inspection execution means, is a misjudgment. An erroneous determination image acquisition means for acquiring an erroneous determination image which is a determination image;
Re-creation means for adding the erroneous determination image to the group of the reference images acquired by the reference image acquisition means and re-creating the reference space.

これにより、上記画像検査方法と同様に、基準空間の質を高めることができる。よって、その基準空間を使用して、被検査製品の画像の検査を行うことにより、検査精度のさらなる向上を実現することができる。   Thereby, the quality of the reference space can be improved as in the image inspection method. Therefore, it is possible to further improve the inspection accuracy by inspecting the image of the inspected product using the reference space.

画像検査装置10の全体構成を示す図である。1 is a diagram illustrating an overall configuration of an image inspection apparatus 10. 基準空間を作成するときの手順を示したフローチャートである。It is the flowchart which showed the procedure when creating a reference space. ワーク画像401の輝度波形を説明するための図である。It is a figure for demonstrating the luminance waveform of the workpiece | work image. 微分値や積分値を算出する際に輝度波形に引く横線の引き方を例示した図である。It is the figure which illustrated how to draw the horizontal line drawn on a luminance waveform, when calculating a differential value and an integral value. 輝度波形から微分値や積分値を算出する方法を説明する図である。It is a figure explaining the method of calculating a differential value and an integral value from a luminance waveform. 被検査画像の良否を判定するときの手順を示したフローチャートである。It is the flowchart which showed the procedure when determining the quality of a to-be-inspected image. 基準空間を作成するとともに、被検査画像の良否判定を行うときの具体的な手順を示したフローチャートである。It is the flowchart which showed the specific procedure when performing the quality determination of a to-be-inspected image while creating a reference | standard space.

以下、図面を参照しつつ、この発明の実施形態について説明する。図1は本発明の形態にかかる画像検査装置10の全体構成を示す図である。画像検査装置10は、検査対象であるワーク20の外観を撮影し、得られた画像データに基づいて検査を行う。ワーク20は、例えば切削加工した金属部品であり、ワーク20の表面にある、傷、バリ、異物などの欠陥の検査を要するものである。画像検査装置10は、このワーク20を被検査製品とし、その欠陥の有無の検査を行う。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing an overall configuration of an image inspection apparatus 10 according to an embodiment of the present invention. The image inspection apparatus 10 photographs the appearance of the work 20 that is the inspection target, and performs an inspection based on the obtained image data. The workpiece 20 is, for example, a cut metal part, and requires inspection of defects such as scratches, burrs, and foreign matters on the surface of the workpiece 20. The image inspection apparatus 10 uses the workpiece 20 as a product to be inspected, and inspects the presence or absence of the defect.

画像検査装置10は、カメラ12と、照明13と、電子計算機14と、表示装置15と、記憶装置16とを備えている。カメラ12は、ワーク20の外観を撮影し、ワーク20の画像データである被検査画像を得る。カメラ12は、具体的にはCCDカメラである。なお、他の例としては、カメラ12として、CMOSカメラ、アナログカメラなどを使用してもよい。照明13は、カメラ12によりワーク20の外観を撮像する際に、ワーク20の撮像箇所の明るさを調整する。照明13は、具体的にはLEDリング照明である。他の例としては、照明13として、ファイバー照明、LED照明、リング照明、同軸落射照明などを使用してもよい。   The image inspection apparatus 10 includes a camera 12, an illumination 13, an electronic calculator 14, a display device 15, and a storage device 16. The camera 12 captures the appearance of the workpiece 20 and obtains an inspection image that is image data of the workpiece 20. The camera 12 is specifically a CCD camera. As another example, a CMOS camera, an analog camera, or the like may be used as the camera 12. The illumination 13 adjusts the brightness of the imaging location of the workpiece 20 when imaging the appearance of the workpiece 20 by the camera 12. Illumination 13 is specifically LED ring illumination. As another example, fiber illumination, LED illumination, ring illumination, coaxial epi-illumination, or the like may be used as the illumination 13.

カメラ12により撮影された被検査画像は、電子計算機14に送られる。電子計算機14は、被検査画像に基づいて、ワーク20の欠陥有無の判定、すなわち良否判定を行い、良否判定の結果を表示装置15に表示させる。また、記憶手段としての記憶装置16は、例えば電子計算機14のハードディスク装置とされ、カメラ12で撮影した各種画像や、電子計算機14が計算した基準空間や判定結果等の各種情報を記憶するものである。なお、記憶装置16として、RAM、フラッシュメモリ等のメモリを使用してもよい。   The inspected image taken by the camera 12 is sent to the electronic computer 14. Based on the inspected image, the electronic computer 14 determines the presence / absence of a defect in the workpiece 20, that is, the quality determination, and causes the display device 15 to display the result of the quality determination. The storage device 16 as a storage means is, for example, a hard disk device of the electronic computer 14 and stores various information such as various images taken by the camera 12, reference space calculated by the electronic computer 14, and determination results. is there. Note that a memory such as a RAM or a flash memory may be used as the storage device 16.

なお、カメラ12は、良品(正常)であることがわかっている正常製品の撮影も行う。これにより、検査の基準となる基準画像を得る。ここで、基準画像は、正常な状態にある複数の正常製品それぞれの画像であり、マハラノビス基準空間を作成するために使用する画像群である。電子計算機14は、複数の基準画像に基づいて、良否判定の際に利用するマハラノビス基準空間を作成する。   The camera 12 also captures normal products that are known to be non-defective (normal). As a result, a reference image serving as an inspection reference is obtained. Here, the reference image is an image of each of a plurality of normal products in a normal state, and is an image group used for creating a Mahalanobis reference space. The electronic computer 14 creates a Mahalanobis reference space to be used for pass / fail determination based on a plurality of reference images.

ここで、図2は、基準空間を作成して、その基準空間に基づいて、被検査画像の良否判定をするための閾値を設定するときの手順を示したフローチャートである。なお、図2のフローチャートは、本発明における、基準空間の作成方法の基本的な考え方を説明するためのものであり、具体的な手順は、後に説明する図7に示している。   Here, FIG. 2 is a flowchart showing a procedure for creating a reference space and setting a threshold value for determining pass / fail of the image to be inspected based on the reference space. The flowchart in FIG. 2 is for explaining the basic concept of the method for creating the reference space in the present invention, and the specific procedure is shown in FIG. 7 described later.

まず、正常な状態にある複数の正常製品の画像それぞれをカメラ12で撮影する(ステップS11)。次に、撮影した画像それぞれから特徴量(特徴となる情報)を抽出する(ステップS12)。この特徴量は、ワーク20の状態を表しているものであり、予め規定された項目に従って抽出する。ここでは、N個の基準画像から、輝度最大値、輝度最小値、輝度波形の微分値、輝度波形の積分値などK個の項目に従って特徴量を抽出している。特徴量を抽出した結果を、表1に示す。表1において、特徴量Xnkの添え字n(1、2、・・・、N)は基準画像を識別する番号(基準画像No)、添え字k(1、2、・・・、K)は項目を識別する番号(項目No)を表している。 First, each of a plurality of normal product images in a normal state is taken by the camera 12 (step S11). Next, a feature amount (information to be a feature) is extracted from each photographed image (step S12). This feature amount represents the state of the workpiece 20 and is extracted according to a predetermined item. Here, feature amounts are extracted from N reference images according to K items such as a maximum luminance value, a minimum luminance value, a differential value of a luminance waveform, and an integrated value of a luminance waveform. Table 1 shows the result of extracting the feature amount. In Table 1, the subscript n (1, 2,..., N) of the feature quantity X nk is a number for identifying the reference image (reference image No), and the subscript k (1, 2,..., K). Represents a number (item No.) for identifying an item.

ここで、前述した特徴量について補足説明をする。図3は、輝度波形を説明するための図である。図3(a)は、ワーク20のワーク画像401を示している。また、図3(b)は、画像401の輝度波形のグラフを示しており、詳細には、同図のグラフの横軸はワーク画像401の所定のラインにおける画素位置を示し、縦軸は各画素の輝度値を示している。このグラフ上の曲線が輝度波形である。輝度波形は、画素の行(ライン)毎に各画素の輝度値を波形化したもの、すなわち各行に含まれる各画素と、各画素における輝度値との関係を示す波形である。例として図3では、256階調の輝度を持つ、画素サイズn×nのワーク画像401の輝度波形を示している。   Here, a supplementary explanation will be given regarding the above-described feature amount. FIG. 3 is a diagram for explaining the luminance waveform. FIG. 3A shows a work image 401 of the work 20. FIG. 3B shows a graph of the luminance waveform of the image 401. Specifically, the horizontal axis of the graph of FIG. 3 indicates the pixel position in a predetermined line of the work image 401, and the vertical axis indicates each pixel. The luminance value of the pixel is shown. The curve on this graph is the luminance waveform. The luminance waveform is a waveform obtained by converting the luminance value of each pixel into a waveform for each row (line) of pixels, that is, a relationship between each pixel included in each row and the luminance value in each pixel. As an example, FIG. 3 shows a luminance waveform of a work image 401 having a luminance of 256 gradations and a pixel size n × n.

図3(b)に示すように、ワーク画像401は、その輝度が、画素に対して変動している。そして、その輝度波形から、前述したように、輝度最大値、輝度最小値、輝度波形の微分値、輝度波形の積分値などの特徴量を抽出することができる。ここで、輝度波形の微分値および輝度波形の積分値について説明する。図4および図5は、その説明の為の図である。つまり、図5に示すように、輝度波形に対して任意の輝度値の直線、すなわち横線L1を引き、横線L1と輝度波形の交点数を微分値として得る。   As shown in FIG. 3 (b), the brightness of the work image 401 varies with respect to the pixels. Then, as described above, feature quantities such as the maximum luminance value, the minimum luminance value, the differential value of the luminance waveform, and the integrated value of the luminance waveform can be extracted from the luminance waveform. Here, the differential value of the luminance waveform and the integrated value of the luminance waveform will be described. 4 and 5 are diagrams for explaining the above. That is, as shown in FIG. 5, a straight line having an arbitrary luminance value, that is, a horizontal line L1 is drawn from the luminance waveform, and the number of intersections of the horizontal line L1 and the luminance waveform is obtained as a differential value.

この微分値は、画像の特徴量の変動の回数の指標とすることができる。すなわち、微分値が大きいほど、画像中に、特徴量が変動する部位が多く含まれているといえる。図5の場合では、ワーク画像401中に、横線L1で示される輝度C1を基準として、変動する部位がどの程度含まれているかを示す特徴量を抽出することになる。このように、微分値を特徴量として用いることにより、特徴量が変動する部位が多く含まれている画像でも、その特徴量が精度よく反映された基準空間を作成することができるので、被検査画像の良否を精度良く判定することができる。   This differential value can be used as an index of the number of changes in the feature amount of the image. In other words, it can be said that the larger the differential value, the more portions in the image where the feature amount varies. In the case of FIG. 5, a feature quantity indicating how much a fluctuating part is included in the work image 401 with reference to the luminance C1 indicated by the horizontal line L1 is extracted. In this way, by using the differential value as a feature amount, even in an image that includes many parts where the feature amount varies, it is possible to create a reference space that accurately reflects the feature amount. The quality of the image can be determined with high accuracy.

また、図5に示すように、輝度波形に対して任意の輝度値の直線、すなわち横線L2を引き、横線L2よりも上の輝度波形の区間総和を積分値として得る。この積分値は、画像において一定以上の特徴量を有している部位が占める割合の指標とすることができる。すなわち、積分値が大きいほど、画像中に、一定以上の特徴量を有している部位が多く含まれているといえる。図5の場合では、ワーク画像401中に、横線L2で示される輝度C2以上の輝度の部位がどの程度含まれているかを示す特徴量を抽出することになる。このように、積分値を特徴量として用いることにより、一定以上の特徴量を有している部位が多く含まれている画像でも、その特徴量が精度よく反映された基準空間を作成することができるので、被検査画像の良否を精度良く判定することができる。   Further, as shown in FIG. 5, a straight line having an arbitrary luminance value, that is, a horizontal line L2 is drawn with respect to the luminance waveform, and a total sum of intervals of the luminance waveform above the horizontal line L2 is obtained as an integrated value. This integral value can be used as an index of the proportion of the portion having a certain feature amount or more in the image. In other words, it can be said that the larger the integral value, the more parts in the image that have a certain or larger feature amount. In the case of FIG. 5, a feature amount indicating how much a part having a luminance C2 or higher indicated by the horizontal line L2 is included in the work image 401 is extracted. As described above, by using the integral value as a feature amount, even in an image including many parts having a feature amount greater than a certain amount, a reference space in which the feature amount is accurately reflected can be created. As a result, the quality of the image to be inspected can be determined with high accuracy.

輝度波形に引く横線としては、例えば図4のように設定することができる。すなわち、図4において、例えば、ワーク画像401の所定の行に含まれる複数の輝度値の平均値をμ、標準偏差をσとし、μ±σ、μ±0.8σ、μ±0.6σ、・・・のように等間隔に横線を設定する。この場合、各横線に対する微分値、積分値を特徴量として抽出することができる。   The horizontal line drawn on the luminance waveform can be set as shown in FIG. 4, for example. That is, in FIG. 4, for example, an average value of a plurality of luminance values included in a predetermined row of the work image 401 is μ, a standard deviation is σ, and μ ± σ, μ ± 0.8σ, μ ± 0.6σ,.・ Set horizontal lines at regular intervals as In this case, a differential value and an integral value for each horizontal line can be extracted as a feature amount.

次に、各基準画像のマハラノビス距離を算出し、検査の基準となるマハラノビス距離を算出する。つまり、基準空間を作成する(ステップS13)。具体的には、まず最初に、表1の項目毎に特徴量の平均値μkと標準偏差σkを算出する。そして、算出した平均値μk、標準偏差σkを(式1)に代入して、基準化した特徴量xnkを算出する。そして、表2に示すように、基準化した特徴量xnkの行列とする。 Next, the Mahalanobis distance of each reference image is calculated, and the Mahalanobis distance serving as a reference for the inspection is calculated. That is, a reference space is created (step S13). Specifically, first, an average value μ k and a standard deviation σ k of feature amounts are calculated for each item in Table 1. Then, the calculated feature value x nk is calculated by substituting the calculated average value μ k and standard deviation σ k into (Equation 1). Then, as shown in Table 2, a matrix of normalized feature values x nk is used.

次いで、(式2)により項目pと項目qの相関係数rpqを算出する。その相関係数rpqに基づいて、(式3)に示すように、各相関係数を要素とする相関係数行列Rを得る。そして、(式4)に示すように、相関係数行列Rの逆行列Aを算出する。 Next, the correlation coefficient r pq between the item p and the item q is calculated by (Equation 2). Based on the correlation coefficient r pq , a correlation coefficient matrix R having each correlation coefficient as an element is obtained as shown in (Equation 3). Then, as shown in (Expression 4), an inverse matrix A of the correlation coefficient matrix R is calculated.

次いで、(式5)により、n番目の基準画像のマハラノビス距離MDnを算出する。最終的には、全ての基準画像のマハラノビス距離が算出され、基準空間の作成が終わる。 Next, the Mahalanobis distance MD n of the nth reference image is calculated by (Equation 5). Eventually, the Mahalanobis distance of all reference images is calculated, and the creation of the reference space is completed.

ステップS13の最後として、全ての基準空間のマハラノビス距離、各項目の平均値μk、各項目の標準偏差σk、逆行列Aを基準空間のパラメータとして、記憶装置16に記憶させる。 At the end of step S13, the Mahalanobis distance of all the reference spaces, the average value μ k of each item, the standard deviation σ k of each item, and the inverse matrix A are stored in the storage device 16 as parameters of the reference space.

次に、各基準画像のマハラノビス距離をもとに、良否の判定基準となる検査閾値を決定する(ステップS14)。つまり、基準画像のマハラノビス距離も分布を持つので、例えば、このうち最大のマハラノビス距離をもとにして、検査閾値を決定する。例えば、式5により算出した基準画像のマハラノビス距離最大値が1.6になったので、マハラノビス距離が1.6の製品までは良品とするために、ここでは検査閾値を1.7とした。   Next, based on the Mahalanobis distance of each reference image, an inspection threshold value serving as a pass / fail judgment criterion is determined (step S14). That is, since the Mahalanobis distance of the reference image also has a distribution, for example, the inspection threshold is determined based on the maximum Mahalanobis distance among them. For example, since the maximum value of the Mahalanobis distance of the reference image calculated by Equation 5 is 1.6, the inspection threshold is set to 1.7 in order to make products up to a Mahalanobis distance of 1.6 good products.

以上のようにして、電子計算機14は、基準空間を作成するとともに、その基準空間に基づいて、検査閾値を決定する。次に、電子計算機14は、その検査閾値に基づいて、検査対象とされる被検査製品の良否判定をする。ここで、図6は、被検査製品の画像である被検査画像の良否を判定するときの手順を示したフローチャートである。なお、図6のフローチャートは、本発明における、被検査画像の良否を判定するときの手順の基本的な考え方を説明するためのものであり、具体的な手順は、後に説明する図7に示している。   As described above, the electronic computer 14 creates the reference space and determines the inspection threshold based on the reference space. Next, the electronic computer 14 determines pass / fail of the inspected product to be inspected based on the inspection threshold. Here, FIG. 6 is a flowchart showing a procedure for determining pass / fail of an inspected image that is an image of the inspected product. Note that the flowchart of FIG. 6 is for explaining the basic concept of the procedure for determining pass / fail of the image to be inspected in the present invention, and the specific procedure is shown in FIG. 7 described later. ing.

まず、検査対象となるワーク20(被検査製品)の画像をカメラ12で撮影する(ステップS21)。次に、撮影した被検査画像それぞれから特徴量(特徴となる情報)を抽出する(ステップS22)。この特徴量は、基準空間を作成する際に用いた項目に従って抽出する。   First, an image of the workpiece 20 (inspected product) to be inspected is taken by the camera 12 (step S21). Next, a feature amount (information that becomes a feature) is extracted from each of the taken images to be inspected (step S22). This feature amount is extracted according to the item used when creating the reference space.

次に、基準空間を作成する時と同じ手順を経て、被検査画像のマハラノビス距離を算出する(ステップS23)。ただし、特徴量を基準化する際に使用する特徴量の平均値μkと標準偏差σk、相関係数行列Rの逆行列Aについては、基準空間を作成する際に算出された値を使用する。 Next, the Mahalanobis distance of the image to be inspected is calculated through the same procedure as that for creating the reference space (step S23). However, for the average value μ k and standard deviation σ k of the feature quantity used when standardizing the feature quantity, and the inverse matrix A of the correlation coefficient matrix R, the values calculated when creating the reference space are used. To do.

次に、被検査画像のマハラノビス距離MDと、先に設定した検査閾値とを比較することにより、被検査画像の良否判定を行う(ステップS24)。マハラノビス距離MDが検査閾値よりも大きい場合には(ステップS24、Yes)、被検査画像には異常がある、すなわちワーク20は不良品であると判定する(ステップS25)。一方、マハラノビス距離MDが検査閾値以下である場合には(ステップS24、No)、被検査画像は正常である、すなわちワーク20は良品であると判定する(ステップS26)。   Next, the pass / fail determination of the image to be inspected is performed by comparing the Mahalanobis distance MD of the image to be inspected with the previously set inspection threshold (step S24). When the Mahalanobis distance MD is larger than the inspection threshold (Yes at Step S24), it is determined that there is an abnormality in the inspected image, that is, the workpiece 20 is a defective product (Step S25). On the other hand, when the Mahalanobis distance MD is less than or equal to the inspection threshold (step S24, No), it is determined that the inspected image is normal, that is, the workpiece 20 is a non-defective product (step S26).

このように、本実施形態では、基準空間に基づいて決定された検査閾値と被検査画像のマハラノビス距離とを比較することで、その被検査画像の良否判定を行っているが、その基準空間が必ずしも適当であるとは限らない。例えば、基準空間を作成するための正常製品群にも特徴量に分布を有しており、その分布における最頻値の特徴量を有する正常製品ばかりで基準空間を作成すると、過度に不良と判定してしまう場合がある。また、作成当初は適切であった基準空間が、検査に要求される判定基準が変化して、事後的に適当でなくなる場合もある。つまり、一度作成した基準空間をそのまま使用し続けると、良品であるにも関わらず不良品と判定される誤判定がなされてしまうことがある。そこで、本発明では、一度作成した基準空間を見直すことができるようにしたものである。ここで、図7は、基準空間を作成するとともに、被検査画像の良否判定を行うときの具体的な手順を示したフローチャートである。   Thus, in this embodiment, the pass / fail determination of the image to be inspected is performed by comparing the inspection threshold determined based on the reference space with the Mahalanobis distance of the image to be inspected. It is not always appropriate. For example, the normal product group for creating the reference space also has a distribution in the feature amount, and if the reference space is created only with normal products having the mode value feature amount in the distribution, it is determined that the product is excessively defective. May end up. In addition, the reference space that was appropriate at the time of creation may become unsuitable afterwards due to changes in the criteria required for inspection. That is, if the reference space once created is used as it is, an erroneous determination may be made in which it is determined as a defective product even though it is a non-defective product. Therefore, in the present invention, the reference space once created can be reviewed. Here, FIG. 7 is a flowchart showing a specific procedure for creating a reference space and determining pass / fail of an image to be inspected.

まず、正常な状態にある複数の正常製品の画像それぞれをカメラ12で撮影する(ステップS31)。このステップS31は、先に説明したステップS11の処理と同じである。なお、ステップS31が本発明の「基準画像取得ステップ」に相当し、ステップS31を実行する電子計算機14が本発明の「基準画像取得手段」に相当する。   First, each of a plurality of normal product images in a normal state is taken by the camera 12 (step S31). This step S31 is the same as the process of step S11 described above. Step S31 corresponds to the “reference image acquisition step” of the present invention, and the electronic computer 14 that executes step S31 corresponds to the “reference image acquisition means” of the present invention.

次に、撮影した基準画像それぞれから特徴量(特徴となる情報)を抽出する(ステップS32)。このステップS32は、先に説明したステップS12の処理と同じである。なお、ステップS32が本発明の「抽出ステップ」に相当し、ステップS32を実行する電子計算機14が本発明の「抽出手段」に相当する。   Next, a feature amount (information serving as a feature) is extracted from each captured reference image (step S32). This step S32 is the same as the process of step S12 described above. Step S32 corresponds to the “extraction step” of the present invention, and the electronic computer 14 executing step S32 corresponds to the “extraction means” of the present invention.

次に、基準画像それぞれのマハラノビス距離を算出する。つまり、基準空間を作成する(ステップS33)。このステップS33は、先に説明したステップS13の処理と同じである。なお、ステップS33が本発明の「作成ステップ」に相当し、ステップS33を実行する電子計算機14が本発明の「作成手段」に相当する。   Next, the Mahalanobis distance of each reference image is calculated. That is, a reference space is created (step S33). This step S33 is the same as the process of step S13 described above. Step S33 corresponds to the “creation step” of the present invention, and the electronic computer 14 executing step S33 corresponds to the “creation unit” of the present invention.

次に、各基準画像のマハラノビス距離をもとに、良否の判定基準となる検査閾値を決定する(ステップS34)。このステップS34は、先に説明したステップS14の処理と同じである。なお、ステップS34が本発明の「閾値決定ステップ」に相当し、ステップS34を実行する電子計算機14が本発明の「閾値決定手段」に相当する。   Next, based on the Mahalanobis distance of each reference image, an inspection threshold value serving as a pass / fail criterion is determined (step S34). This step S34 is the same as the process of step S14 described above. Step S34 corresponds to the “threshold determination step” of the present invention, and the electronic computer 14 executing step S34 corresponds to the “threshold determination means” of the present invention.

次に、図6に示すステップと同じ処理により、被検査画像の検査を実施する(ステップS35)。すなわち、このステップS35では、図6のフローチャートの処理が実行される。なお、ステップS35が本発明の「検査実施ステップ」に相当し、ステップS35を実行する電子計算機14が本発明の「検査実施手段」に相当する。なお、基準画像、基準空間、被検査画像等、各種データは、記憶装置16に記憶される。   Next, the inspection image is inspected by the same processing as that shown in FIG. 6 (step S35). That is, in this step S35, the process of the flowchart of FIG. 6 is executed. Step S35 corresponds to the “inspection execution step” of the present invention, and the electronic computer 14 executing step S35 corresponds to the “inspection execution means” of the present invention. Various data such as a reference image, a reference space, and an image to be inspected are stored in the storage device 16.

ここで、ステップS31〜ステップS35の処理によって、不良品と判定された被検査画像である不良判定画像があったとする。この場合、上述した理由で、その判定が誤判定の場合もあり得るので、その不良判定画像に係る被検査製品(ワーク20)について、誤判定されていないか否かの評価を行う。具体的には、例えば、目視検査員が、目視によって、その被検査製品の良否判定を行う。例えば、ワーク20の表面に傷があったとされて不良品と判定された場合、目視検査員が、その傷が不良品とされる傷に該当するか否かを、その傷の長さ等に基づいて評価する。また、例えば、MT法とは別手段で、コンピュータによって自動的にその評価を行うようにしてもよい。この場合、例えば、不良判定画像に係るワーク20の表面の面粗度をコンピュータによって自動的に計測できるようにし、その面粗度に基づいてその評価を行うようにする。   Here, it is assumed that there is a defect determination image that is an image to be inspected that is determined as a defective product by the processing in steps S31 to S35. In this case, for the reason described above, the determination may be an erroneous determination. Therefore, it is evaluated whether or not an erroneous determination is made for the product to be inspected (work 20) related to the defect determination image. Specifically, for example, a visual inspector visually determines the quality of the inspected product. For example, when it is determined that the surface of the workpiece 20 is damaged and is determined to be a defective product, the visual inspector determines whether or not the scratch corresponds to a scratch that is determined to be a defective product based on the length of the scratch. Based on evaluation. Further, for example, the evaluation may be automatically performed by a computer by means different from the MT method. In this case, for example, the surface roughness of the surface of the workpiece 20 related to the defect determination image can be automatically measured by a computer, and the evaluation is performed based on the surface roughness.

なお、この評価を行うタイミングは、ステップS35の実施の度としたり、ステップS35の実施の回数が所定回数になった場合等、一定間隔おきとしたりすることができる。また、一回の検査時で、複数のワーク20(被検査製品)の検査をする場合には、それらワーク20の検査が全て終わったとき、つまり各検査時の度に評価を行ってもよい。   It should be noted that the timing for performing this evaluation can be set at regular intervals, for example, every time step S35 is performed, or when the number of times step S35 is performed is a predetermined number. Further, in the case of inspecting a plurality of workpieces 20 (inspected products) at the time of one inspection, the evaluation may be performed when inspection of all the workpieces 20 is completed, that is, at each inspection. .

図7の説明に戻り、ステップS35の検査の後、上述の評価がされたとして、次いで、誤判定が発生したか否かを判断する(ステップS36)。具体的には、例えば、上記評価が目視検査員によってなされた場合には、その目視検査員による入力操作に基づいて、誤判定が発生したか否かを判断する。すなわち、目視検査員が、電子計算機14に対して、誤判定が発生したことを入力操作できるようにし、電子計算機14は、その入力があった場合に誤判定が発生したと判断する。また、例えば、上記評価がコンピュータによって自動的に行われた場合には、そのコンピュータによる評価結果に基づいて、誤判定が発生したか否かを判断する。   Returning to the description of FIG. 7, it is determined whether or not an erroneous determination has occurred (step S36), assuming that the above-described evaluation has been made after the inspection in step S35. Specifically, for example, when the evaluation is made by a visual inspector, it is determined whether or not an erroneous determination has occurred based on an input operation by the visual inspector. That is, the visual inspector can perform an input operation to the electronic computer 14 that the erroneous determination has occurred, and the electronic computer 14 determines that the erroneous determination has occurred when the input has been made. For example, when the above evaluation is automatically performed by a computer, it is determined whether or not an erroneous determination has occurred based on the evaluation result by the computer.

ステップS36において、誤判定が発生したと判断したときは(ステップS36、Yes)、その誤判定に係る不良判定画像である誤判定画像を記憶装置16に記憶させる(ステップS37)。なお、その誤判定画像が、被検査画像として既に記憶装置16に記憶されている場合には、当初の記憶エリアから所定の誤判定画像の記憶エリアに、その誤判定画像を移動させる。なお、ステップS37が本発明の「記憶ステップ」に相当する。   When it is determined in step S36 that an erroneous determination has occurred (Yes in step S36), an erroneous determination image that is a defect determination image related to the erroneous determination is stored in the storage device 16 (step S37). If the erroneous determination image is already stored in the storage device 16 as the image to be inspected, the erroneous determination image is moved from the initial storage area to the predetermined erroneous determination image storage area. Step S37 corresponds to the “storage step” of the present invention.

次いで、記憶装置16に記憶されている誤判定画像の数量Nが所定量Nに達したか否かを判断する(ステップS38)。なお、ステップS38が本発明の「数量判定ステップ」に相当する。ここで、誤判定画像の数量Nが未だ所定量Nに達していない場合は(ステップS38、No)、ステップS35の処理に戻る。この場合、基準空間の見直しは未だ行わず、当初の基準空間(当初の検査閾値)をそのまま使用して、他の被検査画像に対して画像検査を継続することになる。この場合、再び誤判定が発生した場合には(ステップS36、Yes)、その誤判定に係る誤判定画像が記憶装置16に記憶されるので(ステップS37)、記憶装置16に記憶される誤判定画像が蓄積されていくことになる。 Then, the quantity N misjudgment image stored in the storage device 16 determines whether it has reached the predetermined amount N 0 (step S38). Step S38 corresponds to the “quantity determination step” of the present invention. Here, when the number N of misjudgment images has not yet reached the predetermined amount N 0 (step S38, No), the process returns to step S35. In this case, the reference space is not yet reviewed, and the original reference space (original inspection threshold) is used as it is, and the image inspection is continued for other images to be inspected. In this case, when an erroneous determination occurs again (Yes in step S36), an erroneous determination image related to the erroneous determination is stored in the storage device 16 (step S37), and thus the erroneous determination stored in the storage device 16 is performed. Images will be accumulated.

そして、ステップS38において、誤判定画像の数量Nが所定量Nに達した場合には(ステップS38、Yes)、記憶装置16に記憶されている全ての誤判定画像を読み出す(ステップS39)。なお、ステップS39が本発明の「誤判定画像取得ステップ」に相当し、ステップS39を実行する電子計算機14が本発明の「誤判定画像取得手段」に相当する。 Then, in step S38, the if the quantity N of erroneous determination image has reached a predetermined amount N 0 (step S38, the Yes), it reads all of the erroneous determination image stored in the storage device 16 (step S39). Note that step S39 corresponds to the “false determination image acquisition step” of the present invention, and the electronic computer 14 that executes step S39 corresponds to the “false determination image acquisition unit” of the present invention.

次いで、基準画像の見直しとして、読み出した全ての誤判定画像を、ステップS31で取得した基準画像の群に加えて、基準空間を再度作成する(ステップS40)。基準空間の作成方法は、ステップS33における作成方法と同じである。なお、ステップS40が本発明の「再作成ステップ」に相当し、ステップS40を実行する電子計算機14が本発明の「再作成手段」に相当する。   Next, as a review of the reference image, all the read erroneous determination images are added to the group of reference images acquired in step S31, and a reference space is created again (step S40). The creation method of the reference space is the same as the creation method in step S33. Step S40 corresponds to the “re-creation step” of the present invention, and the electronic computer 14 executing step S40 corresponds to the “re-creation unit” of the present invention.

次いで、ステップS34の処理に戻り、再作成した基準空間に基づいて、新たに検査閾値を決定する(ステップS34)。そして、以降、新たな検査閾値に基づいて、被検査画像の良否検査を実施する(ステップS35)。このように、基準空間を作り直した結果として、この例では、基準空間を作り直す前と比べて、誤判定を50%以上削減することが出来た。   Next, the process returns to step S34, and a new inspection threshold is determined based on the re-created reference space (step S34). Thereafter, the quality inspection of the image to be inspected is performed based on the new inspection threshold (step S35). As described above, as a result of recreating the reference space, in this example, it was possible to reduce erroneous determination by 50% or more compared to before recreating the reference space.

一方、ステップS36において、誤判定が発生しなかった場合には(ステップS36、No)、ステップS35の処理に戻る。この場合、当初の基準空間をそのまま使用し続けて、被検査画像の良否検査を継続することになる(ステップS35)。また、基準空間が再作成された場合に、その後、誤判定が発生しなかった場合には(ステップS36、No)、その再作成された基準空間をそのまま使用し続けて、被検査画像の良否検査を継続することになる(ステップS35)。   On the other hand, if no erroneous determination occurs in step S36 (No in step S36), the process returns to step S35. In this case, the original reference space is used as it is, and the quality inspection of the inspected image is continued (step S35). In addition, when the reference space is recreated and no erroneous determination occurs thereafter (step S36, No), the recreated reference space is continuously used as it is, and the quality of the image to be inspected is determined. The inspection is continued (step S35).

以上説明したように、本実施形態では、誤判定画像を、基準画像の群に加えて基準空間を作り直すようにしたので、その誤判定画像の特徴量が考慮された質の高い基準空間を作成できる。よって、検査精度のさらなる向上に繋げることができる。また、基準空間は、誤判定画像の数量Nが所定量Nに達したタイミングで作り直されるので、誤判定する毎に基準空間を作り直す必要がなく、計算処理を効率化することができる。 As described above, in the present embodiment, the erroneous determination image is added to the group of reference images, and the reference space is recreated. Therefore, a high-quality reference space is created in consideration of the feature amount of the erroneous determination image. it can. Therefore, it can lead to the further improvement of inspection accuracy. The reference space is erroneous since the quantity N of the determination image is recreated at the timing reaches a predetermined amount N 0, there is no need to recreate the reference space for each erroneous determines, it can be efficiently calculation process.

なお、本発明の画像検査方法、画像検査装置は上記実施形態に限定されず、特許請求の範囲の記載を逸脱しない範囲で種々変形することができる。例えば、上記実施形態では、誤判定画像の数量Nが所定量Nに達したタイミングで基準空間を作り直していたが、検査した被検査画像が所定の量になった時でもよい。また、誤判定する毎に基準空間を作り直すようにしてもよい。 The image inspection method and the image inspection apparatus of the present invention are not limited to the above-described embodiment, and can be variously modified without departing from the scope of the claims. For example, in the above embodiment, the reference space is recreated at the timing when the number N of erroneously determined images reaches the predetermined amount N 0 , but it may be when the inspected image that has been inspected reaches a predetermined amount. In addition, the reference space may be recreated every time an erroneous determination is made.

10 画像検査装置
12 カメラ
13 照明
14 電子計算機
15 表示装置
16 記憶装置
20 ワーク
DESCRIPTION OF SYMBOLS 10 Image inspection apparatus 12 Camera 13 Illumination 14 Electronic computer 15 Display apparatus 16 Memory | storage device 20 Workpiece | work

Claims (3)

コンピュータによって処理される、被検査製品の画像の良否検査を行う画像検査方法であって、
外観が正常な状態にある複数の正常製品の画像をそれぞれ基準画像として取得する基準画像取得ステップと、
その基準画像取得ステップで取得した各基準画像から所定の特徴量を抽出する抽出ステップと、
その抽出ステップで抽出した前記特徴量に基づいて、各基準画像のマハラノビス距離からなる基準空間を作成する作成ステップと、
その作成ステップで作成した前記基準空間のマハラノビス距離に基づいて、前記被検査製品の画像の良否判定の基準となる閾値を決定する閾値決定ステップと、
前記被検査製品の画像のマハラノビス距離を算出して、そのマハラノビス距離と前記閾値とを比較することで、前記被検査製品の画像の良否判定をする検査実施ステップと、
その検査実施ステップで不良と判定された前記被検査製品の画像である不良判定画像が、誤判定であるか否かが評価されたとして、その評価によって、誤判定であると評価された前記不良判定画像である誤判定画像を取得する誤判定画像取得ステップと、
前記基準画像取得ステップで取得した前記基準画像の群に前記誤判定画像を加えて、前記基準空間を再度作成する再作成ステップと、を含むことを特徴とする画像検査方法。
An image inspection method for performing pass / fail inspection of an image of a product to be inspected processed by a computer,
A reference image acquisition step of acquiring images of a plurality of normal products having a normal appearance as reference images,
An extraction step for extracting a predetermined feature amount from each reference image acquired in the reference image acquisition step;
A creation step for creating a reference space composed of the Mahalanobis distance of each reference image based on the feature amount extracted in the extraction step;
Based on the Mahalanobis distance of the reference space created in the creation step, a threshold value determining step for determining a threshold value that serves as a criterion for quality determination of the image of the inspected product;
An inspection execution step of calculating pass / fail of the image of the inspected product by calculating the Mahalanobis distance of the image of the inspected product and comparing the Mahalanobis distance with the threshold value;
The defect judged to be a misjudgment as a result of evaluation as to whether or not the defect judgment image, which is an image of the inspected product judged as a defect in the inspection execution step, is a misjudgment. An erroneous determination image acquisition step of acquiring an erroneous determination image which is a determination image;
An image inspection method comprising: a re-creation step of re-creating the reference space by adding the erroneous determination image to the group of the reference images acquired in the reference image acquisition step.
前記誤判定画像取得ステップの前に実行される、前記誤判定画像を記憶手段に記憶させる記憶ステップと、
その記憶ステップで前記記憶手段に記憶された前記誤判定画像の数量が所定量に達したか否かを判定する数量判定ステップと、を含み、
前記誤判定画像取得ステップは、前記数量判定ステップで前記誤判定画像の数量が前記所定量に達したと判定した場合に、前記記憶手段から前記誤判定画像を読み出す形で、前記誤判定画像を取得するステップであることを特徴とする請求項1に記載の画像検査方法。
A storage step of storing the erroneous determination image in a storage means, which is executed before the erroneous determination image acquisition step;
A quantity determination step for determining whether or not the quantity of the erroneous determination image stored in the storage means in the storage step has reached a predetermined amount,
The erroneous determination image acquisition step reads the erroneous determination image in a form of reading the erroneous determination image from the storage means when it is determined in the quantity determination step that the quantity of the erroneous determination image has reached the predetermined amount. The image inspection method according to claim 1, wherein the image inspection method is an acquisition step.
被検査製品の画像の良否検査を行う画像検査装置であって、
外観が正常な状態にある複数の正常製品の画像をそれぞれ基準画像として取得する基準画像取得手段と、
その基準画像取得手段が取得した各基準画像から所定の特徴量を抽出する抽出手段と、
その抽出手段が抽出した前記特徴量に基づいて、各基準画像のマハラノビス距離からなる基準空間を作成する作成手段と、
その作成手段が作成した前記基準空間のマハラノビス距離に基づいて、前記被検査製品の画像の良否判定の基準となる閾値を決定する閾値決定手段と、
前記被検査製品の画像のマハラノビス距離を算出して、そのマハラノビス距離と前記閾値とを比較することで、前記被検査製品の画像の良否判定をする検査実施手段と、
その検査実施手段によって不良と判定された前記被検査製品の画像である不良判定画像が、誤判定であるか否かが評価されたとして、その評価によって、誤判定であると評価された前記不良判定画像である誤判定画像を取得する誤判定画像取得手段と、
前記基準画像取得手段が取得した前記基準画像の群に前記誤判定画像を加えて、前記基準空間を再度作成する再作成手段と、を含むことを特徴とする画像検査装置。
An image inspection apparatus for inspecting the quality of an image of a product to be inspected,
Reference image acquisition means for acquiring images of a plurality of normal products in a normal appearance as reference images,
Extraction means for extracting a predetermined feature amount from each reference image acquired by the reference image acquisition means;
Creating means for creating a reference space consisting of Mahalanobis distance of each reference image based on the feature amount extracted by the extracting means;
Based on the Mahalanobis distance of the reference space created by the creating means, a threshold value determining means for determining a threshold value that serves as a reference for determining the quality of the image of the inspected product;
An inspection execution means for determining the quality of the image of the inspected product by calculating the Mahalanobis distance of the image of the inspected product and comparing the Mahalanobis distance with the threshold value;
The defect judged to be a misjudgment as a result of the evaluation as to whether or not the defect judgment image, which is an image of the inspected product judged as a defect by the inspection execution means, is a misjudgment. An erroneous determination image acquisition means for acquiring an erroneous determination image which is a determination image;
An image inspection apparatus comprising: a re-creation unit that re-creates the reference space by adding the erroneous determination image to the group of the reference images acquired by the reference image acquisition unit.
JP2010105594A 2010-04-30 2010-04-30 Image inspection method and image inspection device Pending JP2011232303A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010105594A JP2011232303A (en) 2010-04-30 2010-04-30 Image inspection method and image inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010105594A JP2011232303A (en) 2010-04-30 2010-04-30 Image inspection method and image inspection device

Publications (1)

Publication Number Publication Date
JP2011232303A true JP2011232303A (en) 2011-11-17

Family

ID=45321733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010105594A Pending JP2011232303A (en) 2010-04-30 2010-04-30 Image inspection method and image inspection device

Country Status (1)

Country Link
JP (1) JP2011232303A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014048073A (en) * 2012-08-29 2014-03-17 Fuji Mach Mfg Co Ltd Imaging condition optimization method and imaging condition optimization system
WO2017017722A1 (en) * 2015-07-24 2017-02-02 オリンパス株式会社 Processing device, processing method and program
JP2018112470A (en) * 2017-01-11 2018-07-19 リコーエレメックス株式会社 Inspection system and inspection method
JP2019039727A (en) * 2017-08-23 2019-03-14 富士通株式会社 Image inspection device, method for inspecting image, and image inspection program
JP2019095932A (en) * 2017-11-20 2019-06-20 日本製鉄株式会社 Abnormality determination method and device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038885A (en) * 2002-07-08 2004-02-05 Adoin Kenkyusho:Kk Image feature learning type defect detection method, defect detection device and defect detection program
JP2005003473A (en) * 2003-06-11 2005-01-06 Furukawa Electric Co Ltd:The Visual inspection method for welding mark
JP2008051781A (en) * 2006-08-28 2008-03-06 I-Pulse Co Ltd Visual examination method of substrate and visual examination device of substrate

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038885A (en) * 2002-07-08 2004-02-05 Adoin Kenkyusho:Kk Image feature learning type defect detection method, defect detection device and defect detection program
JP2005003473A (en) * 2003-06-11 2005-01-06 Furukawa Electric Co Ltd:The Visual inspection method for welding mark
JP2008051781A (en) * 2006-08-28 2008-03-06 I-Pulse Co Ltd Visual examination method of substrate and visual examination device of substrate

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014048073A (en) * 2012-08-29 2014-03-17 Fuji Mach Mfg Co Ltd Imaging condition optimization method and imaging condition optimization system
WO2017017722A1 (en) * 2015-07-24 2017-02-02 オリンパス株式会社 Processing device, processing method and program
US10395092B2 (en) 2015-07-24 2019-08-27 Olympus Corporation Processing device, processing method, and information storage device
JP2018112470A (en) * 2017-01-11 2018-07-19 リコーエレメックス株式会社 Inspection system and inspection method
JP2019039727A (en) * 2017-08-23 2019-03-14 富士通株式会社 Image inspection device, method for inspecting image, and image inspection program
JP2019095932A (en) * 2017-11-20 2019-06-20 日本製鉄株式会社 Abnormality determination method and device

Similar Documents

Publication Publication Date Title
JP6371044B2 (en) Surface defect inspection apparatus and surface defect inspection method
JP6287248B2 (en) Appearance inspection apparatus, appearance inspection method, and program
JP2011232303A (en) Image inspection method and image inspection device
JP2013224833A (en) Visual inspection device, visual inspection method and computer program
KR20200035320A (en) Defect detection on transparent or translucent wafers
JP2022507678A (en) Optimization of setup stage in automated visual inspection process
JP5405245B2 (en) Image inspection method and image inspection apparatus
CN115937101A (en) Quality detection method, device, equipment and storage medium
US9972079B2 (en) Wafer appearance inspection apparatus
JP5372365B2 (en) Inspection apparatus and inspection method
JP5419555B2 (en) Image inspection apparatus, image inspection method, and image inspection program
JP2020112456A (en) Inspection device and inspection method
JP2013145171A (en) Appearance inspection device
JP2018091771A (en) Method for inspection, preliminary image selection device, and inspection system
JP5824550B1 (en) Data management apparatus and data management program
US20210295491A1 (en) System and method for automated visual inspection
JP2011232302A (en) Image inspection method and image inspection device
JP7449739B2 (en) Inspection system, learning device, learning program, learning method, inspection device, inspection program, inspection method
JP6173088B2 (en) Inspection device, inspection method, program, and recording medium
EP3574310A1 (en) Inspection of components for imperfections
JP2008268131A (en) Method for evaluating quality of grains, and grain leveling cutting apparatus used therefor
TWI493177B (en) Method of detecting defect on optical film with periodic structure and device thereof
JP5804834B2 (en) Inspection program, recording medium storing the program, and inspection apparatus
JP5391039B2 (en) Surface defect inspection method and inspection apparatus
CN103630547A (en) Method and device for inspecting flaws of optical film with periodic structures

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20121016

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140325