JP2005147974A - Device for inspecting erroneous/missing product - Google Patents
Device for inspecting erroneous/missing product Download PDFInfo
- Publication number
- JP2005147974A JP2005147974A JP2003388798A JP2003388798A JP2005147974A JP 2005147974 A JP2005147974 A JP 2005147974A JP 2003388798 A JP2003388798 A JP 2003388798A JP 2003388798 A JP2003388798 A JP 2003388798A JP 2005147974 A JP2005147974 A JP 2005147974A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- image
- standard
- inspection
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、ワークに組み付けられた部品の撮像画像から輪郭線のパターンを抽出し、その抽出パターンを予め用意された標準パターンと比較することにより部品の正誤等を検査する誤欠品検査装置に関するものである。 The present invention relates to an error missing item inspection apparatus that extracts a contour line pattern from a captured image of a part assembled on a workpiece and inspects the correctness or the like of the part by comparing the extracted pattern with a standard pattern prepared in advance. Is.
自動車の部品の組立工程では、その部品に組み付けられている複数の部品が正しいか否か、及び組み付けられるべき部品の欠品があるか否かを検査する工程（以下、この工程を誤欠品検査工程という。）が設けられている。例えばエンジンの組立工程では、エンジンに組み付けられるＥＧＲ（Exhaust Gas Recirculation）バルブ、オイルフィラキャップ、ターボチャージャーなどの複数種類の部品が正しいか否か、及びこれらの部品に欠品があるか否かが検査されている。 In the assembly process of automobile parts, a process of inspecting whether or not a plurality of parts assembled to the part is correct and whether there is a missing part of the part to be assembled (hereinafter, this process is mistakenly missing) Called inspection process). For example, in the assembly process of an engine, whether or not multiple types of parts such as EGR (Exhaust Gas Recirculation) valves, oil filler caps, turbochargers, etc. assembled in the engine are correct and whether these parts are missing. It has been inspected.
そして、この誤欠品検査工程では、専用の誤欠品検査装置を用いて組付部品の誤欠品の検査が行われている。誤欠品検査装置は、例えば特許第３３７２０１４号公報に記載されているように、ロボットのアームの先端に照明装置と撮像装置とが一体となった撮像ユニットが設けられたもので、この撮像ユニットをエンジンに対して所定の撮像位置に設定して組付部品を撮像し、その撮像画像に所定の画像処理を行って当該組付部品の有無及び正誤を判定するようになっている。 And in this mistaken missing goods inspection process, the inspection of the mistaken missing goods of an assembly part is performed using the exclusive mistaken article inspection apparatus. As described in, for example, Japanese Patent No. 3372014, the erroneous missing item inspection apparatus includes an imaging unit in which an illumination device and an imaging device are integrated at the tip of a robot arm. Is set at a predetermined image pickup position with respect to the engine, an assembly part is imaged, and a predetermined image processing is performed on the captured image to determine the presence / absence and correctness of the assembly part.
具体的には、図１１（ａ）〜（ｃ）に示すように、組付部品の撮像画像（以下、この画像を原画像という。）に縁点強調処理を施し、その縁点強調画像を用いて周知のエッジ検出処理により撮像画像内の線（当該組付部品の形状を含む画像の輪郭線）を抽出し、この輪郭線のパターン（抽出パターン）を予め用意されている標準の輪郭線のパターン（標準パターン。図示せず）と比較して両パターンの一致率（％）を算出し、例えばその一致率が所定の閾値（例えば６０％）以上であるか否かにより組付部品の正誤等を判定するようになっている。 Specifically, as shown in FIGS. 11A to 11C, a captured image of an assembly part (hereinafter, this image is referred to as an original image) is subjected to edge enhancement processing, and the edge enhanced image is converted into an edge enhancement image. A line in the captured image (contour line of the image including the shape of the assembly part) is extracted by a well-known edge detection process, and this contour line pattern (extraction pattern) is a standard contour line prepared in advance. Compared with the pattern (standard pattern; not shown), the matching rate (%) of both patterns is calculated. For example, whether the matching rate is equal to or higher than a predetermined threshold (for example, 60%) Correctness etc. are judged.
そして、従来は、検査対象の組付部品に複数の種類が存在する場合は、各種類に対応して標準パターンが用意されているが、検査においては、ＩＤ番号などにより撮像対象の組付部品の種類が特定されることから、その種類の標準パターンについてのみ抽出パターンの一致率が算出され、その一致率に基づいて組付部品の正誤等が判定されている。 Conventionally, when there are a plurality of types of assembly parts to be inspected, a standard pattern is prepared for each type, but in the inspection, the assembly parts to be imaged by an ID number or the like. Therefore, the match rate of the extracted pattern is calculated only for the standard pattern of that type, and correctness or the like of the assembled part is determined based on the match rate.
すなわち、例えばエンジンのターボチャージャーとしてＡ，Ｂ，Ｃ，Ｄ，Ｅの５種類があり、検査対象のターボチャージャーがＡのタイプであった場合、抽出パターンはＡのタイプの標準パターンに対してだけ照合されてパターンの一致率が算出され、更にこの一致率を所定の閾値と比較してＡタイプのターボチャージャーの正誤及び欠品の有無が判定されている。
ところで、従来の検査方法では、ＩＤ番号などで特定される種類の部品についてだけ標準パターンとの一致率を算出し、この一致率に基づいて当該部品の検査を行っているため、誤検出が発生する虞があった。すなわち、上述したターボチャージャーの例で説明すると、例えばＡタイプとＢタイプとの形状が非常に類似していて、エンジンにＢタイプのターボチャージャーが誤って取り付けられている場合、Ｂタイプの部品の撮像画像から得られる抽出パターンのＡタイプの標準パターンに対する一致率が所定の閾値を超える場合があり、この場合は、誤品を見逃した検査結果となる。 By the way, in the conventional inspection method, the coincidence rate with the standard pattern is calculated only for the type of part specified by the ID number and the like, and the part is inspected based on this coincidence rate, so that erroneous detection occurs. There was a fear. That is, in the example of the turbocharger described above, for example, when the A type and the B type are very similar and the B type turbocharger is incorrectly attached to the engine, In some cases, the matching rate of the extracted pattern obtained from the captured image with respect to the A-type standard pattern exceeds a predetermined threshold value. In this case, an inspection result that misses an incorrect product.
抽出パターンは、上述したように、撮像画像に所定の画像処理を行って取得されるため、類似形状を有する誤品の撮像画像から取得される抽出パターンは、画像処理の間に正しい部品の撮像画像から取得される抽出パターンに非常に近似する可能性がある。また、撮像段階でも、エンジンの組付部品の取付位置に近接した位置に撮像ユニットを配置し、照明光を照射して当該組付部品を撮像するため、照明光の影などにより誤品の撮像画像が正しい部品の撮像画像に類似する可能性がある。従って、このような場合は、検出結果に見逃し（誤検出）が生じる可能性が高くなる。 As described above, the extraction pattern is acquired by performing predetermined image processing on the captured image. Therefore, the extraction pattern acquired from a captured image of a wrong product having a similar shape captures the correct component during the image processing. It can be very close to the extracted pattern obtained from the image. Even at the imaging stage, an imaging unit is placed at a position close to the mounting position of the engine assembly parts, and the assembly parts are imaged by illuminating the illumination light. The image may be similar to the captured image of the correct part. Therefore, in such a case, there is a high possibility that the detection result will be overlooked (false detection).
本発明は、上記課題に鑑みてなされたものであり、誤検出の少ない、信頼性の高い誤欠品検出が可能な誤欠品検査装置を提供する。 The present invention has been made in view of the above-described problems, and provides an error-missing product inspection apparatus that is capable of detecting an error-missing product with less erroneous detection and high reliability.
本発明は、ワークに組み付けられた部品の撮像画像から輪郭線のパターンを抽出し、その抽出パターンを予め用意された標準パターンと比較することにより上記部品の正誤等を検査する誤欠品検査装置において、上記部品毎に複数種類の標準パターンを記憶する記憶手段と、上記抽出パターンを、上記記憶手段に記憶された撮像対象の部品に対する全ての標準パターンと照合し、標準パターン毎にパターンの一致率を演算する演算手段と、上記演算手段で演算されたパターンの一致率に基づいて、上記部品の正誤等の検査を行う検査手段と、を備えたものである（請求項１）。 The present invention extracts an outline pattern from a captured image of a part assembled on a workpiece, and compares the extracted pattern with a standard pattern prepared in advance to inspect whether the part is correct or not. The storage means for storing a plurality of types of standard patterns for each part and the extracted pattern are compared with all the standard patterns for the parts to be imaged stored in the storage means, and the pattern matches for each standard pattern. An arithmetic means for calculating a rate, and an inspection means for inspecting the parts for correctness based on the pattern matching rate calculated by the arithmetic means (claim 1).
なお、上記検査手段は、上記演算手段で演算されたパターンの一致率を上記標準パターン毎に予め設定された所定の閾値と比較し、撮像対象となった種類に対応する部品の標準パターンに対するパターンの一致率のみが上記閾値以上のとき、上記部品の検査結果を合格とするとよい（請求項２）。 The inspection unit compares the pattern coincidence rate calculated by the calculation unit with a predetermined threshold set in advance for each standard pattern, and the pattern for the standard pattern of the component corresponding to the type to be imaged When only the coincidence rate is equal to or greater than the threshold value, the inspection result of the part may be passed (Claim 2).
上記構成の誤欠品検査装置によれば、ワークに組み付けられた部品の撮像画像から抽出された輪郭線のパターンは、記憶手段に記憶された撮像対象の部品に対する全ての標準パターンと照合され、標準パターン毎にパターンの一致率が演算される。そして、パターンの一致率は、例えば標準パターン毎に予め設定された所定の閾値と比較され、撮像対象となった種類に対応する部品の標準パターンに対するパターンの一致率のみが閾値以上のとき、部品の検査結果が合格とされる。 According to the erroneous missing item inspection apparatus having the above-described configuration, the contour line pattern extracted from the captured image of the component assembled to the workpiece is collated with all the standard patterns for the imaging target component stored in the storage unit, The pattern matching rate is calculated for each standard pattern. The pattern matching rate is compared with, for example, a predetermined threshold set in advance for each standard pattern. When only the pattern matching rate with respect to the standard pattern of the component corresponding to the type that is the imaging target is equal to or greater than the threshold, the component The inspection result is passed.
本発明によれば、抽出パターンは、撮像対象の部品の標準パターンだけでなく当該部品の他の種類の標準パターンとも照合され、全ての種類の標準パターンに対する一致率に基づいて正誤等の検査が行われるので、誤検査の見逃しが低減し、検査結果の信頼性が向上する。 According to the present invention, the extracted pattern is collated not only with the standard pattern of the part to be imaged, but also with other types of standard patterns of the part, and the correctness or the like is inspected based on the matching rate for all types of standard patterns. As a result, missed inspections are reduced and the reliability of inspection results is improved.
本発明に係る誤欠品検査装置について、図を用いて説明する。 An error missing item inspection apparatus according to the present invention will be described with reference to the drawings.
図１は、本発明に係る誤欠品検査装置の一実施形態の概略構成を示す図、図２は、同誤欠品検査装置のアーム先端に設けられた撮像ユニットの正面図である。 FIG. 1 is a diagram showing a schematic configuration of an embodiment of an error missing item inspection apparatus according to the present invention, and FIG. 2 is a front view of an imaging unit provided at the arm tip of the error missing item inspection apparatus.
誤欠品検査装置１は、垂直多関節型ロボットからなるロボット２と、このロボット２のアーム２１の先端に設けられた撮像ユニット３と、ロボット２及び撮像ユニット３の動作を制御する制御装置４と、この制御装置４に制御に必要な情報を入力したり、制御結果を表示させたりするための入出力表示装置５とで構成されている。 The error missing item inspection apparatus 1 includes a robot 2 composed of a vertical articulated robot, an imaging unit 3 provided at the tip of an arm 21 of the robot 2, and a control device 4 that controls operations of the robot 2 and the imaging unit 3. And an input / output display device 5 for inputting information necessary for control to the control device 4 and displaying a control result.
撮像ユニット３は、図２に示すように、正面視で横長長方形の箱形状をなし、底面の略中央がロボット２のアーム２１に固定されている。また、正面の上部には長辺に沿って２個の照明用投光部３２ａ，３２ｂとカラー撮像部３１ａとが交互に一列に配設され、正面の下部には長辺に沿って３個の照明用投光部３２ｃ，３２ｄ，３２ｅとモノクロ撮像部３１ｂ，３１ｃとが交互に一列に配設されている。 As shown in FIG. 2, the imaging unit 3 has a horizontally-long rectangular box shape when viewed from the front, and the approximate center of the bottom surface is fixed to the arm 21 of the robot 2. In addition, two illumination light projecting units 32a and 32b and a color imaging unit 31a are alternately arranged in a row along the long side at the upper part of the front, and three along the long side at the lower part of the front. Illuminating light projecting sections 32c, 32d, 32e and monochrome imaging sections 31b, 31c are alternately arranged in a line.
カラー撮像部３１ａは、例えばＣＣＤ（Charge-Coupled Device）からなるカラーエリアセンサとこのカラーエリアセンサの撮像面に被写体の光像を結像するズームレンズとで構成されている。カラーエリアセンサは、各画素の撮像面にＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタを市松模様状に配設してなる単板式カラーエリアセンサで構成されている。このカラー撮像部３１ａは、色によって組付部品７を識別するために組付部品７をカラー撮像するためのものである。すなわち、組付部品７によっては外観形状が全く同一で性能のみが異なる場合があり、かかる場合は組付部品７にカラーマークが付されているので、組付部品７の撮像画像からカラーマークの色を検出することにより組付部品７の種類を識別するものである。 The color imaging unit 31a includes a color area sensor made up of, for example, a CCD (Charge-Coupled Device) and a zoom lens that forms an optical image of a subject on the imaging surface of the color area sensor. The color area sensor is composed of a single-plate color area sensor in which R (red), G (green), and B (blue) color filters are arranged in a checkered pattern on the imaging surface of each pixel. The color imaging unit 31a is for performing color imaging of the assembly component 7 in order to identify the assembly component 7 by color. That is, depending on the assembly part 7, the appearance shape may be exactly the same and only the performance may be different. In such a case, the color mark is attached to the assembly part 7, so that the color mark of the assembly part 7 is determined from the captured image. The type of the assembly component 7 is identified by detecting the color.
モノクロ撮像部３１ｂ，３１ｃも、例えばＣＣＤ（Charge-Coupled Device）からなるモノクロエリアセンサとこのカラーエリアセンサの撮像面に被写体の光像を結像するズームレンズとで構成されている。モノクロ撮像部を２個設けているのは、これらのモノクロ撮像部３１ｂ，３１ｃによりステレオカメラを構成し、被写体の三次元画像を取得できるようにするためである。なお、カラーエリアセンサ及びモノクロエリアセンサはＣＣＤに限られず、Ｃ−ＭＯＳイメージセンサなどの他の固体撮像素子であってもよい。また、カラーエリアセンサは単板式に限定されず、Ｒ，Ｇ，Ｂの各色に対応して３枚のイメージセンサが設けられた３板式カラーイメージセンサであってよい。 The monochrome imaging units 31b and 31c are also composed of, for example, a monochrome area sensor composed of a CCD (Charge-Coupled Device) and a zoom lens that forms an optical image of a subject on the imaging surface of the color area sensor. The reason why two monochrome imaging units are provided is that these monochrome imaging units 31b and 31c constitute a stereo camera so that a three-dimensional image of the subject can be acquired. The color area sensor and the monochrome area sensor are not limited to the CCD, but may be other solid-state imaging devices such as a C-MOS image sensor. Further, the color area sensor is not limited to a single-plate type, and may be a three-plate type color image sensor provided with three image sensors corresponding to each color of R, G, and B.
照明用投光部３２ａ〜３２ｅは、多数の光ファイバーの束で構成され、図略の光源から発した光を撮像ユニット３の正面（撮像面）に導光し、カラー撮像部３１ａ及びモノクロ撮像部３１ｂ，３１ｃの被写体に向けて照射するものである。 The illumination light projecting units 32a to 32e are configured by a bundle of a number of optical fibers, guide light emitted from a light source (not shown) to the front surface (imaging surface) of the imaging unit 3, and the color imaging unit 31a and the monochrome imaging unit. Irradiate toward the subjects 31b and 31c.
撮像ユニット３は、ロボット２のアーム２１の駆動によりエンジン６に対する所定の撮影位置に移動可能であるとともに、その撮影位置において、Ｘ−Ｙ面（撮像ユニット３の正面と平行な面）内で任意に回転可能になっている。従って、エンジン６の各組付部品７に対する撮像ユニット３の撮影位置及び撮影方向の条件は、ロボット２のアーム２１の駆動を制御するとともに、ズームレンズの倍率を制御することにより予め設定された条件（誤欠品検査部４２での画像のマッチング処理に必要な画角の条件）に設定されるようになっている。 The imaging unit 3 can be moved to a predetermined imaging position with respect to the engine 6 by driving the arm 21 of the robot 2, and at the imaging position, the imaging unit 3 is arbitrary in the XY plane (a plane parallel to the front of the imaging unit 3). It can be rotated. Accordingly, the conditions of the shooting position and shooting direction of the imaging unit 3 with respect to each assembled component 7 of the engine 6 are set in advance by controlling the drive of the arm 21 of the robot 2 and the magnification of the zoom lens. (An angle-of-view condition necessary for image matching processing in the erroneous missing item inspection unit 42) is set.
制御装置４はＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力ＩＦ（Interface）を基本構成とするマイクロコンピュータからなり、ＲＯＭに予め記憶されたプログラムをＣＰＵに実行させることによりロボット２及び撮像ユニット３の動作制御の機能と、撮像ユニット３で撮像された画像を用いて、例えばエンジン６の外部に組み付けられた部品７の正誤及び欠品の有無を判定する画像処理の機能とを果す。制御装置４内のロボット制御部４１は、ロボット２及び撮像ユニット３の動作制御を果す部分を機能ブロックで示したものであり、誤欠品検査部４２は、撮像画像を用いた組付部品７の正誤及び欠品の有無の判定処理を行う部分を機能ブロックで示したものである。 The control device 4 includes a microcomputer having a basic configuration of a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and an input / output IF (Interface), and a program stored in advance in the ROM is stored in the CPU. For example, using the function of controlling the operation of the robot 2 and the imaging unit 3 and the image captured by the imaging unit 3, for example, whether or not the component 7 assembled outside the engine 6 is correct or not is determined. It performs the functions of image processing. The robot control unit 41 in the control device 4 is a functional block showing a part that controls the operation of the robot 2 and the imaging unit 3, and the erroneous part inspection unit 42 is an assembly part 7 that uses the captured image. The part which performs the determination process of the right / wrong and the presence / absence of a missing part is shown by a functional block.
ＲＯＭには、エンジン６の種類毎に検査すべき複数個の組付部品７を撮像ユニット３で撮像するためのロボット２の制御手順と撮像ユニット３の撮像手順（組付部品７が複数個ある場合は、各組付部品７を順番に撮像する手順）のプログラムが記憶されており、ロボット制御部４１はこのプログラムをＲＡＭに展開して実行することにより誤欠品検査処理における組付部品７の撮像画像の取込みを制御する。すなわち、本実施形態では、誤欠品検査部４２で、エンジン６のＥＧＲバルブ、アウトレットウォーター、ＩＮインシュレータ、オイルフィラキャップ、オルタネータ、ターボチャージャー、ＥＸエンジンブラケット及びＥＸインシュレータの８種類の組付部品７について部品の正誤及び欠品の有無を判定するようになされ、ＲＯＭには、これらの組付部品７毎に、組付部品７に対する撮像位置や撮像ユニット３の撮像方向などの情報が記憶されており、ロボット制御部４１はこの情報に従ってロボット２のアーム２１を駆動することにより撮像ユニット３を撮影対象の組付部品７に対して所定の撮像位置に設定し、撮像ユニット３の撮像部３１（後述する）を駆動して当該組付部品７の撮像画像を取り込む。この撮像画像のデータは誤欠品検査部４２に入力され、組付部品７の正誤及び欠品の有無の判定の処理（後述する）に使用される。 The ROM has a control procedure for the robot 2 for imaging a plurality of assembly parts 7 to be inspected for each type of engine 6 by the imaging unit 3 and an imaging procedure for the imaging unit 3 (a plurality of assembly parts 7 are provided). In this case, a program of a procedure for imaging each assembly part 7 in order is stored, and the robot control unit 41 develops this program in the RAM and executes it to execute the assembly part 7 in the erroneous part inspection process. The capture of the captured image is controlled. In other words, in the present embodiment, the missing part inspection unit 42 includes eight types of assembly parts 7 including an EGR valve, an outlet water, an IN insulator, an oil filler cap, an alternator, a turbocharger, an EX engine bracket, and an EX insulator of the engine 6. Whether the parts are correct or not and whether there is a missing part is determined, and the ROM stores information such as the imaging position of the assembled part 7 and the imaging direction of the imaging unit 3 for each of the assembled parts 7. The robot control unit 41 drives the arm 21 of the robot 2 according to this information to set the imaging unit 3 at a predetermined imaging position with respect to the assembly component 7 to be imaged, and the imaging unit 31 ( The captured image of the assembly component 7 is captured by driving (described later). The data of the captured image is input to the error / missing item inspection unit 42 and is used for processing (described later) for determining whether the assembled component 7 is correct or not and whether there is a missing item.
また、ＲＯＭには、誤欠品検査部４２でパターンマッチングにより組付部品７の正誤及び欠品の有無を判定する際に用いられる標準的なパターン（以下、標準パターンという。）が記憶されている。標準パターンは、上述したＥＧＲバルブ乃至ＥＸインシュレータの８種類の組付部品７に対してそれぞれ必要数ずつ（各組付部品について複数種類の形状の部品がある場合、その種類数ずつ）用意されている。 The ROM stores a standard pattern (hereinafter referred to as a standard pattern) used when the error / missing item inspection unit 42 determines the correctness of the assembled part 7 and the presence / absence of a missing item by pattern matching. Yes. The required number of standard patterns is prepared for each of the eight types of assembly parts 7 of the EGR valve or EX insulator described above (if there are multiple types of parts for each assembly part, the number of types). Yes.
なお、各標準パターンは、対応する組付部品７を所定の位置で撮像したときの撮像画像に含まれる輪郭線（組付部品７の形状を示す輪郭線とその背景に表れる代表的な輪郭線からなる）で構成されている。例えばエンジン６のアウトレットウォーターについて、５種類の形状の異なるアウトレットウォーターがある場合、図３（ａ）〜（ｅ）に示すように、５種類の標準パターンがＲＯＭに記憶されている。なお、図３（ａ）〜（ｅ）において、四角い枠で囲んだ部分が撮像範囲（標準パターン）であり、各標準パターンは、この枠内に含まれるアウトレットウォーターの形状の輪郭線と背景部分の代表的な輪郭線（例えばキャップが取り付けられている円筒状の本体部分の輪郭線など）で構成される。 Each standard pattern includes a contour line (a contour line indicating the shape of the assembly component 7 and a typical contour line that appears in the background) included in the captured image when the corresponding assembly component 7 is captured at a predetermined position. Consisting of). For example, when there are five types of outlet water having different shapes for the outlet water of the engine 6, five types of standard patterns are stored in the ROM as shown in FIGS. In FIGS. 3A to 3E, a portion surrounded by a square frame is an imaging range (standard pattern), and each standard pattern includes an outline of an outlet water shape included in the frame and a background portion. The representative contour line (for example, the contour line of the cylindrical main body portion to which the cap is attached).
入出力表示装置５はタッチパネルからなり、入出力表示装置５には誤欠品検査に必要な条件（例えば検査対象のエンジンの種類や名称及びそのエンジンの組付部品の種類や名称など）を入力するためのメニュー画面が表示され、作業者がこのメニュー画面に表示される操作スイッチや選択項目を押圧操作することにより所要の条件が制御装置４に入力される。 The input / output display device 5 is composed of a touch panel, and the input / output display device 5 is inputted with conditions necessary for the inspection of the missing item (for example, the type and name of the engine to be inspected and the type and name of the assembly parts of the engine). A menu screen is displayed, and a required condition is input to the control device 4 when the operator presses an operation switch or a selection item displayed on the menu screen.
次に、本発明に係る誤欠品検査部４２の機能について、図４を用いて具体的に説明する。 Next, the function of the erroneous product inspection unit 42 according to the present invention will be specifically described with reference to FIG.
図４は、誤欠品検査部４２の処理工程を機能ブロックで表した図である。誤欠品検査部４２は、画像強調処理部４２１、ボケ画像作成部４２２、輪郭線抽出部４２３、パターンマッチング処理部４２４及び部品判定部４２５で構成されている。なお、標準パターン記憶部４２６は、パターンマッチングに用いる組付部品７の標準パターンを記憶するもので、上述したように本実施形態ではＲＯＭがその機能を果している。なお、ロボット２及び撮像ユニット３の駆動制御や誤欠品検査処理を行うプログラムを記憶したＲＯＭ以外にＥＥＰＲＯＭを設け、標準パターンをこのＥＥＰＲＯＭに記憶させていてもよい。 FIG. 4 is a functional block diagram showing the processing steps of the erroneous product inspection unit 42. The erroneous missing item inspection unit 42 includes an image enhancement processing unit 421, a blurred image creation unit 422, a contour line extraction unit 423, a pattern matching processing unit 424, and a component determination unit 425. The standard pattern storage unit 426 stores the standard pattern of the assembly component 7 used for pattern matching. As described above, the ROM performs its function as described above. Note that an EEPROM may be provided in addition to a ROM that stores a program for performing drive control of the robot 2 and the imaging unit 3 and an erroneous missing item inspection process, and a standard pattern may be stored in the EEPROM.
画像強調処理部４２１は、撮像ユニット２のモノクロ撮像部３１ｂ，３１ｃにより組付部品７を撮像して得られるディジタル画像のデータ（以下、原画像データという。）に画像強調処理を行うものである。画像強調処理部４２１は、原画像データに当該原画像をエッジ強調した画像データを重ね合わせることにより先鋭化された原画像のデータ（以下、強調画像データという。）を生成する。具体的には、例えば原画像データがｘ列ｙ行の画素群の濃度データで構成され、原画像を表す関数をｆ（ｘ，ｙ）とし、原画像関数ｆ（ｘ，ｙ）の二次微分関数を∇2ｆ（ただし、ラプラシアン∇2は二次微分演算子であって、∇2＝∂2／∂ｘ2＋∂2／∂ｙ2である）とすると、画像強調処理部４２１は、ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−∇2ｆ（ｘ，ｙ）を演算することにより強調画像を表す関数ｇ（ｘ，ｙ）を算出する。 The image enhancement processing unit 421 performs image enhancement processing on digital image data (hereinafter referred to as original image data) obtained by imaging the assembly component 7 by the monochrome imaging units 31b and 31c of the imaging unit 2. . The image enhancement processing unit 421 generates sharpened original image data (hereinafter referred to as “emphasized image data”) by superimposing image data obtained by edge-enhancing the original image on the original image data. Specifically, for example, the original image data is composed of density data of a pixel group of x columns and y rows, a function representing the original image is f (x, y), and a secondary of the original image function f (x, y). When the differential function is ∇ 2 f (where Laplacian ∇ 2 is a second-order differential operator and ∇ 2 = ∂ 2 / ∂x 2 + ∂ 2 / ∂y 2 ), the image enhancement processing unit 421 , G (x, y) = f (x, y) −∇ 2 f (x, y) is calculated to calculate a function g (x, y) representing the enhanced image.
画像強調処理部４２１における画像強調処理は、上述した従来の検査方法における画像強調処理と同様で、図１１に示したように、この画像強調処理により原画像（図１１（ａ）参照）からエッジが強調された画像（図１１（ｂ）参照）が得られる。 The image enhancement processing in the image enhancement processing unit 421 is the same as the image enhancement processing in the conventional inspection method described above, and as shown in FIG. 11, the edge enhancement is performed from the original image (see FIG. 11A) by this image enhancement processing. Is obtained (see FIG. 11B).
ボケ画像作成部４２２は、画像強調処理部４２１から出力される強調画像データを用いてボケ画像を作成するものである。ボケ画像作成部４２２は、強調画像に平均化処理若しくは積分演算を施すことによりボケ画像を生成する。具体的には、ボケ画像作成部４２２は、例えば３×３のマスクを用いて選択的に局所部分の濃度データの平均化処理を行うことによりボケ画像を生成する。すなわち、ボケ画像を表す関数をｈ（ｘ，ｙ）とすると、ｈ（ｘ，ｙ）＝｛ｇ（ｘ−１，ｙ−１）＋ｇ（ｘ，ｙ−１）＋ｇ（ｘ＋１，ｙ−１）＋ｇ（ｘ−１，ｙ）＋ｇ（ｘ，ｙ）＋ｇ（ｘ＋１，ｙ）＋ｇ（ｘ−１，ｙ＋１）＋ｇ（ｘ，ｙ＋１）＋ｇ（ｘ＋１，ｙ＋１）｝／９を演算することによりボケ画像が作成される。この演算処理により、例えば図１１（ｂ）の例では、図５に示すようなボケ画像が生成される。 The blurred image creation unit 422 creates a blurred image using the enhanced image data output from the image enhancement processing unit 421. The blurred image creation unit 422 generates a blurred image by performing an averaging process or an integral operation on the emphasized image. Specifically, the blurred image creation unit 422 generates a blurred image by selectively averaging density data of local portions using, for example, a 3 × 3 mask. That is, if a function representing a blurred image is h (x, y), h (x, y) = {g (x−1, y−1) + g (x, y−1) + g (x + 1, y−1). ) + G (x-1, y) + g (x, y) + g (x + 1, y) + g (x-1, y + 1) + g (x, y + 1) + g (x + 1, y + 1)} / 9 An image is created. By this calculation processing, for example, in the example of FIG. 11B, a blurred image as shown in FIG. 5 is generated.
輪郭線抽出部４２３は、ボケ画像作成部４２２で作成されたボケ画像から当該ボケ画像に含まれる輪郭線（組付部品７の形状を示す輪郭線や組付部品７が取り付けられた背景部分に表れる他の部品の輪郭線など）を抽出する。輪郭線抽出部４２３は、例えば二次微分フィルタ（ラプラシアンフィルタ若しくはガウス型ラプラシアンフィルタ等）を用いてボケ画像を構成する画素データに対し、微分演算を行うことにより輪郭線を抽出する。この輪郭線抽出処理により、例えば図５の例では、図６に示すように輪郭線のパターンが得られる。 The contour line extraction unit 423 generates a contour line (contour line indicating the shape of the assembled part 7 or the background part to which the assembled part 7 is attached) from the blurred image created by the blurred image creation part 422. Extract outlines of other parts that appear). The contour line extraction unit 423 extracts a contour line by performing a differentiation operation on pixel data constituting a blurred image using, for example, a second-order differential filter (Laplacian filter or Gaussian Laplacian filter). By this contour line extraction process, for example, in the example of FIG. 5, a contour line pattern is obtained as shown in FIG.
パターンマッチング処理部４２４は、輪郭線抽出部４２３で抽出された輪郭線のパターン（以下、抽出パターンという。）を標準パターン記憶部４２６に記憶された組付部品７の標準パターンと照合し、両パターンの一致率を算出するものである。パターンマッチング処理部４２４は、例えば標準パターンと抽出パターンとの位置ずれ量（対応する点同士の距離）を算出し、その位置ずれ量が所定の閾値以下であるパターンの割合を算出する。例えば抽出パターンに含まれる全ての輪郭線が標準パターンの輪郭線に対して所定の閾値以下のずれ量の範囲にあるときは、一致率Ｒは１００％であると判定される。一方、抽出パターンに含まれる全ての輪郭線が標準パターンの輪郭線に対して所定の閾値よりも大きいずれ量の範囲にあるときは、一致率Ｒは０％であると判定される。また、抽出パターンに含まれる全ての輪郭線のうち、例えば半分の輪郭線が標準パターンの輪郭線に対して所定の閾値以下のずれ量の範囲にあるときは、一致率Ｒは５０％であると判定される。 The pattern matching processing unit 424 collates the contour pattern extracted by the contour extraction unit 423 (hereinafter referred to as “extraction pattern”) with the standard pattern of the assembly component 7 stored in the standard pattern storage unit 426, and The pattern matching rate is calculated. The pattern matching processing unit 424 calculates, for example, a positional deviation amount (a distance between corresponding points) between the standard pattern and the extracted pattern, and calculates a ratio of patterns whose positional deviation amount is a predetermined threshold value or less. For example, when all the contour lines included in the extracted pattern are within a range of deviation amounts below a predetermined threshold with respect to the contour line of the standard pattern, the matching rate R is determined to be 100%. On the other hand, when all the contour lines included in the extracted pattern are in a range of an amount larger than a predetermined threshold with respect to the contour line of the standard pattern, the matching rate R is determined to be 0%. Further, among all the contour lines included in the extracted pattern, for example, when the half contour line is within the range of the deviation amount below the predetermined threshold with respect to the contour line of the standard pattern, the matching rate R is 50%. It is determined.
上述のように、本実施形態では、組付部品７の撮像画像に対して画像強調処理をした後、ボケ画像を生成し、このボケ画像からパターンを抽出しているので、背景部分や組付部品以外の鋳造品の鋳肌部分がパターンとして抽出されることが低減される。 As described above, in the present embodiment, the image enhancement processing is performed on the captured image of the assembly component 7, and then the blurred image is generated and the pattern is extracted from the blurred image. Extraction of a cast surface portion of a cast product other than a part as a pattern is reduced.
従来は、パターンマッチングにより組付部品の正誤判定を行った場合、正しい組付部品に対する一致率の分布は、図７の実線で示すようになる一方、正しい組付部品に形状が類似している組付部品に対する一致率の分布は、図７の点線で示すようになり、Ａで示す部分は誤品として誤判定され、Ｂで示す部分は正品として誤判定されていた。しかし、本実施形態によれば、図７に相当する一致率の分布は、例えば図８に示すようになるので、同図に示すように、正しい組付部品に対する一致率の分布（実線で示す分布）と正しい組付部品に形状が類似している組付部品に対する一致率の分布（点線で示す分布）は、従来のように閾値の近傍で重複することがなくなるので、この重複部分が誤判定されることがなくなり、検査精度は従来よりも向上するようになっている。 Conventionally, when correctness / incorrectness of an assembled part is determined by pattern matching, the distribution of the coincidence rate with respect to the correct assembled part is as shown by the solid line in FIG. 7, while the shape is similar to the correct assembled part. The coincidence rate distribution with respect to the assembled parts is as shown by the dotted line in FIG. 7, and the portion indicated by A is erroneously determined as an incorrect product, and the portion indicated by B is erroneously determined as an authentic product. However, according to the present embodiment, the coincidence rate distribution corresponding to FIG. 7 is as shown in FIG. 8, for example, and as shown in FIG. Distribution) and the distribution of coincidence rate (distribution indicated by dotted lines) for an assembly part that is similar in shape to the correct assembly part will not overlap in the vicinity of the threshold value as in the past. No determination is made, and the inspection accuracy is improved as compared with the prior art.
標準パターン記憶部４２６には、上述したように、各組付部品７毎に異なる形状の部品が複数種類ある場合、その複数種類数の標準パターンが記憶されている。従って、パターンマッチング処理部４２４は、ある組付部品７について、複数種類の標準パターンがある場合は、当該組付部品７のＩＤ番号に対応する標準パターンだけでなく他の標準パターンについてもパターンの一致率Ｒを算出する。すなわち、表１に示すように、例えば組付部品７の種類がａ，ｂ，ｃ，ｄ，ｅの５種類あり、各組付部品７について、Ａ，Ｂ，Ｃ，Ｄ，Ｅの５種類の標準パターンがあるとすると、例えばａの組付部品７については、Ａ，Ｂ，Ｃ，Ｄ，Ｅの５種類の標準パターンについてそれぞれパターンの一致率Ｒが算出される。 As described above, the standard pattern storage unit 426 stores a plurality of types of standard patterns when there are a plurality of types of parts having different shapes for each assembled part 7. Therefore, when there are a plurality of types of standard patterns for a certain assembled part 7, the pattern matching processing unit 424 determines not only the standard pattern corresponding to the ID number of the assembled part 7 but also other standard patterns. The coincidence rate R is calculated. That is, as shown in Table 1, for example, there are five types of assembly parts 7: a, b, c, d, and e. For each assembly part 7, five types of A, B, C, D, and E For example, for the assembly part a, the pattern matching rate R is calculated for each of the five standard patterns A, B, C, D, and E.
このように、ＩＤ番号に対応する標準パターン以外の標準パターンについても一致率Ｒを算出し、誤欠品の判定をするのは、判定結果の信頼性を高めるためである。すなわち、ＩＤ番号に対応する標準パターンについてだけパターンの一致率Ｒから組付部品７の正誤若しくは欠品の有無を判定すると、例えば撮像画像に含まれるノイズに起因して誤品が正しい部品と判定されたり、逆に正しい部品が誤品と判定される場合にそれを確認することができないため、誤判定が発生することになるが、ＩＤ番号に対応する標準パターン以外の標準パターンについてもパターンの一致率Ｒから組付部品７の正誤若しくは欠品の有無を判定すると、上述の誤判定が生じる虞がある場合にもそれが確認されるため、誤判定の発生を可及的に防止することができるからである。 As described above, the reason why the coincidence rate R is calculated for the standard patterns other than the standard pattern corresponding to the ID number and the determination of an erroneous product is made is to increase the reliability of the determination result. That is, when it is determined whether or not the assembled part 7 is correct or missing from the pattern matching rate R only for the standard pattern corresponding to the ID number, for example, the incorrect part is determined to be a correct part due to noise included in the captured image. If the correct part is determined to be a wrong product, it cannot be confirmed, and an erroneous determination will occur. However, the standard pattern other than the standard pattern corresponding to the ID number is Since it is confirmed even if there is a possibility that the above-mentioned misjudgment may occur when judging whether the assembled parts 7 are correct or not from the coincidence rate R, the occurrence of misjudgment should be prevented as much as possible. Because you can.
部品判定部４２５は、パターンマッチング処理部４２４により算出されたパターンの一致率Ｒに基づいて組付部品７の正誤及び欠品の判定を行うものである。部品判定部４２５は、パターンの一致率Ｒを予め設定された所定の第１閾値Ｒｔ１（例えば６０％）と比較し、一致率Ｒが第１閾値Ｒｔ１以上であると、正しい部品であると判定し、一致率Ｒが第１閾値Ｒｔ１より小さいと、誤品であると判定する。また、部品判定部４２５は、パターンの一致率Ｒを予め設定された所定の第２閾値Ｒｔ２（＜Ｒｔ，例えば１０％）と比較し、一致率Ｒが第２閾値Ｒｔ２以上であると、部品有りと判定し、一致率Ｒが第２閾値Ｒｔ２より小さいと、欠品であると判定する。 The component determination unit 425 determines whether the assembled component 7 is correct or not based on the pattern matching rate R calculated by the pattern matching processing unit 424. The component determination unit 425 compares the pattern matching rate R with a predetermined first threshold value Rt1 (for example, 60%), and determines that the component is a correct component if the matching rate R is equal to or greater than the first threshold value Rt1. When the coincidence rate R is smaller than the first threshold value Rt1, it is determined that the product is a wrong product. Further, the component determination unit 425 compares the pattern matching rate R with a predetermined second threshold Rt2 (<Rt, for example, 10%) set in advance, and if the matching rate R is equal to or higher than the second threshold Rt2, the component If it is determined that there is a match and the coincidence rate R is smaller than the second threshold value Rt2, it is determined that the product is missing.
部品判定部４２５は、上述したように、各組付部品７毎に複数の標準パターンについて判定処理を行う。すなわち、表１の例では、例えばａの組付部品７についてＡ，Ｂ，Ｃ，Ｄ，Ｅの５種類の標準パターンに対して、一致率Ｒと第１閾値Ｒｔ１，第２閾値Ｒｔ２とを比較し、各標準パターンについて、部品の有無及び正誤を判定する。その判定結果が例えば表２に示すような場合、Ａの標準パターンについてのみＲ＞Ｒｔ１であるから、ａの組付部品７の検査結果は「ＯＫ」となる。一方、その判定結果が例えば表３に示すような場合、ＡとＤの標準パターンについてＲ＞Ｒｔ１であるから、ａの組付部品７の検査結果は「ＮＧ」となる。すなわち、表３の場合は、組付部品７がＡの部品ともＤの部品とも判別が付かないので、ＩＤ番号に対応する標準パターンがＡの部品のものであっても検査精度を高めるため、「ＮＧ」扱いとして黙視検査に回されることになる。 As described above, the component determination unit 425 performs determination processing for a plurality of standard patterns for each assembled component 7. That is, in the example of Table 1, for example, the matching rate R and the first threshold value Rt1 and the second threshold value Rt2 are set for five standard patterns A, B, C, D, and E for the assembly part 7 of a. By comparison, the presence / absence and correctness of parts are determined for each standard pattern. For example, when the determination result is as shown in Table 2, since R> Rt1 only for the standard pattern A, the inspection result of the assembled part 7 of “a” is “OK”. On the other hand, when the determination result is as shown in Table 3, for example, since R> Rt1 for the standard patterns A and D, the inspection result of the assembled part 7 of “a” is “NG”. That is, in the case of Table 3, since the assembly part 7 cannot be discriminated from the part A or the part D, in order to increase the inspection accuracy even if the standard pattern corresponding to the ID number is the part A, It will be sent to the silent inspection as "NG" treatment.
なお、表３において、Ｄの標準パターンのみがＲ＞Ｒｔ１となった場合は検査結果は「ＮＧ」となる。この場合は、Ｄタイプの部品の標準パターンに対してＲ＞Ｒｔ１となっているため、本来Ａタイプの部品７が取り付けられるべきところ、Ｄタイプの部品７が取り付けられていると認定されるからである。 In Table 3, when only the standard pattern of D satisfies R> Rt1, the inspection result is “NG”. In this case, since R> Rt1 with respect to the standard pattern of the D-type component, it is recognized that the D-type component 7 is attached where the A-type component 7 should be originally attached. It is.
次に、本発明に係る誤欠品検査部４２の処理動作について、図９，図１０を用いて説明する。 Next, the processing operation of the erroneous product inspection unit 42 according to the present invention will be described with reference to FIGS.
図９は、誤欠品検査部４２の処理手順を示すフローチャートである。 FIG. 9 is a flowchart showing a processing procedure of the erroneous missing item inspection unit 42.
所定の検査位置に検査対象のワーク、例えばエンジン６が設定されると（Ｓ１：ＹＥＳ）、当該エンジン６のＩＤ番号が読み取られる（Ｓ２）。エンジン６のＩＤ番号の読み取りは、撮像ユニット３によりエンジン６の所定位置に記載されたＩＤ番号を撮像し、その撮像画像を解析することより読み取られる。エンジン６のＩＤ番号が確認されると、当該エンジン６の検査対象となる１又は２以上の複数の組付部品７が特定され、撮像ユニット３により予め設定された順番で各組付部品７を撮像し、その撮像画像を用いて組付部品７毎に部品の正誤及び欠品の有無の検査が行われる。 When a workpiece to be inspected, for example, the engine 6 is set at a predetermined inspection position (S1: YES), the ID number of the engine 6 is read (S2). The ID number of the engine 6 is read by imaging the ID number described at a predetermined position of the engine 6 by the imaging unit 3 and analyzing the captured image. When the ID number of the engine 6 is confirmed, one or two or more assembly parts 7 to be inspected by the engine 6 are specified, and the assembly parts 7 are set in the order preset by the imaging unit 3. The captured image is used to check the correctness of parts and the presence / absence of missing parts for each assembled part 7.
すなわち、まず、検査すべき組付部品７の数をカウントするカウンタｎに１がセットされる（Ｓ３）。続いて、ＲＯＭからＮｏ．１の組付部品７に対する撮像条件（照明量や撮像位置や撮像方向などの条件）が読み出され、この撮像条件に基づいてロボット２を駆動するとともに、撮像ユニット３を駆動してＮｏ．１の組付部品７に対する撮像画像を取り込む（Ｓ４）。なお、この撮像では、組付部品７の種類によってカラー撮像又はモノクロ撮像、あるいはカラー撮像とモノクロ撮像の両方が行われるが、この説明では便宜上、モノクロ撮像をする場合について説明する。 That is, first, 1 is set to a counter n that counts the number of assembly parts 7 to be inspected (S3). Then, from ROM, No. The image pickup conditions (conditions such as illumination amount, image pickup position, and image pickup direction) for the assembly part 7 of the first assembly are read out, and the robot 2 is driven based on the image pickup conditions and the image pickup unit 3 is driven to A captured image for one assembly component 7 is captured (S4). In this imaging, color imaging or monochrome imaging, or both color imaging and monochrome imaging are performed depending on the type of the assembly component 7, but in this description, the case of monochrome imaging will be described for convenience.
続いて、ステップＳ５〜Ｓ９で撮像ユニット３により取り込まれた撮像画像（原画像）を用いてＮｏ．１の組付部品７の正誤及び欠品の有無の判定処理が行われる。すわなち、まず、画像強調処理部４２１により原画像の強調処理が行われた後（Ｓ５）、この強調画像を用いてボケ画像生成部４２２によりボケ画像が生成され（Ｓ６）、更に輪郭線抽出部４２３によりボケ画像から撮像画像に含まれる輪郭線（パターン）が抽出される（Ｓ７）。 Subsequently, using the captured image (original image) captured by the imaging unit 3 in steps S5 to S9, No. 4 is used. The determination process of the presence / absence of one assembly part 7 and the presence or absence of a missing part is performed. That is, first, after the original image enhancement processing is performed by the image enhancement processing unit 421 (S5), a blurred image is generated by the blurred image generation unit 422 using this enhanced image (S6), and further the contour line An outline (pattern) included in the captured image is extracted from the blurred image by the extraction unit 423 (S7).
続いて、パターンマッチング処理部４２４によりＮｏ．１の組付部品７について設けられた１又は２以上の標準パターンに対する抽出パターンの一致率Ｒが算出され（Ｓ８）、この後、部品判定部４２５により各一致率Ｒについて第１閾値Ｒｔ１及び第２閾値Ｒｔ２との大小関係を判別することにより、Ｎｏ．１の組付部品７に対する部品の正誤及び欠品の有無が判定される（Ｓ９）。この判定結果は、ＲＡＭに一時保存される。 Subsequently, the pattern matching processing unit 424 performs No. The match rate R of the extracted pattern with respect to one or more standard patterns provided for one assembly component 7 is calculated (S8), and thereafter, the component determination unit 425 sets the first threshold value Rt1 and the first threshold Rt1 for each match rate R. 2 by determining the magnitude relationship with the threshold value Rt2. It is determined whether or not there is a component error or missing item for one assembled component 7 (S9). This determination result is temporarily stored in the RAM.
続いて、カウンタｎが１だけ増加された後（Ｓ１１）、そのカウンタ値ｎがエンジン６の検査数Ｎを超えているか否かが判別される（Ｓ１２）。なお、検査数ＮはＩＤ番号に対応して設定されており、ステップＳ２のＩＤ番号の読込みにより知ることができる。ステップＳ１２で、ｎ≦Ｎであれば、Ｎｏ．ｎの組付部品７について判定処理をするべくステップＳ４に戻る。そして、上述した判定方法と同様の方法でＮｏ．ｎの組付部品７について判定処理が行われ、以下同様の方法でＮｏ．Ｎの組付部品７まで判定処理が終了すると、ステップＳ１１でｎ＞Ｎとなるから、ステップＳ１２に移行し、Ｎ個の組付部品７の判定結果がエンジン６の検査結果として、例えば図１０に示す表示態様で入力表示装置５に表示された後、ワークが搬出され（Ｓ１４）、検査処理は終了する。 Subsequently, after the counter n is incremented by 1 (S11), it is determined whether or not the counter value n exceeds the inspection number N of the engine 6 (S12). The inspection number N is set corresponding to the ID number, and can be known by reading the ID number in step S2. If n ≦ N in step S12, No. The process returns to step S4 to perform the determination process for the n assembled parts 7. And it is No. by the method similar to the determination method mentioned above. n, the determination process is performed on the assembled parts 7, and the same method is used for No. 5 below. When the determination process is completed up to N assembly parts 7, since n> N in step S11, the process proceeds to step S12, and the determination results of the N assembly parts 7 are obtained as the inspection results of the engine 6, for example, FIG. After being displayed on the input display device 5 in the display mode shown in (1), the work is carried out (S14), and the inspection process ends.
なお、図１０に示す表示態様は、全ての判定対象の組付部品７に対して「ＯＫ」、「ＮＧ」及び「検査シナイ」の表示窓を設け、各組付部品７の判定結果に対応する表示窓を点灯させるようにしたものである。「総合ＯＫ」及び「総合ＮＧ」の表示は、全体的な検査結果を表示するものであり、「ＩＤ読取ＯＫ」、「ＩＤ読取ＮＧ」は検査処理プロセスにおけるエンジン６のＩＤ読取処理の正否を表示するものである。「総合ＮＧ」が点灯された場合は、組付部品７のいずれかで「ＮＧ」が点灯されるか、「ＩＤ読取ＮＧ」が点灯されることによりＮＧの原因が分るようになっている。 In addition, the display mode shown in FIG. 10 is provided with “OK”, “NG” and “inspection” display windows for all the assembly parts 7 to be judged, and corresponds to the judgment results of the respective assembly parts 7. The display window to be turned on is turned on. “Total OK” and “Total NG” display indicate the overall inspection result, and “ID reading OK” and “ID reading NG” indicate whether the ID reading process of the engine 6 in the inspection process is correct or not. To display. When “Comprehensive NG” is turned on, “NG” is turned on in any of the assembled parts 7 or “ID reading NG” is turned on so that the cause of NG can be understood. .
上記のように、誤欠品検査装置１は、組付部品７の撮像画像から抽出した画像のパターンを、ＩＤ番号で特定された部品の標準パターンだけでなく、他の種類の標準パターンの全てに対して一致率Ｒを算出し、標準パターン毎に一致率Ｒが所定の閾値Ｒｔ１，Ｒｔ２以上であるか否かにより正誤、欠品の有無を判定した後、これらの判定結果から総合的な検査結果を決定するので、形状の類似する他の部品７を正しい部品であると誤判定したり、逆に正しい部品７を誤品であると誤判定することが低減でき、信頼性の高い組付部品７の検査を行うことができる。 As described above, the erroneous product inspection apparatus 1 uses not only the standard pattern of the part specified by the ID number but also all other types of standard patterns as the pattern of the image extracted from the captured image of the assembled part 7. The matching rate R is calculated for each standard pattern, and whether the matching rate R is greater than or equal to a predetermined threshold value Rt1, Rt2 is determined for each standard pattern. Since the inspection result is determined, it is possible to reduce misjudgment of other parts 7 having similar shapes as correct parts, and conversely, correct parts 7 as incorrect parts can be reduced. The accessory part 7 can be inspected.
１ 誤欠品検査装置
２ ロボット
３ 撮像ユニット
３１ 撮像部
３１ａ カラー撮像部
３１ｂ，３１ｃ モノクロ撮像部
３２ 照明部
３２ａ〜３２ｅ 投光部
４ 制御装置
４１ ロボット制御部
４２ 誤欠品検査部
４２１ 画像強調部
４２２ ボケ画像作成部
４２３ 輪郭線抽出部
４２４ パターンマッチング処理部（演算手段）
４２５ 部品判定部（検査手段）
４２６ 標準パターン記憶部（記憶手段）
５ 入出力表示装置
６ エンジン（ワーク）
７ 部品
DESCRIPTION OF SYMBOLS 1 Error | missing missing goods inspection apparatus 2 Robot 3 Imaging unit 31 Imaging part 31a Color imaging part 31b, 31c Monochrome imaging part 32 Illumination part 32a-32e Light projection part 4 Control apparatus 41 Robot control part 42 Error missing part inspection part 421 Image enhancement part 422 Blurred image creation unit 423 Contour line extraction unit 424 Pattern matching processing unit (calculation means)
425 Component determination unit (inspection means)
426 Standard pattern storage unit (storage means)
5 Input / output display device 6 Engine (work)
7 parts
Claims (2)
上記部品毎に複数種類の標準パターンを記憶する記憶手段と、
上記抽出パターンを、上記記憶手段に記憶された撮像対象の部品に対する全ての標準パターンと照合し、標準パターン毎にパターンの一致率を演算する演算手段と、
上記演算手段で演算されたパターンの一致率に基づいて、上記部品の正誤等の検査を行う検査手段と、
を備えたことを特徴とする誤欠品検査装置。 In the erroneous part inspection device that inspects the correctness of the above parts by extracting the contour line pattern from the captured image of the part assembled on the workpiece and comparing the extracted pattern with a standard pattern prepared in advance.
Storage means for storing a plurality of types of standard patterns for each component;
A calculation unit that compares the extracted pattern with all standard patterns for the imaging target component stored in the storage unit, and calculates a pattern matching rate for each standard pattern;
Based on the pattern coincidence rate calculated by the calculation means, inspection means for checking the correctness of the parts, etc.,
A device for inspecting an erroneous product, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003388798A JP4382447B2 (en) | 2003-11-19 | 2003-11-19 | Missing item inspection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003388798A JP4382447B2 (en) | 2003-11-19 | 2003-11-19 | Missing item inspection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005147974A true JP2005147974A (en) | 2005-06-09 |
| JP4382447B2 JP4382447B2 (en) | 2009-12-16 |
Family
ID=34695732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003388798A Expired - Fee Related JP4382447B2 (en) | 2003-11-19 | 2003-11-19 | Missing item inspection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4382447B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007023565A1 (en) * | 2005-08-26 | 2007-03-01 | Beyond It Co., Ltd. | Image diagnosis data sampling system and image diagnosis data sampling method |
| JP2008249413A (en) * | 2007-03-29 | 2008-10-16 | Fujinon Corp | Defect detection method and device |
| JP2011117848A (en) * | 2009-12-03 | 2011-06-16 | Samsung Led Co Ltd | Led inspection device and led inspection method |
| JP2013047648A (en) * | 2011-08-29 | 2013-03-07 | Fujitsu Peripherals Ltd | Inspection apparatus, inspection method and inspection program |
| JP2013145422A (en) * | 2012-01-13 | 2013-07-25 | Panasonic Corp | Setting method of work detection system and work detection system using the same |
| JP2017144498A (en) * | 2016-02-15 | 2017-08-24 | キヤノン株式会社 | Information processor, control method of information processor, and program |
| CN110544640A (en) * | 2018-05-28 | 2019-12-06 | 长鑫存储技术有限公司 | method and apparatus for inspecting semiconductor substrate |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109115461B (en) * | 2018-05-26 | 2020-11-06 | 诸暨良嘉环保科技咨询有限公司 | Method for instantly detecting equipment missing condition |
-
2003
- 2003-11-19 JP JP2003388798A patent/JP4382447B2/en not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007023565A1 (en) * | 2005-08-26 | 2007-03-01 | Beyond It Co., Ltd. | Image diagnosis data sampling system and image diagnosis data sampling method |
| JP2008249413A (en) * | 2007-03-29 | 2008-10-16 | Fujinon Corp | Defect detection method and device |
| JP2011117848A (en) * | 2009-12-03 | 2011-06-16 | Samsung Led Co Ltd | Led inspection device and led inspection method |
| JP2013047648A (en) * | 2011-08-29 | 2013-03-07 | Fujitsu Peripherals Ltd | Inspection apparatus, inspection method and inspection program |
| JP2013145422A (en) * | 2012-01-13 | 2013-07-25 | Panasonic Corp | Setting method of work detection system and work detection system using the same |
| JP2017144498A (en) * | 2016-02-15 | 2017-08-24 | キヤノン株式会社 | Information processor, control method of information processor, and program |
| CN110544640A (en) * | 2018-05-28 | 2019-12-06 | 长鑫存储技术有限公司 | method and apparatus for inspecting semiconductor substrate |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4382447B2 (en) | 2009-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI626440B (en) | Defect detection apparatus, defect detection method and program product | |
| JPWO2007074770A1 (en) | Defect inspection equipment that performs defect inspection by image analysis | |
| US7355692B2 (en) | System and method for inspecting electrical circuits utilizing reflective and fluorescent imagery | |
| JPH1019731A (en) | Method for inspecting display screen | |
| JP4382447B2 (en) | Missing item inspection device | |
| CN115908420A (en) | Method, device and equipment for detecting defects of printed circuit board and storage medium | |
| JP3996568B2 (en) | Image processing method, error missing item inspection method, image processing apparatus, and error missing item inspection apparatus | |
| CN117475233A (en) | Method, device, equipment and computer storage medium for detecting abnormal state of gland | |
| CN114689605A (en) | Display screen detection method, device, equipment and medium based on machine vision | |
| CN111460198A (en) | Method and device for auditing picture timestamp | |
| CN115984197A (en) | Defect detection method based on standard PCB image and related device | |
| JP4423130B2 (en) | Printed circuit board visual inspection method, printed circuit board visual inspection program, and printed circuit board visual inspection apparatus | |
| US11080860B2 (en) | Image inspection method | |
| JP4403036B2 (en) | Soot detection method and apparatus | |
| JP2002008029A (en) | Image inspection device | |
| KR101126759B1 (en) | Method of teaching for electronic parts information in chip mounter | |
| CN114913987A (en) | Detection method | |
| JPH0735699A (en) | Method and apparatus for detecting surface defect | |
| JP2006284543A (en) | Method and device for inspecting mounted circuit board | |
| JPH10163283A (en) | Method for aligning lsi image | |
| JP5778685B2 (en) | System and method for alignment and inspection of ball grid array devices | |
| JPH08202014A (en) | Plate inspecting device | |
| JP2004310396A (en) | Image processing apparatus | |
| CN113989418A (en) | Method and device for adding tolerance to image assertion in page automation test | |
| US20170200383A1 (en) | Automated review of forms through augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060530 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090727 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090915 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090917 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141002 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |