JP2004198403A - Inspection device for painting face - Google Patents

Inspection device for painting face Download PDF

Info

Publication number
JP2004198403A
JP2004198403A JP2003360583A JP2003360583A JP2004198403A JP 2004198403 A JP2004198403 A JP 2004198403A JP 2003360583 A JP2003360583 A JP 2003360583A JP 2003360583 A JP2003360583 A JP 2003360583A JP 2004198403 A JP2004198403 A JP 2004198403A
Authority
JP
Japan
Prior art keywords
area
bright
region
dark
painted surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003360583A
Other languages
Japanese (ja)
Other versions
JP4017585B2 (en
Inventor
Mari Iwata
真理 岩田
Mamoru Sakagami
護 坂上
Chie Ishikawa
千恵 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daihatsu Motor Co Ltd
Original Assignee
Daihatsu Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daihatsu Motor Co Ltd filed Critical Daihatsu Motor Co Ltd
Priority to JP2003360583A priority Critical patent/JP4017585B2/en
Publication of JP2004198403A publication Critical patent/JP2004198403A/en
Application granted granted Critical
Publication of JP4017585B2 publication Critical patent/JP4017585B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To enhance inspection precision (inspection precision for a protrusion and a recess on a painting surface) on the painting surface. <P>SOLUTION: An irradiation device 3 is constituted of bright portions comprising head parts of a plurality of independent light emitting diodes 6 dispersion-arranged along two-dimensional directions comprising the first direction and the second direction crossed with the first direction, and a dark portion 5 other than the plurality of bright portions, and the painting surface is imaged under the condition where inspection light is emitted from the irradiation device, so as to extract a defect. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

本発明は、塗装面の表面状態を検査する塗装面の検査装置に関し、さらに詳細には、所定の明暗分布を成す検査光を塗装面に向けて照射する照射手段と、前記検査光を受けた塗装面を撮像する撮像手段と、撮像手段により撮像される撮像画像を画像処理する画像処理手段とを備えた塗装面の検査装置に関する。   The present invention relates to a painted surface inspection apparatus for inspecting the surface condition of a painted surface, and more particularly, an irradiation unit for irradiating a painted surface with inspection light having a predetermined brightness distribution, and receiving the inspection light. The present invention relates to a painted surface inspection apparatus that includes an imaging unit that captures an image of a painted surface, and an image processing unit that performs image processing on an image captured by the imaging unit.

例えば自動車ボディの塗装面を検査する検査装置として、特許文献1及び2に開示されているように、所定幅の並列スリット(特許文献1の図1及び図2中の3,2c)を塗装面に対向するように配置し、この並列スリットを通過する検査光を照射手段(特許文献1の図2中の2a)から塗装面に照射し、撮像手段(特許文献1の図1中の5)により照射状態にある塗装面を撮像して、得られる撮像画像から塗装面の検査を行う検査装置がある。
この種の検査装置にあっては、撮像装置本体側に、マイコン等からなる画像処理手段が備えられ、撮像される塗装面の撮像画像を画像処理して、塗装面上に存在する可能性がある欠陥等の撮像領域を注目領域として抽出する。
For example, as disclosed in Patent Documents 1 and 2, a parallel slit having a predetermined width (3, 2c in FIGS. 1 and 2 of Patent Document 1) is used as an inspection device for inspecting a painted surface of an automobile body. The inspection light passing through the parallel slits is radiated from the irradiating means (2a in FIG. 2 of Patent Document 1) to the painted surface, and the image pickup means (5 in FIG. 1 of Patent Document 1) There is an inspection apparatus that takes an image of a painted surface in an irradiation state and inspects the painted surface from an obtained captured image.
In an inspection apparatus of this type, an image processing unit including a microcomputer or the like is provided on the imaging apparatus main body side. The image processing is performed on an image of a painted surface to be imaged, and there is a possibility that the image is present on the painted surface. An imaging region such as a certain defect is extracted as a region of interest.

特開平8−145906号公報(図1及び図2)JP-A-8-145906 (FIGS. 1 and 2) 特開平9−126744号公報(図1,3,4,5)JP-A-9-126744 (FIGS. 1, 3, 4, and 5)

塗装面の欠陥としては、塗装面の凸部や凹部等がある。
上記のようなストライプ状の検査光を使用して、この種の凸部や凹部の検出を行う場合、欠陥画像が、例えば、撮像画像内に存する暗ストライプ内に中間階調の閉領域として映り込む。
Defects on the painted surface include convex portions and concave portions on the painted surface.
When detecting such projections and depressions using the above-described inspection light in the form of a stripe, the defect image is reflected as a closed region of an intermediate gradation in a dark stripe existing in the captured image, for example. Put in.

特許文献1及び2に開示の技術では、所定幅を備えたストライプ状の検査光を使用しているので、照射側の明部分に対応する高輝度の部分と暗部分に対応する低輝度の部分との境界は、1本の直線状となる。
これにより、ストライプと直交する横断方向では、明部分に対応する高輝度の部分と暗部分に対応する低輝度の部分との境界が、所定間隔を置いて存在する状態であるのに対して、ストライプと平行な縦方向では、明部分に対応する高輝度の部分と暗部分に対応する低輝度の部分との境界が存在しない。
In the techniques disclosed in Patent Literatures 1 and 2, since a stripe-shaped inspection light having a predetermined width is used, a high-luminance portion corresponding to a bright portion on the irradiation side and a low-luminance portion corresponding to a dark portion are used. Is a single straight line.
Thereby, in the transverse direction orthogonal to the stripe, the boundary between the high-luminance portion corresponding to the bright portion and the low-luminance portion corresponding to the dark portion is in a state in which the boundary exists at a predetermined interval, In the vertical direction parallel to the stripe, there is no boundary between a high luminance portion corresponding to a bright portion and a low luminance portion corresponding to a dark portion.

結果、欠陥形状等によっては、例えば、暗ストライプの対向位置に、このストライプ幅相当、あるいはそれ以下の欠陥があったとしても、暗ストライプの横断方向両側の明ストライプ部位からの映り込みが発生しない場合、即ち、ストライプと平行な方向でしか映り込みしか発生しない場合は、この欠陥を明暗パターンとして識別することができず、塗装面の凸部や凹部等が見落とされる場合がある。
本発明は塗装面の検査装置において、この種の見落としの確率を極度に低減するとともに、比較的小型の欠陥であっても、これを検出することができる塗装面の検査装置を得ることを目的としている。
As a result, depending on the defect shape and the like, for example, even if there is a defect equivalent to or less than the stripe width at a position facing the dark stripe, reflection from the bright stripe portion on both sides in the transverse direction of the dark stripe does not occur. In this case, that is, when reflection occurs only in a direction parallel to the stripe, this defect cannot be identified as a light and dark pattern, and a projection or a depression on the painted surface may be overlooked.
An object of the present invention is to provide a coating surface inspection apparatus capable of extremely reducing the probability of this kind of oversight and detecting a relatively small defect even if the defect is relatively small. And

[I]
請求項1の特徴によると、照射手段に於ける照射面での明暗分布が、第1方向とこの第1方向と交差する第2方向とからなる2次元方向に分散配置された複数の独立した明部分と、複数の明部分以外の暗部分とから構成され、
正常な塗装面を撮像した状態における撮像画像を正常撮像画像とする場合に、前記正常撮像画像における前記明部分に対応する撮像領域を正常明撮像領域と、前記暗部分に対応する撮像領域を正常暗撮像領域として、前記正常明撮像領域と正常暗撮像領域との中間階調領域を、注目領域として抽出する構成を有している。
[I]
According to the feature of the first aspect, the light and dark distribution on the irradiation surface of the irradiation means is distributed in a two-dimensional direction consisting of a first direction and a second direction intersecting the first direction. It is composed of a light part and a plurality of dark parts other than the light part,
When a captured image in a state where a normal painted surface is captured is set as a normal captured image, an imaging region corresponding to the bright portion in the normal captured image is a normal bright imaging region, and an imaging region corresponding to the dark portion is normal. As a dark imaging region, a configuration is provided in which a halftone region between the normal bright imaging region and the normal dark imaging region is extracted as a region of interest.

これにより、請求項1の特徴によると、明部分に対応する高輝度の部分と暗部分に対応する低輝度の部分との境界が、1本の直線状ではなく、一つの閉じたループ状になっており(例えば円状や多角形状)、明部分に対応する高輝度の部分と暗部分に対応する低輝度の部分との境界が、第1方向及び第1方向と交差する第2方向に配置される状態となる。
従って、請求項1の特徴によると、明部分に対応する高輝度の部分と暗部分に対応する低輝度の部分との境界が、一つの方向では存在するが別の方向では存在しないと言うような状態ではないので、本願にいう、欠陥起因の中間輝度部分を確実に形成でき、塗装面に存在する凸部や凹部等が見落とされ易い状態にはならない。結果、格段に検査の信頼性が高くなる。
さらに、明暗分布を細かな分布として容易に形成できるため、本願にいう明部分周りに存する暗部分からの暗光の映り込み、暗部分周りに存する明部分からの明光の映り込みの機会が格段に増加し、結果的に、これまで検出することが困難であった微小欠陥をも検出することが可能となった。
Thus, according to the features of the first aspect, the boundary between the high-brightness portion corresponding to the bright portion and the low-brightness portion corresponding to the dark portion is not a single linear shape but a single closed loop shape. (For example, circular or polygonal), and a boundary between a high-luminance portion corresponding to a bright portion and a low-luminance portion corresponding to a dark portion corresponds to a first direction and a second direction intersecting the first direction. It will be in the state of being arranged.
Therefore, according to the features of claim 1, it can be said that a boundary between a high-luminance portion corresponding to a bright portion and a low-luminance portion corresponding to a dark portion exists in one direction but does not exist in another direction. In this case, the intermediate luminance portion caused by the defect can be surely formed, and a convex portion, a concave portion, and the like existing on the painted surface are not easily overlooked. As a result, the reliability of the inspection is significantly improved.
Further, since the light-dark distribution can be easily formed as a fine distribution, the opportunity of reflection of dark light from a dark portion existing around the bright portion and reflection of bright light from the bright portion existing around the dark portion in the present application is remarkable. As a result, it has become possible to detect even minute defects that have been difficult to detect.

[II]
さらに、請求項2に記載されているように、前記複数の独立した明部分の形状が全て同一とされるとともに、前記明部分が、前記2次元方向に均等分散配置されてなり、
前記撮像画像において、前記独立した明部分に対応する撮像領域である明撮像領域と、当該明撮像領域の周りの暗撮像領域とを合わせて単位判別領域として、
各単位判別領域に対応する塗装面の正常・異常を、単位判別領域の撮像明暗パターンにより判別する判別手段を備えることが好ましい。
[II]
Further, as described in claim 2, the shapes of the plurality of independent bright portions are all the same, and the bright portions are uniformly distributed in the two-dimensional direction,
In the captured image, a bright imaging region that is an imaging region corresponding to the independent bright portion, and a dark imaging region around the bright imaging region as a unit determination region,
It is preferable to include a discriminating means for discriminating the normality / abnormality of the painted surface corresponding to each unit discrimination area from the imaged light / dark pattern of the unit discrimination area.

このように単位判別領域を別途設定しながら、その部位の正常・異常を判別する判別手段を備えることで、撮像領域内に、所定の分割領域を個々に設定していって、その領域内での荒い判別を一旦実行し、欠陥が存在する可能性が高い領域を、先ず抽出することができる。   By separately providing a unit determination area and providing a determination unit for determining whether the part is normal or abnormal, a predetermined divided area is individually set within the imaging area, and the area is determined within the area. , A region having a high possibility of having a defect can be extracted first.

[III]
そして、請求項3に記載されているように、前記判別手段による前記単位判別領域毎の正常・異常判断を実行した後、
異常と判断された前記単位判別領域について、前記中間階調領域を注目領域として抽出するようにすると、注目領域の抽出を迅速に、且つ、欠陥のあるらしい領域に関しては、詳細な判定基準に基づいて実行することができる。
そして、この場合は、判別手段における判別と、抽出処理が2重に行われることとなるため、信頼性が格段に高くなる。
[III]
Then, as described in claim 3, after executing the normal / abnormal judgment for each of the unit judgment areas by the judgment means,
By extracting the intermediate gradation area as a region of interest for the unit determination region determined to be abnormal, the region of interest can be quickly extracted and a region likely to be defective is determined based on detailed determination criteria. Can be executed.
In this case, the determination by the determination means and the extraction process are performed twice, so that the reliability is significantly improved.

[IV]
請求項4の特徴によると、明部分を円状に設定しており、明部分に対応する高輝度の部分と暗部分に対応する低輝度の部分との境界が、円状になっているので、多角形状の角部の位置及び辺部の位置で塗装面の凸部や凹部等の検出特性が異なると言うような状態は生じない。
[IV]
According to the feature of claim 4, the bright portion is set in a circular shape, and the boundary between the high-luminance portion corresponding to the bright portion and the low-luminance portion corresponding to the dark portion is circular. In addition, a state in which the detection characteristics of the convex portion, the concave portion, and the like of the painted surface differ depending on the positions of the corners and the sides of the polygonal shape does not occur.

[V]
請求項5の特徴によると、撮像手段が受けた撮像画像において明暗パターン境界が、明確であるほど(ニジミが少なく且つ乱れていない状態)、塗装面の検査精度(塗装面の凸部や凹部等の検出精度)が高いものとなる。
即ち、発光ダイオードにより明部分が設定されるように構成していることで、輝度が充分に高い明部分を形成でき、撮像側における明部分に対応する高輝度の領域と暗部分に対応する低輝度の領域との境界が明確になり(ニジミが少なく且つ乱れていない状態)、問題の目的に適合した信頼性の高い検出を行える。
[V]
According to the feature of claim 5, as the boundary of the light and dark pattern in the captured image received by the imaging means becomes clearer (in a state where bleeding is less and not disturbed), the inspection accuracy of the painted surface (such as a convex portion or a concave portion of the painted surface) Detection accuracy).
That is, by configuring the light portion by the light emitting diode, a bright portion having sufficiently high luminance can be formed, and a high brightness region corresponding to the bright portion and a low brightness corresponding to the dark portion on the imaging side are formed. The boundary between the luminance region and the luminance region becomes clear (in a state where blur is small and is not disturbed), and highly reliable detection suitable for the purpose of the problem can be performed.

[検査装置の使用状況]
図1は、本願の検査装置100を使用して、自動車のボディ1の塗装面の検査を行っている状態を示しており、塗装の終了したボディ1がコンベア2により紙面左方に搬送されてくる。
[Usage of inspection equipment]
FIG. 1 shows a state in which a painted surface of an automobile body 1 is inspected using the inspection apparatus 100 of the present application. The painted body 1 is conveyed by a conveyor 2 to the left in the drawing. come.

検査装置100は、その照射・撮像系として照射装置3、撮像装置4を備えるとともに、検査装置本体101に、検査装置全体の動作を制御するコントロールユニット7、撮像装置3により得られた撮像画像を画像処理する画像処理部8、及び、撮像画像、画像処理後の画像等を表示するためのモニター部10を備えて構成されている。   The inspection device 100 includes an irradiation device 3 and an imaging device 4 as its irradiation / imaging system, and a control unit 7 for controlling the operation of the entire inspection device, and a captured image obtained by the imaging device 3 The image processing apparatus includes an image processing unit 8 for performing image processing, and a monitor unit 10 for displaying a captured image, an image after image processing, and the like.

同図に示されるように、コンベア2に対し搬送上手側(図1の紙面右側)に照射装置3が配置され、コンベア2の搬送下手側(図1の紙面左側)に撮像装置4(例えばCCDカメラ等)が配置されて、塗装面の検査が実行される。   As shown in FIG. 1, an irradiation device 3 is disposed on the upper side of the conveyor 2 (on the right side in FIG. 1), and an imaging device 4 (for example, a CCD) is on the lower side of the conveyor 2 (on the left side in FIG. 1). A camera or the like is arranged, and the inspection of the painted surface is executed.

塗装面の検査装置100からは、情報処理の下手側に備えられるコンピュータ9に、塗装面の欠陥である可能性があるとして抽出される注目領域を、その属性データとともに、欠陥情報として出力する。コンピュータ9は入力されてくる欠陥情報に基づいて、再塗装等、必要な処理を別途、実行する。
一方、現状で、検査装置100が検査している塗装部位(検査部位)の位置情報が検査装置100側に入力されるように構成されており、検査装置側で、塗装が正常な場合に、撮像装置3により得られるべき撮像画像(正常撮像画像と呼ぶ)が特定できるように構成されている。
The painted surface inspection apparatus 100 outputs, to the computer 9 provided on the lower side of the information processing, a region of interest extracted as possibly having a painted surface defect as defect information together with its attribute data. The computer 9 separately performs necessary processing such as repainting based on the input defect information.
On the other hand, at present, the configuration is such that the position information of the coating part (inspection part) that is inspected by the inspection apparatus 100 is input to the inspection apparatus 100 side. It is configured such that a captured image to be obtained by the imaging device 3 (called a normal captured image) can be specified.

〔照射装置及び撮像装置〕
図1に示すように、コンベア2の搬送方向と直交する方向A0に対して、照射装置3及び撮像装置4が実質直交するように並べて配置されている。
即ち、照射装置3における照射面3a及び撮像装置4の撮像面4aは、実質的に塗装面に平行に配設されている。同図においては、図面表示を容易にするために、照射方向を傾けて示している。
[Irradiation device and imaging device]
As shown in FIG. 1, the irradiation device 3 and the imaging device 4 are arranged side by side so as to be substantially orthogonal to a direction A0 orthogonal to the transport direction of the conveyor 2.
That is, the irradiation surface 3a of the irradiation device 3 and the imaging surface 4a of the imaging device 4 are disposed substantially parallel to the painted surface. In the same drawing, the irradiation direction is shown inclined to facilitate the display of the drawing.

図2に示すように、照射装置3は外枠部5と、この外枠部5の内部に配置された発光ダイオード6を備えて構成されている。発光ダイオード6の先端形状は正面視で円状とされており、複数の発光ダイオード6が所定間隔を置いて上下方向及び、この上下方向と交差する左右方向に均等配置されている。ここで、発光ダイオード6の径は、3〜5mm程度である。従って、後の画像処理側の説明からも判明するように、この実施形態で検出可能な欠陥の大きさは、0.3mm〜3.0mm程度である。   As shown in FIG. 2, the irradiation device 3 includes an outer frame 5 and a light emitting diode 6 arranged inside the outer frame 5. The tip shape of the light emitting diode 6 is circular when viewed from the front, and a plurality of light emitting diodes 6 are arranged at predetermined intervals in the vertical direction and in the horizontal direction intersecting the vertical direction. Here, the diameter of the light emitting diode 6 is about 3 to 5 mm. Therefore, as will be clear from the description on the image processing side, the size of the defect that can be detected in this embodiment is about 0.3 mm to 3.0 mm.

それ以外の外枠部5は黒色に着色されている。即ち、発光ダイオード6の発光部である明部分が、黒板の暗部分内に縦横2方向で均等配置された構成とされている。   The other outer frame portion 5 is colored black. That is, the light portion, which is the light emitting portion of the light emitting diode 6, is arranged equally in two directions in the vertical and horizontal directions in the dark portion of the blackboard.

図1に示すように、撮像装置4はボディ1の塗装面を介して照明装置3の照射面3a(発光ダイオード6の頭部が露出している面)を撮像するように構成されている。本願における塗装面の検査においては、撮像装置4の焦点が照射装置3の照射面3aの位置に合わされて使用される。   As shown in FIG. 1, the imaging device 4 is configured to image the irradiation surface 3 a of the lighting device 3 (the surface where the head of the light emitting diode 6 is exposed) via the painted surface of the body 1. In the inspection of the painted surface in the present application, the focus of the imaging device 4 is adjusted to the position of the irradiation surface 3a of the irradiation device 3 before use.

撮像に当たって、その焦点を照射装置3の照射面3aに合わせるのは、例えば、前記発光ダイオード6の発光部である明部分を撮像する場合に、その周部の暗部分との境界を明確に識別することが可能となるからである。   In imaging, the focus is adjusted to the irradiation surface 3a of the irradiation device 3, for example, when an image is taken of a light portion which is a light emitting portion of the light emitting diode 6, a boundary between the light portion and the dark portion is clearly identified. This is because it becomes possible.

[撮像画像]
本願に係る塗装面の検査装置において、平面の塗装面では、一例として、撮像装置4が受けた撮像画像は、図3(イ)及び図4に示すようなものとなる。
この場合、明部分(発光ダイオード6)に対応する高輝度K1の領域(明撮像領域)C1、暗部分(外枠部5)に対応する低輝度K2の領域(暗撮像領域)C2が得られるのであり、塗装面の正常な部分では、明部分に対応する高輝度K1の領域(正常明撮像領域)C1が、照射側の形状をそのまま代表して円状となる。
塗装面に凹凸等の欠陥があると、その曲面形状の影響を受け、明部分に対応する高輝度K1の領域C3が、円状ではなく楕円状になるような状態になることがある。
図3、4に示す場合は、C3で示す歪んだ4つの明撮像領域の略中間位置に欠陥が存在する場合を示している。
[Captured image]
In the painted surface inspection apparatus according to the present invention, on a planar painted surface, as an example, a captured image received by the imaging device 4 is as shown in FIGS.
In this case, a high-luminance K1 region (bright imaging region) C1 corresponding to a bright portion (light-emitting diode 6) and a low-luminance K2 region (dark imaging region) C2 corresponding to a dark portion (outer frame portion 5) are obtained. In a normal portion of the painted surface, a region (normal bright imaging region) C1 of high luminance K1 corresponding to a bright portion has a circular shape as a representative of the shape on the irradiation side.
If the painted surface has a defect such as irregularities, the curved surface shape may affect the region C3 of the high brightness K1 corresponding to the bright portion, and the region C3 may become elliptical instead of circular.
3 and 4 show a case where a defect exists at a substantially middle position between the four distorted bright imaging regions indicated by C3.

塗装面の他の欠陥によっては、図5(イ)(ロ)に示すように塗装面の凸部や凹部等の部分で、明部分に対応する高輝度K1の領域C4が、中央に低い輝度の領域を備えたような状態になったり、図6(イ)(ロ)に示すように、暗部分に対応する低輝度K2の領域C2において、少し高い輝度の領域C5が生じたりするようなことがある。
図5(イ)(ロ)に示す例は、本来、単純な明撮像領域となるべき領域に対して、欠陥形状等の影響により、照射側の明部分周りの暗部分からの明撮像領域内への映り込みが発生し、C4で示すような中間階調領域が形成されたものである。
このような画像は、発光ダイオードの略中央、直対向位置に、発光ダイオード先端の大きさよりも僅かに小さい欠陥が存在する場合に形成される。
Depending on other defects of the painted surface, as shown in FIGS. 5 (a) and (b), in a portion such as a convex portion or a concave portion of the painted surface, a region C4 of high luminance K1 corresponding to a bright portion has a low luminance in the center. 6B or a slightly higher luminance area C5 in the low luminance K2 area C2 corresponding to the dark part as shown in FIGS. Sometimes.
In the example shown in FIGS. 5 (a) and 5 (b), the area that should be a simple bright imaging area is within the bright imaging area from the dark area around the illumination-side bright area due to the influence of the defect shape and the like. , And an intermediate gradation area as shown by C4 is formed.
Such an image is formed when a defect slightly smaller than the size of the tip of the light-emitting diode is present at a position substantially directly opposite the center of the light-emitting diode.

図6(イ)(ロ)に示す例は、(イ)においてC5で示す照射側暗部分に対応した位置に、同程度の大きさの欠陥がある場合である。この場合は、周りに存在する4つの明部分からの映り込みが発生する。従って、この場合も、問題となる領域は、中間階調領域となっている。   The example shown in FIGS. 6A and 6B is a case where there is a defect of approximately the same size at a position corresponding to the irradiation side dark portion indicated by C5 in FIG. In this case, reflections from four bright portions existing around the image occur. Therefore, also in this case, the problematic area is an intermediate gradation area.

以上のように塗装面の凸部や凹部等の欠陥部分によって、正常な塗装面との対応において撮像形態が異なるのは、塗装面の凸部や凹部等の部分の表面形状の違いにより、発光ダイオード6からの検査光が乱反射し、本願にいう映り込みが発生する為であると考えられる。   As described above, the imaging mode differs in correspondence with a normal painted surface due to a defective portion such as a convex portion or a concave portion of the painted surface. It is considered that the inspection light from the diode 6 is irregularly reflected, and the reflection referred to in the present application occurs.

この場合、撮像装置4の焦点が照射装置3の照射面3aの位置に合わされていることにより、図4,5(ロ),6(ロ)に示すように、明部分(発光ダイオード6)に対応する高輝度K1の領域C1と、暗部分(外枠部5)に対応する低輝度K2の領域C2との境界が明確になり、且つ明部分に対応する高輝度K1の領域C1の輝度が高いものになる(明部分(発光ダイオード6)に対応する高輝度K1の領域C1と、暗部分(外枠部5)に対応する低輝度K2の領域C2との輝度差が、大きなものとなる)。   In this case, since the focus of the imaging device 4 is set to the position of the irradiation surface 3a of the irradiation device 3, as shown in FIGS. The boundary between the corresponding high luminance K1 area C1 and the low luminance K2 area C2 corresponding to the dark part (outer frame part 5) becomes clear, and the luminance of the high luminance K1 area C1 corresponding to the bright part is reduced. The brightness difference between the high brightness K1 region C1 corresponding to the bright portion (light emitting diode 6) and the low brightness K2 region C2 corresponding to the dark portion (outer frame portion 5) becomes large. ).

即ち、明暗領域の識別を行う場合の境界をシャープなものとでき、さらに中間階調領域を形成する映り込みが発生する場合にあっても、映り込みの発生している画像領域の境界をシャープなものとできる。   That is, the boundary in the case of distinguishing between light and dark areas can be sharpened. Further, even when the reflection that forms the intermediate gradation area occurs, the boundary of the image area where the reflection occurs can be sharpened. It can be something.

以下、画像処理部8における画像処理に関して説明する。
本願にあっては、画像処理の形態として、第1、第2の画像処理形態を示す。図7(イ)に、本願における第1の画像処理形態の画像処理手順を、(ロ)に第2の画像処理形態の画像処理手順を示した。
第1の画像処理形態は、各々の画像処理を、撮像画像全体を処理対象領域として画一的に、順次、実行するものであり、第2の画像処理形態は、塗装色による全体画像の補正処理を実行した後、正常な塗装面を撮像した場合に得られる明部分に対応する撮像画像領域である正常明撮像領域周りの明暗パターンと、実際の撮像画像における明暗パターンとの比較をパターン認識手法で実行し、その部位の正常・異常の判別をし、その後、異常と判断された領域についてのみ、第1の画像処理形態の残余の処理を実行するものである。
Hereinafter, the image processing in the image processing unit 8 will be described.
In the present application, first and second image processing modes are shown as image processing modes. FIG. 7A shows an image processing procedure of the first image processing mode in the present application, and FIG. 7B shows an image processing procedure of the second image processing mode.
In the first image processing mode, each image processing is executed uniformly and sequentially using the entire captured image as a processing target area. In the second image processing mode, the entire image is corrected by a paint color. After performing the processing, pattern recognition is performed to compare the light and dark pattern around the normal light and dark image area, which is the image area corresponding to the light area obtained when the normal painted surface is imaged, with the light and dark pattern in the actual image. The method is used to determine whether the part is normal or abnormal, and thereafter, the remaining processing of the first image processing mode is executed only for the area determined to be abnormal.

〔第1の画像処理形態〕
この画像処理形態では、図7(イ)に示すように、塗装色による補正処理(#2)を実行した後、3値化処理(#3)、正常な塗装面に対応する画像領域の排除処理(#4、5)をおこない、最終注目領域を特定、抽出し、後処理(#6:面積判定処理、ラベリング処理、面積・重心計算処理)を実行し、コンピュータ9側への出力(#7)を実行する。
この目的から、図1に示すように、画像処理部8内には、塗装色による補正手段8a、3値化手段8b、排除手段8c及び後処理手段8dが備えられている。
[First image processing mode]
In this image processing mode, as shown in FIG. 7A, after performing a correction process (# 2) based on a paint color, a ternarization process (# 3) and elimination of an image area corresponding to a normal paint surface. The processing (# 4, 5) is performed to specify and extract the final region of interest, perform post-processing (# 6: area determination processing, labeling processing, area / centroid calculation processing), and output to the computer 9 side (# Execute 7).
For this purpose, as shown in FIG. 1, the image processing section 8 is provided with a correction means 8a, a ternarization means 8b, an exclusion means 8c, and a post-processing means 8d based on a paint color.

以下、画像処理装置8による画像処理の状況に関して、第1の画像処理を図3、5、6を使用して説明する。本願の処理の理解を容易にするために、塗装処理による補正処理に関しては、3値化処理、排除処理等を説明した後に説明する。   Hereinafter, the first image processing will be described with reference to FIGS. In order to facilitate understanding of the processing of the present application, the correction processing by the coating processing will be described after the ternary processing, the elimination processing, and the like are described.

a 塗装面が平面である場合の処理状況
イ 3値化処理(3値化手段8bによる処理)
図3(イ)に示す撮像画像は画像処理装置8により3値化処理されて、明部分(発光ダイオード6)に対応する高輝度K1の領域C1、暗部分(外枠部5)に対応する低輝度K2の領域C2、及び、高輝度K1と低輝度K2との間の中間輝度の領域C6に分けられる。
a Processing status when the painted surface is flat A. Ternary processing (processing by the ternary means 8b)
The captured image shown in FIG. 3A is ternarized by the image processing device 8 and corresponds to a region C1 of high luminance K1 corresponding to a bright portion (light emitting diode 6) and a dark portion (outer frame portion 5). It is divided into a region C2 of low luminance K2 and a region C6 of intermediate luminance between high luminance K1 and low luminance K2.

ロ 排除処理(排除手段8cによる処理)
引き続いて、明部分(発光ダイオード6)に対応する高輝度K1の領域C1、及び暗部分(外枠部5)に対応する低輝度K2の領域が除かれる。これにより、図3(ロ)に示すように、中間輝度の領域C6と、明部分(発光ダイオード6)に対応する高輝度K1の領域C1と暗部分(外枠部5)に対応する低輝度K2の領域C2との境界C7が残る。
さらに、上記手順で得られた処理済画像に対して、所謂、膨張・収縮処理を施す。塗装面の検査において抽出したい領域である、前述の境界C7は中間階調の領域C6に比べて微小なので、前述の後に膨張及び収縮処理を数回行うと、図3(ハ)に示すように前述の境界C7が消えて、中間階調の領域C6が残る。
この処理は、実質的には塗装が正常な撮像画像部位を除去していることとなる。
この中間階調の領域C6をボディ1の塗装面の凸部や凹部等であると識別でき、注目領域とすることができる。
(B) exclusion processing (processing by the exclusion means 8c)
Subsequently, a region C1 of high luminance K1 corresponding to a bright portion (light emitting diode 6) and a region of low luminance K2 corresponding to a dark portion (outer frame portion 5) are removed. As a result, as shown in FIG. 3B, a region C6 of intermediate luminance, a region C1 of high luminance K1 corresponding to a bright portion (light emitting diode 6) and a low luminance corresponding to a dark portion (outer frame portion 5). The boundary C7 between the region K2 and the region K2 of K2 remains.
Further, a so-called expansion / contraction process is performed on the processed image obtained by the above procedure. Since the boundary C7, which is an area to be extracted in the inspection of the painted surface, is smaller than the intermediate gradation area C6, if the expansion and contraction processing is performed several times after the above, as shown in FIG. The above-mentioned boundary C7 disappears, and a region C6 of an intermediate gradation remains.
In this process, the captured image portion where painting is normally performed is substantially removed.
The intermediate gradation area C6 can be identified as a convex portion, a concave portion, or the like of the painted surface of the body 1, and can be set as a region of interest.

ハ 後処理(後処理手段8dによる処理)
これにより、残された中間輝度の領域C6に関して、面積判定処理、ラベリング処理、面積及び重心計算処理を行う。
ここで、面積判定とは、領域の面積に対応して、欠陥であるらしい確かさを所定の閾値に基づいて判断するものであり、ラベリングは、欠陥であるらしいとされた領域に関して、順に番号付け等を実行するものである。
さらに、面積・重心計算処理は、各々の領域について、その面積・重心位置を求めるものであり、これら後処理により得られたデータが、前述のコンピュータ9側へ出力される。
C Post-processing (processing by post-processing means 8d)
As a result, the area determination processing, the labeling processing, and the area and center-of-gravity calculation processing are performed on the remaining intermediate luminance area C6.
Here, the area determination is to determine the likelihood of a defect based on a predetermined threshold value in accordance with the area of the region, and the labeling is sequentially performed with respect to the region considered to be a defect. And the like.
Further, the area / center-of-gravity calculation processing is for obtaining the area / center-of-gravity position of each region, and data obtained by these post-processing is output to the computer 9 described above.

b 塗装面が曲面である場合の処理
塗装面が曲面である場合も、画像処理手順は、平面に対する処理と変わるところはない。
平面の塗装面に対して、図8に示すように上下方向の軸芯を中心線とした曲面の塗装面では、撮像装置4が受けた撮像画像は、図9(イ)に示すようなものとなる。ここで、C1部位が左上方向から右下方向に、順次移動しているのは、塗装面がボディーのデザインに合わせた所定の形状を有しているためである(ただし、図8及び図10では、詳細な形状表示は省略している)。
画像処理に際しては、前述と同様に、3値化処理により、撮像画像が、明部分(発光ダイオード6)に対応する高輝度K1の領域C1、暗部分(外枠部5)に対応する低輝度K2の領域C2、高輝度K1と低輝度K2との間の中間輝度の領域C6とに識別される。
b. Processing when the painted surface is a curved surface Even when the painted surface is a curved surface, the image processing procedure is the same as the processing for a flat surface.
With respect to a flat painted surface, as shown in FIG. 8, on a curved painted surface having a vertical axis as a center line, a captured image received by the imaging device 4 is as shown in FIG. It becomes. Here, the reason why the C1 portion is sequentially moving from the upper left direction to the lower right direction is that the painted surface has a predetermined shape in accordance with the design of the body (however, FIGS. 8 and 10). Then, detailed shape display is omitted).
At the time of the image processing, the captured image is subjected to the ternarization processing so that the captured image has a high luminance K1 region C1 corresponding to a bright portion (light emitting diode 6) and a low luminance corresponding to a dark portion (outer frame portion 5). An area C2 of K2 and an area C6 of intermediate luminance between the high luminance K1 and the low luminance K2 are identified.

さらに、明部分に対応する高輝度K1の領域C1、及び暗部分に対応する低輝度K2の領域C2が除かれる。結果、図9(ロ)に示す処理画像を得ることができる。
この後、膨張及び収縮処理が数回行われて、明部分に対応する高輝度K1の領域C1と暗部分に対応する低輝度K2の領域C2との境界C7が除去されて、図9(ハ)に示すように、中間輝度の領域C6が残される。結果、中間輝度の領域C6をボディ1の塗装面の凸部や凹部等と判断することができる。
残された中間輝度の領域C6を注目領域として、面積判定処理、ラベリング処理、面積及び重心計算処理が行われ、コンピュータ9側に出力される。
Further, a region C1 of high luminance K1 corresponding to a bright portion and a region C2 of low luminance K2 corresponding to a dark portion are excluded. As a result, a processed image shown in FIG. 9B can be obtained.
Thereafter, expansion and contraction processes are performed several times to remove the boundary C7 between the high-luminance K1 region C1 corresponding to the bright portion and the low-luminance K2 region C2 corresponding to the dark portion. ), An area C6 of intermediate luminance is left. As a result, it is possible to determine the region C6 of the intermediate luminance as a convex portion, a concave portion, or the like of the painted surface of the body 1.
The remaining intermediate luminance area C6 is set as a target area, area determination processing, labeling processing, area and centroid calculation processing are performed, and the result is output to the computer 9 side.

一方、図10に示すように、前後方向の軸芯を中心線とした曲面の塗装面では、撮像装置4が受けた撮像画像は、図11(イ)に示すようなものとなる。
従って、撮像データが画像処理装置8により処理されて、明部分に対応する高輝度K1の領域C1、暗部分に対応する低輝度K2の領域C2、高輝度K1と低輝度K2との間の中間輝度の領域C6が分離される。
On the other hand, as shown in FIG. 10, on a curved painted surface whose center line is the axis in the front-rear direction, the captured image received by the imaging device 4 is as shown in FIG.
Accordingly, the image data is processed by the image processing device 8, and the area C1 of the high luminance K1 corresponding to the bright part, the area C2 of the low luminance K2 corresponding to the dark part, and the intermediate between the high luminance K1 and the low luminance K2. The luminance area C6 is separated.

その後、明部分に対応する高輝度K1の領域C1、及び暗部分に対応する低輝度K2の領域C2が除かれ、図11(ロ)に示す処理画像を得ることができる。
引き続いて、膨張及び収縮処理が数回行われて、明部分に対応する高輝度K1の領域C1と暗部分に対応する低輝度K2の領域C2との境界領域C7が消えて、中間輝度の部分C6が残るのであり、図11(ハ)に示すように、中間輝度の部分C6をボディ1の塗装面の凸部や凹部等と判断することができる。
これにより、残された中間輝度の領域C6に対して、面積判定処理、ラベリング処理、面積及び重心計算処理が行われ、コンピュータ9側に出力される。
Thereafter, the region C1 of the high luminance K1 corresponding to the bright portion and the region C2 of the low luminance K2 corresponding to the dark portion are removed, and the processed image shown in FIG. 11B can be obtained.
Subsequently, the expansion and contraction processing is performed several times, and the boundary area C7 between the area C1 of the high luminance K1 corresponding to the bright part and the area C2 of the low luminance K2 corresponding to the dark part disappears, and the part of the intermediate luminance disappears. C6 remains, and as shown in FIG. 11C, the portion C6 of the intermediate luminance can be determined as a convex portion, a concave portion, or the like of the painted surface of the body 1.
Thus, the area determination processing, labeling processing, area and center-of-gravity calculation processing are performed on the remaining intermediate luminance area C6, and the result is output to the computer 9.

ニ 塗装色に基づく補正処理(補正手段8aによる処理)
先に記載したように、撮像画像に現れる明暗パターンは、ボディ1の塗装色(例えば白色系や黒色系)により、明部分に対応する高輝度K1の領域C1や、中間輝度の領域C6の大きさが影響を受ける。
D. Correction processing based on paint color (processing by correction means 8a)
As described above, the brightness pattern appearing in the captured image depends on the painting color of the body 1 (for example, white or black) and the size of the high-luminance K1 region C1 corresponding to the bright portion and the medium-luminance region C6. Is affected.

一般に白色系のボディ1の塗装色では、暗部分に対応する低輝度K2の領域C2の輝度が比較的高くなり、明部分に対応する高輝度K1の領域C1と、暗部分に対応する低輝度K2の領域C2との輝度差が、比較的小さなものとなる(濃淡差が小さい状態)。   In general, in the paint color of the white body 1, the luminance of the low luminance K2 area C2 corresponding to the dark part is relatively high, and the high luminance K1 area C1 corresponding to the bright part and the low luminance corresponding to the dark part. The luminance difference between the region C2 of K2 and the region C2 becomes relatively small (a state where the difference in shading is small).

一方、黒色系のボディ1の塗装色では、暗部分(外枠部5)に対応する低輝度K2の領域C2の輝度が比較的低くなり、明部分(発光ダイオード6)に対応する高輝度K1の領域C1と、暗部分(外枠部5)に対応する低輝度K2の領域C2との輝度差が、比較的大きなものとなる(濃淡差が大きい状態)。また、明部分(発光ダイオード6)に対応する高輝度K1の領域C1や、中間輝度の領域C6が比較的大きなものになる。   On the other hand, in the paint color of the black body 1, the brightness of the region C2 of the low brightness K2 corresponding to the dark portion (outer frame portion 5) is relatively low, and the high brightness K1 corresponding to the light portion (the light emitting diode 6). And the region C2 of low luminance K2 corresponding to the dark portion (outer frame portion 5) have a relatively large luminance difference (a state in which the density difference is large). Further, the area C1 of the high luminance K1 corresponding to the bright part (the light emitting diode 6) and the area C6 of the intermediate luminance become relatively large.

この種の塗装色の影響を無視して、これまで説明してきた画像処理を実行すると、明部分(発光ダイオード6)に対応する高輝度K1の領域C1や、中間輝度の領域C6が比較的小さなものになったまま、あるいは大きなものとなったまま処理をすることとなり、良好な検査結果を得られない。   By ignoring the effect of this kind of paint color and executing the image processing described so far, the area C1 of the high luminance K1 corresponding to the bright part (light emitting diode 6) and the area C6 of the intermediate luminance are relatively small. The processing is performed while it is still large or large, and good inspection results cannot be obtained.

そこで、撮像装置4が受けた撮像画像において、図12に示すように、明部分に対応する高輝度K1の領域C1と、暗部分に対応する低輝度K2の領域C2との輝度差に応じて、明部分に対応する高輝度K1の領域C1や、中間輝度の領域C6の大きさが基準の大きさとなるように補正する(図7における#2ステップ)。この補正は、塗装色に応じて、予め用意されている補正データに基づいたものとされている。   Therefore, in the captured image received by the imaging device 4, as shown in FIG. 12, according to the luminance difference between the area C1 of the high luminance K1 corresponding to the bright part and the area C2 of the low luminance K2 corresponding to the dark part. The size of the high-luminance K1 region C1 and the middle-luminance region C6 corresponding to the bright portion is corrected so as to be the reference size (step # 2 in FIG. 7). This correction is based on correction data prepared in advance according to the paint color.

例えば、基準塗装色が白と黒との中間階調であるグレーである場合に、発光ダイオードの先端が1mm径の明領域として映り込む状態を基準として、塗装色が白の場合、補正を行わないと1.2mm径の明領域として映り込むのを、明領域の大きさが1.0mmとなるように画像処理側で補正をかける。一方、塗装色が黒の場合、補正を行わないと0.8mm径の明領域として映り込むが、同様に明領域の大きさが1.0mmとなるように画像処理側で補正をかける。   For example, when the reference paint color is gray, which is an intermediate gradation between white and black, and when the paint color is white, correction is performed based on a state in which the tip of the light emitting diode is reflected as a bright area having a diameter of 1 mm. If there is no bright area with a diameter of 1.2 mm, the image processing side corrects it so that the size of the bright area becomes 1.0 mm. On the other hand, when the paint color is black, if the correction is not performed, the image is reflected as a bright area having a diameter of 0.8 mm. Similarly, correction is performed on the image processing side so that the size of the bright area becomes 1.0 mm.

この後、図7(イ)に記載されているように、補正済みの撮像画像の画像処理を進めることで、塗装色に影響を受けない良好な検査結果を得ることができる。 Thereafter, as shown in FIG. 7A, by performing image processing of the corrected captured image, a favorable inspection result which is not affected by the paint color can be obtained.

〔第2の画像処理形態〕
上記の第1の画像処理形態にあっては、塗装色による領域の実質的な拡大・収縮補正を実行した後、補正後の画像に対して、3値化処理、排除処理(高輝度領域、低輝度領域、及び、境界領域の排除)を行って、最終的に、中間輝度領域で、正常な塗装面における撮像画像では現れない画像領域を、注目領域として判別、割り出す形態に関して説明したが、この形態の画像処理では、各処理において、撮像画像の全領域を全て処理することとなる。
[Second image processing form]
In the above-described first image processing mode, after performing substantial enlargement / shrinkage correction of the area by the paint color, the image after the correction is subjected to ternarization processing and exclusion processing (high brightness area, The low-luminance area and the boundary area are excluded), and finally, an image area that does not appear in the captured image on the normal painted surface in the intermediate-luminance area is determined and determined as the attention area. In the image processing of this mode, in each processing, all the regions of the captured image are processed.

しかしながら、例えば、注目すべき領域を画像処理の初期段階で抽出できれば、処理を迅速に進めることができる。本願における第2の画像処理形態は、このような形態である。
問題となる領域が抽出された後は、3値化処理、排除処理(高輝度領域、低輝度領域、及び、境界領域の排除)を行って、最終的に、中間輝度領域で、正常な塗装面における撮像画像では現れない画像領域を、注目領域として判別、割り出す。画像処理の初期段階で、塗装色による領域の実質的な拡大・収縮補正を実行する(#2)点に関しては、この形態においても変わるところがない。
However, for example, if a notable area can be extracted at an early stage of image processing, the processing can be advanced quickly. The second image processing mode in the present application is such a mode.
After the problematic area is extracted, ternarization processing and elimination processing (elimination of high-luminance area, low-luminance area, and boundary area) are performed, and finally, normal coating is performed in the middle-luminance area. An image area that does not appear in the captured image on the surface is determined and determined as the attention area. In the initial stage of the image processing, the substantial enlargement / shrinkage correction of the area by the paint color is performed (# 2), and there is no change in this mode.

この形態における画像処理は、図7(ロ)に示すように、塗装色に従った明暗領域の拡大・収縮処理(#2)、各単位判別領域を対象とするパターン認識を基礎とする塗装面の正常・異常の判断処理(#3、4)、異常と判断された単位判別領域に対する、3値化処理(#6−1)、排除処理(高輝度領域、低輝度領域、及び境界領域の排除:#6−2、#6−3)、最終的な中間輝度領域の注目領域としての特定、後処理(#6−4)、出力(#7)の順に進められる。
上記目的から、図1に対応して、図13に示すように、この処理を実行する検査装置100にあっては、画像処理部8内には、判別手段8eが別途設けられる。
The image processing in this mode is, as shown in FIG. 7B, a process of enlarging / shrinking a bright / dark area according to the paint color (# 2), and a paint surface based on pattern recognition for each unit determination area. Normal / abnormal determination processing (# 3, 4), ternarization processing (# 6-1) for the unit determination area determined to be abnormal, and exclusion processing (high luminance area, low luminance area, and boundary area Exclusion: # 6-2, # 6-3), identification of the final intermediate luminance area as a target area, post-processing (# 6-4), and output (# 7).
For the above purpose, as shown in FIG. 13 corresponding to FIG. 1, in the inspection apparatus 100 that executes this processing, the image processing unit 8 is provided with a separate determination unit 8e.

以下、この形態で特徴となる、各単位判別領域を対象とするパターン認識を基礎とする塗装面の正常・異常の判断処理に関して説明する。
イ 単位判別領域の区分け(#3)
上述のように、本願にあっては照射装置3の照射面3aにおける明部分及び暗部分の形状及び分布の構成上、発光ダイオード6の先端部分から構成される明部分の周りに、暗部分が2次元方向で均等分散配置されたものとなる。
Hereinafter, a description will be given of a normal / abnormal determination process of a painted surface based on pattern recognition for each unit determination region, which is a feature of this embodiment.
B. Classification of unit discrimination area (# 3)
As described above, in the present application, due to the configuration of the shape and distribution of the light portion and the dark portion on the irradiation surface 3a of the irradiation device 3, the dark portion is formed around the light portion formed by the tip portion of the light emitting diode 6. They are arranged uniformly distributed in the two-dimensional direction.

従って、画像処理に際しては、各々閉となっている、独立した明部分に対応する撮像領域である明撮像領域と、この明撮像領域の周りの暗撮像領域とを合わせた領域とを、それぞれ単位判別領域Aとして、取り扱う。
この単位判別領域Aの例は、図14に一点鎖線で囲んだ領域である。
Therefore, at the time of image processing, each of a closed imaging region, which is an imaging region corresponding to an independent bright portion, and a region obtained by combining a dark imaging region around the bright imaging region is defined as a unit. Handled as the discrimination area A.
An example of the unit determination area A is an area surrounded by a chain line in FIG.

ロ パターン認識による塗装面の正常・異常の判別(#4)
上記のようにして定まる各々の単位判別領域Aに対して、所謂、パターン認識手法により、この単位判別領域A内に、欠陥に起因する画像領域が含有されている可能性が高いかどうかに基づいて判断する。
判断に際しては、車種、塗装色、検査条件を同じくするボディーに対して、正常に塗装が実行された状態の単位判別領域A内の撮像画像に関する明暗パターン情報が使用される。
この正常な塗装面の明暗パターン情報は、図15(イ)に二点鎖線で示すように、撮像画像から、その横方向複数箇所(各横断線を丸付き数字で示す)に渡って、その方向における明暗パターン情報を取り込み、記憶されている情報である。即ち、明暗パターン情報は、図15(ロ)に丸付き数字で対応して示す形態のものである。ここで、理解を容易にするため、横断箇所数は7としているが、実際は、一致度の度数分布を収集できるだけの数とされる。
B. Judgment of normal / abnormal of painted surface by pattern recognition (# 4)
For each of the unit determination areas A determined as described above, a so-called pattern recognition method is used to determine whether there is a high possibility that an image area due to a defect is contained in the unit determination area A. To judge.
At the time of the determination, the light and dark pattern information on the captured image in the unit determination area A in a state where the painting is normally performed on the body having the same vehicle type, painting color, and inspection condition is used.
As shown by the two-dot chain line in FIG. 15A, the light / dark pattern information of the normal painted surface is obtained from the captured image at a plurality of locations in the horizontal direction (each transverse line is indicated by a circled number). This is information stored by capturing light-dark pattern information in the direction. That is, the light and dark pattern information is in the form shown in FIG. Here, for ease of understanding, the number of crossing points is set to 7, but in practice, the number is set to a number that can collect the frequency distribution of the coincidence.

一方、検査対象の単位判別領域Aの画像に関しても、正常な画像と同様に、横方向複数箇所で、その方向における明暗パターンが取り込まれるとともに、正常な塗装面の明暗パターンと比較される。
そして、横方向の複数箇所の全部(例えば、横断箇所1〜7全て)を対象として、図16に示すように、その一致度の度数分布が、一致するものの度数分布(OK側)、及び一致しないものの度数分布(NG側)として求められる。
On the other hand, as for the image of the unit discrimination area A to be inspected, similarly to the normal image, the light-dark pattern in that direction is captured at a plurality of positions in the horizontal direction and is compared with the light-dark pattern of the normal painted surface.
Then, as shown in FIG. 16, the frequency distribution of the coincidence is the frequency distribution of the coincidence (OK side) and the coincidence of the frequency distribution (OK side) for all of the plurality of locations in the horizontal direction (for example, all the crossings 1 to 7). It is obtained as a frequency distribution (NG side) of those that do not.

このようにして求められる分布に応じて、図16に具体的に示すように、一致する側の度数が高いものに関しては塗装が正常であると判断し、図示しないが、一致しない側の度数が高いものは、塗装面に欠陥がある可能性が高い(異常)と判断する。   According to the distribution obtained in this way, as shown in FIG. 16, it is determined that the coating having a high frequency on the matching side is normal, and the frequency on the non-matching side is not shown. If it is high, it is judged that there is a high possibility that the painted surface has a defect (abnormal).

結果、各単位判別領域に対応する塗装面の正常・異常を、明暗パターンのパターン認識により判別することができる。   As a result, the normality / abnormality of the painted surface corresponding to each unit determination area can be determined by pattern recognition of the light and dark patterns.

そして、このようにして異常と判断された単位判別領域Aについて、前記第1の画像処理の手順と同様にして最終的な注目領域として抽出することができる。   Then, the unit determination area A determined to be abnormal in this way can be extracted as a final area of interest in the same manner as in the procedure of the first image processing.

[発明の実施の別形態]
(1) 前述の実施の形態の図2に示す照射装置3において、発光ダイオード6の前側にブラックボード(図示せず)を配置し、発光ダイオード6の位置に対応するブラックボードの部分に、円状の開口を設けるように構成してもよい。
このように構成すると、照射装置4において発光ダイオード6とブラックボードとの境界が明確になるので、図3(イ),5(イ),6(イ),9(イ),11(イ)に示す明部分(発光ダイオード6)に対応する高輝度K1の部分C1と、暗部分(外枠部5)に対応する低輝度K2の部分C2との境界がさらに明確になる。
照射装置3における発光ダイオード6の配置としては、前述の実施の形態の図2に示すような配置ばかりではなく、一つの中心から放射状(ガウス関数状)に配置したり、千鳥状に配置したりしてもよい。
(2) 上記の実施の形態にあっては、各単位判別領域Aに関して、その正常・異常を判別するのに、パターン認識手法を採用したが、例えば、明領域内に、所定数の代表位置を定めておいて、これら各部位での明暗強度の一致度をみてもよい。さらには、面積比較等の手法を採用してもよい。
また、上記のように明暗パターンの一致度をみるのに、横断方向のみならず、任意の方向で判断してもよい。
(3) 上記の実施の形態にあっては、各単位判別領域A内に単数の明部分が含まれる例を示したが、画像処理装置の処理速度によっては、例えば、2×2の明部分を含むもの、さらに多くに明部分を含むものとしてもよい。
ただし、現状では、12×12程度に選択することで、塗装面の検査の実情に則した処理速度での画像処理を実現できる。
(4) 撮像装置の撮像面における明領域の形状に関しては、丸及び多角形の場合を例示して説明したが、任意の閉領域形状でよく、さらに、塗装面の形状に対応して、撮像側で丸、多角形になる形状を選択してもよい。
[Another embodiment of the invention]
(1) In the irradiation device 3 of the above-described embodiment shown in FIG. 2, a black board (not shown) is arranged in front of the light emitting diode 6, and a circle is provided on a portion of the black board corresponding to the position of the light emitting diode 6. It may be configured to provide an opening in the shape of a circle.
With this configuration, since the boundary between the light emitting diode 6 and the black board in the irradiation device 4 becomes clear, FIGS. 3 (A), 5 (A), 6 (A), 9 (A), and 11 (A). The boundary between the portion C1 of the high brightness K1 corresponding to the bright portion (light emitting diode 6) and the portion C2 of the low brightness K2 corresponding to the dark portion (outer frame portion 5) becomes clearer.
The arrangement of the light emitting diodes 6 in the irradiation device 3 is not limited to the arrangement as shown in FIG. 2 of the above-described embodiment, but may be arranged radially (Gaussian function) from one center or arranged in a staggered manner. May be.
(2) In the above-described embodiment, the pattern recognition method is used to determine whether each unit determination area A is normal or abnormal. For example, a predetermined number of representative positions may be set in a bright area. May be determined, and the degree of matching of the light and dark intensities at these portions may be checked. Further, a technique such as area comparison may be employed.
In order to check the degree of coincidence between the light and dark patterns as described above, the judgment may be made not only in the transverse direction but also in any direction.
(3) In the above embodiment, an example in which a single bright portion is included in each unit determination area A has been described. However, depending on the processing speed of the image processing apparatus, for example, a 2 × 2 bright portion , And may further include a bright portion.
However, at present, by selecting about 12 × 12, image processing at a processing speed in accordance with the actual situation of the inspection of the painted surface can be realized.
(4) The shape of the bright area on the imaging surface of the imaging apparatus has been described by exemplifying the case of a circle and a polygon. However, any shape of a closed area may be used. A shape that becomes round or polygonal on the side may be selected.

例えば、自動車ボディーの塗装面の検査を信頼性よく実施できる。   For example, an inspection of a painted surface of an automobile body can be reliably performed.

本願に係る塗装面の検査装置を使用して検査を実行している状況を示す図The figure which shows the situation which is performing the inspection using the coating surface inspection apparatus which concerns on this application. 照射装置の斜視図Perspective view of irradiation device 撮像画像、3値化処理後の画像、膨張・収縮処理後の注目領域を抽出した状況の処理画像を示す図The figure which shows the processing image of the situation which extracted the picked-up image, the image after ternarization processing, and the attention area after dilation / contraction processing 図3に示す撮像画像の明暗パターンを3次元的に表現した図FIG. 3 is a three-dimensional representation of a light and dark pattern of the captured image shown in FIG. 明部分に対応する明撮像領域内に、欠陥により明部分周りの暗部分からの映り込みが発生している撮像画像及びその明暗パターンを3次元的に表現した図A three-dimensional representation of a picked-up image in which a reflection from a dark portion around a bright portion occurs due to a defect in a bright imaging region corresponding to a bright portion, and its light-dark pattern 暗部分に対応する明撮像領域内に、欠陥により暗部分周りの明部分からの映り込みが発生している撮像画像及びその明暗パターンを3次元的に表現した図A three-dimensional representation of a picked-up image in which a reflection from a bright part around a dark part occurs due to a defect in a bright imaging area corresponding to a dark part and its light-dark pattern. 本願に係る第1の画像処理形態、第2の画像処理形態の処理フローを示す図FIG. 3 is a diagram showing a processing flow of a first image processing mode and a second image processing mode according to the present application. 上下方向の軸芯を中心線とした曲面の塗装面での検査の状態を示す斜視図A perspective view showing a state of an inspection on a curved painted surface with a vertical axis as a center line. 図8の構成で撮像される撮像画像、その3値化処理後の画像、膨張・収縮処理後の画像を示す図FIG. 8 is a diagram showing a captured image captured by the configuration of FIG. 前後方向の軸芯を中心線とした曲面の塗装面での検査の状態を示す斜視図Perspective view showing the state of inspection on a painted surface with a curved surface centered on the longitudinal axis. 図10の構成で撮像される撮像画像、その3値化処理後の画像、膨張・収縮処理後の画像を示す図FIG. 10 is a diagram showing a captured image captured by the configuration of FIG. ボディの塗装色に応じて行われる補正の状態を示す図Diagram showing the state of correction performed according to the paint color of the body パターン認識手法により、異常と判別される単位判別領域を割り出す画像処理を行う検査装置の使用状況を示す図The figure which shows the use condition of the inspection device which performs the image processing which finds the unit discrimination area determined as abnormal by the pattern recognition technique. 単位判別領域の区分けを示す図Diagram showing division of unit determination area パターン認識の認識部位、明暗パターンを示す図Diagram showing recognition areas and pattern of light and dark in pattern recognition 一致度の度数分布を示す図Diagram showing frequency distribution of coincidence

符号の説明Explanation of reference numerals

3 照射手段
4 撮像手段
6 発光ダイオード
3 irradiating means 4 imaging means 6 light emitting diode

Claims (5)

所定の明暗分布を成す検査光を塗装面に向けて照射する照射手段と、前記検査光を受けた塗装面を撮像する撮像手段と、前記撮像手段により撮像される撮像画像を画像処理する画像処理手段とを備えた塗装面の検査装置であって、
前記照射手段に於ける照射面での前記明暗分布が、第1方向と前記第1方向と交差する第2方向とからなる2次元方向に分散配置された複数の独立した明部分と、前記複数の明部分以外の暗部分とから構成され、
正常な塗装面を撮像した状態における撮像画像を正常撮像画像とする場合に、前記正常撮像画像における前記明部分に対応する撮像領域を正常明撮像領域と、前記暗部分に対応する撮像領域を正常暗撮像領域として、前記正常明撮像領域と正常暗撮像領域との中間階調領域を、注目領域として抽出する塗装面の検査装置。
Irradiating means for irradiating the painted surface with inspection light having a predetermined brightness distribution, imaging means for imaging the painted surface having received the inspection light, and image processing for image-processing an image captured by the imaging means Means for inspecting a painted surface comprising:
A plurality of independent light portions distributed in a two-dimensional direction including a first direction and a second direction intersecting with the first direction, wherein the light / dark distribution on an irradiation surface in the irradiation means is; And dark parts other than the light part of
When a captured image in a state where a normal painted surface is captured is set as a normal captured image, an imaging region corresponding to the bright portion in the normal captured image is a normal bright imaging region, and an imaging region corresponding to the dark portion is normal. A painted surface inspection device for extracting, as a dark imaging region, an intermediate gradation region between the normal bright imaging region and the normal dark imaging region as a region of interest.
前記複数の独立した明部分の形状が全て同一とされるとともに、前記明部分が、前記2次元方向に均等分散配置されてなり、
前記撮像画像において、前記独立した明部分に対応する撮像領域である明撮像領域と、当該明撮像領域の周りの暗撮像領域とを合わせて単位判別領域として、
各単位判別領域に対応する塗装面の正常・異常を、単位判別領域の撮像明暗パターンにより判別する判別手段を備えた請求項1記載の塗装面の検査装置。
The shapes of the plurality of independent bright portions are all the same, and the bright portions are uniformly distributed in the two-dimensional direction,
In the captured image, a bright imaging region that is an imaging region corresponding to the independent bright portion, and a dark imaging region around the bright imaging region as a unit determination region,
2. The painted surface inspection apparatus according to claim 1, further comprising a discriminating means for discriminating whether the painted surface corresponding to each unit discrimination region is normal or abnormal based on an imaged light / dark pattern of the unit discrimination region.
前記判別手段による前記単位判別領域毎の正常・異常判断を実行した後、
異常と判断された前記単位判別領域について、前記中間階調領域を前記注目領域として抽出する請求項2記載の塗装面の検査装置。
After executing the normal / abnormal judgment for each unit judgment area by the judgment means,
3. The painted surface inspection apparatus according to claim 2, wherein the halftone area is extracted as the attention area for the unit determination area determined to be abnormal.
前記明部分を円状に設定してある請求項1から3のいずれか1項に記載の塗装面の検査装置。 The painted surface inspection apparatus according to any one of claims 1 to 3, wherein the bright portion is set in a circular shape. 発光ダイオードにより前記照射面での前記明部分が設定されるように構成してある請求項1から4のいずれか1項に記載の塗装面の検査装置。
The painted surface inspection apparatus according to any one of claims 1 to 4, wherein the bright portion on the irradiation surface is set by a light emitting diode.
JP2003360583A 2002-12-06 2003-10-21 Paint surface inspection equipment Expired - Fee Related JP4017585B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003360583A JP4017585B2 (en) 2002-12-06 2003-10-21 Paint surface inspection equipment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002355784 2002-12-06
JP2003360583A JP4017585B2 (en) 2002-12-06 2003-10-21 Paint surface inspection equipment

Publications (2)

Publication Number Publication Date
JP2004198403A true JP2004198403A (en) 2004-07-15
JP4017585B2 JP4017585B2 (en) 2007-12-05

Family

ID=32775106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003360583A Expired - Fee Related JP4017585B2 (en) 2002-12-06 2003-10-21 Paint surface inspection equipment

Country Status (1)

Country Link
JP (1) JP4017585B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1843145A1 (en) 2006-04-03 2007-10-10 Chuo Electronic Measurement Co., Ltd Illuminating method in paint defect detecting machine
JP5182833B1 (en) * 2012-06-19 2013-04-17 バイスリープロジェクツ株式会社 Surface inspection apparatus and surface inspection method
CN103398856A (en) * 2013-07-26 2013-11-20 朱贵宝 Video checker for automobile chassis
CN115761017A (en) * 2023-01-06 2023-03-07 潍坊亚贝涂料有限公司 Visual determination method for alkyd resin paint color

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107884419B (en) * 2017-11-08 2020-06-09 安吉汽车物流股份有限公司 Automatic detection equipment for automobile chassis and intelligent detection system for automobile

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1843145A1 (en) 2006-04-03 2007-10-10 Chuo Electronic Measurement Co., Ltd Illuminating method in paint defect detecting machine
JP5182833B1 (en) * 2012-06-19 2013-04-17 バイスリープロジェクツ株式会社 Surface inspection apparatus and surface inspection method
CN103398856A (en) * 2013-07-26 2013-11-20 朱贵宝 Video checker for automobile chassis
CN115761017A (en) * 2023-01-06 2023-03-07 潍坊亚贝涂料有限公司 Visual determination method for alkyd resin paint color

Also Published As

Publication number Publication date
JP4017585B2 (en) 2007-12-05

Similar Documents

Publication Publication Date Title
US20220084183A1 (en) Defect detection device, defect detection method, and program
CN107076677B (en) Inspection apparatus and inspection method
US20070211242A1 (en) Defect inspection apparatus and defect inspection method
JP5174540B2 (en) Wood defect detection device
US7355692B2 (en) System and method for inspecting electrical circuits utilizing reflective and fluorescent imagery
JP4492356B2 (en) Substrate inspection device, parameter setting method and parameter setting device
JP4322230B2 (en) Surface defect inspection apparatus and surface defect inspection method
KR100687811B1 (en) Method and apparatus for detecting defects of the welded part
JP2007316019A (en) Surface defect inspection device
JP2004109018A (en) Circuit pattern inspecting method and inspecting device
JP6812118B2 (en) Defect detector, defect detection method and program
JP2010085166A (en) Prepreg defect inspection method
JP4017585B2 (en) Paint surface inspection equipment
JP2008026149A (en) Visual examination device
WO2005100960A1 (en) Surface defect examining device
JP2002250700A (en) Method and device for inspecting pattern
JP4349960B2 (en) Surface defect inspection equipment
JP6811540B2 (en) Defect detector, defect detection method and program
JP4115378B2 (en) Defect detection method
JP2002310917A (en) Defect detecting method and device thereof
JP2013150958A (en) Method for specifying sealed cell of honeycomb filter, method for manufacturing, device for specifying sealed cell, device for manufacturing, program and recording medium of the same
JP2004191071A (en) Inspection device of painted surface
JP2000172845A (en) Device and method for inspecting surface defect, and storage medium recorded with surface defect inspection program
JP6688629B2 (en) Defect detecting device, defect detecting method and program
JP4967132B2 (en) Defect inspection method for object surface

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070621

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070918

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140928

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees