JP2010117322A - Surface flaw inspection device, method and program for surface flaw inspection - Google Patents
Surface flaw inspection device, method and program for surface flaw inspection Download PDFInfo
- Publication number
- JP2010117322A JP2010117322A JP2008292555A JP2008292555A JP2010117322A JP 2010117322 A JP2010117322 A JP 2010117322A JP 2008292555 A JP2008292555 A JP 2008292555A JP 2008292555 A JP2008292555 A JP 2008292555A JP 2010117322 A JP2010117322 A JP 2010117322A
- Authority
- JP
- Japan
- Prior art keywords
- band
- shaped light
- image
- column
- exposure time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003384 imaging method Methods 0.000 claims abstract description 130
- 230000037303 wrinkles Effects 0.000 claims abstract description 75
- 238000012545 processing Methods 0.000 claims description 54
- 230000007547 defect Effects 0.000 claims description 22
- 238000005286 illumination Methods 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 17
- 230000002194 synthesizing effect Effects 0.000 abstract description 3
- 229910000831 Steel Inorganic materials 0.000 description 105
- 239000010959 steel Substances 0.000 description 105
- 230000003287 optical effect Effects 0.000 description 36
- 230000008859 change Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 13
- 230000001788 irregular Effects 0.000 description 11
- 210000000744 eyelid Anatomy 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 10
- 239000013307 optical fiber Substances 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 210000001217 buttock Anatomy 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000004071 soot Substances 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002574 poison Substances 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【課題】搬送される帯状帯の表面疵を、より精度良く確実に、リアルタイムで検出することができる表面疵検査装置、表面疵検査方法及びプログラムを提供すること。
【解決手段】搬送される帯状体1の表面に帯状光L1を照射した帯状体面上の帯状光照射領域LAを帯状光の入射と対向設置して撮像する2次元撮像装置20と、該2次元撮像装置を制御する制御装置30とを備え、該2次元撮像装置は、帯状光照射領域からの反射光の中で所定の2つ以上の異なる受光角度βで特定される反射光を、該制御装置から指示された露光時間で撮像し、該制御装置は、帯状体の搬送速度に同期させて該2次元撮像装置から部分読み出しした画素列を配列・合成してフレーム画像を生成し、該フレーム画像から前記夫々の受光角度に適した露光時間を決定することで、発生する疵に合わせて複数の受光角度で精度よくリアルタイムに疵検出する。
【選択図】図1
A surface flaw inspection apparatus, a surface flaw inspection method, and a program capable of detecting a surface flaw of a belt-like belt to be conveyed more accurately and reliably in real time.
A two-dimensional imaging device for imaging a band-shaped light irradiation area LA on a surface of a band-shaped body irradiated with a band-shaped light L1 on the surface of the belt-shaped body to be conveyed, opposite to the incident of the band-shaped light, and the two-dimensional And a control device 30 for controlling the imaging device, wherein the two-dimensional imaging device controls the reflected light specified at two or more different light receiving angles β among the reflected light from the belt-shaped light irradiation region. An image is captured with an exposure time instructed from the apparatus, and the control apparatus generates a frame image by arranging and synthesizing the pixel rows partially read out from the two-dimensional imaging apparatus in synchronization with the transport speed of the belt. By determining an exposure time suitable for each of the light receiving angles from the image, wrinkle detection is accurately performed in real time at a plurality of light receiving angles in accordance with the generated wrinkles.
[Selection] Figure 1
Description
本発明は、例えば金属板等の帯状体の表面の疵検査装置、表面疵検査方法及びプログラムに関し、特に、帯状体の表面の各種の疵の検査を、撮影画像を用いて行う疵検査に好適な技術に関するものである。 The present invention relates to a surface wrinkle inspection device, a surface wrinkle inspection method, and a program, for example, a metal plate or the like, and is particularly suitable for wrinkle inspection in which various wrinkles on the surface of a band are inspected using a photographed image. Technology.
例えば金属板等の一つである鋼板等の帯状体の製造工程において、製品の品質を損なうおそれのある疵は、製造段階で早期に発見し、当該製造工程または上工程の製造条件を変更するなどして後続の製品について疵の発生を未然に防ぐ必要がある。そのために、例えば、製造ライン中で鋼板を移動させながら疵の検査を行っている。疵の検査方法として、電磁的や光学的手法など数々の検査方法が開発されており、なかでも光学的検査方法は、鋼板に非接触で表面の疵が検出可能であり、疵画像が高速で容易に得られるために広く用いられている。 For example, in a manufacturing process of a strip such as a steel plate that is one of metal plates, defects that may impair product quality are detected early in the manufacturing stage, and the manufacturing conditions of the manufacturing process or the upper process are changed. It is necessary to prevent the occurrence of defects in subsequent products. For this purpose, for example, the inspection of the flaw is performed while moving the steel plate in the production line. Numerous inspection methods, such as electromagnetic and optical methods, have been developed as inspection methods for wrinkles. Among them, optical inspection methods can detect wrinkles on the surface without touching the steel sheet, and the wrinkle image can be detected at high speed. Widely used because it can be easily obtained.
当該光学的検査方法は、通板する鋼板等の表面の被検査部を照明して、CCDカメラのような撮像装置により連続的に撮影して得られる画像信号に基づいて、鋼板等の表面の疵を検出している。一般的にこのような光学的な表面疵検査方法においては、明視野撮像を行うために鋼板への照明の入射角度と反射角度の角度差が無いまたは少ない範囲(例えば0°〜5°程度)で撮像する正反射光学系と、暗視野撮像を行うために鋼板への照明の入射角度と反射角度の角度差が大きい範囲(例えば20°〜70°)で撮像する散乱反射光学系(以下では、夫々「正反射光学系」又は「乱反射光学系」と記す)の2系統の光学系を用いることが多い。正反射光学系は、表面の比較的大きな凹凸状の疵検出で有効であること、及び、散乱反射光学系は、鋼板表面の有色異物や汚れ欠陥の検出で有効であることが知られている。 The optical inspection method illuminates a portion to be inspected on a surface of a steel plate or the like to be passed, and based on an image signal obtained by continuously photographing with an imaging device such as a CCD camera,疵 is detected. In general, in such an optical surface defect inspection method, there is no or little difference between the incident angle of the illumination on the steel sheet and the reflection angle (for example, about 0 ° to 5 °) in order to perform bright field imaging. And a reflection / reflection optical system (hereinafter, 20 ° to 70 °) in which the angle difference between the incident angle and the reflection angle of the illumination on the steel plate is large in order to perform dark field imaging In many cases, two systems of optical systems are used (referred to as "regular reflection optical system" or "diffuse reflection optical system"). It is known that the specular reflection optical system is effective for detecting relatively large uneven ridges on the surface, and the scattering reflection optical system is effective for detecting colored foreign matters and dirt defects on the surface of the steel sheet. .
しかしながら近年では、鋼板等の製品の出荷時の品質検査や、疵の早期発見により迅速な疵発生防止対策を実施する等の観点から、鋼板等の表面の正常部である地合と比べて、色調や凹凸等の僅かな違いの疵をも検出することがますます重要になっている。 However, in recent years, from the viewpoint of implementing quality inspections at the time of shipment of products such as steel sheets and early prevention of wrinkles by early detection of wrinkles, compared to the formation that is the normal part of the surface of steel sheets, It is becoming more and more important to detect even slight differences such as color tone and unevenness.
正反射光学系と乱反射光学系の2系統の光学系を有する表面検査方法では、撮像装置は固定、つまり撮像装置の受光角度が上記2系統の光学系を満たす受光角度範囲の中で一意に固定されている。従って、この表面疵検査方法は、固定した受光角度での撮像では色調や凹凸等の僅かな違いの疵の検出が難しい場合が多い。例えば、押疵等の微小凹凸疵や、鋼板表面に薄く付着する汚れでは、疵表面で起こるわずかな乱反射の違い、反射率の角度依存性、または、地合の表面性状等により、ある特定の受光角度でしか輝度変化を得ることできず、その受光角度が撮像装置の受光角度と精度良く一致しないと、その微小疵の検出が困難になる場合が生じていた。 In the surface inspection method having two systems of specular reflection optical system and irregular reflection optical system, the imaging device is fixed, that is, the light receiving angle of the imaging device is uniquely fixed within the light receiving angle range that satisfies the above two systems of optical systems. Has been. Therefore, in this surface wrinkle inspection method, it is often difficult to detect wrinkles with slight differences such as color tone and unevenness in imaging at a fixed light receiving angle. For example, in the case of minute uneven ridges such as pressing rods, and dirt that adheres thinly to the steel plate surface, a slight irregular reflection that occurs on the surface of the ridge, the angle dependence of the reflectivity, or the surface properties of the formation, etc. A change in luminance can be obtained only at the light receiving angle, and if the light receiving angle does not coincide with the light receiving angle of the imaging device with high accuracy, it may be difficult to detect the minute wrinkles.
そこで、撮像装置の受光角度を変化させて鋼板等の表面疵検査を行う装置として、特許文献1に開示された技術のように、2次元CCDカメラの受光部を、2次元CCD素子の画素列の走査方向が鋼板の幅方向に実質的に一致するように、平らな形状の鋼板に対向配置し、相前後する2以上の時刻において当該画素列を走査して得た、鋼板の幅方向に長い特定部分の2枚以上の画像を合成して、異なる受光角度の検査画像を作成する装置が知られている。 Therefore, as a device for inspecting surface defects on a steel plate or the like by changing the light receiving angle of the imaging device, the light receiving unit of the two-dimensional CCD camera is used as a pixel array of a two-dimensional CCD element as in the technique disclosed in Patent Document 1. In the width direction of the steel plate, obtained by scanning the pixel row at two or more successive times so as to face the flat steel plate so that the scanning direction substantially coincides with the width direction of the steel plate. An apparatus that combines two or more images of a long specific portion to create inspection images with different light receiving angles is known.
しかしながら、上記の従来技術では、以下のような解決すべき課題が生じる場合がある。
特許文献1に開示されている技術では、鋼板の幅方向に長い特定部分が搬送によって製造ライン上を移動することにともなって、当該特定部分からの散乱光について、経時的に2次元CCDカメラである撮像装置の受光角度が変化することを利用している。鋼板の特定部分を含む画像が、2次元CCDカメラで撮像している製造ライン上の撮像領域中でオーバーラップするように、2次元CCDカメラを利用して複数の受光角度夫々で複数枚の画像を撮影し、その複数枚の画像を画像合成する。したがって、異なる2枚以上の、予め設定した所定の複数の受光角度の鋼板画像を得るために、必ず当該特定部分は、撮影領域中で所定の受光角度の位置で2回以上撮影される必要がある。言い換えれば、必ず2回以上の撮影回数で、特定部分を含む2次元画像を撮像することが必要となる。このため、効率的な画像撮影が難しく、疵を検出するための合成画像の生成に時間がかかることが多い。
However, in the above-described conventional technology, the following problems to be solved may occur.
In the technique disclosed in Patent Document 1, a specific portion that is long in the width direction of the steel sheet moves on the production line by conveyance. This utilizes the fact that the light receiving angle of a certain imaging device changes. A plurality of images at each of a plurality of light receiving angles using a two-dimensional CCD camera so that an image including a specific portion of a steel plate overlaps in an imaging region on a production line captured by the two-dimensional CCD camera. And synthesize the images. Accordingly, in order to obtain two or more different steel plate images having a plurality of predetermined light receiving angles set in advance, the specific portion must be photographed at least twice at a predetermined light receiving angle in the photographing region. is there. In other words, it is always necessary to capture a two-dimensional image including a specific portion with two or more imaging times. For this reason, efficient image capturing is difficult, and it often takes time to generate a composite image for detecting wrinkles.
また、変化量の多い受光角度を得るために、画素数の大きな2次元CCDを用いる場合には、より一層2次元CCDカメラを高フレームレート化する必要があり、高速搬送するラインへの適用が困難である。さらに、鋼板の特定部位を撮影領域中で少なくとも2回以上の複数回撮影したフレーム単位の2次元の画像データから、後工程の画像処理装置で上記の画像を合成する処理をする際には、必要の無い受光角度の部分の画像データを含めて後工程の画像処理装置に伝送し、当該所定の受光角度で撮像された特定部分の画像データ(1画素列分)のみをフレーム単位の画像データから抽出しなければならない。そのために、フレーム単位の2次元の画像データの処理では、無駄にデータ伝送時間および画像合成処理時間を要する。したがって、特許文献1に開示された技術では、鋼板の通板時にリアルタイムの疵検出が難しく、加えて、高速の画像処理をするための装置コストが増大することが懸念される。 In addition, when using a two-dimensional CCD having a large number of pixels in order to obtain a light receiving angle with a large amount of change, it is necessary to further increase the frame rate of the two-dimensional CCD camera, and it is applied to a line that carries at high speed. Have difficulty. Furthermore, when performing the process of synthesizing the above image with the image processing apparatus in the subsequent process from the two-dimensional image data of the frame unit obtained by photographing the specific part of the steel plate at least twice in the imaging region, The image data including the image data of the unnecessary light reception angle is transmitted to the image processing apparatus in the subsequent process, and only the image data (for one pixel column) of the specific portion imaged at the predetermined light reception angle is image data for each frame. Must be extracted from. For this reason, processing of two-dimensional image data in units of frames necessitates data transmission time and image composition processing time. Therefore, with the technique disclosed in Patent Document 1, it is difficult to detect wrinkles in real time when a steel plate is passed, and there is a concern that the cost of the apparatus for performing high-speed image processing increases.
さらに、一般に受光角度が異なると表面で反射する光量も大きく異なり、正反射光学系に比べて乱反射光学系の反射光量は一般に非常に小さくなる。しかし、特許文献1に開示された技術で得られる複数の受光角度夫々で撮影した複数枚の画像は、CCDカメラで同一の時刻に撮影された画像から合成される。よって、その露光時間は夫々受光角度で必然的に同じになり、正反射光学系として合成された画像は非常に明るくなる、一方、乱反射光学系として合成された画像は非常に暗くなる。したがって、往々にして夫々白飛びや黒潰れのために有意な輝度情報が失われ、疵部の検出・認識精度が低下する場合が多い。 Furthermore, generally, when the light receiving angle is different, the amount of light reflected on the surface is also greatly different, and the amount of reflected light of the irregular reflection optical system is generally much smaller than that of the regular reflection optical system. However, a plurality of images photographed at each of a plurality of light receiving angles obtained by the technique disclosed in Patent Document 1 are synthesized from images photographed at the same time by a CCD camera. Therefore, the exposure time is inevitably the same at each light receiving angle, and the image synthesized as the regular reflection optical system becomes very bright, while the image synthesized as the irregular reflection optical system becomes very dark. Therefore, significant brightness information is often lost due to whiteout or blackout, and the detection / recognition accuracy of the buttocks often decreases.
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、搬送される帯状帯の表面疵を、より精度良く確実に、リアルタイムで検出することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to detect the surface flaw of the belt-like belt to be conveyed more accurately and reliably in real time.
上記課題を解決するために、本発明のある観点によれば、長手方向に搬送される帯状体の表面の幅方向全域に帯状光を照射し、該帯状光が照射される領域である帯状光照射領域からの該帯状光の反射光を撮像し、該帯状体の表面の疵を検査する表面疵検査装置であって、
上記帯状光の上記帯状体に対する垂直方向入射角度が、上記帯状光照射領域のすべての点において、予め設定した所定の値で等しくなるように帯状光を照射する照明装置と、
上記帯状光照射領域を挟んで上記照明装置と対向配置され、該帯状光照射領域の内の、上記帯状体の移動方向における位置が相異なる複数の部分領域からの反射光を、夫々相異なる複数の垂直方向反射角度において、該垂直方向反射角度毎の露光時間で撮像して、複数の列単位画像を出力する、列単位露光可能かつ部分読み出し可能な2次元撮像装置と、
上記帯状体の移動に同期して上記2次元撮像装置に撮像させて、該撮像により得られた上記複数の列単位画像のうち少なくとも二つ以上の列単位画像を予め設定しておいた列数だけ夫々配列することにより、該少なくとも二つ以上の列単位画像の夫々が対応する垂直方向反射角度夫々から上記帯状光照射領域を撮像したフレーム画像を構成する制御装置と、
上記フレーム画像を画像処理して、上記帯状体の表面の疵を検出する疵画像処理装置と、
を備えることを特徴とする表面疵検査装置が提供される。
In order to solve the above-described problem, according to one aspect of the present invention, a band-shaped light is a region where a band-shaped light is irradiated to the entire width direction of the surface of a band-shaped body conveyed in the longitudinal direction and the band-shaped light is irradiated. A surface wrinkle inspection device that images the reflected light of the belt-shaped light from the irradiation region and inspects the wrinkles on the surface of the belt-shaped body,
An illumination device that irradiates the strip light so that the vertical incident angle of the strip light with respect to the strip is equal to a predetermined value set in advance at all points of the strip light irradiation region;
A plurality of different reflected lights from a plurality of partial regions that are disposed opposite to the illumination device across the belt-shaped light irradiation region, and that are different in position in the moving direction of the belt-shaped body in the belt-shaped light irradiation region. A two-dimensional imaging device capable of column unit exposure and partial readout, which images at an exposure time for each vertical direction reflection angle and outputs a plurality of column unit images;
The number of columns in which at least two or more column unit images are set in advance by causing the two-dimensional imaging device to capture images in synchronization with the movement of the belt-like body and obtaining the plurality of column unit images obtained by the imaging Only by arranging each of the at least two column-unit images, a control device that constitutes a frame image obtained by imaging the belt-shaped light irradiation area from each of the vertical reflection angles corresponding to each other,
A wrinkle image processing device that performs image processing on the frame image and detects wrinkles on the surface of the belt-like body;
A surface flaw inspection apparatus is provided.
また、上記2次元撮像装置は、複数のCMOS撮像素子からなる2次元の画素配列を有する2次元CMOSカメラを備え、上記制御装置の指示により任意の画素列を任意の露光時間で露光し、該画素列の上記列単位画像を該画素配列から出力するものであり、
上記制御装置は、予め設定した上記複数の垂直方向反射角度夫々に対応する上記複数の部分領域を、上記垂直方向反射角度毎の露光時間で撮像するために、上記2次元CMOSカメラの複数の画素列、および該画素列にて撮像するときの露光時間を上記2次元撮像装置に指示してもよい。
The two-dimensional imaging apparatus includes a two-dimensional CMOS camera having a two-dimensional pixel array composed of a plurality of CMOS imaging elements, and exposes an arbitrary pixel row at an arbitrary exposure time according to an instruction from the control apparatus. Outputting the column unit image of the pixel column from the pixel array;
The control device includes a plurality of pixels of the two-dimensional CMOS camera for imaging the plurality of partial regions corresponding to the plurality of vertical reflection angles set in advance with an exposure time for each vertical reflection angle. You may instruct | indicate the exposure time when imaging in a row | line | column and this pixel row | line to the said two-dimensional imaging device.
また、上記制御装置は、上記二つ以上の列単位画像夫々から構成した各フレーム画像の夫々について、予め定められた処理法により該フレーム画像から複数の画素を抽出し、該複数の画素の輝度値に基づいて、上記複数の垂直方向反射角度夫々に対応する露光時間を決定してもよい。 Further, the control device extracts a plurality of pixels from the frame image by a predetermined processing method for each frame image composed of the two or more column-unit images, and brightness of the plurality of pixels. An exposure time corresponding to each of the plurality of vertical reflection angles may be determined based on the value.
また、上記課題を解決するために、本発明の別の観点によれば、長手方向に搬送される帯状体の表面の幅方向全域に帯状光を照射し、該帯状光が照射される領域である帯状光照射領域からの該帯状光の反射光を撮像し、該帯状体の表面の疵を検査する表面疵検査方法であって、
照明装置が、上記帯状光の上記帯状体に対する垂直方向入射角度が、該帯状光照射領域のすべての点において、予め設定した所定の値で等しくなるように帯状光を照射するステップと、
上記帯状光照射領域を挟んで上記照明装置と対向配置され、列単位露光可能かつ部分読み出し可能な2次元撮像装置が、該帯状光照射領域の内の、上記帯状体の移動方向における位置が相異なる複数の部分領域からの反射光を、夫々異なる複数の垂直方向反射角度において、該垂直方向反射角度毎の露光時間で撮像して、複数の列単位画像を出力するステップと、
制御装置が、上記帯状体の移動に同期して上記2次元撮像装置に撮像させて、該撮像により得られた上記複数の列単位画像のうち少なくとも二つ以上の列単位画像を予め設定しておいた列数だけ夫々配列することにより、該少なくとも二つ以上の列単位画像の夫々が対応する垂直方向反射角度夫々から上記帯状光照射領域を撮像したフレーム画像を構成するステップと、
疵画像処理装置が、上記フレーム画像を画像処理して、上記帯状体の表面の疵を検出するステップと、
を有することを特徴とする表面疵検査方法が提供される。
Moreover, in order to solve the said subject, according to another viewpoint of this invention, in the area | region where the strip | belt-shaped light is irradiated to the whole width direction area | region of the surface of the strip | belt-shaped body conveyed in a longitudinal direction, and this strip | belt-shaped light is irradiated. A surface wrinkle inspection method for imaging reflected light of the band light from a certain band light irradiation region and inspecting wrinkles on the surface of the band,
The illumination device irradiates the band light so that the vertical incident angle of the band light with respect to the band is equal to a predetermined value set in advance at all points of the band light irradiation region;
A two-dimensional imaging device that is arranged opposite to the illumination device with the band-shaped light irradiation region interposed therebetween and capable of column-by-row exposure and partial readout is positioned in the movement direction of the band-shaped body in the band-shaped light irradiation region. Imaging reflected light from a plurality of different partial areas at a plurality of different vertical reflection angles with an exposure time for each vertical reflection angle, and outputting a plurality of column unit images;
The control device causes the two-dimensional imaging device to capture images in synchronization with the movement of the belt-like body, and presets at least two or more column unit images among the plurality of column unit images obtained by the imaging. Arranging each of the number of columns arranged to form a frame image obtained by imaging the band-shaped light irradiation region from each of the vertical reflection angles corresponding to each of the at least two column unit images; and
A wrinkle image processing device performing image processing on the frame image to detect wrinkles on the surface of the strip;
A method for inspecting surface defects is provided.
また、上記課題を解決するために、本発明の別の観点によれば、長手方向に搬送される帯状体の表面の幅方向全域に帯状光を照射し、該帯状光が照射される領域である帯状光照射領域からの該帯状光の反射光を撮像し、該帯状体の表面の疵を検査するために、
上記帯状光の上記帯状体に対する垂直方向入射角度が、上記帯状光照射領域のすべての点において、予め設定した所定の値で等しくなるように帯状光を照射する照明装置と、
上記帯状光照射領域を挟んで上記照明装置と対向配置され、該帯状光照射領域の内の、上記帯状体の移動方向における位置が相異なる複数の部分領域からの反射光を、夫々相異なる複数の垂直方向反射角度において、該垂直方向反射角度毎の露光時間で撮像して、複数の列単位画像を出力する、列単位露光可能かつ部分読み出し可能な2次元撮像装置と、
を有する表面疵検査装置を制御するコンピュータに、
上記帯状体の移動に同期して上記2次元撮像装置に撮像させて、該撮像により得られた上記複数の列単位画像のうち少なくとも二つ以上の列単位画像を予め設定しておいた列数だけ夫々配列することにより、該少なくとも二つ以上の列単位画像の夫々が対応する垂直方向反射角度夫々から上記帯状光照射領域を撮像したフレーム画像を構成する機能と、
上記フレーム画像を画像処理して、上記帯状体の表面の疵を検出する機能と、
を実現させるためのプログラムが提供される。
Moreover, in order to solve the said subject, according to another viewpoint of this invention, in the area | region where the strip | belt-shaped light is irradiated to the whole width direction area | region of the surface of the strip | belt-shaped body conveyed in a longitudinal direction, and this strip | belt-shaped light is irradiated. In order to image the reflected light of the band light from a certain band light irradiation area and inspect the wrinkles on the surface of the band body,
An illumination device that irradiates the strip light so that the vertical incident angle of the strip light with respect to the strip is equal to a predetermined value set in advance at all points of the strip light irradiation region;
A plurality of different reflected lights from a plurality of partial regions that are disposed opposite to the illumination device across the belt-shaped light irradiation region, and that are different in position in the moving direction of the belt-shaped body in the belt-shaped light irradiation region. A two-dimensional imaging device capable of column unit exposure and partial readout, which images at an exposure time for each vertical direction reflection angle and outputs a plurality of column unit images;
A computer for controlling a surface defect inspection apparatus having
The number of columns in which at least two or more column unit images are set in advance by causing the two-dimensional imaging device to capture images in synchronization with the movement of the belt-like body and obtaining the plurality of column unit images obtained by the imaging Only by arranging each of the at least two column unit images, a function of configuring a frame image obtained by imaging the band-shaped light irradiation region from each of the vertical reflection angles corresponding to each of the column unit images,
A function of performing image processing on the frame image to detect wrinkles on the surface of the strip;
A program for realizing the above is provided.
以上説明したように本発明によれば、搬送される帯状帯の表面疵を、より精度良く確実に、リアルタイムで検出することができる。 As described above, according to the present invention, it is possible to detect the surface defects of the belt-like belt to be transported more accurately and reliably in real time.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
<関連技術>
本発明の実施の形態について説明する前に、本発明の関連技術について説明する。
関連技術に係る表面疵検査装置は、鋼板の表面の2次元照射領域に対して面状光を入射する照明装置と、その照明装置に対向配置された部分読み出し可能な2次元CMOSカメラとにより、照射領域からの反射光の中の所定の2つ以上の異なる受光角度で特定される反射光のみの画像信号を、鋼板の搬送速度に同期させて部分読み出しした画素列から得て、鋼板の長手方向に合成・配列する。その結果、関連技術に係る表面疵検査装置は、同時に2つ以上の受光角度の検査画像をリアルタイムに作成する。
<Related technologies>
Prior to describing the embodiments of the present invention, the related art of the present invention will be described.
The surface defect inspection apparatus according to the related art includes an illuminating device that makes planar light incident on a two-dimensional irradiation region on the surface of a steel plate, and a partially readable two-dimensional CMOS camera that is arranged to face the illuminating device. The image signal of only the reflected light specified at two or more predetermined different light receiving angles in the reflected light from the irradiation area is obtained from the pixel row partially read out in synchronization with the steel plate conveyance speed, and the length of the steel plate Combine and arrange in the direction. As a result, the surface flaw inspection apparatus according to the related art simultaneously creates inspection images of two or more light receiving angles in real time.
この関連技術に係る表面疵検査装置は、部分読み出し可能な複数のCMOS撮像素子からなる2次元の画像配列を有する2次元CMOSカメラからなる撮像装置を備えていて、鋼板の幅方向に亘る面状光照射領域に照射された面状光照射領域内から、同時刻に複数の受光角度で検査画像を得ることができる。そのため、発生する疵に併せて任意に複数の受光角度を選択することで、所定の受光角度でしか輝度変化を得ることができないような疵のリアルタイム検出に対応している。 The surface defect inspection apparatus according to this related technology includes an imaging device including a two-dimensional CMOS camera having a two-dimensional image array including a plurality of partially readable CMOS imaging elements, and has a planar shape extending in the width direction of the steel plate. Inspection images can be obtained at a plurality of light receiving angles at the same time from within the planar light irradiation region irradiated on the light irradiation region. Therefore, by selecting a plurality of light receiving angles arbitrarily according to the generated wrinkles, real-time detection of wrinkles that can obtain a change in luminance only at a predetermined light receiving angle is supported.
しかしながら、この関連技術に係る表面疵検査装置も、やはり、CMOS撮像素子への露光は同一時刻かつ同一時間であるため、正反射光学系の画像と乱反射光学系の画像との輝度の差が大きくなり、白飛びや黒潰れのために有意な輝度情報が失われ、疵部の検出・認識精度が低下する恐れがあった。 However, the surface flaw inspection apparatus according to this related technique also has a large difference in luminance between the regular reflection optical system image and the irregular reflection optical system image because the exposure to the CMOS image sensor is at the same time and the same time. Therefore, significant brightness information is lost due to overexposure or blackout, and there is a risk that the detection / recognition accuracy of the hips may be lowered.
CMOS撮像素子は、非特許文献1にあるように、その回路構成の特性から、光電変換した信号を出力した画素列から次の光電変換が開始される。よって、光電変換の開始および終了が全ての画素で同期しているCCD撮像素子とは異なり、CMOS撮像素子では光電変換が画素列を単位として非同期で行われる。CMOS撮像素子のこの特性は、高速に移動したり回転したりする物体などを撮影した際に像が歪む欠点とされ、光学系に機械的なシャッターを組み込んだり、別途回路を追加するなどして、CCD撮像素子と同じような光電変換の同期性を確保できるようにする取り組みがなされてきた。 As described in Non-Patent Document 1, the CMOS image pickup device starts the next photoelectric conversion from a pixel column that outputs a photoelectrically converted signal due to the characteristics of its circuit configuration. Therefore, unlike a CCD image sensor in which the start and end of photoelectric conversion are synchronized in all pixels, in a CMOS image sensor, photoelectric conversion is performed asynchronously in units of pixel columns. This characteristic of the CMOS image sensor is a defect that the image is distorted when shooting an object that moves or rotates at high speed. A mechanical shutter is added to the optical system or a separate circuit is added. Thus, efforts have been made to ensure the synchronism of photoelectric conversion similar to that of a CCD image sensor.
本発明者は、有意な輝度情報が喪失するという前記の関連技術における改善点等について鋭意研究を行った結果、本発明に想到した。この本発明の一実施の形態に係る表面疵検出装置は、例えばCMOS撮像素子の持つ光電変換の非同期性を逆に積極的に活用し、光電変換の期間を画素列単位で個別に制御する。その結果、この表面疵検出装置は、複数台の撮像手段を使用することなく、ぞれぞれの受光角度に適した露光時間を使って複数の受光角度で帯状体の表面を検査することができ、発生する疵に併せて複数の受光角度が選択できることから、所定の受光角度でしか輝度変化を得ることができないような疵のリアルタイム検出が可能となるとともに、受光角度夫々の輝度情報を失うことなく画像化することで、疵検査装置の疵検出・認識精度を向上することができ、さらには、装置の小型化、廉価化が可能であるため、疵検査の導入が容易である。以下、図面を参照して、この本発明の実施の形態を詳細に説明する。 The inventor of the present invention has arrived at the present invention as a result of earnest research on the improvement point in the related technology that significant luminance information is lost. The surface flaw detection apparatus according to an embodiment of the present invention, for example, actively utilizes the asynchronousness of photoelectric conversion possessed by a CMOS image sensor, for example, and individually controls the period of photoelectric conversion for each pixel column. As a result, this surface flaw detection apparatus can inspect the surface of a strip at a plurality of light receiving angles using an exposure time suitable for each light receiving angle without using a plurality of imaging means. In addition, since a plurality of light receiving angles can be selected according to the generated wrinkles, real-time detection of wrinkles that can only change the luminance at a predetermined light receiving angle is possible, and luminance information for each light receiving angle is lost. By making an image without any problem, it is possible to improve the wrinkle detection / recognition accuracy of the wrinkle inspection apparatus, and further, the apparatus can be made smaller and less expensive, so that wrinkle inspection can be easily introduced. Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<一実施形態>
図1は本発明の実施の形態の一例を示すもので、被検査体の帯状体は、複数の鋼板が、各鋼板の長手方向の後端と先端とが溶接点で溶接により連結されたものである。また、図1は、その鋼板が長手方向に移動しながら加工される鋼板製造ライン(以下では「鋼板ライン」と記す)に配設された表面疵検査装置の概略構成図である。なお、ここではこのように帯状体として鋼板を例示し、かつ、表面疵検査装置が鋼板ラインに配置された場合を例示するが、本発明の帯状体及び適用先は、特に限定されるものではない。本発明の実施の形態は、帯状体からの反射光を利用して表面疵を検出するため、反射光を反射しうる面を有するような帯状体であれば、様々な帯状体の表面疵を検出することができることは、言うまでもない。
<One Embodiment>
FIG. 1 shows an example of an embodiment of the present invention. A strip of an object to be inspected includes a plurality of steel plates in which the rear end and the front end in the longitudinal direction of each steel plate are connected by welding at welding points. It is. FIG. 1 is a schematic configuration diagram of a surface flaw inspection apparatus disposed on a steel plate production line (hereinafter referred to as “steel plate line”) in which the steel plate is processed while moving in the longitudinal direction. In addition, although a steel plate is illustrated here as a strip | belt body here, and the case where a surface flaw inspection apparatus is arrange | positioned at a steel plate line is illustrated, the strip | belt body and application destination of this invention are not specifically limited. Absent. Since the embodiment of the present invention detects surface wrinkles using the reflected light from the strip, the surface wrinkles of various strips can be used as long as the strip has a surface that can reflect the reflected light. Needless to say, it can be detected.
図1に示すように、本実施形態に係る表面疵検査装置は、鋼板1の表面の撮像領域(「帯状光照射領域」とも記す)LAを照明する照明装置10と、当該撮像領域を撮像して画像データを出力する2次元撮像装置20と、当該2次元撮像装置20を制御すると共に画像データを処理してフレーム画像を構成する制御装置30と、当該フレーム画像を画像処理して鋼板1の表面の疵を検出する疵画像処理装置31と、検出した疵情報を画面上に表示するオペレータ疵表示装置32とを備える。この表面疵検査装置が適用される鋼板ラインは、鋼板1の裏面にロール2を密着・回転させて、鋼板1を長手方向に搬送する。この鋼板ラインには、その鋼板1の移動を検知するために、設定されたロール2の回転角度ごとにパルス信号を出力するロータリーエンコーダ等のセンサ(以下では「PLG40」と記す)を備えている。本実施形態に係る表面疵検査装置は、PLG40からのパルス信号を受けて鋼板1の移動を検出し、その移動に応じた動作が可能である。なお、鋼板1の移動を検出する方法は、PLG40からのパルス信号に限定されるものではなく、鋼板1の移動を制御する制御装置等からの信号に基づく方法や、鋼板1の移動を検出する移動検出装置による検出結果に基づく方法など、様々な方法が使用可能である。また、この表面疵検査装置は、鋼板1がロール2に密着している間の部分を測定しており、パスライン変動による誤差を少なく検査が可能である。 As shown in FIG. 1, the surface defect inspection apparatus according to the present embodiment images an illumination device 10 that illuminates an imaging region (also referred to as “band-shaped light irradiation region”) LA on the surface of the steel plate 1 and the imaging region. A two-dimensional imaging device 20 for outputting image data, a control device 30 for controlling the two-dimensional imaging device 20 and processing the image data to form a frame image, and subjecting the frame image to image processing. A haze image processing device 31 that detects wrinkles on the surface and an operator haze display device 32 that displays the detected wrinkle information on a screen are provided. In the steel plate line to which the surface flaw inspection apparatus is applied, the roll 2 is brought into close contact with and rotated on the back surface of the steel plate 1 to convey the steel plate 1 in the longitudinal direction. In order to detect the movement of the steel plate 1, the steel plate line includes a sensor such as a rotary encoder (hereinafter referred to as “PLG 40”) that outputs a pulse signal for each set rotation angle of the roll 2. . The surface flaw inspection apparatus according to this embodiment receives a pulse signal from the PLG 40, detects the movement of the steel plate 1, and can operate in accordance with the movement. The method for detecting the movement of the steel sheet 1 is not limited to the pulse signal from the PLG 40, but a method based on a signal from a control device or the like that controls the movement of the steel sheet 1 or a movement of the steel sheet 1 is detected. Various methods such as a method based on the detection result by the movement detection device can be used. In addition, this surface flaw inspection apparatus measures a portion while the steel plate 1 is in close contact with the roll 2, and can inspect with little error due to pass line fluctuation.
(照明装置10)
照明装置10は、例えば蛍光灯、白熱灯又はハロゲンランプ等を有する光源11と、光ファイバー束12と、光源から出射された光を光ファイバー内へ導く入力端13と、光ファイバー内から光を出射する出力端14とからなっている。光ファイバー束12では多数の光ファイバーが帯状に整列されていて、入力端13は光源11が近接しており、鋼板1の幅方向に平行に設置された出力端14で帯状光L1が出射される。なお、この帯状光L1は、平行光であることが望ましい。また、照明装置10は、後述する制御装置30により例えばON/OFFや照度などが制御されて、帯状光を照射してもよいが、独立して動作することも可能である。
(Lighting device 10)
The illumination device 10 includes, for example, a light source 11 having a fluorescent lamp, an incandescent lamp, a halogen lamp, and the like, an optical fiber bundle 12, an input end 13 that guides light emitted from the light source into the optical fiber, and an output that emits light from the optical fiber. It consists of an end 14. In the optical fiber bundle 12, a large number of optical fibers are arranged in a strip shape, the light source 11 is close to the input end 13, and the strip light L <b> 1 is emitted from the output end 14 installed in parallel with the width direction of the steel plate 1. The strip light L1 is preferably parallel light. In addition, the lighting device 10 may be irradiated with band-like light, for example, with ON / OFF and illuminance controlled by a control device 30 described later, but can also operate independently.
図2は、鋼板ライン上の鋼板面を上方から見た平面図で、照明装置10、帯状光照射面LA、及び2次元撮像装置20の平面配置を示す。図3は、鋼板ラインを側面から見た側面図で、照明装置10、帯状光照射領域LA、及び2次元撮像装置20の側面の配置状況を示している。 FIG. 2 is a plan view of the steel plate surface on the steel plate line as viewed from above, and shows a planar arrangement of the illumination device 10, the strip-shaped light irradiation surface LA, and the two-dimensional imaging device 20. FIG. 3 is a side view of the steel plate line as viewed from the side, and shows the arrangement of the side surfaces of the illumination device 10, the strip-shaped light irradiation region LA, and the two-dimensional imaging device 20.
図3に示すように、帯状光L1は、出力端14に備えられた図示しないロッドレンズあるいはシリンドリカルレンズでもって、鋼板1の鋼板面の垂直方向とのなす角度α(垂直方向入射角度)が帯状光照射領域LAのすべての点で等しくなるように調整され、その垂直方向入射角度αが例えば45〜70°程度の所定の角度で帯状光照射領域LAに照射される。帯状光L1は、均一照度であり、帯状光照射領域LAの全幅にわたり、かつ、鋼板1の移動方向の照射幅が2次元撮像装置20の撮像範囲を満たすように、照射される。例えば、照明装置10は、180Wのハロゲンランプ1台を光源とした、ファイバー束の出力端の照明装置を使用してもよく、垂直方向入射角度αが45度で、鋼板表面を照射するように設定し、鋼板1上の帯状光照射領域LAは幅方向1700mm、長さ方向70mmに設定されてもよい。光ファイバー束12の出力端14から、帯状光L1の鋼板面上の帯状光照射領域LAまでの距離は鋼板ラインの装置構成で決められるが、本実施の形態では200〜400mm程度である。なお、照明装置10は、上記した以外の例えば市販のLEDレーザ光照明装置等のその他の帯状光源を用いてもよい。この場合、各発光ダイオードを帯状に整列する場合、光ファイバー等の他の構成の少なくとも一部を省略することができる。 As shown in FIG. 3, the band-shaped light L1 has a band-shaped angle α (vertical incident angle) formed by a rod lens or a cylindrical lens (not shown) provided at the output end 14 and the vertical direction of the steel sheet surface of the steel sheet 1. It is adjusted so as to be equal at all points in the light irradiation area LA, and the vertical light incident angle α is irradiated to the belt-shaped light irradiation area LA at a predetermined angle of about 45 to 70 °, for example. The band-shaped light L1 has a uniform illuminance, and is irradiated so that the irradiation width in the moving direction of the steel plate 1 satisfies the imaging range of the two-dimensional imaging device 20 over the entire width of the band-shaped light irradiation area LA. For example, the illuminating device 10 may use an illuminating device at the output end of a fiber bundle using one 180 W halogen lamp as a light source, and the vertical incident angle α is 45 degrees so as to irradiate the steel plate surface. The band-shaped light irradiation area LA on the steel plate 1 may be set to 1700 mm in the width direction and 70 mm in the length direction. Although the distance from the output end 14 of the optical fiber bundle 12 to the strip light irradiation area LA on the steel plate surface of the strip light L1 is determined by the apparatus configuration of the steel plate line, it is about 200 to 400 mm in the present embodiment. The lighting device 10 may use other belt-like light sources other than those described above, such as a commercially available LED laser light lighting device. In this case, when the light emitting diodes are arranged in a strip shape, at least a part of another configuration such as an optical fiber can be omitted.
(2次元撮像装置20)
また、鋼板上の帯状光照射領域LAを撮像する2次元撮像装置20の光軸は、鋼板1の鋼板面の垂直方向とのなす角度β(垂直方向反射角度)が例えば45度で、垂直方向入射角度αと等しくなるように、2次元撮像装置20は設置されることが望ましい(図3を参照のこと)。しかし、2次元撮像装置20の撮像面内に正反射光が含まれる位置であれば、特に限定されるものではない。
(Two-dimensional imaging device 20)
The optical axis of the two-dimensional imaging device 20 that images the strip-shaped light irradiation area LA on the steel plate has an angle β (vertical reflection angle) with the vertical direction of the steel plate surface of the steel plate 1 of, for example, 45 degrees, and the vertical direction. The two-dimensional imaging device 20 is preferably installed so as to be equal to the incident angle α (see FIG. 3). However, the position is not particularly limited as long as it is a position where regular reflection light is included in the imaging surface of the two-dimensional imaging device 20.
2次元撮像装置20は、帯状光照射領域LAを挟んで照明装置10に対向する位置に配置され、一台のみで配置されてもよいが、通常は、鋼板1の幅方向に複数台が並列に配設されていてもよい。2次元撮像装置20の台数は、鋼板1の検査幅、および撮像素子の横方向(鋼板1の幅方向)の画素数に基づいて、どの程度小さな疵を検出するかという必要とする分解能に応じて決定する。通常は鋼板ラインを通板する鋼板1は複数種類あり、夫々の幅が1m〜3m程度であるので、これに合わせて撮像装置も通常3,4台並列に並べることが望ましい。なお、2次元撮像装置20から帯状光L1の鋼板面上の帯状光照射領域LAまでの距離は、鋼板1の検査幅、撮像装置20の視野角、必要分解能等、及び設置場所近辺の他の装置配置等により決定され、通常は例えば300〜1200mm程度である。例えば、鋼板の幅が1500mmで、2次元撮像装置20が横2352画素、縦200画素を有する撮像素子からなるカメラを使用する場合、分解能が板幅方向で画素サイズ0.35mm、ライン方向で画素サイズ0.35mmの画像を得るには、カメラ1台の幅方向視野は820mmとなるように光学条件を設定すると、カメラ2台で、カメラ幅方向視野サイズは、1640mmになり、板幅全域の画像をえることができる。 The two-dimensional imaging device 20 is disposed at a position facing the illumination device 10 across the belt-shaped light irradiation area LA, and may be disposed as a single unit, but usually a plurality of units are arranged in parallel in the width direction of the steel plate 1. It may be arranged. The number of two-dimensional imaging devices 20 depends on the required resolution of how small wrinkles are to be detected based on the inspection width of the steel plate 1 and the number of pixels in the lateral direction of the imaging element (the width direction of the steel plate 1). To decide. Usually, there are a plurality of types of steel plates 1 through which the steel plate line passes, and the width of each is about 1 m to 3 m. Therefore, it is desirable to arrange three or four imaging devices in parallel in accordance with this. Note that the distance from the two-dimensional imaging device 20 to the belt-shaped light irradiation area LA on the steel plate surface of the strip-shaped light L1 is the inspection width of the steel plate 1, the viewing angle of the imaging device 20, the required resolution, and the like. It is determined by the arrangement of the apparatus and is usually about 300 to 1200 mm, for example. For example, when the steel plate has a width of 1500 mm and the two-dimensional imaging device 20 uses a camera composed of an image sensor having 2352 horizontal pixels and 200 vertical pixels, the resolution is a pixel size of 0.35 mm in the plate width direction and pixels in the line direction. To obtain an image with a size of 0.35 mm, if the optical conditions are set so that the width direction field of view of one camera is 820 mm, the size of the field of view in the camera width direction is 1640 mm with two cameras. You can get an image.
2次元撮像装置20は、図4に模式的に示すように複数のCMOS(Complementary Metal Oxide Semiconducter)撮像素子22が受光部21上に2次元配列(行と列)された、2次元の画素配列からなる2次元CMOSカメラで構成され、その光軸は鋼板1の幅方向が撮像素子の走査方向(横方向)と平行になり、かつ、鋼板1の移動方向が撮像素子の走査方向と垂直(縦方向)になるように向けられている。この2次元撮像装置20は、1回の撮像動作中に、異なる複数の画素の列(以下では「画素列」と記す)を任意に選択し、さらに当該画素列における露光時間を任意に設定して、露光完了後に当該画素列の画像信号(以下では「列単位画像」と記す)を部分読み出しする部分読み出し手段23を備えている。 The two-dimensional imaging device 20 includes a two-dimensional pixel array in which a plurality of CMOS (Complementary Metal Oxide Semiconductor) imaging elements 22 are two-dimensionally arranged (rows and columns) on the light receiving unit 21 as schematically shown in FIG. The optical axis of the optical axis of the steel plate 1 is parallel to the scanning direction (lateral direction) of the image sensor, and the moving direction of the steel plate 1 is perpendicular to the scanning direction of the image sensor ( (Vertical direction). The two-dimensional imaging apparatus 20 arbitrarily selects a plurality of different pixel columns (hereinafter referred to as “pixel columns”) during one imaging operation, and further arbitrarily sets an exposure time in the pixel columns. Thus, a partial readout means 23 for partially reading out an image signal of the pixel row (hereinafter referred to as “column unit image”) after the exposure is completed is provided.
従って、この2次元撮像装置20は、CMOS撮像素子22のp列目の画素列から得られるp列単位画像と、CMOS撮像素子22のq列目の画素列から得られるq列単位画像を、夫々任意の露光時間で撮影することが可能で、またそれらは同じ撮像動作中に得ることができる(ここでp、qはCMOS撮像素子22の異なる任意の2つの列番を表す)。なお、ここではCMOS撮像素子22が使用される場合の例を説明しているが、各画素列毎に露光時間を設定可能な非同期性を有する撮像素子であれば様々な撮像素子を使用することが可能である。また、上記露光時間は、各画素列に対応した垂直方向反射角度毎に設定されることが望ましい。 Therefore, the two-dimensional imaging device 20 includes a p-row unit image obtained from the p-th pixel row of the CMOS image pickup device 22 and a q-row unit image obtained from the q-th pixel row of the CMOS image pickup device 22. Each can be photographed at an arbitrary exposure time, and they can be obtained during the same imaging operation (where p and q represent any two different column numbers of the CMOS image sensor 22). Although an example in which the CMOS image sensor 22 is used is described here, various image sensors can be used as long as the image sensor has an asynchronous property that allows the exposure time to be set for each pixel column. Is possible. The exposure time is preferably set for each vertical reflection angle corresponding to each pixel column.
本発明の実施の形態では、照明装置10の出力端14から垂直方向入射角度α傾いて照射された帯状光L1が帯状光照射領域LAで反射され、2次元撮像装置20の受光部21上に結像して、帯状光照射領域LAが撮像される。このとき、2次元撮像装置20により、帯状光照射領域LAの内の、帯状体1の移動方向における位置が異なる複数の部分領域が、それぞれ異なる複数の垂直方向反射角度で撮像される。より具体的には、図2、図3に示すように、帯状光照射領域LA上の鋼板1の幅方向に長い部分領域Lpから、常に一定の垂直方向反射角度βpの反射光が、2次元撮像装置20の受光部21のCMOS撮像素子22のp列目で受光される。同様に、帯状光照射領域LA上の部分領域Lqから、常に一定の垂直方向反射角度βqの反射光が、2次元撮像装置20の受光面21のCMOS撮像素子22のq列目で受光されることになる。帯状光照射領域LA上の部分領域Lp、Lq夫々とCMOS撮像素子22上のp列、q列夫々との対応関係は、予め帯状光照射領域LAに対して当該光学系を使用して、CMOS撮像素子22により撮像画像を得て校正しておく。 In the embodiment of the present invention, the belt-shaped light L1 irradiated from the output end 14 of the lighting device 10 with the vertical incident angle α inclined is reflected by the belt-shaped light irradiation region LA and is reflected on the light receiving unit 21 of the two-dimensional imaging device 20. An image is formed and the band-shaped light irradiation area LA is imaged. At this time, the two-dimensional imaging device 20 images a plurality of partial regions having different positions in the moving direction of the strip 1 in the strip light irradiation region LA at a plurality of different vertical reflection angles. More specifically, as shown in FIGS. 2 and 3, the reflected light having a constant vertical reflection angle βp is always two-dimensionally from the partial region Lp long in the width direction of the steel plate 1 on the strip-shaped light irradiation region LA. Light is received at the p-th row of the CMOS image sensor 22 of the light receiving unit 21 of the imaging device 20. Similarly, the reflected light having a constant vertical reflection angle βq is always received from the partial region Lq on the belt-shaped light irradiation region LA by the q-th column of the CMOS image sensor 22 of the light-receiving surface 21 of the two-dimensional imaging device 20. It will be. The correspondence between the partial regions Lp and Lq on the strip-shaped light irradiation area LA and the p-column and q-column on the CMOS image sensor 22 is determined in advance by using the optical system for the strip-shaped light irradiation area LA. A captured image is obtained by the image sensor 22 and calibrated.
ところで、帯状光照射領域LAは、2次元撮像装置20の受光部21に結像しているため、帯状光L1が垂直方向入射角度αで入射している部分領域Lpから、常に一定の垂直方向反射角度βpで1走査線分の画像が入射していることになる。従って、CMOS撮像素子22の画素列を任意に選択すれば、帯状光照射領域LAの範囲内で、常に一義に垂直方向反射角度を選択することが可能である。尚、ここでは部分領域Lp、Lqを撮像する場合を説明しているが、この部分領域の個数は、複数であればよく、3以上であってもよい。 By the way, since the band-shaped light irradiation area LA forms an image on the light receiving portion 21 of the two-dimensional imaging device 20, the band-shaped light L1 always has a constant vertical direction from the partial area Lp where the band-shaped light L1 is incident at the vertical direction incident angle α. An image of one scanning line is incident at the reflection angle βp. Therefore, if the pixel row of the CMOS image sensor 22 is arbitrarily selected, the vertical reflection angle can always be selected uniquely within the range of the belt-shaped light irradiation region LA. Although the case where the partial areas Lp and Lq are imaged is described here, the number of the partial areas may be plural and may be three or more.
(制御装置30)
制御装置30は、2次元撮像装置20等を制御する。より具体的には、制御装置30は、2次元撮像装置20で撮像する1枚の画像上の鋼板ライン方向(通板方向)の画素サイズが、1回の撮像動作の時間中に移動する鋼板の長さに等しくなるように、ライン速度に対応してPLG40から出力されるパルス信号に同期して、2次元撮像装置20が1回撮像するための撮像駆動信号を出力する。また、制御装置30は、後で詳細を記載するような処理で、画像信号を読み出すCMOS撮像素子22の複数の画素列を選択し、同時に前記画素列夫々の露光時間(垂直方向反射角度毎の露光時間)を設定する。そして、制御装置20は、2次元撮像装置20から1回の撮像動作中に得られる夫々の列単位画像を順次鋼板長手方向に合成してフレーム画像を作成し、順次疵画像処理装置31に出力する。
(Control device 30)
The control device 30 controls the two-dimensional imaging device 20 and the like. More specifically, the control device 30 is a steel plate in which the pixel size in the steel plate line direction (through plate direction) on one image captured by the two-dimensional imaging device 20 moves during the time of one imaging operation. The two-dimensional imaging device 20 outputs an imaging drive signal for imaging once in synchronization with the pulse signal output from the PLG 40 corresponding to the line speed so as to be equal to the length of. In addition, the control device 30 selects a plurality of pixel columns of the CMOS image sensor 22 from which an image signal is read out in a process that will be described in detail later, and at the same time, exposes each pixel column (for each vertical reflection angle). Set the exposure time. Then, the control device 20 sequentially synthesizes each column unit image obtained during one imaging operation from the two-dimensional imaging device 20 in the longitudinal direction of the steel plate, creates a frame image, and sequentially outputs it to the bag image processing device 31. To do.
図5は、鋼板1の疵検査をする際にCMOS撮像素子22上の2つの画素列(p列目、q列目)が選択された場合の処理の一例を説明する説明図である。つまり、この図5の例では、1回の撮像でp列目の画素列とq列目の画素列とから2の列単位画像が得られるが、この1回の撮像に対する列単位画像の個数は複数であれば特に限定されるものではない。より具体的に説明する。図5(a)には、2次元撮像装置20のp列目の画素列とq列目の画素列により撮像された列単位画像(p列単位画像又はq列単位画像)、夫々の鋼板1上の撮像位置である部分領域(Lp又はLq)、及び、鋼板1の搬送方向を上方向へ、時間軸を右方向にして、各撮像時刻t、t+i、t+2i(ここでiは撮像に要する時間)における鋼板1の移動の様子を模式的に示す。CMOS撮像素子の横方向の画素数をWとすると、p列目およびq列目の画素列の幅はいずれもW画素となる。本発明の実施形態では、制御装置30から出力される撮像駆動信号は、2次元撮像装置20が1回の撮影時間中に移動する鋼板の長さと、撮像する画像上の鋼板ライン方向の画素サイズと等しくなるように同期しているので、制御装置30は、順次撮像動作で得られた、予め設定しておいたH個の夫々の列単位画像(p列単位画像同士又はq列単位画像同士)を図5(b)に示すように、各撮像時刻毎に順次並べて配列・合成するだけで、p列単位画像を鋼板長手方向に合成したフレーム画像Ipと、q列単位画像を鋼板長手方向に合成したフレーム画像Iqとを作成することができる。また、フレーム画像IpおよびIqは、上記のようにそれぞれ画素数Wの画素列をH個だけ配列・合成しているので、IpおよびIqの鋼板幅方向の画素数(以降、フレーム画像の高さと呼ぶ)および長手方向の画素数(以降、フレーム画像の幅と呼ぶ)は、それぞれWおよびHとなる。 FIG. 5 is an explanatory diagram for explaining an example of processing when two pixel columns (p-th column and q-th column) on the CMOS image sensor 22 are selected when the steel sheet 1 is inspected. That is, in the example of FIG. 5, two column-unit images are obtained from the p-th pixel column and the q-th pixel column by one imaging, but the number of column-unit images for this one imaging. There is no particular limitation as long as there is a plurality. This will be described more specifically. FIG. 5A shows a column unit image (p column unit image or q column unit image) captured by the p-th pixel column and the q-th pixel column of the two-dimensional imaging device 20, each steel plate 1. The partial area (Lp or Lq), which is the upper imaging position, and the conveying direction of the steel sheet 1 are upward, the time axis is rightward, and each imaging time t, t + i, t + 2i (where i is required for imaging) A state of movement of the steel plate 1 in (time) is schematically shown. If the number of pixels in the lateral direction of the CMOS image sensor is W, the widths of the p-th and q-th pixel columns are both W pixels. In the embodiment of the present invention, the imaging drive signal output from the control device 30 includes the length of the steel plate that the two-dimensional imaging device 20 moves during one imaging time, and the pixel size in the steel plate line direction on the image to be captured. Since the control device 30 is synchronized so as to be equal to each other, the control device 30 obtains H column unit images (p column unit images or q column unit images) that are obtained by sequential imaging operations and are set in advance. 5), a frame image Ip in which p-row unit images are combined in the longitudinal direction of the steel plate and a q-row unit image in the longitudinal direction of the steel plate simply by arranging and synthesizing them sequentially at each imaging time. The frame image Iq synthesized with the above can be created. In addition, since the frame images Ip and Iq are arranged and combined with H pixel columns each having the number of pixels W as described above, the number of pixels in the steel plate width direction of Ip and Iq (hereinafter referred to as the height of the frame image). And the number of pixels in the longitudinal direction (hereinafter referred to as the width of the frame image) are W and H, respectively.
なお、同じ撮像動作中に得ることができる列単位画像の選択可能な画素列は、上記では2つの異なる垂直方向反射角度βpおよびβqに対応した2つのp列目の画像列とq列目の画像列を用いる場合について説明したが、上述のように、異なる複数の垂直方向反射角度βに対応する画素列は、2つに制限されるものではなく、受光部21の有する画像列数まで選択が可能である。 The selectable pixel columns of the column-unit image that can be obtained during the same imaging operation are the two p-th image columns and the q-th column corresponding to the two different vertical reflection angles βp and βq in the above. Although the case where the image sequence is used has been described, as described above, the number of pixel columns corresponding to a plurality of different vertical reflection angles β is not limited to two, but can be selected up to the number of image sequences that the light receiving unit 21 has. Is possible.
(動作及び露光時間等の更新について)
上述の通り、この制御装置30は、複数のp列目の画素列とq列目の画素列夫々に対する露光時間を設定する。ここでこの露光時間決定過程について、図6〜図9を参照して、フレーム画像の合成処理と共に詳しく説明する。
(About update of operation and exposure time)
As described above, the control device 30 sets the exposure time for each of the plurality of p-th pixel columns and the q-th pixel column. Here, the process for determining the exposure time will be described in detail together with the frame image composition processing with reference to FIGS.
図6〜図9は、図5に示したフレーム画像の合成処理、および合成したフレーム画像から垂直方向反射角度それぞれに適した露光時間を決定する処理を説明する説明図である。以下では、1つの垂直反射角度に対応するフレーム画像から、その垂直反射角度に対応する露光時間を更新する処理を説明する。しかし、本実施形態のように、垂直反射角度を複数用いる場合、つまり、複数の列単位画像を撮像する場合も同様であり、それぞれの垂直反射角度に対応するフレーム画像から、その露光時間を計算すればよい。 6 to 9 are explanatory diagrams for explaining the frame image combining process shown in FIG. 5 and the process of determining an exposure time suitable for each vertical reflection angle from the combined frame image. Hereinafter, a process for updating the exposure time corresponding to the vertical reflection angle from the frame image corresponding to one vertical reflection angle will be described. However, the same applies to the case where a plurality of vertical reflection angles are used as in the present embodiment, that is, the case where a plurality of column unit images are captured, and the exposure time is calculated from the frame image corresponding to each vertical reflection angle. do it.
露光時間には、後述するように、予め設定された初期値が設定されている。そして、その初期値で撮像及び作成したフレーム画像を使って、図6に示す処理フローに従った露光時間の更新が行われる。 As will be described later, a preset initial value is set for the exposure time. Then, the exposure time is updated according to the processing flow shown in FIG. 6 using the frame image captured and created with the initial value.
まず、照明装置10が、帯状光L1の帯状光照射領域LAへの照射を開始し(帯状光を照射するステップの一例)、2次元撮像装置20が、当該帯状光照射領域LAを複数の画素列で撮像し(複数の列単位画像を出力するステップの一例)、その後、ステップ51以降の処理が開始される。 First, the illumination device 10 starts irradiating the band-shaped light irradiation area LA with the band-shaped light L1 (an example of a step of irradiating the band-shaped light), and the two-dimensional imaging apparatus 20 sets the band-shaped light irradiation area LA to a plurality of pixels. An image is taken in a row (an example of a step of outputting a plurality of row-unit images), and then the processing after step 51 is started.
ステップ51、52および53では、図5に示したように、制御装置30が、垂直方向反射角度それぞれに対応する列単位画像を2次元撮像装置20から取得し、フレーム画像を作成する(フレーム画像を構成するステップの一例)。そして、フレーム画像が完成するまで、上記の列単位画像取得、及び、フレーム画像合成が繰り返される(ステップ53参照。)。つまり、ステップ51および52により、その垂直方向反射角度の高さ1の列単位画像が得られるので、これをH回繰り返すことでフレーム画像が1つ得られる。 In steps 51, 52 and 53, as shown in FIG. 5, the control device 30 acquires column unit images corresponding to the respective vertical reflection angles from the two-dimensional imaging device 20, and creates a frame image (frame image). An example of steps constituting the above. The above-described column-unit image acquisition and frame image synthesis are repeated until the frame image is completed (see step 53). In other words, a column unit image having a vertical reflection angle height of 1 is obtained in steps 51 and 52, and one frame image is obtained by repeating this H times.
次にステップ54において、制御装置30は、予め定められて処理法でフレーム画像から画素を抽出する。具体的な抽出の方法の一例として、図7の処理フローに示すように鋼板左右エッジを検出し、そのエッジ内の画素を抽出することで、鋼板部分の画素のみを抽出する方法がある。このステップ54で行われる抽出方法の例について説明すると以下の通りである。 Next, in step 54, the control device 30 extracts pixels from the frame image by a predetermined processing method. As a specific example of the extraction method, there is a method of extracting only the pixels of the steel plate portion by detecting the left and right edges of the steel plate and extracting the pixels in the edges as shown in the processing flow of FIG. An example of the extraction method performed in step 54 will be described as follows.
図7に示すように、ステップ61では、制御装置30は、フレーム画像の各画素の輝度値をそれぞれ高さ方向(つまり列単位画像の積層方向又は鋼板1の通板方向)に加算し、その幅方向x(1≦x≦W)の分布(縦プロジェクションと呼ぶ)P(x)を計算する(図8参照。)。つまり、フレーム画像の高さ方向位置y、幅方向位置xにおける画素の輝度値をI(x,y)とすると、縦プロジェクションP(x)を以下のように計算する。
P(x)=I(x,1)+I(x,2)+…I(x、H)、1≦x≦W
As shown in FIG. 7, in step 61, the control device 30 adds the luminance value of each pixel of the frame image to the height direction (that is, the stacking direction of the column unit image or the sheet passing direction of the steel plate 1), A distribution (referred to as vertical projection) P (x) in the width direction x (1 ≦ x ≦ W) is calculated (see FIG. 8). That is, assuming that the luminance value of the pixel at the height direction position y and the width direction position x of the frame image is I (x, y), the vertical projection P (x) is calculated as follows.
P (x) = I (x, 1) + I (x, 2) +... I (x, H), 1 ≦ x ≦ W
次に、ステップ62では、制御装置30は、計算した縦プロジェクションP(x)を、x=1から軸xの正の方向、およびx=Wから軸xの負の方向からそれぞれ走査し、予め指定した値(閾値)を超えた幅方向の位置をそれぞれ左エッジ位置XL,右エッジ位置XRと決定する(図9参照。)。そして、制御装置30は、決定した左右のエッジ位置より、フレーム画像XL≦X≦XRの領域を鋼板部分と見なし、ステップ63において、その鋼板部分の画素をフレーム画像から抽出する。 Next, in step 62, the control device 30 scans the calculated vertical projection P (x) from x = 1 to the positive direction of the axis x and from x = W to the negative direction of the axis x, respectively. The positions in the width direction exceeding the specified value (threshold value) are determined as the left edge position XL and the right edge position XR, respectively (see FIG. 9). Then, the control device 30 regards the region of the frame image XL ≦ X ≦ XR as a steel plate portion from the determined left and right edge positions, and extracts pixels of the steel plate portion from the frame image in step 63.
再び図6を参照して、露光時間の更新処理の説明に戻る。
制御装置30は、ステップ54において抽出した画素に対して、ステップ55において、その輝度値の平均値Vmを計算する。制御装置30は、さらにステップ56において、予め設定しておいた輝度範囲に計算した平均値Vmが収まるように露光時間を修正する。設定した輝度範囲の最大値をVmax、Vmin、露光時間の変更割合をΔE(>0)、現在の露光時間をE、更新後の露光時間をE’とすると、
Vm>Vmaxのとき、E’= E(1−ΔE)
Vm<Vminのとき、E’= E(1+ΔE)
上記以外のとき、 E’= E
のように更新後の露光時間E’を決定する。ここで、輝度範囲(Vmin,Vmax)はフレームの各画素の輝度値の取りうる範囲から、後述する疵画像処理装置31での処理に適した輝度範囲に設定する。例えば、画素が8ビットで表される場合、輝度値のとりうる範囲は0から255であるので、Vmin=80程度、Vmax=220程度に設定することが望ましいがこの数値はあくまで一例である。
Referring again to FIG. 6, the description returns to the exposure time update processing.
In step 55, the control device 30 calculates an average value Vm of the luminance values of the pixels extracted in step 54. In step 56, the control device 30 further corrects the exposure time so that the calculated average value Vm falls within a preset luminance range. Assuming that the maximum value of the set luminance range is Vmax, Vmin, the exposure time change rate is ΔE (> 0), the current exposure time is E, and the updated exposure time is E ′,
When Vm> Vmax, E ′ = E (1−ΔE)
When Vm <Vmin, E ′ = E (1 + ΔE)
In other cases, E '= E
The updated exposure time E ′ is determined as follows. Here, the luminance range (Vmin, Vmax) is set to a luminance range suitable for processing in the later-described image processing apparatus 31 from the range that the luminance value of each pixel of the frame can take. For example, when a pixel is represented by 8 bits, the range of luminance values that can be taken is from 0 to 255. Therefore, it is desirable to set Vmin = 80 and Vmax = 220, but this value is merely an example.
そして、ステップ56で露光時間が更新された後、制御装置30は、ステップ57で撮像が終了しているか、つまり、所望のフレーム画像が全て撮像されたか否かを確認し、更にフレーム画像を撮像すべき場合には、ステップ51以降の処理を繰り返すことにより、更新後の露光時間で撮像を行う。 Then, after the exposure time is updated in step 56, the control device 30 confirms whether or not imaging has been completed in step 57, that is, whether or not all desired frame images have been captured, and further captures frame images. If it should be, imaging is performed with the updated exposure time by repeating the processing from step 51 onward.
なお、疵検査中に露光時間が変更されると、同一の垂直方向反射角度に対する複数のフレーム画像間で、輝度変化が生じることとなり、後段の疵画像処理装置31における疵検出や、作業者がそのフレーム画像を参照した場合などにおいて、疵を判別することが難しくなることがある。そこで、このような疵の検出が難しくなる事態が生じることがないように、露光時間の変更割合ΔEは、疵画像処理装置31での疵検出感度に対して十分小さく、例えばΔE=0.05程度に設定されることが望ましい。 Note that if the exposure time is changed during the eyelid inspection, a luminance change occurs between a plurality of frame images with respect to the same vertical reflection angle. When referring to the frame image, it may be difficult to determine wrinkles. Therefore, the exposure time change rate ΔE is sufficiently small with respect to the wrinkle detection sensitivity in the wrinkle image processing device 31 so as not to cause such a situation that detection of wrinkles becomes difficult, for example, ΔE = 0.05. It is desirable to set the degree.
また、上記図6に示した露光時間変更処理では、1のフレーム画像を作成するための各画素列に対する露光時間を、そのフレーム画像よりも前に撮像したフレーム画像の輝度の平均値を用いて変更したが、この変更は、1のフレーム画像を形成する画素列を取得する途中で行われてもよい。ただし、この場合、例えば、同一の画素列に対する列単位画像が所定数以上取得された段階で、輝度値の平均値Vmを計算し、上記の処理が行われることが望ましい。例えば、疵画像が列単位画像に含まれる場合、その輝度値の平均値Vmには、疵からの異常な輝度が含まれることになるため、上記のようにフレーム画像ではなく複数の列単位画像から平均値Vmを計算する場合、所定数以上の列単位画像に対して輝度値の平均値Vmを計算することが望ましい。ただし、この場合、疵検査中に露光時間が変更されると1のフレーム画像には露光時間変更前の領域と変更後の領域の境界が映り、この境界部分に大きな輝度変化が生じた場合に、この境界を疵として誤検出することが考えられる。従って、この場合も、露光時間の変更割合ΔEは、疵画像処理装置31での疵検出感度に対して十分小さく、例えばΔE=0.05程度に設定されることが望ましい。 Further, in the exposure time changing process shown in FIG. 6, the exposure time for each pixel row for creating one frame image is calculated using the average value of the luminance of the frame image captured before the frame image. Although changed, this change may be performed in the middle of acquiring a pixel row forming one frame image. However, in this case, for example, it is preferable that the average value Vm of the luminance values is calculated and the above processing is performed when a predetermined number or more of column-unit images for the same pixel column are acquired. For example, when a cocoon image is included in a column-unit image, the average value Vm of the luminance values includes abnormal luminance from the cocoon, so a plurality of column-unit images instead of a frame image as described above. When calculating the average value Vm from the above, it is desirable to calculate the average value Vm of luminance values for a predetermined number of column-unit images. However, in this case, when the exposure time is changed during the eyelid inspection, the boundary between the area before the exposure time change and the area after the change is reflected in one frame image, and a large luminance change occurs in this boundary portion. It can be considered that this boundary is erroneously detected as a trap. Therefore, also in this case, the change rate ΔE of the exposure time is desirably sufficiently small with respect to the wrinkle detection sensitivity in the haze image processing device 31, and is preferably set to about ΔE = 0.05, for example.
また、上述のように、列単位画像を撮像する複数の画素列(例えばq列目とq列目)は制御装置30により設定され、かつ、図6の処理による露光時間の更新が行われる前には、露光時間として予め所定の初期値が設定されていることが望ましい。この画素列の選択及び露光時間の初期値について説明すれば以下の通りである。 Further, as described above, a plurality of pixel columns (for example, the q-th column and the q-th column) for capturing a column-unit image are set by the control device 30, and before the exposure time is updated by the processing of FIG. It is desirable that a predetermined initial value is set in advance as the exposure time. The selection of the pixel column and the initial value of the exposure time will be described as follows.
つまり、制御装置30は、予め鋼板1の品種や表面性状に対応させて、どのような垂直方向反射角度(CMOS撮像素子22の読み出す画素列で一義に決定される)で鋼板を撮像すれば精度良く疵検出ができるかを、予め実験等によって検討して、鋼板1の品種等ごとに垂直方向反射角度または画素列の番号として内蔵するデータベース(図示しない)に登録することが望ましい。また、露光時間についても、制御装置30は、同様に予め鋼板1の品種や表面性状に対応させて、どのような露光時間で鋼板を撮像すれば露光時間を頻繁に変更せずに済むかを、予め実験等によって検討して、当該品種や表面性状の露光時間の初期値として上記データベースに登録することが望ましい。そして、実際に鋼板ラインで検査するときに、制御装置30は、被検査材の鋼板の品種や表面性状に適した垂直方向反射角度および露光時間の初期値を、当該データベースを基に決定して、CMOS撮像素子22の読み出し画素列設定信号および当該画素列の露光時間設定信号を2次元撮像装置20に出力して撮像を制御することが望ましい。 That is, if the control device 30 images the steel plate at any vertical reflection angle (uniquely determined by the pixel row read by the CMOS image sensor 22) in advance corresponding to the type and surface properties of the steel plate 1, the accuracy is high. It is desirable that whether or not wrinkles can be detected well is examined in advance by experiments or the like and registered in a database (not shown) built in as a vertical reflection angle or pixel column number for each type of steel plate 1 or the like. Similarly, with respect to the exposure time, the control device 30 similarly corresponds to the type and surface properties of the steel plate 1 in advance, and what exposure time is used to image the steel plate so that the exposure time does not need to be changed frequently. It is desirable to study in advance through experiments or the like and register it in the database as the initial value of the exposure time for the product type and surface texture. Then, when actually inspecting the steel plate line, the control device 30 determines the initial values of the vertical reflection angle and the exposure time suitable for the type and surface properties of the steel plate to be inspected based on the database. It is desirable to control the imaging by outputting the readout pixel column setting signal of the CMOS image sensor 22 and the exposure time setting signal of the pixel column to the two-dimensional imaging device 20.
(疵画像処理装置31)
疵画像処理装置31は、制御装置30で複数の列単位画像から作成したフレーム画像が入力されて、当該フレーム画像に対して、例えば、シェーディング補正等の画質改善・ラベリング処理・幾何学的特徴量抽出等のような画像解析などの画像処理、及び疵判定処理を行って有害疵を検出する(疵を検出するステップの一例)。例えば、本出願人が出願した特許文献2に開示されているように、疵画像処理装置31は、例え、閾値を用いて輝度値を2値化して閾値以上の領域などを疵候補画像として抽出したり、フレーム画像の輝度分布をパターンフィッティングして疵候補画像を抽出するなどのように、得られたフレーム画像から疵候補画像を抽出する。そして、疵画像処理装置31は、抽出された疵候補画像の中から特定形状の模様を含む画像を抽出し、抽出した画像に所定の画像処理(例えばパターンフィッテングや特徴量抽出及び判定など)を行って有害疵を検出することにより、有害疵を検出するために行う画像処理対象を絞り込んでもよい。このような処理を行うことにより、疵画像処理装置31は、高速且つ高精度で疵検出が可能であり、鋼板表面部分のみの画像処理を効率よく行うことができ、ロール2上を移動している鋼板がいわゆるウォークと呼ばれる蛇行をおこしても鋼板エッジを起点に有害疵の発生位置を正確に算出することができる。
(疵 image processing device 31)
The image processing device 31 receives a frame image created from a plurality of column-unit images by the control device 30 and, for example, improves image quality such as shading correction, labeling processing, and geometric feature amount for the frame image. Image processing such as image analysis such as extraction, and wrinkle determination processing are performed to detect harmful wrinkles (an example of a step for detecting wrinkles). For example, as disclosed in Patent Document 2 filed by the present applicant, the hail image processing device 31 binarizes the luminance value using the threshold value and extracts a region above the threshold value as a haze candidate image, for example. The candidate image is extracted from the obtained frame image, such as extracting the candidate image by pattern fitting the luminance distribution of the frame image. Then, the haze image processing device 31 extracts an image including a pattern of a specific shape from the extracted haze candidate images, and performs predetermined image processing (for example, pattern fitting, feature amount extraction and determination) on the extracted image. The target of image processing to be performed for detecting harmful poisons may be narrowed down by performing harmful detection. By performing such processing, the wrinkle image processing device 31 can detect wrinkles at high speed and with high accuracy, can efficiently perform image processing only on the surface portion of the steel sheet, and moves on the roll 2. Even if the steel sheet is meandering so-called “walk”, the occurrence position of harmful flaws can be accurately calculated from the edge of the steel sheet.
(オペレータ疵表示装置32)
オペレータ疵表示装置32は、例えばコンピュータディスプレーなどの表示装置で構成され、例えば、疵画像処理装置31から送られてくる検出した疵の疵画像および疵画像から抽出された特徴量を含む信号を重畳し、疵の画像および特徴量を表示する。ここで、例えば特徴量としては、疵の種類、鋼板上の発生位置、大きさ、有害度などのデータを含んでもよい。
(Operator 疵 display device 32)
The operator bag display device 32 is configured by a display device such as a computer display, for example, and superimposes a signal including a detected bag image sent from the bag image processing device 31 and a feature amount extracted from the bag image. Then, the image of the cocoon and the feature amount are displayed. Here, for example, the feature amount may include data such as the type of soot, the occurrence position on the steel plate, the size, and the degree of harmfulness.
<本実施形態による効果の例等>
以上説明したように、本発明の実施形態の表面疵検査装置によれば、2次元撮像装置20の受光部21の画素列を選択し、当該画素列の露光時間を任意に設定することによって、撮像装置の数を増やすことなく、2次元撮像装置20の受光部21の画素列を全て露光する通常の撮像時間に比べて同時刻と見なせるくらい短い撮像時間において、複数の受光角度それぞれに適した露光時間を使って夫々撮像した疵画像を複数得ることができ、正反射光学系や乱反射光学系を容易に構築することができる。
この際、この表面疵検査装置は、発生する疵に併せて複数の受光角度を選択することも可能である。つまり、例えば、表面疵検査装置は、帯状体の正常部である地合からの散乱・反射光が少なく、帯状体の表面の微小な疵によるわずかな乱反射の違いや反射率の角度依存性に適した受光角度を選択することができる。そして、表面疵検査装置は、上記の通り、その受光角度の夫々に適した露光時間を設定し、その露光時間で効率よく撮像して、高速かつ高精度に画像処理して疵検出することができる。
従って、この表面疵検査装置は、所定の受光角度でしか輝度変化を得ることができないような疵のリアルタイム検出を、これまでよりも高精度で実現でき、さらには、安価でかつ容易に鋼板上に発生する様々な疵に対応した検査ができる。また、この表面疵検査装置は、簡便で装置を小型化でき、廉価化が可能であるため、装置の導入が容易である。
<Examples of effects according to this embodiment>
As described above, according to the surface flaw inspection apparatus of the embodiment of the present invention, by selecting the pixel column of the light receiving unit 21 of the two-dimensional imaging device 20 and arbitrarily setting the exposure time of the pixel column, It is suitable for each of a plurality of light receiving angles in an imaging time short enough to be regarded as the same time as the normal imaging time for exposing all the pixel columns of the light receiving unit 21 of the two-dimensional imaging device 20 without increasing the number of imaging devices. A plurality of soot images captured using the exposure time can be obtained, and a regular reflection optical system and an irregular reflection optical system can be easily constructed.
At this time, the surface wrinkle inspection apparatus can also select a plurality of light receiving angles in accordance with wrinkles generated. In other words, for example, the surface flaw inspection device has little scattered / reflected light from the formation that is the normal part of the band, and the difference in irregular reflection due to minute wrinkles on the surface of the band and the angle dependence of the reflectance A suitable light receiving angle can be selected. Then, as described above, the surface wrinkle inspection apparatus sets an exposure time suitable for each of the light receiving angles, efficiently captures an image with the exposure time, and performs high-speed and high-precision image processing to detect wrinkles. it can.
Therefore, this surface wrinkle inspection apparatus can realize real-time detection of wrinkles that can obtain a change in luminance only at a predetermined light receiving angle with higher accuracy than before, and can be easily and inexpensively performed on a steel plate. Can be tested for various wrinkles. In addition, this surface defect inspection apparatus is simple, can be downsized, and can be inexpensive. Therefore, the apparatus can be easily introduced.
より具体的に効果等を例示すると、本発明の実施の形態では、2次元撮像装置20は、1回の撮像動作中に、制御装置30によって選択される所定の異なる複数の画素列を、同じく制御装置30によって各画素列毎に設定された時間を用いて露光した後、当該画素列の画像信号を読み出す手段を備えている。よって、この表面疵検査装置によれば、CMOS撮像素子22のp列目とCMOS撮像素子22のq列目を予め制御装置30で選択しておけば、1回の撮像動作によって、夫々任意の露光時間で撮影された垂直方向反射角度βpのp列単位画像と垂直方向反射角度βqのq列単位画像を同時に得ることができる。 More specifically, in the embodiment of the present invention, in the embodiment of the present invention, the two-dimensional imaging device 20 similarly uses a plurality of predetermined different pixel columns selected by the control device 30 during one imaging operation. Means is provided for reading out the image signal of the pixel column after exposure using the time set for each pixel column by the control device 30. Therefore, according to this surface defect inspection apparatus, if the control device 30 previously selects the p-th column of the CMOS image sensor 22 and the q-th column of the CMOS image sensor 22, an arbitrary image can be obtained by one imaging operation. A p-row unit image with a vertical reflection angle βp and a q-row unit image with a vertical reflection angle βq captured at the exposure time can be obtained simultaneously.
さらに、前述したように、2次元撮像装置20は、制御装置30から出力される、鋼板1の移動に対応するパルス信号PLGに同期した撮像駆動信号によって、撮像動作を繰り返す。よって、本実施形態に係る表面疵検査装置は、容易に、垂直方向反射角度βpで撮像したフレーム画像(図5、Ip)と、垂直方向反射角度βqで撮像したフレーム画像(図5、Iq)とを連続して鋼板長手方向全域について得ることが可能である。したがって、この表面疵検査装置は、鋼板1の地合表面に適した任意の乱反射光学系を構築することが可能となり、疵表面で起こるわずかな乱反射の違いや反射率の角度依存性により、所定の受光角度でしか輝度変化を得ることできなかった疵に対して、最適な受光角度(即ち、垂直方向反射角度)で撮像することができる。 Furthermore, as described above, the two-dimensional imaging device 20 repeats the imaging operation using the imaging drive signal output from the control device 30 and synchronized with the pulse signal PLG corresponding to the movement of the steel plate 1. Therefore, the surface defect inspection apparatus according to the present embodiment can easily perform a frame image (FIG. 5, Ip) captured at the vertical reflection angle βp and a frame image (FIG. 5, Iq) captured at the vertical reflection angle βq. Can be obtained continuously over the entire length of the steel sheet. Therefore, this surface wrinkle inspection apparatus can construct an arbitrary irregular reflection optical system suitable for the ground surface of the steel sheet 1, and it has a predetermined difference due to a slight difference in irregular reflection occurring on the wrinkle surface and the angle dependency of the reflectance. With respect to the eyelid that can obtain the luminance change only at the light receiving angle, the image can be taken at the optimum light receiving angle (that is, the vertical reflection angle).
さらに、この表面疵検査装置は、垂直方向反射角度夫々に適した露光時間を設定できるので、夫々の垂直方向反射角度での輝度範囲(ダイナミックレンジ)に応じたフレーム画像を得ることができ、同一露光時間による撮影で問題となった白飛びや黒潰れによる有意な輝度情報の喪失を低減することができ、疵部の検出や認識の精度を向上することができる。 Furthermore, since this surface defect inspection apparatus can set an exposure time suitable for each vertical reflection angle, it is possible to obtain a frame image corresponding to the luminance range (dynamic range) at each vertical reflection angle. Significant loss of luminance information due to overexposure or underexposure, which is a problem in shooting with exposure time, can be reduced, and the accuracy of detection and recognition of the buttock can be improved.
また、図3に示すように、2次元撮像装置20の光軸が、垂直方向入射角度αとほぼ等しい垂直方向反射角度β(垂直方向入射角度との差が0°〜5°)で反射する反射光を受光する2次元撮像装置20の受光面21のCMOS撮像素子22のr列目で受光するように、画素列を制御装置30で選択すれば、正反射光学系を構築することができ、凹凸性状疵が検出しやすくなる。ここで、正反射光学系を構築するために、CMOS撮像素子22のr列目を選択するのに、反射光の強度を測定し、一番強度の高い画素列を選択しても良い。なお、鋼板地合が鏡面のような場合は、正反射光学系から±1〜2°程度ずらした条件(トワイライトゾーン)を満たす画素列を選択して撮像すると、地合からの強烈な反射光が低減されて、微小凹凸性状疵の顕在化が図れるという結果が得られる。図5(b)には一例として、正反射凹凸疵(疵H)と、有色疵である異物付着(疵G)を撮影したときに得られた画像を示した。図5(b)でIpが正反射光学系で得られたフレーム画像であり(すなわち、p=rとなる例である)、Iqが乱反射光学系で得られたフレーム画像である。正反射光学系で得られた画像から、微小凹凸性状疵を、乱反射光学系から得られた画像から異物付着等の有色疵を確実に検出することができる。 Also, as shown in FIG. 3, the optical axis of the two-dimensional imaging device 20 reflects at a vertical reflection angle β (difference from the vertical incident angle is 0 ° to 5 °) substantially equal to the vertical incident angle α. A specular reflection optical system can be constructed by selecting a pixel row with the control device 30 so as to receive light at the r-th row of the CMOS image sensor 22 of the light receiving surface 21 of the two-dimensional imaging device 20 that receives reflected light. As a result, it becomes easier to detect the irregularity wrinkles. Here, in order to construct the regular reflection optical system, in order to select the r-th column of the CMOS image sensor 22, the intensity of the reflected light may be measured and the pixel column having the highest intensity may be selected. In addition, when the steel plate formation is a mirror surface, intense reflected light from the formation is obtained by selecting a pixel row that satisfies the condition (twisting zone) shifted by about ± 1 to 2 ° from the regular reflection optical system. As a result, it is possible to obtain a result that the fine concavo-convex characteristic flaws can be realized. FIG. 5B shows, as an example, an image obtained when photographing regular reflection unevenness wrinkles (疵 H) and foreign matter adhesion (疵 G) that is colored wrinkles. In FIG. 5B, Ip is a frame image obtained by the regular reflection optical system (that is, an example in which p = r), and Iq is a frame image obtained by the irregular reflection optical system. From the image obtained with the regular reflection optical system, it is possible to reliably detect minute irregularities and the like, and from the image obtained from the irregular reflection optical system, colored wrinkles such as foreign matter adhesion.
そして、この表面疵検査装置は、上述の通り、2次元撮像装置20の受光部21の複数の画素列から、1又は2以上の画素列を選択し、その選択した画素列それぞれから列単位画像を取得する。そして、表面疵検査装置は、その各画素列から取得した列単位画像を、各画素列毎に重畳して、各画素列(つまり垂直方向反射角度)に対応したフレーム画像を形成する。従って、例えば、上記特許文献1に記載の技術のように、全ての画素列を含むフレーム画像を複数枚形成し、その複数枚のフレーム画像から、各受光角度に対する検査画像を形成する場合に比べて、本実施形態に係る表面疵検査装置は、全ての画素列を露光する必要はなく、選択した画素列を露光するだけで済むので、リアルタイム性を大幅に向上させることができる。このような表面疵検査装置は、更に、列単位画像を得る画素列を選択することにより、各画素列に対して適した露光時間を別々に設定することをも可能としている。 Then, as described above, the surface defect inspection apparatus selects one or two or more pixel columns from the plurality of pixel columns of the light receiving unit 21 of the two-dimensional imaging device 20, and selects a column unit image from each of the selected pixel columns. To get. Then, the surface defect inspection apparatus superimposes the column unit images acquired from the respective pixel columns for each pixel column, and forms a frame image corresponding to each pixel column (that is, the vertical reflection angle). Therefore, for example, as in the technique described in Patent Document 1, a plurality of frame images including all pixel columns are formed, and an inspection image for each light receiving angle is formed from the plurality of frame images. Thus, the surface defect inspection apparatus according to the present embodiment does not need to expose all the pixel columns, and only needs to expose the selected pixel columns, so that the real-time property can be greatly improved. Such a surface defect inspection apparatus can also set an appropriate exposure time for each pixel column by selecting a pixel column from which a column-unit image is obtained.
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されないことは言うまでもない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described in detail, referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to this example. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
(画素抽出処理の変更例)
例えば、上記実施形態では、ステップ54における複数の画素を抽出する際に、制御装置30が、図7に示すように、エッジを縦プロジェクションから求める場合について説明した。しかしながら、この処理方法は、この例に限定されるものではなく、エッジ内の領域、つまり、検査対象である鋼板1が撮像された領域の複数の画素を、フレーム画像から抽出できる方法であれば、様々な方法が使用可能である。例えば、制御装置30は、フレーム画像の各画素列(つまり列単位画像)毎に、閾値を用いて操作して、左右エッジ位置を検出し、その左右エッジ位置間の画素を抽出すること可能である。この場合、制御装置30は、例えば鋼板1にうねりが生じていたり、幅が一定でない場合など、列単位画像毎にエッジ位置を検出することが可能となり、鋼板1を表した画素をより正確に抽出することが可能となる。なお、ここで説明したエッジ検出方法は、あくまで一例であり、画素抽出処理時には様々なエッジ検出方法を使用可能であることは言うまでもない。
(Example of pixel extraction process change)
For example, in the above-described embodiment, the case where the control device 30 obtains the edge from the vertical projection as illustrated in FIG. 7 when extracting a plurality of pixels in step 54 has been described. However, this processing method is not limited to this example, as long as it is a method that can extract a plurality of pixels in the region within the edge, that is, the region in which the steel plate 1 to be inspected is imaged, from the frame image. Various methods can be used. For example, the control device 30 can operate for each pixel column (that is, a column-unit image) of the frame image using a threshold value to detect the left and right edge positions and extract pixels between the left and right edge positions. is there. In this case, the control device 30 can detect the edge position for each column unit image, for example, when the steel plate 1 is wavy or the width is not constant, and the pixel representing the steel plate 1 is more accurately detected. It becomes possible to extract. Note that the edge detection method described here is merely an example, and it is needless to say that various edge detection methods can be used during pixel extraction processing.
(露光時間調整の変更例)
また、上記実施形態では、図6に示すステップ55で計算した平均値Vmを用いて、制御装置30が、ステップ56においてその平均値Vmが、予め設定された輝度範囲Vmax〜Vmin内に収まるように、露光時間を変更割合ΔEだけ変更した。しかしながら、この露光時間調整方法は、この例に限定されるものではなく、その後撮像されるフレーム画像の輝度値が白飛びや黒潰れなどとならない値となるような露光時間調整であれば様々な方法を使用可能である。
(Example of changing exposure time adjustment)
In the above embodiment, the control device 30 uses the average value Vm calculated in step 55 shown in FIG. 6 so that the average value Vm falls within the preset luminance range Vmax to Vmin in step 56. In addition, the exposure time was changed by a change rate ΔE. However, the exposure time adjustment method is not limited to this example, and various exposure time adjustments are possible as long as the brightness value of a frame image to be captured thereafter is a value that does not cause overexposure or blackout. The method can be used.
例えば、制御装置30は、平均値Vmが所定の目標値Vtに近づくように、露光時間を調整することも可能である。より具体的にはこの場合、露光時間の変更割合をΔE(>0)、現在の露光時間をE、更新後の露光時間をE’とすると、
Vt>Vmのとき、E’= E(1−ΔE)
Vt<Vmのとき、E’= E(1+ΔE)
上記以外のとき、 E’= E
のように更新後の露光時間E’を決定することも可能である。この場合も露光時間E’は、平均値VmがVtに近い値の範囲内で調整されることとなり、適切な露光時間調整が可能である。
For example, the control device 30 can adjust the exposure time so that the average value Vm approaches the predetermined target value Vt. More specifically, in this case, assuming that the change rate of the exposure time is ΔE (> 0), the current exposure time is E, and the updated exposure time is E ′,
When Vt> Vm, E ′ = E (1−ΔE)
When Vt <Vm, E ′ = E (1 + ΔE)
In other cases, E '= E
It is also possible to determine the updated exposure time E ′ as shown in FIG. Also in this case, the exposure time E ′ is adjusted within the range where the average value Vm is close to Vt, and appropriate exposure time adjustment is possible.
また、他の露光時間調整の変更例としては、輝度値と露光時間との間に存在する相関関係(例えば線形関係)を利用した方法も使用可能である。より具体的には、輝度値と露光時間との間に線形関係が存在する場合、露光時間をn倍にすれば、輝度値もn倍となることが予想される。そこで、制御装置30は、平均値Vmの目標値をVtとし、露光時間の倍率をnとし、現在の露光時間をE、更新後の露光時間をE’とすると、倍率nは、
n=Vt/Vm
で求められ、更に、変更後の露光時間E’は、
E’=n×E
のように決定することも可能である。この際、例えば、1のフレーム画像形成中に露光時間を変更する場合には、急激に明るさが変化して過検出となることを防ぐため、この変更倍率nを、リミッタ値nlにより、倍率n’へと
n’=min(n,nl)
により変更して、変更後の露光時間E’を、
E’=n’×E
のように決定することが望ましい。
Further, as another example of changing the exposure time adjustment, a method using a correlation (for example, a linear relationship) existing between the luminance value and the exposure time can be used. More specifically, when there is a linear relationship between the brightness value and the exposure time, it is expected that the brightness value will be increased by n times if the exposure time is increased by n times. Therefore, when the target value of the average value Vm is Vt, the exposure time magnification is n, the current exposure time is E, and the updated exposure time is E ′, the control device 30 has the magnification n:
n = Vt / Vm
Further, the exposure time E ′ after the change is
E ′ = n × E
It is also possible to determine as follows. At this time, for example, when the exposure time is changed during the formation of one frame image, the change magnification n is multiplied by the limiter value nl in order to prevent over-detection due to a sudden change in brightness. To n ′ n ′ = min (n, nl)
To change the exposure time E ′ after the change,
E ′ = n ′ × E
It is desirable to decide as follows.
なお、図6に示す上記実施形態の場合や、ここで説明した露光時間調整例では、フレーム画像からエッジ部をのぞく領域を抽出し、その領域に対する輝度値の平均値を使用した。しかしながら、制御装置30は、輝度値の平均値ではなく、中央値などを使用することももちろん可能である。 In the case of the above-described embodiment shown in FIG. 6 and the example of adjusting the exposure time described here, an area excluding the edge portion is extracted from the frame image, and an average value of luminance values for the area is used. However, the control device 30 can use the median value or the like instead of the average value of the luminance values.
(プログラム等)
また、例えば、制御装置30及び疵画像処理装置31等は、図1に示すように個別の専用装置で構成されてもよいが、ソフトウエアにより上記所定の機能をコンピュータに実現させても良い。上記機能をソフトウエア等により行う場合、汎用又は専用のコンピュータにプログラムを実行させることにより、制御装置30及び疵画像処理装置31等の機能を実現することができる。つまり、制御装置30及び疵画像処理装置31等は、所定の機能を実現させる夫々作業者が上記の疵検出のための設定値を入力するためのキーボードやマウス等の入力装置と、オペレータ疵表示装置32に対する入力/出力インターフェイスと、画像メモリを含む内部メモリと、DVD−RAMやHDD等の外部記録装置と、コンピュータ・ディスプレーなどを具備するコンピュータで構成することも出来る。また、制御装置30及び疵画像処理装置31は、夫々別個のコンピュータで構成してもよく、また、設置場所や製作費を低減するために一台で構成しても良い。さらに、鋼板等の製造ラインを統括するプロセス=コンピュータとLAN又は専用のケーブル等で接続するI/Oボードを備えて、被検査材の鋼板の種類の情報を当該プロセスコンピュータから得るようにしてもよく、又、疵検出結果を当該プロセスコンピュータに出力するようにしても良い。制御装置30及び疵画像処理装置31で行う上記の制御や各データ処理(情報処理)は、このようにコンピュータ等で構成した装置で、予め作成した疵画像測定プログラム及び疵画像処理プログラムをHDD及び内部メモリにロードして実行させることも可能である。
(Program etc.)
In addition, for example, the control device 30 and the eyelid image processing device 31 may be configured by individual dedicated devices as shown in FIG. 1, but the predetermined function may be realized by a computer by software. When the above functions are performed by software or the like, the functions of the control device 30 and the eyelid image processing device 31 can be realized by causing a general-purpose or dedicated computer to execute the program. In other words, the control device 30 and the eyelid image processing device 31 and the like each include an input device such as a keyboard and a mouse for inputting the set values for the above-described eyelid detection by an operator who realizes a predetermined function, and an operator eyelid display. An input / output interface for the device 32, an internal memory including an image memory, an external recording device such as a DVD-RAM or an HDD, and a computer having a computer display or the like can also be used. Further, the control device 30 and the eyelid image processing device 31 may be configured by separate computers, respectively, or may be configured by a single unit in order to reduce the installation location and production cost. In addition, a process for controlling a production line for steel plates, etc. = an I / O board connected to a computer or a LAN or a dedicated cable, etc., so that information on the type of steel plate to be inspected can be obtained from the process computer Alternatively, the wrinkle detection result may be output to the process computer. The above-described control and each data processing (information processing) performed by the control device 30 and the eyelid image processing device 31 are devices configured by a computer or the like as described above. It is also possible to load and execute it in the internal memory.
1 鋼板
2 ロール
10 照明装置
11 光源
12 光ファイバー束
13 光ファイバー束入力端
14 光はフィバー束出力端
20 2次元撮像装置
21 受光部
22 CMOS撮像素子
23 部分読み出し手段
30 制御装置
31 疵画像処理装置
32 オペレータ疵表示装置
40 PLG
L1 帯状光
LA 帯状光照射領域
Lp、Lq 帯状光照射領域内の撮像位置(部分領域)
DESCRIPTION OF SYMBOLS 1 Steel plate 2 Roll 10 Illuminating device 11 Light source 12 Optical fiber bundle 13 Optical fiber bundle input end 14 Light is a fiber bundle output end 20 Two-dimensional imaging device 21 Light-receiving part 22 CMOS imaging element 23 Partial reading means 30 Control device 31 疵 Image processing device 32 Operator疵 Display device 40 PLG
L1 Band-shaped light LA Band-shaped light irradiation region Lp, Lq Image pickup position (partial region) in the band-shaped light irradiation region
Claims (5)
前記帯状光の前記帯状体に対する垂直方向入射角度が、前記帯状光照射領域のすべての点において、予め設定した所定の値で等しくなるように帯状光を照射する照明装置と、
前記帯状光照射領域を挟んで前記照明装置と対向配置され、該帯状光照射領域の内の、前記帯状体の移動方向における位置が相異なる複数の部分領域からの反射光を、夫々相異なる複数の垂直方向反射角度において、該垂直方向反射角度毎の露光時間で撮像して、複数の列単位画像を出力する、列単位露光可能かつ部分読み出し可能な2次元撮像装置と、
前記帯状体の移動に同期して前記2次元撮像装置に撮像させて、該撮像により得られた前記複数の列単位画像のうち少なくとも二つ以上の列単位画像を予め設定しておいた列数だけ夫々配列することにより、該少なくとも二つ以上の列単位画像の夫々が対応する垂直方向反射角度夫々から前記帯状光照射領域を撮像したフレーム画像を構成する制御装置と、
前記フレーム画像を画像処理して、前記帯状体の表面の疵を検出する疵画像処理装置と、
を備えることを特徴とする表面疵検査装置。 The band-shaped light is irradiated to the entire width direction of the surface of the band-shaped body conveyed in the longitudinal direction, and the reflected light of the band-shaped light from the band-shaped light irradiation area that is the area irradiated with the band-shaped light is imaged. A surface wrinkle inspection device for inspecting surface wrinkles of
An illumination device that irradiates the strip light so that the vertical incident angle of the strip light with respect to the strip is equal to a predetermined value set in advance at all points of the strip light irradiation region;
A plurality of different reflected lights from a plurality of partial regions that are arranged opposite to the illumination device across the belt-shaped light irradiation region, and that are different in position in the moving direction of the belt-shaped body in the belt-shaped light irradiation region. A two-dimensional imaging device capable of column unit exposure and partial readout, which images at an exposure time for each vertical direction reflection angle and outputs a plurality of column unit images;
The number of columns in which at least two column unit images are set in advance among the plurality of column unit images obtained by the two-dimensional imaging device in synchronization with the movement of the strip. Only by arranging each of the at least two column unit images, a control device that constitutes a frame image obtained by imaging the band-shaped light irradiation region from each of the vertical reflection angles corresponding to each of the column unit images,
A wrinkle image processing device that performs image processing on the frame image to detect wrinkles on the surface of the strip;
A surface defect inspection apparatus comprising:
前記制御装置は、予め設定した前記複数の垂直方向反射角度夫々に対応する前記複数の部分領域を、前記垂直方向反射角度毎の露光時間で撮像するために、前記2次元CMOSカメラの複数の画素列、および該画素列にて撮像するときの露光時間を前記2次元撮像装置に指示する、
ことを特徴とする請求項1に記載の表面疵検査装置。 The two-dimensional imaging device includes a two-dimensional CMOS camera having a two-dimensional pixel array composed of a plurality of CMOS imaging elements, and exposes an arbitrary pixel row at an arbitrary exposure time according to an instruction from the control device. Output the column-unit image of the pixel array,
The control device includes a plurality of pixels of the two-dimensional CMOS camera for imaging the plurality of partial regions corresponding to the plurality of vertical reflection angles set in advance with an exposure time for each vertical reflection angle. Instructing the two-dimensional imaging device the exposure time when imaging with a column and the pixel column,
The surface flaw inspection apparatus according to claim 1.
ことを特徴とする請求項1または請求項2に記載の表面疵検査装置。 The control device extracts a plurality of pixels from the frame image by a predetermined processing method for each of the frame images configured from the two or more column-unit images, and sets the luminance values of the plurality of pixels. And determining an exposure time corresponding to each of the plurality of vertical reflection angles.
The surface flaw inspection apparatus according to claim 1 or 2, wherein
照明装置が、前記帯状光の前記帯状体に対する垂直方向入射角度が、該帯状光照射領域のすべての点において、予め設定した所定の値で等しくなるように帯状光を照射するステップと、
前記帯状光照射領域を挟んで前記照明装置と対向配置され、列単位露光可能かつ部分読み出し可能な2次元撮像装置が、該帯状光照射領域の内の、前記帯状体の移動方向における位置が相異なる複数の部分領域からの反射光を、夫々異なる複数の垂直方向反射角度において、該垂直方向反射角度毎の露光時間で撮像して、複数の列単位画像を出力するステップと、
制御装置が、前記帯状体の移動に同期して前記2次元撮像装置に撮像させて、該撮像により得られた前記複数の列単位画像のうち少なくとも二つ以上の列単位画像を予め設定しておいた列数だけ夫々配列することにより、該少なくとも二つ以上の列単位画像の夫々が対応する垂直方向反射角度夫々から前記帯状光照射領域を撮像したフレーム画像を構成するステップと、
疵画像処理装置が、前記フレーム画像を画像処理して、前記帯状体の表面の疵を検出するステップと、
を有することを特徴とする表面疵検査方法。 The band-shaped light is irradiated to the entire width direction of the surface of the band-shaped body conveyed in the longitudinal direction, and the reflected light of the band-shaped light from the band-shaped light irradiation area that is the area irradiated with the band-shaped light is imaged. A surface wrinkle inspection method for inspecting surface wrinkles of
The illumination device irradiates the band light so that the vertical incident angle of the band light with respect to the band is equal to a predetermined value set in advance at all points of the band light irradiation region;
A two-dimensional imaging device that is arranged opposite to the illumination device with the band-shaped light irradiation region interposed therebetween and that can perform column-by-column exposure and that can be partially read out has a position in the band-shaped light irradiation region in the moving direction. Imaging reflected light from a plurality of different partial areas at a plurality of different vertical reflection angles with an exposure time for each vertical reflection angle, and outputting a plurality of column unit images;
The control device causes the two-dimensional imaging device to capture images in synchronization with the movement of the belt-like body, and presets at least two or more column unit images among the plurality of column unit images obtained by the imaging. Forming a frame image obtained by imaging the belt-shaped light irradiation area from each of the vertical reflection angles corresponding to each of the at least two or more column-unit images by arranging the number of columns arranged; and
A wrinkle image processing device image-processing the frame image to detect wrinkles on the surface of the strip;
A method for inspecting surface wrinkles, comprising:
前記帯状光の前記帯状体に対する垂直方向入射角度が、前記帯状光照射領域のすべての点において、予め設定した所定の値で等しくなるように帯状光を照射する照明装置と、
前記帯状光照射領域を挟んで前記照明装置と対向配置され、該帯状光照射領域の内の、前記帯状体の移動方向における位置が相異なる複数の部分領域からの反射光を、夫々相異なる複数の垂直方向反射角度において、該垂直方向反射角度毎の露光時間で撮像して、複数の列単位画像を出力する、列単位露光可能かつ部分読み出し可能な2次元撮像装置と、
を有する表面疵検査装置を制御するコンピュータに、
前記帯状体の移動に同期して前記2次元撮像装置に撮像させて、該撮像により得られた前記複数の列単位画像のうち少なくとも二つ以上の列単位画像を予め設定しておいた列数だけ夫々配列することにより、該少なくとも二つ以上の列単位画像の夫々が対応する垂直方向反射角度夫々から前記帯状光照射領域を撮像したフレーム画像を構成する機能と、
前記フレーム画像を画像処理して、前記帯状体の表面の疵を検出する機能と、
を実現させるためのプログラム。 The band-shaped light is irradiated to the entire width direction of the surface of the band-shaped body conveyed in the longitudinal direction, and the reflected light of the band-shaped light from the band-shaped light irradiation area that is the area irradiated with the band-shaped light is imaged. In order to inspect the surface wrinkles
An illumination device that irradiates the strip light so that the vertical incident angle of the strip light with respect to the strip is equal to a predetermined value set in advance at all points of the strip light irradiation region;
A plurality of different reflected lights from a plurality of partial regions that are arranged opposite to the illumination device across the belt-shaped light irradiation region, and that are different in position in the moving direction of the belt-shaped body in the belt-shaped light irradiation region. A two-dimensional imaging device capable of column unit exposure and partial readout, which images at an exposure time for each vertical direction reflection angle and outputs a plurality of column unit images;
A computer for controlling a surface defect inspection apparatus having
The number of columns in which at least two column unit images are set in advance among the plurality of column unit images obtained by the two-dimensional imaging device in synchronization with the movement of the strip. Only by arranging each of the at least two column unit images, a function of configuring a frame image obtained by imaging the band-shaped light irradiation region from each of the vertical reflection angles corresponding to each of the column unit images,
A function of performing image processing on the frame image to detect wrinkles on the surface of the strip;
A program to realize
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008292555A JP5068731B2 (en) | 2008-11-14 | 2008-11-14 | Surface flaw inspection apparatus, surface flaw inspection method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008292555A JP5068731B2 (en) | 2008-11-14 | 2008-11-14 | Surface flaw inspection apparatus, surface flaw inspection method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010117322A true JP2010117322A (en) | 2010-05-27 |
JP5068731B2 JP5068731B2 (en) | 2012-11-07 |
Family
ID=42305077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008292555A Expired - Fee Related JP5068731B2 (en) | 2008-11-14 | 2008-11-14 | Surface flaw inspection apparatus, surface flaw inspection method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5068731B2 (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013036796A (en) * | 2011-08-05 | 2013-02-21 | Panasonic Industrial Devices Sunx Co Ltd | Image processor |
JP2014032109A (en) * | 2012-08-03 | 2014-02-20 | Taihei Mach Works Ltd | Apparatus and method for detecting defect of wood |
CN106596574A (en) * | 2017-01-13 | 2017-04-26 | 深圳市视觉龙科技有限公司 | Device and method for detecting object surface defects |
JPWO2018150590A1 (en) * | 2017-02-20 | 2019-11-21 | Primetals Technologies Japan株式会社 | Plate edge detection apparatus and plate edge detection method |
JP2019211310A (en) * | 2018-06-04 | 2019-12-12 | 日本製鉄株式会社 | Surface property inspection method and surface property inspection device |
JP2021047053A (en) * | 2019-09-17 | 2021-03-25 | 三友工業株式会社 | Surface inspection device, surface inspection method, and program |
CN115209136A (en) * | 2022-09-13 | 2022-10-18 | 荣旗工业科技(苏州)股份有限公司 | Time-sharing exposure detection method, system and device for line scanning camera and storage medium |
CN115372362A (en) * | 2021-05-18 | 2022-11-22 | 财团法人纺织产业综合研究所 | Cloth inspection system and method for marking defects in cloth |
CN116051563A (en) * | 2023-03-31 | 2023-05-02 | 深圳市美亚迪光电有限公司 | Detection device for detecting surface flatness of lamp panel of GOB surface sealing technology |
JP7573564B2 (en) | 2022-04-28 | 2024-10-25 | アンリツ株式会社 | Inspection Equipment |
WO2025012125A1 (en) | 2023-07-07 | 2025-01-16 | Voestalpine Stahl Gmbh | Measuring system and method for detecting flatness defects on metal strips |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11211673A (en) * | 1998-01-27 | 1999-08-06 | Honda Motor Co Ltd | Apparatus and method for evaluation of surface property |
JP2962171B2 (en) * | 1994-10-25 | 1999-10-12 | 住友金属工業株式会社 | Surface flaw inspection equipment |
JP2001202496A (en) * | 2000-01-18 | 2001-07-27 | Dainippon Printing Co Ltd | Picture input device |
JP2002214148A (en) * | 2001-01-16 | 2002-07-31 | Nippon Steel Corp | Image processing method |
JP2002214146A (en) * | 2001-01-17 | 2002-07-31 | Nippon Steel Corp | Lighting device for flaw inspection |
JP2003028805A (en) * | 2001-07-12 | 2003-01-29 | Kurabo Ind Ltd | Apparatus for evaluating surface state |
JP2003130802A (en) * | 2001-10-26 | 2003-05-08 | Nippon Steel Corp | Flaw inspection device and flaw inspection method |
JP2004108828A (en) * | 2002-09-13 | 2004-04-08 | Ricoh Co Ltd | Image input method, image input device and surface defect inspection device |
JP2004132801A (en) * | 2002-10-10 | 2004-04-30 | Nippon Steel Corp | Surface defect inspection equipment for band |
JP2004354235A (en) * | 2003-05-29 | 2004-12-16 | Jfe Steel Kk | Ridging evaluation method and device of stainless steel plate |
JP2005257316A (en) * | 2004-03-09 | 2005-09-22 | Jfe Steel Kk | Optical defect inspection device for metal band |
JP2005274325A (en) * | 2004-03-24 | 2005-10-06 | Jfe Steel Kk | Optical type defect inspection method for metal band |
JP2006148621A (en) * | 2004-11-22 | 2006-06-08 | Seiko Epson Corp | Imaging device and imaging apparatus |
JP2006258582A (en) * | 2005-03-16 | 2006-09-28 | Ricoh Co Ltd | Image input device and image input method |
JP4081414B2 (en) * | 2002-10-08 | 2008-04-23 | 新日本製鐵株式会社 | Strip shape inspection method and apparatus |
JP4133360B2 (en) * | 2003-01-17 | 2008-08-13 | 新日本製鐵株式会社 | 疵 inspection device and 疵 inspection method |
-
2008
- 2008-11-14 JP JP2008292555A patent/JP5068731B2/en not_active Expired - Fee Related
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2962171B2 (en) * | 1994-10-25 | 1999-10-12 | 住友金属工業株式会社 | Surface flaw inspection equipment |
JPH11211673A (en) * | 1998-01-27 | 1999-08-06 | Honda Motor Co Ltd | Apparatus and method for evaluation of surface property |
JP2001202496A (en) * | 2000-01-18 | 2001-07-27 | Dainippon Printing Co Ltd | Picture input device |
JP2002214148A (en) * | 2001-01-16 | 2002-07-31 | Nippon Steel Corp | Image processing method |
JP2002214146A (en) * | 2001-01-17 | 2002-07-31 | Nippon Steel Corp | Lighting device for flaw inspection |
JP2003028805A (en) * | 2001-07-12 | 2003-01-29 | Kurabo Ind Ltd | Apparatus for evaluating surface state |
JP2003130802A (en) * | 2001-10-26 | 2003-05-08 | Nippon Steel Corp | Flaw inspection device and flaw inspection method |
JP2004108828A (en) * | 2002-09-13 | 2004-04-08 | Ricoh Co Ltd | Image input method, image input device and surface defect inspection device |
JP4081414B2 (en) * | 2002-10-08 | 2008-04-23 | 新日本製鐵株式会社 | Strip shape inspection method and apparatus |
JP2004132801A (en) * | 2002-10-10 | 2004-04-30 | Nippon Steel Corp | Surface defect inspection equipment for band |
JP4133360B2 (en) * | 2003-01-17 | 2008-08-13 | 新日本製鐵株式会社 | 疵 inspection device and 疵 inspection method |
JP2004354235A (en) * | 2003-05-29 | 2004-12-16 | Jfe Steel Kk | Ridging evaluation method and device of stainless steel plate |
JP2005257316A (en) * | 2004-03-09 | 2005-09-22 | Jfe Steel Kk | Optical defect inspection device for metal band |
JP2005274325A (en) * | 2004-03-24 | 2005-10-06 | Jfe Steel Kk | Optical type defect inspection method for metal band |
JP2006148621A (en) * | 2004-11-22 | 2006-06-08 | Seiko Epson Corp | Imaging device and imaging apparatus |
JP2006258582A (en) * | 2005-03-16 | 2006-09-28 | Ricoh Co Ltd | Image input device and image input method |
Non-Patent Citations (1)
Title |
---|
米本和也, 「CCD/CMOSイメージ・センサの基礎と応用」, vol. 第3版, JPN6012038244, 1 January 2005 (2005-01-01), JP, pages 173 - 182, ISSN: 0002286114 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013036796A (en) * | 2011-08-05 | 2013-02-21 | Panasonic Industrial Devices Sunx Co Ltd | Image processor |
JP2014032109A (en) * | 2012-08-03 | 2014-02-20 | Taihei Mach Works Ltd | Apparatus and method for detecting defect of wood |
CN106596574B (en) * | 2017-01-13 | 2023-09-22 | 深圳市视觉龙科技有限公司 | Device and method for detecting surface defects of object |
CN106596574A (en) * | 2017-01-13 | 2017-04-26 | 深圳市视觉龙科技有限公司 | Device and method for detecting object surface defects |
JPWO2018150590A1 (en) * | 2017-02-20 | 2019-11-21 | Primetals Technologies Japan株式会社 | Plate edge detection apparatus and plate edge detection method |
JP2019211310A (en) * | 2018-06-04 | 2019-12-12 | 日本製鉄株式会社 | Surface property inspection method and surface property inspection device |
JP7159624B2 (en) | 2018-06-04 | 2022-10-25 | 日本製鉄株式会社 | Surface texture inspection method and surface texture inspection device |
JP2021047053A (en) * | 2019-09-17 | 2021-03-25 | 三友工業株式会社 | Surface inspection device, surface inspection method, and program |
CN115372362A (en) * | 2021-05-18 | 2022-11-22 | 财团法人纺织产业综合研究所 | Cloth inspection system and method for marking defects in cloth |
JP7573564B2 (en) | 2022-04-28 | 2024-10-25 | アンリツ株式会社 | Inspection Equipment |
CN115209136A (en) * | 2022-09-13 | 2022-10-18 | 荣旗工业科技(苏州)股份有限公司 | Time-sharing exposure detection method, system and device for line scanning camera and storage medium |
CN115209136B (en) * | 2022-09-13 | 2022-12-13 | 荣旗工业科技(苏州)股份有限公司 | Time-sharing exposure detection method, system and device for line scanning camera and storage medium |
CN116051563A (en) * | 2023-03-31 | 2023-05-02 | 深圳市美亚迪光电有限公司 | Detection device for detecting surface flatness of lamp panel of GOB surface sealing technology |
WO2025012125A1 (en) | 2023-07-07 | 2025-01-16 | Voestalpine Stahl Gmbh | Measuring system and method for detecting flatness defects on metal strips |
WO2025011729A1 (en) | 2023-07-07 | 2025-01-16 | Voestalpine Stahl Gmbh | Measuring system and method for detecting flatness defects on metal strips |
Also Published As
Publication number | Publication date |
---|---|
JP5068731B2 (en) | 2012-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5068731B2 (en) | Surface flaw inspection apparatus, surface flaw inspection method and program | |
JP5031691B2 (en) | Surface flaw inspection device | |
WO2016121878A1 (en) | Optical appearance inspection device and optical appearance inspection system using same | |
JP6249513B1 (en) | Correction method, correction device, and inspection device | |
JP6355316B2 (en) | Defect detection method for light transmissive film | |
EP1580691A2 (en) | Automatic adjustment of acquisition of inspection image | |
AU2006333500A1 (en) | Apparatus and methods for inspecting a composite structure for defects | |
JP2019184589A (en) | Device and method for inspecting defect | |
JP4633245B2 (en) | Surface inspection apparatus and surface inspection method | |
JP4932595B2 (en) | Surface flaw inspection device | |
JP2006242886A (en) | Surface flaw inspection device | |
JP2012037425A (en) | Method for inspecting polycrystal silicon wafer and device thereof | |
CN110402386B (en) | Cylindrical body surface inspection device and cylindrical body surface inspection method | |
CN107110790A (en) | Optical detection system | |
JP2010078485A (en) | Method for inspecting printed matter | |
JP2010175283A (en) | Device for producing plane image | |
JP2010085165A (en) | Surface inspection device and surface inspection method | |
JP6175819B2 (en) | Image inspection apparatus and image inspection method | |
JP2003156451A (en) | Defect detecting device | |
KR20240067222A (en) | Device for measuring irregularities in sheet-shaped objects, method for measuring irregularities in sheet-shaped objects | |
JPH0711414B2 (en) | Glass bottle uneven thickness inspection method | |
JP2010085388A (en) | Method and apparatus for inspecting printed matter | |
JP2009222611A (en) | Inspection apparatus and inspection method | |
JP2006003168A (en) | Measurement method for surface shape and device therefor | |
JP2005274325A (en) | Optical type defect inspection method for metal band |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120724 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120815 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150824 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5068731 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150824 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150824 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150824 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |