JP2018128261A - Inspection apparatus and method - Google Patents
Inspection apparatus and method Download PDFInfo
- Publication number
- JP2018128261A JP2018128261A JP2017019213A JP2017019213A JP2018128261A JP 2018128261 A JP2018128261 A JP 2018128261A JP 2017019213 A JP2017019213 A JP 2017019213A JP 2017019213 A JP2017019213 A JP 2017019213A JP 2018128261 A JP2018128261 A JP 2018128261A
- Authority
- JP
- Japan
- Prior art keywords
- crack
- captured image
- corner
- pixels
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
本発明は、外観に現われる欠陥を検査するための技術に関する。 The present invention relates to a technique for inspecting a defect appearing in an appearance.
半導体基板,金属基板,テープキャリア等の表面に形成された微細パターンに生じるクラック(割れ目、裂け目)等の欠陥を検出する様々なタイプの検査装置が開発されている。クラックの検査方法の一つとして、カメラから取り込んだ画像を用いて画像処理を行う手法が用いられている。画像処理を用いた検査方法では、一般的に、欠陥部とそれ以外の部分で照明光の反射度合いが異なることを利用し、画像処理を用いて欠陥部のみを抽出している(例えば、特許文献1参照)。 Various types of inspection devices have been developed that detect defects such as cracks (fissures, tears) that occur in fine patterns formed on the surface of semiconductor substrates, metal substrates, tape carriers, and the like. As one of crack inspection methods, a method of performing image processing using an image taken from a camera is used. In an inspection method using image processing, generally, only the defective portion is extracted using image processing by utilizing the fact that the degree of reflection of illumination light is different between the defective portion and other portions (for example, patents). Reference 1).
画像処理を用いたクラック(割れ目、裂け目)の検査では、一般的にクラックは暗く、正常部は明るく映ることを利用し、暗い部分をクラックとして検出する手法が用いられている。しかし、暗く映るクラック以外の欠陥を過検出してしまうという問題がある。 In the inspection of cracks (fissures and fissures) using image processing, a technique is generally used in which a dark part is detected as a crack using the fact that a crack is dark and a normal part appears bright. However, there is a problem in that defects other than cracks that appear dark are overdetected.
図6は、特許文献1におけるクラックの検出手法を示す図である。図6(a)は、直線度の算出手法を示すものである。図6(a)において実線の折れ線が検査対象を示している。この検査対象がクラックであるか否かを検出する場合、まず、実際の長さである総和長S1を求める。図6(a)に示すように折れ線である場合、総和長S1は構成する直線状の線分の長さの総和となる。また、全長T1を求める。全長は、破線で示すように、検査対象の一方の端点と他方の端点との距離である。そして、全長T1を総和長S1で除して直線度を求める。この直線度がしきい値以上である場合に、クラックと判定する。 FIG. 6 is a diagram showing a crack detection method in Patent Document 1. In FIG. FIG. 6A shows a method for calculating the linearity. In FIG. 6A, a solid broken line indicates the inspection object. When detecting whether or not the inspection object is a crack, first, a total length S1 that is an actual length is obtained. In the case of a polygonal line as shown in FIG. 6A, the total length S1 is the total length of the straight line segments constituting the line. Further, the total length T1 is obtained. The full length is a distance between one end point of the inspection target and the other end point, as indicated by a broken line. Then, the linearity is obtained by dividing the total length T1 by the total length S1. When this linearity is equal to or greater than the threshold value, it is determined as a crack.
図6(b)は、クラックを模式的に示した図、図6(c)は、擦り傷等クラック以外を模式的に示した図である。図6(b)(c)においても実線は検査対象(総和長S1)を示し、破線は全長T1を示している。特許文献1の手法では、図6(c)に示したような擦り傷等は、直線度Stがしきい値未満となる可能性が高く、クラックでないと判定される。しかし、図6(b)に示したような全体が比較的真っ直ぐなクラックも、直線度Stがしきい値未満となる可能性が高く、クラックでないと判定されてしまう。一方、図6(b)に示すようなクラックを検出しようとして、しきい値を小さく変更すると、逆に擦り傷等をクラックとして過検出してしまうという問題がある。 FIG. 6B is a diagram schematically showing cracks, and FIG. 6C is a diagram schematically showing other than cracks such as scratches. 6B and 6C, the solid line indicates the inspection object (total length S1), and the broken line indicates the total length T1. In the method of Patent Document 1, it is determined that the scratches and the like as shown in FIG. 6C are not cracks because the linearity St is highly likely to be less than the threshold value. However, a crack that is relatively straight as shown in FIG. 6B is also highly likely to have a linearity St that is less than the threshold value, and is determined not to be a crack. On the other hand, if the threshold value is changed to a small value in order to detect a crack as shown in FIG. 6B, there is a problem that a scratch or the like is detected as a crack.
そこで、本発明は、クラック以外の過検出を減らし、効率的にクラックを検出することが可能な検査装置および方法を提供することを課題とする。 Therefore, an object of the present invention is to provide an inspection apparatus and method capable of reducing cracks other than cracks and detecting cracks efficiently.
上記課題を解決するため、本発明では、
検査対象物を照明する照明手段と、
前記検査対象物を撮像する撮像手段と、
前記撮像手段により得られた撮像画像を用いて、連続する画素で構成されるクラック候補からコーナーを検出するコーナー検出手段と、
前記検出されたコーナーの数に基づいて、前記クラック候補がクラックであるか否かを判定する判定手段と、
を有することを特徴とする検査装置を提供する。
In order to solve the above problems, in the present invention,
Illumination means for illuminating the inspection object;
Imaging means for imaging the inspection object;
Corner detection means for detecting a corner from a crack candidate composed of continuous pixels, using a captured image obtained by the imaging means;
Determining means for determining whether the crack candidate is a crack based on the number of detected corners;
There is provided an inspection apparatus characterized by comprising:
本発明によれば、検査対象物を照明する照明手段と、検査対象物を撮像する撮像手段と、を有し、撮像手段により得られた撮像画像を用いて、連続する画素で構成されるクラック候補からコーナーを検出し、検出されたコーナーの数に基づいて、クラック候補がクラックであるか否かを判定するようにしたので、すり傷には少なく、クラックには多い特徴であるコーナーの数に基づき判定できるため、クラック以外の過検出を減らし、効率的にクラックを検出することが可能となる。 According to the present invention, there is provided an illuminating unit that illuminates the inspection object and an imaging unit that images the inspection object, and the crack is configured by continuous pixels using the captured image obtained by the imaging unit. Since corners are detected from candidates, and whether or not the crack candidates are cracks is determined based on the number of detected corners, the number of corners, which is a feature with few scratches and many cracks Therefore, it is possible to reduce the overdetection other than cracks and detect cracks efficiently.
また、本発明は、前記判定手段は、前記クラック候補の単位長さ辺りのコーナー数がしきい値以上である場合に、クラックであると判定することを特徴とする。本発明によれば、クラック候補の単位長さ辺りのコーナー数がしきい値以上である場合に、クラックであると判定するようにしたので、より効率的にクラックを検出することが可能となる。 In addition, the present invention is characterized in that the determination means determines that a crack is present when the number of corners per unit length of the crack candidate is equal to or greater than a threshold value. According to the present invention, when the number of corners per unit length of the crack candidate is equal to or greater than the threshold value, it is determined that it is a crack, so it is possible to detect the crack more efficiently. .
また、本発明は、
前記撮像手段により得られた撮像画像からノイズを除去するノイズ除去手段と、
ノイズ除去後の撮像画像を二値化した二値画像を得る二値化手段と、
ノイズ除去後の撮像画像における所定輝度範囲の画素数に基づいて、対象領域を特定する絞り込み手段と、
前記二値画像において、前記特定された対象領域に細線化処理を行う細線化手段と、を更に有し、
前記コーナー検出手段は、前記細線化処理により得られたクラック候補からコーナーを検出することを特徴とする。
The present invention also provides:
Noise removing means for removing noise from the captured image obtained by the imaging means;
Binarization means for obtaining a binary image obtained by binarizing the captured image after noise removal;
Based on the number of pixels in the predetermined luminance range in the captured image after noise removal, narrowing means for specifying the target area,
The binary image further includes thinning means for performing thinning processing on the identified target area;
The corner detection means detects a corner from a crack candidate obtained by the thinning process.
本発明によれば、撮像画像からノイズを除去し、ノイズ除去後の撮像画像を二値化した二値画像を得て、ノイズ除去後の撮像画像における所定輝度範囲の画素数に基づいて、対象領域を特定し、二値画像において、特定された対象領域に細線化処理を行い、細線化処理により得られたクラック候補からコーナーを検出するようにしたので、より効率的にクラックを検出することが可能となる。 According to the present invention, noise is removed from a captured image, a binary image obtained by binarizing the captured image after noise removal is obtained, and based on the number of pixels in a predetermined luminance range in the captured image after noise removal, Since the region is specified and the thinning process is performed on the specified target region in the binary image and the corner is detected from the crack candidate obtained by the thinning process, the crack can be detected more efficiently. Is possible.
また、本発明では、
撮像手段により得られた撮像画像からノイズを除去するノイズ除去手段、
ノイズ除去後の撮像画像を二値化した二値画像を得る二値化手段、
ノイズ除去後の撮像画像における所定輝度範囲の画素数に基づいて、対象領域を特定する絞り込み手段、
前記二値画像において、前記特定された対象領域に細線化処理を行う細線化手段、
前記細線化処理により得られたクラック候補からコーナーを検出するコーナー検出手段、
前記検出されたコーナーの数に基づいて、前記クラック候補がクラックであるか否かを判定する判定手段、
としてコンピュータを機能させるためのプログラムを提供する。
In the present invention,
Noise removing means for removing noise from the captured image obtained by the imaging means;
Binarization means for obtaining a binary image obtained by binarizing the captured image after noise removal;
Narrowing means for specifying the target area based on the number of pixels in the predetermined luminance range in the captured image after noise removal,
In the binary image, thinning means for performing thinning processing on the identified target area,
Corner detection means for detecting a corner from a crack candidate obtained by the thinning process;
Determining means for determining whether or not the crack candidate is a crack based on the number of detected corners;
A program for operating a computer is provided.
本発明によれば、コンピュータに組み込むことにより、コンピュータが、撮像手段により得られた撮像画像を用いて、連続する画素で構成されるクラック候補からコーナーを検出し、検出されたコーナーの数に基づいて、クラック候補がクラックであるか否かを判定するようにしたので、クラック以外の過検出を減らし、効率的にクラックを検出することが可能となる。 According to the present invention, by incorporating in a computer, the computer detects corners from crack candidates composed of continuous pixels using the captured image obtained by the imaging unit, and based on the number of detected corners. In addition, since it is determined whether or not the crack candidate is a crack, it is possible to reduce over-detection other than the crack and efficiently detect the crack.
また、本発明では、
コンピュータが、撮像手段により得られた撮像画像からノイズを除去するステップと、
コンピュータが、ノイズ除去後の撮像画像を二値化した二値画像を得るステップと、
コンピュータが、ノイズ除去後の撮像画像における所定輝度範囲の画素数に基づいて、対象領域を特定するステップと、
コンピュータが、前記二値画像において、前記特定された対象領域に細線化処理を行うステップと、
コンピュータが、前記細線化処理により得られたクラック候補からコーナーを検出するステップと、
コンピュータが、前記検出されたコーナーの数に基づいて、前記クラック候補がクラックであるか否かを判定するステップと、
を有することを特徴とする検査方法を提供する。
In the present invention,
A computer removing noise from a captured image obtained by the imaging means;
A computer obtains a binary image obtained by binarizing the captured image after noise removal;
A computer specifying a target region based on the number of pixels in a predetermined luminance range in a captured image after noise removal;
The computer performing a thinning process on the identified target area in the binary image;
A computer detecting a corner from a crack candidate obtained by the thinning process;
A computer determining, based on the number of detected corners, whether the crack candidate is a crack; and
There is provided an inspection method characterized by comprising:
本発明によれば、コンピュータにより、撮像手段により得られた撮像画像を用いて、連続する画素で構成されるクラック候補からコーナーを検出し、検出されたコーナーの数に基づいて、クラック候補がクラックであるか否かを判定するようにしたので、クラック以外の過検出を減らし、効率的にクラックを検出することが可能となる。 According to the present invention, a computer detects a corner from a crack candidate composed of continuous pixels using a captured image obtained by an imaging unit, and the crack candidate is cracked based on the number of detected corners. Therefore, it is possible to detect cracks efficiently by reducing over-detection other than cracks.
本発明によれば、クラック以外の過検出を減らし、効率的にクラックを検出することが可能となる。 According to the present invention, excessive detection other than cracks can be reduced, and cracks can be detected efficiently.
<1.装置構成>
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。
図1は、本発明の一実施形態に係る検査装置の構成を示す図である。図1において、1は搬送手段、2は照明手段、3は撮像手段、4は撮像タイミング検出器、5は画像処理装置、6は制御装置、7は操作・表示部、8は警報装置、9は自動排出装置である。図1においては、樹脂製の検査対象物Oが搬送手段1上に配置されており、照明手段2により照らされた状態となっている。本実施形態では、検査対象物Oとして、クラックが生じ易い樹脂製のものを想定している。搬送手段1は一軸方向(図面奥行方向)に移動可能な搬送ステージであり、公知の様々な技術により実現される。本実施形態では、検査対象物Oを載置可能な平板状の台が、図示しない駆動機構により移動され、検査対象物を搬送するようになっている。そして、搬送手段1の所定の位置における上方に、照明手段2および撮像手段3が設置され、搬送手段1上の検査対象物Oを撮像可能となっている。
<1. Device configuration>
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram showing a configuration of an inspection apparatus according to an embodiment of the present invention. In FIG. 1, 1 is a conveying means, 2 is an illuminating means, 3 is an imaging means, 4 is an imaging timing detector, 5 is an image processing device, 6 is a control device, 7 is an operation / display unit, 8 is an alarm device, 9 Is an automatic discharge device. In FIG. 1, the inspection object O made of resin is arranged on the transport unit 1 and is illuminated by the
照明手段2としては、検査対象物Oを照らした光が撮像手段3に届くような光源であれば、公知の様々なものを用いることができるが、内面反射型のドーム式であって、同軸の照明を用いることが好ましい。照明手段2のドームは、上方である撮像手段3側に孔が設けられており、この孔を通して、撮像手段3の撮像範囲に搬送手段1上の検査対象物Oの全体が含まれるようになっている。すなわち、同軸とは、撮像手段3の中心と、照明手段2の上方の孔の中心と、対象物Oの中心が垂直方向(図面上下方向)に延びる軸上に位置することを意味する。また、照明方式としてはLED照明を用いている。ドーム式で同軸の照明を用いることにより、LEDによる映り込みがなく、同軸上に位置する撮像手段3により対象物を撮像することが可能となる。撮像手段3としては、検査対象物Oを撮像して撮像画像を得ることが可能であれば、CCD、CMOS等の撮像素子を用いた公知の様々なものを用いることができる。撮像素子の配列が一次元のものであっても二次元のものであってもよいが、本実施形態では、一次元の撮像素子配列を有するラインセンサを用いている。
As the illuminating means 2, various known light sources can be used as long as the light that illuminates the inspection object O reaches the imaging means 3. It is preferable to use the illumination. The dome of the illuminating means 2 is provided with a hole on the upper side of the imaging means 3, and the entire inspection object O on the conveying means 1 is included in the imaging range of the imaging means 3 through this hole. ing. That is, the coaxial means that the center of the
撮像タイミング検出器4は、撮像タイミングを検出するためのものであり、例えば、搬送手段1の走行に同期して回転する回転軸の回転を検出するロータリーエンコーダ等を用いることができる。画像処理装置5は、撮像手段3により撮像された検査対象物Oの上面を撮像した撮像画像に対して画像処理を行い、クラックの有無の判定を行う。制御装置6は、照明手段2、撮像手段3、撮像タイミング検出器4、画像処理装置5を制御することにより検査装置全体の制御を行う。また、制御装置6は、操作・表示部7、警報装置8、自動排出装置9等の制御も行う。操作・表示部7は、制御装置6に対して操作を行うとともに、制御装置6からの表示出力を行うものであり、例えば、タッチパネルモニタ等により実現される。警報装置8は、検査の結果、クラック有と判定された場合に、警報を出力するためのものであり、例えば、パトランプやブザー等により実現される。自動排出装置9は、検査の結果、クラック有と判定された場合に、ラインから排出するためのものである。
The imaging timing detector 4 is for detecting the imaging timing, and for example, a rotary encoder that detects the rotation of the rotating shaft that rotates in synchronization with the traveling of the conveying means 1 can be used. The image processing device 5 performs image processing on a captured image obtained by capturing the upper surface of the inspection object O imaged by the
図2は、検査装置の主部となる画像処理装置5のハードウェア構成図である。画像処理装置5は、撮像画像に対して画像処理を行うことができるものであれば、どのようなものであってもよいが、本実施形態では、パーソナルコンピュータ等の汎用のコンピュータで実現している。図2に示すように、CPU(Central Processing Unit)21と、コンピュータのメインメモリであるRAM(Random Access Memory)22と、CPU21が実行するプログラムやデータを記憶するためのハードディスク、フラッシュメモリ等の記憶装置23と、外部と通信を行うための通信部24と、データ記憶媒体等の外部装置とデータ通信するためのデータ入出力I/F(インタフェース)25を備えており、これらの構成要素は互いにバスを介して接続されている。RAM22、記憶装置23は、処理過程において、撮像手段3から通信部24を介して受信した撮像画像を記憶する。
FIG. 2 is a hardware configuration diagram of the image processing apparatus 5 which is a main part of the inspection apparatus. The image processing device 5 may be any device as long as it can perform image processing on a captured image. In this embodiment, the image processing device 5 is realized by a general-purpose computer such as a personal computer. Yes. As shown in FIG. 2, a CPU (Central Processing Unit) 21, a RAM (Random Access Memory) 22 that is a main memory of the computer, a hard disk for storing programs and data executed by the
制御装置6は、検査装置の一部の制御を行うことができるものであれば、どのようなものであってもよいが、本実施形態では、PLC(プログラマブルロジックコントローラ)により実現している。制御装置6としては、図2に示した画像処理装置5と同様のハードウェア構成とし、パーソナルコンピュータ等の汎用のコンピュータに専用のプログラムを組み込むことにより実現することもできる。また、画像処理装置5と制御装置6を1つのコンピュータで実現することも可能である。 The control device 6 may be any device as long as it can control a part of the inspection device. In the present embodiment, the control device 6 is realized by a PLC (programmable logic controller). The control device 6 has a hardware configuration similar to that of the image processing device 5 shown in FIG. 2, and can also be realized by incorporating a dedicated program into a general-purpose computer such as a personal computer. Further, the image processing device 5 and the control device 6 can be realized by a single computer.
図3は、画像処理装置5の構成を示す機能ブロック図である。図3において、31はノイズ除去手段、32は二値化手段、33は絞り込み手段、34は細線化手段、35はコーナー検出手段、36は判定手段である。また、ノイズ除去手段31、二値化手段32、絞り込み手段33、細線化手段34、コーナー検出手段35、判定手段36は、図2に示したRAM22にプログラムを読み込んで、CPU21が実行することにより実現されるものである。
FIG. 3 is a functional block diagram showing the configuration of the image processing apparatus 5. In FIG. 3, 31 is noise removing means, 32 is binarizing means, 33 is narrowing means, 34 is thinning means, 35 is corner detecting means, and 36 is judging means. Further, the
ノイズ除去手段31は、クラックの有無を検査する対象領域を絞り込み易くするため、撮像手段である撮像手段3により得られた撮像画像に対して、ノイズ除去を行う。二値化手段32は、ノイズ除去が行われた撮像画像に対して二値化を行う。絞り込み手段33は、二値化された画像から対象領域を所定輝度範囲の画素数で絞り込む。細線化手段34は、対象領域に対して細線化処理を行う。コーナー検出手段35は、細線化後の対象領域のコーナーを検出する。判定手段36は、検出されたコーナーに基づいて、クラックか否かを判定する。
The
図3に示した各構成手段は、現実には図2に示したように、コンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。なお、本明細書において、コンピュータとは、CPU等の演算処理部を有し、データ処理が可能な装置を意味し、制御装置6を実現するPLCなども含む概念である。 Each component shown in FIG. 3 is actually realized by mounting a dedicated program on hardware such as a computer and its peripheral devices as shown in FIG. That is, the computer executes the contents of each means according to a dedicated program. In the present specification, the computer means a device having an arithmetic processing unit such as a CPU and capable of data processing, and is a concept including a PLC for realizing the control device 6.
図2に示した記憶装置23には、CPU21を動作させ、コンピュータを、画像処理装置5として機能させるための専用のプログラムが実装されている。この専用のプログラムを実行することにより、CPU21は、ノイズ除去手段31、二値化手段32、絞り込み手段33、細線化手段34、コーナー検出手段35、判定手段36としての機能を実現することになる。
In the
<2.搬送処理および撮像>
次に、本実施形態に係る検査方法について、検査装置の処理動作とともに説明する。まず、検査装置が起動されると、1軸ステージを用いた搬送手段1により検査対象物Oが順次搬送される。そして、撮像タイミング検出器4からの出力信号に従い、制御装置6は、撮像手段3に対して撮像指示を行う。撮像手段3は、検査対象物Oの撮像を行って順次画像処理装置5に送信する。画像処理装置5では、受信した一次元のライン画像を所定ライン数について統合し、二次元の撮像画像として取得する。
<2. Transport processing and imaging>
Next, the inspection method according to the present embodiment will be described together with the processing operation of the inspection apparatus. First, when the inspection apparatus is activated, the inspection object O is sequentially transferred by the transfer means 1 using a single axis stage. Then, according to the output signal from the imaging timing detector 4, the control device 6 gives an imaging instruction to the imaging means 3. The imaging means 3 images the inspection object O and sequentially transmits it to the image processing device 5. In the image processing device 5, the received one-dimensional line images are integrated for a predetermined number of lines, and acquired as a two-dimensional captured image.
<3.検査処理>
次に、本実施形態に係る検査方法について、検査装置の処理動作とともに説明する。図4は、本実施形態に係る検査装置の処理動作を示すフローチャートである。上述のように、撮像手段3で取得されたライン画像は、順次、画像処理装置5に送信される。画像処理装置5は、撮像手段3から受信したライン画像を所定ライン分統合して撮像画像を取得する(ステップS1)。
<3. Inspection process>
Next, the inspection method according to the present embodiment will be described together with the processing operation of the inspection apparatus. FIG. 4 is a flowchart showing the processing operation of the inspection apparatus according to the present embodiment. As described above, the line images acquired by the
本実施形態では、ドーム照明を用いて照明された対象物を撮像手段であるラインセンサが撮像する。そのため、得られた画像においては、クラック部分は暗く撮像されて輝度値は小さくなり、クラック以外の部分は明るく撮像されて輝度値が大きくなる。撮像手段3として用いられるラインセンサの特性により異なるが、本実施形態では、1画素8ビットで撮影しているため、撮像画像の各画素の値は256階調の輝度値として得られる。本実施形態では、撮像手段3として、1列2000画素であって、分解能が6μmのラインセンサを用いている。そして、画像処理装置5は、2000列分を1つの撮像画像として取得する。したがって、1つの撮像画像は、2000×2000画素であり、1.2cm×1.2cmの範囲を撮像している。
In this embodiment, the line sensor which is an imaging means images the target object illuminated using dome illumination. Therefore, in the obtained image, the crack portion is imaged darkly and the luminance value is small, and the portion other than the crack is imaged brightly and the luminance value is large. Although this differs depending on the characteristics of the line sensor used as the image pickup means 3, in this embodiment, since the image is taken with 8 bits per pixel, the value of each pixel of the picked-up image is obtained as a luminance value of 256 gradations. In the present embodiment, a line sensor having 2000 pixels per column and a resolution of 6 μm is used as the
続いて、ノイズ除去手段31が、撮像画像に対してノイズ除去を行う(ステップS2)。このノイズ除去は、対象領域を抽出し易くするために行われる。ノイズ除去としては、公知の様々な手法を用いることができる。本実施形態では、膨張・収縮処理を行うことによりノイズを検出し、除去している。具体的には、所定サイズ(画素数)のフィルタを用意し、各画素を中心画素として、中心画素の近傍画素の最大値を中心画素に与える処理を行うことにより膨張処理を行う。そして、各画素を中心画素として、中心画素の近傍画素の最小値を中心画素に与える処理を行うことにより縮小処理を行う。この膨張処理と収縮処理を繰り返して行う。これにより,暗く写る樹脂部分の汚れ等のノイズが除去された画像が生成される。除去できるノイズのサイズは膨張フィルタ(縮小フィルタ)のサイズと処理回数に依存する。
Subsequently, the
ノイズ除去が行われたら、次に、二値化手段32が、ノイズが除去された画像を二値化する処理を行う(ステップS3)。具体的には、所定のしきい値を用いて、256階調の輝度値をとる各画素の値を二値化する。そして、256階調の輝度値がしきい値以上の画素の新たな値を“0”(黒)、256階調の輝度値がしきい値未満の画素の新たな値を“1”(白)とした二値画像を生成する。この結果、撮像画像で明るかった部分は、画素値が“0”で暗くなり、撮影画像で暗かった部分は、画素値が“1”で明るくなり、元の撮像画像と明暗が反転した二値画像が得られる。得られた二値画像のサイズは、撮像画像と同様、2000×2000画素である。以下では、説明の便宜上、画素値が“0”の部分を黒画素、画素値が“1”を白画素として説明する。 If noise removal is performed, the binarization means 32 next performs a process of binarizing the image from which noise has been removed (step S3). Specifically, the value of each pixel having a luminance value of 256 gradations is binarized using a predetermined threshold value. Then, a new value of a pixel whose 256 gradation luminance value is equal to or greater than the threshold is “0” (black), and a new value of a pixel whose 256 gradation luminance value is less than the threshold is “1” (white). ) Is generated. As a result, the bright portion of the captured image becomes dark when the pixel value is “0”, and the dark portion of the captured image becomes bright when the pixel value is “1”. An image is obtained. The size of the obtained binary image is 2000 × 2000 pixels similarly to the captured image. In the following description, for convenience of explanation, a portion where the pixel value is “0” is assumed to be a black pixel and a pixel value “1” is assumed to be a white pixel.
次に、絞り込み手段33が、ノイズ除去後の撮像画像において対象領域の絞り込みを行う(ステップS4)。具体的には、ノイズ除去後の撮像画像における所定輝度範囲の画素の数に基づいて、対象領域を絞り込む。暗く映っている部分を対象領域としたいため、本実施形態では、ノイズ除去後の256階調の撮像画像において、輝度値が所定値未満の画素が連続する画素数が、所定以上の数である箇所のみを対象として絞り込む。すなわち、暗く映っている部分の面積がある程度大きい領域を対象領域とすることになる。所定輝度範囲および所定輝度範囲の画素数としては、状況に応じて適宜設定することが可能であるが、本実施形態では、所定輝度範囲を輝度値が50未満とし、その画素数として50画素以上とする。したがって、ノイズ除去後の256階調の撮像画像において、輝度値が50未満の画素が50画素以上連続する(面積が50以上)領域を対象領域として絞り込む。 Next, the narrowing-down means 33 narrows down the target area in the captured image after noise removal (step S4). Specifically, the target area is narrowed down based on the number of pixels in a predetermined luminance range in the captured image after noise removal. In this embodiment, the number of pixels in which a pixel having a luminance value less than a predetermined value is continuous is greater than or equal to a predetermined number in a 256-gradation captured image after noise removal in order to set a darker portion as a target region. Narrow down only the points. That is, an area where the area of the darkly reflected part is large to some extent is set as the target area. The predetermined luminance range and the number of pixels in the predetermined luminance range can be appropriately set according to the situation, but in the present embodiment, the predetermined luminance range has a luminance value of less than 50, and the number of pixels is 50 pixels or more. And Therefore, in a 256-gradation captured image after noise removal, a region in which 50 or more pixels having a luminance value of less than 50 are continuous (area is 50 or more) is narrowed down as a target region.
次に、細線化手段34が、ノイズ除去後の撮像画像を用いて絞り込まれた対象領域を用いて、二値画像において細線化を行う(ステップS5)。細線化の具体的な手法としては、公知の様々な手法を用いることができる。本実施形態では、ある白画素を注目画素とし、3×3画素内の注目画素以外の8近傍画素のうち、所定の画素が白画素で注目画素を挟んで反対側の所定の画素が黒画素である場合に、注目画素を黒画素に置き換える。すなわち、注目画素の画素値を“1”から“0”に置き換える。このようにして、白画素が連続する部分の幅を狭めて白画素で構成される線の細線化を行う。本実施形態では、白画素の線の幅方向の画素が1画素となるように細線化を行う。細線化により得られた連続する白画素の集合がクラック候補となる。 Next, the thinning means 34 performs thinning on the binary image using the target area narrowed down using the picked-up image after noise removal (step S5). As a specific method for thinning, various known methods can be used. In the present embodiment, a certain white pixel is a target pixel, and among 8 neighboring pixels other than the target pixel in the 3 × 3 pixels, the predetermined pixel is a white pixel and the predetermined pixel on the opposite side across the target pixel is a black pixel. In this case, the target pixel is replaced with a black pixel. That is, the pixel value of the target pixel is replaced from “1” to “0”. In this way, the line composed of white pixels is thinned by narrowing the width of the portion where the white pixels are continuous. In this embodiment, thinning is performed so that the number of pixels in the width direction of the white pixel line becomes one pixel. A set of continuous white pixels obtained by thinning becomes a crack candidate.
次に、コーナー検出手段35が、白画素が連続する部分が細線化された二値画像において、コーナー検出を行う(ステップS6)。コーナーとは、細線化処理後の白画素が連続して作られる形状において局所的な方向が変化する箇所である。コーナー検出は、細線化された白画素の集合であるクラック候補において、連続する画素の方向の角度が大きく異なる部分を検出することにより行う。コーナー検出の具体的な手法としては、公知の様々なものを用いることができる。本実施形態では、細線化後の各白画素について、白画素を中心とした局所領域にコーナー検出フィルタを適用することにより実現している。コーナー検出フィルタとしては、例えばSUSANフィルタを適用することができる。SUSANフィルタは、注目画素である白画素とその周辺画素との差分絶対値を求め、注目画素と中心とする略円形状のマスク内に存在する画素のうち、差分絶対値がしきい値以下である画素をカウントする。本実施形態では、二値画像であるため、同じ白画素をカウントすることになる。そして、SUSANフィルタ出力値である白画素の数が、マスク内の全画素の数に対して一定の割合以下である場合、注目画素とした白画素をコーナーであると判定する。 Next, the corner detection means 35 performs corner detection in the binary image in which the portion where the white pixels are continuous is thinned (step S6). A corner is a location where the local direction changes in a shape in which white pixels after thinning are continuously formed. Corner detection is performed by detecting a portion in which the angle in the direction of successive pixels is greatly different in a crack candidate that is a set of thinned white pixels. As a specific method of corner detection, various known methods can be used. In the present embodiment, each white pixel after thinning is realized by applying a corner detection filter to a local region centered on the white pixel. For example, a SUSAN filter can be applied as the corner detection filter. The SUSAN filter obtains an absolute difference between the white pixel that is the target pixel and its peripheral pixels, and the difference absolute value is less than or equal to a threshold value among pixels existing in a substantially circular mask centered on the target pixel. A certain pixel is counted. In the present embodiment, since the images are binary images, the same white pixels are counted. Then, when the number of white pixels that are the SUSAN filter output values is equal to or less than a certain ratio with respect to the number of all pixels in the mask, it is determined that the white pixel as the target pixel is a corner.
全ての白画素についてコーナーであるか否かが特定されたら、次に、判定手段36が、各クラック候補について、単位長さ当たりのコーナー数が一定数以上であるか否かを判定する(ステップS7)。具体的には、まず、細線化された白画素の集合であるクラック候補の画素数を計数し、計数された画素数で、検出されたコーナー数を除する処理を行う。この結果、クラック候補について、単位長さ当たりのコーナー数が算出される。そして、事前に設定されたしきい値と比較する。しきい値としては、検査対象物の特性、画像の解像度に影響される。したがって、ラインセンサの分解能を考慮し、対応するしきい値が設定されることになる。例えば、検査対象物が樹脂である場合、10mm当たりに3個以上の割合でコーナーが存在する場合、クラックであると判定することが好ましい。例えば、撮像手段の分解能が6μmである場合、10mmに相当する長さは1667画素程度となる。この場合、3/1667がしきい値として設定され、ステップS7において判定に用いられることになる。
If it is determined whether or not all white pixels are corners, then the
図5は、クラックとクラック以外の傷の一例を示す図である。図5(a)はクラックを示しており、図5(b)は擦り傷等のクラック以外のものを示している。図5(a)、図5(b)に示すクラックと擦り傷は、それぞれ図6(b)、図6(c)に示したものと同じである。上述の説明においては、傷部分を白画素で処理したが、図5においては、図6と合わせて、傷部分を黒で示しており、上記説明とは白と黒が逆の関係になっている。図5(a)のような傷の場合、破線状の円で囲ったように、コーナーが3個存在する。このように、コーナーが多数存在する場合、ステップS6においてコーナーが検出され、ステップS7において傷の長さとの関係でコーナー数が一定数以上となることが考えられ、クラックであると判定される。図5(b)のような場合、コーナーが存在しない。このように、コーナーが存在しない場合、ステップS7において傷の長さとの関係でコーナー数が一定数未満となることが考えられ、クラックでないと判定される。すなわち、本発明では、従来の手法では、区別が困難であったクラックと擦り傷を区別することが可能となる。 FIG. 5 is a diagram illustrating an example of a crack and a flaw other than a crack. FIG. 5A shows a crack, and FIG. 5B shows something other than a crack such as a scratch. The cracks and scratches shown in FIGS. 5 (a) and 5 (b) are the same as those shown in FIGS. 6 (b) and 6 (c), respectively. In the above description, the scratched part is processed with white pixels. However, in FIG. 5, the scratched part is shown in black in conjunction with FIG. 6, and white and black are opposite to the above description. Yes. In the case of a scratch as shown in FIG. 5A, there are three corners as surrounded by a broken-line circle. As described above, when there are a large number of corners, the corners are detected in step S6, and in step S7, the number of corners is considered to be a certain number or more in relation to the length of the scratch, and it is determined as a crack. In the case of FIG. 5B, no corner exists. Thus, when there is no corner, in step S7, the number of corners may be less than a certain number in relation to the length of the scratch, and it is determined that there is no crack. That is, according to the present invention, it is possible to distinguish between a crack and a scratch that were difficult to distinguish with the conventional method.
ステップS7において、単位長さ当たりのコーナー数が一定数以上である場合は、判定手段36は、クラックであると判定し(ステップS8)、単位長さ当たりのコーナー数が一定数未満である場合は、判定手段36は、クラック以外であると判定する(ステップS9)。 In step S7, when the number of corners per unit length is a certain number or more, the determination means 36 determines that there are cracks (step S8), and the number of corners per unit length is less than the certain number. The determination means 36 determines that it is other than a crack (step S9).
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、撮像手段として撮像素子が一次元に配列されたラインセンサを用い、数ライン分を統合して1つの撮像画像を得るようにしたが、撮像素子が二次元に配列されたカメラを用い、1回の撮像で1つの撮像画像を得るようにしてもよい。 The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the above embodiments, and various modifications can be made. For example, in the above-described embodiment, a line sensor in which image pickup elements are arranged one-dimensionally is used as the image pickup unit, and several lines are integrated to obtain one picked-up image. However, the image pickup elements are arranged in two dimensions. Alternatively, one captured image may be obtained by one imaging.
1・・・搬送手段
2・・・照明手段
3・・・撮像手段
4・・・撮像タイミング検出器
5・・・画像処理装置
6・・・制御装置
7・・・操作・表示部
8・・・警報装置
9・・・自動排出装置
21・・・CPU(Central Processing Unit)
22・・・RAM(Random Access Memory)
23・・・記憶装置
24・・・通信部
25・・・データ入出力I/F
31・・・ノイズ除去手段
32・・・二値化手段
33・・・絞り込み手段
34・・・細線化手段
35・・・コーナー検出手段
36・・・判定手段
DESCRIPTION OF SYMBOLS 1 ... Conveyance means 2 ... Illumination means 3 ... Imaging means 4 ... Imaging timing detector 5 ... Image processing apparatus 6 ...
22 ... RAM (Random Access Memory)
23 ...
31 ... Noise removing means 32 ... Binarization means 33 ... Narrowing means 34 ... Thinning means 35 ... Corner detection means 36 ... Determination means
Claims (5)
前記検査対象物を撮像する撮像手段と、
前記撮像手段により得られた撮像画像を用いて、連続する画素で構成されるクラック候補からコーナーを検出するコーナー検出手段と、
前記検出されたコーナーの数に基づいて、前記クラック候補がクラックであるか否かを判定する判定手段と、
を有することを特徴とする検査装置。 Illumination means for illuminating the inspection object;
Imaging means for imaging the inspection object;
Corner detection means for detecting a corner from a crack candidate composed of continuous pixels, using a captured image obtained by the imaging means;
Determining means for determining whether the crack candidate is a crack based on the number of detected corners;
An inspection apparatus comprising:
ノイズ除去後の撮像画像を二値化した二値画像を得る二値化手段と、
ノイズ除去後の撮像画像における所定輝度範囲の画素数に基づいて、対象領域を特定する絞り込み手段と、
前記二値画像において、前記特定された対象領域に細線化処理を行う細線化手段と、を更に有し、
前記コーナー検出手段は、前記細線化処理により得られたクラック候補からコーナーを検出することを特徴とする請求項1または請求項2に記載の検査装置。 Noise removing means for removing noise from the captured image obtained by the imaging means;
Binarization means for obtaining a binary image obtained by binarizing the captured image after noise removal;
Based on the number of pixels in the predetermined luminance range in the captured image after noise removal, narrowing means for specifying the target area,
The binary image further includes thinning means for performing thinning processing on the identified target area;
The inspection apparatus according to claim 1, wherein the corner detection unit detects a corner from a crack candidate obtained by the thinning process.
ノイズ除去後の撮像画像を二値化した二値画像を得る二値化手段、
ノイズ除去後の撮像画像における所定輝度範囲の画素数に基づいて、対象領域を特定する絞り込み手段、
前記二値画像において、前記特定された対象領域に細線化処理を行う細線化手段、
前記細線化処理により得られたクラック候補からコーナーを検出するコーナー検出手段、
前記検出されたコーナーの数に基づいて、前記クラック候補がクラックであるか否かを判定する判定手段、
としてコンピュータを機能させるためのプログラム。 Noise removing means for removing noise from the captured image obtained by the imaging means;
Binarization means for obtaining a binary image obtained by binarizing the captured image after noise removal;
Narrowing means for specifying the target area based on the number of pixels in the predetermined luminance range in the captured image after noise removal,
In the binary image, thinning means for performing thinning processing on the identified target area,
Corner detection means for detecting a corner from a crack candidate obtained by the thinning process;
Determining means for determining whether or not the crack candidate is a crack based on the number of detected corners;
As a program to make the computer function as.
コンピュータが、ノイズ除去後の撮像画像を二値化した二値画像を得るステップと、
コンピュータが、ノイズ除去後の撮像画像における所定輝度範囲の画素数に基づいて、対象領域を特定するステップと、
コンピュータが、前記二値画像において、前記特定された対象領域に細線化処理を行うステップと、
コンピュータが、前記細線化処理により得られたクラック候補からコーナーを検出するステップと、
コンピュータが、前記検出されたコーナーの数に基づいて、前記クラック候補がクラックであるか否かを判定するステップと、
を有することを特徴とする検査方法。 A computer removing noise from a captured image obtained by the imaging means;
A computer obtains a binary image obtained by binarizing the captured image after noise removal;
A computer specifying a target region based on the number of pixels in a predetermined luminance range in a captured image after noise removal;
The computer performing a thinning process on the identified target area in the binary image;
A computer detecting a corner from a crack candidate obtained by the thinning process;
A computer determining, based on the number of detected corners, whether the crack candidate is a crack; and
An inspection method characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017019213A JP2018128261A (en) | 2017-02-06 | 2017-02-06 | Inspection apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017019213A JP2018128261A (en) | 2017-02-06 | 2017-02-06 | Inspection apparatus and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018128261A true JP2018128261A (en) | 2018-08-16 |
Family
ID=63173823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017019213A Pending JP2018128261A (en) | 2017-02-06 | 2017-02-06 | Inspection apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018128261A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116523833A (en) * | 2023-03-17 | 2023-08-01 | 苏交科集团股份有限公司 | Crack monitoring equipment based on image recognition technology and safety monitoring application platform comprising same |
-
2017
- 2017-02-06 JP JP2017019213A patent/JP2018128261A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116523833A (en) * | 2023-03-17 | 2023-08-01 | 苏交科集团股份有限公司 | Crack monitoring equipment based on image recognition technology and safety monitoring application platform comprising same |
CN116523833B (en) * | 2023-03-17 | 2024-05-24 | 苏交科集团股份有限公司 | Crack monitoring equipment based on image recognition technology and safety monitoring application platform comprising same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH0736001B2 (en) | Bottle defect inspection method | |
JP2007078540A (en) | Visual inspection method and visual inspection device | |
JP2010112802A (en) | Appearance inspection apparatus for wood and appearance inspection method for wood | |
JP6635712B2 (en) | Inspection method, inspection device, image processing device, program, and recording medium | |
JP2007292699A (en) | Surface inspection method of member | |
JP4910128B2 (en) | Defect inspection method for object surface | |
JP4910800B2 (en) | Screw parts inspection device and inspection method | |
JP4986255B1 (en) | Container mouth inspection method and apparatus | |
JP2017166957A (en) | Defect detection device, defect detection method and program | |
JP2018128261A (en) | Inspection apparatus and method | |
JP5732605B2 (en) | Appearance inspection device | |
JP6605772B1 (en) | Defect inspection apparatus and defect inspection method | |
JP6623545B2 (en) | Inspection system, inspection method, program, and storage medium | |
JP6861092B2 (en) | Visual inspection method and visual inspection equipment for electronic components | |
JPH04240557A (en) | Method for detecting flaw | |
JP2710527B2 (en) | Inspection equipment for periodic patterns | |
JP3160743B2 (en) | LCD panel defect inspection equipment | |
JP2009229200A (en) | Foreign matter inspection method and foreign matter inspection device | |
JPH04147045A (en) | Surface inspection device | |
JPH04265847A (en) | Surface defect inspecting apparatus | |
JPH06118026A (en) | Method for inspecting vessel inner surface | |
JPH06160289A (en) | Inner face inspection equipment for circular vessel | |
JP4474006B2 (en) | Inspection device | |
JP4009085B2 (en) | Pattern inspection apparatus and pattern inspection method | |
KR102196396B1 (en) | A method for detecting surface defects of variable display panel glass |