JP2021180309A - Two-dimensional pcb appearance defect real-time automatic detection technology based on deep learning - Google Patents
Two-dimensional pcb appearance defect real-time automatic detection technology based on deep learning Download PDFInfo
- Publication number
- JP2021180309A JP2021180309A JP2021082647A JP2021082647A JP2021180309A JP 2021180309 A JP2021180309 A JP 2021180309A JP 2021082647 A JP2021082647 A JP 2021082647A JP 2021082647 A JP2021082647 A JP 2021082647A JP 2021180309 A JP2021180309 A JP 2021180309A
- Authority
- JP
- Japan
- Prior art keywords
- pcb
- defect
- image
- patch
- defects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 520
- 238000001514 detection method Methods 0.000 title claims abstract description 157
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 95
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000001914 filtration Methods 0.000 claims description 14
- 238000003709 image segmentation Methods 0.000 claims description 13
- 230000002950 deficient Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000000052 comparative effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 abstract 1
- 239000000284 extract Substances 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
Abstract
Description
本発明は、欠陥検出の技術分野、特に深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法に関する。 The present invention relates to a technical field of defect detection, particularly a real-time automatic detection method of two-dimensional PCB appearance defects based on deep learning.
２次元（２Ｄ）プリント回路基板（ＰＣＢ）は、さまざまなマイクロ回路基板およびマザーボードの製造の基礎であり、その正確性は、他の後続プロセスの正確性を保証するものである。現代の技術と優れたプロセスの継続的な開発により、ＰＣＢの製造はますます複雑で精密になっている。従来の外観検出は、複雑なＰＣＢ検出にはもはや適していない。 Two-dimensional (2D) printed circuit boards (PCBs) are the basis for the manufacture of various microcircuit boards and motherboards, the accuracy of which guarantees the accuracy of other subsequent processes. With modern technology and continuous development of superior processes, PCB manufacturing is becoming more complex and precise. Traditional appearance detection is no longer suitable for complex PCB detection.
本発明は、関連技術における技術的問題の１つを少なくともある程度解決することを目的としている。 It is an object of the present invention to solve at least one of the technical problems in the related technology.
この目的のために、本発明は、高速、高精度、強力な一般化能力、および明確な構造の利点を有する、深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法を提供することを目的とする。 To this end, it is an object of the present invention to provide a method for real-time automatic detection of 2D PCB appearance defects based on deep learning, which has the advantages of high speed, high accuracy, strong generalization ability, and clear structure. And.
上記の目的を達成するために、本発明の実施例は、
ＰＣＢ欠陥パッチ画像を収集してマークすることにより、２次元ＰＣＢ欠陥パッチ画像ライブラリには、２次元ＰＣＢ欠陥データペア画像ライブラリと２次元ＰＣＢ欠陥単一データ画像ライブラリが含まれる、２次元ＰＣＢ欠陥パッチ画像ライブラリを構築するステップＳ１と、
前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥カテゴリ特徴を抽出するステップＳ２と、
前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥のレベルに対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥レベル特徴を抽出するステップＳ３と、
ＰＣＢ生産ラインを通じて、２次元標準ＰＣＢ画像及び２次元検出対象ＰＣＢ画像を含む、２次元ＰＣＢ画像を抽出するステップＳ４と、
フィルタリングノイズ除去パッチを介して、前記２次元ＰＣＢ画像に対してノイズ除去処理を実行するステップＳ５と、
画像レジストレーションパッチを介して前記２次元検出対象ＰＣＢ画像と前記２次元標準ＰＣＢ画像にレジストレーションを行うステップＳ６と、
画像グレー値比較パッチを介して、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像のグレー値を比較および分析して、２次元ＰＣＢ残差画像を取得するステップＳ７と、
画像セグメンテーション位置決めパッチを介して、前記２次元標準ＰＣＢ画像、前記２次元検出対象ＰＣＢ画像及び前記２次元ＰＣＢ残差画像をセグメント化して位置決めして、複数の画像の画像パッチ及び対応する座標を取得するステップＳ８と、
残差フィルタリングパッチを介して、前記２次元ＰＣＢ残差画像の画像パッチをフィルタリングし、レジストレーション及びその他の要因によって引き起こされる比較エラーを排除するステップＳ９と、
欠陥検索マッチングパッチを介して、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、複数の画像パッチで欠陥パッチを検索し、欠陥パッチのマッチングを実行するステップＳ１０と、
ＣＮＮ欠陥識別パッチを介して、畳み込みニューラルネットワークを使用して、前記２次元検出対象ＰＣＢ画像の欠陥を識別するステップＳ１１と、
ＰＣＢ欠陥分類パッチを介して、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥カテゴリ特徴ペアを使用して、前記２次元検出対象ＰＣＢ画像内のマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥パッチ画像ライブラリに追加するステップＳ１２と、
ＰＣＢ欠陥疑似パッチを介して、前記２次元検出対象ＰＣＢ画像内の各種類の欠陥を疑似欠陥としてマークするステップＳ１３と、
ＰＣＢ欠陥検証パッチを介して、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥レベル特徴と分類情報を通じて、疑似欠陥パッチの真偽性を判断し、欠陥が偽の欠陥である場合、対応する欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークするステップＳ１４と、を含む深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法を提供する。
In order to achieve the above object, the embodiments of the present invention are:
By collecting and marking PCB defect patch images, the 2D PCB defect patch image library includes a 2D PCB defect data pair image library and a 2D PCB defect single data image library. Step S1 to build the image library and
Step S2 to extract PCB defect category features by training each type of PCB defect in the 2D PCB defect patch image library using a convolutional neural network.
Step S3 to extract PCB defect level features by training using a convolutional neural network for each type of PCB defect level in the 2D PCB defect patch image library.
Step S4 to extract a 2D PCB image including a 2D standard PCB image and a 2D detection target PCB image through a PCB production line, and
Step S5 for executing noise removal processing on the two-dimensional PCB image via the filtering noise removal patch, and
Step S6 for registering the two-dimensional detection target PCB image and the two-dimensional standard PCB image via an image registration patch, and
Step S7 to obtain a 2D PCB residual image by comparing and analyzing the gray values of the 2D standard PCB image and the 2D detection target PCB image via the image gray value comparison patch.
Through the image segmentation positioning patch, the 2D standard PCB image, the 2D detection target PCB image, and the 2D PCB residual image are segmented and positioned to acquire image patches and corresponding coordinates of a plurality of images. Step S8 and
Step S9, which filters the image patch of the 2D PCB residual image through the residual filtering patch to eliminate comparison errors caused by registration and other factors.
Step S10, which searches for defect patches in multiple image patches and performs defect patch matching via PCB defect features trained by a convolutional neural network via defect search matching patches.
In step S11, which identifies a defect in the PCB image to be detected in two dimensions using a convolutional neural network via a CNN defect identification patch,
Using the PCB defect category feature pair trained by the convolutional neural network via the PCB defect classification patch, the marked defects in the 2D detected PCB image are classified and the defects not in the category are determined. Step S12, which determines whether they are fake defects or defects in a new category and adds the defects in the new category to the defect patch image library.
Step S13, which marks each type of defect in the two-dimensional detection target PCB image as a pseudo defect via the PCB defect pseudo patch, and
Through the PCB defect verification patch, through the PCB defect level features and classification information trained by the convolutional neural network, determine the authenticity of the pseudo-defect patch and remove the corresponding defect if the defect is a false defect. Provided is a real-time automatic detection method for two-dimensional PCB appearance defects based on deep learning, including step S14 of analyzing the cause of a false defect and marking the defect as a true defect if the defect is a true defect.
また、本発明の上記の実施例による深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法はまた、以下の追加の技術的特徴を有することができる。 In addition, the real-time automatic detection method for two-dimensional PCB appearance defects based on deep learning according to the above embodiment of the present invention can also have the following additional technical features.
さらに、本発明の１つの実施例において、前記２次元ＰＣＢ欠陥パッチ画像ライブラリは２種類に分類され、１つは２次元ＰＣＢ欠陥パッチ及び対応する非欠陥標準ＰＣＢパッチ画像で構成されるデータペア画像ライブラリで、もう１つは単一の２次元ＰＣＢ欠陥パッチのみを有するデータ画像ライブラリである。 Further, in one embodiment of the invention, the two-dimensional PCB defect patch image library is classified into two types, one is a data pair image composed of a two-dimensional PCB defect patch and a corresponding non-defective standard PCB patch image. A library, the other is a data image library with only a single 2D PCB defect patch.
さらに、本発明の一つの実施例において、前記ステップＳ１は、
２次元ＰＣＢ欠陥パッチ画像ライブラリを構築することをさらに含む。２種類の２次元ＰＣＢ欠陥パッチ画像ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥パッチ画像が含まれ、前記ＰＣＢ欠陥パッチ画像にはマルチスケール画像が含まれる。
Further, in one embodiment of the present invention, the step S1 is
Further includes building a 2D PCB defect patch image library. The two 2D PCB defect patch image libraries include various marked, classified, and graded PCB defect patch images, said PCB defect patch images including multiscale images.
さらに、本発明の一つの実施例において、前記ステップＳ２及びステップＳ３は、
前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥カテゴリ特徴を抽出することと、
前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥のレベルに対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥レベル特徴を抽出することと、をさらに含む。
Further, in one embodiment of the present invention, the steps S2 and S3 are
Training and extracting PCB defect category features for each type of PCB defect in the 2D PCB defect patch image library using a convolutional neural network.
It further comprises training the levels of each type of PCB defect in the 2D PCB defect patch image library using a convolutional neural network to extract PCB defect level features.
さらに、本発明の一つの実施例において、Ｓ４において、ＰＣＢ画像抽出パッチを介して抽出された２次元ＰＣＢ画像には、２種類があり、１つは、２次元標準ＰＣＢ画像と２次元検出対象ＰＣＢ画像を抽出する方法で、もう１つは、２次元検出対象ＰＣＢ画像のみを抽出する方法である。 Further, in one embodiment of the present invention, in S4, there are two types of two-dimensional PCB images extracted via the PCB image extraction patch, one is a two-dimensional standard PCB image and the other is a two-dimensional detection target. The other is a method of extracting a PCB image, and the other is a method of extracting only a two-dimensional detection target PCB image.
さらに、本発明の一つの実施例において、前記Ｓ４は、
標準ＰＣＢとの比較の検出方法とＰＣＢハイブリッド検出方法では、２次元検出対象ＰＣＢ画像及び対応する２次元標準ＰＣＢ画像を抽出することと、
標準ボード比較なしＰＣＢ検出方法では、２次元検出対象ＰＣＢ画像のみを抽出することと、をさらに含む。
Further, in one embodiment of the present invention, the S4 is
In the detection method for comparison with the standard PCB and the PCB hybrid detection method, the two-dimensional detection target PCB image and the corresponding two-dimensional standard PCB image are extracted, and
The standard board comparison-less PCB detection method further includes extracting only the two-dimensional detection target PCB image.
さらに、本発明の一つの実施例において、フィルタリングノイズ除去パッチは、前記２次元ＰＣＢ画像に対してノイズ除去処理を行う前記Ｓ５において、
アルゴリズムを使用して、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像のノイズを除去し、標準ＰＣＢとの比較の検出方法とＰＣＢハイブリッド検出方法では、前記２次元標準ＰＣＢ画像及び前記２次元検出対象ＰＣＢ画像に対してノイズ除去を実行し、画像のノイズを除去し、底板の色が画像に与える影響を修正し、標準ＰＣＢ画像、検出対象ＰＣＢ画像、および欠陥ライブラリの画像の底板の色を一致させることと、
標準ボード比較なしＰＣＢ検出方法では、前記２次元検出対象ＰＣＢ画像のみに対してノイズを除去し、画像のノイズを除去し、底板の色が画像に与える影響を修正し、検出対象ＰＣＢ画像、欠陥ライブラリの画像の底板の色を一致させることと、を含む。
Further, in one embodiment of the present invention, the filtering noise removal patch is used in S5, which performs noise removal processing on the two-dimensional PCB image.
An algorithm is used to remove noise between the two-dimensional standard PCB image and the two-dimensional detection target PCB image, and in the detection method for comparison with the standard PCB and the PCB hybrid detection method, the two-dimensional standard PCB image and the above 2 Performs noise removal on the dimensional detection target PCB image, removes image noise, corrects the effect of bottom plate color on the image, and on the bottom plate of standard PCB images, detection target PCB images, and defect library images. Matching colors and
In the standard board comparison-less PCB detection method, noise is removed only from the two-dimensional detection target PCB image, image noise is removed, the influence of the color of the bottom plate on the image is corrected, and the detection target PCB image and defects are corrected. Includes matching the color of the bottom plate of the images in the library.
さらに、本発明の一つの実施例において、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像に対して、レジストレーション、グレー値の比較、および画像セグメンテーションを実行することは、さらに
標準ＰＣＢとの比較の検出方法とＰＣＢハイブリッド検出方法では、前記Ｓ６、Ｓ７及びＳ８は、
標準ＰＣＢとの比較の検出方法とＰＣＢハイブリッド検出方法では、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像に対してレジストレーションを行い、ノイズ除去処理後の２次元標準ＰＣＢ画像に従って前記２次元検出対象ＰＣＢ画像を修正し、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像のグレー値を比較し、画像残差を計算して２次元ＰＣＢ残差画像を取得することと、前記２次元標準ＰＣＢ画像、前記２次元検出対象ＰＣＢ画像、および前記２次元ＰＣＢ残差画像をセグメント化して、複数の画像パッチ及び対応する座標を取得することと、
前記２次元標準ＰＣＢ画像に対してレジストレーションを行い、前記２次元標準ＰＣＢ画像に回転、変形、不均一な光、および光の反射があるか否かを検出し、ある場合、アルゴリズムを使用して修正することと、
前記２次元検出対象ＰＣＢ画像を処理済みの２次元標準ＰＣＢ画像と比較し、位置、光、色が一致しているか否かを判断し、一致していない場合は、アルゴリズムを使用して、前記２次元検出対象ＰＣＢ画像を修正することと、を含む。
Further, in one embodiment of the present invention, performing registration, gray value comparison, and image segmentation on the two-dimensional standard PCB image and the two-dimensional detection target PCB image is further performed with the standard PCB. In the comparative detection method and the PCB hybrid detection method, the above S6, S7 and S8 are
In the detection method for comparison with the standard PCB and the PCB hybrid detection method, the 2D standard PCB image and the 2D detection target PCB image are registered, and the 2D standard PCB image after noise removal processing is performed. Modifying the dimensional detection target PCB image, comparing the gray values of the 2D standard PCB image and the 2D detection target PCB image, calculating the image residual, and acquiring the 2D PCB residual image. To segment a two-dimensional standard PCB image, the two-dimensional detection target PCB image, and the two-dimensional PCB residual image to acquire a plurality of image patches and corresponding coordinates.
Registration is performed on the 2D standard PCB image to detect whether the 2D standard PCB image has rotation, deformation, non-uniform light, and light reflection, and if so, an algorithm is used. To fix it
The 2D detection target PCB image is compared with the processed 2D standard PCB image to determine whether the position, light, and color match, and if not, an algorithm is used to perform the above. Includes modifying the two-dimensional detection target PCB image.
さらに、本発明の一つの実施例において、非比較参照検出方法では、Ｓ８は、前記２次元検出対象ＰＣＢ画像をセグメント化して、複数の画像パッチ及び対応する座標を取得することをさらに含む。 Further, in one embodiment of the present invention, in the non-comparative reference detection method, S8 further comprises segmenting the two-dimensional detection target PCB image to obtain a plurality of image patches and corresponding coordinates.
さらに、本発明の一つの実施例において、前記Ｓ９において、前記２次元ＰＣＢ残差画像の画像パッチをフィルタリングし、レジストレーション及びその他の要因による比較エラーを排除し、前記２次元ＰＣＢ残差画像に残差のない画像パッチを削除し、
前記Ｓ１０及びＳ１２は、
標準ボード比較なしＰＣＢ検出方法では、前記２次元ＰＣＢ欠陥単一データ画像ライブラリを採用することと、
標準ボード比較なしＰＣＢ検出方法とＰＣＢハイブリッド検出方法では、前記２次元ＰＣＢ欠陥画像ライブラリと前記２次元ＰＣＢ欠陥画像ライブラリの各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークでトレーニングし、ＰＣＢ欠陥特徴とＰＣＢ欠陥カテゴリ特徴を抽出することと、
ステップＳ１０は、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、前記ステップＳ８は、複数の画像パッチでＰＣＢ欠陥の検索および識別を実行し、単一の２次元ＰＣＢ欠陥画像ライブラリ畳み込みニューラルネットワークを使用して、ＰＣＢ欠陥カテゴリ特徴をトレーニングし、ステップＳ１２は、前記２次元検出対象ＰＣＢ画像にマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥画像ライブラリに追加することと、をさらに含む。
Further, in one embodiment of the present invention, in S9, the image patch of the 2D PCB residual image is filtered to eliminate comparison errors due to registration and other factors, and the 2D PCB residual image is obtained. Remove the image patch with no residuals and
The S10 and S12 are
In the standard board comparison-less PCB detection method, the above-mentioned two-dimensional PCB defect single data image library is adopted, and
In the standard board comparison-less PCB detection method and the PCB hybrid detection method, PCB defects of each type of the 2D PCB defect image library and the 2D PCB defect image library are trained by a convolutional neural network, and the PCB defect characteristics are used. Extracting PCB defect category features and
Step S10 is through a PCB defect feature trained by a convolutional neural network, said step S8 performing PCB defect retrieval and identification in multiple image patches, a single two-dimensional PCB defect image library convolutional neural network. To train PCB defect category features using, step S12 classifies the defects marked in the two-dimensional detection target PCB image, determines defects that are not in the category, and whether they are false defects. It further includes determining if it is a defect in a new category and adding the defect in the new category to the defect image library.
さらに、本発明の一つの実施例において、標準ＰＣＢとの比較の検出方法とＰＣＢハイブリッド検出方法では、それぞれ前記２次元ＰＣＢ欠陥画像ライブラリ及び前記２次元ＰＣＢ欠陥画像ライブラリの各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングして、ＰＣＢ欠陥特徴及びＰＣＢ欠陥カテゴリ特徴を抽出する。ステップＳ１１及びステップＳ１２は、
２次元ＰＣＢ欠陥パッチ及び対応する非欠陥標準ＰＣＢパッチ画像で構成される２次元ＰＣＢ欠陥データペア画像ライブラリを採用し、ステップＳ１１は、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴ペア、ステップＳ９は、残差画像に対して欠陥識別を実行し、２次元ＰＣＢ欠陥画像ライブラリ畳み込みニューラルネットワークを使用して、ＰＣＢ欠陥カテゴリ特徴ペアをトレーニングし、ステップＳ１２は、前記２次元検出対象ＰＣＢ画像にマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥画像ライブラリに追加することをさらに含む。
Further, in one embodiment of the present invention, in the detection method for comparison with the standard PCB and the PCB hybrid detection method, for each type of PCB defect of the two-dimensional PCB defect image library and the two-dimensional PCB defect image library, respectively. And training using a convolutional neural network to extract PCB defect features and PCB defect category features. Step S11 and step S12 are
Adopting a 2D PCB defect data pair image library composed of 2D PCB defect patches and corresponding non-defective standard PCB patch images, step S11 is a PCB defect feature pair trained by a convolutional neural network, step S9 is Defect identification was performed on the residual image and the PCB defect category feature pair was trained using the 2D PCB defect image library convolutional neural network, and step S12 was marked on the 2D detection target PCB image. It further includes classifying defects, determining defects that are not in the category, determining whether they are fake defects or defects in a new category, and adding the defects in the new category to the defect image library.
さらに、本発明の一つの実施例において、ＰＣＢハイブリッド検出方法では、ステップＳ１２の後には、
畳み込みニューラルネットワークによってトレーニングされた前記２次元ＰＣＢ欠陥画像ライブラリのＰＣＢ欠陥特徴を使用して、マークされた疑似欠陥パッチを検索してマッチングさせ、そのうちの偽の欠陥を削除し、識別精度を向上させることと、
ステップＳ１３の後、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、前記欠陥画像で疑似欠陥を検索してマッチングさせることと、をさらに含む。
Further, in one embodiment of the present invention, in the PCB hybrid detection method, after step S12,
The PCB defect features of the 2D PCB defect image library trained by the convolutional neural network are used to search for and match marked pseudo-defect patches, removing false defects and improving identification accuracy. That and
After step S13, further comprising searching for and matching pseudo-defects in the defect image via PCB defect features trained by a convolutional neural network.
さらに、本発明の一つの実施例において、ＰＣＢ欠陥検証では、ステップＳ３で畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥レベル特徴情報を通じてＰＣＢ欠陥の真偽性を判断し、欠陥が偽の欠陥である場合、該偽の欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークする。 Further, in one embodiment of the present invention, in the PCB defect verification, the authenticity of the PCB defect is determined through the PCB defect level feature information trained by the convolutional neural network in step S3, and the defect is a false defect. , The fake defect is deleted, the cause of the fake defect is analyzed, and if the defect is a true defect, it is marked on the defect record.
さらに、本発明の一つの実施例において、欠陥の検索と判断の過程で、欠陥を複数の識別の反復によって連続的に排除する。 Further, in one embodiment of the present invention, in the process of searching and determining a defect, the defect is continuously eliminated by repeating a plurality of identifications.
本発明の追加の態様および利点は、以下の説明で部分的に与えられ、いくつかは、以下の説明から明らかになるか、または本発明の実施を通じて理解される。 Additional aspects and advantages of the invention are given in part in the description below, some of which will be apparent from the description below or understood through the practice of the invention.
本発明の実施例における深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法は、ＰＣＢ画像、標準ＰＣＢ画像、および畳み込みニューラルネットワークを使用してＰＣＢ欠陥を検出し、ＰＣＢ欠陥検出のツールを使用すると、組み立てプロセスの初期段階でエラーを見つけて排除でき、欠陥のあるＰＣＢボードを次の組み立て段階に送ることを回避でき、同時に、修理コストを削減し、修理不可能な回路基板の廃棄を回避する。畳み込みニューラルネットワークの使用には、高速、高精度、強力な一般化能力、および明確な構造という利点がある。 The method for real-time automatic detection of two-dimensional PCB appearance defects based on deep learning in the embodiment of the present invention detects PCB defects using a PCB image, a standard PCB image, and a convolutional neural network, and uses a tool for detecting PCB defects. You can then find and eliminate errors early in the assembly process, avoid sending defective PCB boards to the next assembly stage, while reducing repair costs and avoiding the disposal of irreparable circuit boards. do. The use of convolutional neural networks has the advantages of high speed, high accuracy, strong generalization capabilities, and well-defined structure.
本発明の上記及び／又は追加の態様および利点は、添付の図面を参照しながら実施例の以下の説明から明らかになり、理解しやすくなる。
以下は、本発明の実施例を詳細に説明する。前記実施例の例は、添付の図面に示され、同じまたは類似の参照番号は、同じまたは類似の要素または同じまたは類似の機能を有する要素を示す。添付の図面を参照して以下に説明する実施例は例示的なものであり、本発明を説明することを意図しているが、本発明を限定するものではない。
The above and / or additional embodiments and advantages of the present invention will become apparent and easier to understand from the following description of the Examples with reference to the accompanying drawings.
Hereinafter, embodiments of the present invention will be described in detail. Examples of said embodiments are shown in the accompanying drawings, where the same or similar reference numbers indicate the same or similar elements or elements with the same or similar function. The embodiments described below with reference to the accompanying drawings are exemplary and are intended to illustrate the invention, but are not intended to limit the invention.
以下は、添付の図面を参照して、本発明の実施例によって提供された深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法を説明する。 The following describes a method for real-time automatic detection of two-dimensional PCB appearance defects based on deep learning provided by the embodiments of the present invention with reference to the accompanying drawings.
技術の進歩に伴い、ＰＣＢの製造はますます複雑で精密になっている。既存の欠陥検出方法は効率的ではなく、精度は非常に低くなっている。本発明の実施例は、比較のために標準ＰＣＢボードに依存するＣＮＮ検出方法（方法１）、標準ＰＣＢボード比較なしのＣＮＮ検出方法（方法２）、前の２つの方法ハイブリッドＣＮＮ検出方法（方法３）が含まれるＰＣＢ実施例でＰＣＢ欠陥検出を行う、深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法を提供する。 With technological advances, PCB manufacturing is becoming more complex and precise. Existing defect detection methods are inefficient and very inaccurate. Examples of the present invention include a CNN detection method that relies on a standard PCB board for comparison (method 1), a CNN detection method without standard PCB board comparison (method 2), and the previous two methods hybrid CNN detection method (method). 3) Provided is a real-time automatic detection method of a two-dimensional PCB appearance defect based on deep learning, which performs PCB defect detection in a PCB embodiment including 3).
図１に示すように、本発明の実施例による深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法は、
ＰＣＢ欠陥パッチ画像ライブラリを介して、２次元ＰＣＢ欠陥データペア画像ライブラリと２次元ＰＣＢ欠陥単一データ画像ライブラリがそれぞれある、２次元ＰＣＢ欠陥パッチ（ｐａｔｃｈ）画像ライブラリを構築するＳ１と、
ＣＮＮ欠陥特徴トレーニングパッチを介して、２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワーク（ＣＮＮ）を使用してトレーニングして、ＰＣＢ欠陥特徴及びＰＣＢ欠陥カテゴリ特徴を抽出するＳ２と、
ＣＮＮ欠陥レベル特徴トレーニングパッチを介して、２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥レベルに対して、畳み込みニューラルネットワークを使用してトレーニングして、ＰＣＢ欠陥カテゴリ特徴を抽出するＳ３と、
ＰＣＢ画像抽出パッチを介して、それぞれ２次元標準ＰＣＢ画像と２次元検出対象ＰＣＢ画像がある、２次元ＰＣＢ画像を抽出するＳ４と、
フィルタリングノイズ除去パッチを介して、２次元ＰＣＢ画像のノイズ除去処理を実行するＳ５と、
画像レジストレーションパッチを介して、２次元標準ＰＣＢ画像を２次元検出対象ＰＣＢ画像にレジストレーションを行い、２次元標準ＰＣＢ画像と２次元検出対象ＰＣＢ画像を位置合わせるＳ６と、
画像グレー値比較パッチを介して、２次元標準ＰＣＢ画像と２次元検出対象ＰＣＢ画像のグレー値を比較および分析して、２次元ＰＣＢ残差画像を取得するＳ７と、
画像セグメンテーション位置決めパッチを介して２次元標準ＰＣＢ画像、２次元検出対象ＰＣＢ画像及び２次元ＰＣＢ残差画像をセグメント化して位置決めして、複数の画像のパッチ（ｐａｔｃｈ）及び対応する座標を取得するＳ８と、
残差フィルタリングパッチを介して、２次元ＰＣＢ残差画像のｐａｔｃｈをフィルタリングし、レジストレーション及びその他の要因によって引き起こされる比較エラーを排除するＳ９と、
欠陥検索マッチングパッチを介して、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、複数の画像パッチで欠陥パッチを検索し、欠陥パッチのマッチングを実行するＳ１０と、
ＣＮＮ欠陥識別パッチを介して、畳み込みニューラルネットワークを使用して、検出対象ＰＣＢ画像欠陥を識別するＳ１１と、
ＰＣＢ欠陥分類パッチを介して、畳み込みニューラルネットワークによってトレーニングＰＣＢ欠陥カテゴリ特徴ペアを使用して、検出対象ＰＣＢ画像内のマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、新しいカテゴリの欠陥を欠陥画像ライブラリに追加するＳ１２と、
ＰＣＢ欠陥疑似パッチを介して、２次元検出対象ＰＣＢ画像内の各種類の欠陥を疑似欠陥としてマークするＳ１３と、
ＰＣＢ欠陥検証パッチを介して、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥レベル特徴と分類情報を通じて、疑似欠陥パッチの真偽性を判断し、判断疑似缺陷塊的真假性，欠陥が偽の欠陥である場合、対応する欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークするＳ１４と、を含む。
As shown in FIG. 1, the method for real-time automatic detection of two-dimensional PCB appearance defects based on deep learning according to the embodiment of the present invention is
S1 to build a 2D PCB defect patch image library with a 2D PCB defect data pair image library and a 2D PCB defect single data image library, respectively, via a PCB defect patch image library.
Through the CNN defect feature training patch, each type of PCB defect in the 2D PCB defect patch image library is trained using a convolutional neural network (CNN) to develop PCB defect features and PCB defect category features. S2 to be extracted and
S3, which extracts PCB defect category features by training each type of PCB defect level in a 2D PCB defect patch image library using a convolutional neural network via a CNN defect level feature training patch.
S4 that extracts a 2D PCB image that has a 2D standard PCB image and a 2D detection target PCB image, respectively, via a PCB image extraction patch.
S5, which executes noise removal processing for 2D PCB images via a filtering noise removal patch, and
S6 that registers the 2D standard PCB image with the 2D detection target PCB image via the image registration patch and aligns the 2D standard PCB image with the 2D detection target PCB image.
S7 to acquire a 2D PCB residual image by comparing and analyzing the gray values of the 2D standard PCB image and the 2D detection target PCB image via the image gray value comparison patch.
Image segmentation S8 to segment and position a 2D standard PCB image, a 2D detection target PCB image, and a 2D PCB residual image via a positioning patch to acquire patches (patches) of multiple images and corresponding coordinates. When,
With S9, which filters the patch of the 2D PCB residual image through the residual filtering patch to eliminate comparison errors caused by registration and other factors.
S10, which searches for defect patches in multiple image patches and performs defect patch matching via PCB defect features trained by a convolutional neural network via defect search matching patches.
S11, which identifies the PCB image defect to be detected by using a convolutional neural network via the CNN defect identification patch,
Through a PCB defect classification patch, a convolutional neural network uses a training PCB defect category feature pair to classify marked defects in the PCB image to be detected, determine defects that are not in the category, and they are false defects. S12, which determines whether it is a defect in a new category and adds a defect in the new category to the defect image library.
S13, which marks each type of defect in the PCB image to be detected as a pseudo defect via the PCB defect pseudo patch, and
Through the PCB defect verification patch, the authenticity of the pseudo-defect patch is judged through the PCB defect level feature and classification information trained by the convolutional neural network. In some cases, the corresponding defect is deleted, the cause of the false defect is analyzed, and if the defect is a true defect, S14, which marks the defect record, is included.
本発明の実施例において、２次元ＰＣＢ欠陥パッチ画像ライブラリは２種類に分類され、１つは２次元ＰＣＢ欠陥パッチ及び対応する非欠陥標準ＰＣＢパッチ画像で構成されるデータペア画像ライブラリで、もう１つは単一の２次元ＰＣＢ欠陥パッチのみを有するデータ画像ライブラリである。 In the embodiments of the present invention, the two-dimensional PCB defect patch image library is classified into two types, one is a data pair image library composed of a two-dimensional PCB defect patch and a corresponding non-defective standard PCB patch image, and the other is. One is a data image library with only a single 2D PCB defect patch.
本発明の実施例において、上記実施例に基づき、Ｓ１は、
２種類の２次元ＰＣＢ欠陥パッチ画像ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥パッチ画像が含まれ、ＰＣＢ欠陥パッチ画像にはマルチスケール画像が含まれることをさらに含む。
In the embodiment of the present invention, based on the above embodiment, S1 is
The two 2D PCB defect patch image libraries include various marked, classified, and graded PCB defect patch images, further including including multiscale images in the PCB defect patch images.
本発明の実施例において、Ｓ２及びＳ３は、
２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワーク（ＣＮＮ）を使用してトレーニングを行い、ＰＣＢ欠陥カテゴリ特徴を抽出することと、
２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥のレベルに対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥レベル特徴を抽出することと、をさらに含む。
In the embodiment of the present invention, S2 and S3 are
Two-dimensional PCB defect patch To train each type of PCB defect in the image library using a convolutional neural network (CNN) to extract PCB defect category features.
It further includes training using a convolutional neural network to extract PCB defect level features for each type of PCB defect level in a 2D PCB defect patch image library.
本発明の実施例において、Ｓ４は、２次元標準ＰＣＢ画像及び２次元検出対象ＰＣＢ画像を抽出する、検出対象ＰＣＢ画像のみを抽出する２つの状況を含む、２次元ＰＣＢ画像を抽出することを含むことを特徴とする。 In an embodiment of the invention, S4 comprises extracting a 2D PCB image comprising two situations: extracting a 2D standard PCB image and a 2D detection target PCB image, extracting only the detection target PCB image. It is characterized by that.
ステップＳ４は、
比較技術が必要な検出方法１と方法３の場合、２次元検出対象ＰＣＢ画像及び対応する標準ＰＣＢ画像を抽出する必要があり、教師なし学習検出（つまり、非比較参照学習検出方法）方法２の場合、２次元検出対象ＰＣＢ画像のみを抽出する必要があることをさらに含む。
Step S4
In the case of
本発明の実施例において、Ｓ５フィルタリングノイズ除去パッチは、２次元ＰＣＢ画像に対してノイズ除去処理を行う。 In the embodiment of the present invention, the S5 filtering noise reduction patch performs noise removal processing on a two-dimensional PCB image.
アルゴリズムを使用して標準ＰＣＢ画像及び検出対象ＰＣＢ画像のノイズを除去する。方法１と方法３では、２次元標準ＰＣＢ画像と検出対象ＰＣＢ画像のノイズを除去する必要があり、画像のノイズを除去し、ボードの色が画像に与える影響を修正し、標準ＰＣＢ画像、検出対象ＰＣＢ画像、および欠陥ライブラリの画像の底板の色を一致させ、方法２では、検出対象ＰＣＢ画像のみに対してノイズを除去する必要があり、画像のノイズを除去し、底板の色が画像に与える影響を修正し、検出対象ＰＣＢ画像、欠陥ライブラリの画像の底板の色を一致させる。
An algorithm is used to remove noise from standard PCB images and PCB images to be detected. In
標準ＰＣＢ画像と検出対象ＰＣＢ画像に対してレジストレーション、グレー値の比較、画像セグメンテーションを行う。 Registration, gray value comparison, and image segmentation are performed on the standard PCB image and the PCB image to be detected.
Ｓ６、Ｓ７、およびＳ８の場合、方法１および方法３に使用される。標準ＰＣＢ画像と検出対象ＰＣＢ画像に対してレジストレーションを行い、処理された標準ＰＣＢ画像に従って検出対象ＰＣＢ画像を修正する。標準ＰＣＢ画像と検出対象ＰＣＢ画像に対してグレー値を比較し、画像の残差を計算して残差画像を取得し、次に、標準ＰＣＢ画像、検出対象ＰＣＢ画像、および残差画像をセグメント化して、複数の画像パッチと座標を取得する。
In the case of S6, S7, and S8, it is used for
標準ＰＣＢ画像に対してレジストレーションを行い、標準ＰＣＢ画像に回転、変形、不均一な光、および光の反射があるか否かを検出し、ある場合、アルゴリズムを使用して修正する。 Registration is performed on the standard PCB image to detect if the standard PCB image has rotation, deformation, non-uniform light, and light reflection, and if so, an algorithm is used to correct it.
検出対象ＰＣＢ画像を処理済みの標準ＰＣＢ画像と比較し、位置、光、色が一致しているか否かを判断し、一致していない場合は、アルゴリズムを使用して、検出対象ＰＣＢ画像を修正する。 Compare the detected PCB image with the processed standard PCB image to determine if the position, light, and color match, and if not, use an algorithm to modify the detected PCB image. do.
画像のセグメント化と位置決めＳ８は、方法２で使用され、検出対象ＰＣＢ画像をセグメント化して、複数の画像パッチと座標を取得する。 Image segmentation and positioning S8 is used in method 2 to segment a detection target PCB image to obtain a plurality of image patches and coordinates.
本発明の実施例において、Ｓ９では、２次元ＰＣＢ残差画像のｐａｔｃｈをフィルタリングし、レジストレーション及びその他の要因による比較エラーを排除し、残差画像に残差のない画像パッチを削除し、
２次元ＰＣＢ欠陥画像ライブラリ及び２次元ＰＣＢ欠陥画像ライブラリの各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングして、ＰＣＢ欠陥特徴及びＰＣＢ欠陥カテゴリ特徴を抽出する。Ｓ１０及びＳ１２では、
方法２は、単一の２次元ＰＣＢ欠陥パッチのみを有するデータ画像ライブラリを使用することをさらに含む。Ｓ１０は、ＣＮＮによってトレーニングされたＰＣＢ欠陥特徴を介して、Ｓ８は、ＰＣＢ欠陥の検索識別を行う。次に、単一の２次元ＰＣＢ欠陥画像ライブラリＣＮＮを使用して、ＰＣＢ欠陥カテゴリ特徴をトレーニングし、Ｓ１２は、検出対象ＰＣＢ画像にマークされている欠陥を分類し、そのカテゴリにない欠陥を判断し、偽の欠陥か新しいカテゴリの欠陥かを判断し、新しいカテゴリの欠陥を欠陥画像ライブラリに追加する。
In an embodiment of the invention, in S9, the patch of the 2D PCB residual image is filtered to eliminate comparison errors due to registration and other factors, and the image patch with no residual image is deleted.
Each type of PCB defect in the 2D PCB defect image library and the 2D PCB defect image library is trained using a convolutional neural network to extract PCB defect features and PCB defect category features. In S10 and S12,
Method 2 further comprises using a data image library with only a single 2D PCB defect patch. S10 performs search identification of PCB defects through PCB defect features trained by CNN. Next, a single 2D PCB defect image library CNN is used to train PCB defect category features, and S12 classifies the defects marked on the PCB image to be detected and determines defects not in that category. Then determine if it is a fake defect or a new category of defect and add the new category of defect to the defect image library.
本発明の実施例において、それぞれ２次元ＰＣＢ欠陥画像ライブラリ及び２次元ＰＣＢ欠陥画像ライブラリの各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングして、ＰＣＢ欠陥特徴及びＰＣＢ欠陥カテゴリ特徴を抽出することを特徴とする。Ｓ１１及びＳ１２では、
方法１及び方法３では、２次元ＰＣＢ欠陥パッチ及び対応する非欠陥標準ＰＣＢパッチ画像で構成されるデータペア画像ライブラリを採用し、Ｓ１１は、ＣＮＮによってトレーニングされたＰＣＢ欠陥特徴を介して、Ｓ９は、残差画像に対して欠陥識別を実行する。次に、２次元ＰＣＢ欠陥画像ライブラリＣＮＮを使用して、ＰＣＢ欠陥カテゴリ特徴ペアをトレーニングし、Ｓ１２は、検出対象ＰＣＢ画像にマークされている欠陥を分類し、そのカテゴリにない欠陥を判断し、偽の欠陥か新しいカテゴリの欠陥かを判断し、新しいカテゴリの欠陥を欠陥画像ライブラリに追加することを含む。
In the embodiments of the present invention, PCB defects of each type of the 2D PCB defect image library and the 2D PCB defect image library are trained by using a convolutional neural network, and the PCB defect feature and the PCB defect category feature are trained. Is characterized by extracting. In S11 and S12,
Ｓ１２の後に方法３は、
畳み込みニューラルネットワークによってトレーニングされた２次元ＰＣＢ欠陥画像ライブラリのＰＣＢ欠陥特徴を使用して、マークされた疑似欠陥パッチを検索してマッチングさせ、そのうちの偽の欠陥を削除し、識別精度を向上させることをさらに含む。
Method 3 after S12
Using the PCB defect features of a 2D PCB defect image library trained by a convolutional neural network to search for and match marked pseudo-defect patches, remove false defects, and improve identification accuracy. Including further.
Ｓ１３の後、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、欠陥画像で疑似欠陥を検索してマッチングさせる。 After S13, pseudo-defects are searched for and matched in the defect image via PCB defect features trained by a convolutional neural network.
本発明の実施例において、ＰＣＢ欠陥検証では、Ｓ３で畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥レベル特徴情報を通じてＰＣＢ欠陥の真偽性を判断し、欠陥が偽の欠陥である場合、この欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークする。 In the embodiment of the present invention, in the PCB defect verification, the authenticity of the PCB defect is determined through the PCB defect level feature information trained by the convolutional neural network in S3, and if the defect is a false defect, this defect is deleted. Then analyze the cause of the fake defect and mark the defect record if the defect is a true defect.
本発明の実施例において、欠陥の検索と判断の過程で、欠陥を複数の識別の反復によって連続的に排除することを特徴とする。 An embodiment of the present invention is characterized in that, in the process of searching and determining a defect, the defect is continuously eliminated by repeating a plurality of identifications.
要約すると、本発明の実施例は、３つの欠陥検出方法を提供する。３つの検出方法を、添付の図面とともに以下に詳細に説明する。 In summary, the embodiments of the present invention provide three defect detection methods. The three detection methods will be described in detail below with the accompanying drawings.
方法１：
図２に示すように、深層学習に基づく検出は、
欠陥ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥画像が含まれ、欠陥画像はマルチスケール画像であってもよい、２次元ＰＣＢ欠陥パッチ画像ライブラリの構築Ｓ１ステップ（１−１）と、
各種類のＰＣＢ欠陥データペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥特徴と欠陥カテゴリ特徴を抽出する、ＣＮＮ欠陥トレーニングＳ２と欠陥ライブラリＳ１の接続ステップ（１−２）と、
各レベルのＰＣＢ欠陥データペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥レベル特徴を抽出する、ＣＮＮ欠陥レベルトレーニングＳ３と欠陥ライブラリＳ１の接続ステップ（１−３）と、
それぞれ標準ＰＣＢ画像及び検出対象ＰＣＢ画像を読み取る、標準ＰＣＢ画像の読み取りＳ４ステップ（１−４）と、
画像には必然的にさまざまなノイズおよび底板の色があるため、欠陥識別に大きな影響を与える。ノイズをフィルタリングするには、複数のアルゴリズムと技術を使用する必要がある、それぞれ標準ＰＣＢ画像と検出対象ＰＣＢ画像をノイズ除去する画像ノイズ除去Ｓ５とＳ４の接続ステップ（１−５）と、
それぞれ標準ＰＣＢと検出対象ＰＣＢ画像に対してレジストレーションを行う、画像レジストレーションＳ６とＳ５の接続ステップ（１−６）と、
ＰＣＢ画像には、回転や変形などに変化があるかを検出し、変化した場合は、修正する必要があり、標準ＰＣＢ画像の光に異常がないか、不均一な光や反射などがないかを検出し、異常光がある場合は、アルゴリズムの修正が必要である標準ＰＣＢ画像の端正かの検出ステップ（１−６−１）と、
検出対象ＰＣＢ画像が端正であるか否か、標準ＰＣＢの位置と一致するか否かを検出し、標準ＰＣＢ画像の位置、光、色と一致するか否かを確認し、不一致である場合、アルゴリズムを使用して修正する画像ノイズ除去Ｓ５との接続に加えて、検出対象ＰＣＢ画像もレジストされた標準ＰＣＢ画像と接続する必要があるステップ（１−６−２）と、
検出対象ＰＣＢ画像と標準ＰＣＢ画像に対して画像グレー値を比較し、画像の残差を計算する画像グレー値の比較Ｓ７と画像レジストレーションＳ６の接続ステップ（１−７）と、
ＰＣＢ標準画像、検出対象画像、および残差画像に対して、同じパッチに適切にセグメント化し、欠陥パッチの位置決めとマーキングの準備をする画像セグメンテーションＳ８とＳ７の接続ステップ（１−８）と、
レジストレーションエラー及び干渉による比較残差をフィルタリングし、残差画像に残差のないｐａｔｃｈを削除し、残差のあるｐａｔｃｈを検出および分析する残差フィルタリングＳ９と画像セグメンテーションＳ８の接続ステップ（１−９）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥特徴を使用して、残差ｐａｔｃｈを識別し、検出対象ＰＣＢ欠陥であるｐａｔｃｈを識別し、疑似欠陥ｐａｔｃｈをマークする、複数回識別して反復し、疑似欠陥ｐａｔｃｈを徐々に排除できるＰＣＢ欠陥識別Ｓ１１と残差フィルタリングＳ９及びＰＣＢ欠陥特徴トレーニングＳ２の接続ステップ（１−１０）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥カテゴリ特徴を使用して、欠陥識別Ｓ１１でマークされた欠陥ｐａｔｃｈを分類し、マークされた欠陥が属する欠陥の種類を識別するＰＣＢ欠陥分類Ｓ１２と欠陥識別Ｓ１１および欠陥トレーニングＳ２の接続ステップ（１−１１）と、
Ｓ３でＣＮＮによってトレーニングされたＰＣＢ欠陥レベル特徴を使用して、Ｓ１２で得られた疑似ＰＣＢ欠陥が真の欠陥であるか否かを確認し、偽の欠陥を削除して、検出精度を向上させる。それが真の欠陥である場合は、それをマークする。同時に、カテゴリに含まれない欠陥をスクリーニングし、検出された真の欠陥が新しいタイプの欠陥である場合、この新しい欠陥をマークし、欠陥ライブラリに追加する。偽の欠陥である場合は、偽の欠陥の原因を分析し、その後の検出のための参照を提供するＰＣＢ欠陥検証Ｓ１４と欠陥分類Ｓ１２および欠陥レベル特徴Ｓ３の接続ステップ（１−１２）と、を含む。
Method 1:
As shown in FIG. 2, detection based on deep learning
The defect library contains various PCB defect images marked, classified, and graded, and the defect image may be a multiscale image. Building a 2D PCB defect patch image library S1 step (1-1) )When,
A connection step (1-2) between CNN defect training S2 and defect library S1 that trains each type of PCB defect data pair using CNN and extracts PCB defect features and defect category features.
A connection step (1-3) between CNN defect level training S3 and defect library S1 that trains each level of PCB defect data pair using CNN and extracts PCB defect level features.
The standard PCB image reading S4 step (1-4), which reads the standard PCB image and the PCB image to be detected, respectively, and
Images inevitably have a variety of noise and bottom plate colors, which can have a significant impact on defect identification. In order to filter noise, it is necessary to use multiple algorithms and techniques, the image noise removal S5 and S4 connection step (1-5), which removes noise from the standard PCB image and the PCB image to be detected, respectively.
The connection step (1-6) of image registration S6 and S5, which performs registration on the standard PCB and the PCB image to be detected, respectively, and
It is necessary to detect whether there is a change in rotation or deformation of the PCB image, and if it changes, it is necessary to correct it. Is there any abnormality in the light of the standard PCB image, or is there any uneven light or reflection? And if there is abnormal light, the standard PCB image neatness detection step (1-6-1) that requires modification of the algorithm,
Detects whether the detection target PCB image is neat and matches the position of the standard PCB, confirms whether it matches the position, light, and color of the standard PCB image, and if it does not match, In addition to the connection with the image noise removal S5 to be corrected using the algorithm, the PCB image to be detected also needs to be connected to the registered standard PCB image (1-6-2).
Comparison of image gray values for comparing image gray values with respect to the detection target PCB image and standard PCB image and calculating image residuals S7 and image registration S6 connection step (1-7),
The connection step (1-8) of image segmentation S8 and S7, which appropriately segments the PCB standard image, the image to be detected, and the residual image into the same patch, and prepares for positioning and marking of the defect patch.
Connection step (1-) of residual filtering S9 and image segmentation S8 that filters comparative residuals due to registration errors and interference, removes patches without residuals in the residual image, and detects and analyzes patches with residuals. 9) and
Using the PCB defect features trained by CNN in S2, identify the residual patch, identify the patch that is the PCB defect to be detected, mark the pseudo-defect patch, identify and repeat multiple times, and pseudo-defect. The connection step (1-10) of the PCB defect identification S11 that can gradually eliminate the patch, the residual filtering S9, and the PCB defect feature training S2,
Using the PCB defect category features trained by the CNN in S2, the PCB defect classification S12 and defect identification S11 and the defect identification S11 and the defect identification S11 that classify the defect patch marked by the defect identification S11 and identify the type of defect to which the marked defect belongs. Defect training S2 connection step (1-11) and
Using the PCB defect level feature trained by CNN in S3, it is confirmed whether the pseudo PCB defect obtained in S12 is a true defect, and false defects are removed to improve the detection accuracy. .. If it is a true defect, mark it. At the same time, it screens for defects that are not in the category, and if the true defect detected is a new type of defect, marks this new defect and adds it to the defect library. If it is a false defect, the connection step (1-12) of the PCB defect verification S14 and the defect classification S12 and the defect level feature S3, which analyzes the cause of the false defect and provides a reference for subsequent detection, including.
方法２：第１の検出方法と比較して、第２の欠陥検出方法は非参照学習検出であり、標準ＰＣＢと比較して参照する必要はない。図３に示すように、具体的なステップは、
欠陥ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥画像が含まれ、欠陥画像はマルチスケール画像であってもよい。この欠陥ライブラリは、第１の検出方法の画像ライブラリとは異なり、画像データペアではなく、単一の欠陥画像だけであるＰＣＢ欠陥画像ライブラリを構築するＳ１ステップ（２−１）と、
各種類のＰＣＢ欠陥ペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥特徴と欠陥カテゴリ特徴を抽出する、ＣＮＮ欠陥トレーニングＳ２と欠陥ライブラリＳ１の接続ステップ（２−２）と、
各レベルのＰＣＢ欠陥ペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥レベル特徴を抽出する、ＣＮＮ欠陥レベルトレーニングＳ３と欠陥ライブラリＳ１の接続ステップ（２−３）と、
検出対象ＰＣＢ画像を読み取る、標準ＰＣＢ画像の読み取りＳ４ステップ（２−４）と、
画像には必然的にさまざまなノイズ、底板の色があるため、欠陥識別に大きな影響を与える。ノイズをフィルタリングするには、複数のアルゴリズムと技術を使用する必要がある、検出対象ＰＣＢ画像をノイズ除去する画像ノイズ除去Ｓ５とＳ４の接続ステップ（２−５）と、
ＰＣＢ検出対象画像をセグメント化し、パッチ（ｐａｔｃｈ）にセグメント化して、欠陥パッチの位置決めとマーキングの準備をする画像セグメンテーションＳ８と画像ノイズ除去Ｓ５の接続ステップ（２−６）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥特徴を使用して、欠陥ｐａｔｃｈを検索し、検出対象ＰＣＢ欠陥であるｐａｔｃｈを識別し、疑似欠陥ｐａｔｃｈをマークする、複数回識別して反復し、疑似欠陥ｐａｔｃｈを徐々に排除できる欠陥マッチング検索Ｓ１０と画像セグメンテーションＳ８および欠陥特徴トレーニングＳ２の接続ステップ（２−７）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥カテゴリ特徴を使用して、欠陥検索Ｓ１０でマークされた欠陥ｐａｔｃｈを分類し、マークされた欠陥が属する欠陥の種類を判断すると同時に、カテゴリに含まれない欠陥は、偽の欠陥であるか新しいタイプの欠陥であるかを判断するためにスクリーニングし、新しいタイプの欠陥である場合は、欠陥を欠陥ライブラリに拡張するＰＣＢ欠陥分類Ｓ１２と欠陥マッチング検索Ｓ１０および欠陥トレーニングＳ２の接続ステップ（２−８）と、
Ｓ３でＣＮＮによってトレーニングされたＰＣＢ欠陥レベル特徴を使用して、Ｓ１２で得られた疑似ＰＣＢ欠陥が真の欠陥であるか否かを確認し、偽の欠陥を削除して、検出精度を向上させる。それが真の欠陥である場合は、それをマークする。検出された真の欠陥が新しいタイプの欠陥である場合、この新しい欠陥をマークし、欠陥ライブラリに追加する。偽の欠陥である場合は、偽の欠陥の原因を分析し、その後の検出のための参照を提供するＰＣＢ欠陥検証Ｓ１４と欠陥分類Ｓ１２および欠陥レベル特徴Ｓ３の接続ステップ（２−９）と、を含む。
Method 2: Compared to the first detection method, the second defect detection method is non-reference learning detection and does not need to be referenced in comparison with the standard PCB. As shown in FIG. 3, the specific steps are
The defect library contains various PCB defect images marked, classified, and graded, and the defect image may be a multiscale image. Unlike the image library of the first detection method, this defect library includes the S1 step (2-1) of constructing a PCB defect image library that is not an image data pair but only a single defect image.
A connection step (2-2) between CNN defect training S2 and defect library S1 that trains each type of PCB defect pair using CNN and extracts PCB defect features and defect category features.
A connection step (2-3) between CNN defect level training S3 and defect library S1 that trains each level of PCB defect pair using CNN and extracts PCB defect level features.
Reading the standard PCB image S4 step (2-4) to read the PCB image to be detected,
Images inevitably have various noises and bottom plate colors, which greatly affects defect identification. Image noise removal S5 and S4 connection step (2-5) to remove noise from the PCB image to be detected, which requires the use of multiple algorithms and techniques to filter noise.
The connection step (2-6) of the image segmentation S8 and the image noise removal S5 that segment the image to be detected by the PCB, segment it into patches, and prepare for positioning and marking of the defect patch.
Using the PCB defect features trained by CNN in S2, the defect patch is searched, the patch that is the PCB defect to be detected is identified, the pseudo defect patch is marked, the identification is repeated multiple times, and the pseudo defect patch is used. The connection step (2-7) of the defect matching search S10, the image segmentation S8, and the defect feature training S2, which can gradually eliminate the defects.
Using the PCB defect category features trained by the CNN in S2, the defect patch marked in defect search S10 is classified to determine the type of defect to which the marked defect belongs, while defects not included in the category are included. , PCB defect classification S12 and defect matching search S10 and defect training to screen to determine if it is a fake defect or a new type of defect and, if so, extend the defect to the defect library. S2 connection step (2-8) and
Using the PCB defect level feature trained by CNN in S3, it is confirmed whether the pseudo PCB defect obtained in S12 is a true defect, and false defects are removed to improve the detection accuracy. .. If it is a true defect, mark it. If the true defect detected is a new type of defect, mark this new defect and add it to the defect library. In the case of a false defect, the connection step (2-9) of the PCB defect verification S14 and the defect classification S12 and the defect level feature S3, which analyzes the cause of the false defect and provides a reference for subsequent detection, including.
方法３：
第３の検出方法は、ハイブリッド検出方法と呼ばれる上記の２つの検出方法を組み合わせたもので、ＰＣＢの欠陥をより正確に識別でき、図４に示すように、具体的なステップは、
欠陥ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥画像が含まれ、欠陥画像はマルチスケール画像であってもよい。
ＰＣＢ欠陥ライブラリは、２種類の欠陥画像ライブラリに分けられる。１つは、欠陥画像の標準画像（ポジティブ例）と欠陥画像（ネガティブ例）で構成される画像データペアであり、もう１つのタイプは、欠陥画像のみで構成される画像ライブラリである２次元ＰＣＢ欠陥画像ライブラリを構築するＳ１ステップ（３−１）と、
第１タイプの各種類のＰＣＢ欠陥データペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥特徴と欠陥カテゴリ特徴を抽出し、第２タイプの各種類のＰＣＢ欠陥に対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥特徴と欠陥カテゴリ特徴を抽出するＣＮＮ欠陥トレーニングＳ２と欠陥ライブラリＳ１の接続ステップ（３−２）と、
第１タイプの欠陥ライブラリの各レベルのＰＣＢ欠陥データペアに対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥レベル特徴を抽出し、第２タイプの欠陥ライブラリの各レベルのＰＣＢ欠陥に対して、ＣＮＮを使用してトレーニングし、ＰＣＢ欠陥レベル特徴を抽出するＣＮＮ欠陥レベルトレーニングＳ３と欠陥ライブラリＳ１の接続ステップ（３−３）と、
それぞれ標準ＰＣＢ画像と検出対象ＰＣＢ画像を読み取る標準ＰＣＢ画像の読み取りＳ４ステップ（３−４）と、
画像には必然的にさまざまなノイズ、底板の色があるため、欠陥識別に大きな影響を与える。ノイズをフィルタリングするには、複数のアルゴリズムと技術を使用する必要がある、それぞれ標準ＰＣＢ画像と検出対象ＰＣＢ画像をノイズ除去する画像ノイズ除去Ｓ５とＳ４の接続ステップ（３−５）と、
それぞれ標準ＰＣＢと検出対象ＰＣＢ画像に対してレジストレーションを行う、画像レジストレーションＳ６とＳ５の接続ステップ（３−６）と、
ＰＣＢ画像には、回転や変形などに変化があるかを検出し、 変化した場合は、修正する必要があり、標準ＰＣＢ画像の光に異常がないか、不均一な光や反射などがないかを検出し、異常光がある場合は、アルゴリズムの修正が必要である標準ＰＣＢ画像の端正かの検出ステップ（３−６−１）と、
検出対象ＰＣＢ画像が端正であるか否か、標準ＰＣＢの位置と一致するか否かを検出し、標準ＰＣＢ画像の位置、光、色と一致するか否かを確認し、不一致である場合、アルゴリズムを使用して修正する画像ノイズ除去Ｓ５との接続に加えて、検出対象ＰＣＢ画像もレジストされた標準ＰＣＢ画像と接続する必要があるステップ（３−６−２）と、
検出対象ＰＣＢ画像と標準ＰＣＢ画像に対して画像グレー値を比較し、画像の残差を計算する画像グレー値の比較Ｓ７と画像レジストレーションＳ６の接続ステップ（３−７）と、
ＰＣＢ標準画像、検出対象画像、および残差画像に対して、同じパッチ（ｐａｔｃｈ）に適切にセグメント化し、欠陥パッチの位置決めとマーキングの準備をする画像セグメンテーションＳ８とＳ７の接続ステップ（３−８）と、
レジストレーションエラー及び干渉による比較残差をフィルタリングし、残差画像に残差のないｐａｔｃｈを削除し、残差のあるｐａｔｃｈを検出および分析する残差フィルタリングＳ９と画像セグメンテーションＳ８の接続ステップ（３−９）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥特徴を使用して、残差ｐａｔｃｈを識別し、検出対象ＰＣＢ欠陥であるｐａｔｃｈを識別し、疑似欠陥ｐａｔｃｈをマークする、複数回識別して反復し、疑似欠陥ｐａｔｃｈを徐々に排除できるＰＣＢ欠陥識別Ｓ１１と残差フィルタリングＳ９及びＰＣＢ欠陥特徴トレーニングＳ２の接続ステップ（３−１０）と、
Ｓ２でＣＮＮによってトレーニングされたＰＣＢ欠陥カテゴリ特徴を使用して、欠陥識別Ｓ１１でマークされた欠陥ｐａｔｃｈを分類するＰＣＢ欠陥分類Ｓ１２と欠陥識別Ｓ１１および欠陥トレーニングＳ２の接続ステップ（３−１１）と、
検出対象ＰＣＢ疑似欠陥をマークし、マークされた疑似欠陥がどの種類の欠陥に属するかを判断する疑似欠陥Ｓ１３とＳ１２の接続ステップ（３−１２）と、
疑似欠陥Ｓ１３については、Ｓ２の第２タイプの欠陥ライブラリＣＮＮによってトレーニングされたＰＣＢ欠陥特徴とカテゴリ特徴を使用して、検索とマッチングを行う。疑似欠陥の偽の欠陥をフィルタリングする欠陥検索マッチングＳ１０と疑似欠陥Ｓ１３およびＣＮＮ欠陥トレーニングＳ２の接続ステップ（３−１３）と、
Ｓ１０でスクリーニングされた欠陥をさらにフィルタリングする。Ｓ３の第２タイプの欠陥ライブラリＣＮＮによってトレーニングされたＰＣＢ欠陥レベル特徴を使用して、Ｓ１０によって取得された疑似ＰＣＢ欠陥が真の欠陥であるかないかを確認し、偽の欠陥を削除し、検出精度を向上させる。真の欠陥である場合は、それをマークする。同時に、カテゴリに含まれない欠陥をスクリーニングし、検出された真の欠陥が新しいタイプの欠陥である場合、この新しい欠陥をマークし、欠陥ライブラリに追加する。偽の欠陥である場合は、偽の欠陥の原因を分析し、その後の検出のための参照を提供するＰＣＢ欠陥検証Ｓ１４と欠陥検索マッチングＳ１０および欠陥レベル特徴Ｓ３の接続ステップ（３−１４）と、を含む。
Method 3:
The third detection method is a combination of the above two detection methods called a hybrid detection method, and can more accurately identify defects in the PCB. As shown in FIG. 4, the specific steps are
The defect library contains various PCB defect images marked, classified, and graded, and the defect image may be a multiscale image.
The PCB defect library is divided into two types of defect image libraries. One is an image data pair composed of a standard image (positive example) and a defective image (negative example) of a defective image, and the other type is a two-dimensional PCB which is an image library composed of only defective images. S1 step (3-1) to build a defect image library and
Training using CNN for each type of PCB defect data pair of
Training using CNNs for each level of PCB defect data pairs in the first type defect library, extracting PCB defect level features, and for each level of PCB defects in the second type defect library. The connection step (3-3) between CNN defect level training S3 and defect library S1 to train using CNN and extract PCB defect level features,
The standard PCB image reading S4 step (3-4) for reading the standard PCB image and the PCB image to be detected, respectively.
Images inevitably have various noises and bottom plate colors, which greatly affects defect identification. In order to filter noise, it is necessary to use multiple algorithms and techniques, the image noise removal S5 and S4 connection step (3-5), which removes noise from the standard PCB image and the PCB image to be detected, respectively.
The connection step (3-6) of image registration S6 and S5, which performs registration on the standard PCB and the PCB image to be detected, respectively, and
It is necessary to detect whether there is a change in the rotation or deformation of the PCB image, and if it changes, it is necessary to correct it. Is there any abnormality in the light of the standard PCB image, or is there any uneven light or reflection? And if there is abnormal light, the standard PCB image neatness detection step (3-6-1) that requires modification of the algorithm,
Detects whether the detection target PCB image is neat and matches the position of the standard PCB, confirms whether it matches the position, light, and color of the standard PCB image, and if it does not match, In addition to the connection with the image noise removal S5 to be corrected using the algorithm, the detection target PCB image also needs to be connected with the registered standard PCB image (3-6-2).
The connection step (3-7) between the image gray value comparison S7 and the image registration S6, in which the image gray values are compared between the detection target PCB image and the standard PCB image and the residual image is calculated, and
Image segmentation S8 and S7 connection step (3-8) that appropriately segments the PCB standard image, the image to be detected, and the residual image into the same patch, and prepares for positioning and marking the defect patch. When,
Connection step (3-) of residual filtering S9 and image segmentation S8 to filter comparative residuals due to registration errors and interference, remove patches with no residuals in the residual image, and detect and analyze patches with residuals. 9) and
Using the PCB defect features trained by CNN in S2, identify the residual patch, identify the patch that is the PCB defect to be detected, mark the pseudo-defect patch, identify and repeat multiple times, and pseudo-defect. The connection step (3-10) of the PCB defect identification S11 that can gradually eliminate the patch, the residual filtering S9, and the PCB defect feature training S2,
Using the PCB defect category features trained by the CNN in S2, the connection step (3-11) of the PCB defect classification S12 and the defect identification S11 and the defect training S2 to classify the defect patch marked in the defect identification S11.
The connection step (3-12) of the pseudo-defects S13 and S12, which marks the PCB pseudo-defect to be detected and determines which type of defect the marked pseudo-defect belongs to.
Pseudo-defects S13 are searched and matched using PCB defect features and categorical features trained by the second type defect library CNN of S2. Defect search matching S10 for filtering false defects of pseudo-defects, connection step (3-13) of pseudo-defects S13 and CNN defect training S2, and
The defects screened in S10 are further filtered. Using the PCB defect level features trained by the second type defect library CNN in S3, we check if the pseudo PCB defects acquired by S10 are true defects, remove false defects and detect them. Improve accuracy. If it is a true defect, mark it. At the same time, it screens for defects that are not in the category, and if the true defect detected is a new type of defect, marks this new defect and adds it to the defect library. If it is a false defect, the PCB defect verification S14 and defect search matching S10 and defect level feature S3 connection step (3-14) that analyze the cause of the false defect and provide a reference for subsequent detection. ,including.
本発明の実施例によって提供された深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法は、ＰＣＢ画像、標準ＰＣＢ画像、および畳み込みニューラルネットワークを使用してＰＣＢ欠陥を検出し、ＰＣＢ欠陥検出のツールを使用すると、組み立てプロセスの初期段階でエラーを見つけて排除でき、不良ボードを次の組み立て段階に送ることを回避すると同時に、修理コストを削減し、修理不可能な回路基板を廃棄することを回避する。畳み込みニューラルネットワークの使用には、高速、高精度、強力な一般化能力、および明確な構造という利点がある。 The deep learning-based two-dimensional PCB appearance defect real-time automatic detection method provided by the embodiments of the present invention uses PCB images, standard PCB images, and convolutional neural networks to detect PCB defects and detect PCB defects. Tools can be used to find and eliminate errors early in the assembly process, avoiding sending defective boards to the next assembly stage, while reducing repair costs and discarding irreparable circuit boards. To avoid. The use of convolutional neural networks has the advantages of high speed, high accuracy, strong generalization capabilities, and well-defined structure.
また、「第１」および「第２」という用語は目的の説明でのみ使用され、相対的な重要性を示したり暗示したり、示された技術的特徴の数を暗黙的に示したりするものとして理解することはできない。したがって、「第１」および「第２」で定義された特徴には、明示的または暗黙的に特徴の少なくとも１つが含まれる場合がある。本発明の説明において、「複数」は、特に明記しない限り、少なくとも２つ、例えば２つ、３つなどを意味する。 Also, the terms "first" and "second" are used only in the description of purpose to indicate or imply relative importance or implicitly indicate the number of technical features shown. Cannot be understood as. Therefore, the features defined in "first" and "second" may include at least one of the features, either explicitly or implicitly. In the description of the present invention, "plurality" means at least two, for example two or three, unless otherwise specified.
本明細書の説明において、「１つの実施例」、「いくつかの実施例」、「例」、「特定の例」、または「いくつかの例」などの用語に関する説明は、この実施例または例に関連して説明される特定の特徴、構造、材料または特性が、本発明の少なくとも１つの実施例または例に含まれることを意味する。本明細書では、上記の用語の模式的説明は、必ずしも同じ実施例または例を指すとは限らない。さらに、記載された特定の特徴、構造、材料または特性は、任意の１つまたは複数の実施例または例において適切な方法で組み合わせることができる。また、矛盾がない場合、当業者は、本明細書に記載されている異なる実施例または例および異なる実施例または例の特徴を結合して組み合わせることができる。 In the description herein, the description of terms such as "one example", "some examples", "examples", "specific examples", or "some examples" is in this example or It means that a particular feature, structure, material or property described in connection with an example is included in at least one embodiment or example of the invention. As used herein, the schematic description of the above terms does not necessarily refer to the same embodiment or example. In addition, the particular features, structures, materials or properties described can be combined in any one or more embodiments or examples in a suitable manner. Also, if there is no contradiction, one of ordinary skill in the art can combine and combine the different examples or examples described herein and the features of the different examples or examples.
本発明の実施例は上に示され、説明されてきたが、上記の実施例は例示であり、本発明を限定しない。当業者は、本発明の範囲内で、上記の実施例に変更、修正、置換、および変形を行うことができる。
Examples of the present invention have been shown and described above, but the above examples are exemplary and do not limit the invention. Those skilled in the art may modify, modify, replace, and modify the above embodiments within the scope of the present invention.
Claims (10)
前記２次元ＰＣＢ欠陥パッチ画像ライブラリは２種類に分類され、１つは２次元ＰＣＢ欠陥パッチ及び対応する非欠陥標準ＰＣＢパッチ画像で構成されるデータペア画像ライブラリで、もう１つは単一の２次元ＰＣＢ欠陥パッチのみを有するデータ画像ライブラリである、ＰＣＢ欠陥パッチ画像ライブラリを介して、２次元ＰＣＢ欠陥データペア画像ライブラリと２次元ＰＣＢ欠陥単一データ画像ライブラリを含む２次元ＰＣＢ欠陥パッチ画像ライブラリを構築する、及び２種類の２次元ＰＣＢ欠陥パッチ画像ライブラリには、マーク、分類、および等級付けされたさまざまなＰＣＢ欠陥パッチ画像が含まれ、前記ＰＣＢ欠陥パッチ画像にはマルチスケール画像が含まれる、２次元ＰＣＢ欠陥パッチ画像ライブラリを構築するステップＳ１と、
ＣＮＮ欠陥特徴トレーニングパッチを介して、前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥に対して、前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥カテゴリ特徴を抽出し、畳み込みニューラルネットワークを使用してトレーニングして、ＰＣＢ欠陥カテゴリ特徴を抽出するステップＳ２と、
ＣＮＮ欠陥レベル特徴トレーニングパッチを介して、前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥レベルに対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥レベル特徴を抽出するステップＳ３と、
ＰＣＢ画像抽出パッチを介して、２次元標準ＰＣＢ画像及び２次元検出対象ＰＣＢ画像を含む２次元ＰＣＢ画像を抽出するステップＳ４と、
フィルタリングノイズ除去パッチを介して、前記２次元ＰＣＢ画像のノイズ除去処理を実行するステップＳ５と、
画像レジストレーションパッチを介して前記２次元検出対象ＰＣＢ画像を前記２次元標準ＰＣＢ画像にレジストレーションを行うステップＳ６と、
画像グレー値比較パッチを介して、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像のグレー値を比較および分析して、２次元ＰＣＢ残差画像を取得するステップＳ７と、
画像セグメンテーション位置決めパッチを介して、前記２次元標準ＰＣＢ画像、前記２次元検出対象ＰＣＢ画像及び前記２次元ＰＣＢ残差画像をセグメント化して位置決めして、複数の画像の画像パッチ及び対応する座標を取得するステップＳ８と、
残差フィルタリングパッチを介して、前記２次元ＰＣＢ残差画像の画像パッチをフィルタリングし、レジストレーション及びその他の要因によって引き起こされる比較エラーを排除するステップＳ９と、
欠陥検索マッチングパッチは、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、複数の画像パッチで欠陥パッチを検索し、欠陥パッチマッチングを実行するステップＳ１０と、
ＣＮＮ欠陥識別パッチは、畳み込みニューラルネットワークを使用して、前記２次元検出対象ＰＣＢ画像の欠陥を識別するステップＳ１１と、
ＰＣＢ欠陥分類パッチは、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥カテゴリ特徴ペアを使用して、前記２次元検出対象ＰＣＢ画像内のマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥パッチ画像ライブラリに追加するステップＳ１２と、
ＰＣＢ欠陥疑似パッチを介して、前記２次元検出対象ＰＣＢ画像内の各種類の欠陥を疑似欠陥としてマークするステップＳ１３と、
ＰＣＢ欠陥検証パッチは、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥レベル特徴と分類情報を通じて、疑似欠陥パッチの真偽性を判断し、欠陥が偽の欠陥である場合、対応する欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークするステップＳ１４と、を含み、
前記ステップＳ２およびＳ３は、
前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥カテゴリ特徴を抽出することと、
前記２次元ＰＣＢ欠陥パッチ画像ライブラリ内の各種類のＰＣＢ欠陥のレベルについては、畳み込みニューラルネットワークを使用してトレーニングを行い、ＰＣＢ欠陥レベル特徴を抽出することと、をさらに含む
ことを特徴とする深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。 A real-time automatic detection method for 2D PCB appearance defects based on deep learning.
The two-dimensional PCB defect patch image library is classified into two types, one is a data pair image library composed of a two-dimensional PCB defect patch and a corresponding non-defective standard PCB patch image, and the other is a single 2 A 2D PCB defect patch image library including a 2D PCB defect data pair image library and a 2D PCB defect single data image library via the PCB defect patch image library, which is a data image library with only dimensional PCB defect patches. The constructed and two types of two-dimensional PCB defect patch image libraries include various marked, classified, and graded PCB defect patch images, said PCB defect patch images including multi-scale images. Step S1 to build a 2D PCB defect patch image library,
A convolutional neural network for each type of PCB defect in the 2D PCB defect patch image library and for each type of PCB defect in the 2D PCB defect patch image library via the CNN defect feature training patch. Step S2 to extract PCB defect category features by training using, and training using a convolutional neural network to extract PCB defect category features.
Step S3 to extract PCB defect level features by training each type of PCB defect level in the 2D PCB defect patch image library using a convolutional neural network via the CNN defect level feature training patch. When,
Step S4 to extract a 2D standard PCB image and a 2D PCB image including a 2D detection target PCB image via a PCB image extraction patch.
Step S5 for executing the noise reduction processing of the two-dimensional PCB image via the filtering noise removal patch, and
Step S6 for registering the 2D detection target PCB image with the 2D standard PCB image via an image registration patch.
Step S7 to obtain a 2D PCB residual image by comparing and analyzing the gray values of the 2D standard PCB image and the 2D detection target PCB image via the image gray value comparison patch.
Through the image segmentation positioning patch, the 2D standard PCB image, the 2D detection target PCB image, and the 2D PCB residual image are segmented and positioned to acquire image patches and corresponding coordinates of a plurality of images. Step S8 and
Step S9, which filters the image patch of the 2D PCB residual image through the residual filtering patch to eliminate comparison errors caused by registration and other factors.
The defect search matching patch searches for defect patches in a plurality of image patches via PCB defect features trained by a convolutional neural network, and performs defect patch matching in step S10.
The CNN defect identification patch uses a convolutional neural network to identify defects in the two-dimensional detection target PCB image in step S11.
The PCB defect classification patch uses a PCB defect category feature pair trained by a convolutional neural network to classify the marked defects in the 2D detected PCB image and determine the defects that are not in the category. Step S12, which determines whether the defect is a fake defect or a defect in a new category, and adds the defect in the new category to the defect patch image library.
Step S13, which marks each type of defect in the two-dimensional detection target PCB image as a pseudo defect via the PCB defect pseudo patch, and
The PCB defect verification patch determines the authenticity of the pseudo-defect patch through PCB defect level features and classification information trained by a convolutional neural network, and if the defect is a false defect, removes the corresponding defect and makes it false. Includes step S14, which analyzes the cause of the defect and marks the defect record if the defect is a true defect.
The steps S2 and S3 are
Training and extracting PCB defect category features for each type of PCB defect in the 2D PCB defect patch image library using a convolutional neural network.
The level of each type of PCB defect in the 2D PCB defect patch image library is further trained using a convolutional neural network to extract PCB defect level features, and is characterized by further inclusion. A real-time automatic detection method for 2D PCB appearance defects based on learning.
前記Ｓ４は、
標準ＰＣＢとの比較の検出方法とＰＣＢハイブリッド検出方法では、２次元検出対象ＰＣＢ画像及び対応する２次元標準ＰＣＢ画像を抽出し、
標準ボード比較なしＰＣＢ検出方法では、２次元検出対象ＰＣＢ画像のみを抽出することをさらに含む
請求項１に記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。 In S4, there are two types of 2D PCB images extracted via the PCB image extraction patch, one is a method of extracting a 2D standard PCB image and a 2D detection target PCB image, and the other is. Is a method of extracting only the PCB image to be detected in two dimensions.
The S4 is
In the detection method for comparison with the standard PCB and the PCB hybrid detection method, the two-dimensional detection target PCB image and the corresponding two-dimensional standard PCB image are extracted.
The real-time automatic detection method for two-dimensional PCB appearance defects based on deep learning according to claim 1, further comprising extracting only a two-dimensional detection target PCB image in the standard board comparison-less PCB detection method.
アルゴリズムを使用して、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像のノイズを除去し、標準ＰＣＢとの比較の検出方法とＰＣＢハイブリッド検出方法では、前記２次元標準ＰＣＢ画像及び前記２次元検出対象ＰＣＢ画像のノイズを除去し、画像のノイズを除去し、底板の色が画像に与える影響を修正し、標準ＰＣＢ画像、検出対象ＰＣＢ画像、および欠陥ライブラリの画像の底板の色を一致させることと、
標準ボード比較なしＰＣＢ検出方法では、前記２次元検出対象ＰＣＢ画像のみをノイズ除去し、画像のノイズを除去し、底板の色が画像に与える影響を修正し、検出対象ＰＣＢ画像、欠陥ライブラリの画像の底板の色を一致させることと、を含む
請求項２に記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。 The filtering noise removal patch is used in S5, which performs noise removal processing on the two-dimensional PCB image.
An algorithm is used to remove noise between the two-dimensional standard PCB image and the two-dimensional detection target PCB image, and in the detection method for comparison with the standard PCB and the PCB hybrid detection method, the two-dimensional standard PCB image and the above 2 Removes noise from dimensional detection target PCB images, removes image noise, corrects the effect of bottom plate color on images, and matches the bottom plate colors of standard PCB images, detection target PCB images, and defect library images. To let and
In the standard board comparison-less PCB detection method, only the two-dimensional detection target PCB image is noise-removed, the image noise is removed, the influence of the color of the bottom plate on the image is corrected, and the detection target PCB image and the image of the defect library are corrected. The method for real-time automatic detection of two-dimensional PCB appearance defects based on the deep learning according to claim 2, wherein the color of the bottom plate of the two-dimensional PCB is matched.
標準ＰＣＢとの比較の検出方法とＰＣＢハイブリッド検出方法では、前記Ｓ６、Ｓ７及びＳ８は、
標準ＰＣＢとの比較の検出方法とＰＣＢハイブリッド検出方法では、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像に対してレジストレーションを行い、ノイズ除去処理後の２次元標準ＰＣＢ画像に従って前記２次元検出対象ＰＣＢ画像を修正し、前記２次元標準ＰＣＢ画像と前記２次元検出対象ＰＣＢ画像のグレー値を比較し、画像残差を計算して２次元ＰＣＢ残差画像を取得することと、前記２次元標準ＰＣＢ画像、前記２次元検出対象ＰＣＢ画像、および前記２次元ＰＣＢ残差画像をセグメント化して、複数の画像パッチ及び対応する座標を取得することと、
前記２次元標準ＰＣＢ画像に対してレジストレーションを行い、前記２次元標準ＰＣＢ画像に回転、変形、不均一な光、光の反射があるか否かを検出し、ある場合、アルゴリズムを使用して修正することと、
前記２次元検出対象ＰＣＢ画像を処理済みの２次元標準ＰＣＢ画像と比較し、位置、光、色が一致しているか否かを判断し、一致していない場合は、アルゴリズムを使用して、前記２次元検出対象ＰＣＢ画像を修正することと、を含む
請求項３に記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。 Performing registration, gray value comparison, and image segmentation on the 2D standard PCB image and the 2D detection target PCB image can be further enhanced.
In the detection method for comparison with the standard PCB and the PCB hybrid detection method, the above S6, S7 and S8 are
In the detection method for comparison with the standard PCB and the PCB hybrid detection method, the 2D standard PCB image and the 2D detection target PCB image are registered, and the 2D standard PCB image after noise removal processing is performed. Modifying the dimensional detection target PCB image, comparing the gray values of the 2D standard PCB image and the 2D detection target PCB image, calculating the image residual, and acquiring the 2D PCB residual image. To segment a two-dimensional standard PCB image, the two-dimensional detection target PCB image, and the two-dimensional PCB residual image to acquire a plurality of image patches and corresponding coordinates.
Registration is performed on the 2D standard PCB image to detect whether the 2D standard PCB image has rotation, deformation, non-uniform light, or light reflection, and if so, an algorithm is used. To fix and
The 2D detection target PCB image is compared with the processed 2D standard PCB image to determine whether the position, light, and color match, and if not, an algorithm is used to perform the above. The method for real-time automatic detection of a two-dimensional PCB appearance defect based on the deep learning according to claim 3, wherein the two-dimensional detection target PCB image is modified.
請求項３に記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。 In the non-comparative reference detection method, S8 segments the two-dimensional detection target PCB image to acquire a plurality of image patches and corresponding coordinates, and the two-dimensional PCB appearance based on the deep learning according to claim 3. Real-time automatic defect detection method.
前記Ｓ１０及びＳ１２は、
標準ボード比較なしＰＣＢ検出方法では、前記２次元ＰＣＢ欠陥単一データ画像ライブラリを採用することと、
標準ボード比較なしＰＣＢ検出方法とＰＣＢハイブリッド検出方法では、前記２次元ＰＣＢ欠陥画像ライブラリと前記２次元ＰＣＢ欠陥画像ライブラリの各種類のＰＣＢ欠陥に対して、畳み込みニューラルネットワークでトレーニングし、ＰＣＢ欠陥特徴とＰＣＢ欠陥カテゴリ特徴を抽出することと、
ステップＳ１０は、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、複数の画像パッチでＰＣＢ欠陥の検索と識別を実行し、単一の２次元ＰＣＢ欠陥画像ライブラリ畳み込みニューラルネットワークを使用して、ＰＣＢ欠陥カテゴリ特徴をトレーニングし、ステップＳ１２は、前記２次元検出対象ＰＣＢ画像にマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥画像ライブラリに追加することと、を含む
請求項５に記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。 In S9, the image patch of the 2D PCB residual image is filtered to eliminate the comparison error, and the image patch having no residual in the 2D PCB residual image is deleted.
The S10 and S12 are
In the standard board comparison-less PCB detection method, the above-mentioned two-dimensional PCB defect single data image library is adopted, and
In the standard board comparison-less PCB detection method and the PCB hybrid detection method, PCB defects of each type of the 2D PCB defect image library and the 2D PCB defect image library are trained by a convolutional neural network, and the PCB defect characteristics are used. Extracting PCB defect category features and
Step S10 performs search and identification of PCB defects in multiple image patches via PCB defect features trained by a convolutional neural network, using a single 2D PCB defect image library convolutional neural network. Training the PCB defect category features, step S12 classifies the defects marked in the two-dimensional detection target PCB image, determines defects that are not in the category, and whether they are false defects or defects in a new category. The method for real-time automatic detection of a two-dimensional PCB appearance defect based on the deep learning according to claim 5, wherein the defect is determined to exist and the defect of the new category is added to the defect image library.
２次元ＰＣＢ欠陥パッチ及び対応する非欠陥標準ＰＣＢパッチ画像で構成される２次元ＰＣＢ欠陥データペア画像ライブラリを採用し、ステップＳ１１は、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴ペア、ステップＳ９は、残差画像に対して欠陥識別を実行し、２次元ＰＣＢ欠陥画像ライブラリ畳み込みニューラルネットワークを使用して、ＰＣＢ欠陥カテゴリ特徴ペアをトレーニングし、ステップＳ１２は、前記２次元検出対象ＰＣＢ画像にマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥画像ライブラリに追加することをさらに含む
請求項５または６に記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。 In the detection method for comparison with standard PCB and the PCB hybrid detection method, PCB defects of each type of the 2D PCB defect image library and the 2D PCB defect image library are trained using a convolutional neural network, respectively. Then, the PCB defect feature and the PCB defect category feature are extracted, and steps S11 and S12 are performed.
Adopting a 2D PCB defect data pair image library composed of 2D PCB defect patches and corresponding non-defective standard PCB patch images, step S11 is a PCB defect feature pair trained by a convolutional neural network, step S9 is Defect identification was performed on the residual image and the PCB defect category feature pair was trained using the 2D PCB defect image library convolutional neural network, and step S12 was marked on the 2D detection target PCB image. Claims that further include classifying defects, determining defects that are not in the category, determining whether they are fake defects or defects in a new category, and adding the defects in the new category to the defect image library. The method for real-time automatic detection of two-dimensional PCB appearance defects based on the deep learning according to Item 5 or 6.
畳み込みニューラルネットワークによってトレーニングされた前記２次元ＰＣＢ欠陥画像ライブラリのＰＣＢ欠陥特徴を使用して、マークされた疑似欠陥パッチを検索してマッチングさせ、そのうちの偽の欠陥を削除し、識別精度を向上させることと、
ステップＳ１３の後、畳み込みニューラルネットワークによってトレーニングされたＰＣＢ欠陥特徴を介して、前記欠陥画像で疑似欠陥を検索してマッチングさせることと、をさらに含む
請求項７に記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。 In the PCB hybrid detection method, after step S12,
The PCB defect features of the 2D PCB defect image library trained by the convolutional neural network are used to search for and match marked pseudo-defect patches, removing false defects and improving identification accuracy. That and
The two-dimensional PCB based on deep learning according to claim 7, further comprising searching for and matching pseudo-defects in the defect image via PCB defect features trained by a convolutional neural network after step S13. Real-time automatic detection method for appearance defects.
請求項１または８に記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。 In the PCB defect verification, the authenticity of the PCB defect is determined through the PCB defect level feature information trained by the convolutional neural network in step S3, and if the defect is a false defect, this false defect is deleted and false. The method for real-time automatic detection of a two-dimensional PCB appearance defect based on deep learning according to claim 1 or 8, wherein the cause of the defect is analyzed and if the defect is a true defect, the defect is marked.
請求項１ないし９のいずれかに記載の深層学習に基づく２次元ＰＣＢ外観欠陥のリアルタイム自動検出方法。
The method for real-time automatic detection of two-dimensional PCB appearance defects based on deep learning according to any one of claims 1 to 9, wherein defects are continuously eliminated by repeating a plurality of identifications in the process of searching and determining defects.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010412967.6 | 2020-05-15 | ||
| CN202010412967.6A CN111754456B (en) | 2020-05-15 | 2020-05-15 | Two-dimensional PCB appearance defect real-time automatic detection technology based on deep learning |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021180309A true JP2021180309A (en) | 2021-11-18 |
| JP7347836B2 JP7347836B2 (en) | 2023-09-20 |
Family
ID=72674531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021082647A Active JP7347836B2 (en) | 2020-05-15 | 2021-05-14 | Real-time automatic detection method for 2D PCB appearance defects based on deep learning |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7347836B2 (en) |
| CN (1) | CN111754456B (en) |
| TW (1) | TWI796681B (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494131A (en) * | 2021-12-24 | 2022-05-13 | 深圳英博达智能科技有限公司 | Method for detecting defects of salient points on ink surface of PCB |
| CN115035081A (en) * | 2022-06-23 | 2022-09-09 | 西安交通大学 | Metal internal defect danger source positioning method and system based on industrial CT |
| CN115239712A (en) * | 2022-09-21 | 2022-10-25 | 季华实验室 | Circuit board surface defect detection method and device, electronic equipment and storage medium |
| CN116168021A (en) * | 2023-04-21 | 2023-05-26 | 中江立江电子有限公司 | Fault part identification system and method |
| WO2023113138A1 (en) * | 2021-12-13 | 2023-06-22 | 한국기계연구원 | Element inspection method and element inspection device for performing same |
| CN117309873A (en) * | 2023-09-04 | 2023-12-29 | 淮安特创科技有限公司 | Efficient PCB appearance detection system and method |
| CN117455917A (en) * | 2023-12-25 | 2024-01-26 | 深圳市睿阳精视科技有限公司 | Establishment of false alarm library of etched lead frame and false alarm on-line judging and screening method |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113838015B (en) * | 2021-09-15 | 2023-09-22 | 上海电器科学研究所（集团）有限公司 | Electrical product appearance defect detection method based on network cooperation |
| CN114216915B (en) * | 2021-12-15 | 2024-03-29 | 江门市浩远科技有限公司 | Method for detecting and classifying class levels based on stains and defect types of circuit board |
| CN117078674B (en) * | 2023-10-14 | 2024-01-05 | 中电鹏程智能装备有限公司 | Intelligent PCBA appearance defect detection method and detection system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109916906A (en) * | 2018-10-11 | 2019-06-21 | 乐人株式会社 | Defect detecting device and method |
| CN109959661A (en) * | 2017-12-25 | 2019-07-02 | 由田新技股份有限公司 | Automatic optical detection method, equipment and its deep learning system |
| CN110455822A (en) * | 2019-07-10 | 2019-11-15 | 苏州卓融新能源科技有限公司 | A kind of detection method of pcb board defect |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910353B (en) * | 2019-11-06 | 2022-06-10 | 成都数之联科技股份有限公司 | Industrial false failure detection method and system |
| CN111103307A (en) * | 2019-11-19 | 2020-05-05 | 佛山市南海区广工大数控装备协同创新研究院 | Pcb defect detection method based on deep learning |
-
2020
- 2020-05-15 CN CN202010412967.6A patent/CN111754456B/en active Active
-
2021
- 2021-04-30 TW TW110115716A patent/TWI796681B/en active
- 2021-05-14 JP JP2021082647A patent/JP7347836B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109959661A (en) * | 2017-12-25 | 2019-07-02 | 由田新技股份有限公司 | Automatic optical detection method, equipment and its deep learning system |
| CN109916906A (en) * | 2018-10-11 | 2019-06-21 | 乐人株式会社 | Defect detecting device and method |
| CN110455822A (en) * | 2019-07-10 | 2019-11-15 | 苏州卓融新能源科技有限公司 | A kind of detection method of pcb board defect |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023113138A1 (en) * | 2021-12-13 | 2023-06-22 | 한국기계연구원 | Element inspection method and element inspection device for performing same |
| CN114494131A (en) * | 2021-12-24 | 2022-05-13 | 深圳英博达智能科技有限公司 | Method for detecting defects of salient points on ink surface of PCB |
| CN115035081A (en) * | 2022-06-23 | 2022-09-09 | 西安交通大学 | Metal internal defect danger source positioning method and system based on industrial CT |
| CN115035081B (en) * | 2022-06-23 | 2024-03-01 | 西安交通大学 | Industrial CT-based metal internal defect dangerous source positioning method and system |
| CN115239712A (en) * | 2022-09-21 | 2022-10-25 | 季华实验室 | Circuit board surface defect detection method and device, electronic equipment and storage medium |
| CN116168021A (en) * | 2023-04-21 | 2023-05-26 | 中江立江电子有限公司 | Fault part identification system and method |
| CN116168021B (en) * | 2023-04-21 | 2023-08-29 | 中江立江电子有限公司 | Fault part identification system and method |
| CN117309873A (en) * | 2023-09-04 | 2023-12-29 | 淮安特创科技有限公司 | Efficient PCB appearance detection system and method |
| CN117455917A (en) * | 2023-12-25 | 2024-01-26 | 深圳市睿阳精视科技有限公司 | Establishment of false alarm library of etched lead frame and false alarm on-line judging and screening method |
| CN117455917B (en) * | 2023-12-25 | 2024-03-26 | 深圳市睿阳精视科技有限公司 | Establishment of false alarm library of etched lead frame and false alarm on-line judging and screening method |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111754456B (en) | 2022-10-14 |
| TW202144766A (en) | 2021-12-01 |
| CN111754456A (en) | 2020-10-09 |
| JP7347836B2 (en) | 2023-09-20 |
| TWI796681B (en) | 2023-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7347836B2 (en) | Real-time automatic detection method for 2D PCB appearance defects based on deep learning | |
| JP6598162B2 (en) | Visual identification method of multi-type BGA chip based on linear clustering | |
| CN115601364B (en) | Golden finger circuit board detection method based on image analysis | |
| Chaudhary et al. | Automatic visual inspection of printed circuit board for defect detection and classification | |
| Hassanin et al. | A real-time approach for automatic defect detection from PCBs based on SURF features and morphological operations | |
| CN109190623B (en) | Method for identifying brand and model of projector | |
| CN113706490B (en) | Wafer defect detection method | |
| CN115880520A (en) | Defect grade classification method and system based on template matching and defect segmentation | |
| CN115100191A (en) | Metal casting defect identification method based on industrial detection | |
| CN115082466A (en) | PCB surface welding spot defect detection method and system | |
| CN116468728B (en) | Production quality detection method for hardware stamping part die | |
| CN113850749A (en) | Method for training defect detector | |
| CN116168218A (en) | Circuit board fault diagnosis method based on image recognition technology | |
| KR101782364B1 (en) | Vision inspection method based on learning data | |
| WO2014103617A1 (en) | Alignment device, defect inspection device, alignment method, and control program | |
| CN114387230A (en) | PCB defect detection method based on re-verification detection | |
| CN115131596A (en) | Defect classification device, method, and program | |
| CN117689646A (en) | High-precision defect detection method, system and medium for positive and negative sample fusion | |
| CN112581447A (en) | FPC (flexible printed circuit) flexible board line detection method based on global defects and local defects | |
| CN111460198B (en) | Picture timestamp auditing method and device | |
| CN116664540A (en) | Rubber sealing ring surface defect detection method based on Gaussian line detection | |
| CN114627113B (en) | Method, system, device and medium for detecting defects of printed circuit board | |
| US20230342937A1 (en) | Vehicle image analysis | |
| JP2005250786A (en) | Image recognition method | |
| CN113780488A (en) | Scratching and scratching defect detection method based on position polymerization degree |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210514 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220627 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220627 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221122 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230421 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230815 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230831 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7347836 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |