JP2021180309A - Two-dimensional pcb appearance defect real-time automatic detection technology based on deep learning - Google Patents

Two-dimensional pcb appearance defect real-time automatic detection technology based on deep learning Download PDF

Info

Publication number
JP2021180309A
JP2021180309A JP2021082647A JP2021082647A JP2021180309A JP 2021180309 A JP2021180309 A JP 2021180309A JP 2021082647 A JP2021082647 A JP 2021082647A JP 2021082647 A JP2021082647 A JP 2021082647A JP 2021180309 A JP2021180309 A JP 2021180309A
Authority
JP
Japan
Prior art keywords
pcb
defect
image
patch
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021082647A
Other languages
Japanese (ja)
Other versions
JP7347836B2 (en
Inventor
貴明 羅
Guiming Luo
悦 何
Yue He
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Qinghua University
Original Assignee
Tsinghua University
Qinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Qinghua University filed Critical Tsinghua University
Publication of JP2021180309A publication Critical patent/JP2021180309A/en
Application granted granted Critical
Publication of JP7347836B2 publication Critical patent/JP7347836B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

To provide a two-dimensional PCB appearance defect real-time automatic detection technology based on deep learning.SOLUTION: A method comprises the following steps: training each type of defects in a PCB defect picture library, and segmenting a PCB picture to be detected into a plurality of picture patches by utilizing Convolutional Neural Network (CNN) depending on standard PCB for comparison; searching defect patches using PCB defect characteristics, identifying defects in the PCB picture to be detected and marking suspected defect patches; classifying defects by utilizing the PCB defect characteristics, judging whether defect categories are false defects or new categories of defects, and supplementing defects of new categories to a defect picture library; and judging the false defect by utilizing PCB defect characteristics, if the suspected false defects are false defects, deleting the corresponding defects and analyzing reasons, and if the defects are true defects, marking the false defects.SELECTED DRAWING: Figure 1

Description

本発明は、欠陥検出の技術分野、特に深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法に関する。 The present invention relates to a technical field of defect detection, particularly a real-time automatic detection method of two-dimensional PCB appearance defects based on deep learning.

2次元(2D)プリント回路基板(PCB)は、さまざまなマイクロ回路基板およびマザーボードの製造の基礎であり、その正確性は、他の後続プロセスの正確性を保証するものである。現代の技術と優れたプロセスの継続的な開発により、PCBの製造はますます複雑で精密になっている。従来の外観検出は、複雑なPCB検出にはもはや適していない。 Two-dimensional (2D) printed circuit boards (PCBs) are the basis for the manufacture of various microcircuit boards and motherboards, the accuracy of which guarantees the accuracy of other subsequent processes. With modern technology and continuous development of superior processes, PCB manufacturing is becoming more complex and precise. Traditional appearance detection is no longer suitable for complex PCB detection.

本発明は、関連技術における技術的問題の1つを少なくともある程度解決することを目的としている。 It is an object of the present invention to solve at least one of the technical problems in the related technology.

この目的のために、本発明は、高速、高精度、強力な一般化能力、および明確な構造の利点を有する、深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法を提供することを目的とする。 To this end, it is an object of the present invention to provide a method for real-time automatic detection of 2D PCB appearance defects based on deep learning, which has the advantages of high speed, high accuracy, strong generalization ability, and clear structure. And.

上記の目的を達成するために、本発明の実施例は、
PCB欠陥パッチ画像を収集してマークすることにより、2次元PCB欠陥パッチ画像ライブラリには、2次元PCB欠陥データペア画像ライブラリと2次元PCB欠陥単一データ画像ライブラリが含まれる、2次元PCB欠陥パッチ画像ライブラリを構築するステップS1と、
前記2次元PCB欠陥パッチ画像ライブラリ内の各種類のPCB欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングを行い、PCB欠陥カテゴリ特徴を抽出するステップS2と、
前記2次元PCB欠陥パッチ画像ライブラリ内の各種類のPCB欠陥のレベルに対して、畳み込みニューラルネットワークを使用してトレーニングを行い、PCB欠陥レベル特徴を抽出するステップS3と、
PCB生産ラインを通じて、2次元標準PCB画像及び2次元検出対象PCB画像を含む、2次元PCB画像を抽出するステップS4と、
フィルタリングノイズ除去パッチを介して、前記2次元PCB画像に対してノイズ除去処理を実行するステップS5と、
画像レジストレーションパッチを介して前記2次元検出対象PCB画像と前記2次元標準PCB画像にレジストレーションを行うステップS6と、
画像グレー値比較パッチを介して、前記2次元標準PCB画像と前記2次元検出対象PCB画像のグレー値を比較および分析して、2次元PCB残差画像を取得するステップS7と、
画像セグメンテーション位置決めパッチを介して、前記2次元標準PCB画像、前記2次元検出対象PCB画像及び前記2次元PCB残差画像をセグメント化して位置決めして、複数の画像の画像パッチ及び対応する座標を取得するステップS8と、
残差フィルタリングパッチを介して、前記2次元PCB残差画像の画像パッチをフィルタリングし、レジストレーション及びその他の要因によって引き起こされる比較エラーを排除するステップS9と、
欠陥検索マッチングパッチを介して、畳み込みニューラルネットワークによってトレーニングされたPCB欠陥特徴を介して、複数の画像パッチで欠陥パッチを検索し、欠陥パッチのマッチングを実行するステップS10と、
CNN欠陥識別パッチを介して、畳み込みニューラルネットワークを使用して、前記2次元検出対象PCB画像の欠陥を識別するステップS11と、
PCB欠陥分類パッチを介して、畳み込みニューラルネットワークによってトレーニングされたPCB欠陥カテゴリ特徴ペアを使用して、前記2次元検出対象PCB画像内のマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥パッチ画像ライブラリに追加するステップS12と、
PCB欠陥疑似パッチを介して、前記2次元検出対象PCB画像内の各種類の欠陥を疑似欠陥としてマークするステップS13と、
PCB欠陥検証パッチを介して、畳み込みニューラルネットワークによってトレーニングされたPCB欠陥レベル特徴と分類情報を通じて、疑似欠陥パッチの真偽性を判断し、欠陥が偽の欠陥である場合、対応する欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークするステップS14と、を含む深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法を提供する。
In order to achieve the above object, the embodiments of the present invention are:
By collecting and marking PCB defect patch images, the 2D PCB defect patch image library includes a 2D PCB defect data pair image library and a 2D PCB defect single data image library. Step S1 to build the image library and
Step S2 to extract PCB defect category features by training each type of PCB defect in the 2D PCB defect patch image library using a convolutional neural network.
Step S3 to extract PCB defect level features by training using a convolutional neural network for each type of PCB defect level in the 2D PCB defect patch image library.
Step S4 to extract a 2D PCB image including a 2D standard PCB image and a 2D detection target PCB image through a PCB production line, and
Step S5 for executing noise removal processing on the two-dimensional PCB image via the filtering noise removal patch, and
Step S6 for registering the two-dimensional detection target PCB image and the two-dimensional standard PCB image via an image registration patch, and
Step S7 to obtain a 2D PCB residual image by comparing and analyzing the gray values of the 2D standard PCB image and the 2D detection target PCB image via the image gray value comparison patch.
Through the image segmentation positioning patch, the 2D standard PCB image, the 2D detection target PCB image, and the 2D PCB residual image are segmented and positioned to acquire image patches and corresponding coordinates of a plurality of images. Step S8 and
Step S9, which filters the image patch of the 2D PCB residual image through the residual filtering patch to eliminate comparison errors caused by registration and other factors.
Step S10, which searches for defect patches in multiple image patches and performs defect patch matching via PCB defect features trained by a convolutional neural network via defect search matching patches.
In step S11, which identifies a defect in the PCB image to be detected in two dimensions using a convolutional neural network via a CNN defect identification patch,
Using the PCB defect category feature pair trained by the convolutional neural network via the PCB defect classification patch, the marked defects in the 2D detected PCB image are classified and the defects not in the category are determined. Step S12, which determines whether they are fake defects or defects in a new category and adds the defects in the new category to the defect patch image library.
Step S13, which marks each type of defect in the two-dimensional detection target PCB image as a pseudo defect via the PCB defect pseudo patch, and
Through the PCB defect verification patch, through the PCB defect level features and classification information trained by the convolutional neural network, determine the authenticity of the pseudo-defect patch and remove the corresponding defect if the defect is a false defect. Provided is a real-time automatic detection method for two-dimensional PCB appearance defects based on deep learning, including step S14 of analyzing the cause of a false defect and marking the defect as a true defect if the defect is a true defect.

また、本発明の上記の実施例による深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法はまた、以下の追加の技術的特徴を有することができる。 In addition, the real-time automatic detection method for two-dimensional PCB appearance defects based on deep learning according to the above embodiment of the present invention can also have the following additional technical features.

さらに、本発明の1つの実施例において、前記2次元PCB欠陥パッチ画像ライブラリは2種類に分類され、1つは2次元PCB欠陥パッチ及び対応する非欠陥標準PCBパッチ画像で構成されるデータペア画像ライブラリで、もう1つは単一の2次元PCB欠陥パッチのみを有するデータ画像ライブラリである。 Further, in one embodiment of the invention, the two-dimensional PCB defect patch image library is classified into two types, one is a data pair image composed of a two-dimensional PCB defect patch and a corresponding non-defective standard PCB patch image. A library, the other is a data image library with only a single 2D PCB defect patch.

さらに、本発明の一つの実施例において、前記ステップS1は、
2次元PCB欠陥パッチ画像ライブラリを構築することをさらに含む。2種類の2次元PCB欠陥パッチ画像ライブラリには、マーク、分類、および等級付けされたさまざまなPCB欠陥パッチ画像が含まれ、前記PCB欠陥パッチ画像にはマルチスケール画像が含まれる。
Further, in one embodiment of the present invention, the step S1 is
Further includes building a 2D PCB defect patch image library. The two 2D PCB defect patch image libraries include various marked, classified, and graded PCB defect patch images, said PCB defect patch images including multiscale images.

さらに、本発明の一つの実施例において、前記ステップS2及びステップS3は、
前記2次元PCB欠陥パッチ画像ライブラリ内の各種類のPCB欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングを行い、PCB欠陥カテゴリ特徴を抽出することと、
前記2次元PCB欠陥パッチ画像ライブラリ内の各種類のPCB欠陥のレベルに対して、畳み込みニューラルネットワークを使用してトレーニングを行い、PCB欠陥レベル特徴を抽出することと、をさらに含む。
Further, in one embodiment of the present invention, the steps S2 and S3 are
Training and extracting PCB defect category features for each type of PCB defect in the 2D PCB defect patch image library using a convolutional neural network.
It further comprises training the levels of each type of PCB defect in the 2D PCB defect patch image library using a convolutional neural network to extract PCB defect level features.

さらに、本発明の一つの実施例において、S4において、PCB画像抽出パッチを介して抽出された2次元PCB画像には、2種類があり、1つは、2次元標準PCB画像と2次元検出対象PCB画像を抽出する方法で、もう1つは、2次元検出対象PCB画像のみを抽出する方法である。 Further, in one embodiment of the present invention, in S4, there are two types of two-dimensional PCB images extracted via the PCB image extraction patch, one is a two-dimensional standard PCB image and the other is a two-dimensional detection target. The other is a method of extracting a PCB image, and the other is a method of extracting only a two-dimensional detection target PCB image.

さらに、本発明の一つの実施例において、前記S4は、
標準PCBとの比較の検出方法とPCBハイブリッド検出方法では、2次元検出対象PCB画像及び対応する2次元標準PCB画像を抽出することと、
標準ボード比較なしPCB検出方法では、2次元検出対象PCB画像のみを抽出することと、をさらに含む。
Further, in one embodiment of the present invention, the S4 is
In the detection method for comparison with the standard PCB and the PCB hybrid detection method, the two-dimensional detection target PCB image and the corresponding two-dimensional standard PCB image are extracted, and
The standard board comparison-less PCB detection method further includes extracting only the two-dimensional detection target PCB image.

さらに、本発明の一つの実施例において、フィルタリングノイズ除去パッチは、前記2次元PCB画像に対してノイズ除去処理を行う前記S5において、
アルゴリズムを使用して、前記2次元標準PCB画像と前記2次元検出対象PCB画像のノイズを除去し、標準PCBとの比較の検出方法とPCBハイブリッド検出方法では、前記2次元標準PCB画像及び前記2次元検出対象PCB画像に対してノイズ除去を実行し、画像のノイズを除去し、底板の色が画像に与える影響を修正し、標準PCB画像、検出対象PCB画像、および欠陥ライブラリの画像の底板の色を一致させることと、
標準ボード比較なしPCB検出方法では、前記2次元検出対象PCB画像のみに対してノイズを除去し、画像のノイズを除去し、底板の色が画像に与える影響を修正し、検出対象PCB画像、欠陥ライブラリの画像の底板の色を一致させることと、を含む。
Further, in one embodiment of the present invention, the filtering noise removal patch is used in S5, which performs noise removal processing on the two-dimensional PCB image.
An algorithm is used to remove noise between the two-dimensional standard PCB image and the two-dimensional detection target PCB image, and in the detection method for comparison with the standard PCB and the PCB hybrid detection method, the two-dimensional standard PCB image and the above 2 Performs noise removal on the dimensional detection target PCB image, removes image noise, corrects the effect of bottom plate color on the image, and on the bottom plate of standard PCB images, detection target PCB images, and defect library images. Matching colors and
In the standard board comparison-less PCB detection method, noise is removed only from the two-dimensional detection target PCB image, image noise is removed, the influence of the color of the bottom plate on the image is corrected, and the detection target PCB image and defects are corrected. Includes matching the color of the bottom plate of the images in the library.

さらに、本発明の一つの実施例において、前記2次元標準PCB画像と前記2次元検出対象PCB画像に対して、レジストレーション、グレー値の比較、および画像セグメンテーションを実行することは、さらに
標準PCBとの比較の検出方法とPCBハイブリッド検出方法では、前記S6、S7及びS8は、
標準PCBとの比較の検出方法とPCBハイブリッド検出方法では、前記2次元標準PCB画像と前記2次元検出対象PCB画像に対してレジストレーションを行い、ノイズ除去処理後の2次元標準PCB画像に従って前記2次元検出対象PCB画像を修正し、前記2次元標準PCB画像と前記2次元検出対象PCB画像のグレー値を比較し、画像残差を計算して2次元PCB残差画像を取得することと、前記2次元標準PCB画像、前記2次元検出対象PCB画像、および前記2次元PCB残差画像をセグメント化して、複数の画像パッチ及び対応する座標を取得することと、
前記2次元標準PCB画像に対してレジストレーションを行い、前記2次元標準PCB画像に回転、変形、不均一な光、および光の反射があるか否かを検出し、ある場合、アルゴリズムを使用して修正することと、
前記2次元検出対象PCB画像を処理済みの2次元標準PCB画像と比較し、位置、光、色が一致しているか否かを判断し、一致していない場合は、アルゴリズムを使用して、前記2次元検出対象PCB画像を修正することと、を含む。
Further, in one embodiment of the present invention, performing registration, gray value comparison, and image segmentation on the two-dimensional standard PCB image and the two-dimensional detection target PCB image is further performed with the standard PCB. In the comparative detection method and the PCB hybrid detection method, the above S6, S7 and S8 are
In the detection method for comparison with the standard PCB and the PCB hybrid detection method, the 2D standard PCB image and the 2D detection target PCB image are registered, and the 2D standard PCB image after noise removal processing is performed. Modifying the dimensional detection target PCB image, comparing the gray values of the 2D standard PCB image and the 2D detection target PCB image, calculating the image residual, and acquiring the 2D PCB residual image. To segment a two-dimensional standard PCB image, the two-dimensional detection target PCB image, and the two-dimensional PCB residual image to acquire a plurality of image patches and corresponding coordinates.
Registration is performed on the 2D standard PCB image to detect whether the 2D standard PCB image has rotation, deformation, non-uniform light, and light reflection, and if so, an algorithm is used. To fix it
The 2D detection target PCB image is compared with the processed 2D standard PCB image to determine whether the position, light, and color match, and if not, an algorithm is used to perform the above. Includes modifying the two-dimensional detection target PCB image.

さらに、本発明の一つの実施例において、非比較参照検出方法では、S8は、前記2次元検出対象PCB画像をセグメント化して、複数の画像パッチ及び対応する座標を取得することをさらに含む。 Further, in one embodiment of the present invention, in the non-comparative reference detection method, S8 further comprises segmenting the two-dimensional detection target PCB image to obtain a plurality of image patches and corresponding coordinates.

さらに、本発明の一つの実施例において、前記S9において、前記2次元PCB残差画像の画像パッチをフィルタリングし、レジストレーション及びその他の要因による比較エラーを排除し、前記2次元PCB残差画像に残差のない画像パッチを削除し、
前記S10及びS12は、
標準ボード比較なしPCB検出方法では、前記2次元PCB欠陥単一データ画像ライブラリを採用することと、
標準ボード比較なしPCB検出方法とPCBハイブリッド検出方法では、前記2次元PCB欠陥画像ライブラリと前記2次元PCB欠陥画像ライブラリの各種類のPCB欠陥に対して、畳み込みニューラルネットワークでトレーニングし、PCB欠陥特徴とPCB欠陥カテゴリ特徴を抽出することと、
ステップS10は、畳み込みニューラルネットワークによってトレーニングされたPCB欠陥特徴を介して、前記ステップS8は、複数の画像パッチでPCB欠陥の検索および識別を実行し、単一の2次元PCB欠陥画像ライブラリ畳み込みニューラルネットワークを使用して、PCB欠陥カテゴリ特徴をトレーニングし、ステップS12は、前記2次元検出対象PCB画像にマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥画像ライブラリに追加することと、をさらに含む。
Further, in one embodiment of the present invention, in S9, the image patch of the 2D PCB residual image is filtered to eliminate comparison errors due to registration and other factors, and the 2D PCB residual image is obtained. Remove the image patch with no residuals and
The S10 and S12 are
In the standard board comparison-less PCB detection method, the above-mentioned two-dimensional PCB defect single data image library is adopted, and
In the standard board comparison-less PCB detection method and the PCB hybrid detection method, PCB defects of each type of the 2D PCB defect image library and the 2D PCB defect image library are trained by a convolutional neural network, and the PCB defect characteristics are used. Extracting PCB defect category features and
Step S10 is through a PCB defect feature trained by a convolutional neural network, said step S8 performing PCB defect retrieval and identification in multiple image patches, a single two-dimensional PCB defect image library convolutional neural network. To train PCB defect category features using, step S12 classifies the defects marked in the two-dimensional detection target PCB image, determines defects that are not in the category, and whether they are false defects. It further includes determining if it is a defect in a new category and adding the defect in the new category to the defect image library.

さらに、本発明の一つの実施例において、標準PCBとの比較の検出方法とPCBハイブリッド検出方法では、それぞれ前記2次元PCB欠陥画像ライブラリ及び前記2次元PCB欠陥画像ライブラリの各種類のPCB欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングして、PCB欠陥特徴及びPCB欠陥カテゴリ特徴を抽出する。ステップS11及びステップS12は、
2次元PCB欠陥パッチ及び対応する非欠陥標準PCBパッチ画像で構成される2次元PCB欠陥データペア画像ライブラリを採用し、ステップS11は、畳み込みニューラルネットワークによってトレーニングされたPCB欠陥特徴ペア、ステップS9は、残差画像に対して欠陥識別を実行し、2次元PCB欠陥画像ライブラリ畳み込みニューラルネットワークを使用して、PCB欠陥カテゴリ特徴ペアをトレーニングし、ステップS12は、前記2次元検出対象PCB画像にマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥画像ライブラリに追加することをさらに含む。
Further, in one embodiment of the present invention, in the detection method for comparison with the standard PCB and the PCB hybrid detection method, for each type of PCB defect of the two-dimensional PCB defect image library and the two-dimensional PCB defect image library, respectively. And training using a convolutional neural network to extract PCB defect features and PCB defect category features. Step S11 and step S12 are
Adopting a 2D PCB defect data pair image library composed of 2D PCB defect patches and corresponding non-defective standard PCB patch images, step S11 is a PCB defect feature pair trained by a convolutional neural network, step S9 is Defect identification was performed on the residual image and the PCB defect category feature pair was trained using the 2D PCB defect image library convolutional neural network, and step S12 was marked on the 2D detection target PCB image. It further includes classifying defects, determining defects that are not in the category, determining whether they are fake defects or defects in a new category, and adding the defects in the new category to the defect image library.

さらに、本発明の一つの実施例において、PCBハイブリッド検出方法では、ステップS12の後には、
畳み込みニューラルネットワークによってトレーニングされた前記2次元PCB欠陥画像ライブラリのPCB欠陥特徴を使用して、マークされた疑似欠陥パッチを検索してマッチングさせ、そのうちの偽の欠陥を削除し、識別精度を向上させることと、
ステップS13の後、畳み込みニューラルネットワークによってトレーニングされたPCB欠陥特徴を介して、前記欠陥画像で疑似欠陥を検索してマッチングさせることと、をさらに含む。
Further, in one embodiment of the present invention, in the PCB hybrid detection method, after step S12,
The PCB defect features of the 2D PCB defect image library trained by the convolutional neural network are used to search for and match marked pseudo-defect patches, removing false defects and improving identification accuracy. That and
After step S13, further comprising searching for and matching pseudo-defects in the defect image via PCB defect features trained by a convolutional neural network.

さらに、本発明の一つの実施例において、PCB欠陥検証では、ステップS3で畳み込みニューラルネットワークによってトレーニングされたPCB欠陥レベル特徴情報を通じてPCB欠陥の真偽性を判断し、欠陥が偽の欠陥である場合、該偽の欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークする。 Further, in one embodiment of the present invention, in the PCB defect verification, the authenticity of the PCB defect is determined through the PCB defect level feature information trained by the convolutional neural network in step S3, and the defect is a false defect. , The fake defect is deleted, the cause of the fake defect is analyzed, and if the defect is a true defect, it is marked on the defect record.

さらに、本発明の一つの実施例において、欠陥の検索と判断の過程で、欠陥を複数の識別の反復によって連続的に排除する。 Further, in one embodiment of the present invention, in the process of searching and determining a defect, the defect is continuously eliminated by repeating a plurality of identifications.

本発明の追加の態様および利点は、以下の説明で部分的に与えられ、いくつかは、以下の説明から明らかになるか、または本発明の実施を通じて理解される。 Additional aspects and advantages of the invention are given in part in the description below, some of which will be apparent from the description below or understood through the practice of the invention.

本発明の実施例における深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法は、PCB画像、標準PCB画像、および畳み込みニューラルネットワークを使用してPCB欠陥を検出し、PCB欠陥検出のツールを使用すると、組み立てプロセスの初期段階でエラーを見つけて排除でき、欠陥のあるPCBボードを次の組み立て段階に送ることを回避でき、同時に、修理コストを削減し、修理不可能な回路基板の廃棄を回避する。畳み込みニューラルネットワークの使用には、高速、高精度、強力な一般化能力、および明確な構造という利点がある。 The method for real-time automatic detection of two-dimensional PCB appearance defects based on deep learning in the embodiment of the present invention detects PCB defects using a PCB image, a standard PCB image, and a convolutional neural network, and uses a tool for detecting PCB defects. You can then find and eliminate errors early in the assembly process, avoid sending defective PCB boards to the next assembly stage, while reducing repair costs and avoiding the disposal of irreparable circuit boards. do. The use of convolutional neural networks has the advantages of high speed, high accuracy, strong generalization capabilities, and well-defined structure.

本発明の一つの実施例による、深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法のフローチャートFlow chart of real-time automatic detection method of 2D PCB appearance defect based on deep learning according to one embodiment of the present invention 本発明の一つの具体的な実施例による、深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法のフローチャートFlow chart of real-time automatic detection method of 2D PCB appearance defect based on deep learning according to one specific embodiment of the present invention. 本発明のもう一つの具体的な実施例による、深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法のフローチャートFlow chart of real-time automatic detection method of 2D PCB appearance defect based on deep learning according to another specific embodiment of the present invention. 本発明のさらに一つの具体的な実施例による、深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法のフローチャートFlow chart of real-time automatic detection method of 2D PCB appearance defect based on deep learning according to still one specific embodiment of the present invention.

本発明の上記及び/又は追加の態様および利点は、添付の図面を参照しながら実施例の以下の説明から明らかになり、理解しやすくなる。
以下は、本発明の実施例を詳細に説明する。前記実施例の例は、添付の図面に示され、同じまたは類似の参照番号は、同じまたは類似の要素または同じまたは類似の機能を有する要素を示す。添付の図面を参照して以下に説明する実施例は例示的なものであり、本発明を説明することを意図しているが、本発明を限定するものではない。
The above and / or additional embodiments and advantages of the present invention will become apparent and easier to understand from the following description of the Examples with reference to the accompanying drawings.
Hereinafter, embodiments of the present invention will be described in detail. Examples of said embodiments are shown in the accompanying drawings, where the same or similar reference numbers indicate the same or similar elements or elements with the same or similar function. The embodiments described below with reference to the accompanying drawings are exemplary and are intended to illustrate the invention, but are not intended to limit the invention.

以下は、添付の図面を参照して、本発明の実施例によって提供された深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法を説明する。 The following describes a method for real-time automatic detection of two-dimensional PCB appearance defects based on deep learning provided by the embodiments of the present invention with reference to the accompanying drawings.

技術の進歩に伴い、PCBの製造はますます複雑で精密になっている。既存の欠陥検出方法は効率的ではなく、精度は非常に低くなっている。本発明の実施例は、比較のために標準PCBボードに依存するCNN検出方法(方法1)、標準PCBボード比較なしのCNN検出方法(方法2)、前の2つの方法ハイブリッドCNN検出方法(方法3)が含まれるPCB実施例でPCB欠陥検出を行う、深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法を提供する。 With technological advances, PCB manufacturing is becoming more complex and precise. Existing defect detection methods are inefficient and very inaccurate. Examples of the present invention include a CNN detection method that relies on a standard PCB board for comparison (method 1), a CNN detection method without standard PCB board comparison (method 2), and the previous two methods hybrid CNN detection method (method). 3) Provided is a real-time automatic detection method of a two-dimensional PCB appearance defect based on deep learning, which performs PCB defect detection in a PCB embodiment including 3).

図1に示すように、本発明の実施例による深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法は、
PCB欠陥パッチ画像ライブラリを介して、2次元PCB欠陥データペア画像ライブラリと2次元PCB欠陥単一データ画像ライブラリがそれぞれある、2次元PCB欠陥パッチ(patch)画像ライブラリを構築するS1と、
CNN欠陥特徴トレーニングパッチを介して、2次元PCB欠陥パッチ画像ライブラリ内の各種類のPCB欠陥に対して、畳み込みニューラルネットワーク(CNN)を使用してトレーニングして、PCB欠陥特徴及びPCB欠陥カテゴリ特徴を抽出するS2と、
CNN欠陥レベル特徴トレーニングパッチを介して、2次元PCB欠陥パッチ画像ライブラリ内の各種類のPCB欠陥レベルに対して、畳み込みニューラルネットワークを使用してトレーニングして、PCB欠陥カテゴリ特徴を抽出するS3と、
PCB画像抽出パッチを介して、それぞれ2次元標準PCB画像と2次元検出対象PCB画像がある、2次元PCB画像を抽出するS4と、
フィルタリングノイズ除去パッチを介して、2次元PCB画像のノイズ除去処理を実行するS5と、
画像レジストレーションパッチを介して、2次元標準PCB画像を2次元検出対象PCB画像にレジストレーションを行い、2次元標準PCB画像と2次元検出対象PCB画像を位置合わせるS6と、
画像グレー値比較パッチを介して、2次元標準PCB画像と2次元検出対象PCB画像のグレー値を比較および分析して、2次元PCB残差画像を取得するS7と、
画像セグメンテーション位置決めパッチを介して2次元標準PCB画像、2次元検出対象PCB画像及び2次元PCB残差画像をセグメント化して位置決めして、複数の画像のパッチ(patch)及び対応する座標を取得するS8と、
残差フィルタリングパッチを介して、2次元PCB残差画像のpatchをフィルタリングし、レジストレーション及びその他の要因によって引き起こされる比較エラーを排除するS9と、
欠陥検索マッチングパッチを介して、畳み込みニューラルネットワークによってトレーニングされたPCB欠陥特徴を介して、複数の画像パッチで欠陥パッチを検索し、欠陥パッチのマッチングを実行するS10と、
CNN欠陥識別パッチを介して、畳み込みニューラルネットワークを使用して、検出対象PCB画像欠陥を識別するS11と、
PCB欠陥分類パッチを介して、畳み込みニューラルネットワークによってトレーニングPCB欠陥カテゴリ特徴ペアを使用して、検出対象PCB画像内のマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、新しいカテゴリの欠陥を欠陥画像ライブラリに追加するS12と、
PCB欠陥疑似パッチを介して、2次元検出対象PCB画像内の各種類の欠陥を疑似欠陥としてマークするS13と、
PCB欠陥検証パッチを介して、畳み込みニューラルネットワークによってトレーニングされたPCB欠陥レベル特徴と分類情報を通じて、疑似欠陥パッチの真偽性を判断し、判断疑似缺陷塊的真假性,欠陥が偽の欠陥である場合、対応する欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークするS14と、を含む。
As shown in FIG. 1, the method for real-time automatic detection of two-dimensional PCB appearance defects based on deep learning according to the embodiment of the present invention is
S1 to build a 2D PCB defect patch image library with a 2D PCB defect data pair image library and a 2D PCB defect single data image library, respectively, via a PCB defect patch image library.
Through the CNN defect feature training patch, each type of PCB defect in the 2D PCB defect patch image library is trained using a convolutional neural network (CNN) to develop PCB defect features and PCB defect category features. S2 to be extracted and
S3, which extracts PCB defect category features by training each type of PCB defect level in a 2D PCB defect patch image library using a convolutional neural network via a CNN defect level feature training patch.
S4 that extracts a 2D PCB image that has a 2D standard PCB image and a 2D detection target PCB image, respectively, via a PCB image extraction patch.
S5, which executes noise removal processing for 2D PCB images via a filtering noise removal patch, and
S6 that registers the 2D standard PCB image with the 2D detection target PCB image via the image registration patch and aligns the 2D standard PCB image with the 2D detection target PCB image.
S7 to acquire a 2D PCB residual image by comparing and analyzing the gray values of the 2D standard PCB image and the 2D detection target PCB image via the image gray value comparison patch.
Image segmentation S8 to segment and position a 2D standard PCB image, a 2D detection target PCB image, and a 2D PCB residual image via a positioning patch to acquire patches (patches) of multiple images and corresponding coordinates. When,
With S9, which filters the patch of the 2D PCB residual image through the residual filtering patch to eliminate comparison errors caused by registration and other factors.
S10, which searches for defect patches in multiple image patches and performs defect patch matching via PCB defect features trained by a convolutional neural network via defect search matching patches.
S11, which identifies the PCB image defect to be detected by using a convolutional neural network via the CNN defect identification patch,
Through a PCB defect classification patch, a convolutional neural network uses a training PCB defect category feature pair to classify marked defects in the PCB image to be detected, determine defects that are not in the category, and they are false defects. S12, which determines whether it is a defect in a new category and adds a defect in the new category to the defect image library.
S13, which marks each type of defect in the PCB image to be detected as a pseudo defect via the PCB defect pseudo patch, and
Through the PCB defect verification patch, the authenticity of the pseudo-defect patch is judged through the PCB defect level feature and classification information trained by the convolutional neural network. In some cases, the corresponding defect is deleted, the cause of the false defect is analyzed, and if the defect is a true defect, S14, which marks the defect record, is included.

本発明の実施例において、2次元PCB欠陥パッチ画像ライブラリは2種類に分類され、1つは2次元PCB欠陥パッチ及び対応する非欠陥標準PCBパッチ画像で構成されるデータペア画像ライブラリで、もう1つは単一の2次元PCB欠陥パッチのみを有するデータ画像ライブラリである。 In the embodiments of the present invention, the two-dimensional PCB defect patch image library is classified into two types, one is a data pair image library composed of a two-dimensional PCB defect patch and a corresponding non-defective standard PCB patch image, and the other is. One is a data image library with only a single 2D PCB defect patch.

本発明の実施例において、上記実施例に基づき、S1は、
2種類の2次元PCB欠陥パッチ画像ライブラリには、マーク、分類、および等級付けされたさまざまなPCB欠陥パッチ画像が含まれ、PCB欠陥パッチ画像にはマルチスケール画像が含まれることをさらに含む。
In the embodiment of the present invention, based on the above embodiment, S1 is
The two 2D PCB defect patch image libraries include various marked, classified, and graded PCB defect patch images, further including including multiscale images in the PCB defect patch images.

本発明の実施例において、S2及びS3は、
2次元PCB欠陥パッチ画像ライブラリ内の各種類のPCB欠陥に対して、畳み込みニューラルネットワーク(CNN)を使用してトレーニングを行い、PCB欠陥カテゴリ特徴を抽出することと、
2次元PCB欠陥パッチ画像ライブラリ内の各種類のPCB欠陥のレベルに対して、畳み込みニューラルネットワークを使用してトレーニングを行い、PCB欠陥レベル特徴を抽出することと、をさらに含む。
In the embodiment of the present invention, S2 and S3 are
Two-dimensional PCB defect patch To train each type of PCB defect in the image library using a convolutional neural network (CNN) to extract PCB defect category features.
It further includes training using a convolutional neural network to extract PCB defect level features for each type of PCB defect level in a 2D PCB defect patch image library.

本発明の実施例において、S4は、2次元標準PCB画像及び2次元検出対象PCB画像を抽出する、検出対象PCB画像のみを抽出する2つの状況を含む、2次元PCB画像を抽出することを含むことを特徴とする。 In an embodiment of the invention, S4 comprises extracting a 2D PCB image comprising two situations: extracting a 2D standard PCB image and a 2D detection target PCB image, extracting only the detection target PCB image. It is characterized by that.

ステップS4は、
比較技術が必要な検出方法1と方法3の場合、2次元検出対象PCB画像及び対応する標準PCB画像を抽出する必要があり、教師なし学習検出(つまり、非比較参照学習検出方法)方法2の場合、2次元検出対象PCB画像のみを抽出する必要があることをさらに含む。
Step S4
In the case of detection method 1 and method 3 that require comparative techniques, it is necessary to extract the two-dimensional detection target PCB image and the corresponding standard PCB image, and the unsupervised learning detection (that is, non-comparative reference learning detection method) method 2 In the case, it further includes that it is necessary to extract only the two-dimensional detection target PCB image.

本発明の実施例において、S5フィルタリングノイズ除去パッチは、2次元PCB画像に対してノイズ除去処理を行う。 In the embodiment of the present invention, the S5 filtering noise reduction patch performs noise removal processing on a two-dimensional PCB image.

アルゴリズムを使用して標準PCB画像及び検出対象PCB画像のノイズを除去する。方法1と方法3では、2次元標準PCB画像と検出対象PCB画像のノイズを除去する必要があり、画像のノイズを除去し、ボードの色が画像に与える影響を修正し、標準PCB画像、検出対象PCB画像、および欠陥ライブラリの画像の底板の色を一致させ、方法2では、検出対象PCB画像のみに対してノイズを除去する必要があり、画像のノイズを除去し、底板の色が画像に与える影響を修正し、検出対象PCB画像、欠陥ライブラリの画像の底板の色を一致させる。 An algorithm is used to remove noise from standard PCB images and PCB images to be detected. In methods 1 and 3, it is necessary to remove noise from the two-dimensional standard PCB image and the PCB image to be detected, remove the noise from the image, correct the effect of board color on the image, and detect the standard PCB image. Matching the colors of the bottom plate of the target PCB image and the image of the defect library, in method 2, it is necessary to remove noise only for the detection target PCB image, the noise of the image is removed, and the color of the bottom plate becomes the image. Correct the effect and match the color of the bottom plate of the detection target PCB image and the image of the defect library.

標準PCB画像と検出対象PCB画像に対してレジストレーション、グレー値の比較、画像セグメンテーションを行う。 Registration, gray value comparison, and image segmentation are performed on the standard PCB image and the PCB image to be detected.

S6、S7、およびS8の場合、方法1および方法3に使用される。標準PCB画像と検出対象PCB画像に対してレジストレーションを行い、処理された標準PCB画像に従って検出対象PCB画像を修正する。標準PCB画像と検出対象PCB画像に対してグレー値を比較し、画像の残差を計算して残差画像を取得し、次に、標準PCB画像、検出対象PCB画像、および残差画像をセグメント化して、複数の画像パッチと座標を取得する。 In the case of S6, S7, and S8, it is used for method 1 and method 3. Registration is performed on the standard PCB image and the detection target PCB image, and the detection target PCB image is modified according to the processed standard PCB image. The gray values are compared between the standard PCB image and the detection target PCB image, the residual image is calculated to obtain the residual image, and then the standard PCB image, the detection target PCB image, and the residual image are segmented. To get multiple image patches and coordinates.

標準PCB画像に対してレジストレーションを行い、標準PCB画像に回転、変形、不均一な光、および光の反射があるか否かを検出し、ある場合、アルゴリズムを使用して修正する。 Registration is performed on the standard PCB image to detect if the standard PCB image has rotation, deformation, non-uniform light, and light reflection, and if so, an algorithm is used to correct it.

検出対象PCB画像を処理済みの標準PCB画像と比較し、位置、光、色が一致しているか否かを判断し、一致していない場合は、アルゴリズムを使用して、検出対象PCB画像を修正する。 Compare the detected PCB image with the processed standard PCB image to determine if the position, light, and color match, and if not, use an algorithm to modify the detected PCB image. do.

画像のセグメント化と位置決めS8は、方法2で使用され、検出対象PCB画像をセグメント化して、複数の画像パッチと座標を取得する。 Image segmentation and positioning S8 is used in method 2 to segment a detection target PCB image to obtain a plurality of image patches and coordinates.

本発明の実施例において、S9では、2次元PCB残差画像のpatchをフィルタリングし、レジストレーション及びその他の要因による比較エラーを排除し、残差画像に残差のない画像パッチを削除し、
2次元PCB欠陥画像ライブラリ及び2次元PCB欠陥画像ライブラリの各種類のPCB欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングして、PCB欠陥特徴及びPCB欠陥カテゴリ特徴を抽出する。S10及びS12では、
方法2は、単一の2次元PCB欠陥パッチのみを有するデータ画像ライブラリを使用することをさらに含む。S10は、CNNによってトレーニングされたPCB欠陥特徴を介して、S8は、PCB欠陥の検索識別を行う。次に、単一の2次元PCB欠陥画像ライブラリCNNを使用して、PCB欠陥カテゴリ特徴をトレーニングし、S12は、検出対象PCB画像にマークされている欠陥を分類し、そのカテゴリにない欠陥を判断し、偽の欠陥か新しいカテゴリの欠陥かを判断し、新しいカテゴリの欠陥を欠陥画像ライブラリに追加する。
In an embodiment of the invention, in S9, the patch of the 2D PCB residual image is filtered to eliminate comparison errors due to registration and other factors, and the image patch with no residual image is deleted.
Each type of PCB defect in the 2D PCB defect image library and the 2D PCB defect image library is trained using a convolutional neural network to extract PCB defect features and PCB defect category features. In S10 and S12,
Method 2 further comprises using a data image library with only a single 2D PCB defect patch. S10 performs search identification of PCB defects through PCB defect features trained by CNN. Next, a single 2D PCB defect image library CNN is used to train PCB defect category features, and S12 classifies the defects marked on the PCB image to be detected and determines defects not in that category. Then determine if it is a fake defect or a new category of defect and add the new category of defect to the defect image library.

本発明の実施例において、それぞれ2次元PCB欠陥画像ライブラリ及び2次元PCB欠陥画像ライブラリの各種類のPCB欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングして、PCB欠陥特徴及びPCB欠陥カテゴリ特徴を抽出することを特徴とする。S11及びS12では、
方法1及び方法3では、2次元PCB欠陥パッチ及び対応する非欠陥標準PCBパッチ画像で構成されるデータペア画像ライブラリを採用し、S11は、CNNによってトレーニングされたPCB欠陥特徴を介して、S9は、残差画像に対して欠陥識別を実行する。次に、2次元PCB欠陥画像ライブラリCNNを使用して、PCB欠陥カテゴリ特徴ペアをトレーニングし、S12は、検出対象PCB画像にマークされている欠陥を分類し、そのカテゴリにない欠陥を判断し、偽の欠陥か新しいカテゴリの欠陥かを判断し、新しいカテゴリの欠陥を欠陥画像ライブラリに追加することを含む。
In the embodiments of the present invention, PCB defects of each type of the 2D PCB defect image library and the 2D PCB defect image library are trained by using a convolutional neural network, and the PCB defect feature and the PCB defect category feature are trained. Is characterized by extracting. In S11 and S12,
Methods 1 and 3 employ a data pair image library consisting of 2D PCB defect patches and corresponding non-defective standard PCB patch images, where S11 is via a PCB defect feature trained by CNN and S9 is , Perform defect identification on residual images. Next, using the 2D PCB defect image library CNN, the PCB defect category feature pair is trained, and S12 classifies the defects marked in the PCB image to be detected, determines the defects that are not in that category, and determines. Includes determining if it is a fake defect or a new category of defect and adding the new category of defect to the defect image library.

S12の後に方法3は、
畳み込みニューラルネットワークによってトレーニングされた2次元PCB欠陥画像ライブラリのPCB欠陥特徴を使用して、マークされた疑似欠陥パッチを検索してマッチングさせ、そのうちの偽の欠陥を削除し、識別精度を向上させることをさらに含む。
Method 3 after S12
Using the PCB defect features of a 2D PCB defect image library trained by a convolutional neural network to search for and match marked pseudo-defect patches, remove false defects, and improve identification accuracy. Including further.

S13の後、畳み込みニューラルネットワークによってトレーニングされたPCB欠陥特徴を介して、欠陥画像で疑似欠陥を検索してマッチングさせる。 After S13, pseudo-defects are searched for and matched in the defect image via PCB defect features trained by a convolutional neural network.

本発明の実施例において、PCB欠陥検証では、S3で畳み込みニューラルネットワークによってトレーニングされたPCB欠陥レベル特徴情報を通じてPCB欠陥の真偽性を判断し、欠陥が偽の欠陥である場合、この欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークする。 In the embodiment of the present invention, in the PCB defect verification, the authenticity of the PCB defect is determined through the PCB defect level feature information trained by the convolutional neural network in S3, and if the defect is a false defect, this defect is deleted. Then analyze the cause of the fake defect and mark the defect record if the defect is a true defect.

本発明の実施例において、欠陥の検索と判断の過程で、欠陥を複数の識別の反復によって連続的に排除することを特徴とする。 An embodiment of the present invention is characterized in that, in the process of searching and determining a defect, the defect is continuously eliminated by repeating a plurality of identifications.

要約すると、本発明の実施例は、3つの欠陥検出方法を提供する。3つの検出方法を、添付の図面とともに以下に詳細に説明する。 In summary, the embodiments of the present invention provide three defect detection methods. The three detection methods will be described in detail below with the accompanying drawings.

方法1:
図2に示すように、深層学習に基づく検出は、
欠陥ライブラリには、マーク、分類、および等級付けされたさまざまなPCB欠陥画像が含まれ、欠陥画像はマルチスケール画像であってもよい、2次元PCB欠陥パッチ画像ライブラリの構築S1ステップ(1−1)と、
各種類のPCB欠陥データペアに対して、CNNを使用してトレーニングし、PCB欠陥特徴と欠陥カテゴリ特徴を抽出する、CNN欠陥トレーニングS2と欠陥ライブラリS1の接続ステップ(1−2)と、
各レベルのPCB欠陥データペアに対して、CNNを使用してトレーニングし、PCB欠陥レベル特徴を抽出する、CNN欠陥レベルトレーニングS3と欠陥ライブラリS1の接続ステップ(1−3)と、
それぞれ標準PCB画像及び検出対象PCB画像を読み取る、標準PCB画像の読み取りS4ステップ(1−4)と、
画像には必然的にさまざまなノイズおよび底板の色があるため、欠陥識別に大きな影響を与える。ノイズをフィルタリングするには、複数のアルゴリズムと技術を使用する必要がある、それぞれ標準PCB画像と検出対象PCB画像をノイズ除去する画像ノイズ除去S5とS4の接続ステップ(1−5)と、
それぞれ標準PCBと検出対象PCB画像に対してレジストレーションを行う、画像レジストレーションS6とS5の接続ステップ(1−6)と、
PCB画像には、回転や変形などに変化があるかを検出し、変化した場合は、修正する必要があり、標準PCB画像の光に異常がないか、不均一な光や反射などがないかを検出し、異常光がある場合は、アルゴリズムの修正が必要である標準PCB画像の端正かの検出ステップ(1−6−1)と、
検出対象PCB画像が端正であるか否か、標準PCBの位置と一致するか否かを検出し、標準PCB画像の位置、光、色と一致するか否かを確認し、不一致である場合、アルゴリズムを使用して修正する画像ノイズ除去S5との接続に加えて、検出対象PCB画像もレジストされた標準PCB画像と接続する必要があるステップ(1−6−2)と、
検出対象PCB画像と標準PCB画像に対して画像グレー値を比較し、画像の残差を計算する画像グレー値の比較S7と画像レジストレーションS6の接続ステップ(1−7)と、
PCB標準画像、検出対象画像、および残差画像に対して、同じパッチに適切にセグメント化し、欠陥パッチの位置決めとマーキングの準備をする画像セグメンテーションS8とS7の接続ステップ(1−8)と、
レジストレーションエラー及び干渉による比較残差をフィルタリングし、残差画像に残差のないpatchを削除し、残差のあるpatchを検出および分析する残差フィルタリングS9と画像セグメンテーションS8の接続ステップ(1−9)と、
S2でCNNによってトレーニングされたPCB欠陥特徴を使用して、残差patchを識別し、検出対象PCB欠陥であるpatchを識別し、疑似欠陥patchをマークする、複数回識別して反復し、疑似欠陥patchを徐々に排除できるPCB欠陥識別S11と残差フィルタリングS9及びPCB欠陥特徴トレーニングS2の接続ステップ(1−10)と、
S2でCNNによってトレーニングされたPCB欠陥カテゴリ特徴を使用して、欠陥識別S11でマークされた欠陥patchを分類し、マークされた欠陥が属する欠陥の種類を識別するPCB欠陥分類S12と欠陥識別S11および欠陥トレーニングS2の接続ステップ(1−11)と、
S3でCNNによってトレーニングされたPCB欠陥レベル特徴を使用して、S12で得られた疑似PCB欠陥が真の欠陥であるか否かを確認し、偽の欠陥を削除して、検出精度を向上させる。それが真の欠陥である場合は、それをマークする。同時に、カテゴリに含まれない欠陥をスクリーニングし、検出された真の欠陥が新しいタイプの欠陥である場合、この新しい欠陥をマークし、欠陥ライブラリに追加する。偽の欠陥である場合は、偽の欠陥の原因を分析し、その後の検出のための参照を提供するPCB欠陥検証S14と欠陥分類S12および欠陥レベル特徴S3の接続ステップ(1−12)と、を含む。
Method 1:
As shown in FIG. 2, detection based on deep learning
The defect library contains various PCB defect images marked, classified, and graded, and the defect image may be a multiscale image. Building a 2D PCB defect patch image library S1 step (1-1) )When,
A connection step (1-2) between CNN defect training S2 and defect library S1 that trains each type of PCB defect data pair using CNN and extracts PCB defect features and defect category features.
A connection step (1-3) between CNN defect level training S3 and defect library S1 that trains each level of PCB defect data pair using CNN and extracts PCB defect level features.
The standard PCB image reading S4 step (1-4), which reads the standard PCB image and the PCB image to be detected, respectively, and
Images inevitably have a variety of noise and bottom plate colors, which can have a significant impact on defect identification. In order to filter noise, it is necessary to use multiple algorithms and techniques, the image noise removal S5 and S4 connection step (1-5), which removes noise from the standard PCB image and the PCB image to be detected, respectively.
The connection step (1-6) of image registration S6 and S5, which performs registration on the standard PCB and the PCB image to be detected, respectively, and
It is necessary to detect whether there is a change in rotation or deformation of the PCB image, and if it changes, it is necessary to correct it. Is there any abnormality in the light of the standard PCB image, or is there any uneven light or reflection? And if there is abnormal light, the standard PCB image neatness detection step (1-6-1) that requires modification of the algorithm,
Detects whether the detection target PCB image is neat and matches the position of the standard PCB, confirms whether it matches the position, light, and color of the standard PCB image, and if it does not match, In addition to the connection with the image noise removal S5 to be corrected using the algorithm, the PCB image to be detected also needs to be connected to the registered standard PCB image (1-6-2).
Comparison of image gray values for comparing image gray values with respect to the detection target PCB image and standard PCB image and calculating image residuals S7 and image registration S6 connection step (1-7),
The connection step (1-8) of image segmentation S8 and S7, which appropriately segments the PCB standard image, the image to be detected, and the residual image into the same patch, and prepares for positioning and marking of the defect patch.
Connection step (1-) of residual filtering S9 and image segmentation S8 that filters comparative residuals due to registration errors and interference, removes patches without residuals in the residual image, and detects and analyzes patches with residuals. 9) and
Using the PCB defect features trained by CNN in S2, identify the residual patch, identify the patch that is the PCB defect to be detected, mark the pseudo-defect patch, identify and repeat multiple times, and pseudo-defect. The connection step (1-10) of the PCB defect identification S11 that can gradually eliminate the patch, the residual filtering S9, and the PCB defect feature training S2,
Using the PCB defect category features trained by the CNN in S2, the PCB defect classification S12 and defect identification S11 and the defect identification S11 and the defect identification S11 that classify the defect patch marked by the defect identification S11 and identify the type of defect to which the marked defect belongs. Defect training S2 connection step (1-11) and
Using the PCB defect level feature trained by CNN in S3, it is confirmed whether the pseudo PCB defect obtained in S12 is a true defect, and false defects are removed to improve the detection accuracy. .. If it is a true defect, mark it. At the same time, it screens for defects that are not in the category, and if the true defect detected is a new type of defect, marks this new defect and adds it to the defect library. If it is a false defect, the connection step (1-12) of the PCB defect verification S14 and the defect classification S12 and the defect level feature S3, which analyzes the cause of the false defect and provides a reference for subsequent detection, including.

方法2:第1の検出方法と比較して、第2の欠陥検出方法は非参照学習検出であり、標準PCBと比較して参照する必要はない。図3に示すように、具体的なステップは、
欠陥ライブラリには、マーク、分類、および等級付けされたさまざまなPCB欠陥画像が含まれ、欠陥画像はマルチスケール画像であってもよい。この欠陥ライブラリは、第1の検出方法の画像ライブラリとは異なり、画像データペアではなく、単一の欠陥画像だけであるPCB欠陥画像ライブラリを構築するS1ステップ(2−1)と、
各種類のPCB欠陥ペアに対して、CNNを使用してトレーニングし、PCB欠陥特徴と欠陥カテゴリ特徴を抽出する、CNN欠陥トレーニングS2と欠陥ライブラリS1の接続ステップ(2−2)と、
各レベルのPCB欠陥ペアに対して、CNNを使用してトレーニングし、PCB欠陥レベル特徴を抽出する、CNN欠陥レベルトレーニングS3と欠陥ライブラリS1の接続ステップ(2−3)と、
検出対象PCB画像を読み取る、標準PCB画像の読み取りS4ステップ(2−4)と、
画像には必然的にさまざまなノイズ、底板の色があるため、欠陥識別に大きな影響を与える。ノイズをフィルタリングするには、複数のアルゴリズムと技術を使用する必要がある、検出対象PCB画像をノイズ除去する画像ノイズ除去S5とS4の接続ステップ(2−5)と、
PCB検出対象画像をセグメント化し、パッチ(patch)にセグメント化して、欠陥パッチの位置決めとマーキングの準備をする画像セグメンテーションS8と画像ノイズ除去S5の接続ステップ(2−6)と、
S2でCNNによってトレーニングされたPCB欠陥特徴を使用して、欠陥patchを検索し、検出対象PCB欠陥であるpatchを識別し、疑似欠陥patchをマークする、複数回識別して反復し、疑似欠陥patchを徐々に排除できる欠陥マッチング検索S10と画像セグメンテーションS8および欠陥特徴トレーニングS2の接続ステップ(2−7)と、
S2でCNNによってトレーニングされたPCB欠陥カテゴリ特徴を使用して、欠陥検索S10でマークされた欠陥patchを分類し、マークされた欠陥が属する欠陥の種類を判断すると同時に、カテゴリに含まれない欠陥は、偽の欠陥であるか新しいタイプの欠陥であるかを判断するためにスクリーニングし、新しいタイプの欠陥である場合は、欠陥を欠陥ライブラリに拡張するPCB欠陥分類S12と欠陥マッチング検索S10および欠陥トレーニングS2の接続ステップ(2−8)と、
S3でCNNによってトレーニングされたPCB欠陥レベル特徴を使用して、S12で得られた疑似PCB欠陥が真の欠陥であるか否かを確認し、偽の欠陥を削除して、検出精度を向上させる。それが真の欠陥である場合は、それをマークする。検出された真の欠陥が新しいタイプの欠陥である場合、この新しい欠陥をマークし、欠陥ライブラリに追加する。偽の欠陥である場合は、偽の欠陥の原因を分析し、その後の検出のための参照を提供するPCB欠陥検証S14と欠陥分類S12および欠陥レベル特徴S3の接続ステップ(2−9)と、を含む。
Method 2: Compared to the first detection method, the second defect detection method is non-reference learning detection and does not need to be referenced in comparison with the standard PCB. As shown in FIG. 3, the specific steps are
The defect library contains various PCB defect images marked, classified, and graded, and the defect image may be a multiscale image. Unlike the image library of the first detection method, this defect library includes the S1 step (2-1) of constructing a PCB defect image library that is not an image data pair but only a single defect image.
A connection step (2-2) between CNN defect training S2 and defect library S1 that trains each type of PCB defect pair using CNN and extracts PCB defect features and defect category features.
A connection step (2-3) between CNN defect level training S3 and defect library S1 that trains each level of PCB defect pair using CNN and extracts PCB defect level features.
Reading the standard PCB image S4 step (2-4) to read the PCB image to be detected,
Images inevitably have various noises and bottom plate colors, which greatly affects defect identification. Image noise removal S5 and S4 connection step (2-5) to remove noise from the PCB image to be detected, which requires the use of multiple algorithms and techniques to filter noise.
The connection step (2-6) of the image segmentation S8 and the image noise removal S5 that segment the image to be detected by the PCB, segment it into patches, and prepare for positioning and marking of the defect patch.
Using the PCB defect features trained by CNN in S2, the defect patch is searched, the patch that is the PCB defect to be detected is identified, the pseudo defect patch is marked, the identification is repeated multiple times, and the pseudo defect patch is used. The connection step (2-7) of the defect matching search S10, the image segmentation S8, and the defect feature training S2, which can gradually eliminate the defects.
Using the PCB defect category features trained by the CNN in S2, the defect patch marked in defect search S10 is classified to determine the type of defect to which the marked defect belongs, while defects not included in the category are included. , PCB defect classification S12 and defect matching search S10 and defect training to screen to determine if it is a fake defect or a new type of defect and, if so, extend the defect to the defect library. S2 connection step (2-8) and
Using the PCB defect level feature trained by CNN in S3, it is confirmed whether the pseudo PCB defect obtained in S12 is a true defect, and false defects are removed to improve the detection accuracy. .. If it is a true defect, mark it. If the true defect detected is a new type of defect, mark this new defect and add it to the defect library. In the case of a false defect, the connection step (2-9) of the PCB defect verification S14 and the defect classification S12 and the defect level feature S3, which analyzes the cause of the false defect and provides a reference for subsequent detection, including.

方法3:
第3の検出方法は、ハイブリッド検出方法と呼ばれる上記の2つの検出方法を組み合わせたもので、PCBの欠陥をより正確に識別でき、図4に示すように、具体的なステップは、
欠陥ライブラリには、マーク、分類、および等級付けされたさまざまなPCB欠陥画像が含まれ、欠陥画像はマルチスケール画像であってもよい。
PCB欠陥ライブラリは、2種類の欠陥画像ライブラリに分けられる。1つは、欠陥画像の標準画像(ポジティブ例)と欠陥画像(ネガティブ例)で構成される画像データペアであり、もう1つのタイプは、欠陥画像のみで構成される画像ライブラリである2次元PCB欠陥画像ライブラリを構築するS1ステップ(3−1)と、
第1タイプの各種類のPCB欠陥データペアに対して、CNNを使用してトレーニングし、PCB欠陥特徴と欠陥カテゴリ特徴を抽出し、第2タイプの各種類のPCB欠陥に対して、CNNを使用してトレーニングし、PCB欠陥特徴と欠陥カテゴリ特徴を抽出するCNN欠陥トレーニングS2と欠陥ライブラリS1の接続ステップ(3−2)と、
第1タイプの欠陥ライブラリの各レベルのPCB欠陥データペアに対して、CNNを使用してトレーニングし、PCB欠陥レベル特徴を抽出し、第2タイプの欠陥ライブラリの各レベルのPCB欠陥に対して、CNNを使用してトレーニングし、PCB欠陥レベル特徴を抽出するCNN欠陥レベルトレーニングS3と欠陥ライブラリS1の接続ステップ(3−3)と、
それぞれ標準PCB画像と検出対象PCB画像を読み取る標準PCB画像の読み取りS4ステップ(3−4)と、
画像には必然的にさまざまなノイズ、底板の色があるため、欠陥識別に大きな影響を与える。ノイズをフィルタリングするには、複数のアルゴリズムと技術を使用する必要がある、それぞれ標準PCB画像と検出対象PCB画像をノイズ除去する画像ノイズ除去S5とS4の接続ステップ(3−5)と、
それぞれ標準PCBと検出対象PCB画像に対してレジストレーションを行う、画像レジストレーションS6とS5の接続ステップ(3−6)と、
PCB画像には、回転や変形などに変化があるかを検出し、 変化した場合は、修正する必要があり、標準PCB画像の光に異常がないか、不均一な光や反射などがないかを検出し、異常光がある場合は、アルゴリズムの修正が必要である標準PCB画像の端正かの検出ステップ(3−6−1)と、
検出対象PCB画像が端正であるか否か、標準PCBの位置と一致するか否かを検出し、標準PCB画像の位置、光、色と一致するか否かを確認し、不一致である場合、アルゴリズムを使用して修正する画像ノイズ除去S5との接続に加えて、検出対象PCB画像もレジストされた標準PCB画像と接続する必要があるステップ(3−6−2)と、
検出対象PCB画像と標準PCB画像に対して画像グレー値を比較し、画像の残差を計算する画像グレー値の比較S7と画像レジストレーションS6の接続ステップ(3−7)と、
PCB標準画像、検出対象画像、および残差画像に対して、同じパッチ(patch)に適切にセグメント化し、欠陥パッチの位置決めとマーキングの準備をする画像セグメンテーションS8とS7の接続ステップ(3−8)と、
レジストレーションエラー及び干渉による比較残差をフィルタリングし、残差画像に残差のないpatchを削除し、残差のあるpatchを検出および分析する残差フィルタリングS9と画像セグメンテーションS8の接続ステップ(3−9)と、
S2でCNNによってトレーニングされたPCB欠陥特徴を使用して、残差patchを識別し、検出対象PCB欠陥であるpatchを識別し、疑似欠陥patchをマークする、複数回識別して反復し、疑似欠陥patchを徐々に排除できるPCB欠陥識別S11と残差フィルタリングS9及びPCB欠陥特徴トレーニングS2の接続ステップ(3−10)と、
S2でCNNによってトレーニングされたPCB欠陥カテゴリ特徴を使用して、欠陥識別S11でマークされた欠陥patchを分類するPCB欠陥分類S12と欠陥識別S11および欠陥トレーニングS2の接続ステップ(3−11)と、
検出対象PCB疑似欠陥をマークし、マークされた疑似欠陥がどの種類の欠陥に属するかを判断する疑似欠陥S13とS12の接続ステップ(3−12)と、
疑似欠陥S13については、S2の第2タイプの欠陥ライブラリCNNによってトレーニングされたPCB欠陥特徴とカテゴリ特徴を使用して、検索とマッチングを行う。疑似欠陥の偽の欠陥をフィルタリングする欠陥検索マッチングS10と疑似欠陥S13およびCNN欠陥トレーニングS2の接続ステップ(3−13)と、
S10でスクリーニングされた欠陥をさらにフィルタリングする。S3の第2タイプの欠陥ライブラリCNNによってトレーニングされたPCB欠陥レベル特徴を使用して、S10によって取得された疑似PCB欠陥が真の欠陥であるかないかを確認し、偽の欠陥を削除し、検出精度を向上させる。真の欠陥である場合は、それをマークする。同時に、カテゴリに含まれない欠陥をスクリーニングし、検出された真の欠陥が新しいタイプの欠陥である場合、この新しい欠陥をマークし、欠陥ライブラリに追加する。偽の欠陥である場合は、偽の欠陥の原因を分析し、その後の検出のための参照を提供するPCB欠陥検証S14と欠陥検索マッチングS10および欠陥レベル特徴S3の接続ステップ(3−14)と、を含む。
Method 3:
The third detection method is a combination of the above two detection methods called a hybrid detection method, and can more accurately identify defects in the PCB. As shown in FIG. 4, the specific steps are
The defect library contains various PCB defect images marked, classified, and graded, and the defect image may be a multiscale image.
The PCB defect library is divided into two types of defect image libraries. One is an image data pair composed of a standard image (positive example) and a defective image (negative example) of a defective image, and the other type is a two-dimensional PCB which is an image library composed of only defective images. S1 step (3-1) to build a defect image library and
Training using CNN for each type of PCB defect data pair of type 1, extracting PCB defect features and defect category features, and using CNN for each type of PCB defect of type 2. CNN defect training S2 and defect library S1 connection step (3-2) to extract PCB defect features and defect category features.
Training using CNNs for each level of PCB defect data pairs in the first type defect library, extracting PCB defect level features, and for each level of PCB defects in the second type defect library. The connection step (3-3) between CNN defect level training S3 and defect library S1 to train using CNN and extract PCB defect level features,
The standard PCB image reading S4 step (3-4) for reading the standard PCB image and the PCB image to be detected, respectively.
Images inevitably have various noises and bottom plate colors, which greatly affects defect identification. In order to filter noise, it is necessary to use multiple algorithms and techniques, the image noise removal S5 and S4 connection step (3-5), which removes noise from the standard PCB image and the PCB image to be detected, respectively.
The connection step (3-6) of image registration S6 and S5, which performs registration on the standard PCB and the PCB image to be detected, respectively, and
It is necessary to detect whether there is a change in the rotation or deformation of the PCB image, and if it changes, it is necessary to correct it. Is there any abnormality in the light of the standard PCB image, or is there any uneven light or reflection? And if there is abnormal light, the standard PCB image neatness detection step (3-6-1) that requires modification of the algorithm,
Detects whether the detection target PCB image is neat and matches the position of the standard PCB, confirms whether it matches the position, light, and color of the standard PCB image, and if it does not match, In addition to the connection with the image noise removal S5 to be corrected using the algorithm, the detection target PCB image also needs to be connected with the registered standard PCB image (3-6-2).
The connection step (3-7) between the image gray value comparison S7 and the image registration S6, in which the image gray values are compared between the detection target PCB image and the standard PCB image and the residual image is calculated, and
Image segmentation S8 and S7 connection step (3-8) that appropriately segments the PCB standard image, the image to be detected, and the residual image into the same patch, and prepares for positioning and marking the defect patch. When,
Connection step (3-) of residual filtering S9 and image segmentation S8 to filter comparative residuals due to registration errors and interference, remove patches with no residuals in the residual image, and detect and analyze patches with residuals. 9) and
Using the PCB defect features trained by CNN in S2, identify the residual patch, identify the patch that is the PCB defect to be detected, mark the pseudo-defect patch, identify and repeat multiple times, and pseudo-defect. The connection step (3-10) of the PCB defect identification S11 that can gradually eliminate the patch, the residual filtering S9, and the PCB defect feature training S2,
Using the PCB defect category features trained by the CNN in S2, the connection step (3-11) of the PCB defect classification S12 and the defect identification S11 and the defect training S2 to classify the defect patch marked in the defect identification S11.
The connection step (3-12) of the pseudo-defects S13 and S12, which marks the PCB pseudo-defect to be detected and determines which type of defect the marked pseudo-defect belongs to.
Pseudo-defects S13 are searched and matched using PCB defect features and categorical features trained by the second type defect library CNN of S2. Defect search matching S10 for filtering false defects of pseudo-defects, connection step (3-13) of pseudo-defects S13 and CNN defect training S2, and
The defects screened in S10 are further filtered. Using the PCB defect level features trained by the second type defect library CNN in S3, we check if the pseudo PCB defects acquired by S10 are true defects, remove false defects and detect them. Improve accuracy. If it is a true defect, mark it. At the same time, it screens for defects that are not in the category, and if the true defect detected is a new type of defect, marks this new defect and adds it to the defect library. If it is a false defect, the PCB defect verification S14 and defect search matching S10 and defect level feature S3 connection step (3-14) that analyze the cause of the false defect and provide a reference for subsequent detection. ,including.

本発明の実施例によって提供された深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法は、PCB画像、標準PCB画像、および畳み込みニューラルネットワークを使用してPCB欠陥を検出し、PCB欠陥検出のツールを使用すると、組み立てプロセスの初期段階でエラーを見つけて排除でき、不良ボードを次の組み立て段階に送ることを回避すると同時に、修理コストを削減し、修理不可能な回路基板を廃棄することを回避する。畳み込みニューラルネットワークの使用には、高速、高精度、強力な一般化能力、および明確な構造という利点がある。 The deep learning-based two-dimensional PCB appearance defect real-time automatic detection method provided by the embodiments of the present invention uses PCB images, standard PCB images, and convolutional neural networks to detect PCB defects and detect PCB defects. Tools can be used to find and eliminate errors early in the assembly process, avoiding sending defective boards to the next assembly stage, while reducing repair costs and discarding irreparable circuit boards. To avoid. The use of convolutional neural networks has the advantages of high speed, high accuracy, strong generalization capabilities, and well-defined structure.

また、「第1」および「第2」という用語は目的の説明でのみ使用され、相対的な重要性を示したり暗示したり、示された技術的特徴の数を暗黙的に示したりするものとして理解することはできない。したがって、「第1」および「第2」で定義された特徴には、明示的または暗黙的に特徴の少なくとも1つが含まれる場合がある。本発明の説明において、「複数」は、特に明記しない限り、少なくとも2つ、例えば2つ、3つなどを意味する。 Also, the terms "first" and "second" are used only in the description of purpose to indicate or imply relative importance or implicitly indicate the number of technical features shown. Cannot be understood as. Therefore, the features defined in "first" and "second" may include at least one of the features, either explicitly or implicitly. In the description of the present invention, "plurality" means at least two, for example two or three, unless otherwise specified.

本明細書の説明において、「1つの実施例」、「いくつかの実施例」、「例」、「特定の例」、または「いくつかの例」などの用語に関する説明は、この実施例または例に関連して説明される特定の特徴、構造、材料または特性が、本発明の少なくとも1つの実施例または例に含まれることを意味する。本明細書では、上記の用語の模式的説明は、必ずしも同じ実施例または例を指すとは限らない。さらに、記載された特定の特徴、構造、材料または特性は、任意の1つまたは複数の実施例または例において適切な方法で組み合わせることができる。また、矛盾がない場合、当業者は、本明細書に記載されている異なる実施例または例および異なる実施例または例の特徴を結合して組み合わせることができる。 In the description herein, the description of terms such as "one example", "some examples", "examples", "specific examples", or "some examples" is in this example or It means that a particular feature, structure, material or property described in connection with an example is included in at least one embodiment or example of the invention. As used herein, the schematic description of the above terms does not necessarily refer to the same embodiment or example. In addition, the particular features, structures, materials or properties described can be combined in any one or more embodiments or examples in a suitable manner. Also, if there is no contradiction, one of ordinary skill in the art can combine and combine the different examples or examples described herein and the features of the different examples or examples.

本発明の実施例は上に示され、説明されてきたが、上記の実施例は例示であり、本発明を限定しない。当業者は、本発明の範囲内で、上記の実施例に変更、修正、置換、および変形を行うことができる。

Examples of the present invention have been shown and described above, but the above examples are exemplary and do not limit the invention. Those skilled in the art may modify, modify, replace, and modify the above embodiments within the scope of the present invention.

Claims (10)

深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法であって、
前記2次元PCB欠陥パッチ画像ライブラリは2種類に分類され、1つは2次元PCB欠陥パッチ及び対応する非欠陥標準PCBパッチ画像で構成されるデータペア画像ライブラリで、もう1つは単一の2次元PCB欠陥パッチのみを有するデータ画像ライブラリである、PCB欠陥パッチ画像ライブラリを介して、2次元PCB欠陥データペア画像ライブラリと2次元PCB欠陥単一データ画像ライブラリを含む2次元PCB欠陥パッチ画像ライブラリを構築する、及び2種類の2次元PCB欠陥パッチ画像ライブラリには、マーク、分類、および等級付けされたさまざまなPCB欠陥パッチ画像が含まれ、前記PCB欠陥パッチ画像にはマルチスケール画像が含まれる、2次元PCB欠陥パッチ画像ライブラリを構築するステップS1と、
CNN欠陥特徴トレーニングパッチを介して、前記2次元PCB欠陥パッチ画像ライブラリ内の各種類のPCB欠陥に対して、前記2次元PCB欠陥パッチ画像ライブラリ内の各種類のPCB欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングを行い、PCB欠陥カテゴリ特徴を抽出し、畳み込みニューラルネットワークを使用してトレーニングして、PCB欠陥カテゴリ特徴を抽出するステップS2と、
CNN欠陥レベル特徴トレーニングパッチを介して、前記2次元PCB欠陥パッチ画像ライブラリ内の各種類のPCB欠陥レベルに対して、畳み込みニューラルネットワークを使用してトレーニングを行い、PCB欠陥レベル特徴を抽出するステップS3と、
PCB画像抽出パッチを介して、2次元標準PCB画像及び2次元検出対象PCB画像を含む2次元PCB画像を抽出するステップS4と、
フィルタリングノイズ除去パッチを介して、前記2次元PCB画像のノイズ除去処理を実行するステップS5と、
画像レジストレーションパッチを介して前記2次元検出対象PCB画像を前記2次元標準PCB画像にレジストレーションを行うステップS6と、
画像グレー値比較パッチを介して、前記2次元標準PCB画像と前記2次元検出対象PCB画像のグレー値を比較および分析して、2次元PCB残差画像を取得するステップS7と、
画像セグメンテーション位置決めパッチを介して、前記2次元標準PCB画像、前記2次元検出対象PCB画像及び前記2次元PCB残差画像をセグメント化して位置決めして、複数の画像の画像パッチ及び対応する座標を取得するステップS8と、
残差フィルタリングパッチを介して、前記2次元PCB残差画像の画像パッチをフィルタリングし、レジストレーション及びその他の要因によって引き起こされる比較エラーを排除するステップS9と、
欠陥検索マッチングパッチは、畳み込みニューラルネットワークによってトレーニングされたPCB欠陥特徴を介して、複数の画像パッチで欠陥パッチを検索し、欠陥パッチマッチングを実行するステップS10と、
CNN欠陥識別パッチは、畳み込みニューラルネットワークを使用して、前記2次元検出対象PCB画像の欠陥を識別するステップS11と、
PCB欠陥分類パッチは、畳み込みニューラルネットワークによってトレーニングされたPCB欠陥カテゴリ特徴ペアを使用して、前記2次元検出対象PCB画像内のマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥パッチ画像ライブラリに追加するステップS12と、
PCB欠陥疑似パッチを介して、前記2次元検出対象PCB画像内の各種類の欠陥を疑似欠陥としてマークするステップS13と、
PCB欠陥検証パッチは、畳み込みニューラルネットワークによってトレーニングされたPCB欠陥レベル特徴と分類情報を通じて、疑似欠陥パッチの真偽性を判断し、欠陥が偽の欠陥である場合、対応する欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークするステップS14と、を含み、
前記ステップS2およびS3は、
前記2次元PCB欠陥パッチ画像ライブラリ内の各種類のPCB欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングを行い、PCB欠陥カテゴリ特徴を抽出することと、
前記2次元PCB欠陥パッチ画像ライブラリ内の各種類のPCB欠陥のレベルについては、畳み込みニューラルネットワークを使用してトレーニングを行い、PCB欠陥レベル特徴を抽出することと、をさらに含む
ことを特徴とする深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法。
A real-time automatic detection method for 2D PCB appearance defects based on deep learning.
The two-dimensional PCB defect patch image library is classified into two types, one is a data pair image library composed of a two-dimensional PCB defect patch and a corresponding non-defective standard PCB patch image, and the other is a single 2 A 2D PCB defect patch image library including a 2D PCB defect data pair image library and a 2D PCB defect single data image library via the PCB defect patch image library, which is a data image library with only dimensional PCB defect patches. The constructed and two types of two-dimensional PCB defect patch image libraries include various marked, classified, and graded PCB defect patch images, said PCB defect patch images including multi-scale images. Step S1 to build a 2D PCB defect patch image library,
A convolutional neural network for each type of PCB defect in the 2D PCB defect patch image library and for each type of PCB defect in the 2D PCB defect patch image library via the CNN defect feature training patch. Step S2 to extract PCB defect category features by training using, and training using a convolutional neural network to extract PCB defect category features.
Step S3 to extract PCB defect level features by training each type of PCB defect level in the 2D PCB defect patch image library using a convolutional neural network via the CNN defect level feature training patch. When,
Step S4 to extract a 2D standard PCB image and a 2D PCB image including a 2D detection target PCB image via a PCB image extraction patch.
Step S5 for executing the noise reduction processing of the two-dimensional PCB image via the filtering noise removal patch, and
Step S6 for registering the 2D detection target PCB image with the 2D standard PCB image via an image registration patch.
Step S7 to obtain a 2D PCB residual image by comparing and analyzing the gray values of the 2D standard PCB image and the 2D detection target PCB image via the image gray value comparison patch.
Through the image segmentation positioning patch, the 2D standard PCB image, the 2D detection target PCB image, and the 2D PCB residual image are segmented and positioned to acquire image patches and corresponding coordinates of a plurality of images. Step S8 and
Step S9, which filters the image patch of the 2D PCB residual image through the residual filtering patch to eliminate comparison errors caused by registration and other factors.
The defect search matching patch searches for defect patches in a plurality of image patches via PCB defect features trained by a convolutional neural network, and performs defect patch matching in step S10.
The CNN defect identification patch uses a convolutional neural network to identify defects in the two-dimensional detection target PCB image in step S11.
The PCB defect classification patch uses a PCB defect category feature pair trained by a convolutional neural network to classify the marked defects in the 2D detected PCB image and determine the defects that are not in the category. Step S12, which determines whether the defect is a fake defect or a defect in a new category, and adds the defect in the new category to the defect patch image library.
Step S13, which marks each type of defect in the two-dimensional detection target PCB image as a pseudo defect via the PCB defect pseudo patch, and
The PCB defect verification patch determines the authenticity of the pseudo-defect patch through PCB defect level features and classification information trained by a convolutional neural network, and if the defect is a false defect, removes the corresponding defect and makes it false. Includes step S14, which analyzes the cause of the defect and marks the defect record if the defect is a true defect.
The steps S2 and S3 are
Training and extracting PCB defect category features for each type of PCB defect in the 2D PCB defect patch image library using a convolutional neural network.
The level of each type of PCB defect in the 2D PCB defect patch image library is further trained using a convolutional neural network to extract PCB defect level features, and is characterized by further inclusion. A real-time automatic detection method for 2D PCB appearance defects based on learning.
S4において、PCB画像抽出パッチを介して抽出された2次元PCB画像には、2種類があり、1つは、2次元標準PCB画像と2次元検出対象PCB画像を抽出する方法で、もう1つは、2次元検出対象PCB画像のみを抽出する方法であり、
前記S4は、
標準PCBとの比較の検出方法とPCBハイブリッド検出方法では、2次元検出対象PCB画像及び対応する2次元標準PCB画像を抽出し、
標準ボード比較なしPCB検出方法では、2次元検出対象PCB画像のみを抽出することをさらに含む
請求項1に記載の深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法。
In S4, there are two types of 2D PCB images extracted via the PCB image extraction patch, one is a method of extracting a 2D standard PCB image and a 2D detection target PCB image, and the other is. Is a method of extracting only the PCB image to be detected in two dimensions.
The S4 is
In the detection method for comparison with the standard PCB and the PCB hybrid detection method, the two-dimensional detection target PCB image and the corresponding two-dimensional standard PCB image are extracted.
The real-time automatic detection method for two-dimensional PCB appearance defects based on deep learning according to claim 1, further comprising extracting only a two-dimensional detection target PCB image in the standard board comparison-less PCB detection method.
フィルタリングノイズ除去パッチは、前記2次元PCB画像に対してノイズ除去処理を行う前記S5において、
アルゴリズムを使用して、前記2次元標準PCB画像と前記2次元検出対象PCB画像のノイズを除去し、標準PCBとの比較の検出方法とPCBハイブリッド検出方法では、前記2次元標準PCB画像及び前記2次元検出対象PCB画像のノイズを除去し、画像のノイズを除去し、底板の色が画像に与える影響を修正し、標準PCB画像、検出対象PCB画像、および欠陥ライブラリの画像の底板の色を一致させることと、
標準ボード比較なしPCB検出方法では、前記2次元検出対象PCB画像のみをノイズ除去し、画像のノイズを除去し、底板の色が画像に与える影響を修正し、検出対象PCB画像、欠陥ライブラリの画像の底板の色を一致させることと、を含む
請求項2に記載の深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法。
The filtering noise removal patch is used in S5, which performs noise removal processing on the two-dimensional PCB image.
An algorithm is used to remove noise between the two-dimensional standard PCB image and the two-dimensional detection target PCB image, and in the detection method for comparison with the standard PCB and the PCB hybrid detection method, the two-dimensional standard PCB image and the above 2 Removes noise from dimensional detection target PCB images, removes image noise, corrects the effect of bottom plate color on images, and matches the bottom plate colors of standard PCB images, detection target PCB images, and defect library images. To let and
In the standard board comparison-less PCB detection method, only the two-dimensional detection target PCB image is noise-removed, the image noise is removed, the influence of the color of the bottom plate on the image is corrected, and the detection target PCB image and the image of the defect library are corrected. The method for real-time automatic detection of two-dimensional PCB appearance defects based on the deep learning according to claim 2, wherein the color of the bottom plate of the two-dimensional PCB is matched.
前記2次元標準PCB画像と前記2次元検出対象PCB画像に対して、レジストレーション、グレー値の比較、画像セグメンテーションを実行することは、さらに、
標準PCBとの比較の検出方法とPCBハイブリッド検出方法では、前記S6、S7及びS8は、
標準PCBとの比較の検出方法とPCBハイブリッド検出方法では、前記2次元標準PCB画像と前記2次元検出対象PCB画像に対してレジストレーションを行い、ノイズ除去処理後の2次元標準PCB画像に従って前記2次元検出対象PCB画像を修正し、前記2次元標準PCB画像と前記2次元検出対象PCB画像のグレー値を比較し、画像残差を計算して2次元PCB残差画像を取得することと、前記2次元標準PCB画像、前記2次元検出対象PCB画像、および前記2次元PCB残差画像をセグメント化して、複数の画像パッチ及び対応する座標を取得することと、
前記2次元標準PCB画像に対してレジストレーションを行い、前記2次元標準PCB画像に回転、変形、不均一な光、光の反射があるか否かを検出し、ある場合、アルゴリズムを使用して修正することと、
前記2次元検出対象PCB画像を処理済みの2次元標準PCB画像と比較し、位置、光、色が一致しているか否かを判断し、一致していない場合は、アルゴリズムを使用して、前記2次元検出対象PCB画像を修正することと、を含む
請求項3に記載の深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法。
Performing registration, gray value comparison, and image segmentation on the 2D standard PCB image and the 2D detection target PCB image can be further enhanced.
In the detection method for comparison with the standard PCB and the PCB hybrid detection method, the above S6, S7 and S8 are
In the detection method for comparison with the standard PCB and the PCB hybrid detection method, the 2D standard PCB image and the 2D detection target PCB image are registered, and the 2D standard PCB image after noise removal processing is performed. Modifying the dimensional detection target PCB image, comparing the gray values of the 2D standard PCB image and the 2D detection target PCB image, calculating the image residual, and acquiring the 2D PCB residual image. To segment a two-dimensional standard PCB image, the two-dimensional detection target PCB image, and the two-dimensional PCB residual image to acquire a plurality of image patches and corresponding coordinates.
Registration is performed on the 2D standard PCB image to detect whether the 2D standard PCB image has rotation, deformation, non-uniform light, or light reflection, and if so, an algorithm is used. To fix and
The 2D detection target PCB image is compared with the processed 2D standard PCB image to determine whether the position, light, and color match, and if not, an algorithm is used to perform the above. The method for real-time automatic detection of a two-dimensional PCB appearance defect based on the deep learning according to claim 3, wherein the two-dimensional detection target PCB image is modified.
非比較参照検出方法では、S8は、前記2次元検出対象PCB画像をセグメント化して、複数の画像パッチ及び対応する座標を取得することを含む
請求項3に記載の深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法。
In the non-comparative reference detection method, S8 segments the two-dimensional detection target PCB image to acquire a plurality of image patches and corresponding coordinates, and the two-dimensional PCB appearance based on the deep learning according to claim 3. Real-time automatic defect detection method.
前記S9において、前記2次元PCB残差画像の画像パッチをフィルタリングして比較エラーを排除し、前記2次元PCB残差画像に残差のない画像パッチを削除し、
前記S10及びS12は、
標準ボード比較なしPCB検出方法では、前記2次元PCB欠陥単一データ画像ライブラリを採用することと、
標準ボード比較なしPCB検出方法とPCBハイブリッド検出方法では、前記2次元PCB欠陥画像ライブラリと前記2次元PCB欠陥画像ライブラリの各種類のPCB欠陥に対して、畳み込みニューラルネットワークでトレーニングし、PCB欠陥特徴とPCB欠陥カテゴリ特徴を抽出することと、
ステップS10は、畳み込みニューラルネットワークによってトレーニングされたPCB欠陥特徴を介して、複数の画像パッチでPCB欠陥の検索と識別を実行し、単一の2次元PCB欠陥画像ライブラリ畳み込みニューラルネットワークを使用して、PCB欠陥カテゴリ特徴をトレーニングし、ステップS12は、前記2次元検出対象PCB画像にマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥画像ライブラリに追加することと、を含む
請求項5に記載の深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法。
In S9, the image patch of the 2D PCB residual image is filtered to eliminate the comparison error, and the image patch having no residual in the 2D PCB residual image is deleted.
The S10 and S12 are
In the standard board comparison-less PCB detection method, the above-mentioned two-dimensional PCB defect single data image library is adopted, and
In the standard board comparison-less PCB detection method and the PCB hybrid detection method, PCB defects of each type of the 2D PCB defect image library and the 2D PCB defect image library are trained by a convolutional neural network, and the PCB defect characteristics are used. Extracting PCB defect category features and
Step S10 performs search and identification of PCB defects in multiple image patches via PCB defect features trained by a convolutional neural network, using a single 2D PCB defect image library convolutional neural network. Training the PCB defect category features, step S12 classifies the defects marked in the two-dimensional detection target PCB image, determines defects that are not in the category, and whether they are false defects or defects in a new category. The method for real-time automatic detection of a two-dimensional PCB appearance defect based on the deep learning according to claim 5, wherein the defect is determined to exist and the defect of the new category is added to the defect image library.
標準PCBとの比較の検出方法とPCBハイブリッド検出方法では、それぞれ前記2次元PCB欠陥画像ライブラリ及び前記2次元PCB欠陥画像ライブラリの各種類のPCB欠陥に対して、畳み込みニューラルネットワークを使用してトレーニングして、PCB欠陥特徴及びPCB欠陥カテゴリ特徴を抽出し、ステップS11及びステップS12は、
2次元PCB欠陥パッチ及び対応する非欠陥標準PCBパッチ画像で構成される2次元PCB欠陥データペア画像ライブラリを採用し、ステップS11は、畳み込みニューラルネットワークによってトレーニングされたPCB欠陥特徴ペア、ステップS9は、残差画像に対して欠陥識別を実行し、2次元PCB欠陥画像ライブラリ畳み込みニューラルネットワークを使用して、PCB欠陥カテゴリ特徴ペアをトレーニングし、ステップS12は、前記2次元検出対象PCB画像にマークされた欠陥を分類し、カテゴリにない欠陥を判断し、それらが偽の欠陥であるか、新しいカテゴリの欠陥であるかを判断し、前記新しいカテゴリの欠陥を欠陥画像ライブラリに追加することをさらに含む
請求項5または6に記載の深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法。
In the detection method for comparison with standard PCB and the PCB hybrid detection method, PCB defects of each type of the 2D PCB defect image library and the 2D PCB defect image library are trained using a convolutional neural network, respectively. Then, the PCB defect feature and the PCB defect category feature are extracted, and steps S11 and S12 are performed.
Adopting a 2D PCB defect data pair image library composed of 2D PCB defect patches and corresponding non-defective standard PCB patch images, step S11 is a PCB defect feature pair trained by a convolutional neural network, step S9 is Defect identification was performed on the residual image and the PCB defect category feature pair was trained using the 2D PCB defect image library convolutional neural network, and step S12 was marked on the 2D detection target PCB image. Claims that further include classifying defects, determining defects that are not in the category, determining whether they are fake defects or defects in a new category, and adding the defects in the new category to the defect image library. The method for real-time automatic detection of two-dimensional PCB appearance defects based on the deep learning according to Item 5 or 6.
PCBハイブリッド検出方法では、ステップS12の後には、
畳み込みニューラルネットワークによってトレーニングされた前記2次元PCB欠陥画像ライブラリのPCB欠陥特徴を使用して、マークされた疑似欠陥パッチを検索してマッチングさせ、そのうちの偽の欠陥を削除し、識別精度を向上させることと、
ステップS13の後、畳み込みニューラルネットワークによってトレーニングされたPCB欠陥特徴を介して、前記欠陥画像で疑似欠陥を検索してマッチングさせることと、をさらに含む
請求項7に記載の深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法。
In the PCB hybrid detection method, after step S12,
The PCB defect features of the 2D PCB defect image library trained by the convolutional neural network are used to search for and match marked pseudo-defect patches, removing false defects and improving identification accuracy. That and
The two-dimensional PCB based on deep learning according to claim 7, further comprising searching for and matching pseudo-defects in the defect image via PCB defect features trained by a convolutional neural network after step S13. Real-time automatic detection method for appearance defects.
PCB欠陥検証では、ステップS3で畳み込みニューラルネットワークによってトレーニングされたPCB欠陥レベル特徴情報を通じてPCB欠陥の真偽性を判断し、欠陥が偽の欠陥である場合、この偽の欠陥を削除して偽の欠陥の原因を分析し、欠陥が真の欠陥である場合、欠陥レコードにマークする
請求項1または8に記載の深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法。
In the PCB defect verification, the authenticity of the PCB defect is determined through the PCB defect level feature information trained by the convolutional neural network in step S3, and if the defect is a false defect, this false defect is deleted and false. The method for real-time automatic detection of a two-dimensional PCB appearance defect based on deep learning according to claim 1 or 8, wherein the cause of the defect is analyzed and if the defect is a true defect, the defect is marked.
欠陥の検索と判断の過程で、欠陥を複数の識別の反復によって連続的に排除する
請求項1ないし9のいずれかに記載の深層学習に基づく2次元PCB外観欠陥のリアルタイム自動検出方法。

The method for real-time automatic detection of two-dimensional PCB appearance defects based on deep learning according to any one of claims 1 to 9, wherein defects are continuously eliminated by repeating a plurality of identifications in the process of searching and determining defects.

JP2021082647A 2020-05-15 2021-05-14 Real-time automatic detection method for 2D PCB appearance defects based on deep learning Active JP7347836B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010412967.6 2020-05-15
CN202010412967.6A CN111754456B (en) 2020-05-15 2020-05-15 Two-dimensional PCB appearance defect real-time automatic detection technology based on deep learning

Publications (2)

Publication Number Publication Date
JP2021180309A true JP2021180309A (en) 2021-11-18
JP7347836B2 JP7347836B2 (en) 2023-09-20

Family

ID=72674531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021082647A Active JP7347836B2 (en) 2020-05-15 2021-05-14 Real-time automatic detection method for 2D PCB appearance defects based on deep learning

Country Status (3)

Country Link
JP (1) JP7347836B2 (en)
CN (1) CN111754456B (en)
TW (1) TWI796681B (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494131A (en) * 2021-12-24 2022-05-13 深圳英博达智能科技有限公司 Method for detecting defects of salient points on ink surface of PCB
CN115035081A (en) * 2022-06-23 2022-09-09 西安交通大学 Metal internal defect danger source positioning method and system based on industrial CT
CN115239712A (en) * 2022-09-21 2022-10-25 季华实验室 Circuit board surface defect detection method and device, electronic equipment and storage medium
CN116168021A (en) * 2023-04-21 2023-05-26 中江立江电子有限公司 Fault part identification system and method
WO2023113138A1 (en) * 2021-12-13 2023-06-22 한국기계연구원 Element inspection method and element inspection device for performing same
CN117309873A (en) * 2023-09-04 2023-12-29 淮安特创科技有限公司 Efficient PCB appearance detection system and method
CN117455917A (en) * 2023-12-25 2024-01-26 深圳市睿阳精视科技有限公司 Establishment of false alarm library of etched lead frame and false alarm on-line judging and screening method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113838015B (en) * 2021-09-15 2023-09-22 上海电器科学研究所(集团)有限公司 Electrical product appearance defect detection method based on network cooperation
CN114216915B (en) * 2021-12-15 2024-03-29 江门市浩远科技有限公司 Method for detecting and classifying class levels based on stains and defect types of circuit board
CN117078674B (en) * 2023-10-14 2024-01-05 中电鹏程智能装备有限公司 Intelligent PCBA appearance defect detection method and detection system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109916906A (en) * 2018-10-11 2019-06-21 乐人株式会社 Defect detecting device and method
CN109959661A (en) * 2017-12-25 2019-07-02 由田新技股份有限公司 Automatic optical detection method, equipment and its deep learning system
CN110455822A (en) * 2019-07-10 2019-11-15 苏州卓融新能源科技有限公司 A kind of detection method of pcb board defect

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910353B (en) * 2019-11-06 2022-06-10 成都数之联科技股份有限公司 Industrial false failure detection method and system
CN111103307A (en) * 2019-11-19 2020-05-05 佛山市南海区广工大数控装备协同创新研究院 Pcb defect detection method based on deep learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109959661A (en) * 2017-12-25 2019-07-02 由田新技股份有限公司 Automatic optical detection method, equipment and its deep learning system
CN109916906A (en) * 2018-10-11 2019-06-21 乐人株式会社 Defect detecting device and method
CN110455822A (en) * 2019-07-10 2019-11-15 苏州卓融新能源科技有限公司 A kind of detection method of pcb board defect

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023113138A1 (en) * 2021-12-13 2023-06-22 한국기계연구원 Element inspection method and element inspection device for performing same
CN114494131A (en) * 2021-12-24 2022-05-13 深圳英博达智能科技有限公司 Method for detecting defects of salient points on ink surface of PCB
CN115035081A (en) * 2022-06-23 2022-09-09 西安交通大学 Metal internal defect danger source positioning method and system based on industrial CT
CN115035081B (en) * 2022-06-23 2024-03-01 西安交通大学 Industrial CT-based metal internal defect dangerous source positioning method and system
CN115239712A (en) * 2022-09-21 2022-10-25 季华实验室 Circuit board surface defect detection method and device, electronic equipment and storage medium
CN116168021A (en) * 2023-04-21 2023-05-26 中江立江电子有限公司 Fault part identification system and method
CN116168021B (en) * 2023-04-21 2023-08-29 中江立江电子有限公司 Fault part identification system and method
CN117309873A (en) * 2023-09-04 2023-12-29 淮安特创科技有限公司 Efficient PCB appearance detection system and method
CN117455917A (en) * 2023-12-25 2024-01-26 深圳市睿阳精视科技有限公司 Establishment of false alarm library of etched lead frame and false alarm on-line judging and screening method
CN117455917B (en) * 2023-12-25 2024-03-26 深圳市睿阳精视科技有限公司 Establishment of false alarm library of etched lead frame and false alarm on-line judging and screening method

Also Published As

Publication number Publication date
CN111754456B (en) 2022-10-14
TW202144766A (en) 2021-12-01
CN111754456A (en) 2020-10-09
JP7347836B2 (en) 2023-09-20
TWI796681B (en) 2023-03-21

Similar Documents

Publication Publication Date Title
JP7347836B2 (en) Real-time automatic detection method for 2D PCB appearance defects based on deep learning
JP6598162B2 (en) Visual identification method of multi-type BGA chip based on linear clustering
CN115601364B (en) Golden finger circuit board detection method based on image analysis
Chaudhary et al. Automatic visual inspection of printed circuit board for defect detection and classification
Hassanin et al. A real-time approach for automatic defect detection from PCBs based on SURF features and morphological operations
CN109190623B (en) Method for identifying brand and model of projector
CN113706490B (en) Wafer defect detection method
CN115880520A (en) Defect grade classification method and system based on template matching and defect segmentation
CN115100191A (en) Metal casting defect identification method based on industrial detection
CN115082466A (en) PCB surface welding spot defect detection method and system
CN116468728B (en) Production quality detection method for hardware stamping part die
CN113850749A (en) Method for training defect detector
CN116168218A (en) Circuit board fault diagnosis method based on image recognition technology
KR101782364B1 (en) Vision inspection method based on learning data
WO2014103617A1 (en) Alignment device, defect inspection device, alignment method, and control program
CN114387230A (en) PCB defect detection method based on re-verification detection
CN115131596A (en) Defect classification device, method, and program
CN117689646A (en) High-precision defect detection method, system and medium for positive and negative sample fusion
CN112581447A (en) FPC (flexible printed circuit) flexible board line detection method based on global defects and local defects
CN111460198B (en) Picture timestamp auditing method and device
CN116664540A (en) Rubber sealing ring surface defect detection method based on Gaussian line detection
CN114627113B (en) Method, system, device and medium for detecting defects of printed circuit board
US20230342937A1 (en) Vehicle image analysis
JP2005250786A (en) Image recognition method
CN113780488A (en) Scratching and scratching defect detection method based on position polymerization degree

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230831

R150 Certificate of patent or registration of utility model

Ref document number: 7347836

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150