CN113781419A - 一种柔性pcb板缺陷检测方法、视觉系统、装置及介质 - Google Patents
一种柔性pcb板缺陷检测方法、视觉系统、装置及介质 Download PDFInfo
- Publication number
- CN113781419A CN113781419A CN202111009373.1A CN202111009373A CN113781419A CN 113781419 A CN113781419 A CN 113781419A CN 202111009373 A CN202111009373 A CN 202111009373A CN 113781419 A CN113781419 A CN 113781419A
- Authority
- CN
- China
- Prior art keywords
- image
- pcb
- flexible pcb
- model
- regularization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 65
- 238000001514 detection method Methods 0.000 title claims description 22
- 230000000007 visual effect Effects 0.000 title abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000003708 edge detection Methods 0.000 claims description 9
- 238000013467 fragmentation Methods 0.000 claims description 9
- 238000006062 fragmentation reaction Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000001678 irradiating effect Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 8
- 230000001133 acceleration Effects 0.000 abstract description 3
- 238000012423 maintenance Methods 0.000 abstract description 3
- 230000002950 deficient Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 239000004642 Polyimide Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000011889 copper foil Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 229920001721 polyimide Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000011265 semifinished product Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
本发明提供的一种柔性PCB板缺陷检测方法、视觉系统、装置及介质，方法包括获取若干拍摄角度下的PCB板，得到第一PCB板图像；通过自适应保真项与黎曼流形正则化模型对第一PCB板图像进行图像复原处理，得到第二PCB板图像；将第二PCB板图像与柔性PCB板模板进行配准，根据配准结果进行特征比对确定PCB板缺陷；方法可准确描述图像采集过程中速和、加速度不为零情况下的几何形变，克服图像各个部分服从统一先验的弊端，实现图像细节结构特征的保持，进而实现高进度、高速率的缺陷样品识别；并且智能化的流程能够节省一定的人力成本，因此可广泛应用于图像处理技术领域。
Description
技术领域
本发明涉及图像处理技术领域，尤其是一种柔性PCB板缺陷检测方法、视觉系统、装置及介质。
背景技术
柔性印刷电路板(Flexible Printed Circuit，FPC)，一般以聚酰亚胺作为底板，在其表面附着铜箔作为导体的印刷电路，具有优良的电气特性。与传统的PCB相比较，FPC具有极高的挠曲性，让其天然适合于三维空间的电路互连。在满足高度可靠的前提下，FPC可以节省大量的安装控件，让电子设备变得更轻薄短小，同时具备散热性好，易于安装等特点。在设备轻薄化、智能化的今天，来自手机、平板电脑和智能硬件等市场的强大推动，FPC的需求不断上升，此外，在航天航空，医疗电子等高端电子产品中，FPC的需求也越来越大。
相关技术中，利用自动光学检测系统(Automatic Optical Inspection，AOI)对柔性PCB板生产过程的成品或者半成品进行检测，能及时地找出有缺陷的产品，这样不仅节省大量的生产材料，而且对生产效率也是有很大提高。
但现有的柔性PCB板缺陷检测方案存在着下述的缺陷：
其一，现有的检测系统采集到的柔性PCB板图像细节弯曲、翘起等几何形变无法很好的进行描述；
其二，目前应用于工业检测上判别缺陷PCB板对缺陷样品采取统一处理，没有对应高精度和速度系统对缺陷样品进行分类，后续需要人工进行分类处理，智能化程度低，成本高；
其三，现有模型及求解方法多集中于单一噪声，对柔性PCB板图像并不适用，难以满足工业检测的精度和速度需求。
发明内容
有鉴于此，为至少部分解决上述技术问题之一，本发明实施例目的在于提供一种更为智能化、能够更准确地识别柔性PCB板缺陷的检测方法，以及能够对应实现该方法的视觉系统、装置以及存储介质。
第一方面，本申请的技术方案提供了一种柔性PCB板缺陷检测方法，其步骤包括：
获取若干拍摄角度下的PCB板，得到第一PCB板图像；
通过自适应保真项与黎曼流形正则化模型对所述第一PCB板图像进行图像复原处理，得到第二PCB板图像；
将所述第二PCB板图像与柔性PCB板模板进行配准，根据配准结果进行特征比对确定所述PCB板缺陷。
在本申请方案的一种可行的实施例中，所述通过自适应保真项与黎曼流形正则化模型对所述第一PCB板图像进行图像复原处理，得到第二PCB板图像这一步骤，其包括：
根据第一PCB板图像中的所述噪声数据，建立图像空间内的噪声自适应保真项模型；
根据所述图像空间与微分空间的约束条件，确定所述微分空间中噪声自适应保真项的等效模型；
根据所述等效模型得到所述自适应保真项。
在本申请方案的一种可行的实施例中，所述通过自适应保真项与黎曼流形正则化模型对所述第一PCB板图像进行图像复原处理，得到第二PCB板图像这一步骤，其还包括：
将所述第一PCB板图像的微分流形划分得到若干基本特征块将所述基本特征块进行聚类得到分片常数图像块聚类和细节特征图像块聚类；
根据所述分片常数图像块聚类以及所述细节特征图像块聚类构建得到黎曼流形正则化模型。
在本申请方案的一种可行的实施例中，所述根据所述分片常数图像块聚类以及所述细节特征图像块聚类构建得到黎曼流形正则化模型这一步骤，其还包括：
根据所述分片常数图像块聚类确定流形正则化约束，根据所述细节特征图像块聚类确定正则项的度量；
根据所述流形正则化约束、所述正则项的度量以及正则项系数构建所述黎曼流形正则化模型。
在本申请方案的一种可行的实施例中，所述将所述第二PCB板图像与柔性PCB板模板进行配准，根据配准结果进行特征比对确定所述PCB板缺陷这一步骤，其包括：
通过边缘检测提取得到所述柔性PCB板模板的第一边缘图像，通过边缘检测提取得到所述第二PCB板图像的第二边缘图像；
根据所述第一边缘图像与所述第二边缘图像的灰度值相似度进行配准。
在本申请方案的一种可行的实施例中，在所述获取若干拍摄角度下的PCB板，得到第一PCB板图像这一步骤之前，还包括：
通过漫反射方式辐照所述PCB板；
将所述若干拍摄角度之间的间隔设置为90度。
第二方面，本发明的技术方案还提供一种柔性PCB板缺陷检测系统，其包括：
数据采集模块，用于获取若干拍摄角度下的PCB板，得到第一PCB板图像；
图像预处理模块，用于通过自适应保真项与黎曼流形正则化模型对所述第一PCB板图像进行图像复原处理，得到第二PCB板图像；
图像配准模块，用于将所述第二PCB板图像与柔性PCB板模板进行配准；
缺陷检测模块，用于根据配准结果进行特征比对确定所述PCB板缺陷；
知识库管理模块，用于存储所述第一PCB板图像、所述第一PCB板图像以及所述第一PCB板图像。
在本申请方案的一种可行的实施例中，系统中所述数据采集模块包括环形光源和摄像机，所述环形光源设置在所述摄像机上；
所述摄像机之间的间隔为90度：
所述环形光源用于通过漫反射方式辐照所述PCB板。
第三方面，本发明的技术方案还提供一种柔性PCB板缺陷检测装置，其包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当至少一个程序被至少一个处理器执行，使得至少一个处理器运行第一方面中任意一种柔性PCB板缺陷检测方法。
第四方面，本发明的技术方案还提供了一种存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于运行第一方面中的方法。
本发明的优点和有益效果将在下面的描述中部分给出，其他部分可以通过本发明的具体实施方式了解得到：
本申请技术方案采用群智能优化算法进行精确分类，从而在流形上获得更精确的图像先验知识描述，建立起基于群智能的流形正则化图像复原模型；该模型可准确描述图像采集过程中速和加速度不为零情况下的几何形变，克服图像各个部分服从统一先验的弊端，实现图像细节结构特征的保持，进而实现高进度、高速率的缺陷样品识别；智能化的流程能够节省一定的人力成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种柔性PCB板缺陷检测视觉系统的结构示意图；
图2为本发明实施例中图像数据采集过程的示意图；
图3为本发明实施例提供的一种柔性PCB板缺陷检测方法的步骤流程图；
图4为本发明实施例中确定自适应保真项与黎曼流形正则化模型的步骤流程图；
图5为本发明实施例进行图像配准并根据配准结果进行特征比对确定所述PCB板缺陷的步骤流程图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
自动光学检测系统必须通过提高摄像机的分辨率才能完整的获取流水线上的样品图像，从而获取柔性PCB板更完整的信息。但是在获取的图像分辨率越高，信息越完备的情况下，会导致对样品图像处理消耗大量时间。大量的数据进行存储、运输、计算等，会使工作时间巨大增加，同时为了配合高精度检测需要对应的图像复原算法才能很好的保证检测效率，如何在满足高精度的检测效果的同时又能保证检测系统的实时性成为了工业生产中亟需解决的问题。
针对所指出的现有技术中所存在的缺陷，如图1所示，一方面，本申请的技术方案提供了一种柔性PCB板缺陷检测的视觉系统，该系统主要包括：数据采集模块、图像预处理模块、缺陷检测模块以及知识库管理模块；
数据采集模块，用于获取若干拍摄角度下的PCB板，得到第一PCB板图像；具体地，数据采集模块柔性可以包括PCB板置于载物平台以及4方位摄像头拍摄机，可以获取多方位的柔性PCB板图像数据，并采集有缺陷柔性PCB板图像数据以及待检测柔性PCB板图像数据。
图像预处理模块，用于通过自适应保真项与黎曼流形正则化模型对第一PCB板图像进行图像复原处理，得到第二PCB板图像；具体地，图像预处理模块对4个方位采集到的柔性PCB板图像数据采用自适应保真项与黎曼流形正则化模型进行图像复原处理。
图像配准模块，用于将第二PCB板图像与柔性PCB板模板进行配准；图像配准模块将待检测柔性PCB板图像与标准柔性PCB板图像进行配准，确定两者之间的对应关系，使之对应的部分具有可比性。
缺陷检测模块，用于根据配准结果进行特征比对确定PCB板缺陷；该模块提取待检测柔性PCB板图像特征，并与知识库内标准柔性PCB板图像对应特征进行比较,判断待检测芯片是否有缺陷及缺陷的类型。
知识库管理模块，用于存储第一PCB板图像、第一PCB板图像以及第一PCB板图像；该模块存储数据采集模块采集的标准柔性PCB板图像数据、有缺陷柔性PCB板图像数据、待检测柔性PCB板图像数据，供视觉系统中的其它模块调用。
此外，本实施例的视觉系统还可以包括系统交互界面，用于获取用户信息或者将识别检测结果进行可视化显示，提供人机交互的渠道。
如图2所示，在一些可选择的实施例中，数据采集模块包括环形光源和摄像机，环形光源设置在摄像机上；摄像机之间的间隔为90度：环形光源用于通过漫反射方式辐照PCB板。具体地，4个摄像头以每90度相间隔放置，保证能获取全方位的信息，采用环形光源，借助漫反射方式照亮区域，可以突出显示柔性PCB板边缘与高度变换，突出原本难以看见的部分方便后面进行边缘检测。
另一方面，如图3所示，本申请的技术方案提供了的一种柔性PCB板缺陷检测方法，其主要步骤可以包括S100-S300：
S100、获取若干拍摄角度下的PCB板，得到第一PCB板图像；
其中，第一PCB板图像为通过图像采集装置例如摄像机获取得到的柔性PCB板的图像数据，即待检测的PCB板图像数据。具体地，实施例中，通过视觉系统数据采集模块采集标准柔性PCB板置于载物平台，开启4方位摄像机获取柔性PCB板的图像数据，并采集有缺陷的柔性PCB板图像数据以及待检测柔性PCB板数据，存储在知识库管理模块中。
S200、通过自适应保真项与黎曼流形正则化模型对第一PCB板图像进行图像复原处理，得到第二PCB板图像；
其中，第二PCB板图像为进行复原处理之后得到清晰的PCB板图像；本实施例采用黎曼流形正则化图像复原模型与微分空间内的噪声自适应保真项模型作为图像复原的目标函数模型。具体地，实施例结合集成柔性PCB板的成像特点，从微分空间对提升图像复原成功率的有效性出发，针对图像细节特征在流形上的不同表征，通过对微分空间内的噪声自适应流形正则化图像复原模型及求解算法，采用基于几何特征分类的黎曼流形正则化图像复原模型与微分空间内的噪声自适应保真项模型；根据噪声自适应保真项模型去待检测的PCB板图像数据中的噪声，并通过黎曼流形正则化模型进行正则化处理以得到目标清晰的图像。
S300、将第二PCB板图像与柔性PCB板模板进行配准，根据配准结果进行特征比对确定PCB板缺陷；
具体地，柔性PCB板模板为知识库管理模块中存储的标准柔性PCB图像以及有缺陷的PCB板图像数据。实施例中，首先通过图像配准模块将待检测的柔性PCB板图像与标准柔性PCB板图像或有缺陷的PCB板图像数据进行配准，找出待检测图像与柔性PCB板模板之间的对应关系，使二者对应的部分具有可比性，初步确定待检测柔性PCB板图像为标准柔性PCB板即不存在缺陷的样品或是存在缺陷的样品；再通过缺陷检测模块提取待检测的柔性PCB板的图像特征，并与知识库内芯片标准柔性PCB板图像对应特征或者有缺陷的PCB板图像数据的图像特征进行比较，判断待检测芯片是否有缺陷并确定缺陷的具体类型。可以理解的是，知识库管理模块中所存储的标准柔性PCB图像以及有缺陷的PCB板图像数据均为历史数据，在历史数据中确定有缺陷的图像数据作为柔性PCB板模板的过程中，需要进行去除噪音等预处理，并同样通过与确定没有缺陷的标准柔性PCB图像进行配准，并提取得到相应的缺陷图像特征，确定该缺陷的图像数据中的缺陷类型，然后，将该缺陷的图像数据作为该缺陷类型的柔性PCB板模板。
如图4所示，在一些可选择的实施例中，方法中通过自适应保真项与黎曼流形正则化模型对第一PCB板图像进行图像复原处理，得到第二PCB板图像这一步骤S200，其可以包括步骤S210-S230：
S210、根据第一PCB板图像中的噪声数据，建立图像空间内的噪声自适应保真项模型；
具体地，实施例的视觉系统在采集以及储存过程中会混入高斯噪声以及泊松噪声。所以针对高斯-泊松混合噪声，实施例结合高斯噪声和对应噪声的统计特性，依据协方差矩阵和微分空间的性质，可以确定图像空间与微分空间相关联的等式约束条件，进而在微分空间中建立噪声自适应保真项的等效模型。
示例性地，实施例中所建立图像空间内的噪声自适应保真项模型如公式(1)所示，能够有效地解决单一保真项只能去除确定性单一噪声的弊端：
在公式(1)中，
为噪声自适应的保真项范数模型，可以依据不同的噪声类型自适应选择参数p的值。
S220、根据图像空间与微分空间的约束条件，确定微分空间中噪声自适应保真项的等效模型；
S230、根据等效模型得到自适应保真项；
具体地，实施例依据协方差矩阵和微分空间的性质，确定图像空间与微分空间相关联的等式约束条件，进而在微分空间中建立噪声自适应保真项的等效模型。该数据保真项模型的目的是针对不同的噪声统计特性自适应选择保真项模型解决图像空间中泊松噪声数据保真项非利普希茨(Lipschitz)连续带来的求解困难。
示例性地，以单纯的高斯噪声为例，其中微分空间的等式约束条件：
通过协方差矩阵的定义与独立同分布条件可得到：
从而建立起图像空间中数据保真项在微分空间中的等效形式。
如图4所示，在一些可选择的实施例中，方法中通过自适应保真项与黎曼流形正则化模型对第一PCB板图像进行图像复原处理，得到第二PCB板图像这一步骤S200，其还包括步骤S240-S250：
S240、将第一PCB板图像的微分流形划分得到若干基本特征块将基本特征块进行聚类得到分片常数图像块聚类和细节特征图像块聚类；
具体地，实施例基于柔性PCB图像特点本模型首先采用Frenet标架下切空间的法向量来标定空间曲线几何不变量(例如曲率、挠率)在欧氏变换下的性质，并利用高斯曲率度量曲面的弯曲程度，作为图像块分片光滑或者细节明显的局部几何特征分类标准。在图像微分流形中，将图像的局部几何特征作为基本特征块，采用高斯曲率等工具对特征块进行有效标识。然后采用粒子群随机搜索算法对特征块进行训练分类，分别获得分片常数图像块和细节特征明显的图像块聚类。
S250、根据分片常数图像块聚类以及细节特征图像块聚类构建得到黎曼流形正则化模型；
具体地，在实施例中，根据步骤S240获得的分片常数图像块和细节特征明显的图像块聚类，进而在微分流形上进行精确定位；依据不同特征块聚类在流形上的定位进而确定有效的流形特征描述。
如图4所示，在一些可选择的实施例中，根据分片常数图像块聚类以及细节特征图像块聚类构建得到黎曼流形正则化模型这一步骤S250还可以包括步骤S251和步骤S252：
S251、根据分片常数图像块聚类确定流形正则化约束，根据细节特征图像块聚类确定正则项的度量；
S252、根据流形正则化约束、正则项的度量以及正则项系数构建黎曼流形正则化模型；
具体地，实施例中一方面，把分片光滑的图像块聚类看成是嵌入在特定高维空间里的黎曼流形，将嵌入流形面积的度量Nambu泛函作为该聚类的流形正则化约束；另一方面，对细节特征明显的图像块聚类则采用解耦梯度的能量泛函作为正则化项的度量，以保持细节清晰。综合以上约束，我们将分成分片光滑的正则项和细节明显的正则项然后利用正则化参数自适应调整策略，调整黎曼流形正则化模型的分片光滑正则项系数λ1和细节明显正则项系数λ2；实施例中，黎曼流形正则化模型的计算公式如下：
如图5所示，在一些可选择的实施例中，方法中将第二PCB板图像与柔性PCB板模板进行配准，根据配准结果进行特征比对确定PCB板缺陷这一步骤S300，可以包括步骤S310-S320：
S310、通过边缘检测提取得到柔性PCB板模板的第一边缘图像，通过边缘检测提取得到第二PCB板图像的第二边缘图像；
S320、根据第一边缘图像与第二边缘图像的灰度值相似度进行配准；
具体地，首先利用Canny算子边缘检测，根据采集图案与知识库中图像的边缘图像中各部分的相似度进行判断，采用基于灰度值的模板匹配算法，即通过计算目标图像与知识库中图像之间灰度值的差值的平方和(Sum of Squared Difference,SSD)来实现,即通过计算两个图像(目标图像与标准图像)之间像素的差异程度：
在公式(4)中，x大小为采集的M×N目标图像，y为知识库中图像，即柔性PCB板模板，通过计算目标图像与标准图像之间差值的平方和，当ssd值越小，匹配的程度就会越高。
通过缺陷检测模块提取待检测柔性PCB板的图像特征，并与知识库内芯片标准柔性PCB板图像对应特征进行比较,判断待检测芯片是否有缺陷及缺陷的类型。应当理解的是，在实施例中可以加入人工交互复查的过程，以确保缺陷识别结果的准确性。
在一些可选择的实施例中，在获取若干拍摄角度下的PCB板，得到第一PCB板图像这一步骤之前，需要控制照明装置通过漫反射方式辐照PCB板；并将若干拍摄角度之间的间隔设置为90度。
具体地，4个摄像头以每90度相间隔放置，保证能获取全方位的信息，采用环形光源，借助漫反射方式照亮区域，可以突出显示柔性PCB板边缘与高度变换，突出原本难以看见的部分方便后面进行边缘检测。
第三方面，本申请的技术方案还提供一种柔性PCB板缺陷检测装置，其包括至少一个处理器；至少一个存储器，用于存储至少一个程序；当至少一个程序被至少一个处理器执行，使得至少一个处理器运行如第二方面中的一种柔性PCB板缺陷检测方法。
本发明实施例还提供了一种存储介质内存储有程序，程序被处理器执行，实现如第一方面中的方法。
从上述具体的实施过程，可以总结出，本发明所提供的技术方案相较于现有技术存在以下优点或优势：
1、本申请技术方案能够实现不同噪声类型对数据保真项的自适应选择；同时利用微分空间对于图像梯度细节特征的刻画来提升图像复原质量。
2、本申请技术方案采用群智能优化算法进行精确分类，从而在流形上获得更精确的图像先验知识描述，建立起基于群智能的流形正则化图像复原模型。该模型可准确描述图像采集系统速度、加速度不为零情况下的几何形变，克服图像各个部分服从统一先验的弊端，实现图像细节结构特征的保持。
3、本申请技术方案采用知识库管理缺陷样品信息以及标准样品信息，并且边识别样品的同时边学习缺陷样品的信息，能大量减少人工判别时间。
4、本申请技术方案采用4方位摄像头可以获取柔性PCB板的样品的多方面信息，为后期判断是否缺陷以及缺陷类型做好信息准备。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于对技术提供更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可以作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种柔性PCB板缺陷检测方法，其特征在于，包括以下步骤：
获取若干拍摄角度下的PCB板，得到第一PCB板图像；
通过自适应保真项与黎曼流形正则化模型对所述第一PCB板图像进行图像复原处理，得到第二PCB板图像；
将所述第二PCB板图像与柔性PCB板模板进行配准，根据配准结果进行特征比对确定所述PCB板缺陷。
2.根据权利要求1所述的一种柔性PCB板缺陷检测方法，其特征在于，所述通过自适应保真项与黎曼流形正则化模型对所述第一PCB板图像进行图像复原处理，得到第二PCB板图像这一步骤，其包括：
根据第一PCB板图像中的噪声数据，建立图像空间内的噪声自适应保真项模型；
根据所述图像空间与微分空间的约束条件，确定所述微分空间中噪声自适应保真项的等效模型；
根据所述等效模型得到所述自适应保真项。
3.根据权利要求1所述的一种柔性PCB板缺陷检测方法，其特征在于，所述通过自适应保真项与黎曼流形正则化模型对所述第一PCB板图像进行图像复原处理，得到第二PCB板图像这一步骤，其还包括：
将所述第一PCB板图像的微分流形划分得到若干基本特征块，将所述基本特征块进行聚类得到分片常数图像块聚类和细节特征图像块聚类；
根据所述分片常数图像块聚类以及所述细节特征图像块聚类构建得到黎曼流形正则化模型。
4.根据权利要求3所述的一种柔性PCB板缺陷检测方法，其特征在于，所述根据所述分片常数图像块聚类以及所述细节特征图像块聚类构建得到黎曼流形正则化模型这一步骤，其还包括：
根据所述分片常数图像块聚类确定流形正则化约束，根据所述细节特征图像块聚类确定正则项的度量；
根据所述流形正则化约束、所述正则项的度量以及正则项系数构建所述黎曼流形正则化模型。
5.根据权利要求1-4任一项所述的一种柔性PCB板缺陷检测方法，其特征在于，所述将所述第二PCB板图像与柔性PCB板模板进行配准，根据配准结果进行特征比对确定所述PCB板缺陷这一步骤，其包括：
通过边缘检测提取得到所述柔性PCB板模板的第一边缘图像，通过边缘检测提取得到所述第二PCB板图像的第二边缘图像；
根据所述第一边缘图像与所述第二边缘图像的灰度值相似度进行配准。
6.根据权利要求1-4任一项所述的一种柔性PCB板缺陷检测方法，其特征在于，在所述获取若干拍摄角度下的PCB板，得到第一PCB板图像这一步骤之前，还包括：
通过漫反射方式辐照所述PCB板；
将所述若干拍摄角度之间的间隔设置为90度。
7.一种柔性PCB板缺陷检测的视觉系统，其特征在于，包括：
数据采集模块，用于获取若干拍摄角度下的PCB板，得到第一PCB板图像；
图像预处理模块，用于通过自适应保真项与黎曼流形正则化模型对所述第一PCB板图像进行图像复原处理，得到第二PCB板图像；
图像配准模块，用于将所述第二PCB板图像与柔性PCB板模板进行配准；
缺陷检测模块，用于根据配准结果进行特征比对确定所述PCB板缺陷；
知识库管理模块，用于存储所述第一PCB板图像、所述第一PCB板图像以及所述第一PCB板图像。
8.根据权利要求7所述的一种柔性PCB板缺陷检测的视觉系统，其特征在于，所述数据采集模块包括环形光源和摄像机，所述环形光源设置在所述摄像机上；
所述摄像机之间的间隔为90度：
所述环形光源用于通过漫反射方式辐照所述PCB板。
9.一种柔性PCB板缺陷检测装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器运行如权利要求1-6任一项所述的一种柔性PCB板缺陷检测方法。
10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于运行如权利要求1-6中任一项所述的一种柔性PCB板缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111009373.1A CN113781419B (zh) | 2021-08-31 | 2021-08-31 | 一种柔性pcb板缺陷检测方法、视觉系统、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111009373.1A CN113781419B (zh) | 2021-08-31 | 2021-08-31 | 一种柔性pcb板缺陷检测方法、视觉系统、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113781419A true CN113781419A (zh) | 2021-12-10 |
| CN113781419B CN113781419B (zh) | 2024-07-12 |
Family
ID=78840146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111009373.1A Active CN113781419B (zh) | 2021-08-31 | 2021-08-31 | 一种柔性pcb板缺陷检测方法、视觉系统、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113781419B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309440A (zh) * | 2023-03-15 | 2023-06-23 | 信利光电股份有限公司 | 一种aoi检测用模板图像的制作方法和装置 |
| CN117147570A (zh) * | 2023-10-30 | 2023-12-01 | 深圳硬之城信息技术有限公司 | 基于机器视觉的制造控制方法、装置、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150287223A1 (en) * | 2014-04-04 | 2015-10-08 | The Board Of Trustees Of The University Of Illinois | Highly accelerated imaging and image reconstruction using adaptive sparsifying transforms |
| CN105551005A (zh) * | 2015-12-30 | 2016-05-04 | 南京信息工程大学 | 耦合了梯度保真项的总变差模型快速图像复原方法 |
| CN206248567U (zh) * | 2016-12-07 | 2017-06-13 | 扬州华盟电子有限公司 | 一种基于图像处理的柔性线路板缺陷检测装置 |
| CN106897994A (zh) * | 2017-01-20 | 2017-06-27 | 北京京仪仪器仪表研究总院有限公司 | 一种基于分层图像的pcb板缺陷检测系统和方法 |
| CN107464228A (zh) * | 2017-08-24 | 2017-12-12 | 深圳市唯特视科技有限公司 | 一种基于自适应正则化的图像分析方法 |
| CN107610049A (zh) * | 2017-08-21 | 2018-01-19 | 华侨大学 | 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法 |
| CN108982512A (zh) * | 2018-06-28 | 2018-12-11 | 芜湖新尚捷智能信息科技有限公司 | 一种基于机器视觉的电路板检测系统及其方法 |
| CN111951182A (zh) * | 2020-07-14 | 2020-11-17 | 浙江工业大学 | 基于流形加权非局部曲率正则化的高光谱图像修复方法 |
| CN212722680U (zh) * | 2020-09-21 | 2021-03-16 | 深圳市凤舞科技有限公司 | 一种手机电子零部件检测用可定位矫正的尺寸检测设备 |
-
2021
- 2021-08-31 CN CN202111009373.1A patent/CN113781419B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150287223A1 (en) * | 2014-04-04 | 2015-10-08 | The Board Of Trustees Of The University Of Illinois | Highly accelerated imaging and image reconstruction using adaptive sparsifying transforms |
| CN105551005A (zh) * | 2015-12-30 | 2016-05-04 | 南京信息工程大学 | 耦合了梯度保真项的总变差模型快速图像复原方法 |
| CN206248567U (zh) * | 2016-12-07 | 2017-06-13 | 扬州华盟电子有限公司 | 一种基于图像处理的柔性线路板缺陷检测装置 |
| CN106897994A (zh) * | 2017-01-20 | 2017-06-27 | 北京京仪仪器仪表研究总院有限公司 | 一种基于分层图像的pcb板缺陷检测系统和方法 |
| CN107610049A (zh) * | 2017-08-21 | 2018-01-19 | 华侨大学 | 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法 |
| CN107464228A (zh) * | 2017-08-24 | 2017-12-12 | 深圳市唯特视科技有限公司 | 一种基于自适应正则化的图像分析方法 |
| CN108982512A (zh) * | 2018-06-28 | 2018-12-11 | 芜湖新尚捷智能信息科技有限公司 | 一种基于机器视觉的电路板检测系统及其方法 |
| CN111951182A (zh) * | 2020-07-14 | 2020-11-17 | 浙江工业大学 | 基于流形加权非局部曲率正则化的高光谱图像修复方法 |
| CN212722680U (zh) * | 2020-09-21 | 2021-03-16 | 深圳市凤舞科技有限公司 | 一种手机电子零部件检测用可定位矫正的尺寸检测设备 |
Non-Patent Citations (7)
| Title |
|---|
| DONGWEI REN等: "Fast total-variation based image restoration based on derivative alternated direction optimization methods", 《NEUROCOMPUTING》, vol. 170, 15 June 2015 (2015-06-15), pages 201 - 204 * |
| 乔少华: "一种自适应超分辨率图像重建方法", 《中国知网学位论文》, 15 January 2018 (2018-01-15), pages 13 - 29 * |
| 乔少华: "一种自适应超分辨率图像重建方法", 《中国知网学位论文》, pages 25 - 29 * |
| 于欣妍等: "基于微分流形的图像复原方法", 《北京交通大学学报》, vol. 39, no. 5, 31 October 2015 (2015-10-31), pages 2 * |
| 于欣妍等: "基于微分流形的图像复原方法", 《北京交通大学学报》, vol. 39, no. 5, pages 2 * |
| 张宜生等: "基于图象比对技术的柔性印刷电路板检测系统", 《计算机工程与应用》, 31 January 2005 (2005-01-31), pages 2 - 3 * |
| 张宜生等: "基于图象比对技术的柔性印刷电路板检测系统", 《计算机工程与应用》, pages 2 - 3 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309440A (zh) * | 2023-03-15 | 2023-06-23 | 信利光电股份有限公司 | 一种aoi检测用模板图像的制作方法和装置 |
| CN116309440B (zh) * | 2023-03-15 | 2023-10-13 | 信利光电股份有限公司 | 一种aoi检测用模板图像的制作方法和装置 |
| CN117147570A (zh) * | 2023-10-30 | 2023-12-01 | 深圳硬之城信息技术有限公司 | 基于机器视觉的制造控制方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113781419B (zh) | 2024-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN107085846B (zh) | 工件表面缺陷图像识别方法 | |
| CN111815564B (zh) | 一种检测丝锭的方法、装置及丝锭分拣系统 | |
| CN109615609A (zh) | 一种基于深度学习的焊点瑕疵检测方法 | |
| CN115861291B (zh) | 基于机器视觉的贴片电路板生产缺陷检测方法 | |
| CN113781419B (zh) | 一种柔性pcb板缺陷检测方法、视觉系统、装置及介质 | |
| CN108520514B (zh) | 基于计算机视觉的印刷电路板电子元器一致性检测方法 | |
| CN112053318A (zh) | 基于深度学习的二维pcb缺陷实时自动检测与分类装置 | |
| CN107895362B (zh) | 一种微型接线端子质量检测的机器视觉方法 | |
| CN110473184A (zh) | 一种pcb板缺陷检测方法 | |
| CN110533654A (zh) | 零部件的异常检测方法及装置 | |
| CN117237646B (zh) | 基于图像分割的pet高温阻燃胶带瑕疵提取方法及系统 | |
| CN116342597B (zh) | 一种汽车配件表面电镀加工缺陷检测方法和系统 | |
| CN116152242B (zh) | 一种篮球用天然皮革缺陷可视化检测系统 | |
| Said et al. | Robust automatic void detection in solder balls | |
| Said et al. | Automated detection and classification of non-wet solder joints | |
| CN117190866B (zh) | 多个堆叠电子元器件的极性判别检测方法、装置和设备 | |
| CN118115496B (zh) | 晶圆缺陷检测方法及装置 | |
| CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
| CN116958052A (zh) | 一种基于yolo和注意力机制的印刷电路板缺陷检测方法 | |
| CN118096739A (zh) | 一种基于图像处理的金属锻件表面缺陷检测方法 | |
| CN117274216B (zh) | 基于水平集分割的超声下颈动脉斑块检测方法及系统 | |
| CN114331961A (zh) | 用于对象的缺陷检测的方法 | |
| CN112763496A (zh) | 一种手机电池表面缺陷检测装置及其检测方法 | |
| CN113406112B (zh) | 透明基板薄膜的瑕疵检测方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |