CN116075148B - 一种基于人工智能的pcba板生产线智能监管系统 - Google Patents

一种基于人工智能的pcba板生产线智能监管系统 Download PDF

Info

Publication number
CN116075148B
CN116075148B CN202310237947.3A CN202310237947A CN116075148B CN 116075148 B CN116075148 B CN 116075148B CN 202310237947 A CN202310237947 A CN 202310237947A CN 116075148 B CN116075148 B CN 116075148B
Authority
CN
China
Prior art keywords
value
undetected
standard
pixel
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310237947.3A
Other languages
English (en)
Other versions
CN116075148A (zh
Inventor
孙斌
陈妙波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yijing Intelligent Terminal Co ltd
Original Assignee
Sichuan Yijing Intelligent Terminal Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yijing Intelligent Terminal Co ltd filed Critical Sichuan Yijing Intelligent Terminal Co ltd
Priority to CN202310237947.3A priority Critical patent/CN116075148B/zh
Publication of CN116075148A publication Critical patent/CN116075148A/zh
Application granted granted Critical
Publication of CN116075148B publication Critical patent/CN116075148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0817—Monitoring of soldering processes
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K3/00—Apparatus or processes for manufacturing printed circuits
    • H05K3/30—Assembling printed circuits with electric components, e.g. with resistor
    • H05K3/32—Assembling printed circuits with electric components, e.g. with resistor electrically connecting electric components or wires to printed circuits
    • H05K3/34—Assembling printed circuits with electric components, e.g. with resistor electrically connecting electric components or wires to printed circuits by soldering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Operations Research (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于人工智能的PCBA板生产线智能监管系统，本发明通过在每一安装焊接环节设置一部图像采集设备，则每一部图像采集设备采集的图像为同一生产线不同阶段得到的产品图像，通过对比正在生产的PCBA板对应的未检产品图像与标准产品图像，从而可以确定该阶段是否存在安装焊接缺陷，在判断出安装焊接缺陷时，可将对应的未装备完成的PCBA板及时取走，相比于现有PCBA板的监管系统通过对装备完成的PCBA板进行缺陷区域的识别，本发明系统能在每一个安装焊接环节识别安装焊接缺陷，减少电子元件的浪费。

Description

一种基于人工智能的PCBA板生产线智能监管系统
技术领域
本发明涉及生产线智能监管系统技术领域，具体而言，涉及一种基于人工智能的PCBA板生产线智能监管系统。
背景技术
PCBA为通过SMT贴片方式和DIP打孔方式安装了各种电子元件的电路板。将印制电路板PCB放置在生产线上，由各个机械臂为其焊接和安装电子元件，所有电子元件安装完成后，得到电路板PCBA。
现有PCBA板的监管系统通过采集安装和焊接完成后的电路板PCBA图像，采用神经网络模型对安装和焊接完成后的电路板PCBA图像进行识别，找到缺陷区域，从而确定该电路板PCBA存在缺陷，质量不合格。但是这种现有PCBA板的监管系统存在监管不及时的问题，在安装和焊接完成后，质量不合格的电路板PCBA已经将所有电子元件装配完，大量电子元件已经浪费。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于人工智能的PCBA板生产线智能监管系统解决了现有PCBA板的监管系统存在监管不及时的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于人工智能的PCBA板生产线智能监管系统，包括：图像采集设备和差异率计算子系统；
所述图像采集设备布置在PCBA板生产线的每一个安装焊接环节，用于采集每一个安装焊接环节生产的PCBA板对应的标准产品图像，以及用于采集每一个安装焊接环节正在生产的PCBA板的未检产品图像；
所述差异率计算子系统用于基于图像识别，计算每一个安装焊接环节拍摄的未检产品图像与对应安装焊接环节的标准产品图像的差异率，在差异率大于阈值时，对应安装焊接环节存在安装焊接缺陷。
进一步地，所述差异率计算子系统包括：颜色矫正单元、灰度处理单元、图像剪裁单元、轮廓提取单元、差异率计算单元和诊断比较单元；
所述颜色矫正单元用于根据标准产品图像，对未检产品图像进行颜色矫正，得到矫正产品图像；
所述灰度处理单元用于对矫正产品图像和标准产品图像分别灰度化处理，得到未检灰度图和标准灰度图；
所述图像剪裁单元用于根据每一安装焊接环节所增加的图像区域的位置范围，分别对未检灰度图和标准灰度图进行剪裁，得到每一安装焊接环节的未检区域灰度图和标准区域灰度图；
所述轮廓提取单元用于分别对未检区域灰度图和标准区域灰度图提取轮廓，得到未检轮廓图和标准轮廓图；
所述差异率计算单元用于分别提取未检轮廓图和标准轮廓图的特征，并计算差异率；
所述诊断比较单元用于在差异率大于阈值时，判断出对应安装焊接环节存在安装焊接缺陷。
上述进一步地方案的有益效果为：通过颜色矫正单元使得未检产品图像刨除环境光线影响导致的成像色差，统一标准产品图像和未检产品图像的光线环境，在矫正后，分别对矫正产品图像和标准产品图像灰度化处理，由于每一安装焊接环节的安装和焊接的部件是固定的，在成像时，每一安装焊接环节的安装和焊接的部件在图像的区域也是固定的，因此，剪裁后得到每一安装焊接环节对应的区域图像，便于直接对比每一安装焊接环节的未检区域灰度图和标准区域灰度图两者的差距，找到对应环节的问题，同时也能减少计算数据量。
进一步地，所述颜色矫正单元包括：第一RGB值提取子单元、第二RGB值提取子单元和颜色矫正子单元；
所述第一RGB值提取子单元用于提取标准产品图像上多个像素点的RGB值；
所述第二RGB值提取子单元用于提取未检产品图像上同位置像素点的RGB值；
所述颜色矫正子单元用于根据从标准产品图像上提取的RGB值和未检产品图像上提取的RGB值，对未检产品图像进行颜色矫正，得到矫正产品图像。
进一步地，所述对未检产品图像进行颜色矫正的公式为：
Figure SMS_1
Figure SMS_2
Figure SMS_3
其中，
Figure SMS_18
为矫正产品图像上第/>
Figure SMS_20
个像素点的R通道值，/>
Figure SMS_23
为矫正产品图像上第/>
Figure SMS_6
个像素点的G通道值，/>
Figure SMS_12
为矫正产品图像上第/>
Figure SMS_15
个像素点的B通道值，/>
Figure SMS_21
为未检产品图像上第
Figure SMS_13
个像素点的R通道值，/>
Figure SMS_17
为未检产品图像上第/>
Figure SMS_22
个像素点的G通道值，/>
Figure SMS_26
为未检产品图像上第/>
Figure SMS_24
个像素点的B通道值，/>
Figure SMS_25
为标准产品图像上取的第/>
Figure SMS_27
个位置像素点的R通道值，/>
Figure SMS_28
为标准产品图像上取的第/>
Figure SMS_5
个位置像素点的G通道值，/>
Figure SMS_8
为标准产品图像上取的第/>
Figure SMS_10
个位置像素点的B通道值，/>
Figure SMS_14
为未检产品图像上取的第/>
Figure SMS_4
个位置像素点的R通道值，/>
Figure SMS_11
为未检产品图像上取的第/>
Figure SMS_16
个位置像素点的G通道值，/>
Figure SMS_19
为未检产品图像上取的第/>
Figure SMS_7
个位置像素点的B通道值，/>
Figure SMS_9
为从标准产品图像或未检产品图像上取的像素点数量。
上述进一步地方案的有益效果为：取标准产品图像上多个像素点的RGB值和未检产品图像上同位置像素点的RGB值，将同位置的RGB值的比值作为图像矫正系数，根据图像矫正系数，对未检产品图像上全部像素点的RGB值进行颜色矫正。
进一步地，所述灰度化处理的公式为：
Figure SMS_29
，
Figure SMS_30
，/>
Figure SMS_31
，/>
Figure SMS_32
，
其中，
Figure SMS_41
为灰度图上第/>
Figure SMS_47
个像素点的灰度值，/>
Figure SMS_49
为原图像上的第/>
Figure SMS_35
个像素点的R通道均值，/>
Figure SMS_40
为原图像上第/>
Figure SMS_44
个像素点的G通道均值，/>
Figure SMS_52
为原图像上的第/>
Figure SMS_36
个像素点的B通道均值，/>
Figure SMS_38
为原图像上第/>
Figure SMS_39
个像素点的R通道值，/>
Figure SMS_42
为原图像上第/>
Figure SMS_45
个像素点邻域的第/>
Figure SMS_48
个像素点的R通道值，/>
Figure SMS_51
为原图像上第/>
Figure SMS_53
个像素点的G通道值，/>
Figure SMS_50
为原图像上第/>
Figure SMS_54
个像素点邻域的第/>
Figure SMS_55
个像素点的G通道值，/>
Figure SMS_56
为原图像上第/>
Figure SMS_33
个像素点的B通道值，/>
Figure SMS_37
为原图像上第/>
Figure SMS_43
个像素点邻域的第/>
Figure SMS_46
个像素点的B通道值，所述原图像为矫正产品图像或标准产品图像，/>
Figure SMS_34
为邻域像素点数量。
上述进一步地方案的有益效果为：根据各通道均值在总通道均值的占比对图像进行灰度化处理，在灰度化处理的同时，为了解决噪点的影响，以该像素点以及邻域的RGB值作为该像素点RGB值，在该像素点的邻域内的其他像素点与该像素点存在较大差值时，该像素点为噪点，因此，以该像素点以及邻域的RGB值作为该像素点RGB值进行灰度化处理，得到灰度图，在灰度化的同时进行了滤波。
进一步地，所述差异率计算单元包括：第一差异值计算子单元、第二差异值计算子单元和差异率计算子单元；
所述第一差异值计算单元用于采用特征提取模型分别对未检轮廓图和标准轮廓图进行特征提取，得到未检特征和标准特征，并基于未检特征和标准特征，计算第一差异值；
所述第二差异值计算单元用于分别根据未检轮廓图和标准轮廓图上像素点的位置分布，计算第二差异值；
所述差异率计算子单元用于根据第一差异值和第二差异值，计算差异率。
上述进一步地方案的有益效果为：本发明通过特征提取模型提取两幅图像的特征值，计算得到第一差异值，再通过两幅图像上像素点的位置分布，计算得到第二差异值，综合第一差异值和第二差异值，计算差异率，提高对比精度。
进一步地，所述特征提取模型包括：第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4、第一BN层BN1、第二BN层BN2、第三BN层BN3、第四BN层BN4、最大池化层Maxpool、Concat层和sigmod层；
所述第一卷积层Conv1的输入端作为特征提取模型的输入端，用于输入未检轮廓图或标准轮廓图；所述第一卷积层Conv1的输出端分别与第一BN层BN1的输入端、第三卷积层Conv3的输入端、第二卷积层Conv2的输入端和最大池化层Maxpool的输入端连接；所述第三卷积层Conv3的输出端与第二BN层BN2的输入端连接；所述第二卷积层Conv2的输出端与第三BN层BN3的输入端连接；所述Concat层的输入端分别与第一BN层BN1的输出端、第二BN层BN2的输出端、第三BN层BN3的输出端和最大池化层Maxpool的输出端连接，其输出端与第四卷积层Conv4的输入端连接；所述第四BN层BN4的输入端与第四卷积层Conv4的输出端连接，其输出端与sigmod层的输入端连接；所述sigmod层的输出端作为特征提取模型的输出端。
进一步地，所述计算第一差异值的公式为：
Figure SMS_57
其中，/>
Figure SMS_60
为第一差异值，
Figure SMS_63
为标准特征中的第/>
Figure SMS_59
个特征值，/>
Figure SMS_62
为未检特征中的第/>
Figure SMS_66
个特征值，max为求序列中的最大值，| |为绝对值运算，/>
Figure SMS_68
为特征值的数量，/>
Figure SMS_58
为标准特征中的第1个特征值，/>
Figure SMS_65
为未检特征中的第1个特征值，/>
Figure SMS_67
为标准特征中的第/>
Figure SMS_69
个特征值，/>
Figure SMS_61
为未检特征中的第/>
Figure SMS_64
个特征值。
上述进一步地方案的有益效果为：通过逐一比对两种特征值的差值，并将所有差值叠加，得到总的差值，找到序列中最大差值，最大差值反应其缺陷程度，使得差异情况能明显分级。
进一步地，所述第二差异值计算单元计算第二差异值的具体内容包括：将未检轮廓图划分为多个区块，得到多个未检区块，将标准轮廓图按与未检轮廓图的相同划分方式划分为多个区块，得到多个标准区块，根据未检区块和标准区块中像素点的位置分布，计算第二差异值；
所述计算第二差异值的公式为：
Figure SMS_87
其中，/>
Figure SMS_91
为第二差异值，/>
Figure SMS_94
为第/>
Figure SMS_71
个标准区块中第/>
Figure SMS_74
个像素点的横坐标，/>
Figure SMS_79
为第/>
Figure SMS_84
个标准区块中第/>
Figure SMS_88
个像素点的纵坐标，/>
Figure SMS_89
为第/>
Figure SMS_93
个未检区块中第/>
Figure SMS_96
个像素点的横坐标，/>
Figure SMS_86
为第/>
Figure SMS_90
个未检区块中第
Figure SMS_92
个像素点的纵坐标，/>
Figure SMS_95
为标准区块中像素点的数量，/>
Figure SMS_70
为未检区块中像素点的数量，/>
Figure SMS_75
为标准区块或未检区块的数量，/>
Figure SMS_78
为取/>
Figure SMS_85
和/>
Figure SMS_73
中较小者，/>
Figure SMS_76
为第/>
Figure SMS_80
个标准区块中第/>
Figure SMS_83
个像素点的灰度值，/>
Figure SMS_72
为第/>
Figure SMS_77
个未检区块中第/>
Figure SMS_81
个像素点的灰度值，/>
Figure SMS_82
为反正切函数。
上述进一步地方案的有益效果为：将未检轮廓图和标准轮廓图按相同方式划分为多个区块，计算同一位置的区块上像素点坐标分布的差值，由于轮廓线可能存在折叠，因此单独以像素点坐标分布的差值无法全面体现轮廓的区别，因此，通过依次取角度的差值来体现轮廓的区别，由于轮廓的不同，其像素点数量可能存在差异，因此，取
Figure SMS_97
和/>
Figure SMS_98
中较小者/>
Figure SMS_99
，同时，由于不同物体成像时灰度值不同，因此，在对比角度和坐标分布的情况下，还考虑了灰度值，结合角度、坐标和灰度值来计算两张图像的差异。
进一步地，所述差异率的计算公式为：
Figure SMS_100
其中，/>
Figure SMS_101
为差异率，/>
Figure SMS_102
为第一差异值，/>
Figure SMS_103
为第二差异值，/>
Figure SMS_104
为归一化系数。
本发明实施例的技术方案至少具有如下优点和有益效果：本发明通过在每一安装焊接环节设置一部图像采集设备，则每一部图像采集设备采集的图像为同一生产线不同阶段得到的产品图像，通过对比正在生产的PCBA板对应的未检产品图像与标准产品图像，从而可以确定该阶段是否存在安装焊接缺陷，在判断出安装焊接缺陷时，可将对应的未装备完成的PCBA板及时取走，相比于现有PCBA板的监管系统通过对装备完成的PCBA板进行缺陷区域的识别，本发明系统能在每一个安装焊接环节识别安装焊接缺陷，减少电子元件的浪费。
附图说明
图1为一种基于人工智能的PCBA板生产线智能监管系统的系统框图；
图2为特征提取模型的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
如图1所示，一种基于人工智能的PCBA板生产线智能监管系统，包括：图像采集设备和差异率计算子系统；
所述图像采集设备布置在PCBA板生产线的每一个安装焊接环节，用于采集每一个安装焊接环节生产的PCBA板对应的标准产品图像，以及用于采集每一个安装焊接环节正在生产的PCBA板的未检产品图像；
所述差异率计算子系统用于基于图像识别，计算每一个安装焊接环节拍摄的未检产品图像与对应安装焊接环节的标准产品图像的差异率，在差异率大于阈值时，对应安装焊接环节存在安装焊接缺陷。
在本实施例中，同一安装焊接环节的图像采集设备在拍摄标准产品图像和未检产品图像时，所设置的拍摄参数一致（即相机参数一致）。
所述差异率计算子系统包括：颜色矫正单元、灰度处理单元、图像剪裁单元、轮廓提取单元、差异率计算单元和诊断比较单元；
所述颜色矫正单元用于根据标准产品图像，对未检产品图像进行颜色矫正，得到矫正产品图像；
所述灰度处理单元用于对矫正产品图像和标准产品图像分别灰度化处理，得到未检灰度图和标准灰度图；
所述图像剪裁单元用于根据每一安装焊接环节所增加的图像区域的位置范围，分别对未检灰度图和标准灰度图进行剪裁，得到每一安装焊接环节的未检区域灰度图和标准区域灰度图；
所述轮廓提取单元用于分别对未检区域灰度图和标准区域灰度图提取轮廓，得到未检轮廓图和标准轮廓图；
所述差异率计算单元用于分别提取未检轮廓图和标准轮廓图的特征，并计算差异率；
所述诊断比较单元用于在差异率大于阈值时，判断出对应安装焊接环节存在安装焊接缺陷。
本发明通过颜色矫正单元使得未检产品图像刨除环境光线影响导致的成像色差，统一标准产品图像和未检产品图像的光线环境，在矫正后，分别对矫正产品图像和标准产品图像灰度化处理，由于每一安装焊接环节的安装和焊接的部件是固定的，在成像时，每一安装焊接环节的安装和焊接的部件在图像的区域也是固定的，因此，剪裁后得到每一安装焊接环节对应的区域图像，便于直接对比每一安装焊接环节的未检区域灰度图和标准区域灰度图两者的差距，找到对应环节的问题。
所述颜色矫正单元包括：第一RGB值提取子单元、第二RGB值提取子单元和颜色矫正子单元；
所述第一RGB值提取子单元用于提取标准产品图像上多个像素点的RGB值；
所述第二RGB值提取子单元用于提取未检产品图像上同位置像素点的RGB值；
所述颜色矫正子单元用于根据从标准产品图像上提取的RGB值和未检产品图像上提取的RGB值，对未检产品图像进行颜色矫正，得到矫正产品图像。
所述对未检产品图像进行颜色矫正的公式为：
Figure SMS_105
Figure SMS_106
Figure SMS_107
其中，
Figure SMS_111
为矫正产品图像上第/>
Figure SMS_113
个像素点的R通道值，/>
Figure SMS_117
为矫正产品图像上第/>
Figure SMS_109
个像素点的G通道值，/>
Figure SMS_112
为矫正产品图像上第/>
Figure SMS_116
个像素点的B通道值，/>
Figure SMS_121
为未检产品图像上第
Figure SMS_110
个像素点的R通道值，/>
Figure SMS_114
为未检产品图像上第/>
Figure SMS_118
个像素点的G通道值，/>
Figure SMS_123
为未检产品图像上第/>
Figure SMS_126
个像素点的B通道值，/>
Figure SMS_128
为标准产品图像上取的第/>
Figure SMS_130
个位置像素点的R通道值，/>
Figure SMS_132
为标准产品图像上取的第/>
Figure SMS_125
个位置像素点的G通道值，/>
Figure SMS_127
为标准产品图像上取的第/>
Figure SMS_129
个位置像素点的B通道值，/>
Figure SMS_131
为未检产品图像上取的第/>
Figure SMS_108
个位置像素点的R通道值，/>
Figure SMS_115
为未检产品图像上取的第/>
Figure SMS_119
个位置像素点的G通道值，/>
Figure SMS_124
为未检产品图像上取的第/>
Figure SMS_120
个位置像素点的B通道值，/>
Figure SMS_122
为从标准产品图像或未检产品图像上取的像素点数量。
取标准产品图像上多个像素点的RGB值和未检产品图像上同位置像素点的RGB值，将同位置的RGB值的比值作为图像矫正系数，根据图像矫正系数，对未检产品图像上全部像素点的RGB值进行颜色矫正。
所述灰度化处理的公式为：
Figure SMS_133
,
Figure SMS_134
，/>
Figure SMS_135
，/>
Figure SMS_136
，
其中，
Figure SMS_154
为灰度图上第/>
Figure SMS_157
个像素点的灰度值，/>
Figure SMS_159
为原图像上的第/>
Figure SMS_140
个像素点的R通道均值，/>
Figure SMS_142
为原图像上第/>
Figure SMS_147
个像素点的G通道均值，/>
Figure SMS_149
为原图像上的第/>
Figure SMS_144
个像素点的B通道均值，/>
Figure SMS_148
为原图像上第/>
Figure SMS_150
个像素点的R通道值，/>
Figure SMS_153
为原图像上第/>
Figure SMS_155
个像素点邻域的第/>
Figure SMS_156
个像素点的R通道值，/>
Figure SMS_158
为原图像上第/>
Figure SMS_160
个像素点的G通道值，/>
Figure SMS_139
为原图像上第/>
Figure SMS_143
个像素点邻域的第/>
Figure SMS_146
个像素点的G通道值，/>
Figure SMS_152
为原图像上第/>
Figure SMS_137
个像素点的B通道值，/>
Figure SMS_141
为原图像上第/>
Figure SMS_145
个像素点邻域的第/>
Figure SMS_151
个像素点的B通道值，所述原图像为矫正产品图像或标准产品图像，/>
Figure SMS_138
为邻域像素点数量。
根据各通道均值在总通道均值的占比对图像进行灰度化处理，在灰度化处理的同时，为了解决噪点的影响，以该像素点以及邻域的RGB值作为该像素点RGB值，在该像素点的邻域内的其他像素点与该像素点存在较大差值时，该像素点为噪点，因此，以该像素点以及邻域的RGB值作为该像素点RGB值进行灰度化处理，得到灰度图，在灰度化的同时进行了滤波。
所述差异率计算单元包括：第一差异值计算子单元、第二差异值计算子单元和差异率计算子单元；
所述第一差异值计算单元用于采用特征提取模型分别对未检轮廓图和标准轮廓图进行特征提取，得到未检特征和标准特征，并基于未检特征和标准特征，计算第一差异值；
所述第二差异值计算单元用于分别根据未检轮廓图和标准轮廓图上像素点的位置分布，计算第二差异值；
所述差异率计算子单元用于根据第一差异值和第二差异值，计算差异率。
本发明通过特征提取模型提取两幅图像的特征值，计算得到第一差异值，再通过两幅图像上像素点的位置分布，计算得到第二差异值，综合第一差异值和第二差异值，计算差异率，提高对比精度。
如图2所示，所述特征提取模型包括：第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4、第一BN层BN1、第二BN层BN2、第三BN层BN3、第四BN层BN4、最大池化层Maxpool、Concat层和sigmod层；
所述第一卷积层Conv1的输入端作为特征提取模型的输入端，用于输入未检轮廓图或标准轮廓图；所述第一卷积层Conv1的输出端分别与第一BN层BN1的输入端、第三卷积层Conv3的输入端、第二卷积层Conv2的输入端和最大池化层Maxpool的输入端连接；所述第三卷积层Conv3的输出端与第二BN层BN2的输入端连接；所述第二卷积层Conv2的输出端与第三BN层BN3的输入端连接；所述Concat层的输入端分别与第一BN层BN1的输出端、第二BN层BN2的输出端、第三BN层BN3的输出端和最大池化层Maxpool的输出端连接，其输出端与第四卷积层Conv4的输入端连接；所述第四BN层BN4的输入端与第四卷积层Conv4的输出端连接，其输出端与sigmod层的输入端连接；所述sigmod层的输出端作为特征提取模型的输出端。
在本实施例中，特征提取模型还可采用CNN、LSTM等神经网络。
所述计算第一差异值的公式为：
Figure SMS_161
其中，/>
Figure SMS_168
为第一差异值，
Figure SMS_171
为标准特征中的第/>
Figure SMS_163
个特征值，/>
Figure SMS_166
为未检特征中的第/>
Figure SMS_169
个特征值，max为求序列中的最大值，| |为绝对值运算，/>
Figure SMS_172
为特征值的数量，/>
Figure SMS_162
为标准特征中的第1个特征值，/>
Figure SMS_165
为未检特征中的第1个特征值，/>
Figure SMS_170
为标准特征中的第/>
Figure SMS_173
个特征值，/>
Figure SMS_164
为未检特征中的第/>
Figure SMS_167
个特征值。
本发明通过逐一比对两种特征值的差值，并将所有差值叠加，得到总的差值，找到序列中最大差值，最大差值反应其缺陷程度，使得差异情况能明显分级。
所述第二差异值计算单元计算第二差异值的具体内容包括：将未检轮廓图划分为多个区块，得到多个未检区块，将标准轮廓图按与未检轮廓图的相同划分方式划分为多个区块，得到多个标准区块，根据未检区块和标准区块中像素点的位置分布，计算第二差异值；
所述计算第二差异值的公式为：
Figure SMS_190
其中，/>
Figure SMS_194
为第二差异值，/>
Figure SMS_198
为第
Figure SMS_174
个标准区块中第/>
Figure SMS_178
个像素点的横坐标，/>
Figure SMS_182
为第/>
Figure SMS_186
个标准区块中第/>
Figure SMS_176
个像素点的纵坐标，/>
Figure SMS_179
为第/>
Figure SMS_184
个未检区块中第/>
Figure SMS_187
个像素点的横坐标，/>
Figure SMS_177
为第/>
Figure SMS_181
个未检区块中第/>
Figure SMS_183
个像素点的纵坐标，/>
Figure SMS_188
为标准区块中像素点的数量，/>
Figure SMS_192
为未检区块中像素点的数量，/>
Figure SMS_196
为标准区块或未检区块的数量，/>
Figure SMS_199
为取/>
Figure SMS_200
和/>
Figure SMS_175
中较小者，/>
Figure SMS_180
为第/>
Figure SMS_185
个标准区块中第
Figure SMS_189
个像素点的灰度值，/>
Figure SMS_191
为第/>
Figure SMS_193
个未检区块中第/>
Figure SMS_195
个像素点的灰度值，/>
Figure SMS_197
为反正切函数。
本发明将未检轮廓图和标准轮廓图按相同方式划分为多个区块，计算同一位置的区块上像素点坐标分布的差值，由于轮廓线可能存在折叠，因此单独以像素点坐标分布的差值无法全面体现轮廓的区别，因此，通过依次取角度的差值来体现轮廓的区别，由于轮廓的不同，其像素点数量可能存在差异，因此，取
Figure SMS_201
和/>
Figure SMS_202
中较小者/>
Figure SMS_203
，同时，由于不同物体成像时灰度值不同，因此，在对比角度和坐标分布的情况下，还考虑了灰度值，结合角度、坐标和灰度值来计算两张图像的差异。
所述差异率的计算公式为：
Figure SMS_204
其中，/>
Figure SMS_205
为差异率，/>
Figure SMS_206
为第一差异值，/>
Figure SMS_207
为第二差异值，/>
Figure SMS_208
为归一化系数。
本发明实施例的技术方案至少具有如下优点和有益效果：本发明通过在每一安装焊接环节设置一部图像采集设备，则每一部图像采集设备采集的图像为同一生产线不同阶段得到的产品图像，通过对比正在生产的PCBA板对应的未检产品图像与标准产品图像，从而可以确定该阶段是否存在安装焊接缺陷，在判断出安装焊接缺陷时，可将对应的未装备完成的PCBA板及时取走，相比于现有PCBA板的监管系统通过对装备完成的PCBA板进行缺陷区域的识别，本发明系统能在每一个安装焊接环节识别安装焊接缺陷，减少电子元件的浪费。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于人工智能的PCBA板生产线智能监管系统，其特征在于，包括：图像采集设备和差异率计算子系统；
所述图像采集设备布置在PCBA板生产线的每一个安装焊接环节，用于采集每一个安装焊接环节生产的PCBA板对应的标准产品图像，以及用于采集每一个安装焊接环节正在生产的PCBA板的未检产品图像；
所述差异率计算子系统用于基于图像识别，计算每一个安装焊接环节拍摄的未检产品图像与对应安装焊接环节的标准产品图像的差异率，在差异率大于阈值时，对应安装焊接环节存在安装焊接缺陷；
所述差异率计算子系统包括：颜色矫正单元、灰度处理单元、图像剪裁单元、轮廓提取单元、差异率计算单元和诊断比较单元；
所述颜色矫正单元用于根据标准产品图像，对未检产品图像进行颜色矫正，得到矫正产品图像；
所述灰度处理单元用于对矫正产品图像和标准产品图像分别灰度化处理，得到未检灰度图和标准灰度图；
所述图像剪裁单元用于根据每一安装焊接环节所增加的图像区域的位置范围，分别对未检灰度图和标准灰度图进行剪裁，得到每一安装焊接环节的未检区域灰度图和标准区域灰度图；
所述轮廓提取单元用于分别对未检区域灰度图和标准区域灰度图提取轮廓，得到未检轮廓图和标准轮廓图；
所述差异率计算单元用于分别提取未检轮廓图和标准轮廓图的特征，并计算差异率；
所述诊断比较单元用于在差异率大于阈值时，判断出对应安装焊接环节存在安装焊接缺陷；
所述差异率计算单元包括：第一差异值计算子单元、第二差异值计算子单元和差异率计算子单元；
所述第一差异值计算单元用于采用特征提取模型分别对未检轮廓图和标准轮廓图进行特征提取，得到未检特征和标准特征，并基于未检特征和标准特征，计算第一差异值；
所述第二差异值计算单元用于分别根据未检轮廓图和标准轮廓图上像素点的位置分布，计算第二差异值；
所述差异率计算子单元用于根据第一差异值和第二差异值，计算差异率；
所述特征提取模型包括：第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4、第一BN层BN1、第二BN层BN2、第三BN层BN3、第四BN层BN4、最大池化层Maxpool、Concat层和sigmod层；
所述第一卷积层Conv1的输入端作为特征提取模型的输入端，用于输入未检轮廓图或标准轮廓图；所述第一卷积层Conv1的输出端分别与第一BN层BN1的输入端、第三卷积层Conv3的输入端、第二卷积层Conv2的输入端和最大池化层Maxpool的输入端连接；所述第三卷积层Conv3的输出端与第二BN层BN2的输入端连接；所述第二卷积层Conv2的输出端与第三BN层BN3的输入端连接；所述Concat层的输入端分别与第一BN层BN1的输出端、第二BN层BN2的输出端、第三BN层BN3的输出端和最大池化层Maxpool的输出端连接，其输出端与第四卷积层Conv4的输入端连接；所述第四BN层BN4的输入端与第四卷积层Conv4的输出端连接，其输出端与sigmod层的输入端连接；所述sigmod层的输出端作为特征提取模型的输出端；
所述计算第一差异值的公式为：
Figure QLYQS_2
其中，/>
Figure QLYQS_5
为第一差异值，
Figure QLYQS_7
为标准特征中的第/>
Figure QLYQS_3
个特征值，/>
Figure QLYQS_8
为未检特征中的第/>
Figure QLYQS_10
个特征值，max为求序列中的最大值，| |为绝对值运算，/>
Figure QLYQS_12
为特征值的数量，/>
Figure QLYQS_1
为标准特征中的第1个特征值，/>
Figure QLYQS_6
为未检特征中的第1个特征值，/>
Figure QLYQS_11
为标准特征中的第/>
Figure QLYQS_14
个特征值，/>
Figure QLYQS_4
为未检特征中的第/>
Figure QLYQS_9
个特征值，/>
Figure QLYQS_13
为求和符号；
所述第二差异值计算单元计算第二差异值的具体内容包括：将未检轮廓图划分为多个区块，得到多个未检区块，将标准轮廓图按与未检轮廓图的相同划分方式划分为多个区块，得到多个标准区块，根据未检区块和标准区块中像素点的位置分布，计算第二差异值；
所述计算第二差异值的公式为：
Figure QLYQS_31
其中，/>
Figure QLYQS_37
为第二差异值，/>
Figure QLYQS_42
为第/>
Figure QLYQS_17
个标准区块中第/>
Figure QLYQS_21
个像素点的横坐标，/>
Figure QLYQS_25
为第/>
Figure QLYQS_28
个标准区块中第/>
Figure QLYQS_19
个像素点的纵坐标，/>
Figure QLYQS_22
为第/>
Figure QLYQS_23
个未检区块中第/>
Figure QLYQS_27
个像素点的横坐标，/>
Figure QLYQS_20
为第/>
Figure QLYQS_26
个未检区块中第/>
Figure QLYQS_29
个像素点的纵坐标，/>
Figure QLYQS_33
为标准区块中像素点的数量，/>
Figure QLYQS_30
为未检区块中像素点的数量，/>
Figure QLYQS_34
为标准区块或未检区块的数量，/>
Figure QLYQS_39
为取/>
Figure QLYQS_41
和/>
Figure QLYQS_15
中较小者，/>
Figure QLYQS_16
为第/>
Figure QLYQS_18
个标准区块中第/>
Figure QLYQS_24
个像素点的灰度值，/>
Figure QLYQS_32
为第/>
Figure QLYQS_35
个未检区块中第/>
Figure QLYQS_38
个像素点的灰度值，/>
Figure QLYQS_40
为反正切函数，/>
Figure QLYQS_36
为求和符号；
所述差异率的计算公式为：
Figure QLYQS_43
其中，/>
Figure QLYQS_44
为差异率，/>
Figure QLYQS_45
为第一差异值，/>
Figure QLYQS_46
为第二差异值，/>
Figure QLYQS_47
为归一化系数。
2.根据权利要求1所述的一种基于人工智能的PCBA板生产线智能监管系统，其特征在于，所述颜色矫正单元包括：第一RGB值提取子单元、第二RGB值提取子单元和颜色矫正子单元；
所述第一RGB值提取子单元用于提取标准产品图像上多个像素点的RGB值；
所述第二RGB值提取子单元用于提取未检产品图像上同位置像素点的RGB值；
所述颜色矫正子单元用于根据从标准产品图像上提取的RGB值和未检产品图像上提取的RGB值，对未检产品图像进行颜色矫正，得到矫正产品图像。
3.根据权利要求2所述的一种基于人工智能的PCBA板生产线智能监管系统，其特征在于，所述对未检产品图像进行颜色矫正的公式为：
Figure QLYQS_48
，
Figure QLYQS_49
，
Figure QLYQS_50
，
其中，
Figure QLYQS_68
为矫正产品图像上第/>
Figure QLYQS_69
个像素点的R通道值，/>
Figure QLYQS_73
为矫正产品图像上第/>
Figure QLYQS_51
个像素点的G通道值，/>
Figure QLYQS_58
为矫正产品图像上第/>
Figure QLYQS_62
个像素点的B通道值，/>
Figure QLYQS_66
为未检产品图像上第/>
Figure QLYQS_54
个像素点的R通道值，/>
Figure QLYQS_57
为未检产品图像上第/>
Figure QLYQS_59
个像素点的G通道值，/>
Figure QLYQS_63
为未检产品图像上第/>
Figure QLYQS_52
个像素点的B通道值，/>
Figure QLYQS_56
为标准产品图像上取的第/>
Figure QLYQS_60
个位置像素点的R通道值，/>
Figure QLYQS_64
为标准产品图像上取的第/>
Figure QLYQS_70
个位置像素点的G通道值，/>
Figure QLYQS_72
为标准产品图像上取的第/>
Figure QLYQS_75
个位置像素点的B通道值，/>
Figure QLYQS_76
为未检产品图像上取的第/>
Figure QLYQS_53
个位置像素点的R通道值，/>
Figure QLYQS_55
为未检产品图像上取的第/>
Figure QLYQS_61
个位置像素点的G通道值，/>
Figure QLYQS_65
为未检产品图像上取的第/>
Figure QLYQS_67
个位置像素点的B通道值，/>
Figure QLYQS_71
为从标准产品图像或未检产品图像上取的像素点数量，/>
Figure QLYQS_74
为求和符号。
4.根据权利要求1所述的一种基于人工智能的PCBA板生产线智能监管系统，其特征在于，所述灰度化处理的公式为：
Figure QLYQS_77
，
Figure QLYQS_78
，/>
Figure QLYQS_79
，/>
Figure QLYQS_80
，
其中，
Figure QLYQS_99
为灰度图上第/>
Figure QLYQS_100
个像素点的灰度值，/>
Figure QLYQS_103
为原图像上的第/>
Figure QLYQS_82
个像素点的R通道均值，/>
Figure QLYQS_86
为原图像上第/>
Figure QLYQS_89
个像素点的G通道均值，/>
Figure QLYQS_96
为原图像上的第/>
Figure QLYQS_92
个像素点的B通道均值，/>
Figure QLYQS_93
为原图像上第/>
Figure QLYQS_97
个像素点的R通道值，/>
Figure QLYQS_101
为原图像上第/>
Figure QLYQS_98
个像素点邻域的第/>
Figure QLYQS_102
个像素点的R通道值，/>
Figure QLYQS_104
为原图像上第/>
Figure QLYQS_105
个像素点的G通道值，/>
Figure QLYQS_83
为原图像上第/>
Figure QLYQS_88
个像素点邻域的第/>
Figure QLYQS_91
个像素点的G通道值，/>
Figure QLYQS_94
为原图像上第/>
Figure QLYQS_81
个像素点的B通道值，/>
Figure QLYQS_85
为原图像上第/>
Figure QLYQS_90
个像素点邻域的第/>
Figure QLYQS_95
个像素点的B通道值，所述原图像为矫正产品图像或标准产品图像，/>
Figure QLYQS_84
为邻域像素点数量，/>
Figure QLYQS_87
为求和符号。
CN202310237947.3A 2023-03-14 2023-03-14 一种基于人工智能的pcba板生产线智能监管系统 Active CN116075148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310237947.3A CN116075148B (zh) 2023-03-14 2023-03-14 一种基于人工智能的pcba板生产线智能监管系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310237947.3A CN116075148B (zh) 2023-03-14 2023-03-14 一种基于人工智能的pcba板生产线智能监管系统

Publications (2)

Publication Number Publication Date
CN116075148A CN116075148A (zh) 2023-05-05
CN116075148B true CN116075148B (zh) 2023-06-20

Family

ID=86169979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310237947.3A Active CN116075148B (zh) 2023-03-14 2023-03-14 一种基于人工智能的pcba板生产线智能监管系统

Country Status (1)

Country Link
CN (1) CN116075148B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311383B (zh) * 2023-05-16 2023-07-25 成都航空职业技术学院 一种基于图像处理的楼宇智能用电管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189339A (zh) * 2019-06-03 2019-08-30 重庆大学 深度图辅助的主动轮廓抠图方法及系统
CN112150372A (zh) * 2019-06-28 2020-12-29 深圳创想未来机器人有限公司 一种深度图矫正方法、深度图矫正装置和机器人
CN113781402A (zh) * 2021-08-19 2021-12-10 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 芯片表面划痕缺陷的检测方法、装置和计算机设备
CN114240939A (zh) * 2022-02-24 2022-03-25 苏州浪潮智能科技有限公司 一种主板元器件外观缺陷检测方法、系统、设备及介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5194746A (en) * 1988-12-18 1993-03-16 Coen Guenther Method and device for examining components with data digitized into a large number of gray levels
US7680354B2 (en) * 2006-03-22 2010-03-16 Arcsoft, Inc. Image deblur based on two images
EP2797326A1 (en) * 2013-04-22 2014-10-29 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Image color correction
CN105263009B (zh) * 2015-09-14 2017-12-15 深圳市华星光电技术有限公司 一种图像的自适应转换方法
CN108337493A (zh) * 2018-01-16 2018-07-27 长春华懋科技有限公司 基于高精度视觉云台的图像颜色自动校正方法
JP2020009162A (ja) * 2018-07-09 2020-01-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN109813727B (zh) * 2018-12-25 2021-08-03 苏州江奥光电科技有限公司 一种基于深度信息的pcb板焊接缺陷检测方法
CN109743472B (zh) * 2018-12-30 2021-08-06 厦门汉印电子技术有限公司 图像颜色修正方法、装置、设备及计算机可读存储介质
CN110503108B (zh) * 2019-07-11 2024-05-28 平安科技（深圳）有限公司 违章建筑识别方法及装置、存储介质、计算机设备
US11997375B2 (en) * 2020-02-27 2024-05-28 Fuji Corporation Image correction method, imaging device, and inspection device
CN218004099U (zh) * 2021-09-30 2022-12-09 贵州优联博睿科技有限公司 电子元件生产线在线监管分析系统
CN115205290B (zh) * 2022-09-15 2022-11-18 深圳市合成快捷电子科技有限公司 一种pcb板生产过程在线检测方法及系统
CN115420744A (zh) * 2022-09-26 2022-12-02 湖北三江航天万峰科技发展有限公司 一种基于图像识别的印制板缺陷检测系统及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189339A (zh) * 2019-06-03 2019-08-30 重庆大学 深度图辅助的主动轮廓抠图方法及系统
CN112150372A (zh) * 2019-06-28 2020-12-29 深圳创想未来机器人有限公司 一种深度图矫正方法、深度图矫正装置和机器人
CN113781402A (zh) * 2021-08-19 2021-12-10 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 芯片表面划痕缺陷的检测方法、装置和计算机设备
CN114240939A (zh) * 2022-02-24 2022-03-25 苏州浪潮智能科技有限公司 一种主板元器件外观缺陷检测方法、系统、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Xin Li.A new method of resistor's color rings detection based on machine vision.2017 Chinese Automation Congress (CAC).2018,全文. *

Also Published As

Publication number Publication date
CN116075148A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN111402247B (zh) 一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法
CN110830795B (zh) 一种图像传感器坏点检测方法、装置及电子设备
CN109543665B (zh) 图像定位方法及装置
CN116075148B (zh) 一种基于人工智能的pcba板生产线智能监管系统
CN105447489B (zh) 一种图片ocr识别系统的字符与背景粘连噪声消除方法
CN107909554B (zh) 图像降噪方法、装置、终端设备及介质
CN110954553B (zh) 一种镜片光学检测系统
CN112364740A (zh) 一种基于计算机视觉的无人机房监控方法及系统
CN110766636B (zh) 一种用于ai芯片的智能图像处理方法
CN109766846B (zh) 一种基于视频的自适应多车道车流检测方法及系统
CN114257736A (zh) 一种工件自适应拍摄方法
CN101131733A (zh) 一种自适应目标定位方法
CN115619725A (zh) 电子元器件检测方法、装置、电子设备及自动质检设备
CN116071692A (zh) 一种基于形态学图像处理的水尺水位识别方法及系统
CN115619796A (zh) 获取光伏组件模板的方法及装置、非易失性存储介质
CN116205835A (zh) 电路板瑕疵检测方法、装置及电子设备
CN114354491A (zh) 一种基于机器视觉的dcb陶瓷基板缺陷检测方法
CN111402341A (zh) 相机参数确定方法、装置、电子设备及可读存储介质
CN116030047B (zh) 一种电容器工艺过程中识别掩膜合格的方法
CN111414877A (zh) 去除颜色边框的表格裁切方法、图像处理设备和存储介质
KR20180022619A (ko) Pcb 패널 검사 방법 및 그 장치
CN115496927B (zh) 基于归一化的印刷电路板影像与模板图的匹配方法及系统
CN113822200B (zh) 牵引变电所辅助监控多视角档位开关自动识别方法及装置
KR20100044043A (ko) 이산 웨이블렛 변환을 이용한 ｓｍｄ 검사 방법
CN117015166B (zh) 一种电子元器件贴装系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant