CN116735612A - 一种精密电子元器件焊接缺陷检测方法 - Google Patents
一种精密电子元器件焊接缺陷检测方法 Download PDFInfo
- Publication number
- CN116735612A CN116735612A CN202311021529.7A CN202311021529A CN116735612A CN 116735612 A CN116735612 A CN 116735612A CN 202311021529 A CN202311021529 A CN 202311021529A CN 116735612 A CN116735612 A CN 116735612A
- Authority
- CN
- China
- Prior art keywords
- welding
- gray
- area
- areas
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003466 welding Methods 0.000 title claims abstract description 207
- 230000007547 defect Effects 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 title abstract description 12
- 230000035772 mutation Effects 0.000 claims abstract description 55
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 36
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 229910000679 solder Inorganic materials 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005493 welding type Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Pathology (AREA)
- Computing Systems (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Biochemistry (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像数据处理技术领域,提出了一种精密电子元器件焊接缺陷检测方法,包括:采集焊接后的面板背部图像,裁剪得到面板图像,分割获取若干焊接区域;获取每个焊接区域中的中心点及突变点,根据中心点、突变点及焊接区域边缘获取每个焊接区域的灰度波动程度,根据灰度波动程度确定若干目标区域;获取每个焊接区域的灰度熵,根据灰度熵获取若干参考区域,获取每个参考区域的灰度波动程度,根据目标区域与参考区域的灰度波动程度差异获取若干标准区域;根据每个标准区域中突变点的分布获取最优滤波核尺寸,滤波得到若干待检测图像,进行焊接缺陷检测。本发明旨在对检测图像获取自适应滤波核进行去噪以提高缺陷检测准确性。
Description
技术领域
本发明涉及图像数据处理技术领域,具体涉及一种精密电子元器件焊接缺陷检测方法。
背景技术
精密电子元器件是电子元件和小型的机器、仪器的组成部分,其本身常由若干零件构成,其种类比较多,体积均较小;在焊接时,由于电子元器件的体积较小的原因,所以在焊接完成后,主观上看到为一个一个的小焊点,而电子元器件的焊接则主要就为小焊点;但是在图像采集中,会受到流水线上环境因素的干扰和相机本身原因,致使采集到的图像上出现噪点;由于噪点无法准确地确定其分布位置,会使得图像中虚焊和正常焊接处同时受到噪声的影响,在直观视觉上的差异较小,进而在识别时会由于焊接区域内部像素点和噪点之间的分布关系,导致在对电子元器件的焊接缺陷进行检测时,会出现较大的误差;而在滤波去噪过程中,滤波核的大小决定着图像中去噪的效果,对于虚焊位置和正常的焊接位置的噪点的表现特征不同,若仍然使用固定大小的滤波核,会对图像中出现过平滑且噪点信息去除效果不好,并丢失较多的原有细节信息。
发明内容
本发明提供一种精密电子元器件焊接缺陷检测方法,以解决现有的固定大小滤波核对图像进行去噪使得缺陷检测结果不准确的问题,所采用的技术方案具体如下:
本发明一个实施例提供了一种精密电子元器件焊接缺陷检测方法,该方法包括以下步骤:
采集电子元器件焊接后的面板背部图像,裁剪获取其中的面板图像,分割得到面板中若干焊接区域;
将每个焊接区域中灰度值最大的像素点作为每个焊接区域的中心点,检测获取每个焊接区域中的突变点,根据中心点、突变点及焊接区域边缘获取每个焊接区域中的若干条突变连线,根据突变连线上每个像素点的灰度值及分布获取每个像素点的灰度变化速率,根据灰度变化速率获取每条突变连线的灰度变化速率曲线及灰度变化程度,将每个焊接区域中所有突变连线的灰度变化程度均值作为每个焊接区域的灰度波动程度,根据灰度波动程度获取目标区域;
获取每个焊接区域的灰度熵,根据灰度熵的大小对焊接区域进行聚类得到两个聚簇,根据聚簇中焊接区域的灰度熵获取若干参考区域,获取每个参考区域的灰度波动程度,根据每个目标区域的灰度波动程度与参考区域的灰度波动程度均值之间的差异获取所有目标区域中的若干标准区域;
根据每个标准区域中突变点的分布获取最优滤波核尺寸,通过最优滤波核尺寸的滤波核对所有焊接区域进行滤波,得到若干待检测图像,对所有待检测图像进行焊接缺陷检测。
可选的,所述裁剪获取其中的面板图像,包括的具体方法为:
将采集到的面板背部图像输入到训练完成的面板分割网络中,输出得到面板区域,裁剪面板背部图像中的面板区域,得到面板图像。
可选的,所述检测获取每个焊接区域中的突变点,包括的具体方法为:
获取每个焊接区域中的每个像素点与八邻域像素点的灰度差值绝对值均值,记为每个像素点的突变幅值,将所有焊接区域中所有像素点的突变幅值进行线性归一化,得到的结果记为每个像素点的突变程度,将突变程度大于第二预设阈值的像素点作为突变点,得到每个焊接区域中的若干突变点。
可选的,所述根据中心点、突变点及焊接区域边缘获取每个焊接区域中的若干条突变连线,包括的具体方法为:
将每个焊接区域的中心点分别与每个突变点进行连线,并延伸到每个焊接区域的边缘点,得到每个焊接区域的若干条突变连线。
可选的,所述根据突变连线上每个像素点的灰度值及分布获取每个像素点的灰度变化速率,包括的具体方法为:
以任意一个焊接区域为目标焊接区域,目标焊接区域中的任意一条突变连线为目标突变连线,从中心点出发,目标突变连线上第个像素点的灰度变化速率/>的计算方法为:
其中,表示目标焊接区域的中心点,/>表示目标突变连线上的第/>个像素点,表示中心点与第/>个像素点的灰度差值,/>表示中心点与第/>个像素点的欧式距离。
可选的,所述根据灰度变化速率获取每条突变连线的灰度变化速率曲线及灰度变化程度,包括的具体方法为:
以任意一个焊接区域为目标焊接区域,目标焊接区域中的任意一条突变连线为目标突变连线,获取目标突变连线上每个像素点的灰度变化速率;以横坐标为从中心点出发的像素点序数,纵坐标为灰度变化速率构建目标焊接区域中目标突变连线的灰度变化速率曲线;
将灰度变化速率曲线上除中心点外所有灰度变化速率的方差作为目标突变连线的灰度变化程度。
可选的,所述根据聚簇中焊接区域的灰度熵获取若干参考区域,包括的具体方法为:
分别获取两个聚簇中所有焊接区域的灰度熵的均值,将均值最小的一个聚簇中包含的焊接区域作为参考区域,得到若干参考区域。
可选的,所述获取每个参考区域的灰度波动程度,包括的具体方法为:
每个参考区域均为焊接区域,将参考区域对应焊接区域的灰度波动程度作为每个参考区域的灰度波动程度。
可选的,所述根据每个目标区域的灰度波动程度与参考区域的灰度波动程度均值之间的差异获取所有目标区域中的若干标准区域,包括的具体方法为:
获取所有参考区域的灰度波动程度的均值,并作为分类标准,对所有目标区域进行划分,划分结果为标准区域和非标准区域,其中设置分类过程中的分类方差函数的具体表达式如下:
其中,表示划分结果中标准区域的数量,/>表示此时的划分结果下标准区域的灰度波动程度与分类标准的差值绝对值的均值,/>表示此时的划分结果下非标准区域的灰度波动程度与分类标准的差值绝对值的均值;
当分类方差函数最大时,表明此时对目标区域的划分结果最好,将划分结果下标准区域的灰度波动程度与分类标准的差值绝对值均值最小的一类对应的目标区域作为最终的标准区域。
可选的,所述根据每个标准区域中突变点的分布获取最优滤波核尺寸,包括的具体方法为:
其中,表示第/>个标准区域的滤波核尺寸,/>表示第/>个标准区域中突变点的数量,/>表示第/>个标准区域中第/>个突变点的坐标,/>表示第/>个标准区域中第/>个突变点的坐标,/>表示向下取整;
获取每个标准区域的滤波核尺寸,将所有标准区域的滤波核尺寸均值作为最优滤波核尺寸。
本发明的有益效果是:通过量化不同焊接区域中灰度变化特征,以及对应的受到噪点影响下的灰度变化特征,来获取受到噪声影响下的焊接区域的灰度分布特征,进而确定目标区域;根据获取的目标区域的灰度波动程度来量化与参考区域的灰度波动程度的差异,以参考区域为计算基础,通过将两者之间的差异作为分类标准,获取标准区域,并以此进行滤波核尺寸的最优估计;避免了在量化最优滤波核尺寸时采用的焊接区域中噪点分布特征不明显,而使得量化的滤波核无法适用于其他焊接区域;同时保证了对噪点的去噪效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例所提供的一种精密电子元器件焊接缺陷检测方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,其示出了本发明一个实施例所提供的一种精密电子元器件焊接缺陷检测方法流程图,该方法包括以下步骤:
步骤S001、利用固定相机采集电子元器件焊接后的面板背部图像,裁剪获取其中的面板图像,分割获取面板中若干焊接区域。
本实施例的目的是对采集到的电子元器件的焊接缺陷进行检测,因此首先需要获取焊接图像;电子元器件存在多出焊点,且焊点均在面板背部,即焊接缺陷需要在面板背部进行检测;因此首先采集电子元器件焊接后的面板背部图像,本实施例采用固定相机流水线式对电子元器件焊接后的面板背部图像进行采集。
具体的,将相机固定到焊接工序的结束位置,保持采样频率和流水线运行速度匹配,以保证可以准确采集到每个电子元器件的面板背部图像;对采集到的面板背部图像进行分割,构建一个面板分割网络,采用现有的DNN神经网络,本实施例采用DeepLabV3网络为例进行叙述,将采集到的若干张面板背部图像作为训练数据集,人工标注其中的面板区域为1,其他区域为0;将每张面板背部图像逐一输入到面板分割网络中,采用交叉熵损失函数,得到训练完成的面板分割网络;根据训练完成的面板分割网络获取面板区域,并裁剪面板区域得到面板图像,对每张面板图像进行灰度化处理。
进一步的,由于焊接区域相较于面板其他区域灰度值较大,本实施例采用OTSU阈值分割算法对面板图像进行阈值分割,将大于分割阈值的部分作为焊接部分,得到若干焊接部分的连通域,每个连通域即为一个焊接区域;需要说明的是,获取到焊接区域后,每张面板图像分别对应若干焊接区域,本实施例后续均以任意一张面板图像的焊接区域为例进行叙述,后续所述焊接区域均为同一张面板图像中的焊接区域。
至此,获取到了电子元器件中的若干焊接区域。
步骤S002、获取每个焊接区域中的中心点及突变点,根据中心点、突变点及焊接区域边缘获取每个焊接区域对应的若干灰度变化速率曲线,根据灰度变化速率曲线获取每个焊接区域的灰度波动程度,根据灰度波动程度确定若干目标区域。
需要说明的是,由于焊锡材料的特性,焊接区域中灰度值最大的点均为焊料的中心点,记为焊接区域的中心点;同时,若焊接区域为正常的焊接区域,则对应的其灰度变化较为均匀,而在受到噪声的影响情况下会使得灰度变化发生较大改变;若焊接区域为缺陷的虚焊区域,则对应的其灰度变化较为混乱,而在受到噪声的影响情况下会使得原本混乱的灰度变化更加混乱;因此需要根据灰度变化提取出焊接区域中的目标区域,即存在噪声或缺陷的区域,这些焊接区域的灰度变化都不是均匀变化的;而引起灰度变化不均匀主要是由于焊接区域中的突变点,即灰度突变点,通过这些突变点可以量化焊接区域的灰度变化特征。
具体的,首先获取每个焊接区域中灰度值最大的像素点作为焊接区域的中心点;对每个焊接区域中的每个像素点,获取每个像素点与八邻域像素点的灰度差值绝对值均值,记为每个像素点的突变幅值,将所有焊接区域中所有像素点的突变幅值进行线性归一化处理,得到的结果记为每个像素点的突变程度,给出第二预设阈值用于突变点判断,本实施例第二预设阈值采用0.85进行计算,将突变程度大于第二预设阈值的像素点作为突变点,得到每个焊接区域中的若干突变点;以任意一个焊接区域为例,将该焊接区域的中心点分别与每个突变点进行连线,并延伸到该焊接区域的边缘点,得到若干条突变连线;从中心点出发,任意一条突变连线上第个像素点的灰度变化速率/>的计算方法为:
其中,表示任意一个焊接区域的中心点,/>表示该焊接区域中任意一条突变连线上的第/>个像素点,/>表示中心点与第/>个像素点的灰度差值,/>表示中心点与第/>个像素点的欧式距离;按照上述方法获取该焊接区域中该条突变连线上每个像素点的灰度变化速率;以横坐标为从中心点出发的像素点序数,纵坐标为灰度变化速率构建该焊接区域中该条突变连线的灰度变化速率曲线,其中中心点横纵坐标为0,从中心点出发第/>个像素点的横坐标为/>;将该条灰度变化速率曲线上除中心点外所有灰度变化速率的方差作为该条突变连线的灰度变化程度;灰度均匀变化的焊接区域中对于各像素点的灰度变化速率也较为均匀,则方差较小,灰度变化程度较小;灰度变化混乱的焊接区域中灰度变化速率差异较大,则方差较大,灰度变化程度较大。
进一步的,按照上述方法获取该焊接区域中每条突变连线的灰度变化程度,将该焊接区域中所有突变连线的灰度变化程度均值作为该焊接区域的灰度波动程度;按照上述方法获取每个焊接区域的灰度波动程度;此时灰度波动程度越大则代表焊接区域内灰度变化程度越大,则焊接区域内的灰度变化越混乱。
进一步的,将所有焊接区域的灰度波动程度进行线性归一化,给出第一预设阈值,本实施例第一预设阈值采用0.55进行计算,将灰度波动程度的归一化值大于第一预设阈值的焊接区域作为目标区域;这些目标区域中的灰度变化不均匀,较为混乱。
至此,获取到了焊接区域内部灰度变化不均匀的若干目标区域,通过去除焊接区域中灰度变化较为均匀的部分,避免这些分布较为均匀的焊接区域参与后续最优滤波核尺寸量化,进而导致由于其中噪点分布不明显而使得相应的滤波核不适用于其他噪点分布明显的焊接区域。
步骤S003、获取每个焊接区域的灰度熵,根据灰度熵对焊接区域进行聚类获取若干参考区域,获取每个参考区域的灰度波动程度,根据每个目标区域的灰度波动程度与参考区域的灰度波动程度均值之间的差异获取所有目标区域中的若干标准区域。
需要说明的是,需要在目标区域中获取最能代表噪点分布且受到其他因素影响较小的焊接区域,作为标准区域进行最优滤波核尺寸的获取;因此首先需要获取受到噪点影响较小的焊接区域作为参考区域,由于噪点或是缺陷均会引起焊接区域内灰度值的变化,因此可以采用灰度熵来获取参考区域;正常焊接区域内的灰度分布差异较小,灰度熵较小,且即使受到噪点的影响时,由于仅是部分像素点发生突变,其灰度熵仍较小;而虚焊区域内的灰度分布差异较大,灰度熵较大,且在同时受到噪点的影响时,其灰度熵会更大;通过参考区域的灰度波动程度与目标区域的灰度波动程度之间的差异,根据灰度波动程度的差异判断目标区域的灰度变化与参考区域的灰度变化之间的相似性,差异越小相似性越大,对应的目标区域中造成差异的部分越可能是噪点,则可以将这类目标区域作为标准区域。
具体的,根据步骤S001得到的若干焊接区域,对每个焊接区域获取其灰度熵,其中灰度熵计算为现有技术,本实施例不再赘述;根据所有焊接区域的灰度熵,对所有焊接区域进行K-means聚类,由于聚类目的是获取灰度熵较小和较大的两类焊接区域,因此采用进行聚类,聚类距离采用两个焊接区域之间灰度熵的差值,得到两个聚簇;分别获取两个聚簇中所有焊接区域的灰度熵的均值,将均值最小的一个聚簇中包含的焊接区域作为参考区域;通过聚类获取到了灰度熵较小的若干焊接区域,这些区域可以参与后续对目标区域中的标准区域进行提取,以保证这些标准区域产生的灰度变化差异极大可能为噪点引起的差异。
进一步的,参考区域也属于焊接区域,在步骤S002中已经获取到了每个焊接区域的灰度波动程度,提取参考区域对应的灰度波动程度,获取所有参考区域的灰度波动程度的均值,并作为分类标准,以类似于最大类间方差算法的方法对所有目标区域进行划分,划分结果为标准区域和非标准区域,其中设置分类过程中的分类方差函数的具体表达式如下:
其中,表示划分结果中标准区域的数量,/>表示此时的划分结果下标准区域的灰度波动程度与分类标准的差值绝对值的均值,/>表示此时的划分结果下非标准区域的灰度波动程度与分类标准的差值绝对值的均值;由于最大类间方差算法是动态分割,则每次分割都会得到一个/>值,且每次分割都要相应的/>和/>;当分类方差函数最大时,表明此时对目标区域的划分结果最好,将划分结果下标准区域的灰度波动程度与分类标准的差值绝对值均值最小的一类对应的目标区域作为最终的标准区域。
至此,获取到了若干用于量化最优滤波核尺寸的标准区域;此时这些标准区域与参考区域在灰度波动程度上的差异较小,极大可能为噪点引起的部分灰度变化,则可以较好地表征噪点的分布情况,以此进行最优滤波核尺寸的估计,避免了使用过大的滤波核消除原本的虚焊缺陷信息的缺点,并保证对噪点的去噪效果。
步骤S004、根据每个标准区域中突变点的分布获取最优滤波核尺寸,通过最优滤波核尺寸的滤波核对所有焊接区域进行滤波,得到若干待检测图像,对所有待检测图像进行焊接缺陷检测。
需要说明的是,获取到若干标准区域之后,此时各标准区域能较好地量化噪点在焊接区域中的分布,根据在步骤S002中确定的各焊接区域中的突变点确定标准区域中的突变点,通过各标准区域中突变点的分布来构建最优滤波核,使得可以通过最优滤波核对均匀分布的噪声准确地去除,进而提高缺陷检测结果的准确性。
具体的,以第个标准区域为例,获取该标准区域的滤波核尺寸/>的计算方法为:
其中,表示第/>个标准区域中突变点的数量,/>表示第/>个标准区域中第/>个突变点的坐标,/>表示第/>个标准区域中第/>个突变点的坐标,/>表示向下取整;其中坐标系以面板图像左下角为坐标原点,坐标原点向右为横轴正方向,向上为纵轴正方向,一个像素为一个单位;特殊的,当/>时,即第/>个标准区域中最后一个突变点,此时/>采用第一个突变点进行计算,即当/>时,/>进行计算;需要说明的是,每个标准区域内突变点顺序从左到右,从下到上进行排序;通过标准区域内所有相邻两个突变点的欧式距离的均值确定对于该标准区域的滤波核尺寸,使得滤波核尺寸可以适应标准区域,同时不会因过大对面板其他部位进行滤波造成图像信息丢失。
进一步的,按照上述方法获取每个标准区域的滤波核尺寸,将所有标准区域的滤波核尺寸均值作为最优滤波核尺寸,以确保针对所有焊接区域进行滤波都不会影响到面板其他部位的图像信息;需要说明的是,最优滤波核尺寸需要确保为奇数,则对得到的滤波核尺寸均值需要进行奇偶判断,若为奇数则直接作为最优滤波核尺寸,若为偶数则均值减1再作为最优滤波核尺寸。
进一步的,根据获取到的最优滤波核尺寸,通过高斯滤波对步骤S001得到的所有焊接区域进行高斯滤波,得到各焊接区域的清晰图像,通过最小外接矩形对每个焊接区域的清晰图像进行分割,得到若干分割后的图像,将每张图像中非焊接区域的部分灰度值置为0,得到的结果记为每个焊接区域的待检测图像;构建一个焊接缺陷识别网络,网络采用DNN神经网络,本实施例采用InceptionV3网络结构为例进行叙述,将历史的焊接图像作为训练数据集,通过人工标注,将训练数据集中每张焊接图像中正常的焊接区域为0,出现焊接缺陷的虚焊区域为1;将训练数据集中的每张焊接图像输入到焊接缺陷识别网络中,使用该训练数据集,损失函数采用交叉熵损失函数,得到训练完成的焊接缺陷识别网络;将每张待检测图像输入到训练完成的焊接缺陷识别网络中,根据输出结果得到每个焊接区域是否出现焊接缺陷的检测结果,待检测图像中焊接区域正常的表示未出现焊接缺陷,焊接区域出现虚焊区域的表示出现焊接缺陷。
按照上述方法对每张面板图像的若干焊接区域进行去噪处理及焊接缺陷检测,得到了对于每个电子元器件面板焊接缺陷的检测结果;至此,完成了对于精密电子元器件焊接缺陷的检测。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种精密电子元器件焊接缺陷检测方法,其特征在于,该方法包括以下步骤:
采集电子元器件焊接后的面板背部图像,裁剪获取其中的面板图像,分割得到面板中若干焊接区域;
将每个焊接区域中灰度值最大的像素点作为每个焊接区域的中心点,检测获取每个焊接区域中的突变点,根据中心点、突变点及焊接区域边缘获取每个焊接区域中的若干条突变连线,根据突变连线上每个像素点的灰度值及分布获取每个像素点的灰度变化速率,根据灰度变化速率获取每条突变连线的灰度变化速率曲线及灰度变化程度,将每个焊接区域中所有突变连线的灰度变化程度均值作为每个焊接区域的灰度波动程度,根据灰度波动程度获取目标区域;
获取每个焊接区域的灰度熵,根据灰度熵的大小对焊接区域进行聚类得到两个聚簇,根据聚簇中焊接区域的灰度熵获取若干参考区域,获取每个参考区域的灰度波动程度,根据每个目标区域的灰度波动程度与参考区域的灰度波动程度均值之间的差异获取所有目标区域中的若干标准区域;
根据每个标准区域中突变点的分布获取最优滤波核尺寸,通过最优滤波核尺寸的滤波核对所有焊接区域进行滤波,得到若干待检测图像,对所有待检测图像进行焊接缺陷检测。
2.根据权利要求1所述的一种精密电子元器件焊接缺陷检测方法,其特征在于,所述裁剪获取其中的面板图像,包括的具体方法为:
将采集到的面板背部图像输入到训练完成的面板分割网络中,输出得到面板区域,裁剪面板背部图像中的面板区域,得到面板图像。
3.根据权利要求1所述的一种精密电子元器件焊接缺陷检测方法,其特征在于,所述检测获取每个焊接区域中的突变点,包括的具体方法为:
获取每个焊接区域中的每个像素点与八邻域像素点的灰度差值绝对值均值,记为每个像素点的突变幅值,将所有焊接区域中所有像素点的突变幅值进行线性归一化,得到的结果记为每个像素点的突变程度,将突变程度大于第二预设阈值的像素点作为突变点,得到每个焊接区域中的若干突变点。
4.根据权利要求1所述的一种精密电子元器件焊接缺陷检测方法,其特征在于,所述根据中心点、突变点及焊接区域边缘获取每个焊接区域中的若干条突变连线,包括的具体方法为:
将每个焊接区域的中心点分别与每个突变点进行连线,并延伸到每个焊接区域的边缘点,得到每个焊接区域的若干条突变连线。
5.根据权利要求1所述的一种精密电子元器件焊接缺陷检测方法,其特征在于,所述根据突变连线上每个像素点的灰度值及分布获取每个像素点的灰度变化速率,包括的具体方法为:
以任意一个焊接区域为目标焊接区域,目标焊接区域中的任意一条突变连线为目标突变连线,从中心点出发,目标突变连线上第个像素点的灰度变化速率/>的计算方法为:
其中,表示目标焊接区域的中心点,/>表示目标突变连线上的第/>个像素点,/>表示中心点与第/>个像素点的灰度差值,/>表示中心点与第/>个像素点的欧式距离。
6.根据权利要求1所述的一种精密电子元器件焊接缺陷检测方法,其特征在于,所述根据灰度变化速率获取每条突变连线的灰度变化速率曲线及灰度变化程度,包括的具体方法为:
以任意一个焊接区域为目标焊接区域,目标焊接区域中的任意一条突变连线为目标突变连线,获取目标突变连线上每个像素点的灰度变化速率;以横坐标为从中心点出发的像素点序数,纵坐标为灰度变化速率构建目标焊接区域中目标突变连线的灰度变化速率曲线;
将灰度变化速率曲线上除中心点外所有灰度变化速率的方差作为目标突变连线的灰度变化程度。
7.根据权利要求1所述的一种精密电子元器件焊接缺陷检测方法,其特征在于,所述根据聚簇中焊接区域的灰度熵获取若干参考区域,包括的具体方法为:
分别获取两个聚簇中所有焊接区域的灰度熵的均值,将均值最小的一个聚簇中包含的焊接区域作为参考区域,得到若干参考区域。
8.根据权利要求1所述的一种精密电子元器件焊接缺陷检测方法,其特征在于,所述获取每个参考区域的灰度波动程度,包括的具体方法为:
每个参考区域均为焊接区域,将参考区域对应焊接区域的灰度波动程度作为每个参考区域的灰度波动程度。
9.根据权利要求1所述的一种精密电子元器件焊接缺陷检测方法,其特征在于,所述根据每个目标区域的灰度波动程度与参考区域的灰度波动程度均值之间的差异获取所有目标区域中的若干标准区域,包括的具体方法为:
获取所有参考区域的灰度波动程度的均值,并作为分类标准,对所有目标区域进行划分,划分结果为标准区域和非标准区域,其中设置分类过程中的分类方差函数的具体表达式如下:
其中,表示划分结果中标准区域的数量,/>表示此时的划分结果下标准区域的灰度波动程度与分类标准的差值绝对值的均值,/>表示此时的划分结果下非标准区域的灰度波动程度与分类标准的差值绝对值的均值;
当分类方差函数最大时,表明此时对目标区域的划分结果最好,将划分结果下标准区域的灰度波动程度与分类标准的差值绝对值均值最小的一类对应的目标区域作为最终的标准区域。
10.根据权利要求1所述的一种精密电子元器件焊接缺陷检测方法,其特征在于,所述根据每个标准区域中突变点的分布获取最优滤波核尺寸,包括的具体方法为:
其中,表示第/>个标准区域的滤波核尺寸,/>表示第/>个标准区域中突变点的数量,/>表示第/>个标准区域中第/>个突变点的坐标,/>表示第个标准区域中第/>个突变点的坐标,/>表示向下取整;
获取每个标准区域的滤波核尺寸,将所有标准区域的滤波核尺寸均值作为最优滤波核尺寸。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311021529.7A CN116735612B (zh) | 2023-08-15 | 2023-08-15 | 一种精密电子元器件焊接缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311021529.7A CN116735612B (zh) | 2023-08-15 | 2023-08-15 | 一种精密电子元器件焊接缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116735612A true CN116735612A (zh) | 2023-09-12 |
CN116735612B CN116735612B (zh) | 2023-11-07 |
Family
ID=87901605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311021529.7A Active CN116735612B (zh) | 2023-08-15 | 2023-08-15 | 一种精密电子元器件焊接缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116735612B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117094916A (zh) * | 2023-10-19 | 2023-11-21 | 江苏新路德建设有限公司 | 一种市政桥梁支座视觉检测方法 |
CN117291922A (zh) * | 2023-11-27 | 2023-12-26 | 浙江日井泵业股份有限公司 | 一种不锈钢多级泵叶轮缺陷视觉检测方法 |
CN117372432A (zh) * | 2023-12-08 | 2024-01-09 | 深圳市希格莱特科技有限公司 | 基于图像分割的电子烟表面缺陷检测方法及系统 |
CN117455911A (zh) * | 2023-12-22 | 2024-01-26 | 广东胜高通信有限公司 | 一种网线水晶头生产测试方法及系统 |
CN118362642A (zh) * | 2024-06-14 | 2024-07-19 | 无锡领声科技有限公司 | 基于图像的焊接质量检测方法及系统 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020054293A1 (en) * | 2000-04-18 | 2002-05-09 | Pang Kwok-Hung Grantham | Method of and device for inspecting images to detect defects |
WO2004025567A2 (en) * | 2002-09-12 | 2004-03-25 | Nline Corporation | System and method for acquiring and processing complex images |
CN103793614A (zh) * | 2014-02-25 | 2014-05-14 | 河南理工大学 | 突变滤波算法 |
WO2017101489A1 (zh) * | 2015-12-14 | 2017-06-22 | 乐视控股(北京)有限公司 | 图像滤波方法及装置 |
KR20190088089A (ko) * | 2017-12-26 | 2019-07-26 | 세종대학교산학협력단 | 용접 표면 결점 검출 장치 및 방법 |
CN114757949A (zh) * | 2022-06-15 | 2022-07-15 | 济宁市海富电子科技有限公司 | 基于计算机视觉的电线电缆缺陷检测方法及系统 |
CN115311270A (zh) * | 2022-10-11 | 2022-11-08 | 南通至顺聚氨酯材料有限公司 | 一种塑料制品表面缺陷检测方法 |
CN115330784A (zh) * | 2022-10-13 | 2022-11-11 | 南通金百福纺织品有限公司 | 一种布匹表面缺陷检测方法 |
CN115457031A (zh) * | 2022-10-27 | 2022-12-09 | 江苏集宿智能装备有限公司 | 基于x射线的集成箱体内部缺陷识别方法 |
CN115588022A (zh) * | 2022-11-10 | 2023-01-10 | 合肥惠强新能源材料科技有限公司 | 基于工序指标数据的锂电池隔离膜质量检测系统 |
CN115880302A (zh) * | 2023-03-08 | 2023-03-31 | 杭州智源电子有限公司 | 基于图像分析的仪表盘焊接质量检测方法 |
CN116309579A (zh) * | 2023-05-19 | 2023-06-23 | 惠州市宝惠电子科技有限公司 | 一种用图像处理的变压器焊缝质量检测方法 |
WO2023134789A1 (zh) * | 2022-10-25 | 2023-07-20 | 苏州德斯米尔智能科技有限公司 | 一种用于带式输送设备的自动检测方法 |
CN116580024A (zh) * | 2023-07-12 | 2023-08-11 | 山东荣信集团有限公司 | 一种基于图像处理的焦炭质量检测方法 |
-
2023
- 2023-08-15 CN CN202311021529.7A patent/CN116735612B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020054293A1 (en) * | 2000-04-18 | 2002-05-09 | Pang Kwok-Hung Grantham | Method of and device for inspecting images to detect defects |
WO2004025567A2 (en) * | 2002-09-12 | 2004-03-25 | Nline Corporation | System and method for acquiring and processing complex images |
CN103793614A (zh) * | 2014-02-25 | 2014-05-14 | 河南理工大学 | 突变滤波算法 |
WO2017101489A1 (zh) * | 2015-12-14 | 2017-06-22 | 乐视控股(北京)有限公司 | 图像滤波方法及装置 |
KR20190088089A (ko) * | 2017-12-26 | 2019-07-26 | 세종대학교산학협력단 | 용접 표면 결점 검출 장치 및 방법 |
CN114757949A (zh) * | 2022-06-15 | 2022-07-15 | 济宁市海富电子科技有限公司 | 基于计算机视觉的电线电缆缺陷检测方法及系统 |
CN115311270A (zh) * | 2022-10-11 | 2022-11-08 | 南通至顺聚氨酯材料有限公司 | 一种塑料制品表面缺陷检测方法 |
CN115330784A (zh) * | 2022-10-13 | 2022-11-11 | 南通金百福纺织品有限公司 | 一种布匹表面缺陷检测方法 |
WO2023134789A1 (zh) * | 2022-10-25 | 2023-07-20 | 苏州德斯米尔智能科技有限公司 | 一种用于带式输送设备的自动检测方法 |
CN115457031A (zh) * | 2022-10-27 | 2022-12-09 | 江苏集宿智能装备有限公司 | 基于x射线的集成箱体内部缺陷识别方法 |
CN115588022A (zh) * | 2022-11-10 | 2023-01-10 | 合肥惠强新能源材料科技有限公司 | 基于工序指标数据的锂电池隔离膜质量检测系统 |
CN115880302A (zh) * | 2023-03-08 | 2023-03-31 | 杭州智源电子有限公司 | 基于图像分析的仪表盘焊接质量检测方法 |
CN116309579A (zh) * | 2023-05-19 | 2023-06-23 | 惠州市宝惠电子科技有限公司 | 一种用图像处理的变压器焊缝质量检测方法 |
CN116580024A (zh) * | 2023-07-12 | 2023-08-11 | 山东荣信集团有限公司 | 一种基于图像处理的焦炭质量检测方法 |
Non-Patent Citations (4)
Title |
---|
G. KRUMMENACHER ET AL: "Wheel Defect Detection With Machine Learning", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, vol. 19, no. 4, pages 1176 - 1187 * |
JIANGLI CHEN ET AL: "An method for power lines insulator defect detection with attention feedback and double spatial pyramid", ELECTRIC POWER SYSTEMS RESEARCH, vol. 218, pages 109175 * |
尹欣;孙新;秦东浩;: "小波空域去噪改进算法在焊接缺陷信号分析中的应用", 煤矿机械, vol. 32, no. 03, pages 255 - 257 * |
赵霆;管声启;王鹏;: "一种基于目标特征挖掘的带钢缺陷图像分割方法", 计算机与现代化, no. 10, pages 60 - 63 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117094916A (zh) * | 2023-10-19 | 2023-11-21 | 江苏新路德建设有限公司 | 一种市政桥梁支座视觉检测方法 |
CN117094916B (zh) * | 2023-10-19 | 2024-01-26 | 江苏新路德建设有限公司 | 一种市政桥梁支座视觉检测方法 |
CN117291922A (zh) * | 2023-11-27 | 2023-12-26 | 浙江日井泵业股份有限公司 | 一种不锈钢多级泵叶轮缺陷视觉检测方法 |
CN117291922B (zh) * | 2023-11-27 | 2024-01-30 | 浙江日井泵业股份有限公司 | 一种不锈钢多级泵叶轮缺陷视觉检测方法 |
CN117372432A (zh) * | 2023-12-08 | 2024-01-09 | 深圳市希格莱特科技有限公司 | 基于图像分割的电子烟表面缺陷检测方法及系统 |
CN117372432B (zh) * | 2023-12-08 | 2024-02-09 | 深圳市希格莱特科技有限公司 | 基于图像分割的电子烟表面缺陷检测方法及系统 |
CN117455911A (zh) * | 2023-12-22 | 2024-01-26 | 广东胜高通信有限公司 | 一种网线水晶头生产测试方法及系统 |
CN117455911B (zh) * | 2023-12-22 | 2024-05-10 | 广东胜高通信有限公司 | 一种网线水晶头生产测试方法及系统 |
CN118362642A (zh) * | 2024-06-14 | 2024-07-19 | 无锡领声科技有限公司 | 基于图像的焊接质量检测方法及系统 |
CN118362642B (zh) * | 2024-06-14 | 2024-10-29 | 无锡领声科技有限公司 | 基于图像的焊接质量检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116735612B (zh) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116735612B (zh) | 一种精密电子元器件焊接缺陷检测方法 | |
CN115272346A (zh) | 一种基于边缘检测的pcb板生产过程在线检测方法 | |
CN110472479B (zh) | 一种基于surf特征点提取和局部lbp编码的指静脉识别方法 | |
CN110555382A (zh) | 一种基于深度学习和Wasserstein距离度量的指静脉识别方法 | |
CN116664559A (zh) | 基于机器视觉的内存条损伤快速检测方法 | |
CN117237368A (zh) | 一种桥梁裂缝检测方法及系统 | |
CN116205919A (zh) | 基于人工智能的五金零件生产质量检测方法及系统 | |
CN109003275B (zh) | 焊缝缺陷图像的分割方法 | |
CN114882026B (zh) | 基于人工智能的传感器外壳缺陷检测方法 | |
CN111598801B (zh) | 一种用于微弱Mura缺陷的识别方法 | |
CN114219794A (zh) | 基于机器视觉的刨花板表面质量评估方法及系统 | |
CN117635609B (zh) | 一种塑胶产品生产质量视觉检测方法 | |
CN114820625A (zh) | 一种汽车顶块缺陷检测方法 | |
CN109961432A (zh) | 一种滤布破损的检测方法和系统 | |
CN114119603A (zh) | 基于图像处理的快餐盒短射缺陷检测方法 | |
CN114881960A (zh) | 基于特征增强的布匹直线型缺陷检测方法和系统 | |
CN115082465A (zh) | 基于扫描电镜图像处理的羊毛羊绒分类方法 | |
CN103942526B (zh) | 一种离散数据点集的线特征提取方法 | |
CN113781413B (zh) | 一种基于Hough梯度法的电解电容定位方法 | |
CN112258532B (zh) | 一种超声图像中胼胝体的定位及分割方法 | |
CN117635615B (zh) | 基于深度学习实现冲孔模具的缺陷检测方法及系统 | |
CN112258536B (zh) | 一种胼胝体及小脑蚓部的一体化定位及分割方法 | |
CN117274262B (zh) | 一种音响喇叭线路板导线焊接方法 | |
CN117808799B (zh) | 基于人工智能的倒角设备加工质量检测方法 | |
CN112950594A (zh) | 产品表面缺陷的检测方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
OL01 | Intention to license declared | ||
OL01 | Intention to license declared |