CN117232396A - 一种高速生产线产品质量视觉检测系统及方法 - Google Patents
一种高速生产线产品质量视觉检测系统及方法 Download PDFInfo
- Publication number
- CN117232396A CN117232396A CN202311515864.2A CN202311515864A CN117232396A CN 117232396 A CN117232396 A CN 117232396A CN 202311515864 A CN202311515864 A CN 202311515864A CN 117232396 A CN117232396 A CN 117232396A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- speed
- shooting
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 119
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 87
- 230000000007 visual effect Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims description 32
- 230000004927 fusion Effects 0.000 claims abstract description 46
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 238000012937 correction Methods 0.000 claims abstract description 8
- 230000033001 locomotion Effects 0.000 claims description 36
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000011179 visual inspection Methods 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 230000007547 defect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开了一种高速生产线产品质量视觉检测系统及方法，包括生产管理系统，视觉检测装置，视觉调参控制器，视觉检测主机，第一光电传感器，第二光电传感器；所述视觉检测装置包括第一相机，第二相机，第三相机；所述高速生产线中设置固定检测点与移动检测区间；所述视觉调参控制器包括参数控制模块、速度校正模块；所述视觉检测主机包括图像采集模块、图像选择模块、图像融合模块、视觉分析模块；所述视觉分析模块用于对目标融合图像进行视觉分析，检测产品质量。本发明能够获取高速生产线中产品的清晰图像，准确地检测产品质量，提高了生产效率。
Description
技术领域
本发明涉及智能制造技术领域，尤其涉及一种高速生产线产品质量视觉检测系统及方法。
背景技术
智能制造采用信息技术和自动化技术，将生产过程中的各个环节实现互联互通和智能化，从而实现生产过程的自动化、智能化和高效化。高效、高质是智能制造技术的重要特点。为了保证智能制造的产品质量，需要对生产线上的产品进行质量检测，传统制造业中常用的方法为人工抽检。但是目前在智能制造技术中，已经广泛采用高速生产线来大大提高产能，单位时间内的产品数量比传统制造大幅提升，而人工抽检的人力成本高，且抽检率难以保障。目前多采用机器视觉技术对生产线的产品进行智能化的质量检测。但是对于高速生产线，传统的机器视觉技术难以适应。机器视觉检测装置通常设置在生产线上方，对产品进行拍摄，而高速生产线的产品生产速度非常快，在生产线上的传输速度也非常快，导致机器视觉检测装置拍摄的产品图像存在拖影、不够清晰，这就给后续的图像识别带来的困难，造成误识别、漏识别。现有技术中也有通过降低曝光时间来减小拖影的，但是降低曝光同时带来了图像质量变差的问题，依然不利于后续的图像识别。
现有技术CN110910442A，公开了一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法，包括：搭建深度学习神经网络F拟合图像复原过程；制作清晰-模糊图像对(xi,yi)作为数据集，用损失函数评价复原图像与清晰图像xi相似性并反向传播误差优化F，完成训练获取最优F；获取高速移动对象运动模糊图像，由F获取复原图像；在完成相机标定下，复原图像通过主流机器视觉尺寸检测流程，获取感兴趣目标尺寸检测结果。该发明应用于动态成像下机器视觉尺寸检测，无需额外估算模糊核，依托大量数据集，应用神经网络直接学习低质量模糊图像至高质量清晰图像映射关系，消除运动模糊拖影，还原对象锐利边缘，补偿尺寸检测运动模糊误差，有助于高速移动对象机器视觉尺寸检测。该发明虽然利用深度学习算法消除高速运动的拖影，但是该发明的方法重度依赖步骤20中制作的大量清晰-模糊图像数据集，而高速生产线中的产品种类、数量都是丰富多样的，图像的采集和标注将耗费海量的工作，因此该发明的方法难以应用在高速生产线中。
发明内容
发明目的：针对以上问题，本发明提出一种高速生产线产品质量视觉检测系统及方法。技术方案：第一方面，本发明提出一种高速生产线产品质量视觉检测系统，包括，生产管理系统，视觉检测装置，视觉调参控制器，视觉检测主机，第一光电传感器，第二光电传感器；
优选地，所述视觉检测装置包括第一相机，第二相机，第三相机；
所述高速生产线中设置固定检测点与移动检测区间；
所述第一相机设置在固定检测点以采集产品图像；
所述移动检测区间包括拍摄起点与拍摄终点；
所述视觉调参控制器包括参数控制模块、速度校正模块；
所述参数控制模块用于配置视觉检测装置的高度和移动速度；
所述速度校正模块基于图像中的位置偏差值检测并校正视觉检测装置中第二相机、第三相机的移动速度；
所述视觉检测主机包括图像采集模块、图像选择模块、图像融合模块、视觉分析模块；所述图像采集模块用于获取第一相机、第二相机、第三相机拍摄的产品的第一图像、第二图像集合、第三图像集合；
所述图像选择模块用于根据图像的亮度占比情况从第二图像集合中获取第二目标图像、从第三图像集合中获取第三目标图像；
所述图像融合模块基于第一图像、第二目标图像、第三目标图像的边界与像素亮度获得目标融合图像；所述视觉分析模块用于对目标融合图像进行视觉分析，检测产品质量。
优选地，所述生产管理系统包含产品数据库，用于储存和调用高速生产线的生产参数，所述生产参数包括产品类型、产品尺寸、产品参考图像；
所述第二相机为从检测区间的拍摄起点向拍摄终点移动的相机，所述第三相机为从检测区间的拍摄终点向拍摄起点移动的相机；
所述第一光电传感器、第二光电传感器分别设置在拍摄起点与拍摄终点，用于产生第二相机和第三相机的往返触发信号。
优选地，所述参数控制模块包含高度调节模块、速度调节模块；
所述高度调节模块根据产品尺寸将第一相机、第二相机、第三相机升降至预设高度；
所述速度调节模块根据产品的传输速度调节设置第二相机、第三相机的移动速度。
第二方面，本发明还提供了一种高速生产线产品质量视觉检测方法，该方法包括：
S1、通过生产管理系统获取高速生产线的生产参数；
S2、监测高速生产线的产品的传输速度；
S3、基于生产参数和传输速度调节视觉检测装置的高度和移动速度；
S4、配置视觉检测装置中第二相机、第三相机的拍摄参数；所述拍摄参数包括拍摄起点、拍摄终点、拍摄间隔；拍摄起点与拍摄终点之间的区域构成移动检测区间；其中第二相机为从移动检测区间的拍摄起点向拍摄终点移动的相机，第三相机为从移动检测区间的拍摄终点向拍摄起点移动的相机；
S5、获取高速生产线中的各产品的第一图像、第二图像集合、第三图像集合；
S6、基于图像中的位置偏差值检测并校正视觉检测装置中第二相机、第三相机的移动速度；
S7、根据图像的亮度占比情况从第二图像集合中获取第二目标图像、从第三图像集合中获取第三目标图像；
S8、基于第一图像、第二目标图像、第三目标图像的边界与像素亮度获得目标融合图像；
S9、对目标融合图像进行缺陷检测，判断产品质量。
优选地，所述步骤S4包括：
S41、设置初始位置，第二相机、第三相机的初始位置分别设置在移动检测区间的拍摄起点与拍摄终点；
S42、根据拍摄起点设置的第一光电传感器触发拍摄动作；
S43、设置第二相机与第三相机的拍摄间隔，包括：
移动检测区间长度为L，第二相机与第三相机的移动速度绝对值为v，一个周期内要拍摄的次数为4×(n+1)，则拍摄间隔为：
；
其中，n为大于等于0的整数；
S44、根据拍摄终点设置的第二光电传感器和拍摄起点设置的第一光电传感器触发返程动作。
优选地，所述步骤S5包括：
S51、第一相机在主检测点采集产品的第一图像；
S52、第二相机采集产品的图像构成第二图像集合，所述第二图像集合中包含(2n+3)个图像；
S53、第三相机采集产品的图像构成第三图像集合，所述第三相机在返程中共采集(2n+1)个图像；第三图像集合中返程路线的中间值为拍摄周期内的第3n+4次拍摄，因此需要选择范围内的图像作为第三图像集合，其中m为预设正整数值。
优选地，所述步骤S6包括：
S61、获取第二图像集合中各图像的产品的位置偏差值H；其中位置偏差值为图像中产品中心点与图像中点的偏差距离；
S62、判断相邻图像的位置偏差值H是否大于预设阈值；若是则进入步骤S63，否则进入步骤S7；
S63、判断相邻图像的位置偏差值的变化值D的绝对值是否大于预设值；
S64、根据变化值D调整视觉检测装置的移动速度；
若D为正，则表明视觉检测装置的移动速度过大，则发送指令降低移动速度，返回步骤S5；
若D为负，则表明视觉检测装置的移动速度过小，则发送指令提高移动速度，返回步骤S5；
若D为零，则表明视觉检测装置的移动速度与传输速度相同，只是初始位置存在偏差，无需调整移动速度，进入步骤S7。
优选地，所述步骤S7包括：
S71、获取第二图像集合、第三图像集合中各图像的每个像素的亮度值；
S72、根据像素的亮度值对每个图像的所有像素进行聚类，划分为第一亮度类别、第二亮度类别、第三亮度类别；其中第一亮度类别＞第二亮度类别＞第三亮度类别；
S73、获取第一亮度类别、第二亮度类别、第三亮度类别各自包含的像素数量m1、m2、m3；
S74、计算第二亮度类别的像素占比E：
；
S75、将第二图像集合中第二亮度类别的像素占比E最低的图像作为第二目标图像；将第三图像集合中第二亮度类别的像素占比E最低的图像作为第三目标图像。
优选地，所述步骤S8包括：
S81、对第一图像、第二目标图像、第三目标图像进行边缘检测；
S82、融合第一图像和第三目标图像，获得第一融合图像；包括：对比第一图像和第三目标图像的边界，获得第一图像中的第一拖影区域，以及第三目标图像中与第一拖影区域对应的背景像素；使用第三目标图像的背景像素填充第一图像中的第一拖影区域；其中，第一拖影区域为第一图像中的拖影区域中与第三目标图像的拖影不重叠的部分；
S83、基于第二目标图像和第一融合图像，获得目标融合图像；包括：对比第二目标图像与第一融合图像的边界，判断第二目标图像中与第二拖影区域对应的像素是否有边界；若是，则使用第二目标图像边界外的背景像素填充第二拖影区域，获得目标融合图像；其中，第二拖影区域为第一图像中的拖影区域中与第三目标图像的拖影重叠的部分；若否则进入步骤S84；
S84、识别第二目标图像中的拖影像素，包括：对比第二目标图像与第一融合图像的边界，获得第二目标图像中的第三拖影区域；基于第三拖影区域的像素亮度，获取第一融合图像中的第二拖影区域；使用背景像素填充第二拖影区域的像素，从而获得目标融合图像。
第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的高速生产线产品质量视觉检测方法中的步骤。
本发明相对于现有技术具有以下有益效果：
1、本发明的检测系统和检测方法是针对高速生产线进行设计的，其视觉检测装置包含三个相机，其中第一相机为固定检测相机，第二相机和第三相机为移动检测相机、在移动检测区间内循环往复地拍摄；基于三个相机拍摄的图像进行融合处理，通过比较三个图像的边界识别拖影区域，并使用背景像素进行填充，提高了图像的清晰度，能够提高图像识别的准确性。
2、本发明根据产品的尺寸调节第一相机、第二相机、第三相机的拍摄高度，保证图像中的尺寸相同，提高视觉检测准确性，避免了软件检测缩放图像带来的漏检测、误检测的问题。
3、本发明根据产品的传输速度调节第二相机、第三相机的拍摄间隔参数，从而保证第二相机、第三相机在移动检测区间的起点、中点和终点附近都能够获取可用的图像。
4、本发明还基于图像的位置偏差来校正第二相机、第三相机的移动速度，从而保证第二相机、第三相机与产品传输速度相匹配，避免偏差过大导致拍摄不全、拍摄错位。
5、本发明从第二相机、第三相机拍摄的照片中进行选择，基于图像的像素亮度占比来选出第二目标图像和第三目标图像，保证了图像的质量。
附图说明
图1为本发明实施例提供的一种高速生产线产品质量视觉检测系统结构示意图；
图2为本发明实施例提供的视觉检测装置示意图；
图3为本发明实施例提供的一种高速生产线产品质量视觉检测方法流程图；
图4为本发明实施例提供的第一图像和第三目标图像融合示意图；
图5为本发明实施例提供的一种第二目标图像融合示意图；
图6为本发明实施例提供的另一种第二目标图像融合示意图。
具体实施方式
显然，本领域技术人员基于本发明的宗旨所做的许多修改和变化属于本发明的保护范围。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当称元件、组件被“连接”到另一元件、组件时，它可以直接连接到其他元件或者组件，或者也可以存在中间元件或者组件。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例提供一种高速生产线产品质量视觉检测系统，具体请参考图1，图1为本发明实施例提供的一种高速生产线产品质量视觉检测系统结构示意图，系统包括：
生产管理系统，视觉检测装置，视觉调参控制器，视觉检测主机，第一光电传感器，第二光电传感器；
所述视觉检测装置包括第一相机，第二相机，第三相机；所述高速生产线中设置固定检测点与移动检测区间；所述第一相机设置在固定检测点以采集产品图像；所述移动检测区间包括拍摄起点与拍摄终点；
具体请参考图2，图2为本发明实施例提供的视觉检测装置示意图，其中的圆形○为高速生产线上高速传输的产品，三角形△为第一相机，A为拍摄起点，B为拍摄终点，AB之间的区间为移动检测区间；由A移动至B的方块□为第二相机，由B移动至A的方块□为第三相机。
所述视觉调参控制器包括参数控制模块、速度校正模块；
所述参数控制模块用于配置视觉检测装置的高度和移动速度；
所述速度校正模块基于图像中的位置偏差值检测并校正视觉检测装置中第二相机、第三相机的移动速度；
所述视觉检测主机包括图像采集模块、图像选择模块、图像融合模块、视觉分析模块；
所述图像采集模块用于获取第一相机、第二相机、第三相机拍摄的产品的第一图像、第二图像集合、第三图像集；
所述图像选择模块用于根据图像的亮度占比情况从第二图像集合中获取第二目标图像、从第三图像集合中获取第三目标图像；
所述图像融合模块基于第一图像、第二目标图像、第三目标图像的边界与像素亮度获得目标融合图像；
所述视觉分析模块用于对目标融合图像进行视觉分析，检测产品质量。
优选地，所述生产管理系统包含产品数据库，用于储存和调用高速生产线的生产参数，所述生产参数包括产品类型、产品尺寸、产品参考图像；
所述第二相机为从检测区间的拍摄起点向拍摄终点移动的相机，所述第三相机为从检测区间的拍摄终点向拍摄起点移动的相机；
所述第一光电传感器、第二光电传感器分别设置在拍摄起点与拍摄终点，用于产生第二相机和第三相机的往返触发信号。
优选地，所述视觉调参控制器包含高度调节模块、速度调节模块；
所述高度调节模块根据产品尺寸将第一相机、第二相机、第三相机升降至预设高度；
所述速度调节模块根据产品的传输速度调节设置第二相机、第三相机的移动速度。
实施例二
本发明实施例还提供了一种高速生产线产品质量视觉检测方法，具体请参考图3，图3为本发明实施例提供的一种高速生产线产品质量视觉检测方法流程图，该方法包括步骤：
S1、通过生产管理系统获取高速生产线的生产参数；
所述生产管理系统包含产品数据库，用于储存和调用生产参数，所述生产参数包括产品类型、产品尺寸、产品参考图像；
基于产品类型，从数据库中获取匹配的产品参考图像；
S2、监测高速生产线的产品的传输速度；
包括，基于高速生产线上设置的若干光电传感器来检测产品的传输速度；
根据光电传感器来计算实际生产速度；根据第一光电传感器和第二光电传感器的信号时间，以及第一光电传感器和第二光电传感器之间的距离，可以计算出产品的传输速度。
S3、基于生产参数和传输速度调节视觉检测装置的高度和移动速度；
包括根据产品尺寸将第一相机、第二相机、第三相机升降至预设高度；
设置第二相机、第三相机的移动速度等于产品传输速度；
目的是保证图像中的尺寸相同，提高视觉检测准确性；高度与产品种类有关，从而使产品在图像中的尺寸是标准的，此处不通过软件缩放的原因是，可能会有加工生产的缺陷导致尺寸大了或小了一圈，如果软件缩放就漏检测了；
S4、配置视觉检测装置中第二相机、第三相机的拍摄参数；所述拍摄参数包括拍摄起点、拍摄终点、拍摄间隔；拍摄起点与拍摄终点之间的区域构成检测区间；其中第二相机为从检测区间的拍摄起点向拍摄终点移动的相机，第三相机为从检测区间的拍摄终点向拍摄起点移动的相机；
S41、设置初始位置，第二相机、第三相机的初始位置分别设置在检测区间的拍摄起点与拍摄终点；
S42、根据拍摄起点设置的第一光电传感器触发拍摄动作；
S43、设置第二相机与第三相机的拍摄间隔，包括：
移动检测区间长度为L，第二相机与第三相机的移动速度绝对值为v，一个周期内要拍摄的次数为4×(n+1)，则拍摄间隔为：
；
其中，n为大于等于0的整数；
S44、根据拍摄终点设置的第二光电传感器和拍摄起点设置的第一光电传感器触发返程动作；
S5、获取高速生产线中的各产品的第一图像、第二图像集合、第三图像集合；
S51、第一相机在固定检测点采集产品的第一图像；
S52、第二相机采集产品的图像构成第二图像集合，所述第二图像集合中包含(2n+3)个图像；
S53、第三相机采集产品的图像构成第三图像集合，所述第三相机在返程中共采集(2n+1)个图像；第三图像集合中返程路线的中间值为拍摄周期内的第3n+4次拍摄，因此需要选择范围内的图像作为第三图像集合，其中m为预设正整数值。
S6、基于图像中的位置偏差值检测并校正视觉检测装置中第二相机、第三相机的移动速度；
根据副摄图像中的产品位置，可判断是否需要校正，如果位置偏移，则校正；可以理解的是，如果只是偏差一点，依然能够拍摄到产品的全貌，但是，如果放任误差不管，则累积偏差越来越大，导致最终仅能拍摄到产品的一部分，甚至偏差到相邻的产品上，这就导致容易出现漏检误检；
S61、获取第二图像集合中各图像的产品的位置偏差值H；其中位置偏差值为图像中产品中心点与图像中点的偏差距离；
S62、判断相邻图像的位置偏差值H是否大于预设阈值；若是则进入步骤S63，否则进入步骤S7；
S63、判断相邻图像的位置偏差值的变化值D的绝对值是否大于预设值；
S64、根据变化值D调整视觉检测装置的移动速度；
若D为正，则表明视觉检测装置的移动速度过大，则发送指令降低移动速度，返回步骤S5；
若D为负，则表明视觉检测装置的移动速度过小，则发送指令提高移动速度，返回步骤S5；
若D为零，则表明视觉检测装置的移动速度与传输速度相同，只是初始位置存在偏差，无需调整移动速度，进入步骤S7；
S7、根据图像的亮度占比情况从第二图像集合中获取第二目标图像、从第三图像集合中获取第三目标图像；
S71、获取第二图像集合、第三图像集合中各图像的每个像素的亮度值；
S72、根据像素的亮度值对每个图像的所有像素进行聚类，划分为第一亮度类别、第二亮度类别、第三亮度类别；其中第一亮度类别＞第二亮度类别＞第三亮度类别；
S73、获取第一亮度类别、第二亮度类别、第三亮度类别各自包含的像素数量m1、m2、m3；
S74、计算第二亮度类别的像素占比E：
；
S75、将第二图像集合中第二亮度类别的像素占比E最低的图像作为第二目标图像；将第三图像集合中第二亮度类别的像素占比E最低的图像作为第三目标图像；
本发明根据像素亮度分离度，来从图像集合中选择出最佳图像；本实施例中的产品为五金件；产品的亮度很高，背景的亮度很黑，拖影的亮度相对比较灰；因此根据占比情况，判断第二亮度类别的像素占比E最低的图像即为拖影最少的图像，作为目标图像；
S8、基于第一图像、第二目标图像、第三目标图像的边界与像素亮度获得目标融合图像；
S81、对第一图像、第二目标图像、第三目标图像进行边缘检测；
本实施例中，边缘检测采用梯度判断法，边界的亮度梯度值较高，因此能够判断非拖影区域的边界；现有技术中还包括其他边缘检测方法，可根据情况选择使用；
S82、融合第一图像和第三目标图像，获得第一融合图像；
包括：对比第一图像和第三目标图像的边界，获得第一图像中的第一拖影区域，以及第三目标图像中与第一拖影区域对应的背景像素；使用第三图像的背景像素填充第一图像中的第一拖影区域；
其中，第一拖影区域为第一图像中的拖影区域中与第三图像的拖影不重叠的部分；
理论上第二相机的移动速度与产品的传输速度相同，理想情况下两者之间的相对速度为静止，但是实际生产中，考虑到产品重量、传输带的速度控制精度、第二相机的移动晃动干扰等因素，第二相机与产品之间仍然有一定的相对速度，导致第二目标图像中存在一定的拖影；并且，由于第二相机与产品之间的相对速度并不是稳定不变的，故第二目标图像中的拖影方向并不确定，可能会出现图4与图5的两种情况；
具体请参考图4，图4为本发明实施例提供的第一图像和第三目标图像融合示意图。设第一相对速度为第一相机与产品的相对速度，第二相对速度为第三相机与产品的相对速度，由于第一相对速度与第二相对速度的方向不同，因此第一相机和第三相机所拍摄的图像的拖影方向也不同，因此通过边缘检测能够去除第一图像中的第一拖影区域；图4中圆形为产品，虚线框为拖影。
S83、基于第二目标图像和第一融合图像，获得目标融合图像；
包括：对比第二目标图像与第一融合图像的边界，判断第二目标图像中与第二拖影区域对应的像素是否完全是边界；若是，则使用第二目标图像边界外的背景像素填充第二拖影区域，获得目标融合图像；其中，第二拖影区域为第一图像中的拖影区域中与第三图像的拖影重叠的部分；若否则进入步骤S84；
具体请参考图5，图5为本发明实施例提供的一种第二目标图像融合示意图：图5中的第二目标图像的拖影在产品上方，因此第二目标图像中与第二拖影区域对应的像素完全是边界，因此直接使用第二目标图像边界外的背景像素填充第二拖影区域，即可获得目标融合图像；
S84、识别第二目标图像中的拖影像素，包括：
对比第二目标图像与第一融合图像的边界，获得第二目标图像中的第三拖影区域；基于第三拖影区域的像素亮度，获取第一融合图像中的第二拖影区域；使用背景像素填充第二拖影区域的像素，从而获得目标融合图像。
具体请参考图6，图6为本发明实施例提供的另一种第二目标图像融合示意图：图6中的第二目标图像的拖影在产品下方，因此第二目标图像中与第二拖影区域对应的像素并非完全是边界，通过边界对比获取第二目标图像中的与第一融合图像的边界对应的拖影区域，即第三拖影区域；获取第三拖影区域的像素亮度，从而获取了拖影区域的亮度特征，这样就能够检测出第一融合图像中的第二拖影区域；使用背景像素填充第二拖影区域的像素，从而获得目标融合图像。其中，S84中的背景像素可以是根据第一融合图像的已识别的边界外的背景中的像素获得的；
S9、对融合图像进行缺陷检测，判断产品质量。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本发明的范围。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
Claims (10)
1.一种高速生产线产品质量视觉检测系统，包括，生产管理系统，视觉检测装置，视觉调参控制器，视觉检测主机，第一光电传感器，第二光电传感器；其特征在于，所述视觉检测装置包括第一相机，第二相机，第三相机；所述高速生产线中设置固定检测点与移动检测区间；所述第一相机设置在固定检测点以采集产品图像；所述移动检测区间包括拍摄起点与拍摄终点；所述视觉调参控制器包括参数控制模块、速度校正模块；所述参数控制模块用于配置视觉检测装置的高度和移动速度；所述速度校正模块基于图像中的位置偏差值检测并校正视觉检测装置中第二相机、第三相机的移动速度；所述视觉检测主机包括图像采集模块、图像选择模块、图像融合模块、视觉分析模块；所述图像采集模块用于获取第一相机、第二相机、第三相机拍摄的产品的第一图像、第二图像集合、第三图像集合；所述图像选择模块用于根据图像的亮度占比情况从第二图像集合中获取第二目标图像、从第三图像集合中获取第三目标图像；所述图像融合模块基于第一图像、第二目标图像、第三目标图像的边界与像素亮度获得目标融合图像；所述视觉分析模块用于对目标融合图像进行视觉分析，检测产品质量。
2.根据权利要求1所述的高速生产线产品质量视觉检测系统，其特征在于，所述生产管理系统包含产品数据库，用于储存和调用高速生产线的生产参数，所述生产参数包括产品类型、产品尺寸、产品参考图像；
所述第二相机为从检测区间的拍摄起点向拍摄终点移动的相机，所述第三相机为从检测区间的拍摄终点向拍摄起点移动的相机；
所述第一光电传感器、第二光电传感器分别设置在拍摄起点与拍摄终点，用于产生第二相机和第三相机的往返触发信号。
3.根据权利要求1所述的高速生产线产品质量视觉检测系统，其特征在于，所述参数控制模块包含高度调节模块、速度调节模块；
所述高度调节模块根据产品尺寸将第一相机、第二相机、第三相机升降至预设高度；
所述速度调节模块根据产品的传输速度调节设置第二相机、第三相机的移动速度。
4.一种应用于权利要求1-3中任一项所述系统的高速生产线产品质量视觉检测方法，其特征在于，该方法包括：
S1、通过生产管理系统获取高速生产线的生产参数；
S2、监测高速生产线的产品的传输速度；
S3、基于生产参数和传输速度调节视觉检测装置的高度和移动速度；
S4、配置视觉检测装置中第二相机、第三相机的拍摄参数；所述拍摄参数包括拍摄起点、拍摄终点、拍摄间隔；拍摄起点与拍摄终点之间的区域构成移动检测区间；其中第二相机为从移动检测区间的拍摄起点向拍摄终点移动的相机，第三相机为从移动检测区间的拍摄终点向拍摄起点移动的相机；
S5、获取高速生产线中的各产品的第一图像、第二图像集合、第三图像集合；
S6、基于图像中的位置偏差值检测并校正视觉检测装置中第二相机、第三相机的移动速度；
S7、根据图像的亮度占比情况从第二图像集合中获取第二目标图像、从第三图像集合中获取第三目标图像；
S8、基于第一图像、第二目标图像、第三目标图像的边界与像素亮度获得目标融合图像；
S9、对目标融合图像进行缺陷检测，判断产品质量。
5.根据权利要求4所述的高速生产线产品质量视觉检测方法，其特征在于，所述S4包括：
S41、设置初始位置，第二相机、第三相机的初始位置分别设置在移动检测区间的拍摄起点与拍摄终点；
S42、根据拍摄起点设置的第一光电传感器触发拍摄动作；
S43、设置第二相机与第三相机的拍摄间隔，包括：
移动检测区间长度为L，第二相机与第三相机的移动速度绝对值为v，一个周期内要拍摄的次数为4×(n+1)，则拍摄间隔为：
；
其中，n为大于等于0的整数；
S44、根据拍摄终点设置的第二光电传感器和拍摄起点设置的第一光电传感器触发返程动作。
6.根据权利要求5所述的高速生产线产品质量视觉检测方法，其特征在于，所述S5包括：
S51、第一相机在主检测点采集产品的第一图像；
S52、第二相机采集产品的图像构成第二图像集合，所述第二图像集合中包含(2n+3)个图像；
S53、第三相机采集产品的图像构成第三图像集合，所述第三相机在返程中共采集(2n+1)个图像；第三图像集合中返程路线的中间值为拍摄周期内的第3n+4次拍摄，因此需要选择范围内的图像作为第三图像集合，其中m为预设正整数值。
7.根据权利要求6所述的高速生产线产品质量视觉检测方法，其特征在于，所述S6包括：
S61、获取第二图像集合中各图像的产品的位置偏差值H；其中位置偏差值为图像中产品中心点与图像中点的偏差距离；
S62、判断相邻图像的位置偏差值H是否大于预设阈值；若是则进入步骤S63，否则进入步骤S7；
S63、判断相邻图像的位置偏差值的变化值D的绝对值是否大于预设值；
S64、根据变化值D调整视觉检测装置的移动速度；
若D为正，则表明视觉检测装置的移动速度过大，则发送指令降低移动速度，返回步骤S5；
若D为负，则表明视觉检测装置的移动速度过小，则发送指令提高移动速度，返回步骤S5；
若D为零，则表明视觉检测装置的移动速度与传输速度相同，只是初始位置存在偏差，无需调整移动速度，进入步骤S7。
8.根据权利要求7所述的高速生产线产品质量视觉检测方法，其特征在于，所述S7包括：
S71、获取第二图像集合、第三图像集合中各图像的每个像素的亮度值；
S72、根据像素的亮度值对每个图像的所有像素进行聚类，划分为第一亮度类别、第二亮度类别、第三亮度类别；其中第一亮度类别＞第二亮度类别＞第三亮度类别；
S73、获取第一亮度类别、第二亮度类别、第三亮度类别各自包含的像素数量m1、m2、m3；
S74、计算第二亮度类别的像素占比E
；
S75、将第二图像集合中第二亮度类别的像素占比E最低的图像作为第二目标图像；将第三图像集合中第二亮度类别的像素占比E最低的图像作为第三目标图像。
9.根据权利要求8所述的高速生产线产品质量视觉检测方法，其特征在于，所述S8包括：
S81、对第一图像、第二目标图像、第三目标图像进行边缘检测；
S82、融合第一图像和第三目标图像，获得第一融合图像；包括：对比第一图像和第三目标图像的边界，获得第一图像中的第一拖影区域，以及第三目标图像中与第一拖影区域对应的背景像素；使用第三目标图像的背景像素填充第一图像中的第一拖影区域；其中，第一拖影区域为第一图像中的拖影区域中与第三目标图像的拖影不重叠的部分；
S83、基于第二目标图像和第一融合图像，获得目标融合图像；包括：对比第二目标图像与第一融合图像的边界，判断第二目标图像中与第二拖影区域对应的像素是否有边界；若是，则使用第二目标图像边界外的背景像素填充第二拖影区域，获得目标融合图像；其中，第二拖影区域为第一图像中的拖影区域中与第三目标图像的拖影重叠的部分；若否则进入步骤S84；
S84、识别第二目标图像中的拖影像素，包括：对比第二目标图像与第一融合图像的边界，获得第二目标图像中的第三拖影区域；基于第三拖影区域的像素亮度，获取第一融合图像中的第二拖影区域；使用背景像素填充第二拖影区域的像素，从而获得目标融合图像。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求4-9中任一项所述高速生产线产品质量视觉检测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311515864.2A CN117232396B (zh) | 2023-11-15 | 2023-11-15 | 一种高速生产线产品质量视觉检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311515864.2A CN117232396B (zh) | 2023-11-15 | 2023-11-15 | 一种高速生产线产品质量视觉检测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117232396A true CN117232396A (zh) | 2023-12-15 |
| CN117232396B CN117232396B (zh) | 2024-02-06 |
Family
ID=89086526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311515864.2A Active CN117232396B (zh) | 2023-11-15 | 2023-11-15 | 一种高速生产线产品质量视觉检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117232396B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117452222A (zh) * | 2023-12-21 | 2024-01-26 | 深圳市安仕新能源科技有限公司 | 一种bms生产线质量控制方法、系统及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011053200A (ja) * | 2009-08-05 | 2011-03-17 | Jfe Steel Corp | 表面検査装置および方法 |
| WO2013144331A1 (en) * | 2012-03-29 | 2013-10-03 | Anteleon Imaging Sàrl | Imaging device for capturing images of moving objects |
| WO2014156396A1 (ja) * | 2013-03-27 | 2014-10-02 | 東レエンジニアリング株式会社 | 高速撮像方法および高速撮像装置 |
| CN110470218A (zh) * | 2019-08-15 | 2019-11-19 | 浙江工业大学之江学院 | 一种球头销视觉检测系统及球头销检测设备 |
| CN110910442A (zh) * | 2019-11-29 | 2020-03-24 | 华南理工大学 | 一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法 |
| WO2022047701A1 (zh) * | 2020-09-03 | 2022-03-10 | 深圳市大疆创新科技有限公司 | 图像处理方法和装置 |
-
2023
- 2023-11-15 CN CN202311515864.2A patent/CN117232396B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011053200A (ja) * | 2009-08-05 | 2011-03-17 | Jfe Steel Corp | 表面検査装置および方法 |
| WO2013144331A1 (en) * | 2012-03-29 | 2013-10-03 | Anteleon Imaging Sàrl | Imaging device for capturing images of moving objects |
| WO2014156396A1 (ja) * | 2013-03-27 | 2014-10-02 | 東レエンジニアリング株式会社 | 高速撮像方法および高速撮像装置 |
| CN110470218A (zh) * | 2019-08-15 | 2019-11-19 | 浙江工业大学之江学院 | 一种球头销视觉检测系统及球头销检测设备 |
| CN110910442A (zh) * | 2019-11-29 | 2020-03-24 | 华南理工大学 | 一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法 |
| WO2022047701A1 (zh) * | 2020-09-03 | 2022-03-10 | 深圳市大疆创新科技有限公司 | 图像处理方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 王海栋;赵巨峰;高秀敏;: "药品生产线瓶盖缝隙的视觉检测技术研究", 光学仪器, no. 04 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117452222A (zh) * | 2023-12-21 | 2024-01-26 | 深圳市安仕新能源科技有限公司 | 一种bms生产线质量控制方法、系统及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117232396B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112179910B (zh) | 一种锂电池极片瑕疵实时检测处理方法和系统 | |
| CN117232396B (zh) | 一种高速生产线产品质量视觉检测系统及方法 | |
| CN107804514B (zh) | 一种基于图像识别的牙刷分拣方法 | |
| CN107014291B (zh) | 一种物料精密转载平台的视觉定位方法 | |
| CN110838097A (zh) | 一种基于机器视觉的输送带偏移测量方法 | |
| CN116423005B (zh) | 一种提高焊接精度的锡焊工艺优化方法及系统 | |
| CN110689512B (zh) | 一种孔内全景视频环状图像快速拼接融合成图方法 | |
| CN110260795B (zh) | 一种基于增量绝对光栅尺的绝对位移检测方法 | |
| CN108871185B (zh) | 零件检测的方法、装置、设备以及计算机可读存储介质 | |
| CN114120051A (zh) | 一种胶条边缘点的筛选方法 | |
| CN114199127A (zh) | 基于机器视觉的汽车零件尺寸检测系统及方法 | |
| CN111429449B (zh) | 一种型材滚弯件在线尺寸检测方法及系统 | |
| CN111626946B (zh) | 用于高速物料传输视觉检测系统的运动模糊核测量方法 | |
| CN110910442B (zh) | 一种基于kernel-free图像复原的高速移动对象机器视觉尺寸检测方法 | |
| CN116704518A (zh) | 一种文本识别方法及装置、电子设备、存储介质 | |
| CN111062907B (zh) | 一种基于几何变换的Homography变换方法 | |
| CN113936291A (zh) | 一种基于机器视觉的铝模板质检、回收方法 | |
| CN113588655A (zh) | 一种mdf纤维线条表面缺陷的检测装置及其工作方法 | |
| CN108230285A (zh) | 基于机器视觉的挡圈质量检测方法 | |
| CN113406920A (zh) | 一种基于机器视觉的箱体定位控制系统及其方法 | |
| CN111931651B (zh) | 一种视觉检测图像处理系统及其处理方法 | |
| US7697780B2 (en) | System and method for filtering image noise | |
| Chu et al. | Edge-Eye: Rectifying Millimeter-level Edge Deviation in Manufacturing using Camera-enabled IoT Edge Device | |
| CN114782436B (zh) | Pcb缺陷检测方法、电路板计量测量方法及制作方法 | |
| CN115464661B (zh) | 一种基于数字孪生的机器人控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |