CN116205907A - 一种基于机器视觉的饰板缺陷检测方法 - Google Patents
一种基于机器视觉的饰板缺陷检测方法 Download PDFInfo
- Publication number
- CN116205907A CN116205907A CN202310463525.8A CN202310463525A CN116205907A CN 116205907 A CN116205907 A CN 116205907A CN 202310463525 A CN202310463525 A CN 202310463525A CN 116205907 A CN116205907 A CN 116205907A
- Authority
- CN
- China
- Prior art keywords
- skeleton
- determining
- information
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000007547 defect Effects 0.000 title claims abstract description 103
- 238000001514 detection method Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 238000004519 manufacturing process Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 230000000877 morphologic effect Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 14
- 238000000926 separation method Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 7
- 230000001629 suppression Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000005096 rolling process Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims 1
- 238000001746 injection moulding Methods 0.000 description 11
- 238000012423 maintenance Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000000243 solution Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开提供一种基于机器视觉的饰板缺陷检测方法，包括获取生产线中饰板的初始图像，对所述初始图像进行图像预处理后确定所述初始图像对应的目标图像；基于预先构建的骨架提取模型提取所述目标图像中所述饰板对应的骨架信息，并确定所述骨架信息对应的边缘信息，所述骨架提取模型基于改进后的最大圆盘算法构建，并结合自适应结构元素提取输入模型的骨架信息以及边缘信息；根据所述骨架信息以及所述边缘信息，通过预先构建的缺陷检测模型确定所述目标图像中是否存在缺陷，若所述目标图像中存在缺陷，确定所述缺陷的类别，所述缺陷检测模型基于神经网络构建，用于特征提取以及特征分类。本公开的方法能够快速且准确地识别饰板缺陷。
Description
技术领域
本公开涉及图像识别技术领域，尤其涉及一种基于机器视觉的饰板缺陷检测方法。
背景技术
在连续的注塑制品生产过程中，由于原料的物性参数发生变化、注塑机设备的运行状态和控制精度等发生变化、生产环境的变化等这些复杂多变的因素共同影响了注塑产品的质量，并不可避免的在生产的过程当中产生各种各样的缺陷，如常见的短射、飞边、裂纹、翘曲、气泡等缺陷，这些缺陷不仅影响产品的外观，且严重影响制品的使用性能，因此对注塑生产中制品的质量进行检测从而保证产品质量是非常重要的一个环节。当前注塑制品表面质量检测大多依靠人工离线抽样检测、自动化程度不高、检测效率低下，不符合现代工业检测中的实时、在线、非接触的要求，且容易受到检测人员主观意志的影响，导致检测结果的因人而异、因时而异，无法保证人眼视觉检测 持续、稳定的进行，且在检测的过程中，人为的疏漏不可避免的造成产品的漏检、错检。
注塑生产并不是一个十分稳定的过程，由于材料性能、注塑机性能的波动以及生产环境等因素的影响，时常会出现在脱模后制品部分残留甚至制品顶出失败等型腔异常现象，若在型腔异常的情况下合模继续进行下一个生产周期，不仅会严重影响注塑产品的质量，而且会损坏模具，增加了生产成本。当前这些模具型腔异常现象的防止大多是依靠工人在现场不间断监控，需要人员时刻在注塑生产现场，增大了工人的劳动量，自动化程度低，且当生产环境恶劣时，会对工人的身体健康、人生安全带来一定的隐患，因此一个自动化、智能化的模具异常检测系统是很有必要的。
发明内容
本公开实施例提供一种基于机器视觉的饰板缺陷检测方法，能够至少解决现有技术中的部分问题，也即人工检测效率低下，且容易出现漏检、错检的问题。
本公开实施例的第一方面，
提供一种基于机器视觉的饰板缺陷检测方法，包括：
获取生产线中饰板的初始图像，对所述初始图像进行图像预处理后确定所述初始图像对应的目标图像；
基于预先构建的骨架提取模型提取所述目标图像中所述饰板对应的骨架信息，并确定所述骨架信息对应的边缘信息，其中，所述骨架提取模型基于改进后的最大圆盘算法构建，并结合自适应结构元素提取输入模型的骨架信息以及边缘信息；
根据所述骨架信息以及所述边缘信息，通过预先构建的缺陷检测模型确定所述目标图像中是否存在缺陷，若所述目标图像中存在缺陷，确定所述缺陷的类别，其中，所述缺陷检测模型基于神经网络构建，用于特征提取以及特征分类。
在一种可选的实施方式中，
所述基于预先构建的骨架提取模型提取所述目标图像中所述饰板对应的骨架信息包括：
基于最大圆盘法确定所述目标图像中所述饰板的初始骨架信息，并对所述初始骨架信息进行迭代腐蚀，确定腐蚀像素点集合，确定所述腐蚀像素点集合与所述初始骨架信息的分离度，
若所述腐蚀像素点集合与所述初始骨架相分离，扫描所述初始骨架的所有骨架点，确定所述初始骨架信息的第一端点和第一连接点；
从任意端点出发沿所述初始骨架进行搜索，直到初次遇到所述第一端点或所述第一连接点为止，将所经过的所有骨架点构建为骨架分支，并确定所述骨架分支的虚拟度，并将所述虚拟度大于预设分支阈值的骨架分支删除，确定优化骨架信息，其中，所述虚拟度用于指示当前骨架分支中的骨架点与所有骨架分支中的骨架点的比值；
将所述优化骨架信息所有的第二端点和第二连接点初始化为控制点，并基于所述控制点进行近似搜索，确定所述控制点与所述优化骨架中任意第二端点或者第二连接点的最大近似偏差；
若所述最大近似偏差大于预设偏差阈值，则停止当前近似搜索，重新选定其他控制点，直至所有优化骨架的控制点均完成近似搜索后退出。
在一种可选的实施方式中，
确定所述腐蚀像素点集合与所述初始骨架信息的分离度如下公式所示：
其中，d(P,S)表示腐蚀像素点集合S任一点与所述初始骨架信息的骨架点P的最小欧式距离；最小欧式距离越远，则分离度越高；
确定最大近似偏差的方法如下公式所示：
其中，E(G n )表示最大近似偏差，G n 表示优化骨架的向量，E DP (G n )表示优化骨架对应的初始近似偏差，R表示修正参数，T表示最大迭代次数，DP t 表示第t次迭代控制点集合，sgn (DP t )表示近似搜索函数，(y t -m t )表示惩罚项，y t 、m t 分别表示第t次迭代时的斜率和截距。
在一种可选的实施方式中，
所述确定所述骨架信息对应的边缘信息包括：
基于自适应结构元素构建形态学梯度算子，根据所述形态学梯度算子确定目标图像对应的梯度图像；
通过预设的微分算子检测所述梯度图像中各个原始像素的灰度梯度方向，确定所述梯度图像中形态学梯度的最快变化方向，提取所述梯度图像对应的梯度方向；
根据非极大值抑制方法对所述梯度方向进行边缘细化，确定对所述梯度方向进行边缘细化的梯度图像的平均连线值以及平均夹角值；
若对所述梯度方向进行边缘细化的梯度图像的像素点与中心点的中心连线值小于所述平均连线值，且对所述梯度方向进行边缘细化的梯度图像的像素点与中心点的中心夹角值小于所述平均夹角值，则将该像素点作为边缘像素点构建所述目标图像的边缘信息。
在一种可选的实施方式中，
所述方法还包括构建自适应结构元素包括：
令K为预先设定的结构元素的尺寸，以SxS窗口扫描图像，其中K≤S；
计算当前像素点邻域内各像素点的隶属度值；
按隶属度值的大小对邻域内各像素点进行排序；
取隶属度值最大的领域内各像素点的拓扑位置，并构造具有相同形状的结构元素。
在一种可选的实施方式中，
所述根据所述骨架信息以及所述边缘信息，通过预先构建的缺陷检测模型确定所述目标图像中是否存在缺陷，若所述目标图像中存在缺陷，确定所述缺陷的类别包括：
将所述骨架信息以及所述边缘信息输入到缺陷检测模型，通过所述缺陷检测模型的编码过程中的多次卷积和池化操作提取所述骨架信息以及所述边缘信息的多级特征，并使用残差结构加快训练速率，作为解码过程中的监督参考；
通过上采样及下采样操作调整维度，使编码过程中的多级相邻特征具有相同的分辨率，并进行同分辨率特征图的融合；在解码过程中通过多次上采样和卷积操作，使深层的抽象特征通过参考编码中同分辨率的特征图像逐步恢复空间信息：
通过前向传播学习确定所述骨架信息以及所述边缘信息的有效特征，并返回原始图像位置与标签图像中的缺陷逐像素点对应，得到多类缺陷特征的自适应属性；在前向传播学习中，输出特征图像和标签图像用于计算损失；
融合预测图将其输入softmax分类层与标签数据进行对比，并使交叉熵损失函数在不断迭代学习的过程中最小化产生最终预测，并求出像素分类数组中置信度最大的分类。
在一种可选的实施方式中，
所述缺陷检测模型的损失函数如下公式所示：
其中，L class 表示分类损失，S表示缺陷点的数量，B表示边缘点的数量，
表示第i个缺陷点和第j个边缘点对应的采样特征值，/>
、/>
分别表示第i个缺陷点以及第j个边缘点对应的前向损失，/>
、/>
分别表示第i个缺陷点和第j个边缘点对应的置信度损失，w表示权重系数。
本公开实施例的第二方面，
提供一种基于机器视觉的饰板缺陷检测系统，包括：
第一单元，用于获取生产线中饰板的初始图像，对所述初始图像进行图像预处理后确定所述初始图像对应的目标图像；
第二单元，用于基于预先构建的骨架提取模型提取所述目标图像中所述饰板对应的骨架信息，并确定所述骨架信息对应的边缘信息，其中，所述骨架提取模型基于改进后的最大圆盘算法构建，并结合自适应结构元素提取输入模型的骨架信息以及边缘信息；
第三单元，用于根据所述骨架信息以及所述边缘信息，通过预先构建的缺陷检测模型确定所述目标图像中是否存在缺陷，若所述目标图像中存在缺陷，确定所述缺陷的类别，其中，所述缺陷检测模型基于神经网络构建，用于特征提取以及特征分类。
本公开实施例的第三方面，
提供一种基于机器视觉的饰板缺陷检测设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本公开实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
本公开提供一种基于机器视觉的饰板缺陷检测方法采用改进的形态学骨架提取算法，将连通性保持与形态学运算相结合，在收缩目标提取骨架的过程中通过引入虚拟骨架点实现了骨架曲线连通性保持，进一步提高了骨架描述目标形状及拓扑特征的能力：另一方面，结合骨架曲线的特点，在传统串行多边形近似算法的基础上引入了平滑度保持、结构特征保特以及拓扑特征保持等约束条件，既较好地保留了原始骨架的主要拓扑结构特征，又有效地简化了骨架曲线的结构，进一步压缩了数据。
基于自适应结构元素的形态学梯度算子求取梯度图像，再利用微分算子求取描述边缘方向的梯度方向图。在此基础上，综合利用形态学梯度信息和梯度方向信息，采用非极大值抑制方法对形态学梯度图进行细化，最后利用梯度方向判别条件和双阈值相结合的方法检测和连接，从细化后的形态学梯度图中提取边缘。由于在保持传统形态学方法优点的基础上，充分利用了边缘的方向信息，一方面提高了检测出边缘的分辨率，另一方面在抑制噪声的同时有效地保护了真实边缘信息，较之传统形态学边缘检测算法具有更为出色的性能。
附图说明
图1为本公开实施例一种基于机器视觉的饰板缺陷检测方法的流程示意图；
图2为本公开实施例一种基于机器视觉的饰板缺陷检测系统的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本公开实施例一种基于机器视觉的饰板缺陷检测方法的流程示意图，如图1所示，所述方法包括：
S101. 获取生产线中饰板的初始图像，对所述初始图像进行图像预处理后确定所述初始图像对应的目标图像；
示例性地，本申请可以通过CCD摄像机获取生产线中饰板的初始图像，其中，初始图像可以包括可见光图像，包含最丰富的图像信息，需要进一步对图像进行预处理，降低数据处理量；其中，图像预处理可以包括图像二值化处理、图像噪声去除等，对初始图像进行图像预处理后得到目标图像，其中，目标图像可以包括饰板的主体信息以及相应的缺陷信息。
S102. 基于预先构建的骨架提取模型提取所述目标图像中所述饰板对应的骨架信息，并确定所述骨架信息对应的边缘信息，其中，所述骨架提取模型基于改进后的最大圆盘算法构建，并结合自适应结构元素提取输入模型的骨架信息以及边缘信息；
现有骨架提取算法虽然能够在一定程度上完成对图像中目标骨架特征的提取任务，但是由于算法自身的一些不足，使得提取出的骨架难以同时满足中轴特性、连通性和单像素宽度等要求。此外，在实际应用中，现有骨架提取算法获得的骨架曲线都暴露出一个共同的问题，那就是它们对于目标形状的细节变化都比较敏感，自身结构仍然较为复杂，数据难以得到进一步压缩。这些不足一方面影响了骨架曲线对目标主要拓扑特征的描述能力，另一方面占用了大量的存储空间和计算时间。
在一种可选的实施方式中，
形状缺陷在注塑制品图像中通常表现为产品轮廓的变化，而这一变化又会引起图像中产品区域面积的变化，因此，利用图像中产品区域的面积信息就能够简单有效地实现产品形状缺陷的检测。但是，能够检测出注塑制品是否存在形状缺陷只是形状缺陷检测分析的最初阶段，而如何进一步有效地表示和描述缺陷制品的形状特征，为后续分析处理提供依据，是注塑制品形状缺陷检测和分析问题中更为关键的内容。
在一种可选的实施方式中，
所述基于预先构建的骨架提取模型提取所述目标图像中所述饰板对应的骨架信息包括：
基于最大圆盘法确定所述目标图像中所述饰板的初始骨架信息，并对所述初始骨架信息进行迭代腐蚀，确定腐蚀像素点集合，确定所述腐蚀像素点集合与所述初始骨架信息的分离度，
若所述腐蚀像素点集合与所述初始骨架相分离，扫描所述初始骨架的所有骨架点，确定所述初始骨架信息的第一端点和第一连接点；
从任意端点出发沿所述初始骨架进行搜索，直到初次遇到所述第一端点或所述第一连接点为止，将所经过的所有骨架点构建为骨架分支，并确定所述骨架分支的虚拟度，并将所述虚拟度大于预设分支阈值的骨架分支删除，确定优化骨架信息，其中，所述虚拟度用于指示当前骨架分支中的骨架点与所有骨架分支中的骨架点的比值；
将所述优化骨架信息所有的第二端点和第二连接点初始化为控制点，并基于所述控制点进行近似搜索，确定所述控制点与所述优化骨架中任意第二端点或者第二连接点的最大近似偏差；
若所述最大近似偏差大于预设偏差阈值，则停止当前近似搜索，重新选定其他控制点，直至所有优化骨架的控制点均完成近似搜索后退出。
在一种可选的实施方式中，
确定所述腐蚀像素点集合与所述初始骨架信息的分离度如下公式所示：
其中，d(P,S)表示腐蚀像素点集合S任一点与所述初始骨架信息的骨架点P的最小欧式距离；最小欧式距离越远，则分离度越高；
示例性地，本申请实施例中骨架点与腐蚀像素点集合为四邻接或者八邻接时，分离度分别为1和
，当分离度大于/>
，则腐蚀像素点集合与所述初始骨架相分离；
具体地，若分离度小于等于
，则可以认为该骨架点与腐蚀后目标仍然连通，无需进行处理；若分离度大于/>
，且其在八邻域内不存在分离度更小的骨架，则基于最小欧式距离设置虚拟骨架。
在骨架提取过程中，不可避免的存在部分由噪声或边缘细微变化引入的骨架点，其不仅基本不含有目标的形状及拓扑信息，而且还会损害整体骨架对目标特征的描述能力，这些骨架点称为伪骨架点，由伪骨架点组成的分支称为伪分支。对伪骨架点及由伪骨架点引入的伪分支进行剔除处理，以进一步简化骨架结构。
示例性地，本公开实施例的骨架信息中包括多个端点和连接点，其中，端点用于指示骨架的起始点，连接点用于指示连接骨架的点；进一步地，第一端点和第一连接点可以是骨架信息中多个端点和多个连接点中任意选定的一个。
从任意端点出发沿所述初始骨架进行搜索，直到初次遇到所述第一端点或所述第一连接点为止，将所经过的所有骨架点构建为骨架分支，并确定所述骨架分支的虚拟度，其中，虚拟度用于指示当前骨架分支中的骨架点与所有骨架分支中的骨架点的比值。
由于骨架分支主要由为了保持骨架连通性而增加的虚拟骨架点组成，其虚拟度通常较高，因此，可以将虚拟度大于预设分值阈值的分支从骨架集中删除，即可有效的实现伪分支的剔除。
可选地，可以进一步将优化骨架信息所有的第二端点和第二连接点初始化为控制点，并基于所述控制点进行近似搜索，其中，近似搜索是曲线结构简化算法中应用最为广泛的一种。该方法通过控制近似偏差，在偏差允许范围内不断减少数据点（或称为控制点)，用分段线性线段或圆弧来代替原始曲线，简单有效地实现了对离散曲线的近似。近似后的分段线性曲线能够携带尽可能多的原始曲线信息，可以很好地描达原始曲线的形状结构特征。
其中，确定最大近似偏差的方法如下公式所示：
其中，E(G n )表示最大近似偏差，G n 表示优化骨架的向量，E DP (G n )表示优化骨架对应的初始近似偏差，R表示修正参数，T表示最大迭代次数，DP t 表示第t次迭代控制点集合，sgn (DP t )表示近似搜索函数，(y t -m t )表示惩罚项，y t 、m t 分别表示第t次迭代时的斜率和截距。
在一种可选的实施方式中，
所述确定所述骨架信息对应的边缘信息包括：
基于自适应结构元素构建形态学梯度算子，根据所述形态学梯度算子确定目标图像对应的梯度图像；
通过预设的微分算子检测所述梯度图像中各个原始像素的灰度梯度方向，确定所述梯度图像中形态学梯度的最快变化方向，提取所述梯度图像对应的梯度方向；
根据非极大值抑制方法对所述梯度方向进行边缘细化，确定对所述梯度方向进行边缘细化的梯度图像的平均连线值以及平均夹角值；
若对所述梯度方向进行边缘细化的梯度图像的像素点与中心点的中心连线值小于所述平均连线值，且对所述梯度方向进行边缘细化的梯度图像的像素点与中心点的中心夹角值小于所述平均夹角值，则将该像素点作为边缘像素点构建所述目标图像的边缘信息。
示例性地，目标图像对应的梯度图像可以通过膨胀腐蚀型梯度算法确定，本申请实施例在此不再赘述。进一步地，本申请预设的微分算子可以有效的检测出梯度图像中特定边缘在其上各点处的灰度梯度方向，即边缘在该点处法线方向，并由此确定梯度图像中相应点处的形态学梯度的最快变化方向，从而构成描述各点处形态学梯度变化的梯度方向。
根据非极大值抑制方法对所述梯度方向进行边缘细化，确定对所述梯度方向进行边缘细化的梯度图像的平均连线值以及平均夹角值；
若对所述梯度方向进行边缘细化的梯度图像的像素点与中心点的中心连线值小于所述平均连线值，且对所述梯度方向进行边缘细化的梯度图像的像素点与中心点的中心夹角值小于所述平均夹角值，则将该像素点作为边缘像素点构建所述目标图像的边缘信息；
为了提高边缘的分辨率，需要对形态学梯度图中较宽的边缘进行细化，在进行非极大值抑制时，可以比较梯度图像任一像素点的形态学梯度与其修正后梯度方向上相邻两个插值的大小，若梯度图像任一像素点的形态学梯度大于相邻两个插值，则将其标记为候选边缘点，反之则将其标记为非边缘点。通过非极大值抑制处理能够有效的细化、并准确定位形态学梯度图中的边缘，为边缘点的检测和连接奠定了良好的基础。
示例性地，采用单一结构元素的形态学梯度算子仅对与结构元素形状相近的缺陷边缘有较强的响应，但却无法准确提取那些与结构元素形状不相适应的边缘处的形态学梯度，损失了大量重要的细节信息。而基于自适应结构元素的形态学梯度算子，通过采用多结构元素使其能够有效响应更多形状的缺陷边缘，算法性能较之单一结构元素形态学梯度算子有了较大程度的提高。相比于固定结构元素，自适应结构元素能够根据待检测边缘的形状自动选取合适的结构元素，对图像中复杂多变的缺陷边缘有很强的自适应能力。
示例性地，构建自适应结构元素包括：
确定目标图像中当前像素点与其邻域内各个像素点的像素相似度集合，以所述像素相似度集合中最高像素相似度对应的像素点为中心，按照预设结构像素尺寸对所述目标图像进行分割搜索，构建分割像素集合；
确定当前像素点与所述分割像素集合中各个像素点的像素距离集合，并按照像素距离的大小对所述分割像素集合中各个像素点进行排序，确定像素距离大于预设距离阈值的像素点的拓扑位置，构造具有相同形状的自适应结构元素。
S103. 根据所述骨架信息以及所述边缘信息，通过预先构建的缺陷检测模型确定所述目标图像中是否存在缺陷，若所述目标图像中存在缺陷，确定所述缺陷的类别，其中，所述缺陷检测模型基于神经网络构建，用于特征提取以及特征分类。
计算机视觉检测系统对准确性的要求是首要的，不具备准确性的检测系统是毫无应用价值的，然而，高准确性的获得往往是以牺牲处理速度为代价的。但是，由于待检测目标多处于流水生产线中，因此，从图像获取到获得分析结果必须在非常有限的时间内完成。这就对系统的图像处理能力和速度、目标识别、分析和信息传递等环节的速度都提出了非常严格的要求。
在一种可选的实施方式中，
所述根据所述骨架信息以及所述边缘信息，通过预先构建的缺陷检测模型确定所述目标图像中是否存在缺陷，若所述目标图像中存在缺陷，确定所述缺陷的类别包括：
将所述骨架信息以及所述边缘信息输入到缺陷检测模型，通过所述缺陷检测模型的编码过程中的多次卷积和池化操作提取所述骨架信息以及所述边缘信息的多级特征，并使用残差结构加快训练速率，作为解码过程中的监督参考；
通过上采样及下采样操作调整维度，使编码过程中的多级相邻特征具有相同的分辨率，并进行同分辨率特征图的融合；在解码过程中通过多次上采样和卷积操作，使深层的抽象特征通过参考编码中同分辨率的特征图像逐步恢复空间信息；
通过前向传播学习确定所述骨架信息以及所述边缘信息的有效特征，并返回原始图像位置与标签图像中的缺陷逐像素点对应，得到多类缺陷特征的自适应属性；
融合预测图将其输入softmax分类层与标签数据进行对比，并使交叉熵损失函数在不断迭代学习的过程中最小化产生最终预测，并求出像素分类数组中置信度最大的分类。
示例性地，本申请的缺陷检测模型基于残差网络构建，具体地，缺陷检测模型的编码过程可以通过多次卷积和池化操作提取骨架信息和边缘信息的多级特征，并使用残差结构加快训练效率，通过残差结构可以链接输出深层特征信息和输入浅层特征信息，带有更多位置信息的输入对每一层特征的输出起到监督和参考作用。同时，可以有效利用骨架信息以及边缘信息的高层和低层特征，结合各层特征的优势，可以更好地适应小目标缺陷以及多目标缺陷的检测。此外，在多次卷积之间可以增加同层输入与输出短链接，直接将梯度信号从高层向低层反向传播，缓解了梯度消失问题。
可选地，每个残差模块的输出特征图维度一致，可以随意进行同层级特征图之间加法或乘法的运算，但每层特征图的分辨率不同，在融合特征图时需要以解码层分辨率为基准进行一次上采样或下采样进行分辨率统一。
通过前向传播学习确定所述骨架信息以及所述边缘信息的有效特征，并返回原始图像位置与标签图像中的缺陷逐像素点对应，得到多类缺陷特征的自适应属性；对监督解码过程的输入特征图像像素进行加权调整，通过确定的或高相似性的缺陷位置进行加大权重来提高网络性能，通过将更多的注意力集中在权重较大的缺陷特征的方式，对编码过程中输出的多级特征进行利用率的计算，同时也能避免无关位置的激活使信息冗余部分避免计算。
以网络中每层的输出残差特征进行相邻分辨率的上采样或下采样，即统一相邻层级的特征图分辨率，实现浅层和深层的多级融合，提高不同尺寸表面缺陷的分类精度。选择每层的最后一个残差单元进行临级特征的融合，包含更多的缺陷定位细节，同时保证信息的保留和利用的有效性。
在一种可选的实施方式中，
所述缺陷检测模型的损失函数如下公式所示：
其中，L class 表示分类损失，S表示缺陷点的数量，B表示边缘点的数量，
表示第i个缺陷点和第j个边缘点对应的采样特征值，/>
、/>
分别表示第i个缺陷点以及第j个边缘点对应的前向损失，/>
、/>
分别表示第i个缺陷点和第j个边缘点对应的置信度损失，w表示权重系数。
本公开实施例的第二方面，
提供一种基于机器视觉的饰板缺陷检测系统，图2为本公开实施例一种基于机器视觉的饰板缺陷检测系统的结构示意图，包括：
第一单元，用于获取生产线中饰板的初始图像，对所述初始图像进行图像预处理后确定所述初始图像对应的目标图像；
第二单元，用于基于预先构建的骨架提取模型提取所述目标图像中所述饰板对应的骨架信息，并确定所述骨架信息对应的边缘信息，其中，所述骨架提取模型基于改进后的最大圆盘算法构建，并结合自适应结构元素提取输入模型的骨架信息以及边缘信息；
第三单元，用于根据所述骨架信息以及所述边缘信息，通过预先构建的缺陷检测模型确定所述目标图像中是否存在缺陷，若所述目标图像中存在缺陷，确定所述缺陷的类别，其中，所述缺陷检测模型基于神经网络构建，用于特征提取以及特征分类
本公开实施例的第三方面，
提供一种基于机器视觉的饰板缺陷检测设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本公开实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
本公开提供一种基于机器视觉的饰板缺陷检测方法采用改进的形态学骨架提取算法，将连通性保持与形态学运算相结合，在收缩目标提取骨架的过程中通过引入虚拟骨架点实现了骨架曲线连通性保持，进一步提高了骨架描述目标形状及拓扑特征的能力：另一方面，结合骨架曲线的特点，在传统串行多边形近似算法的基础上引入了平滑度保持、结构特征保特以及拓扑特征保持等约束条件，既较好地保留了原始骨架的主要拓扑结构特征，又有效地简化了骨架曲线的结构，进一步压缩了数据。
基于自适应结构元素的形态学梯度算子求取梯度图像，再利用微分算子求取描述边缘方向的梯度方向图。在此基础上，综合利用形态学梯度信息和梯度方向信息，采用非极大值抑制方法对形态学梯度图进行细化，最后利用梯度方向判别条件和双阈值相结合的方法检测和连接，从细化后的形态学梯度图中提取边缘。由于在保持传统形态学方法优点的基础上，充分利用了边缘的方向信息，一方面提高了检测出边缘的分辨率，另一方面在抑制噪声的同时有效地保护了真实边缘信息，较之传统形态学边缘检测算法具有更为出色的性能。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。
Claims (10)
1.一种基于机器视觉的饰板缺陷检测方法，其特征在于，包括：
获取生产线中饰板的初始图像，对所述初始图像进行图像预处理后确定所述初始图像对应的目标图像；
基于预先构建的骨架提取模型提取所述目标图像中所述饰板对应的骨架信息，并确定所述骨架信息对应的边缘信息，其中，所述骨架提取模型基于改进后的最大圆盘算法构建，并结合自适应结构元素提取输入模型的骨架信息以及边缘信息；
根据所述骨架信息以及所述边缘信息，通过预先构建的缺陷检测模型确定所述目标图像中是否存在缺陷，若所述目标图像中存在缺陷，确定所述缺陷的类别，其中，所述缺陷检测模型基于神经网络构建，用于特征提取以及特征分类。
2.根据权利要求1所述的方法，其特征在于，所述基于预先构建的骨架提取模型提取所述目标图像中所述饰板对应的骨架信息包括：
基于最大圆盘法确定所述目标图像中所述饰板的初始骨架信息，并对所述初始骨架信息进行迭代腐蚀，确定腐蚀像素点集合，确定所述腐蚀像素点集合与所述初始骨架信息的分离度，
若所述腐蚀像素点集合与所述初始骨架相分离，扫描所述初始骨架的所有骨架点，确定所述初始骨架信息的第一端点和第一连接点；
从任意端点出发沿所述初始骨架进行搜索，直到初次遇到所述第一端点或所述第一连接点为止，将所经过的所有骨架点构建为骨架分支，并确定所述骨架分支的虚拟度，并将所述虚拟度大于预设分支阈值的骨架分支删除，确定优化骨架信息，其中，所述虚拟度用于指示当前骨架分支中的骨架点与所有骨架分支中的骨架点的比值；
将所述优化骨架信息所有的第二端点和第二连接点初始化为控制点，并基于所述控制点进行近似搜索，确定所述控制点与所述优化骨架中任意第二端点或者第二连接点的最大近似偏差；
若所述最大近似偏差大于预设偏差阈值，则停止当前近似搜索，重新选定其他控制点，直至所有优化骨架的控制点均完成近似搜索后退出。
3.根据权利要求2所述的方法，其特征在于，
确定所述腐蚀像素点集合与所述初始骨架信息的分离度如下公式所示：
其中，d(P,S)表示腐蚀像素点集合S任一点与所述初始骨架信息的骨架点P的最小欧式距离；最小欧式距离越远，则分离度越高；
确定最大近似偏差的方法如下公式所示：
其中，E(G n )表示最大近似偏差，G n 表示优化骨架的向量，E DP (G n )表示优化骨架对应的初始近似偏差，R表示修正参数，T表示最大迭代次数，DP t 表示第t次迭代控制点集合，sgn(DP t )表示近似搜索函数，(y t -m t )表示惩罚项，y t 、m t 分别表示第t次迭代时的斜率和截距。
4.根据权利要求1所述的方法，其特征在于，所述确定所述骨架信息对应的边缘信息包括：
基于自适应结构元素构建形态学梯度算子，根据所述形态学梯度算子确定目标图像对应的梯度图像；
通过预设的微分算子检测所述梯度图像中各个原始像素的灰度梯度方向，确定所述梯度图像中形态学梯度的最快变化方向，提取所述梯度图像对应的梯度方向；
根据非极大值抑制方法对所述梯度方向进行边缘细化，确定对所述梯度方向进行边缘细化的梯度图像的平均连线值以及平均夹角值；
若对所述梯度方向进行边缘细化的梯度图像的像素点与中心点的中心连线值小于所述平均连线值，且对所述梯度方向进行边缘细化的梯度图像的像素点与中心点的中心夹角值小于所述平均夹角值，则将该像素点作为边缘像素点构建所述目标图像的边缘信息。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括构建自适应结构元素包括：
确定目标图像中当前像素点与其邻域内各个像素点的像素相似度集合，以所述像素相似度集合中最高像素相似度对应的像素点为中心，按照预设结构像素尺寸对所述目标图像进行分割搜索，构建分割像素集合；
确定当前像素点与所述分割像素集合中各个像素点的像素距离集合，并按照像素距离的大小对所述分割像素集合中各个像素点进行排序，确定像素距离大于预设距离阈值的像素点的拓扑位置，构造具有相同形状的自适应结构元素。
6.根据权利要求1所述的方法，其特征在于，所述根据所述骨架信息以及所述边缘信息，通过预先构建的缺陷检测模型确定所述目标图像中是否存在缺陷，若所述目标图像中存在缺陷，确定所述缺陷的类别包括：
将所述骨架信息以及所述边缘信息输入到缺陷检测模型，通过所述缺陷检测模型的编码过程中的多次卷积和池化操作提取所述骨架信息以及所述边缘信息的多级特征，并使用残差结构加快训练速率，作为解码过程中的监督参考；
通过上采样及下采样操作调整维度，使编码过程中的多级相邻特征具有相同的分辨率，并进行同分辨率特征图的融合；在解码过程中通过多次上采样和卷积操作，使深层的抽象特征通过参考编码中同分辨率的特征图像逐步恢复空间信息；
通过前向传播学习确定所述骨架信息以及所述边缘信息的有效特征，并返回原始图像位置与标签图像中的缺陷逐像素点对应，得到多类缺陷特征的自适应属性；
融合预测图将其输入softmax分类层与标签数据进行对比，并使交叉熵损失函数在不断迭代学习的过程中最小化产生最终预测，并求出像素分类数组中置信度最大的分类。
7.根据权利要求6所述的方法，其特征在于，所述缺陷检测模型的损失函数如下公式所示：
其中，L class 表示分类损失，S表示缺陷点的数量，B表示边缘点的数量，
表示第i个缺陷点和第j个边缘点对应的采样特征值，/>
、/>
分别表示第i个缺陷点以及第j个边缘点对应的前向损失，/>
、/>
分别表示第i个缺陷点和第j个边缘点对应的置信度损失，w表示权重系数。
8.一种基于机器视觉的饰板缺陷检测系统，其特征在于，包括：
第一单元，用于获取生产线中饰板的初始图像，对所述初始图像进行图像预处理后确定所述初始图像对应的目标图像；
第二单元，用于基于预先构建的骨架提取模型提取所述目标图像中所述饰板对应的骨架信息，并确定所述骨架信息对应的边缘信息，其中，所述骨架提取模型基于改进后的最大圆盘算法构建，并结合自适应结构元素提取输入模型的骨架信息以及边缘信息；
第三单元，用于根据所述骨架信息以及所述边缘信息，通过预先构建的缺陷检测模型确定所述目标图像中是否存在缺陷，若所述目标图像中存在缺陷，确定所述缺陷的类别，其中，所述缺陷检测模型基于神经网络构建，用于特征提取以及特征分类。
9.一种基于机器视觉的饰板缺陷检测设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310463525.8A CN116205907A (zh) | 2023-04-26 | 2023-04-26 | 一种基于机器视觉的饰板缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310463525.8A CN116205907A (zh) | 2023-04-26 | 2023-04-26 | 一种基于机器视觉的饰板缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116205907A true CN116205907A (zh) | 2023-06-02 |
Family
ID=86519482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310463525.8A Withdrawn CN116205907A (zh) | 2023-04-26 | 2023-04-26 | 一种基于机器视觉的饰板缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116205907A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740115A (zh) * | 2023-08-14 | 2023-09-12 | 国网电商科技有限公司 | 图像边缘检测方法和装置 |
| CN116823814A (zh) * | 2023-08-28 | 2023-09-29 | 山东巨鑫伟业电气设备有限公司 | 一种配电设备焊接生产缺陷检测系统 |
-
2023
- 2023-04-26 CN CN202310463525.8A patent/CN116205907A/zh not_active Withdrawn
Non-Patent Citations (1)
| Title |
|---|
| 吕哲: "注塑制品视觉检测关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740115A (zh) * | 2023-08-14 | 2023-09-12 | 国网电商科技有限公司 | 图像边缘检测方法和装置 |
| CN116740115B (zh) * | 2023-08-14 | 2023-11-17 | 国网电商科技有限公司 | 图像边缘检测方法和装置 |
| CN116823814A (zh) * | 2023-08-28 | 2023-09-29 | 山东巨鑫伟业电气设备有限公司 | 一种配电设备焊接生产缺陷检测系统 |
| CN116823814B (zh) * | 2023-08-28 | 2023-11-24 | 山东巨鑫伟业电气设备有限公司 | 一种配电设备焊接生产缺陷检测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232350B (zh) | 一种基于在线学习的实时水面多运动目标检测跟踪方法 | |
| CN113469177B (zh) | 基于深度学习的排水管道缺陷检测方法及系统 | |
| CN116205907A (zh) | 一种基于机器视觉的饰板缺陷检测方法 | |
| CN111383209B (zh) | 一种基于全卷积自编码器网络的无监督瑕疵检测方法 | |
| CN111833306A (zh) | 缺陷检测方法和用于缺陷检测的模型训练方法 | |
| CN111160407B (zh) | 一种深度学习目标检测方法及系统 | |
| CN113284109B (zh) | 管道缺陷识别方法、装置、终端设备及存储介质 | |
| CN110399840B (zh) | 一种快速的草坪语义分割及边界检测方法 | |
| CN114581782B (zh) | 一种基于由粗到精检测策略的细微缺陷检测方法 | |
| CN116309600B (zh) | 基于图像处理的环保纺织品质量检测方法 | |
| CN111667470B (zh) | 一种基于数字图像的工业管道探伤内壁检测方法 | |
| CN114742799B (zh) | 基于自监督异构网络的工业场景未知类型缺陷分割方法 | |
| CN110555868A (zh) | 一种复杂地面背景下运动小目标检测方法 | |
| CN110008833B (zh) | 基于光学遥感图像的目标船只检测方法 | |
| CN116485709A (zh) | 一种基于YOLOv5改进算法的桥梁混凝土裂缝检测方法 | |
| Liu et al. | Robust image-based crack detection in concrete structure using multi-scale enhancement and visual features | |
| CN112396580B (zh) | 一种圆形零件缺陷检测方法 | |
| CN117252815A (zh) | 基于2d-3d多模态图像的工业零件缺陷检测方法、系统、设备及存储介质 | |
| CN112734816A (zh) | 基于CSS-Delaunay的异源图像配准方法 | |
| CN116777956A (zh) | 基于多尺度航迹管理的运动目标筛选方法 | |
| CN110826575A (zh) | 一种基于机器学习的水下目标识别方法 | |
| CN116363064A (zh) | 融合目标检测模型和图像分割模型的缺陷识别方法及装置 | |
| CN115953387A (zh) | 一种基于深度学习的射线图像焊缝缺陷检测方法 | |
| Mao et al. | Disparity filtering with 3D convolutional neural networks | |
| CN114964206A (zh) | 一种单目视觉里程计目标位姿检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230602 |
|
| WW01 | Invention patent application withdrawn after publication |