CN116542982A - 一种基于机器视觉的出发判断器缺陷检测方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，实施例提供了一种基于机器视觉的出发判断器缺陷检测方法及装置，包括：获取出发判断器图像；对出发判断器图像进行预处理，对预处理操作后的出发判断器图像进行划块操作和二值化处理，计算划分区域的噪点增强系数和噪声点强度，根据每个小区域中的噪声点强度，对对应的每个小区域中非局部均值滤波算法的平滑参数进行调整，对出发判断器图像进行滤波去噪，采用自编码神经网络对滤波去噪的预处理操作后的出发判断器图像进行出发判断器的缺陷检测。这样，可以避免由于产品表面粗糙，采集的图片中存在大量噪声点对图像的影响，使图像中缺陷更为清晰，从而快速精确更加容易的实现识别出发判断器的外观质量缺陷。

Description

一种基于机器视觉的出发判断器缺陷检测方法及装置

技术领域

本发明涉及图像检测领域，特别是涉及一种基于机器视觉的出发判断器缺陷检测方法及装置。

背景技术

游泳比赛中需要对每位选手的比赛成绩进行准确记录，若采用人工计时，选手的比赛成绩不够精确，有时不同选手成绩相近时，难以确定选手的名次先后，如今的正式比赛中通常采用出发判断器来检测每位选手的出发时间和触壁时间，辅助确定选手的比赛成绩，使选手的比赛成绩更为精确客观。出发判断器表面附有防滑材料，不具有弹性，可为选手提供起跳入水时的摩擦力。出发判断器表面采用树脂喷砂技术制成防滑表面，在生产过程中会出现划伤、喷涂不均等外观质量缺陷，可通过机器视觉对缺陷进行检测，但采集到的图片受采集设备、环境污染等因素影响产生噪声，影响图片质量，不利于缺陷检测。

发明内容

鉴于上述问题，本申请提供了一种基于机器视觉的出发判断器缺陷检测方法、装置、设备及介质，能够通过去噪使图像中缺陷更为清晰，快速精确更加容易的实现出发判断器外观质量缺陷的识别。

第一方面，本申请实施例提供了一种基于机器视觉的出发判断器缺陷检测方法，包括：

获取出发判断器图像；

对所述出发判断器图像进行预处理操作；

对预处理操作后的出发判断器图像进行划块操作和二值化处理，得到划分为多个小区域的所述出发判断器图像的二值图；

根据所述二值图确定每个所述小区域中的连通域，并将在所述二值图中确定的每个所述小区域中的所述连通域映射到所述预处理操作后的出发判断器图像；

根据所述预处理操作后的出发判断器图像中每个所述小区域中的所述连通域，确定每个所述小区域中每一个连通域与所有周围连通域的噪点增强系数，并根据每个所述小区域中的噪点增强系数，确定对应的每个所述小区域中的噪声点强度；

根据每个所述小区域中的噪声点强度，对对应的每个所述小区域中非局部均值滤波算法的平滑参数进行调整，并利用所述平滑参数调整后的非局部均值滤波算法对所述预处理操作后的出发判断器图像对应的每个所述小区域进行滤波去噪；

采用自编码神经网络对滤波去噪的所述预处理操作后的出发判断器图像进行所述出发判断器的缺陷检测。

在一种可能的实现方式中，对所述出发判断器图像进行预处理操作，包括：

根据图像增强算法对所述出发判断器图像进行处理，对处理后的所述出发判断器图像根据图像分割算法提取所述出发判断器图像的感兴趣区域，并将处理后的所述出发判断器图像通过灰度化得到所述出发判断器图像的灰度图像。

在一种可能的实现方式中，对预处理操作后的出发判断器图像进行划块操作和二值化处理，得到划分为多个小区域的所述出发判断器图像的二值图，包括：

通过多次划分操作得到所述出发判断器图像的所述多个小区域，通过所述阈值分割得到所述灰度图像的划分为多个小区域的所述二值图，其中多个小区域为多个小方块。

在一种可能的实现方式中，根据所述二值图确定每个所述小区域中的连通域，并将在所述二值图中确定的每个所述小区域中的所述连通域映射到所述预处理操作后的出发判断器图像，包括：

将所述二值图中灰度值相同且相邻的像素点进行连接，得到所述二值图中每个所述小区域的所有连通域，对每个所述连通域通过图像细化算法得到对应的每个连通域的骨架线，将骨架线通过像素点坐标对应到所述预处理操作得到的所述出发判断器图像的灰度图像中。

在一种可能的实现方式中，每个所述小区域中每一个连通域与所有周围连通域的噪点增强系数的计算公式为：

其中，n为每个小区域中任一连通域T1周围其它凹坑或凸起的连通域总数，a为与 连通域T1颜色相同的周围连通域个数，即同为凸起或同为凹坑连通域的个数，b为与连通域 T1颜色不相同的周围连通域个数，为每个小区域中任一连通域T1与连通域T1颜色相同 的某一周围连通域之间的灰度差异度，为每个小区域中任一连通域T1与连通域T1颜色 不相同的某一周围连通域之间的灰度差异度。

在一种可能的实现方式中，根据一个小区域中任一T1连通域与周围连通域T2n中心点之间的距离权重进行修正，修正后的噪点增强系数的计算公式为：

其中，为每个小区域中任一连通域T1与某一周围连通域中心点之间的距离，，其中，（，）为连通域T1的中心点的坐标，（，） 为连通域的中心点的坐标。

在一种可能的实现方式中，根据每个所述小区域中的噪点增强系数，确定对应的每个所述小区域中的噪声点强度，其中确定对应的每个所述小区域中的噪声点强度的计算公式为：

其中，m为小区域中连通域的个数，为修正后的噪点增强系数。

在一种可能的实现方式中，根据每个所述小区域中的噪声点强度，对对应的每个所述小区域中非局部均值滤波算法的平滑参数进行调整，其中平滑参数的调整计算公式为：

其中h为非局部均值滤波算法中原平滑参数，P为噪声点强度。

在一种可能的实现方式中，采用自编码神经网络对滤波去噪的所述预处理操作后的出发判断器图像进行所述出发判断器的缺陷检测，包括：

将滤波去噪的预处理操作后的出发判断器图像输入到自编码神经网络中，得到重构图像，将滤波去噪的预处理操作后的出发判断器图像与重构图像进行比较，若图像误差值超过阈值，则说明出发判断器存在质量缺陷。

第二方面，本申请实施例提供了一种基于机器视觉的出发判断器缺陷检测装置，包括：

获取模块，用于获取出发判断器图像；

预处理模块，用于对所述出发判断器图像进行预处理操作；

划块及二值化模块，对预处理操作后的出发判断器图像进行划块操作和二值化处理，得到划分为多个小区域的所述出发判断器图像的二值图；

连通域确定模块，根据所述二值图确定每个所述小区域中的连通域，并将在所述二值图中确定的每个所述小区域中的所述连通域映射到所述预处理操作后的出发判断器图像；

噪点增强系数确定模块，根据所述预处理操作后的出发判断器图像中每个所述小区域中的所述连通域，确定每个所述小区域中每一个连通域与所有周围连通域的噪点增强系数；

噪声点强度确定模块，根据每个所述小区域中的噪点增强系数，确定对应的每个所述小区域中的噪声点强度；

滤波去噪模块，根据每个所述小区域中的噪声点强度，对对应的每个所述小区域中非局部均值滤波算法的平滑参数进行调整，并利用所述平滑参数调整后的非局部均值滤波算法对所述预处理操作后的出发判断器图像对应的每个所述小区域进行滤波去噪；

缺陷检测模块，采用自编码神经网络对滤波去噪的所述预处理操作后的出发判断器图像进行所述出发判断器的缺陷检测。

第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现如第一方面各个可能实现的实施例。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行如第一方面各个可能实现的实施例。

附图说明

图1是本申请实施例提供的一种出发判断器缺陷检测方法的步骤流程图；

图2是本申请实施例提供的一种出发判断器图像划分小区域图；

图3是本申请实施例提供的一种出发判断器图像的连通域示意图；

图4是本申请实施例提供的一种出发判断器缺陷检测装置的结构框图；

图5是本申请实施例提供的一种电子设备的结构框图；

图6是本申请实施例提供的一种计算机可读存储介质的结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其它实施例，都属于本申请保护的范围。

本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。

需要注意，本申请中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

缺陷检测技术通常是指对物品表面缺陷的检测，表面缺陷检测是采用先进的机器视觉检测技术，对产品或者工件等表面的斑点、凹坑、划痕、色差、缺损等缺陷进行检测。

机器视觉主要用计算机来模拟人的视觉功能，但并不仅仅是人眼的简单延伸，更重要的是具有人脑的一部分功能一一从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。

现有技术中，为了保证产品质量，改善生产工艺，减少人工成本，在很多行业中均存在外观缺陷检测环节，例如：新能源电池的外观缺陷检测，比如极片有无毛刺，极片、叠片、封装包是否存在起皱、压伤夹伤、划痕、凹凸等不良缺陷；PCB电路板上的划痕、露铜、脏污、染色不良等缺陷；检测LCD屏幕表面的缺陷，例如缺损，瑕疵和划痕；出发判断器表面在生产过程中会出现划伤、喷涂不均等外观质量缺陷；但是在采用机器视觉对缺陷进行检测时，存在以下问题：由于采集到的图片受采集设备、环境污染等因素影响产生噪声较多，影响图片质量；采集的图片将缺陷和背景完全分离时，缺陷特征不明显；现有的缺陷检测算法识别准确率不高，上述现有问题均不利于缺陷检测。

下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

参见图1所示，本申请实施例公开了一种基于机器视觉的出发判断器缺陷检测方法，包括：

步骤S11，获取出发判断器图像；

步骤S12，对出发判断器图像进行预处理操作；

步骤S13，对预处理操作后的出发判断器图像进行划块操作和二值化处理，得到划分为多个小区域的出发判断器图像的二值图；

步骤S14，根据二值图确定每个小区域中的连通域，并将在二值图中确定的每个小区域中的连通域映射到预处理操作后的出发判断器图像；

步骤S15，根据预处理操作后的出发判断器图像中每个小区域中的连通域，确定每个小区域中每一个连通域与所有周围连通域的噪点增强系数；

步骤S16，根据每个小区域中的噪点增强系数，确定对应的每个小区域中的噪声点强度；

步骤S17，根据每个小区域中的噪声点强度，对对应的每个小区域中非局部均值滤波算法的平滑参数进行调整，并利用平滑参数调整后的非局部均值滤波算法对预处理操作后的出发判断器图像对应的每个小区域进行滤波去噪；

步骤S18，采用自编码神经网络对滤波去噪的预处理操作后的出发判断器图像进行出发判断器的缺陷检测。

其中，出发判断器图像由图像采集设备采集得到的。例如，上述遥感图像采集设备可以是CCD照相机或CMOS相机等，采用CCD照相机或CMOS相机等采集出发判断器正面图像，具体的采集方法及设备在此不对其进行具体限定。

在上述实施例步骤中，利用图像采集设备采集出发判断器正面图像，将采集得到的出发判断器图像进行预处理操作，对预处理操作后的出发判断器图像进行划块操作和二值化处理，得到划分为多个小区域的出发判断器图像的二值图，根据二值图确定每个小区域中的连通域，并将在二值图中确定的每个小区域中的连通域映射到预处理操作后的出发判断器图像，根据预处理操作后的出发判断器图像中每个小区域中的连通域，确定每个小区域中每一个连通域与所有周围连通域的噪点增强系数，根据每个小区域中的噪点增强系数，确定对应的每个小区域中的噪声点强度，根据每个小区域中的噪声点强度，对对应的每个小区域中非局部均值滤波算法的平滑参数进行调整，并利用平滑参数调整后的非局部均值滤波算法对预处理操作后的出发判断器图像对应的每个小区域进行滤波去噪，采用自编码神经网络对滤波去噪的预处理操作后的出发判断器图像进行出发判断器的缺陷检测，得到缺陷检测结果。本申请实施例是通过将出发判断器图像划分成多个小方块，计算每个小方块的噪声点强度，对平滑参数进行调整，采用调整后的平滑参数对图像进行去噪，将去噪后的出发判断器图像输入到自编码神经网络中，检测出发判断器图像中是否存在外观质量缺陷，检测过程中由于产品表面粗糙，采集的图片中存在大量噪声点，通过对平滑参数调整去噪使图像中缺陷更为清晰，快速精确更加容易的实现出发判断器外观质量缺陷的识别。

在本申请一个可选的实施例中，对出发判断器图像进行预处理操作，包括：

根据图像增强算法对出发判断器图像进行处理，对处理后的出发判断器图像根据图像分割算法提取出发判断器图像的感兴趣区域，并将处理后的出发判断器图像通过灰度化得到出发判断器图像的灰度图像。

需要说明的是，通过图像采集设备采集的出发判断器图像中会受到光照影响，图像局部亮度较高，会影响机器对图像的检测，采用Retinex图像增强算法对图像进行处理，可以减少光线对图像的影响，其中，Retinex图像增强算法算法包括，单尺度Retinex算法（SSR）和多尺度加权平均的Retinex算法（MSR）等，尽管上述Retinex图像增强算法算法不尽相同，但其基本原理都非常相似，都是通过对原始图像进行高斯滤波来获取照度图像，并尽量准确的获取照度图像，最后将照度图像从原始图像中分离出来，从而获得反射图像，在此不对其进行具体限定。同时由于背景因素复杂，对出发判断器图像进行感兴趣区域ROI提取，自动提取 ROI区域的方法有很多种，其中比较常用的是基于图像分割的方法，图像分割是将图像分成若干个互不重叠的区域的过程可以将 ROI 区域和背景区域分开，常用的图像分割算法有闯值分割、边缘检测、区域生长等，实施者可自行选取图像分割算法进行ROI提取，去除背景影响；最后，将处理后的出发判断器图像通过灰度化处理得到出发判断器图像的灰度图像。

在本申请一个可选的实施例中，对预处理操作后的出发判断器图像进行划块操作和二值化处理，得到划分为多个小区域的出发判断器图像的二值图，包括：

通过多次划分操作得到出发判断器图像的多个小区域，通过阈值分割得到灰度图像的划分为多个小区域的二值图，其中多个小区域为多个小方块。

需要说明的是，出发判断器图像中存在大量噪声，影响图像质量，非局部均值滤波算法中平滑参数h影响去噪水平，h越大，去噪水平越高，但会导致图像越模糊；h越小，边缘细节保留越多，但会残留过多噪声点。出发判断器由于表面粗糙，在采集过程中会产生大量噪声，这些噪声会使图像的原本细节被覆盖，由于粗糙表面形状不定，图像中的噪声分布不均，部分区域噪声分布较为密集或强度较大，部分区域噪声分布较为稀疏或强度较小，噪声越密集、强度越大，需要的去噪水平越高，h越大。因此将出发判断器图像划分成多个小区域，参见附图2，示例性的，可先将出发判断器图像划分为3*3个中方块，再将每个中方块划分为8*8个小方块，进一步需要说明的是，3*3表示将图像划分成了9个相同的矩形方块，8*8表示将图像划分成了64个相同的矩形方块，具体的划分数量在此不做限定，可根据经验确定。然后分别对每个小方块区域内的出发判断器图像计算噪点增强系数和噪声点强度，根据每个小方块内的出发判断器的图像的噪点增强系数和噪声点强度，对每个小方块进行平滑参数h的调整。

同时，采用Sobel算子得到出发判断器图像中的梯度，得到梯度图，通过大津法得到阈值，将大于阈值的梯度置为1，小于阈值的梯度置为0，得到二值图；其中，Sobel算子是一种很经典的图像梯度提取算子，其本质是基于图像空间域卷积，主要用于获得数字图像的一阶梯度，常见的应用是边缘检测；大津法是一种自适应的阈值确定的方法，它是按图像的灰度特性，将图像分成背景和目标两部分。本申请用大津算法将采用Sobel算子得到的图像梯度信息按照大津法确定的阈值分割为背景和前景两部分。

在本申请一个可选的实施例中，根据二值图确定每个小区域中的连通域，并将在二值图中确定的每个小区域中的连通域映射到预处理操作后的出发判断器图像，包括：

将二值图中灰度值相同且相邻的像素点进行连接，得到二值图中每个小区域的所有连通域，对每个连通域通过图像细化算法得到对应的每个连通域的骨架线，将骨架线通过像素点坐标对应到预处理操作得到的出发判断器图像的灰度图像中。

在上述实施例步骤中，在出发判断器二值图中，将灰度值相同且相邻的像素点进 行连接，得到二值图中的所有连通域，对每个连通域通过图像细化算法进行细化得到骨架 线，其中图像细化算法包括Zhang-Suen算法、基于Laplacian的迭代细化算法等，在此不做 具体限定。而后将骨架线通过像素点坐标对应到灰度图中，在灰度图中，采用1*3滑窗，从骨 架线端点沿骨架线滑动，滑动步长为1，计算滑窗内灰度值均值，并进行统计，根据数值变化 趋势，若随滑窗的滑动，滑窗内的灰度值均值大小呈先减后增趋势，则将灰度值均值为最小 值时对应的滑窗内中心像素点作为连通域的中心；若随滑窗的滑动，滑窗内的灰度值均值 大小呈先增后减趋势，则将灰度值均值为最大值时对应的滑窗内中心像素点作为连通域的 中心，上述采用滑窗可以确定原图像中的最亮点或者最暗点，将其作为连通域的中心，相比 仅通过连通域形状找到的连通域中心，考虑到了灰度变化，通过这种方式，确定的连通域的 中心更精确。设为二值图中某个连通域T1的中心，为周围其它连通域的中心。

在出发判断器图像中，在每个小方块图像内，以连通域的中心点为圆心，计算 连通域与周围每个连通域之间的影响。参见附图3，以为起点在二值图中分别检测 其周围12个方向上的灰度值变化，每相邻两个方向间夹角为30°，每个方向灰度值第二次发 生变化时的位置即为该方向距离最近的其它连通域边缘，通过边缘像素点坐标确定所在连 通域，从而确定连通域的中心，由于连通域形状和大小不定，不同方向寻找到的连通域 可能为同一个连通域，从0°方向按逆时针方向，对每个方向寻找到连通域中心进行统计，在 统计过程中，去掉重复连通域中心，得到连通域T1周围相邻连通域个数n，及相邻连通域 的中心坐标。

在本申请一个可选的实施例中，每个小区域中每一个连通域与所有周围连通域的噪点增强系数的计算公式为：

其中，n为每个小区域中任一连通域T1周围其它凹坑或凸起的连通域总数，a为与 连通域T1颜色相同的周围连通域个数，即同为凸起或同为凹坑连通域的个数，b为与连通域 T1颜色不相同的周围连通域个数，即T1为凸起时，周围凹坑的个数，或T1为凹坑时，周围凸 起的个数，为每个小区域中任一连通域T1与连通域T1颜色相同的某一周围连通域之间 的灰度差异度，为每个小区域中任一连通域T1与连通域T1颜色不相同的某一周围连通 域之间的灰度差异度。在出发判断器图像中，连通域均为凹坑或凸起时，连通域T1与每个连 通域灰度差异越小，两个连通域的灰度图区域颜色相差越近，连通域T2n对连通域T1的 突出效果越强，的和越大；同理，颜色不同时，的和越大，n个连通域中，凸起 （凹坑）周围的凹坑（凸起）越多，凸起（凹坑）整体突出效果越强，T1越突出，T1噪点强度越 大，周围的凹坑（凸起）对T1的噪点增强系数越大，即越大。

需要说明的是，出发判断器图像中的连通域包括噪点连通域和非噪点连通域，噪 点连通域相对周围环境的对比度越强，强度越大，相对周围环境的灰度值变化越大，首先计 算两个连通域之间的灰度差异度。具体的，将出发判断器连通域T1与T2的对应灰度图的像 素点灰度值分别转化成序列W1、W2，采用DTW算法（Dynamic Time Warping，动态时间归整） 计算两个序列之间的差异度，得到连通域T1与连通域T2的灰度差异度K1。当周围连通域灰 度图像与中心连通域灰度图像颜色相同时，中心连通域越可能为出发判断器表面明显的多 个凸起相连部分或深度较深的多个凹坑相连部分，灰度差异度越小，凹坑或凸起颜色相差 越小，凹坑或凸起越突出；当周围连通域灰度图像与中心连通域灰度图像颜色不相同时，中 心连通域可能为出发判断器表面被多个凹坑包围的凸起，或被多个凸起包围的凹坑，灰度 差异度越大，凹坑或凸起边缘的对比度越大，凹坑或凸起区域越突出。出发判断器不同区域 光照不同，导致不同区域灰度值均值不同，因此需要计算不同出发判断器图像表面不同小 方块区域的灰度值均值，通过将连通域中心像素点灰度值与小方块内灰度值均值比较，判 断连通域灰度图差异，若比均值大，则为白色凸起连通域，若比均值小，则为黑色凹坑连通 域。按上述方式求K1的方式，求得连通域T1相对周围每个连通域的灰度差异度，然后求 的代入灰度差异度代入上述噪点增强系数的计算公式计算每个小区域的噪点增强系数。

在本申请一个可选的实施例中，根据一个小区域中任一T1连通域与周围连通域中心点之间的距离权重进行修正，修正后的噪点增强系数的计算公式为：

其中，为每个小区域中任一连通域T1与某一周围连通域中心点之间的距离，，其中，（，）为连通域T1的中心点的坐标，（，） 为连通域的中心点的坐标。

在出发判断器图像中，由于连通域对连通域T1的增强效果还受凹坑（凸起）与 凹坑（凸起）之间、凹坑与凸起之间距离的影响，两个连通域之间距离越近，灰度值变化越 大，对比度越强，周围连通域对中心连通域的突出效果越强，因此需要对噪点增强系数进行 修正。

其中，在上述修正后的噪点增强系数的计算公式中，中，若越小，对应的T1 与连通域灰度图像之间的灰度差异度越大；d越小，出发判断器图像的二值图中，两个连 通域之间的距离越近，两个连通域灰度图之间的对比度越强，T1连通域被突出的效果越强，越大。

在本申请一个可选的实施例中，根据每个小区域中的噪点增强系数，确定对应的每个小区域中的噪声点强度，其中确定对应的每个小区域中的噪声点强度的计算公式为：

其中，m为小区域中连通域的个数，为修正后的噪点增强系数。

具体的，出发判断器图像中，每个小方块区域内，每个连通域都代表一个凸起或凹 坑，将小方块内每个连通域分别作为中心连通域，计算周围连通域对每个连通域的噪点增 强系数，得到小方块内出发判断器图像的噪声点强度P。上述噪声点强度的计算公式中， 越大，灰度差异度与距离倒数的乘积越大，小方块图像中连通域之间的距离越小，凹坑或凸 起区域对比度越强，小方块出发判断器图像中，凹坑或凸起产生的噪声强度越大。

在本申请一个可选的实施例中，根据每个小区域中的噪声点强度，对对应的每个小区域中非局部均值滤波算法的平滑参数进行调整，其中平滑参数的调整计算公式为：

其中，h为非局部均值滤波算法中原平滑参数，P为噪声点强度。出发判断器表面凹 坑或凸起越明显，每个小方块图像的凹坑或凸起数量越多，出发判断器表面在该区域的噪 声点强度越大，需要被平滑的程度越大，计算时平滑参数越大。

在上述实施例中，非局部均值滤波算法NLM的计算公式为：

其中，w为像素点x和y间的相似度，为归一化系数，为两矩形邻域 图像块和之间的欧几里得距离，该值越小表明两图像块相似度越高，h为平滑参数。 h越大,高斯函数变化越平缓，去噪水平越高；h越小，去噪水平越低，细节保持越多。

对于本场景出发判断器图像中，将噪声点强度P与平滑参数h相乘，作为每个小方块出发判断器图像的NLM新的平滑参数，对出发判断器图像进行去噪。

在本申请一个可选的实施例中，采用自编码神经网络对滤波去噪的预处理操作后的出发判断器图像进行出发判断器的缺陷检测，包括：

将滤波去噪的预处理操作后的出发判断器图像输入到自编码神经网络中，得到重构图像，将滤波去噪的预处理操作后的出发判断器图像与重构图像进行比较，若图像误差值超过阈值，则说明出发判断器存在质量缺陷。

具体的，自编码神经网络是一类无监督学习的神经网络，其功能是通过输入信息作为学习目标，对输入信息进行表征学习，将输入复制到输出。本申请实施例中的自编码神经网络是用无缺陷的出发判断器图像训练得到。

重构图像为自编码神经网络的输出，重构图像的大小与滤波去噪的预处理操作后的出发判断器图像的大小一致。因为神经网络的训练样本是无缺陷的出发判断器图像，所以神经网络不对滤波去噪的预处理操作后的出发判断器图像的缺陷部分的图像进行重构，所以重构图像不包含质量缺陷的特征信息；若滤波去噪的预处理操作后的出发判断器图像是存在缺陷的，那么重构图像中将不包含质量缺陷的特征信息，具体体现在滤波去噪的预处理操作后的出发判断器图像和重构图像部分对应像素点的像素值存在差异，计算滤波去噪的预处理操作后的出发判断器图像和重构图像之间每个对应像素点之间的像素值误差值，若图像误差值超过设定阈值，则说明出发判断器存在质量缺陷。

参见图4所示，本申请实施例公开了一种基于机器视觉的出发判断器缺陷检测装置，该出发判断器缺陷检测装置可以应用于各种电子设备，例如：手机、平板电脑、台式电脑、可穿戴设备或服务器等，在此不作限定。包括：

获取模块11，用于获取出发判断器图像；

预处理模块12，用于对出发判断器图像进行预处理操作；

划块及二值化模块13，对预处理操作后的出发判断器图像进行划块操作和二值化处理，得到划分为多个小区域的出发判断器图像的二值图；

连通域确定模块14，根据二值图确定每个小区域中的连通域，并将在二值图中确定的每个小区域中的连通域映射到预处理操作后的出发判断器图像；

噪点增强系数确定模块15，根据预处理操作后的出发判断器图像中每个小区域中的连通域，确定每个小区域中每一个连通域与所有周围连通域的噪点增强系数；

噪声点强度确定模块16，根据每个小区域中的噪点增强系数，确定对应的每个小区域中的噪声点强度；

滤波去噪模块17，根据每个小区域中的噪声点强度，对对应的每个小区域中非局部均值滤波算法的平滑参数进行调整，并利用平滑参数调整后的非局部均值滤波算法对预处理操作后的出发判断器图像对应的每个小区域进行滤波去噪；

缺陷检测模块18，采用自编码神经网络对滤波去噪的预处理操作后的出发判断器图像进行出发判断器的缺陷检测。

实施上述的基于机器视觉的出发判断器缺陷检测装置，通过将出发判断器图像划分成多个小方块，计算每个小方块的噪声点强度，对平滑参数进行调整，采用调整后的平滑参数对图像进行去噪，将去噪后的出发判断器图像输入到自编码神经网络中，检测出发判断器图像中是否存在外观质量缺陷，检测过程中由于产品表面粗糙，采集的图片中存在大量噪声点，通过对平滑参数调整去噪使图像中缺陷更为清晰，快速精确更加容易的实现出发判断器外观质量缺陷的识别。

在本申请一个可选的实施例中，预处理模块，用于对出发判断器图像进行预处理操作，具体包括：

根据Retinex算法对出发判断器图像进行处理，对处理后的出发判断器图像根据图像分割算法提取出发判断器图像的感兴趣区域，并将处理后的出发判断器图像通过灰度化得到出发判断器图像的灰度图像。

实施上述的基于机器视觉的出发判断器缺陷检测装置，可以减少光线对图像的影响及复杂背景因素的影响。

在本申请一个可选的实施例中，划块及二值化模块，用于对预处理操作后的出发判断器图像进行划块操作和二值化处理，得到划分为多个小区域的出发判断器图像的二值图，具体包括：

通过多次划分操作得到出发判断器图像的多个小区域，通过阈值分割得到灰度图像的划分为多个小区域的二值图，其中多个小区域为多个小方块。

实施上述的基于机器视觉的出发判断器缺陷检测装置，将出发判断器图像划分成多个小区域，对每个小区域进行平滑参数h的调整和去噪，可以避免由于出发判断器图像粗糙表面形状不定，图像中的噪声分布不均，部分区域噪声分布较为密集或强度较大，部分区域噪声分布较为稀疏或强度较小对噪声处理的影响，达到更好的去噪效果。

在本申请一个可选的实施例中，连通域确定模块，用于根据二值图确定每个小区域中的连通域，并将在二值图中确定的每个小区域中的连通域映射到预处理操作后的出发判断器图像，具体包括：

将二值图中灰度值相同且相邻的像素点进行连接，得到二值图中每个小区域的所有连通域，对每个连通域通过图像细化算法得到对应的每个连通域的骨架线，将骨架线通过像素点坐标对应到预处理操作得到的出发判断器图像的灰度图像中。

在本申请一个可选的实施例中，每个小区域中每一个连通域与所有周围连通域的噪点增强系数的计算公式为：

其中，n为每个小区域中任一连通域T1周围其它凹坑或凸起的连通域总数，a为与 连通域T1颜色相同的周围连通域个数，即同为凸起或同为凹坑连通域的个数，b为与连通域 T1颜色不相同的周围连通域个数，即T1为凸起时，周围凹坑的个数，或T1为凹坑时，周围凸 起的个数，为每个小区域中任一连通域T1与连通域T1颜色相同的某一周围连通域之间 的灰度差异度，为每个小区域中任一连通域T1与连通域T1颜色不相同的某一周围连通 域之间的灰度差异度。在出发判断器图像中，连通域均为凹坑或凸起时，连通域T1与每个连 通域T2n灰度差异越小，两个连通域的灰度图区域颜色相差越近，连通域T2n对连通域T1的 突出效果越强，的和越大；同理，颜色不同时，的和越大，n个连通域中，凸起 （凹坑）周围的凹坑（凸起）越多，凸起（凹坑）整体突出效果越强，T1越突出，T1噪点强度越 大，周围的凹坑（凸起）对T1的噪点增强系数越大，即越大。

在本申请一个可选的实施例中，还包括噪点增强系数修正模块，用于根据一个小区域中任一T1连通域与周围连通域T2n中心点之间的距离权重进行修正，修正后的噪点增强系数的计算公式为：

其中，为每个小区域中任一连通域T1与某一周围连通域T2i中心点之间的距离，，其中，（，）为连通域T1的中心点的坐标，（，） 为连通域的中心点的坐标。

实施上述出发判断器缺陷检测装置，通过对噪点增强系数进行修正，可以避免由于连通域T2n对连通域T1的增强效果受凹坑（凸起）与凹坑（凸起）之间、凹坑与凸起之间距离的影响。

在本申请一个可选的实施例中，噪声点强度模块，用于根据每个小区域中的噪点增强系数，确定对应的每个小区域中的噪声点强度，其中确定对应的每个小区域中的噪声点强度的计算公式为：

其中，m为小区域中连通域的个数，为修正后的噪点增强系数。

需要说明的是，出发判断器图像中，每个小方块区域内，每个连通域都代表一个凸 起或凹坑，将小方块内每个连通域分别作为中心连通域，计算周围连通域对每个连通域的 噪点增强系数，得到小方块内出发判断器图像的噪声点强度P。上述噪声点强度的计算公式 中，越大，灰度差异度与距离倒数的乘积越大，小方块图像中连通域之间的距离越小，凹 坑或凸起区域对比度越强，小方块出发判断器图像中，凹坑或凸起产生的噪声强度越大。

在本申请一个可选的实施例中，缺陷检测装置还包括还包括平滑参数调整模块，用于根据每个小区域中的噪声点强度，对对应的每个小区域中非局部均值滤波算法的平滑参数进行调整，其中平滑参数的调整计算公式为：

其中，h为非局部均值滤波算法中原平滑参数，P为噪声点强度。出发判断器表面凹 坑或凸起越明显，每个小方块图像的凹坑或凸起数量越多，出发判断器表面在该区域的噪 声点强度越大，需要被平滑的程度越大，计算时平滑参数越大。

进一步的，在上述实施例中，非局部均值滤波算法NLM的计算公式为：

其中，w为像素点x和y间的相似度，为归一化系数，为两矩形邻域 图像块和之间的欧几里得距离，该值越小表明两图像块相似度越高，h为平滑参数。 h越大,高斯函数变化越平缓，去噪水平越高；h越小，去噪水平越低，细节保持越多。

对于本场景出发判断器图像中，将噪声点强度P与平滑参数h相乘，作为每个小方块出发判断器图像的NLM新的平滑参数，通过滤波去噪模块对出发判断器图像进行去噪。

在本申请一个可选的实施例中，缺陷检测模块，用于采用自编码神经网络对滤波去噪的预处理操作后的出发判断器图像进行出发判断器的缺陷检测，具体包括：

将滤波去噪的预处理操作后的出发判断器图像输入到自编码神经网络中，得到重构图像，将滤波去噪的预处理操作后的出发判断器图像与重构图像进行比较，若图像误差值超过阈值，则说明出发判断器存在质量缺陷。

利用上述方式可以对采集的出发判断器图像进行缺陷检测，得到精确的缺陷检索结果。本申请实施例通过将出发判断器图像划分成多个小方块，计算每个小方块的噪声点强度，对平滑参数进行调整，采用调整后的平滑参数对图像进行去噪，将去噪后的出发判断器图像输入到自编码神经网络中，检测出发判断器图像中是否存在外观质量缺陷，检测过程中由于产品表面粗糙，采集的图片中存在大量噪声点，通过对平滑参数调整去噪使图像中缺陷更为清晰，快速精确更加容易的实现出发判断器外观质量缺陷的识别。

参见图5所示，本申请实施例公开了一种电子设备20，包括处理器21和存储器22；其中，存储器22，用于保存计算机程序；处理器21，用于通过执行计算机程序来实现前述方法实施例提供的出发判断器缺陷检测方法。

关于上述出发判断器缺陷检测方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

并且，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，存储方式可以是短暂存储或者永久存储。

另外，电子设备20还包括电源23、通信接口24、输入输出接口25和通信总线26；其中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

进一步的，本申请实施例还公开了一种计算机可读存储介质，如图6所示，用于保存计算机程序31，其中，计算机程序被处理器执行时实现前述方法实施例提供的出发判断器缺陷检测方法。

关于上述出发判断器缺陷检测方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本申请实施例还提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行本申请方法实施例所示的出发判断器缺陷检测方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种基于机器视觉的出发判断器缺陷检测方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于机器视觉的出发判断器缺陷检测方法，其特征在于，包括：

获取出发判断器图像；

对所述出发判断器图像进行预处理操作；

对预处理操作后的出发判断器图像进行划块操作和二值化处理，得到划分为多个小区域的所述出发判断器图像的二值图；

根据所述二值图确定每个所述小区域中的连通域，并将在所述二值图中确定的每个所述小区域中的所述连通域映射到所述预处理操作后的出发判断器图像；

根据所述预处理操作后的出发判断器图像中每个所述小区域中的所述连通域，确定每个所述小区域中每一个连通域与所有周围连通域的噪点增强系数，并根据每个所述小区域中的噪点增强系数，确定对应的每个所述小区域中的噪声点强度；

根据每个所述小区域中的噪声点强度，对对应的每个所述小区域中非局部均值滤波算法的平滑参数进行调整，并利用所述平滑参数调整后的非局部均值滤波算法对所述预处理操作后的出发判断器图像对应的每个所述小区域进行滤波去噪；

采用自编码神经网络对滤波去噪的所述预处理操作后的出发判断器图像进行所述出发判断器的缺陷检测。

2.根据权利要求1所述的出发判断器缺陷检测方法，其特征在于，对所述出发判断器图像进行预处理操作，包括：

根据图像增强算法对所述出发判断器图像进行处理，对处理后的所述出发判断器图像根据图像分割算法提取所述出发判断器图像的感兴趣区域，并将处理后的所述出发判断器图像通过灰度化得到所述出发判断器图像的灰度图像。

3.根据权利要求1所述的出发判断器缺陷检测方法，其特征在于，对预处理操作后的出发判断器图像进行划块操作和二值化处理，得到划分为多个小区域的所述出发判断器图像的二值图，包括：

通过多次划分操作得到所述出发判断器图像的所述多个小区域，通过阈值分割对预处理操作后的出发判断器图像进行处理得到划分为多个小区域的所述二值图，其中多个小区域为多个小方块。

4.根据权利要求1所述的出发判断器缺陷检测方法，其特征在于，根据所述二值图确定每个所述小区域中的连通域，并将在所述二值图中确定的每个所述小区域中的所述连通域映射到所述预处理操作后的出发判断器图像，包括：

将所述二值图中灰度值相同且相邻的像素点进行连接，得到所述二值图中每个所述小区域的所有连通域，对每个所述连通域通过图像细化算法得到对应的每个连通域的骨架线，将骨架线通过像素点坐标对应到所述预处理操作得到的所述出发判断器图像的灰度图像中。

5.根据权利要求1所述的出发判断器缺陷检测方法，其特征在于，每个所述小区域中每一个连通域与所有周围连通域的噪点增强系数的计算公式为：

其中，n为每个小区域中任一连通域T1周围其它凹坑或凸起的连通域总数，a为与连通域T1颜色相同的周围连通域个数，即同为凸起或同为凹坑连通域的个数，b为与连通域T1颜色不相同的周围连通域个数，为每个小区域中任一连通域T1与连通域T1颜色相同的某一周围连通域之间的灰度差异度，/>为每个小区域中任一连通域T1与连通域T1颜色不相同的某一周围连通域之间的灰度差异度。

6.根据权利要求5所述的出发判断器缺陷检测方法，其特征在于，进一步包括：根据一个小区域中任一T1连通域与周围连通域T2n中心点之间的距离权重进行修正，修正后的噪点增强系数的计算公式为：

其中，为每个小区域中任一连通域T1与某一周围连通域T2i中心点之间的距离，，其中，（/>，/>）为连通域T1的中心点/>的坐标，（/>，/>）为连通域/>的中心点/>的坐标。

7.根据权利要求1-6任一项所述的出发判断器缺陷检测方法，其特征在于，根据每个所述小区域中的噪点增强系数，确定对应的每个所述小区域中的噪声点强度，其中确定对应的每个所述小区域中的噪声点强度的计算公式为：

其中，m为小区域中连通域的个数，为修正后的噪点增强系数。

8.根据权利要求1所述的出发判断器缺陷检测方法，其特征在于，根据每个所述小区域中的噪声点强度，对对应的每个所述小区域中非局部均值滤波算法的平滑参数进行调整，其中平滑参数的调整计算公式为：

其中h为非局部均值滤波算法中原平滑参数，P为噪声点强度。

9.根据权利要求1所述的出发判断器缺陷检测方法，其特征在于，采用自编码神经网络对滤波去噪的所述预处理操作后的出发判断器图像进行所述出发判断器的缺陷检测，包括：

将滤波去噪的预处理操作后的出发判断器图像输入到自编码神经网络中，得到重构图像，将滤波去噪的预处理操作后的出发判断器图像与重构图像进行比较，若图像误差值超过阈值，则说明出发判断器存在质量缺陷。

10.一种基于机器视觉的出发判断器缺陷检测装置，其特征在于，包括：

获取模块，用于获取出发判断器图像；

预处理模块，用于对所述出发判断器图像进行预处理操作；

划块及二值化模块，对预处理操作后的出发判断器图像进行划块操作和二值化处理，得到划分为多个小区域的所述出发判断器图像的二值图；

连通域确定模块，根据所述二值图确定每个所述小区域中的连通域，并将在所述二值图中确定的每个所述小区域中的所述连通域映射到所述预处理操作后的出发判断器图像；

噪点增强系数确定模块，根据所述预处理操作后的出发判断器图像中每个所述小区域中的所述连通域，确定每个所述小区域中每一个连通域与所有周围连通域的噪点增强系数；

噪声点强度确定模块，根据每个所述小区域中的噪点增强系数，确定对应的每个所述小区域中的噪声点强度；

滤波去噪模块，根据每个所述小区域中的噪声点强度，对对应的每个所述小区域中非局部均值滤波算法的平滑参数进行调整，并利用所述平滑参数调整后的非局部均值滤波算法对所述预处理操作后的出发判断器图像对应的每个所述小区域进行滤波去噪；

缺陷检测模块，采用自编码神经网络对滤波去噪的所述预处理操作后的出发判断器图像进行所述出发判断器的缺陷检测。