CN117291919A - 一种钢轨螺栓表面润滑脂视觉检测方法 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种钢轨螺栓表面润滑脂视觉检测方法，包括：获取钢轨螺栓表面灰度图像，将其划分为螺纹区域和非螺纹区域，获取像素点的初始窗口，从而得到修正窗口，筛选出修正窗口内的异常点，根据异常点数量、修正窗口宽度、修正窗口长度，得到最终窗口，根据所有像素点的最终窗口、有效异常可能性，进行自适应阈值分割，判断螺纹区域或者非螺纹区域内是否存在缺陷，由此判断钢轨螺栓表面润滑脂的涂抹质量是否合格。本发明通过对图像中每个像素点的窗口的自适应，提高了阈值分割的准确性，增加了缺陷检测结果的可信度，从而提高了钢轨螺栓表面润滑脂的涂抹质量检测的准确性。

Description

一种钢轨螺栓表面润滑脂视觉检测方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种钢轨螺栓表面润滑脂视觉检测方法。

背景技术

螺栓是工业领域常用的一种零部件，通常用于紧固连接两个带有通孔的零件。对于铁路上的钢轨接头螺栓等高强度螺栓而言，涂抹润滑脂能在其装配、拆卸等过程中起到重要的作用，例如使螺栓预紧力更加均匀、防止紧固件咬死、延缓表面生锈等。因此对钢轨螺栓表面润滑脂的涂抹质量进行检测是十分重要的，当前常使用自适应阈值分割法识别因润滑脂涂抹不均匀而产生的组分沉淀和析出区域。

现有的问题：钢轨螺栓具有较为特殊的形状和表面纹理，使得其图像无法避免光照不均匀带来的影响，易导致阴影被误分为缺陷，还会影响分割阈值的准确性，并且螺栓因润滑脂涂抹不均匀而产生的组分沉淀和析出区域形状差异较大，而窗口大小是自适应阈值分割法的重要参数，当窗口大小选取不合适时，组分沉淀和析出区域的检测结果准确性较低，从而降低了钢轨螺栓表面润滑脂的涂抹质量检测的准确性。

发明内容

本发明提供一种钢轨螺栓表面润滑脂视觉检测方法，以解决现有的问题。

本发明的一种钢轨螺栓表面润滑脂视觉检测方法采用如下技术方案：

本发明一个实施例提供了一种钢轨螺栓表面润滑脂视觉检测方法，该方法包括以下步骤：

采集一张涂抹润滑脂后的钢轨螺栓表面图像，进行灰度化处理，得到钢轨螺栓表面灰度图像；使用深度神经网络，将钢轨螺栓表面灰度图像划分为螺纹区域和非螺纹区域；将螺纹区域或者非螺纹区域，记为参考区域；将参考区域内的任意一个像素点，记为参考点，并构建以参考点为窗口中心点的参考点的初始窗口；

根据参考点的初始窗口内像素点灰度值的差异，得到参考点的修正窗口宽度和修正窗口长度，并构建以参考点为窗口中心点的参考点的修正窗口；

在参考点的修正窗口内，根据像素点的灰度值、梯度方向角度，得到每个像素点的异常可能性，并筛选出异常点；将参考点的异常可能性，记为参考点的有效异常可能性；

根据参考点的修正窗口内的异常点数量、修正窗口宽度、修正窗口长度，得到参考点的最终窗口；

根据参考区域内的所有像素点的最终窗口、有效异常可能性，进行自适应阈值分割，判断参考区域内是否存在缺陷；根据螺纹区域和非螺纹区域内是否存在缺陷的结果，判断所述钢轨螺栓表面图像中的钢轨螺栓表面润滑脂的涂抹质量是否合格。

进一步地，所述构建以参考点为窗口中心点的参考点的初始窗口，包括的具体步骤如下：

当参考点在螺纹区域内时，将以参考点为窗口中心点、大小为的窗口，记为 参考点的初始窗口；所述为预设的小窗口边长；

当参考点在非螺纹区域内时，将以参考点为窗口中心点、大小为的窗口，记 为参考点的初始窗口；所述为预设的大窗口边长。

进一步地，所述根据参考点的初始窗口内像素点灰度值的差异，得到参考点的修正窗口宽度和修正窗口长度，并构建以参考点为窗口中心点的参考点的修正窗口，包括的具体步骤如下：

在参考点的初始窗口中，将每条边上所有像素点灰度值的均值，记为每条边的灰度特征值；

将参考点的初始窗口的左侧边和右侧边，记为宽边；

将参考点的初始窗口的上侧边和下侧边，记为长边；

根据参考点的初始窗口宽度和长度、宽边和长边的灰度特征值，得到参考点的修正窗口宽度和修正窗口长度；

将以参考点的修正窗口宽度和修正窗口长度为窗口宽度和长度、以参考点为窗口中心点构建的窗口，记为参考点的修正窗口。

进一步地，所述根据参考点的初始窗口宽度和长度、宽边和长边的灰度特征值，得到参考点的修正窗口宽度和修正窗口长度对应的具体计算公式为：

其中为参考点的修正窗口宽度，为参考点的修正窗口长度，为参考点的初始 窗口宽度，为参考点的初始窗口长度，c为预设的常数，和分别为参考点的初始窗口 中第一和第二条宽边的灰度特征值，和分别为参考点的初始窗口中第一和第二条长边 的灰度特征值，| |为绝对值函数，为向下取整。

进一步地，所述在参考点的修正窗口内，根据像素点的灰度值、梯度方向角度，得到每个像素点的异常可能性，并筛选出异常点，包括的具体步骤如下：

使用Sobel算子，得到钢轨螺栓表面灰度图像中每个像素点的梯度方向角度；

在钢轨螺栓表面灰度图像中，统计所有像素点的梯度方向角度中的众数，将所述众数对应的梯度方向角度，记为光照方向角度；

将参考点的修正窗口内每个像素点与其所有相邻像素点的灰度值的方差，记为每个像素点的灰度方差；

将光照方向角度与参考点的修正窗口内每个像素点的梯度方向角度的差异，记为参考点的修正窗口内每个像素点的梯度方向异常值；

在参考点的修正窗口内，计算所有像素点灰度值的方差，将所述所有像素点灰度值的方差与每个像素点的灰度方差的差异，记为参考点的修正窗口内每个像素点的灰度变化异常值；

计算参考点的修正窗口内每个像素点的灰度变化异常值、梯度方向异常值的乘积，将所述乘积的归一化值，记为参考点的修正窗口内每个像素点的异常可能性；

将参考点的修正窗口内异常可能性大于预设的异常阈值的像素点，记为异常点。

进一步地，所述根据参考点的修正窗口内的异常点数量、修正窗口宽度、修正窗口长度，得到参考点的最终窗口，包括的具体步骤如下：

根据参考点的修正窗口宽度与修正窗口长度的乘积、修正窗口内的异常点数量之间的差异，得到参考点的窗口长度调整系数和窗口宽度调整系数；

以参考点为原点、水平向右为横轴、竖直向上为纵轴，构建平面直角坐标系；

在平面直角坐标系上，从左上方区域开始，顺时针依次将四个区域，分别记为第一象限、第二象限、第三象限、第四象限；

在参考点的修正窗口内，根据第一象限、第二象限、第三象限、第四象限中的异常点数量、修正窗口宽度、修正窗口长度、参考点的窗口长度调整系数和窗口宽度调整系数，得到参考点向右的长度、参考点向左的长度、参考点向上的长度、参考点向下的长度；

将以参考点向右的长度为参考点到窗口右侧边的最短距离、以参考点向左的长度为参考点到窗口左侧边的最短距离、以参考点向上的长度为参考点到窗口上侧边的最短距离、以参考点向下的长度为参考点到窗口下侧边的最短距离构建的窗口，记为参考点的最终窗口。

进一步地，所述根据参考点的修正窗口宽度与修正窗口长度的乘积、修正窗口内的异常点数量之间的差异，得到参考点的窗口长度调整系数和窗口宽度调整系数对应的具体计算公式为：

其中为参考点的窗口宽度调整系数，为参考点的窗口长度调整系数，为参 考点的修正窗口宽度，为参考点的修正窗口长度，S为参考点的修正窗口内的异常点数 量。

进一步地，所述在参考点的修正窗口内，根据第一象限、第二象限、第三象限、第四象限中的异常点数量、修正窗口宽度、修正窗口长度、参考点的窗口长度调整系数和窗口宽度调整系数，得到参考点向右的长度、参考点向左的长度、参考点向上的长度、参考点向下的长度对应的具体计算公式为：

其中为参考点向右的长度，为参考点向左的长度，为参考点向上的长度， 为参考点向下的长度，为参考点的窗口宽度调整系数，为参考点的窗口长度调整系数，为参考点的修正窗口宽度，为参考点的修正窗口长度，S为参考点的修正窗口内的异常 点数量，为第一象限中参考点的修正窗口内的异常点数量，为第二象限中参考点的修正 窗口内的异常点数量，为第三象限中参考点的修正窗口内的异常点数量，为第四象限 中参考点的修正窗口内的异常点数量，为向下取整。

进一步地，所述根据参考区域内的所有像素点的最终窗口、有效异常可能性，进行自适应阈值分割，判断参考区域内是否存在缺陷，包括的具体步骤如下：

根据参考区域内的所有像素点的最终窗口，使用自适应阈值分割算法，得到参考区域内的目标区域和背景区域；

在参考区域内，将目标区域内所有像素点的有效异常可能性的均值，记为目标区域的目标值；将背景区域内所有像素点的有效异常可能性的均值，记为背景区域的背景值；

计算目标值与背景值的差值的绝对值，当所述绝对值大于预设的缺陷阈值时，判定参考区域内存在缺陷；当所述绝对值小于等于预设的缺陷阈值时，判定参考区域内不存在缺陷。

进一步地，所述根据螺纹区域和非螺纹区域内是否存在缺陷的结果，判断所述钢轨螺栓表面图像中的钢轨螺栓表面润滑脂的涂抹质量是否合格，包括的具体步骤如下：

当螺纹区域或者非螺纹区域内存在缺陷时，判定所述钢轨螺栓表面图像中的钢轨螺栓表面润滑脂的涂抹质量不合格；

当螺纹区域或者非螺纹区域内不存在缺陷时，判定所述钢轨螺栓表面图像中的钢轨螺栓表面润滑脂的涂抹质量合格。

本发明的技术方案的有益效果是：

本发明实施例中，获取钢轨螺栓表面灰度图像，将其划分为螺纹区域和非螺纹区域，由此分别在两区域内进行窗口自适应，减小窗口内的像素点灰度差异，提高了窗口内阈值分割的准确性。获取像素点的初始窗口，从而得到修正窗口，其通过分析窗口内的光照分布，对窗口进行调整，能够减小同一个窗口内的像素点局部差异，避免光照较强和较弱的区域像素点差异过大而造成窗口阈值出现误差。获取像素点的初始窗口，从而得到修正窗口，筛选出修正窗口内的异常点，根据异常点数量、修正窗口宽度、修正窗口长度，得到最终窗口，其根据窗口内异常点的数量对窗口进行调整，能够令窗口更加符合图像的局部特征，避免窗口过大或过小导致目标、背景像素点比例失衡。根据所有像素点的最终窗口、有效异常可能性，进行自适应阈值分割，判断螺纹区域或者非螺纹区域内是否存在缺陷，由此判断钢轨螺栓表面润滑脂的涂抹质量是否合格。本发明通过对图像中每个像素点的窗口的自适应，提高了阈值分割的准确性，增加了缺陷检测结果的可信度，从而提高了钢轨螺栓表面润滑脂的涂抹质量检测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种钢轨螺栓表面润滑脂视觉检测方法的步骤流程图；

图2为本实施例所提供的一个窗口中的平面直角坐标系示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种钢轨螺栓表面润滑脂视觉检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种钢轨螺栓表面润滑脂视觉检测方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种钢轨螺栓表面润滑脂视觉检测方法的步骤流程图，该方法包括以下步骤：

步骤S001：采集一张涂抹润滑脂后的钢轨螺栓表面图像，进行灰度化处理，得到钢轨螺栓表面灰度图像；使用深度神经网络，将钢轨螺栓表面灰度图像划分为螺纹区域和非螺纹区域；将螺纹区域或者非螺纹区域，记为参考区域；将参考区域内的任意一个像素点，记为参考点，并构建以参考点为窗口中心点的参考点的初始窗口。

采集一张涂抹润滑脂后的钢轨螺栓表面图像，进行灰度化处理，得到钢轨螺栓表面灰度图像。

所需说明的是：涂抹润滑脂后的钢轨螺栓竖直摆放在传送带上，并在传送带上滚动传输，使用工业相机正俯视拍摄，对每个钢轨螺栓进行多次拍摄，获取完整的钢轨螺栓表面图像。由于相机直接拍摄的图像中存在为背景的传送带区域，因此本实施例先在传送带上采集没有钢轨螺栓的图像，再采集含有钢轨螺栓的图像，两者进行图像差分，得到钢轨螺栓表面图像。其中，图像灰度化处理和图像差分均为公知技术，具体方法在此不做介绍。

对钢轨螺栓表面涂抹润滑脂，由于此操作有很大的不稳定性，可能导致螺栓润滑脂涂抹不均匀，很容易产生组分沉淀或析出等变化。这些变化通常以颗粒状、块状等形式出现，在图像中会表现为大小参差不齐的、灰度值较低的区域。本实施例使用自适应阈值分割算法对图像进行分割时，该算法使用局部均值法，即将每个像素点的阈值设置为其邻域像素点的平均灰度值，用以区分背景和目标像素点，目标像素点就是缺陷像素点，背景像素点就是正常像素点，因此分割效果会受每个像素点对应的窗口大小的影响。并且由于钢轨螺栓表面上的螺纹区域和非螺纹区域、阴影区域和明亮区域距离较近，使得同一个窗口中的背景像素点灰度差异过大，影响窗口阈值的准确性，导致最终的分割结果出现较大的误差。

因此本实施例会对每个像素点的窗口大小和形状进行自适应调整，首先根据像素点所在的位置进行调整，令其窗口仅包含于螺纹区域或非螺纹区域中，避免窗口中同时出现螺纹区域和非螺纹区域内的像素点。其次根据窗口内光照的分布进行修正，尽量让同一个窗口中的像素点光照条件相似，以免背景像素点的灰度值差异过大。最后再根据窗口中异常像素点的数量进行自适应变化，保证目标、背景像素点的比例始终在正常范围内，减小窗口阈值误差。从而利用调整后的窗口对图像进行遍历分割，获取准确的目标区域。

在自适应阈值分割算法中，每个像素点的分割阈值都是由其窗口中所有像素点的灰度值共同影响的。通常情况下会以这些像素点的灰度均值作为分割阈值，所以窗口内的背景像素点与目标像素点的灰度差异要足够明显，且背景像素点之间的灰度差异需要尽可能地小。而钢轨螺栓表面的螺纹由于是凹陷的，无法对光线进行有效反射，所以螺纹区域内的像素点在图像中的灰度值很低，与非螺纹区域内的像素点灰度差异大，这就导致同时包含两个区域内的像素点的窗口的阈值计算出现较大的误差。因此，故应避免同一窗口中出现两个区域内的像素点的情况。

因此本发明实施例采用深度神经网络来识别分割钢轨螺栓表面灰度图像中的螺纹区域和非螺纹区域。

深度神经网络的相关内容如下：

本实施例使用的深度神经网络为DeepLabV3神经网络；使用的数据集为钢轨螺栓表面灰度图像数据集。

需要分割的像素点，共分为2类，即训练集对应标签标注过程为：单通道的语义标签，对应位置像素点属于非螺纹区域的标注为0，属于螺纹区域的标注为1。

网络的任务是分类，所以使用的loss函数为交叉熵损失函数。

通过深度神经网络得到钢轨螺栓表面灰度图像中的螺纹区域和非螺纹区域。

本实施例预设的小窗口边长为11，预设的大窗口边长为31，以此为例进行叙 述，其它实施方式中可设置为其它值，本实施例不进行限定，但和的取值应为奇数。

将螺纹区域或者非螺纹区域，记为参考区域。将参考区域内的任意一个像素点，记为参考点。

当参考点在螺纹区域内时，以参考点为窗口中心点，将大小为的窗口，记为 参考点的初始窗口。

当参考点在非螺纹区域内时，以参考点为窗口中心点，将大小为的窗口，记 为参考点的初始窗口。

所需说明的是：所述初始窗口的边长与钢轨螺栓表面灰度图像的边长平行或者垂直，这是因为钢轨螺栓竖直摆放，螺纹旋转方向应为钢轨螺栓表面灰度图像的横向。并且由于螺纹区域的宽度较小，故设定较小的窗口大小。

步骤S002：根据参考点的初始窗口内像素点灰度值的差异，得到参考点的修正窗口宽度和修正窗口长度，并构建以参考点为窗口中心点的参考点的修正窗口。

由于螺栓的形状近似于圆柱形，所以其表面不同位置的光照强度会有很大的差异，且光线通常是均匀照射在物体表面的，因此难以避免出现一个窗口中的背景像素点存在较大灰度差异的情况。此外，异常区域的面积并不固定，相同的窗口大小无法适用于所有的像素点，否则可能因目标、背景像素点比例失衡而产生阈值误差。所以可以从光照条件和异常区域面积两个角度入手，分别对窗口的形状和大小进行调整。

在钢轨螺栓表面灰度图像中，朝上的部分通常是光照强度最高的部分，这部分的像素点灰度值相对其它部分的像素点较高。沿着侧面开始往下光照强度会慢慢变低，像素点的灰度值也会不断降低。可以看出，在一定的区域内，光照强度是沿着某个方向不断变化的，因此在同一个窗口中，矩形边长上的像素点就能体现出该窗口内的光照差异。

因此在参考点的初始窗口中，将每条边上所有像素点灰度值的均值，记为每条边的灰度特征值。

在参考点的初始窗口中，将左侧边和右侧边，记为宽边，将上侧边和下侧边，记为长边。

所需说明的是：本实施例中参考点的初始窗口为正方形，故在后续分析中令像素点对应的窗口的横向边为长边、纵向边为宽边。若初始窗口为长方形，则可直接确定长边和宽边，并用于后续分析。

由此可知参考点的修正窗口宽度和修正窗口长度的计算公式为：

其中为参考点的修正窗口宽度，为参考点的修正窗口长度，为参考点的初始 窗口宽度，为参考点的初始窗口长度，c为预设的常数，和分别为参考点的初始窗口 中第一和第二条宽边的灰度特征值，和分别为参考点的初始窗口中第一和第二条长边 的灰度特征值，| |为绝对值函数。本实施例设定c为50，以此为例进行叙述，其它实施方式 中可设置为其它值，本实施例不进行限定。为向下取整。

所需说明的是：当初始窗口对边的灰度值差异过大时，就将相应的长或宽边长进 行缩小。其中，当、大于c时，认为窗口内的光照强度差异过大，使用和分别对和进行缩小调整。当、小于等于c时，认为窗口内的光照较 为均匀，即不对窗口进行调整。为了方便后续修正窗口构建，和应为奇数，已知和为 奇数，且公式中为向下取整，因此若当前计算的为偶数，则对加1，得到奇数。若当前 计算的为偶数，则对加1，得到奇数。

将以参考点的修正窗口宽度、修正窗口长度分别为窗口的宽度、长度，以参考点为窗口中心点构建的窗口，记为参考点的修正窗口。

步骤S003：在参考点的修正窗口内，根据像素点的灰度值、梯度方向角度，得到每个像素点的异常可能性，并筛选出异常点；将参考点的异常可能性，记为参考点的有效异常可能性。

常用的计算窗口阈值的方法就是求窗口中所有像素点的灰度均值，将该均值作为窗口的分割阈值，而当目标或背景像素点其中之一的数量大于另一种过多时，该方式计算出的阈值就很有可能出现误差。因此可以计算出每个窗口中异常区域的面积，即异常像素点的数量，根据异常区域面积所占窗口面积的比值对窗口大小进行调整，保证目标、背景像素点的数量始终在一定范围内，从而减小误差。

当螺栓表面的润滑脂发生组分沉淀或析出现象时，可能会呈现出一些颗粒状、块状或凝胶状的物质，这些物质所处的异常区域对光照的反射不明显，因此异常区域在图像中会表现为灰度值发生突变的区域，其内部像素点的灰度值较低、且周围灰度分布不均匀。此外，在正常区域中所有位置的光照方向是一致的，所以正常区域的像素点梯度方向基本一致，且与光照方向差异很小。而异常区域由于异物的存在，表面的形状与高度都是无规律的，所以异常区域像素点的梯度方向是随机的，且与光照方向差异较大。

在钢轨螺栓表面灰度图像中，使用Sobel算子，得到每个像素点的梯度方向角度。统计所有像素点的梯度方向角度中的众数，将所述众数对应的梯度方向角度，记为光照方向角度。其中，Sobel算子为公知技术，具体方法在此不做介绍。

所需说明的是：若存在多个众数，则令这多个众数对应的梯度方向角度的均值，为光照方向角度。若不存在众数，则令所有像素点的梯度方向角度的均值，为光照方向角度。

在参考点的修正窗口内，将每个像素点与其所有相邻像素点的灰度值的方差，记为每个像素点的灰度方差。

由此可知参考点的修正窗口内每个像素点的异常可能性的计算公式为：

其中为参考点的修正窗口内第i个像素点的异常可能性，为参考点的修正窗口 内第i个像素点的梯度方向角度，为光照方向角度，为参考点的修正窗口内第i个像素点 的灰度方差，为参考点的修正窗口内所有像素点灰度值的方差，n为参考点的修正窗口内 所有像素点的数量。| |为绝对值函数，为线性归一化函数，将数据值归一化至[0,1] 区间内。

所需说明的是：钢轨螺栓表面灰度图像中的光照方向一致，因此取所有像素点的 梯度方向角度中的众数，为光照方向角度。表示参考点的修正窗口内第i个像素点的 梯度方向异常值，体现了该像素点的梯度方向与光照方向的差异，表示参考点的修 正窗口内第i个像素点的灰度变化异常值，体现了该像素点周围的灰度分布均匀程度与整 个窗口内的灰度分布均匀程度的差异，两个差异越大，说明该像素点属于异常的可能性越 高。故用的归一化值，表示参考点的修正窗口内第i个像素点的异常可能 性。

将参考点的异常可能性，记为参考点的有效异常可能性。

本实施例预设的异常阈值为0.7，以此为例进行叙述，其它实施方式中可设置为其它值，本实施例不进行限定。

在参考点的修正窗口内，将异常可能性大于预设的异常阈值的像素点，记为异常点。

步骤S004：根据参考点的修正窗口内的异常点数量、修正窗口宽度、修正窗口长度，得到参考点的最终窗口。

在参考点的修正窗口内，筛选出异常点后，理想情况下，需要令窗口中目标、背景像素点的数量相同，即窗口面积应为异常点数量的二倍。由此可知参考点的窗口长度调整系数和窗口宽度调整系数的计算公式为：

其中为参考点的窗口宽度调整系数，为参考点的窗口长度调整系数，为参 考点的修正窗口宽度，为参考点的修正窗口长度，S为参考点的修正窗口内的异常点数 量。

所需说明的是：和的求解过程为：根据，可知，则，可转变为，其中、、S已知，由此 得到变量为的一元二次方程，故当存在两个解时，若，说明修正窗口需要 增大，则取两个解中的最大值为，若，说明修正窗口需要减小，则取两个解中 的最小值为。由此根据的解，得到的解。当无解时，将参考点的修正窗口，记为参考 点的最终窗口。用于保障窗口大小为2倍的S，用于保障调整 后的窗口的长宽比例不变。

为了让窗口在变化过程中，异常区域的面积尽量保持不变，还需要对窗口长宽变化的方向进行控制。

以参考点为原点、水平向右为横轴、竖直向上为纵轴，构建平面直角坐标系。

在平面直角坐标系上，从左上方区域开始，顺时针依次将四个区域，分别记为第一象限、第二象限、第三象限、第四象限。图2为本实施例所提供的一个窗口中的平面直角坐标系示意图。

所需说明的是：图2中的窗口为参考点的修正窗口，原点O为参考点，一、二、三、四 分别表示第一象限、第二象限、第三象限、第四象限，第一、四象限中的云朵状区域表示修正 窗口内的异常像素点构成的区域，、、、分别为参考点向右的长度、参考点向左的长 度、参考点向上的长度、参考点向下的长度，实际体现了修正窗口调整后的最终窗口中，参 考点到窗口右侧边的最短距离、参考点到窗口左侧边的最短距离、参考点到窗口上侧边的 最短距离、参考点到窗口下侧边的最短距离。

由此可知，参考点向右的长度、参考点向左的长度、参考点向上的长度、参考 点向下的长度的计算公式为：

其中为参考点向右的长度，为参考点向左的长度，为参考点向上的长度， 为参考点向下的长度，为参考点的窗口宽度调整系数，为参考点的窗口长度调整系数，为参考点的修正窗口宽度，为参考点的修正窗口长度，S为参考点的修正窗口内的异常 点数量，为第一象限中参考点的修正窗口内的异常点数量，为第二象限中参考点的修正 窗口内的异常点数量，为第三象限中参考点的修正窗口内的异常点数量，为第四象限 中参考点的修正窗口内的异常点数量。为向下取整。

所需说明的是：向下取整是为了保障后续构建的窗口边长为整数。由于S等于，故接近于，接近于，由此保障调整后的窗口大小 接近于。根据平面直角坐标系的纵轴，将修正窗口划分为左右两侧，当异常点在右侧较 多时，较小，较大，即较多的调整，当异常点在左侧较多时，较大，较小，即 较多的调整，由此在保障窗口内异常点的数量变化较小的同时，令窗口长度接近于 ，从而保障窗口内的异常点的数量接近于窗口面积的一半，令阈值分割效果较好。根据平面 直角坐标系的横轴，将修正窗口划分为上下两侧，当异常点在上侧较多时，较小，较 大，即较多的调整，当异常点在下侧较多时，较大，较小，即较多的调整，由此在 保障窗口内异常点的数量变化较小的同时，令窗口宽度接近于c，从而保障窗口内的 异常点的数量接近于窗口面积的一半，令阈值分割效果较好。

由此，将以参考点向右的长度为参考点到窗口右侧边的最短距离、以参考点向左的长度为参考点到窗口左侧边的最短距离、以参考点向上的长度为参考点到窗口上侧边的最短距离、以参考点向下的长度为参考点到窗口下侧边的最短距离构建的窗口，记为参考点的最终窗口。

步骤S005：根据参考区域内的所有像素点的最终窗口、有效异常可能性，进行自适应阈值分割，判断参考区域内是否存在缺陷；根据螺纹区域和非螺纹区域内是否存在缺陷的结果，判断所述钢轨螺栓表面图像中的钢轨螺栓表面润滑脂的涂抹质量是否合格。

按照上述方式，得到参考区域内的每个像素点的最终窗口、有效异常可能性。

根据参考区域内的所有像素点的最终窗口，使用自适应阈值分割算法，得到参考区域内的目标区域和背景区域。

所需说明的是：自适应阈值分割算法为公知技术，具体方法在此不做介绍。在计算每个像素点的分割阈值时，只使用每个像素点的最终窗口内的参考区域内的像素点。

由于不管参考区域内是否存在缺陷，使用自适应阈值分割算法，都会得到参考区域内的目标区域和背景区域。因此需要进一步分析参考区域内是否存在缺陷。

在参考区域内，将目标区域内所有像素点的有效异常可能性的均值，记为目标区域的目标值。将背景区域内所有像素点的有效异常可能性的均值，记为背景区域的背景值。

本实施例预设的缺陷阈值为0.8，以此为例进行叙述，其它实施方式中可设置为其它值，本实施例不进行限定。

计算目标值与背景值的差值的绝对值，当所述绝对值大于预设的缺陷阈值时，判定参考区域内存在缺陷。当所述绝对值小于等于预设的缺陷阈值时，判定参考区域内不存在缺陷。

按照上述方式，得到螺纹区域或者非螺纹区域内是否存在缺陷的结果。

当螺纹区域或者非螺纹区域存在缺陷时，判定所述钢轨螺栓表面图像中的钢轨螺栓表面润滑脂的涂抹质量不合格。

当螺纹区域或者非螺纹区域不存在缺陷时，判定所述钢轨螺栓表面图像中的钢轨螺栓表面润滑脂的涂抹质量合格。

至此，本发明完成。

综上所述，在本发明实施例中，获取钢轨螺栓表面灰度图像，将其划分为螺纹区域和非螺纹区域，将螺纹区域或者非螺纹区域，记为参考区域，将参考区域内的任意一个像素点，记为参考点，并构建以参考点为窗口中心点的参考点的初始窗口。根据参考点的初始窗口内像素点灰度值的差异，得到参考点的修正窗口。在参考点的修正窗口内，根据像素点的灰度值、梯度方向角度，筛选出异常点。根据参考点的修正窗口内的异常点数量、修正窗口宽度、修正窗口长度，得到参考点的最终窗口。根据参考区域内的所有像素点的最终窗口、有效异常可能性，进行自适应阈值分割，判断参考区域内是否存在缺陷。根据螺纹区域和非螺纹区域内是否存在缺陷的结果，判断钢轨螺栓表面润滑脂的涂抹质量是否合格。本发明通过对图像中每个像素点的窗口的自适应，提高了阈值分割的准确性，增加了缺陷检测结果的可信度，从而提高了钢轨螺栓表面润滑脂的涂抹质量检测的准确性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种钢轨螺栓表面润滑脂视觉检测方法，其特征在于，该方法包括以下步骤：

采集一张涂抹润滑脂后的钢轨螺栓表面图像，进行灰度化处理，得到钢轨螺栓表面灰度图像；使用深度神经网络，将钢轨螺栓表面灰度图像划分为螺纹区域和非螺纹区域；将螺纹区域或者非螺纹区域，记为参考区域；将参考区域内的任意一个像素点，记为参考点，并构建以参考点为窗口中心点的参考点的初始窗口；

根据参考点的初始窗口内像素点灰度值的差异，得到参考点的修正窗口宽度和修正窗口长度，并构建以参考点为窗口中心点的参考点的修正窗口；

在参考点的修正窗口内，根据像素点的灰度值、梯度方向角度，得到每个像素点的异常可能性，并筛选出异常点；将参考点的异常可能性，记为参考点的有效异常可能性；

根据参考点的修正窗口内的异常点数量、修正窗口宽度、修正窗口长度，得到参考点的最终窗口；

根据参考区域内的所有像素点的最终窗口、有效异常可能性，进行自适应阈值分割，判断参考区域内是否存在缺陷；根据螺纹区域和非螺纹区域内是否存在缺陷的结果，判断所述钢轨螺栓表面图像中的钢轨螺栓表面润滑脂的涂抹质量是否合格。

2.根据权利要求1所述一种钢轨螺栓表面润滑脂视觉检测方法，其特征在于，所述构建以参考点为窗口中心点的参考点的初始窗口，包括的具体步骤如下：

当参考点在螺纹区域内时，将以参考点为窗口中心点、大小为的窗口，记为参考点的初始窗口；所述/>为预设的小窗口边长；

当参考点在非螺纹区域内时，将以参考点为窗口中心点、大小为的窗口，记为参考点的初始窗口；所述/>为预设的大窗口边长。

3.根据权利要求1所述一种钢轨螺栓表面润滑脂视觉检测方法，其特征在于，所述根据参考点的初始窗口内像素点灰度值的差异，得到参考点的修正窗口宽度和修正窗口长度，并构建以参考点为窗口中心点的参考点的修正窗口，包括的具体步骤如下：

在参考点的初始窗口中，将每条边上所有像素点灰度值的均值，记为每条边的灰度特征值；

将参考点的初始窗口的左侧边和右侧边，记为宽边；

将参考点的初始窗口的上侧边和下侧边，记为长边；

根据参考点的初始窗口宽度和长度、宽边和长边的灰度特征值，得到参考点的修正窗口宽度和修正窗口长度；

将以参考点的修正窗口宽度和修正窗口长度为窗口宽度和长度、以参考点为窗口中心点构建的窗口，记为参考点的修正窗口。

4.根据权利要求3所述一种钢轨螺栓表面润滑脂视觉检测方法，其特征在于，所述根据参考点的初始窗口宽度和长度、宽边和长边的灰度特征值，得到参考点的修正窗口宽度和修正窗口长度对应的具体计算公式为：

其中为参考点的修正窗口宽度，/>为参考点的修正窗口长度，/>为参考点的初始窗口宽度，/>为参考点的初始窗口长度，c为预设的常数，/>和/>分别为参考点的初始窗口中第一和第二条宽边的灰度特征值，/>和/>分别为参考点的初始窗口中第一和第二条长边的灰度特征值，| |为绝对值函数，/>为向下取整。

5.根据权利要求1所述一种钢轨螺栓表面润滑脂视觉检测方法，其特征在于，所述在参考点的修正窗口内，根据像素点的灰度值、梯度方向角度，得到每个像素点的异常可能性，并筛选出异常点，包括的具体步骤如下：

使用Sobel算子，得到钢轨螺栓表面灰度图像中每个像素点的梯度方向角度；

在钢轨螺栓表面灰度图像中，统计所有像素点的梯度方向角度中的众数，将所述众数对应的梯度方向角度，记为光照方向角度；

将参考点的修正窗口内每个像素点与其所有相邻像素点的灰度值的方差，记为每个像素点的灰度方差；

将光照方向角度与参考点的修正窗口内每个像素点的梯度方向角度的差异，记为参考点的修正窗口内每个像素点的梯度方向异常值；

在参考点的修正窗口内，计算所有像素点灰度值的方差，将所述所有像素点灰度值的方差与每个像素点的灰度方差的差异，记为参考点的修正窗口内每个像素点的灰度变化异常值；

计算参考点的修正窗口内每个像素点的灰度变化异常值、梯度方向异常值的乘积，将所述乘积的归一化值，记为参考点的修正窗口内每个像素点的异常可能性；

将参考点的修正窗口内异常可能性大于预设的异常阈值的像素点，记为异常点。

6.根据权利要求1所述一种钢轨螺栓表面润滑脂视觉检测方法，其特征在于，所述根据参考点的修正窗口内的异常点数量、修正窗口宽度、修正窗口长度，得到参考点的最终窗口，包括的具体步骤如下：

根据参考点的修正窗口宽度与修正窗口长度的乘积、修正窗口内的异常点数量之间的差异，得到参考点的窗口长度调整系数和窗口宽度调整系数；

以参考点为原点、水平向右为横轴、竖直向上为纵轴，构建平面直角坐标系；

在平面直角坐标系上，从左上方区域开始，顺时针依次将四个区域，分别记为第一象限、第二象限、第三象限、第四象限；

在参考点的修正窗口内，根据第一象限、第二象限、第三象限、第四象限中的异常点数量、修正窗口宽度、修正窗口长度、参考点的窗口长度调整系数和窗口宽度调整系数，得到参考点向右的长度、参考点向左的长度、参考点向上的长度、参考点向下的长度；

将以参考点向右的长度为参考点到窗口右侧边的最短距离、以参考点向左的长度为参考点到窗口左侧边的最短距离、以参考点向上的长度为参考点到窗口上侧边的最短距离、以参考点向下的长度为参考点到窗口下侧边的最短距离构建的窗口，记为参考点的最终窗口。

7.根据权利要求6所述一种钢轨螺栓表面润滑脂视觉检测方法，其特征在于，所述根据参考点的修正窗口宽度与修正窗口长度的乘积、修正窗口内的异常点数量之间的差异，得到参考点的窗口长度调整系数和窗口宽度调整系数对应的具体计算公式为：

其中为参考点的窗口宽度调整系数，/>为参考点的窗口长度调整系数，/>为参考点的修正窗口宽度，/>为参考点的修正窗口长度，S为参考点的修正窗口内的异常点数量。

8.根据权利要求6所述一种钢轨螺栓表面润滑脂视觉检测方法，其特征在于，所述在参考点的修正窗口内，根据第一象限、第二象限、第三象限、第四象限中的异常点数量、修正窗口宽度、修正窗口长度、参考点的窗口长度调整系数和窗口宽度调整系数，得到参考点向右的长度、参考点向左的长度、参考点向上的长度、参考点向下的长度对应的具体计算公式为：

其中为参考点向右的长度，/>为参考点向左的长度，/>为参考点向上的长度，/>为参考点向下的长度，/>为参考点的窗口宽度调整系数，/>为参考点的窗口长度调整系数，/>为参考点的修正窗口宽度，/>为参考点的修正窗口长度，S为参考点的修正窗口内的异常点数量，/>为第一象限中参考点的修正窗口内的异常点数量，/>为第二象限中参考点的修正窗口内的异常点数量，/>为第三象限中参考点的修正窗口内的异常点数量，/>为第四象限中参考点的修正窗口内的异常点数量，/>为向下取整。

9.根据权利要求1所述一种钢轨螺栓表面润滑脂视觉检测方法，其特征在于，所述根据参考区域内的所有像素点的最终窗口、有效异常可能性，进行自适应阈值分割，判断参考区域内是否存在缺陷，包括的具体步骤如下：

根据参考区域内的所有像素点的最终窗口，使用自适应阈值分割算法，得到参考区域内的目标区域和背景区域；

在参考区域内，将目标区域内所有像素点的有效异常可能性的均值，记为目标区域的目标值；将背景区域内所有像素点的有效异常可能性的均值，记为背景区域的背景值；

计算目标值与背景值的差值的绝对值，当所述绝对值大于预设的缺陷阈值时，判定参考区域内存在缺陷；当所述绝对值小于等于预设的缺陷阈值时，判定参考区域内不存在缺陷。

10.根据权利要求1所述一种钢轨螺栓表面润滑脂视觉检测方法，其特征在于，所述根据螺纹区域和非螺纹区域内是否存在缺陷的结果，判断所述钢轨螺栓表面图像中的钢轨螺栓表面润滑脂的涂抹质量是否合格，包括的具体步骤如下：

当螺纹区域或者非螺纹区域内存在缺陷时，判定所述钢轨螺栓表面图像中的钢轨螺栓表面润滑脂的涂抹质量不合格；

当螺纹区域或者非螺纹区域内不存在缺陷时，判定所述钢轨螺栓表面图像中的钢轨螺栓表面润滑脂的涂抹质量合格。