CN114266748B - 一种轨交检修领域工艺板表面完整性判定的方法及装置 - Google Patents

Abstract

本发明涉及计算机视觉图像轮廓检测处理领域，具体涉及一种轨交检修领域工艺板表面完整性判定的方法及装置。本发明通过采集动车段检修作业成套工艺板的平面图像数据，进行滤波去噪、图像灰度化、提高目标物边缘轮廓对比度、二值化处理后，随后再进行图像形态学组合操作以及使用中值滤波对图像进行平滑处理，对目标物边缘轮廓进行查找、得到目标物边缘轮廓的最小外接矩形的坐标值，最后界定区域范围值对目标物进行判断。本发明可有效快速判别动车段检修作业成套工艺板表面不同尺寸紧固件数量以及螺栓是否带有垫片的判定，达到动车段检修作业成套工艺板的表面完整性判定的目的。

Description

一种轨交检修领域工艺板表面完整性判定的方法及装置

技术领域

本发明涉及计算机视觉图像轮廓检测处理领域，特别是一种轨交检修领域工艺板表面完整性判定的方法及装置。

背景技术

目前，随机计算机算力的提升，伴随着的是计算机视觉处理的飞速发展，在工业上使用摄像头进行图像的采集，再使用计算机对图像进行处理，几乎可以达到实时处理的效果。目标检测也是现目前计算机视觉发展最快、应用最广的方向之一，特别是在工业上被大量使用，包括但不限于缺陷检测、是否出现违规操作、物品遗落缺失等。相较于传统人工对动车段检修作业成套工艺板做检查判断的处理，计算机视觉有着巨大的优势，计算机可以二十四小时不间断工作，处理速度快速高效且稳定，所有过程结果均有迹可循。

在有关计算机视觉图像的处理中，原始数据图像的质量影响着最终的结果，但在一些客观因素下，比如光照、相机抖动等，会对成像图片有着不小影响。因此对数据图像做降噪处理、光学操作等来简化图像内容，保留所需的关键信息，方便后续获取目标物轮廓，也可加速相关算法的计算。

模板匹配的方式是目前使用较为广泛的图像查找处理技术，工业上常以摄像头做数据采集，再通过模板匹配的方式对采集的图像做分析，大致实现方式为：首先在图像上获取对图中感兴趣的目标物品的最小外接矩形，将其作为“模板”。在实际检测汇中，遍历图像中每一个可能的位置，比较各处与模板是否“相似”，当相似度高过一定阈值时，即认为图像此处是关注的目标物所在，其中相似度的算法大多用相关系数匹配算法。通过匹配结束数量的统计便可做出相关结论性的判定。

模板匹配算法有着比较大的局限性，经常会存在漏检、误检的情况。由于通常仅有一个标准模板，实际生产中，一张图像上的目标物众多，且有着众多形状、尺寸，这就使得模板匹配使用方向基本是目标物比较简单或是单一的场景。另一方面因为光照差异等原因，成像会有所不同，在与模板做相似度计算时就会有较大的误差。

在模板匹配上，当同一类物体，仅尺寸有所差异，稍大于或小于模板时，能够实现被匹配出来，但却无法根据其尺寸对其做出区分，因为都是与模板做相似度计算，能满足筛选条件，但被查找的区域始终是等于模板尺寸，仅能判定有无，是不能对不同尺寸做出区分。

发明内容

本发明的目的在于：针对现有技术存在的问题无法对不同尺寸做出区分的问题，通过高斯模糊对图像数据进行滤波去噪、形态学操作及边缘查找算法快速获取目标物轮廓，来判断零件工艺板上不同尺寸螺母、螺栓的数量以及螺栓垫片有无，提供了一种轨交检修领域工艺板表面完整性判定的方法及装置。

为了实现上述目的，本发明采用的技术方案为：

一种轨交检修领域工艺板表面完整性判定的方法，包括：

S1，采集动车段检修作业成套工艺板的平面图像，得到原始图像；

S2，对原始图像进行滤波去噪处理，得到初始滤波图像；

S3，将初始滤波图像灰度化，得到灰度图；

S4，提高灰度图的边缘轮廓对比度，得到目标边缘轮廓图；

S5，将目标边缘轮廓图进行二值化处理，得到二值图；

S6，对二值图使用形态学组合操作，得到目标物整体图；

S7，对目标物整体图进行中值滤波处理，得到最终滤波图像；

S8，查找最终滤波图像中的目标物边缘轮廓，根据目标物尺寸的先验值进行筛选，得到目标物边缘轮廓的最小外接矩形的坐标值；

S9，结合目标物边缘轮廓的最小外接矩形的坐标值，界定区域范围值对目标物进行判断。

作为本发明的优选方案，一种轨交检修领域工艺板表面完整性判定的方法，步骤S2具体包括：

S21，使用均值滤波对原始图像进行去噪处理，得到第一滤波图像；

S22，使用高斯滤波对第一滤波图像进行去噪处理，得到初始滤波图像。

作为本发明的优选方案，一种轨交检修领域工艺板表面完整性判定的方法，均值滤波的模糊核大小为3-9，高斯滤波的操作核大小为9-17，高斯滤波的操作核峰值为20-50。

作为本发明的优选方案，一种轨交检修领域工艺板表面完整性判定的方法，步骤S3中，将初始滤波图像的格式由BGR转成GRAY的灰度图。

作为本发明的优选方案，一种轨交检修领域工艺板表面完整性判定的方法，步骤S4中，使用OpenCV的convertScaleAbs算法，将参数alpha设置为1、参数beta设置为0，得到目标边缘轮廓图。

作为本发明的优选方案，一种轨交检修领域工艺板表面完整性判定的方法，步骤S4中，二值化处理的阈值为30-40，将低于阈值的像素值均置为0，大于阈值的像素值均置为255。

作为本发明的优选方案，一种轨交检修领域工艺板表面完整性判定的方法，步骤S6中，形态学组合操作包括使用闭操作迭代1次处理，操作核的大小选用(19，19)；使用膨胀和腐蚀迭代1次处理，第一次膨胀和腐蚀的操作核大小选用(20，1)，第二次膨胀和腐蚀的操作核大小选用(1，19)。

作为本发明的优选方案，一种轨交检修领域工艺板表面完整性判定的方法，步骤S8具体包括：

S81，使用OpenCV的findContours算法获取最终滤波图像中目标物边缘轮廓的数组；

S82，依次对目标物边缘轮廓的数组进行拆解，并去掉维度为1的轴，结合单个数组获取目标物边缘轮廓的最小外接矩形的左上角坐标及右下角坐标；

S83，结合目标物尺寸先验值和目标物边缘轮廓的最小外接矩形的宽高比阈值，指定保留目标物的筛选条件阈值。

作为本发明的优选方案，一种轨交检修领域工艺板表面完整性判定的方法，筛选条件阈值为宽大于85同时小于300，高大于80同时小于300，宽高比小于1.4。

一种轨交检修领域工艺板表面完整性判定装置，包括图像采集装置、可调钢架动车段检修作业成套工艺板和图像处理装置，图像采集装置与可调钢架连接，并设置在动车段检修作业成套工艺板中心的正上方；可调钢架用于调节图像采集装置的位置，图像处理装置用于接收图像采集装置采集的原始图像，并按权利要求1所述的方法处理该原始图像。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明利用图像滤波和图像形态学操作的有效结合，将图像中的冗余信息进行剔除，同时对图像目标物的边缘轮廓进行对比度加强，使其更加突出，提高后续边缘轮廓拟合的正确性。

2、本发明实现了从图像数据到目标物边缘轮廓信息的提取，以及拟合轮廓信息的最小外接矩阵，进而准确获取每个目标物的物理中心坐标及尺寸，相比传统的人工完整性检查，不仅有结果的判定，还能够得到不完整性目标物所差缺的物件及不完整性目标物的个数，实现对整个检测工作有完整的记录。

3、本发明实现了零件工艺板表面完整性判定的二十四小时不间断监测。通过计算机与摄像头的结合，充分发挥了计算机的强大算力，代替了传统工人的机械性重复工作，也保证了长时间运转的稳定性和可追溯性。

附图说明

图1是本发明的技术方法流程图。

图2是本发明的动车段检修作业成套工艺板实拍原图。

图3是本发明的动车段检修作业成套工艺板经过处理后的灰度图。

图4是本发明的动车段检修作业成套工艺板经过处理后得到的二值图。

图5是本发明的动车段检修作业成套工艺板经边缘轮廓检测、先验筛选结果示意图。

图6是本发明的动车段检修作业成套工艺板的表面完整性判定装置示意图。

具体实施方式

下面结合附图，对本发明作详细的说明。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

本发明的目的在于通过对图像降噪、光学处理来获取目标物轮廓，以实现判断动车段检修作业成套工艺板上不同尺寸螺母、螺栓的数量以及螺栓垫片有无。

如图6所示，一种轨交检修领域工艺板表面完整性判定装置，包括图像采集装置1、可调钢架2以及动车段检修作业成套工艺板3，图像采集装置1与可调钢架2连接，并设置在动车段检修作业成套工艺板3中心的正上方；可调钢架2用于调节图像采集装置1的位置；图像处理装置4用于接收图像采集装置1采集的原始图像，并按照动车段检修作业成套工艺板表面完整性判定方法处理该原始图像。

如图1所示的技术方法流程图，一种轨交检修领域工艺板表面完整性判定的方法，包括以下步骤：

S1，采集动车段检修作业成套工艺板的平面图像，得到原始图像；

利用动车段检修作业成套工艺板的中心正上方钢架上固定的高清工业摄像头采集得到原始图像，调整镜头离动车段检修作业成套工艺板的高度，以及调整高清工业摄像头的焦距，使得采集画面能够包含整个动车段检修作业成套工艺板的板面，如图2所示。其中，采集的目标物为动车段检修作业成套工艺板上的螺母、螺栓。

S2，对原始图像进行滤波去噪处理，得到初始滤波图像；

首先，使用均值滤波对原始图像进行第一次去噪处理，均值滤波是将指定模糊核范围内的像素值计算均值后，再赋值给该区域的所有像素，较大模糊核的选择会降低图像中的边缘轮廓信息，为了减弱小且尖锐的噪点，同时不会较大影响图像整体质量，本实施例1中均值滤波的模糊核的大小设定为5，即为(5，5)，得到第一滤波图像，在面对能够达到较好的图像平滑效果的情况下，可以适当调整均值滤波的模糊核的大小，最小可以调整至3，最大可以调整至9。

其次，使用高斯滤波对第一滤波图像进行去噪处理，高斯滤波是对指定区域内的像素值进行加权平均。由于选取较小的高斯核无法减弱较大的噪点，同时标准高斯核的峰值参数为0，峰值表示为控制区域内模糊程度，“峰值”取值越大，则图像模糊程度越大，进而更大限度上模糊减弱噪点，因此为去掉一些因不稳定因素而在图像中出现的随机噪点，本实施例1中高斯滤波的操作核大小设定为13，即为(13，13)，高斯滤波的操作核峰值设定为40，模糊程度大于标准高斯核，以去掉更多不重要的信息，得到初始滤波图像。在达到较好去噪效果的情况下，可以适当调整高斯滤波操作核大小和操作核峰值的取值，高斯滤波的操作核大小最小可以调整至9，最大可以调整至17；高斯滤波的操作核峰值最小可以调整至20，最大可以调整至50。

S3，将初始滤波图像灰度化，得到灰度图；

由于以上两个步骤均使用跨平台计算机视觉库OpenCV进行滤波处理，所以处理后得到的初始滤波图像的格式为BGR，将初始滤波图像的格式由BGR转成GRAY的灰度图，如图3所示。

S4，提高灰度图的边缘轮廓对比度，得到目标边缘轮廓图；

本发明使用跨平台计算机视觉库OpenCV中的convertScaleAbs算法对动车段检修作业成套工艺板的灰度图进行边缘增强，使得底板的黑色像素更黑，目标物的白色轮廓更白，增强灰度图的对比度，得到区别更加明显的目标边缘轮廓图，其中参数alpha设置为1，beta设置为0。

S5，将目标边缘轮廓图进行二值化处理，得到二值图；

具体的，将目标边缘轮廓图进行二值化处理，设定一个阈值，低于此阈值的像素值均置为0，大于此阈值的像素值均置为255。由于阈值设置越大保留的信息越少，阈值设置过小则无法剔除背景噪点，因此，当阈值取值范围为30-40，可以达到既能去除背景噪点又能较好的保留目标信息的目的，实现将整个目标边缘轮廓图呈现出明显的黑白效果，有利于对图像做进一步处理。如图4所示，本实施例1中二值化处理时，阈值设定为38。

S6，对二值图使用形态学操作中的闭操作迭代处理，再使用形态学操作中的膨胀和腐蚀迭代处理，迭代次数均为1次，使得单个目标物成为一个整体，得到目标物整体图；

具体的，对二值图使用形态学操作中的闭操作，将单个目标物，如螺母、螺栓区域连成一个整体，填充其中的空白，由于操作核如果过小则无法将一个目标物内部缺失区域完全填充连接成为一个整体，如果过大则极易将两个相近的目标物连成一个整体，因此操作核的大小选用(19，19)，迭代1次；随后再进行形态学操作中的膨胀、腐蚀、膨胀、腐蚀操作，进一步填充空白，使得单个目标物成为一个整体，同时去掉一些小的噪点，便于后续目标物轮廓的整体提取，其中第一次膨胀、腐蚀操作使用的操作核大小选用(20，1)，第二次膨胀、腐蚀操作使用的操作核大小选用(1，19)，迭代次数均为1次。

S7，对目标物整体图进行中值滤波处理，得到最终滤波图像；

对目标整体图进行中值滤波处理，这是一种非线性平滑处理，将操作核大小区域内的像素值排列获取中值，并用此中值填充该区域，能够在滤除噪音的同时保护边缘轮廓信息，经过测试对比，操作核的大小范围为13-19，能够达到较好效果。本实施例中1操作核的大小设定为15。

S8，查找最终滤波图像中的目标物边缘轮廓，并根据目标物尺寸的先验值进行筛选，得到目标物边缘轮廓的最小外接矩形的坐标值；

首先，使用跨平台计算机视觉库OpenCV中的findContours函数获取最终滤波图像中目标物边缘轮廓的数组，轮廓的检索模式参数选用cv2.RETR_TREE，轮廓近似办法参数选用cv2.CHAIN_APPROX_SIMPLE，即保留关键的轮廓信息；

其次，依次对每个目标物边缘轮廓的数组(array)进行拆解，并去掉维度为1的轴，再分别以min(array[:，0])、min(array[:，1])、max(array[:，0])、max(array[:，1])获取目标物边缘轮廓的最小外接矩形的左上角(x1，y1)、右下角(x2，y2)坐标的值；

最后，结合目标物尺寸先验值，从目标物边缘轮廓的最小外接矩形的宽、高及宽高比三个方向进行筛选，指定保留目标物的筛选条件阈值，实现了过滤掉一些噪点误判的阈值，仅保留目标物的筛选条件阈值范围之内的结果，目标物的筛选条件阈值范围之外的结果就丢弃。其中，筛选条件阈值具体为：宽大于85同时小于300，高大于80同时小于300，宽高比小于1.4，从而实现排除干扰因素。

S9，结合所述目标物边缘轮廓的最小外接矩形的坐标值，界定区域范围值对目标物进行判断。

根据已知的螺母、螺栓的尺寸先验值，设定不同类别目标物的分隔阈值，结合最终滤波图像中所有的目标物边缘轮廓的最小外接矩形的坐标值，基于各个区域段的分隔阈值做出目标物尺寸的判断，如图5所示，根据区域段内目标物的个数做出螺栓、螺母是否缺失的判断；再根据带垫片与不带垫片螺栓尺寸的差异，对螺栓是否带垫片做出判断。

综上所述，本发明采用均值滤波以及高斯滤波对动车段检修作业成套工艺板图像数据进行去噪处理，在通过二值化处理、形态学操作，结合目标物尺寸的先验值和目标物边缘轮廓的最小外接矩形的坐标值，判定目标物的数量以及完整情况，从而实现获得不完整性目标物所差缺的物件及不完整性目标物的个数，可以做到二十四小时不间断监测，减少了人工成本。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种轨交检修领域工艺板表面完整性判定的方法，其特征在于，包括：

S1，采集动车段检修作业成套工艺板的平面图像，得到原始图像；

S2，对所述原始图像进行滤波去噪处理，得到初始滤波图像；

S3，将所述初始滤波图像灰度化，得到灰度图；

S4，提高所述灰度图的边缘轮廓对比度，得到目标边缘轮廓图；步骤S4中，使用 OpenCV的convertScaleAbs算法，将参数 alpha设置为1、参数 beta 设置为0，得到目标边缘轮廓图；

S5，将所述目标边缘轮廓图进行二值化处理，得到二值图；所述二值化处理的阈值为30-40，将低于阈值的像素值均置为0，大于阈值的像素值均置为255；

S6，对所述二值图使用形态学组合操作，得到目标物整体图，所述形态学组合操作包括使用闭操作迭代1次处理，操作核的大小选用(19，19)；使用膨胀和腐蚀迭代1次处理，第一次膨胀和腐蚀的操作核大小选用(20，1)，第二次膨胀和腐蚀的操作核大小选用(1，19)；

S7，对所述目标物整体图进行中值滤波处理，得到最终滤波图像；

S8，查找所述最终滤波图像中的目标物边缘轮廓，根据目标物尺寸的先验值进行筛选，得到目标物边缘轮廓的最小外接矩形的坐标值；

步骤 S8 具体包括：

S81，使用OpenCV的findContours 算法获取所述最终滤波图像中目标物边缘轮廓的数组；

S82，依次对所述目标物边缘轮廓的数组进行拆解，并去掉维度为1的轴，结合单个数组获取所述目标物边缘轮廓的最小外接矩形的左上角坐标及右下角坐标；

S83，结合目标物尺寸先验值和目标物边缘轮廓的最小外接矩形的宽高比阈值，指定保留目标物的筛选条件阈值；

所述筛选条件阈值为宽大于85同时小于300，高大于80同时小于300，宽高比小于1.4；

S9，结合所述目标物边缘轮廓的最小外接矩形的坐标值，界定区域范围值对目标物进行判断。

2.根据权利要求1所述的一种轨交检修领域工艺板表面完整性判定的方法，其特征在于，步骤 S2 具体包括：

S21，使用均值滤波对所述原始图像进行去噪处理，得到第一滤波图像，具体包括：将指定模糊核范围内的像素值计算均值后，再赋值给该区域的所有像素，所述均值范围是3到9；

S22，使用高斯滤波对所述第一滤波图像进行去噪处理，得到所述初始滤波图像，具体包括：对指定区域内的像素值进行加权平均，设定高斯滤波的操作核大小和高斯滤波的操作核峰值，模糊程度大于标准高斯核，以去掉不重要的信息，得到初始滤波图像，其中，高斯滤波的操作核大小的范围是9到17，高斯滤波的操作核峰值的范围是20到50。

3.根据权利要求 2 所述的一种轨交检修领域工艺板表面完整性判定的方法，其特征在于，所述均值滤波的模糊核大小为3-9，所述高斯滤波的操作核大小为9-17，所述高斯滤波的操作核峰值为20-50。

4.根据权利要求 1 所述的一种轨交检修领域工艺板表面完整性判定的方法，其特征在于，步骤 S3 中，将所述初始滤波图像的格式由 BGR 转成 GRAY 的灰度图。

5.一种轨交检修领域工艺板表面完整性判定装置，其特征在于，包括图像采集装置（1）、可调钢架（2）、动车段检修作业成套工艺板（3）和图像处理装置（4），所述图像采集装置（1）与所述可调钢架（2）连接，并设置在所述动车段检修作业成套工艺板（3）中心的正上方；所述可调钢架（2）用于调节所述图像采集装置（1）的位置；所述图像处理装置（4）用于接收所述图像采集装置（1）采集的原始图像，并按权利要求 1 所述的方法处理该原始图像。