CN117670916A - 一种基于深度学习的涂布机边缘检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的涂布机边缘检测方法，属于目标检测的技术领域。该方法包括采集目标检测数据；对采集数据进行预处理；将预处理数据输入预先训练好的边缘检测模型，得到涂布边缘的位置；对边缘的位置进行过滤和合并后，根据边缘的类别属性，构建对应的候选区域位置；对候选区域进行亚像素级别的边缘检测，得到精准的边缘位置信息；利用边缘位置信息和边缘类别计算得到精准的涂布尺寸。该方法很可以带来精准的涂布尺寸检测，同时，耗时降低，能在高速的涂布生产线做到实时检测。

Description

一种基于深度学习的涂布机边缘检测方法

技术领域

本发明涉及一种基于深度学习的涂布机边缘检测方法，属于目标检测的技术领域。

背景技术

在涂布工业中，涂层的尺寸直接影响最终产品的性能和质量。通过对涂布尺寸进行检测，生产商可以确保产品符合规定的标准和规范。因此，涂布尺寸的准确性对生产具有十分重要的意义。

目前，在涂布尺寸检测方面，常用到人工拉取ROI区域结合卡尺工具进行尺寸检测。这种方式经常导致以下问题：ROI设置过大。过大的ROI会增加计算量、降低检测速度；同时过大的ROI还引入了噪声，影响卡尺工具的检测精度；ROI设置过小。待检测边缘的位置在生产过程中会产生波动，过小的ROI无法保证包含待检测边缘，从而导致漏检。

发明内容

因此，针对涂布尺寸检测的这一需求，提出新的涂布尺寸检测方法。

本发明提出一种基于深度学习的涂布机边缘检测方法，包括以下步骤：

S1、采集目标检测数据，并对采集数据进行预处理；

S2、将预处理数据输入预先训练好的边缘检测模型，得到涂布边缘类别及粗略的边缘的位置；

S3、对粗略的边缘的位置进行过滤和合并，根据边缘的类别属性，构建对应的候选区域位置；

S4、对候选区域进行亚像素级别的边缘检测，得到亚像素级别的边缘位置信息；

S5、利用边缘位置信息和边缘类别计算得到涂布尺寸。

进一步的，所述步骤S2中，采用yolov5作为边缘检测模型；

其中，定位损失采用CIOU Loss，其计算公式如下：

式中:c为指能够将预测框和真实框同时包上的最小区域的对角线距离；ρ为指欧式距离；b、w、h是指预测框的中心坐标及宽、高；/>、/>、/>是指真实框的中心坐标及宽、高；/>为指预测框与真实框之间交集和并集的比值；

对于模型的分类和置信度损失则采用Focal Loss，其计算公式如下：

其中，/>是用来平衡正负样本数量的常量系数，/>代表模型预测某类别的概率，/>是用来调节难分易分样本不均衡问题的可调参数。

进一步的，由步骤S1中的预处理进行区域分割得到两张模型输入图像，步骤S2中将两张图像分别输入到边缘检测模型中，得到每张图像的检测结果；

所述步骤S3包括：

对两个检测结果进行合并，重复的结果直接合并，非重复的结果，基于高置信度进行过滤，得到粗略的边缘位置信息和边缘类别；

结合边缘类别信息和检测结果进行ROI区域构建，根据是否重叠和检测结果的置信度构建ROI区域，其中重叠或置信度高的边缘，所构建的ROI区域较小；反之，对于重叠或置信度低的边缘，所构建的ROI区域较大。

进一步的，所述步骤S4包括：

根据选择的ROI区域信息，将其映射回原图，根据映射位置进行裁剪，得到为非缩放的ROI检测图，再对ROI检测图进行亚像素的边缘检测。

进一步的，所述步骤S4还包括：先对ROI区域进行降噪处理，然后对降噪后的区域进行像素级边缘点提取，再利用得到的边缘点提取亚像素极的边缘。

进一步的，对ROI区域进行降噪处理包括,在垂直于灰度剖面的方向上对多个灰度值取平均值，并用计算出来的灰度值平均值作为灰度值剖面中使用的灰度值，计算公式如下：

式中m表示垂直于灰度剖面方向矩形ROI的半长，r与c分别表示矩形ROI区域中心点的行坐标和列坐标，/>表示(r+j, c+i)坐标位置处的图像灰度值，/>表示ROI区域内列坐标为c处这一列的图像灰度值的均值，i为表示次数。

进一步的，对降噪后的区域进行像素级边缘点提取为利用边缘滤波卷积的方式提取像素级别的边缘点；

利用边缘滤波卷积的方式为高斯滤波器的一阶导数卷积；

高斯滤波器的一阶导数卷积计算公式如下：

其中σ为平滑系数，x为横坐标，/>为高斯函数的一阶导数。

进一步的，利用得到的边缘点提取亚像素极的边缘包括：

将边缘幅度最大值周围的三点拟合成抛物线，计算此抛物线的最大值，以得到亚像素准确度的边缘位置。

进一步的，步骤S5中，采用ransac算法拟合直线，得到每个ROI区域的最终的边缘位置信息。

进一步的，所述步骤S2中，模型输出的边缘类别为左涂覆区域的边缘、右涂覆区域的边缘和陶瓷区域的边缘；所述步骤S5包括：

根据获得的各条边缘的类别和位置信息计算得到涂布尺寸，包括涂覆区域、极耳区域和陶瓷区域尺寸；

通过相邻左涂覆区域的边缘减去右涂覆区域的边缘，得到一个涂覆区域尺寸大小，通过陶瓷区域的边缘的左上角坐标和右下角坐标得到一个陶瓷区域尺寸大小，通过相邻右涂覆区域的边缘减去左涂覆区域的边缘，得到一个极耳区域尺寸。

有益效果

第一，由于手工拉取ROI会生产过程中存在不准确问题，针对这个技术问题，本发明提供利用检测模型作为涂布边缘检测模型，利用该模型输出边缘位置，来构造ROI区域，由于模型时实时在线运行的，因此，ROI区域是实时更新，不会存在ROI偏离尺寸检测区域问题，因此，避免尺寸检测失败问题。

第二，同时，由于涂布生产的图像过大，如果直接利用涂布边缘检测模型对原图进行尺寸检测，会存在耗时过长，实时性无法保证问题。因此，本发明利用图像缩放，让模型作为粗定位工具，利用模型的结果构建ROI区域，在ROI区域进行亚像素级别的定位。这种方式耗时低，同时尺寸检测的准确率高。

第三，由于卡尺工具会受到噪声的影响，因此，ROI区域的准确性很重要。相比人工拉取ROI区域，这种方式随生产过程中，尺寸的变动和浆料的改变，会存在包含噪声区域的可能性，导致边缘检的检测准确率降低。而本发明的利用深度学习的检测模型作为边缘检测模型的方式，其ROI区域可以随生产尺寸的变动而变动，降低带入噪声的概率，使得检测准确率更高。

附图说明

图1是本发明的流程图；

图2是本发明的亚像素边缘提取的流程图；

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明。应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

请参见图1及图2，本发明实施例提供一种基于深度学习的涂布机边缘检测方法，包括以下步骤：

S1、采集目标检测数据，并对采集数据进行预处理；

S2、将预处理数据输入预先训练好的边缘检测模型，得到涂布边缘类别及粗略的边缘的位置；

S3、对粗略的边缘的位置进行过滤和合并，根据边缘的类别属性，构建对应的候选区域位置；

S4、对候选区域进行亚像素级别的边缘检测，得到亚像素级别的边缘位置信息。

S5、利用边缘位置信息和边缘类别计算得到涂布尺寸。在所述骤S1中，对数据进行预处理，包括：灰度化、区域分割、高斯模糊和图像缩放；

区域分割，主要是把图像分成上下两部。然后分别对分割得到的两部分图像进行缩放，得到边缘检测模型的输入图像。

在所述骤S2中，粗略的边缘的位置的粗略为相较于步骤S4中的亚像素级别的边缘位置信息。

在所述骤S4中，边缘类别的边缘位置信息变为亚像素级别的边缘位置信息。

在所述骤S5中，涂布尺寸，包含涂覆区域、极耳区域和陶瓷区域尺寸。

将预处理数据输入预先训练好的边缘检测模型，得到涂布边缘的位置；

其中，模型输出的边缘类别为左涂覆区域的边缘、右涂覆区域的边缘和陶瓷区域的边缘。

在一可选实施例中，采用yolov5作为边缘检测模型。

其中，定位损失采用CIOU Loss，其计算公式如下：

式中:c为指能够将预测框和真实框同时包上的最小区域的对角线距离；ρ为指欧式距离；b、w、h是指预测框的中心坐标及宽、高；/>、/>、/>是指真实框的中心坐标及宽、高。

对于模型的分类和置信度损失则采用Focal Loss，其计算公式如下：

其中，/>是用来平衡正负样本数量的常量系数，/>代表模型预测某类别的概率（即置信度），/>是用来调节难分易分样本不均衡问题的。

在一可选实施例中，由步骤S1中的预处理进行区域分割得到两张模型输入图像，经过步骤S2后，两张图像分别输入到边缘检测模型中，分别得到两张图像的边缘检测结果。

对边缘的位置进行过滤和合并后，根据边缘的类别属性，构建对应的候选区域位置。

其中，过滤主要是对两个检测结果进行合并，重复的结果直接合并，非重复的，基于高置信度进行过滤，得到粗略的边缘位置信息和边缘类别。通过两部分合并方式，过滤点涂布过程中瑕疵的影响。同时，结合边缘类别信息和检测结果进行ROI区域构建。对于重叠度高的，可以选择小ROI区域，如0.5倍公差大小的区域，重叠度低的，阈值置信度低的，设置大的ROI区域，如1.5倍公差大小的区域。ROI区域主要是用于检测亚像素级别的边缘位置信息，从而把该ROI对应的粗略边缘位置信息，更新为亚像素级别的边缘位置信息。

得到最终的ROI区域信息后，将其映射回原图，根据映射位置进行裁剪。

为了进一步地抑制噪声，对裁剪ROI区域进行降噪处理。即在垂直于灰度剖面的方向上对多个灰度值取平均值，并用计算出来的灰度值平均值作为灰度值剖面中使用的灰度值，计算公式如下：

式中m表示垂直于灰度剖面方向矩形ROI的半长，r与c分别表示矩形ROI区域中心点的行坐标和列坐标。/>表示(r+j, c+i)坐标位置处的图像灰度值。/>表示ROI区域内列坐标为c处这一列的图像灰度值的均值。i为表示次数。

提取降噪后的ROI区域，利用边缘滤波卷积的方式提取像素级别的边缘点，本发明利用边缘滤波卷积的方式为高斯滤波器的一阶导数卷积。

高斯滤波器的一阶导数卷积计算公式如下：

其中σ为平滑系数，x为横坐标，/>为高斯函数的一阶导数。

由于σ增加时边缘幅度逐步减小，为了使边缘滤波器返回真正的边缘幅度而不受平滑处理的影响，滤波器的输出必须乘以。

在像素级的边缘的基础上，进行亚像素精确边缘提取。将边缘幅度最大值周围的三点拟合成抛物线，计算此抛物线的最大值，就可以得到亚像素准确度的边缘位置。

得到亚像素级别的边缘点后，采用ransac算法拟合直线，得到每个ROI区域的最终的边缘位置信息，再结合边缘的类别信息，来计算涂覆区域、极耳区域和陶瓷区域的尺寸。

具体为：通过相邻左涂覆区域的边缘减去右涂覆区域的边缘，得到一个涂覆区域尺寸大小，通过陶瓷区域的边缘的左上角坐标和右下角坐标得到一个陶瓷区域尺寸大小，通过相邻右涂覆区域的边缘减去左涂覆区域的边缘，得到一个极耳区域尺寸。

本发明方案所公开的技术手段不仅限于上述技术手段所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (10)

1.一种基于深度学习的涂布机边缘检测方法，其特征在于，包括以下步骤：

S1、采集目标检测数据，并对采集数据进行预处理；

S2、将预处理数据输入预先训练好的边缘检测方法模型，得到涂布边缘类别及粗略的边缘的位置；

S3、对粗略的边缘的位置进行过滤和合并，根据边缘的类别属性，构建对应的候选区域位置；

S4、对候选区域进行亚像素级别的边缘检测方法，得到亚像素级别的边缘位置信息；

S5、利用边缘位置信息和边缘类别计算得到涂布尺寸。

2.根据权利要求1所述的基于深度学习的涂布机边缘检测方法，其特征在于，所述步骤S2中，采用yolov5作为边缘检测方法模型；

其中，定位损失采用CIOU Loss，其计算公式如下：

式中:c为指能够将预测框和真实框同时包上的最小区域的对角线距离；ρ为指欧式距离；b、w、h是指预测框的中心坐标及宽、高；/>、/>、/>是指真实框的中心坐标及宽、高；/>为指预测框与真实框之间交集和并集的比值；

对于模型的分类和置信度损失则采用Focal Loss，其计算公式如下：

其中，/>是用来平衡正负样本数量的常量系数，/>代表模型预测某类别的概率，/>是用来调节难分易分样本不均衡问题的可调参数。

3.根据权利要求2所述的基于深度学习的涂布机边缘检测方法，其特征在于，由步骤S1中的预处理进行区域分割得到两张模型输入图像，步骤S2中将两张图像分别输入到边缘检测方法模型中，得到每张图像的检测结果；

所述步骤S3包括：

对两个检测结果进行合并，重复的结果直接合并，非重复的结果，基于高置信度进行过滤，得到粗略的边缘位置信息和边缘类别；

结合边缘类别信息和检测结果进行ROI区域构建，根据是否重叠和检测结果的置信度构建ROI区域，其中重叠或置信度高的边缘，所构建的ROI区域小；重叠或置信度低的边缘，所构建的ROI区域大。

4.根据权利要求3所述的基于深度学习的涂布机边缘检测方法，其特征在于，所述步骤S4包括：

根据选择的ROI区域信息，将其映射回原图，根据映射位置进行裁剪，得到为非缩放的ROI检测图，再对ROI检测图进行亚像素的边缘检测方法。

5.根据权利要求4所述的基于深度学习的涂布机边缘检测方法，其特征在于，所述步骤S4还包括：先对ROI区域进行降噪处理，然后对降噪后的区域进行像素级边缘点提取，再利用得到的边缘点提取亚像素极的边缘。

6.根据权利要求5所述的基于深度学习的涂布机边缘检测方法，其特征在于，对ROI区域进行降噪处理包括,在垂直于灰度剖面的方向上对多个灰度值取平均值，并用计算出来的灰度值平均值作为灰度值剖面中使用的灰度值，计算公式如下：

式中m表示垂直于灰度剖面方向矩形ROI的半长，r与c分别表示矩形ROI区域中心点的行坐标和列坐标，/>表示(r+j, c+i)坐标位置处的图像灰度值，/>表示ROI区域内列坐标为c处这一列的图像灰度值的均值，i为表示次数。

7.根据权利要求6所述的基于深度学习的涂布机边缘检测方法，其特征在于，对降噪后的区域进行像素级边缘点提取为利用边缘滤波卷积的方式提取像素级别的边缘点；

利用边缘滤波卷积的方式为高斯滤波器的一阶导数卷积；

高斯滤波器的一阶导数卷积计算公式如下：

其中σ为平滑系数，x为横坐标，/>为高斯函数的一阶导数。

8.根据权利要求7所述的基于深度学习的涂布机边缘检测方法，其特征在于，利用得到的边缘点提取亚像素极的边缘包括：

将边缘幅度最大值周围的三点拟合成抛物线，计算此抛物线的最大值，以得到亚像素准确度的边缘位置。

9.根据权利要求8所述的基于深度学习的涂布机边缘检测方法，其特征在于，步骤S5中，采用ransac算法拟合直线，得到每个ROI区域的最终的边缘位置信息。

10.根据权利要求8所述的基于深度学习的涂布机边缘检测方法，其特征在于，所述步骤S2中，模型输出的边缘类别为左涂覆区域的边缘、右涂覆区域的边缘和陶瓷区域的边缘；所述步骤S5包括：

根据获得的各条边缘的类别和位置信息计算得到涂布尺寸，包括涂覆区域、极耳区域和陶瓷区域尺寸；

通过相邻左涂覆区域的边缘减去右涂覆区域的边缘，得到一个涂覆区域尺寸大小，通过陶瓷区域的边缘的左上角坐标和右下角坐标得到一个陶瓷区域尺寸大小，通过相邻右涂覆区域的边缘减去左涂覆区域的边缘，得到一个极耳区域尺寸。