CN114663750B - 一种基于机器视觉与深度学习的海缆填充条断裂识别方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉与深度学习的海缆填充条断裂识别方法，该方法包括以下步骤：多个相机拍摄海缆填充条图像；对拍摄的海缆填充条图像进行预处理；对于图像中的常规目标检测，将图像输入YOLOV5神经网络进行训练；对于图像中的小目标检测，将图像进行分割后，输入TPH‑YOLOV5神经网络进行识别；所述YOLOV5神经网络或TPH‑YOLOV5神经网络输出识别的缝隙，计算缝隙的宽度；综合预警模块判断缝隙的宽度是否超出预设的缝隙范围，如果超出则报警。本发明可不间断对立缆时的海缆填充条进行实时监控，提高了检测精度，提前检测可能发生的断裂，为工厂节省后续的检测、维修成本。

Description

一种基于机器视觉与深度学习的海缆填充条断裂识别方法

技术领域

本发明属于机器视觉技术领域，尤其涉及一种基于机器视觉与深度学习的海缆填充条断裂识别方法。

背景技术

当前，我国正积极参与经济全球化进程，互联网企业也加快海外业务拓展。随着各国之间经贸往来、文化交流等活动日益频繁，以互联网为基础的信息流量越来越多，国际海缆等互联互通信息通信基础设施需求旺盛。

海缆立缆是海缆生产过程中的一道重要工序，立缆是把成品电缆和光缆，搭配填充条和PP绳立式绞联融合一体，而后整体外侧绕包一层无尘布，直至变为成品海缆。其中填充条具有填充、隔离、保护光缆的作用。填充条在立缆过程中由于收到上下张力的原因，可能会发生断裂，一旦断裂会对海缆成品的性能、可靠性造成极大影响，并且在成品阶段寻找断裂点十分耗时、耗力，严重影响产能。而在立缆阶段对填充条断裂提前识别预警可避免这些影响。

目前大部分企业未在生产阶段对填充条的断裂进行识别检测，在海缆成品阶段检测成品不合格时再复查填充条断裂情况，这样的检测手段耗时耗力，影响工厂产能。而用人力在生产阶段检测断裂无法做到24小时实时的监控。由于机器视觉技术的飞速发展，采用机器视觉代替人眼观察缆线，采用深度学习算法实时检测填充条的断裂情况，不仅节省人力，实时性强，而且准确率更高，检测精度更高。

近几年来，目标检测算法取得了很大的突破。比较流行的算法可以分为两类，一类是基于Region Proposal的R-CNN系算法(R-CNN，FastR-CNN，Faster R-CNN等)，它们是two-stage的算法，先由算法产生目标候选框，也就是目标位置，然后再对候选框做分类与回归。而另一类是YOLO，SSD这类的one-stage算法，其仅仅使用一个卷积神经网络直接预测不同目标的类别与位置。第一类方法准确度高一些、速度慢，第二类算法速度快，但是准确性要低一些。

发明内容

有鉴于此，本发明提出了采用最新的YOLOv5目标检测框架识别海缆填充条断裂情况的方法，具有准确率高、收敛快、模型轻量化等优点，可快速实时的检测填充条的断裂情况。

本发明提出一种基于机器视觉与深度学习的海缆填充条断裂识别方法，首先使用工业相机对立缆工序下的海缆半成品进行成像，通过YOLOv5目标检测框架提取图像特征，检测目标图片中是否有一般大小断裂及断裂的位置，通过TPH-YOLOv5目标检测网络同步检测目标图片中的微小断裂情况，然后采用传统的图像处理算法计算断裂的宽度，若超过预设目标值，则产生报警。该方法包括以下步骤：

通过多个相机拍摄海缆填充条图像；

对拍摄的海缆填充条图像进行预处理；

对于图像中的常规目标检测，将图像输入YOLOV5神经网络进行训练；对于图像中的小目标检测，将图像进行分割后，输入TPH-YOLOV5神经网络进行识别；

所述YOLOV5神经网络或TPH-YOLOV5神经网络输出识别的缝隙，计算缝隙的宽度；

综合预警模块判断缝隙的宽度是否超出预设的缝隙范围，若超出则报警。进一步的，所述多个相机分别从0°位置，120°位置和240°位置拍摄海缆填充条图像。

进一步的，所述计算缝隙的宽度包括：首先将检测网络识别出的缝隙二值化处理，进行膨胀腐蚀操作，然后计算最小外接矩形，通过最小外接矩形的坐标计算缝隙的像素宽度。

进一步的，所述二值化处理还包括以下步骤：

设置一个初始化阈值T，且该初始化阈值为随机方法生成；

根据阈值图将每个像素分为目标像素数据A1及背景像素数据A2，则A1的平均值为a1，A2的平均值为a2；

新阈值T’＝(a1+a2)/2；

继续执行新阈值的计算，直至新阈值与上一次计算的阈值相等。

进一步的，所述YOLOV5神经网络或TPH-YOLOV5神经网络事先使用训练集和测试集进行训练，得到训练后的神经网络超参数。

进一步的，所述预处理包括均衡化处理和滤波处理。

进一步的，所述对拍摄的海缆填充条图像进行预处理还包括以下步骤：

使用gabor滤波器提取图像特征；

让随机变量i代表图像区域的灰度水平，一阶直方图p(i)定义为p(i)＝灰度像素数(i)/区域中的像素总数；

计算直方图的平均值、方差、偏度、峰度、能量及熵。

进一步的，所述平均值的计算公式为：

其中，L-1为随机变量i从0开始计数时的总数量；

所述方差的计算公式为：

所述偏度的计算公式为：

所述峰度的计算公式为：

所述能量的计算公式为：

所述熵的计算公式为：

进一步的，所述偏度小于0，则直方图低于平均值，所述偏度等于0，则直方图和平均值是对称的，所述偏度大于0，则直方图高于平均值。

进一步的，所述对于图像中的小目标检测，将图像进行分割后，输入TPH-YOLOV5神经网络进行识别还包括以下步骤：

输入的图像为由TPH-YOLOV5神经网络划分为S×S个单元格，每个单元格均对环境的中心是否落在其内部进行预测，若一个网格预测为是，则检测候选框及每个候选框的置信度，候选框的置信度的目标被设置为零：

其中，Conf(Object)为是否有目标落入对应于候选框的单元格的置信度，若是，即若有目标落入单元格，则逻辑函数系数Pr(Object)＝1，相应的目标与该单元格对应的候选框的置信度为

否则，确定候选框中没有目标，即没有目标落入单元格，则逻辑函数系数Pr(Object)＝0，则Conf(Object)＝0，

为预测框与实际框的交叉面积与联合面积的比值，如下公式：

TPH-YOLOV5神经网络使用误差平方作为损失函数，即计算当前检测候选框和所有参考标准框的IOU值，其中最大IOU值对应的对象是当前检测候选框负责预测的对象。

本发明的有益效果如下：

提出了基于机器视觉与深度学习的海缆填充条断裂识别方法，可24小时连续不间断的对立缆时的海缆填充条进行实时监控，提高了检测精度，提前检测可能发生的断裂，为工厂节省了大量的后续检测、维修成本。

附图说明

图1本发明的海缆填充条断裂识别方法流程图；

图2 YOLOV5结构图；

图3 TPH-YOLOV5结构图；

图4为原始图；

图5均衡化处理后的图；

图6滤波处理后的图；

图7原始的小裂缝图；

图8小裂缝的检测结果图；

图9原始的完全断裂图；

图10完全断裂的检测结果图；

图11缝隙原始图；

图12将缝隙二值化后的图；

图13将二值化后的缝隙膨胀腐蚀后的图；

图14将缝隙标出最小外接矩形后的图。

具体实施方式

下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。

本发明的目的是提供可连续不间断的对立缆时的海缆填充条进行实时监控，提前检测可能发生的断裂的方法。

为达到该目的，本发明采用的技术方案包括步骤如下：

该方法包括以下步骤：

通过多个相机拍摄海缆填充条图像；

所述多个相机分别从0°位置，120°位置和240°位置拍摄海缆填充条图像。

对拍摄的海缆填充条图像进行预处理；

所述对拍摄的海缆填充条图像进行预处理还包括以下步骤：

使用gabor滤波器提取图像特征；

让随机变量i代表图像区域的灰度水平，一阶直方图p(i)定义为p(i)＝灰度像素数(i)/区域中的像素总数；

计算直方图的平均值、方差、偏度、峰度、能量及熵。

所述平均值的计算公式为：

所述方差的计算公式为：

所述偏度的计算公式为：

所述峰度的计算公式为：

所述能量的计算公式为：

所述熵的计算公式为：

所述偏度小于0，则直方图低于平均值，所述偏度等于0，则直方图和平均值是对称的，所述偏度大于0，则直方图高于平均值。

所述预处理包括均衡化处理和滤波处理。

对于图像中的常规目标检测，将图像输入YOLOV5神经网络进行训练；对于图像中的小目标检测，将图像进行分割后，输入TPH-YOLOV5神经网络进行识别；

所述对于图像中的小目标检测，将图像进行分割后，输入TPH-YOLOV5神经网络进行识别还包括以下步骤：

输入的图像为由yolo划分为S×S个网格，每个网格均对生态环境的中心是否落在其内部进行预测，若一个网格预测为是，则网格预测B检测候选框及每个候选框的置信度，候选框的置信度的目标被设置为零：

其中，Conf(Object)为是否有目标落入对应于候选框的单元格的置信度，若是，即若有目标落入单元格，则逻辑函数系数Pr(Object)＝1，相应的目标与该单元格对应的候选框的置信度为

否则，确定候选框中没有目标，即没有目标落入单元格，则逻辑函数系数Pr(Object)＝0，则Conf(Object)＝0，

为预测框与实际框的交叉面积与联合面积的比值，如下公式：

Yolo使用误差平方作为损失函数，即计算当前检测候选框和所有参考标准框的IOU值，其中最大IOU值对应的对象是当前检测候选框负责预测的对象，

所述YOLOV5神经网络或TPH-YOLOV5神经网络输出识别的缝隙，计算缝隙的宽度；

所述计算缝隙的宽度包括：首先将检测网络识别出的缝隙二值化处理，进行膨胀腐蚀操作，然后计算最小外接矩形，通过最小外接矩形的坐标计算缝隙的像素宽度。

所述二值化处理还包括以下步骤：

设置一个初始化阈值T，且该初始化阈值为随机方法生成；

根据阈值图将每个像素分为目标像素数据A1及背景像素数据A2，则A1的平均值为a1，A2的平均值为a2；

新阈值T’＝(a1+a2)/2；

继续执行新阈值的计算，直至新阈值与上一次计算的阈值相等。

综合预警模块判断缝隙的宽度是否超出预设的缝隙范围，若超出则报警。

所述YOLOV5神经网络或TPH-YOLOV5神经网络事先使用训练集和测试集进行训练，得到训练后的神经网络超参数。

为了使本发明的技术方案和有益效果更加清楚，以下结合实际例子，对。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例

如图1所示，整体处理流程如下：

多个相机分别从0°位置，120°位置和240°位置拍摄海缆填充条图像。

对拍摄的海缆填充条图像进行预处理；预处理包括将图像进行均衡化处理和滤波处理，处理结果如图4-图6所示，其中图4为未处理的原始图，图5为均衡化处理后的图，图6为滤波处理后的图。

对于图像中的常规目标检测，将训练集和测试集的图像输入YOLOV5神经网络进行训练；对于图像中的小目标检测，将训练集和测试集的图像进行分割后，输入TPH-YOLOV5神经网络进行训练；训练结束后，得到YOLOV5神经网络和TPH-YOLOV5神经网络超参数。YOLOV5神经网络的结果如图2所示，TPH-YOLOV5神经网络的结构如图3所示。

实时采集海缆填充条图像，对于图像中的常规目标检测，将图像输入YOLOV5神经网络进行识别；对于图像中的小目标检测，将图像进行分割后，输入TPH-YOLOV5神经网络进行识别。图7为原始的小裂缝图；图8为TPH-YOLOV5神经网络识别的小裂缝检测结果图；图9为原始的完全断裂图；图10为YOLOV5神经网络识别的完全断裂的检测结果图。

YOLOV5神经网络或TPH-YOLOV5神经网络输出识别的缝隙，计算缝隙的宽度；计算缝隙的宽度包括如下步骤：首先将检测网络识别出的缝隙二值化处理，处理结果如图12所示。然后进行膨胀腐蚀操作，处理结果如图13所示，最后计算最小外接矩形，通过最小外接矩形的坐标计算缝隙的像素宽度。处理结果如图14所示。

综合预警模块判断缝隙的宽度是否超出预设的缝隙范围，如果超出则报警。

本发明的有益效果如下：

提出了基于机器视觉与深度学习的海缆填充条断裂识别方法，可24小时连续不间断的对立缆时的海缆填充条进行实时监控，提高了检测精度，提前检测可能发生的断裂，为工厂节省了大量的后续检测、维修成本。

本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。

综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于机器视觉与深度学习的海缆填充条断裂识别方法，其特征在于，该方法包括以下步骤：

通过多个相机拍摄海缆填充条图像；

对拍摄的海缆填充条图像进行预处理；

对于图像中的常规目标检测，将图像输入YOLOV5神经网络进行训练；对于图像中的小目标检测，将图像进行分割后，输入TPH-YOLOV5神经网络进行识别；

所述YOLOV5神经网络或TPH-YOLOV5神经网络输出识别的缝隙，计算缝隙的宽度；

综合预警模块判断缝隙的宽度是否超出预设的缝隙范围，若超出则报警；

其中，所述对于图像中的小目标检测，将图像进行分割后，输入TPH-YOLOV5神经网络进行识别还包括以下步骤：输入的图像为由TPH-YOLOV5神经网络划分为S×S个单元格，每个单元格均对环境的中心是否落在其内部进行预测，若一个单元格预测为是，则检测候选框及每个候选框的置信度，候选框的置信度的目标被设置为零：

其中，Conf(Object)为是否有目标落入对应于候选框的单元格的置信度，若是，即若有目标落入单元格，则逻辑函数系数Pr(Object)＝1，相应的目标与该单元格对应的候选框的置信度为

否则，确定候选框中没有目标，即没有目标落入单元格，则逻辑函数系数Pr(Object)＝0，则Conf(Object)＝0，

为预测框与实际框的交叉面积与联合面积的比值，如下公式：

其中box(truth)为实际框面积，box(pred)为预测框面积，∩代表逻辑相与运算，∪代表逻辑相并运算；

TPH-YOLOV5使用误差平方作为损失函数，即计算当前检测候选框和所有参考标准框的IOU值，选择其中最大IOU值对应的对象是当前检测候选框负责预测的对象。

2.根据权利要求1所述的基于机器视觉与深度学习的海缆填充条断裂识别方法，其特征在于，所述多个相机分别从0°位置，120°位置和240°位置拍摄海缆填充条图像。

3.根据权利要求1所述的基于机器视觉与深度学习的海缆填充条断裂识别方法，其特征在于，所述计算缝隙的宽度包括：首先将检测网络识别出的缝隙二值化处理，进行膨胀腐蚀操作，然后计算最小外接矩形，通过最小外接矩形的坐标计算缝隙的像素宽度。

4.根据权利要求3所述的基于机器视觉与深度学习的海缆填充条断裂识别方法，其特征在于，所述二值化处理还包括以下步骤：

设置一个初始化阈值T，且该初始化阈值为随机方法生成；

根据阈值图将每个像素分为目标像素数据A1及背景像素数据A2，则A1的平均值为a1，A2的平均值为a2；

新阈值T’＝(a1+a2)/2；

继续执行新阈值的计算，直至新阈值与上一次计算的阈值相等。

5.根据权利要求1所述的基于机器视觉与深度学习的海缆填充条断裂识别方法，其特征在于，所述YOLOV5神经网络或TPH-YOLOV5神经网络事先使用训练集和测试集进行训练，得到训练后的神经网络超参数。

6.根据权利要求1所述的基于机器视觉与深度学习的海缆填充条断裂识别方法，其特征在于，所述预处理包括均衡化处理和滤波处理。

7.根据权利要求1所述的基于机器视觉与深度学习的海缆填充条断裂识别方法，其特征在于，所述对拍摄的海缆填充条图像进行预处理还包括以下步骤：

使用gabor滤波器提取图像特征；

让随机变量i代表图像区域的灰度水平，一阶直方图p(i)定义为p(i)＝灰度像素数(i)/区域中的像素总数；

计算直方图的平均值、方差、偏度、峰度、能量及熵。

8.根据权利要求7所述的基于机器视觉与深度学习的海缆填充条断裂识别方法，其特征在于，所述平均值的计算公式为：

其中，L-1为随机变量i从0开始计数时的总数量；

所述方差的计算公式为：

所述偏度的计算公式为：

所述峰度的计算公式为：

所述能量的计算公式为：

所述熵的计算公式为：

9.根据权利要求8所述的基于机器视觉与深度学习的海缆填充条断裂识别方法，其特征在于，所述偏度小于0，则直方图低于平均值，所述偏度等于0，则直方图和平均值是对称的，所述偏度大于0，则直方图高于平均值。

Images