CN114240945B - 一种基于目标分割的桥梁钢索断裂检测方法及系统 - Google Patents

Abstract

本发明涉及一种基于目标分割的桥梁钢索断裂检测方法及系统，属于桥梁钢索检测技术领域，该方法包括：采集多张桥梁钢索图像作为数据集，桥梁钢索图像中包括钢索断裂的图像；构建断索分割网络；采用数据集训练断索分割网络，获得断索分割模型；采用断索分割模型对待检测桥梁钢索图像进行桥梁钢索断裂检测；断索分割网络包括编码器、第一多类型信息聚焦结构、第二多类型信息聚焦结构、第三多类型信息聚焦结构和解码器；通过不同尺度卷积核的卷积操作和不同倍数的上采样操作，从各个编码单元捕获不同程度的语义信息和细粒度信息，而且能够调节和优化不同特征在输出特征图中所占的信息比例，提高了断索分割准确率同时保证了检测的低成本。

Description

一种基于目标分割的桥梁钢索断裂检测方法及系统

技术领域

本发明涉及桥梁钢索检测技术领域，特别是涉及一种基于目标分割的桥梁钢索断裂检测方法及系统。

背景技术

悬索桥是中国大跨度及特大跨度公路桥所采用的主要桥型。钢索作为悬索桥上的主要承重构件，长期承受外界环境与随机载荷的耦合作用，在服役期间易产生断裂现象，如果不能及时准确地发现钢索上的断裂损伤，则会对桥梁的安全性构成严重威胁。

现阶段的钢索服役状态监测主要依赖于各种索力检测技术，其中测试效果和使用重复性最佳的是光纤光栅法，但其具有应用成本高，损坏后不可更换等缺点，难以广泛应用。因此，亟需探索一种准确可靠且成本低廉的桥梁钢索断裂检测方法。

发明内容

本发明的目的是提供一种基于目标分割的桥梁钢索断裂检测方法及系统，提高了钢索断裂检测的准确性。

为实现上述目的，本发明提供了如下方案：

一种基于目标分割的桥梁钢索断裂检测方法，包括：

采集多张桥梁钢索图像作为数据集，所述桥梁钢索图像中包括钢索断裂的图像；

构建断索分割网络；

采用所述数据集训练所述断索分割网络，获得断索分割模型；

采用所述断索分割模型对待检测桥梁钢索图像进行桥梁钢索断裂检测；

所述断索分割网络包括编码器、第一多类型信息聚焦结构、第二多类型信息聚焦结构、第三多类型信息聚焦结构和解码器；所述编码器包括第一编码单元、第二编码单元、第三编码单元和第四编码单元；所述第一编码单元用于对输入图像A1进行两次卷积操作，获得特征图A3，并对特征图A3进行上采样操作，获得特征图B1；所述第二编码单元用于对所述特征图B1进行两次卷积操作，获得特征图B3，并对特征图B3进行上采样操作，获得特征图C1；所述第三编码单元用于对所述特征图C1进行两次卷积操作，获得特征图C3，并对特征图C3进行上采样操作，获得特征图D1；所述第四编码单元用于对所述特征图D1进行两次卷积操作，获得特征图D3；所述第一多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_1，对特征图B3进行卷积操作获得特征图B3_1，对特征图C3进行卷积操作获得特征图C3_1，并将特征图A3_1、特征图B3_1和特征图C3_1进行通道维度的特征拼接，得到特征图E1；所述第二多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_2，对特征图B3进行卷积操作获得特征图B3_2，对特征图C3进行2倍的上采样获得特征图C3_2，并将特征图A3_2、特征图B3_2和特征图C3_2进行通道维度的特征拼接，得到特征图F1；所述第三多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_3，对特征图B3进行2倍的上采样获得特征图B3_3，对特征图C3进行4倍的上采样获得特征图C3_3，并将特征图A3_3、特征图B3_3和特征图C3_3进行通道维度的特征拼接，得到特征图G1；所述解码器包括第一解码单元、第二解码单元和第三解码单元；所述第一解码单元用于对特征图D3进行上采样获得特征图E2，并将特征图E2与特征图E1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图E4；所述第二解码单元用于对特征图E4进行上采样获得特征图F2，并将特征图F2与特征图F1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图F4；所述第三解码单元用于对特征图F4进行上采样获得特征图G2，并将特征图G2与特征图G1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图G4，将特征图G4转换为通道数为2的特征图G5，将特征图G5中第一通道图像转换为二值图，将所述二值图作为分割特征图输出。

可选地，所述第一编码单元用于对输入图像A1进行两次卷积核为1*1的卷积操作，获得特征图A3；所述第二编码单元用于对所述特征图B1进行两次卷积核为1*1的卷积操作，获得特征图B3；所述第三编码单元用于对所述特征图C1进行两次卷积核为1*1的卷积操作，获得特征图C3。

可选地，所述第一多类型信息聚焦结构用于对特征图A3进行卷积核为5*5、卷积核个数为64、步长为4的卷积操作获得特征图A3_1，对特征图B3进行卷积核为3*3、卷积核个数为64、步长为2的卷积操作获得特征图B3_1，对特征图C3进行卷积核为1*1、卷积核个数为128、步长为1的卷积操作获得特征图C3_1；

所述第二多类型信息聚焦结构用于对特征图A3进行卷积核为3*3、卷积核个数为32、步长为2的卷积操作获得特征图A3_2，对特征图B3进行卷积核为1*1、卷积核个数为64、步长为1的卷积操作获得特征图B3_2；

所述第三多类型信息聚焦结构用于对特征图A3进行卷积核为1*1、卷积核个数为16、步长为1的卷积操作获得特征图A3_3。

可选地，所述第一解码单元用于将特征图E2与特征图E1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为256的卷积操作，获得特征图E3，将特征图E3进行卷积核为1*1的卷积操作得到与特征图E3等尺度的特征图E4；

所述第二解码单元用于将特征图F2与特征图F1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为128的卷积操作，获得特征图F3，将特征图F3进行卷积核为1*1的卷积操作得到与特征图F3等尺度的特征图F4；

所述第三解码单元用于将特征图G2与特征图G1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为64的卷积操作，获得特征图G3，将特征图G3进行卷积核为1*1的卷积操作得到与特征图G3等尺度的特征图G4。

可选地，所述采用所述数据集训练所述断索分割网络，获得断索分割模型，具体包括：

采用标注软件对所述数据集中桥梁钢索图像中钢索断裂区域进行标注，获得每张桥梁钢索图像对应的标注文件；

采用所述数据集和与所述数据集中每张桥梁钢索图像对应的标注文件对所述断索分割网络进行训练，获得断索分割模型。

本发明公开了一种基于目标分割的桥梁钢索断裂检测系统，包括：

数据集采集模块，用于采集多张桥梁钢索图像作为数据集，所述桥梁钢索图像中包括钢索断裂的图像；

断索分割网络构建模块，用于构建断索分割网络；

断索分割网络训练模块，用于采用所述数据集训练所述断索分割网络，获得断索分割模型；

钢索图像断裂检测模块，用于采用所述断索分割模型对待检测桥梁钢索图像进行桥梁钢索断裂检测；

所述断索分割网络包括编码器、第一多类型信息聚焦结构、第二多类型信息聚焦结构、第三多类型信息聚焦结构和解码器；所述编码器包括第一编码单元、第二编码单元、第三编码单元和第四编码单元；所述第一编码单元用于对输入图像A1进行两次卷积操作，获得特征图A3，并对特征图A3进行上采样操作，获得特征图B1；所述第二编码单元用于对所述特征图B1进行两次卷积操作，获得特征图B3，并对特征图B3进行上采样操作，获得特征图C1；所述第三编码单元用于对所述特征图C1进行两次卷积操作，获得特征图C3，并对特征图C3进行上采样操作，获得特征图D1；所述第四编码单元用于对所述特征图D1进行两次卷积操作，获得特征图D3；所述第一多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_1，对特征图B3进行卷积操作获得特征图B3_1，对特征图C3进行卷积操作获得特征图C3_1，并将特征图A3_1、特征图B3_1和特征图C3_1进行通道维度的特征拼接，得到特征图E1；所述第二多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_2，对特征图B3进行卷积操作获得特征图B3_2，对特征图C3进行2倍的上采样获得特征图C3_2，并将特征图A3_2、特征图B3_2和特征图C3_2进行通道维度的特征拼接，得到特征图F1；所述第三多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_3，对特征图B3进行2倍的上采样获得特征图B3_3，对特征图C3进行4倍的上采样获得特征图C3_3，并将特征图A3_3、特征图B3_3和特征图C3_3进行通道维度的特征拼接，得到特征图G1；所述解码器包括第一解码单元、第二解码单元和第三解码单元；所述第一解码单元用于对特征图D3进行上采样获得特征图E2，并将特征图E2与特征图E1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图E4；所述第二解码单元用于对特征图E4进行上采样获得特征图F2，并将特征图F2与特征图F1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图F4；所述第三解码单元用于对特征图F4进行上采样获得特征图G2，并将特征图G2与特征图G1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图G4，将特征图G4转换为通道数为2的特征图G5，将特征图G5中第一通道图像转换为二值图，将所述二值图作为分割特征图输出。

可选地，所述第一编码单元用于对输入图像A1进行两次卷积核为1*1的卷积操作，获得特征图A3；所述第二编码单元用于对所述特征图B1进行两次卷积核为1*1的卷积操作，获得特征图B3；所述第三编码单元用于对所述特征图C1进行两次卷积核为1*1的卷积操作，获得特征图C3。

可选地，所述第一多类型信息聚焦结构用于对特征图A3进行卷积核为5*5、卷积核个数为64、步长为4的卷积操作获得特征图A3_1，对特征图B3进行卷积核为3*3、卷积核个数为64、步长为2的卷积操作获得特征图B3_1，对特征图C3进行卷积核为1*1、卷积核个数为128、步长为1的卷积操作获得特征图C3_1；

所述第二多类型信息聚焦结构用于对特征图A3进行卷积核为3*3、卷积核个数为32、步长为2的卷积操作获得特征图A3_2，对特征图B3进行卷积核为1*1、卷积核个数为64、步长为1的卷积操作获得特征图B3_2；

所述第三多类型信息聚焦结构用于对特征图A3进行卷积核为1*1、卷积核个数为16、步长为1的卷积操作获得特征图A3_3。

可选地，所述第一解码单元用于将特征图E2与特征图E1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为256的卷积操作，获得特征图E3，将特征图E3进行卷积核为1*1的卷积操作得到与特征图E3等尺度的特征图E4；

所述第二解码单元用于将特征图F2与特征图F1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为128的卷积操作，获得特征图F3，将特征图F3进行卷积核为1*1的卷积操作得到与特征图F3等尺度的特征图F4；

所述第三解码单元用于将特征图G2与特征图G1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为64的卷积操作，获得特征图G3，将特征图G3进行卷积核为1*1的卷积操作得到与特征图G3等尺度的特征图G4。

可选地，所述断索分割网络训练模块，具体包括：

标注单元，用于采用标注软件对所述数据集中桥梁钢索图像中钢索断裂区域进行标注，获得每张桥梁钢索图像对应的标注文件；

断索分割网络训练单元，用于采用所述数据集和与所述数据集中每张桥梁钢索图像对应的标注文件对所述断索分割网络进行训练，获得断索分割模型。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开了一种基于目标分割的桥梁钢索断裂检测方法及系统，基于第一多类型信息聚焦结构、第二多类型信息聚焦结构、第三多类型信息聚焦结构，通过不同尺度卷积核的卷积操作和不同倍数的上采样操作，从各个编码单元捕获不同程度的语义信息和细粒度信息，而且能够调节和优化不同特征在输出特征图中所占的信息比例，从而增强网络的断索特征提取能力，提高了断索分割准确率同时保证了检测的低成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于目标分割的桥梁钢索断裂检测方法流程示意图；

图2为本发明断索分割网络结构示意图；

图3为本发明第一多类型信息聚焦结构示意图；

图4为本发明第二多类型信息聚焦结构示意图；

图5为本发明第三多类型信息聚焦结构示意图；

图6为本发明一种基于目标分割的桥梁钢索断裂检测系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于目标分割的桥梁钢索断裂检测方法及系统，提高了钢索断裂检测的准确性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明一种基于目标分割的桥梁钢索断裂检测方法流程示意图，如图1所示，一种基于目标分割的桥梁钢索断裂检测方法，包括：

步骤101：采集多张桥梁钢索图像作为数据集，桥梁钢索图像中包括钢索断裂的图像。

步骤102：构建断索分割网络。

断索分割网络包括编码器、第一多类型信息聚焦结构、第二多类型信息聚焦结构、第三多类型信息聚焦结构和解码器；编码器包括第一编码单元、第二编码单元、第三编码单元和第四编码单元；第一编码单元用于对输入图像A1进行两次卷积操作，获得特征图A3，并对特征图A3进行上采样操作，获得特征图B1；第二编码单元用于对特征图B1进行两次卷积操作，获得特征图B3，并对特征图B3进行上采样操作，获得特征图C1；第三编码单元用于对特征图C1进行两次卷积操作，获得特征图C3，并对特征图C3进行上采样操作，获得特征图D1；第四编码单元用于对特征图D1进行两次卷积操作，获得特征图D3；第一多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_1，对特征图B3进行卷积操作获得特征图B3_1，对特征图C3进行卷积操作获得特征图C3_1，并将特征图A3_1、特征图B3_1和特征图C3_1进行通道维度的特征拼接，得到特征图E1；第二多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_2，对特征图B3进行卷积操作获得特征图B3_2，对特征图C3进行2倍的上采样获得特征图C3_2，并将特征图A3_2、特征图B3_2和特征图C3_2进行通道维度的特征拼接，得到特征图F1；第三多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_3，对特征图B3进行2倍的上采样获得特征图B3_3，对特征图C3进行4倍的上采样获得特征图C3_3，并将特征图A3_3、特征图B3_3和特征图C3_3进行通道维度的特征拼接，得到特征图G1；解码器包括第一解码单元、第二解码单元和第三解码单元；第一解码单元用于对特征图D3进行上采样获得特征图E2，并将特征图E2与特征图E1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图E4；第二解码单元用于对特征图E4进行上采样获得特征图F2，并将特征图F2与特征图F1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图F4；第三解码单元用于对特征图F4进行上采样获得特征图G2，并将特征图G2与特征图G1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图G4，将特征图G4转换为通道数为2的特征图G5，将特征图G5中第一通道图像转换为二值图，将二值图作为分割特征图输出。

第一编码单元用于对输入图像A1进行两次卷积核为1*1的卷积操作，获得特征图A3；第二编码单元用于对特征图B1进行两次卷积核为1*1的卷积操作，获得特征图B3；第三编码单元用于对特征图C1进行两次卷积核为1*1的卷积操作，获得特征图C3。

第一多类型信息聚焦结构用于对特征图A3进行卷积核为5*5、卷积核个数为64、步长为4的卷积操作获得特征图A3_1，对特征图B3进行卷积核为3*3、卷积核个数为64、步长为2的卷积操作获得特征图B3_1，对特征图C3进行卷积核为1*1、卷积核个数为128、步长为1的卷积操作获得特征图C3_1。

第二多类型信息聚焦结构用于对特征图A3进行卷积核为3*3、卷积核个数为32、步长为2的卷积操作获得特征图A3_2，对特征图B3进行卷积核为1*1、卷积核个数为64、步长为1的卷积操作获得特征图B3_2。

第三多类型信息聚焦结构用于对特征图A3进行卷积核为1*1、卷积核个数为16、步长为1的卷积操作获得特征图A3_3。

第一解码单元用于将特征图E2与特征图E1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为256的卷积操作，获得特征图E3，将特征图E3进行卷积核为1*1的卷积操作得到与特征图E3等尺度的特征图E4；

第二解码单元用于将特征图F2与特征图F1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为128的卷积操作，获得特征图F3，将特征图F3进行卷积核为1*1的卷积操作得到与特征图F3等尺度的特征图F4。

第三解码单元用于将特征图G2与特征图G1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为64的卷积操作，获得特征图G3，将特征图G3进行卷积核为1*1的卷积操作得到与特征图G3等尺度的特征图G4。

步骤103：采用数据集训练断索分割网络，获得断索分割模型。

步骤104：采用断索分割模型对待检测桥梁钢索图像进行桥梁钢索断裂检测。

其中，步骤103具体包括：

采用标注软件对数据集中桥梁钢索图像中钢索断裂区域进行标注，获得每张桥梁钢索图像对应的标注文件。

采用数据集和与数据集中每张桥梁钢索图像对应的标注文件对断索分割网络进行训练，获得断索分割模型。

下面以具体实施例说明本发明一种基于目标分割的桥梁钢索断裂检测方法。

Step1、建立断索分割数据集。首先，采用搭载工业相机的无人机在多个悬索桥上进行钢索图像采集，应确保采集到不同形态下的断索图像；接下来，采用标注软件进行标注，在断索图像中标注出各个钢索的断裂区域，从而获得每张图像对应的标注文件。最后，基于钢索图像与标注文件，得到断索分割数据集，并将其分为训练集和测试集。

Step2、构建编码器。接下来，针对断索分割任务，进行网络设计，设计过程由编码器、多类型信息聚焦结构和解码器三部分组成。如图2所示，以本发明输入一张待检测的维度为1024×1024×1的钢索图像A1为例，展示分割网络编码路径的设计过程：对A1连续进行两次卷积核为1*1的卷积操作，分别获得尺寸均为1024×1024×64的特征图A2和A3。接着采用池化层对A3进行上采样，获得尺寸为512×512×64的特征图B1。

从B1到C1以及从C1到D1的编码方式与从A1到B1的编码方式类似，即连续两次的卷积操作和一次池化操作。最后，对D1连续进行两次卷积操作，获得特征图D3，其尺寸为128×128×512。以上即为编码器的网络结构。

Step3、构建多类型信息聚焦结构。由于长期暴露于外界环境中，受到复杂环境因素影响，钢索的断口呈现多样化形态，对网络的特征提取能力提出了较高要求。因此针对断索分割任务设计了多类型信息聚焦结构，该结构可以帮助断索分割网络从各个编码阶段捕获更多的断索特征信息，从而提升算法的断索分割准确率。

首先，如图3所示，进行第一多类型信息聚焦结构的构建。对处于第一编码阶段的特征图A3进行卷积核为5*5、卷积核个数为64、步长为4的卷积操作，获得尺寸为256×256×64的特征图A3_1；对处于第二编码阶段的特征图B3进行卷积核为3*3、卷积核个数为64、步长为2的卷积操作，获得尺寸为256×256×64的特征图B3_1；对处于第三编码阶段的特征图C3进行卷积核为1*1、卷积核个数为128、步长为1的卷积操作，获得尺寸为256×256×128的特征图C3_1。再对A3_1、B3_1和C3_1进行通道维度的特征拼接，从而得到尺寸为256×256×256的特征图E1。

随后，如图4所示，进行第二多类型信息聚焦结构的构建。对处于第一编码阶段的特征图A3进行卷积核为3*3、卷积核个数为32、步长为2的卷积操作，获得尺寸为512×512×32的特征图A3_2；对处于第二编码阶段的特征图B3进行卷积核为1*1、卷积核个数为64、步长为1的卷积操作，获得尺寸为512×512×64的特征图B3_2；对处于第三编码阶段的特征图C3进行2倍放大的插值操作和卷积核为1*1、卷积核个数为32的卷积操作，获得尺寸为512×512×32的特征图C3_2。再对A3_2、B3_2和C3_2进行通道维度的特征拼接，从而得到尺寸为512×512×128的特征图F1。

最后，如图5所示，进行第三多类型信息聚焦结构的构建。对处于第一编码阶段（第一编码单元）的特征图A3进行卷积核为1*1、卷积核个数为16、步长为1的卷积操作，获得尺寸为1024×1024×16的特征图A3_3；对处于第二编码阶段（第二编码单元）的特征图B3进行2倍放大的插值操作和卷积核为1*1、卷积核个数为32的卷积操作，获得尺寸为1024×1024×32的特征图B3_3；对处于第三编码阶段（第三编码单元）的特征图C3进行4倍放大的插值操作和卷积核为1*1、卷积核个数为16的卷积操作，获得尺寸为1024×1024×16的特征图C3_3。再对A3_3、B3_3和C3_3进行通道维度的特征拼接，从而得到尺寸为1024×1024×64的特征图G1。

在编码器中，各编码阶段的特征图均包含了不同程度的语义信息和细粒度信息。多类型信息聚焦结构对各编码阶段的特征图采用了不同尺度卷积核的卷积操作和不同倍数的上采样操作，能够在抽取多样化语义信息和细粒度信息的同时，对中间特征图（即A3_1、B3_1和C3_1等）的尺寸进行归一化，以便于进行后期的特征拼接。此外，多类型信息聚焦结构通过设置卷积核的个数对各层特征图的通道数进行修改，以调节和优化各编码阶段的特征在输出特征图（E1、F1和G1）中所占的信息比例。

Step4、构建解码器。如图2所示，以本发明输入一张待检测的维度为1024×1024×1的钢索图像A1为例，展示分割网络解码器的设计过程：

将特征图D3进行上采样操作，获得尺寸为256×256×256的特征图E2，将E2与多类型信息聚焦结构所输出的E1基于通道维度进行特征拼接，得到一个通道数为原来2倍，即256×256×512的特征图。将该特征图输入一个卷积核为1*1、卷积核个数为256的卷积层中，得到E3。再将E3输入一个卷积核1*1的卷积层中得到等尺寸特征图E4。

如图2所示，从E4到F4以及从F4到G4的解码方式与从D3到E4的解码方式类似，即先进行上采样，然后与多类型信息聚焦结构所输出的F1或G1进行特征拼接，再通过卷积层进行特征抽取。

接下来，将G4输入最后一个卷积层中，将其通道数转化为2（分别表示钢索断裂区域和背景），得到尺寸为1024×1024×2的特征图G5。

最后，将特征图G5中第一通道图像转化为二值图，其中像素值大于阈值的像素点值设为1，即前景，像素值小于阈值的像素点值设为0，即背景。如果二值图中存在前景目标，则表示图像中存在钢索断裂区域，将该二值图像输出。

以上即为断索分割网络的整体设计过程。

Step5、训练断索分割网络。采用断索分割数据集中的训练集训练断索分割网络，直到其在测试集上达到预期分割精度，得到最终的断索分割模型。

Step6、采用搭载工业相机的无人机设备进行分段式的钢索图像采集，将采集到的图像传输到地面计算机上，并输入至断索分割模型中，实时获得断索图像的分割结果图。

本发明采用目标分割技术和无人机设备进行悬索桥上的钢索断裂监测，该方法能准确且实时地识别出图像中的断索区域，具有精度高、速度快、非接触、部署成本低等优势。

钢索断口的多样化形态对网络的特征提取能力提出了较高要求，本发明针对这一任务难点设计了多类型信息聚焦结构。该结构通过不同尺度卷积核的卷积操作和不同倍数的上采样操作，从各个编码阶段捕获不同程度的语义信息和细粒度信息，而且能够调节和优化不同特征在输出特征图中所占的信息比例，从而增强网络的断索特征提取能力，提升算法的断索分割准确率。

图6为本发明一种基于目标分割的桥梁钢索断裂检测系统结构示意图，如图6所示，一种基于目标分割的桥梁钢索断裂检测系统，包括：

数据集采集模块201，用于采集多张桥梁钢索图像作为数据集，桥梁钢索图像中包括钢索断裂的图像。

断索分割网络构建模块202，用于构建断索分割网络。

断索分割网络训练模块203，用于采用数据集训练断索分割网络，获得断索分割模型。

钢索图像断裂检测模块204，用于采用断索分割模型对待检测桥梁钢索图像进行桥梁钢索断裂检测。

断索分割网络包括编码器、第一多类型信息聚焦结构、第二多类型信息聚焦结构、第三多类型信息聚焦结构和解码器；编码器包括第一编码单元、第二编码单元、第三编码单元和第四编码单元；第一编码单元用于对输入图像A1进行两次卷积操作，获得特征图A3，并对特征图A3进行上采样操作，获得特征图B1；第二编码单元用于对特征图B1进行两次卷积操作，获得特征图B3，并对特征图B3进行上采样操作，获得特征图C1；第三编码单元用于对特征图C1进行两次卷积操作，获得特征图C3，并对特征图C3进行上采样操作，获得特征图D1；第四编码单元用于对特征图D1进行两次卷积操作，获得特征图D3；第一多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_1，对特征图B3进行卷积操作获得特征图B3_1，对特征图C3进行卷积操作获得特征图C3_1，并将特征图A3_1、特征图B3_1和特征图C3_1进行通道维度的特征拼接，得到特征图E1；第二多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_2，对特征图B3进行卷积操作获得特征图B3_2，对特征图C3进行2倍的上采样获得特征图C3_2，并将特征图A3_2、特征图B3_2和特征图C3_2进行通道维度的特征拼接，得到特征图F1；第三多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_3，对特征图B3进行2倍的上采样获得特征图B3_3，对特征图C3进行4倍的上采样获得特征图C3_3，并将特征图A3_3、特征图B3_3和特征图C3_3进行通道维度的特征拼接，得到特征图G1；解码器包括第一解码单元、第二解码单元和第三解码单元；第一解码单元用于对特征图D3进行上采样获得特征图E2，并将特征图E2与特征图E1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图E4；第二解码单元用于对特征图E4进行上采样获得特征图F2，并将特征图F2与特征图F1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图F4；第三解码单元用于对特征图F4进行上采样获得特征图G2，并将特征图G2与特征图G1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图G4，将特征图G4转换为通道数为2的特征图G5，将特征图G5中第一通道图像转换为二值图，将二值图作为分割特征图输出。

第一编码单元用于对输入图像A1进行两次卷积核为1*1的卷积操作，获得特征图A3；第二编码单元用于对特征图B1进行两次卷积核为1*1的卷积操作，获得特征图B3；第三编码单元用于对特征图C1进行两次卷积核为1*1的卷积操作，获得特征图C3。

第一多类型信息聚焦结构用于对特征图A3进行卷积核为5*5、卷积核个数为64、步长为4的卷积操作获得特征图A3_1，对特征图B3进行卷积核为3*3、卷积核个数为64、步长为2的卷积操作获得特征图B3_1，对特征图C3进行卷积核为1*1、卷积核个数为128、步长为1的卷积操作获得特征图C3_1；

第二多类型信息聚焦结构用于对特征图A3进行卷积核为3*3、卷积核个数为32、步长为2的卷积操作获得特征图A3_2，对特征图B3进行卷积核为1*1、卷积核个数为64、步长为1的卷积操作获得特征图B3_2；

第三多类型信息聚焦结构用于对特征图A3进行卷积核为1*1、卷积核个数为16、步长为1的卷积操作获得特征图A3_3。

第一解码单元用于将特征图E2与特征图E1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为256的卷积操作，获得特征图E3，将特征图E3进行卷积核为1*1的卷积操作得到与特征图E3等尺度的特征图E4；

第二解码单元用于将特征图F2与特征图F1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为128的卷积操作，获得特征图F3，将特征图F3进行卷积核为1*1的卷积操作得到与特征图F3等尺度的特征图F4；

第三解码单元用于将特征图G2与特征图G1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为64的卷积操作，获得特征图G3，将特征图G3进行卷积核为1*1的卷积操作得到与特征图G3等尺度的特征图G4。

断索分割网络训练模块203，具体包括：

标注单元，用于采用标注软件对数据集中桥梁钢索图像中钢索断裂区域进行标注，获得每张桥梁钢索图像对应的标注文件。

断索分割网络训练单元，用于采用数据集和与数据集中每张桥梁钢索图像对应的标注文件对断索分割网络进行训练，获得断索分割模型。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于目标分割的桥梁钢索断裂检测方法，其特征在于，包括：

采集多张桥梁钢索图像作为数据集，所述桥梁钢索图像中包括钢索断裂的图像；

构建断索分割网络；

采用所述数据集训练所述断索分割网络，获得断索分割模型；

采用所述断索分割模型对待检测桥梁钢索图像进行桥梁钢索断裂检测；

所述断索分割网络包括编码器、第一多类型信息聚焦结构、第二多类型信息聚焦结构、第三多类型信息聚焦结构和解码器；所述编码器包括第一编码单元、第二编码单元、第三编码单元和第四编码单元；所述第一编码单元用于对输入图像A1进行两次卷积操作，获得特征图A3，并对特征图A3进行上采样操作，获得特征图B1；所述第二编码单元用于对所述特征图B1进行两次卷积操作，获得特征图B3，并对特征图B3进行上采样操作，获得特征图C1；所述第三编码单元用于对所述特征图C1进行两次卷积操作，获得特征图C3，并对特征图C3进行上采样操作，获得特征图D1；所述第四编码单元用于对所述特征图D1进行两次卷积操作，获得特征图D3；所述第一多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_1，对特征图B3进行卷积操作获得特征图B3_1，对特征图C3进行卷积操作获得特征图C3_1，并将特征图A3_1、特征图B3_1和特征图C3_1进行通道维度的特征拼接，得到特征图E1；所述第二多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_2，对特征图B3进行卷积操作获得特征图B3_2，对特征图C3进行2倍的上采样获得特征图C3_2，并将特征图A3_2、特征图B3_2和特征图C3_2进行通道维度的特征拼接，得到特征图F1；所述第三多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_3，对特征图B3进行2倍的上采样获得特征图B3_3，对特征图C3进行4倍的上采样获得特征图C3_3，并将特征图A3_3、特征图B3_3和特征图C3_3进行通道维度的特征拼接，得到特征图G1；所述解码器包括第一解码单元、第二解码单元和第三解码单元；所述第一解码单元用于对特征图D3进行上采样获得特征图E2，并将特征图E2与特征图E1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图E4；所述第二解码单元用于对特征图E4进行上采样获得特征图F2，并将特征图F2与特征图F1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图F4；所述第三解码单元用于对特征图F4进行上采样获得特征图G2，并将特征图G2与特征图G1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图G4，将特征图G4转换为通道数为2的特征图G5，将特征图G5中第一通道图像转换为二值图，其中像素值大于阈值的像素点值设为1，即前景，像素值小于阈值的像素点值设为0，即背景，如果二值图中存在前景目标，则表示图像中存在钢索断裂区域，将所述二值图作为分割特征图输出。

2.根据权利要求1所述的基于目标分割的桥梁钢索断裂检测方法，其特征在于，所述第一编码单元用于对输入图像A1进行两次卷积核为1*1的卷积操作，获得特征图A3；所述第二编码单元用于对所述特征图B1进行两次卷积核为1*1的卷积操作，获得特征图B3；所述第三编码单元用于对所述特征图C1进行两次卷积核为1*1的卷积操作，获得特征图C3。

3.根据权利要求1所述的基于目标分割的桥梁钢索断裂检测方法，其特征在于，所述第一多类型信息聚焦结构用于对特征图A3进行卷积核为5*5、卷积核个数为64、步长为4的卷积操作获得特征图A3_1，对特征图B3进行卷积核为3*3、卷积核个数为64、步长为2的卷积操作获得特征图B3_1，对特征图C3进行卷积核为1*1、卷积核个数为128、步长为1的卷积操作获得特征图C3_1；

所述第二多类型信息聚焦结构用于对特征图A3进行卷积核为3*3、卷积核个数为32、步长为2的卷积操作获得特征图A3_2，对特征图B3进行卷积核为1*1、卷积核个数为64、步长为1的卷积操作获得特征图B3_2；

所述第三多类型信息聚焦结构用于对特征图A3进行卷积核为1*1、卷积核个数为16、步长为1的卷积操作获得特征图A3_3。

4.根据权利要求1所述的基于目标分割的桥梁钢索断裂检测方法，其特征在于，所述第一解码单元用于将特征图E2与特征图E1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为256的卷积操作，获得特征图E3，将特征图E3进行卷积核为1*1的卷积操作得到与特征图E3等尺度的特征图E4；

所述第二解码单元用于将特征图F2与特征图F1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为128的卷积操作，获得特征图F3，将特征图F3进行卷积核为1*1的卷积操作得到与特征图F3等尺度的特征图F4；

所述第三解码单元用于将特征图G2与特征图G1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为64的卷积操作，获得特征图G3，将特征图G3进行卷积核为1*1的卷积操作得到与特征图G3等尺度的特征图G4。

5.根据权利要求1所述的基于目标分割的桥梁钢索断裂检测方法，其特征在于，所述采用所述数据集训练所述断索分割网络，获得断索分割模型，具体包括：

采用标注软件对所述数据集中桥梁钢索图像中钢索断裂区域进行标注，获得每张桥梁钢索图像对应的标注文件；

采用所述数据集和与所述数据集中每张桥梁钢索图像对应的标注文件对所述断索分割网络进行训练，获得断索分割模型。

6.一种基于目标分割的桥梁钢索断裂检测系统，其特征在于，包括：

数据集采集模块，用于采集多张桥梁钢索图像作为数据集，所述桥梁钢索图像中包括钢索断裂的图像；

断索分割网络构建模块，用于构建断索分割网络；

断索分割网络训练模块，用于采用所述数据集训练所述断索分割网络，获得断索分割模型；

钢索图像断裂检测模块，用于采用所述断索分割模型对待检测桥梁钢索图像进行桥梁钢索断裂检测；

所述断索分割网络包括编码器、第一多类型信息聚焦结构、第二多类型信息聚焦结构、第三多类型信息聚焦结构和解码器；所述编码器包括第一编码单元、第二编码单元、第三编码单元和第四编码单元；所述第一编码单元用于对输入图像A1进行两次卷积操作，获得特征图A3，并对特征图A3进行上采样操作，获得特征图B1；所述第二编码单元用于对所述特征图B1进行两次卷积操作，获得特征图B3，并对特征图B3进行上采样操作，获得特征图C1；所述第三编码单元用于对所述特征图C1进行两次卷积操作，获得特征图C3，并对特征图C3进行上采样操作，获得特征图D1；所述第四编码单元用于对所述特征图D1进行两次卷积操作，获得特征图D3；所述第一多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_1，对特征图B3进行卷积操作获得特征图B3_1，对特征图C3进行卷积操作获得特征图C3_1，并将特征图A3_1、特征图B3_1和特征图C3_1进行通道维度的特征拼接，得到特征图E1；所述第二多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_2，对特征图B3进行卷积操作获得特征图B3_2，对特征图C3进行2倍的上采样获得特征图C3_2，并将特征图A3_2、特征图B3_2和特征图C3_2进行通道维度的特征拼接，得到特征图F1；所述第三多类型信息聚焦结构用于对特征图A3进行卷积操作获得特征图A3_3，对特征图B3进行2倍的上采样获得特征图B3_3，对特征图C3进行4倍的上采样获得特征图C3_3，并将特征图A3_3、特征图B3_3和特征图C3_3进行通道维度的特征拼接，得到特征图G1；所述解码器包括第一解码单元、第二解码单元和第三解码单元；所述第一解码单元用于对特征图D3进行上采样获得特征图E2，并将特征图E2与特征图E1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图E4；所述第二解码单元用于对特征图E4进行上采样获得特征图F2，并将特征图F2与特征图F1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图F4；所述第三解码单元用于对特征图F4进行上采样获得特征图G2，并将特征图G2与特征图G1进行通道维度的特征拼接结果进行两次卷积操作，获得特征图G4，将特征图G4转换为通道数为2的特征图G5，将特征图G5中第一通道图像转换为二值图，其中像素值大于阈值的像素点值设为1，即前景，像素值小于阈值的像素点值设为0，即背景，如果二值图中存在前景目标，则表示图像中存在钢索断裂区域，将所述二值图作为分割特征图输出。

7.根据权利要求6所述的基于目标分割的桥梁钢索断裂检测系统，其特征在于，所述第一编码单元用于对输入图像A1进行两次卷积核为1*1的卷积操作，获得特征图A3；所述第二编码单元用于对所述特征图B1进行两次卷积核为1*1的卷积操作，获得特征图B3；所述第三编码单元用于对所述特征图C1进行两次卷积核为1*1的卷积操作，获得特征图C3。

8.根据权利要求6所述的基于目标分割的桥梁钢索断裂检测系统，其特征在于，所述第一多类型信息聚焦结构用于对特征图A3进行卷积核为5*5、卷积核个数为64、步长为4的卷积操作获得特征图A3_1，对特征图B3进行卷积核为3*3、卷积核个数为64、步长为2的卷积操作获得特征图B3_1，对特征图C3进行卷积核为1*1、卷积核个数为128、步长为1的卷积操作获得特征图C3_1；

所述第二多类型信息聚焦结构用于对特征图A3进行卷积核为3*3、卷积核个数为32、步长为2的卷积操作获得特征图A3_2，对特征图B3进行卷积核为1*1、卷积核个数为64、步长为1的卷积操作获得特征图B3_2；

所述第三多类型信息聚焦结构用于对特征图A3进行卷积核为1*1、卷积核个数为16、步长为1的卷积操作获得特征图A3_3。

9.根据权利要求6所述的基于目标分割的桥梁钢索断裂检测系统，其特征在于，所述第一解码单元用于将特征图E2与特征图E1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为256的卷积操作，获得特征图E3，将特征图E3进行卷积核为1*1的卷积操作得到与特征图E3等尺度的特征图E4；

所述第二解码单元用于将特征图F2与特征图F1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为128的卷积操作，获得特征图F3，将特征图F3进行卷积核为1*1的卷积操作得到与特征图F3等尺度的特征图F4；

所述第三解码单元用于将特征图G2与特征图G1进行通道维度的特征拼接结果进行卷积核为1*1、卷积核个数为64的卷积操作，获得特征图G3，将特征图G3进行卷积核为1*1的卷积操作得到与特征图G3等尺度的特征图G4。

10.根据权利要求6所述的基于目标分割的桥梁钢索断裂检测系统，其特征在于，所述断索分割网络训练模块，具体包括：

标注单元，用于采用标注软件对所述数据集中桥梁钢索图像中钢索断裂区域进行标注，获得每张桥梁钢索图像对应的标注文件；

断索分割网络训练单元，用于采用所述数据集和与所述数据集中每张桥梁钢索图像对应的标注文件对所述断索分割网络进行训练，获得断索分割模型。

Images