CN117079142B - 无人机自动巡检的反注意生成对抗道路中心线提取方法 - Google Patents

Abstract

本发明涉及一种无人机自动巡检的反注意生成对抗道路中心线提取方法，属于公路巡检技术领域。首先在初始语义分割基线方法中构建反注意模块，用于提取初始语义分割结果中，道路中心线缺失部分的标签信息。然后利用提取到的标签信息，使得判别器和生成器以博弈方式相互对抗改进，引导生成器生成的虚假图像不断逼近道路中心线缺失部分的真实值。最后将初始语义分割的输出结果与生成器的输出结果进行融合，得到完整的道路中心线。本发明解决了无人机视角下当前模型提取的道路中心线不完整、不连续问题，提高了道路中心线提取性能，有助于道路无人机自动巡检路线规划。

Description

无人机自动巡检的反注意生成对抗道路中心线提取方法

技术领域

本发明涉及一种无人机自动巡检的反注意生成对抗道路中心线提取方法，属于公路巡检技术领域。

背景技术

目前，为了保障公路运行质量和使用寿命，全国累计投入养护资金1.29万亿元，实施道路修复养护165.2万公里，耗费了大量人力物力。而早期的传统的公路巡检依靠专业人员实地考察进行道路养护，效率极其低下。随着车辆半自动公路巡检系统的出现，虽降低了部分人工成本，但车辆巡检易受道路环境、人为因素的影响，巡检效率差强人意。近年来，随着无人机技术的快速发展，高续航、低成本、高稳定性的无人机不断涌现，已在地质勘探、道路养护等各个领域广泛应用。其中，道路无人机自动巡检技术通过无人机搭载高清摄像头进行道路巡检，无人机通过算法检测出道路中心线并按照提取到的中心线进行路径规划和导航，实现无人机自主飞行、自动巡检。

无人机自主控制的关键技术之一在于路径规划和导航，确保无人机能够在根据环境信息生成的合适飞行路径下自主飞行。其中，面向道路无人机自动巡检是无人机自主控制的重点应用领域之一，其路径规划和导航技术关键在于道路中心线准确位置的提取，而由于无人机视角下的道路线容易受到遮挡物、阴影的影响导致绝大多数现有语义分割模型对道路中心线的提取结果存在提取不完整、不连续的问题。而完整的道路中心线是公路巡检领域面向道路无人机自动巡检技术的必要环境信息，一些基于计算机视觉语义分割的相关技术能为解决该问题提供一个强大的技术支撑。

目前，现有技术中存在如下问题：无人机视角下的道路线容易受到遮挡物、阴影的影响导致绝大多数现有语义分割模型对道路中心线的提取结果存在提取不完整、不连续的问题。针对此问题，目前，现有的后处理技术包括传统计算机图像处理方法，如形态学操作、连通区域分析等，不能满足模型实时性提取完整道路中心线的要求，且检测性能普遍不如基于计算机视觉语义分割的相关方法。现有的绝大多数语义分割方法都是从改进语义分割模型角度的来提升提取完整道路中心线的性能，而在不引入额外数据（包括多模态数据）和先验知识的情况下，都无法有效增强模型的分割性能。生成对抗网络可用于图像修复，但目前仍然缺少一种基于语义分割模型且能够自修复分割结果中的缺失部分以提取完整道路中心线的方法。

发明内容

本发明要解决的技术问题是提供一种无人机自动巡检的反注意生成对抗道路中心线提取方法，用于解决传统语义分割方法提取道路中心线出现的道路中心线不完整、不连续的问题。

本发明的技术方案是：一种无人机自动巡检的反注意生成对抗道路中心线提取方法，具体步骤为：

Step1：在初始语义分割基线方法中构建反注意模块，用于提取初始语义分割结果中，道路中心线缺失部分的标签信息。

传统的初始语义分割网络在提取道路中心线时，会有不完整的道路线，本发明在其中添加反注意模块，用于提取缺失部分的标签信息。

Step2：利用提取到的标签信息，使得判别器和生成器以博弈方式相互对抗改进，引导生成器生成的虚假图像不断逼近道路中心线缺失部分的真实值。

Step3：最后将初始语义分割的输出结果与生成器的输出结果进行融合，得到完整的道路中心线。

所述Step1具体为：

Step1.1：将手动标注的真实标签L₁依次通过展平、1×1卷积、降维操作得到标签特征矩阵V₁及其转置矩阵V₁ ^T，利用如下公式计算真实标签的非自相关性特征矩阵S₁：

其中表示哈达玛（Hadamard）积，即两矩阵对应元素相乘，得到自相关性矩阵，表示归一化函数，将自相关性值映射到（0, 1）区间。

Step1.2：将初始语义分割基线网络提取到的特征图依次进行展平、1×1卷积、降维操作得到特征矩阵F₁及其转置矩阵F₁ ^T，将F₁ ^T与S₁进行哈达玛积运算得到缺失部分特征图对应标签的非自相关性矩阵S₂。

Step1.3：将S₂通过转置复原与通道复原操作后与L₁进行元素级相加融合，最后经过1×1卷积、归一化操作得到缺失部分的标签特征图A，即缺失部分的标签信息。

所述Step2具体为：

Step2.1：将生成器不断生成的虚假图像G与标签特征图A作为判别器的输入。

Step2.2：判断虚假图像G属于真实值的概率。

Step2.3：通过二分类交叉熵损失函数不断提升判别器的能力，使得生成器生成逼近真实的缺失部分的特征图。

所述生成器不断生成虚假图像G具体为：

原始图像连续经过三次3×3卷积、归一化、激活操作，获得大感受野的特征图X。

特征图X经过由四层4×4反卷积块和Tanh函数构成的生成器，得到虚假图像G。

所述判断虚假图像G属于真实值的概率，具体为：将虚假图像G经过由四层4×4的卷积块和Sigmoid函数构成的判别器得到虚假图像G逼近真实值的概率。

所述Step2.3中的二分类交叉熵损失函数具体为：

其中，N表示像素点的个数，y表示标签特征图A的像素值，y'表示虚假图像G的像素值。

传统的语义分割方法在提取道路中心线时，会出现提取到的道路中心线不完整、不连续的问题。本发明利用一个反注意模块生成道路中心线缺失部分的标签信息，通过生成对抗网络的学习，促使生成模块生成逼近该缺失部分的真实值，最后与初始语义分割结果进行融合，能够提取到完整的道路中心线。

本发明的有益效果是：本发明与现有技术相比，主要解决了传统语义分割方法提取道路中心线的不完整、不连续的问题，能够为无人机自动巡检的路径规划和导航提供完整、精确的道路中心线信息。

附图说明

图1是本发明的步骤流程图；

图2是本发明的网络框架图；

图3是本发明中的反注意模块结构图；

图4是本发明对道路中心线提取的可视化结果。

具体实施方式

下面结合附图和具体实施方式，对本发明作进一步说明。

实施例1：如图1所示，一种无人机自动巡检的反注意生成对抗道路中心线提取方法，其使用的生成对抗网络框架如图2所示，具体步骤为：

Step1：如图3所示，在初始语义分割基线方法中构建反注意模块，用于提取初始语义分割结果中，道路中心线缺失部分的标签信息。

具体为：

Step1.1：将手动标注的真实标签L₁依次通过展平、1×1卷积、降维操作得到标签特征矩阵V₁及其转置矩阵V₁ ^T，利用如下公式计算真实标签的非自相关性特征矩阵S₁：

其中表示哈达玛（Hadamard）积，即两矩阵对应元素相乘，得到自相关性矩阵，表示归一化函数，将自相关性值映射到（0, 1）区间。

Step1.2：将初始语义分割基线网络提取到的特征图依次进行展平、1×1卷积、降维操作得到特征矩阵F₁及其转置矩阵F₁ ^T，将F₁ ^T与S₁进行哈达玛积运算得到缺失部分特征图对应标签的非自相关性矩阵S₂。

Step1.3：将S₂通过转置复原与通道复原操作后与L₁进行元素级相加融合，最后经过1×1卷积、归一化操作得到缺失部分的标签特征图A，即缺失部分的标签信息。

Step2：利用提取到的标签特征图A，使得判别器和生成器以博弈方式相互对抗改进，引导生成器生成的虚假图像不断逼近道路中心线缺失部分的真实值。

所述Step2具体为：

Step2.1：将生成器不断生成的虚假图像G与标签特征图A作为判别器的输入。

Step2.2：判断虚假图像G属于真实值的概率。

Step2.3：通过二分类交叉熵损失函数不断提升判别器的能力，使得生成器生成逼近真实的缺失部分的特征图。

所述生成器不断生成虚假图像G具体为：

原始图像连续经过三次3×3卷积、归一化、激活操作，获得大感受野的特征图X。

特征图X经过由四层4×4反卷积块和Tanh函数构成的生成器，得到虚假图像G。

为了更好的选择特征，可以将生成器参数设置为：

第一层4×4反卷积块（设置步长1，填充0），第二、第三层4×4反卷积块（设置步长1，填充1），并在每一层后面使用一个批量归一化函数和非线性激活函数ReLu以提高特征提取的性能和效果。

最后一层4×4反卷积块（设置步长2，填充1），并使用一个Tanh函数，以避免出现梯度消失的问题。

所述Step2.2具体为：将虚假图像G经过由四层4×4的卷积块和Sigmoid函数构成的判别器得到虚假图像G逼近真实值的概率。

设置判别器的参数以判断生成器生成的图像是否真实包括：

第一层4×4卷积块（设置步长2，填充1），后三层4×4卷积块（设置步长1，填充1），并在每一层卷积块后使用一个对负值友好型的激活函数LeakyReLu，以避免出现输入为负数情况下梯度为0的问题。

在最后一层卷积块后添加Sigmoid函数将其概率值映射到(0, 1)区间。

所述Step2.3中的二分类交叉熵损失函数具体为：

其中，N表示像素点的个数，y表示标签特征图A的像素值，y'表示虚假图像G的像素值。

Step3：最后将初始语义分割的输出结果与生成器的输出结果进行融合，再通过1×1的卷积操作得到完整的道路中心线。

下面在具体实施记载的基础上，通过实验的方式来说明本发明技术方案的有效性：

1、实验数据

本发明使用的数据集是在无人机平台下自行采集的真实道路数据。其中涵盖了22个不同的道路场景，包括高速柏油公路、乡村黄土小路、城市水泥道路等。该数据集共有4587张分辨率为512×640的图像，包含背景(Background)、道路中心线(Centerline)和边缘线(Edgeline)三个类别。

2、实验内容

将真实道路中心线数据集在本发明方法下进行实验，计算每个类别的分割结果以及平均精度值(Precision)和平均交并比值(mIoU)。实验中对道路中心线提取的可视化结果如图4所示，各性能评价数据指标如表1所示。

以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (5)

1.一种无人机自动巡检的反注意生成对抗道路中心线提取方法，其特征在于：

Step1：在初始语义分割基线方法中构建反注意模块，用于提取初始语义分割结果中，道路中心线缺失部分的标签信息；

Step2：利用提取到的标签信息，使得判别器和生成器以博弈方式相互对抗改进，引导生成器生成的虚假图像不断逼近道路中心线缺失部分的真实值；

Step3：最后将初始语义分割的输出结果与生成器的输出结果进行融合，得到完整的道路中心线；

所述Step1具体为：

Step1.1：将手动标注的真实标签L₁依次通过展平、1×1卷积、降维操作得到标签特征矩阵V₁及其转置矩阵V₁ ^T，利用如下公式计算真实标签的非自相关性特征矩阵S₁：

；

其中表示哈达玛积，即两矩阵对应元素相乘，得到自相关性矩阵，/>表示归一化函数，将自相关性值映射到(0, 1)区间；

Step1.2：将初始语义分割基线网络提取到的特征图依次进行展平、1×1卷积、降维操作得到特征矩阵F₁及其转置矩阵F₁ ^T，将F₁ ^T与S₁进行哈达玛积运算得到缺失部分特征图对应标签的非自相关性矩阵S₂；

Step1.3：将S₂通过转置复原与通道复原操作后与L₁进行元素级相加融合，最后经过1×1卷积、归一化操作得到缺失部分的标签特征图A，即缺失部分的标签信息。

2.根据权利要求1所述的无人机自动巡检的反注意生成对抗道路中心线提取方法，其特征在于，所述Step2具体为：

Step2.1：将生成器不断生成的虚假图像G与标签特征图A作为判别器的输入；

Step2.2：判断虚假图像G属于真实值的概率；

Step2.3：通过二分类交叉熵损失函数不断提升判别器的能力，使得生成器生成逼近真实的缺失部分的特征图。

3.根据权利要求2所述的无人机自动巡检的反注意生成对抗道路中心线提取方法，其特征在于，所述生成器不断生成虚假图像G具体为：

原始图像连续经过三次3×3卷积、归一化、激活操作，获得大感受野的特征图X；

特征图X经过由四层4×4反卷积块和Tanh函数构成的生成器，得到虚假图像G。

4.根据权利要求2所述的无人机自动巡检的反注意生成对抗道路中心线提取方法，其特征在于，所述判断虚假图像G属于真实值的概率，具体为：将虚假图像G经过由四层4×4的卷积块和Sigmoid函数构成的判别器得到虚假图像G逼近真实值的概率。

5.根据权利要求2所述的无人机自动巡检的反注意生成对抗道路中心线提取方法，其特征在于，所述Step2.3中的二分类交叉熵损失函数具体为：

；

其中，N表示像素点的个数，y表示标签特征图A的像素值，y'表示虚假图像G的像素值。