CN117746264B - 无人机航拍车辆检测与道路分割的多任务实现方法 - Google Patents

Abstract

本发明公开了一种无人机航拍车辆检测与道路分割的多任务实现方法，涉及图像处理方法技术领域。所述方法包括如下步骤：获取无人机航拍视频，处理并构建多任务数据集；对数据集进行增强处理和分辨率调整以满足多任务网络输入要求；构建车辆检测与道路分割的多任务网络模型，通过编码器网络将输入图像进行编码。将编码输入车辆检测网络，得到检测候选框，使用非极大值抑制算法对候选框进一步处理，得到车辆检测结果。同时将编码输入道路分割网络得到分割结果；通过公开数据集对模型预训练，获取预训练权重；通过自建多任务数据集进行训练，得到最终多任务模型；采用评估指标对模型性能进行评估。该方法具有高精度、参数量和计算量低等优点。

Description

无人机航拍车辆检测与道路分割的多任务实现方法

技术领域

本发明涉及图像处理方法技术领域，尤其涉及一种无人机航拍车辆检测与道路分割的多任务实现方法。

背景技术

目前，无人机在民用领域的应用已达近百种，涉及农林业、电力、环境保护、国土、海洋、水利、交通等多领域。在交通领域中，无人机凭借其小型化、高机动、布点灵活的特点，在违章取证、交通疏导、日常巡查等方面具有巨大优势。无人机设备所搭载的摄像设备可实时将拍摄画面进行回传，操作人员在地面通过设备观看无人机拍摄的画面。无人机具有的灵活性特点，使得其可以适应各种复杂条件，在空中拍摄的画面相较于地面可反映出更多信息。通过人工智能技术，可进一步从航拍画面中提取出更有价值的信息，进而提高数据分析人员的工作效率。

目标检测和图像分割作为人工智能技术的应用方向之一，其依托于各种人工制作的数据集，通过对神经网络进行训练，可以适用于图像或者视频中各种目标的检测和分割。由于其依托于各种人工制作的数据集的特点，对于数据的采集提出了要求。目标检测方法可以分为一阶段和二阶段两类。一阶段方法(如YOLO、SSD)直接在单个网络中预测目标的位置和类别，适合实时性要求高的应用。二阶段方法(如Faster R-CNN)先提取候选区域，再对这些区域进行分类和定位，通常具有更高的准确率。基于卷积神经网络(CNN)的图像分割算法取得了也显著进展。经典方法如全卷积网络(FCN)、U-Net、SegNet以及深度学习架构如DeepLab、Mask R-CNN等不断涌现，通过引入空洞卷积、金字塔池化等技术，有效提高了分割性能。

目前，现有的目标检测网络和图像分割网络多为单任务网络，无人机在识别车辆和分割道路时需要同时运行两个网络，对于无人机性能要

求较高，并且一定程度上存在性能的浪费，也无法提取任务之间的关联性特征。多任务网络可以通过共享网络的参数来节省计算和存储资源。在移动设备或资源受限环境中，这种资源共享对于模型的实际部署很重要。并且多任务网络允许神经网络在不同的任务之间共享学到的表示。通过共享底层的特征提取层，模型能够学习通用的表示，提高对任务之间关联性的理解。宫保国等提出了一种基于改进YOLOv5s的快速端到端道路多任务感知方法，能够同时完成交通目标检测、车道线和可行驶区域检测任务。赵志宏等提出一种基于多任务深度学习的故障诊断方法，将故障诊断任务分为故障分类和损伤程度识别，取得较高的准确率。

考虑到目前无人机等移动设备的性能不足，无法同时高效运行多个神经网络，因此本发明提出一种无人机航拍车辆检测与道路分割的多任务方法，具有轻量化、多尺度的优点，一定程度上弥补了该领域的空缺，同时也有较高的实用价值。

发明内容

本发明所要解决的技术问题是如何提供一种检测精度高、参数量和计算量低且泛化性能高的无人机航拍车辆检测与道路分割的多任务实现方法。

为解决上述技术问题，本发明所采取的技术方案是：一种无人机航拍车辆检测与道路分割的多任务实现方法，包括如下步骤：

S1：获取无人机航拍视频，对视频进行处理，获得图像数据，对图像进行标注，并对标注结果进行划分，构建多任务数据集；

S2：对多任务数据集进行数据增强处理，并调整数据集中图像大小，使其符合多任务网络输入大小的要求；

S3：构建多任务网络，通过多任务网络对经过处理后的图像进行特征提取；

S4：多任务网络对图像进行处理后，车辆检测网络和道路分割网络输出相应的特征张量；

S5：对多任务网络的编码器网络、车辆检测解码网络和道路分割解码网络分别进行预训练，得到预训练权重；

S6：通过预训练权重，在多任务数据集上优化无人机航拍图像车辆检测与道路分割多任务网络联合损失函数，对多任务网络进行训练，使用非极大值抑制算法对车辆检测输出候选框进行筛选，得到最终训练结果，使用评估指标对结果进行评估。

采用上述技术方案所产生的有益效果在于：1)本发明构建了一个无人机航拍车辆检测和道路分割的多任务网络，相较于同时运行YOLO和UNet，多任务网络不仅具有更低的参数量和计算量，并且由于模型可学习任务之间的关联性，也提高了任务的检测精度；(2)本发明通过采用添加G-ASPP模块的MoblieNetV3网络作为编码器网络，进一步降低了网络的参数量和计算量，同时具有多尺度的优点，为在无人机的高效运行上提供了基础；(3)本发明通过采用预训练的方法，提高了网络对于数据集的学习程度，进而提高了网络的泛化性能；本方法在测试集上，车辆检测的精度达到77.8％，道路分割的IOU达到89.0％，参数量为3.54M，计算量为5.06GFlops，满足了在无人机上同时进行车辆检测和道路分割的需求。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明实施例所述方法的流程图；

图2是本发明实施例所述方法中多任务数据集的示意图；

图3是本发明实施例所述方法中多任务网络的结构示意图；

图4是本发明实施例所述方法中G-ASPP模块的结构示意图。

图5是本发明实施例所述方法中多任务网络输出结果示意图

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

如图1所述，本发明实施例公开了一种无人机航拍车辆检测与道路分割的多任务实现方法，包括如下步骤：

S1：获取无人机航拍视频，对无人机采集的航拍视频以固定的时间间隔将其转化为图像，通过LabelImg软件人工将图像中检测车辆和道路进行标注，通过8:1:1的比例划分训练集、验证集和测试集，进而得到车辆检测和道路分割的多任务数据集，其结构如图2所示；

S2：对多任务数据集进行数据增强处理，并调整数据集中图像大小，使其符合多任务网络输入大小的要求；优选的，通过Mosaic、翻转、高斯模糊等方法，对数据集进行增强，并调整图像分辨率为640×640；

S3：构建多任务网络，通过多任务网络对经过处理后的图像进行特征提取；

进一步的，所述步骤S3中构建多任务网络的方法具体包括如下步骤：

S31：使用Focus模块，将输入图像按照一定的比例划分成若干个较小的图像块，提高对小目标的检测性能；

S32：构建如图3所示的车辆检测与道路分割多任务网络，首先构建基于MobileNetV3的编码器网络，图像经过Foucs层之后，进入编码器网络，网络结构如下：

构建G-ASPP模块，G-ASPP模块与ASPP的区别在于，使用Ghost-空洞卷积替换ASPP中的普通空洞卷积，G-ASPP模块结构如图4所示，并添加在在编码器网络中，Ghost-空洞卷积定义如下：

其中，为卷积输入的特征图，f′∈R^{C×k×k×m×d}为空洞卷积运算。Y′∈R^{H‘×W’×m}为得到的本征特征图。

使用普通卷积对提取的本征特征图进行线性变换，计算过程如下：

其中，y′_i表示Y′中的第i个本征特征图，Φ_i,j表示生成第i个Ghost特征图y_ij的第j个线性变换过程。

最后将本征特征图和线性变换后的特征图进行拼接最后输出，过程如下：

其中，Y∈R^{H‘×W‘×2m}为Ghost空洞卷积最后生成的特征图。

ASPP模块的Ghost-空洞卷积的空洞率分别设置为6，12，18。G-ASPP模块放置在MobileNetV3网络的后面；

S33：构建多任务网络的车辆检测解码器网络，车辆检测解码器网络采用YOLO结构，网络基本特征提取模块为CSP模块，通过特征金字塔对编码器网络不同层提取的特征进行特征融合，并增加一个160×160的小目标检测头，以提升对于小目标的检测能力；

S34：构建多任务网络的道路分割解码器网络，道路分割解码器网络采用UNet结构，网络基本特征提取模块为CSP模块，通过将编码器网络输出特征图进行上采样，与解码器网络对应大小的特征图进行拼接，进一步提升了网络的特征传播能力，进而提高了道路分割的分割效果。

S4：多任务网络对图像进行处理后，车辆检测网络和道路分割网络输出相应的特征张量；优选的，多任务网络在对图像进行处理之后，车辆检测网络输出四组尺寸为160×160、80×80、40×40、20×20的特征张量，道路分割网络输出640×640的特征张量，多任务网络输出结果示意图如图5所示。

S5：对多任务网络的编码器网络、车辆检测解码网络和道路分割解码网络分别进行预训练，得到预训练权重；

进一步的，使用公开的无人机车辆检测数据集、道路分割数据集等单任务数据集，优化分类损失函数、IOU损失函数以及置信度损失函数，对多任务网络的编码器网络、车辆检测解码网络以及道路分割解码网络分别进行预训练，得到预训练权重。

所述步骤S5中对多任务网络进行预训练的方法包括如下步骤：

S51：冻结道路分割解码器网络；

S52：预训练编码器网络和车辆检测解码器网络，训练网络的损失函数如下：

L_det＝α₁L_cls+α₂L_iou+α₃L_conf

上式中，L_det表示车辆检测结果的损失，L_cls表示分类损失，L_iou表示IOU损失，L_conf表示置信度损失；α₁、α₂、α₃分别为权重参数。

置信度损失函数定义如下：

其中，C_i表示预测的置信度，C′_i表示预测框和真实框的IoU，表示网格i中的第j个bbox中是否存在车辆，如果存在则为1否则为0；

分类损失函数定义如下：

其中，表示网格i中的第j个bbox中是否存在车辆，如果存在则为1否则为0，p_i(c)和p′_i(c)表示网格i被分类为c的真实和预测概率；

IOU损失函数定义如下：

其中，B表示预测框，B_gt表示真实框，ρ为预测框和真实框的中心点距离，c为两者的最小包围矩形的对角线长度，α为权衡长宽比例造成的损失和IoU部分造成的损失的平衡因子， 为预测框和真实框长宽比例差值的归一化；

使用VisDrone2019公开数据集，Adam优化器优化上述损失函数，预训练编码器网络和车辆检测解码器网络；

S53：冻结编码器网络和车辆检测解码器网络；

S54：预训练道路分割解码器网络训练网络的损失函数如下：

其中，y_i表示第i个样本的真实值，y′_i表示第i个样本的预测值；使用CHN6-CUGRoad公开数据集，Adam优化器优化上述损失函数，预训练道路分割解码器网络。

S6：通过预训练权重，在多任务数据集上优化无人机航拍图像车辆检测与道路分割多任务网络联合损失函数，对多任务网络进行训练，使用非极大值抑制算法对车辆检测输出候选框进行筛选，得到最终训练结果，使用评估指标对结果进行评估。

进一步的，在多任务数据集上，优化无人机航拍图像车辆检测与道路分割多任务网络联合损失函数，对网络进行训练，使用非极大值抑制算法对车辆检测输出候选框进行筛选，得到最终训练结果，使用P、R、mAP、IOU、mIOU、参数量以及运算量指标对结果进行评估。

所述步骤S6中多任务网络训练和评估方法，具体包括如下步骤：

S61，使用无人机航拍车辆检测与道路分割多任务数据集训练多任务网络，Adam优化器优化多任务网络损失函数，损失函数定义如下：

L_all＝β₁L_det+β₂L_seg

其中，L_all表示多任务网络损失，β₁、β₂表示权重参数；

S62，使用P、R、mAP、IOU、mIOU，参数量以及运算量指标对模型进行评估；其中，P、R、mAP作为车辆检测的评价指标，P、R、mAP计算公式如下：

其中，TP表示正确检测的检测框数量，FP表示错分为检测框的数量，FN表示检测框被错分为背景的数量，AP_i表示第i个类别的模型平均准确度；

使用IOU、mIOU作为道路分割的评价指标，IOU、mIOU的计算公式如下：

其中，TP表示预测正确的道路像素数量，FN表示被预测错误的背景像素数量，FP表示被预测错误的道路像素数量，N表示分类的数量，这里指道路和背景两类。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种无人机航拍车辆检测与道路分割的多任务实现方法，其特征在于包括如下步骤：

S1：获取无人机航拍视频，对视频进行处理，获得图像数据，对图像进行标注，并对标注结果进行划分，构建多任务数据集；

S2：对多任务数据集进行数据增强处理，并调整数据集中图像大小，使其符合多任务网络输入大小的要求；

S3：构建多任务网络，通过多任务网络对经过处理后的图像进行特征提取；

S4：多任务网络对图像进行处理后，车辆检测网络和道路分割网络输出相应的特征张量；

S5：对多任务网络的编码器网络、车辆检测解码网络和道路分割解码网络分别进行预训练，得到预训练权重；

S6：通过预训练权重，在多任务数据集上优化无人机航拍图像车辆检测与道路分割多任务网络联合损失函数，对多任务网络进行训练，使用NMS算法对车辆检测输出候选框进行筛选，得到最终训练结果，使用评估指标对结果进行评估；

所述步骤S5中：

使用公开的无人机车辆检测数据集、道路分割数据集等单任务数据集，优化分类损失函数、IOU损失函数以及置信度损失函数，对多任务网络的编码器网络、车辆检测解码网络以及道路分割解码网络分别进行预训练，得到预训练权重；

所述步骤S5中对多任务网络进行预训练的方法包括如下步骤：

S51：冻结道路分割解码器网络；

S52：预训练编码器网络和车辆检测解码器网络，训练网络的损失函数如下：

L_det＝α₁L_cls+α₂L_iou+α₃L_conf

上式中，L_det表示车辆检测结果的损失，L_cls表示分类损失，L_iou表示IOU损失，L_conf表示置信度损失；α₁、α₂、α₃分别为权重参数；

置信度损失函数定义如下：

其中，C_i表示预测的置信度，C_i′表示预测框和真实框的IoU，表示网格i中的第j个bbox中是否存在车辆，如果存在则为1，否则为0；

分类损失函数定义如下：

其中，表示网格i中的第j个bbox中是否存在车辆，如果存在则为1，否则为0，p_i(c)和p′_i(c)表示网格i被分类为c的真实和预测概率；

IOU损失函数定义如下：

其中，B表示预测框，B_gt表示真实框，ρ为预测框和真实框的中心点距离，c为两者的最小包围矩形的对角线长度，α为权衡长宽比例造成的损失和IoU部分造成的损失的平衡因子，为预测框和真实框长宽比例差值的归一化；

使用VisDrone2019公开数据集，Adam优化器优化上述损失函数，预训练编码器网络和车辆检测解码器网络；

S53：冻结编码器网络和车辆检测解码器网络；

S54：预训练道路分割解码器网络，网络损失函数如下：

其中，y_i表示第i个样本的真实值，y_i′表示第i个样本的预测值；

使用CHN6-CUG Road公开数据集，Adam优化器优化上述损失函数，预训练道路分割解码器网络。

2.如权利要求1所述的无人机航拍车辆检测与道路分割的多任务实现方法，其特征在于，所述步骤S1中构建多任务数据集的方法包括如下步骤：

S11：使用无人机对地面进行拍摄，得到无人机航拍视频；

S12：对无人机航拍视频以固定的时间间隔将其转换为图像，通过LabelImg软件将图像中检测和分割目标分别进行标注，得到车辆检测与道路分割多任务数据集；

S13：将车辆检测与道路分割多任务数据集以8：1：1的比例划分成为训练集、验证集和测试集。

3.如权利要求1所述的无人机航拍车辆检测与道路分割的多任务实现方法，其特征在于，所述步骤S2中对多任务数据集进行数据增强处理，并调整数据集中图像大小的方法包括如下步骤：

通过Mosaic、图像翻转和高斯模糊处理，对多任务数据集进行数据增强；

调整图像大小为640×640，使其符合车辆检测与道路分割多任务网络输入大小的要求。

4.如权利要求1所述的无人机航拍车辆检测与道路分割的多任务实现方法，其特征在于，所述多任务网络包括：

基于增加G-ASPP模块的MobileNetV3的编码器网络、基于YOLO的目标检测解码网络和基于UNet的图像分割解码网络。

5.如权利要求4所述的无人机航拍车辆检测与道路分割的多任务实现方法，其特征在于，所述步骤S3中构建多任务网络的方法包括如下步骤：

S31，使用Focus模块，将输入图像按照一定的比例划分成若干个图像块；

S32，构建多任务网络的编码器网络，编码器网络包括MobileNetV3网络和G-ASPP模块；

构建G-ASPP模块，G-ASPP模块是在ASPP模块的基础上，使用Ghost-空洞卷积替换空洞卷积以减少参数量和计算量，Ghost-空洞卷积的计算过程如下：

其中，为卷积输入的特征图，f′∈R^{C×k×k×m×d}为空洞卷积运算，Y′∈R^{H ‘×W’×m}为得到的本征特征图；

使用普通卷积对本征特征图进行线性变换，该阶段的计算过程如下：

其中，y_i′表示Y′中的第i个本征特征图，Φ_i,j表示生成第i个Ghost特征图y_ij的第j个线性变换过程；

最后将本征特征图与线性变化后的特征图进行拼接，得到最后输出，其过程如下：

其中，Y∈R^{H‘×W‘×2m}为Ghost空洞卷积生成的特征图；

ASPP模块的Ghost-空洞卷积的空洞率分别设置为6，12，18；G-ASPP模块放置在MobileNetV3网络的后面；

S33，构建多任务网络的车辆检测解码器网络，车辆检测解码器网络采用YOLO结构，网络基本特征提取模块为CSP模块，通过特征金字塔对编码器网络不同层提取的特征进行特征融合，并增加一个160×160的小目标检测头，以提升对于无人机航拍图像小目标的检测能力；

S34，构建多任务网络的道路分割解码器网络，道路分割解码器网络采用UNet结构，网络基本特征提取模块为CSP模块，通过将编码器网络输出特征图进行上采样，与解码器网络对应大小的特征图进行拼接，增强特征传播，以提升分割效果。

6.如权利要求1所述的无人机航拍车辆检测与道路分割的多任务实现方法，其特征在于，所述步骤S4中：

多任务网络在对图像进行处理之后，车辆检测网络输出四组尺寸为160×160、80×80、40×40、20×20的特征张量，道路分割网络输出640×640的特征张量。

7.如权利要求1所述的无人机航拍车辆检测与道路分割的多任务实现方法，其特征在于，所述步骤S6包括：

在多任务数据集上，优化无人机航拍图像车辆检测与道路分割多任务网络联合损失函数，对网络进行训练，使用NMS算法对车辆检测输出候选框进行筛选，得到最终训练结果，使用P、R、mAP、IOU、mIOU、参数量以及运算量等指标对结果进行评估。

8.如权利要求7所述的无人机航拍车辆检测与道路分割的多任务实现方法，其特征在于，所述步骤S6中多任务网络训练和评估方法，具体包括如下步骤：

S61，使用无人机航拍车辆检测与道路分割多任务数据集训练多任务网络，Adam优化器优化多任务网络的损失函数，损失函数定义如下：

L_all＝β₁L_det+β₂L_seg

其中，L_all表示多任务网络损失，β₁、β₂表示权重参数；

S62，使用P、R、mAP、IOU、mIOU，参数量以及运算量指标对模型进行评估；其中，P、R、mAP作为车辆检测的评价指标，P、R、mAP计算公式如下：

其中，TP表示正确检测的检测框数量，FP表示错分为检测框的数量，FN表示检测框被错分为背景的数量，AP_i表示第i个类别的模型平均准确度；

使用IOU、mIOU作为道路分割的评价指标，IOU、mIOU的计算公式如下：

其中，TP表示预测正确的道路像素数量，FN表示被预测错误的背景像素数量，FP表示被预测错误的道路像素数量，N表示分类的数量，这里指道路和背景两类。