CN114120150A - 一种基于无人机成像技术的道路目标检测方法 - Google Patents

Abstract

本发明公开了一种基于无人机成像技术的道路目标检测方法，属于目标检测和深度学习技术领域。具体方法如下：首先通过无人机在日常道路上进行飞行拍摄，采集不同道路上的图片数据，将采集到的数据返回到地面站进行分析处理，通过k‑means聚类方法，预先对图片进行聚类分析，找到最佳的Anchor Box，建立Yolov4神经网络目标检测模型，选取适当的损失函数和超参数进行训练，最终实现日常道路的目标检测。本发明方法通过无人机成像技术结合深度学习实现道路目标检测，操作简单，相较于传统的目标检测方法，本发明方法识别速度更快，且目标检测的准确率更高。

Description

一种基于无人机成像技术的道路目标检测方法

技术领域

本发明涉及无人机技术和目标检测技术领域，更具体地说，本发明涉及一种基于无人机成像技术的道路目标检测方法。

背景技术

近些年来，随着我国经济和计算机技术的快速发展，计算机视觉领域也得到了迅猛发展。目标检测是计算机视觉最基本的应用方向之一，并且目标检测技术在监控视频和图像识别领域都发挥着巨大的作用。随着人们生活水平的不断提高，目前社会的节奏也在逐渐加快，汽车的数量也逐渐增多，因此道路上出现问题的概率也随之增加，例如车辆超载、车辆追尾、违章停车等等问题，无形中增加了道路安全隐患。

目前各大汽车厂商也都在汽车安全问题上付出了很多努力，如防抱死刹车系统(ABS)、自动紧急刹车系统(AEB)，以及自动驾驶技术使用的毫米波雷达技术和使用传感器感测车身周围环境。虽然这些功能在汽车道路安全方面做出了很大贡献，但是目前自动驾驶技术并不成熟且其造价较为昂贵，绝大部分车辆还是依靠人为控制，因此如违章停车等各种影响道路安全的行为还是屡见不鲜。

传统的目标检测方法主要采用人为手动提取图片特征，然后通过滑动窗口的方式进行检测，在实际生活中会存在遮挡和距离太远导致无法识别的现象，导致人为无法去进行分辨，因此基于深度学习的目标检测方法成为主流。在自然的实时的道路环境中进行实时检测车辆和行人以及交通标志物等是目前汽车道路安全辅助的重要组成部分，道路目标检测最重要的就是要保证目标物体识别的准确性，和相对较为准确的定位信息和距离信息等。传统的目标检测方法主要利用分类器处理各种类别特征，在运算速度和分析速度上有所欠缺。

本发明方法采用无人机图像技术结合深度学习进行日常道路的目标检测，采用Yolov4网络实现日常道路上的实时目标检测，相比与传统的目标检测方法，Yolov4算法在不影响实时性的情况下运算速度上更快，检测精度更高。

发明内容

本发明提供了一种基于无人机成像技术的道路目标检测方法。通过操控无人机在日常道路上进行飞行拍摄，采集不同道路上的图片数据，将采集到的数据返回到地面站并进行分析处理，通过k-means聚类方法，预先对图片进行聚类分析，找到最佳的Anchor Box，建立Yolov4神经网络目标检测模型，选取适当的损失函数和超参数进行训练，最终实现日常道路的目标检测。

本发明通过以下技术方案来实现：一种基于无人机成像技术的道路目标检测方法，包括对道路图像的采集，通过操控多旋翼无人机搭载高清相机对日常道路进行图像采集。将采集到的道路日常图像传回到地面站，对图像进行预处理。根据图像中存在的类别个数，使用k-means聚类方法对包含n个数据对象的数据集随机选取k个数据对象作为聚类算法的初始类簇中心点，根据相似性度量标准划分数据集中的数据对象，通过反复迭代直至所属聚类簇不再发生变化，即实现数据对象聚类，确定最佳先验框。确定好先验框后，将先验框坐标和图像数据集输入到建立好的yolov4模型中，调节超参数并选择适当的损失函数，开始迭代训练，训练好后将验证集图像输入到训练好的模型中实现目标检测。

一种基于无人机成像技术的道路目标检测方法，其特征在于，包括以下步骤：

S1、选择可见度较好，晴朗的天气开展图像采集工作，避免采集的训练集图像不够清晰从而造成训练误差。通过操控搭载高清相机的多旋翼无人机对日常道路进行图像采集，同时将采集到的清晰的日常道路图像传回地面站；

S2、对无人机传回的日常道路图像进行预处理，即在进行yolov4神经网络深度学习之前需要预先选取好各个分类样本的先验。本发明方法采用k-means聚类算法实现自动选取最佳先验框，避免了由于部分遮挡等情况造成的人为误判而导致的误差，根据包含n个数据对象的数据集随机选取k个数据对象作为聚类算法的初始类簇中心点，根据相似性度量标准划分数据集中的数据对象，通过反复迭代直至所属聚类簇不再发生变化，从而可以确定最佳先验框。

S3、确定好训练数据集中的每张图片的每个类别的先验框后，建立yolov4深度学习模型，将每个文件及其先验框对应的坐标点输入到建立好的yolov4深度学习模型中，调节batch大小和学习率等超参数，选择适当的损失函数，开始参数训练；

S4、yolov4深度学习模型训练好后，调用该模型进行预测。通过步骤S1采集新的日常道路图像，输入到训练好的yolov4深度学习模型中，验证模型的准确性；

S5、若模型的准确率达到要求，则保存参数权重，输出训练好的模型，通过该模型和权重实现道路目标检测；若准确率未达到要求，则回到步骤S3重新调整参数，选取损失函数，继续训练，直至准确率达到要求，输出模型。

本发明提出的一种基于无人机成像技术的道路目标检测方法，具有以下有益效果：

1.采用无人机成像技术进行日常道路的图像采集，相较于传统的地面拍摄和交通监控拍摄具有更加广阔和清晰的视角，地面遮挡物更少，从而间接提高目标检测的准确性。

2.深度学习算法实现目标检测是目前的主流算法，本发明方法通过yolov4算法进行目标检测，相较于传统的目标检测方法具有更快的检测速度和更高的准确率，相较于同属深度学习目标检测算法的yolov3算法，yolov4对于遮挡的物体的检测性能更加优越，更加适合道路目标检测。

附图说明

图1：本发明方法的流程图；

图2：深度学习模型的训练流程图；

具体实施方式

下面通过结合本发明方法的附图，对本发明方法的技术方案进行进一步地具体说明。

一种基于无人机成像技术的道路目标检测方法的具体工作流程如下所示：

首先进行日常道路的图像采集，如附图1所示。无人机成像系统1包含多旋翼无人机和高清相机，人为操控多旋翼无人机至待检测目标道路，通过高清相机进行图像采集，得到道路日常图像2，将采集好的道路日常图像2传回到地面站，对图像进行K-means聚类分析3，得到最佳先验框架4，将道路日常图像2和先验框4作为网络模型的输入，传输到Yolov4深度学习模型5中进行训练，模型训练完成后，通过无人机成像系统采集新的道路日常图像2作为验证集输入到Yolov4深度学习模型5中，验证模型的准确性，最终实现目标检测6。

一种基于无人机成像技术的道路目标检测方法，其特征在于，包括以下步骤：

S1、选择可见度较好，晴朗的天气开展图像采集工作，避免采集的训练集图像不够清晰从而造成训练误差。通过人为操控无人机成像系统1中搭载高清相机的多旋翼无人机对日常道路进行图像采集，得到道路日常图像2，同时将采集到的清晰的道路日常图像2传回地面站；

S2、对无人机传回的道路日常图像2进行预处理，即在进行yolov4神经网络深度网络4训练之前需要预先选取好各个分类样本的先验框。本发明方法采用k-means聚类算法3实现自动选取最佳先验框，避免了由于部分遮挡等情况造成的人为误判而导致的误差，根据包含n个数据对象的数据集随机选取k个数据对象作为聚类算法的初始类簇中心点，根据相似性度量标准划分数据集中的数据对象，通过反复迭代直至所属聚类簇不再发生变化，从而可以确定最佳先验框4。

k-means聚类算法的输入为包含N个数据对象的数据集D＝{x₁,x₂,…,x_n}，输出为k个彼此独立的类簇C＝{C₁,C₂,…,C_n}，具体步骤如下：

step1、从输入数据集D中随机选取出k个数据对象，作为初始的聚类簇中心点；

step2、计算数据集D中数据对象与k个簇类中心点之间的相似度，将聚类对象分配到与其相似程度最高的类簇中心点代表的类簇中；

step3、统计每个类簇中数据对象信息，取其均值作为新的类簇中心点，更新类簇中心点信息；

step4、迭代执行上述的step2和step3直至算法执行完毕，类簇中心点不再发生变化。

其中，对于包含m个属性的两个数据对象x＝{x₁,x₂,…,x_m}和y＝{y₁,y₂,…,y_m}，相似度的计算采用Pearson相关系数如下所示：

S3、确定好训练数据集中的每张图片的每个类别的先验框4后，建立yolov4深度学习模型5，将所有道路日常图像2及其先验框4对应的坐标点输入到建立好的yolov4深度学习模型中5，调节batch大小和学习率等超参数，选择适当的损失函数，开始参数训练；

Yolov4模型训练的具体流程如附图2所示，结合附图1，首先对输入到Yolov4深度学习模型5中的道路日常图像进行大小调整，将所有的图像全都调整到416*416大小，然后进行数据增强，数据增强主要分为几种形式，分别为图像翻转、图像旋转90度以及图像色域变换。图像增强的主要目的是在深度学习的过程中实现图像数据集扩增，增加模型的泛化能力。

在进行图像增强后，设置超参数。深度学习模型调用CSPdarknet53结构模块，主要由一个大的残差边和小的残差模块组成，CSPdarknet53主体输入为一张416*416*3的图像，输出为三个有效特征层。在进行前向传播训练前，划分训练集和验证集的比例为1：9，设置初始学习率为1.76e^-6，batch大小为4，总训练世代epoch为300，开始进行前向传播网络训练。

前向传播训练的过程基本为，首先确定共有多少张图片，计算特征层的宽和高，获得置信度和种类置信度，计算输出结果和真实结果的回归损失，本发明方法选择CIOU损失函数。

CIOU的表达式为：

上述公式中，w^gt表示真实框的宽，h^gt表示真实框的高，w表示预测框的宽，h表示预测框的高，b^gt表示真实框的中心点坐标，b表示预测框的中心点坐标，c为预测框和真实框的最小包围框的对角线长度。

置信度损失函数使用BCE损失，即二分类交叉熵损失函数，其表达式为

loss(X_i,y_i)＝-w_i[y_ilogx_i+(1-y_i)log(1-x_i)]

上述式子中，x_i为输入，y_i为输出，w_i为输权重系数。

随后根据损失进行反向传播更新，更新权重和偏置。反复重复此过程，直至迭代完成所有的epoch且达到要求的训练精度。

其中，学习率更新采用余弦退火学习率，其原理如下：

上式中，i代表第几次的索引值，

和

代表学习率的最小值和最大值，T_cur表示当前之心好了多少个epoch，T_i表示总的epoch数。

S4、yolov4深度学习模型5训练好后，调用该模型进行预测。通过步骤S1采集新的道路日常图像2，输入到训练好的yolov4深度学习模型5中，验证模型的准确性；

S5、若模型的准确率达到要求，则保存参数权重，输出训练好的模型，通过该模型和权重实现道路目标检测；若准确率未达到要求，则回到步骤S3重新调整参数，选取损失函数，继续训练，直至准确率达到要求，输出模型。

Claims (1)

1.一种基于无人机成像技术的道路目标检测方法，其特征在于，包括以下步骤：

S1、选择可见度较好，晴朗的天气开展图像采集工作，避免在采集的训练集图像不够清晰造成的训练误差；通过人为操控无人机成像系统中搭载高清相机的多旋翼无人机对日常道路进行图像采集，得到道路日常图像，同时将采集到的清晰的道路日常图像传回地面站；

S2、对无人机传回的道路日常图像进行预处理，采用k-means聚类算法实现自动选取最佳先验框，避免了由于部分遮挡等情况造成的人为误判而导致的误差，根据包含n个数据对象的数据集随机选取k个数据对象作为聚类算法的初始类簇中心点，根据相似性度量标准划分数据集中的数据对象，通过反复迭代直至所属聚类簇不再发生变化，从而可以确定最佳先验框；

k-means聚类算法的输入为包含N个数据对象的数据集D＝{x₁,x₂,…,x_n}，输出为k个彼此独立的类簇C＝{C₁,C₂,…,C_n}，具体步骤如下：

step1、从输入数据集D中随机选取出k个数据对象，作为初始的聚类簇中心点；

step2、计算数据集D中数据对象与k个粗类中心点之间的相似度，将聚类对象分配到最相似的类簇中心点代表的类簇中；

step3、统计每个类簇中数据对象信息，取其均值作为新的类簇中心点，更新类簇中心点信息；

step4、迭代执行上述的step2和step3直至算法执行完毕，类簇中心点不再发生变化；

其中，对于包含m个属性的两个数据对象x＝{x₁,x₂,…,x_m}和y＝{y₁,y₂,…,y_m}，相似度的计算采用Pearson相关系数如下所示：

S3、确定好训练数据集中的每张图片的每个类别的先验框后，建立yolov4深度学习模型，将所有道路日常图像及其先验框对应的坐标点输入到建立好的yolov4深度学习模型中，调节batch大小和学习率等超参数，选择适当的损失函数，开始参数训练；

首先对输入到Yolov4深度学习模型中的道路日常图像进行大小调整，将所有的图像全都调整到416*416大小，然后进行数据增强，数据增强主要分为几种形式，分别为图像翻转、图像旋转90度以及图像色域变换；图像增强的主要目的是在深度学习的过程中实现图像数据集扩增，增加模型的泛化能力；

在进行图像增强后，设置超参数；深度学习模型调用CSPdarknet53结构模块，主要由一个大的残差边和小的残差模块组成，CSPdarknet53主体输入为一张416*416*3的图像，输出为三个有效特征层；在进行前向传播训练前，划分训练集和验证集的比例为1：9，设置初始学习率为1.76e^-6，batch大小为4，总训练世代epoch为300，开始进行前向传播网络训练；

前向传播训练的过程基本为：首先确定图片数量，计算特征层的宽和高，获得置信度和种类置信度，计算输出结果和真实结果的回归损失，选择CIOU损失函数，表达式为：

上述公式中，w^gt表示真实框的宽，h^gt表示真实框的高，w表示预测框的宽，h表示预测框的高，b^gt表示真实框的中心点坐标，b表示预测框的中心点坐标，c为预测框和真实框的最小包围框的对角线长度；

置信度损失函数使用BCE损失，即二分类交叉熵损失函数，其表达式为

loss(X_i,y_i)＝-w_i[y_ilogx_i+(1-y_i)log(1-x_i)]

上述式子中，x_i为输入，y_i为输出，w_i为输权重系数；

随后根据损失进行反向传播更新，更新权重和偏置；反复重复此过程，直至迭代完成所有的epoch且达到要求的训练精度；

其中，学习率更新采用余弦退火学习率，其原理如下：

上式中，i代表第几次的索引值，

和

代表学习率的最小值和最大值，T_cur表示当前之心好了多少个epoch，T_i表示总的epoch数；

S4、yolov4深度学习模型训练好后，调用该模型进行预测；通过步骤S1采集新的道路日常图像，输入到训练好的yolov4深度学习模型中，验证模型的准确性；

S5、若模型的准确率达到要求，则保存参数权重，输出训练好的模型，通过该模型和权重实现道路目标检测；若准确率未达到要求，则回到步骤S3重新调整参数，选取损失函数，继续训练，直至准确率达到要求，输出模型。

Images