CN116310902A - 一种基于轻量级神经网络的无人机目标检测方法及系统 - Google Patents

Abstract

本发明提供一种基于轻量级神经网络的无人机目标检测方法及系统包括：对航拍视频序列进行图像匹配、图像裁剪操作，据以得到航拍图像样张；对航拍图像样张进行数据标定，据以得到标准数据集；构建基于MobileNet的轻量级神经网络；输入标准数据集至基于MobileNet的轻量级神经网络，利用预置损失函数训练网络，据以得到当前无人机航拍图像特征；将不少于2个分支的特征输出进行特征融合，以得到分支融合特征，输入分支融合特征至预置数目的分支进行处理，据以得到无人机融合图像集；利用训练好的YOLOv4模型对无人机融合图像集进行目标检测，据以得到检测结果。本发明解决了目标尺度严重变化、受背景及遮挡因素干扰以及差异尺度交互性差的技术问题。

Description

一种基于轻量级神经网络的无人机目标检测方法及系统

技术领域

本发明涉及机器视觉识别领域，具体涉及一种基于轻量级神经网络的无人机目标检测方法及系统。

背景技术

近年来，各行各业用电需求不断增加，加速了电力行业的智能化转型升级。其中，巡查的表现是无人机等智能设备的应用。最新数据显示，2020年我国无人机动力巡检市场规模接近30亿元，发展非常喜人。未来随着新基建加速实施，5G网络和人工智能进一步普及，业界对电力巡检无人机的未来相当看好。从电力巡检场景的应用来看，无人机的优势非常明显。无人机作为一个重要的平台，可以集成相机、传感器等各种技术和设备。这些硬件设备不仅可以帮助获取图像和视频信息，还可以进行高速传输、分析和处理，从而成为重要的数据基础。因此，如何有效地处理收集到的数据成为当务之急。

在电力巡检系统中无人机视频的动态性和复杂性对视频检测技术提出了严峻的挑战。根据传统视频目标检测的原理，将目标的纹理作为特征进行检测。然而，它很容易受到光的影响。另一种是使用梯度计算的无纹理目标检测方法，在复杂的环境和遮挡条件下表现不佳。传统的目标分类算法，如支持向量机和以图像梯度直方图为特征的分类器，识别能力弱，效果不理想，难以应用于复杂多变的交通道路。因此，采用传统的视频检测技术很难实现目标的自动化和精确的信息提取。近年来，基于深度神经网络的目标检测方法在鲁棒性和检测精度方面取得了重大突破。

公布号为CN113205116A的现有发明专利申请文献《输电线路无人机巡检拍摄目标点自动提取及航迹规划方法》包括：采集被巡检设备的点云数据；基于深度学习分类网络对采集的被巡检设备的点云数据进行自动分类，获取被巡检设备上被巡检部件的点云数据；利用主成分分析方法对被巡检部件的点云数据进行分析计算，获取被巡检部件的部件主轴，进而获取拍摄目标点位置。基于相机参数、分层顺序和航线生成智能算法，结合碰撞检测技术，实现航迹自动规划。从该现有专利申请文献的说明书中可知，该现有方案计算得到目标的有效包围盒，在包围盒上计算生成拍摄点，生成算法主要是跟踪目标本身的特征信息，对目标特征进行深入搜索。然而，此类现有算法往往忽略了其他因素对跟踪性能的影响。例如，严重的尺度变化、背景信息干扰或目标遮挡很容易导致无法跟踪目标的情况。

公布号为CN112418117A的现有发明专利申请文献《一种基于无人机图像的小目标检测方法》基于空洞卷积和多尺度特征层，将YOLOv4目标检测方法改进为适用于无人机图像目标检测的方法，包括：确定先验框尺寸；进行特征提取；结合空洞卷积进行多尺度融合；构建特征金字塔；提取多特征层进行目标检测；利用预测框的位置和预测得分，筛选出预测框。该现有方案采用多尺度融合来表征多个尺度上的特征。然而融合只考虑了从较小尺度到较大尺度上的联系，仍然缺乏不同尺度之间的交互性。

综上，现有技术存在目标尺度严重变化、受背景及遮挡因素干扰以及差异尺度交互性差的技术问题。

发明内容

本发明所要解决的技术问题在于如何解决现有技术中目标尺度严重变化、受背景及遮挡因素干扰以及差异尺度交互性差的技术问题。

本发明是采用以下技术方案解决上述技术问题的：一种基于轻量级神经网络的无人机目标检测方法包括：

S1、利用无人机进行航拍，以得到航拍视频序列，对所述航拍视频序列进行图像匹配、图像裁剪操作，据以得到航拍图像样张；

S2、利用labellmg标定工具对所述航拍图像样张进行数据标定，据以得到图像匹配及尺寸标准化的标准数据集；

S3、构建基于MobileNet的轻量级神经网络；

S4、输入所述标准数据集至所述基于MobileNet的轻量级神经网络，利用预置损失函数训练所述基于MobileNet的轻量级神经网络，据以得到当前无人机航拍图像特征；

S5、根据所述当前无人机航拍图像特征，将不少于2个分支的特征输出进行特征融合，以得到分支融合特征，输入所述分支融合特征至预置数目的分支进行处理，据以得到无人机融合图像集；

S6、利用训练好的YOLOv4模型对所述无人机融合图像集进行目标检测，据以得到检测结果。

在更具体的技术方案中，步骤S3中，所述基于MobileNet的神经网络包括：设置为第一层的CNN卷积神经网络，所述基于MobileNet的神经网络还包括：设置为第一分支的原始ResNet网络、设置为第二分支的基于MobileNet网络改进的基础网络、设置为第三分支的傅里叶变换。

在更具体的技术方案中，步骤S4包括：

S41、初始化所述基于MobileNet的轻量级神经网络的参数；

S42、定义softmax损失函数；

S43、利用所述softmax损失函数训练所述基于MobileNet的轻量级神经网络，据以得到所述当前无人机航拍图像特征。

在更具体的技术方案中，步骤S41中，所述参数包括：宽度超参数α、分辨率超参数β、卷积核的个数M。

在更具体的技术方案中，步骤S42中，

利用下述逻辑定义所述softmax损失函数：

其中，N_p为样本总数，i为节点号，x_i为第i个节点的输入，y_i为第i个节点的输出类别，σ表示所有类别，θ_j和θ_yi表示角度参数；

其中，k∈[0,m-1],m为整数，用于控制角边界大小，且m≥1；当m＝1时，即为softmaxloss函数。

在更具体的技术方案中，步骤S43中，

根据下述逻辑，利用所述softmax损失函数训练所述基于MobileNet的轻量级神经网络，据以得到当前无人机航拍图像特征：

式中，

表示第l+1层卷积层中第t个输出通道的航拍图像特征；/>

表示第l层卷积层中第i个输入通道所输入的图像，c为输入通道的数量；/>

表示第l层卷积层中第i个预定义随机噪声掩模；σ_relu(·)为非线性激活函数Relu；/>

表示第l层卷积层中第i个输入通道和第t个输出通道的权重参数。

本发明针对静态目标，可以直接获取定位时刻无人机与目标之间的位置和姿态信息。对于机动目标，本发明利用航拍图像特征中的观测数据估计目标的位置、速度等参数，并估计目标的当前状态。

在更具体的技术方案中，步骤S5中，所述分支包括：预设尺寸的平均池化层及全连接层，对所述分支的所述全连接层的输出特征进行目标特征融合，据以得到所述无人机融合图像集。

本发明利用权重参数等信息，将注意力聚焦于有用的网络通道，同时利用多尺度融合来表征多个尺度上的特征，以解决多级连接中通道特征的自适应调整问题。

在更具体的技术方案中，步骤S5中，第一个所述分支包括：8×8的所述平均池化层和神经元个数为16M的所述全连接层。

在更具体的技术方案中，步骤S5中，第二个所述分支包括：4×4的所述平均池化层和神经元个数为32M的所述全连接层。

本发明融考虑了包括从较小尺度到较大尺度上以及其他差异尺度间的联系，提高了不同尺度之间的交互性。

在更具体的技术方案中，一种基于轻量级神经网络的无人机目标检测系统包括：

图像样张获取模块，用以利用无人机进行航拍，以得到航拍视频序列，对所述航拍视频序列进行图像匹配、图像裁剪操作，据以得到航拍图像样张；

图像标定模块，用以利用labellmg标定工具对所述航拍图像样张进行数据标定，据以得到图像匹配及尺寸标准化的标准数据集，所述图像标定模块与所述图像样张获取模块连接；

轻量级网络构建模块，用以构建基于MobileNet的轻量级神经网络；

航拍特征获取模块，用以输入所述标准数据集至所述基于MobileNet的轻量级神经网络，利用预置损失函数训练所述基于MobileNet的轻量级神经网络，据以得到当前无人机航拍图像特征，所述航拍特征获取模块与所述轻量级网络构建模块及所述图像标定模块连接；

图像融合模块，用以根据所述当前无人机航拍图像特征，将不少于2个分支的特征输出进行特征融合，以得到分支融合特征，输入所述分支融合特征至预置数目的分支进行处理，据以得到无人机融合图像集，所述图像融合模块与所述航拍特征获取模块连接；

目标检测模块，用以利用训练好的YOLOv4模型对所述无人机融合图像集进行目标检测，据以得到检测结果，所述目标检测模块与所述图像融合模块连接。

本发明相比现有技术具有以下优点：本发明针对不同级别要素赋予不同比例，获取多尺度特征恢复反射图像中的背景细节信息，考虑了对目标跟踪识别的各种干扰因素，例如，严重的尺度变化、背景信息干扰或目标遮挡很容易导致无法跟踪目标等对跟踪性能的影响，提高了目标跟踪精度，降低了遮挡及背景等因素对目标跟踪的干扰。

本发明针对静态目标，可以直接获取定位时刻无人机与目标之间的位置和姿态信息，也可以将光电平台的角度和测距信息输入到定位解算模型中，以便快速计算出目标的三维坐标。对于机动目标，本发明利用航拍图像特征中的观测数据估计目标的位置、速度等参数，并估计目标的当前状态。

本发明利用权重参数等信息，将注意力聚焦于有用的网络通道，同时利用多尺度融合来表征多个尺度上的特征，以解决多级连接中通道特征的自适应调整问题。

本发明融考虑了包括从较小尺度到较大尺度上以及其他差异尺度间的联系，提高了不同尺度之间的交互性。本发明解决了现有技术中存在的目标尺度严重变化、受背景及遮挡因素干扰以及差异尺度交互性差的技术问题。

附图说明

图1为本发明实施例1的一种基于轻量级神经网络的无人机目标检测方法基本步骤示意图；

图2为本发明实施例1的轻量级神经网络构建具体步骤示意图；

图3为本发明实施例1的基于MobileNet的轻量级神经网络结构图；

图4为本发明实施例1的当前无人机航拍图像特征具体获取步骤示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本发明提供的一种基于轻量级神经网络的无人机目标检测方法，包括以下基本步骤：

步骤S1、通过无人机航拍得到航拍视频序列，对视频序列进行图像匹配、图像裁剪得到航拍图像样张；

步骤S2、利用labellmg对航拍样张进行数据标定，得到图像匹配且尺寸标准化后的标准数据集；

步骤S3、构建基于MobileNet的轻量级神经网络；

如图2及图3所示，在本实施例中，轻量级神经网络构建的步骤S3还包括以下具体步骤：

步骤S31、构建基于MobileNet的神经网络，第一层为CNN卷积神经网络；网络包含三个分支，第一个分支是原始ResNet网络的分支；第二个分支是基于MobileNet网络改进的基础网络；第三个分支为傅里叶变换；

步骤S32、第一个分支是原始ResNet网络，由4个部分组成，第一部分是由4个3×3的卷积层组成，卷积核的个数是M/2个，第二部分4个3×3的卷积层组成，卷积核的个数是2M个，第三部分4个3×3的卷积层组成，卷积核的个数是8M个，第四部分4个3×3的卷积层组成，卷积核的个数是32M个。

步骤S33、第二个分支先由5个的3×3深度卷积层和5个1×1点卷积层交替连接，深度卷积层的卷积核分别是M、2M、4M、4M、8M,点卷积层的卷积核分别是3M、8M、16M、32M、64M；然后连接由4个卷积块，卷积块由16M的3×3深度卷积层和256M的1×1点卷积层和64M的3×3深度卷积层交替连接组成。

步骤S4、将标准数据集输入到基于MobileNet的轻量级神经网络；

如图4所示，在本实施例中，步骤S4还包括以下具体步骤：

步骤S41、初始化基于MobileNet的轻量级神经网络的参数，包括宽度超参数α、分辨率超参数β、卷积核的个数M；

步骤S42、定义softmax损失函数，MobileNet网络的损失函数softmax的公式如下：

其中，N_p为样本总数，i为节点号，x_i为第i个节点的输入，y_i为第i个节点的输出类别，σ表示所有类别，θ_j和θ_yi表示角度参数；

其中，k∈[0,m-1],m为整数，用于控制角边界大小，且m≥1；当m＝1时，即为softmaxloss函数。

步骤S43、利用所述softmax损失函数对所述轻量级神经网络进行训练，得到当前无人机航拍图像特征：

式(1)中，

表示第l+1层卷积层中第t个输出通道的航拍图像特征；/>

表示第l层卷积层中第i个输入通道所输入的图像，c为输入通道的数量；/>

表示第l层卷积层中第i个预定义随机噪声掩模；σ_relu(·)为非线性激活函数Relu；/>

表示第l层卷积层中第i个输入通道和第t个输出通道的权重参数；

步骤S5、将三个分支的特征输出进行特征融合，然后输入到两个分支，第一个分支是8×8的平均池化层和神经元个数为16M的全连接层连接，第二个分支为4×4的平均池化层和神经元个数为32M的全连接层连接，再将两个全连接层的输出进行目标特征融合，得到融合图像集；

步骤S6、利用训练好的YOLOv4模型对得到的无人机融合图像集进行目标检测，得到检测结果。

本发明针对不同级别要素赋予不同比例，获取多尺度特征恢复反射图像中的背景细节信息，考虑了对目标跟踪识别的各种干扰因素，例如，严重的尺度变化、背景信息干扰或目标遮挡很容易导致无法跟踪目标等对跟踪性能的影响，提高了目标跟踪精度，降低了遮挡及背景等因素对目标跟踪的干扰。

本发明针对静态目标，可以直接获取定位时刻无人机与目标之间的位置和姿态信息，也可以将光电平台的角度和测距信息输入到定位解算模型中，以便快速计算出目标的三维坐标。对于机动目标，本发明利用航拍图像特征中的观测数据估计目标的位置、速度等参数，并估计目标的当前状态。

本发明利用权重参数等信息，将注意力聚焦于有用的网络通道，同时利用多尺度融合来表征多个尺度上的特征，以解决多级连接中通道特征的自适应调整问题。

本发明融考虑了包括从较小尺度到较大尺度上以及其他差异尺度间的联系，提高了不同尺度之间的交互性。本发明解决了现有技术中存在的目标尺度严重变化、受背景及遮挡因素干扰以及差异尺度交互性差的技术问题。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于轻量级神经网络的无人机目标检测方法，其特征在于，所述方法包括：

S1、利用无人机进行航拍，以得到航拍视频序列，对所述航拍视频序列进行图像匹配、图像裁剪操作，据以得到航拍图像样张；

S2、利用labellmg标定工具对所述航拍图像样张进行数据标定，据以得到图像匹配及尺寸标准化的标准数据集；

S3、构建基于MobileNet的轻量级神经网络；

S4、输入所述标准数据集至所述基于MobileNet的轻量级神经网络，据以得到当前无人机航拍图像特征；

S5、根据所述当前无人机航拍图像特征，将不少于2个分支的特征输出进行多尺度特征融合，以得到融合特征，据以得到无人机融合图像集；

S6、利用训练好的YOLOv4模型对所述无人机融合图像集进行目标检测，据以得到检测结果。

2.根据权利要求1所述的一种基于轻量级神经网络的无人机目标检测方法，其特征在于，所述步骤S3中，所述基于MobileNet的神经网络包括：设置第一层为3×3的卷积层，卷积核的个数是M个，，并将其输出特征输入到下列分支：设置为第一分支的原始ResNet网络、设置为第二分支的基于MobileNet网络改进的基础网络，该网络先由5个的3×3深度卷积层和5个1×1点卷积层交替连接，深度卷积层的卷积核分别是M、2M、4M、4M、8M,点卷积层的卷积核分别是3M、8M、16M、32M、64M；然后连接由4个卷积核是16M的3×3深度卷积层和5个卷积核是256M的1×1点卷积层交替连接的卷积块；最后连接一个卷积核是64M的3×3深度卷积层，设置为第三分支的傅里叶变换。

3.根据权利要求1所述的一种基于轻量级神经网络的无人机目标检测方法，其特征在于，所述步骤S4包括：

S41、初始化所述基于MobileNet的轻量级神经网络的参数；

S42、定义softmax损失函数；

S43、利用所述softmax损失函数训练所述基于MobileNet的轻量级神经网络，据以得到所述当前无人机航拍图像特征。

4.根据权利要求3所述的一种基于轻量级神经网络的无人机目标检测方法，其特征在于，所述步骤S41中，所述参数包括：宽度超参数α、分辨率超参数β、卷积核的个数M。

5.根据权利要求3所述的一种基于轻量级神经网络的无人机目标检测方法，其特征在于，所述步骤S42中，

利用下述逻辑定义所述softmax损失函数：

其中，N_p为样本总数，i为节点号，x_i为第i个节点的输入，y_i为第i个节点的输出类别，σ表示所有类别，θ_j和θ_yi表示角度参数；

其中，k∈[0,m-1],m为整数，用于控制角边界大小，且m≥1；当m＝1时，即为softmax损失函数。

6.根据权利要求1所述的一种基于轻量级神经网络的无人机目标检测方法，其特征在于，所述步骤S43中，

根据下述逻辑，利用所述softmax损失函数训练所述基于MobileNet的轻量级神经网络，据以得到当前无人机航拍图像特征：

式中，

表示第l+1层卷积层中第t个输出通道的航拍图像特征；/>

表示第l层卷积层中第i个输入通道所输入的图像，c为输入通道的数量；/>

表示第l层卷积层中第i个预定义随机噪声掩模；σ_relu(·)为非线性激活函数Relu；/>

表示第l层卷积层中第i个输入通道和第t个输出通道的权重参数。

7.根据权利要求1所述的一种基于轻量级神经网络的无人机目标检测方法，其特征在于，所述步骤S5中，所述分支包括：预设尺寸的平均池化层及全连接层，对所述分支的所述全连接层的输出特征进行目标特征融合，据以得到所述无人机融合图像集。

8.根据权利要求1所述的一种基于轻量级神经网络的无人机目标检测方法，其特征在于，所述步骤S5中，第一个所述分支包括：8×8的所述平均池化层和神经元个数为16M的所述全连接层。

9.根据权利要求1所述的一种基于轻量级神经网络的无人机目标检测方法，其特征在于，所述步骤S5中，第二个所述分支包括：4×4的所述平均池化层和神经元个数为32M的所述全连接层。

10.一种基于轻量级神经网络的无人机目标检测系统，其特征在于，所述系统包括：

图像样张获取模块，用以利用无人机进行航拍，以得到航拍视频序列，对所述航拍视频序列进行图像匹配、图像裁剪操作，据以得到航拍图像样张；

图像标定模块，用以利用labellmg标定工具对所述航拍图像样张进行数据标定，据以得到图像匹配及尺寸标准化的标准数据集，所述图像标定模块与所述图像样张获取模块连接；

轻量级网络构建模块，用以构建基于MobileNet的轻量级神经网络；

航拍特征获取模块，用以输入所述标准数据集至所述基于MobileNet的轻量级神经网络，利用预置损失函数训练所述基于MobileNet的轻量级神经网络，据以得到当前无人机航拍图像特征，所述航拍特征获取模块与所述轻量级网络构建模块及所述图像标定模块连接；

图像融合模块，用以根据所述当前无人机航拍图像特征，将不少于2个分支的特征输出进行特征融合，以得到分支融合特征，输入所述分支融合特征至预置数目的分支进行处理，据以得到无人机融合图像集，所述图像融合模块与所述航拍特征获取模块连接；

目标检测模块，用以利用训练好的YOLOv4模型对所述无人机融合图像集进行目标检测，据以得到检测结果，所述目标检测模块与所述图像融合模块连接。

Images