CN111860175A - 一种基于轻量化网络的无人机影像车辆检测方法及装置 - Google Patents

一种基于轻量化网络的无人机影像车辆检测方法及装置 Download PDF

Info

Publication number
CN111860175A
CN111860175A CN202010573599.3A CN202010573599A CN111860175A CN 111860175 A CN111860175 A CN 111860175A CN 202010573599 A CN202010573599 A CN 202010573599A CN 111860175 A CN111860175 A CN 111860175A
Authority
CN
China
Prior art keywords
feature
feature map
height
width
channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010573599.3A
Other languages
English (en)
Other versions
CN111860175B (zh
Inventor
孙显
刁文辉
付琨
许滔
尹文昕
李�浩
王佩瑾
刘迎飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202010573599.3A priority Critical patent/CN111860175B/zh
Publication of CN111860175A publication Critical patent/CN111860175A/zh
Application granted granted Critical
Publication of CN111860175B publication Critical patent/CN111860175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于轻量化网络的无人机影像车辆检测方法及装置，属于视觉目标检测领域，包括：获取无人机的机载摄像头采集的目标区域图像，并对所述目标区域图像进行预处理；将预处理后的目标区域图像输入至预先训练的轻量化检测网络，获取所述预先训练的轻量化检测网络输出的目标区域初始车辆检测结果；采用非极大值抑制算法对所述目标区域初始车辆检测结果进行筛选，获取目标区域的最终车辆检测结果；本发明提供的技术方案解决了SSD目标检测模型的计算量和参数量太大导致无人机平台无法实时检测车辆目标且检测准确率低的问题。

Description

一种基于轻量化网络的无人机影像车辆检测方法及装置
技术领域
本发明涉及视觉目标检测领域，具体涉及一种基于轻量化网络的无人机影像车辆检测方法及装置。
背景技术
车辆目标实时检测在交通流量监测、交通规划、车辆引导指挥等方面起着极其重要的作用。随着无人机技术的发展，其灵活性、机动性、便捷性使得无人机在交通流量监测等方面得到了广泛的应用，常被用于车辆目标检测。由于无人机的软硬件功耗大且电池容量有限，导致其载荷和续航时间受到了严重的制约。因此，工业界对无人机的低功耗要求越来越严格。为解决这个问题，现有的优化方案主要是对无人机的电池、发动机等硬件进行优化；但是除了这些因素造成电能消耗外，更重要的是无人机所搭载的软件算法，尤其是其核心算法，即车辆目标检测算法。
现有的目标检测算法普遍采用深度学习技术，这类算法虽然准确率较高，但常见的算法的网络结构复杂、参数量大、计算量大，而无人机搭载的处理器性能有限，在运行这类复杂的算法时，无法满足实时性需求。常见的轻量级检测算法如MobileNet-SSD等，在该平台上对车辆目标检测的准确率很低。因此，有必要提出一种实时性好、计算量小、准确率高的车辆目标实时检测方法，一方面减小算法模型的参数量和计算量，另一方面保证检测模型的准确率。
发明内容
针对现有技术的不足，本发明的目的是提供一种能够解决SSD目标检测模型的计算量和参数量太大导致无人机平台无法实时检测车辆目标且检测准确率低的问题的车辆目标检测方法及装置。
本发明的目的是采用下述技术方案实现的：
本发明提供了一种基于轻量化网络的无人机影像车辆检测方法，其改进之处在于，所述方法包括：
获取无人机的机载摄像头采集的目标区域图像，并对所述目标区域图像进行预处理；
将预处理后的目标区域图像输入至预先训练的轻量化检测网络，获取所述预先训练的轻量化检测网络输出的目标区域初始车辆检测结果；
采用非极大值抑制算法对所述目标区域初始车辆检测结果进行筛选，获取目标区域的最终车辆检测结果。
优选的，所述预先训练的轻量化检测网络的获取过程包括：
步骤1.获取无人机的机载摄像头采集的实景图像数据，并对所述实景图像数据中图像进行预处理；
步骤2.人工标注所述实景图像数据中图像中车辆的车辆类别和矩形边界框；
步骤3.对所述实景图像数据进行数据增强，并将增强后的实景图像数据划分为训练数据和测试数据；
步骤4.利用所述训练数据和测试数据对初始轻量化神经网络模型进行训练，并将训练完成的初始轻量化神经网络模型作为所述预先训练的轻量化检测网络。
进一步的，所述预处理包括：
对图像进行裁切，并将裁切后的图像缩小至512*512；
其中，所述裁切过程中裁切窗口尺寸为720*720，裁切窗口的重叠尺寸为200像素。
进一步的，所述数据增强包括：平移、旋转、尺度缩放、亮度变化和/或高斯模糊。
进一步的，所述初始轻量化神经网络模型包括：
第一特征提取单元，用于将输入图像依次经过2组3*3的标准卷积层，得到高256，宽256，通道数为64的特征图；
第二特征提取单元，用于将第一特征提取单元输出的特征图经过动态特征卷积块，得到高128，宽128，通道数为128的特征图；
第三特征提取单元，用于将第二特征提取单元输出的特征图经过自适应感受野模块，得到高128，宽128，通道数为128的特征图；
第四特征提取单元，用于将第二特征提取单元输出的特征图依次经过三组动态特征卷积块，分别获取各组动态特征卷积块输出的高64，宽64，通道数为256的特征图，高32，宽32，通道数为512的特征图和高16，宽16，通道数为512的特征图；
第五特征提取单元，用于将所述高16，宽16，通道数为512的特征图依次经过四组3*3的标准卷积，分别获取各3*3的标准卷积输出的高8，宽8，通道数为512的特征图，高4，宽4，通道数为256的特征图，高2，宽2，通道数为256的特征图和高1，宽1，通道数为256的特征图；
定位子网络，用于对所述高64，宽64，通道数为256的特征图，高32，宽32，通道数为512的特征图，高16，宽16，通道数为512的特征图，高8，宽8，通道数为512的特征图，高4，宽4，通道数为256的特征图，高2，宽2，通道数为256的特征图和高1，宽1，通道数为256的特征图进行逐像素预测，获取定位偏移值；
分类子网络，对所述高64，宽64，通道数为256的特征图，高32，宽32，通道数为512的特征图，高16，宽16，通道数为512的特征图，高8，宽8，通道数为512的特征图，高4，宽4，通道数为256的特征图，高2，宽2，通道数为256的特征图和高1，宽1，通道数为256的特征图进行逐像素预测，获取分类置信度。
进一步的，所述动态特征卷积块，包括：
第一特征提取子单元，用于将输入特征图F0依次经过1*3和3*1的深度可分离卷积，获取特征图F1，其中，F1和F0的尺寸相同；
第二特征提取子单元，用于将F1经过全局最大池化得到特征图F1_M，并将F1经过全局平均池化得到特征图F1_A，其中，F1_M和F1_A的高宽尺寸均为1*1，通道数与F1相同。
第三特征提取子单元，用于将F1_M和F1_A沿通道维度进行拼接，得到特征向量F1_C，将F1_C拉直后依次送入两组全连接网络，得到特征F1_B，将F1_B经过Sigmoid函数输出激活值F1_BA，其中，F1_B的通道数量与F1_M的通道数量相同；
第四特征提取子单元，用于将激活值F1_BA与特征图F1相乘得到特征图F1_S，将特征图F1_S与特征图F1相加，得到特征图F2；
第五特征提取子单元，用于将特征图F2依次经过1*3和3*1的深度可分离卷积，获取特征图F3；
第六特征提取子单元，用于将特征图F3与特征图F0相加后经过一组3*3的标准卷积，得到高128，宽128，通道数为128的特征图。
进一步的，所述自适应感受野模块包括：
第一自适应感受野子模块，用于将输入特征图F0经过1*1的标准卷积，得到的特征图F_A，其中，F_A与F0的尺寸相同；
第二自适应感受野子模块，用于将输入特征图F0依次经过3*1和1*3的标准卷积，得到特征图F_B，其中，F_B和F0的尺寸相同；
第三自适应感受野子模块，用于将输入特征图F0经过3*3且空洞率为2的深度可分离卷积，得到特征图F_C，其中，F_C和F0的尺寸相同；
第四自适应感受野子模块，用于将输入特征图F0经过3*3且空洞率为6的深度可分离卷积，得到特征图F_D，其中，F_D和F0的尺寸相同；
第五自适应感受野子模块，用于将输入特征图F0经过3*3且空洞率为12的深度可分离卷积，得到特征图F_E，其中，F_E和F0的尺寸相同；
第六自适应感受野子模块，用于将F0、F_A、F_B、F_C、F_D、F_E相加，得到特征图F1；
第七自适应感受野子模块，用于将特征图F1经过1*1的标准卷积，得到高128，宽128，通道数为128的特征图。
进一步的，所述步骤4包括：
基于所述训练数据和测试数据，采用梯度下降算法对初始轻量化神经网络模型进行训练。
基于同一发明构思，本发明还提供了一种基于轻量化网络的无人机影像车辆检测装置，其改进之处在于，所述装置包括：
第一获取模块，用于获取无人机的机载摄像头采集的目标区域图像，并对所述目标区域图像进行预处理；
检测模块，用于将预处理后的目标区域图像输入至预先训练的轻量化检测网络，获取所述预先训练的轻量化检测网络输出的目标区域初始车辆检测结果；
第二获取模块，用于采用非极大值抑制算法对所述目标区域初始车辆检测结果进行筛选，获取目标区域的最终车辆检测结果。
与最接近的现有技术相比，本发明具有的有益效果：
本发明提供的一种基于轻量化网络的无人机影像车辆检测方法及装置，首先获取无人机的机载摄像头采集的目标区域图像，并对所述目标区域图像进行预处理，其次，将预处理后的目标区域图像输入至预先训练的轻量化检测网络，获取所述预先训练的轻量化检测网络输出的目标区域初始车辆检测结果，最后，采用非极大值抑制算法对所述目标区域初始车辆检测结果进行筛选，获取目标区域的最终车辆检测结果；与现有技术相比，该方案中的轻量化检测网络减少模型骨干网络的参数量和计算量，以提高模型的检测速度，从而减少对硬件的需求，使之更适用于计算资源有限的车辆目标实时检测平台；
进一步的，轻量化检测网络中提出的自适应感受野模块用于辅助构建骨干网络，在增加少量参数的情况下，从最浅层增大模型的感受野，从而提高后续各层的特征表达能力，以提高模型的检测准确率。本发明的方法具有参数量少、计算量少、实时性好、准确率高的优点，可以实现无人机影像车辆目标实时检测任务。
附图说明
图1是本发明提供的一种基于轻量化网络的无人机影像车辆检测方法流程图；
图2是本发明实施例中初始轻量化神经网络模型的结构示意图；
图3是本发明实施例中动态特征卷积块的结构示意图；
图4是本发明实施例中自适应感受野模块的结构示意图；
图5是本发明提供的一种基于轻量化网络的无人机影像车辆检测装置的结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
为了解决现有技术中所存在的参数量大、计算量大、实时性差、准确率低的问题，本发明基于SSD的基本架构，设计一种基于轻量化网络的无人机影像车辆检测方法，利用动态特征卷积块和自适应感受野模块构建骨干网络，以减少模型的计算量和运行时间，同时提高模型的准确率，如图1所示，所述方法包括：
101获取无人机的机载摄像头采集的目标区域图像，并对所述目标区域图像进行预处理；
102将预处理后的目标区域图像输入至预先训练的轻量化检测网络，获取所述预先训练的轻量化检测网络输出的目标区域初始车辆检测结果；
103采用非极大值抑制算法对所述目标区域初始车辆检测结果进行筛选，获取目标区域的最终车辆检测结果。
本发明提供的最优实施例中，可以将预先训练的轻量化检测网络在TensorFlow框架下转换为可执行的PB文件，并将该文件部署到无人机车辆目标检测平台上，进而金鱼该检测平台获取目标区域的最终车辆检测结果。
具体的，本发明提供的实施例中，所述预先训练的轻量化检测网络的获取过程包括：
步骤1.获取无人机的机载摄像头采集的实景图像数据，并对所述实景图像数据中图像进行预处理；
步骤2.人工标注所述实景图像数据中图像中车辆的车辆类别和矩形边界框；
步骤3.对所述实景图像数据进行数据增强，并将增强后的实景图像数据划分为训练数据和测试数据；
步骤4.利用所述训练数据和测试数据对初始轻量化神经网络模型进行训练，并将训练完成的初始轻量化神经网络模型作为所述预先训练的轻量化检测网络。
进一步的，在上述实施过程中，可以基于如下步骤实现所述步骤1至步骤3：
a.选择类似于露天停车场、车站等停靠有大量车辆的场地，在这些区域上空以不同高度、不同姿态、不同角度进行自由飞行，同时保持机载摄像头朝向地面，并保证摄像头视野范围内包含车辆目标；
b.机载摄像头每2秒拍摄1张1280*720的高分辨率图像，并同时将图像保存在指定目录；
c.利用数据标注软件对图像中的车辆目标进行标注，对每个目标均标注出车辆类别和矩形边界框；
d.利用平移、旋转、尺度缩放、亮度变化和/或高斯模糊等方式对所述实景图像数据进行数据增强；
例如，对图像的预处理包括对各图像作裁切、翻转、平移、亮度变化等方法。对原图的裁切窗口尺寸为720*720，裁切窗口的重叠尺寸为200像素，裁切后的图像被缩小至512*512的分辨率。将裁切后的图像作翻转、平移、亮度变化，以实现样本数量的扩增；
再例如，对所述训练数据按照概率0.5进行水平和垂直方向的随机翻转，角度-20度到20度，步距1度的图像随机旋转操作，90度、180度、270度的固定角度随机旋转操作，以及图像尺寸0.25到4倍随机缩放操作。
e.将所有扩增后的图像按照1:1的数量比例划分为训练集和测试集。
其中，上述方案中的预处理可以包括：
对图像进行裁切，并将裁切后的图像缩小至512*512；
其中，所述裁切过程中裁切窗口尺寸为720*720，裁切窗口的重叠尺寸为200像素。
进一步的，上述步骤4中的初始轻量化神经网络模型，如图2所示，包括：
第一特征提取单元，用于将输入图像依次经过2组3*3的标准卷积层，得到高256，宽256，通道数为64的特征图；
第二特征提取单元，用于将第一特征提取单元输出的特征图经过动态特征卷积块，得到高128，宽128，通道数为128的特征图；
第三特征提取单元，用于将第二特征提取单元输出的特征图经过自适应感受野模块，得到高128，宽128，通道数为128的特征图；
第四特征提取单元，用于将第二特征提取单元输出的特征图依次经过三组动态特征卷积块，分别获取各组动态特征卷积块输出的高64，宽64，通道数为256的特征图，高32，宽32，通道数为512的特征图和高16，宽16，通道数为512的特征图；
第五特征提取单元，用于将所述高16，宽16，通道数为512的特征图依次经过四组3*3的标准卷积，分别获取各3*3的标准卷积输出的高8，宽8，通道数为512的特征图，高4，宽4，通道数为256的特征图，高2，宽2，通道数为256的特征图和高1，宽1，通道数为256的特征图；
定位子网络，用于对所述高64，宽64，通道数为256的特征图，高32，宽32，通道数为512的特征图，高16，宽16，通道数为512的特征图，高8，宽8，通道数为512的特征图，高4，宽4，通道数为256的特征图，高2，宽2，通道数为256的特征图和高1，宽1，通道数为256的特征图进行逐像素预测，获取定位偏移值；
分类子网络，对所述高64，宽64，通道数为256的特征图，高32，宽32，通道数为512的特征图，高16，宽16，通道数为512的特征图，高8，宽8，通道数为512的特征图，高4，宽4，通道数为256的特征图，高2，宽2，通道数为256的特征图和高1，宽1，通道数为256的特征图进行逐像素预测，获取分类置信度。
图2中，3*3Conv表示标准卷积块，DFC表示动态特征卷积块，ARFM表示自适应感受野模块。
其中，所述动态特征卷积块，如图3所示，包括：
第一特征提取子单元，用于将输入特征图F0依次经过1*3和3*1的深度可分离卷积，获取特征图F1，其中，F1和F0的尺寸相同；
第二特征提取子单元，用于将F1经过全局最大池化得到特征图F1_M，并将F1经过全局平均池化得到特征图F1_A，其中，F1_M和F1_A的高宽尺寸均为1*1，通道数与F1相同。
第三特征提取子单元，用于将F1_M和F1_A沿通道维度进行拼接，得到特征向量F1_C，将F1_C拉直后依次送入两组全连接网络，得到特征F1_B，将F1_B经过Sigmoid函数输出激活值F1_BA，其中，F1_B的通道数量与F1_M的通道数量相同；
第四特征提取子单元，用于将激活值F1_BA与特征图F1相乘得到特征图F1_S，将特征图F1_S与特征图F1相加，得到特征图F2；
第五特征提取子单元，用于将特征图F2依次经过1*3和3*1的深度可分离卷积，获取特征图F3；
第六特征提取子单元，用于将特征图F3与特征图F0相加后经过一组3*3的标准卷积，得到高128，宽128，通道数为128的特征图。
图3中，DW表示深度可分离卷积，GMP表示全局最大池化，GAP表示全局平均池化，FC表示全连接层，Conv表示标准卷积块，Sigmoid表示激活函数，C表示拼接，·表示点乘，+表示相加；
所述自适应感受野模块，如图4所示，包括：
第一自适应感受野子模块，用于将输入特征图F0经过1*1的标准卷积，得到的特征图F_A，其中，F_A与F0的尺寸相同；
第二自适应感受野子模块，用于将输入特征图F0依次经过3*1和1*3的标准卷积，得到特征图F_B，其中，F_B和F0的尺寸相同；
第三自适应感受野子模块，用于将输入特征图F0经过3*3且空洞率为2的深度可分离卷积，得到特征图F_C，其中，F_C和F0的尺寸相同；
第四自适应感受野子模块，用于将输入特征图F0经过3*3且空洞率为6的深度可分离卷积，得到特征图F_D，其中，F_D和F0的尺寸相同；
第五自适应感受野子模块，用于将输入特征图F0经过3*3且空洞率为12的深度可分离卷积，得到特征图F_E，其中，F_E和F0的尺寸相同；
第六自适应感受野子模块，用于将F0、F_A、F_B、F_C、F_D、F_E相加，得到特征图F1；
第七自适应感受野子模块，用于将特征图F1经过1*1的标准卷积，得到高128，宽128，通道数为128的特征图。
图4中，DW表示深度可分离卷积，Conv表示标准卷积块，+表示逐元素相加；
进一步的，所述步骤4包括：
基于所述训练数据和测试数据，采用梯度下降算法对初始轻量化神经网络模型进行训练。
例如，基于如下步骤实现所述步骤4：
(4.a)将预定义的锚框与目标边框匹配，交并比高于0.5的锚框设为正样本，低于0.1的设为负样本，同时使用类别负样本挖掘方法再选择一些负样本，最终负样本与正样本比例为3:1；
(4.b)网络的定位损失函数与分类的损失函数的权重系数分别设置为1.2和0.8，定位损失函数采用平滑的二次函数，分类损失函数采用交叉熵损失函数；
(4.c)模型由均值为0、标准差为0.01的正态分布进行随机初始化，优化器采用随机梯度下降算法对网络进行端到端训练。
基于同一发明构思，本发明还提供了一种基于轻量化网络的无人机影像车辆检测装置，如图5所示，所述装置包括：
第一获取模块，用于获取无人机的机载摄像头采集的目标区域图像，并对所述目标区域图像进行预处理；
检测模块，用于将预处理后的目标区域图像输入至预先训练的轻量化检测网络，获取所述预先训练的轻量化检测网络输出的目标区域初始车辆检测结果；
第二获取模块，用于采用非极大值抑制算法对所述目标区域初始车辆检测结果进行筛选，获取目标区域的最终车辆检测结果。
优选的，所述预先训练的轻量化检测网络的获取过程包括：
步骤1.获取无人机的机载摄像头采集的实景图像数据，并对所述实景图像数据中图像进行预处理；
步骤2.人工标注所述实景图像数据中图像中车辆的车辆类别和矩形边界框；
步骤3.对所述实景图像数据进行数据增强，并将增强后的实景图像数据划分为训练数据和测试数据；
步骤4.利用所述训练数据和测试数据对初始轻量化神经网络模型进行训练，并将训练完成的初始轻量化神经网络模型作为所述预先训练的轻量化检测网络。
进一步的，所述预处理包括：
对图像进行裁切，并将裁切后的图像缩小至512*512；
其中，所述裁切过程中裁切窗口尺寸为720*720，裁切窗口的重叠尺寸为200像素。
进一步的，所述数据增强包括：平移、旋转、尺度缩放、亮度变化和/或高斯模糊。
进一步的，所述初始轻量化神经网络模型包括：
第一特征提取单元，用于将输入图像依次经过2组3*3的标准卷积层，得到高256，宽256，通道数为64的特征图；
第二特征提取单元，用于将第一特征提取单元输出的特征图经过动态特征卷积块，得到高128，宽128，通道数为128的特征图；
第三特征提取单元，用于将第二特征提取单元输出的特征图经过自适应感受野模块，得到高128，宽128，通道数为128的特征图；
第四特征提取单元，用于将第二特征提取单元输出的特征图依次经过三组动态特征卷积块，分别获取各组动态特征卷积块输出的高64，宽64，通道数为256的特征图，高32，宽32，通道数为512的特征图和高16，宽16，通道数为512的特征图；
第五特征提取单元，用于将所述高16，宽16，通道数为512的特征图依次经过四组3*3的标准卷积，分别获取各3*3的标准卷积输出的高8，宽8，通道数为512的特征图，高4，宽4，通道数为256的特征图，高2，宽2，通道数为256的特征图和高1，宽1，通道数为256的特征图；
定位子网络，用于对所述高64，宽64，通道数为256的特征图，高32，宽32，通道数为512的特征图，高16，宽16，通道数为512的特征图，高8，宽8，通道数为512的特征图，高4，宽4，通道数为256的特征图，高2，宽2，通道数为256的特征图和高1，宽1，通道数为256的特征图进行逐像素预测，获取定位偏移值；
分类子网络，对所述高64，宽64，通道数为256的特征图，高32，宽32，通道数为512的特征图，高16，宽16，通道数为512的特征图，高8，宽8，通道数为512的特征图，高4，宽4，通道数为256的特征图，高2，宽2，通道数为256的特征图和高1，宽1，通道数为256的特征图进行逐像素预测，获取分类置信度。
进一步的，所述动态特征卷积块，包括：
第一特征提取子单元，用于将输入特征图F0依次经过1*3和3*1的深度可分离卷积，获取特征图F1，其中，F1和F0的尺寸相同；
第二特征提取子单元，用于将F1经过全局最大池化得到特征图F1_M，并将F1经过全局平均池化得到特征图F1_A，其中，F1_M和F1_A的高宽尺寸均为1*1，通道数与F1相同。
第三特征提取子单元，用于将F1_M和F1_A沿通道维度进行拼接，得到特征向量F1_C，将F1_C拉直后依次送入两组全连接网络，得到特征F1_B，将F1_B经过Sigmoid函数输出激活值F1_BA，其中，F1_B的通道数量与F1_M的通道数量相同；
第四特征提取子单元，用于将激活值F1_BA与特征图F1相乘得到特征图F1_S，将特征图F1_S与特征图F1相加，得到特征图F2；
第五特征提取子单元，用于将特征图F2依次经过1*3和3*1的深度可分离卷积，获取特征图F3；
第六特征提取子单元，用于将特征图F3与特征图F0相加后经过一组3*3的标准卷积，得到高128，宽128，通道数为128的特征图。
进一步的，所述自适应感受野模块包括：
第一自适应感受野子模块，用于将输入特征图F0经过1*1的标准卷积，得到的特征图F_A，其中，F_A与F0的尺寸相同；
第二自适应感受野子模块，用于将输入特征图F0依次经过3*1和1*3的标准卷积，得到特征图F_B，其中，F_B和F0的尺寸相同；
第三自适应感受野子模块，用于将输入特征图F0经过3*3且空洞率为2的深度可分离卷积，得到特征图F_C，其中，F_C和F0的尺寸相同；
第四自适应感受野子模块，用于将输入特征图F0经过3*3且空洞率为6的深度可分离卷积，得到特征图F_D，其中，F_D和F0的尺寸相同；
第五自适应感受野子模块，用于将输入特征图F0经过3*3且空洞率为12的深度可分离卷积，得到特征图F_E，其中，F_E和F0的尺寸相同；
第六自适应感受野子模块，用于将F0、F_A、F_B、F_C、F_D、F_E相加，得到特征图F1；
第七自适应感受野子模块，用于将特征图F1经过1*1的标准卷积，得到高128，宽128，通道数为128的特征图。
进一步的，所述步骤4包括：
基于所述训练数据和测试数据，采用梯度下降算法对初始轻量化神经网络模型进行训练。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (9)

1.一种基于轻量化网络的无人机影像车辆检测方法，其特征在于，所述方法包括：
获取无人机的机载摄像头采集的目标区域图像，并对所述目标区域图像进行预处理；
将预处理后的目标区域图像输入至预先训练的轻量化检测网络，获取所述预先训练的轻量化检测网络输出的目标区域初始车辆检测结果；
采用非极大值抑制算法对所述目标区域初始车辆检测结果进行筛选，获取目标区域的最终车辆检测结果。
2.如权利要求1所述的方法，其特征在于，所述预先训练的轻量化检测网络的获取过程包括：
步骤1.获取无人机的机载摄像头采集的实景图像数据，并对所述实景图像数据中图像进行预处理；
步骤2.人工标注所述实景图像数据中图像中车辆的车辆类别和矩形边界框；
步骤3.对所述实景图像数据进行数据增强，并将增强后的实景图像数据划分为训练数据和测试数据；
步骤4.利用所述训练数据和测试数据对初始轻量化神经网络模型进行训练，并将训练完成的初始轻量化神经网络模型作为所述预先训练的轻量化检测网络。
3.如权利要求1或2所述的方法，其特征在于，所述预处理包括：
对图像进行裁切，并将裁切后的图像缩小至512*512；
其中，所述裁切过程中裁切窗口尺寸为720*720，裁切窗口的重叠尺寸为200像素。
4.如权利要求2所述的方法，其特征在于，所述数据增强包括：平移、旋转、尺度缩放、亮度变化和/或高斯模糊。
5.如权利要求2所述的方法，其特征在于，所述初始轻量化神经网络模型包括：
第一特征提取单元，用于将输入图像依次经过2组3*3的标准卷积层，得到高256，宽256，通道数为64的特征图；
第二特征提取单元，用于将第一特征提取单元输出的特征图经过动态特征卷积块，得到高128，宽128，通道数为128的特征图；
第三特征提取单元，用于将第二特征提取单元输出的特征图经过自适应感受野模块，得到高128，宽128，通道数为128的特征图；
第四特征提取单元，用于将第二特征提取单元输出的特征图依次经过三组动态特征卷积块，分别获取各组动态特征卷积块输出的高64，宽64，通道数为256的特征图，高32，宽32，通道数为512的特征图和高16，宽16，通道数为512的特征图；
第五特征提取单元，用于将所述高16，宽16，通道数为512的特征图依次经过四组3*3的标准卷积，分别获取各3*3的标准卷积输出的高8，宽8，通道数为512的特征图，高4，宽4，通道数为256的特征图，高2，宽2，通道数为256的特征图和高1，宽1，通道数为256的特征图；
定位子网络，用于对所述高64，宽64，通道数为256的特征图，高32，宽32，通道数为512的特征图，高16，宽16，通道数为512的特征图，高8，宽8，通道数为512的特征图，高4，宽4，通道数为256的特征图，高2，宽2，通道数为256的特征图和高1，宽1，通道数为256的特征图进行逐像素预测，获取定位偏移值；
分类子网络，对所述高64，宽64，通道数为256的特征图，高32，宽32，通道数为512的特征图，高16，宽16，通道数为512的特征图，高8，宽8，通道数为512的特征图，高4，宽4，通道数为256的特征图，高2，宽2，通道数为256的特征图和高1，宽1，通道数为256的特征图进行逐像素预测，获取分类置信度。
6.如权利要求5所述的方法，其特征在于，所述动态特征卷积块，包括：
第一特征提取子单元，用于将输入特征图F0依次经过1*3和3*1的深度可分离卷积，获取特征图F1，其中，F1和F0的尺寸相同；
第二特征提取子单元，用于将F1经过全局最大池化得到特征图F1_M，并将F1经过全局平均池化得到特征图F1_A，其中，F1_M和F1_A的高宽尺寸均为1*1，通道数与F1相同。
第三特征提取子单元，用于将F1_M和F1_A沿通道维度进行拼接，得到特征向量F1_C，将F1_C拉直后依次送入两组全连接网络，得到特征F1_B，将F1_B经过Sigmoid函数输出激活值F1_BA，其中，F1_B的通道数量与F1_M的通道数量相同；
第四特征提取子单元，用于将激活值F1_BA与特征图F1相乘得到特征图F1_S，将特征图F1_S与特征图F1相加，得到特征图F2；
第五特征提取子单元，用于将特征图F2依次经过1*3和3*1的深度可分离卷积，获取特征图F3；
第六特征提取子单元，用于将特征图F3与特征图F0相加后经过一组3*3的标准卷积，得到高128，宽128，通道数为128的特征图。
7.如权利要求5所述的方法，其特征在于，所述自适应感受野模块包括：
第一自适应感受野子模块，用于将输入特征图F0经过1*1的标准卷积，得到的特征图F_A，其中，F_A与F0的尺寸相同；
第二自适应感受野子模块，用于将输入特征图F0依次经过3*1和1*3的标准卷积，得到特征图F_B，其中，F_B和F0的尺寸相同；
第三自适应感受野子模块，用于将输入特征图F0经过3*3且空洞率为2的深度可分离卷积，得到特征图F_C，其中，F_C和F0的尺寸相同；
第四自适应感受野子模块，用于将输入特征图F0经过3*3且空洞率为6的深度可分离卷积，得到特征图F_D，其中，F_D和F0的尺寸相同；
第五自适应感受野子模块，用于将输入特征图F0经过3*3且空洞率为12的深度可分离卷积，得到特征图F_E，其中，F_E和F0的尺寸相同；
第六自适应感受野子模块，用于将F0、F_A、F_B、F_C、F_D、F_E相加，得到特征图F1；
第七自适应感受野子模块，用于将特征图F1经过1*1的标准卷积，得到高128，宽128，通道数为128的特征图。
8.如权利要求2所述的方法，其特征在于，所述步骤4包括：
基于所述训练数据和测试数据，采用梯度下降算法对初始轻量化神经网络模型进行训练。
9.一种基于轻量化网络的无人机影像车辆检测装置，其特征在于，所述装置包括：
第一获取模块，用于获取无人机的机载摄像头采集的目标区域图像，并对所述目标区域图像进行预处理；
检测模块，用于将预处理后的目标区域图像输入至预先训练的轻量化检测网络，获取所述预先训练的轻量化检测网络输出的目标区域初始车辆检测结果；
第二获取模块，用于采用非极大值抑制算法对所述目标区域初始车辆检测结果进行筛选，获取目标区域的最终车辆检测结果。
CN202010573599.3A 2020-06-22 2020-06-22 一种基于轻量化网络的无人机影像车辆检测方法及装置 Active CN111860175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010573599.3A CN111860175B (zh) 2020-06-22 2020-06-22 一种基于轻量化网络的无人机影像车辆检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010573599.3A CN111860175B (zh) 2020-06-22 2020-06-22 一种基于轻量化网络的无人机影像车辆检测方法及装置

Publications (2)

Publication Number Publication Date
CN111860175A true CN111860175A (zh) 2020-10-30
CN111860175B CN111860175B (zh) 2021-10-29

Family

ID=72987872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010573599.3A Active CN111860175B (zh) 2020-06-22 2020-06-22 一种基于轻量化网络的无人机影像车辆检测方法及装置

Country Status (1)

Country Link
CN (1) CN111860175B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906658A (zh) * 2021-03-30 2021-06-04 航天时代飞鸿技术有限公司 一种无人机侦查地面目标的轻量化自动检测方法
CN112907972A (zh) * 2021-04-06 2021-06-04 昭通亮风台信息科技有限公司 基于无人机的道路车流量检测方法、系统及计算机可读存储介质
CN112966546A (zh) * 2021-01-04 2021-06-15 航天时代飞鸿技术有限公司 一种基于无人机侦察图像的嵌入式姿态估计方法
CN116029555A (zh) * 2023-03-22 2023-04-28 西南科技大学 基于轻量化神经网络的桥梁风险识别预警系统及应用方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086663A (zh) * 2018-06-27 2018-12-25 大连理工大学 基于卷积神经网络的尺度自适应的自然场景文本检测方法
CN109492636A (zh) * 2018-09-30 2019-03-19 浙江工业大学 基于自适应感受野深度学习的目标检测方法
CN110175524A (zh) * 2019-04-26 2019-08-27 南京航空航天大学 一种基于轻量级深度卷积网络的快速精确航拍车辆检测方法
CN110443279A (zh) * 2019-07-04 2019-11-12 南京邮电大学 一种基于轻量级神经网络的无人机图像车辆检测方法
US10531240B1 (en) * 2018-10-29 2020-01-07 Nec Corporation User localization process leveraging UAVs equipped with lightweight base station to provide a moving mobile network
CN110751214A (zh) * 2019-10-21 2020-02-04 山东大学 一种基于轻量级可变形卷积的目标检测方法及系统
CN110895697A (zh) * 2019-11-13 2020-03-20 三峡大学 变压器铭牌信息采集方法及智能采集系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086663A (zh) * 2018-06-27 2018-12-25 大连理工大学 基于卷积神经网络的尺度自适应的自然场景文本检测方法
CN109492636A (zh) * 2018-09-30 2019-03-19 浙江工业大学 基于自适应感受野深度学习的目标检测方法
US10531240B1 (en) * 2018-10-29 2020-01-07 Nec Corporation User localization process leveraging UAVs equipped with lightweight base station to provide a moving mobile network
CN110175524A (zh) * 2019-04-26 2019-08-27 南京航空航天大学 一种基于轻量级深度卷积网络的快速精确航拍车辆检测方法
CN110443279A (zh) * 2019-07-04 2019-11-12 南京邮电大学 一种基于轻量级神经网络的无人机图像车辆检测方法
CN110751214A (zh) * 2019-10-21 2020-02-04 山东大学 一种基于轻量级可变形卷积的目标检测方法及系统
CN110895697A (zh) * 2019-11-13 2020-03-20 三峡大学 变压器铭牌信息采集方法及智能采集系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FELIX XU等: "PAY LESS ATTENTION LIGHTWEIGHT AND DYNAMIC CONVOLUTIONS", 《HTTPS://ARXIV.ORG/PDF/1901.10430.PDF》 *
LI X等: "Selective Kernel Networks", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
S. MA等: "Lightweight Deep Residual CNN for Fault Diagnosis of Rotating Machinery Based on Depthwise Separable Convolutions", 《IEEE ACCESS》 *
白傑等: "用轻量化卷积神经网络图像语义分割的交通场景理解", 《汽车安全与节能学报》 *
程越等: "基于轻量型卷积神经网络的交通标志识别方法", 《计算机系统应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966546A (zh) * 2021-01-04 2021-06-15 航天时代飞鸿技术有限公司 一种基于无人机侦察图像的嵌入式姿态估计方法
CN112906658A (zh) * 2021-03-30 2021-06-04 航天时代飞鸿技术有限公司 一种无人机侦查地面目标的轻量化自动检测方法
CN112907972A (zh) * 2021-04-06 2021-06-04 昭通亮风台信息科技有限公司 基于无人机的道路车流量检测方法、系统及计算机可读存储介质
CN116029555A (zh) * 2023-03-22 2023-04-28 西南科技大学 基于轻量化神经网络的桥梁风险识别预警系统及应用方法
CN116029555B (zh) * 2023-03-22 2023-06-13 西南科技大学 基于轻量化神经网络的桥梁风险识别预警系统及应用方法

Also Published As

Publication number Publication date
CN111860175B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN111860175B (zh) 一种基于轻量化网络的无人机影像车辆检测方法及装置
CN109753903B (zh) 一种基于深度学习的无人机检测方法
CN111640125B (zh) 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN109977774B (zh) 一种基于自适应卷积的快速目标检测方法
CN110796009A (zh) 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN104517103A (zh) 一种基于深度神经网络的交通标志分类方法
CN111079604A (zh) 面向大尺度遥感图像的微小目标快速检测方法
CN114743119B (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN107731011B (zh) 一种港口泊船监测方法、系统及电子设备
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN113822383B (zh) 一种基于多域注意力机制的无人机检测方法及系统
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN112734739B (zh) 一种基于注意力机制与ResNet融合的建筑裂缝可视化识别方法
CN113269133A (zh) 一种基于深度学习的无人机视角视频语义分割方法
CN109523558A (zh) 一种人像分割方法及系统
CN115861799A (zh) 基于注意力梯度的轻量化空对地目标检测方法
CN116580184A (zh) 一种基于YOLOv7的轻量化模型
CN114663352A (zh) 一种输电线路缺陷高精度检测方法、系统及存储介质
CN113326734B (zh) 一种基于YOLOv5的旋转目标检测方法
CN109409285B (zh) 基于重叠切片的遥感视频目标检测方法
CN112101113B (zh) 一种轻量化的无人机图像小目标检测方法
CN113486819A (zh) 一种基于YOLOv4算法的船舶目标检测方法
CN113112462A (zh) 一种轻量化车辆检测方法、系统及计算机可读介质
CN116012709B (zh) 一种高分辨率遥感影像建筑物提取方法及系统
CN116310892A (zh) 一种基于改进yolov4目标检测的海上救援方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant