CN112668644A - 一种基于ssd改进算法的无人机航拍目标检测方法 - Google Patents

一种基于ssd改进算法的无人机航拍目标检测方法 Download PDF

Info

Publication number
CN112668644A
CN112668644A CN202011580609.2A CN202011580609A CN112668644A CN 112668644 A CN112668644 A CN 112668644A CN 202011580609 A CN202011580609 A CN 202011580609A CN 112668644 A CN112668644 A CN 112668644A
Authority
CN
China
Prior art keywords
layer
ssd
unmanned aerial
aerial vehicle
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011580609.2A
Other languages
English (en)
Other versions
CN112668644B (zh
Inventor
李国强
孙英家
付乐
赵悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202011580609.2A priority Critical patent/CN112668644B/zh
Publication of CN112668644A publication Critical patent/CN112668644A/zh
Application granted granted Critical
Publication of CN112668644B publication Critical patent/CN112668644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于SSD改进算法的无人机航拍目标检测方法，具体实施包括如下步骤：准备特定的数据集，并对数据集进行处理；按照一定比例划分训练集和测试集；建立改进SSD网络结构，先将SSD的六个有效特征层更改为七个有效特征层，在特征融合后的特征层和原Fc7层后均引入RFB模块，用改进后的特征层与原特征层共同检测物体；修改max_size、min_size、ratio等先验框参数，使之更符合航拍物体检测；进行迭代训练，直到损失函数收敛，得到无人机航拍物体检测模型；用训练好的模型检测航拍物体；本发明与现有技术相比，精度和检测数量有了明显的提升，更具实用性。

Description

一种基于SSD改进算法的无人机航拍目标检测方法
技术领域
本发明属于目标检测与无人机航拍交叉技术领域，尤其涉及一种基于SSD改进算法的无人机航拍目标检测方法。
背景技术
随着无人机和机器视觉的快速发展，无人机技术在我们生活中应用越来越广泛，无人机航拍目标检测有着极高的军事价值和商业价值。无人机航拍目标检测的工作原理是通过机载摄像头和嵌入式系统，结合机器视觉技术从复杂背景中收集被识别物体的图片，将图片预处理，然后将其放到目标检测网络中检测，得到其定位和分类结果；
由于其背景复杂，拍摄角度为较单一的俯瞰角度，其视角造成拍摄物体特征不明显，相比于一般图像，航拍图像拍摄的物体有更为显著的尺度多样性。拍摄距离的不同导致在不同图像中的相同目标存在巨大的尺寸差异，且无人机航拍图像大多为中小物体，传统的检测方法难以获得好的结果，且大多数的目标检测方法对小物体识别能力较差，检测小物体的精度不高以及物体种类易识别错误。
发明内容
本发明的目的是解决无人机航拍的检测能力和检测识别精度，而提出的一种基于SSD改进算法的无人机航拍目标检测方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于SSD改进算法的无人机航拍目标检测方法，包括以下步骤；
S1：对航拍数据集进行信息格式转换；
S2：将转换好格式的数据集按合适比例划分成训练集和测试集；
S3：在基础SSD算法上改进增加至七个有效特征层，并对每个有效特征层进行回归和分类步骤获取目标位置和类别；
S4：修改运行参数，使网络更契合无人机航拍目标物体的检测；
S5：使用训练集进行迭代训练，直到损失函数收敛，得到无人机航拍物体检测模型数据，并将运行参数进行保存；
S6:使用测试集对无人机航拍物体检测模型进行测试，将得到的参数载入到网络中，利用有效特征层的信息，使用此参数对无人机航拍数据集进行检测。
本发明技术方案的进一步改进在于：所述数据集最终转换成的格式为VOC格式。
本发明技术方案的进一步改进在于：所述步骤S2中训练集和测试集划分比例为9:1。
本发明技术方案的进一步改进在于：所述步骤S3中在SSD算法基础上改进具体方式为先将Fc7层经过1×1卷积核调整通道数，得出的特征层使用双线性插值法进行上采样处理，接着与conv4_3卷积层进行特征融合成一个特征层，在此特征层之后加入RFB模块得到新的特征层，使用此特征层进行小物体的检测；再将conv4_3层经过1×1卷积核调整通道数，得出的特征层进行反卷积处理，接着与conv3_3卷积层进行特征融合成一个特征层，在此特征层之后加入RFB模块得到新的特征层，使用此特征层再次进行小物体的检测；在Fc7层后加入RFB模块；将原特征图转化为高维新特征用于检测物体。
本发明技术方案的进一步改进在于：所述步骤S4中修改运行参数具体为调整每一层有效特征层生成的先验框的min_size、max_size、和ratio等参数，使先验框的尺寸更适用于检测航拍物体。
与现有技术相比，本发明提具有以下有益效果：
原SSD网络采用级联方式连接，前一层卷积层的输出是下一层卷积层的输入，这样的网络结构没有充分的利用卷积层所提取的大量特征信息加以利用；改进的SSD网络将不同的卷积层进行融合，用融合后的特征层检测物体，此网络将不同层的特征联系起来，比原网络检测效果更好；原网络用六个有效特征层检测物体，改进网络用七个有效特征层检测物体，检测物体效果更好以及增加检测广度；改进后SSD，引入模拟人类视觉的感受野RFB模块，增强网络的特征提取能力。
附图说明
图1为本发明的步骤流程图；
图2为改进SSD网络框架图；
图3为RFB模块示意图；
图4为基础SSD网络检测效果图；
图5为改进网络检测效果图。
具体实施方式
一种基于SSD改进算法的无人机航拍目标检测方法，该方法具体包括如下步骤；
1、准备无人机航拍数据集，并在训练前进行处理；将原数据集的数据标注转换成VOC格式。
2.对已处理的数据集进行划分，分为训练集和测试集；对数据集的21761张图片按照9：1的比例划分训练集和测试集，训练集19585张，测试集2176张。
3、对基础SSD算法进行改进：对SSD的六个原始的有效特征层进行改进，并增加一个有效特征层conv3_3层，用七个特征层检测物体，将改进后的特征层替换原来的特征层进行检测。同时对每个有效特征层进行回归和分类步骤获取目标位置和类别，最后通过非极大值抑制得到结果。即：先将Fc7层经过1×1卷积核调整通道数，得出的特征层使用双线性插值法进行上采样处理，接着与conv4_3卷积层进行特征融合成一个特征层，在此特征层之后加入RFB模块得到新的特征层，使用此特征层进行小物体的检测；再将conv4_3层经过1×1卷积核调整通道数，得出的特征层进行反卷积处理，接着与conv3_3卷积层进行特征融合成一个特征层，在此特征层之后加入RFB模块得到新的特征层，使用此特征层也进行小物体的检测；在Fc7层后加入RFB模块，conv6_2、conv7_2、conv8_2、conv9_2四个有效特征层与原来不变，具体处理细节步骤为：首先将图片输入网络。（1）使用conv3_3层与conv4_3层融合后的层再经RFB模块生成75×75特征图作为一个预测层，RFB模块如图3所示；（2）使用conv4_3层与Fc7层融合后的层再经RFB模块生成38×38特征图作为一个预测层；（3）使用Fc7层再经RFB模块生成19×19特征图作为一个预测层；（4）使用conv6_2层生成10×10特征图作为一个预测层；（5）使用conv7_2层生成5×5特征图作为一个预测层；（6）使用conv8_2层生成3×3特征图作为一个预测层；（7）使用conv9_2层生成1×1特征图作为一个预测层，共七个有效特征层检测目标物体。
4、修改运行参数：加载预训练权重，设置权重衰减系数为0.0005，学习率为0.0001，batch_size为4，更改每个特征层的ratio、min_size和max_size等先验框参数，使先验框的大小更适合于无人机航拍数据集。
5、将图片输入到此网络中进行正向传播计算损失，并通过损失函数来进行反向传播更新网络中的各种参数，直到损失函数收敛，共进行二十万次的迭代训练，并将此时得到的参数保存起来。
6、使用训练好的模型对无人机航拍图像进行检测，对无人机航拍物体检测模型进行评估，将不同层的特征联系分析并引入感受野模块，增强网络的提取能力，提升检测精度。

Claims (5)

1.一种基于SSD改进算法的无人机航拍目标检测方法，包括以下步骤；
S1：对航拍数据集进行信息格式转换；
S2：将转换好格式的数据集按合适比例划分成训练集和测试集；
S3：在基础SSD算法上改进增加至七个有效特征层，并对每个有效特征层进行回归和分类步骤获取目标位置和类别；
S4：修改运行参数，使网络更契合无人机航拍目标物体的检测；
S5：使用训练集进行迭代训练，直到损失函数收敛，得到无人机航拍物体检测模型数据，并将运行参数进行保存；
S6:使用测试集对无人机航拍物体检测模型进行测试，对无人机航拍物体检测模型进行评估，将不同层的特征联系分析并引入感受野模块，利用有效特征层的信息，增强网络的提取能力，提升检测精度。
2.根据权利要求1所述的一种基于SSD改进算法的无人机航拍目标检测方法，其特征在于:所述数据集最终转换成的格式为VOC格式。
3.根据权利要求1所述的一种基于SSD改进算法的无人机航拍目标检测方法，其特征在于:所述步骤S2中训练集和测试集划分比例为9:1。
4.根据权利要求1所述的一种基于SSD改进算法的无人机航拍目标检测方法，其特征在于:所述步骤S3中在基础SSD算法上改进具体方式为先将Fc7层经过1×1卷积核调整通道数，得出的特征层使用双线性插值法进行上采样处理，接着与conv4_3卷积层进行特征融合成一个特征层，在此特征层之后加入RFB模块得到新的特征层，使用此特征层进行小物体的检测；再将conv4_3层经过1×1卷积核调整通道数，得出的特征层进行反卷积处理，接着与conv3_3卷积层进行特征融合成一个特征层，在此特征层之后加入RFB模块得到新的特征层，使用此特征层也进行小物体的检测；在Fc7层后加入RFB模块；将原特征图转化为高维新特征用于检测物体。
5.根据权利要求1所述的一种基于SSD改进算法的无人机航拍目标检测方法，其特征在于:所述步骤S4中修改运行参数具体为调整每一层有效特征层生成的先验框的min_size、max_size、和ratio等参数，使先验框的尺寸更适用于检测航拍物体。
CN202011580609.2A 2020-12-28 2020-12-28 一种基于ssd改进算法的无人机航拍目标检测方法 Active CN112668644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011580609.2A CN112668644B (zh) 2020-12-28 2020-12-28 一种基于ssd改进算法的无人机航拍目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011580609.2A CN112668644B (zh) 2020-12-28 2020-12-28 一种基于ssd改进算法的无人机航拍目标检测方法

Publications (2)

Publication Number Publication Date
CN112668644A true CN112668644A (zh) 2021-04-16
CN112668644B CN112668644B (zh) 2023-03-24

Family

ID=75410852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011580609.2A Active CN112668644B (zh) 2020-12-28 2020-12-28 一种基于ssd改进算法的无人机航拍目标检测方法

Country Status (1)

Country Link
CN (1) CN112668644B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160206A (zh) * 2021-04-30 2021-07-23 上海海事大学 一种钢轨轨道上异物检测的方法
CN113902680A (zh) * 2021-09-14 2022-01-07 西安建筑科技大学 引入注意力机制的多尺度特征融合ssd的螺栓松动检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647665A (zh) * 2018-05-18 2018-10-12 西安电子科技大学 基于深度学习的航拍车辆实时检测方法
CN109800628A (zh) * 2018-12-04 2019-05-24 华南理工大学 一种加强ssd小目标行人检测性能的网络结构及检测方法
CN111985476A (zh) * 2020-08-27 2020-11-24 新疆师范大学 一种基于ssd算法的交通指示牌目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647665A (zh) * 2018-05-18 2018-10-12 西安电子科技大学 基于深度学习的航拍车辆实时检测方法
CN109800628A (zh) * 2018-12-04 2019-05-24 华南理工大学 一种加强ssd小目标行人检测性能的网络结构及检测方法
CN111985476A (zh) * 2020-08-27 2020-11-24 新疆师范大学 一种基于ssd算法的交通指示牌目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YU ZHU ETC.: ""FRFB：Integrate Receptive Field Block into Feature Fusion Net for Single Shot Multibox Detector"", 《INTERNATIONAL CONFERENCE ON SEMANTICS，KNOWLEDGE AND GRIDS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160206A (zh) * 2021-04-30 2021-07-23 上海海事大学 一种钢轨轨道上异物检测的方法
CN113160206B (zh) * 2021-04-30 2023-09-12 上海海事大学 一种钢轨轨道上异物检测的方法
CN113902680A (zh) * 2021-09-14 2022-01-07 西安建筑科技大学 引入注意力机制的多尺度特征融合ssd的螺栓松动检测方法

Also Published As

Publication number Publication date
CN112668644B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN113052835B (zh) 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统
CN112668644B (zh) 一种基于ssd改进算法的无人机航拍目标检测方法
CN110570363A (zh) 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
CN113420643B (zh) 基于深度可分离空洞卷积的轻量级水下目标检测方法
CN112464912B (zh) 基于YOLO-RGGNet的机器人端人脸检测方法
CN109801232A (zh) 一种基于深度学习的单幅图像去雾方法
CN114463218B (zh) 一种基于事件数据驱动的视频去模糊方法
CN111968123A (zh) 一种半监督视频目标分割方法
CN111861914A (zh) 基于深度神经网络的低照度彩色偏振图像增强方法
CN111815526B (zh) 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统
CN111680705A (zh) 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN113269685A (zh) 一种融合多注意力机制的图像去雾方法
CN115937571A (zh) 车用玻璃球面度检测装置及其检测方法
CN115797808A (zh) 一种无人机巡检缺陷图像的识别方法、系统、装置及介质
CN116038147A (zh) 激光金属切割机及其控制方法
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
CN116597326A (zh) 一种基于改进YOLOv7算法的无人机航拍小目标检测方法
CN115561243A (zh) 锂电池制备中极片质量监测系统及其方法
CN105139433B (zh) 基于均值模型的红外弱小目标图像序列仿真方法
CN114067126A (zh) 一种红外图像目标检测方法
CN115526891B (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
CN112560668A (zh) 一种基于场景先验知识的人体行为识别方法
CN116704309A (zh) 基于改进生成对抗网络的图像去雾识别方法及系统
CN111339950A (zh) 一种遥感图像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant