CN109101926A - 基于卷积神经网络的空中目标检测方法 - Google Patents

基于卷积神经网络的空中目标检测方法 Download PDF

Info

Publication number
CN109101926A
CN109101926A CN201810924226.9A CN201810924226A CN109101926A CN 109101926 A CN109101926 A CN 109101926A CN 201810924226 A CN201810924226 A CN 201810924226A CN 109101926 A CN109101926 A CN 109101926A
Authority
CN
China
Prior art keywords
aerial target
frame
detection method
target detection
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810924226.9A
Other languages
English (en)
Inventor
张庆辉
万晨霞
卞山峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Aiyi Electronic Technology Co ltd
Henan University of Technology
Original Assignee
Zhengzhou Aiyi Electronic Technology Co ltd
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Aiyi Electronic Technology Co ltd, Henan University of Technology filed Critical Zhengzhou Aiyi Electronic Technology Co ltd
Priority to CN201810924226.9A priority Critical patent/CN109101926A/zh
Publication of CN109101926A publication Critical patent/CN109101926A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的空中目标检测方法，旨在解决现有检测方法对空中目标的检测精度低、无法适用的技术问题。本发明包括制作空中目标图像数据集，搭建基于Caffe深度学习框架的SSD模型并对其进行池化、反卷积、级联连接的改造，使用损失函数对检测模型进行优化，采用Softmax算法对特征进行分类，然后训练得到最终用于检测空中目标的检测模型。本发明的有益技术效果在于：适用于空中目标的尺寸规格，检测精度高。

Description

基于卷积神经网络的空中目标检测方法
技术领域
本发明涉及机器学习技术领域，具体涉及一种基于卷积神经网络的空中目标检测方法。
背景技术
随着防空武器光电跟踪的迅速发展，空中目标检测面临巨大挑战。空中目标相比地面目标所处空域背景较为简单平缓，但远处空中目标成像较小，并且容易受到光照、云雾干扰。近处的一些目标如小鸟快速灵活地机动难以捕捉，镜头晃动容易造成画面模糊失真，而且出于跟踪要求，检测速度需满足实时性。
传统的目标检测算法主要有帧差法、光流法、特征匹配法、背景建模法、阈值分割法。帧差法快捷且主动性好，但只能检测静态背景中的移动物体；光流法和特征匹配法检测精度和匹配度高，但需要手动初始化目标，缺乏自主性且计算量大；背景建模法利于目标和背景的自动分割，但模型的建立和更新较为耗时，尤其是动态背景，容易对结果产生干扰；阈值分割法对背景简单的情况便捷高效，但对于复杂的背景效果并不理想。
近年，随着深度学习的发展，基于卷积神经网络的深度学习在图像识别、图像检测和图像分割等领域都取得了显著成就。与传统的算法相比，避免了对图像目标的手工提取特征，能够提高模型的泛化能力。申请人于2018年1月17 日提出了申请号为“2018100446701”发明名称为“基于神经网络的道路目标检测方法”的发明专利申请，上述申请基于TensorFlow框架利用常规SSD网络模型来提高检测速度，但是这种方法对小目标的检测则是通过添加不同尺寸的特征图来实现的，并不足以适应空中目标的尺寸规格。
发明内容
本发明提供一种基于卷积神经网络的空中目标检测方法以解决现有的目标检测方法不足以适应空中目标尺寸规格的技术问题。
为解决上述技术问题，本发明采用如下技术方案：
设计一种基于卷积神经网络的空中目标检测方法，包括以下步骤：
步骤1、制作空中目标静态和视频图像数据集；
步骤2、搭建Caffe深度学习框架，其中模型的配置利用常规SSD模型完成，并采用VGG-16网络结构对步骤1中的图像数据集进行特征提取；
步骤3、采用池化、反卷积结构以及级联连接，对步骤2中的常规SSD模型进行改进；
步骤4、用交叉熵代价函数作为置信度损失函数，并与预测框与真实框之间的位置损失函数进行加权求和，得到总体的损失函数进行优化；
步骤5、对优化后的特征利用SoftMax算法进行分类得到检测结果。
进一步的，步骤1包括以下处理：按照VOC数据集格式标准构建空中目标检测数据集；其中每张图对应一个标签，标签标明了图片名称，图片中目标的类别以及目标外接矩形的坐标和宽高；所述空中目标检测数据集包含28段、2.1 万帧视频图像，以及1400张静态图像，分为鸟类、战斗机、直升机、客机四类目标。
进一步的，步骤3包括以下处理：(1)通过反卷积结构来连接较低层的特征图，通过池化结构来连接上层的特征图，反卷积结构仅使用带有批量归一化的反卷积层；(2)同时执行池化和反卷积以创建不同层的特征图，每个层通过池化和/或反卷积后得到相同大小的特征图；(3)采用级联连接，将(2)中得到的相同大小的特征图连接起来。
进一步的，步骤4中置信度损失函数定义为：其中：表示第i个默认框与类别为 p的第j个真实框相匹配，p为目标类别种类，表示第i个默认框为类别p的置信度，
进一步的，步骤4中位置损失函数定义为： 其中，(cx，cy)为默认框的中心，(w)为默认框的宽，(h)为默认框的高，g表示真实框的位置，d表示默认框的位置，l表示表示默认框相对于真实框的偏移量。
进一步的，步骤4中总体的目标损失函数定义为：其中：α＝0.5，N为默认框的个数。
与现有技术相比，本发明的有益技术效果在于：
1.本发明采用的Caffe网络框架相较于TensorFlow网络结构更加简单，操作更方便。
2.本发明采用池化和反卷积结构以及级联连接对常规SSD模型进行改进， VGG-16网络提取出的特征图每次卷积后通过池化连接到上层特征图，通过反卷积连接到下层特征图，采用级联连接将经过池化和反卷积处理后的特征图连接起来，使SSD模型可以通过共享权重统一不同层中的默认框，以此来提高SSD 模型检测小目标的能力，同时也能提高检测精度。
附图说明
图1是本发明基于神经网络的空中目标检测方法的目标数据集；
图2是本发明基于神经网络的空中目标检测方法的SSD模型结构示意图；
图3是本发明基于神经网络的空中目标检测方法对SSD模型进行改进的示意图；
图4是本发明基于神经网络的空中目标检测方法在改进SSD模型下空中目标检测的结果图；
图5是本发明基于神经网络的空中目标检测方法在常规SSD和改进SSD模型下训练空中目标鸟类的Precision-Recall曲线图；
图6是本发明基于神经网络的空中目标检测方法在常规SSD和改进SSD模型下训练空中目标战斗机的Precision-Recall曲线图；
图7是本发明基于神经网络的空中目标检测方法在常规SSD和改进SSD模型下训练空中目标直升机的Precision-Recall曲线图；
图8是本发明基于神经网络的空中目标检测方法在常规SSD和改进SSD模型下训练空中目标客机的Precision-Recall曲线图。
具体实施方式
下面结合附图和实施例来说明本发明的具体实施方式，但以下实施例只是用来详细说明本发明，并不以任何方式限制本发明的范围。
以下实施例中所涉及或依赖的程序均为本技术领域的常规程序或简单程序，本领域技术人员均能根据具体应用场景做出常规选择或者适应性调整。
实施例1：一种基于卷积神经网络的空中目标检测方法，参见图1至图3，首先，按照VOC数据集格式标准构建空中目标数据集。数据集中每张图对应一个标签，标签标明了图片名称，图片中目标的类别以及目标外接矩形的坐标和宽高。数据集包含28段2.1万帧视频图像，以及1400张静态图像，分为鸟类 (空中飞行的鸟)，战斗机(军用固定翼飞机)，直升机(旋翼飞机)，客机(大小型客机)四类目标。数据集中大多目标处于飞行状态，背景除天空外，也包括地面和海面的场景。
将上述空中目标训练集的文件夹放在基于Caffe深度学习框架的SSD模型 data文件夹下，参见图2，运用多个卷积核对特征图进行多次卷积产生一系列固定大小的默认框，以及每一个框包含物体实例的可能性，常规的SSD模型一共产生38*38*4+19*19*6+10*10*6+5*5*6+3*3*4+1*1*4＝8732个默认框，本实施例在VGG-16部分新增了Conv3层，使默认框个数增加至8732+75*75*4＝31232 个，更有利于小目标的检测。但仅通过默认框的增加对于空中目标的检测效果提升并不明显，因此，本实施例对每次卷积后产生特征图进行处理，具体操作如下：通过池化将较低层中的特征图连接到上层的特征图，参见图3(a),通过反卷积将上层的特征图连接到下层特征，参见图3(b)，以conv9层的特征图为例，对其下层的conv8、conv7、conv4、conv3进行池化，上层的conv10、conv11 进行反卷积，得到与conv9层相同大小的特征图；将下层池化和上层反卷积的特征图进行级联连接并送入softmax分类层，参见图3(c)，进而得到所需的默认框。默认框进入分类层前，需要利用损失函数进行优化，上述损失函数为置信度损失函数与位置损失函数的加权和，置信度损失函数的表达式为：其中：表示第i个默认框与类别为p的第j个真实框相匹配，p为目标类别种类，表示第i个默认框为类别p的置信度，位置损失函数的表达式为： 其中，(cx，cy)为默认框的中心，(w)为默认框的宽，(h)为默认框的高，g表示真实框的位置，d表示默认框的位置，l表示表示默认框相对于真实框的偏移量；总体的损失函数表达式为：N为默认框的个数，α取0.5。
空中训练集中的图像每次进入上述检测模型，经特征提取、优化、分类等操作产生的参数会被检测模型加以保留，并作为下次检测的参考，此即为机器学习，将上述训练集中的所有图像依次输入检测模型这一过程为检测模型的训练，训练后的检测模型即为最终需要的检测模型。此时，将测试集中的图像输入该最终的检测模型即可得出该图像中含有的空中目标的类别和位置。
图4为本实施例改进的SSD模型下空中目标检测的结果图，(a)中目标为林间飞行的鸟，背景中含有大面积的树林，环境比较复杂，(b)中目标为战斗机，背景颜色与右侧的目标颜色较为接近，(c)中目标位直升机，背景则比较复杂，含有高山、白云、地面目标等，(d)中目标为客机，其与背景颜色较为相近，而且右侧含有对比度较为明显的遮挡物，(e)中目标位客机，距离较远，图像中目标弱小，(f)为快速飞行的鸟。由该结果可知本实施例对于大面积遮挡、目标弱小、复杂背景、光照影响、运动模糊等多种影响检测效果的因素下仍能准确检测出目标。
图5是本发明在SSD和改进的SSD模型下训练空中目标鸟类的 Precision-Recall曲线图；图6是本发明在SSD和改进的SSD模型下训练空中目标战斗机的Precision-Recall曲线图；图7是本发明在SSD和改进的SSD模型下训练空中目标直升机的Precision-Recall曲线图；图8是本发明在SSD和改进的SSD模型下训练空中目标客机的Precision-Recall曲线图。曲线下的面积表示的是检测精度，对曲线求积分可以得出，原来的SSD算法平均检测精度mAP＝0.51，而改进后的SSD算法平均检测精度mAP＝0.72，平均检测精度提高了0.21。
上面结合附图和实施例对本发明作了详细的说明，但是，所属技术领域的技术人员能够理解，在不脱离本发明宗旨的前提下，还可以对上述实施例中的各个具体参数进行变更，形成多个具体的实施例，均为本发明的常见变化范围，在此不再一一详述。

Claims (7)

1.一种基于卷积神经网络的空中目标检测方法，其特征在于，包括以下步骤：
步骤1、制作空中目标的图像数据集，包括训练集和测试集，其中，70％的图像为训练集，30％的图像为测试集；
步骤2、搭建Caffe深度学习框架，其中模型的配置利用常规SSD模型完成，并采用VGG-16网络进行特征提取；
步骤3、采用池化、反卷积结构以及级联连接，对步骤2中的常规SSD模型进行改进；
步骤4、用交叉熵代价函数作为置信度损失函数，并与预测框与真实框之间的位置损失函数进行加权求和，得到总体的损失函数进行优化；
步骤5、对优化后的特征利用SoftMax算法进行分类，进而得到初步的检测模型；
步骤6、利用步骤1中的训练集对步骤5所述的初步的检测模型进行训练，得到最终的检测模型；
步骤7、将测试集输入步骤6中最终的训练模型，得出测试结果。
2.根据权利要求1所述的基于卷积神经网络的空中目标检测方法，其特征在于，所述步骤1包括以下处理：按照VOC数据集格式标准构建空中目标检测数据集；其中每张图对应一个标签，标签标明了图片名称，图片中目标的类别以及目标外接矩形的坐标和宽高。
3.根据权利要求2所述的基于卷积神经网络的空中目标检测方法，其特征在于，所述空中目标检测数据集包含28段、2.1万帧视频图像，以及1400张静态图像，分为鸟类、战斗机、直升机、客机四类目标。
4.根据权利要求1所述的基于卷积神经网络的空中目标检测方法，其特征在于，所述步骤3包括以下处理：
(1)通过反卷积结构来连接较低层的特征图，通过池化结构来连接上层的特征图，反卷积结构仅使用带有批量归一化的反卷积层；
(2)同时执行池化和反卷积以创建不同层的特征图，每个层通过池化或反卷积后得到相同大小的特征图；
(3)采用级联连接，将(2)中得到的相同大小的特征图连接起来。
5.根据权利要求1所述的基于卷积神经网络的空中目标检测方法，其特征在于，所述步骤4中置信度损失函数定义为：其中：表示第i个默认框与类别为p的第j个真实框相匹配，p为目标类别种类，表示第i个默认框为类别p的置信度，
6.根据权利要求1所述的基于卷积神经网络的空中目标检测方法，其特征在于，所述步骤4中位置损失函数定义为： 其中，(cx，cy)为默认框的中心，(w)为默认框的宽，(h)为默认框的高，g表示真实框的位置，d表示默认框的位置，l表示表示默认框相对于真实框的偏移量。
7.根据权利要求1所述的基于卷积神经网络的空中目标检测方法，其特征在于，所述步骤4中总体的目标损失函数定义为：其中：α＝0.5，N为默认框的个数。
CN201810924226.9A 2018-08-14 2018-08-14 基于卷积神经网络的空中目标检测方法 Pending CN109101926A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810924226.9A CN109101926A (zh) 2018-08-14 2018-08-14 基于卷积神经网络的空中目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810924226.9A CN109101926A (zh) 2018-08-14 2018-08-14 基于卷积神经网络的空中目标检测方法

Publications (1)

Publication Number Publication Date
CN109101926A true CN109101926A (zh) 2018-12-28

Family

ID=64849571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810924226.9A Pending CN109101926A (zh) 2018-08-14 2018-08-14 基于卷积神经网络的空中目标检测方法

Country Status (1)

Country Link
CN (1) CN109101926A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741318A (zh) * 2018-12-30 2019-05-10 北京工业大学 基于有效感受野的单阶段多尺度特定目标的实时检测方法
CN109840502A (zh) * 2019-01-31 2019-06-04 深兰科技（上海）有限公司 一种基于ssd模型进行目标检测的方法及设备
CN109886359A (zh) * 2019-03-25 2019-06-14 西安电子科技大学 基于卷积神经网络的小目标检测方法及检测模型
CN110020669A (zh) * 2019-03-04 2019-07-16 珠海亿智电子科技有限公司 一种车牌分类方法、系统、终端设备及计算机程序
CN110059641A (zh) * 2019-04-23 2019-07-26 重庆工商大学 基于多预置点的深度鸟类识别算法
CN110348319A (zh) * 2019-06-18 2019-10-18 武汉大学 一种基于人脸深度信息和边缘图像融合的人脸防伪方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680508A (zh) * 2013-11-29 2015-06-03 华为技术有限公司 卷积神经网络和基于卷积神经网络的目标物体检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680508A (zh) * 2013-11-29 2015-06-03 华为技术有限公司 卷积神经网络和基于卷积神经网络的目标物体检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JISOO JEONG 等: "Enhancement of SSD by concatenating feature maps for object detection", 《BMVC 2017》 *
ROSS GIRSHICK 等: "Fast R-CNN", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
WEI LIU 等: "SSD: Single Shot MultiBox Detector", 《HTTPS://ARXIV.ORG》 *
冯小雨 等: "基于改进Faster R-CNN的空中目标检测", 《光学学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741318A (zh) * 2018-12-30 2019-05-10 北京工业大学 基于有效感受野的单阶段多尺度特定目标的实时检测方法
CN109741318B (zh) * 2018-12-30 2022-03-29 北京工业大学 基于有效感受野的单阶段多尺度特定目标的实时检测方法
CN109840502A (zh) * 2019-01-31 2019-06-04 深兰科技（上海）有限公司 一种基于ssd模型进行目标检测的方法及设备
CN109840502B (zh) * 2019-01-31 2021-06-15 深兰科技（上海）有限公司 一种基于ssd模型进行目标检测的方法及设备
CN110020669A (zh) * 2019-03-04 2019-07-16 珠海亿智电子科技有限公司 一种车牌分类方法、系统、终端设备及计算机程序
CN109886359A (zh) * 2019-03-25 2019-06-14 西安电子科技大学 基于卷积神经网络的小目标检测方法及检测模型
CN110059641A (zh) * 2019-04-23 2019-07-26 重庆工商大学 基于多预置点的深度鸟类识别算法
CN110348319A (zh) * 2019-06-18 2019-10-18 武汉大学 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN110348319B (zh) * 2019-06-18 2021-05-04 武汉大学 一种基于人脸深度信息和边缘图像融合的人脸防伪方法

Similar Documents

Publication Publication Date Title
CN109101926A (zh) 基于卷积神经网络的空中目标检测方法
CN107862705B (zh) 一种基于运动特征和深度学习特征的无人机小目标检测方法
CN108647655B (zh) 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法
CN108491854B (zh) 基于sf-rcnn的光学遥感图像目标检测方法
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN103218831B (zh) 一种基于轮廓约束的视频运动目标分类识别方法
CN108805906A (zh) 一种基于深度图的运动障碍物检测及定位方法
CN109949361A (zh) 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN108898065B (zh) 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法
CN106534616A (zh) 一种基于特征匹配与运动补偿的视频稳像方法及系统
CN110992378B (zh) 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
CN110728197B (zh) 基于深度学习的单木级树种识别方法
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN109325490A (zh) 基于深度学习和rpca的太赫兹图像目标识别方法
CN111611889B (zh) 基于改进卷积神经网络的农田微型虫害识别装置
CN109753996B (zh) 基于三维轻量化深度网络的高光谱图像分类方法
CN111968171A (zh) 基于人工智能的飞机油量测量方法及系统
CN108549910A (zh) 一种基于卷积神经网络的玉米制种果穗图像初级分类方法
CN111931620A (zh) 仪表盘定位识别方法、装置、电子设备及存储介质
CN114972646B (zh) 一种实景三维模型独立地物的提取与修饰方法及系统
Zou et al. Microarray camera image segmentation with Faster-RCNN
CN108257179B (zh) 一种图像处理方法
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN111260687B (zh) 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
CN114463619B (zh) 基于集成融合特征的红外弱小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181228