CN110516761A - 基于深度学习的目标检测系统、方法、存储介质及终端 - Google Patents

基于深度学习的目标检测系统、方法、存储介质及终端 Download PDF

Info

Publication number
CN110516761A
CN110516761A CN201910828881.9A CN201910828881A CN110516761A CN 110516761 A CN110516761 A CN 110516761A CN 201910828881 A CN201910828881 A CN 201910828881A CN 110516761 A CN110516761 A CN 110516761A
Authority
CN
China
Prior art keywords
layer
output
connect
depth
revoluble
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910828881.9A
Other languages
English (en)
Inventor
邓建华
贤天奎
俞泉泉
孙一鸣
钱璨
王云
周群芳
范满平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Rong Hao Electronic Mdt Infotech Ltd
Original Assignee
Chengdu Rong Hao Electronic Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Rong Hao Electronic Mdt Infotech Ltd filed Critical Chengdu Rong Hao Electronic Mdt Infotech Ltd
Priority to CN201910828881.9A priority Critical patent/CN110516761A/zh
Publication of CN110516761A publication Critical patent/CN110516761A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度学习的目标检测系统、方法、存储介质及终端，属于目标检测技术领域，系统包括第一特征提取模块、第二特征提取模块、第一输出层、第二输出层、上采样层和连接层；第一特征提取模块第一输出端与第二特征提取模块连接，第二特征提取模块第一输出端与第一输出层连接，得到像素占比大的目标物的第一输出模型；第一特征提取模块第二输出端与连接层连接，第二特征提取模块第二输出端与上采样层连接，上采样层输出端与连接层连接，连接层输出端与第二输出层连接，得到像素占比小的目标物第二输出模型。本发明包括包括两个输出，能够对不同大小的目标物进行检测，且使用深度可分卷积层进行下采样，减小了计算量的同时避免了细节特征消失。

Description

基于深度学习的目标检测系统、方法、存储介质及终端
技术领域
本发明涉及目标检测技术领域，尤其涉及基于深度学习的目标检测系统、方法、存储介质及终端。
背景技术
随着国家低空空域的开放及科学技术的飞速发展，各类低空飞行器的机动性、可操作性不断增强，民用、军用小型航空器数量急剧增加，空中安全形势严峻。因此迫切需要研究对低空空域可靠的监测技术。此前，空中飞行物探测主要使用各类雷达实现，而针对体积小、速度慢的低空飞行目标(以下简称低慢小目标)，军用的超低空补盲雷达造价昂贵难以大量部署，针对小目标效果不佳，且无法民用。
目前利用光电手段采集低空图像以发现低慢小目标是一种有效的方法，仅需要一个摄像头搭配计算机即可工作，适用场景广泛且可大量部署。对单帧灰度图像实现低慢小目标的有效检测包括多种算法，其中主要是频域法，和神经网络法。其中频域法从频域处理图像，常用的手段有小波变换、形态学滤波等，这类算法可以有效提取孤立目标，但是容易出现虚假目标，对存在大量杂波的场景下无法完成任务。而利用神经网络确立低慢小目标时，需要处理的实验数据较多，计算量大，不能对不同大小的目标物进行准确检测，且无法避免低慢小目标的细节特征消失的问题，导致对低慢小目标检测的准确率不高。
发明内容
本发明的目的在于克服现有技术无法避免低慢小目标的细节特征消失的问题，提供基于深度学习的目标检测系统、方法、存储介质及终端。
本发明的目的是通过以下技术方案来实现的：基于深度学习的目标检测系统，具体包括包括第一特征提取模块、第二特征提取模块、第一输出层、第二输出层、上采样层和连接层；所述第一特征提取模块第一输出端与所述第二特征提取模块连接，所述第二特征提取模块第一输出端与所述第一输出层连接，得到用于检测像素占比大的目标物第一输出模型；所述第一特征提取模块第二输出端与所述连接层连接，所述第二特征提取模块第二输出端与上采样层连接，所述上采样层输出端与所述连接层连接，所述连接层输出端与所述第二输出层连接，得到用于检测像素占比小的目标物的第二输出模型。
具体地，第一特征提取模块包括第一普通卷积块和若干下采样块，所述下采样块包括普通卷积块和下采样深度可分卷积块，所述普通卷积块输出端与所述下采样深度可分卷积块连接；所述普通卷积块包括第一卷积层、第一批归一化层和第一leaky ReLU层，所述第一卷积层输出端与所述第一批归一化层连接，所述第一批归一化层输出端与所述第一leaky ReLU层连接；所述下采样深度可分卷积块包括第一深度可分卷积层、第二批归一化层和第二leaky ReLU层，所述第一深度可分卷积层输出端与所述第二批归一化层连接，所述第二批归一化层输出端与所述第二leaky ReLU层连接。
具体地，第二特征提取模块包括第五下采样块、第一逐点卷积块、若干深度可分卷积残差块、第二逐点卷积块、第四深度可分卷积残差块、第三逐点卷积块；所述第五下采样块输出端与所述第一逐点卷积块连接，所述第一逐点卷积块与若干深度可分卷积残差块连接，所述若干深度可分卷积残差块输出端与所述第二逐点卷积块连接，所述第二逐点卷积块输出端与所述第四深度可分卷积残差块连接，所述第四深度可分卷积残差块与所述第三逐点卷积块连接。
具体地，逐点卷积块包括第二卷积层、第四批归一化层和第四leaky ReLU层，所述第二卷积层输出端与所述第四批归一化层连接，所述第四批归一化层输出端与所述第四leaky ReLU层连接；
具体地，深度可分卷积块包括第二深度可分卷积层、第三批归一化层和第三leakyReLU层，所述第二深度可分卷积层输出端与所述第三批归一化层连接，所述第三批归一化层输出端与所述第三leaky ReLU层连接。
具体地，深度可分卷积残差块包括相加层和若干深度可分卷积块，所述若干深度可分卷积残差块依次连接，且深度可分卷积残差块输出端与所述相加层连接；所述深度可分卷积残差块包括第二深度可分卷积层、第三批归一化层和第三leaky ReLU层，所述第二深度可分卷积层输出端与所述第三批归一化层连接，所述第三批归一化层输出端与所述第三leaky ReLU层连接。
具体地，系统还包括输出转换模块，输出层输出端与所述输出转换模块连接，以将输出模型转换为具体目标信息；所述输出层包括普通卷积块和卷积层，所述普通卷积块输出端与所述卷积层连接。
本发明还包括一种基于深度学习的目标检测系统的方法，方法包括：
第一特征提取模块对输入图像进行下采样处理，得到保留局部特征信息的第一特征图；
第二特征提取模块对第一特征图进行特征提取得到第二特征图，第一输出层使用大anchor框对所述第二特征图进行处理，得到对应像素占比大的目标物的第一输出模型；
上采样层对所述第二特征图进行上采样处理，连接层将完成上采样处理的第二特征图与第一特征图的特征进行连接得到第三特征图并输出至第二输出层，第二输出层使用小anchor框对所述第三特征图进行处理，得到对应像素占比大的目标物的第二输出模型。
本发明还包括一种存储介质，其上存储有计算机指令，计算机指令运行时执行一种基于深度学习的目标检测系统的方法的步骤。
本发明还包括一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行一种基于深度学习的目标检测系统的方法的步骤。
与现有技术相比，本发明有益效果是：
(1)本发明经第一特征提取模块、第二特征提取模块和第一输出层得到用于检测像素占比大的目标物的第一输出模型；第二特征提取模块输出的特征图经上采样层采样后与第一特征提取模块输出的特征图经连接层连接，最后经第二输出层输出，得到用于检测像素占比小的目标物的第二输出模型，进一步实现小目标物的检测，提升了对小目标物的分类效果，针对低慢小飞行物的检测具有准确率高、检出率高、鲁棒性高的特点。
(2)本发明使用深度可分卷积层作为系统模型的下采样的方式，取代传统卷积神经网络中池化层作为下采样的方式，保证计算量不会过大，同时避免了池化层造成的细节特征消失。
(3)本发明本发明大量使用深度可分卷积替代传统的卷积操作，降低了网络中的参数冗余度，在同等计算资源条件下，可以构建更深层的网络(本发明模型中使用了达到4个残差块，而使用传统卷积，单一个残差块计算量就会超过本模型，在有限计算资源下甚至不需要使用残差连接)以提高了网络计算效益。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明，此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图中：
图1为本发明实施例1的系统框图；
图2为本发明实施例1的模块示意图；
图3位本发明实施例1的检测效果示意图。
具体实施方式
下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，属于“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方向或位置关系为基于附图的方向或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，属于“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
如图1所示，在实施例1中，基于深度学习的目标检测系统，具体包括第一特征提取模块、第二特征提取模块、第一输出层、第二输出层、上采样层、连接层、输出转换层、预处理单元。其中，输出层包括普通卷积块和卷积层，普通卷积块输出端与卷积层连接。具体地，第一特征提取模块第一输出端与第二特征提取模块连接，第二特征提取模块第一输出端与第一输出层连接，得到用于检测像素占比大的目标物的第一输出模型；第一特征提取模块第二输出端与连接层连接，第二特征提取模块第二输出端与上采样层连接，上采样层输出端与连接层连接，连接层输出端与第二输出层连接，得到用于检测像素占比小的目标物的第二输出模型，输出模型经输出转换模块进行目标信息的转换，实现目标物体的检测。
进一步地，预处理单元负责对图片进行以下操作后传入第一特征提取模块：首先将输入图片大小resize缩小成，使其像素长宽为与原图最相近的32的倍数，举例而言，420*330的图片，resize成416*320；接着，若输入为三通道彩图，将图片转换为单通道灰度图的浮点数张量；最后将图片归一化到0至1之间，具体而言，若为8位灰度图，将所有元素除以255即可。
进一步地，第一特征提取模块包括第一普通卷积块和若干下采样块，一个通道数为n的下采样块包括一个通道数为n的普通卷积块和一个通道数为n的下采样深度可分卷积块，普通卷积块输出端与下采样深度可分卷积块连接；普通卷积块包括一个通道数为n、步幅为(1,1)的3x3第一卷积层、第一批归一化层和第一leaky ReLU层，第一卷积层输出端与第一批归一化层连接，第一批归一化层输出端与第一leaky ReLU层连接；一个通道数为n的下采样深度可分卷积块包括步幅为(2,2)的3x3深度第一深度可分卷积层、第二批归一化层和第二leaky ReLU层，第一深度可分卷积层输出端与第二批归一化层连接，第二批归一化层输出端与第二leaky ReLU层连接。
进一步地，第二特征提取模块包括第五下采样块、第一逐点卷积块、若干深度可分卷积残差块、第二逐点卷积块、第四深度可分卷积残差块、第三逐点卷积块；第五下采样块输出端与第一逐点卷积块连接，第一逐点卷积块与若干深度可分卷积残差块连接，若干深度可分卷积残差块输出端与第二逐点卷积块连接，第二逐点卷积块输出端与第四深度可分卷积残差块连接，第四深度可分卷积残差块与第三逐点卷积块连接。
进一步地，一个通道数为n的逐点卷积块包括一个通道数为n，步幅为(1,1)的1x1第二卷积层、第四批归一化层和第四leaky ReLU层，第二卷积层输出端与第四批归一化层连接，第四批归一化层输出端与第四leaky ReLU层连接；
进一步地，一个通道数为n的深度可分卷积块包括一个通道数为n，步幅为(1,1)的3x3第二深度可分卷积层、第三批归一化层和第三leaky ReLU层，第二深度可分卷积层输出端与第三批归一化层连接，第三批归一化层输出端与第三leaky ReLU层连接。
进一步地，一个通道数为n的残差块由两个通道数为n的深度可分卷积块链接，再由一个相加层把两个卷积块之前的特征图与两个卷积块之后的特征图逐元素相加融合，深度可分卷积残差块输出端与相加层连接；深度可分卷积残差块包括第二深度可分卷积层、第三批归一化层和第三leaky ReLU层，第二深度可分卷积层输出端与第三批归一化层连接，第三批归一化层输出端与第三leaky ReLU层连接。
进一步地，卷积层对特征图使用卷积核进行特定步幅的遍历，对特征图逐元素相乘求和获得一个输出，遍历整张特征图后获得一张输出特征图。卷积核大小可自由设置，通道数与特征图通道数相同，一个卷积核遍历可生成一张特征图，因此卷积核数量决定输出特征图的通道数。卷积核参数由模型训练决定。
进一步地，批归一化层以特征图中每个通道为单位(以批特征图形状batchsize*W*H*C为例)，每一个batch的特征图，对其中各通道的数据(数据量为batchsize*W*H*1)做标准化，再进行线性变换。使该通道batch的方差为1，均值为0。再对标准化后的该该通道batch中各数据进行统一线性变换y＝W*x+b，其中W、b为可训练参数，值由模型训练决定。BN层本质上是为了解决反向传播过程中的梯度问题而被普遍采用，同时可加快网络收敛速度且起到一定正则化作用。
进一步地，深度可分卷积层对特征图进行逐元素相乘后，仅对特征图的各通道分别求和，各通道间保持分离，此操作获得中间特征图，该中间与原特征图通道数一致，再对中间特征图进行卷积核大小为1x1的标准卷积操作，获得输出特征图，因此输出特征图通道数由1x1卷积核数量决定。深度可分卷积其实是将标准卷积分离为空间的卷积和通道的卷积分开进行，亦可理解为Inception模块的极端形式。其作用是相较于同样数量卷积核的普通卷积大幅降低卷积运算的计算量提高计算速度，堆叠更宽更深的模型。
进一步地，Leaky ReLU层其目的在于尝试解决ReLU导致神经元死亡问题。在一张特征图中，ReLU将所有的负值元素置零，而Leaky ReLU是给负值赋予一个小的非零斜率，如可令斜率为0.1。进一步地，Leaky ReLU作为激活函数，当输入值大于0时，其输出为原值，输入值小于0时，其输出为原值乘以系数r＝0.1；模型中所有的卷积层、深度可分卷积层使用L2正则化；模型中卷积层、深度可分卷积层不使用偏置值。
进一步地，上采样层对特征图使用双线性内插法得到特定倍数的特征图。
进一步地，相加层对两个或多个长、宽、通道数相同的特征图进行逐元素相加得到一张特征图。
进一步地，连接层对两个或多个长、宽相同的特征图进行通道上的拼接，合成一张特征图。
进一步地，待预测的灰度图片输入4个通道数不同的下采样块，通道数依次为16，32，64，128，接着接一个通道数为256的普通卷积块进行特征提取得到第一特征图F1。其中，预测的灰度图片的像素张量，大小为(H，W，1)，H、W要求为32的倍数,像素数值大小归一化到-1至1之间。第一特征图经通道数为256的下采样深度可分卷积、再接一个通道数为512的逐点卷积、连续链接三个通道数为512的深度可分卷积残差块、再接一个通道数为1024的深度可分卷积残差块、再接一个通道数为256的逐点卷积块进行特征提取，得到第二特征图F2。第二特特征图经一个通道数为256的普通卷积块、一个通道数为3*(5+目标物种数)的输出卷积层(即普通卷积层)，得到第一输出模型y1。在另一个分支上，第二特征图F2接入一个上采样倍数为2的上采样层，其输出特征图与F1一起接入连接层，在通道维度上连接在一起，接下与第一输出模型y1相同，接一个通道数为256的普通卷积块、再接一个通道数为3*(5+目标物种数)的输出卷积层，得到第二输出模型y2。更为具体的，第一输出模型y1特征图下采样5次，模型的输出层张量形状为(H/32,W/32,3*(num_classes+5))；第二输出模型y2特征图下采样4次，模型的输出层张量形状为(H/16,W/16,3*(num_classes+5))。其中H、W为输入图像的长、宽，num_classes为需检测的目标物的种类数；第一输出模型y1、第二输出模型y2的前两维可理解为将图像划分为了H/16,W/16个网格及H/32,W/32个网格，后一维则代表了中心在该格子中的目标物的检测信息；第三维中的3意味着三个网格单元，每个网格单元对应了一个anchor框，anchor框对应了依据数据集kmeans聚类的结果，其中第一输出模型y1使用6个anchors中大的三个，第二输出模型y2使用6个anchors中小的三个，这意味我们设计模型中期望其产生此类效果：中心在本格子中的目标物依大小不同将偏向于激活对应的网格单元。显而易见，在我们设计的模型中，我们期望大的目标物将偏向于激活第一输出模型y1，小的目标物将偏向于激活第二输出模型y2；第三维中的5意味着每个网格单元有5个输出(注意，此处输出未经过转换单元数值尚未明确意义)，他们分别是：此网格单元中出现了目标物的置信度tp，目标物中心点在本格子中的相对坐标tx,ty，目标物的长宽信息tw,th。
更进一步地，将输出模型转换为具体的目标物信息的转换过程如下：目标物的置信度P：P＝σ(tp)，其中σ()为Sigmoid函数；目标物在整张图片中的坐标bx,by:bx＝(σ(tx)+cx)*32(32是以y1为例，y2则为乘以16，下同)，by＝(σ(ty)+cy)*32，其中cx、cy意思是，本格子所在为整张图像中的横向第cx个格子，纵向第cy个格子(cx，cy从0开始计数)；目标物的长宽bw,bh:bw＝pw*exp(tw)，bh＝ph*exp(th)，其中pw、ph为此anchor框的长宽，exp()是以e为底的指数函数。对整个输出特征图完成转换后，依据预设的阈值t＝0.5,提取出所有网格的全部网格单元中置信度P高于t的检出目标物。而预测时，再对所有检出目标物使用NMS(非极大值抑制)算法，得到检测结果。
本发明模型中设计了两个输出，第一输出模型y1输出基于5次下采样的特征图，其输出对应使用六个Kmeas聚类结果中较大的三个，负责相对像素占比大较大的目标物检测；第二输出模型y2输出基于4次下采样后的特征图与最后模型输出后上采样的特征图结合，对应使用六个Kmeas聚类结果中较小的三个，对小目标物的检出效果好，且结合了高级特征，提升了对小目标物的分类效果。
本发明大量使用深度可分卷积替代传统的卷积操作，降低了网络中的参数冗余度，在同等计算资源条件下，可以构建更深层的网络(本发明模型中使用了达到4个残差块，而使用传统卷积，单一个残差块计算量就会超过本模型，在有限计算资源下甚至不需要使用残差连接)以提高了网络计算效益。具体到输入与输出特征图和卷积核大小数量相同的深度可分卷积层与普通卷积层的计算量比较而言，令输入特征图宽Hin，高Win，通道数Cin；卷积核大小为k*k,通道数为Cout,卷积步幅为S，则依卷积原理可知，做普通卷积时该层计算量为Hin*Win*k*k*Cin*Cout/S；依深度可分卷积原理可知，做深度可分卷积时计算量为Hin*Wint*Cin*(k*k+Cout)/S。可见深度可分卷积的计算量为普通卷积的1/Cout+1/(k*k)。在本发明模型情况下，占主要计算量的深度可分卷积残差块中卷积核大小k＝3，通道数皆远大于k*k(512,1024)，相较普通卷积块可达到逼近1/9的降低计算量效果，以此换取网络宽度深度，提高检测效果。
本发明创造性地使用步幅为2的深度可分卷积层作为模型下采样的方式，取代传统卷积神经网络中池化层作为下采样的方式，保证计算量不会过大，同时避免了池化层造成的细节特征消失，其具体的检测效果如图3所示，图3左侧是采用池化层作为下采样得到的针对低慢小飞行物的检测结果，图3右侧是采用深度可分卷积层作为下采样的方式实现的低慢小目标飞行物的检测。需要说明的是，池化(无论最大池化或是平均池化)操作是导致卷积神经网络对小目标物的检测效果不佳的重要原因之一，使用步幅为2的深度可分卷积代替池化，可达到下采样缩小特征图的目的，同时可以作为特征提取的一层，变相加深了网络深度，提升检测效果。
实施例2
本实施例与实施例1具有相同的发明构思，提供了一种基于深度学习的目标检测系统的方法，本发明中检测方法使用的基于深度学习的目标检测系统结构针对低慢小目标检测设计，具有对低慢小目标检测任务的优秀效果，且效率较高，模型部署在Nvidia的TX2硬件平台上运行对416*416图像进行检测任务可达10帧/s。
具体地，一种基于深度学习的目标检测系统的方法，方法具体包括：
步骤S1：形成数据集。具体地，形成数据集包括搜集低慢小目标场景的灰度图像数据形成数据集，在实施例中数据集中，目标飞行物有：单旋翼飞行器、多旋翼飞行器、固定翼飞行器、鸟、气球总计5种类别。人工标注目标物数据种类、坐标、长宽信息，使用K-means算法对数据集中所有目标物大小长宽聚类成6个长宽不等的anchor框。
步骤S2：建立网络模型。
步骤S3：训练模型，将训练完成的基于深度学习的目标检测系统及anchor框参数载入检测系统中，进行实时目标检测任务。
具体地，步骤S3具体包括：
步骤S31：训练模型，将anchor框数据载入模型输出处的坐标换算单元；图像像素长宽resize成32的倍数，使用随机裁剪、镜像等图像数据增强技术对训练数据处理；使用数据集用带衰竭的三角循环学习率的随机梯度下降法进行训练，直至模型收敛。其中，三角循环学习率策略的学习率初始上限0.00101，学习率初始下限0.00001,学习率循环周期14，每个周期后学习率上限与下限的差的衰竭倍数为1.6，学习率在每个周期中将从下限开始线性上升至上限然后线性下降到下限，不断循环。
步骤S32：将待预测的灰度图像像素长宽resize成与原图像相近的32的倍数，并输入至实施例1中的基于深度学习的目标检测系统进行特征提取，进行特征提取具体包括：
步骤S321：第一特征提取模块对输入图像进行下采样处理，得到保留局部特征信息的第一特征图；
步骤S322：第二特征提取模块对第一特征图进行特征提取得到第二特征图，第一输出层使用大anchor框对第二特征图进行处理，得到对应像素占比大的目标物的第一输出模型；
步骤S323：上采样层对第二特征图进行上采样处理，连接层将完成上采样处理的第二特征图与第一特征图的特征进行连接得到第三特征图并输出至第二输出层，第二输出层使用小anchor框对第三特征图进行处理，得到对应像素占比小的目标物的第二输出模型。
步骤S33：提取输出模型中高于阈值的一个或多个输出，对输出进行换算得到该图像中存在的目标飞行物种类、坐标、长宽等信息。其中，对于置信度P损失、分类损失使用binary cross-entropy loss，对于中心点坐标x、y，使用平方损失函数，对于长宽h、w，使用对h、w开方后的平方损失。另一方面，做出以下术语规定，对于所有网格单元，在网格单元预测与ground truth的IOU大于阈值0.5时，记作该网格中目标物存在，在小于阈值0.5时计做该网格中目标物不存在，在网格单元预测中ground truth的IOU最高的单元，记作最匹配单元格。长宽、坐标损失仅在最匹配的网格单元计算，其损失权重为5；分类损失，在存在目标的网格单元中计此目标物类目真值为真，存在目标的网格单元中损失权重为1，不存在目标的网格单元中损失权重为0.5；置信度损失，同样，在存在目标的网格中计其存在目标物真值为真，并在所有网格单元中计算，其损失权重为1。
步骤S34：将检测结果传输至外部处理系统(报警系统和/或显示系统)。
本实施例提供了一种存储介质，是在实施例1基础上作出的进一步优化，其上存储有计算机指令，计算机指令运行时执行实施例1中的一种基于深度学习的目标检测系统的方法的步骤。
基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例还提供一种终端，是在实施例1基础上作出的进一步优化，包括存储器和处理器，存储器上存储有可在处理器上运行的计算机指令，处理器运行计算机指令时执行实施例1中的一种基于深度学习的目标检测系统的方法的步骤。处理器可以是单核或者多核中央处理单元或者特定的集成电路，或者配置成实施本发明的一个或者多个集成电路。
在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
本实施例用于低慢小空中目标物的光学图像检测，当然，本发明提出的网络结构事实上并不仅仅限定于对空中飞行物的目标检测，还可以是其他物体的识别，该网络结构尤其适用于各类小目标的检测，例如目标物仅有几十个像素点的情况，其他的使用方式在本发明实施例中不再详细赘述。以上具体实施方式是对本发明的详细说明，不能认定本发明的具体实施方式只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演和替代，都应当视为属于本发明的保护范围。

Claims (10)

1.基于深度学习的目标检测系统，其特征在于：所述系统包括第一特征提取模块、第二特征提取模块、第一输出层、第二输出层、上采样层和连接层；
所述第一特征提取模块第一输出端与所述第二特征提取模块连接，所述第二特征提取模块第一输出端与所述第一输出层连接，得到用于检测像素占比大的目标物的第一输出模型；
所述第一特征提取模块第二输出端与所述连接层连接，所述第二特征提取模块第二输出端与上采样层连接，所述上采样层输出端与所述连接层连接，所述连接层输出端与所述第二输出层连接，得到用于检测像素占比小的目标物的第二输出模型。
2.根据权利要求1所述的基于深度学习的目标检测系统，其特征在于：所述第一特征提取模块包括第一普通卷积块和若干下采样块，所述下采样块包括普通卷积块和下采样深度可分卷积块，所述普通卷积块输出端与所述下采样深度可分卷积块连接；
所述普通卷积块包括第一卷积层、第一批归一化层和第一leaky ReLU层，所述第一卷积层输出端与所述第一批归一化层连接，所述第一批归一化层输出端与所述第一leakyReLU层连接；
所述下采样深度可分卷积块包括第一深度可分卷积层、第二批归一化层和第二leakyReLU层，所述第一深度可分卷积层输出端与所述第二批归一化层连接，所述第二批归一化层输出端与所述第二leaky ReLU层连接。
3.根据权利要求1所述的基于深度学习的目标检测系统，其特征在于：所述第二特征提取模块包括第五下采样块、第一逐点卷积块、若干深度可分卷积残差块、第二逐点卷积块、第四深度可分卷积残差块、第三逐点卷积块；
所述第五下采样块输出端与所述第一逐点卷积块连接，所述第一逐点卷积块与若干深度可分卷积残差块连接，所述若干深度可分卷积残差块输出端与所述第二逐点卷积块连接，所述第二逐点卷积块输出端与所述第四深度可分卷积残差块连接，所述第四深度可分卷积残差块与所述第三逐点卷积块连接。
4.根据权利要求3所述的基于深度学习的目标检测系统，其特征在于：所述逐点卷积块包括第二卷积层、第四批归一化层和第四leaky ReLU层，所述第二卷积层输出端与所述第四批归一化层连接，所述第四批归一化层输出端与所述第四leaky ReLU层连接。
5.根据权利要求3所述的基于深度学习的目标检测系统，其特征在于：所述深度可分卷积块包括第二深度可分卷积层、第三批归一化层和第三leaky ReLU层，所述第二深度可分卷积层输出端与所述第三批归一化层连接，所述第三批归一化层输出端与所述第三leakyReLU层连接。
6.根据权利要求5所述的基于深度学习的目标检测系统，其特征在于：所述深度可分卷积残差块包括相加层和若干深度可分卷积块，所述若干深度可分卷积残差块依次连接，且深度可分卷积残差块输出端与所述相加层连接；
所述深度可分卷积残差块包括第二深度可分卷积层、第三批归一化层和第三leakyReLU层，所述第二深度可分卷积层输出端与所述第三批归一化层连接，所述第三批归一化层输出端与所述第三leaky ReLU层连接。
7.根据权利要求2所述的基于深度学习的目标检测系统，其特征在于：所述系统还包括输出转换模块，输出层输出端与所述输出转换模块连接，以将输出模型转换为具体目标信息；
所述输出层包括普通卷积块和卷积层，所述普通卷积块输出端与所述卷积层连接。
8.一种基于深度学习的目标检测系统的方法，其特征在于：所述方法包括：
第一特征提取模块对输入图像进行下采样处理，得到保留局部特征信息的第一特征图；
第二特征提取模块对第一特征图进行特征提取得到第二特征图，第一输出层使用大anchor框对所述第二特征图进行处理，得到像素占比大的目标物的第一输出模型；
上采样层对所述第二特征图进行上采样处理，连接层将完成上采样处理的第二特征图与第一特征图的特征进行连接得到第三特征图并输出至第二输出层，第二输出层使用小anchor框对所述第三特征图进行处理，得到像素占比小的目标物的第二输出模型。
9.一种存储介质，其上存储有计算机指令，其特征在于：所述计算机指令运行时执行权利要求8所述的一种基于深度学习的目标检测系统的方法的步骤。
10.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于：所述处理器运行所述计算机指令时执行权利要求8所述的一种基于深度学习的目标检测系统的方法的步骤。
CN201910828881.9A 2019-09-03 2019-09-03 基于深度学习的目标检测系统、方法、存储介质及终端 Pending CN110516761A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910828881.9A CN110516761A (zh) 2019-09-03 2019-09-03 基于深度学习的目标检测系统、方法、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910828881.9A CN110516761A (zh) 2019-09-03 2019-09-03 基于深度学习的目标检测系统、方法、存储介质及终端

Publications (1)

Publication Number Publication Date
CN110516761A true CN110516761A (zh) 2019-11-29

Family

ID=68630603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910828881.9A Pending CN110516761A (zh) 2019-09-03 2019-09-03 基于深度学习的目标检测系统、方法、存储介质及终端

Country Status (1)

Country Link
CN (1) CN110516761A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329765A (zh) * 2020-10-09 2021-02-05 中保车服科技服务股份有限公司 文本检测的方法及装置、存储介质及计算机设备
CN112379674A (zh) * 2020-11-26 2021-02-19 中国第一汽车股份有限公司 一种自动驾驶设备及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156781A (zh) * 2016-07-12 2016-11-23 北京航空航天大学 排序卷积神经网络构建方法及其图像处理方法与装置
CN108230256A (zh) * 2017-11-09 2018-06-29 珠海市魅族科技有限公司 图像处理方法、装置、计算机装置及计算机可读存储介质
CN108288075A (zh) * 2018-02-02 2018-07-17 沈阳工业大学 一种改进ssd的轻量化小目标检测方法
CN108846835A (zh) * 2018-05-31 2018-11-20 西安电子科技大学 基于深度可分离卷积网络的图像变化检测方法
CN108875600A (zh) * 2018-05-31 2018-11-23 银江股份有限公司 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN109543595A (zh) * 2018-11-19 2019-03-29 上海交通大学 基于深度可分离卷积神经网络的电线的训练方法和检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156781A (zh) * 2016-07-12 2016-11-23 北京航空航天大学 排序卷积神经网络构建方法及其图像处理方法与装置
CN108230256A (zh) * 2017-11-09 2018-06-29 珠海市魅族科技有限公司 图像处理方法、装置、计算机装置及计算机可读存储介质
CN108288075A (zh) * 2018-02-02 2018-07-17 沈阳工业大学 一种改进ssd的轻量化小目标检测方法
CN108846835A (zh) * 2018-05-31 2018-11-20 西安电子科技大学 基于深度可分离卷积网络的图像变化检测方法
CN108875600A (zh) * 2018-05-31 2018-11-23 银江股份有限公司 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN109543595A (zh) * 2018-11-19 2019-03-29 上海交通大学 基于深度可分离卷积神经网络的电线的训练方法和检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329765A (zh) * 2020-10-09 2021-02-05 中保车服科技服务股份有限公司 文本检测的方法及装置、存储介质及计算机设备
CN112329765B (zh) * 2020-10-09 2024-05-24 中保车服科技服务股份有限公司 文本检测的方法及装置、存储介质及计算机设备
CN112379674A (zh) * 2020-11-26 2021-02-19 中国第一汽车股份有限公司 一种自动驾驶设备及系统

Similar Documents

Publication Publication Date Title
CN110472483B (zh) 一种面向sar图像的小样本语义特征增强的方法及装置
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
Zhao et al. TBC-Net: A real-time detector for infrared small target detection using semantic constraint
CN112488210A (zh) 一种基于图卷积神经网络的三维点云自动分类方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
Zhang et al. Multitask learning for ship detection from synthetic aperture radar images
CN109101897A (zh) 水下机器人的目标检测方法、系统及相关设备
CN111160120A (zh) 基于迁移学习的Faster R-CNN物品检测方法
CN108491848B (zh) 基于深度信息的图像显著性检测方法和装置
CN111709285A (zh) 一种基于无人机的疫情防护监控方法、装置和存储介质
WO2023193401A1 (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN110222718B (zh) 图像处理的方法及装置
CN113743417B (zh) 语义分割方法和语义分割装置
CN110991444A (zh) 面向复杂场景的车牌识别方法及装置
CN108932455B (zh) 遥感图像场景识别方法及装置
US11568212B2 (en) Techniques for understanding how trained neural networks operate
WO2022152009A1 (zh) 目标检测方法、装置、设备以及存储介质
CN110827320B (zh) 基于时序预测的目标跟踪方法和装置
US20230154157A1 (en) Saliency-based input resampling for efficient object detection
CN110516761A (zh) 基于深度学习的目标检测系统、方法、存储介质及终端
Chen et al. Research on object detection algorithm based on multilayer information fusion
Zuo et al. A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields
Hu et al. Real-time infrared small target detection network and accelerator design
Chirgaiya et al. Tiny object detection model based on competitive multi-layer neural network (TOD-CMLNN)
CN117611838A (zh) 一种基于自适应超图卷积网络的多标签图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129

RJ01 Rejection of invention patent application after publication