CN109522966A - 一种基于密集连接卷积神经网络的目标检测方法 - Google Patents

一种基于密集连接卷积神经网络的目标检测方法 Download PDF

Info

Publication number
CN109522966A
CN109522966A CN201811435154.8A CN201811435154A CN109522966A CN 109522966 A CN109522966 A CN 109522966A CN 201811435154 A CN201811435154 A CN 201811435154A CN 109522966 A CN109522966 A CN 109522966A
Authority
CN
China
Prior art keywords
characteristic pattern
neural networks
convolutional neural
layer
intensive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811435154.8A
Other languages
English (en)
Other versions
CN109522966B (zh
Inventor
胡海峰
罗小凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN201811435154.8A priority Critical patent/CN109522966B/zh
Publication of CN109522966A publication Critical patent/CN109522966A/zh
Application granted granted Critical
Publication of CN109522966B publication Critical patent/CN109522966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于密集连接卷积神经网络的目标检测方法，其为了减小参数量，且提高特征重复利用效果，使用多个密集连接块与转换层交替连接的网络结构代替以往的整体结构，进行特征提取能提取到图像中有判别性的特征映射。全局关注模块融合4种不同感受野的特征图，解决以往单层感受野尺寸相同的问题；同时每条支路的后三个卷积层使得底层的特征图在保证分辨率的前提下拥有足够优秀的特征表达。本发明提出的图像目标检测模型能有效地提取图像的特征，提炼出具有不同尺寸感受野并融合多层次信息的特征图；同时语义信息与空间信息的结合提高了小物体的检测效果；同时整个网络能达到端到端的训练，保持实时检测速度的同时，提高了目标的检测效果。

Description

一种基于密集连接卷积神经网络的目标检测方法
技术领域
本发明涉及计算机视觉领域，更具体的，涉及一种基于密集连接卷积神经网络的目标检测方法。
背景技术
快速发展的卷积神经网络(CNN)显著改善了计算机视觉领域。作为一个高速发展但是也有很多挑战性的领域，目标检测也通过深度神经网络的高度抽象和鲁棒性取得了许多突出的成果。卷积神经网络对特征的检测具有不变性。目前，主要的解决方法分为两个分支，一个是一步检测的方法，所有这些方法首先选择一系列候选区，然后将其转化为分类问题。例如，R-CNN，Fast-RCNN，Faster RCNN，R-FPN等，深而复杂的网络使它们以更好的检测性能而闻名。另一种是一步检测的方法，例如YOLO，SSD，DSSD，DSOD等，他们把候选区的选择和物体的分类作为一个回归问题集合在一起，因此多采用各个检测层融合的方式提高特征表达。前者在检测精度上有一定优势，但是检测速度较慢，难以达到实时检测的效果。后者相反，在检测精度上稍显劣势，但是检测速度快，且实现了端到端的训练和检测。
以SSD方法为例，它对小目标检测效果不佳主要是因为SSD中的多个检测器中，靠近神经网络末端的检测器所检测的特征图的分辨率太小，在这种小尺度的特征图中，模型更倾向于关注大的目标物体，忽略小的目标物体。而靠近神经网络前端的检测器虽然检测的特征图分辨率足够大，但由于经过的卷积层数不够多，该特征图所具有的特征表达不够优秀，因此也无法很好地对小目标进行检测。此外，神经网络中，检测器所检测的特征图所具有的感受野大小是一样的，这对于不同大小、不同形状的物体的检测无疑不是最优的选择。在大目标数量多于小目标的环境下，这也同样也会造成对小目标检测效果不佳的结果。
发明内容
本发明为了解决现有技术的神经网络对小目标检测效果不佳的问题，提供了一种基于密集连接卷积神经网络的目标检测方法，其有效地融合不同感受野且增加特征图利用效果来进行目标检测，使得卷积神经网络对网络前端关注的小的目标物体有更好的检测结果。
为实现上述本发明目的，采用的技术方案如下：一种基于密集连接卷积神经网络的目标检测方法，该目标检测方法如下：
S1：将图像输入到用于特征提取的密集连接卷积神经网络，其包括多个密集连接块以及不同的密集连接块之间进行连接的转换层；
S2：将最后一个密集连接块的最后一层卷积神经网络输出的特征图输入特征加权融合模块经过卷积神经网络处理，得到5个感受野不同的特征图；然后对特征图进行特征融合处理，得到4个空间语义信息丰富，感受野不同的特征图，将其输入预测层；
S3：将最后一个密集连接块输出的特征图输入全局关注模块中，利用空洞卷积制造不同的感受野，然后分别经过相同寸尺与数量的多个卷积层进行处理，获取不同感受野的特征图，并融合为一个高语义的特征图，最后输入到预测层；
S4：预测层对输入的特征图进行处理，同时输出目标边界框信息及分类概率，分别对步骤S2中的5个感受野不同的特征图中的所有尺度的特征映射进行预测，输入的特征映射经过一个卷积神经网络后输出一个大小为S*S*(B*5+C)的向量作为预测结果；
其中：B是边界框的个数；5代表每个边界框包含的参数个数，包括边界框的中心坐标偏移值(tx，ty)，边界框的宽高偏移值(tw,th)，以及预测边界框的置信度t0；C代表目标的类别个数；SxS代表将一张图分为SxS个网格；
S5：对密集连接卷积神经网络、全局关注模块、特征加权融合模块、预测层组成的图像目标检测模型进行训练；训练开始时，特征加权融合模块和全局关注模块各层的参数按照Xavier的方式初始化；在训练过程中，通过损失函数，进行反向传导算法对整个网络里所有层中的参数进行微调；
S6：将图像输入到完成训练的图像目标检测模型中进行目标检测，完成目标检测。
优选地，步骤S1，密集连接卷积神经网络包括四个密集连接块、三个转换层；所述的密集连接块之间通过转换层进行连接；所述密集连接块内设有1x1卷积和3x3卷积的卷积对，所述密集连接卷积神经网络从输入端到输出端，四个密集连接块内设有的卷积对数目分别为6、12、32、64；密集连接块内的卷积对组成一个卷积神经网络层；所述每一个卷积神经网络层的输入是其所在密集连接块以及其之前的所有卷积神经网络层的输出的叠加，卷积神经网络层后接一个激活函数；所述激活函数包括一个Batch Normalization操作、一个ReLU函数操作。
所述转换层包括一个Batch Normalization操作、一个1x1卷积和平均池化操作；
所述密集连接块的最后一层卷积神经网络输出的特征图作为特征提取网络的输出。
优选地，步骤S2，所述特征加权融合模块包括5个输出块，每个输出块设有两层卷积，用于提取更高的非线性特征并生成不同感受野、语义信息的特征图，以及用于下一步的融合；将最后一个密集连接块的最后一层卷积神经网络输出的特征图输入特征加权融合模块的输出块中，得到5个感受野不同的特征图；所述5个感受野不同的特征图按照特征尺度堆叠，形成一个自下而上、尺度递增的低语义特征金字塔。
进一步地，所述输出块，浅层输出的是高分辨率小感受野语义信息不够丰富的信息，用于检测小的物体；深层输出的是低分辨率大感受野语义信息丰富的特征信息，用于检测大的物体；为了强化不同输出块对应的不同特征图的语义信息表达，采用特征融合的方法对5个感受野不同的特征图进行处理。
进一步地，所述特征融合的方法如下：
特征融合后的前两个特征图由相邻的三层进行融合，具体方法是对最浅层特征进行下采样操作，最深层特征进行上采样操作，中间层的特征图不变，使三者保持相同的尺寸，进行融合；
特征融合后的后两个特征图由相邻的两层进行融合，将深层特征进行上采样操作使之与浅层特征的尺寸相同，并进行融合；或将浅层特征进行下采样操作使之与深层特征的尺寸相同，并进行融合；
在上采样，下采样以及卷积操作之后，待融合的几个特征层具有相同的尺寸，对应位置的像素点进行依次的比较，保留比较大的值；特征融合处理后，得到4个空间语义信息丰富，感受野不同的特征图。
优选地，步骤S3，所述全局关注模块中设有4条支路，每条支路设有4个卷积层；所述卷积层带有Batch Normalization层和非线性激活层；所述每条支路的第一个卷积层采用空洞卷积，每条支路的空洞卷积的参数不同，以便不同的支路获取不同感受野的特征图，各个支路的其他三个卷积层结构均设置相同；每条支路最终输出结果直接融合到一起，作为一个新的特征图；
将最后一个密集连接块输出的特征图输入全局关注模块中的4条支路，获取不同感受野的特征图；最后将不同感受野的特征图融合为一个高语义的特征图，最后输入到预测层。
优选地，步骤S5，用大量标注好的图像对图像目标检测模型进行训练，标注内容包括坐标(x，y)、位置框的高度h、宽度l。
本发明的有益效果如下：
1)本发明为了减小参数量同时提高特征重复利用效果，使用多个密集连接块与转换层交替连接的网络结构代替以往的整体结构，该方法传递更加有效，也更加容易训练，进行特征提取时，能提取到图像中更好有判别性的特征映射。
2)本发明的全局关注模块融合4种不同感受野的特征图，解决了以往单层感受野都是一个尺寸的问题；同时每条支路的后三个卷积层使得底层的特征图在保证分辨率的前提下拥有足够优秀的特征表达，从而得到一个高语义的特征图。
3)本发明图像目标检测模型的预测通过几个卷积层将输入到的信息映射到S x Sx(B x 5+C)的向量空间，完成一次预测。
4)本发明提出的图像目标检测模型能够有效地提取图像的特征，提炼出具有不同尺寸感受野并融合多层次信息的特征图；同时语义信息与空间信息的结合提高了小物体的检测效果；同时整个网络能达到端到端的训练，保持实时检测速度的同时，提高了目标的检测效果。
附图说明
图1是本发明一种基于密集连接卷积神经网络的目标检测方法的架构图。
图2是本发明特征融合方法的结构图。
图3是本发明全局关注模块的结构图。
具体实施方式
下面结合附图和具体实施方式对本发明做详细描述。
实施例1
如图1所示，一种基于密集连接卷积神经网络的目标检测方法，该目标检测方法如下：
S1：将图像输入到用于特征提取的密集连接卷积神经网络，其包括多个密集连接块以及不同的密集连接块之间进行连接的转换层；
S2：将最后一个密集连接块的最后一层卷积神经网络输出的特征图输入特征加权融合模块经过卷积神经网络处理，得到5个感受野不同的特征图；然后对特征图进行特征融合处理，得到4个空间语义信息丰富，感受野不同的特征图，将其输入预测层；
S3：将最后一个密集连接块输出的特征图输入全局关注模块中，利用空洞卷积制造不同的感受野，然后分别经过相同寸尺与数量的多个卷积层进行处理，获取不同感受野的特征图，并融合为一个高语义的特征图，最后输入到预测层；
S4：预测层对输入的特征图进行处理，同时输出目标边界框信息及分类概率，分别对步骤S2中的5个感受野不同的特征图中的所有尺度的特征映射进行预测，输入的特征映射经过一个卷积神经网络后输出一个大小为S*S*(B*5+C)的向量作为预测结果；
其中：B是边界框的个数；5代表每个边界框包含的参数个数，包括边界框的中心坐标偏移值(tx，ty)，边界框的宽高偏移值(tw,th)，以及预测边界框的置信度t0；C代表目标的类别个数；SxS代表将一张图分为SxS个网格；
S5：对密集连接卷积神经网络、全局关注模块、特征加权融合模块、预测层组成的图像目标检测模型进行训练；训练开始时，特征加权融合模块和全局关注模块各层的参数按照Xavier的方式初始化；在训练过程中，通过损失函数，进行反向传导算法对整个网络里所有层中的参数进行微调；
S6：将图像输入到完成训练的图像目标检测模型中进行目标检测，完成目标检测。
本实施例步骤S1，所述密集连接卷积神经网络包括四个密集连接块、三个转换层；所述的密集连接块之间通过转换层进行连接；所述密集连接块内设有1x1卷积和3x3卷积的卷积对，采用1x1卷积的目的是减少输入的特征图数量，既能降维减少计算量，又能融合各个通道的特征；所述密集连接卷积神经网络从输入端到输出端，四个密集连接块内设有的卷积对数目分别为6、12、32、64；密集连接块内的卷积对组成一个卷积神经网络层；所述每一个卷积神经网络层的输入是其所在密集连接块以及其之前的所有卷积神经网络层的输出的叠加，若不通过1x1卷积的降维操作，得到的输出的通道数将会非常的大，这样操作后可以明显减小计算量，有利于构建更深的网络；
卷积神经网络层后接一个激活函数；所述激活函数包括一个BatchNormalization操作、一个ReLU函数操作，最后经过一个卷积神经网络层的处理作为整个激活函数的输出。
所述转换层包括一个Batch Normalization操作、一个1x1卷积和平均池化操作；转换层设有1x1卷积主要作用是用来降维，通过转换层之后，传到下一层的特征通道数就会减少一半，符合下一个密集连接块的输入要求。
将一幅图像输入到特征提取的密集连接卷积神经网络中，密集连接卷积神经网络为了减小参数量同时提高特征重复利用效果，用多个密集连接块及转换层代替以往网络的高宽度与深度，每一个密集连接块都可以从损失函数和原始输入信号中直接访问梯度，从而实现隐式的深度监控；通过多层连接的方式整合低层和高层信息，可以获取图像中更具有判别性的视觉特征。所述密集连接块的最后一层卷积神经网络输出的特征图作为特征提取网络的输出。
如图2所示，本实施步骤S2，将密集连接块的最后一层卷积神经网络输出的特征图输入到特征加权融合模块中；所述特征加权融合模块包括5个输出块，每个输出块设有两层卷积，用于提取更高的非线性特征并生成不同感受野、语义信息的特征图，以及用于下一步的融合；将最后一个密集连接块的最后一层卷积神经网络输出的特征图输入特征加权融合模块的输出块中，得到5个感受野不同的特征图；所述5个感受野不同的特征图，按照特征尺度堆叠，形成一个自下而上、尺度递增的低语义特征金字塔。
所述对于5个输出块，浅层输出的是高分辨率小感受野语义信息不够丰富的信息，用于检测小的物体；深层输出的是低分辨率大感受野语义信息丰富的特征信息，用于检测大的物体；为了强化不同输出块对应的不同特征图的语义信息表达，采用特征融合的方法对5个感受野不同的特征图进行处理，即分别将(1，2，3)；(2，3，4)；(3，4)；(4，5)的特征图进行融合
本实施例所述特征融合后的前两个特征图由相邻的三层进行融合，即对于(1，2，3)和(2，3，4)，具体方法是对最浅层特征进行下采样操作，最深层特征进行上采样操作，中间层的特征图不变，使三者保持相同的尺寸，进行融合；
特征融合后的后两个特征图由相邻的两层进行融合，本实施例对于(3，4)将深层特征进行上采样操作使之与浅层特征的尺寸相同，并进行融合；本实施例对于(4，5)将浅层特征进行下采样操作使之与深层特征的尺寸相同，再进行融合；
本实施例在步骤S1中构造了密集连接卷积神经网络做基本的特征提取，其最后一层输出的特征语义信息还不够丰富，对于固定层的每一个神经元，感受野都是相同的，很难适应于目标大小不确定的目标检测网络中，于是在密集连接卷积神经网络之后，增加全局关注模块，用于融合多感受野信息，达到全局关注的效果。
如图3所示，所述全局关注模块中设有4条支路，每条支路设有4个卷积层；所述卷积层带有Batch Normalization层和非线性激活层；所述每条支路的第一个卷积层采用空洞卷积，每条支路的空洞卷积的参数不同，分别为2，4，6，8，以便不同的支路获取不同感受野的特征图，各个支路的其他三个卷积层结构均设置相同，但是这些相同的结构之间参数不共享；每条支路最终输出结果直接融合到一起，作为一个新的特征图；
将最后一个密集连接块输出的特征图输入全局关注模块中的4条支路，获取不同感受野的特征图；最后将不同感受野的特征图融合为一个高语义的特征图，最后输入到预测层。由此四条支路包含不同的感受野，几乎可以包含整张图不同大小的区域上。
本实施将全局关注模块生成的一个高语义特征图和特征加权融合模块生成的四张特征图，全部输入预测层，对于每个特征图，都有两个卷积与之对应，一个用于位置检测，一个用于类别检测。输出目标边界框信息及分类概率，分别对步骤S2中的5个感受野不同的特征图中的所有尺度的特征映射进行预测。输入的特征映射经过一个卷积神经网络后输出一个大小为S*S*(B*5+C)的向量作为预测结果。
本实施对对密集连接卷积神经网络、全局关注模块、特征加权融合模块、预测层组成的图像目标检测模型进行训练；用大量标注好的图像对图像目标检测模型进行训练，标注内容包括坐标(x，y)、位置框的高度h、宽度l。
数据集：PASCAL VOC2007和PASCAL VOC2012，VOC2007中包含9963张标注过的图片，由训练集，验证集，测试集三部分组成，共标注出24,640个物体。VOC2012的训练集和测试集包含08-11年的所有对应图片。训练集有11540张图片共27450个物体；
训练开始时，特征加权融合模块和全局关注模块各层的参数按照Xavier的方式初始化。DenseNet169网络的参数初始化用已经训练好的参数。然后再VOC2007和VOC2012的集合上做训练，采用由边界框坐标回归和物体分类所组成的损失函数的随机梯度下降算法计算损失梯度并使用反向传导算法对整个网络里所有层中的参数进行微调，达到对网络进行训练的目的。
最后将图像输入到完成训练的图像目标检测模型中进行目标检测，完成目标检测。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种基于密集连接卷积神经网络的目标检测方法，其特征在于：该目标检测方法如下：
S1：将图像输入到用于特征提取的密集连接卷积神经网络，其包括多个密集连接块以及不同的密集连接块之间进行连接的转换层；
S2：将最后一个密集连接块的最后一层卷积神经网络输出的特征图输入特征加权融合模块经过卷积神经网络处理，得到5个感受野不同的特征图；然后对特征图进行特征融合处理，得到4个空间语义信息丰富，感受野不同的特征图，将其输入预测层；
S3：将最后一个密集连接块输出的特征图输入全局关注模块中，利用空洞卷积制造不同的感受野，然后分别经过相同寸尺与数量的多个卷积层进行处理，获取不同感受野的特征图，并融合为一个高语义的特征图，最后输入到预测层；
S4：预测层对输入的特征图进行处理，同时输出目标边界框信息及分类概率，分别对步骤S2中的5个感受野不同的特征图中的所有尺度的特征映射进行预测，输入的特征映射经过一个卷积神经网络后输出一个大小为S*S*(B*5+C)的向量作为预测结果；
其中：B是边界框的个数；5代表每个边界框包含的参数个数，包括边界框的中心坐标偏移值(tx，ty)，边界框的宽高偏移值(tw,th)，以及预测边界框的置信度t0；C代表目标的类别个数；SxS代表将一张图分为SxS个网格；
S5：对密集连接卷积神经网络、全局关注模块、特征加权融合模块、预测层组成的图像目标检测模型进行训练；训练开始时，特征加权融合模块和全局关注模块各层的参数按照Xavier的方式初始化；在训练过程中，通过损失函数，进行反向传导算法对整个网络里所有层中的参数进行微调；
S6：将图像输入到完成训练的图像目标检测模型中进行目标检测，完成目标检测。
2.根据权利要求1所述的基于密集连接卷积神经网络的目标检测方法，其特征在于：步骤S1，密集连接卷积神经网络包括四个密集连接块、三个转换层；所述的密集连接块之间通过转换层进行连接；所述密集连接块内设有1x1卷积和3x3卷积的卷积对，所述密集连接卷积神经网络从输入端到输出端，四个密集连接块内设有的卷积对数目分别为6、12、32、64；密集连接块内的卷积对组成一个卷积神经网络层；所述每一个卷积神经网络层的输入是其所在密集连接块以及其之前的所有卷积神经网络层的输出的叠加，卷积神经网络层后接一个激活函数；所述激活函数包括一个Batch Normalization操作、一个ReLU函数操作。
所述转换层包括一个Batch Normalization操作、一个1x1卷积和平均池化操作；
所述密集连接块的最后一层卷积神经网络输出的特征图作为特征提取网络的输出。
3.根据权利要求1所述的基于密集连接卷积神经网络的目标检测方法，其特征在于：步骤S2，所述特征加权融合模块包括5个输出块，每个输出块设有两层卷积，用于提取更高的非线性特征并生成不同感受野、语义信息的特征图，以及用于下一步的融合；将最后一个密集连接块的最后一层卷积神经网络输出的特征图输入特征加权融合模块的输出块中，得到5个感受野不同的特征图；所述5个感受野不同的特征图按照特征尺度堆叠，形成一个自下而上、尺度递增的低语义特征金字塔。
4.根据权利要求3所述的基于密集连接卷积神经网络的目标检测方法，其特征在于：所述输出块，浅层输出的是高分辨率小感受野语义信息不够丰富的信息，用于检测小的物体；深层输出的是低分辨率大感受野语义信息丰富的特征信息，用于检测大的物体；为了强化不同输出块对应的不同特征图的语义信息表达，采用特征融合的方法对5个感受野不同的特征图进行处理。
5.根据权利要求4所述的基于密集连接卷积神经网络的目标检测方法，其特征在于：所述特征融合的方法如下：
特征融合后的前两个特征图由相邻的三层进行融合，具体方法是对最浅层特征进行下采样操作，最深层特征进行上采样操作，中间层的特征图不变，使三者保持相同的尺寸，进行融合；
特征融合后的后两个特征图由相邻的两层进行融合，将深层特征进行上采样操作使之与浅层特征的尺寸相同，并进行融合；或将浅层特征进行下采样操作使之与深层特征的尺寸相同，并进行融合；
在上采样，下采样以及卷积操作之后，待融合的几个特征层具有相同的尺寸，对应位置的像素点进行依次的比较，保留比较大的值；特征融合处理后，得到4个空间语义信息丰富，感受野不同的特征图。
6.根据权利要求1所述的基于密集连接卷积神经网络的目标检测方法，其特征在于：步骤S3，所述全局关注模块中设有4条支路，每条支路设有4个卷积层；所述卷积层带有BatchNormalization层和非线性激活层；所述每条支路的第一个卷积层采用空洞卷积，每条支路的空洞卷积的参数不同，以便不同的支路获取不同感受野的特征图，各个支路的其他三个卷积层结构均设置相同；每条支路最终输出结果直接融合到一起，作为一个新的特征图；
将最后一个密集连接块输出的特征图输入全局关注模块中的4条支路，获取不同感受野的特征图；最后将不同感受野的特征图融合为一个高语义的特征图，最后输入到预测层。
7.根据权利要求1所述的基于密集连接卷积神经网络的目标检测方法，其特征在于：步骤S5，用大量标注好的图像对图像目标检测模型进行训练，标注内容包括坐标(x，y)、位置框的高度h、宽度l。
CN201811435154.8A 2018-11-28 2018-11-28 一种基于密集连接卷积神经网络的目标检测方法 Active CN109522966B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811435154.8A CN109522966B (zh) 2018-11-28 2018-11-28 一种基于密集连接卷积神经网络的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811435154.8A CN109522966B (zh) 2018-11-28 2018-11-28 一种基于密集连接卷积神经网络的目标检测方法

Publications (2)

Publication Number Publication Date
CN109522966A true CN109522966A (zh) 2019-03-26
CN109522966B CN109522966B (zh) 2022-09-27

Family

ID=65794879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811435154.8A Active CN109522966B (zh) 2018-11-28 2018-11-28 一种基于密集连接卷积神经网络的目标检测方法

Country Status (1)

Country Link
CN (1) CN109522966B (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934241A (zh) * 2019-03-28 2019-06-25 南开大学 可集成到神经网络架构中的图像多尺度信息提取方法及应用
CN110060274A (zh) * 2019-04-12 2019-07-26 北京影谱科技股份有限公司 基于深度稠密连接的神经网络的视觉目标跟踪方法和装置
CN110175610A (zh) * 2019-05-23 2019-08-27 上海交通大学 一种支持隐私保护的票据图像文本识别方法
CN110232675A (zh) * 2019-03-28 2019-09-13 昆明理工大学 一种工业环境下的纹理表面缺陷检测与分割装置及方法
CN110321923A (zh) * 2019-05-10 2019-10-11 上海大学 不同尺度感受野特征层融合的目标检测方法、系统及介质
CN110348447A (zh) * 2019-06-27 2019-10-18 电子科技大学 一种具有丰富空间信息的多模型集成目标检测方法
CN110414417A (zh) * 2019-07-25 2019-11-05 电子科技大学 一种基于多层次融合多尺度预测的交通标志牌识别方法
CN110516665A (zh) * 2019-08-23 2019-11-29 上海眼控科技股份有限公司 识别图像叠加文字区域的神经网络模型构建方法与系统
CN110533051A (zh) * 2019-08-02 2019-12-03 中国民航大学 基于卷积神经网络的x光安检图像中违禁品自动检测方法
CN110533105A (zh) * 2019-08-30 2019-12-03 北京市商汤科技开发有限公司 一种目标检测方法及装置、电子设备和存储介质
CN110555371A (zh) * 2019-07-19 2019-12-10 华瑞新智科技（北京）有限公司 一种基于无人机的野生动物信息获取方法和装置
CN110781744A (zh) * 2019-09-23 2020-02-11 杭州电子科技大学 一种基于多层次特征融合的小尺度行人检测方法
CN110782430A (zh) * 2019-09-29 2020-02-11 郑州金惠计算机系统工程有限公司 一种小目标的检测方法、装置、电子设备及存储介质
CN110827283A (zh) * 2019-10-28 2020-02-21 北京深睿博联科技有限责任公司 基于卷积神经网络的头颈血管分割方法及装置
CN110956119A (zh) * 2019-11-26 2020-04-03 大连理工大学 一种准确且快速的图像中目标检测方法
CN110991311A (zh) * 2019-11-28 2020-04-10 江南大学 一种基于密集连接深度网络的目标检测方法
CN110992642A (zh) * 2019-12-25 2020-04-10 辽宁石油化工大学 一种基于深度学习的火灾检测方法
CN111047630A (zh) * 2019-11-13 2020-04-21 芯启源(上海)半导体科技有限公司 神经网络和基于神经网络的目标检测及深度预测方法
CN111179175A (zh) * 2019-12-27 2020-05-19 深圳力维智联技术有限公司 基于卷积神经网络的图像处理方法、装置及存储介质
CN111259758A (zh) * 2020-01-13 2020-06-09 中国矿业大学 一种针对密集区域的两阶段遥感图像目标检测方法
CN111339734A (zh) * 2020-02-20 2020-06-26 青岛联合创智科技有限公司 一种基于文本生成图像的方法
CN111402203A (zh) * 2020-02-24 2020-07-10 杭州电子科技大学 一种基于卷积神经网络的织物表面缺陷检测方法
CN111429352A (zh) * 2020-03-26 2020-07-17 深圳大学 一种基于神经网络的图像超分辨率重建方法及设备
CN111462050A (zh) * 2020-03-12 2020-07-28 上海理工大学 改进YOLOv3的极小遥感图像目标检测方法、装置及存储介质
CN111461211A (zh) * 2020-03-31 2020-07-28 中国科学院计算技术研究所 一种用于轻量级目标检测的特征提取方法及相应检测方法
CN111611847A (zh) * 2020-04-01 2020-09-01 杭州电子科技大学 基于尺度注意力空洞卷积网络的视频动作检测方法
CN111626267A (zh) * 2019-09-17 2020-09-04 山东科技大学 一种利用空洞卷积的高光谱遥感图像分类方法
CN111767919A (zh) * 2020-04-10 2020-10-13 福建电子口岸股份有限公司 一种多层双向特征提取与融合的目标检测方法
CN111898617A (zh) * 2020-06-29 2020-11-06 南京邮电大学 基于注意力机制与并行空洞卷积网络的目标检测方法、系统
CN112070742A (zh) * 2020-09-07 2020-12-11 杭州师范大学 基于自适应感受野3d空间注意力的脑影像分类装置
CN112257794A (zh) * 2020-10-27 2021-01-22 东南大学 一种基于yolo的轻量级的目标检测方法
CN112257528A (zh) * 2020-10-12 2021-01-22 南京工业大学 一种基于小波变换和密集连接扩张卷积神经网络的风电齿轮箱故障诊断方法
CN112307976A (zh) * 2020-10-30 2021-02-02 北京百度网讯科技有限公司 目标检测方法、装置、电子设备以及存储介质
CN112365515A (zh) * 2020-10-30 2021-02-12 深圳点猫科技有限公司 一种基于密集感知网络的边缘检测方法、装置及设备
CN112767402A (zh) * 2021-01-08 2021-05-07 北京闭环科技有限公司 一种基于三维卷积神经网络的图像分割方法及系统
CN112906718A (zh) * 2021-03-09 2021-06-04 西安电子科技大学 一种基于卷积神经网络的多目标检测方法
CN113177133A (zh) * 2021-04-23 2021-07-27 深圳依时货拉拉科技有限公司 一种图像检索方法、装置、设备及存储介质
CN113378786A (zh) * 2021-07-05 2021-09-10 广东工业大学 一种超轻量目标检测网络和方法
CN113420630A (zh) * 2021-06-17 2021-09-21 中国人民解放军海军航空大学航空作战勤务学院 一种基于从头训练的sar图像舰船目标检测方法和系统
CN113947600A (zh) * 2021-12-20 2022-01-18 湖南工商大学 一种数字孪生宏观场景的多目标检测方法及装置
CN114463676A (zh) * 2022-01-19 2022-05-10 北京工业大学 一种基于隐式表达的安全帽配戴检测方法
CN112767402B (zh) * 2021-01-08 2024-06-07 北京闭环科技有限公司 一种基于三维卷积神经网络的图像分割方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777125A (zh) * 2016-12-16 2017-05-31 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于神经网络及图像关注点的图像描述生成方法
US20170287109A1 (en) * 2016-04-05 2017-10-05 Flipboard, Inc. Image scaling using a convolutional neural network
CN107851195A (zh) * 2015-07-29 2018-03-27 诺基亚技术有限公司 利用神经网络进行目标检测
WO2018076212A1 (zh) * 2016-10-26 2018-05-03 中国科学院自动化研究所 基于反卷积神经网络的场景语义分割方法
CN108229455A (zh) * 2017-02-23 2018-06-29 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
US20180189631A1 (en) * 2016-12-30 2018-07-05 Intel Corporation Neural network with reconfigurable sparse connectivity and online learning
CN108364281A (zh) * 2018-01-08 2018-08-03 佛山市顺德区中山大学研究院 一种基于卷积神经网络的织带边缘毛疵缺陷检测方法
CN108399362A (zh) * 2018-01-24 2018-08-14 中山大学 一种快速行人检测方法及装置
CN108717569A (zh) * 2018-05-16 2018-10-30 中国人民解放军陆军工程大学 一种膨胀全卷积神经网络及其构建方法
CN108830855A (zh) * 2018-04-02 2018-11-16 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法
CN108846446A (zh) * 2018-07-04 2018-11-20 国家新闻出版广电总局广播科学研究院 基于多路径密集特征融合全卷积网络的目标检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107851195A (zh) * 2015-07-29 2018-03-27 诺基亚技术有限公司 利用神经网络进行目标检测
US20170287109A1 (en) * 2016-04-05 2017-10-05 Flipboard, Inc. Image scaling using a convolutional neural network
WO2018076212A1 (zh) * 2016-10-26 2018-05-03 中国科学院自动化研究所 基于反卷积神经网络的场景语义分割方法
CN106777125A (zh) * 2016-12-16 2017-05-31 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于神经网络及图像关注点的图像描述生成方法
US20180189631A1 (en) * 2016-12-30 2018-07-05 Intel Corporation Neural network with reconfigurable sparse connectivity and online learning
CN108229455A (zh) * 2017-02-23 2018-06-29 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN108364281A (zh) * 2018-01-08 2018-08-03 佛山市顺德区中山大学研究院 一种基于卷积神经网络的织带边缘毛疵缺陷检测方法
CN108399362A (zh) * 2018-01-24 2018-08-14 中山大学 一种快速行人检测方法及装置
CN108830855A (zh) * 2018-04-02 2018-11-16 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法
CN108717569A (zh) * 2018-05-16 2018-10-30 中国人民解放军陆军工程大学 一种膨胀全卷积神经网络及其构建方法
CN108846446A (zh) * 2018-07-04 2018-11-20 国家新闻出版广电总局广播科学研究院 基于多路径密集特征融合全卷积网络的目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HU HAIFENG等: ""Multimodal object description network for dense captioning"", 《ELECTRONICS LETTERS》 *

Cited By (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232675B (zh) * 2019-03-28 2022-11-11 昆明理工大学 一种工业环境下的纹理表面缺陷检测与分割装置及方法
CN110232675A (zh) * 2019-03-28 2019-09-13 昆明理工大学 一种工业环境下的纹理表面缺陷检测与分割装置及方法
CN109934241B (zh) * 2019-03-28 2022-12-09 南开大学 可集成到神经网络架构中的图像多尺度信息提取方法
CN109934241A (zh) * 2019-03-28 2019-06-25 南开大学 可集成到神经网络架构中的图像多尺度信息提取方法及应用
CN110060274A (zh) * 2019-04-12 2019-07-26 北京影谱科技股份有限公司 基于深度稠密连接的神经网络的视觉目标跟踪方法和装置
JP7498195B2 (ja) 2019-04-30 2024-06-11 ロレアル 複数のオブジェクトを追跡するための畳み込みニューラルネットワークを用いた画像処理
CN110321923A (zh) * 2019-05-10 2019-10-11 上海大学 不同尺度感受野特征层融合的目标检测方法、系统及介质
CN110321923B (zh) * 2019-05-10 2021-05-04 上海大学 不同尺度感受野特征层融合的目标检测方法、系统及介质
CN110175610A (zh) * 2019-05-23 2019-08-27 上海交通大学 一种支持隐私保护的票据图像文本识别方法
CN110175610B (zh) * 2019-05-23 2023-09-05 上海交通大学 一种支持隐私保护的票据图像文本识别方法
CN110348447A (zh) * 2019-06-27 2019-10-18 电子科技大学 一种具有丰富空间信息的多模型集成目标检测方法
CN110348447B (zh) * 2019-06-27 2022-04-19 电子科技大学 一种具有丰富空间信息的多模型集成目标检测方法
CN110555371A (zh) * 2019-07-19 2019-12-10 华瑞新智科技（北京）有限公司 一种基于无人机的野生动物信息获取方法和装置
CN110414417A (zh) * 2019-07-25 2019-11-05 电子科技大学 一种基于多层次融合多尺度预测的交通标志牌识别方法
CN110414417B (zh) * 2019-07-25 2022-08-12 电子科技大学 一种基于多层次融合多尺度预测的交通标志牌识别方法
CN110533051A (zh) * 2019-08-02 2019-12-03 中国民航大学 基于卷积神经网络的x光安检图像中违禁品自动检测方法
CN110533051B (zh) * 2019-08-02 2023-01-17 中国民航大学 基于卷积神经网络的x光安检图像中违禁品自动检测方法
CN110516665A (zh) * 2019-08-23 2019-11-29 上海眼控科技股份有限公司 识别图像叠加文字区域的神经网络模型构建方法与系统
CN110533105B (zh) * 2019-08-30 2022-04-05 北京市商汤科技开发有限公司 一种目标检测方法及装置、电子设备和存储介质
CN110533105A (zh) * 2019-08-30 2019-12-03 北京市商汤科技开发有限公司 一种目标检测方法及装置、电子设备和存储介质
CN111626267A (zh) * 2019-09-17 2020-09-04 山东科技大学 一种利用空洞卷积的高光谱遥感图像分类方法
CN110781744A (zh) * 2019-09-23 2020-02-11 杭州电子科技大学 一种基于多层次特征融合的小尺度行人检测方法
CN110782430A (zh) * 2019-09-29 2020-02-11 郑州金惠计算机系统工程有限公司 一种小目标的检测方法、装置、电子设备及存储介质
CN110827283A (zh) * 2019-10-28 2020-02-21 北京深睿博联科技有限责任公司 基于卷积神经网络的头颈血管分割方法及装置
CN111047630A (zh) * 2019-11-13 2020-04-21 芯启源(上海)半导体科技有限公司 神经网络和基于神经网络的目标检测及深度预测方法
CN111047630B (zh) * 2019-11-13 2023-06-13 芯启源(上海)半导体科技有限公司 神经网络和基于神经网络的目标检测及深度预测方法
CN110956119A (zh) * 2019-11-26 2020-04-03 大连理工大学 一种准确且快速的图像中目标检测方法
CN110956119B (zh) * 2019-11-26 2023-05-26 大连理工大学 一种图像中目标检测的方法
CN110991311A (zh) * 2019-11-28 2020-04-10 江南大学 一种基于密集连接深度网络的目标检测方法
CN110991311B (zh) * 2019-11-28 2021-09-24 江南大学 一种基于密集连接深度网络的目标检测方法
CN110992642A (zh) * 2019-12-25 2020-04-10 辽宁石油化工大学 一种基于深度学习的火灾检测方法
CN111179175B (zh) * 2019-12-27 2023-04-07 深圳力维智联技术有限公司 基于卷积神经网络的图像处理方法、装置及存储介质
CN111179175A (zh) * 2019-12-27 2020-05-19 深圳力维智联技术有限公司 基于卷积神经网络的图像处理方法、装置及存储介质
CN111259758B (zh) * 2020-01-13 2023-04-07 中国矿业大学 一种针对密集区域的两阶段遥感图像目标检测方法
CN111259758A (zh) * 2020-01-13 2020-06-09 中国矿业大学 一种针对密集区域的两阶段遥感图像目标检测方法
CN111339734B (zh) * 2020-02-20 2023-06-30 青岛联合创智科技有限公司 一种基于文本生成图像的方法
CN111339734A (zh) * 2020-02-20 2020-06-26 青岛联合创智科技有限公司 一种基于文本生成图像的方法
CN111402203B (zh) * 2020-02-24 2024-03-01 杭州电子科技大学 一种基于卷积神经网络的织物表面缺陷检测方法
CN111402203A (zh) * 2020-02-24 2020-07-10 杭州电子科技大学 一种基于卷积神经网络的织物表面缺陷检测方法
CN111462050A (zh) * 2020-03-12 2020-07-28 上海理工大学 改进YOLOv3的极小遥感图像目标检测方法、装置及存储介质
CN111462050B (zh) * 2020-03-12 2022-10-11 上海理工大学 改进YOLOv3的极小遥感图像目标检测方法、装置及存储介质
CN111429352A (zh) * 2020-03-26 2020-07-17 深圳大学 一种基于神经网络的图像超分辨率重建方法及设备
CN111429352B (zh) * 2020-03-26 2023-04-18 深圳大学 一种基于神经网络的图像超分辨率重建方法及设备
CN111461211B (zh) * 2020-03-31 2023-07-21 中国科学院计算技术研究所 一种用于轻量级目标检测的特征提取方法及相应检测方法
CN111461211A (zh) * 2020-03-31 2020-07-28 中国科学院计算技术研究所 一种用于轻量级目标检测的特征提取方法及相应检测方法
CN111611847B (zh) * 2020-04-01 2021-04-30 杭州电子科技大学 基于尺度注意力空洞卷积网络的视频动作检测方法
CN111611847A (zh) * 2020-04-01 2020-09-01 杭州电子科技大学 基于尺度注意力空洞卷积网络的视频动作检测方法
CN111767919B (zh) * 2020-04-10 2024-02-06 福建电子口岸股份有限公司 一种多层双向特征提取与融合的目标检测方法
CN111767919A (zh) * 2020-04-10 2020-10-13 福建电子口岸股份有限公司 一种多层双向特征提取与融合的目标检测方法
CN111898617A (zh) * 2020-06-29 2020-11-06 南京邮电大学 基于注意力机制与并行空洞卷积网络的目标检测方法、系统
CN112070742B (zh) * 2020-09-07 2023-09-26 杭州师范大学 基于自适应感受野3d空间注意力的脑影像分类装置
CN112070742A (zh) * 2020-09-07 2020-12-11 杭州师范大学 基于自适应感受野3d空间注意力的脑影像分类装置
CN112257528A (zh) * 2020-10-12 2021-01-22 南京工业大学 一种基于小波变换和密集连接扩张卷积神经网络的风电齿轮箱故障诊断方法
CN112257794A (zh) * 2020-10-27 2021-01-22 东南大学 一种基于yolo的轻量级的目标检测方法
CN112365515A (zh) * 2020-10-30 2021-02-12 深圳点猫科技有限公司 一种基于密集感知网络的边缘检测方法、装置及设备
CN112307976B (zh) * 2020-10-30 2024-05-10 北京百度网讯科技有限公司 目标检测方法、装置、电子设备以及存储介质
CN112307976A (zh) * 2020-10-30 2021-02-02 北京百度网讯科技有限公司 目标检测方法、装置、电子设备以及存储介质
CN112767402A (zh) * 2021-01-08 2021-05-07 北京闭环科技有限公司 一种基于三维卷积神经网络的图像分割方法及系统
CN112767402B (zh) * 2021-01-08 2024-06-07 北京闭环科技有限公司 一种基于三维卷积神经网络的图像分割方法及系统
CN112906718A (zh) * 2021-03-09 2021-06-04 西安电子科技大学 一种基于卷积神经网络的多目标检测方法
CN112906718B (zh) * 2021-03-09 2023-08-22 西安电子科技大学 一种基于卷积神经网络的多目标检测方法
CN113177133B (zh) * 2021-04-23 2024-03-29 深圳依时货拉拉科技有限公司 一种图像检索方法、装置、设备及存储介质
CN113177133A (zh) * 2021-04-23 2021-07-27 深圳依时货拉拉科技有限公司 一种图像检索方法、装置、设备及存储介质
CN113420630A (zh) * 2021-06-17 2021-09-21 中国人民解放军海军航空大学航空作战勤务学院 一种基于从头训练的sar图像舰船目标检测方法和系统
CN113378786B (zh) * 2021-07-05 2023-09-19 广东省机场集团物流有限公司 一种超轻量目标检测网络和方法
CN113378786A (zh) * 2021-07-05 2021-09-10 广东工业大学 一种超轻量目标检测网络和方法
CN113947600A (zh) * 2021-12-20 2022-01-18 湖南工商大学 一种数字孪生宏观场景的多目标检测方法及装置
CN114463676A (zh) * 2022-01-19 2022-05-10 北京工业大学 一种基于隐式表达的安全帽配戴检测方法

Also Published As

Publication number Publication date
CN109522966B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN109522966A (zh) 一种基于密集连接卷积神经网络的目标检测方法
CN110135267A (zh) 一种大场景sar图像细微目标检测方法
CN109859190A (zh) 一种基于深度学习的目标区域检测方法
CN109685776A (zh) 一种基于ct图像的肺结节检测方法及系统
CN109829893A (zh) 一种基于注意力机制的缺陷目标检测方法
CN108764063A (zh) 一种基于特征金字塔的遥感影像时敏目标识别系统及方法
CN108520535A (zh) 基于深度恢复信息的物体分类方法
CN109166100A (zh) 基于卷积神经网络的多任务学习细胞计数方法
CN110428428A (zh) 一种图像语义分割方法、电子设备和可读存储介质
CN104376326B (zh) 一种用于图像场景识别的特征提取方法
CN110263705A (zh) 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN109800628A (zh) 一种加强ssd小目标行人检测性能的网络结构及检测方法
CN108537192A (zh) 一种基于全卷积网络的遥感影像地表覆盖分类方法
CN109800736A (zh) 一种基于遥感影像和深度学习的道路提取方法
CN110147807A (zh) 一种船舶智能识别跟踪方法
CN109934293A (zh) 图像识别方法、装置、介质及混淆感知卷积神经网络
CN108830188A (zh) 基于深度学习的车辆检测方法
CN104484681B (zh) 基于空间信息和集成学习的高光谱遥感影像分类方法
CN107909015A (zh) 基于卷积神经网络及空谱信息融合的高光谱图像分类方法
CN109102014A (zh) 基于深度卷积神经网络的类别不平衡的图像分类方法
CN107316058A (zh) 通过提高目标分类和定位准确度改善目标检测性能的方法
CN108334848A (zh) 一种基于生成对抗网络的微小人脸识别方法
CN108830285A (zh) 一种基于Faster-RCNN的加强学习的目标检测方法
CN109523520A (zh) 一种基于深度学习的染色体自动计数方法
CN110287873A (zh) 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant