CN112508924B - 一种小目标检测识别方法、装置、系统和存储介质 - Google Patents
一种小目标检测识别方法、装置、系统和存储介质 Download PDFInfo
- Publication number
- CN112508924B CN112508924B CN202011483335.5A CN202011483335A CN112508924B CN 112508924 B CN112508924 B CN 112508924B CN 202011483335 A CN202011483335 A CN 202011483335A CN 112508924 B CN112508924 B CN 112508924B
- Authority
- CN
- China
- Prior art keywords
- processing
- feature map
- feature
- detection
- residual error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 237
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 30
- 238000005070 sampling Methods 0.000 claims abstract description 21
- 238000007499 fusion processing Methods 0.000 claims abstract description 19
- 238000010586 diagram Methods 0.000 claims description 59
- 239000013598 vector Substances 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理技术领域，公开了一种小目标检测识别方法、装置、系统和存储介质。小目标检测识别方法包括：获取待检测识别的目标图像；将所述目标图像输入到预设的卷积神经网络模型中进行检测识别并输出检测识别结果；其中，预设的所述卷积神经网路模型可对所述目标图像进行卷积处理、残差处理、下采样处理以及特征融合处理，得到目标图像特征融合结果，并对得到的所述目标图像特征融合结果进行检测识别。通过获取图像并将图像通过预设的卷积神经网络模型进行包括卷积处理、残差处理、下采样处理以及特征融合处理等处理之后，进行检测识别，能够有效地检测出图像中的小目标，提高图像检测识别的准确性和精度，提高检测识别的效率。
Description
技术领域
本发明属于计算机视觉和图像处理技术领域，尤其涉及一种小目标检测识别方法、装置、系统和存储介质。
背景技术
目标检测是计算机视觉领域的研究热点，受到学术界与工业界的密切关注。近年来，随着深度学习技术的不断发展，目标检测再行人检测、车辆检测、障碍物检测等领域有着不错的效果。目前基于深度学习的目标检测方法主要分为两类：一类是基于RegionProposal(候选区域)的以R-CNN、Fast R-CNN、Faster R-CNN为代表的两阶段的算法；另一类是基于回归的以YOLO、SSD等为代表的单阶段算法。目前这两类网络模型各具优势，基于候选区提取的两阶段算法精度较高，但实时性不足；基于回归的单阶段算法实时性较高，但精度不足。
然而以上两种模型对图像中的小目标的检测识别精度比较低，且不能够实时检测。针对上述技术的不足，提出一种能够实现对图像中小目标实时检测识别的方法。
发明内容
本发明实施例的目的在于提供一种小目标检测识别方法，旨在解决现有技术中的小目标检测识别方法难以准确检测识别小目标且不能够实时检测的问题。
本发明实施例是这样实现的，一种小目标检测识别方法，所述方法包括：
获取待检测识别的目标图像；
将所述目标图像输入到预设的卷积神经网络模型中进行检测识别并输出检测识别结果；其中，预设的所述卷积神经网路模型可对所述目标图像进行卷积处理、残差处理、下采样处理以及特征融合处理，得到目标图像特征融合结果，并对得到的所述目标图像特征融合结果进行检测识别。
优选地，预设的所述卷积神经网络模型对所述目标图像进行检测识别并输出检测识别结果，具体包括：
对所述目标图像进行卷积处理，并做第一次下采样处理，得到第一特征图；
对所述第一特征图进行第一阶段残差处理，并做第二次下采样处理，得到第二特征图；
对所述第二特征图进行第二阶段残差处理，并做第三次下采样处理，得到第三特征图；
对所述第三特征图进行第三阶段残差处理，得到第四特征图；
对所述第四特征图进行第四次下采样处理，得到第五特征图；
对所述第五特征图进行第四阶段残差处理，得到第六特征图；
对所述第六特征图进行第五次下采样处理，并做第五阶段残差处理，得到第七特征图；
将所述第四特征图、所述第六特征图和所述第七特征图进行特征融合，得到融合特征结果；
将所述融合特征结果输入预设的检测器进行检测识别，得到并输出检测识别结果，预设的所述检测器由样本图像训练得来。
优选地，所述第一阶段残差处理中，残差处理的次数为1次；所述第二阶段残差处理中，残差处理的次数2次；所述第三阶段残差处理中，残差处理的次数8次；所述第四阶段残差处理中，残差处理的次数8次；所述第五阶段残差处理中，残差处理的次数4次。
优选地，所述对所述第三特征图进行第三阶段残差处理，得到第四特征图的步骤具体为：
对所述第三特征图进行第三阶段残差处理，并做双支路特征增强处理，得到第四特征图；
和/或
所述对所述第五特征图进行第四阶段残差处理，得到第六特征图的步骤具体为：
对所述第五特征图进行第四阶段残差处理，并做双支路特征增强处理，得到第六特征图；
和/或
所述对所述第六特征图进行第五次下采样处理，并做第五阶段残差处理，得到第七特征图的步骤具体为：
所述对所述第六特征图进行第五次下采样处理，并做第五阶段残差处理，并做双支路特征增强处理，得到第七特征图。
优选地，所述将所述第四特征图、所述第六特征图和所述第七特征图进行特征融合，得到融合特征结果的步骤，具体包括：
将所述第四特征图、所述第六特征图和所述第七特征图进行残差特征增强处理，所述残差特征增强处理包括对所述第四特征图、所述第六特征图和所述第七特征图进行降维处理和上采样处理，使所述第四特征图、所述第六特征图和所述第七特征图的维度和尺度大小一致；
将残差特征增强处理后的所述第四特征图、所述第六特征图和所述第七特征图进行特征图拼接操作，并进行卷积处理，得到三个注意力特征图；
将三个所述注意力特征图分别与对应的特征图相加，并进行权值融合，得到融合特征结果。
优选地，所述残差处理包括：
对输入的特征图进行卷积处理和批归一化处理，再通过非线性激活函数进行激活输出，所述批归一化处理可用公式表示为：
其中，其中ε＝1e-5，x为输入数据向量，包括通道数、batch数、特征图尺寸参数。
优选地，所述双支路特征增强处理包括：
对输入的特征图的特征向量进行至少两次卷积处理，得到至少两个子向量；
对至少两个所述子向量的权重进行标定，并对标定后的至少两个子向量进行加法操作，得到输出的增强特征图。
本发明实施例的另一目的在于提供一种小目标检测识别装置，包括：
图像获取模块，用于获取待检测识别的目标图像；
检测识别模块，所述检测识别模块包括预设的卷积神经网络模型，用于将所述目标图像输入到预设的卷积神经网络模型中进行检测识别并输出检测识别结果；其中，预设的所述卷积神经网路模型可对所述目标图像进行卷积处理、残差处理、下采样处理以及特征融合处理，并对得到的所述目标特征图融合结果进行检测识别。
本发明实施例的另一目的在于提供一种小目标检测识别系统，包括：
图像采集装置，用于采集待检测识别目标图像，并记录采集地点信息；
所述小目标检测识别装置，用于获取所述目标图像，并对所述图像进行检测识别，输出检测识别结果；
管理中心，用于接收所述小目标检测识别装置发送的检测识别结果以及所述采集地点信息，根据检测识别结果进行管理。
本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述小目标检测识别方法的步骤。
本发明实施例中提供的一种小目标检测识别方法，通过获取图像并将图像通过预设的卷积神经网络模型进行包括卷积处理、残差处理、下采样处理以及特征融合处理等处理之后，进行检测识别，能够有效地检测出图像中的小目标，提高图像检测识别的准确性和精度，同时检测识别的成本大大降低，极大地提高小目标检测识别的效率。
附图说明
图1为本发明实施例中提供的小目标检测识别方法的流程图；
图2为本发明实施例中提供的进行检测识别的流程图；
图3为本发明实施例中提供的特征融合的流程图；
图4为本发明实施例中提供的小目标检测识别装置的结构框图；
图5为本发明实施例中提供的卷积神经网络模型的结构示意图；
图6为本发明实施例中提供的残差处理单元的内部结构示意图；
图7为本发明实施例中提供的双支路特征增强处理单元的原理结构示意图；
图8为本发明实施例中能够提供的残差特征增强处理单元的原理结构示意图；
图9为本发明实施例中提供的特征融合处理单元的原理结构示意图；
图10为本发明实施例提供的一种小目标检测识别系统的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx 脚本。
实施例一。
如图1所示，为本发明实施例中提供的小目标检测识别方法的流程图，本发明实施例是这样实现的，一种小目标检测识别方法，包括：
步骤S100，获取待检测识别的目标图像；
步骤S200，将所述目标图像输入到预设的卷积神经网络模型中进行检测识别并输出检测识别结果；其中，预设的所述卷积神经网路模型可对所述目标图像进行卷积处理、残差处理、下采样处理以及特征融合处理，得到目标图像特征融合结果，并对得到的所述目标图像特征融合结果进行检测识别。
在本发明实施例中，预设的卷积神经网络模型可以通过预先选取的样本图像来进行训练过的，其可以根据训练的结果来进行检测和识别图像中是否出现目标物体(目标物体可以是比如海洋环境图像中的海洋浮标，其在海洋环境中属于小目标物体，还可以是远处的交通标志牌以及一些高空识别应用等)，本发明实施例中所述的检测识别结果只要是指是否检测到目标图像中出现目标物体。
在本发明实施例中，目标图像可以是事先采集好的图像，也可以是实时图像，待检测识别的目标图像在输入到卷积神经网络模型中进行检测识别之前或者在被获取之前，还可以包括对目标图像进行预处理，比如变换、降噪、对比度调整、尺寸调整等，图像预处理属于常用手段，本领域技术人员可以根据实际需要进行设置，在此不进一步的展开描述。另外，小目标是指图像中的目标物体的大小占比比较小的时候，比如目标大小站到图像大小的1/50、1/100或者更小的时候，则其目标的大小比较小，现有技术中难以识别。
在本发明实施例中，卷积处理属于卷积神经网络模型的常规处理方式，在此不对其进行展开介绍，对于卷积处理本领域技术人员可以根据现有技术的公知常识进行实现。
在本发明实施例中，如图2所示，为本发明实施例中提供的进行检测识别的流程图；步骤S200中的预设的所述卷积神经网络模型对所述目标图像进行检测识别并输出检测识别结果时，具体包括：
步骤S210，对所述目标图像进行卷积处理，并做第一次下采样处理，得到第一特征图；
步骤S220，对所述第一特征图进行第一阶段残差处理，并做第二次下采样处理，得到第二特征图；
步骤S230，对所述第二特征图进行第二阶段残差处理，并做第三次下采样处理，得到第三特征图；
步骤S240，对所述第三特征图进行第三阶段残差处理，得到第四特征图；
步骤S250，对所述第四特征图进行第四次下采样处理，得到第五特征图；
步骤S260，对所述第五特征图进行第四阶段残差处理，得到第六特征图；
步骤S270，对所述第六特征图进行第五次下采样处理，并做第五阶段残差处理，得到第七特征图；
步骤S280，将所述第四特征图、所述第六特征图和所述第七特征图进行特征融合，得到融合特征结果；
步骤S290，将所述融合特征结果输入预设的检测器进行检测识别，得到并输出检测识别结果，预设的所述检测器由样本图像训练得来。
在本发明实施例中，下采样处理的原理主要是对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，当然s应该是M 和N的公约数才行，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值；同时，介绍一下相对应的上采样处理，下采样相当于缩小图像，而上采样则相当于放大图像，上采样处理图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。对于上采样和下采样的原理在此不进一步的展开描述，本领域技术人员可以根据公知常识结合本发明实施例中要实现的功能和作用进行设计处理，本发明实施例中的终端杆在于如何使用这类技术手段来对目标图像进行处理。
在本发明实施例中，步骤S220所述第一阶段残差处理中，残差处理的次数为1次；步骤S230所述第二阶段残差处理中，残差处理的次数2次；步骤S240 所述第三阶段残差处理中，残差处理的次数8次；所述第四阶段残差处理中，残差处理的次数8次；步骤S260所述第五阶段残差处理中，残差处理的次数4 次。
在本发明实施例中，步骤S240所述对所述第三特征图进行第三阶段残差处理，得到第四特征图的步骤具体为：
对所述第三特征图进行第三阶段残差处理，并做双支路特征增强处理，得到第四特征图；
和/或
步骤S260所述对所述第五特征图进行第四阶段残差处理，得到第六特征图的步骤具体为：
对所述第五特征图进行第四阶段残差处理，并做双支路特征增强处理，得到第六特征图；
和/或
步骤S270所述对所述第六特征图进行第五次下采样处理，并做第五阶段残差处理，得到第七特征图的步骤具体为：
所述对所述第六特征图进行第五次下采样处理，并做第五阶段残差处理，并做双支路特征增强处理，得到第七特征图。
需要说明的是，在上述描述中，可以使用其中任意一次双支路特征增强处理，也可以任意两次，优选实施例中选择使用三次双支路特征增强处理。
具体的，本发明实施例中以输入尺寸416*416的目标图像为例进行说明，首先对输入的目标图像进行一个32*3*3的卷积处理，之后进行一个步长为2的下采样处理(第一次下采样处理)得到208*208的特征图；之后进行1次残差处理(第一阶段残差处理)，然后对其进行步长为2的下采样处理(第二次下采样处理)得到104*104的特征图；将其进行2次残差处理(第二阶段残差处理)，然后对其进行步长为2的下采样处理(第三次下采样处理)得到52*52 的特征图；将其进行8次残差处理(第三阶段残差处理)，然后引入双支路特征增强处理对该层特征图进行特征增强处理，得到第一个尺度52*52的特征图 (第四特征图)；然后对其进行步长为2的下采样处理(第四次下采样处理) 得到26*26的特征图，将其输入第四残差块进行8次残差处理(第四阶段残差处理)，然后引入双支路特征增强处理对该层特征图进行特征增强处理，得到第二个尺度26*26的特征图(第六特征图)；继续进行步长为2的下采样处理 (第五次下采样处理)，得到13*13的特征图进入第五残差块进行4次残差处理(第五阶段残差处理)，继续对特征图进行双支路特征增强处理，得到第三个尺度13*13的特征图(第七特征图)。将上述过程所得到的三个不同尺度的特征图(第四特征图、第六特征图和第七特征图)进行特征融合，将融合结果输入检测器进行检测，最终输出结果。其中检测器可以是YOLO检测器，检测器属于本领域的成熟技术，具体的设计或者预设的训练，可以根据本发明实施例的前述描述进行理解并结合现有技术进行实现，在此不进一步的展开描述。
在本发明实施例中，如图3所示，为本发明实施例中提供的特征融合的流程图；步骤S280所述将所述第四特征图、所述第六特征图和所述第七特征图进行特征融合，得到融合特征结果的步骤，具体包括：
步骤S281，将所述第四特征图、所述第六特征图和所述第七特征图进行残差特征增强处理，所述残差特征增强处理包括对所述第四特征图、所述第六特征图和所述第七特征图进行降维处理和上采样处理，使所述第四特征图、所述第六特征图和所述第七特征图的维度和尺度大小一致；
步骤S282，将残差特征增强处理后的所述第四特征图、所述第六特征图和所述第七特征图进行特征图拼接操作，并进行卷积处理，得到三个注意力特征图；
步骤S283，将三个所述注意力特征图分别与对应的特征图进行求和操作，并进行权值融合，得到融合特征结果。
具体的，比如针对三个不同尺寸的特征图γ(H*W)、β(H*W)、γ(H*W)，其中α、β、γ可分别取值0.1，0.2，0.3，通过1*1卷积进行降维处理，确保维度一致，之后进行Upsample(上采样处理)使得三个输入的特征图保持尺度大小一致，将三个特征图进行Concat(特征图拼接)操作，然后依次进行1*1、3*3的卷积处理，形成三个注意力特征图，将这三个注意力特征图和输入的特征图分别相加，最后进行权值融合即可得到融合特征结果。
在本发明实施例中，所述残差处理包括：
对输入的特征图进行卷积处理和批归一化处理，再通过非线性激活函数进行激活输出，所述批归一化处理可用公式表示为：
其中，其中ε＝1e-5，x为输入数据向量，包括通道数、batch数、特征图尺寸参数。
在本发明实施例中，残差处理除了上述所提供的优选实施例以外，本领域技术人员还可以根据实际情况选择其他残差处理的具体方式，残差处理在本领域已经属于比较成熟的技术，本领域技术人员可以根据上述描述以及结合要达到的目的进行选择处理。另外，非线性激活函数可以使用Leaky激活函数、 Sigmoid函数等，在此不进一步的罗列更多可能。
在本发明实施例中，所述双支路特征增强处理包括：
对输入的特征图的特征向量进行至少两次卷积处理，得到至少两个子向量；
对至少两个所述子向量的权重进行标定，并对标定后的至少两个子向量进行加法操作，得到输出的增强特征图。
在本发明实施例中，双支路特征增强处理主要是对有效的特征进行提升、对无用的特征进行抑制，从而提高目标检测效果。具体的，在优选实施例中，首先将输入特征向量X分别进行核为3*3和5*5的卷积，得到两个子向量
分别对子向量
的权重重新标定；最后将两部分子向量做add操作(加法操作) 得到输出的增强特征图。需要注意的是，输入特征图和输出特征图的通道数和尺度均一致，只是前后的特征数值表示不一样，实现了对有用特征进行提升、无用特征进行抑制的效果。
本发明实施例中提供的一种小目标检测识别方法，通过获取图像并将图像通过预设的卷积神经网络模型进行包括卷积处理、残差处理、下采样处理以及特征融合处理等处理之后，进行检测识别，能够有效地检测出图像中的小目标，提高图像检测识别的准确性和精度，极大地提高小目标检测识别的效率。
实施例二
如图4所示，为本发明实施例中提供的一种小目标检测识别装置的结构框图，本发明实施例的另一目的在于提供一种小目标检测识别装置，包括：
图像获取模块410，用于获取待检测识别的目标图像；
检测识别模块420，所述检测识别模块420包括预设的卷积神经网络模型，用于将所述目标图像输入到预设的卷积神经网络模型中进行检测识别并输出检测识别结果；其中，预设的所述卷积神经网路模型可对所述目标图像进行卷积处理、残差处理、下采样处理以及特征融合处理，并对得到的所述目标特征图融合结果进行检测识别。
在本发明实施例中，检测识别模块420可以执行的步骤包括了前述实施例中描述的相应的步骤，在此不进一步的展开重复的描述。
本发明实施例中，检测识别模块420可以先将采集的视频数据进行分帧、图片压缩等数据处理，然后将图片处理成为416*416的大小并输入卷积神经网络模型中进行前向推理输出目标检测结果。
需要单独说明的是，如图5所示，为本发明实施例中提供的预设的卷积神经网络模型的结构示意图，其中，包括了卷积处理单元510、残差处理单元、双支路特征增强处理单元、残差特征增强处理单元540以及特征融合处理单元550 和检测器单元560，其中，残差处理单元包括了第一残差处理单元521、第二残差处理单元522、第三残差处理单元523、第四残差处理单元524、第五残差处理单元525，双支路特征增强处理单元包括了第一双支路特征增强处理单元531、第二双支路特征增强处理单元532、第三双支路特征增强处理单元533，对应的，分别执行前面实施例中所描述到处理步骤，在此不进一步的重复描述。
另外，如图6所示，为本发明实施例中提供的一种残差处理单元的内部结构示意图。该残差处理单元可以重复进行两次残差处理，其中，第一个CONV2D 为步长为1的1*1卷积，然后进行BatchNormal批归一化处理，批归一化处理可用下列公式表示：
其公式的含义以及参数的意义均在前述实施例中有所描述，在此不进一步的重复。输出使用非线性激活函数Leaky激活函数；第二个CONV2D为步长为 3的3*3卷积，然后进行BatchNormal批归一化处理，输出使用非线性激活函数 Leaky激活函数。针对其他不同残差处理次数的残差处理单元，在此不进一步一一罗列展示，本领域技术人员可以根据上述描述进行理解和参数调整来实现。
进一步的，如图7所示，为本发明实施例中提供的双支路特征增强处理单元的原理结构示意图，双支路特征增强单元对有效的特征进行提升、对无用的特征进行抑制，从而提高目标检测效果。首先将输入特征向量X分别进行核为3*3和5*5的卷积，得到两个子向量
分别对子向量
的权重重新标定；最后将两部分子向量做add操作得到输出特征向量。需要注意的是，输入特征图X和输出特征图Y的通道数和尺度均一致，只是前后的特征数值表示不一样，实现了对有用特征进行提升、无用特征进行抑制的效果。
进一步的，如图8所示，为本发明实施例中能够提供的残差特征增强处理单元的原理结构示意图，其进行残差特征增强处理的时候，首先通过 Adaptivepooling(自适应池化处理)进行降采样得到三个不同尺寸的特征图α(H*W)、β(H*W)、γ(H*W)，其中α、β、γ可分别取值0.1，0.2，0.3。然后通过1*1 卷积进行降维，确保维度一致，之后进行Upsample(上采样)上采样使得三个输入的特征图保持尺度大小一致，将三个特征图输入到特征融合处理单元进行融合处理。
进一步的，如图9所示为本发明实施例中提供的特征融合处理单元的原理结构示意图，特征融合处理单元为多尺度特征融合单元，特征融合处理单元将输入的3个特征图进行Concat(特征图拼接)操作，然后依次进行1*1、3*3的卷积处理，形成三个注意力特征图，将这三个注意力特征图和输入的特征图分别相加，最后进行权值融合。
在本发明实施例中，上述单元模块的描述以及其执行的步骤，均可以结合前述实施例中的描述进行理解，在此不进一步重复描述，本领域技术人员应当理解，本实施例中的小目标检测识别装置用于实现和执行前述实施例中小目标检测识别方法的，该方法的步骤以及流程均可以与本发明实施例中的装置的各个单元对应。
本发明实施例中提供的一种小目标检测识别装置，通过获取图像并将图像通过预设的卷积神经网络模型进行包括卷积处理、残差处理、下采样处理以及特征融合处理等处理之后，进行检测识别，能够有效地检测出图像中的小目标，提高图像检测识别的准确性和精度，极大地提高小目标检测识别的效率。
实施例三
如图10所示，为本发明实施例中提供的一种小目标检测识别系统的结构示框图；本发明实施例的另一目的在于提供一种小目标检测识别系统，包括：
图像采集装置1010，用于采集待检测识别目标图像，并记录采集地点信息；
所述小目标检测识别装置1020，用于获取所述目标图像，并对所述图像进行检测识别，输出检测识别结果；
管理中心1030，用于接收所述小目标检测识别装置发送的检测识别结果以及所述采集地点信息，根据检测识别结果进行管理。
在本发明实施例中，图像采集装1010可以是摄像机、照相机等图像采集设备，还可以选择可见光吊舱设备进行实现，在优选实施例中，可以通过无人机或者其他飞行设备携带图像采集装置来进行图像采集，同时记录采集地点信息，比如采集图像的坐标，则可以对应的展示图像发生的地点，比如在海洋浮标的检测识别应用中，就可以快速检测并识别海洋浮标，便于掌握海洋浮标的位置，便于进行管理。
其中，管理中心1030接收到检测识别结果之后，特别是检测识别到目标物体的情况，则可以结合其采集地点信息，记载目标物体的地点，便于进行后期的其他管理工作，在此不进一步的展开描述。
本发明实施例中提供的一种小目标检测识别系统在提供的小目标检测识别方法和装置的基础上，开发远程管理，可以通过管理中心将检测识别结果与采集地点信息等定位数据进行融合，方便呈现目标物体的最终目标检测与定位结果。
实施例四
本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取待检测识别的目标图像；
将所述目标图像输入到预设的卷积神经网络模型中进行检测识别并输出检测识别结果；其中，预设的所述卷积神经网路模型可对所述目标图像进行卷积处理、残差处理、下采样处理以及特征融合处理，得到目标图像特征融合结果，并对得到的所述目标图像特征融合结果进行检测识别。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路 (Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM) 等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种小目标检测识别方法，其特征在于，所述方法包括：
获取待检测识别的目标图像；
将所述目标图像输入到预设的卷积神经网络模型中进行检测识别并输出检测识别结果；其中，预设的所述卷积神经网路模型可对所述目标图像进行卷积处理、残差处理、下采样处理以及特征融合处理，得到目标图像特征融合结果，并对得到的所述目标图像特征融合结果进行检测识别；
预设的所述卷积神经网络模型对所述目标图像进行检测识别并输出检测识别结果，具体包括：
对所述目标图像进行卷积处理，并做第一次下采样处理，得到第一特征图；
对所述第一特征图进行第一阶段残差处理，并做第二次下采样处理，得到第二特征图；
对所述第二特征图进行第二阶段残差处理，并做第三次下采样处理，得到第三特征图；
对所述第三特征图进行第三阶段残差处理，得到第四特征图；
对所述第四特征图进行第四次下采样处理，得到第五特征图；
对所述第五特征图进行第四阶段残差处理，得到第六特征图；
对所述第六特征图进行第五次下采样处理，并做第五阶段残差处理，得到第七特征图；
将所述第四特征图、所述第六特征图和所述第七特征图进行特征融合，得到融合特征结果；
将所述融合特征结果输入预设的检测器进行检测识别，得到并输出检测识别结果，预设的所述检测器由样本图像训练得来。
2.根据权利要求1所述的方法，其特征在于，所述第一阶段残差处理中，残差处理的次数为1次；所述第二阶段残差处理中，残差处理的次数2次；所述第三阶段残差处理中，残差处理的次数8次；所述第四阶段残差处理中，残差处理的次数8次；所述第五阶段残差处理中，残差处理的次数4次。
3.根据权利要求1所述的方法，其特征在于，所述对所述第三特征图进行第三阶段残差处理，得到第四特征图的步骤具体为：
对所述第三特征图进行第三阶段残差处理，并做双支路特征增强处理，得到第四特征图；
和/或
所述对所述第五特征图进行第四阶段残差处理，得到第六特征图的步骤具体为：
对所述第五特征图进行第四阶段残差处理，并做双支路特征增强处理，得到第六特征图；
和/或
所述对所述第六特征图进行第五次下采样处理，并做第五阶段残差处理，得到第七特征图的步骤具体为：
所述对所述第六特征图进行第五次下采样处理，并做第五阶段残差处理，并做双支路特征增强处理，得到第七特征图。
4.根据权利要求1所述的方法，其特征在于，所述将所述第四特征图、所述第六特征图和所述第七特征图进行特征融合，得到融合特征结果的步骤，具体包括：
将所述第四特征图、所述第六特征图和所述第七特征图进行残差特征增强处理，所述残差特征增强处理包括对所述第四特征图、所述第六特征图和所述第七特征图进行降维处理和上采样处理，使所述第四特征图、所述第六特征图和所述第七特征图的维度和尺度大小一致；
将残差特征增强处理后的所述第四特征图、所述第六特征图和所述第七特征图进行特征图拼接操作，并进行卷积处理，得到三个注意力特征图；
将三个所述注意力特征图分别与对应的特征图相加，并进行权值融合，得到融合特征结果。
5.根据权利要求1所述的方法，其特征在于，所述残差处理包括：
对输入的特征图进行卷积处理和批归一化处理，再通过非线性激活函数进行激活输出，所述批归一化处理可用公式表示为：
其中，其中ε＝1e-5，x为输入数据向量，包括通道数、batch数、特征图尺寸参数。
6.根据权利要求3所述的方法，其特征在于，所述双支路特征增强处理包括：
对输入的特征图的特征向量进行至少两次卷积处理，得到至少两个子向量；
对至少两个所述子向量的权重进行标定，并对标定后的至少两个子向量进行加法操作，得到输出的增强特征图。
7.一种小目标检测识别装置，其特征在于，包括：
图像获取模块，用于获取待检测识别的目标图像；
检测识别模块，所述检测识别模块包括预设的卷积神经网络模型，用于将所述目标图像输入到预设的卷积神经网络模型中进行检测识别并输出检测识别结果；其中，预设的所述卷积神经网路模型可对所述目标图像进行卷积处理、残差处理、下采样处理以及特征融合处理，并对得到的所述目标特征图融合结果进行检测识别；预设的所述卷积神经网络模型对所述目标图像进行检测识别并输出检测识别结果，具体包括：
对所述目标图像进行卷积处理，并做第一次下采样处理，得到第一特征图；
对所述第一特征图进行第一阶段残差处理，并做第二次下采样处理，得到第二特征图；
对所述第二特征图进行第二阶段残差处理，并做第三次下采样处理，得到第三特征图；
对所述第三特征图进行第三阶段残差处理，得到第四特征图；
对所述第四特征图进行第四次下采样处理，得到第五特征图；
对所述第五特征图进行第四阶段残差处理，得到第六特征图；
对所述第六特征图进行第五次下采样处理，并做第五阶段残差处理，得到第七特征图；
将所述第四特征图、所述第六特征图和所述第七特征图进行特征融合，得到融合特征结果；
将所述融合特征结果输入预设的检测器进行检测识别，得到并输出检测识别结果，预设的所述检测器由样本图像训练得来。
8.一种小目标检测识别系统，其特征在于，包括：
图像采集装置，用于采集待检测识别目标图像，并记录采集地点信息；
权利要求7所述小目标检测识别装置，用于获取所述目标图像，并对所述图像进行检测识别，输出检测识别结果；
管理中心，用于接收所述小目标检测识别装置发送的检测识别结果以及所述采集地点信息，根据检测识别结果进行管理。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至6中任一项所述小目标检测识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011483335.5A CN112508924B (zh) | 2020-12-15 | 2020-12-15 | 一种小目标检测识别方法、装置、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011483335.5A CN112508924B (zh) | 2020-12-15 | 2020-12-15 | 一种小目标检测识别方法、装置、系统和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112508924A CN112508924A (zh) | 2021-03-16 |
| CN112508924B true CN112508924B (zh) | 2022-09-23 |
Family
ID=74972466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011483335.5A Active CN112508924B (zh) | 2020-12-15 | 2020-12-15 | 一种小目标检测识别方法、装置、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508924B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113609951B (zh) * | 2021-07-30 | 2023-11-24 | 北京百度网讯科技有限公司 | 目标检测模型的训练和目标检测方法、装置、设备及介质 |
| CN113723305A (zh) * | 2021-08-31 | 2021-11-30 | 北京百度网讯科技有限公司 | 图像和视频检测方法、装置、电子设备和介质 |
| CN114596580B (zh) * | 2022-02-14 | 2024-05-14 | 南方科技大学 | 一种多人体目标识别方法、系统、设备及介质 |
| CN114724261A (zh) * | 2022-04-15 | 2022-07-08 | 澜途集思生态科技集团有限公司 | 基于snip算法的生态生物识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109492547A (zh) * | 2018-10-24 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 一种结节识别方法、装置和存储介质 |
| CN111881984A (zh) * | 2020-07-30 | 2020-11-03 | 北京环境特性研究所 | 一种基于深度学习的目标检测方法和装置 |
| CN111985325A (zh) * | 2020-07-15 | 2020-11-24 | 国网河南省电力公司 | 特高压环境评价中的航拍小目标快速识别方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548148A (zh) * | 2016-10-26 | 2017-03-29 | 北京意泰物联软件科技有限公司 | 视频中未知人脸的识别方法和系统 |
| KR101970488B1 (ko) * | 2017-12-28 | 2019-04-19 | 포항공과대학교 산학협력단 | 실내 의미론적 분할을 위한 컬러-깊이 영상의 단계적 레지듀얼 특성 결합 네트워크 장치 |
| CN108062754B (zh) * | 2018-01-19 | 2020-08-25 | 深圳大学 | 基于密集网络图像的分割、识别方法和装置 |
| CN108875906B (zh) * | 2018-04-20 | 2019-06-04 | 华侨大学 | 一种多尺度逐步累加的卷积神经网络学习方法 |
| CN110163215B (zh) * | 2018-06-08 | 2022-08-23 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
| CN110298831A (zh) * | 2019-06-25 | 2019-10-01 | 暨南大学 | 一种基于分块深度学习的医学图像处理系统及其方法 |
| CN111080660B (zh) * | 2019-11-14 | 2023-08-08 | 中国科学院深圳先进技术研究院 | 一种图像分割方法、装置、终端设备及存储介质 |
| CN111368846B (zh) * | 2020-03-19 | 2022-09-09 | 中国人民解放军国防科技大学 | 一种基于边界语义分割的道路积水识别方法 |
-
2020
- 2020-12-15 CN CN202011483335.5A patent/CN112508924B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109492547A (zh) * | 2018-10-24 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 一种结节识别方法、装置和存储介质 |
| CN111985325A (zh) * | 2020-07-15 | 2020-11-24 | 国网河南省电力公司 | 特高压环境评价中的航拍小目标快速识别方法 |
| CN111881984A (zh) * | 2020-07-30 | 2020-11-03 | 北京环境特性研究所 | 一种基于深度学习的目标检测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112508924A (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112508924B (zh) | 一种小目标检测识别方法、装置、系统和存储介质 | |
| CN110047069B (zh) | 一种图像检测装置 | |
| CN111652321B (zh) | 一种基于改进yolov3算法的海上船舶检测方法 | |
| US11151403B2 (en) | Method and apparatus for segmenting sky area, and convolutional neural network | |
| US20200193232A1 (en) | License plate recognition method, device thereof, and user equipment | |
| CN110222717B (zh) | 图像处理方法和装置 | |
| CN112446270A (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
| CN112307826A (zh) | 行人检测方法、装置、计算机可读存储介质和芯片 | |
| CN116310850B (zh) | 基于改进型RetinaNet的遥感图像目标检测方法 | |
| CN112258537B (zh) | 一种基于卷积神经网络的监督暗视觉图像边缘检测方法 | |
| CN111797881A (zh) | 图像分类方法及装置 | |
| CN113298032A (zh) | 基于深度学习的无人机视角图像的车辆目标检测方法 | |
| CN113962281A (zh) | 基于Siamese-RFB的无人机目标跟踪方法 | |
| CN116863194A (zh) | 一种足溃疡图像分类方法、系统、设备及介质 | |
| CN116740362B (zh) | 一种基于注意力的轻量化非对称场景语义分割方法及系统 | |
| CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
| CN117636298A (zh) | 基于多尺度特征学习的车辆重识别方法、系统及存储介质 | |
| CN113160117A (zh) | 一种自动驾驶场景下的三维点云目标检测方法 | |
| CN113065575A (zh) | 一种图像处理方法及相关装置 | |
| CN108876853B (zh) | 图像定位方法、装置、系统和存储介质 | |
| CN113723469A (zh) | 基于空谱联合网络的可解释高光谱图像分类方法及装置 | |
| CN110942179A (zh) | 一种自动驾驶路线规划方法、装置及车辆 | |
| CN117079043B (zh) | 基于可变形-扩张卷积金字塔特征的高光谱图像分类方法 | |
| CN113449611B (zh) | 一种基于yolo网络压缩算法的安全帽识别智能监控系统 | |
| CN113283411B (zh) | 无人机目标检测方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210316 Assignee: Hefei Dezhi Hangchuang Technology Co.,Ltd. Guangxi Branch Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2023980045857 Denomination of invention: A small object detection and recognition method, device, system, and storage medium Granted publication date: 20220923 License type: Common License Record date: 20231106 |