CN115019201B - 一种基于特征精细化深度网络的弱小目标检测方法 - Google Patents
一种基于特征精细化深度网络的弱小目标检测方法 Download PDFInfo
- Publication number
- CN115019201B CN115019201B CN202210548694.7A CN202210548694A CN115019201B CN 115019201 B CN115019201 B CN 115019201B CN 202210548694 A CN202210548694 A CN 202210548694A CN 115019201 B CN115019201 B CN 115019201B
- Authority
- CN
- China
- Prior art keywords
- target
- boundary
- weak
- resolution
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000005457 optimization Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征精细化深度网络的弱小目标检测方法，包括以下步骤：步骤一、获取图像数据集；步骤二、获取高分辨率语义信息集合和低分辨率语义信息集合；步骤三、获取高分辨率输出和低分辨率输出并融合，得到输出特征；步骤四、获取边界敏感特征；步骤五、获取目标粗略位置；步骤六、计算残差；步骤七、特征精细化网络模型输出目标优化区域；步骤八，对目标优化区域进行特征提取，判断弱小目标的位置。本发明中边界关键点识别模块获取边界敏感特征，实现了弱小目标的粗定位，特征精细化网络模型进行跨层信息互补，在粗定位目标区域上进行精细化目标显著特征增强，弱化高语义信息带来的边界模糊现象，提高弱小目标检测准确率。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于特征精细化深度网络的弱小目标检测方法。
背景技术
当传感器进行远距离探测时，兴趣目标经常表现出面积小、信噪比低的特点，我们称之为弱小目标，弱小目标指直径为3-5个像素的目标。复杂背景下的弱小目标检测是精确制导、红外预警、靶场测量等自动目标识别领域的经典难题。近年来，随着消费级无人机数量的激增，弱小目标检测技术近年来得到了快速发展，弱小目标检测成为低空安保、要地防护亟待突破的关键技术。
近年来，深度学习技术在诸如图像分类、人脸识别、光学目标检测、跟踪等计算机视觉领域，取得了巨大的成功。
但针对红外成像条件下弱小目标的深度学习技术依然面临极大的困难：首先，目标的成像距离一般较远，所检测到的目标面积较小，红外弱小目标在红外传感器所呈的图像上尺寸特变小，只有几个到几十个像素，信噪比较低，没有明显的形状、纹理信息，因此红外弱小目标在图像中往往占比小且特征不显著，卷积神经网络随着深度不断地增加，其对图像中的弱小目标感知能力也在不断下降，导致最终网络提取的图像特征中弱小目标信息不足，降低该类目标的检测成功率。
第二，目标成像通常受到复杂背景的干扰，大量的杂波、噪声，还有一些边缘信息如：云边缘、海天基线、建筑物边缘等的存在，造成了目标淹没于背景之中，因此红外弱小目标往往存在目标边界与背景区分度低和目标轮廓信息不清晰的问题，使得在目标检测过程中目标预测框定位不准确。
目前针对弱小目标检测的深度学习网络模型种类众多，虽然最终都能达到目标检测效果，但是仍然存在的不足之处是，在低信噪比情况下，由于弱小目标并不明显就不能检测出目标，造成检测率下降，甚至一些强背景被误检为目标，造成虚警率上升。因此，需要一种提升目标区域和背景区域的区分度，进一步克服弱小目标边界不清晰所导致检测不准的弱小目标检测方法。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于特征精细化深度网络的弱小目标检测方法，其结构简单、设计合理，边界关键点识别模块获取边界敏感特征，实现了弱小目标的粗定位，特征精细化网络模型进行跨层信息互补，在粗定位目标区域上进行精细化目标显著特征增强，弱化高语义信息带来的边界模糊现象，提高弱小目标检测准确率。
为解决上述技术问题，本发明采用的技术方案是：一种基于特征精细化深度网络的弱小目标检测方法，其特征在于：包括以下步骤；
步骤一、获取弱小目标的图像数据集；
步骤二、分别对弱小目标的图像数据集的样本进行特征提取，得到高分辨率语义信息和低分辨率语义信息，合并高分辨率语义信息得到高分辨率语义信息集合，合并低分辨率语义信息得到低分辨率语义信息集合；
步骤三、将高分辨率语义信息集合和低分辨率语义信息集合分别输入到多头感受野模块，得到高分辨率输出和低分辨率输出，融合高分辨率输出和低分辨率输出，得到输出特征；
步骤四、将输出特征输入边界关键点识别模型，边界关键点识别模型输出边界敏感特征；
步骤五、对边界敏感特征进行特征提取，获得边界特征，边界特征经过卷积得到目标粗略位置；
步骤六、计算目标粗略位置和目标真实位置之间的残差；
步骤七、将残差的均值和目标粗略位置输入特征精细化网络模型，特征精细化网络模型输出目标优化区域；
步骤八、对目标优化区域进行特征提取，得到特征图；利用两个独立的1×1卷积层分别预测目标优化区域的目标存在概率得分和目标框位置，根据目标优化区域的目标存在概率得分和目标框位置判断弱小目标的位置。
上述的一种基于特征精细化深度网络的弱小目标检测方法，其特征在于：特征精细化网络模型包括一个输入卷积层和四个由基本残差结构组成的状态块，每个状态块都由三个卷积层构成，每个卷积层后都接着一个批归一化层和ReLu激活层，利用结构相似度损失函数对所述特征精细化网络模型中的原损失函数进行改写。
上述的一种基于特征精细化深度网络的弱小目标检测方法，其特征在于：结构相似度损失函数其中lssim表示结构相似损失函数，liou表示交并比损失函数，lcls表示前背景分类损失函数，lreg表示预测框回归损失函数，其中μ为第一优化系数，λ为第二优化系数，Npos为网络模型预测得到的正样例的数量。
上述的一种基于特征精细化深度网络的弱小目标检测方法，其特征在于：步骤四中的边界关键点识别模型包括具有(4+1)×C个通道的特征提取层，实例正则化层、一个两层一阶全卷积网络。
上述的一种基于特征精细化深度网络的弱小目标检测方法，其特征在于：步骤四根据公式对边界敏感特征进行特征提取，得到第p个边界特征Fcp(i,j)，边界敏感特征包括Icp(i,j)、Icp(x0,y0+kh/N)、Icp(x0+kw/N,y0)、Icp(x1,y0+kh/N)和Icp(x0+kw/N,y1)，Icp(i,j)表示第p个目标中心点特征，Icp(x0,y0+kh/N)表示第p个左边界点，Icp(x0+kw/N,y0)表示第p个上边界点，Icp(x1,y0+kh/N)表示第p个右边界点，Icp(x0+kw/N,y1)表示第p个下边界点；边界特征Fcp(i,j)经过一个1×1的卷积层输出第p个目标粗略位置Scp，Scp＝(x0p，y0p，x1p，y1p)，其中，c表示边界关键点识别模型的通道个数，c为正整数，1≤c≤5，w表示边界关键点识别模型的预测边界框的宽，h表示边界关键点识别模型的预测边界框的高，N表示聚合点的个数，N为正整数，1≤p≤q，q为正整数。
上述的一种基于特征精细化深度网络的弱小目标检测方法，其特征在于：步骤五中，残差Srp(δx0p，δy0p，δx1p，δy1p)的计算公式为：其中(x0p，y0p，x1p，y1p)表示第p个目标粗略位置，/>表示第p个目标真实位置，目标真实位置根据训练集图片上的标注获取，σ为提升多任务学习效率的方差系数。
上述的一种基于特征精细化深度网络的弱小目标检测方法，其特征在于：步骤二中，采用特征提取网络对弱小目标的图像数据集的样本进行特征提取，特征提取网络为含有四个卷积块的ResNet50网络。
上述的一种基于特征精细化深度网络的弱小目标检测方法，其特征在于：步骤三中的多头感受野模块由多个分支构成，每个分支由一个1×1的卷积层、一个1×k的卷积层、一个k×1的卷积层和空洞池化层组成。
本发明与现有技术相比具有以下优点：
1、本发明的结构简单、设计合理，实现及使用操作方便。
2、本发明具有多头感受野模块，多头感受野模块对图像进行多尺度、多感受野的特征提取，获得弱小目标空间语义联合特征，提升深度网络模型对实际复杂场景下弱小目标的信息捕捉能力，降低目标漏检概率。
3、本发明具有边界关键点识别模块，边界关键点识别模块利用高分辨率输出携带的目标特征和低分辨率输出携带的背景特征获取边界敏感特征，根据边界敏感特征得到目标粗略位置，实现了弱小目标的粗定位，目标粗略位置为下一步精细识别的目标候选区域。
4、本发明具有特征精细化网络模型，特征精细化网络模型进行跨层信息互补，在粗定位目标区域上进行精细化目标显著特征增强，弱化高语义信息带来的边界模糊现象，进一步提升弱目标与相邻背景的区分度，提高弱小目标检测准确率。
综上所述，本发明结构简单、设计合理，边界关键点识别模块获取边界敏感特征，实现了弱小目标的粗定位，特征精细化网络模型进行跨层信息互补，在粗定位目标区域上进行精细化目标显著特征增强，弱化高语义信息带来的边界模糊现象，提高弱小目标检测准确率。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
如图1所示，本发明包括以下步骤；
步骤一、获取弱小目标的图像数据集；
实际使用时，使用红外热像仪采集弱小目标的真实红外图像，建立弱小目标的红外图像数据集，并将红外图像的格式转换成PASCAL VOC格式。
步骤二、分别对弱小目标的图像数据集的样本进行特征提取，得到高分辨率语义信息和低分辨率语义信息，合并高分辨率语义信息得到高分辨率语义信息集合，合并低分辨率语义信息得到低分辨率语义信息集合；
实际使用时，利用特征提取网络对弱小目标的图像数据集进行特征提取。特征提取网络采用含有四个卷积块的ResNet50网络，随着卷积块的增加，特征提取网络输出的特征映射分辨率不断减小。通过含有四个卷积块的ResNet50网络可以得到四个不同尺度的特征映射，将前两个特征映射作为高分辨率语义信息，将后两个特征映射作为低分辨率语义信息。
对高分辨率语义信息进行2倍下采样，而后进行拼接合并得到高分辨率语义信息集合，增大感受野；对低分辨率语义信息进行2倍上采样，而后进行拼接合并得到低分辨率语义信息集合，增大感受野。
步骤三、将高分辨率语义信息集合和低分辨率语义信息集合分别输入到多头感受野模块，得到高分辨率输出和低分辨率输出，融合高分辨率输出和低分辨率输出，得到输出特征；
多头感受野模块由多个分支构成，每个分支由一个1×1的卷积层、一个1×k的卷积层、一个k×1的卷积层和空洞池化层组成。使用一个1×1的卷积层以降低输入映射的通道数。为了减小整个模块的参数复杂度，这里使用拆分的行列式卷积，即1×k的卷积层、一个k×1的卷积层代替原卷积k×k。针对不同尺度的图像，使用相应的空洞卷积实现多头感受野的目标特征搜索和学习，使用空洞卷积可以改变网络层感受野，同时可以保持特征图相对的空间位置，可以在增加感受野搜索上下文信息的同时有效地维持目标空间信息，有利于弱小目标的检测。
对高分辨率输出和低分辨率输出分别进行2倍下采样，然后进行拼接融合，得到输出特征；高分辨率语义信息用于精确定位弱小目标位置，低分辨率语义信息用于对定位区域进行语义层面分析，确定疑似区域出现目标的概率，融合以后得到的输出特征既包括用于精确定位弱小目标位置的信息，也包括用于确定疑似区域出现目标概率的信息，丰富了特征映射中的空间信息，有利于后续弱小目标的检测与跟踪。
步骤四、将输出特征输入边界关键点识别模型，边界关键点识别模型输出边界敏感特征Icp(i,j)、Icp(x0,y0+kh/N)、Icp(x0+kw/N,y0)、Icp(x1,y0+kh/N)和Icp(x0+kw/N,y1)，其中Icp(i,j)表示第p个目标中心点特征，Icp(x0,y0+kh/N)、Icp(x0+kw/N,y0)、Icp(x1,y0+kh/N)和Icp(x0+kw/N,y1)分别表示第p个目标中心点特征对应的左边界点、上边界点、右边界点和下边界点，1≤p≤q。需要说明的是，为了避免量化误差，Icp(i,j)的实际值将由双线性插值和特征映射图中相邻值计算得到。
将输出特征输入边界关键点识别模型，边界关键点识别模型包括具有(4+1)×C个通道的特征提取层，实例正则化层、一个两层一阶全卷积网络。
输入边界关键点识别模型的特征图通道数为C，需要说明的是，特征图的通道数C可由需求设定。通道数为C的图片特征图经过具有(4+1)×C个通道的特征提取层，输出通道数为(4+1)×C的特征图，再经过实例正则化层和一个两层一阶全卷积网络输出边界敏感特征，每个边界敏感特征包括C个通道。
边界关键点识别模块利用高分辨率输出携带的目标特征和低分辨率输出携带的背景特征获取边界敏感特征。
步骤五、根据公式对边界敏感特征Icp(i,j)、Icp(x0,y0+kh/N)、Icp(x0+kw/N,y0)、Icp(x1,y0+kh/N)和Icp(x0+kw/N,y1)进行有效提取，，得到第p个边界特征Fcp(i,j)，边界敏感特征包括Icp(i,j)、Icp(x0,y0+kh/N)、Icp(x0+kw/N,y0)、Icp(x1,y0+kh/N)和Icp(x0+kw/N,y1)，Icp(i,j)表示第p个目标中心点特征，Icp(x0,y0+kh/N)表示第p个左边界点，Icp(x0+kw/N,y0)表示第p个上边界点，Icp(x1,y0+kh/N)表示第p个右边界点，Icp(x0+kw/N,y1)表示第p个下边界点；边界特征Fcp(i,j)经过一个1×1的卷积层输出第p个目标粗略位置Scp，Scp＝(x0p，y0p，x1p，y1p)，其中，c表示边界关键点识别模型的通道个数，c为正整数，1≤c≤5，w表示边界关键点识别模型的预测边界框的宽，h表示边界关键点识别模型的预测边界框的高，N表示聚合点的个数，N为正整数，1≤p≤q，q为正整数。第p个目标粗略位置Scp＝(x0p，y0p，x1p，y1p)的通道数为C。根据边界敏感特征得到目标粗略位置，实现了弱小目标的粗定位，目标粗略位置为下一步精细识别的目标候选区域。
步骤六、计算机根据公式计算残差均值/>其中Srp表示第p个边界点的残差，计算机根据公式/>计算第p个目标粗略位置(x0p，y0p，x1p，y1p)与第p个目标真实位置/>之间的残差Srp，Srp＝(δx0p，δy0p，δx1p，δy1p)，σ为提升多任务学习效率的方差系数，目标真实位置/>根据训练集图片上的标注获取。
步骤七、将残差均值和第p个目标粗略位置(x0p，y0p，x1p，y1p)输入特征精细化网络模型，特征精细化网络模型输出第p个目标优化区域Ssp，/>
特征精细化网络模型包括一个输入卷积层和四个由基本残差结构组成的状态块，每个状态块都由三个卷积层构成，每个卷积层后都接着一个批归一化层和ReLu激活层，利用结构相似度损失函数对所述特征精细化网络模型中的原损失函数进行改写。
本实施例中，特征精细化网络模型的输入层之后没有池化操作，也即第一个状态块输出的特征图与输入具有相同的分辨率，其目的是为了使得编码器在早期阶段能够获得更高分辨率的特征图，更加有利于弱小目标的特征提取。
各层的输入都为上层状态块输出的上采样和对应编码器层的输出所拼接而得，该跨桥输入有利于解码器捕捉对应状态特征映射中细节空间信息，弱化高语义信息带来的边界模糊现象，进一步提升弱目标与相邻背景的区分度，提高弱小目标检测准确率。
基于结构相似度损失函数对深度网络模型进行参数优化，提升深度网络模型的适应能力与协调能力，实现弱小目标精准检测与识别，结构相似度损失函数L表示为：其中lssim表示结构相似损失函数，liou表示交并比损失函数，lcls表示前背景分类损失函数，lreg表示预测框回归损失函数，其中μ为第一优化系数，λ为第二优化系数，Npos为网络模型预测得到的正样例的数量。
本实施例中，其中μx表示x的均值，σx表示x的方差，μy表示y的均值，σy表示y的均值，σxy表示x、y的协方差，C1、C2表示固定常数，避免分母为0。需要说明的是，(x,y)表示第p个目标粗略位置(x0p，y0p，x1p，y1p)上的像素点坐标。
其中G(x,y)∈{0,1}，G(x,y)表示第p个目标粗略位置(x0p，y0p，x1p，y1p)上的像素点(x,y)的真值标签，S(x,y)表示像素点(x,y)属于显著类别的预测概率。
其中α为平衡正负样本的平衡系数，γ为调节简单样本权重降低速率的超参数。为和前文做出区别，此处采用pnet表示网络模型预测的概率分布，y表示网络模型的真实二值标签。
其中Δ为目标真实位置/>Δ*为目标粗略位置(x0p，y0p，x1p，y1p)。
步骤八、对Ssp进行特征提取，得到特征图，利用两个独立的1×1卷积层分别预测第p个目标优化区域目标存在概率得分和目标框位置，根据第p个目标优化区域目标存在概率得分和目标框位置判断弱小目标的位置。
需要说明的是，对Ssp进行特征提取，得到特征图的方法具体包括：
步骤801、采用通道注意模块获取目标优化区域的通道注意特征图；通道注意模块包括一个平均池化层、两个3×3的卷积层和一个sigmoid函数激活层。。
步骤802、采用空间注意模块获取目标优化区域的空间注意特征图；空间注意模块包括基于最大池化和平均池化的混合池化层、和一个sigmoid函数激活层。
基于最大池化和平均池化的混合池化层结合了最大池化和平均池化的优点，s2＝s[M(fw)+A(fw)]，s2表示第i+1层的输入特征经过空间注意特模块输出的空间注意特征图，s()表示sigmoid函数，M表示信道范围内的全局最大池化操作，A表示信道范围内的全局平均池化操作，fw表示第i层的加权特征，fw＝fi2⊙s1，fi2表示第i+1层的输入特征，⊙表示通道相乘，s1表示第i+1层的输入特征经过通道注意模块输出的通道注意特征图，该池化方法能够更好的保留图像的纹理特征和背景特征，从而提高图像分类精度，并降低分类损失。
步骤803、对通道注意特征图和空间注意特征图进行特征融合，得到精细化特征图。特征融合具体运算式为：F＝W[concat(f,fi2)]，其中W表示采用一个3×3的卷积层进行卷积操作，concat()表示concat函数，fi表示第i层的输入特征,s2表示第i+1层的输入特征经过空间注意特模块输出的空间注意特征图，/>表示元素相乘。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述，仅是本发明的实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。
Claims (8)
1.一种基于特征精细化深度网络的弱小目标检测方法，其特征在于：包括以下步骤：
步骤一、获取弱小目标的图像数据集；
步骤二、分别对弱小目标的图像数据集的样本进行特征提取，得到高分辨率语义信息和低分辨率语义信息，合并高分辨率语义信息得到高分辨率语义信息集合，合并低分辨率语义信息得到低分辨率语义信息集合；
步骤三、将高分辨率语义信息集合和低分辨率语义信息集合分别输入到多头感受野模块，得到高分辨率输出和低分辨率输出，融合高分辨率输出和低分辨率输出，得到输出特征；
步骤四、将输出特征输入边界关键点识别模型，边界关键点识别模型输出边界敏感特征；
步骤五、对边界敏感特征进行特征提取，获得边界特征，边界特征经过卷积得到目标粗略位置；
步骤六、计算目标粗略位置和目标真实位置之间的残差；
步骤七、将残差的均值和目标粗略位置输入特征精细化网络模型，特征精细化网络模型输出目标优化区域；
步骤八、对目标优化区域进行特征提取，得到特征图；利用两个独立的1×1卷积层分别预测目标优化区域的目标存在概率得分和目标框位置，根据目标优化区域的目标存在概率得分和目标框位置判断弱小目标的位置。
2.按照权利要求1所述的一种基于特征精细化深度网络的弱小目标检测方法，其特征在于：步骤七中的特征精细化网络模型包括一个输入卷积层和四个由基本残差结构组成的状态块，每个状态块都由三个卷积层构成，每个卷积层后都接着一个批归一化层和ReLu激活层，利用结构相似度损失函数对所述特征精细化网络模型中的原损失函数进行改写。
3.按照权利要求2所述的一种基于特征精细化深度网络的弱小目标检测方法，其特征在于：结构相似度损失函数其中lssim表示结构相似损失函数，liou表示交并比损失函数，lcls表示前背景分类损失函数，lreg表示预测框回归损失函数，其中μ为第一优化系数，λ为第二优化系数，Npos为网络模型预测得到的正样例的数量。
4.按照权利要求1所述的一种基于特征精细化深度网络的弱小目标检测方法，其特征在于：步骤四中的边界关键点识别模型包括具有(4+1)×C个通道的特征提取层，实例正则化层、一个两层一阶全卷积网络。
5.按照权利要求4所述的一种基于特征精细化深度网络的弱小目标检测方法，其特征在于：步骤四根据公式对边界敏感特征进行特征提取，得到第p个边界特征Fcp(i,j)，边界敏感特征包括Icp(i,j)、Icp(x0,y0+kh/N)、Icp(x0+kw/N,y0)、Icp(x1,y0+kh/N)和Icp(x0+kw/N,y1)，Icp(i,j)表示第p个目标中心点特征，Icp(x0,y0+kh/N)表示第p个左边界点，Icp(x0+kw/N,y0)表示第p个上边界点，Icp(x1,y0+kh/N)表示第p个右边界点，Icp(x0+kw/N,y1)表示第p个下边界点；边界特征Fcp(i,j)经过一个1×1的卷积层输出第p个目标粗略位置Scp，Scp＝(x0p，y0p，x1p，y1p)，其中，c表示边界关键点识别模型的通道个数，c为正整数，1≤c≤5，w表示边界关键点识别模型的预测边界框的宽，h表示边界关键点识别模型的预测边界框的高，N表示聚合点的个数，N为正整数，1≤p≤q，q为正整数。
6.按照权利要求1所述的一种基于特征精细化深度网络的弱小目标检测方法，其特征在于：步骤五根据公式计算残差Srp，Srp＝(δx0p，δy0p，δx1p，δy1p)，其中(x0p，y0p，x1p，y1p)表示第p个目标粗略位置，/>表示第p个目标真实位置，目标真实位置/>根据训练集图片上的标注获取，σ为提升多任务学习效率的方差系数。
7.按照权利要求1所述的一种基于特征精细化深度网络的弱小目标检测方法，其特征在于：步骤二中，采用特征提取网络对弱小目标的图像数据集的样本进行特征提取，特征提取网络为含有四个卷积块的ResNet50网络。
8.按照权利要求1所述的一种基于特征精细化深度网络的弱小目标检测方法，其特征在于：步骤三中的多头感受野模块由多个分支构成，每个分支由一个1×1的卷积层、一个1×k的卷积层、一个k×1的卷积层和空洞池化层组成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210548694.7A CN115019201B (zh) | 2022-05-20 | 2022-05-20 | 一种基于特征精细化深度网络的弱小目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210548694.7A CN115019201B (zh) | 2022-05-20 | 2022-05-20 | 一种基于特征精细化深度网络的弱小目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115019201A CN115019201A (zh) | 2022-09-06 |
| CN115019201B true CN115019201B (zh) | 2024-03-05 |
Family
ID=83068666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210548694.7A Active CN115019201B (zh) | 2022-05-20 | 2022-05-20 | 一种基于特征精细化深度网络的弱小目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115019201B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173523B (zh) * | 2023-08-04 | 2024-04-09 | 山东大学 | 一种基于频率感知的伪装目标检测方法及系统 |
| CN117636172B (zh) * | 2023-12-06 | 2024-06-21 | 中国科学院长春光学精密机械与物理研究所 | 面向遥感图像弱小目标的目标检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112950477A (zh) * | 2021-03-15 | 2021-06-11 | 河南大学 | 一种基于双路径处理的高分辨率显著性目标检测方法 |
| CN113065402A (zh) * | 2021-03-05 | 2021-07-02 | 四川翼飞视科技有限公司 | 一种基于变形注意力机制的人脸检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111373419A (zh) * | 2017-10-26 | 2020-07-03 | 奇跃公司 | 用于深度多任务网络中自适应损失平衡的梯度归一化系统和方法 |
-
2022
- 2022-05-20 CN CN202210548694.7A patent/CN115019201B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN113065402A (zh) * | 2021-03-05 | 2021-07-02 | 四川翼飞视科技有限公司 | 一种基于变形注意力机制的人脸检测方法 |
| CN112950477A (zh) * | 2021-03-15 | 2021-06-11 | 河南大学 | 一种基于双路径处理的高分辨率显著性目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周琳 ; 李红娟 ; .基于萤火虫最优偏差算法的农田红外目标检测研究.浙江农业学报.2016,(第07期),全文. * |
| 张宽 ; 滕国伟 ; 范涛 ; 李聪 ; .基于密集连接的FPN多尺度目标检测算法.计算机应用与软件.2020,(第01期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115019201A (zh) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111222474B (zh) | 一种任意尺度的高分辨率图像小目标检测方法 | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN109284670B (zh) | 一种基于多尺度注意力机制的行人检测方法及装置 | |
| CN108830285B (zh) | 一种基于Faster-RCNN的加强学习的目标检测方法 | |
| CN115019201B (zh) | 一种基于特征精细化深度网络的弱小目标检测方法 | |
| CN109977997B (zh) | 基于卷积神经网络快速鲁棒的图像目标检测与分割方法 | |
| US20120328161A1 (en) | Method and multi-scale attention system for spatiotemporal change determination and object detection | |
| CN114359851A (zh) | 无人驾驶目标检测方法、装置、设备及介质 | |
| CN114627052A (zh) | 一种基于深度学习的红外图像漏气漏液检测方法及系统 | |
| CN111462050B (zh) | 改进YOLOv3的极小遥感图像目标检测方法、装置及存储介质 | |
| CN112766184A (zh) | 基于多层级特征选择卷积神经网络的遥感目标检测方法 | |
| CN106373146A (zh) | 一种基于模糊学习的目标跟踪方法 | |
| Sofla et al. | Road extraction from satellite and aerial image using SE-Unet | |
| CN111833353B (zh) | 一种基于图像分割的高光谱目标检测方法 | |
| CN115187786A (zh) | 一种基于旋转的CenterNet2目标检测方法 | |
| CN114821358A (zh) | 光学遥感图像海上舰船目标提取与识别方法 | |
| CN113361528A (zh) | 一种多尺度目标检测方法及系统 | |
| CN115937736A (zh) | 基于注意力和上下文感知的小目标检测方法 | |
| CN115147644A (zh) | 图像描述模型的训练和描述方法、系统、设备及存储介质 | |
| CN114283326A (zh) | 一种结合局部感知和高阶特征重构的水下目标重识别方法 | |
| CN112508848B (zh) | 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法 | |
| CN117593548A (zh) | 基于加权注意力机制去除动态特征点的视觉slam方法 | |
| CN117830210A (zh) | 缺陷检测方法、装置、电子设备及存储介质 | |
| CN117409244A (zh) | 一种SCKConv多尺度特征融合增强的低照度小目标检测方法 | |
| CN112949635A (zh) | 一种基于特征增强和IoU感知的目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |