CN111967524A - 基于高斯滤波反馈和空洞卷积的多尺度融合特征增强算法 - Google Patents
基于高斯滤波反馈和空洞卷积的多尺度融合特征增强算法 Download PDFInfo
- Publication number
- CN111967524A CN111967524A CN202010840295.9A CN202010840295A CN111967524A CN 111967524 A CN111967524 A CN 111967524A CN 202010840295 A CN202010840295 A CN 202010840295A CN 111967524 A CN111967524 A CN 111967524A
- Authority
- CN
- China
- Prior art keywords
- features
- feature
- layer
- deep
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims description 13
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 238000002474 experimental method Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 8
- 238000012512 characterization method Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 1
- 238000005070 sampling Methods 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101100321817 Human parvovirus B19 (strain HV) 7.5K gene Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出基于高斯高通滤波反馈传播和空洞卷积的特征增强算法，对神经网络的特征提取结构改进，充分发挥深层和浅层特征互补性，解决浅层特征背景噪声过多以及下采样导致深层特征信息丢失问题。首先，通过高斯高通滤波对神经网络中提取的图像浅层特征增强，反馈传播融合上一层特征，此过程递归实现，最终获得前景增强的浅层特征；接着，利用三种不同空洞率的卷积放大深层特征感受野，捕捉更多上下文信息，将这其融合构成一个堆叠模块，丰富深层语义特征；最后，将增强后的浅层特征和语义丰富的深层特征融合，获得具有更强表征能力的输出特征，以提高目标检测的准确率。实验显示，本发明方法性能均优于原始网络，并且不会过多降低速度。
Description
技术领域
本发明提出一种基于高斯高通滤波的多级反馈和空洞卷积的多尺度融合特征增强算法，改进神经网络特征提取器，获得表征能力更强的特征，用于后续的目标检测和分类任务。提高神经网络对目标检测的准确率，属于人工智能领域。
背景技术
深度卷积神经网络在目标检测中具有很广泛的应用，并取得了一系列成功，因为它可以更强的表达图像中的特征。许多深度学习模型都采用下采样方式，通过不断降低卷积层提取的特征图的分辨率来获得语义更丰富的大感受野。但是，下采样过程会丢失大量信息，造成较小目标或者细节信息损失，并且损失的信息无法通过后续上采样操作恢复，影响提取的特征的表征能力，进而制约目标检测方法的性能。因此，如何提高有效特征的表征能力对目标检测效果至关重要。为改善这个问题，研究者致力于研究特征提取这一问题。
在特征提取过程中，浅层特征中包含大量的位置、纹理以及轮廓等信息，有利于小目标的特征表达，而随着特征层的加深，被提取的特征越具有局部代表性，更有利于大目标物体的特征表达。于是，采用将浅层特征和深层特征融合的策略，在目标检测的准确率方面均有较明显的提升。但是，浅层的特征中具有较小感受野和较高空间分辨率，除了可以提供大量位置等细节信息外，还具有较多背景噪声且语义混乱；同时，通过层层卷积和下采样操作后的得到的深层特征必然会丢失大量目标信息，尤其是像素和信息量较少的小目标信息，这些信息无法通过后续上采样操作恢复(不可逆)。这种直接将这种原始的浅层和深层特征融合的方式无法充分发挥浅层和深层特征互补的优势，影响其特征表达能力，进而制约模型检测性能，这尤其体现在小目标检测方面。
发明内容
本发明在研究了浅层特征和深层特征层的特点后，提出一种基于高斯高通滤波的多级反馈以及空洞卷积的多尺度融合特征增强算法，改进神经网络特征提取器，获得表征能力更强的特征输出，用于后续的目标检测和分类任务。首先，利用高斯高通滤波对图像浅层特征fl(i)进行增强，再反馈传播，融合上一层特征层fl(i-1)，获得表征能力更强的浅特征层fl(i+1)，即利用增强后的第fl(i)层特征结合第fl(i-1)层特征恢复其中的模糊性内容，使用更深更有辨别力的特征来增强噪声较多、辨别能力较差但定位准确的浅层传递的信息，并且不会激活更多的背景噪声；接着，利用三种不同空洞率的空洞卷积放大深层特征fh(i)感受野，如此可以捕捉像素更多的上下文信息，丰富深层语义特征，然后将三种不同空洞率卷积融合，构成一个堆叠式结构，覆盖全特征图；最后，将增强后的浅层特征和语义丰富的深层特征级联融合，构成一个表征能力更强的输出特征图并输出，用于后续的目标检测任务。本发明算法伪代码如图1所示。
本发明的技术方案为：一种基于高斯高通滤波的多级反馈和空洞卷积的多尺度融合特征增强算法，包括下述步骤：
1)、将图像输入到神经网络中，进行前向传播，提取特征fl(x[k])；
2)、将提取的浅层特征fl(x[k])进行一次高斯高通滤波增强，得到特征层G1[fl(x[k])]，将G1[fl(x[k])]反向传播，融合上层特征fl(x[k-1])，获得一次增强后的特征fl(x[k+1])，按上述过程迭代n次，直到获得最佳性能特征层fl(x[k+n])；
3)、将不经过下采样处理的深层特征fh(i)经过1×1卷积处理后用三个不同空洞率的空洞卷积提取特征，叠加不同感受野的三个特征层构成一个“齿轮状”堆叠式结构fh(i+1)，覆盖全特征图；
4)、将经过步骤四处理后的浅层特征fl(x[k+n])与步骤五处理的深层特征fh(i+1)经过L2自正则化后级联融合，再通过1×1卷积层减少通道后输出表征能力更强的特征层Y，用于后续的目标检测分类任务。
本发明采取以上方法后，具有以下优点：
1、本发明提出的浅层特征增强算法不会激活过多背景噪声，通过融合上一级特征来恢复其中的模糊性信息，在增强前景特征的同时达到抑制背景噪声效果；
2、相比通过下采样扩大感受野得到的深层特征，本发明设计的堆叠式空洞卷积结构可以不进行下采样的条件下扩大感受野，并达到密集覆盖全特征图的效果，减少有效信息的丢失，促进模型对上下文信息的理解能力，且不引入过多参数；
3、将增强后的浅层特征和深层特征融合，可以获得表征能力更强的输出特征，有利于提高目标检测的准确率，经过大量实验验证，本发明在多个基准网络(baseline)上使用都可以获得比基准网络更高的准确率，且不过多降低速度。
附图说明
图1是本发明算法的整体伪代码；
图2是在VGG-16架构中的实施实例；
图3是高斯高通滤波特征增强与多级反馈融合算法伪代码；
图4是高斯高通滤波特征增强与多级反馈融合模块结构图；
图5是深层特征处理模块结构图；
图6是多尺度融合模块；
图7是实验结果。
具体实施方式
下面结合说明书附图1通过图2中具体实例对本发明做进一步说明，图2实例仅为本发明中的一个，实施步骤如下：
步骤1)前向传播到第k层卷积，计算第k层特征，对图像进行特征提取。其计算过程如下：
其中，XK为来自浅层的特征参数，*为卷积操作,W为权重参数，Bn为偏移量参数.
是backbone结构的激活函数。
步骤2)浅层特征处理模块：高斯高通滤波特征增强与多级反馈融合，如图3和图4所示，其具体步骤如下：
S21)令fl(x[k])表示第k层的特征，得到：
已知频率域特征增强卷积为：
G(U,V)＝H(U,V)*F(U,V) (3)
其中，F(U,V)表示傅里叶变换，H(U,V)表示我们选用的滤波器，在我们设计的模型中，选用高斯高通滤波器作为传递函数来增强浅层中目标特征，滤波器传递函数为：
其中，D0为截止频率，D(U,V)为频谱点到频谱中心的欧氏距离，σ为频带宽度。联合公式(2)(3)(4)，得到：
G1[fl(x[k])]＝w1*μ(fl(x[k])) (5)
其中，G1[fl(x[k])]为fl(x[k])经一次高斯增强后的特征层，μ为Relu激活函数。
S22)将高斯增强后获得的G1[fl(x[k])]特征层反向传播并融合特征层fl(x[k-1])，获得：
将fl(x[k])经上述过程n次递归反馈后得到：
其中n为反馈次数，通过设置实验，以mAP作为评估指标确定最佳滤波与反馈传播次数为2次。
步骤3)深层特征处理模块：令fh(i)表示要处理的深层特征，本算法以VGG-16为例，将Conv4_3输出特征不通过下采样操作，只通过1×1的卷积平滑后得到Conv5_1层特征，用fh(i)表示。利用空洞率分别为1，2，3的三种空洞卷积提取fh(i)层特征，获得三种感受野不同的特征层，叠加后构成一个堆叠式空洞卷积模块fh(i+1)，覆盖全特征图，如图5所示。
步骤4)将步骤2和步骤3中增强后的浅层特征和深层特征分别进行1×1卷积处理后，采用L2自正则化将特征值调整成相同范围，利用concatenation方式融合，再通过1×1卷积层减少通道后输出表征能力更强的特征Y，如图6所示，用于后续的目标检测和分类任务。
通过以上步骤，充分发挥并利用了深层特征和浅层特征的互补性，可以解决浅层特征背景噪声过多、干扰有效特征表达以及下采样过程导致深层特征层中的信息丢失问题，通过融合不同层特征得到表征能力更强的特征图。
本发明采用动态学习率的训练方法，利用PASCAL VOC 2007和2012数据训练时，在前25K和37.5K迭代中将学习率设置为0.001，在后10K和7.5K迭代中将学习率降低10倍。动量参数为0.9，权重衰减为0.0005，其余超参数均为Pytorch以及中的默认参数值，输入图像设置为300×300。
本发明设计的算法并不局限在某一种backbone架构中使用，通过在VGG-16和ResNet-50架构中设计模型和实现，之后在Darkent-19中成功实现模型迁移，并分别与原始Faster R CNN、Cascade R CNN、SSD以及YOLOv2网络进行对比，验证本发明算法的稳定性、有效性以及泛化能力。
在本发明的实验中，整个算法分别基于PASCAL VOC和MS-COCO数据集进行训练和测试；实验结果如图7所示，本发明算法在参数增量在可控范围内的基础上提高了2％左右的mAP，在小目标中的检测精度提升可达2.5～3％，并且不会过多影响检测速度，对于实时性检测方法仍然具有实时性检测性能。
本发明的保护范围也并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (5)
1.基于高斯高通滤波多级反馈传播和空洞卷积的多尺度融合特征增强算法，其特征在于对卷积神经网络的特征提取结构进行改进，获得表征能力更强的输出特征，提高目标检测和分类任务的准确率。包含如下步骤：
1)输入一张图片，前向传播提取特征；
2)通过高斯高通滤波对神经网络中提取的浅层特征进行增强处理，将处理后的特征层反馈传播融合上一层特征，得到增强后的特征层，此过程递归实现，最终获得表征能力更强的浅层特征；
3)设计堆叠式空洞卷积模块，利用三种不同空洞率的空洞卷积放大深层特征感受野，在不通过pooling下采样减小深层特征分辨率的前提下捕捉更多上下文信息，丰富深层语义特征，将这三种不同空洞率卷积融合构成堆叠式空洞卷积模块；
4)将增强后的浅层特征和语义丰富的深层特征进行多尺度融合，获得具有更强表征能力的特征并输出，用于后续的目标检测和分类任务，以提高目标检测的准确率，且不过多降低速度。
2.如权利要求1所述的算法，其特征在于：所述步骤1)，对输入图像进行特征提取，前向传播到第k层卷积，计算第k层特征，令fl(x[k])表示浅层和深层特征。
3.如权利要求1所述的算法，其特征在于：所述步骤2)，设计高斯高通滤波特征增强与反馈融合算法对提取的浅层特征进行处理。具体步骤为：将步骤1中前向传播的特征fl(x[k])进行一次高斯高通滤波增强，获得增强后的特征层G1[fl(x[k])]，将其反馈融合上一层特征，恢复其中的模糊性信息，得到一次增强后的特征fl(x[k+1])，此过程多次反馈执行n次，直到获得特征表征性能最佳的特征fl(x[k+n])。
其中n为反馈次数，通过设置实验，以广泛用于目标检测性能评估的mAP作为评估指标来确定最佳滤波与反馈传播次数为2次。
4.如权利要求1所述的算法，其特征在于：所述步骤3)，设计堆叠式空洞卷积模块进行深层特征处理。令fh(i)表示要处理的深层特征，以VGG-16为例，将Conv4_3输出特征不通过下采样操作，只通过1×1的卷积平滑后得到Conv5_1层特征，用fh(i)表示。利用空洞率分别为1，2，3的三种空洞卷积提取fh(i)层特征，获得三种感受野不同的特征层，叠加后构成一个堆叠式空洞卷积模块fh(i+1)，覆盖全特征图。
5.如权利要求1所述的算法，其特征在于：所述步骤4)，将步骤2和步骤3中处理后的浅层特征fl(x[k+n])和深层特征fh(i+1)分别进行1×1卷积处理后，采用L2自正则化将特征值调整成相同范围，利用concatenation级联方式融合，最后通过1×1卷积减少通道后输出表征能力更强的特征Y，用于后续的目标检测和分类任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010840295.9A CN111967524A (zh) | 2020-08-20 | 2020-08-20 | 基于高斯滤波反馈和空洞卷积的多尺度融合特征增强算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010840295.9A CN111967524A (zh) | 2020-08-20 | 2020-08-20 | 基于高斯滤波反馈和空洞卷积的多尺度融合特征增强算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111967524A true CN111967524A (zh) | 2020-11-20 |
Family
ID=73388539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010840295.9A Pending CN111967524A (zh) | 2020-08-20 | 2020-08-20 | 基于高斯滤波反馈和空洞卷积的多尺度融合特征增强算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111967524A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560732A (zh) * | 2020-12-22 | 2021-03-26 | 电子科技大学中山学院 | 一种多尺度特征提取网络及该网络的特征提取方法 |
| CN112735524A (zh) * | 2020-12-28 | 2021-04-30 | 天津大学合肥创新发展研究院 | 一种基于神经网络的真实纳米孔测序信号滤波方法及装置 |
| CN113189634A (zh) * | 2021-03-02 | 2021-07-30 | 四川新先达测控技术有限公司 | 一种类高斯成形方法 |
| CN113393394A (zh) * | 2021-06-17 | 2021-09-14 | 河海大学 | 基于伽马变换的低照度灰度图像增强方法、装置及存储介质 |
| CN113837080A (zh) * | 2021-09-24 | 2021-12-24 | 江西理工大学 | 一种基于信息增强与感受野增强的小目标检测方法 |
| CN114612807A (zh) * | 2022-03-17 | 2022-06-10 | 盐城工学院 | 微小目标的特征识别方法、装置、电子设备及存储介质 |
| CN117292193A (zh) * | 2023-10-08 | 2023-12-26 | 无锡科维智能物流装备有限公司 | 多工位智能物流输送系统 |
-
2020
- 2020-08-20 CN CN202010840295.9A patent/CN111967524A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560732A (zh) * | 2020-12-22 | 2021-03-26 | 电子科技大学中山学院 | 一种多尺度特征提取网络及该网络的特征提取方法 |
| CN112560732B (zh) * | 2020-12-22 | 2023-07-04 | 电子科技大学中山学院 | 一种多尺度特征提取网络的特征提取方法 |
| CN112735524A (zh) * | 2020-12-28 | 2021-04-30 | 天津大学合肥创新发展研究院 | 一种基于神经网络的真实纳米孔测序信号滤波方法及装置 |
| CN113189634A (zh) * | 2021-03-02 | 2021-07-30 | 四川新先达测控技术有限公司 | 一种类高斯成形方法 |
| CN113393394A (zh) * | 2021-06-17 | 2021-09-14 | 河海大学 | 基于伽马变换的低照度灰度图像增强方法、装置及存储介质 |
| CN113393394B (zh) * | 2021-06-17 | 2022-10-11 | 河海大学 | 基于伽马变换的低照度灰度图像增强方法、装置及存储介质 |
| CN113837080A (zh) * | 2021-09-24 | 2021-12-24 | 江西理工大学 | 一种基于信息增强与感受野增强的小目标检测方法 |
| CN113837080B (zh) * | 2021-09-24 | 2023-07-25 | 江西理工大学 | 一种基于信息增强与感受野增强的小目标检测方法 |
| CN114612807A (zh) * | 2022-03-17 | 2022-06-10 | 盐城工学院 | 微小目标的特征识别方法、装置、电子设备及存储介质 |
| CN117292193A (zh) * | 2023-10-08 | 2023-12-26 | 无锡科维智能物流装备有限公司 | 多工位智能物流输送系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111967524A (zh) | 基于高斯滤波反馈和空洞卷积的多尺度融合特征增强算法 | |
| CN111462126B (zh) | 一种基于边缘增强的语义图像分割方法及系统 | |
| CN108765296B (zh) | 一种基于递归残差注意力网络的图像超分辨率重建方法 | |
| CN110232394B (zh) | 一种多尺度图像语义分割方法 | |
| CN110048827B (zh) | 一种基于深度学习卷积神经网络的类模板攻击方法 | |
| CN109543559B (zh) | 基于孪生网络和动作选择机制的目标跟踪方法及系统 | |
| CN112308158A (zh) | 一种基于部分特征对齐的多源领域自适应模型及方法 | |
| CN111126379A (zh) | 一种目标检测方法与装置 | |
| CN111325165B (zh) | 考虑空间关系信息的城市遥感影像场景分类方法 | |
| CN111582316A (zh) | 一种rgb-d显著性目标检测方法 | |
| CN108717569A (zh) | 一种膨胀全卷积神经网络及其构建方法 | |
| CN113920581B (zh) | 一种时空卷积注意力网络用于视频中动作识别的方法 | |
| CN107564007B (zh) | 融合全局信息的场景分割修正方法与系统 | |
| CN115037543B (zh) | 一种基于双向时间卷积神经网络的异常网络流量检测方法 | |
| CN115546076B (zh) | 一种基于卷积网络的遥感图像薄云去除方法 | |
| CN113837959B (zh) | 图像去噪模型训练方法、图像去噪方法及系统 | |
| Zhang et al. | Channel-wise and feature-points reweights densenet for image classification | |
| CN114492522B (zh) | 基于改进堆叠沙漏神经网络的自动调制分类方法 | |
| CN114821058A (zh) | 一种图像语义分割方法、装置、电子设备及存储介质 | |
| CN112785626A (zh) | 一种基于多尺度特征融合的孪生网络小目标跟踪方法 | |
| CN113392728B (zh) | 一种基于ssa锐化注意机制的目标检测方法 | |
| CN116246109A (zh) | 一种多尺度孔洞邻域注意力计算骨干网络模型及其应用 | |
| CN110942106A (zh) | 一种基于平方平均的池化卷积神经网络图像分类方法 | |
| CN114821059A (zh) | 一种基于边界增强的显著性目标检测方法及系统 | |
| CN103514589A (zh) | 图像恢复中的滤波方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201120 |