CN113591579B - 基于注意机制卷积神经网络的显著性目标检测方法 - Google Patents
基于注意机制卷积神经网络的显著性目标检测方法 Download PDFInfo
- Publication number
- CN113591579B CN113591579B CN202110737734.8A CN202110737734A CN113591579B CN 113591579 B CN113591579 B CN 113591579B CN 202110737734 A CN202110737734 A CN 202110737734A CN 113591579 B CN113591579 B CN 113591579B
- Authority
- CN
- China
- Prior art keywords
- feature
- layer
- tensor
- attention
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 31
- 230000004927 fusion Effects 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 10
- 108700020831 3-Hydroxyacyl-CoA Dehydrogenase Proteins 0.000 claims description 6
- 102100021834 3-hydroxyacyl-CoA dehydrogenase Human genes 0.000 claims description 6
- 101100513145 Dictyostelium discoideum mfeA gene Proteins 0.000 claims description 6
- 101100064649 Rattus norvegicus Ehhadh gene Proteins 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000003313 weakening effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- 102100037651 AP-2 complex subunit sigma Human genes 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101000806914 Homo sapiens AP-2 complex subunit sigma Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于注意机制卷积神经网络的显著性目标检测方法，包括卷积神经网络训练和显著性检测步骤。本发明通过引入通道注意机制，解决了NLDF方法中深层语义信息过度削弱的问题，通过引入空间注意机制，解决了NLDF方法中低层边界信息不清晰的问题，通过引入双线性插值法提取全局特征，解决了NLDF方法中全局特征的目标丢失问题。
Description
技术领域
本发明涉及一种显著性目标检测方法，尤其涉及一种基于注意机制卷积神经网络的显著性目标检测方法，属于计算机视觉技术领域。
背景技术
近年来，随着新媒体行业的快速发展，一些短视频、图像推文等数字信息完全融入到老百姓的生活中，每天都有数以万计的图像、视频信息传入到互联网中，极大丰富了人们的生活、工作和娱乐。要想快速从海量的数字图像中选出有价值的内容，单靠人类自身感官将难以实现，这便对计算机视觉方面的研究提出更大的挑战。数字图像信息，能够非常直观地反映出人们要表达的内容，在网络资源传送中被广泛使用，但是大量的数据信息难以被人们有效识别。在人类的视觉系统中，他们能够集中注视到图像的重要区域上，而不去关注背景区域的无用信息，这对快速处理图像有着重要作用。因此，如何将这种注视图像关键区域的能力应用到计算机中，以帮助人们完成更加复杂的图像处理任务，便是当下计算机视觉研究者所关注的重点内容。
深度学习，尤其是卷积神经网络能够有效提取图像的深层语义内容和浅层空间信息，从而更加清晰地检测出视觉场景中的重要区域内容。就目前而言，基于深度学习的显著性目标检测算法主要从三个角度来增强检测效果，分别是边界和深层语义信息的增强，全局和局部特征结合增强以及其他领域网络的辅助增强。这些方案虽然相比传统方法有着很好的检测效果，但是仍然存在一些问题。其中，存在的一些主流问题便是边界信息不完整问题。自卷积神经网络被提出后，图像的深层语义内容能够被很好的提取，外加一些辅助网络等处理算法，可以很好地优化目标区域信息。但是，因为搭建的模型不能有效利用边界信息和语义信息的互补性，以及局部特征和全局特征的关联性，造成边界信息不清晰、不连贯以及边缘内容缺失等问题，仍然是目前深度学习算法中常见的问题。
发明内容
本发明要解决的技术问题是提供一种基于注意机制卷积神经网络的显著性目标检测方法。
为解决上述技术问题，本发明所采取的技术方案是：
一种基于注意机制卷积神经网络的显著性目标检测方法，包括以下步骤：
步骤1：卷积神经网络训练：所述卷积神经网络包括输入层、多维特征提取层MFE1至MFE5、全局特征提取层global、卷积层CON-1至CON-5、空间注意模块SA、通道注意模块CA、对比信息提取层CT-1至CT-5、特征融合层Dcon-2至Dcon-5、局部特征提取层、分类预测层和输出层；所述输入层将输入图像转换为预设维度的张量后依次经多维特征提取层MFE1至MFE5、全局特征提取层global处理后得到全局特征张量UG；所述多维特征提取层MFE1至MFE5分别提取第一至第五尺度特征张量f1-f5；所述第一至第五尺度特征张量f1-f5分别经所述卷积层CON-1至CON-5处理得到第一至第五尺度高层特征x1-x5；所述第四尺度高层特征x4经空间注意模块CA处理后得到通道注意特征X′4，所述第二尺度高层特征x2和通道注意特征X′4经空间注意模块SA处理后得到空间注意特征X′2，所述第一尺度高层特征x1、空间注意特征X′2、第三尺度高层特征x3、通道注意特征X′4、第五尺度高层特征x5分别经过对比信息提取层CT-1至CT-5处理得到第一至第五对比特征第五尺度高层特征x5和第五对比特征/>经特征融合层Dcon-5处理后得到第五特征张量U5，第四尺度高层特征x4和第四对比特征/>和第五特征张量U5经特征融合层Dcon-4处理后得到第四特征张量U4，第三尺度高层特征x3和第三对比特征/>和第四特征张量U4经特征融合层Dcon-3处理后得到第三特征张量U3，第二尺度高层特征x2和第二对比特征/>和第三特征张量U3经特征融合层Dcon-2处理后得到第二特征张量U2，第一尺度高层特征x1和第一对比特征/>和第二特征张量U2经局部特征提取层处理后得到局部特征张量UL，局部特征张量UL和全局特征张量UG经分类预测层Softmax处理后得到显著性特征，显著性特征经过输出层输出显著性图；训练集的已标注训练图像输入输入层，进行网络训练；
步骤2：显著性检测：将待预测图象输入输入层，预测显著性图。
进一步，所述输入层采用超分辨率方法将输入图像转换为预设维度的张量。
进一步，所述全局特征提取层global采用两次双线性插值法及一次卷积操作提取全局特征张量UG，所述卷积操作的卷积核大小为1×1，padding值为VALID，通道数为2。
进一步，所述卷积层CON-1至CON-5结构相同，卷积核大小为3×3，步长为1，padding值为SAME，通道数为128。
进一步，所述通道注意模块CA首先对第四尺度高层特征x4进行全局平均池化处理，得到各通道下的特征图向量vh，然后采用两个全连接层对特征向量vh进行显著性映射，获得基于通道方向特征之间的依赖关系，再将两个全连接层设置在非线性函数的两端，并通过Sigmoid归一化处理，将通道方向的特征向量映射到[0,1]，其计算公式为：
CA＝σ1(fc2(δ(fc1(vh,W1)),W2))
其中W1、W2表示通道方向注意模块的参数，σ1表示Sigmoid运算，fc1和fc2分别表示两个全连接层，δ表示Relu非线性激活函数；通道注意模块输出为：
X′4＝CA·X4
进一步，所述空间注意模块分别采用卷积核为1×k和k×1的卷积层对通道注意模块输出X′4进行卷积操作：
其中代表空间注意模块中的参数，conv1和conv2分别代表1×K×C和K×1×1的卷积操作；
然后将卷积后的结果C1和C2进行结合，并用Sigmoid运算进行归一化处理：
SA＝F(X′4,w)＝σ2(C1+C2)
其中，σ2代表Sigmoid激活函数，SA表示归一化后的特征，空间注意模型的最后输出X′2为：
X′2＝SA·X2
进一步，所述对比信息提取层CT-1至CT-5处理方法均为：
其中，AvgPool(Xi)表示平均池化处理。
进一步，所述分类预测层用Softmax函数进行分类预测：
其中，y(v)＝c表示显著图中像素划分为正确类，为显著性特征。
进一步，特征融合层Dcon-1的卷积核为1×1，步长为1，padding值为VALID，通道数为2；特征融合层Dcon-2的卷积核为5×5，步长为2，padding值为SAME，通道数为512；特征融合层Dcon-3的卷积核为5×5，步长为2，padding值为SAME，通道数为384；特征融合层Dcon-4的卷积核为5×5，步长为2，padding值为SAME，通道数为256；特征融合层Dcon-5的卷积核为5×5，步长为2，padding值为SAME，通道数为128。
进一步，所述卷积神经网络训练融合交叉熵损失和IOU边界损失的混合损失函数进行联合训练：
交叉熵损失函数定义为：
其中，表示预测结果，y(v)表示真值结果。
IOU边界损失函数定义为：
其中，表示基于真值图的边界像素，Cj表示模型预测图的边界像素，IOU loss的范围是[0,1]；
模型最终混合损失函数定义为：
其中，交叉熵损失函数中的加权常量λj＝1，IOU边界损失函数中的调整项γj＝1。
采用上述技术方案所产生的有益效果在于：
本发明通过引入通道注意机制，解决了NLDF方法中深层语义信息过度削弱的问题，通过引入空间注意机制，解决了NLDF方法中低层边界信息不清晰的问题，通过引入双线性插值法提取全局特征，解决了NLDF方法中全局特征的目标丢失问题。
附图说明
图1是本发明的卷积神经网络的示意图。
具体实施方式
一种基于注意机制卷积神经网络的显著性目标检测方法，其特征在于：所述卷积神经网络包括输入层、多维特征提取层MFE1至MFE5、全局特征提取层global、卷积层CON-1至CON-5、空间注意模块SA、通道注意模块CA、对比信息提取层CT-1至CT-5、特征融合层Dcon-2至Dcon-5、局部特征提取层、分类预测层和输出层；所述输入层将输入图像转换为预设维度的张量后依次经多维特征提取层MFE1至MFE5、全局特征提取层global处理后得到全局特征张量UG；所述多维特征提取层MFE1至MFE5分别提取第一至第五尺度特征张量f1-f5；所述第一至第五尺度特征张量f1-f5分别经所述卷积层CON-1至CON-5处理得到第一至第五尺度高层特征x1-x5；所述第四尺度高层特征x4经空间注意模块CA处理后得到通道注意特征X′4，所述第二尺度高层特征x2和通道注意特征X′4经空间注意模块SA处理后得到空间注意特征X′2，所述第一尺度高层特征x1、空间注意特征X′2、第三尺度高层特征x3、通道注意特征X′4、第五尺度高层特征x5分别经过对比信息提取层CT-1至CT-5处理得到第一至第五对比特征第五尺度高层特征x5和第五对比特征/>经特征融合层Dcon-5处理后得到第五特征张量U5，第四尺度高层特征x4和第四对比特征/>和第五特征张量U5经特征融合层Dcon-4处理后得到第四特征张量U4，第三尺度高层特征x3和第三对比特征/>和第四特征张量U4经特征融合层Dcon-3处理后得到第三特征张量U3，第二尺度高层特征x2和第二对比特征/>和第三特征张量U3经特征融合层Dcon-2处理后得到第二特征张量U2，第一尺度高层特征x1和第一对比特征/>和第二特征张量U2经局部特征提取层处理后得到局部特征张量UL，局部特征张量UL和全局特征张量UG经分类预测层Softmax处理后得到显著性特征，显著性特征经过输出层输出显著性图；训练集的已标注训练图像输入输入层，进行网络训练；
参照图1，对本发明做进一步的详细描述。预测包括以下步骤：
步骤1：针对任意输入图像，将其强制转换成(1×352×352×3)的张量X。
步骤2：将张量X作为输入，放到VGG16的前五层网络中进行卷积和最大池化处理，得到五种不同尺度不同维度的特征张量{1×176×176×64、1×88×88×128、1×44×44×256、1×22×22×512、1×11×11×512}。
步骤3：针对第五尺度的特征张量1×11×11×512，采用两次双线性插值法及一次卷积操作提取全局特征，其中卷积核大小为1×1，padding值为VALID，通道数为2，得到特征张量XG为1×176×176×2。
步骤4：设计五个相同设置的卷积块处理步骤2中五种尺度的特征图，其中卷积核大小为3×3，步长为1，padding值为SAME，通道数为128，得到五种特征张量为{1×176×176×128、1×88×88×128、1×44×44×128、1×22×22×128、1×11×11×128}，记为Xi(i＝1,2,3,4,5)。
步骤5：针对第四尺度的特征张量1×22×22×128，加入通道注意机制，优化深层目标区域信息，输出张量仍为1×22×22×128。
通道注意模块处理过程：
第一步，对上层传播的第四尺度特征进行全局平均池化处理，得到不同通道下的特征图向量vh。
第二步，采用两个全连接层对特征向量vh进行显著性映射，以获得基于通道方向特征之间的依赖关系。
第三步，将两个全连接层设置在非线性函数的两端，并通过Sigmoid归一化处理，将通道方向的特征向量映射到[0,1]。其计算公式如下：
CA＝F(vh,W)＝σ1(fc2(δ(fc1(vh,W1)),W2))
其中，W表示通道方向注意模块的参数，σ1表示Sigmoid运算，fc1和fc2分别表示两个全连接层，δ表示Relu非线性激活函数。该模块的输出X′4是通过第四尺度高层特征X4和CA加权所得。
X′4＝CA·X4
步骤6：针对第二尺度特征向量1×88×88×128，加入空间注意模块，优化浅层目标的边界信息，输出张量仍为1×88×88×128。
空间注意模块的处理过程：
第一步，分别采用卷积核为1×k和k×1的卷积层对通道注意模块输出X′4进行卷积操作。
其中，W代表空间注意模块中的参数，conv1和conv2分别代表1×K×C和K×1×1的卷积层，本发明中设置K＝9。
第二步，将卷积后的结果C1和C2进行结合，并用Sigmoid运算进行归一化处理。
SA＝F(X′4,w)＝σ2(C1+C2)
其中，σ2代表Sigmoid激活函数，SA表示归一化后的特征，模型最后输出X′2由第二尺度特征X2与SA相乘所得。
X′2＝SA·X2
为方便计算，步骤5和步骤6中的X′4和X′2仍采用X4和X2代替。
步骤7：对比信息提取。采用平均池化层分别处理以上五种不同尺度相同维度的特征，五种输出张量的形式保持不变，记为。
其中，表示对比信息提取后的特征图，Xi表示上一层提取的多尺度特征，AvgPool(Xi)表示平均池化处理。
步骤8：融合五种尺度的特征，得到最终的局部特征图，张量为1×176×176×2。
8a)在第五尺度下，本发明结合张量X5和张量进行CONCAT融合，得到特征张量1×11×11×256，再对其进行反卷积操作，卷积核为5×5，步长为2，padding值为SAME，通道数为128，得到特征张量U5为1×22×22×128。
8b)在第四尺度下，本发明结合张量X4、及U5，进行CONCAT融合，得到特征张量1×22×22×384，再对其进行反卷积操作，卷积核为5×5，步长为2，padding值为SAME，通道数为256，得到特征张量U4为1×44×44×256。
8c)在第三尺度下，本发明结合张量X3、及U4，进行CONCAT融合，得到特征张量1×44×44×512，再对其进行反卷积操作，卷积核为5×5，步长为2，padding值为SAME，通道数为384，得到特征张量U3为1×88×88×384。
8d)在第二尺度下，本发明结合张量X2、及U3，进行CONCAT融合，得到特征张量1×88×88×640，再对其进行反卷积操作，卷积核为5×5，步长为2，padding值为SAME，通道数为512，得到特征张量U2为1×176×176×512。
8e)在第一尺度下，本发明结合张量X1、及U2，进行CONCAT融合，得到特征张量1×176×176×768，再对其进行卷积处理，卷积核为1×1，步长为1，padding值为VALID，通道数为2，得到特征张量XL为1×176×176×2。
步骤9：融合特征XG和XL。本发明采用两个线性算子(WL，bL)和(WG，bG)来分别表示局部特征XL和全局特征XG，将两者结合得到一个最终的线性组合，并用Softmax函数进行分类预测。
其中，y(v)＝c表示显著图中像素划分为正确类，为本发明最终输出结果。
步骤10：模型训练。本发明采用一种融合交叉熵损失和IOU边界损失的混合损失函数进行联合训练。
交叉熵损失函数定义：
其中，表示预测结果，y(v)表示真值结果。
IOU边界损失函数定义：
其中，Cj表示基于真值图的边界像素，Cj表示模型预测图的边界像素，IOU loss的范围是[0,1]。
模型最终混合损失函数定义为：
其中，交叉熵损失函数中的加权常量λj＝1，IOU边界损失函数中的调整项γj＝1。
Claims (6)
1.一种基于注意机制卷积神经网络的显著性目标检测方法，其特征在于：包括以下步骤：
步骤1：卷积神经网络训练
所述卷积神经网络包括输入层、多维特征提取层MFE1至MFE5、全局特征提取层global、卷积层CON-1至CON-5、空间注意模块SA、通道注意模块CA、对比信息提取层CT-1至CT-5、特征融合层Dcon-2至Dcon-5、局部特征提取层、分类预测层和输出层；所述输入层将输入图像转换为预设维度的张量后依次经多维特征提取层MFE1至MFE5、全局特征提取层global处理后得到全局特征张量UG；所述多维特征提取层MFE1至MFE5分别提取第一至第五尺度特征张量f1-f5；所述第一至第五尺度特征张量f1-f5分别经所述卷积层CON-1至CON-5处理得到第一至第五尺度高层特征x1-x5；所述第四尺度高层特征x4经空间注意模块CA处理后得到通道注意特征X'4，所述第二尺度高层特征x2和通道注意特征X'4经空间注意模块SA处理后得到空间注意特征X′2，所述第一尺度高层特征x1、空间注意特征X′2、第三尺度高层特征x3、通道注意特征X'4、第五尺度高层特征x5分别经过对比信息提取层CT-1至CT-5处理得到第一至第五对比特征第五尺度高层特征x5和第五对比特征/>经特征融合层Dcon-5处理后得到第五特征张量U5，第四尺度高层特征x4和第四对比特征/>和第五特征张量U5经特征融合层Dcon-4处理后得到第四特征张量U4，第三尺度高层特征x3和第三对比特征/>和第四特征张量U4经特征融合层Dcon-3处理后得到第三特征张量U3，第二尺度高层特征x2和第二对比特征/>和第三特征张量U3经特征融合层Dcon-2处理后得到第二特征张量U2，第一尺度高层特征x1和第一对比特征/>和第二特征张量U2经局部特征提取层处理后得到局部特征张量UL，局部特征张量UL和全局特征张量UG经分类预测层Softmax处理后得到显著性特征，显著性特征经过输出层输出显著性图；训练集的已标注训练图像输入输入层，进行网络训练；
步骤2：显著性检测
将待预测图像输入输入层，预测显著性图；
所述通道注意模块CA首先对第四尺度高层特征x4进行全局平均池化处理，得到各通道下的特征向量vh，然后采用两个全连接层对特征向量vh进行显著性映射，获得基于通道方向特征之间的依赖关系，再将两个全连接层设置在非线性函数的两端，并通过Sigmoid归一化处理，将通道方向的特征向量映射到[0,1]，其计算公式为：
CA＝σ1(fc2(δ(fc1(vh,W1)),W2))
其中W1、W2表示通道方向注意模块的参数，σ1表示Sigmoid运算，fc1和fc2分别表示两个全连接层，δ表示Relu非线性激活函数；通道注意模块输出为：
X′4＝CA·X4。
2.根据权利要求1所述的基于注意机制卷积神经网络的显著性目标检测方法，其特征在于：所述输入层采用超分辨率方法将输入图像转换为预设维度的张量。
3.根据权利要求1所述的基于注意机制卷积神经网络的显著性目标检测方法，其特征在于：所述全局特征提取层global采用两次双线性插值法及一次卷积操作提取全局特征张量UG，所述卷积操作的卷积核大小为1×1，padding值为VALID，通道数为2。
4.根据权利要求1所述的基于注意机制卷积神经网络的显著性目标检测方法，其特征在于：所述卷积层CON-1至CON-5结构相同，卷积核大小为3×3，步长为1，padding值为SAME，通道数为128。
5.根据权利要求1所述的基于注意机制卷积神经网络的显著性目标检测方法，其特征在于：所述空间注意模块分别采用卷积核为1×k和k×1的卷积层对通道注意模块输出X′4进行卷积操作：
其中代表空间注意模块中的参数，conv1和conv2分别代表1×K×C和K×1×1的卷积操作；
然后将卷积后的结果C1和C2进行结合，并用Sigmoid运算进行归一化处理：
SA＝F(X′4,w)＝σ2(C1+C2)
其中，σ2代表Sigmoid激活函数，SA表示归一化后的特征，空间注意模型的最后输出X′2为：
X′2＝SA·X2。
6.根据权利要求1所述的基于注意机制卷积神经网络的显著性目标检测方法，其特征在于：特征融合层Dcon-1的卷积核为1×1，步长为1，padding值为VALID，通道数为2；特征融合层Dcon-2的卷积核为5×5，步长为2，padding值为SAME，通道数为512；特征融合层Dcon-3的卷积核为5×5，步长为2，padding值为SAME，通道数为384；特征融合层Dcon-4的卷积核为5×5，步长为2，padding值为SAME，通道数为256；特征融合层Dcon-5的卷积核为5×5，步长为2，padding值为SAME，通道数为128。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110737734.8A CN113591579B (zh) | 2021-06-28 | 2021-06-28 | 基于注意机制卷积神经网络的显著性目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110737734.8A CN113591579B (zh) | 2021-06-28 | 2021-06-28 | 基于注意机制卷积神经网络的显著性目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113591579A CN113591579A (zh) | 2021-11-02 |
| CN113591579B true CN113591579B (zh) | 2024-02-13 |
Family
ID=78245223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110737734.8A Active CN113591579B (zh) | 2021-06-28 | 2021-06-28 | 基于注意机制卷积神经网络的显著性目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113591579B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223344A (zh) * | 2019-06-03 | 2019-09-10 | 哈尔滨工程大学 | 一种基于形态学和视觉注意机制的红外小目标检测方法 |
| CN110414513A (zh) * | 2019-07-31 | 2019-11-05 | 电子科技大学 | 基于语义增强卷积神经网络的视觉显著性检测方法 |
| CN110648334A (zh) * | 2019-09-18 | 2020-01-03 | 中国人民解放军火箭军工程大学 | 一种基于注意力机制的多特征循环卷积显著性目标检测方法 |
| CN111209918A (zh) * | 2020-01-06 | 2020-05-29 | 河北工业大学 | 一种图像显著性目标检测方法 |
| CN112329800A (zh) * | 2020-12-03 | 2021-02-05 | 河南大学 | 一种基于全局信息引导残差注意力的显著性目标检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9830529B2 (en) * | 2016-04-26 | 2017-11-28 | Xerox Corporation | End-to-end saliency mapping via probability distribution prediction |
-
2021
- 2021-06-28 CN CN202110737734.8A patent/CN113591579B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223344A (zh) * | 2019-06-03 | 2019-09-10 | 哈尔滨工程大学 | 一种基于形态学和视觉注意机制的红外小目标检测方法 |
| CN110414513A (zh) * | 2019-07-31 | 2019-11-05 | 电子科技大学 | 基于语义增强卷积神经网络的视觉显著性检测方法 |
| CN110648334A (zh) * | 2019-09-18 | 2020-01-03 | 中国人民解放军火箭军工程大学 | 一种基于注意力机制的多特征循环卷积显著性目标检测方法 |
| CN111209918A (zh) * | 2020-01-06 | 2020-05-29 | 河北工业大学 | 一种图像显著性目标检测方法 |
| CN112329800A (zh) * | 2020-12-03 | 2021-02-05 | 河南大学 | 一种基于全局信息引导残差注意力的显著性目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于全卷积神经网络的多目标显著性检测;翟正利;孙霞;周炜;梁振明;;计算机技术与发展(08);全文 * |
| 基于空间卷积神经网络模型的图像显著性检测;高东东;张新生;;计算机工程(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113591579A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tang et al. | PIAFusion: A progressive infrared and visible image fusion network based on illumination aware | |
| Chen et al. | Learning spatial attention for face super-resolution | |
| Liu et al. | Connecting image denoising and high-level vision tasks via deep learning | |
| Ning et al. | JWSAA: joint weak saliency and attention aware for person re-identification | |
| Jiang et al. | Context-patch face hallucination based on thresholding locality-constrained representation and reproducing learning | |
| Ribeiro et al. | Improving the performance of pedestrian detectors using convolutional learning | |
| CN111582044A (zh) | 基于卷积神经网络和注意力模型的人脸识别方法 | |
| Cao et al. | Vdtr: Video deblurring with transformer | |
| Zeng et al. | Hyperspectral image restoration via CNN denoiser prior regularized low-rank tensor recovery | |
| Guo et al. | Dual-view attention networks for single image super-resolution | |
| Hu et al. | A two-stage unsupervised approach for low light image enhancement | |
| Raza et al. | IR-MSDNet: Infrared and visible image fusion based on infrared features and multiscale dense network | |
| Wang et al. | An improved enhancement algorithm based on CNN applicable for weak contrast images | |
| Pan et al. | No-reference image quality assessment via multibranch convolutional neural networks | |
| CN113762277B (zh) | 一种基于Cascade-GAN的多波段红外图像融合方法 | |
| Jiang et al. | Low-light image enhancement via stage-transformer-guided network | |
| Li et al. | Layer-output guided complementary attention learning for image defocus blur detection | |
| Qian et al. | Circular LBP prior-based enhanced GAN for image style transfer | |
| Tomar et al. | Deep hyfeat based attention in attention model for face super-resolution | |
| Maghari | Recognition of partially occluded faces using regularized ICA | |
| Lan et al. | An optimized GAN method based on the Que-Attn and contrastive learning for underwater image enhancement | |
| Wang et al. | Tmf: Temporal motion and fusion for action recognition | |
| Zeng et al. | Combining CNN and transformers for full-reference and no-reference image quality assessment | |
| Cheng et al. | StyleFuse: An unsupervised network based on style loss function for infrared and visible image fusion | |
| CN114693577A (zh) | 一种基于Transformer的红外偏振图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |