CN115937647B - 一种多特征融合的图像显著性检测方法 - Google Patents

一种多特征融合的图像显著性检测方法 Download PDF

Info

Publication number
CN115937647B
CN115937647B CN202310047740.XA CN202310047740A CN115937647B CN 115937647 B CN115937647 B CN 115937647B CN 202310047740 A CN202310047740 A CN 202310047740A CN 115937647 B CN115937647 B CN 115937647B
Authority
CN
China
Prior art keywords
feature
result
priori
features
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310047740.XA
Other languages
English (en)
Other versions
CN115937647A (zh
Inventor
周文俊
吴小琴
王一帆
王天飞
彭博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Petroleum University
Original Assignee
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Petroleum University filed Critical Southwest Petroleum University
Priority to CN202310047740.XA priority Critical patent/CN115937647B/zh
Publication of CN115937647A publication Critical patent/CN115937647A/zh
Application granted granted Critical
Publication of CN115937647B publication Critical patent/CN115937647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，具体设计了一种多特征融合的图像显著性检测方法。包括如下步骤：S1：搭建MFS先验特征选择模块，从先验特征中选择主要特征并对主要特征进行增强；S2：搭建主干网络的架构，采用基于U‑Net的网络改进的Contrast U‑Net作为主干网络，该主干网络包含编码器、挤压提取模块、解码器，其中编码器中包含先验融合模块；S3：使用损失函数对整体模型网络结构进行优化；本发明通过将传统与深度的方法相结合，增加特征的表达能力，可以有效的提升显著目标检测的精度。

Description

一种多特征融合的图像显著性检测方法
技术领域
本发明属于图像处理技术领域，具体设计了一种多特征融合的图像显著性检测方法。
背景技术
显著目标检测旨在提取图像中最引人注目的对象，具有重要的理论研究意义和实际应用价值。此基础工作已广泛应用于视觉追踪、图像分割、物体识别等多个计算机视觉应用中。
当前的显著目标检测方法主要分为两类，一类是主要依赖手工制作的特征检测显著目标的传统方法，一类是不使用任何先验知识的检测显著目标的深度学习的方法。传统的算法直接根据视觉的特点设计底层特征进行显著性监测；深度学习的方法依赖神经网络提取特征，可以挖掘图像更深、更为抽象的语义特征。这些算法虽然都已取得了一定的成果，但自然环境中前景背景相似，背景杂乱等问题依然影响着显著目标检测精度。
发明内容
针对上述检测的特点以及检测中存在的缺点，本发明提出了一种多特征融合的图像显著性检测方法，所述方法结合传统方法与深度学习方法中的优点，根据图片特点选择有利于显著目标检测的先验特征，将先验特征融入到网络的编码器，丰富了网络的底层特征，在一定程度上克服了自然环境中前景背景相似，背景杂乱的问题，提升了显著性检测的准确性。
本发明通过下述技术方案实现：
本发明提供了一种多特征融合的图像显著性检测方法，包括如下步骤:
S1:搭建MFS先验特征选择模块，从先验特征中选择主要特征并对主要特征进行增强；
如果直接将先验特征引入网络将影响网络的性能，因此对先验特征进行选择，选出主要影响特征，再通过残差结构对其进行加强，输入网络，丰富网络的底层网络的表达；
S2:搭建主干网络的架构，采用基于U-Net的网络改进的Contrast U-Net作为主干网络，该主干网络包含编码器、挤压提取模块、解码器，其中编码器中包含先验融合模块；
S3:使用损失函数对整体模型网络结构进行优化。
进一步地，步骤S1中MFS先验特征选择模块具体实现方式为：
S11:通过对原始图片处理得到4个先验特征fm；
其中，m=1,2,3,4，f1表示特征暗通道、f2表示特征MSCN、f3表示特征HSV通道的H通道、f4表示特征HSV通道的S通道；
S12:将每个先验特征进行直方图统计，得到整体特征分布
Figure SMS_1
；将每个特征图的最外沿特征值取出做直方图统计，得到背景特征主要分布/>
Figure SMS_2
；在背景中增加显著目标后，通过整体特征分布和背景特征主要分布得到显著目标特征可能分布/>
Figure SMS_3
，其获得方式为：
Figure SMS_4
其中，k=10表示统计直方图有10个等距值域区间，rk表示第k级矩阵特征值域区间；当
Figure SMS_5
为0时，/>
Figure SMS_6
的值为无穷大；
S13:通过每个背景特征主要分布
Figure SMS_7
和显著目标特征可能分布/>
Figure SMS_8
分别得到背景特征主要分布区域/>
Figure SMS_9
和显著目标特征主要分布区域/>
Figure SMS_10
；
S14:通过背景特征主要分布区域
Figure SMS_11
与显著目标特征主要分布区域/>
Figure SMS_12
计算分布差异dm，选择分布差异中前三个最大值所对应的特征进行拼接得到主要特征FP，然后将其输入1×1的卷积层，获得一个多通道主要特征FP1；
S15:增强多通道主要特征FP1，通过将多通道主要特征FP1进行残差连接，然后进行2×2最大池化，得到增强后的多通道主要特征Fpre，用于编码器第2部分的先验输入；对Fpre重复进行S15步骤进行增强，得到Fpre1，用于编码器第3部分的先验输入。
进一步地，步骤S13中背景特征主要分布区域
Figure SMS_13
获得方式为背景特征主要分布
Figure SMS_14
取最大值时的k值；显著目标特征主要分布区域/>
Figure SMS_15
获得方式为显著目标特征可能分布/>
Figure SMS_16
取最大值时的k值。
进一步地，步骤S14中分布差异dm获得方式为：
Figure SMS_17
。
进一步地，步骤S15中其增强后的多通道主要特征获得方式具体为：
对多通道主要特征先进行两次3×3的卷积操作，再与多通道主要特征连接，然后进行2×2最大池化，得到增强后的多通道主要特征。
进一步地，步骤S2中主干网络的架构具体实现方式为：
S21:构建编码器，所述编码器是由5个部分构成，第1部分将图片输入进行两次卷积和一次池化，再将提取特征结果输入第2部分；第2部分对其进行两次卷积，同时取出第1次卷积结果进行对比度算子处理，然后将两次卷积结果、对比度算子结果与增强后的多通道主要特征Fpre输入先验融合模块；再对融合结果进行池化，将池化后的结果输入第3部分；第3部分对输入的处理步骤与第2部分处理步骤一致，然后将处理结果输入第4部分；第4部分对输入的处理步骤与第1部分处理步骤一致，然后将处理结果输入第5部分；第5部分对输入进行两次卷积，得到编码器的输出；其中，卷积均是采用3x3的卷积层，池化均采用2x2的最大池化；
S22:构建挤压提取模块，所述挤压提取模块是代替U-Net编码器和解码器之间的跳跃连接，将编码器的第1、2、3、4部分池化前的结果进行挤压提取操作；通过将输入执行一次全局平均池化和一次挤压因子R=16的全连接来获得全局压缩特征向量，再将全局压缩特征向量通过一次全连接操作获得权重，然后对输入赋予上相应的权重，得到挤压提取模块的输出；挤压因子R=16是实验所得最优参数设置；
S23：构建解码器，所述解码器由4个部分构成，第1部分的基本结构为上采样、特征拼接和两次3x3的卷积，特征拼接是将挤压提取模块的结果与上采样结果进行拼接，剩下的3部分的结构与第1部分相同；
S24:将解码器的结果进行1×1卷积操作得到模型的结果。
进一步地，步骤S21中，第2、3部分先验融合模块的具体是将解码器的两次卷积结果、对比度算子结果与增强后的多通道主要特征进行拼接，然后输入到1×1的卷积层，输出先验融合模块的融合结果。
进一步地，步骤S3中的损失函数为交叉损失函数：
Figure SMS_18
其中，i表示图像中第i个像素，n表示图像中共有n个像素，S是显著图的预测结果，GT是标签；使用上述的损失函数作为优化目标，使损失函数最小化，对网络模型优化。
采用上述技术方案，本发明包括如下优点：
本发明从多个特征中选择影响显著目标检测的主要特征，在丰富图像底层特征表达的同时避免过多的影响网络性能。
本发明采用Contrast U-Net为主干网络，其中应用的对比度算子可以有效增加图像纹理信息的表达。
本发明通过结合基于先验的方法和基于学习的方法的优点，有效提高检测精度。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图2-附图6仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的网络结构图；
图2为本发明的一个实施例的输入原始图片示意图；
图3为本发明的一个实施例的特征HSV通道的S通道示意图；
图4为本发明的一个实施例的S通道的整体特征分布图；
图5为本发明的一个实施例的S通道的背景特征主要分布图；
图6为本发明的一个实施例的S通道的显著目标特征可能分布图；
图7为本发明的挤压提取模块的结构图。
实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
如图1所示，本实施例提供一种多特征融合的图像显著性检测方法，包括如下步骤:
S1:搭建MFS先验特征选择模块，从先验特征中选择主要特征并对主要特征进行增强；
本步骤，其具体实现方式为：
S11:如图2所示，为原始图片，通过对原始图片导入后，得到4个先验特征fm；其中，m=1,2,3,4，f1表示特征暗通道、f2表示特征MSCN、f3表示特征HSV通道的H通道、f4表示特征HSV通道的S通道；
S12:将每个先验特征进行直方图统计，得到整体特征分布
Figure SMS_20
、/>
Figure SMS_22
、
Figure SMS_24
、/>
Figure SMS_26
；分别将每个特征图的最外沿特征值取出做直方图统计，得到背景特征主要分布/>
Figure SMS_28
、/>
Figure SMS_29
、/>
Figure SMS_30
、/>
Figure SMS_19
；在背景中增加显著目标后，通过整体特征分布和背景特征主要分布得到显著目标特征可能分布为/>
Figure SMS_21
、/>
Figure SMS_23
、/>
Figure SMS_25
、/>
Figure SMS_27
；
如图3是特征HSV通道的S通道的示意图；如图4所示，通过直方图统计得到特征f4的整体特征分布
Figure SMS_31
；如图5所示，通过将f4的最外沿特征值取出做直方图统计，得到特征背景特征主要分布/>
Figure SMS_32
；整体特征分布图与背景特征主要分布图的x轴表示特征值，y轴表示特征值的统计值；将整个特征图f4的最大值和最小值之间的值域分为k=10个等距值域区间，整体特征分布图与背景特征主要分布图都按照分割的值域区间统计值的数量，即图4和图5中分割的值域区间r1表示第1级矩阵特征值域区间[0,0.076]，r2表示第2级矩阵特征值域区间[0.076,0.152]，r3表示第3级矩阵特征值域区间[0.152,0.228]，r4表示第4级矩阵特征值域区间[0.228,0.304]，r5表示第5级矩阵特征值域区间[0.304,0.380]，r6表示第6级矩阵特征值域区间[0.380,0.456]，r7表示第7级矩阵特征值域区间[0.456,0.532]，r8表示第8级矩阵特征值域区间[0.532,0.608]，r9表示第9级矩阵特征值域区间[0.608,0.684]，r10表示第10级矩阵特征值域区间[0.684,0.76]，对于处于端点的数值归入其右相邻值域区间，如0归入r1，0.076归入r2；如图6所示，在背景中增加显著目标后，显著目标特征可能分布为/>
Figure SMS_33
，显著目标特征可能分布的x轴表示k值，即值域区间的级数，y轴表示背景中增加显著目标后，各级值域区间统计值的增长倍数；异常增长的值域区间，往往为显著目标特征值所在值域区间。
进一步，显著目标特征可能分布
Figure SMS_34
的获得方式为：
Figure SMS_35
；
其中，k=10表示统计直方图有10个等距值域区间，
Figure SMS_36
是通过将整体特征分布/>
Figure SMS_37
与背景特征主要分布/>
Figure SMS_38
在每个矩阵特征值域对应相除；当/>
Figure SMS_39
为0时，/>
Figure SMS_40
的值为无穷大。
同理可得到
Figure SMS_41
、/>
Figure SMS_42
、/>
Figure SMS_43
。
S13:通过每个背景特征主要分布
Figure SMS_47
、/>
Figure SMS_49
、/>
Figure SMS_51
、/>
Figure SMS_53
和显著目标特征可能分布/>
Figure SMS_55
、/>
Figure SMS_57
、/>
Figure SMS_59
、/>
Figure SMS_44
分别得到背景特征主要分布区域/>
Figure SMS_46
、/>
Figure SMS_48
、/>
Figure SMS_50
、/>
Figure SMS_52
和显著目标特征主要分布区域/>
Figure SMS_54
、/>
Figure SMS_56
、/>
Figure SMS_58
、/>
Figure SMS_45
；
进一步，如图5到图6所示，特征HSV通道的S通道背景特征主要分布区域
Figure SMS_60
为
Figure SMS_61
取最大值时的k值，/>
Figure SMS_62
为/>
Figure SMS_63
取最大值时的k值。
同理可得到
Figure SMS_64
、/>
Figure SMS_65
、/>
Figure SMS_66
、/>
Figure SMS_67
、/>
Figure SMS_68
、/>
Figure SMS_69
。
S14:通过背景特征主要分布区域
Figure SMS_71
、/>
Figure SMS_72
、/>
Figure SMS_73
、/>
Figure SMS_74
与显著目标特征主要分布区域
Figure SMS_75
、/>
Figure SMS_76
、/>
Figure SMS_77
、/>
Figure SMS_70
计算分布差异d1、d2、d3、d4，选择d1、d2、d3、d4中前三个最大值所对应的特征进行拼接得到主要特征FP(H,W,3)，然后将其输入1×1的卷积层，获得一个多通道主要特征FP1(H,W,32)；
进一步，背景特征主要分布区域
Figure SMS_78
与显著目标特征主要分布区域/>
Figure SMS_79
的分布差异d4的获得方式为：
Figure SMS_80
。
同理可得到d1、d2、d3。
S15:增强多通道主要特征FP1(H,W,32)，通过将多通道主要特征FP1(H,W,32)进行残差连接，然后进行2×2最大池化，得到增强后的多通道主要特征Fpre(H/2,W/2,64)，用于编码器第2部分的先验输入；对Fpre(H/2,W/2,64)重复进行S15步骤进行增强得到Fpre1(H/4,W/4,128)，用于编码器第3部分的先验输入；
进一步，其增强后的多通道主要特征Fpre(H/2,W/2,64)获得方式具体为：
对FP1(H,W,32)先进行两次3×3的卷积操作，再与FP1(H,W,32)连接，然后进行2×2最大池化，得到增强后的多通道主要特征Fpre(H/2,W/2,64)。
同理可得：Fpre1(H/4,W/4,128)。
S2:搭建主干网络的架构，采用基于U-Net的网络改进的Contrast U-Net作为主干网络，该主干网络包含编码器、挤压提取模块、解码器，其中编码器中包含先验融合模块；
S21:构建编码器，其所述编码器是由5个部分构成，第1部分将(H,W,3)的图片输入进行两次3x3的卷积得到特征FE1(H,W,32)，然后对FE1(H,W,32)池化得到输出；第2部分将第1部分结果输入进行两次3x3卷积处理得到FE21(H/2,W/2,64)，取出第一次卷积结果进行对比度算子处理得到FE22(H/2,W/2,64)；然后将FE21(H/2,W/2,64)、FE22(H/2,W/2,64)与Fpre(H/2,W/2,64)输入先验融合模块得到融合结果FE2(H/2,W/2,64)；再对FE2(H/2,W/2,64)进行池化得到输出；第3部分同第2部分处理步骤，通过将第2部分输出结果输入，同理可得第3部分两次卷积结果FE31(H/4,W/4,128)，对比度算子结果FE32(H/4,W/4,128)，融合结果FE3(H/4,W/4,128)；第4部分同第1部分处理步骤，通过将第3部分输出结果输入，同理可得第4部分两次卷积结果FE4(H/8,W/8,256)；第5部分将第4部分输出结果进行两次卷积，得到编码器的输出FE5(H/16,W/16,256)；
进一步，其第2、3部分先验融合模块的具体实现方式为：解码器的卷积结果FE21(H/2,W/2,64)、FE31(H/4,W/4,128)，对比度算子结果FE22(H/2,W/2,64)、FE32(H/4,W/4,128)与增强后的多通道主要特征Fpre(H/2,W/2,64)、Fpre1(H/4,W/4,128)进行拼接，然后输入到1×1的卷积层，输出第2、3部分先验融合模块的融合结果FE2(H/2,W/2,64)、FE3(H/4,W/4,128)；
进一步，编码器第2部分的先验融合结果FE2(H/2,W/2,64)获得方式为：
将第二部分的两次卷积结果FE21(H/2,W/2,64)对比度算子结果FE22(H/2,W/2,64)与增强后的多通道主要特征Fpre(H/2,W/2,64)进行拼接得到拼接特征为FE23(H/2,W/2,192)，然后将FE23(H/2,W/2,192)进行1×1的卷积处理得到先验融合结果FE2(H/2,W/2,64)。
同理可得FE3(H/4,W/4,128)。
S22: 如图7所示，为挤压提取模块结构，其结构图中挤压因子R=16，h、w、c分别代表输入挤压提取模块的特征的高度、宽度和通道数，编码器不同部分输入到挤压提取模块的h、w、c值不相同，如第1部分输入到挤压提取模块的h=H，w=W，c=32，第2部分输入到挤压提取模块的h= H/2，w=W/2，c=64；其所述挤压提取模块是代替U-Net编码器和解码器之间的跳跃连接，将编码器的第1、2、3、4部分池化前的结果FE1(H,W,32)、FE2(H/2,W/2,64)、FE3(H/4,W/4,128)、FE4(H/8,W/8,256)进行挤压提取操作。通过对FE1(H,W,32)、FE2(H/2,W/2,64)、FE3(H/4,W/4,128)、FE4(H/8,W/8,256)执行一次全局平均池化和一次挤压因子R=16的全连接来获得全局压缩特征向量Fs1(1,1,32/R)、Fs2(1,1,64/R)、Fs3(1,1,128/R)、Fs4(1,1,256/R)，再将全局压缩特征向量Fs1(1,1,32/R)、Fs2(1,1,64/R)、Fs3(1,1,128/R)、Fs4(1,1,256/R)通过一次全连接操作获得权重Fw1(1,1,32)、Fw2(1,1,64)、Fw3(1,1,128)、Fw4(1,1,256)，然后对输入赋予上相应的权重，得到挤压提取模块的输出FEw1(H,W,32)、FEw2(H/2,W/2,64)、FEw3(H/4,W/4,128)、FEw4(H/8,W/8,256)。
S23:构建解码器，其所述解码器由4个部分构成，其中，第1部分的基本结构为一个上采样、特征拼接和两次3x3的卷积层，特征拼接的是将挤压提取模块的结果与上采样结果进行拼接；剩下的3部分的结构与第1部分的相同。
进一步，解码器的第4部分的结果FD4(H/8,W/8,128)获得方式为：
将编码器第5部分的结果FE5(H/16,W/16,256)输入，先对其进行上采样得到结果FD41(H/8,W/8,256)，将采样结果FD41(H/8,W/8,256)与编码器第4部分的提取解压模块结果FEw4(H/8,W/8,256)进行拼接得到FD42(H/8,W/8,512)，再将FD42(H/8,W/8,512)进行两次3x3的卷积得到FD4(H/8,W/8,128)。
同理可得FD1(H,W,32)、FD2(H/2,W/2,64)、FD3(H/4,W/4,128)。
S24:将解码器的结果FD1(H,W,32)进行1×1卷积操作得到模型的结果。
S3:使用损失函数对整体模型网络结构进行优化；
进一步，其所述损失函数为交叉损失函数：
Figure SMS_81
其中，i表示图像中第i个像素，n表示图像中共有n个像素，S是显著图的预测结果，GT是标签；使用上述的损失函数作为优化目标，使损失函数最小化，对网络模型优化。

Claims (5)

1.一种多特征融合的图像显著性检测方法，其特征在于，包括
如下步骤:
步骤一:获取原始图片；
步骤二:构建网络，将原始图片输入网络进行处理得到图像的显著目标，其构建网络的具体步骤如下：
S1:搭建MFS先验特征选择模块，从多个先验特征中选择主要特征并对主要特征进行增强，MFS先验特征选择模块具体实现方式为：
S11:通过对原始图片处理得到4个先验特征fm，其中f1表示特征暗通道、f2表示特征MSCN、f3表示特征HSV通道的H通道、f4表示特征HSV通道的S通道；然后将每个先验特征进行直方图统计，得到整体特征分布
Figure FDA0004176247950000011
将每个特征图的最外沿特征值取出做直方图统计，得到背景特征主要分布/>
Figure FDA0004176247950000012
在背景中增加显著目标后，通过整体特征分布和背景特征主要分布得到显著目标特征可能分布/>
Figure FDA0004176247950000013
其获得方式为：
Figure FDA0004176247950000014
其中，k＝10表示统计直方图有10个等距值域区间，rk表示第k级矩阵特征值域区间；当
Figure FDA0004176247950000015
为0时，/>
Figure FDA0004176247950000016
的值为无穷大；
S12:通过每个背景特征主要分布
Figure FDA0004176247950000017
和显著目标特征可能分布/>
Figure FDA0004176247950000018
分别得到背景特征主要分布区域/>
Figure FDA0004176247950000019
和显著目标特征主要分布区域/>
Figure FDA00041762479500000110
S13:通过背景特征主要分布区域
Figure FDA00041762479500000111
与显著目标特征主要分布区域/>
Figure FDA0004176247950000021
计算分布差异dm，选择分布差异中前三个最大值所对应的特征进行拼接得到主要特征FP，然后将其输入1×1的卷积层，获得一个多通道主要特征FP1；
S14:采用残差结构增强多通道主要特征，每次与Contrast U-Net主干网络融合前都需要对上次的结果进行增强并池化；
S2:搭建主干网络的架构，采用基于U-Net的网络改进的Contrast U-Net作为主干网络，该主干网络包含编码器、挤压提取模块、解码器，其中编码器中包含先验融合模块；Contrast U-Net主干网络架构的具体实现方式为：
S21:构建编码器，所述编码器是由5个部分构成，第1部分将图片输入进行两次卷积和一次池化，再将提取特征结果输入第2部分；第2部分对其进行两次卷积，同时取出第1次卷积结果进行对比度算子处理，然后将两次卷积结果、对比度算子结果与增强后的多通道主要特征Fpre输入先验融合模块进行多特征融合；再对融合结果进行池化，将池化后的结果输入第3部分；第3部分对输入的处理步骤与第2部分处理步骤一致，然后将处理结果输入第4部分；第4部分对输入的处理步骤与第1部分处理步骤一致，然后将处理结果输入第5部分；第5部分对输入进行两次卷积，得到编码器的输出；其中，第2、3部分先验融合模块的具体是将编码器的两次卷积结果、对比度算子结果与增强后的多通道主要特征进行拼接，然后输入到1×1的卷积层，输出先验融合模块的融合结果；除先验融合模块中的卷积层外，此部分其他卷积操作均是采用3x3的卷积层，池化均是采用2x2的最大池化；
S22:构建挤压提取模块，所述挤压提取模块是代替U-Net编码器和解码器之间的跳跃连接，将编码器的第1、2、3、4部分池化前的结果进行挤压提取操作；通过将输入执行一次全局平均池化和一次挤压因子R＝16的全连接来获得全局压缩特征向量，再将全局压缩特征向量通过一次全连接操作获得权重，然后对输入赋予上相应的权重，得到挤压提取模块的输出；
S23：构建解码器，所述解码器由4个部分构成，第1部分的基本结构为上采样、特征拼接和两次3x3的卷积，特征拼接是将挤压提取模块的结果与上采样结果进行拼接，剩下的3部分的结构与第1部分相同；
S24:将解码器的结果进行1×1卷积操作得到模型的结果；
S3:使用损失函数对整体模型网络结构进行优化。
2.如权利要求1所述的一种多特征融合的图像显著性检测方
法，其特征在于：步骤S12中背景特征主要分布区域
Figure FDA0004176247950000031
获得方式为背景特征主要分布
Figure FDA0004176247950000032
取最大值时的k值；显著目标特征主要分布区域/>
Figure FDA0004176247950000033
获得方式为显著目标特征可能分布/>
Figure FDA0004176247950000034
取最大值时的k值。
3.如权利要求1所述的一种多特征融合的图像显著性检测方
法，其特征在于：步骤S13中分布差异dm获得方式为：
Figure FDA0004176247950000035
4.如权利要求1所述的一种多特征融合的图像显著性检测方
法，其特征在于：步骤S14中增强多通道主要特征的具体实现方式为：
通过将多通道主要特征FP1进行两次3×3的卷积操作，再与FP1连接，最后进行2×2最大池化，得到增强后的多通道主要特征Fpre，用于编码器第2部分的先验融合模块的先验输入；然后对Fpre重复上述步骤进行增强，得到Fpre1，用于编码器第3部分的先验融合模块的先验输入。
5.如权利要求1所述的一种多特征融合的图像显著性检测方
法，其特征在于：步骤S3中的损失函数为交叉损失函数：
Figure FDA0004176247950000041
其中，i表示图像中第i个像素，n表示图像中共有n个像素，S是显著图的预测结果，GT是标签；使用上述的损失函数作为优化目标，使损失函数最小化，对网络模型优化。
CN202310047740.XA 2023-01-31 2023-01-31 一种多特征融合的图像显著性检测方法 Active CN115937647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310047740.XA CN115937647B (zh) 2023-01-31 2023-01-31 一种多特征融合的图像显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310047740.XA CN115937647B (zh) 2023-01-31 2023-01-31 一种多特征融合的图像显著性检测方法

Publications (2)

Publication Number Publication Date
CN115937647A CN115937647A (zh) 2023-04-07
CN115937647B true CN115937647B (zh) 2023-05-19

Family

ID=85821902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310047740.XA Active CN115937647B (zh) 2023-01-31 2023-01-31 一种多特征融合的图像显著性检测方法

Country Status (1)

Country Link
CN (1) CN115937647B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648334A (zh) * 2019-09-18 2020-01-03 中国人民解放军火箭军工程大学 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN111640128A (zh) * 2020-05-29 2020-09-08 哈尔滨理工大学 一种基于U-Net网络的细胞图像分割方法
CN111709914A (zh) * 2020-05-27 2020-09-25 西安理工大学 一种基于hvs特性的无参考图像质量评价方法
CN111915571A (zh) * 2020-07-10 2020-11-10 云南电网有限责任公司带电作业分公司 融合残差网络与U-Net网络的图像变化检测方法、装置、存储介质及设备
CN113191373A (zh) * 2021-05-11 2021-07-30 山东财经大学 一种基于中心先验与U-Net网络相结合的显著性检测方法
CN115471831A (zh) * 2021-10-15 2022-12-13 中国矿业大学 一种基于文本增强学习的图像显著性检测方法
CN115578638A (zh) * 2022-10-30 2023-01-06 三峡大学 一种基于U-Net的多层次特征交互去雾网络的构建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI784349B (zh) * 2020-11-16 2022-11-21 國立政治大學 顯著圖產生方法及使用該方法的影像處理系統

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648334A (zh) * 2019-09-18 2020-01-03 中国人民解放军火箭军工程大学 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN111709914A (zh) * 2020-05-27 2020-09-25 西安理工大学 一种基于hvs特性的无参考图像质量评价方法
CN111640128A (zh) * 2020-05-29 2020-09-08 哈尔滨理工大学 一种基于U-Net网络的细胞图像分割方法
CN111915571A (zh) * 2020-07-10 2020-11-10 云南电网有限责任公司带电作业分公司 融合残差网络与U-Net网络的图像变化检测方法、装置、存储介质及设备
CN113191373A (zh) * 2021-05-11 2021-07-30 山东财经大学 一种基于中心先验与U-Net网络相结合的显著性检测方法
CN115471831A (zh) * 2021-10-15 2022-12-13 中国矿业大学 一种基于文本增强学习的图像显著性检测方法
CN115578638A (zh) * 2022-10-30 2023-01-06 三峡大学 一种基于U-Net的多层次特征交互去雾网络的构建方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Improved U-Net-Like Network for Visual Saliency Detection Based on Pyramid Feature Attention;Xiaoran Gong等;《Wireless Communications and Mobile Computing》;1-11 *
UIU-Net: U-Net in U-Net for Infrared Small Object Detection;Xin Wu等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;1-14 *
USE-Net: incorporating Squeeze-and-Excitation blocks into U-Net for prostate zonal segmentation of multi-institutional MRI datasets;Leonardo Rundo等;《arXiv》;1-44 *
基于多先验知识的乳腺病灶显著性检测算法研究;方宏文;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》(第03期);E072-812 *
基于注意力机制和U-Net的图像显著性检测算法研究与实现;李艳青;《中国优秀硕士学位论文全文数据库 信息科技辑》(第03期);I138-600 *
颜色空间统计联合纹理特征的无参考图像质量评价;范赐恩等;《光学精密工程》;第26卷(第4期);916-926 *

Also Published As

Publication number Publication date
CN115937647A (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN108664981B (zh) 显著图像提取方法及装置
CN110533084B (zh) 一种基于自注意力机制的多尺度目标检测方法
CN110866938B (zh) 一种全自动视频运动目标分割方法
CN110110634B (zh) 基于深度学习的病理图像多染色分离方法
CN111626960A (zh) 图像去雾方法、终端及计算机存储介质
CN113888557A (zh) 一种基于rgb-d特征融合的场景语义分割方法及系统
CN114638836B (zh) 基于高度有效驱动与多层级特征融合的城市街景分割方法
CN112270366B (zh) 基于自适应多特征融合的微小目标检测方法
CN113850324A (zh) 一种基于Yolov4的多光谱目标检测方法
CN112418087A (zh) 一种基于神经网络的水下视频鱼类识别方法
CN113486894A (zh) 一种卫星图像特征部件语义分割方法
CN111104855B (zh) 一种基于时序行为检测的工作流识别方法
CN115984701A (zh) 一种基于编解码结构的多模态遥感图像语义分割方法
CN113553973A (zh) 一种基于双向注意力的伪装物体检测方法
CN116757988A (zh) 基于语义丰富和分割任务的红外与可见光图像融合方法
CN115345866A (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
CN116109920A (zh) 一种基于Transformer的遥感图像建筑物提取方法
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
CN114218613A (zh) 图像篡改检测方法、装置以及计算机可读存储介质
CN115937647B (zh) 一种多特征融合的图像显著性检测方法
CN113361466A (zh) 一种基于多模态交叉指导学习的多光谱目标检测方法
CN110472732B (zh) 基于优化特征提取装置的图像特征提取系统
CN114357958A (zh) 一种表格提取方法、装置、设备及存储介质
CN115345801B (zh) 一种基于图像去噪思想的图像压缩及滤镜去除方法及系统
CN111062917A (zh) 一种基于深度神经网络的三线阵影像云检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant