CN111047571B - 一种具有自适应选择训练过程的图像显著目标检测方法 - Google Patents
一种具有自适应选择训练过程的图像显著目标检测方法 Download PDFInfo
- Publication number
- CN111047571B CN111047571B CN201911261553.1A CN201911261553A CN111047571B CN 111047571 B CN111047571 B CN 111047571B CN 201911261553 A CN201911261553 A CN 201911261553A CN 111047571 B CN111047571 B CN 111047571B
- Authority
- CN
- China
- Prior art keywords
- image
- salient object
- significant target
- feature
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 150
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 title claims abstract description 20
- 230000008569 process Effects 0.000 title claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 70
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 18
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 230000002776 aggregation Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000000452 restraining effect Effects 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 24
- 238000003909 pattern recognition Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种具有自适应选择训练过程的图像显著目标检测方法，属于图像处理技术领域，包括获取输入图像，利用深度特征提取器提取输入图像的高层特征图和融合特征；将高层特征图输入显著目标存在性预测分支，并输出第一检测结果；将融合特征输入显著目标检测分支，并输出第二检测结果；利用第一检测结果和第二检测结果，产生输入图像的显著图。本发明将图像级分类特征和像素级语义特征结合起来，共同训练两种任务的损失，同时自适应地选择包含显著目标的图像进行增强学习，提高了模型的检测精度。
Description
技术领域
本发明涉及数据处理技术领域，特别涉及一种具有可解释性的直推学习方法及系统。
背景技术
图像显著目标检测模拟了人类视觉系统检测场景中最引人注目的物体的能力，它是图像处理的预处理部分，近年来取得了很大的研究进展。但是现有的数据集大多包含一个或多个简单的显著目标，这不能充分反映真实世界中图像的复杂性。真实场景图像中有时候并不包含显著物体，例如，天空、草地、纹理、高密度人群等。因此，现有的图像显著目标检测模型在现有的数据集上性能已趋于成熟，但在真实场景中不能达到满意的性能。
因此亟需提供一种图像显著目标检测模型，用于在真实场景中检测显著目标，既要考虑图像中包含显著物体的情况，也要考虑图像中不含有显著物体的情况。
发明内容
本发明的目的在于克服现有技术存在的缺陷，提供一种具有自适应选择训练过程的图像显著目标检测方法，能够准确地对所有图像进行检测。
为实现以上目的，本发明采用一种具有自适应选择训练过程的图像显著目标检测方法，包括如下步骤：
获取输入图像，利用深度特征提取器提取输入图像的高层特征图和融合特征；
将高层特征图输入显著目标存在性预测分支，并输出第一检测结果；
将融合特征输入显著目标检测分支，并输出第二检测结果；
利用第一检测结果和第二检测结果，产生输入图像的显著图。
进一步地，所述利用深度特征提取器提取输入图像的高层特征图和融合特征，包括：
将所述输入图像至深度特征提取器M中，提取其高层语义特征和融合特征，其中，深度特征提取器M采用Resnet101作为主体网络，高层接ASPP模块，侧边连接四个上下文特征聚合模块CFAM。
进一步地，所述将所述输入图像至深度特征提取器M中，提取其高层特征图和融合特征，包括：
对于所述输入图像，利用所述Resnet101侧边输出四种不同分辨率的高层特征图Fm(m＝1,2,3,4)；
利用所述ASPP模块输出特征图FASPP经过卷积操作产生特征图
利用所述上下文特征聚合模块CFAM融合特征图FASPP、高一层CFAM模块输出的特征图
以及同一层的Resnet101侧边输出的特征图Fm，输出特征图
利用特征图
融合，形成所述融合特征。
进一步地，所述利用特征图
融合，形成所述融合特征，包括：
对所述特征图
上采样到原始输入图像大小，然后连接在一起形成所述融合特征，具体为：
其中，
表示用于将特征恢复到输入图像的分辨率的上采样操作。
进一步地，所述将高层语义特征输入显著目标存在性预测分支，并输出第一检测结果，包括：
采用全局平均池化对所述高层特征图进行加速降维，生成1*1*2048全局特征，然后重新排列特征；
将重新排列的特征的输入自定义为两个全连接层fc5、fc6，并生成显著性存在预测结果作为所述第一检测结果。
进一步地，所述第二检测结果包括融合显著目标存在性预测结果的显著目标检测结果和不融合显著目标存在性预测结果的显著目标检测结果；所述将融合特征输入显著目标检测分支，并输出第二检测结果，包括：
将所述融合特征送入显著目标检测分支，进行融合显著目标存在性预测结果的显著目标检测，输出融合显著目标存在性预测结果的显著目标检测结果；
将所述融合特征送入显著目标检测分支，进行不融合显著目标存在性预测结果的显著目标检测，输出不融合显著目标存在性预测结果的显著目标检测结果。
进一步地，所述将所述融合特征送入显著目标检测分支，进行融合显著目标存在性预测结果的显著目标检测，输出融合显著目标存在性预测结果的显著目标检测结果，包括：
将所述融合特征与所述全连接层fc5的输出特征FSEP进行融合，形成所述融合显著目标存在性预测结果的显著目标检测结果。
进一步地，所述将所述融合特征送入显著目标检测分支，进行不融合显著目标存在性预测结果的显著目标检测，输出不融合显著目标存在性预测结果的显著目标检测结果，包括：
对所述融合特征执行两个具有3*3和1*1核大小的卷积运算以及sigmoid函数，形成所述不融合显著目标存在性预测结果的显著目标检测结果。
进一步地，所述利用第一检测结果和第二检测结果，产生输入图像的显著图，包括：
根据所述显著性存在预测结果与显著目标存在性真实标签之间的损失函数lossexistence；
计算融合显著目标存在性预测结果的显著目标检测结果与显著目标真实值之间的损失函数losssaliency；
根据不融合显著目标存在性预测结果的显著目标检测结果，计算所选图像的显著目标检测结果
与所选图像的显著目标真实值selectY之间的损失函数lossselect；
计算最终的损失函数lossfinal＝α*losssaliency+β*lossexistence+γ*lossselect，并利用最终的损失函数对图像显著目标检测模型进行监督和约束，识别出所述输入图像的显著图。
进一步地，所述损失函数
其中，所述输入图像为I＝{Ii|i＝1,..,B}，B表示一组图像的数量，z＝{zi|i＝1,..,B}表示显著性预测真值的集合，zi表示图像Ii是否包含显著目标，i表示一组图像中图像的索引，
表示模型生成的第i张图片的显著性存在预测结果，
表示所有图片显著性存在预测结果的集合；
所述损失函数
Y＝{Yi|i＝1,..,B}表示相对应的显著目标真实值的集合，
表示所述融合显著目标存在性预测结果的显著目标检测结果；
所述损失函数
selectY＝IndexSelect(Y,index)，index为向量，用于存储包含显著目标的图像的序号，Y表示一组像素级真值图的集合，
表示所述不融合显著目标存在性预测结果的显著目标检测结果，IndexSelect(Y,index)表示选择出显著图像对应的真值图，
表示从
中选择出显著图像对应的显著图。
与现有技术相比，本发明存在以下技术效果：本发明中具有自适应选择训练过程的图像显著目标检测模型由输入图像提取高层特征和融合特征，高层特征送入显著目标存在性预测分支进行预测，融合特征送入显著目标检测分支进行检测，并结合显著目标存在性预测分支的结果产生显著图。显著目标存在性预测和显著目标检测双任务学习建立模型，在此基础上，模型选择包含显著目标的图像，根据其产生的未融合显著目标存在性预测特征的显著目标检测结果及真值之间的损失函数的监督和约束，加强模型对包含显著目标图像及不包含显著目标图像的检测能力。其图像显著目标检测方法根据图像的显著目标真实存在性标签，选择包含显著目标的图像进行增强学习，使其适用于检测包含显著目标以及不包含显著目标的所有图像。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1是一种具有自适应选择训练过程的图像显著目标检测方法的流程示意图；
图2是模型框架示意图。
图3是上下文特征聚合模块示意图。
图4是本发明方法与现有方法的对比结果示意图。
具体实施方式
为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
如图1-图2所示，本实施例公开了一种具有自适应选择训练过程的图像显著目标检测方法，包括如下步骤S1至S4：
S1、获取输入图像，利用深度特征提取器提取输入图像的高层特征图F4和融合特征F；
S2、将高层特征图F4输入显著目标存在性预测分支，并输出第一检测结果；
S3、将融合特征F输入显著目标检测分支，并输出第二检测结果；
S4、利用第一检测结果和第二检测结果，产生输入图像的显著图。
需要说明的是，本实施例所述自适应选择训练过程是指，根据图像的显著目标存在性真实标签，选择包含显著目标的图像进行增强学习的过程，使其适用于检测包含显著目标以及不包含显著目标的所有图像。
进一步地，上述步骤S1中，利用深度特征提取器提取输入图像的高层特征图F4和融合特征F，具体为：
将所述输入图像至深度特征提取器M中，提取其高层语义特征F4和融合特征F，其中，深度特征提取器M采用Resnet101作为主体网络，高层接ASPP模块，侧边连接四个上下文特征聚合模块CFAM。
ASPP模块来自于DeeplabV3，以不同的膨胀速率从四个不同的空洞卷积层中级联特征，以及通过全局平均池化并行排列得到图像级特征，它使输出特征图中的神经元包含多个接收域大小，从而编码多尺度信息，最终提高性能。
进一步地，所述将所述输入图像至深度特征提取器M中，提取其高层特征图和融合特征，包括：
对于所述输入图像，利用所述Resnet101侧边输出四种不同分辨率的高层特征图Fm(m＝1,2,3,4)；
利用所述ASPP模块输出特征图FASPP经过卷积操作产生特征图
利用所述上下文特征聚合模块CFAM融合特征图FASPP、高一层CFAM模块输出的特征图
以及同一层的Resnet101侧边输出的特征图Fm，输出特征图
利用特征图
融合，形成所述融合特征。
这里需要说明的是，Fm(m＝1,2,3,4,5)表示Resnet101生成的四种特征图，
表示Fm(m＝1,2,3,4,5)与FASPP，高一层的CFAM模块输出的特征图
通过上下文特征聚合模块融合产生的特征，最深的全局特征FASPP经过两个3x3的卷积操作形成特征
具体来说，上下文特征聚合模块CFAM，参见图3，融合特征图FASPP、高一层CFAM模块输出的特征图
以及同一层的Resnet101侧边输出的高层特征图Fm，输出特征图
所述上下文特征聚合模块CFAM具体操作如下：首先对主体网络中的特征Fm进行1*1的卷积运算，然后与经双线性上采样后的ASPP模块的特征FASPP连接。然后，使用3*3和1*1核的两个卷积来学习两个特征的融合，并保持64通道数。对较高的CFAM输出特征
进行双线性上采样，然后将其与64通道的融合特征连接起来以获得特征Qm。最后，进行了3*3和1*1核的两次卷积和上采样运算，得到了64通道的输出特性
为了清晰地描述上述过程，通过下列公式表达：
Gm＝Cat(Conv(Fm,1),Up(FASPP))
其中，Conv(.，x)表示x*x核大小的卷积运算，Up(.)表示双上采样操作，Cat(.)表示级联操作，*表示乘积，1*1的卷积运算即1×1的卷积运算。
进一步地，所述利用所述特征图
融合，形成所述融合特征，包括：
对所述特征图
上采样到原始输入图像大小，然后连接在一起形成所述融合特征，具体为：
其中，
表示用于将特征恢复到输入图像的分辨率的上采样操作。
进一步地，上述步骤S2：将高层语义特征输入显著目标存在性预测分支，并输出第一检测结果，包括如下细分步骤S21-S22：
S21、采用全局平均池化对所述高层特征图进行加速降维，生成1*1*2048全局特征，然后重新排列特征；
需要说明的是，采用全局平均池化对所述高层特征图F4进一步加速降维，生成1*1*2048全局特征，然后重新排列特征，得到重新排列的特征。
S22、将重新排列的特征的输入自定义为两个全连接层fc5、fc6，并生成显著性存在预测结果作为所述第一检测结果。
需要说明的是，全连接层fc5具有64个神经元，fc6具有1个神经，从而生成第一检测结果即显著性存在预测结果
表示如下：
FSEP＝τ(FC(Reshape(GAP(F4)),64))
其中，GAP(.)表示全局平均池化操作，FC(.，n)表示具有n个神经元的全连接操作，Reshape(.)表示重构操作，τ表示Relu激活函数，sigmoid表示sigmoid激活函数。
进一步地，所述第二检测结果包括融合显著目标存在性预测结果的显著目标检测结果和不融合显著目标存在性预测结果的显著目标检测结果。上述步骤S3：将融合特征输入显著目标检测分支，并输出第二检测结果，具体包括如下步骤S31-S32：
S31、将所述融合特征送入显著目标检测分支，进行融合显著目标存在性预测结果的显著目标检测，输出融合显著目标存在性预测结果的显著目标检测结果；
S32、将所述融合特征送入显著目标检测分支，进行不融合显著目标存在性预测结果的显著目标检测，输出不融合显著目标存在性预测结果的显著目标检测结果。
具体来说，上述步骤S32：所述将所述融合特征送入显著目标检测分支，进行融合显著目标存在性预测结果的显著目标检测，输出融合显著目标存在性预测结果的显著目标检测结果，具体包括：
将所述融合特征与所述全连接层fc5的输出特征FSEP进行融合，形成所述融合显著目标存在性预测结果的显著目标检测结果。
需要说明的是，本实施例中，将融合特征F与显著性存在预测分支的全连接层fc5的输出特征FSEP进行融合，形成融合显著目标存在性预测结果的显著目标检测结果
表示如下：
其中，tile(.)函数表示复制操作，特征FSEP和特征F的结合可以使来自非显著图像的显著图接近全黑真值图。
具体来说，上述步骤S32：将所述融合特征送入显著目标检测分支，进行不融合显著目标存在性预测结果的显著目标检测，输出不融合显著目标存在性预测结果的显著目标检测结果，具体包括：
对所述融合特征执行两个具有3*3和1*1核大小的卷积运算以及sigmoid函数，形成所述不融合显著目标存在性预测结果的显著目标检测结果。
需要说明的是，将来自深度特征提取器的特征F被执行两个具有3*3和1*1核大小的卷积运算以及sigmoid函数，形成不融合显著目标存在性预测结果的显著目标检测结果
表示如下：
其中，Conv(Conv(F,3),1)表示将来自深度特征提取器M的融合特征F先执行3*3的卷积操作再执行1*1的卷积操作，再经过sigmoid函数形成显著图
进一步地，上述步骤S4：利用第一检测结果和第二检测结果，产生输入图像的显著图，包括如下步骤S41至S44：
S41、根据所述显著性存在预测结果与显著目标存在性真实标签之间的损失函数lossexistence；
S42、计算融合显著目标存在性预测结果的显著目标检测结果与显著目标真实值之间的损失函数losssaliency；
S43、根据不融合显著目标存在性预测结果的显著目标检测结果，计算所选图像的显著目标检测结果
与所选图像的显著目标真实值selectY之间的损失函数lossselect；
S44、计算最终的损失函数lossfinal＝α*losssaliency+β*lossexistence+γ*lossselect，并利用最终的损失函数对图像显著目标检测模型进行监督和约束，识别出所述输入图像的显著图，参数α，β，γ分别表示三个损失在最终损失值中的权重。
具体来说，参数α，β，γ的比例定义为20:1:10。特别需要说明的是，这种取值是多次实验得出来的结果，参数的含义本领域技术人员公知，这种取值可以得到更好的实验结果。
另外，该处的图像显著目标检测模型包括深度特征提取器和自适应选择训练模型两个模型。
具体来说，假设一组输入图像I＝{Ii|i＝1,..,B}，B表示一组图像的数量。Y＝{Yi|i＝1,..,B}表示相对应的显著目标真实值的集合z＝{zi|i＝1,..,B}表示显著性预测真值的集合，zi表示图像Ii是否包含显著目标。
(1)显著性存在预测损失lossexistence采用交叉熵，被定义为：
其中，i表示一组图像中图像的索引，
表示模型生成的第i张图片的显著性存在预测结果，
表示所有图片显著性存在预测结果的集合；
其中，函数
被用于计算一组像素级真值图Y和显著图
的损失，被定义为：
其中，p可表示真值图中像素的索引也可以表示图像中像素的索引，N是图像真值图和图像中的像素的数量。
因此，融合显著目标存在性预测结果的显著目标检测的损失函数定义为：
其中，Y＝{Yi|i＝1,..,B}表示相对应的显著目标真实值的集合，
表示所述融合显著目标存在性预测结果的显著目标检测结果。
(3)根据显著目标存在性标签真值选择出包含显著目标的图像，将其序号编入向量index中，通过显著性存在预测损失lossexistence的计算公式和函数
的计算公式，选择出这部分图像的不融合显著目标存在性预测结果的显著目标检测
和显著图真值selectY。其中，函数
表示从
中选择出显著图像对应的显著图，IndexSelect(Y,index)表示选择出显著图像对应的真值图：
selectY＝IndexSelect(Y,index)
被选择出来的包含显著目标的图像的不融合显著目标存在性预测结果的显著目标检测的损失函数lossselect可以表示为：
需要说明的是，显著目标存在性预测和显著目标检测双任务学习建立模型，在此基础上，模型选择包含显著目标的图像，根据其产生的未融合显著目标存在性预测特征的显著目标检测结果及真值之间的损失函数的监督和约束，训练得到一个既能对包含显著目标的图像进行显著目标检测，又能准确地对不包含显著目标的图像进行识别的模型，加强模型对包含显著目标图像及不包含显著目标图像的检测能力。
在本实施例中，通过与现有的显著目标检测模型对比证明了其有效性以及在效果上明显的优势。对比的模型包括：
(1)DSS17(Hou,Qibin,et al."Deeply supervised salient object detectionwith short connections."Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition.2017.)
(2)BMPM18(Zhang,Lu,et al."A bi-directional message passing model forsalient object detection."Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition.2018.)
(3)R3Net18(Deng,Zijun,et al."R3Net:Recurrent residual refinementnetwork for saliency detection."Proceedings of the 27th International JointConference on Artificial Intelligence.AAAI Press,2018.)
(4)CPD19(Wu,Zhe,Li Su,and Qingming Huang."Cascaded Partial Decoderfor Fast and Accurate Salient Object Detection."Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2019.)
(5)BASNet19(Qin,Xuebin,et al."BASNet:Boundary-Aware Salient ObjectDetection."Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2019.)
所有的模型在SOC数据集的训练集上进行训练的。测试集包括：SOC测试集、DUT-OMRON、HKU-IS、MSRA-B、ECSSD。对比的结果显示在图4中，对于所有指标，本发明中的图像显著目标检测模型表现出良好的性能。由于对比模型的设计不考虑非显著性图像对模型的影响，训练集在添加一些非显著性图像后，模型检测显著目标的能力下降。本模型将图像级分类特征和像素级语义特征结合起来，共同训练两种任务的损失，同时自适应地选择包含显著目标的图像进行增强学习，提高了模型的检测精度。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种具有自适应选择训练过程的图像显著目标检测方法，其特征在于，包括：
获取输入图像，将所述输入图像至深度特征提取器M中，提取其高层特征图和融合特征，其中，深度特征提取器M采用Resnet101作为主体网络，高层接ASPP模块，侧边连接四个上下文特征聚合模块CFAM；
将高层特征图输入显著目标存在性预测分支，并输出第一检测结果；
将融合特征输入显著目标检测分支，并输出第二检测结果；
利用第一检测结果和第二检测结果，产生输入图像的显著图；
在所述将所述输入图像至深度特征提取器M中，提取其高层特征图和融合特征中，包括：
对于所述输入图像，利用所述Resnet101侧边输出四种不同分辨率的高层特征图Fm，m＝1,2,3,4；
利用所述ASPP模块输出特征图FASPP经过卷积操作产生特征图
利用所述上下文特征聚合模块CFAM融合特征图FASPP、高一层CFAM模块输出的特征图
以及同一层的Resnet101侧边输出的特征图Fm，输出特征图
m＝1,2,3,4,5；
对所述特征图
m＝1,2,3,4,5上采样到原始输入图像大小，然后连接在一起形成所述融合特征，具体为：
其中，
表示用于将特征恢复到输入图像的分辨率的上采样操作。
2.如权利要求1所述的具有自适应选择训练过程的图像显著目标检测方法，其特征在于，所述将高层特征图输入显著目标存在性预测分支，并输出第一检测结果，包括：
采用全局平均池化对所述高层特征图进行加速降维，生成1*1*2048全局特征，然后重新排列特征；
将重新排列的特征的输入自定义为两个全连接层fc5、fc6，并生成显著性存在预测结果作为所述第一检测结果。
3.如权利要求2所述的具有自适应选择训练过程的图像显著目标检测方法，其特征在于，所述第二检测结果包括融合显著目标存在性预测结果的显著目标检测结果和不融合显著目标存在性预测结果的显著目标检测结果；所述将融合特征输入显著目标检测分支，并输出第二检测结果，包括：
将所述融合特征送入显著目标检测分支，进行融合显著目标存在性预测结果的显著目标检测，输出融合显著目标存在性预测结果的显著目标检测结果；
将所述融合特征送入显著目标检测分支，进行不融合显著目标存在性预测结果的显著目标检测，输出不融合显著目标存在性预测结果的显著目标检测结果。
4.如权利要求3所述的具有自适应选择训练过程的图像显著目标检测方法，其特征在于，所述将所述融合特征送入显著目标检测分支，进行融合显著目标存在性预测结果的显著目标检测，输出融合显著目标存在性预测结果的显著目标检测结果，包括：
将所述融合特征与所述全连接层fc5的输出特征FSEP进行融合，形成所述融合显著目标存在性预测结果的显著目标检测结果。
5.如权利要求4所述的具有自适应选择训练过程的图像显著目标检测方法，其特征在于，所述将所述融合特征送入显著目标检测分支，进行不融合显著目标存在性预测结果的显著目标检测，输出不融合显著目标存在性预测结果的显著目标检测结果，包括：
对所述融合特征执行两个具有3*3和1*1核大小的卷积运算以及sigmoid函数，形成所述不融合显著目标存在性预测结果的显著目标检测结果。
6.如权利要求4所述的具有自适应选择训练过程的图像显著目标检测方法，其特征在于，所述利用第一检测结果和第二检测结果，产生输入图像的显著图，包括：
根据所述显著性存在预测结果与显著目标存在性真实标签之间的损失函数lossexistence；
计算融合显著目标存在性预测结果的显著目标检测结果与显著目标真实值之间的损失函数losssaliency；
根据不融合显著目标存在性预测结果的显著目标检测结果，计算所选图像的显著目标检测结果
与所选图像的显著目标真实值selectY之间的损失函数lossselect；
计算最终的损失函数lossfinal＝α*losssaliency+β*lossexistence+γ*lossselect，并利用最终的损失函数对图像显著目标检测模型进行监督和约束，识别出所述输入图像的显著图。
7.如权利要求6所述的具有自适应选择训练过程的图像显著目标检测方法，其特征在于，所述损失函数
其中，所述输入图像为I＝{Ii|i＝1,..,B}，B表示一组图像的数量，z＝{zi|i＝1,..,B}表示显著性预测真值的集合，zi表示图像Ii是否包含显著目标，i表示一组图像中图像的索引，
表示模型生成的第i张图片的显著性存在预测结果，
表示所有图片显著性存在预测结果的集合；
所述损失函数
Y＝{Yi|i＝1,..,B}表示相对应的显著目标真实值的集合，
表示所述融合显著目标存在性预测结果的显著目标检测结果；
所述损失函数
selectY＝IndexSelect(Y,index)，index为向量，用于存储包含显著目标的图像的序号，Y表示一组像素级真值图的集合，
表示所述不融合显著目标存在性预测结果的显著目标检测结果，IndexSelect(Y,index)表示选择出显著图像对应的真值图，
表示从
中选择出显著图像对应的显著图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911261553.1A CN111047571B (zh) | 2019-12-10 | 2019-12-10 | 一种具有自适应选择训练过程的图像显著目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911261553.1A CN111047571B (zh) | 2019-12-10 | 2019-12-10 | 一种具有自适应选择训练过程的图像显著目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111047571A CN111047571A (zh) | 2020-04-21 |
| CN111047571B true CN111047571B (zh) | 2023-04-25 |
Family
ID=70235457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911261553.1A Active CN111047571B (zh) | 2019-12-10 | 2019-12-10 | 一种具有自适应选择训练过程的图像显著目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111047571B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598663B (zh) * | 2020-12-30 | 2022-10-04 | 河南工业大学 | 基于视觉显著性的粮食害虫检测方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109712105A (zh) * | 2018-12-24 | 2019-05-03 | 浙江大学 | 一种结合彩色和深度信息的图像显著目标检测方法 |
| WO2019136946A1 (zh) * | 2018-01-15 | 2019-07-18 | 中山大学 | 基于深度学习的弱监督显著性物体检测的方法及系统 |
| CN110210539A (zh) * | 2019-05-22 | 2019-09-06 | 西安电子科技大学 | 多级深度特征融合的rgb-t图像显著性目标检测方法 |
-
2019
- 2019-12-10 CN CN201911261553.1A patent/CN111047571B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019136946A1 (zh) * | 2018-01-15 | 2019-07-18 | 中山大学 | 基于深度学习的弱监督显著性物体检测的方法及系统 |
| CN109712105A (zh) * | 2018-12-24 | 2019-05-03 | 浙江大学 | 一种结合彩色和深度信息的图像显著目标检测方法 |
| CN110210539A (zh) * | 2019-05-22 | 2019-09-06 | 西安电子科技大学 | 多级深度特征融合的rgb-t图像显著性目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111047571A (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023056889A1 (zh) | 模型训练和场景识别方法、装置、设备及介质 | |
| Anwar et al. | Image colorization: A survey and dataset | |
| CN110135366B (zh) | 基于多尺度生成对抗网络的遮挡行人重识别方法 | |
| CN108734210B (zh) | 一种基于跨模态多尺度特征融合的对象检测方法 | |
| CN110175986B (zh) | 一种基于卷积神经网络的立体图像视觉显著性检测方法 | |
| CN110929736A (zh) | 多特征级联rgb-d显著性目标检测方法 | |
| Wang et al. | Small-object detection based on yolo and dense block via image super-resolution | |
| CN112396607A (zh) | 一种可变形卷积融合增强的街景图像语义分割方法 | |
| Wang et al. | Spatial attention for multi-scale feature refinement for object detection | |
| CN112581409B (zh) | 一种基于端到端的多重信息蒸馏网络的图像去雾方法 | |
| CN111563507A (zh) | 一种基于卷积神经网络的室内场景语义分割方法 | |
| CN112258526A (zh) | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN112991364A (zh) | 基于卷积神经网络跨模态融合的道路场景语义分割方法 | |
| CN116797787B (zh) | 基于跨模态融合与图神经网络的遥感影像语义分割方法 | |
| CN113449691A (zh) | 一种基于非局部注意力机制的人形识别系统及方法 | |
| CN114119975A (zh) | 一种语言引导的跨模态实例分割方法 | |
| CN116152611B (zh) | 一种多级多尺度点云补全方法、系统、设备及存储介质 | |
| CN113012177A (zh) | 基于几何特征提取和边缘感知编码的三维点云分割方法 | |
| Petrovai et al. | Multi-task network for panoptic segmentation in automated driving | |
| Huang et al. | Change detection with various combinations of fluid pyramid integration networks | |
| Song et al. | PSTNet: Progressive sampling transformer network for remote sensing image change detection | |
| CN112149526A (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
| CN115331024A (zh) | 一种基于深度监督和逐步学习的肠道息肉检测方法 | |
| CN115410081A (zh) | 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |