CN115131549A - 一种基于自提升学习的显著性目标检测训练方法 - Google Patents

一种基于自提升学习的显著性目标检测训练方法 Download PDF

Info

Publication number
CN115131549A
CN115131549A CN202210677715.5A CN202210677715A CN115131549A CN 115131549 A CN115131549 A CN 115131549A CN 202210677715 A CN202210677715 A CN 202210677715A CN 115131549 A CN115131549 A CN 115131549A
Authority
CN
China
Prior art keywords
model
training
significance
module
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210677715.5A
Other languages
English (en)
Inventor
李玺
曾浩
王环宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210677715.5A priority Critical patent/CN115131549A/zh
Publication of CN115131549A publication Critical patent/CN115131549A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自提升学习的显著性目标检测训练方法。该方法包括如下步骤：使用显著性目标检测模型，预测出训练图像中的显著性物体；构建渐进式提升模块，用于预测一致连续的显著性标签，指导显著性模型的学习，并以动量更新的方式更新渐进式提升模块的网络参数；利用样本自适应模块评估生成的连续标签的质量，从而动态调节模型连续标签对于显著性模型优化过程的影响；通过数据增强的对输入图像增广变换，通过多层次一致性正则化操作，提升显著性模型的泛化能力。本发明提出的训练方法，充分利用自提升学习和一致性学习范式，能够更好地帮助显著性检测模型的训练，增强模型的准确性和泛化性。

Description

一种基于自提升学习的显著性目标检测训练方法
技术领域
本发明涉及计算机视觉领域，特别地涉及一种基于自提升学习的显著性目标检测训练方法。
背景技术
显著性目标检测作为一种从图像中检测出视觉特征上最为显著目标的技术，常作为一些其他视觉研究的预处理任务，如物体追踪、图像描述生成、图像检索等。显著性目标检测的目标是给定一张图像，区分出图像中每个像素在视觉上是否是显著的。现有的基于深度学习的方法大多将显著性目标检测问题建模成一个端到端的密集像素预测问题，整个训练过程直接利用数据集提供的二值离散标签作为监督信号，训练模型识别出显著性物体。这种训练方法存在两个主要问题：首先这种训练方法忽视了显著性二值离散标签自身的标注不一致和显著同质性对于训练过程的影响。其次这种训练方法没有对场景中的干扰因素进行建模，模型的泛化能力较弱。
针对第一个问题，本发明提出了一个渐进式提升模块，用于生成一致连续标签，引导模型渐进式的学习，降低训练过程的难度。针对第二个问题，本发明显式建模场景中的干扰因素，通过多层次一致性正则化方法提升模型的泛化能力。
发明内容
针对以上问题，本发明提供了一种基于自提升学习的显著性目标检测训练方法。
本发明具体采用的技术方案如下：
一种基于自提升学习的显著性目标检测训练方法，其包括以下步骤：
S1、获取用于显著性目标检测的带有数据集标签的训练数据集；
S2、使用显著性目标检测模型，预测出所述训练数据集内每张训练图像中的显著性物体；
S3、构建渐进式提升模块，利用渐进式提升模块预测一致连续的显著性标签，用于指导显著性模型的学习，并利用显著性模型的参数来动态更新渐进式提升模块的网络参数；
S4、利用样本自适应模块评估生成的连续标签的质量，从而动态调节模型连续标签对于显著性模型优化过程的影响；
S5、通过数据增强对输入图像进行增广变换，通过多层次一致性正则化操作，提升显著性模型的泛化能力；
S6、在显著性目标检测模型训练过程中使用由S1～S5建立的自提升训练框架，指导模型学习过程，帮助模型更好地预测出图像中的显著性物体。
基于上述方案，各步骤可以通过如下方式实现：
进一步的，步骤S1中，训练数据集包括若干训练图像Itrain和对应显著性物体二值标签Ytrain。
进一步的，步骤S2中，使用显著性目标检测模型，预测出训练图像中的显著性物体，具体包括以下子步骤：
S21、获取一个显著性目标检测模型
Figure BDA0003695405330000021
模型的网络参数为θSOD；所述的目标显著性模型包括编码器模块εSOD和解码器模块
Figure BDA0003695405330000022
S22、对于训练数据集中每张训练图像Itrain，其输入显著性目标检测模型
Figure BDA0003695405330000023
后，先通过编码器模块εSOD得到相应的图像特征图f，再利用解码器模块
Figure BDA0003695405330000024
得到显著性物体预测结果P：
f＝εSoD(Itrain,θSOD)
Figure BDA0003695405330000025
进一步的，步骤S3中，构建渐进式提升模块，利用渐进式提升模块预测一致连续的显著性标签，用于指导显著性模型更加平滑稳定地学习，并利用显著性模型的参数来动态更新渐进式提升模块的网络参数，具体包括以下子步骤：
S31、初始化渐进式提升模块
Figure BDA0003695405330000026
该模块的网络结构与S1中的显著性目标检测模型
Figure BDA0003695405330000027
保持一致，渐进式提升模块
Figure BDA0003695405330000028
的网络参数为θPUM；
S32、利用渐进式提升模块
Figure BDA0003695405330000029
生成一致连续的显著性标签，后续用于指导显著性模型更加平滑稳定地学习：
Figure BDA00036954053300000210
其中：Z表示渐进式提升模块生成的一致连续的显著性标签；
S33、采用动量更新的方式，将训练过程中不同阶段的显著性模型的参数整合到渐进式提升模块
Figure BDA00036954053300000211
的网络中，实现对渐进式提升模块网络参数的动态更新：
Figure BDA0003695405330000031
其中：
Figure BDA0003695405330000032
和
Figure BDA0003695405330000033
分别表示在第t次和第t-1次训练迭代过程中的渐进式提升模块
Figure BDA0003695405330000034
的网络参数θPUM，
Figure BDA0003695405330000035
表示在第t次训练迭代过程中的显著性目标检测模型
Figure BDA0003695405330000036
的网络参数θSOD，η是控制模型动量更新速度的超参数。
进一步的，所述超参数η设置为0.99。
进一步的，步骤S4中，利用样本自适应模块评估生成的连续标签的质量，从而动态调节模型连续标签对于显著性模型优化过程的影响，具体包括以下子步骤：
S41、样本自适应模块通过评估生成的连续标签的质量，获取样本自适应权重λ：
λ＝exp(-ζ·∑(Y·log(Z)+(1-Y)·log(1-Z)))
其中：Z表示S32中由渐进式提升模块生成的一致连续的显著性标签，Y表示S1中由训练数据集提供的与Z对应的真实显著性物体二值标签，ζ是调节λ取值范围的一个超参数；
S42、样本自适应权重λ被用于动态调节二值标签和连续标签对于模型优化过程的影响，并最终得到自提升训练范式的损失函数
Figure BDA0003695405330000037
Figure BDA0003695405330000038
Figure BDA0003695405330000039
Figure BDA00036954053300000310
其中：H,W分别表示输入训练图像的长和宽，Yi,j、Zi,j、Pi,j分别为二值标签Y、显著性标签Z、显著性物体预测结果P中(i,j)位置的元素值，
Figure BDA00036954053300000311
为预测结果与一致连续标签计算的损失函数，
Figure BDA00036954053300000312
为预测结果与二值离散计算的损失函数。
进一步的，所述超参数ζ设置为70。
进一步的，步骤S5中，通过数据增强对输入图像进行增广变换，通过多层次一致性正则化操作，提升显著性模型的泛化能力，具体包括以下子步骤：
S51、通过对原始输入的原始样本Itrain进行增加高斯噪声和随机裁剪的数据增广，构建扩充样本
Figure BDA00036954053300000313
用于模拟受到干扰因素影响的样本：
S52、将扩充样本
Figure BDA0003695405330000041
输入到显著性目标检测模型
Figure BDA0003695405330000042
中，获取对应的显著性预测结果
Figure BDA0003695405330000043
Figure BDA0003695405330000044
S53、对原始样本和扩充样本之间施加预测一致性的正则化约束：
Figure BDA0003695405330000045
其中：
Figure BDA0003695405330000046
表示显著性预测结果
Figure BDA0003695405330000047
中(i,j)位置的元素值；
S54、利用显著性目标检测模型的编码器模块εSOD分别从原始样本和扩充样本中抽取出中间图像特征，并对其施加多尺度特征一致性的正则化约束：
Figure BDA0003695405330000048
其中：
Figure BDA0003695405330000049
表示矩阵的F-范数(Frobenius Norm)。
进一步的，步骤S6中，在显著性目标检测模型训练过程中使用由S1～S5建立的自提升训练框架，指导模型学习过程，帮助模型更好地预测出图像中的显著性物体，具体包括以下子步骤：
S61、设置显著性目标检测模型
Figure BDA00036954053300000410
的总损失函数为：
Figure BDA00036954053300000411
S62、使用SGD优化方法和反向传播算法通过损失函数
Figure BDA00036954053300000412
来训练显著性目标检测模型
Figure BDA00036954053300000413
直至损失函数收敛。
另一方面，本发明提供了一种显著性目标检测方法，其利用前述任一方案所述的基于自提升学习的显著性目标检测训练方法得到经过训练后的显著性目标检测模型
Figure BDA00036954053300000414
利用训练后的显著性目标检测模型
Figure BDA00036954053300000415
对目标图像进行检测，获得目标图像中的显著性物体区域。
本发明的基于自提升学习的显著性目标检测训练方法，相比于现有的显著性目标检测训练方法，具有以下有益效果：
首先，本发明设计的渐进式提升模块，可以生成一致连续标签用以引导模型训练过程，使得模型优化过程更加平滑稳定，提升了模型的准确性。
其次，本发明采用的多层次一致性正则化约束，通过在训练过程中显式建模场景中的干扰因素，提升了模型的泛化性。
最后，提出的训练方法均无需修改网络结构，就可以方便地整合到不同的显著性模型中，并在主流的测评数据集上都取得了稳定的性能提升，是一种便于推广的插件式方法。
附图说明
图1为本发明中基于自提升学习的显著性目标检测训练方法的流程示意图；
图2为训练方法示意图。
图3为本发明方法在DUTS数据集上的实施效果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好地了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
参考图1，为本发明中一种基于自提升学习的显著性目标检测训练方法的流程图，其中的训练方法示意图如图2所示。下面对该方法的具体实现步骤进行详细展开描述，该方法具体包括以下步骤：
S1、获取用于显著性目标检测的带有数据集标签的训练数据集。
在本实施例中，上述步骤S1中的训练数据集包括若干训练图像Itrain和对应显著性物体二值标签Ytrain。
定义显著性目标检测模型中的算法目标为：预测图像内的显著性物体区域P，使其尽可能与标签信息接近。需注意的是，本发明仅仅提供了一种显著性目标检测模型的训练方法，但其中的显著性目标检测模型可以是任意的显著性目标检测模型，例如PoolNet、F3Net和GateNet等，并不限制具体的模型形式。
S2、使用显著性目标检测模型，预测出所述训练数据集内每张训练图像中的显著性物体。
在本实施例中，上述步骤S2中，使用显著性目标检测模型，预测出训练图像中的显著性物体，具体包括以下子步骤：
S21、获取一个显著性目标检测模型
Figure BDA0003695405330000051
模型的网络参数为θSOD；所述的目标显著性模型包括编码器模块εSOD和解码器模块
Figure BDA0003695405330000061
S22、对于训练数据集中每张训练图像Itrain，其输入显著性目标检测模型
Figure BDA0003695405330000062
后，先通过编码器模块εSOD得到相应的图像特征图f，再利用解码器模块
Figure BDA0003695405330000063
得到显著性物体预测结果P：
f＝εSOD(Itrain,θSOD)
Figure BDA0003695405330000064
S3、构建渐进式提升模块，利用渐进式提升模块预测一致连续的显著性标签，用于指导显著性模型的学习，并利用显著性模型的参数来动态更新渐进式提升模块的网络参数。
在本实施例中，上述步骤S3中，构建渐进式提升模块，利用渐进式提升模块预测一致连续的显著性标签，用于指导显著性模型更加平滑稳定地学习，并利用显著性模型的参数来动态更新渐进式提升模块的网络参数，具体包括以下子步骤：
S31、初始化渐进式提升模块
Figure BDA0003695405330000065
该模块的网络结构与S1中的显著性目标检测模型
Figure BDA0003695405330000066
保持一致，渐进式提升模块
Figure BDA0003695405330000067
的网络参数为θPUM；
S32、利用渐进式提升模块
Figure BDA0003695405330000068
生成一致连续的显著性标签，后续用于指导显著性模型更加平滑稳定地学习：
Figure BDA0003695405330000069
其中：Z表示渐进式提升模块生成的一致连续的显著性标签；
S33、采用动量更新的方式，将训练过程中不同阶段的显著性模型的参数整合到渐进式提升模块
Figure BDA00036954053300000610
的网络中，实现对渐进式提升模块网络参数的动态更新：
Figure BDA00036954053300000611
其中：
Figure BDA00036954053300000612
和
Figure BDA00036954053300000613
分别表示在第t次和第t-1次训练迭代过程中的渐进式提升模块
Figure BDA00036954053300000614
的网络参数θPUM，
Figure BDA00036954053300000615
表示在第t次训练迭代过程中的显著性目标检测模型
Figure BDA00036954053300000616
的网络参数θSOD，η是控制模型动量更新速度的超参数。在本实施例中，上述超参数η优选设置为0.99。
S4、利用样本自适应模块评估生成的连续标签的质量，从而动态调节模型连续标签对于显著性模型优化过程的影响。
在本实施例中，上述步骤S4中，利用样本自适应模块评估生成的连续标签的质量，从而动态调节模型连续标签对于显著性模型优化过程的影响，具体包括以下子步骤：
S41、样本自适应模块通过评估生成的连续标签的质量，获取样本自适应权重λ：
λ＝exp(-ζ·∑(Y·log(Z)+(1-Y)·log(1-Z)))
其中：Z表示S32中由渐进式提升模块生成的一致连续的显著性标签，Y表示S1中由训练数据集提供的与Z对应的真实显著性物体二值标签(即Ytrain)，ζ是调节λ取值范围的一个超参数；本实施例中，超参数ζ可设置为70。
S42、样本自适应权重λ被用于动态调节二值标签和连续标签对于模型优化过程的影响，并最终得到自提升训练范式的损失函数
Figure BDA0003695405330000071
Figure BDA0003695405330000072
Figure BDA0003695405330000073
Figure BDA0003695405330000074
其中：H,W分别表示输入训练图像的长和宽，Yi,j、Zi,j、Pi,j分别为二值标签Y、显著性标签Z、显著性物体预测结果P中(i,j)位置的元素值，
Figure BDA0003695405330000075
为预测结果与一致连续标签计算的损失函数，
Figure BDA0003695405330000076
为预测结果与二值离散计算的损失函数。
S5、通过数据增强对输入图像进行增广变换，通过多层次一致性正则化操作，提升显著性模型的泛化能力。
在本实施例中，上述步骤S5中，通过数据增强对输入图像进行增广变换，通过多层次一致性正则化操作，提升显著性模型的泛化能力，具体包括以下子步骤：
S51、通过对原始输入的原始样本Itrain进行增加高斯噪声和随机裁剪的数据增广，构建扩充样本
Figure BDA0003695405330000077
用于模拟受到干扰因素影响的样本：
S52、将扩充样本
Figure BDA0003695405330000078
输入到显著性目标检测模型
Figure BDA0003695405330000079
中，获取对应的显著性预测结果
Figure BDA00036954053300000710
Figure BDA0003695405330000081
S53、对原始样本和扩充样本之间施加预测一致性的正则化约束：
Figure BDA0003695405330000082
其中：
Figure BDA0003695405330000083
表示显著性预测结果
Figure BDA0003695405330000084
中(i,j)位置的元素值；
S54、利用显著性目标检测模型的编码器模块εSOD分别从原始样本和扩充样本中抽取出中间图像特征，并对其施加多尺度特征一致性的正则化约束：
Figure BDA0003695405330000085
其中：
Figure BDA0003695405330000086
表示矩阵的F-范数(Frobenius Norm)。
上述步骤S1～S5构成了一个自提升训练框架，下面基于该自提升训练框架即可对显著性目标检测模型进行训练。
S6、在显著性目标检测模型训练过程中使用由S1～S5建立的自提升训练框架，指导模型学习过程，帮助模型更好地预测出图像中的显著性物体。
在本实施例中，上述步骤S6中，在显著性目标检测模型训练过程中使用由S1～S5建立的自提升训练框架，指导模型学习过程，帮助模型更好地预测出图像中的显著性物体，具体包括以下子步骤：
S61、设置显著性目标检测模型
Figure BDA0003695405330000087
的总损失函数为：
Figure BDA0003695405330000088
其中，
Figure BDA0003695405330000089
是子步骤S42中得到的自提升训练范式的损失函数，
Figure BDA00036954053300000810
是子步骤S53中得到的预测一致性损失函数，
Figure BDA00036954053300000811
是子步骤S54中得到的特征一致性损失函数；
S62、使用SGD优化方法和反向传播算法通过损失函数
Figure BDA00036954053300000812
来训练显著性目标检测模型
Figure BDA00036954053300000813
直至损失函数收敛。
最终，在执行具体的显著性目标检测任务时，利用训练后的显著性目标检测模型
Figure BDA00036954053300000814
对目标图像进行检测，即可获得目标图像中的显著性物体区域。
下面将上述基于自提升学习的显著性目标检测训练方法应用至具体的数据集实例中，以展示其所能实现的技术效果。
实施例
本实施例的实现方法如前S1～S6所述，不再详细阐述具体的步骤，下面仅针对案例数据展示其效果。本发明在一个具有真值标注的数据集上实施，分别为：
DUTS数据集：该数据集包含10533张训练图像，5019张测试图像。
本实例在该数据集包含1000张训练图像，500张测试图像。
数据集的训练集上训练，测试集上测试，具体流程如图1所示。图中，PUM是渐进式提升模块，SAM是样本自适应模块，ObjDet是目标检测器，label是离散二值标签，prediction是显著性预测结果。
为综合比较本方法的有效性，我们将本发明提出的训练方法整合到三个目前较好的显著性模型中，包括PoolNet、F3Net和GateNet，之后通过对比采用原始训练方法和本发明训练得到的模型性能来验证有效性。
本实施例检测结果的检测精度如下表所示，主要采用平均绝对误差(MAE)、F-measure和S-measure三个指标。MAE衡量的是预测和标签之间的绝对像素差异，F-measure指标可以更加全面地评估模型的准确率与召回率，S-measure指标同时考虑了模型检测结果的区域感知相似性和物体感知相似性。其中MAE指标数值越小表示性能越好，其余两个指标越大表示性能越好。
方法 MAE F-measure S-measure
PoolNet 4.00 80.90 83.60
PoolNet+OursTrain 3.90(-0.10) 81.40(+0.50) 84.10(+0.50)
F3Net 3.50 84.00 88.80
F3Net+OursTrain 3.40(-0.10) 84.60(+0.60) 89.10(+0.30)
GateNet 3.70 82.80 88.40
GateNet+OursTrain 3.60(-0.10) 83.40(+0.60) 88.80(+0.40)
如上三张表，本实例中分别测试了三种不同的显著性目标检测模型PoolNet、F3Net和GateNet，带有+OursTrain的结果是结合本发明提出训练方法后的最终结果，可以看到，所有显著性检测模型使用本发明提出的训练方法后，在所有指标上性能都能够得到明显的提升。
通过以上技术方案，本发明实施例基于深度学习技术发展了一种基于自提升学习的显著性目标检测训练方法。本发明提出的训练方法，充分利用自提升学习和一致性学习范式，能够更好地帮助显著性检测模型的训练，增强模型的准确性和泛化性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于自提升学习的显著性目标检测训练方法，其特征在于，包括以下步骤：
S1、获取用于显著性目标检测的带有数据集标签的训练数据集；
S2、使用显著性目标检测模型，预测出所述训练数据集内每张训练图像中的显著性物体；
S3、构建渐进式提升模块，利用渐进式提升模块预测一致连续的显著性标签，用于指导显著性模型的学习，并利用显著性模型的参数来动态更新渐进式提升模块的网络参数；
S4、利用样本自适应模块评估生成的连续标签的质量，从而动态调节模型连续标签对于显著性模型优化过程的影响；
S5、通过数据增强对输入图像进行增广变换，通过多层次一致性正则化操作，提升显著性模型的泛化能力；
S6、在显著性目标检测模型训练过程中使用由S1～S5建立的自提升训练框架，指导模型学习过程，帮助模型更好地预测出图像中的显著性物体。
2.根据权利要求1所述的一种基于自提升学习的显著性目标检测训练方法，其特征在于，步骤S1中，训练数据集包括若干训练图像Itrain和对应显著性物体二值标签Ytrain。
3.根据权利要求2所述的一种基于自提升学习的显著性目标检测训练方法，其特征在于，步骤S2中，使用显著性目标检测模型，预测出训练图像中的显著性物体，具体包括以下子步骤：
S21、获取一个显著性目标检测模型
Figure FDA0003695405320000011
模型的网络参数为θSOD；所述的目标显著性模型包括编码器模块εSOD和解码器模块
Figure FDA0003695405320000012
S22、对于训练数据集中每张训练图像Itrain，其输入显著性目标检测模型
Figure FDA0003695405320000013
后，先通过编码器模块εSOD得到相应的图像特征图f，再利用解码器模块
Figure FDA0003695405320000014
得到显著性物体预测结果P：
f＝εSOD(Itrain，θSOD)
Figure FDA0003695405320000015
4.根据权利要求3所述的一种基于自提升学习的显著性目标检测训练方法，其特征在于，步骤S3中，构建渐进式提升模块，利用渐进式提升模块预测一致连续的显著性标签，用于指导显著性模型更加平滑稳定地学习，并利用显著性模型的参数来动态更新渐进式提升模块的网络参数，具体包括以下子步骤：
S31、初始化渐进式提升模块
Figure FDA0003695405320000021
该模块的网络结构与S1中的显著性目标检测模型
Figure FDA0003695405320000022
保持一致，渐进式提升模块
Figure FDA0003695405320000023
的网络参数为θPUM；
S32、利用渐进式提升模块
Figure FDA0003695405320000024
生成一致连续的显著性标签，后续用于指导显著性模型更加平滑稳定地学习：
Figure FDA0003695405320000025
其中：Z表示渐进式提升模块生成的一致连续的显著性标签；
S33、采用动量更新的方式，将训练过程中不同阶段的显著性模型的参数整合到渐进式提升模块
Figure FDA0003695405320000026
的网络中，实现对渐进式提升模块网络参数的动态更新：
Figure FDA0003695405320000027
其中：
Figure FDA0003695405320000028
和
Figure FDA0003695405320000029
分别表示在第t次和第t-1次训练迭代过程中的渐进式提升模块
Figure FDA00036954053200000210
的网络参数θPUM，
Figure FDA00036954053200000211
表示在第t次训练迭代过程中的显著性目标检测模型
Figure FDA00036954053200000212
的网络参数θSOD，η是控制模型动量更新速度的超参数。
5.根据权利要求4所述的一种基于自提升学习的显著性目标检测训练方法，其特征在于，所述超参数η设置为0.99。
6.根据权利要求4所述的一种基于自提升学习的显著性目标检测训练方法，其特征在于，步骤S4中，利用样本自适应模块评估生成的连续标签的质量，从而动态调节模型连续标签对于显著性模型优化过程的影响，具体包括以下子步骤：
S41、样本自适应模块通过评估生成的连续标签的质量，获取样本自适应权重λ：
λ＝exp(-ζ·∑(Y·log(Z)+(1-Y)·log(1-Z)))
其中：Z表示S32中由渐进式提升模块生成的一致连续的显著性标签，Y表示S1中由训练数据集提供的与Z对应的真实显著性物体二值标签，ζ是调节λ取值范围的一个超参数；
S42、样本自适应权重λ被用于动态调节二值标签和连续标签对于模型优化过程的影响，并最终得到自提升训练范式的损失函数
Figure FDA0003695405320000031
Figure FDA0003695405320000032
Figure FDA0003695405320000033
Figure FDA0003695405320000034
其中：H,W分别表示输入训练图像的长和宽，Yi，j、Zi，j、Pi，j分别为二值标签Y、显著性标签Z、显著性物体预测结果P中(i,j)位置的元素值，
Figure FDA0003695405320000035
为预测结果与一致连续标签计算的损失函数，
Figure FDA0003695405320000036
为预测结果与二值离散计算的损失函数。
7.根据权利要求6所述的一种基于自提升学习的显著性目标检测训练方法，其特征在于，所述超参数ζ设置为70。
8.根据权利要求6所述的一种基于自提升学习的显著性目标检测训练方法，其特征在于，步骤S5中，通过数据增强对输入图像进行增广变换，通过多层次一致性正则化操作，提升显著性模型的泛化能力，具体包括以下子步骤：
S51、通过对原始输入的原始样本Itrain进行增加高斯噪声和随机裁剪的数据增广，构建扩充样本
Figure FDA0003695405320000037
用于模拟受到干扰因素影响的样本：
S52、将扩充样本
Figure FDA0003695405320000038
输入到显著性目标检测模型
Figure FDA0003695405320000039
中，获取对应的显著性预测结果
Figure FDA00036954053200000310
Figure FDA00036954053200000311
S53、对原始样本和扩充样本之间施加预测一致性的正则化约束：
Figure FDA00036954053200000312
其中：
Figure FDA00036954053200000313
表示显著性预测结果
Figure FDA00036954053200000314
中(i,j)位置的元素值；
S54、利用显著性目标检测模型的编码器模块εSOD分别从原始样本和扩充样本中抽取出中间图像特征，并对其施加多尺度特征一致性的正则化约束：
Figure FDA00036954053200000315
其中：
Figure FDA00036954053200000316
表示矩阵的F-范数(Frobenius Norm)。
9.根据权利要求8述的一种基于自提升学习的显著性目标检测训练方法，其特征在于，步骤S6中，在显著性目标检测模型训练过程中使用由S1～S5建立的自提升训练框架，指导模型学习过程，帮助模型更好地预测出图像中的显著性物体，具体包括以下子步骤：
S61、设置显著性目标检测模型
Figure FDA0003695405320000041
的总损失函数为：
Figure FDA0003695405320000042
S62、使用SGD优化方法和反向传播算法通过损失函数
Figure FDA0003695405320000043
来训练显著性目标检测模型
Figure FDA0003695405320000044
直至损失函数收敛。
CN202210677715.5A 2022-06-15 2022-06-15 一种基于自提升学习的显著性目标检测训练方法 Pending CN115131549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210677715.5A CN115131549A (zh) 2022-06-15 2022-06-15 一种基于自提升学习的显著性目标检测训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210677715.5A CN115131549A (zh) 2022-06-15 2022-06-15 一种基于自提升学习的显著性目标检测训练方法

Publications (1)

Publication Number Publication Date
CN115131549A true CN115131549A (zh) 2022-09-30

Family

ID=83377340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210677715.5A Pending CN115131549A (zh) 2022-06-15 2022-06-15 一种基于自提升学习的显著性目标检测训练方法

Country Status (1)

Country Link
CN (1) CN115131549A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994343A (zh) * 2023-09-27 2023-11-03 睿云联(厦门)网络通讯技术有限公司 基于标签平滑的扩散标签深度学习模型训练方法及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994343A (zh) * 2023-09-27 2023-11-03 睿云联(厦门)网络通讯技术有限公司 基于标签平滑的扩散标签深度学习模型训练方法及介质
CN116994343B (zh) * 2023-09-27 2023-12-15 睿云联(厦门)网络通讯技术有限公司 基于标签平滑的扩散标签深度学习模型训练方法及介质

Similar Documents

Publication Publication Date Title
US11468262B2 (en) Deep network embedding with adversarial regularization
Liu et al. Connecting image denoising and high-level vision tasks via deep learning
Abdar et al. A review of uncertainty quantification in deep learning: Techniques, applications and challenges
CN109034205B (zh) 基于直推式半监督深度学习的图像分类方法
US11640684B2 (en) Attribute conditioned image generation
CN111583263B (zh) 一种基于联合动态图卷积的点云分割方法
CN108399428B (zh) 一种基于迹比准则的三元组损失函数设计方法
CN111126386A (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN111258992A (zh) 一种基于变分自编码器的地震数据扩充方法
CN114881092A (zh) 一种基于特征融合的信号调制识别方法
CN113723295A (zh) 一种基于图像域频域双流网络的人脸伪造检测方法
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN113780242A (zh) 一种基于模型迁移学习的跨场景水声目标分类方法
CN115983274B (zh) 一种基于两阶段标签校正的噪声事件抽取方法
CN113743474A (zh) 基于协同半监督卷积神经网络的数字图片分类方法与系统
CN114203184A (zh) 一种多状态声纹特征识别方法及装置
CN115587964A (zh) 一种基于熵筛选的伪标签交叉一致性变化检测方法
CN115131549A (zh) 一种基于自提升学习的显著性目标检测训练方法
CN115565019A (zh) 基于深度自监督生成对抗的单通道高分辨sar图像地物分类方法
Suzuki et al. Adversarial transformations for semi-supervised learning
Chen et al. Data augmentation for environmental sound classification using diffusion probabilistic model with top-k selection discriminator
CN114399661A (zh) 一种实例感知主干网络训练方法
KR102145698B1 (ko) 딥러닝 모델을 통해 예측된 해답을 해석하는 방법 및 시스템
CN116486150A (zh) 一种基于不确定性感知的图像分类模型回归误差消减方法
Xu et al. An improved multi-branch residual network based on random multiplier and adaptive cosine learning rate method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination