CN114549863A - 一种基于像素级噪声标签监督的光场显著性目标检测方法 - Google Patents

一种基于像素级噪声标签监督的光场显著性目标检测方法 Download PDF

Info

Publication number
CN114549863A
CN114549863A CN202210447954.1A CN202210447954A CN114549863A CN 114549863 A CN114549863 A CN 114549863A CN 202210447954 A CN202210447954 A CN 202210447954A CN 114549863 A CN114549863 A CN 114549863A
Authority
CN
China
Prior art keywords
pixel
noise
light field
prediction
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210447954.1A
Other languages
English (en)
Other versions
CN114549863B (zh
Inventor
冯明涛
刘肯东
张亮
朱光明
宋娟
沈沛意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210447954.1A priority Critical patent/CN114549863B/zh
Publication of CN114549863A publication Critical patent/CN114549863A/zh
Application granted granted Critical
Publication of CN114549863B publication Critical patent/CN114549863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于像素级噪声标签监督的光场显著性目标检测方法，包括以下步骤：S1、基于全焦图像及其对应的焦堆栈构建实验数据；S2、通过实验数据交互式引导融合网络，获得全焦图像初始噪声预测和光场焦堆栈图像初始噪声预测；S3、通过全焦图像初始噪声预测和光场焦堆栈图像初始噪声预测构建像素遗忘矩阵，得到融合后的最终预测显著性映射；S4、对融合后的最终预测显著性映射进行跨场景的噪声惩罚损失。本发明通过挖掘高维度光场数据中非常丰富的场景信息来引导和辅助显著性物体的检测，充分利用噪声标签中可用的显著性信息并减小噪声信息的置信度，有效地降低了显著性目标检测的预实验成本。

Description

一种基于像素级噪声标签监督的光场显著性目标检测方法
技术领域
本发明涉及人工智能与计算机视觉技术领域，具体涉及一种基于像素级噪声标签监督的光场显著性目标检测方法。
背景技术
视觉显著性目标检测在计算机视觉、图形、机器人和公共安全等许多领域中广泛应用。近年来，随着深度学习模型的快速发展，基于RGB图像的显著性目标检测方法得到了明显的改进，但在复杂场景、背景前景区分度小、光照变化大、目标伪装遮掩等情况下，检测精度仍然较低。为此，基于光场图像的显著性目标检测任务引起了诸多关注，光场图像因包含丰富的纹理和深度等信息对挑战性自然场景的显著性目标检测提供了新的可能。然而，现有的光场图像显著性目标检测方法均需制作由大量人工逐像素标记的，与光场图像中心视角对齐的标签来完全监督训练过程，成本代价昂贵，不利于光场图像显著性目标检测的大规模落地应用。如何获得成本低廉的像素级噪声标签来监督光场显著性目标检测学习过程，并设计鲁棒的学习策略来大幅度降低像素级噪声标签带来的不确定扰动，使得在像素级噪声标签监督下训练的网络模型检测出的结果接近于人工标记数据监督下训练的网络模型，是极具价值和有深远意义的一个研究工作。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于像素级噪声标签监督的光场显著性目标检测方法解决了现有的光场图像显著性目标检测方法成本代价昂贵，不利于光场图像显著性目标检测的大规模落地应用的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于像素级噪声标签监督的光场显著性目标检测方法，包括以下步骤：
S1、基于全焦图像及其对应的焦堆栈构建实验数据；
S2、通过实验数据交互式引导融合网络，获得全焦图像初始噪声预测和光场焦堆栈图像初始噪声预测；
S3、通过全焦图像初始噪声预测和光场焦堆栈图像初始噪声预测构建像素遗忘矩阵，得到融合后的最终预测显著性映射；
S4、对融合后的最终预测显著性映射进行跨场景的噪声惩罚损失最小化，得到光场显著性映射目标。
进一步地：所述步骤S1具体为：
构建训练数据集
Figure 285788DEST_PATH_IMAGE001
，N为训练数据样本总数，数据集中的每一个x i 由一个全焦图像I r 及其对应的焦堆栈
Figure 998529DEST_PATH_IMAGE002
组成，k为焦堆栈总数，焦堆栈是由光场原始数据raw.lfp重聚焦分离得到的不同焦距下的焦片，
Figure DEST_PATH_IMAGE003
由传统无监督显著性目标检测方法生成的噪声标签。
进一步地：所述步骤S2的具体步骤为：
S21、输入全焦图像I r 及其对应的焦堆栈
Figure 984939DEST_PATH_IMAGE004
，k为焦堆栈总数；
S22、采用VGG-19作为特征提取网络，生成全焦图像特征R m 及其对应的焦堆栈特征
Figure DEST_PATH_IMAGE005
，在R m 与F m 之间建立相互融合的网络模块，m为特征提取网络VGG-19的层数，
Figure 963391DEST_PATH_IMAGE006
为第m层第i个焦堆片的特征；
S23、在全焦图像特征R m 的指导下，通过注意力机制和焦片内部上下文的传播进行焦堆栈特征
Figure 263922DEST_PATH_IMAGE005
的融合，得到加权光场特征
Figure 96749DEST_PATH_IMAGE007
，
Figure DEST_PATH_IMAGE008
为第m层第i个焦堆片的加权光场特征；
S24、将加权光场特征
Figure 988482DEST_PATH_IMAGE009
作为一个对应于连续时间步长的输入序列输入到ConvLSTM结构中，得到细化后的焦堆栈特征
Figure DEST_PATH_IMAGE010
；
S25、在焦堆栈特征
Figure 641180DEST_PATH_IMAGE010
的指导下，使用注意力机制对全焦图像特征R m 像素级的强调或抑制，得到焦堆栈空间信息引导融合后的全焦图像特征
Figure 558451DEST_PATH_IMAGE011
；
S26、分别对
Figure DEST_PATH_IMAGE012
和
Figure 245785DEST_PATH_IMAGE013
的多级层次使用ConvLSTM对多层特征进行有效地整合，进一步总结空间信息，在ConvLSTM输出之后进行过渡卷积层和上采样操作以获得全焦图像初始噪声预测s r 和光场焦堆栈图像初始噪声预测s f 。
进一步地：所述步骤S23中第m层第i个焦堆片的加权光场特征
Figure 777260DEST_PATH_IMAGE008
的计算公式为：
Figure DEST_PATH_IMAGE014
Figure 713992DEST_PATH_IMAGE015
上式中，
Figure 356326DEST_PATH_IMAGE016
为连接操作，*，w m 和b m 表示第m层的卷积算子和卷积参数，
Figure DEST_PATH_IMAGE017
表示全局平均池化操作，
Figure 445636DEST_PATH_IMAGE018
表示softmax函数，
Figure DEST_PATH_IMAGE019
表示第m层的信道注意图，
Figure 944750DEST_PATH_IMAGE020
表示特征级乘法。
进一步地：所述步骤S25中全焦图像特征
Figure 775303DEST_PATH_IMAGE011
的计算公式为：
Figure DEST_PATH_IMAGE021
Figure 562606DEST_PATH_IMAGE022
上式中，*，w和b表示第m层的卷积算子和卷积参数，
Figure DEST_PATH_IMAGE023
表示第m层的像素级注意图，
Figure 958952DEST_PATH_IMAGE018
表示softmax函数，
Figure 894547DEST_PATH_IMAGE024
表示像素级乘法。
进一步地：所述步骤S3的具体步骤为：
S31、输入全焦图像和光场焦堆栈图像的初始噪声预测s r 和s f ，采用两个二进制变换矩阵T r 和T f 来描述像素在整个训练阶段的学习变换，变换矩阵中的元素表示该像素点在每次迭代中是否被正确识别；
S32、比较相邻迭代的变换矩阵T r 和T f 数值，以此来更新遗忘矩阵G r 和G f ，当像素点(u,v)的变换矩阵发生
Figure DEST_PATH_IMAGE025
时，像素点(u,v)对应的遗忘矩阵值加1，其中t为迭代次数；
S33、利用遗忘矩阵G r 和G f ，进一步采用置信重加权策略，为初始噪声预测s r 和s f 的像素点(u,v)分配在[0,1]之间的权重，得到置信重加权掩码矩阵M r 和M f ；
S34、采用置信重加权掩码矩阵M r 和M f 对初始噪声预测s r 和s f 分别进行像素级乘法，通过一个卷积层和上采样操作得到融合后的最终预测显著性映射s i ，
Figure 743555DEST_PATH_IMAGE026
，其中N为样本总数。
进一步地：所述步骤S31中二进制变换矩阵更新公式为：
Figure DEST_PATH_IMAGE027
上式中，T(u,v)为变换矩阵，包括T r (u,v)和T f (u,v)，
Figure 275161DEST_PATH_IMAGE028
表示像素(u,v)的噪声标签，s (u,v)为初始噪声预测，
Figure DEST_PATH_IMAGE029
为初始噪声预测与噪声标签之间的偏差阈值；
所述步骤S32中遗忘矩阵的更新公式为：
Figure 791593DEST_PATH_IMAGE030
上式中，G(u,v)为遗忘矩阵，包括G r (u,v)和G f (u,v)，t为迭代次数；
所述置信重加权掩码矩阵为：
Figure DEST_PATH_IMAGE031
上式中，M(u,v)为置信重加权掩码矩阵，包括M r (u,v)和M f (u,v)，a根据遗忘事件的统计量来控制置信权值的下降程度。
进一步地：所述步骤S4的具体步骤为：
S41、对于每个样本
Figure 429248DEST_PATH_IMAGE032
，随机抽取另外两个样本
Figure DEST_PATH_IMAGE033
为i的相关样本，将
Figure 516284DEST_PATH_IMAGE034
和
Figure DEST_PATH_IMAGE035
进行配对；
S42、采用交叉熵损失函数
Figure 835270DEST_PATH_IMAGE036
进行评分，利用随机配对的相关样本
Figure DEST_PATH_IMAGE037
对当前预测像素样本进行惩罚；
S43、根据像素级任务的特点，对显著性预测结果进行更详细的评估，采用m l 对跨场景样本对消除方差，稳定学习过程，减小噪声惩罚损失，得到光场显著性目标。
进一步地：所述步骤S43中m l 对跨场景样本的噪声惩罚损失为：
Figure 206208DEST_PATH_IMAGE038
上式中，
Figure DEST_PATH_IMAGE039
为调节相关样本惩罚的程度，
Figure 765497DEST_PATH_IMAGE040
为对噪声标签训练的预测结果评估，
Figure DEST_PATH_IMAGE041
为在m l 个独立的随机选择的光场图像之间，惩罚网络对像素级的噪声标签的过拟合行为。
本发明的有益效果为：
第一，本发明通过挖掘高维度光场数据中非常丰富的场景信息来引导和辅助显著性物体的检测，采用交互式融合对多模态的输入信息进行特征融合，并采用基于注意力机制的特征更新策略，有效地提取完整精确的显著性物体，充分地利用了光场数据中的丰富的场景信息，克服了现有2D、3D方法中对复杂场景理解不够深入而导致检测效果不佳的问题，使得本发明中的模型具有可以更深入地理解许多具有挑战性的复杂场景的优点，进而为显著性目标的精确检测提供了必要条件。
第二，本发明使用传统显著性目标检测方法得到的噪声标签作为网络的监督信息，引入像素遗忘引导的融合模块来相互增强光场特征，并利用迭代中的像素一致性来识别有噪声的像素标签，充分利用噪声标签中可用的显著性信息并减小噪声信息的置信度，有效地降低了显著性目标检测的预实验成本，有效地减少了数据处理的工作量，采用基于预测一致性和噪声像素非典型性的噪声识别方法，有效地降低噪声在训练过程中的干扰，克服了现有技术中监督信息标注困难、成本高、速度慢和无监督下的噪声扰动的问题，使得本发明具有能够建立在弱监督下仍具有高精度的检测模型的优点。
第三，本发明采用跨场景噪声惩罚损失，反映训练数据的潜在结构，在评估噪声标签的预测结果的同时惩罚网络的过拟合学习，隐式地编码了噪声率，克服了噪声标签预测统计噪声率过程繁琐的困难，解决了基于噪声标签的显著性目标检测边界模糊的问题，使得本发明具有能够在不估计噪声率的情况下预测出完整的显著性物体并且具有清晰的预测边界等优点。
附图说明
图1为基于像素级噪声标签监督的光场显著性目标检测方法的整体框架图；
图2是交互式引导融合网络的示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种基于像素级噪声标签监督的光场显著性目标检测方法，包括以下步骤：
S1、基于全焦图像及其对应的焦堆栈构建实验数据；
构建训练数据集
Figure 589096DEST_PATH_IMAGE042
，数据集中的每一个
Figure DEST_PATH_IMAGE043
由一个全焦图像
Figure 711773DEST_PATH_IMAGE044
及其对应的焦堆栈
Figure DEST_PATH_IMAGE045
组成，其中
Figure 202797DEST_PATH_IMAGE046
，焦堆栈是由
Figure DEST_PATH_IMAGE047
光场相机拍摄的原始数据
Figure 765995DEST_PATH_IMAGE048
重聚焦分离得到的不同焦距下的焦片，
Figure 76890DEST_PATH_IMAGE049
是由传统无监督显著性目标检测方法生成的噪声标签，作为伪标签监督网络。
S2、通过实验数据交互式引导融合网络，获得全焦图像初始噪声预测和光场焦堆栈图像初始噪声预测；
输入为全焦图像
Figure 206520DEST_PATH_IMAGE044
及其对应的焦堆栈
Figure 817630DEST_PATH_IMAGE050
，采用VGG-19作为特征提取网络，生成全焦图像特征
Figure 374514DEST_PATH_IMAGE051
及其对应的焦堆栈特征
Figure 189017DEST_PATH_IMAGE052
Figure 122338DEST_PATH_IMAGE053
，表示VGG-19最后4个卷积块中的高级特征的索引，焦堆栈特征包含丰富的空间信息，在
Figure 587954DEST_PATH_IMAGE054
与
Figure 112476DEST_PATH_IMAGE055
之间建立相互融合的网络模块，在每一步中，前者首先用于指导后者的更新，然后使用改进后的特性来更新前者；
在全焦图像特征
Figure 601227DEST_PATH_IMAGE054
的指导下，通过注意机制和焦片内部上下文的传播进行焦堆栈特征
Figure 400555DEST_PATH_IMAGE056
的融合，如图2（1）所示，得到的加权光场特征
Figure 205831DEST_PATH_IMAGE057
作为一个对应于连续时间步长的输入序列输入到
Figure 104517DEST_PATH_IMAGE058
结构中，得到细化后的焦堆栈特征
Figure 142880DEST_PATH_IMAGE059
，以逐步完善光场特征，更加准确地识别显著性物体的空间信息；
在焦堆栈特征
Figure 418004DEST_PATH_IMAGE059
的指导下，使用注意力机制对全焦图像特征
Figure 592633DEST_PATH_IMAGE054
像素级的强调或抑制，得到焦堆栈空间信息引导融合后的全焦图像特征
Figure 724537DEST_PATH_IMAGE060
，此过程如下：
Figure 922301DEST_PATH_IMAGE061
Figure 814164DEST_PATH_IMAGE062
其中
Figure 577721DEST_PATH_IMAGE063
和b表示第m层的卷积算子和卷积参数，
Figure 83789DEST_PATH_IMAGE064
表示第m层的像素级注意图，
Figure 831165DEST_PATH_IMAGE065
表示像素级乘法。
交互融合的最后，如图2（2）和2（3）所示，分别对
Figure 448091DEST_PATH_IMAGE066
和
Figure 331733DEST_PATH_IMAGE067
的多级层次使用
Figure 818822DEST_PATH_IMAGE068
对多层特征进行有效地整合，进一步总结空间信息，在
Figure 991177DEST_PATH_IMAGE058
输出之后进行过渡卷积层和上采样操作以获得全焦图像初始噪声预测
Figure 208532DEST_PATH_IMAGE069
和光场焦堆栈图像初始噪声预测
Figure 212260DEST_PATH_IMAGE070
。
S3、通过全焦图像初始噪声预测和光场焦堆栈图像初始噪声预测构建像素遗忘矩阵，得到融合后的最终预测显著性映射；
输入为全焦图像和焦堆栈图像交互引导融合网络初始噪声预测
Figure 60130DEST_PATH_IMAGE069
和
Figure 782099DEST_PATH_IMAGE070
，定义初始噪声预测中的像素从正确识别转换为错误识别为一次遗忘事件，当且仅当在第t次迭代中学习正确的像素，随后在第t+1次被识别错误时会发生一次遗忘事件，采用两个二进制变换矩阵
Figure 740828DEST_PATH_IMAGE071
和
Figure 349795DEST_PATH_IMAGE072
来描述像素在整个训练阶段的学习变换，变换矩阵中的元素表示该像素点在每次迭代中是否被正确识别，两个变换矩阵的更新规则如下：
Figure 165304DEST_PATH_IMAGE073
其中
Figure 312251DEST_PATH_IMAGE074
表示像素
Figure 871409DEST_PATH_IMAGE075
的噪声标签，
Figure 849729DEST_PATH_IMAGE076
为初始噪声预测，
Figure 39402DEST_PATH_IMAGE077
为初始噪声预测与噪声标签之间的偏差阈值，用来判断模型是否正确地学习了该像素点。
通过计算每个像素的遗忘事件统计量来判断该像素点是否为噪声点，比较相邻迭代的变换矩阵
Figure 221116DEST_PATH_IMAGE071
和
Figure 318385DEST_PATH_IMAGE072
数值，以此来更新遗忘矩阵
Figure 354474DEST_PATH_IMAGE078
和
Figure 777365DEST_PATH_IMAGE079
，当像素点
Figure 430063DEST_PATH_IMAGE075
的变换矩阵发生
Figure 534285DEST_PATH_IMAGE080
时，像素点
Figure 237930DEST_PATH_IMAGE075
对应的遗忘矩阵值加一，其中t为迭代次数，通过计算每个像素的遗忘事件统计量来判断该像素点是否为噪声点，更新过程如下：
Figure 769406DEST_PATH_IMAGE081
利用遗忘矩阵G，进一步采用置信重加权策略，为初始预测噪声预测
Figure 909400DEST_PATH_IMAGE070
和
Figure 614051DEST_PATH_IMAGE069
的像素点
Figure 359153DEST_PATH_IMAGE075
分配一个范围在
Figure 123847DEST_PATH_IMAGE082
之间的权重，得到置信重加权掩码矩阵
Figure 954399DEST_PATH_IMAGE083
和
Figure 944965DEST_PATH_IMAGE084
，遵循的原则是发生遗忘事件次数越多的像素点，置信权重越低，重加权函数定义为：
Figure 606890DEST_PATH_IMAGE085
，
Figure 480168DEST_PATH_IMAGE086
其中
Figure 594755DEST_PATH_IMAGE087
根据遗忘事件的统计量来控制置信权值的下降程度。
在像素遗忘的引导下，融合初始预测的噪声显著性映射
Figure 906787DEST_PATH_IMAGE069
和
Figure 360902DEST_PATH_IMAGE070
得到最终预测显著性映射
Figure 218131DEST_PATH_IMAGE088
，过程如下：
Figure 23276DEST_PATH_IMAGE089
其中
Figure 607841DEST_PATH_IMAGE090
表示连接操作，
Figure 244359DEST_PATH_IMAGE091
，
Figure 459440DEST_PATH_IMAGE092
和b表示卷积算子和卷积参数。Up表示得到最终显著性图
Figure 548618DEST_PATH_IMAGE088
的上采样操作。
S4、对融合后的最终预测显著性映射进行跨场景的噪声惩罚损失最小化，得到光场显著性映射目标。
如图1所示，对于每个样本
Figure 687607DEST_PATH_IMAGE093
，随机抽取另外两个样本
Figure 116314DEST_PATH_IMAGE094
作为i的相关样本，将
Figure 830192DEST_PATH_IMAGE095
和
Figure 344350DEST_PATH_IMAGE096
进行配对（两个独立的场景
Figure 270718DEST_PATH_IMAGE097
和
Figure 881828DEST_PATH_IMAGE098
配对）；
利用当前预测与其他场景之间的相关性，激励正确的信息，从其他场景的预测中获取信息对当前的预测评分，采用交叉熵损失函数
Figure 438711DEST_PATH_IMAGE099
进行评分，其中，损失函数l计算方法如下：
Figure 987635DEST_PATH_IMAGE100
利用随机配对的相关样本
Figure 983273DEST_PATH_IMAGE101
对当前预测像素样本进行惩罚，根据像素级任务的特点，对显著性预测结果进行更详细的评估，采用
Figure 386573DEST_PATH_IMAGE102
对跨场景样本对，尽可能多地消除方差，以稳定训练过程，达到更高的预测准确率。
最终的跨场景的噪声惩罚损失函数如下：
Figure 176674DEST_PATH_IMAGE103
其中
Figure 665424DEST_PATH_IMAGE104
用来调节相关样本惩罚的程度，第一项
Figure 933594DEST_PATH_IMAGE105
对噪声标签训练的预测结果进行了评估，第二项评估定义在
Figure 1520DEST_PATH_IMAGE102
个独立的随机选择的光场图像之间，以惩罚网络对像素级的噪声标签的过拟合行为。

Claims (9)

1.一种基于像素级噪声标签监督的光场显著性目标检测方法，其特征在于，包括以下步骤：
S1、基于全焦图像及其对应的焦堆栈构建实验数据；
S2、通过实验数据交互式引导融合网络，获得全焦图像初始噪声预测和光场焦堆栈图像初始噪声预测；
S3、通过全焦图像初始噪声预测和光场焦堆栈图像初始噪声预测构建像素遗忘矩阵，得到融合后的最终预测显著性映射；
S4、对融合后的最终预测显著性映射进行跨场景的噪声惩罚损失最小化，得到光场显著性映射目标。
2.根据权利要求1所述的基于像素级噪声标签监督的光场显著性目标检测方法，其特征在于，所述步骤S1具体为：
构建训练数据集
Figure 732037DEST_PATH_IMAGE001
，N为训练数据样本总数，数据集中的每一个x i 由一个全焦图像I r 及其对应的焦堆栈
Figure 594427DEST_PATH_IMAGE002
组成，k为焦堆栈总数，焦堆栈是由光场原始数据raw.lfp重聚焦分离得到的不同焦距下的焦片，
Figure 640880DEST_PATH_IMAGE003
由传统无监督显著性目标检测方法生成的噪声标签。
3.根据权利要求1所述的基于像素级噪声标签监督的光场显著性目标检测方法，其特征在于，所述步骤S2的具体步骤为：
S21、输入全焦图像I r 及其对应的焦堆栈
Figure 157312DEST_PATH_IMAGE004
，k为焦堆栈总数；
S22、采用VGG-19作为特征提取网络，生成全焦图像特征R m 及其对应的焦堆栈特征
Figure 201491DEST_PATH_IMAGE005
，在R m 与F m 之间建立相互融合的网络模块，m为特征提取网络VGG-19的层数，
Figure 68953DEST_PATH_IMAGE006
为第m层第i个焦堆片的特征；
S23、在全焦图像特征R m 的指导下，通过注意力机制和焦片内部上下文的传播进行焦堆栈特征
Figure 856781DEST_PATH_IMAGE005
的融合，得到加权光场特征
Figure 978452DEST_PATH_IMAGE007
，
Figure 255849DEST_PATH_IMAGE008
为第m层第i个焦堆片的加权光场特征；
S24、将加权光场特征
Figure 282711DEST_PATH_IMAGE007
作为一个对应于连续时间步长的输入序列输入到ConvLSTM结构中，得到细化后的焦堆栈特征
Figure 670967DEST_PATH_IMAGE009
；
S25、在焦堆栈特征
Figure 365254DEST_PATH_IMAGE009
的指导下，使用注意力机制对全焦图像特征R m 像素级的强调或抑制，得到焦堆栈空间信息引导融合后的全焦图像特征
Figure 813552DEST_PATH_IMAGE010
；
S26、分别对
Figure 140760DEST_PATH_IMAGE011
和
Figure 270390DEST_PATH_IMAGE012
的多级层次使用ConvLSTM对多层特征进行有效地整合，进一步总结空间信息，在ConvLSTM输出之后进行过渡卷积层和上采样操作以获得全焦图像初始噪声预测s r 和光场焦堆栈图像初始噪声预测s f 。
4.根据权利要求3所述的基于像素级噪声标签监督的光场显著性目标检测方法，其特征在于，所述步骤S23中第m层第i个焦堆片的加权光场特征
Figure 615920DEST_PATH_IMAGE008
的计算公式为：
Figure 235121DEST_PATH_IMAGE013
Figure 236575DEST_PATH_IMAGE014
上式中，
Figure 966633DEST_PATH_IMAGE015
为连接操作，*，w m 和b m 表示第m层的卷积算子和卷积参数，
Figure 369933DEST_PATH_IMAGE016
表示全局平均池化操作，
Figure 176346DEST_PATH_IMAGE017
表示softmax函数，
Figure 930675DEST_PATH_IMAGE018
表示第m层的信道注意图，
Figure 730004DEST_PATH_IMAGE019
表示特征级乘法。
5.根据权利要求3所述的基于像素级噪声标签监督的光场显著性目标检测方法，其特征在于，所述步骤S25中全焦图像特征
Figure 987810DEST_PATH_IMAGE010
的计算公式为：
Figure 948813DEST_PATH_IMAGE020
Figure 469400DEST_PATH_IMAGE021
上式中，*，w和b表示第m层的卷积算子和卷积参数，
Figure 744523DEST_PATH_IMAGE022
表示第m层的像素级注意图，
Figure 919152DEST_PATH_IMAGE023
表示softmax函数，
Figure 254319DEST_PATH_IMAGE024
表示像素级乘法。
6.根据权利要求1所述的基于像素级噪声标签监督的光场显著性目标检测方法，其特征在于，所述步骤S3的具体步骤为：
S31、输入全焦图像和光场焦堆栈图像的初始噪声预测s r 和s f ，采用两个二进制变换矩阵T r 和T f 来描述像素在整个训练阶段的学习变换，变换矩阵中的元素表示该像素点在每次迭代中是否被正确识别；
S32、比较相邻迭代的变换矩阵T r 和T f 数值，以此来更新遗忘矩阵G r 和G f ，当像素点(u,v)的变换矩阵发生
Figure 248820DEST_PATH_IMAGE025
时，像素点(u,v)对应的遗忘矩阵值加1，其中t为迭代次数；
S33、利用遗忘矩阵G r 和G f ，进一步采用置信重加权策略，为初始噪声预测s r 和s f 的像素点(u,v)分配在[0,1]之间的权重，得到置信重加权掩码矩阵M r 和M f ；
S34、采用置信重加权掩码矩阵M r 和M f 对初始噪声预测s r 和s f 分别进行像素级乘法，通过一个卷积层和上采样操作得到融合后的最终预测显著性映射s i ，
Figure 389951DEST_PATH_IMAGE026
，其中N为样本总数。
7.根据权利要求6所述的基于像素级噪声标签监督的光场显著性目标检测方法，其特征在于，所述步骤S31中二进制变换矩阵更新公式为：
Figure 622349DEST_PATH_IMAGE027
上式中，T(u,v)为变换矩阵，包括T r (u,v)和T f (u,v)，
Figure 410308DEST_PATH_IMAGE028
表示像素(u,v)的噪声标签，s (u,v)为初始噪声预测，
Figure 423263DEST_PATH_IMAGE029
为初始噪声预测与噪声标签之间的偏差阈值；
所述步骤S32中遗忘矩阵的更新公式为：
Figure 40189DEST_PATH_IMAGE030
上式中，G(u,v)为遗忘矩阵，包括G r (u,v)和G f (u,v)，t为迭代次数；
所述置信重加权掩码矩阵为：
Figure 923832DEST_PATH_IMAGE031
上式中，M(u,v)为置信重加权掩码矩阵，包括M r (u,v)和M f (u,v)，a根据遗忘事件的统计量来控制置信权值的下降程度。
8.根据权利要求7所述的基于像素级噪声标签监督的光场显著性目标检测方法，其特征在于，所述步骤S4的具体步骤为：
S41、对于每个样本
Figure 397538DEST_PATH_IMAGE032
，随机抽取另外两个样本
Figure 569894DEST_PATH_IMAGE033
为i的相关样本，将
Figure 803560DEST_PATH_IMAGE034
和
Figure 541709DEST_PATH_IMAGE035
进行配对；
S42、采用交叉熵损失函数
Figure 389579DEST_PATH_IMAGE036
进行评分，利用随机配对的相关样本
Figure 111548DEST_PATH_IMAGE037
对当前预测像素样本进行惩罚；
S43、根据像素级任务的特点，对显著性预测结果进行更详细的评估，采用m l 对跨场景样本对消除方差，稳定学习过程，减小噪声惩罚损失，得到光场显著性目标。
9.根据权利要求8所述的基于像素级噪声标签监督的光场显著性目标检测方法，其特征在于，所述步骤S43中m l 对跨场景样本的噪声惩罚损失为：
Figure 867014DEST_PATH_IMAGE038
上式中，
Figure 928511DEST_PATH_IMAGE039
为调节相关样本惩罚的程度，
Figure 760332DEST_PATH_IMAGE040
为对噪声标签训练的预测结果评估，
Figure 438438DEST_PATH_IMAGE041
为在m l 个独立的随机选择的光场图像之间，惩罚网络对像素级的噪声标签的过拟合行为。
CN202210447954.1A 2022-04-27 2022-04-27 一种基于像素级噪声标签监督的光场显著性目标检测方法 Active CN114549863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210447954.1A CN114549863B (zh) 2022-04-27 2022-04-27 一种基于像素级噪声标签监督的光场显著性目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210447954.1A CN114549863B (zh) 2022-04-27 2022-04-27 一种基于像素级噪声标签监督的光场显著性目标检测方法

Publications (2)

Publication Number Publication Date
CN114549863A true CN114549863A (zh) 2022-05-27
CN114549863B CN114549863B (zh) 2022-07-22

Family

ID=81667241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210447954.1A Active CN114549863B (zh) 2022-04-27 2022-04-27 一种基于像素级噪声标签监督的光场显著性目标检测方法

Country Status (1)

Country Link
CN (1) CN114549863B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253054A (zh) * 2023-11-20 2023-12-19 浙江优众新材料科技有限公司 一种光场显著性检测方法及其相关设备
CN117496187A (zh) * 2023-11-15 2024-02-02 安庆师范大学 一种光场图像显著性检测方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701813A (zh) * 2016-01-11 2016-06-22 深圳市未来媒体技术研究院 一种光场图像的显著性检测方法
US20160219255A1 (en) * 2015-01-27 2016-07-28 Canon Kabushiki Kaisha Image pickup apparatus
CN108090447A (zh) * 2017-12-19 2018-05-29 青岛理工大学 双分支深层结构下的高光谱图像分类方法及装置
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN108734199A (zh) * 2018-04-24 2018-11-02 西北工业大学 基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法
WO2019051481A1 (en) * 2017-09-11 2019-03-14 Massachusetts Eye And Ear Infirmary TISSUE FORCE SENSOR SYSTEMS AND METHODS OF USE
CN110633708A (zh) * 2019-06-28 2019-12-31 中国人民解放军军事科学院国防科技创新研究院 一种基于全局模型和局部优化的深度网络显著性检测方法
CN110751160A (zh) * 2019-10-30 2020-02-04 华中科技大学 图像中物体的检测方法、装置及系统
CN111967476A (zh) * 2020-07-02 2020-11-20 北京大学深圳研究生院 光场图像显著性特征提取、信息融合及预测损失评估方法
CN112487225A (zh) * 2020-12-11 2021-03-12 联通(浙江)产业互联网有限公司 显著性图像生成方法、装置及服务器
CN112767466A (zh) * 2021-01-20 2021-05-07 大连理工大学 一种基于多模态信息的光场深度估计方法
CN113343822A (zh) * 2021-05-31 2021-09-03 合肥工业大学 一种基于3d卷积的光场显著性目标检测方法
CN113393435A (zh) * 2021-06-11 2021-09-14 大连理工大学 一种基于动态上下文感知滤波网络的视频显著性检测方法
CN114078192A (zh) * 2021-10-28 2022-02-22 杭州电子科技大学 一种使用动态权重融合的焦堆栈显著目标检测方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160219255A1 (en) * 2015-01-27 2016-07-28 Canon Kabushiki Kaisha Image pickup apparatus
CN105701813A (zh) * 2016-01-11 2016-06-22 深圳市未来媒体技术研究院 一种光场图像的显著性检测方法
WO2019051481A1 (en) * 2017-09-11 2019-03-14 Massachusetts Eye And Ear Infirmary TISSUE FORCE SENSOR SYSTEMS AND METHODS OF USE
CN108090447A (zh) * 2017-12-19 2018-05-29 青岛理工大学 双分支深层结构下的高光谱图像分类方法及装置
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN108734199A (zh) * 2018-04-24 2018-11-02 西北工业大学 基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法
CN110633708A (zh) * 2019-06-28 2019-12-31 中国人民解放军军事科学院国防科技创新研究院 一种基于全局模型和局部优化的深度网络显著性检测方法
CN110751160A (zh) * 2019-10-30 2020-02-04 华中科技大学 图像中物体的检测方法、装置及系统
CN111967476A (zh) * 2020-07-02 2020-11-20 北京大学深圳研究生院 光场图像显著性特征提取、信息融合及预测损失评估方法
CN112487225A (zh) * 2020-12-11 2021-03-12 联通(浙江)产业互联网有限公司 显著性图像生成方法、装置及服务器
CN112767466A (zh) * 2021-01-20 2021-05-07 大连理工大学 一种基于多模态信息的光场深度估计方法
CN113343822A (zh) * 2021-05-31 2021-09-03 合肥工业大学 一种基于3d卷积的光场显著性目标检测方法
CN113393435A (zh) * 2021-06-11 2021-09-14 大连理工大学 一种基于动态上下文感知滤波网络的视频显著性检测方法
CN114078192A (zh) * 2021-10-28 2022-02-22 杭州电子科技大学 一种使用动态权重融合的焦堆栈显著目标检测方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
JING ZHANG 等: "Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating Back-Propagation for Saliency Detection", 《ECCV 2020》 *
JING ZHANG 等: "Learning Saliency From Single Noisy Labelling: A Robust Model Fitting Perspective", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
MARIYA TONEVA 等: "AN EMPIRICAL STUDY OF EXAMPLE FORGETTING DURING DEEP NEURAL NETWORK LEARNING", 《ICLR 2019》 *
MIAO ZHANG 等: "LFNet: Light Field Fusion Network for Salient Object Detection", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
MIAO ZHANG 等: "Memory-oriented Decoder for Light Field Salient Object Detection", 《33RD CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS (NEURIPS 2019)》 *
QIUDAN ZHANG 等: "A Multi-Task Collaborative Network for Light Field Salient Object Detection", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
XIAOHUI LI 等: "Saliency Detection via Dense and Sparse Reconstruction", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
YONGRI PIAO 等: "Deep Light-field-driven Saliency Detection from a Single View", 《PROCEEDINGS OF THE TWENTY-EIGHTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE (IJCAI-19)》 *
刘亚美 等: "光场显著性检测研究综述", 《中国图象图形学报》 *
李啸: "复杂场景下基于光场技术的显著性检测研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496187A (zh) * 2023-11-15 2024-02-02 安庆师范大学 一种光场图像显著性检测方法
CN117496187B (zh) * 2023-11-15 2024-06-11 安庆师范大学 一种光场图像显著性检测方法
CN117253054A (zh) * 2023-11-20 2023-12-19 浙江优众新材料科技有限公司 一种光场显著性检测方法及其相关设备
CN117253054B (zh) * 2023-11-20 2024-02-06 浙江优众新材料科技有限公司 一种光场显著性检测方法及其相关设备

Also Published As

Publication number Publication date
CN114549863B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN110263912B (zh) 一种基于多目标关联深度推理的图像问答方法
CN114549863B (zh) 一种基于像素级噪声标签监督的光场显著性目标检测方法
CN107239730B (zh) 智能汽车交通标志识别的四元数深度神经网络模型方法
CN112926396A (zh) 一种基于双流卷积注意力的动作识别方法
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN113744311A (zh) 基于全连接注意力模块的孪生神经网络运动目标跟踪方法
US11361534B2 (en) Method for glass detection in real scenes
Xue et al. Boundary-induced and scene-aggregated network for monocular depth prediction
CN112084895B (zh) 一种基于深度学习的行人重识别方法
CN113312973A (zh) 一种手势识别关键点特征提取方法及系统
CN113139502A (zh) 无监督视频分割方法
CN110929621A (zh) 一种基于拓扑信息细化的道路提取方法
CN111967399A (zh) 一种基于改进的Faster RCNN行为识别方法
CN112508966B (zh) 一种交互式图像分割方法及系统
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN116433909A (zh) 基于相似度加权多教师网络模型的半监督图像语义分割方法
CN116452472A (zh) 基于语义知识引导的低照度图像增强方法
CN114120202B (zh) 一种基于多尺度目标模型和特征融合的半监督视频目标分割方法
CN113012158B (zh) 基于深度稠密网络与边缘距离图加权的图像协同分割方法
CN114998132A (zh) 一种通过双网络挖掘互补特征的弱监督阴影检测方法
Zhao et al. Adaptive visual tracking based on key frame selection and reinforcement learning
CN116503618B (zh) 一种基于多模态多级特征聚合的显著目标检测方法及装置
CN116935438A (zh) 一种基于模型结构自主进化的行人图像重识别方法
CN117058202A (zh) 基于遗忘曲线模板更新的孪生网络目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant