CN117253054B - 一种光场显著性检测方法及其相关设备 - Google Patents
一种光场显著性检测方法及其相关设备 Download PDFInfo
- Publication number
- CN117253054B CN117253054B CN202311540077.3A CN202311540077A CN117253054B CN 117253054 B CN117253054 B CN 117253054B CN 202311540077 A CN202311540077 A CN 202311540077A CN 117253054 B CN117253054 B CN 117253054B
- Authority
- CN
- China
- Prior art keywords
- image
- saliency
- gradient
- saliency detection
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 280
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 59
- 230000009466 transformation Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 27
- 238000001914 filtration Methods 0.000 claims description 24
- 230000009467 reduction Effects 0.000 claims description 14
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 14
- 238000004590 computer program Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种光场显著性检测方法及其相关设备，涉及计算机视觉技术领域；该方法的一具体实施方式包括：获取光场数据集合；其中，光场数据集合包括全聚焦图像及其对应的焦点堆栈图像；对全聚焦图像进行梯度变换处理生成梯度图像，将梯度图像与噪声标签进行元素乘处理，得到对象梯度图像；其中，噪声标签是通过无监督网络模型训练得到的；将对象梯度图像和焦点堆栈图像输入显著性检测模型，以输出显著性图像；该实施方式实现了提高显著性检测精度、降低检测成本、拓展显著性检测方法的适用场景的技术效果。
Description
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种光场显著性检测方法及其相关设备。
背景技术
显著性检测是从图像中标记出最吸引人注意的目标或区域，准确有效的显著性检测可以为图像检索、目标检测与识别和图像压缩等任务提供可靠的先验信息。光场数据记录着空间光线的位置信息和方向信息，隐含着场景的几何结构，能为显著性检测提供可靠的背景、深度等先验信息。
相关技术中的显著性检测方法包括基于传统RGB图像（2D图像）的显著性检测方法、基于RGB-D（3D图像，是在2D图像的基础上增加了深度信息）的显著性检测方法和基于光场数据的显著性检测方法。其中，基于RGB图像和基于RGB-D图像的显著性检测易受到复杂场景、光照、遮挡等因素的影响，导致在复杂场景下检测精度低、鲁棒性差等问题；而相关技术中基于光场数据的显著性检测方法中，需要通过人工标记像素，将人工标记的像素标签与光场数据中的特定视角像素以全监督的方式进行训练，导致显著性检测成本高、显著性检测方法的适用场景较窄。
针对相关技术采用的显著性检测方法中存在显著性检测精度低、鲁棒性差以及检测成本高、检测方法适用场景较窄的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供的一种光场显著性检测方法及其相关设备，至少解决相关技术中存在显著性检测精度低、鲁棒性差以及检测成本高、检测方法适用场景较窄的问题。
为了解决上述问题，本发明实施例的一个方面，提供了一种光场显著性检测方法，包括：
获取光场数据集合；其中，光场数据集合包括全聚焦图像及其对应的焦点堆栈图像；
对全聚焦图像进行梯度变换处理生成梯度图像，将梯度图像与噪声标签进行元素乘处理，得到对象梯度图像；其中，噪声标签是通过无监督网络模型训练得到的；
将对象梯度图像和焦点堆栈图像输入显著性检测模型，以输出显著性图像。
在其中的一些实施例中，将对象梯度图像和焦点堆栈图像输入显著性检测模型，以输出显著性图像的步骤，包括：
将对象梯度图像和焦点堆栈图像输入显著性检测模型中分别提取第一图像特征和第二图像特征，并将第一图像特征和第二图像特征进行特征组合得到组合特征，对组合特征进行显著性检测，输出显著性图像。
在其中的一些实施例中，对组合特征进行显著性检测，输出显著性图像的步骤包括：
根据迭代次数阈值对组合特征进行显著性检测，得到多个显著性检测结果，对多个显著性检测结果进行过滤处理，输出显著性图像。
在其中的一些实施例中，将对象梯度图像和焦点堆栈图像输入显著性检测模型中分别提取第一图像特征和第二图像特征，并将第一图像特征和第二图像特征组合得到组合特征的步骤包括：
通过显著性检测模型从对象梯度图像中提取多个梯度图像特征，对多个梯度图像特征进行降维处理得到第一图像特征；
通过显著性检测模型从焦点堆栈图像提取多个堆栈图像特征，对多个堆栈图像特征进行降维处理得到第二图像特征；
基于显著性检测模型的通道维度，将第一图像特征和第二图像特征进行特征组合得到组合特征。
在其中的一些实施例中，显著性检测模型包括遗忘矩阵，根据迭代次数阈值对组合特征进行显著性检测，得到多个显著性检测结果，对多个显著性检测结果进行过滤处理，输出显著性图像的步骤，包括：
通过遗忘矩阵标识组合特征在执行满足迭代次数阈值的显著性检测时，每个像素点对应的显著性检测结果中指示检测不一致的触发次数；
根据触发次数确定置信度，并结合置信度阈值对显著性检测结果进行过滤处理，输出显著性图像。
在其中的一些实施例中，对全聚焦图像进行梯度变换处理生成梯度图像的步骤包括：
计算全聚焦图像的梯度值，根据梯度值生成梯度图像。
在其中的一些实施例中，在获取光场数据集合的步骤之后，方法还包括：
对光场数据集合中的全聚焦图像和焦点堆栈图像进行几何变换处理，以扩充光场数据集合中的数据量；其中，几何变换处理包括随机翻转处理、随机旋转处理、裁剪处理中的一种或多种。
为了解决上述问题，本发明实施例的又一个方面，提供了一种光场显著性检测装置，包括：
获取模块，用于获取光场数据集合；其中，光场数据集合包括全聚焦图像及其对应的焦点堆栈图像；
梯度处理模块，用于对全聚焦图像进行梯度变换处理生成梯度图像，将梯度图像与噪声标签进行元素乘处理，得到对象梯度图像；其中，噪声标签是通过无监督网络模型训练得到的；
显著性检测模块，用于将对象梯度图像和焦点堆栈图像输入显著性检测模型，以输出显著性图像。
为了解决上述问题，本发明实施例的另一个方面，提供了一种电子设备，包括：处理器，以及存储程序的存储器，程序包括指令，指令在由处理器执行时使处理器执行上述任一种光场显著性检测方法。
为了解决上述问题，本发明实施例的再一个方面，提供了一种存储有计算机指令的非瞬时机器可读介质，计算机指令用于使计算机执行上述任一种光场显著性检测方法。
本发明实施例的有益效果：通过获取光场数据集合；其中，光场数据集合包括全聚焦图像及其对应的焦点堆栈图像；对全聚焦图像进行梯度变换处理生成梯度图像，将梯度图像与噪声标签进行元素乘处理，得到对象梯度图像；其中，噪声标签是通过无监督网络模型训练得到的；将对象梯度图像和焦点堆栈图像输入显著性检测模型，以输出显著性图像的技术手段，克服了相关技术采用的显著性检测方法中存在显著性检测精度低、鲁棒性差以及检测成本高、检测方法适用场景较窄的问题；实现了简化显著性检测流程、提高显著性检测精度、提高显著性检测方法的鲁棒性、降低检测成本、拓展显著性检测方法的适用场景的技术效果。
本发明的一个或多个实施例的细节在以下附图和描述中提出，以使本发明的其他特征、目的和优点更加简明易懂。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1是本发明实施例的一个实施例的光场显著性检测方法的流程示意图；
图2是本发明实施例的另一个实施例的光场显著性检测方法的流程示意图；
图3是图2所示方法中显著性检测模型的结构示意图；
图4是图2所示方法中进行特征组合部分的梯度引导模块的结构示意图；
图5是图2所示方法中输入图像与输出的显著性图像之间的对比示意图；
图6是本发明实施例的一个实施例提供的光场显著性检测装置的框架示意图；
图7是本实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本实施例的实施例。虽然附图中显示了本实施例的某些实施例，然而应当理解的是，本实施例可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本实施例。应当理解的是，本实施例的附图及实施例仅用于示例性作用，并非用于限制本实施例的保护范围。
显著性检测模型通常会识别物体的边缘，但是有些物体的边缘是不清晰的。现有的显著性检测中，基于传统RGB图像和RGB-D图像的显著性检测易受复杂背景、光照、遮挡等因素的影响，导致在复杂场景下的检测精度低，鲁棒的显著性检测仍存在较大的挑战。
光场数据包括了丰富的空间视角信息，可为复杂场景下的显著性检测方法提供有效的空间信息，但相关技术中采用的基于光场的显著性检测方法中由于需要制作大量人工标记的像素标签，并且需要通过全监督学习的方式完成训练，耗费的人工成本高，不利于基于光场的显著性检测方法的大规模应用。
为了解决上述问题，本发明实施例提供了一种光场显著性检测方法，如图1所示，该光场显著性检测方法主要包括：
步骤S101，获取光场数据集合；其中，光场数据集合包括全聚焦图像及其对应的焦点堆栈图像。
其中，本发明实施例所获取的光场数据集合可以从DUT-LF（该数据集包含一千多个光场数据，每个光场数据提供了多种图像，该数据集中包含较多复杂场景，如相似的前景和背景，透明物体和复杂背景等）、HFUT数据集（该数据集中包含了几百个光场数据，每个光场数据提供了多种图像，该数据集中的大部分场景有复杂的背景或者含有多个显著目标）、LFSD数据集（第一个用于光场显著性检测的数据集，包括几百个光场数据，该数据集中的每一个光场数据提供了多种图像，LSFD数据集中的场景通常只包含一个显著目标位于前景中央，且显著性目标尺寸较大）中获取，且上述数据集中的光场数据都包括全聚焦图像及其对应的焦点堆栈图像（焦点堆栈图像是指由多个相同角度但不同对焦点拍摄的图像通过合成得到的堆栈图像）。上述光场数据获取源并不作为对本发明的限定，也可从其他现有的包含光场数据的数据集中获取光场数据。
在其中的一些实施例中，在获取光场数据集合的步骤之后，上述方法还包括：对所获取的光场数据集合中的全聚焦数据和焦点堆栈数据进行几何变换处理，以扩充光场数据集合中的数据量；其中，上述几何变换处理包括随机旋转处理、随机翻转处理以及裁剪处理中的一种或多种。
通过上述设置，对所获取的光场数据集合进行数据增强，增加了光场数据的数据量，在避免后续显著性检测模型不过拟合的情况下实现了更好的显著性检测效果。
步骤S102，对全聚焦图像进行梯度变换处理生成梯度图像，将梯度图像与噪声标签进行元素乘处理，得到对象梯度图像；其中，噪声标签是通过无监督网络模型训练得到的。
直接使用全聚焦图像时，图像的背景梯度可以看成是不相关的噪声，通过将噪声标签与梯度图像进行元素乘（按照元素的方式相乘，本发明中上述元素一般是指像素），可以达到去除背景噪声，生成可作用于监督的对象梯度图。同时，由于噪声标签本身也具有噪声像素，所以生成的对象梯度图也会具有与标签相同的噪声，但这类噪声可以通过后续遗忘矩阵结合置信度进行消除。由于上述噪声标签可以通过无监督网络模型直接获取，避免了相关技术中通过人工标注获取，降低了人力成本，有助于推进光场显著性检测的推广使用。
在其中的一些实施例中，上述对全聚焦图像进行梯度变换处理生成梯度图像的步骤包括：计算全聚焦图像的梯度值，根据梯度值生成梯度图像。图像梯度的本质是当前方向上相邻像素的差值，利用梯度（灰度值的变化率）可以增强图像的清晰度，通过上述步骤生成的梯度图像有助于提高后续显著性检测的精度。
步骤S103，将对象梯度图像和焦点堆栈图像输入显著性检测模型，以输出显著性图像。
由于对象梯度图像中叠加了通过无监督网络训练得到噪声标签，因此极大降低了人工标注像素标签所产生的成本，拓展了光场显著性检测的适用场景，同时，梯度图像增加了图像的清晰度，提高了显著性检测的精度。
在其中的一些实施例中，上述将对象梯度图像和焦点堆栈图像输入显著性检测模型，以输出显著性图像的步骤，包括：将对象梯度图像和焦点堆栈图像输入显著性检测模型中分别提取第一图像特征和第二图像特征，并将第一图像特征和第二图像特征进行特征组合得到组合特征，对组合特征进行显著性检测，输出显著性图像（输入图像与输出的显著性图像的对比详见图5，图5具体为图2所示方法中输入图像与输出的显著性图像之间的对比示意图）。
显著性检测过程中并不需要利用到输入图像的全部特征，通过上述步骤，对对象梯度图像和焦点堆栈图像的特征进行精简、降维，再进行特征组合，既保留了输入图像的显著性特征，保障显著性检测效果，还精简了显著性检测的流程，降低了显著性检测所需的计算量，提高了显著性检测效率。
在其中的一些实施例中，上述对组合特征进行显著性检测，输出显著性图像的步骤包括：根据迭代次数阈值对组合特征进行显著性检测，得到多个显著性检测结果，对多个显著性检测结果进行过滤处理，输出显著性图像。
噪声标签中的噪声像素呈现出不同于其他像素的特征，有噪声的像素在迭代中会出现不同的识别结果，因此通过设置迭代次数阈值，并对迭代后的显著性检测结果进行过滤处理，进一步提高了显著性检测精度，提高了显著性检测效果。
在其中的一些实施例中，将对象梯度图像和焦点堆栈图像输入显著性检测模型中分别提取第一图像特征和第二图像特征，并将第一图像特征和第二图像特征组合得到组合特征的步骤包括：通过显著性检测模型从对象梯度图像中提取多个梯度图像特征，对多个梯度图像特征进行降维处理得到第一图像特征；通过显著性检测模型从焦点堆栈图像提取多个堆栈图像特征，对多个堆栈图像特征进行降维处理得到第二图像特征；基于显著性检测模型的通道维度，将第一图像特征和第二图像特征进行特征组合得到组合特征。
上述提供了对对象梯度图像和焦点堆栈图像进行特征提取和特征组合的一个具体实施方式，通过上述方式充分利用了对象内部的梯度特征，规避了边界检测模型对对象边缘的模糊现象，还可以有效地分割对象（显著性对象），提高显著性检测的性能，同时，本发明所采用的显著性检测模型在复杂的数据集上都有很好的泛化能力。
在其中的一些实施例中，上述显著性检测模型包括遗忘矩阵，上述根据迭代次数阈值对组合特征进行显著性检测，得到多个显著性检测结果，对多个显著性检测结果进行过滤处理，输出显著性图像的步骤，包括：通过遗忘矩阵标识组合特征在执行满足迭代次数阈值的显著性检测时，每个像素点对应的显著性检测结果中指示检测不一致的触发次数；根据触发次数确定置信度，并结合置信度阈值对显著性检测结果进行过滤处理，输出显著性图像。
本发明定义了一个遗忘矩阵，用来标识每个像素在全部迭代次数中发生检测结果不一致的触发次数，该遗忘矩阵起始时是全零矩阵，当某个像素点触发一次遗忘事件时，该像素点在遗忘矩阵中所对应的位置上的数值会加一。如果遗忘矩阵中某个位置的数值不断增加，则表示该位置对应的像素点对应的检测结果是不断变化的，可认定该像素点是有噪声的，可以对该像素点进行过滤处理。
本发明实施例所提供的上述光场显著性检测方法，由于通过获取光场数据集合；其中，光场数据集合包括全聚焦图像及其对应的焦点堆栈图像；对全聚焦图像进行梯度变换处理生成梯度图像，将梯度图像与噪声标签进行元素乘处理，得到对象梯度图像；其中，噪声标签是通过无监督网络模型训练得到的；将对象梯度图像和焦点堆栈图像输入显著性检测模型，以输出显著性图像的技术手段，克服了相关技术采用的显著性检测方法中存在显著性检测精度低、鲁棒性差以及检测成本高、检测方法适用场景较窄的问题；实现了简化显著性检测流程、提高显著性检测精度、提高显著性检测方法的鲁棒性、降低检测成本、拓展显著性检测方法的适用场景的技术效果。
本发明实施例还提供一种光场显著性检测方法，如图2和图3所示，该光场显著性检测方法主要包括：
步骤S201，获取光场数据集合，对所获取的光场数据集合中的全聚焦数据和焦点堆栈数据进行几何变换处理，以扩充光场数据集合中的数据量；其中，上述几何变换处理包括随机旋转处理、随机翻转处理以及裁剪处理中的一种或多种。
其中，本发明实施例所获取的光场数据集合可以从现有的包含光场数据的数据集中获取光场数据。
通过上述设置，对所获取的光场数据集合进行数据增强，增加了光场数据的数据量，在避免后续显著性检测模型不过拟合的情况下实现了更好的显著性检测效果。
步骤S202，计算全聚焦图像的梯度值，根据梯度值生成梯度图像；将梯度图像与噪声标签进行元素乘处理，得到对象梯度图像；其中，噪声标签是通过无监督网络模型训练得到的。
如图3示出的显著性检测模型的示意图，将图像梯度图与噪声标签进行元素乘得到对象梯度图。
在其中的一些实施例中，将梯度图像与噪声标签进行元素乘，得到对象梯度图像的过程可以表述为：
其中，表示对象梯度图像，/>表示噪声标签，/>表示全聚焦图像对应的梯度图像，/>表示元素乘的符号。
图像梯度的本质是当前方向上相邻像素的差值，利用梯度（灰度值的变化率）可以增强图像的清晰度，通过上述步骤生成的梯度图像有助于提高后续显著性检测的精度。由于直接使用全聚焦图像时，图像的背景梯度可以看成是不相关的噪声，通过将噪声标签与梯度图像进行元素乘（按照元素的方式相乘，本发明中上述元素一般是指像素），可以达到去除背景噪声，生成可作用于监督的对象梯度图。同时，由于噪声标签本身也具有噪声像素，所以生成的对象梯度图也会具有与标签相同的噪声，但这类噪声可以通过后续遗忘矩阵结合置信度进行消除。由于上述噪声标签可以通过无监督网络模型直接获取，避免了相关技术中通过人工标注获取，降低了人力成本，有助于推进光场显著性检测的推广使用。
步骤S203，通过显著性检测模型从对象梯度图像中提取多个梯度图像特征，对多个梯度图像特征进行降维处理得到第一图像特征；通过显著性检测模型从焦点堆栈图像提取多个堆栈图像特征，对多个堆栈图像特征进行降维处理得到第二图像特征；基于显著性检测模型的通道维度，将第一图像特征和第二图像特征进行特征组合得到组合特征。
上述提供了对对象梯度图像和焦点堆栈图像进行特征提取和特征组合的一个具体实施方式，通过上述方式充分利用了对象内部的梯度特征，规避了边界检测模型对对象边缘的模糊现象，还可以有效地分割对象（显著性对象），提高显著性检测的性能，同时，本发明所采用的显著性检测模型在复杂的数据集上都有很好的泛化能力。
在其中的一些实施例的具体实施例中，本发明将对象梯度图像输入EfficientNet网络以获得多个梯度图像特征，优选地，可以从多个梯度图像特征中并挑选出寓意丰富的前两个特征、/>，然后通过ConvBR结构和一个Ci*3*3的卷积层将/>、/>的维数降低至，降低维度的特征即为第一图像特征，通过上述精简特征数量、降低特征维度可以降低后续显著性检测所需的计算量。而针对焦点堆栈图像的特征处理过程，可以将焦点堆栈图像输入至三个ConvBR结构组成的编码器中，将编码器处理后输出的特征再输入一个ConvBR结构中将特征维度数降为1，焦点堆栈图像降维后的特征记为/>，即上述第二图像特征。然后，将上述第一图像特征/>、/>和第二图像特征/>按照显著性检测模型的通道维度组合在一起，记为/>；其中，R指的是实数集，H、W指的是图像特征的高度和宽度。
在其中的一些实施例中，还可以按照显著性检测模型的通道维度对组合特征进行分组。例如，若通道维度为3，则可将组合特征/>分为3份，以第三份为例，分组后的特征表示为：
其中，上述符号“~”表示在通道维度进行组合，是指第三通道维度对应的组合特征。进一步地，对每个通道维度对应的组合特征/>、/>、/>还可以继续划分为多份以便于后续进行多次卷积处理，例如可对应划分为/>、/>、/>份后，分别输入显著性显著模型中的卷积层/>，/>。卷积处理后对应输出的结果记为：
同时，将输出的结果按照通道维度组合为特征子集，记为，与上述按照通道维度分组的数量对象，共有三个特征子集/>、/>、/>。再采用剩余学习的方式，结合元素加的算法，将第一图像特征与上述处理后的特征子集进行元素加处理，得到最终输出特征/>，其中，/>表示元素加的符号。通过对最终输出特征进行解码处理，即可得到显著性检测结果Z。图4是图2所示方法中进行特征组合部分的梯度引导模块的结构示意图，如图4所示，对梯度对象图像和焦点堆栈图像提取的特征/>、/>、/>进行组合后再分组，依次卷积后得到三个特征子集/>、/>、/>，再采用剩余学习的方式，结合元素加的算法，将第一图像特征与上述处理后的特征子集进行元素加处理，得到最终输出特征/>。
显著性检测过程中并不需要利用到输入图像的全部特征，通过上述步骤，对对象梯度图像和焦点堆栈图像的特征进行精简、降维，再进行特征组合，既保留了输入图像的显著性特征，保障显著性检测效果，还精简了显著性检测的流程，降低了显著性检测所需的计算量，提高了显著性检测效率。
步骤S204，根据迭代次数阈值对组合特征进行显著性检测，得到多个显著性检测结果，对多个显著性检测结果进行过滤处理，输出显著性图像。
噪声标签中的噪声像素呈现出不同于其他像素的特征，有噪声的像素在迭代中会出现不同的识别结果，因此通过设置迭代次数阈值，并对迭代后的显著性检测结果进行过滤处理，进一步提高了显著性检测精度，提高了显著性检测效果。
在其中的一些实施例中，上述显著性检测模块还包括遗忘矩阵，上述根据迭代次数阈值对组合特征进行显著性检测，得到多个显著性检测结果，对多个显著性检测结果进行过滤处理，输出显著性图像的步骤包括：通过遗忘矩阵标识组合特征在执行满足迭代次数阈值的显著性检测时，每个像素点对应的显著性检测结果中指示检测不一致的触发次数；根据触发次数确定置信度，并结合置信度阈值对显著性检测结果进行过滤处理，输出显著性图像。如图3示出了最终显示的显著性图像的示意图。
本发明定义了一个遗忘矩阵G，用来标识每个像素在全部迭代次数中发生检测结果不一致的触发次数，该遗忘矩阵起始时是全零矩阵，当某个像素点触发一次遗忘事件时，该像素点在遗忘矩阵中所对应的位置上的数值会加一。如果遗忘矩阵中某个位置的数值不断增加，则表示该位置对应的像素点对应的检测结果是不断变化的，可认定该像素点是有噪声的，可以对该像素点进行过滤处理。
在其中的一些实施例中，可以通过遗忘矩阵计算初始检测结果对应的置信度，记为：
其中，a用于根据遗忘事件的数量（触发次数）来控制置信度的下降程度，指示具体的像素点。结合置信度可以对显著性检测结果进行过滤，具体地，可通过上采样方式，公式表示如下：
其中，up表示上采样操作，、b是调节参数，/>是像素点/>的置信度，Z是该像素点对应的初始检测结果。如图3所示，组合特征经过检测的初始检测结果与像素点的置信度进行上采样，得到最终的显著性检测结果Y。
在其中的一些实施例中，为了进一步地提高最终显著性检测结果的精确度，还在显著性模型中引入损失函数，具体地，将评估当前的检测结果与其他场景的相关性，实现场景联合评估。通过交叉熵损失计算Y（上采样操作后得到的最终检测结果）和（噪声标签）之间的相关性，损失函数公式表示如下：
其中，L()表示交叉熵损失；表示第j张图像的最终检测结果与第k张图像叠加的噪声标签之间的相关性，即场景联合噪声损失，m表示采用m个场景联合噪声损失，/>表示损失参数。
上述仅示出了关于Y（上采样操作后得到的最终检测结果）和（噪声标签）之间的相关性的损失函数/>，进一步地，还可以引入梯度图像特征组合过程中的损失函数/>。显著性检测模型的总损失函数即为/>。
本发明实施例所提供的上述光场显著性检测方法，由于通过获取光场数据集合；其中，光场数据集合包括全聚焦图像及其对应的焦点堆栈图像；对全聚焦图像进行梯度变换处理生成梯度图像，将梯度图像与噪声标签进行元素乘处理，得到对象梯度图像；其中，噪声标签是通过无监督网络模型训练得到的；将对象梯度图像和焦点堆栈图像输入显著性检测模型，以输出显著性图像的技术手段，克服了相关技术采用的显著性检测方法中存在显著性检测精度低、鲁棒性差以及检测成本高、检测方法适用场景较窄的问题；实现了简化显著性检测流程、提高显著性检测精度、提高显著性检测方法的鲁棒性、降低检测成本、拓展显著性检测方法的适用场景的技术效果。
基于本发明实施例提供的上述光场显著性检测方法，本发明实施例还提供一种光场显著性检测装置，如图6所示，该光场显著性检测装置300包括：
获取模块301，用于获取光场数据集合；其中，光场数据集合包括全聚焦图像及其对应的焦点堆栈图像。
其中，本发明实施例所获取的光场数据集合可以从现有的包含光场数据的数据集中获取光场数据。
在其中的一些实施例中，上述光场显著性检测装置300还包括集合扩充模块，在获取光场数据集合的步骤之后，上述集合扩充模块用于：对所获取的光场数据集合中的全聚焦数据和焦点堆栈数据进行几何变换处理，以扩充光场数据集合中的数据量；其中，上述几何变换处理包括随机旋转处理、随机翻转处理以及裁剪处理中的一种或多种。
通过上述设置，对所获取的光场数据集合进行数据增强，增加了光场数据的数据量，在避免后续显著性检测模型不过拟合的情况下实现了更好的显著性检测效果。
梯度处理模块302，用于对全聚焦图像进行梯度变换处理生成梯度图像，将梯度图像与噪声标签进行元素乘处理，得到对象梯度图像；其中，噪声标签是通过无监督网络模型训练得到的。
通过将噪声标签与梯度图像进行元素乘可以达到去除背景噪声，生成可作用于监督的对象梯度图。同时，由于噪声标签本身也具有噪声像素，所以生成的对象梯度图也会具有与标签相同的噪声，但这类噪声可以通过后续遗忘矩阵结合置信度进行消除。由于上述噪声标签可以通过无监督网络模型直接获取，避免了相关技术中通过人工标注获取，降低了人力成本，有助于推进光场显著性检测的推广使用。
在其中的一些实施例中，上述梯度处理模块302还用于：计算全聚焦图像的梯度值，根据梯度值生成梯度图像。图像梯度的本质是当前方向上相邻像素的差值，利用梯度（灰度值的变化率）可以增强图像的清晰度，通过上述步骤生成的梯度图像有助于提高后续显著性检测的精度。
显著性检测模块303，用于将对象梯度图像和焦点堆栈图像输入显著性检测模型，以输出显著性图像。
由于对象梯度图像中叠加了通过无监督网络训练得到噪声标签，因此极大降低了人工标注像素标签所产生的成本，拓展了光场显著性检测的适用场景，同时，梯度图像增加了图像的清晰度，提高了显著性检测的精度。
在其中的一些实施例中，上述显著性检测模块303还用于：将对象梯度图像和焦点堆栈图像输入显著性检测模型中分别提取第一图像特征和第二图像特征，并将第一图像特征和第二图像特征进行特征组合得到组合特征，对组合特征进行显著性检测，输出显著性图像。显著性检测过程中并不需要利用到输入图像的全部特征，通过上述步骤，对对象梯度图像和焦点堆栈图像的特征进行精简、降维，再进行特征组合，既保留了输入图像的显著性特征，保障显著性检测效果，还精简了显著性检测的流程，降低了显著性检测所需的计算量，提高了显著性检测效率。
在其中的一些实施例中，上述显著性检测模块303还用于：根据迭代次数阈值对组合特征进行显著性检测，得到多个显著性检测结果，对多个显著性检测结果进行过滤处理，输出显著性图像。
噪声标签中的噪声像素呈现出不同于其他像素的特征，有噪声的像素在迭代中会出现不同的识别结果，因此通过设置迭代次数阈值，并对迭代后的显著性检测结果进行过滤处理，进一步提高了显著性检测精度，提高了显著性检测效果。
在其中的一些实施例中，上述显著性检测模块303还用于：通过显著性检测模型从对象梯度图像中提取多个梯度图像特征，对多个梯度图像特征进行降维处理得到第一图像特征；通过显著性检测模型从焦点堆栈图像提取多个堆栈图像特征，对多个堆栈图像特征进行降维处理得到第二图像特征；基于显著性检测模型的通道维度，将第一图像特征和第二图像特征进行特征组合得到组合特征。
上述提供了对对象梯度图像和焦点堆栈图像进行特征提取和特征组合的一个具体实施方式，通过上述方式充分利用了对象内部的梯度特征，规避了边界检测模型对对象边缘的模糊现象，还可以有效地分割对象（显著性对象），提高显著性检测的性能，同时，本发明所采用的显著性检测模型在复杂的数据集上都有很好的泛化能力。
在其中的一些实施例中，显著性检测模型包括遗忘矩阵，根据迭代次数阈值对组合特征进行显著性检测，得到多个显著性检测结果，对多个显著性检测结果进行过滤处理，输出显著性图像的步骤，包括：通过遗忘矩阵标识组合特征在执行满足迭代次数阈值的显著性检测时，每个像素点对应的显著性检测结果中指示检测不一致的触发次数；根据触发次数确定置信度，并结合置信度阈值对显著性检测结果进行过滤处理，输出显著性图像。
本发明定义了一个遗忘矩阵，用来标识每个像素在全部迭代次数中发生检测结果不一致的触发次数，该遗忘矩阵起始时是全零矩阵，当某个像素点触发一次遗忘事件时，该像素点在遗忘矩阵中所对应的位置上的数值会加一。如果遗忘矩阵中某个位置的数值不断增加，则表示该位置对应的像素点对应的检测结果是不断变化的，可认定该像素点是有噪声的，可以对该像素点进行过滤处理。
本发明实施例所提供的上述光场显著性检测装置，由于获取模块可用于获取光场数据集合；其中，光场数据集合包括全聚焦图像及其对应的焦点堆栈图像；梯度处理模块可用于对全聚焦图像进行梯度变换处理生成梯度图像，将梯度图像与噪声标签进行元素乘处理，得到对象梯度图像；其中，噪声标签是通过无监督网络模型训练得到的；显著性检测模块可用于将对象梯度图像和焦点堆栈图像输入显著性检测模型，以输出显著性图像。实现了简化显著性检测流程、提高显著性检测精度、提高显著性检测方法的鲁棒性、降低检测成本、拓展显著性检测方法的适用场景的技术效果。
本发明实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。上述存储器存储有能够被上述至少一个处理器执行的计算机程序，上述计算机程序在被上述至少一个处理器执行时用于使电子设备执行本发明实施例的方法。
本发明实施例还提供一种存储有计算机程序的非瞬时机器可读介质，其中，上述计算机程序在被计算机的处理器执行时用于使上述计算机执行本发明实施例的方法。
本发明实施例还提供一种计算机程序产品，包括计算机程序，其中，计算机程序在被计算机的处理器执行时用于使计算机执行本发明实施例的方法。
参考图7，现将描述可以作为本发明实施例的服务器或客户端的电子设备的结构框图，其是可以应用于本发明的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图7所示，电子设备包括计算单元401，其可以根据存储在只读存储器（ROM）402中的计算机程序或者从存储单元408加载到随机访问存储器（RAM）403中的计算机程序，来执行各种适当的动作和处理。在RAM 403中，还可存储电子设备操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出（I/O）接口405也连接至总线404。
电子设备中的多个部件连接至I/O接口405，包括：输入单元406、输出单元407、存储单元408以及通信单元409。输入单元406可以是能向电子设备输入信息的任何类型的设备，输入单元406可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元407可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元408可以包括但不限于磁盘、光盘。通信单元409允许电子设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于CPU、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理。例如，在一些实施例中，本发明的方法实施例可被实现为计算机程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到电子设备上。在一些实施例中，计算单元401可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行上述的方法。
用于实施本发明实施例的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得计算机程序当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明实施例的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读信号介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
需要说明的是，本发明实施例使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。本发明实施例中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本发明实施例光场数据所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
本发明实施例所提供的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的保护范围在此方面不受限制。
“实施例”一词在本说明书中指的是结合实施例描述的具体特征、结构或特性可以包括在本发明的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见。尤其，对于装置、设备、系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。
Claims (6)
1.一种光场显著性检测方法，其特征在于，包括：
获取光场数据集合；其中，所述光场数据集合包括全聚焦图像及其对应的焦点堆栈图像；
对所述全聚焦图像进行梯度变换处理生成梯度图像，将所述梯度图像与噪声标签进行元素乘处理，得到对象梯度图像；其中，所述噪声标签是通过无监督网络模型训练得到的；
将所述对象梯度图像和所述焦点堆栈图像输入显著性检测模型，以输出显著性图像，具体包括：将所述对象梯度图像和所述焦点堆栈图像输入显著性检测模型中分别提取第一图像特征和第二图像特征，并将所述第一图像特征和所述第二图像特征进行特征组合得到组合特征，对所述组合特征进行显著性检测，输出显著性图像；
所述对所述组合特征进行显著性检测，输出显著性图像的步骤包括：
根据迭代次数阈值对所述组合特征进行显著性检测，得到多个显著性检测结果，对所述多个显著性检测结果进行过滤处理，输出显著性图像；
所述将所述对象梯度图像和所述焦点堆栈图像输入显著性检测模型中分别提取第一图像特征和第二图像特征，并将所述第一图像特征和所述第二图像特征组合得到组合特征的步骤包括：
通过所述显著性检测模型从所述对象梯度图像中提取多个梯度图像特征，对所述多个梯度图像特征进行降维处理得到所述第一图像特征；
通过所述显著性检测模型从所述焦点堆栈图像提取多个堆栈图像特征，对所述多个堆栈图像特征进行降维处理得到所述第二图像特征；
基于所述显著性检测模型的通道维度，将所述第一图像特征和所述第二图像特征进行特征组合得到所述组合特征；
所述显著性检测模型包括遗忘矩阵，所述根据迭代次数阈值对所述组合特征进行显著性检测，得到多个显著性检测结果，对所述多个显著性检测结果进行过滤处理，输出显著性图像的步骤，包括：
通过所述遗忘矩阵标识所述组合特征在执行满足迭代次数阈值的显著性检测时，每个像素点对应的显著性检测结果中指示检测不一致的触发次数；
根据所述触发次数确定置信度，并结合置信度阈值对所述显著性检测结果进行过滤处理，输出所述显著性图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述全聚焦图像进行梯度变换处理生成梯度图像的步骤包括：
计算所述全聚焦图像的梯度值，根据所述梯度值生成梯度图像。
3.根据权利要求1所述的方法，其特征在于，在所述获取光场数据集合的步骤之后，所述方法还包括：
对所述光场数据集合中的全聚焦图像和焦点堆栈图像进行几何变换处理，以扩充所述光场数据集合中的数据量；其中，所述几何变换处理包括随机翻转处理、随机旋转处理、裁剪处理中的一种或多种。
4.一种光场显著性检测装置，其特征在于，包括：
获取模块，用于获取光场数据集合；其中，所述光场数据集合包括全聚焦图像及其对应的焦点堆栈图像；
梯度处理模块，用于对所述全聚焦图像进行梯度变换处理生成梯度图像，将所述梯度图像与噪声标签进行元素乘处理，得到对象梯度图像；其中，所述噪声标签是通过无监督网络模型训练得到的；
显著性检测模块，用于将所述对象梯度图像和所述焦点堆栈图像输入显著性检测模型，以输出显著性图像；
所述显著性检测模块具体用于将所述对象梯度图像和所述焦点堆栈图像输入显著性检测模型中分别提取第一图像特征和第二图像特征，并将所述第一图像特征和所述第二图像特征进行特征组合得到组合特征，对所述组合特征进行显著性检测，输出显著性图像；
所述显著性检测模块还用于根据迭代次数阈值对所述组合特征进行显著性检测，得到多个显著性检测结果，对所述多个显著性检测结果进行过滤处理，输出显著性图像；
所述显著性检测模块还用于通过所述显著性检测模型从所述对象梯度图像中提取多个梯度图像特征，对所述多个梯度图像特征进行降维处理得到所述第一图像特征；通过所述显著性检测模型从所述焦点堆栈图像提取多个堆栈图像特征，对所述多个堆栈图像特征进行降维处理得到所述第二图像特征；基于所述显著性检测模型的通道维度，将所述第一图像特征和所述第二图像特征进行特征组合得到所述组合特征；
所述显著性检测模型包括遗忘矩阵，所述根据迭代次数阈值对所述组合特征进行显著性检测，得到多个显著性检测结果，对所述多个显著性检测结果进行过滤处理，输出显著性图像的步骤，包括：
通过所述遗忘矩阵标识所述组合特征在执行满足迭代次数阈值的显著性检测时，每个像素点对应的显著性检测结果中指示检测不一致的触发次数；根据所述触发次数确定置信度，并结合置信度阈值对所述显著性检测结果进行过滤处理，输出所述显著性图像。
5.一种电子设备，包括：处理器，以及存储程序的存储器，其特征在于，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-3中任一项所述的方法。
6.一种存储有计算机指令的非瞬时机器可读介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-3中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311540077.3A CN117253054B (zh) | 2023-11-20 | 2023-11-20 | 一种光场显著性检测方法及其相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311540077.3A CN117253054B (zh) | 2023-11-20 | 2023-11-20 | 一种光场显著性检测方法及其相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117253054A CN117253054A (zh) | 2023-12-19 |
| CN117253054B true CN117253054B (zh) | 2024-02-06 |
Family
ID=89137247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311540077.3A Active CN117253054B (zh) | 2023-11-20 | 2023-11-20 | 一种光场显著性检测方法及其相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117253054B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117474956B (zh) * | 2023-12-25 | 2024-03-26 | 浙江优众新材料科技有限公司 | 基于运动估计注意力的光场重建模型训练方法及相关设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105913070A (zh) * | 2016-04-29 | 2016-08-31 | 合肥工业大学 | 一种基于光场相机的多线索显著性提取方法 |
| CN106529419A (zh) * | 2016-10-20 | 2017-03-22 | 北京航空航天大学 | 视频显著性堆栈式聚合的对象自动检测方法 |
| EP3203742A1 (en) * | 2016-02-02 | 2017-08-09 | Thomson Licensing | System and method for encoding and decoding information representative of a focalization distance associated to an image belonging to a focal stack representative of a light field content |
| CN110246172A (zh) * | 2019-06-18 | 2019-09-17 | 首都师范大学 | 一种两种深度线索融合的光场全聚焦图像提取方法及系统 |
| CN112465796A (zh) * | 2020-12-07 | 2021-03-09 | 清华大学深圳国际研究生院 | 一种融合焦点堆栈和全聚焦图像的光场特征提取方法 |
| CN113935404A (zh) * | 2021-09-24 | 2022-01-14 | 杭州电子科技大学 | 一种光场显著性检测数据集清晰度评价方法 |
| CN114549863A (zh) * | 2022-04-27 | 2022-05-27 | 西安电子科技大学 | 一种基于像素级噪声标签监督的光场显著性目标检测方法 |
| CN115546512A (zh) * | 2022-08-29 | 2022-12-30 | 安徽大学 | 基于可学习的权重描述子的光场图像显著目标检测方法 |
| CN116229222A (zh) * | 2022-12-15 | 2023-06-06 | 北京大学深圳研究生院 | 一种基于隐式图学习的光场显著性目标检测方法及装置 |
| CN116847209A (zh) * | 2023-08-29 | 2023-10-03 | 中国测绘科学研究院 | 一种基于Log-Gabor与小波的光场全聚焦影像生成方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140254922A1 (en) * | 2013-03-11 | 2014-09-11 | Microsoft Corporation | Salient Object Detection in Images via Saliency |
| US10699151B2 (en) * | 2016-06-03 | 2020-06-30 | Miovision Technologies Incorporated | System and method for performing saliency detection using deep active contours |
-
2023
- 2023-11-20 CN CN202311540077.3A patent/CN117253054B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3203742A1 (en) * | 2016-02-02 | 2017-08-09 | Thomson Licensing | System and method for encoding and decoding information representative of a focalization distance associated to an image belonging to a focal stack representative of a light field content |
| CN105913070A (zh) * | 2016-04-29 | 2016-08-31 | 合肥工业大学 | 一种基于光场相机的多线索显著性提取方法 |
| CN106529419A (zh) * | 2016-10-20 | 2017-03-22 | 北京航空航天大学 | 视频显著性堆栈式聚合的对象自动检测方法 |
| CN110246172A (zh) * | 2019-06-18 | 2019-09-17 | 首都师范大学 | 一种两种深度线索融合的光场全聚焦图像提取方法及系统 |
| CN112465796A (zh) * | 2020-12-07 | 2021-03-09 | 清华大学深圳国际研究生院 | 一种融合焦点堆栈和全聚焦图像的光场特征提取方法 |
| CN113935404A (zh) * | 2021-09-24 | 2022-01-14 | 杭州电子科技大学 | 一种光场显著性检测数据集清晰度评价方法 |
| CN114549863A (zh) * | 2022-04-27 | 2022-05-27 | 西安电子科技大学 | 一种基于像素级噪声标签监督的光场显著性目标检测方法 |
| CN115546512A (zh) * | 2022-08-29 | 2022-12-30 | 安徽大学 | 基于可学习的权重描述子的光场图像显著目标检测方法 |
| CN116229222A (zh) * | 2022-12-15 | 2023-06-06 | 北京大学深圳研究生院 | 一种基于隐式图学习的光场显著性目标检测方法及装置 |
| CN116847209A (zh) * | 2023-08-29 | 2023-10-03 | 中国测绘科学研究院 | 一种基于Log-Gabor与小波的光场全聚焦影像生成方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| Exploring Spatial Correlation for Light Field Saliency Detection: Expansion From a Single View;Miao Zhang 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;第31卷;6152-6163 * |
| MULTI-GENERATOR ADVERSARIAL NETWORKS FOR LIGHT FIELD SALIENCY DETECTION;Hongyan Cai 等;《2021 ICMEW》;1-6 * |
| 基于梯度域的光场全聚焦图像生成方法;苏博妮;《西南大学学报(自然科学版)》;第42卷(第10期);174-182 * |
| 融合光场焦点堆栈和全聚焦图像的显著性检查算法;李俊锋;《中国优秀硕士学位论文全文数据库 信息科技辑 (月刊)》;第2016年卷(第04期);I138-1178 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117253054A (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220114750A1 (en) | Map constructing method, positioning method and wireless communication terminal | |
| CN117253054B (zh) | 一种光场显著性检测方法及其相关设备 | |
| CN112330574A (zh) | 人像修复方法、装置、电子设备及计算机存储介质 | |
| CN110991310B (zh) | 人像检测方法、装置、电子设备及计算机可读介质 | |
| WO2023035531A1 (zh) | 文本图像超分辨率重建方法及其相关设备 | |
| Lu et al. | Robust blur kernel estimation for license plate images from fast moving vehicles | |
| CN114255337A (zh) | 文档图像的矫正方法、装置、电子设备及存储介质 | |
| CN115861131B (zh) | 基于图像生成视频、模型的训练方法、装置及电子设备 | |
| CN110399826B (zh) | 一种端到端人脸检测和识别方法 | |
| Liang et al. | Improved non-local iterative back-projection method for image super-resolution | |
| CN114238904B (zh) | 身份识别方法、双通道超分模型的训练方法及装置 | |
| Liu et al. | Face super-resolution reconstruction based on self-attention residual network | |
| CN111353965B (zh) | 图像修复方法、装置、终端及存储介质 | |
| CN112651399B (zh) | 检测倾斜图像中同行文字的方法及其相关设备 | |
| CN112380978B (zh) | 基于关键点定位的多人脸检测方法、系统及存储介质 | |
| CN112990197A (zh) | 车牌识别方法及装置、电子设备和存储介质 | |
| US20230260211A1 (en) | Three-Dimensional Point Cloud Generation Method, Apparatus and Electronic Device | |
| CN111539435A (zh) | 语义分割模型构建方法及图像分割方法、设备、存储介质 | |
| CN111192312A (zh) | 基于深度学习的深度图像获取方法、装置、设备及介质 | |
| CN115937039A (zh) | 数据扩充方法、装置、电子设备及可读存储介质 | |
| CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
| KR20230086998A (ko) | 얼굴 세그먼트 영역에 노이즈를 부가하여 가상 인물 콘텐츠를 생성하는 컴퓨터 프로그램 | |
| KR20230086999A (ko) | 가상 인물 콘텐츠 생성 프로그램을 기록한 기록매체 | |
| WO2022081821A1 (en) | Systems and methods for inpainting images at increased resolution | |
| CN112634126A (zh) | 人像减龄处理方法、训练方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |