CN115205641A - 一种多先验驱动的显著性目标检测算法 - Google Patents

一种多先验驱动的显著性目标检测算法 Download PDF

Info

Publication number
CN115205641A
CN115205641A CN202210726449.0A CN202210726449A CN115205641A CN 115205641 A CN115205641 A CN 115205641A CN 202210726449 A CN202210726449 A CN 202210726449A CN 115205641 A CN115205641 A CN 115205641A
Authority
CN
China
Prior art keywords
feature
prior
resolution
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210726449.0A
Other languages
English (en)
Inventor
张笑钦
徐曰旺
赵丽
廖唐飞
冯士杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou University
Original Assignee
Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou University filed Critical Wenzhou University
Priority to CN202210726449.0A priority Critical patent/CN115205641A/zh
Publication of CN115205641A publication Critical patent/CN115205641A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种多先验驱动的显著性目标检测算法，涉及图像处理技术领域，包括：获取待检测目标图像，并对所述待检测目标图像进行预处理，得到具有显著性先验知识的先验图像；采用不同网络参数量的先验视觉注意力模块对不同的先验图像进行处理，获得八个不同尺度的显著性特征图；对八个不同尺度的显著性特征图进行特征融合，得到四个融合特征表示；根据四个融合特征表示提取显著性目标边缘特征信息；将提取的显著性目标边缘特征信息补充至上采样后的全分辨率显著性mask中，根据补充信息后的显著性mask完成目标检测，本发明可实现在前景和背景对比度低、背景复杂、主体形状复杂等各种复杂环境下的主体边缘的精确分割。

Description

一种多先验驱动的显著性目标检测算法
技术领域
本发明涉及图像处理技术领域，具体涉及到一种多先验驱动的显著性目标检测算法。
背景技术
在计算机视觉中，显著性mask是显示每个像素独特质量的图像。显著性mask的目标是简化或将图像表示更改为更有意义且更易于分析的图像。例如，如果像素在彩色图像中具有高灰度级或其他独特的颜色质量，则该像素的质量将以更明显的方式显示在显著性mask中，显著性检测可以被视为图像分割的实例。
显著性目标检测主要应用于图像前景分割、目标追踪、图像理解以及弱监督学习等等，可以快速设计富有创意的图片，也可以针对图片或视频帧更换背景，将前景人物融入到不同的场景中，更能够为需要高级视觉任务提供指导帮助，推动智能行业的发展。传统的人工处理方式对人员的专业技能有一定要求，还有获取手工先验工作量巨大、速度慢和效果差等问题。近些年来随着深度学习算法的发展，图像语义分割算法逐步成熟，基于显著性目标的分割算法已经被广泛应用。但是算法本身同样存在未将主体边缘精细化以及图像特征提取模块庞大等问题。
综上所述，如何克服上述缺陷，是本领域技术人员急需解决的问题。
发明内容
本方案针对上文提到的问题和需求，提出一种多先验驱动的显著性目标检测算法，具体由于采取了如下技术方案而能够解决上述技术问题。
为实现上述目的，本发明提供如下技术方案：一种多先验驱动的显著性目标检测算法，包括：获取待检测目标图像，并对所述待检测目标图像进行预处理，得到具有显著性先验知识的先验图像；
采用不同网络参数量的先验视觉注意力模块对不同的先验图像进行处理，获得八个不同尺度的显著性特征图；
对所述八个不同尺度的显著性特征图进行特征融合，得到包含语义信息和结构化细节信息的四个融合特征表示；
根据所述四个融合特征表示提取显著性目标边缘特征信息；
将提取的显著性目标边缘特征信息补充至上采样后的全分辨率显著性mask中，根据补充信息后的显著性mask完成目标检测。
进一步地，所述预处理过程包括：
通过机器学习方法获取输入的待检测目标图像的五种先验图像，所述五种先验图像包括LC、FT、FG、RC和Gradient；
构建先验指导网络，并通过所述先验指导网络筛选出比原输入图像的显著性表征能力强的先验图像，并针对最终输出显著性mask与标签图像进行损失计算及反向传播优化，所述先验指导网络由ResNet50网络和多先验注意力网络组成；
将三通道RGB图像输入ResNet50网络进行处理，得到第一特征信息，所述多先验注意力网络使用四个带分组卷积的空间注意力模块对输入的三通道先验特征图进行处理输出第二特征信息；
通过add函数将所述第一特征信息和所述第二特征信息进行相加融合后输出先验特征图；
根据先验指导网络输出的先验特征图筛选出FG和Gradient作为具有显著性先验知识的先验图像。
更进一步地，所述采用不同网络参数量的先验视觉注意力模块对不同的先验特征图进行处理，获得八个不同尺度的显著性特征图包括：通过所述先验视觉注意力模块从Gradient获得的四项特征，所述四项特征为FG2、FG4、FG8和FG16，从FG获得的四项特征，所述四项特征为FF2、FF4、FF8和FF16，并使用标签mask对上采样至原图分辨率的FG2、FG4、FG8、FG16、FF2、FF4、FF8和FF16进行损失计算及阶段性反向传播优化；所述先验视觉注意力模块由四级伪孪生网络块串联而成，即当前级伪孪生网络块的输入为上一级伪孪生网络块的输出，每个伪孪生网络块包括通道配置子模块、空间注意力子模块和组间整合子模块，所述三个子模块按顺序串联。
更进一步地，所述通道配置子模块将每一级伪孪生网络块的输入特征通道数量增加至64、128、256和512，实现对显著性特征信息的增加及细化；所述空间注意力子模块利用PyTorch框架中的分组卷积按通道数量进行分组处理，分组数量与输入特征图通道数量保持一致，所述分组卷积的卷积核大小k共有三种，k＝1、k＝5和k＝7，激活函数使用高斯误差线性单元GELU进行特征激活；所述组间整合子模块使用2D卷积对所述空间注意力子模块输出的特征进行处理，将输出的特征通道数量转化至下一级伪孪生网络块要求的特征通道数，输出即为FF2、FG2、FF4、FG4、FF8、FG8、FF16和FG16八个特征。
更进一步地，所述对所述八个不同尺度的显著性特征图进行特征融合包括：
通过逐像素相加操作将输入的所述八个特征按分辨率大小分为四组，采用add函数将每一组内两个分辨率一致的特征进行融合并进行batchnorm批归一化和GELU线性激活；
然后通过特征信息补充操作利用较大分辨率特征具有的细节信息补充至较小分辨率特征具有的语义信息中：将原图分辨率
Figure BDA0003713417960000031
的FG2分别下采样至FG4、FG8和FG16分辨率进行逐像素相加融合，将原图分辨率
Figure BDA0003713417960000032
的FG4分别下采样至FG8和FG16，将原图分辨率
Figure BDA0003713417960000033
的FG8下采样至FG16，将分辨率进行逐像素相加融合；
使用标签mask对上采样至原图分辨率的FP2、FP4、FP8和FP16进行损失计算及阶段性反向传播优化。
更进一步地，所述根据所述四个融合特征表示提取显著性目标边缘特征信息包括通过边缘提取操作对输入的四个特征进行边缘特征提取，然后利用边缘特征融合操作融合四个不同分辨率的特征，输出全分辨率的显著性边缘特征图FE；
所述边缘提取操作利用两组不同卷积核大小k(k＝1,3)和不同空洞率d(d＝1,2)的空洞卷积组对输入特征进行处理,根据两组空洞卷积后的特征差值计算注意力权重图，将原特征图与所述注意力权重图相乘获得粗粒度的显著性边缘特征，所述显著性边缘特征再经过卷积、reshape和转置操作，计算非局部增强权重图，将粗粒度的显著性边缘特征与非局部增强权重图相乘可得细粒度的显著性边缘特征图；
所述边缘特征融合操作首先将得到的四个显著性边缘特征图上采样至原图分辨率，再使用PyTorch框架中的cat函数按通道拼接，最后使用卷积核大小为3*3的2D卷积将拼接特征通道数变为1；
并使用边缘标签mask对FE进行损失计算及阶段性反向传播优化。
更进一步地，所述将提取的显著性目标边缘特征信息补充至上采样后的全分辨率显著性mask中包括：首先将输入的FP2、FP4、FP8和FP16特征图上采样至原图分辨率，并融合为通道数1的显著性特征图FP；再利用PyTorch中的add函数将FP和FE逐像素相加融合，最终得到显著性mask。
从上述的技术方案可以看出，本发明的有益效果是：可将传统机器学习图像处理与深度学习结合，使得深度学习网络模块参数量减少，提高模型运算速度，而且对于显著性mask的边缘等结构化细节信息进行补充，实现对显著性目标的精准捕获，进而将显著性主体与背景分割。在前景和背景对比度低、背景复杂、主体形状复杂等各种复杂环境下，得到主体边缘的精确分割，具有较强的鲁棒性。
除了上面所描述的目的、特征和优点之外，下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下文将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。
图1为本发明中一种多先验驱动的显著性目标检测算法的具体步骤示意图。
图2为本发明实施例的先验指导网络的网络结构示意图。
图3为本发明实施例的显著性目标检测网络的总体网络结构示意图。
图4为本发明实施例的先验视觉注意力模块的结构示意图。
图5为本发明实施例的特征融合网络结构的结构示意图。
图6为本发明实施例的边缘特征提取网络结构的结构示意图。
图7为本发明实施例在不同场景下显著性目标检测的效果图。
具体实施方式
为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明通过一种多先验驱动的显著性目标检测网络，使用传统机器学习方法快速获取输入图像的不同先验，指导算法网络进行图像的前景主体检测，能够快速准确地捕获图像的显著性主体并细化边缘细节，以提升更广泛的适用性。
如图1至图2所示，一种多先验驱动的显著性目标检测算法具体包括以下步骤：
步骤Step1：获取待检测目标图像，并对所述待检测目标图像进行预处理，得到具有显著性先验知识的先验图像；
预处理为将待处理的图像使用传统数字图像处理方式和传统机器学习方法转化为带有显著性先验知识的特征图，而传统数字图像处理和传统机器学习方法主要使用OpenCV框架，处理后的先验特征图分辨率以及通道数与原图保持一致。
具体地，所述预处理过程包括：
步骤Step1.1：通过机器学习方法获取输入的待检测目标图像的五种先验图像，所述五种先验图像包括LC、FT、FG、RC和Gradient；
步骤Step1.2：构建先验指导网络，并通过所述先验指导网络筛选出比原输入图像的显著性表征能力强的先验图像，并针对最终输出显著性mask与标签图像进行损失计算及反向传播优化，所述先验指导网络由ResNet50网络和多先验注意力网络组成；
步骤Step1.3：将三通道RGB图像输入ResNet50网络进行处理，得到第一特征信息，所述多先验注意力网络使用四个带分组卷积的空间注意力模块对输入的三通道先验特征图进行处理输出第二特征信息；
步骤Step1.4：通过add函数将所述第一特征信息和所述第二特征信息进行相加融合后输出先验特征图；
步骤Step1.5：根据先验指导网络输出的先验特征图筛选出FG和Gradient作为具有显著性先验知识的先验图像。
在本实施例中，通过传统图像处理或封装在OpenCV中的传统机器学习方法获取RGB图像的五种先验图像(包括LC、FT、FG、RC和Gradient)。设计简单的先验指导网络进行消融实验，验证五种先验图像与原输入图像的显著性表征能力强弱，挑选出比原输入图像的显著性表征能力强的先验图像。具体地，挑选出Gradient和FG两种有效显著性表征先验，FG显著性表征能力比Gradient强。而简单的先验指导网络包含两个模块：Backbone网络和多先验注意力网络。其中，Backbone网络使用的是Residual Network子网络ResNet50，处理输入的三通道RGB图像，多先验注意力网络使用四个带分组卷积的空间注意力模块处理输入的三通道先验特征图。最终，将两模块所得的全分辨率特征使用PyTorch框架中的add函数进行相加融合后输出。
步骤Step2：采用不同网络参数量的先验视觉注意力模块对不同的先验图像进行处理，获得八个不同尺度的显著性特征图。
具体包括：通过所述先验视觉注意力模块从Gradient获得的四项特征，所述四项特征为FG2、FG4、FG8和FG16，从FG获得的四项特征，所述四项特征为FF2、FF4、FF8和FF16，并使用标签mask对上采样至原图分辨率的FG2、FG4、FG8、FG16、FF2、FF4、FF8和FF16进行损失计算及阶段性反向传播优化；所述先验视觉注意力模块由四级伪孪生网络块串联而成，即当前级伪孪生网络块的输入为上一级伪孪生网络块的输出，每个伪孪生网络块包括通道配置子模块、空间注意力子模块和组间整合子模块，所述三个子模块按顺序串联，其中，所述通道配置子模块将每一级伪孪生网络块的输入特征通道数量增加至64、128、256和512，实现对显著性特征信息的增加及细化；所述空间注意力子模块利用PyTorch框架中的分组卷积按通道数量进行分组处理，分组数量与输入特征图通道数量保持一致，所述分组卷积的卷积核大小k共有三种，k＝1、k＝5和k＝7，激活函数使用高斯误差线性单元GELU进行特征激活；所述组间整合子模块使用2D卷积对所述空间注意力子模块输出的特征进行处理，将输出的特征通道数量转化至下一级伪孪生网络块要求的特征通道数，方便后续前向串联处理，输出即为FF2、FG2、FF4、FG4、FF8、FG8、FF16和FG16八个特征。
使用分组卷积按通道分组处理每一通道的特征，更有利于关注到显著性目标主体的相关特征。因此经过上述模块的处理，先验特征图中的冗余信息进一步被忽略掉，突出了显著性目标主体的相关特征。而较大分辨率的特征包含较多的结构化细节信息，较小分辨率特征包含较多整体语义信息。因此所提模块还具有分类显著性目标特征信息的作用。
步骤Step3：对所述八个不同尺度的显著性特征图进行特征融合，得到包含语义信息和结构化细节信息的四个融合特征表示，具体为通过逐像素相加操作和特征信息补充提升操作将输入八个特征级联为四个累积特征FP2、FP4、FP8和FP16。
如图5所示出的特征融合网络结构，所述对所述八个不同尺度的显著性特征图进行特征融合包括：
步骤Step3.1：通过逐像素相加操作将输入的所述八个特征按分辨率大小分为四组，采用使用PyTorch框架中add函数将每一组内两个分辨率一致的特征进行融合并进行batchnorm批归一化和GELU线性激活；
步骤Step3.2：然后通过特征信息补充操作利用较大分辨率特征具有的细节信息补充至较小分辨率特征具有的语义信息中：将原图分辨率
Figure BDA0003713417960000081
的FG2分别下采样至FG4、FG8和FG16分辨率进行逐像素相加融合，将原图分辨率
Figure BDA0003713417960000082
的FG4分别下采样至FG8和FG16分辨率进行逐像素相加融合，将原图分辨率
Figure BDA0003713417960000083
的FG8下采样至FG16分辨率进行逐像素相加融合，该操作可以使得所有累积特征都具有一定程度的显著性主体细节信息；
步骤Step3.3：使用标签mask对上采样至原图分辨率的FP2、FP4、FP8和FP16进行损失计算及阶段性反向传播优化。
逐步整合获得的八个不同尺度特征图，因此显著性目标信息也逐步累积。而首先使用逐像素加法将四组相同分辨率的特征相加得到融合后的四个特征，然后使用较大分辨率特征下采样去增强较小分辨率特征，使得较小分辨率特征中也具有细节信息，因此累积特征信息不仅包含目标整体的语义信息，也包含对于边缘先验捕获模块有帮助的结构化细节信息。
步骤Step4：根据所述四个融合特征表示提取显著性目标边缘特征信息。
如图4示出的边缘特征提取网络结构，具体可使用不同卷积核大小且不同空洞率的卷积组处理不同尺度的累积特征，逐步细化边缘结构化信息，并用于补充至最终上采样过后的全分辨率显著性mask中。
具体地，所述根据所述四个融合特征表示提取显著性目标边缘特征信息包括通过边缘提取操作对输入的四个特征进行边缘特征提取，然后利用边缘特征融合操作融合四个不同分辨率的特征，输出全分辨率的显著性边缘特征图FE；
步骤Step4.1：所述边缘提取操作利用两组不同卷积核大小k(k＝1,3)和不同空洞率d(d＝1,2)的空洞卷积组对输入特征进行处理,根据两组空洞卷积后的特征差值计算注意力权重图，将原特征图与所述注意力权重图相乘获得粗粒度的显著性边缘特征，所述显著性边缘特征再经过卷积、reshape和转置等操作，使得每个像素能够充分考虑到与所有其他像素关系来计算非局部增强权重图，将粗粒度的显著性边缘特征与非局部增强权重图相乘可得细粒度的显著性边缘特征图；
步骤Step4.2：所述边缘特征融合操作首先将得到的四个显著性边缘特征图上采样至原图分辨率，再使用PyTorch框架中的cat函数按通道拼接，最后使用卷积核大小为3*3的2D卷积将拼接特征通道数变为1；
步骤Step4.3：并使用边缘标签mask对FE进行损失计算及阶段性反向传播优化。
步骤Step5：将提取的显著性目标边缘特征信息补充至上采样后的全分辨率显著性mask中，根据补充信息后的显著性mask完成目标检测。因此最终所得显著性mask既具有显著性目标语义信息又包含较多结构化细节信息。
步骤Step5具体包括：
步骤Step5.1：首先将输入的FP2、FP4、FP8和FP16特征图上采样至原图分辨率，并融合为通道数1的显著性特征图FP；
步骤Step5.2：再利用PyTorch中的add函数将FP和包含边缘细节信息的FE逐像素相加融合，得到最终显著性mask。该操作最终得到的显著性mask兼顾显著性目标的语义信息和细节信息。
如图3所示，本发明利用已经成熟的传统图像处理方法或传统机器学习方法得到待检测图像的先验特征图，并利用先验特征设计模型参数量小、推理速度快的显著性目标检测网络，指导网络结合显著性目标的语义信息和结构化细节信息，得到更加精细的显著性mask。具体包括利用OpenCV封装的传统数字图像处理方法或传统机器学习方法获取输入RGB图像的五项先验特征图，实施消融实验挑选出显著性表征能力较强的两项特征图用于显著性目标检测网络输入；使用不同网络参数量的先验视觉注意力模块处理不同先验特征图，去除先验特征图中的冗余信息，突出显著性目标主体的相关特征；再逐步整合从先验视觉注意力模块获得的八个不同尺度特征图，使得累积特征信息不仅包含目标整体的语义信息，也包含对于边缘先验捕获部分有帮助的结构化细节信息；边缘先验捕获部分用于从获取的特征中提取显著性目标边缘特征，用于补充至最终上采样过后的全分辨率显著性mask中；最后利用逐像素相加输出操作将所得特征与边缘先验捕获部分融合输出最终全分辨率的显著性mask。
由图7所示出的不同场景下显著性目标检测的效果图可看出本发明能够对多目标、目标遮挡、微小目标等复杂场景下的目标进行高精度的显著性目标检测，得到高质量地前景主体分割结果图，可实现在前景和背景对比度低、背景复杂、主体形状复杂等各种复杂环境下的主体边缘的精确分割。
应当说明的是，本发明所述的实施方式仅仅是实现本发明的优选方式，对属于本发明整体构思，而仅仅是显而易见的改动，均应属于本发明的保护范围之内。

Claims (7)

1.一种多先验驱动的显著性目标检测算法，其特征在于，包括以下步骤：
获取待检测目标图像，并对所述待检测目标图像进行预处理，得到具有显著性先验知识的先验图像；
采用不同网络参数量的先验视觉注意力模块对不同的先验图像进行处理，获得八个不同尺度的显著性特征图；
对所述八个不同尺度的显著性特征图进行特征融合，得到包含语义信息和结构化细节信息的四个融合特征表示；
根据所述四个融合特征表示提取显著性目标边缘特征信息；
将提取的显著性目标边缘特征信息补充至上采样后的全分辨率显著性mask中，根据补充信息后的显著性mask完成目标检测。
2.如权利要求1所述的多先验驱动的显著性目标检测算法，其特征在于，所述预处理过程包括：
通过机器学习方法获取输入的待检测目标图像的五种先验图像，所述五种先验图像包括LC、FT、FG、RC和Gradient；
构建先验指导网络，并通过所述先验指导网络筛选出比原输入图像的显著性表征能力强的先验图像，并针对最终输出显著性mask与标签图像进行损失计算及反向传播优化，所述先验指导网络由ResNet50网络和多先验注意力网络组成；
将三通道RGB图像输入ResNet50网络进行处理，得到第一特征信息，所述多先验注意力网络使用四个带分组卷积的空间注意力模块对输入的三通道先验特征图进行处理输出第二特征信息；
通过add函数将所述第一特征信息和所述第二特征信息进行相加融合后输出先验特征图；
根据先验指导网络输出的先验特征图筛选出FG和Gradient作为具有显著性先验知识的先验图像。
3.如权利要求2所述的多先验驱动的显著性目标检测算法，其特征在于，所述采用不同网络参数量的先验视觉注意力模块对不同的先验特征图进行处理，获得八个不同尺度的显著性特征图包括：通过所述先验视觉注意力模块从Gradient获得的四项特征，所述四项特征为FG2、FG4、FG8和FG16，从FG获得的四项特征，所述四项特征为FF2、FF4、FF8和FF16，并使用标签mask对上采样至原图分辨率的FG2、FG4、FG8、FG16、FF2、FF4、FF8和FF16进行损失计算及阶段性反向传播优化；所述先验视觉注意力模块由四级伪孪生网络块串联而成，即当前级伪孪生网络块的输入为上一级伪孪生网络块的输出，每个伪孪生网络块包括通道配置子模块、空间注意力子模块和组间整合子模块，所述三个子模块按顺序串联。
4.如权利要求3所述的多先验驱动的显著性目标检测算法，其特征在于，所述通道配置子模块将每一级伪孪生网络块的输入特征通道数量增加至64、128、256和512，实现对显著性特征信息的增加及细化；所述空间注意力子模块利用PyTorch框架中的分组卷积按通道数量进行分组处理，分组数量与输入特征图通道数量保持一致，所述分组卷积的卷积核大小k共有三种，k＝1、k＝5和k＝7，激活函数使用高斯误差线性单元GELU进行特征激活；所述组间整合子模块使用2D卷积对所述空间注意力子模块输出的特征进行处理，将输出的特征通道数量转化至下一级伪孪生网络块要求的特征通道数，输出即为FF2、FG2、FF4、FG4、FF8、FG8、FF16和FG16八个特征。
5.如权利要求4所述的多先验驱动的显著性目标检测算法，其特征在于，所述对所述八个不同尺度的显著性特征图进行特征融合包括：
通过逐像素相加操作将输入的所述八个特征按分辨率大小分为四组，采用add函数将每一组内两个分辨率一致的特征进行融合并进行batchnorm批归一化和GELU线性激活；
然后通过特征信息补充操作利用较大分辨率特征具有的细节信息补充至较小分辨率特征具有的语义信息中：将原图分辨率
Figure FDA0003713417950000031
的FG2分别下采样至FG4、FG8和FG16分辨率进行逐像素相加融合，将原图分辨率
Figure FDA0003713417950000033
的FG4分别下采样至FG8和FG16，将原图分辨率
Figure FDA0003713417950000032
的FG8下采样至FG16，将分辨率进行逐像素相加融合；
使用标签mask对上采样至原图分辨率的FP2、FP4、FP8和FP16进行损失计算及阶段性反向传播优化。
6.如权利要求5所述的多先验驱动的显著性目标检测算法，其特征在于，所述根据所述四个融合特征表示提取显著性目标边缘特征信息包括通过边缘提取操作对输入的四个特征进行边缘特征提取，然后利用边缘特征融合操作融合四个不同分辨率的特征，输出全分辨率的显著性边缘特征图FE；
所述边缘提取操作利用两组不同卷积核大小k(k＝1,3)和不同空洞率d(d＝1,2)的空洞卷积组对输入特征进行处理,根据两组空洞卷积后的特征差值计算注意力权重图，将原特征图与所述注意力权重图相乘获得粗粒度的显著性边缘特征，所述显著性边缘特征再经过卷积、reshape和转置操作，计算非局部增强权重图，将粗粒度的显著性边缘特征与非局部增强权重图相乘可得细粒度的显著性边缘特征图；
所述边缘特征融合操作首先将得到的四个显著性边缘特征图上采样至原图分辨率，再使用PyTorch框架中的cat函数按通道拼接，最后使用卷积核大小为3*3的2D卷积将拼接特征通道数变为1；
并使用边缘标签mask对FE进行损失计算及阶段性反向传播优化。
7.如权利要求6所述的多先验驱动的显著性目标检测算法，其特征在于，所述将提取的显著性目标边缘特征信息补充至上采样后的全分辨率显著性mask中包括：首先将输入的FP2、FP4、FP8和FP16特征图上采样至原图分辨率，并融合为通道数1的显著性特征图FP；再利用PyTorch中的add函数将FP和FE逐像素相加融合，最终得到显著性mask。
CN202210726449.0A 2022-06-24 2022-06-24 一种多先验驱动的显著性目标检测算法 Pending CN115205641A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210726449.0A CN115205641A (zh) 2022-06-24 2022-06-24 一种多先验驱动的显著性目标检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210726449.0A CN115205641A (zh) 2022-06-24 2022-06-24 一种多先验驱动的显著性目标检测算法

Publications (1)

Publication Number Publication Date
CN115205641A true CN115205641A (zh) 2022-10-18

Family

ID=83577713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210726449.0A Pending CN115205641A (zh) 2022-06-24 2022-06-24 一种多先验驱动的显著性目标检测算法

Country Status (1)

Country Link
CN (1) CN115205641A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965844A (zh) * 2023-01-04 2023-04-14 哈尔滨工业大学 基于视觉显著性先验知识的多聚焦图像融合方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965844A (zh) * 2023-01-04 2023-04-14 哈尔滨工业大学 基于视觉显著性先验知识的多聚焦图像融合方法
CN115965844B (zh) * 2023-01-04 2023-08-18 哈尔滨工业大学 基于视觉显著性先验知识的多聚焦图像融合方法

Similar Documents

Publication Publication Date Title
CN111582316B (zh) 一种rgb-d显著性目标检测方法
CN113159151B (zh) 面向自动驾驶的多传感器深度融合3d目标检测方法
CN111583173B (zh) 一种rgb-d图像显著性目标检测方法
CN110909642A (zh) 一种基于多尺度语义特征融合的遥感图像目标检测方法
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111861880B (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
US20150023587A1 (en) Method for generating a depth map, related system and computer program product
CN113096140B (zh) 实例分割方法及装置、电子设备及存储介质
US20240029272A1 (en) Matting network training method and matting method
CN113591795A (zh) 一种基于混合注意力特征金字塔结构的轻量化人脸检测方法和系统
CN115131797B (zh) 一种基于特征增强金字塔网络的场景文本检测方法
CN110807384A (zh) 低能见度下的小目标检测方法和系统
CN112132164B (zh) 目标检测方法、系统、计算机装置及存储介质
CN114299383A (zh) 基于密度图与注意力机制融合的遥感图像目标检测方法
CN113920468A (zh) 一种基于跨尺度特征增强的多分支行人检测方法
CN115205641A (zh) 一种多先验驱动的显著性目标检测算法
CN117557784B (zh) 目标检测方法、装置、电子设备及存储介质
CN114821105A (zh) 一种联合图像金字塔引导和循环交叉注意力的光流计算方法
CN113393434A (zh) 一种基于非对称双流网络架构的rgb-d显著性检测方法
CN112801195A (zh) 一种基于深度学习的雾天能见度预测方法，存储装置及服务器
CN111881914A (zh) 一种基于自学习阈值的车牌字符分割方法及系统
CN115100409B (zh) 一种基于孪生网络的视频人像分割算法
CN113222012A (zh) 一种肺部数字病理图像自动定量分析方法及系统
CN112446292B (zh) 一种2d图像显著目标检测方法及系统
CN114565764A (zh) 基于舰船实例分割的港口全景感知系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination