CN108898136A - 一种跨模态图像显著性检测方法 - Google Patents

Abstract

本发明公开了一种跨模态图像显著性检测方法，输入配对的多模态图像，用基于超像素分割算法对不同模态进行分割，获取均匀、大小近似的超像素区域；设计基于图流形排序算法的多模态图像显著性检测模型，引入跨模态软一致性约束和流形排序拟合项稀疏性约束；以图像四边的超像素作为种子节点，计算其他节点与种子节点的相似性，得到初步的显著图；参考上一阶段得到的前景点作为种子节点，计算其他节点到该节点的相似性，得到最终的显著图。本发明提出了一种基于图流形排序算法互补地融合多模态图像的方法，并引入l₁范数实现跨模态软一致性约束和流形排序函数拟合项稀疏性约束，即在协同多个模态的基础上，允许部分不一致，增加拟合项的鲁棒性。

Description

一种跨模态图像显著性检测方法

技术领域

本发明涉及一种计算机视觉技术，尤其涉及的是一种跨模态图像显著性检测方法。

背景技术

基于流形排序的显著性检测是基于背景节点和前景节点，提出一种图像显著性检测算法。先利用背景节点作为先验知识，结合图像颜色特征和位置关系计算得到的基于背景节点集合的显著图像，因为背景节点是确定的，根据图像超像素与背景节点的对比度关系，可以将前景目标超像素很好的凸显出来，但对背景噪声的抑制不足，然后用前景作为先验知识，利用图像颜色特征和位置关系计算得到的基于前景节点集合的显著性图像能够很好的抑制背景噪声。两种显著性图像模型相互结合可以很好的突显目标并抑制背景噪声。

传统的显著性检测是基于单模态下图像。例如：可见光(波长0.4～0.7μm)图像包含丰富的几何和纹理细节，但是对光线敏感，在复杂场景和环境下图像质量急剧下降，如：雾霾和低光照等。而热红外(波长3～12μm)图像反映了场景中的表面温度分布，因此对光照不敏感，具有很好的云雾穿透、以及特殊的识别伪装的能力。但是，该类图像的分辨率一般比较低，边缘模糊，且容易受温度分布影响。

因此，利用多种模态下互补特性，从信息融合的角度出发，通过融合多个互补的视觉模态数据，实现挑战场景和环境下具有鲁棒性的多模态显著性检测。但如何自适应融合这些模态信息(如深度和可见光)对检测的鲁棒性和准确性尤为重要，现有方法使用跨模态一致性约束(例如，l₂范数约束[A Unified RGB-T Saliency Detection Benchmark:Dataset,Baselines,Analysis and A Novel Approach，一个统一的可见光与热红外显著性检测基准：数据集，基准方法，分析和新方法])，会对不同模态造成过强约束，易引入模态噪声或误差，致使不能良好地把多模态信息融合在一起。此外，对流形排序函数拟合项进行l₁范数约束，可以增加拟合项的鲁棒性，克服种子点噪声的干扰。

发明内容

本发明所要解决的技术问题在于：现有技术容易引入模态噪声或误差，致使不能良好地把多模态信息融合在一起，提供了一种跨模态图像显著性检测方法。

本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

(1)输入配对的多模态图像，用基于超像素分割算法对不同模态进行分割，获取均匀、大小近似的超像素区域；

(2)设计基于图流形排序算法的多模态图像显著性检测模型，引入跨模态软一致性约束和流形排序拟合项稀疏性约束；

(3)以图像四边的超像素作为种子节点，计算其他节点与种子节点的相似性，得到初步的显著图；

(4)参考上一阶段得到的前景点作为种子节点，计算其他节点到该节点的相似性，得到最终的显著图。

所述待检测图像为可见光与热红外两张配对形式的图像，由红、蓝、绿三个颜色通道组成，采用线性迭代聚类超像素分割，将具有相似纹理、颜色、亮度特征的相邻像素构成有一定视觉意义的不规则像素块。

所述步骤(1)具体过程如下：

(11)根据图像的大小计算像素点的总数，根据指定的超像素的个数计算每个超像素中所含的像素点总数；

(12)然后将聚类中心初始化在间隔为S的网格节点上；

(13)在以该像素为中心的3×3邻域内计算每个像素点的梯度，并选取梯度最小的像素点作为修正后的中心；

(14)搜索聚类中心周围2S×2S区域内的像素，根据D_s的大小确定像素点的归属；

(15)重新计算聚类中心，在新的聚类中心上重新聚类，依次迭代，直到前后两次计算的聚类中的距离小于一定的阈值则认为收敛，对于不连通的区域，将它合并到与之相邻的最大超像素块中。

根据分割完成的超像素建立图G＝<V,E>，V表示图中所有超像素节点，E表示超像素节点之间的边，任意两个节点之间的边权定义为

其中，k表示不同模态，表示超像素i，j在色相-饱和度-明度颜色空间的欧氏距离，r^k表示不同模态下的权重比例；

D表示度量矩阵，D＝∑_jW_ij。

所述步骤(2)中，引入跨模态软一致性约束和流形排序拟合项稀疏性约束来协同计算多模态的排序函数如下：

其中，r＝[r¹，...，r^k]^T表示模态权重向量；

对应模态k情况下每个超像素块x_i的排序值，表示排序值向量；

||s^k-y||₁是通过l₁范数对拟合项进行稀疏约束；

||s^k-s^k-1||₁是通过l₁范数实现跨模态的软一致性约束，即在协同多个模态的基础上，允许部分不一致，解决模态之间异质性的问题；

Γ＝[Γ¹，Γ²，...，Γ^M]^T为参数向量，由第一次迭代后的重构误差决定；

λ表示超参数，表示向量的点乘，即对应元素相乘，接着求解变量r和变量s。

所述步骤(3)中，包括以下步骤：

(31)首先选取背景节点，提取图像四周的边界超像素组合边界集合，选取图像左右两边位置在Ψ*w以内的超像素和上下两边位置在Ψ*h以内的超像素组成边界集合，其中w和h是图像的宽度，Ψ为获取边界集合的系数；

(32)利用图像中超像素与背景节点的颜色对比度进行显著性检测，与背景点颜色相近的超像素颜色块区域为背景，相差较大的区域为背景目标；

(33)分别把上、下、左、右四条边界的节点作为背景种子点，即查询对象，以图像边界处的查询对象计算图中节点相对于查询对象的排序得分，再用1减去该得分，最后把四个方向求出的前景点向量做点乘最终的第一步的显著性图如下 表示向量点乘，即对应元素相乘。

所述步骤(31)中，在Lab空间上表示图像的颜色特征，Lab色彩模式由三个通道组成，亮度L和色彩通道a，b，亮度L的范围值为0～100，色彩通道a值域为127～-128。

所述步骤(4)中，根据阈值选取前景，

阈值计算公式为： 代表的最大值，

T₂＝max(s₁)-β₂，max(s₁)代表s₁的最大值，β_k表示k模态的一个超参数；

根据阈值，显著度大于阈值的超像素块标记为前景，小于阈值的超像素块标记为背景，得到新的排序结果对整张图进行流形排序，并结合多个模态的权重值得到像素块最终的显著性值：此时再将每个超像素块的显著性值赋给对应超像素块中的每个像素点，得到最终的视觉显著性图。

本发明相比现有技术具有以下优点：本发明提出了一种基于图流形排序算法互补地融合多模态图像的方法，并引入l₁范数实现跨模态软一致性约束和流形排序函数拟合项稀疏性约束，即在协同多个模态的基础上，允许部分不一致，增加拟合项的鲁棒性，解决模态之间异质性问题，从而达到良好的多模态图像显著性检测效果。

附图说明

图1是本发明多模态图像显著性检测流程图；

图2是超像素分割图；

图3是可见光图、热红外图、l₁范数约束图、l₂范数约束图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例包括以下步骤：

(1)输入配对的多模态图像，用基于超像素分割算法对不同模态进行分割，获取均匀、大小近似的超像素区域；

(2)设计基于图流形排序算法的多模态图像显著性检测模型，引入跨模态软一致性约束和流形排序拟合项稀疏性约束；

(3)以图像四边的超像素作为种子节点，计算其他节点与种子节点的相似性，得到初步的显著图；

(4)参考上一阶段得到的前景点作为种子节点，计算其他节点到该节点的相似性，得到最终的显著图。

如图2所示，所述待检测图像为可见光与热红外两张配对形式的图像，由红、蓝、绿三个颜色通道组成，采用线性迭代聚类超像素(Simple Linear Iterative Clustering,SLIC)分割，将具有相似纹理、颜色、亮度特征的相邻像素构成有一定视觉意义的不规则像素块。

所述步骤(1)具体过程如下：

(11)根据图像的大小计算像素点的总数，根据指定的超像素的个数计算每个超像素中所含的像素点总数；

(12)然后将聚类中心初始化在间隔为S的网格节点上；

(13)为了提高鲁棒性，使中心点不至于落在边缘上，在以该像素为中心的3×3邻域内计算每个像素点的梯度，并选取梯度最小的像素点作为修正后的中心；

(14)搜索聚类中心周围2S×2S区域内的像素，根据D_s的大小确定像素点的归属；

(15)重新计算聚类中心，在新的聚类中心上重新聚类，依次迭代，直到前后两次计算的聚类中的距离小于一定的阈值则认为收敛，对于不连通的区域，将它合并到与之相邻的最大超像素块中。

根据分割完成的超像素建立图G＝<V,E>，V表示图中所有超像素节点，E表示超像素节点之间的边，任意两个节点之间的边权定义为

其中，k表示不同模态，表示超像素i，j在色相-饱和度-明度颜色空间的欧氏距离，r^k表示不同模态下的权重比例；

D表示度量矩阵，D＝∑_jW_ij。

基于多模态图像显著性模型引入跨模态软一致性约束和流形排序拟合项稀疏性约束。首先是经典的图流形排序方法，如下公式：然后将该模型拓展成多任务流形排序模型： 其中k表示不同模态。该模型表示不同模态相互独立，产生的影响相等，但实际情况是不同模态的可能会存在较大差异。此外，在协同计算多模态的排序函数问题上，现有方法是引入l₂范数约束，但这种方式约束过强，易引入噪声。

如图3所示：(a)表示可见光图像，(b)表示热红外图像，(c)表示使用l₁范数约束检测结果，(d)表示使用l₂范数约束检测结果。

由于l₂范的约束性较强，会使模态融合的自适应性变弱，相比较而言l₁范数更加稀疏，更有利于多模态的融合。所以本实施例提出l₁范数对不同模态做约束，以及对流形排序拟合项进行l₁范数约束。具体过程如下：引入跨模态软一致性约束和流形排序拟合项稀疏性约束来协同计算多模态的排序函数如下：

其中，r＝[r¹，...，r^k]^T表示模态权重向量；

对应模态k情况下每个超像素块x_i的排序值，表示排序值向量；

||s^k-y||₁是通过l₁范数对拟合项进行稀疏约束；

||s^k-s^k-1||₁是通过l₁范数实现跨模态的软一致性约束，即在协同多个模态的基础上，允许部分不一致，解决模态之间异质性的问题；

Γ＝[Γ¹，Γ²，...，Γ^M]^T为参数向量，由第一次迭代后的重构误差决定；

λ表示超参数，°表示向量的点乘，即对应元素相乘，接着求解变量r和变量s。

虽然在整个式子中所有变量不能同时满足凸问题条件，但在每个子问题中，不同变量符合凸问题条件并且有一个闭合解，所以采用ADMM算法(Distributed optimizationand statistical learning via the alternating direction method of multipliers，通过乘法器的交替方向分布式优化和机密学习)求解。

所述步骤(3)中，包括以下步骤：

(31)首先选取背景节点，提取图像四周的边界超像素组合边界集合，选取图像左右两边位置在Ψ*w以内的超像素和上下两边位置在Ψ*h以内的超像素组成边界集合，其中w和h是图像的宽度，Ψ为获取边界集合的系数；

本实施例的Ψ值为0.1，在Lab空间上表示图像的颜色特征，Lab色彩模式由三个通道组成，亮度L和色彩通道a，b，亮度L的范围值为0～100，色彩通道a值域为127～-128；

(32)利用图像中超像素与背景节点的颜色对比度进行显著性检测，与背景点颜色相近的超像素颜色块区域为背景，相差较大的区域为背景目标；

(33)分别把上、下、左、右四条边界的节点作为背景种子点，即查询对象，以图像边界处的查询对象计算图中节点相对于查询对象的排序得分，再用1减去该得分，最后把四个方向求出的前景点向量做点乘最终的第一步的显著性图如下 表示向量点乘，即对应元素相乘。

所述步骤(4)中，上一阶段得到的和s₁是从边界先验的角度得到的初步的显著性图。前景区域在图像中有较高的显著值，由于经过对比度优化，前景区域的显著性会提高，为了提高前景检测的鲁棒性，本实施例不再使用平均灰度值作为选取前景的依据，而是根据实验结果，设计了新的阈值：阈值计算公式为： 代表的最大值，T₂＝max(s₁)-β₂，max(s₁)代表s₁的最大值，β_k表示k模态的一个超参数；

根据阈值，显著度大于阈值的超像素块标记为前景，小于阈值的超像素块标记为背景，得到新的排序结果对整张图进行流形排序，并结合多个模态的权重值得到像素块最终的显著性值：此时再将每个超像素块的显著性值赋给对应超像素块中的每个像素点，得到最终的视觉显著性图。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种跨模态图像显著性检测方法，其特征在于，包括以下步骤：

(1)输入配对的多模态图像，用基于超像素分割算法对不同模态进行分割，获取均匀、大小近似的超像素区域；

(2)设计基于图流形排序算法的多模态图像显著性检测模型，引入跨模态软一致性约束和流形排序拟合项稀疏性约束；

(3)以图像四边的超像素作为种子节点，计算其他节点与种子节点的相似性，得到初步的显著图；

(4)参考上一阶段得到的前景点作为种子节点，计算其他节点到该节点的相似性，得到最终的显著图。

2.根据权利要求1所述的一种跨模态图像显著性检测方法，其特征在于，所述待检测图像为可见光与热红外两张配对形式的图像，由红、蓝、绿三个颜色通道组成，采用线性迭代聚类超像素分割，将具有相似纹理、颜色、亮度特征的相邻像素构成有一定视觉意义的不规则像素块。

3.根据权利要求1所述的一种跨模态图像显著性检测方法，其特征在于，所述步骤(1)具体过程如下：

(11)根据图像的大小计算像素点的总数，根据指定的超像素的个数计算每个超像素中所含的像素点总数；

(12)然后将聚类中心初始化在间隔为S的网格节点上；

(13)在以该像素为中心的3×3邻域内计算每个像素点的梯度，并选取梯度最小的像素点作为修正后的中心；

(14)搜索聚类中心周围2S×2S区域内的像素，根据D_s的大小确定像素点的归属；

(15)重新计算聚类中心，在新的聚类中心上重新聚类，依次迭代，直到前后两次计算的聚类中的距离小于一定的阈值则认为收敛，对于不连通的区域，将它合并到与之相邻的最大超像素块中。

4.根据权利要求3所述的一种跨模态图像显著性检测方法，其特征在于，根据分割完成的超像素建立图G＝<V,E>，V表示图中所有超像素节点，E表示超像素节点之间的边，任意两个节点之间的边权定义为

其中，k表示不同模态，表示超像素i，j在色相-饱和度-明度颜色空间的欧氏距离，r^k表示不同模态下的权重比例；

D表示度量矩阵，D＝∑_jW_ij。

5.根据权利要求3所述的一种跨模态图像显著性检测方法，其特征在于，所述步骤(2)中，引入跨模态软一致性约束和流形排序拟合项稀疏性约束来协同计算多模态的排序函数如下：

其中，r＝[r¹，...，r^k]^T表示模态权重向量；

对应模态k情况下每个超像素块x_i的排序值，表示排序值向量；

||s^k-y||₁是通过l₁范数对拟合项进行稀疏约束；

||s^k-s^k-1||₁是通过l₁范数实现跨模态的软一致性约束，即在协同多个模态的基础上，允许部分不一致，解决模态之间异质性的问题；

Γ＝[Γ¹，Γ²，...，Γ^M]^T为参数向量，由第一次迭代后的重构误差决定；

λ表示超参数，°表示向量的点乘，即对应元素相乘，接着求解变量r和变量s。

6.根据权利要求5所述的一种跨模态图像显著性检测方法，其特征在于，所述步骤(3)中，包括以下步骤：

(31)首先选取背景节点，提取图像四周的边界超像素组合边界集合，选取图像左右两边位置在Ψ*w以内的超像素和上下两边位置在Ψ*h以内的超像素组成边界集合，其中w和h是图像的宽度，Ψ为获取边界集合的系数；

(32)利用图像中超像素与背景节点的颜色对比度进行显著性检测，与背景点颜色相近的超像素颜色块区域为背景，相差较大的区域为背景目标；

(33)分别把上、下、左、右四条边界的节点作为背景种子点，即查询对象，以图像边界处的查询对象计算图中节点相对于查询对象的排序得分，再用1减去该得分，最后把四个方向求出的前景点向量做点乘最终的第一步的显著性图如下 表示向量点乘，即对应元素相乘。

7.根据权利要求6所述的一种跨模态图像显著性检测方法，其特征在于，所述步骤(31)中，在Lab空间上表示图像的颜色特征，Lab色彩模式由三个通道组成，亮度L和色彩通道a，b，亮度L的范围值为0～100，色彩通道a值域为127～-128。

8.根据权利要求6所述的一种跨模态图像显著性检测方法，其特征在于，所述步骤(4)中，根据阈值选取前景，

阈值计算公式为： 代表的最大值，

T₂＝max(s₁)-β₂，max(s₁)代表s₁的最大值，β_k表示k模态的一个超参数；

根据阈值，显著度大于阈值的超像素块标记为前景，小于阈值的超像素块标记为背景，得到新的排序结果对整张图进行流形排序，并结合多个模态的权重值得到像素块最终的显著性值：此时再将每个超像素块的显著性值赋给对应超像素块中的每个像素点，得到最终的视觉显著性图。