CN113011438B

CN113011438B - 基于节点分类和稀疏图学习的双模态图像显著性检测方法

Info

Publication number: CN113011438B
Application number: CN202110279291.2A
Authority: CN
Inventors: 龚奥军; 史家顺
Original assignee: 东北大学
Priority date: 2021-03-16
Filing date: 2021-03-16
Publication date: 2023-09-05
Anticipated expiration: 2041-03-16
Also published as: CN113011438A

Abstract

本发明公开了基于节点分类和稀疏图学习的双模态图像显著性检测方法，属于计算机视觉技术领域。该方法首先将热红外图像作为彩色图像的一个图像通道进行超像素分割，然后提取双模态图像中每一超像素的颜色特征和多层语义特征并建立图模型，接下来对两种模态图像的颜色特征进行低秩矩阵分解，产生对应的低秩矩阵和稀疏矩阵，进而对图模型节点进行分类，根据节点分类距离和欧几里得距离计算初始邻接矩阵，然后多次使用初始邻接矩阵和指示向量进行稀疏图学习显著性排序，得到显著性图。相较于现有显著性检测方法，该方法显著提高了检测精度，可以很好地将图像显著性区域与背景分离开，且对在雨雾环境、光线不足环境下拍摄的图像依旧有着良好的表现。

Description

基于节点分类和稀疏图学习的双模态图像显著性检测方法

技术领域

本发明涉及图像显著性检测方法，具体涉及一种基于节点分类和稀疏图学习的双模态图像显著性检测方法。

背景技术

显著性检测是通过模拟人眼的注意力机制，识别图像中最吸引人注目的对象或区域。作为图像处理中的关键一步，显著性目标检测在图像分割，目标跟踪，图像融合等计算机视觉任务中起着重要作用。

目前大多数的显著性检测方法主要是针对于可见光图像，也就是RGB图像设计的。当暴露于光照条件差或者背景复杂等挑战性环境下，针对于RGB图像设计的方法可能无法准确的将显著性目标与图像背景区分开。因此，一些研究者开始使用多个传感器去获取不同模态的图像，利用不同模态图像之间的优势互补进一步提高显著性检测的效果。当前被广泛使用的就是RGB图像和深度图像。深度图像也被称为距离影像，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了物体可见表面的几何形状。深度图像的使用，为显著性检测提供了物体的三维信息，弥补了RGB图像只包含颜色纹理等底层特征的缺点。但是，深度图像本身分辨率较差，图像中噪声信息较多，有用信息较少且可利用率低。因此，结合RGB图像和深度图像的显著性检测方法通常只是将深度图像作为增补信息，对RGB图像进行信息的补充，而且深度图像的使用并没有解决RGB图像在光照条件不好时成像素质差的问题。为了解决上述问题，极少数的研究者开始探索一种信息更加丰富的图像，用以结合RGB图像进行双模态图像的显著性检测。这种新的图像就是热红外图像。

热红外图像是由专业的热红外相机拍摄而成。热红外相机的成像不需要光照，而是通过捕获温度高于绝对零值的物体发出的红外辐射进行成像，因此热红外相机可以弥补可见光相机在雨雾天气下或光照不足时无法很好成像的缺点。但是热红外图像相较于RGB图像来说，通常分辨率较低、图像中物体轮廓不是特别清晰。因此，热红外图像与RGB图像具有优势互补的特点，使用这两种模态的图像进行显著性检测可以进一步提高显著性检测的性能。目前使用RGB图像和热红外图像进行显著性检测是一个十分新颖的研究课题，只有少数的研究者进行了这方面的研究：Li等人首先提出了一种用于RGB图像和热红外图像显著性检测的多任务流形排序的方法；Tu等人通过构建了协同图学习模型来进行双模态图像的显著性检测；Huang等人提出低秩张量模型和多重学习的排序方法。以上用于RGB图像和热红外图像显著性检测方法通常存在以下几个问题：1、以上方法采用的图学习是完整信息的图学习，这会造成信息的重复学习，使得计算量增加并且造成信息冗余；2、以上方法都是使用欧几里得距离计算邻接矩阵，这种计算方法只考虑了节点之间的局部关系，没有考虑其全局关系，进而造成显著性检测的精度并不高。

发明内容

针对现有技术存在的问题，本发明提供了一种基于节点分类和稀疏图学习的双模态图像显著性检测方法，旨在降低基于彩色图像-热红外图像双模态图像的显著性检测的计算量和提高显著性检测的精度。

本发明的技术方案是：

一种基于节点分类和稀疏图学习的双模态图像显著性检测方法，包括如下步骤：

步骤1：对彩色图像和热红外图像进行叠加，并对叠加后的图像进行超像素分割得到具有n个超像素块的超像素分割图像，且将超像素分割标签映射到彩色图像和热红外图像；

步骤2：分别对映射后的彩色图像和热红外图像中每一个超像素块提取其各自具有的颜色特征和语义特征并构造相应的特征矩阵，得到彩色图像的特征矩阵和热红外图像的特征矩阵；

步骤3：根据上述彩色图像的特征矩阵和热红外图像的特征矩阵分别建立对应的图模型；

步骤4：分别对彩色图像的颜色特征和热红外图像的颜色特征进行低秩矩阵分解，分别得到与彩色图像的颜色特征相对应的稀疏矩阵和低秩矩阵以及与热红外图像颜色特征相对应的稀疏矩阵和低秩矩阵；

步骤5：根据彩色图像与热红外图像各自对应的稀疏矩阵和低秩矩阵，分别将彩色图像与热红外图像各自对应的图模型上的节点分成前景节点、背景节点和无效节点；

步骤6：根据每一图模型上的各类节点，计算彩色图像和热红外图像各自分别对应的每一图模型的初始邻接矩阵；

步骤7：根据步骤1得到的超像素分割图像构造用于显著性排序的背景指示向量；

步骤8：根据步骤6得到的邻接矩阵和步骤7得到的背景指示向量，利用稀疏图学习显著性排序算法进行稀疏图学习显著性排序，分别计算不同背景指示向量相对应的显著性排序；

步骤9：将不同的显著性排序的元素对应相乘得到初始显著性值；

步骤10：对步骤9得到的初始显著性值设置阈值构造前景指示向量，即大于初始显著性平均值的节点视为前景种子点，其余视为背景种子点，将前景指示向量和初始邻接矩阵输入到稀疏图学习显著性排序算法中进行计算，得到最终的显著性图。

进一步地，根据所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，在步骤1中将热红外图像作为彩色图像的一个图像通道进行图像叠加，在图像叠加过程中将彩色图像和热红外图像的像素值各取一半进行相加，得到叠加后的图像。

进一步地，根据所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，在步骤1中使用SLIC算法对叠加后的图像进行超像素分割。

进一步地，根据所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，步骤2中所述的语义特征为两层语义特征，分别是FCN-32s网络的第一卷积层特征和第五卷积层特征。

进一步地，根据所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，步骤3中所述的图模型的节点是超像素分割后的超像素块。

进一步地，根据所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，步骤5中所述的前景节点、背景节点和无效节点的分类标准为：前景节点的分类标准是当时，则第p个节点被认定为是前景节点，其中q_p是指稀疏矩阵S第p列所有元素的和；背景节点的分类标准是当/>时，则第r个节点被认定为是背景节点，其中b_r是指低秩矩阵L第r列所有元素的和；既不属于前景节点，又不属于背景节点的节点则被认定为无效节点。

进一步地，根据所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，所述图模型的初始邻接矩阵表示为按照式(2)进行计算：

其中，m∈{1,2,…,M}代表了不同的模态图像，M为所使用的图像模态的总数；k∈{1,2,…,K}代表了每种模态图像的不同特征，K为每种模态图像所使用的图像特征的总数；w_ij是邻接矩阵W的第i行，第j列的元素值；x是从节点中提取的特征向量；κ和δ是参数。

进一步地，根据所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，步骤7中所述的根据超像素分割图像构造背景指示向量的方法为：将超像素分割图像的上边界的超像素块提取出来构造向量y_t；同理，依次将超像素分割图像的下边界的超像素块、左边界的超像素块、右边界的超像素块提取出来构造向量y_b，y_l，y_r；所构造的向量y_t，y_b，y_l，y_r用作背景指示向量，其中y＝[y₁,y₂,…,y_n]^T，y_i＝1代表节点属于显著性区域，y_i＝0代表节点不属于显著性区域。

进一步地，根据所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，步骤8中所述的稀疏图学习显著性排序算法的内容包括：

其中，f是计算得到的显著性值；I是一个单位矩阵；A＝[a₁,a₂,...,a_n]是经过图学习后的邻接矩阵，D_A＝∑_jA_ij；L_W＝D_W-W是矩阵W的拉普拉斯矩阵，D_W＝∑_jW_ij；P是一个稀疏矩阵，由矩阵W分解而来；U是一个基矩阵，由矩阵W分解而来；Tr(·)是求矩阵的迹；||·||_F是求矩阵的F-范数；θ，η，μ，τ，ξ，λ，γ1，γ2是参数；

Sparse_Learning是稀疏图学习显著性排序算法的稀疏图学习形式，Main_Learning是稀疏图学习显著性排序算法的主学习形式，其中α和β是自适应参数，分别控制不同模态图像和不同特征之间的权重，且满足：

所述稀疏图学习显著性排序算法的迭代求解方式为：

1)、迭代求解A：

式中，矩阵F通过公式F_ij＝(f_i-f_j)²进行计算；

2)、迭代求解U：

3)、迭代求解P:

4)、迭代求解β：

5)、迭代求解α：

6)、迭代求解f：

其中，L_A＝D_A-A，D_A＝∑_jA_ij。

进一步地，根据所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，所述稀疏图学习显著性排序算法中的参数设置为：{γ₁,γ₂,θ,η,μ,τ,ξ,λ}＝{0.5,8,0.0001,4e-7,0.001,0.1,1e-8,0.001}。

与现有技术相比，本发明具有如下有益效果：

(1)本发明采用了双模态图像，即彩色图像和热红外图像，进行显著性检测，可以自适应的结合两种模态图像的优点，达到两种模态图像的优势互补，进而实现对在复杂背景、雨雾天气、光照条件差等挑战环境下拍摄的图像依旧取得良好检测效果的目的；

(2)本发明在计算邻接矩阵时充分考虑了节点之间的局部和空间关系，基于图像特征的低秩矩阵分解将图模型的节点进行分类，之后结合欧几里得距离进行同一类节点之间的邻接性计算，既考虑了节点之间的全局关系，又减少了不同类节点之间邻接性的计算，从而保证了邻接矩阵计算的准确性，提高了显著性检测的精度；

(3)本发明将显著性排序计算和图学习过程结合起来，为了能够更好地分离图像的前景和背景，采用稀疏约束对初始邻接矩阵进行学习；稀疏约束的采用，可以使图像中的有用信息更加突出，相似节点的距离拉近，不同类别节点的距离更一步加大，从而取得更好的显著性检测结果。

附图说明

图1为本发明基于节点分类和稀疏图学习的双模态图像显著性检测方法的流程图；

图2为本发明基于节点分类和稀疏图学习的双模态图像显著性检测方法实施过程示意图；

图3为本发明方法应用在具体图像上得到的显著性检测结果图；

图4为本发明基于节点分类和稀疏图学习的双模态图像显著性检测方法与现有显著性检测方法的检测结果对比图。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。

图1是本发明的基于节点分类和稀疏图学习的双模态图像显著性检测方法的流程图。图2是本发明实施方式的基于节点分类和稀疏图学习的双模态图像显著性检测方法的实施过程示意图。下面结合图1和图2对该方法做详细描述，如图1和图2所示，该方法包括如下步骤：

步骤1：对彩色图像和热红外图像进行叠加，并对叠加后的图像进行超像素分割得到具有n个超像素块的超像素分割图像，且将超像素分割标签映射到彩色图像和热红外图像当中。

在该步骤的实施方式中将热红外图像作为彩色图像的一个图像通道进行图像叠加，使用SLIC(Simple Linear Iterative Clustering，简单线性迭代聚类)算法对叠加后的图像进行超像素分割，得到具有n个超像素块的超像素分割图像，并将超像素分割标签映射到彩色图像和热红外图像当中。将热红外图像作为彩色图像的一个图像通道进行图像叠加是指将彩色图像和热红外图像的像素值各取一半进行相加，得到叠加后的图像。

步骤2：分别对映射后的彩色图像和热红外图像中每一个超像素块提取其各自具有的颜色特征和语义特征并构造相应的特征矩阵，得到彩色图像的特征矩阵和热红外图像的特征矩阵。

所述颜色特征是CIE-LAB(国际照明委员会规定的LAB)颜色特征，所述语义特征为两层语义特征，分别是FCN-32s(Fully Convolutional Networks-32s，反卷积步长为32的全卷积网络)网络的第一卷积层特征和第五卷积层特征。并根据所提取的彩色图像的颜色特征和两层语义特征构造彩色图像的这三种特征所分别对应的特征矩阵，以下简称彩色图像的特征矩阵，并根据所提取的热红外图像的颜色特征和两层语义特征构造热红外图像的这三种特征所分别对应的特征矩阵，以下简称热红外图像的特征矩阵。

步骤3：根据上述彩色图像的特征矩阵和热红外图像的特征矩阵分别建立对应的图模型。根据上述，彩色图像的三种特征对应3个特征矩阵，则可建立3个图模型，同理，热红外图像的三种特征也对应3个特征矩阵，也可建立3个图模型。所述图模型表示为G＝(V,E)，其中V代表图模型的节点，也就是超像素分割后的超像素块；E代表节点之间连接的边。

步骤4：分别对彩色图像的颜色特征和热红外图像的颜色特征进行低秩矩阵分解，分别得到与彩色图像的颜色特征相对应的稀疏矩阵和低秩矩阵以及与热红外图像颜色特征相对应的稀疏矩阵和低秩矩阵。

在该步骤中采用式(1)对颜色特征进行低秩矩阵分解：

其中，S代表稀疏矩阵；L代表低秩矩阵；||·||_*是矩阵的核范数，||·||₁是矩阵的l₁范数，ω是一个大于0的参数，X是输入图像的颜色特征。

步骤5：根据彩色图像与热红外图像各自对应的稀疏矩阵和低秩矩阵，分别将彩色图像与热红外图像各自对应的图模型上的节点分成前景节点、背景节点和无效节点。

具体而言，根据彩色图像的稀疏矩阵和低秩矩阵，将彩色图像对应的图模型上的节点分成三类：前景节点、背景节点和无效节点；同时，根据热红外图像的稀疏矩阵和低秩矩阵，将热红外图像对应的图模型上的节点分成三类：前景节点、背景节点和无效节点；前景节点的分类标准是当时，则第p个节点被认定为是前景节点，其中q_p是指稀疏矩阵S第p列所有元素的和；背景节点的分类标准是当/>时，则第r个节点被认定为是背景节点，其中b_r是指低秩矩阵L第r列所有元素的和；当一个节点既不属于前景节点，又不属于背景节点时，那么这个节点就被认定为无效节点。

步骤6：根据每一图模型上的各类节点，计算彩色图像和热红外图像各自分别对应的每一图模型的初始邻接矩阵。

所述图模型的初始邻接矩阵表示为在本实施方式中是根据节点分类距离和欧几里得距离进行计算得到，计算方法如下：

其中，m∈{1,2,…,M}代表了不同的模态图像，M为所使用的图像模态的总数，即M为2；k∈{1,2,…,K}代表了每种模态图像的不同特征，K为每种模态图像所使用的图像特征的总数，即K为3；w_ij是邻接矩阵W的第i行，第j列的元素值，x是从节点中提取的特征向量，κ和δ是参数。

步骤7：根据步骤1得到的超像素分割图像构造用于显著性排序的背景指示向量。

将上述步骤得到的超像素分割图像的上边界的超像素块提取出来构造向量y_t；同理，依次将超像素分割图像的下边界的超像素块、左边界的超像素块、右边界的超像素块提取出来构造向量y_b，y_l，y_r；所构造的向量y_t，y_b，y_l，y_r用作接下来的显著性排序步骤中的背景指示向量，其中y＝[y₁,y₂,…,y_n]^T，y_i＝1代表节点属于显著性区域，y_i＝0代表节点不属于显著性区域。

步骤8：根据步骤6得到的邻接矩阵和步骤7得到的背景指示向量，利用稀疏图学习显著性排序算法进行稀疏图学习显著性排序，分别计算不同背景指示向量相对应的显著性排序。

该步骤的具体实施方式是根据上述步骤得到的邻接矩阵W^(m,k)和背景指示向量y_t，y_b，y_l，y_r，按照式(3)、(4)和(5)给出的稀疏图学习显著性排序算法进行稀疏图学习显著性排序，分别计算不同背景指示向量y_t，y_b，y_l，y_r所分别相对应的显著性排序f_t，f_b，f_l，f_r。

Main_Learning是稀疏图学习显著性排序算法的主学习形式，其中α和β是自适应参数，分别控制不同模态图像和不同特征之间的权重，且满足：

Sparse_Learning是稀疏图学习显著性排序算法的稀疏图学习形式，稀疏图学习不同于现有的图学习方法，本发明通过将初始邻接矩阵W分解成稀疏矩阵P，稀疏矩阵P增强了图像的稀疏性，从而使得初始邻接矩阵中的有用信息更加突出，抑制初始邻接矩阵中的无用信息，有利于提升显著性检测的效果；由于稀疏矩阵的稀疏性，使得图学习的计算大大减少。

稀疏图学习显著性排序算法的迭代求解方式为：

1)、迭代求解A：

式中，矩阵F通过公式F_ij＝(f_i-f_j)²进行计算；

2)、迭代求解U：

3)、迭代求解P:

4)、迭代求解β：

5)、迭代求解α：

6)、迭代求解f：

式中，L_A＝D_A-A，D_A＝∑_jA_ij；

步骤9：将上述得到的不同的显著性排序的元素对应相乘得到初始显著性值。

该步骤的具体实施方式是将上述步骤中计算得到的四个显著性排序f_t，f_b，f_l，f_r的元素对应相乘得到初始显著性值，初始显著性值可以显示为初始显著性图。

步骤10：对步骤9得到的初始显著性值设置阈值构造前景指示向量，即大于初始显著性平均值的节点视为前景种子点，其余视为背景种子点，将前景指示向量和初始邻接矩阵W^(m,k)输入到稀疏图学习显著性排序算法中进行计算，得到最终的显著性图。

具体实施时，基于节点分类和稀疏图学习的双模态图像显著性检测方法的参数根据计算得到的显著性图进行手动调参以达到最好的结果，最终将本发明提出的稀疏图学习显著性排序算法的参数设置为：{γ₁,γ₂,θ,η,μ,τ,ξ,λ}＝{0.5,8,0.0001,4e-7,0.001,0.1,1e-8,0.001}。

图3是采用本发明的方法在具体图像上的显著性检测结果图。其中，图3(a)是输入的彩色图像；图3(b)是输入的热红外图像；图3(c)是利用本发明方法得到的显著性检测结果图。从图中可以看出，本发明的方法可以充分结合双模态图像的互补优势，达到良好的检测效果。

图4是本发明的方法与其他现有的先进的显著性检测方法的检测结果对比图。其中，图4(a)为输入的彩色图像，图4(b)为输入的红外图像，图4(c)为MR方法的检测结果图，图4(d)为SMD方法的检测结果图，图4(e)为MILPS方法的检测结果图，图4(f)为RCRR方法的检测结果图，图4(g)为AMC-AE方法的检测结果图，图4(h)为MTMR方法的检测结果图，图4(i)为SDGL方法的检测结果图，图4(j)为LTCR方法的检测结果图，图4(k)为本发明方法的检测结果图，图4(l)为显著性真值标记图。直观地对比结果图可以看出，本发明的方法可以较为准确的提取出图像的显著性区域，相比于其他现有方法在提取精度上有很大的优势。

应当理解的是，本领域技术人员在本发明技术构思的启发下，在不脱离本发明内容的基础上，可以根据上述说明做出各种改进或变换，这仍落在本发明的保护范围之内。

Claims

1.一种基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，在步骤1中将热红外图像作为彩色图像的一个图像通道进行图像叠加，在图像叠加过程中将彩色图像和热红外图像的像素值各取一半进行相加，得到叠加后的图像。

3.根据权利要求1所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，在步骤1中使用SLIC算法对叠加后的图像进行超像素分割。

4.根据权利要求1所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，步骤2中所述的语义特征为两层语义特征，分别是FCN-32s网络的第一卷积层特征和第五卷积层特征。

5.根据权利要求1所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，步骤3中所述的图模型的节点是超像素分割后的超像素块。

6.根据权利要求1所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，步骤5中所述的前景节点、背景节点和无效节点的分类标准为：前景节点的分类标准是当时，则第p个节点被认定为是前景节点，其中q_p是指稀疏矩阵S第p列所有元素的和；背景节点的分类标准是当/>时，则第r个节点被认定为是背景节点，其中b_r是指低秩矩阵L第r列所有元素的和；既不属于前景节点，又不属于背景节点的节点则被认定为无效节点。

7.根据权利要求6所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，所述图模型的初始邻接矩阵表示为按照式(2)进行计算：

8.根据权利要求7所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，步骤7中所述的根据超像素分割图像构造背景指示向量的方法为：将超像素分割图像的上边界的超像素块提取出来构造向量y_t；同理，依次将超像素分割图像的下边界的超像素块、左边界的超像素块、右边界的超像素块提取出来构造向量y_b，y_l，y_r；所构造的向量y_t，y_b，y_l，y_r用作背景指示向量，其中y＝[y₁,y₂,…,y_n]^T，y_i＝1代表节点属于显著性区域，y_i＝0代表节点不属于显著性区域。

9.根据权利要求8所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，步骤8中所述的稀疏图学习显著性排序算法的内容包括：

所述稀疏图学习显著性排序算法的迭代求解方式为：

1)、迭代求解A：

式中，矩阵F通过公式F_ij＝(f_i-f_j)²进行计算；

2)、迭代求解U：

3)、迭代求解P:

4)、迭代求解β：

5)、迭代求解α：

6)、迭代求解f：

其中，L_A＝D_A-A，D_A＝∑_jA_ij。

10.根据权利要求9所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，所述稀疏图学习显著性排序算法中的参数设置为：{γ₁,γ₂,θ,η,μ,τ,ξ,λ}＝{0.5,8,0.0001,4e-7,0.001,0.1,1e-8,0.001}。