CN106993186B - 一种立体图像显著性检测方法 - Google Patents

Abstract

本发明涉及一种立体显著性检测方法，输入待检测立体图像的左图及待检测立体图像的深度图，将左图进行CIELab颜色空间变换，提取颜色空间变换后的左图的L亮度通道、a颜色通道和b颜色通道；将颜色变换后的左图和输入的待检测立体图像的深度图进行SLIC超像素分割，计算区域间对比度，归一化，去噪后得到待检测立体图像的空域显著图；分别对每个R通道子块、G通道子块和B通道子块进行DCT变换，计算区域间对比度，归一化、去噪后得到待检测立体图像的变化域显著图；融合空域显著图和变化域显著图，得到待检测立体图像的最终显著图。与现有技术相比，本发明的优点在于：能准确的检测出复杂背景图像图像显著性区域，鲁棒性与适应性更强。

Description

一种立体图像显著性检测方法

技术领域

本发明属于图像处理领域，特别涉及一种立体图像显著性检测方法。

背景技术

视觉显著性检测在计算机视觉领域中有着广泛的应用，如应用在目标识别、图像分割和图像视频压缩等方面。视觉显著性是指在视觉处理机制的早期阶段能够引起观看者的兴趣或引起人们注意的区域。目前视觉显著性检测算法主要是用于研究平面图像的显著性，有人提出了一种基于区域对比度的视觉注意模型，通过计算不同区域间的色彩差异，得到图像显著图，但这种算法只考虑颜色特征，没有考虑深度信息，当显著性对象的颜色特征没有独特视觉差异时，这种算法将不能检测具有复杂背景的图像显著性区域。

目前，立体图像的视觉显著性检测研究还处于起步阶段，有人认为视差不连续的区域能够引起人类视觉注意，通过颜色对比来识别视差不连续的区域，但是这种方法的误差较大；又有人提出使用提取视频的光流和运动信息的方法，在凝视和扫视中依据视差提取掩膜，但计算量大且不适用于图像显著性区域检测。有文献论证加入深度信息更加符合人类视觉注意机制。在人类视觉机制中，双眼的差异会造成现实成像的不同，这种左右眼的成像的不同即视差，是在视觉感知处理过程中获取深度信息的重要线索，深度信息能够帮助从相似的背景中进行有效的显著性检测。

发明内容

本发明所要解决的技术问题是针对上述现有技术提供一种立体图像显著性检测方法，该方法能够准确的检测出复杂背景的立体图像显著性区域，具有更强的鲁棒性与适应性。

本发明解决上述技术问题所采用的技术方案为：一种立体图像显著性检测方法，其特征在于：包括以下步骤：

步骤(1)、输入待检测立体图像的左图及待检测立体图像的深度图，提取左图的R颜色通道、G颜色通道和B颜色通道；然后将左图进行CIELab颜色空间变换，得到颜色空间变换后的左图，提取颜色空间变换后的左图的L亮度通道、a颜色通道和b颜色通道；

步骤(2)、获取待检测立体图像的空域显著图，具体包含如下步骤：

步骤(2-1)、将颜色空间变换后的左图进行SLIC超像素分割，得到具有N个彩色分割块的彩色分割图，N为彩色分割块的总数；

步骤(2-2)、根据步骤(2-1)得到的彩色分割图，提取L亮度特征矩阵L^mat，a颜色特征矩阵a^mat，b颜色特征矩阵b^mat，其中L亮度特征矩阵L^mat的元素表示彩色分割图的L亮度通道特征值；a颜色特征矩阵a^mat的元素表示彩色分割图的a颜色通道特征值；b颜色特征矩阵b^mat的元素表示彩色分割图的b颜色通道特征值；

步骤(2-3)、将步骤(1)中输入的待检测立体图像的深度图也进行SLIC超像素分割，得到具有N个深度分割块的深度分割图，根据深度分割图提取第一深度特征矩阵D^mat，第一深度特征矩阵D^mat的元素表示深度分割图的深度特征值；

步骤(2-4)、根据步骤(2-2)和步骤(2-3)得到的L^mat、a^mat、b^mat和D^mat组成第一特征向量Fⁱ＝{Lⁱ,aⁱ,bⁱ,Dⁱ},其中Lⁱ∈L^mat，aⁱ∈a^mat，bⁱ∈b^mat,Dⁱ∈D^mat；

步骤(2-5)、根据步骤(2-4)得到的第一特征向量Fⁱ，计算任意一块彩色分割块与其他所有彩色分割块的区域对比度：

第i个彩色分割块与剩余其他所有彩色分割块的区域对比度S(Fⁱ)采用如下公式计算：

其中，D(Fⁱ,F^j)＝||uⁱ-u^j||₂，其中uⁱ＝[u_L ⁱ u_a ⁱ u_b ⁱ u_D ⁱ]，u^j＝[u_L ^j u_a ^j u_b ^j u_D ^j]；u_L ⁱ为第i个彩色分割块的L亮度通道特征值的均值、u_a ⁱ为第i个彩色分割块的a颜色通道特征值的均值、u_b ⁱ为第i个彩色分割块的b颜色通道特征值的均值、u_D ⁱ为第i个深度分割块的深度特征值的均值，u_L ^j为第j个彩色分割块的L亮度通道特征值的均值、u_a ^j为第j个彩色分割块的a颜色通道特征值的均值、u_b ^j为第j个彩色分割块的b颜色通道特征值的均值、u_D ^j为第j个深度分割块的深度特征值的均值，|| ||₂表示欧式距离；

步骤(2-6)、根据步骤(2-5)得到的N个分割块与其他所有分割块的区域对比度，然后将这N个区域对比度进行归一化处理，得到彩色分割图的空域显著图；

步骤(2-7)、将步骤(2-6)得到的空域显著图进行去噪处理，得到彩色分割图的最终空域显著图，将彩色分割图的最终空域显著图作为待检测立体图像的空域显著图S_s；

步骤(3)、获取待检测立体图像的变化域显著图，具体包含如下步骤：

步骤(3-1)、将待检测立体图像左图的R颜色通道分割成大小为8*8的R通道子块，将待检测立体图像左图的G颜色通道分割成大小为8*8的G通道子块，将待检测立体图像左图的B颜色通道分割成大小为8*8的B通道子块；

步骤(3-2)、分别对每个R通道子块、G通道子块和B通道子块进行DCT变换，分别得到R通道DCT块、G通道DCT块和B通道DCT块；

步骤(3-3)、根据R通道DCT块、G通道DCT块和B通道DCT块的直流系数，分别提取R颜色特征矩阵R^mat，G颜色特征矩阵G^mat，B颜色特征矩阵B^mat，其中R颜色特征矩阵R^mat的元素表示R通道DCT块的R颜色通道特征值；G颜色特征矩阵G^mat的元素表示G通道DCT块的G颜色通道特征值；B颜色特征矩阵B^mat的元素表示B通道DCT块的B颜色通道特征值；

步骤(3-4)、然后根据步骤(1)中输入的待检测立体图像的深度图分割成大小为8*8的深度子块，然后对所有深度子块进行DCT变换，得到深度DCT块，根据深度DCT块获取第二深度特征矩阵D^mat’，第二深度特征矩阵D^mat’的元素表示深度DCT块的深度特征值；

步骤(3-5)、根据步骤(3-3)和步骤(3-4)得到的R^mat、G^mat、B^mat和D^mat’组成第二特征向量其中Rⁱ∈R^mat，Gⁱ∈G^mat，Bⁱ∈B^mat,D^i’∈D^mat’；

步骤(3-6)、根据步骤(3-5)得到的第二特征向量计算任意一个R通道DCT块或G通道DCT块或B通道DCT块中与剩余的其他DCT块的区域对比度S(F_d ⁱ)，采用如下公式：

其中，D(F_d ⁱ,F_d ^j)＝||u_d ⁱ-u_d ^j||₂，u_d ⁱ＝[u_dR ⁱ u_dG ⁱ u_dB ⁱ u_dD ⁱ]，u_d ^j＝[u_dR ^j u_dG ^j u_dB ^ju_dD ^j]；u_dR ⁱ为第i个R通道DCT块的R颜色通道特征值的均值、u_dG ⁱ为第i个G通道DCT块的G颜色通道特征值的均值、u_dB ⁱ为第i个B通道DCT块的B颜色通道特征值的均值、u_dD ⁱ为第i个深度DCT块的深度特征值的均值，其中u_dR ^j为第j个R通道DCT块的R颜色通道特征值的均值、u_dG ^j为第j个G通道DCT块的G颜色通道特征值的均值、u_dB ^j为第j个B通道DCT块的B颜色通道特征值的均值、u_dD ^j为第j个深度DCT块的深度特征特征值的均值，|| ||₂表示欧式距离；

步骤(3-7)、将步骤(3-6)得到的区域对比度S(F_d ⁱ)进行归一化处理，得到R通道子块、G通道子块和B通道子块的变化域显著图；

步骤(3-8)、将步骤(3-7)得到的R通道子块、G通道子块和B通道子块的变化域显著图进行去噪处理，得到R通道子块、G通道子块和B通道子块的最终变化域显著图，将R通道子块、G通道子块和B通道子块的最终变化域显著图组成待检测立体图像左图的变化域显著图，将待检测立体图像左图的变化域显著图作为待检测立体图像的变化域显著图S_d；

步骤(4)、将待检测立体图像的空域显著图S_s和待检测立体图像的变化域显著图S_d进行融合，得到待检测立体图像的最终显著图S；采用如下公式计算：

S＝α_dS_d+β_sS_s

其中α_d和β_s为空域显著图与变换域显著图的融合系数，α_d∈(0,1)，β_s∈(0,1)，α_d+β_s＝1。

与现有技术相比，本发明的优点在于：本发明的立体显著性检测方法通过融合空域显著图和变换域显著图，能准确的检测出复杂背景图像显著性区域，与其他显著性检测方法相比，鲁棒性与适应性更强。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提供的立体图像显著性检测方法。其总体框图如图1所示，包括以下步骤：

步骤(1)、输入待检测立体图像的左图及待检测立体图像的深度图，提取左图的R颜色通道、G颜色通道和B颜色通道；然后将左图进行CIELab颜色空间变换，得到颜色空间变换后的左图，提取颜色空间变换后的左图的L亮度通道、a颜色通道和b颜色通道；

步骤(2)、获取待检测立体图像的空域显著图，具体包含如下步骤：

步骤(2-1)、将颜色空间变换后的左图进行SLIC超像素分割，得到具有N个彩色分割块的彩色分割图，N为彩色分割块的总数；

步骤(2-2)、根据步骤(2-1)得到的彩色分割图，提取L亮度特征矩阵L^mat，a颜色特征矩阵a^mat，b颜色特征矩阵b^mat，其中L亮度特征矩阵L^mat的元素表示彩色分割图的L亮度通道特征值；a颜色特征矩阵a^mat的元素表示彩色分割图的a颜色通道特征值；b颜色特征矩阵b^mat的元素表示彩色分割图的b颜色通道特征值；

步骤(2-3)、将步骤(1)中输入的待检测立体图像的深度图也进行SLIC超像素分割，得到具有N个深度分割块的深度分割图，根据深度分割图提取第一深度特征矩阵D^mat，第一深度特征矩阵D^mat的元素表示深度分割图的深度特征值；

步骤(2-4)、根据步骤(2-2)和步骤(2-3)得到的L^mat、a^mat、b^mat和D^mat组成第一特征向量Fⁱ＝{Lⁱ,aⁱ,bⁱ,Dⁱ},其中Lⁱ∈L^mat，aⁱ∈a^mat，bⁱ∈b^mat,Dⁱ∈D^mat；

步骤(2-5)、根据步骤(2-4)得到的第一特征向量Fⁱ，计算任意一块彩色分割块与其他所有彩色分割块的区域对比度：

第i个彩色分割块与剩余其他所有彩色分割块的区域对比度S(Fⁱ)采用如下公式计算：

其中，D(Fⁱ,F^j)＝||uⁱ-u^j||₂，其中uⁱ＝[u_L ⁱ u_a ⁱ u_b ⁱ u_D ⁱ]，u^j＝[u_L ^j u_a ^j u_b ^j u_D ^j]；u_L ⁱ为第i个彩色分割块的L亮度通道特征值的均值、u_a ⁱ为第i个彩色分割块的a颜色通道特征值的均值、u_b ⁱ为第i个彩色分割块的b颜色通道特征值的均值、u_D ⁱ为第i个深度分割块的深度特征值的均值，u_L ^j为第j个彩色分割块的L亮度通道特征值的均值、u_a ^j为第j个彩色分割块的a颜色通道特征值的均值、u_b ^j为第j个彩色分割块的b颜色通道特征值的均值、u_D ^j为第j个深度分割块的深度特征值的均值，|| ||₂表示欧式距离；

步骤(2-6)、根据步骤(2-5)得到的N个分割块与其他所有分割块的区域对比度，然后将这N个区域对比度进行归一化处理，得到彩色分割图的空域显著图；

步骤(2-7)、将步骤(2-6)得到的空域显著图进行去噪处理，得到彩色分割图的最终空域显著图，将彩色分割图的最终空域显著图作为待检测立体图像的空域显著图S_s；

步骤(3)、获取待检测立体图像的变化域显著图，具体包含如下步骤：

步骤(3-1)、将待检测立体图像左图的R颜色通道分割成大小为8*8的R通道子块，将待检测立体图像左图的G颜色通道分割成大小为8*8的G通道子块，将待检测立体图像左图的B颜色通道分割成大小为8*8的B通道子块；

步骤(3-2)、分别对每个R通道子块、G通道子块和B通道子块进行DCT变换，分别得到R通道DCT块、G通道DCT块和B通道DCT块；

步骤(3-3)、根据R通道DCT块、G通道DCT块和B通道DCT块的直流系数，分别提取R颜色特征矩阵R^mat，G颜色特征矩阵G^mat，B颜色特征矩阵B^mat，其中R颜色特征矩阵R^mat的元素表示R通道DCT块的R颜色通道特征值；G颜色特征矩阵G^mat的元素表示G通道DCT块的G颜色通道特征值；B颜色特征矩阵B^mat的元素表示B通道DCT块的B颜色通道特征值；

步骤(3-4)、然后根据步骤(1)中输入的待检测立体图像的深度图分割成大小为8*8的深度子块，然后对所有深度子块进行DCT变换，得到深度DCT块，根据深度DCT块获取第二深度特征矩阵D^mat’，第二深度特征矩阵D^mat’的元素表示深度DCT块的深度特征值；

步骤(3-5)、根据步骤(3-3)和步骤(3-4)得到的R^mat、G^mat、B^mat和D^mat’组成第二特征向量其中Rⁱ∈R^mat，Gⁱ∈G^mat，Bⁱ∈B^mat,D^i’∈D^mat’；

步骤(3-6)、根据步骤(3-5)得到的第二特征向量计算任意一个R通道DCT块或G通道DCT块或B通道DCT块中与剩余的其他DCT块的区域对比度S(F_d ⁱ)，采用如下公式：

其中，D(F_d ⁱ,F_d ^j)＝||u_d ⁱ-u_d ^j||₂，u_d ⁱ＝[u_dR ⁱ u_dG ⁱ u_dB ⁱ u_dD ⁱ]，u_d ^j＝[u_dR ^j u_dG ^j u_dB ^ju_dD ^j]；u_dR ⁱ为第i个R通道DCT块的R颜色通道特征值的均值、u_dG ⁱ为第i个G通道DCT块的G颜色通道特征值的均值、u_dB ⁱ为第i个B通道DCT块的B颜色通道特征值的均值、u_dD ⁱ为第i个深度DCT块的深度特征值的均值，其中u_dR ^j为第j个R通道DCT块的R颜色通道特征值的均值、u_dG ^j为第j个G通道DCT块的G颜色通道特征值的均值、u_dB ^j为第j个B通道DCT块的B颜色通道特征值的均值、u_dD ^j为第j个深度DCT块的深度特征特征值的均值，|| ||₂表示欧式距离；

步骤(3-7)、将步骤(3-6)得到的区域对比度S(F_d ⁱ)进行归一化处理，得到R通道子块、G通道子块和B通道子块的变化域显著图；

步骤(3-8)、将步骤(3-7)得到的R通道子块、G通道子块和B通道子块的变化域显著图进行去噪处理，得到R通道子块、G通道子块和B通道子块的最终变化域显著图，将R通道子块、G通道子块和B通道子块的最终变化域显著图组成待检测立体图像左图的变化域显著图，将待检测立体图像左图的变化域显著图作为待检测立体图像的变化域显著图S_d；

步骤(4)、将待检测立体图像的空域显著图S_s和待检测立体图像的变化域显著图S_d进行融合，得到待检测立体图像的最终显著图S；采用如下公式计算：

S＝α_dS_d+β_sS_s

其中α_d和β_s为空域显著图与变换域显著图的融合系数，α_d∈(0,1)，β_s∈(0,1)，α_d+β_s＝1。本实施例中α_d＝0.5，β_s＝0.5。

Claims (1)

1.一种立体图像显著性检测方法，其特征在于：包括以下步骤：

步骤(1)、输入待检测立体图像的左图及待检测立体图像的深度图，提取左图的R颜色通道、G颜色通道和B颜色通道；然后将左图进行CIELab颜色空间变换，得到颜色空间变换后的左图，提取颜色空间变换后的左图的L亮度通道、a颜色通道和b颜色通道；

步骤(2)、获取待检测立体图像的空域显著图，具体包含如下步骤：

步骤(2-1)、将颜色空间变换后的左图进行SLIC超像素分割，得到具有N个彩色分割块的彩色分割图，N为彩色分割块的总数；

步骤(2-2)、根据步骤(2-1)得到的彩色分割图，提取L亮度特征矩阵L^mat，a颜色特征矩阵a^mat，b颜色特征矩阵b^mat，其中L亮度特征矩阵L^mat的元素表示彩色分割图的L亮度通道特征值；a颜色特征矩阵a^mat的元素表示彩色分割图的a颜色通道特征值；b颜色特征矩阵b^mat的元素表示彩色分割图的b颜色通道特征值；

步骤(2-3)、将步骤(1)中输入的待检测立体图像的深度图也进行SLIC超像素分割，得到具有N个深度分割块的深度分割图，根据深度分割图提取第一深度特征矩阵D^mat，第一深度特征矩阵D^mat的元素表示深度分割图的深度特征值；

步骤(2-4)、根据步骤(2-2)和步骤(2-3)得到的L^mat、a^mat、b^mat和D^mat组成第一特征向量Fⁱ＝{Lⁱ,aⁱ,bⁱ,Dⁱ},其中Lⁱ∈L^mat，aⁱ∈a^mat，bⁱ∈b^mat,Dⁱ∈D^mat；

步骤(2-5)、根据步骤(2-4)得到的第一特征向量Fⁱ，计算任意一块彩色分割块与其他所有彩色分割块的区域对比度：

第i个彩色分割块与剩余其他所有彩色分割块的区域对比度S(Fⁱ)采用如下公式计算：

其中，D(Fⁱ,F^j)＝||uⁱ-u^j||₂，其中uⁱ＝[u_L ⁱ u_a ⁱ u_b ⁱ u_D ⁱ]，u^j＝[u_L ^j u_a ^j u_b ^j u_D ^j]；u_L ⁱ为第i个彩色分割块的L亮度通道特征值的均值、u_a ⁱ为第i个彩色分割块的a颜色通道特征值的均值、u_b ⁱ为第i个彩色分割块的b颜色通道特征值的均值、u_D ⁱ为第i个深度分割块的深度特征值的均值，u_L ^j为第j个彩色分割块的L亮度通道特征值的均值、u_a ^j为第j个彩色分割块的a颜色通道特征值的均值、u_b ^j为第j个彩色分割块的b颜色通道特征值的均值、u_D ^j为第j个深度分割块的深度特征值的均值，|| ||₂表示欧式距离；

步骤(2-6)、根据步骤(2-5)得到的N个分割块与其他所有分割块的区域对比度，然后将这N个区域对比度进行归一化处理，得到彩色分割图的空域显著图；

步骤(2-7)、将步骤(2-6)得到的空域显著图进行去噪处理，得到彩色分割图的最终空域显著图，将彩色分割图的最终空域显著图作为待检测立体图像的空域显著图S_s；

步骤(3)、获取待检测立体图像的变化域显著图，具体包含如下步骤：

步骤(3-1)、将待检测立体图像左图的R颜色通道分割成大小为8*8的R通道子块，将待检测立体图像左图的G颜色通道分割成大小为8*8的G通道子块，将待检测立体图像左图的B颜色通道分割成大小为8*8的B通道子块；

步骤(3-2)、分别对每个R通道子块、G通道子块和B通道子块进行DCT变换，分别得到R通道DCT块、G通道DCT块和B通道DCT块；

步骤(3-3)、根据R通道DCT块、G通道DCT块和B通道DCT块的直流系数，分别提取R颜色特征矩阵R^mat，G颜色特征矩阵G^mat，B颜色特征矩阵B^mat，其中R颜色特征矩阵R^mat的元素表示R通道DCT块的R颜色通道特征值；G颜色特征矩阵G^mat的元素表示G通道DCT块的G颜色通道特征值；B颜色特征矩阵B^mat的元素表示B通道DCT块的B颜色通道特征值；

步骤(3-4)、然后根据步骤(1)中输入的待检测立体图像的深度图分割成大小为8*8的深度子块，然后对所有深度子块进行DCT变换，得到深度DCT块，根据深度DCT块获取第二深度特征矩阵D^mat’，第二深度特征矩阵D^mat’的元素表示深度DCT块的深度特征值；

步骤(3-5)、根据步骤(3-3)和步骤(3-4)得到的R^mat、G^mat、B^mat和D^mat’组成第二特征向量其中Rⁱ∈R^mat，Gⁱ∈G^mat，Bⁱ∈B^mat,D^i’∈D^mat’；

步骤(3-6)、根据步骤(3-5)得到的第二特征向量计算任意一个R通道DCT块或G通道DCT块或B通道DCT块中与剩余的其他DCT块的区域对比度S(F_d ⁱ)，采用如下公式：

其中，D(F_d ⁱ,F_d ^j)＝||u_d ⁱ-u_d ^j||₂，u_d ⁱ＝[u_dR ⁱ u_dG ⁱ u_dB ⁱ u_dD ⁱ]，u_d ^j＝[u_dR ^j u_dG ^j u_dB ^j u_dD ^j]；u_dR ⁱ为第i个R通道DCT块的R颜色通道特征值的均值、u_dG ⁱ为第i个G通道DCT块的G颜色通道特征值的均值、u_dB ⁱ为第i个B通道DCT块的B颜色通道特征值的均值、u_dD ⁱ为第i个深度DCT块的深度特征值的均值，其中u_dR ^j为第j个R通道DCT块的R颜色通道特征值的均值、u_dG ^j为第j个G通道DCT块的G颜色通道特征值的均值、u_dB ^j为第j个B通道DCT块的B颜色通道特征值的均值、u_dD ^j为第j个深度DCT块的深度特征特征值的均值，|| ||₂表示欧式距离；

步骤(3-7)、将步骤(3-6)得到的区域对比度S(F_d ⁱ)进行归一化处理，得到R通道子块、G通道子块和B通道子块的变化域显著图；

步骤(3-8)、将步骤(3-7)得到的R通道子块、G通道子块和B通道子块的变化域显著图进行去噪处理，得到R通道子块、G通道子块和B通道子块的最终变化域显著图，将R通道子块、G通道子块和B通道子块的最终变化域显著图组成待检测立体图像左图的变化域显著图，将待检测立体图像左图的变化域显著图作为待检测立体图像的变化域显著图S_d；

步骤(4)、将待检测立体图像的空域显著图S_s和待检测立体图像的变化域显著图S_d进行融合，得到待检测立体图像的最终显著图S；采用如下公式计算：

S＝α_dS_d+β_sS_s

其中α_d和β_s为空域显著图与变换域显著图的融合系数，α_d∈(0,1)，β_s∈(0,1)，α_d+β_s＝1。