CN104243956A - 一种立体图像视觉显著图提取方法 - Google Patents

Abstract

本发明公开了一种立体图像视觉显著图提取方法，其首先通过训练构建立体图像的视觉舒适度特征与视觉舒适度预测值的关系模型，然后利用该关系模型来预测立体图像的视觉舒适度，得到视觉舒适度显著图；采用基于图论的视觉显著性模型提取出立体图像的二维显著图；根据区域之间的空间相似性和视差相似性，得到立体图像的深度显著图；最后对二维显著图、深度显著图和视觉舒适度显著图进行融合，得到最终的三维视觉显著图，优点是获得的三维视觉显著图能够很好地符合显著语义的特征。

Description

一种立体图像视觉显著图提取方法

技术领域

本发明涉及一种图像信号的处理方法，尤其是涉及一种立体图像视觉显著图提取方法。

背景技术

在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区别，因此在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是计算机视觉以及基于内容的视频检索领域的一个重要的研究内容。

然而，人眼感知立体图像产生立体视觉的过程并不是简单的左右视点图像叠加的过程，因此，立体视觉特征(例如，三维视觉注意力)并不是平面视觉特性的简单拓展，如何从立体图像中有效地提取出立体视觉特征、如何使得提取的立体视觉特征符合人眼三维观看行为，都是在对立体图像进行视觉显著图提取过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种立体图像视觉显著图提取方法，其符合显著语义特征，且具有较强的提取稳定性和较高的提取准确性。

本发明解决上述技术问题所采用的技术方案为：一种立体图像视觉显著图提取方法，其特征在于包括训练阶段和测试阶段两个过程，具体步骤如下：

①选取N副各不相同而尺寸大小一致的立体图像以及每幅立体图像对应的右视差图像，构成训练图像集，记为{L_i,R_i,d_i|1≤i≤N}，其中，N≥1，L_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的左视点图像，R_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的右视点图像，d_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像对应的右视差图像；

②计算{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像对应的右视差图像中的所有像素点的视差均值、视差方差和视差范围，将d_i中的所有像素点的视差均值、视差方差和视差范围对应记为μ_i、δ_i和χ_i；然后将{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像对应的右视差图像中的所有像素点的视差均值、视差方差和视差范围按顺序进行排列构成每幅立体图像的用于反映视觉舒适度的特征矢量，将第i幅立体图像的用于反映视觉舒适度的特征矢量记为X_i，X_i＝[μ_i,δ_i,χ_i]，其中，此处符号“[]”为矢量表示符号，X_i的维数为3；

③采用支持向量回归，对{L_i,R_i,d_i|1≤i≤N}中的所有立体图像的特征矢量进行训练，并使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，得到最优的权重矢量w^opt和最优的偏置项b^opt，然后利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为f(X_inp)，其中，X_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矢量，表示支持向量回归训练模型的输入矢量X_inp的线性函数；

④将待测试的立体图像的左视点图像和右视点图像对应记为{I_L(x,y)}和{I_R(x,y)}，将待测试的立体图像对应的右视差图像记为{d_R(x,y)}，其中，此处(x,y)表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，此处W表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的宽度，H表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_R(x,y)表示{d_R(x,y)}中坐标位置为(x,y)的像素点的视差值；

⑤采用基于图论的视觉显著性模型提取出{I_R(x,y)}的二维显著图，记为{S_2D(x,y)}，其中，S_2D(x,y)表示{S_2D(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑥采用超像素分割技术将{I_R(x,y)}分割成M个互不重叠的区域，然后将{I_R(x,y)}重新表示为M个区域的集合，记为{SP_h}，再根据{SP_h}中的不同区域之间的视差相似性和空间相似性，计算{I_R(x,y)}的深度显著图，记为{S_DP(x,y)}，其中，M≥1，SP_h表示{SP_h}中的第h个区域，1≤h≤M，S_DP(x,y)表示{S_DP(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑦根据利用训练得到的最优的权重矢量w^opt和最优的偏置项b^opt构造的支持向量回归训练模型f(X_inp)，计算{I_R(x,y)}的视觉舒适度显著图，记为{S_VC(x,y)}，其中，S_VC(x,y)表示{S_VC(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑧对{I_R(x,y)}的二维显著图{S_2D(x,y)}、{I_R(x,y)}的深度显著图{S_DP(x,y)}及{I_R(x,y)}的视觉舒适度显著图{S_VC(x,y)}进行融合，得到{I_R(x,y)}的最终的三维视觉显著图，记为{S_3D(x,y)}，将{S_3D(x,y)}中坐标位置为(x,y)的像素点的像素值记为S_3D(x,y)，S_3D(x,y)＝S_2D(x,y)×S_DP(x,y)×S_VC(x,y)。

所述的步骤②中d_i中的所有像素点的视差均值、视差方差和视差范围的获取过程为：

②-1、计算d_i中的所有像素点的视差均值，记为μ_i，其中，1≤x≤W，1≤y≤H，此处W表示d_i的宽度，H表示d_i的高度，d_i(x,y)表示d_i中坐标位置为(x,y)的像素点的视差值；

②-2、计算d_i中的所有像素点的视差方差，记为δ_i，

②-3、计算d_i中的所有像素点的视差范围，记为χ_i，χ_i＝d_max-d_min，其中，d_max表示d_i中的所有像素点的视差值按从大到小的顺序排序后，前1％的视差值对应的所有像素点的视差均值；d_min表示d_i中的所有像素点的视差值按从大到小的顺序排序后，后1％的视差值对应的所有像素点的视差均值。

所述的步骤③的具体过程为：

③-1、将{L_i,R_i,d_i|1≤i≤N}中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，记为Ω_N，{X_i,MOS_i}∈Ω_N，其中，MOS_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的平均主观评分均值，MOS_i∈[1,5]，1≤i≤N；

③-2、构造Ω_N中的每个特征矢量的回归函数，将X_i的回归函数记为f(X_i)，其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矢量，b为偏置项，表示X_i的线性函数，D(X_i,X_l')为支持向量回归中的核函数，X_l'表示Ω_N中的第l'个特征矢量，1≤l'≤N，γ为核参数，exp()表示以自然基数e为底的指数函数，符号“|| ||”为求欧式距离符号；

③-3、采用支持向量回归作为机器学习的方法，对Ω_N中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，得到最优的权重矢量w^opt和最优的偏置项b^opt，将最优的权重矢量w^opt和最优的偏置项b^opt的组合记为(w^opt，b^opt)，然后利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为f(X_inp)，其中，Ψ表示对Ω_N中的所有特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，表示取使得的值最小的w和b的值，X_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矢量，表示支持向量回归训练模型的输入矢量X_inp的线性函数。

所述的步骤③-2中取核参数γ＝54。

所述的步骤⑥中{I_R(x,y)}的深度显著图{S_DP(x,y)}的获取过程为：

⑥-1、计算{SP_h}中的不同区域之间的视差相似性，将{SP_h}中的第p个区域与第q个区域之间的视差相似性记为Sim_d(SP_p,SP_q)， ${\mathrm{Sim}}_d({\mathrm{SP}}_p,{\mathrm{SP}}_q)=|\frac{\underset{(x,y)\∈{\mathrm{SP}}_p}{\mathrm{\Σ}}{d}_R(x,y)}{N_{{\mathrm{SP}}_p}}-\frac{\underset{(x,y)\∈{\mathrm{SP}}_q}{\mathrm{\Σ}}{d}_R(x,y)}{N_{{\mathrm{SP}}_q}}|,$ 其中，1≤p≤M，1≤q≤M，p≠q，SP_p表示{SP_h}中的第p个区域，SP_q表示{SP_h}中的第q个区域，符号“| |”为取绝对值符号，d_R(x,y)表示{d_R(x,y)}中坐标位置为(x,y)的像素点的视差值，表示SP_p中包含的像素点的总个数，表示SP_q中包含的像素点的总个数；

⑥-2、计算{SP_h}中的不同区域之间的空间相似性，将{SP_h}中的第p个区域与第q个区域之间的空间相似性记为Sim_s(SP_p,SP_q)，其中，1≤p≤M，1≤q≤M，p≠q，SP_p表示{SP_h}中的第p个区域，SP_q表示{SP_h}中的第q个区域，表示SP_p中的中心像素点的坐标位置，表示SP_q中的中心像素点的坐标位置，符号“|| ||”为求欧式距离符号，max()为取最大值函数，exp()表示以自然基数e为底的指数函数，λ为控制参数；

⑥-3、根据{SP_h}中的不同区域之间的视差相似性和空间相似性，计算{SP_h}中的每个区域的深度显著值，将{SP_h}中的第h个区域SP_h的深度显著值记为 ${\mathrm{DP}}_{{\mathrm{SP}}_h}=\underset{q=1}{\overset{M}{\mathrm{\Σ}}}({\mathrm{Sim}}_d({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×{\mathrm{Sim}}_s({\mathrm{SP}}_h,{\mathrm{SP}}_q)),$ 其中，1≤h≤M，1≤q≤M，h≠q，Sim_d(SP_h,SP_q)表示SP_h与SP_q之间的视差相似性，Sim_s(SP_h,SP_q)表示SP_h与SP_q之间的空间相似性；

⑥-4、将{SP_h}中的每个区域的深度显著值作为对应区域中的所有像素点的显著值，从而得到{I_R(x,y)}的深度显著图，记为{S_DP(x,y)}，其中，S_DP(x,y)表示{S_DP(x,y)}中坐标位置为(x,y)的像素点的像素值。

所述的步骤⑦的具体过程为：

⑦-1、计算{SP_h}中的每个区域的第一视差对比度，将{SP_h}中的第h个区域SP_h的第一视差对比度记为 其中，表示{d_R(x,y)}中与SP_h对应的区域中的所有像素点的视差均值，d_h,max表示{d_R(x,y)}中与SP_h对应的区域中的所有像素点的视差值按从大到小的顺序排序后，前1％的视差值对应的所有像素点的视差均值；d_h,min表示{d_R(x,y)}中与SP_h对应的区域中的所有像素点的视差值按从大到小的顺序排序后，后1％的视差值对应的所有像素点的视差均值；

⑦-2、计算{SP_h}中的每个区域的第二视差对比度，将{SP_h}中的第h个区域SP_h的第二视差对比度记为 ${S2}_{{\mathrm{SP}}_h}=\frac{d_{h,\max }-{\stackrel{\‾}{d}}_h}{d_{h,\max }-d_{h,\min }};$

⑦-3、计算{SP_h}中的每个区域的视觉舒适度预测值，将{SP_h}中的第h个区域SP_h的视觉舒适度预测值记为Q_h,pred，其中，为采用与步骤②相同的方法计算得到的SP_h的用于反映视觉舒适度的特征矢量，的维数为3，表示的线性函数；

⑦-4、根据{SP_h}中的每个区域的第一视差对比度、第二视差对比度和视觉舒适度预测值，计算{SP_h}中的每个区域的视觉舒适度显著值，将{SP_h}中的第h个区域SP_h的视觉舒适度显著值记为 其中，β为控制参数，T为阈值；

⑦-5、将{SP_h}中的每个区域的视觉舒适度显著值作为对应区域中的所有像素点的显著值，从而得到{I_R(x,y)}的视觉舒适度显著图，记为{S_VC(x,y)}，其中，S_VC(x,y)表示{S_VC(x,y)}中坐标位置为(x,y)的像素点的像素值。

与现有技术相比，本发明的优点在于：

1)本发明方法同时考虑立体图像的二维显著图、深度显著图和视觉舒适度显著图，并最终融合得到立体图像的三维视觉显著图，具有较高的提取准确性和较强的稳定性，并能够较好地反映各种因素的显著变化情况，符合显著语义特征。

2)本发明方法考虑到视觉舒适度对三维视觉显著图的影响，通过训练构建测试立体图像的右视点图像中的每个区域的用于反映视觉舒适度的特征矢量与视觉舒适度预测值的关系模型，然后利用关系模型来预测每个区域的视觉舒适度预测值，最后结合各个区域的第一视差对比度和第二视差对比度，得到立体图像的视觉舒适度显著图，从而有效地提高了视觉舒适度的预测准确性。

附图说明

图1为本发明方法的总体实现框图；

图2a为“Image1”的右视点图像；

图2b为“Image1”的右视点图像的真实眼动图；

图2c为“Image1”的右视点图像的二维显著图；

图2d为“Image1”的右视点图像的深度显著图；

图2e为“Image1”的右视点图像的视觉舒适度显著图；

图2f为“Image1”的右视点图像的三维视觉显著图；

图3a为“Image2”的右视点图像；

图3b为“Image2”的右视点图像的真实眼动图；

图3c为“Image2”的右视点图像的二维显著图；

图3d为“Image2”的右视点图像的深度显著图；

图3e为“Image2”的右视点图像的视觉舒适度显著图；

图3f为“Image2”的右视点图像的三维视觉显著图；

图4a为“Image3”的右视点图像；

图4b为“Image3”的右视点图像的真实眼动图；

图4c为“Image3”的右视点图像的二维显著图；

图4d为“Image3”的右视点图像的深度显著图；

图4e为“Image3”的右视点图像的视觉舒适度显著图；

图4f为“Image3”的右视点图像的三维视觉显著图；

图5a为“Image4”的右视点图像；

图5b为“Image4”的右视点图像的真实眼动图；

图5c为“Image4”的右视点图像的二维显著图；

图5d为“Image4”的右视点图像的深度显著图；

图5e为“Image4”的右视点图像的视觉舒适度显著图；

图5f为“Image4”的右视点图像的三维视觉显著图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种立体图像视觉显著图提取方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程，具体步骤如下：

①选取N副各不相同而尺寸大小一致的立体图像以及每幅立体图像对应的右视差图像，构成训练图像集，记为{L_i,R_i,d_i|1≤i≤N}，其中，N≥1，在本实施例中取N＝120，L_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的左视点图像，R_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的右视点图像，d_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像对应的右视差图像。

②计算{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像对应的右视差图像中的所有像素点的视差均值、视差方差和视差范围，将d_i中的所有像素点的视差均值、视差方差和视差范围对应记为μ_i、δ_i和χ_i；然后将{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像对应的右视差图像中的所有像素点的视差均值、视差方差和视差范围按顺序进行排列构成每幅立体图像的用于反映视觉舒适度的特征矢量，将第i幅立体图像的用于反映视觉舒适度的特征矢量记为X_i，X_i＝[μ_i,δ_i,χ_i]，其中，此处符号“[]”为矢量表示符号，X_i的维数为3。

在此具体实施例中，步骤②中d_i中的所有像素点的视差均值、视差方差和视差范围的获取过程为：

②-1、计算d_i中的所有像素点的视差均值，记为μ_i，其中，1≤x≤W，1≤y≤H，此处W表示d_i的宽度，H表示d_i的高度，d_i(x,y)表示d_i中坐标位置为(x,y)的像素点的视差值。

②-2、计算d_i中的所有像素点的视差方差，记为δ_i，

②-3、计算d_i中的所有像素点的视差范围，记为χ_i，χ_i＝d_max-d_min，其中，d_max表示d_i中的所有像素点的视差值按从大到小的顺序排序后，前1％的视差值对应的所有像素点的视差均值；d_min表示d_i中的所有像素点的视差值按从大到小的顺序排序后，后1％的视差值对应的所有像素点的视差均值。

③采用支持向量回归，对{L_i,R_i,d_i|1≤i≤N}中的所有立体图像的特征矢量进行训练，并使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，得到最优的权重矢量w^opt和最优的偏置项b^opt，然后利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为f(X_inp)，其中，X_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矢量，表示支持向量回归训练模型的输入矢量X_inp的线性函数。

在此具体实施例中，步骤③的具体过程为：

③-1、将{L_i,R_i,d_i|1≤i≤N}中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，记为Ω_N，{X_i,MOS_i}∈Ω_N，其中，MOS_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的平均主观评分均值，MOS_i∈[1,5]，1≤i≤N。

③-2、构造Ω_N中的每个特征矢量的回归函数，将X_i的回归函数记为f(X_i)，其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矢量，b为偏置项，表示X_i的线性函数，D(X_i,X_l')为支持向量回归中的核函数，X_l'表示Ω_N中的第l'个特征矢量，1≤l'≤N，γ为核参数，在本实施例中取核参数γ＝54，exp()表示以自然基数e为底的指数函数，e＝2.71828183，符号“|| ||”为求欧式距离符号。

③-3、采用支持向量回归作为机器学习的方法，对Ω_N中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，得到最优的权重矢量w^opt和最优的偏置项b^opt，将最优的权重矢量w^opt和最优的偏置项b^opt的组合记为(w^opt,b^opt)，然后利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为f(X_inp)，其中，Ψ表示对Ω_N中的所有特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，表示取使得的值最小的w和b的值，X_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矢量，表示支持向量回归训练模型的输入矢量X_inp的线性函数。

④将待测试的立体图像的左视点图像和右视点图像对应记为{I_L(x,y)}和{I_R(x,y)}，将待测试的立体图像对应的右视差图像记为{d_R(x,y)}，其中，此处(x,y)表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，此处W表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的宽度，H表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_R(x,y)表示{d_R(x,y)}中坐标位置为(x,y)的像素点的视差值。

⑤采用现有的基于图论的视觉显著性模型提取出{I_R(x,y)}的二维显著图，记为{S_2D(x,y)}，其中，S_2D(x,y)表示{S_2D(x,y)}中坐标位置为(x,y)的像素点的像素值。

⑥采用现有的超像素分割技术将{I_R(x,y)}分割成M个互不重叠的区域，然后将{I_R(x,y)}重新表示为M个区域的集合，记为{SP_h}，再根据{SP_h}中的不同区域之间的视差相似性和空间相似性，计算{I_R(x,y)}的深度显著图，记为{S_DP(x,y)}，其中，M≥1，在本实施例中取M＝400，SP_h表示{SP_h}中的第h个区域，1≤h≤M，S_DP(x,y)表示{S_DP(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤⑥中{I_R(x,y)}的深度显著图{S_DP(x,y)}的获取过程为：

⑥-1、计算{SP_h}中的不同区域之间的视差相似性，将{SP_h}中的第p个区域与第q个区域之间的视差相似性记为Sim_d(SP_p,SP_q)， ${\mathrm{Sim}}_d({\mathrm{SP}}_p,{\mathrm{SP}}_q)=|\frac{\underset{(x,y)\∈{\mathrm{SP}}_p}{\mathrm{\Σ}}{d}_R(x,y)}{N_{{\mathrm{SP}}_p}}-\frac{\underset{(x,y)\∈{\mathrm{SP}}_q}{\mathrm{\Σ}}{d}_R(x,y)}{N_{{\mathrm{SP}}_q}}|,$ 其中，1≤p≤M，1≤q≤M，p≠q，SP_p表示{SP_h}中的第p个区域，SP_q表示{SP_h}中的第q个区域，符号“| |”为取绝对值符号，d_R(x,y)表示{d_R(x,y)}中坐标位置为(x,y)的像素点的视差值，表示SP_p中包含的像素点的总个数，表示SP_q中包含的像素点的总个数。

⑥-2、计算{SP_h}中的不同区域之间的空间相似性，将{SP_h}中的第p个区域与第q个区域之间的空间相似性记为Sim_s(SP_p,SP_q)，其中，1≤p≤M，1≤q≤M，p≠q，SP_p表示{SP_h}中的第p个区域，SP_q表示{SP_h}中的第q个区域，表示SP_p中的中心像素点的坐标位置，表示SP_q中的中心像素点的坐标位置，符号“|| ||”为求欧式距离符号，max()为取最大值函数，exp()表示以自然基数e为底的指数函数，e＝2.71828183，λ为控制参数，在本实施例中取λ＝5。

⑥-3、根据{SP_h}中的不同区域之间的视差相似性和空间相似性，计算{SP_h}中的每个区域的深度显著值，将{SP_h}中的第h个区域SP_h的深度显著值记为 ${\mathrm{DP}}_{{\mathrm{SP}}_h}=\underset{q=1}{\overset{M}{\mathrm{\Σ}}}({\mathrm{Sim}}_d({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×{\mathrm{Sim}}_s({\mathrm{SP}}_h,{\mathrm{SP}}_q)),$ 其中，1≤h≤M，1≤q≤M，h≠q，Sim_d(SP_h,SP_q)表示SP_h与SP_q之间的视差相似性，Sim_s(SP_h,SP_q)表示SP_h与SP_q之间的空间相似性。

⑥-4、将{SP_h}中的每个区域的深度显著值作为对应区域中的所有像素点的显著值，从而得到{I_R(x,y)}的深度显著图，记为{S_DP(x,y)}，其中，S_DP(x,y)表示{S_DP(x,y)}中坐标位置为(x,y)的像素点的像素值。

⑦根据利用训练得到的最优的权重矢量w^opt和最优的偏置项b^opt构造的支持向量回归训练模型f(X_inp)，计算{I_R(x,y)}的视觉舒适度显著图，记为{S_VC(x,y)}，其中，S_VC(x,y)表示{S_VC(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤⑦的具体过程为：

⑦-1、计算{SP_h}中的每个区域的第一视差对比度，将{SP_h}中的第h个区域SP_h的第一视差对比度记为 其中，表示{d_R(x,y)}中与SP_h对应的区域中的所有像素点的视差均值，d_h,max表示{d_R(x,y)}中与SP_h对应的区域中的所有像素点的视差值按从大到小的顺序排序后，前1％的视差值对应的所有像素点的视差均值；d_h,min表示{d_R(x,y)}中与SP_h对应的区域中的所有像素点的视差值按从大到小的顺序排序后，后1％的视差值对应的所有像素点的视差均值。

⑦-2、计算{SP_h}中的每个区域的第二视差对比度，将{SP_h}中的第h个区域SP_h的第二视差对比度记为 ${S2}_{{\mathrm{SP}}_h}=\frac{d_{h,\max }-{\stackrel{\‾}{d}}_h}{d_{h,\max }-d_{h,\min }}.$

⑦-3、计算{SP_h}中的每个区域的视觉舒适度预测值，将{SP_h}中的第h个区域SP_h的视觉舒适度预测值记为Q_h,pred，其中，为采用与步骤②相同的方法计算得到的SP_h的用于反映视觉舒适度的特征矢量，的维数为3，表示的线性函数。

⑦-4、根据{SP_h}中的每个区域的第一视差对比度、第二视差对比度和视觉舒适度预测值，计算{SP_h}中的每个区域的视觉舒适度显著值，将{SP_h}中的第h个区域SP_h的视觉舒适度显著值记为 其中，β为控制参数，T为阈值，在本实施例中取β＝0.5，T＝3.5。

⑦-5、将{SP_h}中的每个区域的视觉舒适度显著值作为对应区域中的所有像素点的显著值，从而得到{I_R(x,y)}的视觉舒适度显著图，记为{S_VC(x,y)}，其中，S_VC(x,y)表示{S_VC(x,y)}中坐标位置为(x,y)的像素点的像素值。

⑧对{I_R(x,y)}的二维显著图{S_2D(x,y)}、{I_R(x,y)}的深度显著图{S_DP(x,y)}及{I_R(x,y)}的视觉舒适度显著图{S_VC(x,y)}进行融合，得到{I_R(x,y)}的最终的三维视觉显著图，记为{S_3D(x,y)}，将{S_3D(x,y)}中坐标位置为(x,y)的像素点的像素值记为S_3D(x,y)，S_3D(x,y)＝S_2D(x,y)×S_DP(x,y)×S_VC(x,y)。

以下就利用本发明方法对法国南特大学提供的三维人眼跟踪数据库(3Deye-tracking database)中的Image1、Image2、Image3和Image4四组图像的三维视觉显著图进行提取。图2a给出了“Image1”的右视点图像、图2b给出了“Image1”的右视点图像的真实眼动图、图2c给出了“Image1”的右视点图像的二维显著图、图2d给出了“Image1”的右视点图像的深度显著图、图2e给出了“Image1”的右视点图像的视觉舒适度显著图、图2f给出了“Image1”的右视点图像的三维显著图；图3a给出了“Image2”的右视点图像、图3b给出了“Image2”的右视点图像的真实眼动图、图3c给出了“Image2”的右视点图像的二维显著图、图3d给出了“Image2”的右视点图像的深度显著图、图3e给出了“Image2”的右视点图像的视觉舒适度显著图、图3f给出了“Image2”的右视点图像的三维显著图；图4a给出了“Image3”的右视点图像、图4b给出了“Image3”的右视点图像的真实眼动图、图4c给出了“Image3”的右视点图像的二维显著图、图4d给出了“Image3”的右视点图像的深度显著图、图4e给出了“Image3”的右视点图像的视觉舒适度显著图、图4f给出了“Image3”的右视点图像的三维显著图；图5a给出了“Image4”的右视点图像、图5b给出了“Image4”的右视点图像的真实眼动图、图5c给出了“Image4”的右视点图像的二维显著图、图5d给出了“Image4”的右视点图像的深度显著图、图5e给出了“Image4”的右视点图像的视觉舒适度显著图、图5f给出了“Image4”的右视点图像的三维显著图。从图2a至图5f可以看出，采用本发明方法得到的三维视觉显著图由于考虑了二维、深度和视觉舒适度的显著图，因此能够很好地符合显著语义的特征。

Claims (6)

1.一种立体图像视觉显著图提取方法，其特征在于包括训练阶段和测试阶段两个过程，具体步骤如下：

①选取N副各不相同而尺寸大小一致的立体图像以及每幅立体图像对应的右视差图像，构成训练图像集，记为{L_i,R_i,d_i|1≤i≤N}，其中，N≥1，L_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的左视点图像，R_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的右视点图像，d_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像对应的右视差图像；

②计算{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像对应的右视差图像中的所有像素点的视差均值、视差方差和视差范围，将d_i中的所有像素点的视差均值、视差方差和视差范围对应记为μ_i、δ_i和χ_i；然后将{L_i,R_i,d_i|1≤i≤N}中的每幅立体图像对应的右视差图像中的所有像素点的视差均值、视差方差和视差范围按顺序进行排列构成每幅立体图像的用于反映视觉舒适度的特征矢量，将第i幅立体图像的用于反映视觉舒适度的特征矢量记为X_i，X_i＝[μ_i,δ_i,χ_i]，其中，此处符号“[]”为矢量表示符号，X_i的维数为3；

③采用支持向量回归，对{L_i,R_i,d_i|1≤i≤N}中的所有立体图像的特征矢量进行训练，并使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，得到最优的权重矢量w^opt和最优的偏置项b^opt，然后利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为f(X_inp)，其中，X_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矢量，表示支持向量回归训练模型的输入矢量X_inp的线性函数；

④将待测试的立体图像的左视点图像和右视点图像对应记为{I_L(x,y)}和{I_R(x,y)}，将待测试的立体图像对应的右视差图像记为{d_R(x,y)}，其中，此处(x,y)表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，此处W表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的宽度，H表示{I_L(x,y)}、{I_R(x,y)}和{d_R(x,y)}的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_R(x,y)表示{d_R(x,y)}中坐标位置为(x,y)的像素点的视差值；

⑤采用基于图论的视觉显著性模型提取出{I_R(x,y)}的二维显著图，记为{S_2D(x,y)}，其中，S_2D(x,y)表示{S_2D(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑥采用超像素分割技术将{I_R(x,y)}分割成M个互不重叠的区域，然后将{I_R(x,y)}重新表示为M个区域的集合，记为{SP_h}，再根据{SP_h}中的不同区域之间的视差相似性和空间相似性，计算{I_R(x,y)}的深度显著图，记为{S_DP(x,y)}，其中，M≥1，SP_h表示{SP_h}中的第h个区域，1≤h≤M，S_DP(x,y)表示{S_DP(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑦根据利用训练得到的最优的权重矢量w^opt和最优的偏置项b^opt构造的支持向量回归训练模型f(X_inp)，计算{I_R(x,y)}的视觉舒适度显著图，记为{S_VC(x,y)}，其中，S_VC(x,y)表示{S_VC(x,y)}中坐标位置为(x,y)的像素点的像素值；

⑧对{I_R(x,y)}的二维显著图{S_2D(x,y)}、{I_R(x,y)}的深度显著图{S_DP(x,y)}及{I_R(x,y)}的视觉舒适度显著图{S_VC(x,y)}进行融合，得到{I_R(x,y)}的最终的三维视觉显著图，记为{S_3D(x,y)}，将{S_3D(x,y)}中坐标位置为(x,y)的像素点的像素值记为S_3D(x,y)，S_3D(x,y)＝S_2D(x,y)×S_DP(x,y)×S_VC(x,y)。

2.根据权利要求1所述的一种立体图像视觉显著图提取方法，其特征在于所述的步骤②中d_i中的所有像素点的视差均值、视差方差和视差范围的获取过程为：

②-1、计算d_i中的所有像素点的视差均值，记为μ_i，其中，1≤x≤W，1≤y≤H，此处W表示d_i的宽度，H表示d_i的高度，d_i(x,y)表示d_i中坐标位置为(x,y)的像素点的视差值；

②-2、计算d_i中的所有像素点的视差方差，记为δ_i，

②-3、计算d_i中的所有像素点的视差范围，记为χ_i，χ_i＝d_max-d_min，其中，d_max表示d_i中的所有像素点的视差值按从大到小的顺序排序后，前1％的视差值对应的所有像素点的视差均值；d_min表示d_i中的所有像素点的视差值按从大到小的顺序排序后，后1％的视差值对应的所有像素点的视差均值。

3.根据权利要求1或2所述的一种立体图像视觉显著图提取方法，其特征在于所述的步骤③的具体过程为：

③-1、将{L_i,R_i,d_i|1≤i≤N}中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，记为Ω_N，{X_i,MOS_i}∈Ω_N，其中，MOS_i表示{L_i,R_i,d_i|1≤i≤N}中的第i幅立体图像的平均主观评分均值，MOS_i∈[1,5]，1≤i≤N；

③-2、构造Ω_N中的每个特征矢量的回归函数，将X_i的回归函数记为f(X_i)，其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矢量，b为偏置项，表示X_i的线性函数，D(X_i,X_l')为支持向量回归中的核函数，X_l'表示Ω_N中的第l'个特征矢量，1≤l'≤N，γ为核参数，exp()表示以自然基数e为底的指数函数，符号“|| ||”为求欧式距离符号；

③-3、采用支持向量回归作为机器学习的方法，对Ω_N中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，得到最优的权重矢量w^opt和最优的偏置项b^opt，将最优的权重矢量w^opt和最优的偏置项b^opt的组合记为(w^opt，b^opt)，然后利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为f(X_inp)，其中，Ψ表示对Ω_N中的所有特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，表示取使得的值最小的w和b的值，X_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矢量，表示支持向量回归训练模型的输入矢量X_inp的线性函数。

4.根据权利要求3所述的一种立体图像视觉显著图提取方法，其特征在于所述的步骤③-2中取核参数γ＝54。

5.根据权利要求4所述的一种立体图像视觉显著图提取方法，其特征在于所述的步骤⑥中{I_R(x,y)}的深度显著图{S_DP(x,y)}的获取过程为：

⑥-1、计算{SP_h}中的不同区域之间的视差相似性，将{SP_h}中的第p个区域与第q个区域之间的视差相似性记为Sim_d(SP_p,SP_q)， ${\mathrm{Sim}}_d({\mathrm{SP}}_p,{\mathrm{SP}}_q)=|\frac{\underset{(x,y)\∈{\mathrm{SP}}_p}{\mathrm{\Σ}}{d}_R(x,y)}{N_{{\mathrm{SP}}_p}}-\frac{\underset{(x,y)\∈{\mathrm{SP}}_q}{\mathrm{\Σ}}{d}_R(x,y)}{N_{{\mathrm{SP}}_q}}|,$ 其中，1≤p≤M，1≤q≤M，p≠q，SP_p表示{SP_h}中的第p个区域，SP_q表示{SP_h}中的第q个区域，符号“| |”为取绝对值符号，d_R(x,y)表示{d_R(x,y)}中坐标位置为(x,y)的像素点的视差值，表示SP_p中包含的像素点的总个数，表示SP_q中包含的像素点的总个数；

⑥-2、计算{SP_h}中的不同区域之间的空间相似性，将{SP_h}中的第p个区域与第q个区域之间的空间相似性记为Sim_s(SP_p,SP_q)，其中，1≤p≤M，1≤q≤M，p≠q，SP_p表示{SP_h}中的第p个区域，SP_q表示{SP_h}中的第q个区域，表示SP_p中的中心像素点的坐标位置，表示SP_q中的中心像素点的坐标位置，符号“|| ||”为求欧式距离符号，max()为取最大值函数，exp()表示以自然基数e为底的指数函数，λ为控制参数；

⑥-3、根据{SP_h}中的不同区域之间的视差相似性和空间相似性，计算{SP_h}中的每个区域的深度显著值，将{SP_h}中的第h个区域SP_h的深度显著值记为 ${\mathrm{DP}}_{{\mathrm{SP}}_h}=\underset{q=1}{\overset{M}{\mathrm{\Σ}}}({\mathrm{Sim}}_d({\mathrm{SP}}_h,{\mathrm{SP}}_q)\×{\mathrm{Sim}}_s({\mathrm{SP}}_h,{\mathrm{SP}}_q)),$ 其中，1≤h≤M，1≤q≤M，h≠q，Sim_d(SP_h,SP_q)表示SP_h与SP_q之间的视差相似性，Sim_s(SP_h,SP_q)表示SP_h与SP_q之间的空间相似性；

⑥-4、将{SP_h}中的每个区域的深度显著值作为对应区域中的所有像素点的显著值，从而得到{I_R(x,y)}的深度显著图，记为{S_DP(x,y)}，其中，S_DP(x,y)表示{S_DP(x,y)}中坐标位置为(x,y)的像素点的像素值。

6.根据权利要求5所述的一种立体图像视觉显著图提取方法，其特征在于所述的步骤⑦的具体过程为：

⑦-1、计算{SP_h}中的每个区域的第一视差对比度，将{SP_h}中的第h个区域SP_h的第一视差对比度记为 其中，表示{d_R(x,y)}中与SP_h对应的区域中的所有像素点的视差均值，d_h,max表示{d_R(x,y)}中与SP_h对应的区域中的所有像素点的视差值按从大到小的顺序排序后，前1％的视差值对应的所有像素点的视差均值；d_h,min表示{d_R(x,y)}中与SP_h对应的区域中的所有像素点的视差值按从大到小的顺序排序后，后1％的视差值对应的所有像素点的视差均值；

⑦-2、计算{SP_h}中的每个区域的第二视差对比度，将{SP_h}中的第h个区域SP_h的第二视差对比度记为 ${S2}_{{\mathrm{SP}}_h}=\frac{d_{h,\max }-{\stackrel{\‾}{d}}_h}{d_{h,\max }-d_{h,\min }};$

⑦-3、计算{SP_h}中的每个区域的视觉舒适度预测值，将{SP_h}中的第h个区域SP_h的视觉舒适度预测值记为Q_h,pred，其中，为采用与步骤②相同的方法计算得到的SP_h的用于反映视觉舒适度的特征矢量，的维数为3，表示的线性函数；

⑦-4、根据{SP_h}中的每个区域的第一视差对比度、第二视差对比度和视觉舒适度预测值，计算{SP_h}中的每个区域的视觉舒适度显著值，将{SP_h}中的第h个区域SP_h的视觉舒适度显著值记为 其中，β为控制参数，T为阈值；

⑦-5、将{SP_h}中的每个区域的视觉舒适度显著值作为对应区域中的所有像素点的显著值，从而得到{I_R(x,y)}的视觉舒适度显著图，记为{S_VC(x,y)}，其中，S_VC(x,y)表示{S_VC(x,y)}中坐标位置为(x,y)的像素点的像素值。