CN105338335A - 一种立体图像显著图提取方法 - Google Patents

Abstract

本发明公开了一种立体图像显著图提取方法，其包括训练阶段和测试阶段两个过程，在训练阶段，提取多幅立体图像各自的右视点图像中的每个区域的对比度、深度和纹理特征矢量，并分别构造基于不同核函数的弱分类器，再通过AdaBoosting模型构造使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小的强分类器；在测试阶段，计算测试立体图像的右视点图像中的每个区域的对比度、深度和纹理特征矢量，并利用已训练得到的强分类器来预测测试立体图像的右视点图像中的每个区域的三维视觉显著值，从而得到测试立体图像的立体显著图；优点是所训练得到的强分类器较好地反映了不同特征和不同核对显著的影响，从而有效地提高了三维视觉显著值的预测准确性。

Description

一种立体图像显著图提取方法

技术领域

本发明涉及一种图像信号的处理方法，尤其是涉及一种立体图像显著图提取方法。

背景技术

在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区别，因此在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是计算机视觉以及基于内容的视频检索领域的一个重要的研究内容。而随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，针对立体图像/视频的显著区域检测及建模也是一个非常重要的研究内容。

然而，立体图像并不是平面图像的简单空间拓展，因此人眼感知立体图像产生立体视觉的过程也不是简单的左视点图像和右视点图像叠加的过程，因此，立体视觉特征(例如：三维视觉注意力)并不是平面视觉特性的简单拓展。然而，现有的立体图像显著图提取方法还停留在平面图像显著提取方法的简单拓展。因此，如何从立体图像中有效地提取出立体视觉特征、如何使得提取出的立体视觉特征符合人眼三维观看行为、如何采用机器学习方法训练出分类模型，都是在对立体图像进行视觉显著图提取过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种立体图像显著图提取方法，其符合显著语义特征，且具有较强的提取稳定性和较高的提取准确性。

本发明解决上述技术问题所采用的技术方案为：一种立体图像显著图提取方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：

①-1、将选取的N副各不相同的立体图像以及每幅立体图像的右视差图像和右视点图像的真实眼动图构成一个集合，记为{L_i,R_i,d_i,F_i|1≤i≤N}，其中，N≥1，L_i表示{L_i,R_i,d_i,F_i|1≤i≤N}中的第i幅立体图像的左视点图像，R_i表示{L_i,R_i,d_i,F_i|1≤i≤N}中的第i幅立体图像的右视点图像，d_i表示{L_i,R_i,d_i,F_i|1≤i≤N}中的第i幅立体图像的右视差图像，F_i表示{L_i,R_i,d_i,F_i|1≤i≤N}中的第i幅立体图像的右视点图像的真实眼动图；

①-2、采用超像素分割技术将{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像分割成M个互不重叠的区域，将R_i中的第h个区域记为SP_i,h，其中，M≥1，1≤h≤M；

①-3、计算{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量，将SP_i,h的对比度特征矢量记为 其中，的维数为6，符号“[]”为矢量表示符号，表示SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离，表示SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离，表示SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离，表示SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离，表示SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离，表示SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离，R_i中的背景区域是指R_i中位于最左边、最右边、最上边、最下边的区域，SP_i,h的相邻区域是指R_i中与SP_i,h左相邻、右相邻、上相邻、下相邻的区域；

①-4、计算{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的深度特征矢量，将SP_i,h的深度特征矢量记为 其中，的维数为3，符号“[]”为矢量表示符号，表示SP_i,h中的所有像素点的视差幅值的均值，表示SP_i,h中的所有像素点的视差幅值与R_i中的背景区域中的所有像素点的视差幅值的距离，表示SP_i,h中的所有像素点的视差幅值与SP_i,h的相邻区域中的所有像素点的视差幅值的距离；

①-5、计算{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域中的所有像素点的LBP特征统计直方图，将以矢量形式表示的LBP特征统计直方图作为对应区域的纹理特征矢量，将SP_i,h的纹理特征矢量记为其中，的维数为59；

①-6、按{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像中的M个互不重叠的区域，将{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图对应分割成M个互不重叠的区域；然后计算{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图中的每个区域的平均眼动值；接着按平均眼动值的大小对{L_i,R_i,d_i,F_i|1≤i≤N}中的所有N副立体图像的右视点图像的真实眼动图中的M×N个区域进行排序；之后从排序后的M×N个区域中取平均眼动值最高的20％区域，并将{L_i,R_i,d_i,F_i|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为正样本区域，同时从排序后的M×N个区域中取平均眼动值最低的40％区域，并将{L_i,R_i,d_i,F_i|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为负样本区域；再将所有正样本区域的特征矢量集的集合作为{L_i,R_i,d_i,F_i|1≤i≤N}的正样本集合，记为并将所有负样本区域的特征矢量集的集合作为{L_i,R_i,d_i,F_i|1≤i≤N}的负样本集合，记为最后将和构成初始的样本训练集，记为其中，表示第j个正样本区域的特征矢量集， 表示第j个正样本区域的对比度特征矢量，表示第j个正样本区域的深度特征矢量，表示第j个正样本区域的纹理特征矢量，L_j表示第j个正样本区域的标签值，L_j＝+1，T₁表示正样本区域的总个数，T₁＝0.2×M×N，表示第k个负样本区域的特征矢量集， 表示第k个负样本区域的对比度特征矢量，表示第k个负样本区域的深度特征矢量，表示第k个负样本区域的纹理特征矢量，L_k'表示第k个负样本区域的标签值，L_k'＝-1，T₂表示负样本区域的总个数，T₂＝0.4×M×N，表示中的第r个样本，为正样本或为负样本，若中的标签值为+1，则为正样本，若中的标签值为-1，则为负样本，T＝0.6×M×N，T＝T₁+T₂；

①-7、采用AdaBoosting模型作为机器学习的方法，对中的所有正样本和所有负样本进行训练，使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小，得到中的每个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数，将中的任意一个样本的第m个弱分类器的回归函数的最优的权重矢量和最优的偏置项及权重系数对应记为和及然后根据中的任意一个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数，构造一个强分类器，将根据的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数构造的强分类器记为φ(r)，其中，1≤m≤L，L表示中的任意一个样本的弱分类器的总个数，L＝N_f×N_k，N_f表示中的任意一个样本中的特征矢量的总个数，N_f＝3，N_k表示中的任意一个样本的任意一个弱分类器的回归函数的核的总个数，N_k≥2，为的转置矢量，k_m(r)表示的第m个弱分类器的回归函数的核函数；

所述的测试阶段过程的具体步骤如下：

②-1、对于任意一副测试立体图像S_test，将S_test的左视点图像、右视点图像、右视差图像对应记为L_test、R_test、d_test；然后采用超像素分割技术将R_test分割成M'个互不重叠的区域，将R_test中的第h个区域记为SP_h'，其中，M'≥1，1≤h≤M'；

②-2、按照步骤①-3至步骤①-5的过程，以相同的操作方式获取R_test中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量；然后将R_test中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量构成的集合作为输入样本；再计算R_test中的每个区域对应的输入样本的每个弱分类器的回归函数的核函数，将SP_h'对应的输入样本的第m个弱分类器的回归函数的核函数记为k_m(h)；

②-3、根据训练阶段构造的强分类器φ(r)，获取R_test中的每个区域的三维视觉显著值，将SP_h'的三维视觉显著值记为S_3D,h，S_3D,h＝φ(h)，再将R_test中的每个区域的三维视觉显著值作为对应区域中的所有像素点的显著值，对于SP_h'，将SP_h'的三维视觉显著值作为SP_h'中的所有像素点的显著值，从而得到S_test的立体显著图，记为{S_3D(x',y')}，其中，(x',y')表示S_test中的像素点的坐标位置，1≤x'≤W',1≤y'≤H'，W'和H'对应表示S_test的宽度和高度，S_3D(x',y')表示{S_3D(x',y')}中坐标位置为(x',y')的像素点的像素值，S_3D(x',y')亦表示R_test中坐标位置为(x',y')的像素点的显著值。

所述的步骤①-3中的的获取过程为：

①-3a、计算SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离 其中，表示R_i中的所有背景区域的序号的集合，表示SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，表示R_i中的第q个区域SP_i,q中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，Q表示R_i中的背景区域的总个数，符号“||”为取绝对值符号；

①-3b、计算SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离 其中，表示SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值，表示R_i中的第q个区域SP_i,q中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值；

①-3c、计算SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离 其中，表示SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值，表示R_i中的第q个区域SP_i,q中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值；

①-3d、计算SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离 其中，表示SP_i,h的所有相邻区域的序号的集合，exp()表示以自然基数e为底的指数函数，表示SP_i,h中的中心像素点的坐标位置，表示R_i中的第p个区域SP_i,p中的中心像素点的坐标位置，σ_p表示高斯函数的标准差，表示SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值的均值，表示R_i中的第p个区域SP_i,p中的所有像素点在RGB颜色空间的R分量的颜色值的均值，P表示SP_i,h的相邻区域的总个数，符号“||||”为求欧式距离符号；

①-3e、计算SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离 其中，表示SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值的均值，表示R_i中的第p个区域SP_i,p中的所有像素点在RGB颜色空间的G分量的颜色值的均值；

①-3f、计算SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离 其中，表示SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值的均值，表示R_i中的第p个区域SP_i,p中的所有像素点在RGB颜色空间的B分量的颜色值的均值；

①-3g、将和按顺序进行排列，构成SP_i,h的对比度特征矢量

所述的步骤①-4中的的获取过程为：

①-4a、计算SP_i,h中的所有像素点的视差幅值的均值

①-4b、计算SP_i,h中的所有像素点的视差幅值与R_i中的背景区域中的所有像素点的视差幅值的距离 其中，表示R_i中的所有背景区域的序号的集合，表示R_i中的第q个区域SP_i,q中的所有像素点的视差幅值的均值，Q表示R_i中的背景区域的总个数，符号“||”为取绝对值符号；

①-4c、计算SP_i,h中的所有像素点的视差幅值与SP_i,h的相邻区域中的所有像素点的视差幅值的距离 其中，表示SP_i,h的所有相邻区域的序号的集合，exp()表示以自然基数e为底的指数函数，表示SP_i,h中的中心像素点的坐标位置，表示R_i中的第p个区域SP_i,p中的中心像素点的坐标位置，σ_p表示高斯函数的标准差，表示R_i中的第p个区域SP_i,p中的所有像素点的视差幅值的均值，P表示SP_i,h的相邻区域的总个数，符号“||||”为求欧式距离符号；

①-4d、将和按顺序进行排列，构成SP_i,h的深度特征矢量

所述的步骤①-7中将的第m个弱分类器的回归函数记为f_m(r)，f_m(r)＝(w_m)^Tk_m(r)+b_m，其中，w_m为权重矢量，(w_m)^T为w_m的转置矢量，b_m为偏置项，k_m(r)表示f_m(r)的核函数。

所述的步骤①-7中当取N_k＝3时1≤m≤9，则的第1个弱分类器的回归函数的核函数为k₁(r)， 的第2个弱分类器的回归函数的核函数为k₂(r)， 的第3个弱分类器的回归函数的核函数为k₃(r)， 的第4个弱分类器的回归函数的核函数为k₄(r)， 的第5个弱分类器的回归函数的核函数为k₅(r)， 的第6个弱分类器的回归函数的核函数为k₆(r)， 的第7个弱分类器的回归函数的核函数为k₇(r)， 的第8个弱分类器的回归函数的核函数为k₈(r)， 的第9个弱分类器的回归函数的核函数为k₉(r)，其中，1≤r'≤T，exp()表示以自然基数e为底的指数函数，和对应表示中的对比度特征矢量、深度特征矢量和纹理特征矢量， 和对应表示中的第r'个样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，为的转置矩阵，为的转置矩阵，为的转置矩阵，γ、e和d均为核参数，符号“||||”为求欧式距离符号。

所述的核参数γ＝1/10，e＝3，d＝1。

所述的步骤①-7中将和及组成一个组合，记为 $\left(w_m^{opt},b_m^{opt},{\mathrm{\β}}_m^{opt}\right)=\underset{\left(w_m,b_m,{\mathrm{\β}}_m\right)\∈\mathrm{\Ψ}}{\arg \min }\underset{r=1}{\overset{T}{\Σ}}{\left(\underset{m=1}{\overset{L}{\Σ}}{\mathrm{\β}}_m\left({\left(w_m\right)}^T{k}_m\left(r\right)+b_m\right)-L_r\right)}^2,$ 其中， $\underset{\left(w_m,b_m,{\mathrm{\β}}_m\right)\∈\mathrm{\Ψ}}{\arg \min }\underset{r=1}{\overset{T}{\Σ}}{\left(\underset{m=1}{\overset{L}{\Σ}}{\mathrm{\β}}_m\left({\left(w_m\right)}^T{k}_m\left(r\right)+b_m\right)-L_r\right)}^2$ 表示取使得 $\underset{r=1}{\overset{T}{\Σ}}{\left(\underset{m=1}{\overset{L}{\Σ}}{\mathrm{\β}}_m\left({\left(w_m\right)}^T{k}_m\left(r\right)+b_m\right)-L_r\right)}^2$ 的值最小的w_m、b_m和β_m的值，w_m、b_m和β_m对应表示权重矢量、偏置项和权重系数，(w_m,b_m,β_m)为w_m、b_m和β_m组成的组合，Ψ表示对中的所有样本进行训练的所有的权重矢量和偏置项及权重系数的组合的集合，(w_m)^T为w_m的转置矢量，L_r表示中的标签值。

所述的步骤②-2中当取N_k＝3时1≤m≤9，则SP_h'对应的输入样本的第1个弱分类器的回归函数的核函数为k₁(h)，SP_h'对应的输入样本的第2个弱分类器的回归函数的核函数为k₂(h)，SP_h'对应的输入样本的第3个弱分类器的回归函数的核函数为k₃(h)，SP_h'对应的输入样本的第4个弱分类器的回归函数的核函数为SP_h'对应的输入样本的第5个弱分类器的回归函数的核函数为k₅(h)，SP_h'对应的输入样本的第6个弱分类器的回归函数的核函数为k₆(h)，SP_h'对应的输入样本的第7个弱分类器的回归函数的核函数为k₇(h)，SP_h'对应的输入样本的第8个弱分类器的回归函数的核函数为k₈(h)，SP_h'对应的输入样本的第9个弱分类器的回归函数的核函数为k₉(h)，其中，1≤h'≤M'，exp()表示以自然基数e为底的指数函数，和对应表示SP_h'对应的输入样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，和对应表示R_test中的第h'个区域SP_h”对应的输入样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，为的转置矩阵，为的转置矩阵，为的转置矩阵，γ、e和d均为核参数，符号“||||”为求欧式距离符号。

所述的核参数γ＝1/10，e＝3，d＝1。

与现有技术相比，本发明的优点在于：

1)本发明方法同时考虑了立体图像的右视点图像中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量，并分别构造基于不同核函数的弱分类器，再通过AdaBoosting模型作为机器学习的方法，构造使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小的强分类器，所训练得到的强分类器能够很好地反映不同特征、不同核对显著的影响，符合显著语义特征。

2)本发明方法通过AdaBoosting模型作为机器学习的方法，构造使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小的强分类器，然后利用已训练得到的强分类器来预测测试立体图像的右视点图像中的每个区域的三维视觉显著值，从而得到测试立体图像的立体显著图，这个过程有效地提高了三维视觉显著值的预测准确性和稳定性，从而提高了测试立体图像的立体显著图的提取稳定性和提取准确性。

附图说明

图1为本发明方法的总体实现框图；

图2a为“Image1”的右视点图像；

图2b为“Image1”的右视点图像的真实眼动图；

图2c为“Image1”的立体显著图；

图3a为“Image2”的右视点图像；

图3b为“Image2”的右视点图像的真实眼动图；

图3c为“Image2”的立体显著图；

图4a为“Image3”的右视点图像；

图4b为“Image3”的右视点图像的真实眼动图；

图4c为“Image3”的立体显著图；

图5a为“Image4”的右视点图像；

图5b为“Image4”的右视点图像的真实眼动图；

图5c为“Image4”的立体显著图；

图6a为“Image5”的右视点图像；

图6b为“Image5”的右视点图像的真实眼动图；

图6c为“Image5”的立体显著图；

图7a为“Image6”的右视点图像；

图7b为“Image6”的右视点图像的真实眼动图；

图7c为“Image6”的立体显著图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种立体图像显著图提取方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程，训练阶段过程的具体步骤如下：

①-1、将选取的N副各不相同的立体图像以及每幅立体图像的右视差图像和右视点图像的真实眼动图构成一个集合，记为{L_i,R_i,d_i,F_i|1≤i≤N}，其中，N≥1，L_i表示{L_i,R_i,d_i,F_i|1≤i≤N}中的第i幅立体图像的左视点图像，R_i表示{L_i,R_i,d_i,F_i|1≤i≤N}中的第i幅立体图像的右视点图像，d_i表示{L_i,R_i,d_i,F_i|1≤i≤N}中的第i幅立体图像的右视差图像，F_i表示{L_i,R_i,d_i,F_i|1≤i≤N}中的第i幅立体图像的右视点图像的真实眼动图。

在本实施例中，采用新加坡国立大学提供的三维人眼跟踪数据库(NUS3D-Saliencydatabase)构造训练立体图像集，该三维人眼跟踪数据库包含600副立体图像以及对应的右视差图像，并给出了每副立体图像的右视点图像的真实眼动图。

①-2、采用现有的超像素分割技术将{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像分割成M个互不重叠的区域，将R_i中的第h个区域记为SP_i,h，可将{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像重新表示为M个区域的集合，可将R_i重新表示的M个区域的集合记为{SP_i,h}，其中，M≥1，在本实施例中取M＝400，1≤h≤M。

①-3、计算{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量，将SP_i,h的对比度特征矢量记为 其中，的维数为6，符号“[]”为矢量表示符号，表示SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离，表示SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离，表示SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离，表示SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离，表示SP_i，h中的所有像素点在RGB颜色空间的G分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离，表示SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离，R_i中的背景区域是指R_i中位于最左边、最右边、最上边、最下边的区域，即将落在R_i中的最左边、最右边、最上边和最下边的区域作为背景区域，SP_i,h的相邻区域是指R_i中与SP_i,h左相邻、右相邻、上相邻、下相邻的区域。

在此具体实施例中，步骤①-3中的的获取过程为：

①-3a、计算SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离 其中，表示R_i中的所有背景区域的序号的集合，表示SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，表示R_i中的第q个区域SP_i,q(SP_i,q为背景区域)中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，Q表示R_i中的背景区域的总个数，符号“||”为取绝对值符号。

①-3b、计算SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离 其中，表示SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值，表示R_i中的第q个区域SP_i,q(SP_i,q为背景区域)中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值。

①-3c、计算SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离 其中，表示SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值，表示R_i中的第q个区域SP_i,q(SP_i,q为背景区域)中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值。

①-3d、计算SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离 其中，表示SP_i,h的所有相邻区域的序号的集合，exp()表示以自然基数e为底的指数函数，表示SP_i,h中的中心像素点的坐标位置，表示R_i中的第p个区域SP_i,p(SP_i,p为SP_i,h的相邻区域)中的中心像素点的坐标位置，σ_p表示高斯函数的标准差，在本实施例中取σ_p＝0.4，表示SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值的均值，表示R_i中的第p个区域SP_i,p中的所有像素点在RGB颜色空间的R分量的颜色值的均值，P表示SP_i,h的相邻区域的总个数，在本实施例中取P＝20，符号“||||”为求欧式距离符号。

①-3e、计算SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离 其中，表示SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值的均值，表示R_i中的第p个区域SP_i,p中的所有像素点在RGB颜色空间的G分量的颜色值的均值。

①-3f、计算SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离 其中，表示SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值的均值，表示R_i中的第p个区域SP_i,p中的所有像素点在RGB颜色空间的B分量的颜色值的均值。

①-3g、将和按顺序进行排列，构成SP_i,h的对比度特征矢量

①-4、计算{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的深度特征矢量，将SP_i,h的深度特征矢量记为 其中，的维数为3，符号“[]”为矢量表示符号，表示SP_i,h中的所有像素点的视差幅值的均值，表示SP_i,h中的所有像素点的视差幅值与R_i中的背景区域中的所有像素点的视差幅值的距离，表示SP_i,h中的所有像素点的视差幅值与SP_i,h的相邻区域中的所有像素点的视差幅值的距离。

在此具体实施例中，步骤①-4中的的获取过程为：

①-4a、计算SP_i,h中的所有像素点的视差幅值的均值

①-4b、计算SP_i,h中的所有像素点的视差幅值与R_i中的背景区域中的所有像素点的视差幅值的距离 其中，表示R_i中的所有背景区域的序号的集合，表示R_i中的第q个区域SP_i,q(SP_i,q为背景区域)中的所有像素点的视差幅值的均值，Q表示R_i中的背景区域的总个数，符号“||”为取绝对值符号。

①-4c、计算SP_i,h中的所有像素点的视差幅值与SP_i,h的相邻区域中的所有像素点的视差幅值的距离 其中，表示SP_i,h的所有相邻区域的序号的集合，exp()表示以自然基数e为底的指数函数，表示SP_i,h中的中心像素点的坐标位置，表示R_i中的第p个区域SP_i,p(SP_i,p为SP_i,h的相邻区域)中的中心像素点的坐标位置，σ_p表示高斯函数的标准差，在本实施例中取σ_p＝0.4，表示R_i中的第p个区域SP_i,p中的所有像素点的视差幅值的均值，P表示SP_i,h的相邻区域的总个数，符号“||||”为求欧式距离符号。

①-4d、将和按顺序进行排列，构成SP_i,h的深度特征矢量

①-5、计算{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域中的所有像素点的LBP特征统计直方图，将以矢量形式表示的LBP特征统计直方图作为对应区域的纹理特征矢量，将SP_i,h的纹理特征矢量记为其中，的维数为59。

①-6、按{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像中的M个互不重叠的区域，将{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图对应分割成M个互不重叠的区域，即R_i中的每个区域与F_i中的每个区域一一对应；然后计算{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图中的每个区域的平均眼动值；接着按平均眼动值的大小对{L_i,R_i,d_i,F_i|1≤i≤N}中的所有N副立体图像的右视点图像的真实眼动图中的M×N个区域进行排序；之后从排序后的M×N个区域中取平均眼动值最高的20％区域，并将{L_i,R_i,d_i,F_i|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为正样本区域，同时从排序后的M×N个区域中取平均眼动值最低的40％区域，并将{L_i,R_i,d_i,F_i|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为负样本区域；再将所有正样本区域的特征矢量集的集合作为{L_i,R_i,d_i,F_i|1≤i≤N}的正样本集合，记为并将所有负样本区域的特征矢量集的集合作为{L_i,R_i,d_i,F_i|1≤i≤N}的负样本集合，记为最后将和构成初始的样本训练集，记为其中，表示第j个正样本区域的特征矢量集， 表示第j个正样本区域的对比度特征矢量，表示第j个正样本区域的深度特征矢量，表示第j个正样本区域的纹理特征矢量，L_j表示第j个正样本区域的标签值，L_j＝+1，T₁表示正样本区域的总个数，T₁＝0.2×M×N，表示第k个负样本区域的特征矢量集， 表示第k个负样本区域的对比度特征矢量，表示第k个负样本区域的深度特征矢量，表示第k个负样本区域的纹理特征矢量，L_k'表示第k个负样本区域的标签值，L_k'＝-1，T₂表示负样本区域的总个数，T₂＝0.4×M×N，表示中的第r个样本，为正样本或为负样本，若中的标签值为+1，则为正样本，若中的标签值为-1，则为负样本，T＝0.6×M×N，T＝T₁+T₂。

①-7、采用现有的AdaBoosting模型作为机器学习的方法，对中的所有正样本和所有负样本进行训练，使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小，得到中的每个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数，中的所有样本相对应的弱分类器的回归函数的最优的权重矢量和最优的偏置项及权重系数相同，即中的所有样本各自的第m个弱分类器的回归函数的最优的权重矢量相同、最优的偏置项相同及权重系数相同，将中的任意一个样本的第m个弱分类器的回归函数的最优的权重矢量和最优的偏置项及权重系数对应记为和及然后根据中的任意一个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数，构造一个强分类器，将根据的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数构造的强分类器记为φ(r)，其中，1≤m≤L，L表示中的任意一个样本的弱分类器的总个数，L＝N_f×N_k，N_f表示中的任意一个样本中的特征矢量的总个数，在本实施例中中的任意一个样本中包含对比度特征矢量、深度特征矢量和纹理特征矢量，即N_f＝3，N_k表示中的任意一个样本的任意一个弱分类器的回归函数的核的总个数，N_k≥2，在本实施例中取N_k＝3，为的转置矢量，k_m(r)表示的第m个弱分类器的回归函数的核函数。

在此具体实施例中，步骤①-7中将的第m个弱分类器的回归函数记为f_m(r)，f_m(r)＝(w_m)^Tk_m(r)+b_m，其中，w_m为权重矢量，(w_m)^T为w_m的转置矢量，b_m为偏置项，k_m(r)表示f_m(r)的核函数。

在此具体实施例中，步骤①-7中当取N_k＝3时1≤m≤9，则的第1个弱分类器的回归函数的核函数为k₁(r)， 的第2个弱分类器的回归函数的核函数为k₂(r)， 的第3个弱分类器的回归函数的核函数为k₃(r)， 的第4个弱分类器的回归函数的核函数为k₄(r)， 的第5个弱分类器的回归函数的核函数为k₅(r)， 的第6个弱分类器的回归函数的核函数为k₆(r)， 的第7个弱分类器的回归函数的核函数为k₇(r)， 的第8个弱分类器的回归函数的核函数为k₈(r)， 的第9个弱分类器的回归函数的核函数为k₉(r)，其中，1≤r'≤T，exp()表示以自然基数e为底的指数函数，和对应表示中的对比度特征矢量、深度特征矢量和纹理特征矢量， 和对应表示中的第r'个样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，为的转置矩阵，为的转置矩阵，为的转置矩阵，γ、e和d均为核参数，在本实施例中取γ＝1/10，e＝3，d＝1，符号“||||”为求欧式距离符号。

在此具体实施例中，步骤①-7中将和及组成一个组合，记为 $\left(w_m^{opt},b_m^{opt},{\mathrm{\β}}_m^{opt}\right)=\underset{\left(w_m,b_m,{\mathrm{\β}}_m\right)\∈\mathrm{\Ψ}}{\arg \min }\underset{r=1}{\overset{T}{\Σ}}{\left(\underset{m=1}{\overset{L}{\Σ}}{\mathrm{\β}}_m\left({\left(w_m\right)}^T{k}_m\left(r\right)+b_m\right)-L_r\right)}^2,$ 其中， $\underset{\left(w_m,b_m,{\mathrm{\β}}_m\right)\∈\mathrm{\Ψ}}{\arg \min }\underset{r=1}{\overset{T}{\Σ}}{\left(\underset{m=1}{\overset{L}{\Σ}}{\mathrm{\β}}_m\left({\left(w_m\right)}^T{k}_m\left(r\right)+b_m\right)-L_r\right)}^2$ 表示取使得 $\underset{r=1}{\overset{T}{\Σ}}{\left(\underset{m=1}{\overset{L}{\Σ}}{\mathrm{\β}}_m\left({\left(w_m\right)}^T{k}_m\left(r\right)+b_m\right)-L_r\right)}^2$ 的值最小的w_m、b_m和β_m的值，w_m、b_m和β_m对应表示权重矢量、偏置项和权重系数，(w_m,b_m,β_m)为w_m、b_m和β_m组成的组合，Ψ表示对中的所有样本进行训练的所有的权重矢量和偏置项及权重系数的组合的集合，(w_m)^T为w_m的转置矢量，L_r表示中的标签值。

测试阶段过程的具体步骤如下：

②-1、对于任意一副测试立体图像S_test，将S_test的左视点图像、右视点图像、右视差图像对应记为L_test、R_test、d_test；然后采用现有的超像素分割技术将R_test分割成M'个互不重叠的区域，将R_test中的第h个区域记为SP_h'，其中，M'≥1，在本实施例中取M'＝400，1≤h≤M'。

②-2、按照步骤①-3至步骤①-5的过程，以相同的操作方式获取R_test中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量；然后将R_test中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量构成的集合作为输入样本；再计算R_test中的每个区域对应的输入样本的每个弱分类器的回归函数的核函数，将SP_h'对应的输入样本的第m个弱分类器的回归函数的核函数记为k_m(h)。

在此，如SP_h'的对比度特征矢量的获取过程为：

A1、计算SP_h'中的所有像素点在CIELAB颜色空间的L分量的颜色值与R_test中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离 其中，表示R_test中的所有背景区域的序号的集合，表示SP_h'中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，表示R_test中的第q个区域SP_q'中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，Q'表示R_test中的背景区域的总个数，符号“||”为取绝对值符号。

B1、计算SP_h'中的所有像素点在CIELAB颜色空间的a分量的颜色值与R_test中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离 其中，表示SP_h'中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值，表示R_test中的第q个区域SP_q'中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值。

C1、计算SP_h'中的所有像素点在CIELAB颜色空间的b分量的颜色值与R_test中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离 其中，表示SP_h'中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值，表示R_test中的第q个区域SP_q'中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值。

D1、计算SP_h'中的所有像素点在RGB颜色空间的R分量的颜色值与SP_h'的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离 其中，表示SP_h'的所有相邻区域的序号的集合，exp()表示以自然基数e为底的指数函数，表示SP_h'中的中心像素点的坐标位置，表示R_test中的第p个区域SP_p'中的中心像素点的坐标位置，σ_p表示高斯函数的标准差，在本实施例中取σ_p＝0.4，表示SP_h'中的所有像素点在RGB颜色空间的R分量的颜色值的均值，表示R_test中的第p个区域SP_p'中的所有像素点在RGB颜色空间的R分量的颜色值的均值，P'表示SP_h'的相邻区域的总个数，在本实施例中取P'＝20，符号“||||”为求欧式距离符号。

E1、计算SP_h'中的所有像素点在RGB颜色空间的G分量的颜色值与SP_h'的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离 其中，表示SP_h'中的所有像素点在RGB颜色空间的G分量的颜色值的均值，表示R_test中的第p个区域SP_p'中的所有像素点在RGB颜色空间的G分量的颜色值的均值。

F1、计算SP_h'中的所有像素点在RGB颜色空间的B分量的颜色值与SP_h'的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离 其中，表示SP_h'中的所有像素点在RGB颜色空间的B分量的颜色值的均值，表示R_test中的第p个区域SP_p'中的所有像素点在RGB颜色空间的B分量的颜色值的均值。

G1、将和按顺序进行排列，构成SP_h'的对比度特征矢量。

在此，如SP_h'的深度特征矢量的获取过程为：

A2、计算SP_h'中的所有像素点的视差幅值的均值

B2、计算SP_h'中的所有像素点的视差幅值与R_test中的背景区域中的所有像素点的视差幅值的距离 其中，表示R_test中的所有背景区域的序号的集合，表示R_test中的第q个区域SP_q'中的所有像素点的视差幅值的均值，Q'表示R_test中的背景区域的总个数，符号“||”为取绝对值符号。

C1、计算SP_h'中的所有像素点的视差幅值与SP_h'的相邻区域中的所有像素点的视差幅值的距离 其中，表示SP_h'的所有相邻区域的序号的集合，exp()表示以自然基数e为底的指数函数，表示SP_h'中的中心像素点的坐标位置，表示R_test中的第p个区域SP_p'中的中心像素点的坐标位置，σ_p表示高斯函数的标准差，在本实施例中取σ_p＝0.4，表示R_test中的第p个区域SP_p'中的所有像素点的视差幅值的均值，P'表示SP_h'的相邻区域的总个数，符号“||||”为求欧式距离符号。

D1、将和按顺序进行排列，构成SP_h'的深度特征矢量。

在此，如SP_h'的纹理特征矢量的获取过程为：计算SP_h'中的所有像素点的LBP特征统计直方图，将以矢量形式表示的LBP特征统计直方图作为SP_h'的纹理特征矢量。

在此具体实施例中，步骤②-2中当取N_k＝3时1≤m≤9，则SP_h'对应的输入样本的第1个弱分类器的回归函数的核函数为k₁(h)，SP_h'对应的输入样本的第2个弱分类器的回归函数的核函数为k₂(h)，SP_h'对应的输入样本的第3个弱分类器的回归函数的核函数为k₃(h)，SP_h'对应的输入样本的第4个弱分类器的回归函数的核函数为k₄(h)，SP_h'对应的输入样本的第5个弱分类器的回归函数的核函数为k₅(h)，SP_h'对应的输入样本的第6个弱分类器的回归函数的核函数为k₆(h)，SP_h'对应的输入样本的第7个弱分类器的回归函数的核函数为k₇(h)，SP_h'对应的输入样本的第8个弱分类器的回归函数的核函数为k₈(h)，SP_h'对应的输入样本的第9个弱分类器的回归函数的核函数为k₉(h)，其中，1≤h'≤M'，exp()表示以自然基数e为底的指数函数，和对应表示SP_h'对应的输入样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，和对应表示R_test中的第h'个区域SP_h”对应的输入样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，为的转置矩阵，为的转置矩阵，为的转置矩阵，γ、e和d均为核参数，在本实施例中取γ＝1/10，e＝3，d＝1，符号“||||”为求欧式距离符号。

②-3、根据训练阶段构造的强分类器φ(r)，获取R_test中的每个区域的三维视觉显著值，将SP_h'的三维视觉显著值记为S_3D,h，S_3D,h＝φ(h)，再将R_test中的每个区域的三维视觉显著值作为对应区域中的所有像素点的显著值，对于SP_h'，将SP_h'的三维视觉显著值作为SP_h'中的所有像素点的显著值，从而得到S_test的立体显著图，记为{S_3D(x',y')}，其中，(x',y')表示S_test中的像素点的坐标位置，1≤x'≤W',1≤y'≤H'，W'和H'对应表示S_test的宽度和高度，S_test的宽度与训练阶段选取的立体图像的宽度可以不一致，S_test的高度与训练阶段选取的立体图像的高度可以不一致，即S_test与训练阶段选取的立体图像的尺寸大小可以一样也可以不一样，但要保证分割区域相同，S_3D(x',y')表示{S_3D(x',y')}中坐标位置为(x',y')的像素点的像素值，S_3D(x',y')亦表示R_test中坐标位置为(x',y')的像素点的显著值。

以下就利用本发明方法对法国南特大学提供的三维人眼跟踪数据库(3Deye-trackingdatabase)中的Image1、Image2、Image3、Image4、Image5和Image6六幅立体图像的立体显著图进行提取。图2a给出了“Image1”的右视点图像、图2b给出了“Image1”的右视点图像的真实眼动图、图2c给出了“Image1”的立体显著图；图3a给出了“Image2”的右视点图像、图3b给出了“Image2”的右视点图像的真实眼动图、图3c给出了“Image2”的立体显著图；图4a给出了“Image3”的右视点图像、图4b给出了“Image3”的右视点图像的真实眼动图、图4c给出了“Image3”的立体显著图；图5a给出了“Image4”的右视点图像、图5b给出了“Image4”的右视点图像的真实眼动图、图5c给出了“Image4”的立体显著图；图6a给出了“Image5”的右视点图像、图6b给出了“Image5”的右视点图像的真实眼动图、图6c给出了“Image5”的立体显著图；图7a给出了“Image6”的右视点图像、图7b给出了“Image6”的右视点图像的真实眼动图、图7c给出了“Image6”的立体显著图。从图2a至图7c中可以看出，采用本发明方法得到的立体显著图由于考虑了对比度特征、深度特征和纹理特征，因此能够很好地符合显著语义的特征。

Claims (9)

1.一种立体图像显著图提取方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：

①-1、将选取的N副各不相同的立体图像以及每幅立体图像的右视差图像和右视点图像的真实眼动图构成一个集合，记为{L_i,R_i,d_i,F_i|1≤i≤N}，其中，N≥1，L_i表示{L_i,R_i,d_i,F_i|1≤i≤N}中的第i幅立体图像的左视点图像，R_i表示{L_i,R_i,d_i,F_i|1≤i≤N}中的第i幅立体图像的右视点图像，d_i表示{L_i,R_i,d_i,F_i|1≤i≤N}中的第i幅立体图像的右视差图像，F_i表示{L_i,R_i,d_i,F_i|1≤i≤N}中的第i幅立体图像的右视点图像的真实眼动图；

①-2、采用超像素分割技术将{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像分割成M个互不重叠的区域，将R_i中的第h个区域记为SP_i,h，其中，M≥1，1≤h≤M；

①-3、计算{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量，将SP_i,h的对比度特征矢量记为 其中，的维数为6，符号“[]”为矢量表示符号，表示SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离，表示SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离，表示SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离，表示SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离，表示SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离，表示SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离，R_i中的背景区域是指R_i中位于最左边、最右边、最上边、最下边的区域，SP_i,h的相邻区域是指R_i中与SP_i,h左相邻、右相邻、上相邻、下相邻的区域；

①-4、计算{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的深度特征矢量，将SP_i,h的深度特征矢量记为 其中，的维数为3，符号“[]”为矢量表示符号，表示SP_i,h中的所有像素点的视差幅值的均值，表示SP_i,h中的所有像素点的视差幅值与R_i中的背景区域中的所有像素点的视差幅值的距离，表示SP_i,h中的所有像素点的视差幅值与SP_i,h的相邻区域中的所有像素点的视差幅值的距离；

①-5、计算{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域中的所有像素点的LBP特征统计直方图，将以矢量形式表示的LBP特征统计直方图作为对应区域的纹理特征矢量，将SP_i,h的纹理特征矢量记为其中，的维数为59；

①-6、按{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像中的M个互不重叠的区域，将{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图对应分割成M个互不重叠的区域；然后计算{L_i,R_i,d_i,F_i|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图中的每个区域的平均眼动值；接着按平均眼动值的大小对{L_i,R_i,d_i,F_i|1≤i≤N}中的所有N副立体图像的右视点图像的真实眼动图中的M×N个区域进行排序；之后从排序后的M×N个区域中取平均眼动值最高的20％区域，并将{L_i,R_i,d_i,F_i|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为正样本区域，同时从排序后的M×N个区域中取平均眼动值最低的40％区域，并将{L_i,R_i,d_i,F_i|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为负样本区域；再将所有正样本区域的特征矢量集的集合作为{L_i,R_i,d_i,F_i|1≤i≤N}的正样本集合，记为并将所有负样本区域的特征矢量集的集合作为{L_i,R_i,d_i,F_i|1≤i≤N}的负样本集合，记为最后将和 $\left\{S_k^{-}\right|1\≤k\≤T_2\}$ 构成初始的样本训练集，记为 $\left\{S_r^{\±}\right|1\≤r\≤T\},$ $\left\{S_r^{\±}\right\}=\{S_j^{+},S_k^{-}\};$ 其中，表示第j个正样本区域的特征矢量集， 表示第j个正样本区域的对比度特征矢量，表示第j个正样本区域的深度特征矢量，表示第j个正样本区域的纹理特征矢量，L_j表示第j个正样本区域的标签值，L_j＝+1，T₁表示正样本区域的总个数，T₁＝0.2×M×N，表示第k个负样本区域的特征矢量集， 表示第k个负样本区域的对比度特征矢量，表示第k个负样本区域的深度特征矢量，表示第k个负样本区域的纹理特征矢量，L_k'表示第k个负样本区域的标签值，L_k'＝-1，T₂表示负样本区域的总个数，T₂＝0.4×M×N，表示中的第r个样本，为正样本或为负样本，若中的标签值为+1，则为正样本，若中的标签值为-1，则为负样本，T＝0.6×M×N，T＝T₁+T₂；

①-7、采用AdaBoosting模型作为机器学习的方法，对中的所有正样本和所有负样本进行训练，使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小，得到中的每个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数，将中的任意一个样本的第m个弱分类器的回归函数的最优的权重矢量和最优的偏置项及权重系数对应记为和及然后根据中的任意一个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数，构造一个强分类器，将根据的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数构造的强分类器记为φ(r)， $\mathrm{\φ}\left(r\right)=\underset{m=1}{\overset{L}{\Σ}}{\mathrm{\β}}_m^{opt}\left({\left(w_m^{opt}\right)}^T{k}_m\right(r)+b_m^{opt});$ 其中，1≤m≤L，L表示 $\left\{S_r^{\±}\right|1\≤r\≤T\}$ 中的任意一个样本的弱分类器的总个数，L＝N_f×N_k，N_f表示中的任意一个样本中的特征矢量的总个数，N_f＝3，N_k表示中的任意一个样本的任意一个弱分类器的回归函数的核的总个数，N_k≥2，为的转置矢量，k_m(r)表示的第m个弱分类器的回归函数的核函数；

所述的测试阶段过程的具体步骤如下：

②-1、对于任意一副测试立体图像S_test，将S_test的左视点图像、右视点图像、右视差图像对应记为L_test、R_test、d_test；然后采用超像素分割技术将R_test分割成M'个互不重叠的区域，将R_test中的第h个区域记为SP_h'，其中，M'≥1，1≤h≤M'；

②-2、按照步骤①-3至步骤①-5的过程，以相同的操作方式获取R_test中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量；然后将R_test中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量构成的集合作为输入样本；再计算R_test中的每个区域对应的输入样本的每个弱分类器的回归函数的核函数，将SP_h'对应的输入样本的第m个弱分类器的回归函数的核函数记为k_m(h)；

②-3、根据训练阶段构造的强分类器φ(r)，获取R_test中的每个区域的三维视觉显著值，将SP_h'的三维视觉显著值记为S_3D,h，S_3D,h＝φ(h)，再将R_test中的每个区域的三维视觉显著值作为对应区域中的所有像素点的显著值，对于SP_h'，将SP_h'的三维视觉显著值作为SP_h'中的所有像素点的显著值，从而得到S_test的立体显著图，记为{S_3D(x',y')}，其中，(x',y')表示S_test中的像素点的坐标位置，1≤x'≤W',1≤y'≤H'，W'和H'对应表示S_test的宽度和高度，S_3D(x',y')表示{S_3D(x',y')}中坐标位置为(x',y')的像素点的像素值，S_3D(x',y')亦表示R_test中坐标位置为(x',y')的像素点的显著值。

2.根据权利要求1所述的一种立体图像显著图提取方法，其特征在于所述的步骤①-3中的的获取过程为：

①-3a、计算SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离 其中，表示R_i中的所有背景区域的序号的集合，表示SP_i,h中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，表示R_i中的第q个区域SP_i,q中的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，Q表示R_i中的背景区域的总个数，符号“||”为取绝对值符号；

①-3b、计算SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离 其中，表示SP_i,h中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值，表示R_i中的第q个区域SP_i,q中的所有像素点在CIELAB颜色空间的a分量的颜色值的均值；

①-3c、计算SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与R_i中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离 其中，表示SP_i,h中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值，表示R_i中的第q个区域SP_i,q中的所有像素点在CIELAB颜色空间的b分量的颜色值的均值；

①-3d、计算SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离 其中，表示SP_i,h的所有相邻区域的序号的集合，exp()表示以自然基数e为底的指数函数，表示SP_i,h中的中心像素点的坐标位置，表示R_i中的第p个区域SP_i,p中的中心像素点的坐标位置，σ_p表示高斯函数的标准差，表示SP_i,h中的所有像素点在RGB颜色空间的R分量的颜色值的均值，表示R_i中的第p个区域SP_i,p中的所有像素点在RGB颜色空间的R分量的颜色值的均值，P表示SP_i,h的相邻区域的总个数，符号“||||”为求欧式距离符号；

①-3e、计算SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离 其中，表示SP_i,h中的所有像素点在RGB颜色空间的G分量的颜色值的均值，表示R_i中的第p个区域SP_i,p中的所有像素点在RGB颜色空间的G分量的颜色值的均值；

①-3f、计算SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值与SP_i,h的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离 其中，表示SP_i,h中的所有像素点在RGB颜色空间的B分量的颜色值的均值，表示R_i中的第p个区域SP_i,p中的所有像素点在RGB颜色空间的B分量的颜色值的均值；

①-3g、将和按顺序进行排列，构成SP_i,h的对比度特征矢量

3.根据权利要求1或2所述的一种立体图像显著图提取方法，其特征在于所述的步骤①-4中的的获取过程为：

①-4a、计算SP_i,h中的所有像素点的视差幅值的均值

①-4b、计算SP_i,h中的所有像素点的视差幅值与R_i中的背景区域中的所有像素点的视差幅值的距离 其中，表示R_i中的所有背景区域的序号的集合，表示R_i中的第q个区域SP_i,q中的所有像素点的视差幅值的均值，Q表示R_i中的背景区域的总个数，符号“||”为取绝对值符号；

①-4c、计算SP_i,h中的所有像素点的视差幅值与SP_i,h的相邻区域中的所有像素点的视差幅值的距离 其中，表示SP_i,h的所有相邻区域的序号的集合，exp()表示以自然基数e为底的指数函数，表示SP_i,h中的中心像素点的坐标位置，表示R_i中的第p个区域SP_i,p中的中心像素点的坐标位置，σ_p表示高斯函数的标准差，表示R_i中的第p个区域SP_i,p中的所有像素点的视差幅值的均值，P表示SP_i,h的相邻区域的总个数，符号“||||”为求欧式距离符号；

①-4d、将和按顺序进行排列，构成SP_i,h的深度特征矢量

4.根据权利要求3所述的一种立体图像显著图提取方法，其特征在于所述的步骤①-7中将的第m个弱分类器的回归函数记为f_m(r)，f_m(r)＝(w_m)^Tk_m(r)+b_m，其中，w_m为权重矢量，(w_m)^T为w_m的转置矢量，b_m为偏置项，k_m(r)表示f_m(r)的核函数。

5.根据权利要求4所述的一种立体图像显著图提取方法，其特征在于所述的步骤①-7中当取N_k＝3时1≤m≤9，则的第1个弱分类器的回归函数的核函数为k₁(r)， 的第2个弱分类器的回归函数的核函数为k₂(r)， 的第3个弱分类器的回归函数的核函数为k₃(r)， 的第4个弱分类器的回归函数的核函数为k₄(r)， 的第5个弱分类器的回归函数的核函数为k₅(r)， 的第6个弱分类器的回归函数的核函数为k₆(r)， 的第7个弱分类器的回归函数的核函数为k₇(r)， 的第8个弱分类器的回归函数的核函数为k₈(r)， 的第9个弱分类器的回归函数的核函数为k₉(r)，其中，1≤r'≤T，exp()表示以自然基数e为底的指数函数，和对应表示中的对比度特征矢量、深度特征矢量和纹理特征矢量， 和对应表示中的第r'个样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，为的转置矩阵，为的转置矩阵，为的转置矩阵，γ、e和d均为核参数，符号“||||”为求欧式距离符号。

6.根据权利要求5所述的一种立体图像显著图提取方法，其特征在于所述的核参数γ＝1/10，e＝3，d＝1。

7.根据权利要求5所述的一种立体图像显著图提取方法，其特征在于所述的步骤①-7中将和及组成一个组合，记为 $(w_m^{opt},b_m^{opt},{\mathrm{\β}}_m^{opt})=\underset{(w_m,b_m,{\mathrm{\β}}_m)\∈\mathrm{\Ψ}}{\mathrm{argmin}}\underset{r=1}{\overset{T}{\Σ}}{\left(\underset{m=1}{\overset{L}{\Σ}}{\mathrm{\β}}_m\right({\left(w_m\right)}^T{k}_m\left(r\right)+b_m)-L_r)}^2,$ 其中， $\underset{(w_m,b_m,{\mathrm{\β}}_m)\∈\mathrm{\Ψ}}{\mathrm{argmin}}\underset{r=1}{\overset{T}{\Σ}}{\left(\underset{m=1}{\overset{L}{\Σ}}{\mathrm{\β}}_m\right({\left(w_m\right)}^T{k}_m\left(r\right)+b_m)-L_r)}^2$ 表示取使得 $\underset{r=1}{\overset{T}{\Σ}}{\left(\underset{m=1}{\overset{L}{\Σ}}{\mathrm{\β}}_m\right({\left(w_m\right)}^T{k}_m\left(r\right)+b_m)-L_r)}^2$ 的值最小的w_m、b_m和β_m的值，w_m、b_m和β_m对应表示权重矢量、偏置项和权重系数，(w_m,b_m,β_m)为w_m、b_m和β_m组成的组合，Ψ表示对中的所有样本进行训练的所有的权重矢量和偏置项及权重系数的组合的集合，(w_m)^T为w_m的转置矢量，L_r表示中的标签值。

8.根据权利要求1所述的一种立体图像显著图提取方法，其特征在于所述的步骤②-2中当取N_k＝3时1≤m≤9，则SP_h'对应的输入样本的第1个弱分类器的回归函数的核函数为k₁(h)，SP_h'对应的输入样本的第2个弱分类器的回归函数的核函数为k₂(h)，SP_h'对应的输入样本的第3个弱分类器的回归函数的核函数为k₃(h)，SP_h'对应的输入样本的第4个弱分类器的回归函数的核函数为k₄(h)，SP_h'对应的输入样本的第5个弱分类器的回归函数的核函数为k₅(h)，SP_h'对应的输入样本的第6个弱分类器的回归函数的核函数为k₆(h)，SP_h'对应的输入样本的第7个弱分类器的回归函数的核函数为k₇(h)，SP_h'对应的输入样本的第8个弱分类器的回归函数的核函数为k₈(h)，SP_h'对应的输入样本的第9个弱分类器的回归函数的核函数为k₉(h)，其中，1≤h'≤M'，exp()表示以自然基数e为底的指数函数，和对应表示SP_h'对应的输入样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，和对应表示R_test中的第h'个区域SP_h”对应的输入样本中的对比度特征矢量、深度特征矢量和纹理特征矢量，为的转置矩阵，为的转置矩阵，为的转置矩阵，γ、e和d均为核参数，符号“||||”为求欧式距离符号。

9.根据权利要求8所述的一种立体图像显著图提取方法，其特征在于所述的核参数γ＝1/10，e＝3，d＝1。