CN110287802B - 基于优化图像前景和背景种子的人眼凝视点预测方法 - Google Patents

Abstract

本发明公开了图像处理中的人眼凝视点预测技术领域的一种基于优化图像前景和背景种子的人眼凝视点预测方法，旨在解决现有技术中前景种子或背景种子容易被误分类且对比度与相关性利用不合理的技术问题，本发明所述方法包括以下步骤：对输入图像进行超像素分割；对超像素块，计算空间位置加权的颜色对比度，得到以超像素块为单位的初步显著图；构建7维特征，并计算各类的显著度均值；进行流形排序得到基于优化前景的显著图和基于优化背景的显著图；进行非线性融合，并通过阈值化得到人眼凝视点位置。本发明利用优选的前景和背景种子得到显著图，并通过非线性融合得到最终显著图和人眼凝视点位置，得到的结果更加准确。

Description

基于优化图像前景和背景种子的人眼凝视点预测方法

技术领域

本发明属于图像处理中的人眼凝视点预测技术领域，具体涉及一种基于优化图像前景和背景种子的人眼凝视点预测方法。

背景技术

人眼凝视点预测在图像分析与计算机视觉等应用中具有越来越重要的作用，其目的是通过算法自动预测出图像中最引人关注的位置。根据利用的特征不同，人眼凝视点预测技术可分为基于高层语义特征的方法和基于低层特征对比度的方法。基于高层语义特征的方法通过检测高层语义信息(如人脸、肤色等特定目标)进行凝视点预测，这类方法对特定应用更为有效，但缺乏通用性。基于低层特征对比度的方法首先提取图像中不同位置的亮度、颜色或纹理特征，再根据不同位置之间对比度大小进行凝视点预测，这类方法常具有更好的通用性和更低的计算复杂度。

现有技术中存在人眼凝视点预测时前景或背景被误分类的情况，且对对比度或相关性的利用不够理想，影响了显著性预测结果。

发明内容

本发明的目的在于提供一种基于优化图像前景和背景种子的人眼凝视点预测方法，以解决现有技术中前景种子或背景种子容易被误分类且对比度与相关性利用不合理的技术问题。

为达到上述目的，本发明所采用的技术方案是：一种基于优化图像前景和背景种子的人眼凝视点预测方法，其特征是，包括以下步骤：

a、对输入图像，利用简单线性迭代聚类算法进行超像素分割，得到多个超像素块；

b、对超像素块，利用Lab颜色空间各通道的颜色均值和质心坐标作为颜色和位置特征，计算空间位置加权的颜色对比度，结合中心先验得到以超像素块为单位的初步显著图；

c、对超像素块，利用初步显著度值以及Lab颜色空间三个颜色通道的均值和方差构建7维特征，使用K均值聚类算法对超像素块进行聚类，并计算各类的显著度均值；

d、取显著度均值最大且其位置不在图像四个边界上的前两类超像素块作为前景种子点，基于前景种子点进行流形排序得到基于优化前景的显著图；

e、取显著度均值最小且其位置在图像四个边界上的前两类超像素块作为背景种子点，基于背景种子点进行流形排序得到基于优化背景的显著图；

f、对基于优化前景和背景的显著图进行非线性融合，并通过阈值化得到人眼凝视点位置。

所述步骤a中超像素块的数目N设置为200。

所述步骤b包括如下步骤：

ba、以超像素块为单位，在Lab颜色空间计算三个通道的颜色均值作为颜色特征，计算公式如下：

其中，

表示第i个超像素块中的像素数，L_j表示超像素块中第j个像素的L通道颜色分量值，a_j表示超像素块中第j个像素的a通道颜色分量值，b_j表示超像素块中第j个像素的b通道颜色分量值，

表示第i个超像素块的L通道颜色均值，

表示第i个超像素块的a通道颜色均值，

表示第i个超像素块的b通道颜色均值；

bb、计算超像素块的质心坐标作为空间位置特征，计算公式如下：

其中，x_j表示超像素块中第j个像素的横坐标，y_j表示超像素块中第j个像素的纵坐标，

表示第i个超像素块的质心横坐标，

表示第i个超像素块的质心纵坐标；

bc、计算空间位置加权的颜色对比度，公式如下：

其中，σ²表示平滑参数，

表示第i个超像素块基于空间位置加权的颜色对比度，D_s(i,j)表示第i个与第j个超像素块之间的空间距离，D_c(i,j)表示第i个与第j个超像素块之间的颜色距离，D_s(i,j)和D_c(i,j)的计算公式如下：

其中，

表示第j个超像素块的质心横坐标，

表示第j个超像素块的质心纵坐标，

表示第j个超像素块的L通道颜色均值，

表示第j个超像素块的a通道颜色均值，

表示第j个超像素块的b通道颜色均值；

bd、结合中心先验和空间位置加权的颜色对比度得到以超像素块为单位的初步显著图，计算公式如下：

其中，x_c表示图像中心位置横坐标，y_c表示图像中心位置纵坐标，

表示x方向的空间平滑参数，

表示y方向的空间平滑参数，

是第i个超像素块的初步显著值，对所有超像素块的初步显著值进行归一化处理得到初步显著图

所述步骤c包括如下步骤：

ca、对超像素块利用初步显著度值以及Lab颜色空间三个颜色通道的均值和方差构建7维特征向量，表达式如下：

其中，

表示第i个超像素块的特征向量，

表示第i个超像素块Lab空间L通道的方差，

表示第i个超像素块Lab空间a通道的方差，

表示第i个超像素块Lab空间b通道的方差，颜色的紧凑性特征，计算公式如下：

cb、利用K均值聚类算法对所有超像素块根据步骤ca得到的7维特征向量进行聚类，聚类数目M设置为20；

cc、聚类完成后，计算各类以超像素块为单位的显著度均值

其中m表示聚类后的第m类超像素，m＝{1,2,…,M}。

所述步骤d包括如下步骤：

da、取显著度均值最大的前两类超像素块作为初选的前景种子；

db、判断这些超像素块的空间位置是否落在图像四个边界上，若是，则从初选的前景种子中排除，若不是，则保留作为最终选择的前景种子，并对这些超像素块加上前景种子标签；

dc、基于优选的前景种子标签，利用流形排序算法得到以超像素块为单位的基于优化前景的显著图

计算公式如下：

其中，W＝[w_i,j]∈R^N×N是超像素块之间基于颜色的相似性矩阵，定义为w_i,j＝exp(-D_c(i,j)/σ²)，D＝diag{d₁₁,...,d_nn}为对角阵，d_ii＝∑_jw_i,j，Y_F＝{Y_i,i＝1,...,N}表示前景标签向量，Y_i是前景种子时元素值为1，否则为0，α是控制超像素块显著值之间的平滑性以及与种子标签一致性的平衡参数，α取值为0.99。

所述步骤e包括如下步骤：

ea、取显著度均值最小的前两类超像素块作为初选的背景种子；

eb、判断这些超像素块的空间位置是否落在图像四个边界上，若是，则保留作为最终选择的背景种子，若不是，则从初选的背景种子中排除，并对这些超像素块加上背景种子标签：

ec、基于优选的背景种子标签，利用流形排序算法得到以超像素块为单位的基于优化背景的显著图

计算公式如下：

其中，Y_B＝{Y_i,i＝1,...,N}表示背景标签向量，Y_i是背景种子时元素值为1，否则为0。

所述步骤f包括如下步骤：

fa、对以超像素块为单位的基于优化前景和背景的显著图进行非线性融合和归一化处理得到最终显著图S_final，计算公式如下：

fb、对最终显著图S_final进行阈值化处理，得到人眼凝视点位置图S_fixation，计算公式如下

其中，T表示人眼凝视点阈值，T设置为0.9。

与现有技术相比，本发明所达到的有益效果：

(1)本发明利用优选的前景和背景种子进行基于图的流形排序得到基于前景与背景的显著图，并通过非线性融合得到最终显著图和人眼凝视点位置，得到的结果更加准确；

(2)本发明对分割后的超像素块使用初步显著性、Lab颜色空间三个通道的颜色均值和方差构造7维特征向量，有效表达了超像素块的颜色和显著特征；

(3)本发明充分利用超像素块聚类后的初步显著性和空间位置特征来选择前景和背景种子，更好地利用了前景与背景的先验知识，选取的前景与背景种子更加准确。

附图说明

图1是本发明实施例提供的一种基于优化图像前景和背景种子的人眼凝视点预测方法的流程示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，一种基于优化图像前景和背景种子的人眼凝视点预测方法，本实施例在附图1的基础上具体阐述本发明所述方法的预测过程。

a、对输入图像利用简单线性迭代聚类(SLIC)算法进行超像素分割，超像素块的数目设置的过多会导致计算量增加，而设置的过少会导致分割精度降低，因此本实施例中对图像分割后得到的超像素块的数目N依经验设置为200以平衡计算复杂度与分割精度。

b、对超像素块利用Lab颜色空间各通道的颜色均值和质心坐标作为颜色和位置特征，具体为：

以超像素块为单位，在Lab颜色空间计算三个通道的颜色均值作为颜色特征，计算公式如下：

其中，

表示第i个超像素块中的像素数，L_j表示超像素块中第j个像素的L通道颜色分量值，a_j表示超像素块中第j个像素的a通道颜色分量值，b_j表示超像素块中第j个像素的b通道颜色分量值，

表示第i个超像素块的L通道颜色均值，

表示第i个超像素块的a通道颜色均值，

表示第i个超像素块的b通道颜色均值；

计算超像素块的质心坐标作为空间位置特征，计算公式如下：

其中，x_j表示超像素块中第j个像素的横坐标，y_j表示超像素块中第j个像素的纵坐标，

表示第i个超像素块的质心横坐标，

表示第i个超像素块的质心纵坐标；

计算空间位置加权的颜色对比度，公式如下：

其中，σ²表示平滑参数，

表示第i个超像素块基于空间位置加权的颜色对比度，D_s(i,j)表示第i个与第j个超像素块之间的空间距离，D_c(i,j)表示第i个与第j个超像素块之间的颜色距离，D_s(i,j)和D_c(i,j)的计算公式如下：

其中，

表示第j个超像素块的质心横坐标，

表示第j个超像素块的质心纵坐标，

表示第j个超像素块的L通道颜色均值，

表示第j个超像素块的a通道颜色均值，

表示第j个超像素块的b通道颜色均值；

结合中心先验和空间位置加权的颜色对比度得到以超像素块为单位的初步显著图，计算公式如下：

其中，x_c表示图像中心位置横坐标，y_c表示图像中心位置纵坐标，

表示x方向的空间平滑参数，

表示y方向的空间平滑参数，

是第i个超像素块的初步显著值，对所有超像素块的初步显著值进行归一化处理得到初步显著图

c、对超像素块利用初步显著度值以及Lab空间三个颜色通道的均值和方差构建7维特征，具体为：

对超像素块利用初步显著度值以及Lab空间三个颜色通道的均值和方差构建7维特征向量，表达式如下：

其中，F_i ^sp表示第i个超像素块的特征向量，

表示第i个超像素块Lab空间L通道的方差，

表示第i个超像素块Lab空间a通道的方差，

表示第i个超像素块Lab空间b通道的方差，来表达颜色的紧凑性特征，计算公式如下：

对分割后的超像素块使用初步显著性、Lab颜色空间三个通道的颜色均值和方差构造7维特征向量，可以有效表达超像素块的颜色和显著特征；

利用K均值聚类算法对所有超像素块根据上述步骤得到的7维特征向量进行聚类，聚类数目考虑聚类的准确性和鲁棒性，在本实施例中聚类数目M设置为20；

聚类完成后，计算各类以超像素块为单位的显著度均值S₁ ^m，其中m表示聚类后的第m类超像素，m＝{1,2,…,20}。

d、取显著度均值最大的前两类超像素块且其位置不在图像四个边界上的超像素块作为前景种子点，基于前景种子点进行流形排序得到基于优化前景的显著图，具体为：

根据前述步骤中得到的各类以超像素块为单位的显著度均值取显著度均值最大的前两类超像素块作为初选的前景种子；

判断这些超像素块的空间位置是否落在图像四个边界上，若是，则从初选的前景种子中排除，若不是，则保留作为最终选择的前景种子，并对这些超像素块加上前景种子标签；

基于优选的前景种子标签，利用流形排序算法得到基于前景以超像素块为单位的显著图

计算公式如下：

其中，W＝[w_i,j]∈R^N×N是超像素块之间基于颜色的相似性矩阵，定义为w_i,j＝exp(-D_c(i,j)/σ²)，D＝diag{d₁₁,...,d_nn}为对角阵，d_ii＝∑_jw_i,j，Y_F＝{Y_i,i＝1,...,N}表示前景标签向量，Y_i是前景种子时元素值为1，否则为0，α是控制超像素块显著值之间的平滑性以及与种子标签一致性的平衡参数，依经验取值为0.99。

e、取显著度均值最小的前两类超像素块且其位置在图像四个边界上的超像素块作为背景种子点，基于背景种子点进行流形排序得到基于优化背景的显著图，具体为：

根据前述步骤中得到的各类以超像素块为单位的显著度均值取显著度均值最小的前两类超像素块作为初选的背景种子；

判断这些超像素块的空间位置是否落在图像四个边界上，若是，则保留作为最终选择的背景种子，若不是，则从初选的背景种子中排除，并对这些超像素块加上背景种子标签；

基于优选的背景种子标签，利用流形排序算法得到基于背景以超像素块为单位的显著图

计算公式如下：

其中，Y_B＝{Y_i,i＝1,...,N}表示背景标签向量，Y_i是背景种子时元素值为1，否则为0。

充分利用超像素块聚类后的初步显著性和空间位置特征来选择前景和背景种子，更好地利用了前景与背景的先验知识，选取的前景与背景种子也更加准确。

f、对基于前景和背景的显著图进行非线性融合，并通过阈值化得到人眼凝视点位置；具体为：

对基于优选前景和背景的以超像素为单位的显著图进行非线性融合和归一化处理得到最终显著图S_final，计算公式如下：

对最终显著图S_final进行阈值化处理，得到人眼凝视点位置图S_fixation，计算公式如下：

其中，T表示人眼凝视点阈值，根据图像中人眼凝视点统计数目的大小在本实施例中阈值T设置为0.9。

上述方案通过优化选择图像的前景和背景种子，基于流形排序方法得到了准确的人眼凝视点位置。

目前基于低层特征对比度和流形排序的显著性算法对前景和背景先验信息的利用不够充分，因此选择的前景和背景种子不够准确，从而影响流形排序方法的显著性检测效果。本发明充分利用初步显著特征和位置先验知识，选择的前景与背景种子更加准确，利用优选的前景和背景种子进行基于图的流形排序得到基于前景与背景的显著图，并通过非线性融合得到最终显著图和人眼凝视点位置，得到了更准确的人眼凝视点预测位置。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种基于优化图像前景和背景种子的人眼凝视点预测方法，其特征是，包括以下步骤：

a、对输入图像，利用简单线性迭代聚类算法进行超像素分割，得到多个超像素块；

b、对超像素块，利用Lab颜色空间各通道的颜色均值和质心坐标作为颜色和位置特征，计算空间位置加权的颜色对比度，结合中心先验得到以超像素块为单位的初步显著图；

c、对超像素块，利用初步显著度值以及Lab颜色空间三个颜色通道的均值和方差构建7维特征，使用K均值聚类算法对超像素块进行聚类，并计算各类的显著度均值；

d、取显著度均值最大且其位置不在图像四个边界上的前两类超像素块作为前景种子点，基于前景种子点进行流形排序得到基于优化前景的显著图；

e、取显著度均值最小且其位置在图像四个边界上的前两类超像素块作为背景种子点，基于背景种子点进行流形排序得到基于优化背景的显著图；

f、对基于优化前景和背景的显著图进行非线性融合，并通过阈值化得到人眼凝视点位置。

2.根据权利要求1所述的基于优化图像前景和背景种子的人眼凝视点预测方法，其特征是，所述步骤a中超像素块的数目N设置为200。

3.根据权利要求1所述的基于优化图像前景和背景种子的人眼凝视点预测方法，其特征是，所述步骤b包括如下步骤：

ba、以超像素块为单位，在Lab颜色空间计算三个通道的颜色均值作为颜色特征，计算公式如下：

其中，

表示第i个超像素块中的像素数，L_j表示超像素块中第j个像素的L通道颜色分量值，a_j表示超像素块中第j个像素的a通道颜色分量值，b_j表示超像素块中第j个像素的b通道颜色分量值，

表示第i个超像素块的L通道颜色均值，

表示第i个超像素块的a通道颜色均值，

表示第i个超像素块的b通道颜色均值；

bb、计算超像素块的质心坐标作为空间位置特征，计算公式如下：

其中，x_j表示超像素块中第j个像素的横坐标，y_j表示超像素块中第j个像素的纵坐标，

表示第i个超像素块的质心横坐标，

表示第i个超像素块的质心纵坐标；

bc、计算空间位置加权的颜色对比度，公式如下：

其中，σ²表示平滑参数，

表示第i个超像素块基于空间位置加权的颜色对比度，D_s(i,j)表示第i个与第j个超像素块之间的空间距离，D_c(i,j)表示第i个与第j个超像素块之间的颜色距离，D_s(i,j)和D_c(i,j)的计算公式如下：

其中，

表示第j个超像素块的质心横坐标，

表示第j个超像素块的质心纵坐标，

表示第j个超像素块的L通道颜色均值，

表示第j个超像素块的a通道颜色均值，

表示第j个超像素块的b通道颜色均值；

bd、结合中心先验和空间位置加权的颜色对比度得到以超像素块为单位的初步显著图，计算公式如下：

其中，x_c表示图像中心位置横坐标，y_c表示图像中心位置纵坐标，

表示x方向的空间平滑参数，

表示y方向的空间平滑参数，

是第i个超像素块的初步显著值，对所有超像素块的初步显著值进行归一化处理得到初步显著图

4.根据权利要求1所述的基于优化图像前景和背景种子的人眼凝视点预测方法，其特征是，所述步骤c包括如下步骤：

ca、对超像素块利用初步显著度值以及Lab颜色空间三个颜色通道的均值和方差构建7维特征向量，表达式如下：

其中，

表示第i个超像素块的特征向量，

表示第i个超像素块Lab空间L通道的方差，

表示第i个超像素块Lab空间a通道的方差，

表示第i个超像素块Lab空间b通道的方差，颜色的紧凑性特征，计算公式如下：

cb、利用K均值聚类算法对所有超像素块根据步骤ca得到的7维特征向量进行聚类，聚类数目M设置为20；

cc、聚类完成后，计算各类以超像素块为单位的显著度均值

其中m表示聚类后的第m类超像素，m＝{1,2,…,M}。

5.根据权利要求1所述的基于优化图像前景和背景种子的人眼凝视点预测方法，其特征是，所述步骤d包括如下步骤：

da、取显著度均值最大的前两类超像素块作为初选的前景种子；

db、判断这些超像素块的空间位置是否落在图像四个边界上，若是，则从初选的前景种子中排除，若不是，则保留作为最终选择的前景种子，并对这些超像素块加上前景种子标签；

dc、基于选择的前景种子标签，利用流形排序算法得到以超像素块为单位的基于优化前景的显著图

计算公式如下：

其中，W＝[w_i,j]∈R^N×N是超像素块之间基于颜色的相似性矩阵，定义为w_i,j＝exp(-D_c(i,j)/σ²)，D＝diag{d₁₁,...,d_nn}为对角阵，d_ii＝∑_jw_i,j，Y_F＝{Y_i,i＝1,...,N}表示前景标签向量，Y_i是前景种子时元素值为1，否则为0，α是控制超像素块显著值之间的平滑性以及与种子标签一致性的平衡参数，α取值为0.99。

6.根据权利要求5所述的基于优化图像前景和背景种子的人眼凝视点预测方法，其特征是，所述步骤e包括如下步骤：

ea、取显著度均值最小的前两类超像素块作为初选的背景种子；

eb、判断这些超像素块的空间位置是否落在图像四个边界上，若是，则保留作为最终选择的背景种子，若不是，则从初选的背景种子中排除，并对这些超像素块加上背景种子标签；

ec、基于选择的背景种子标签，利用流形排序算法得到以超像素块为单位的基于优化背景的显著图

计算公式如下：

其中，Y_B＝{Y_i,i＝1,...,N}表示背景标签向量，Y_i是背景种子时元素值为1，否则为0。

7.根据权利要求1所述的基于优化图像前景和背景种子的人眼凝视点预测方法，其特征是，所述步骤f包括如下步骤：

fa、对以超像素块为单位的基于优化前景和背景的显著图进行非线性融合和归一化处理得到最终显著图S_final，计算公式如下：

fb、对最终显著图S_final进行阈值化处理，得到人眼凝视点位置图S_fixation，计算公式如下

其中，T表示人眼凝视点阈值，T设置为0.9。

Images