CN108647605A - 一种结合全局颜色与局部结构特征的人眼凝视点提取方法 - Google Patents

Abstract

本发明公开了一种结合全局颜色与局部结构特征的人眼凝视点提取方法，读入一幅待检测图像，在RGB颜色空间对图像中的像素颜色做均匀量化以提取全局颜色特征，基于颜色对比度在整个图像范围内计算全局显著度图，然后提取图像的亮度信息，在亮度通道内计算每一像素的局部回归核以提取局部结构特征，基于结构对比度在局部范围内计算局部显著度图，最后融合全局颜色显著度图和局部结构显著度图得到初步的人眼关注度图，再结合中心先验对初步的人眼关注度图进行调整，经高斯滤波后得到最终的人眼凝视点位置。本发明通过结合由全局颜色特征和局部结构特征得到的图像显著度图，更好地表达了图像中的显著信息，提高了人眼凝视点提取的准确性和鲁棒性。

Description

一种结合全局颜色与局部结构特征的人眼凝视点提取方法

技术领域

本发明涉及图像处理中的显著度区域自动分析技术领域，具体涉及一种结合全局颜色与局部结构特征的人眼凝视点提取方法。

背景技术

图像中人眼凝视点的自动分析与提取技术是近年来图像处理与分析领域的研究热点，图像中人眼凝视点定义为图像中最吸引人眼关注的位置和区域，在机器人导航、快速场景分析、图像质量评价、视频优化编码等方面都有重要的应用。

目前图像人眼凝视点的自动分析与提取方法大致分为两大类：一类是基于任务或高层语义特征驱动的自顶向下(Top-down)的方法，另一类是基于低层或中层图像特征的自底向上(Bottom-up)的方法。自顶向下的方法通过模拟人脑对图像认知的过程进行人眼凝视点的预测，通常计算复杂度较高且速度较慢。而自底向上的方法更多利用了图像低层特征之间的对比度关系，计算复杂度较小且速度较快，是目前人眼凝视点预测的主流技术。

到目前为止，最有代表性的自底向上的人眼凝视点提取方法是LaurentItti等人在1998年提出的基于中心周围差分的方法(Laurent Itti,Christof Koch,and ErnstNiebur,“A model of saliency-based visual attention for rapid scene analysis,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.20,no.11,pp.1254-1259,Nov.1998.)，该方法通过提取多尺度的亮度、颜色和方向特征进行对比度计算，最后通过跨尺度融合得到人眼关注点，计算复杂度较高且不够准确。还有一类基于频域分析的方法，如XiaodiHou等人在2012年提出的基于图像签名的显著度检测方法(XiaodiHou,Jonathan Harel and Christof Koch,“Imagesignature:highlightingsparse salient regions,”IEEE Transactions on Pattern Analysis and MachineIntelligence,vol.34,no.1,pp.194-201,Jan.2012.)，该方法根据傅立叶变换对谱残差进行分析来得到人眼关注位置，计算简单但准确度不高。

目前自底向上的人眼凝视点提取方法主要问题在于图像低层特征利用的不够充分，导致计算复杂度较高且预测不够准确。本发明通过提取全局颜色特征和局部结构特征较好地表达了图像的显著特征，并通过对比度计算得到显著位置，得到了准确的人眼凝视点。

发明内容

为解决现有技术中的不足，本发明提供一种结合全局颜色与局部结构特征的人眼凝视点提取方法，解决了目前人眼凝视点提取方法计算复杂度较高且预测不够准确的问题。

为了实现上述目标，本发明采用如下技术方案：一种结合全局颜色与局部结构特征的人眼凝视点提取方法，其特征在于：包括如下步骤：

步骤1、读入当前待检测的图像；

步骤2、对待检测图像，在RGB颜色空间对图像中的所有像素颜色做均匀量化以提取全局颜色特征，基于颜色对比度在整个图像范围内计算全局显著度图；

步骤3，对待检测图像提取亮度通道，在亮度通道内计算局部回归核以提取局部结构特征，基于结构对比度在局部邻域内计算结构显著度图；

步骤4，对步骤2中得到的全局显著度图与步骤3中得到的结构显著度图进行线性融合，得到初步的人眼关注度图；

步骤5，对步骤4得到的初步人眼关注度图使用中心先验进行调整，得到中心先验调整后的人眼关注度图；

步骤6，对步骤5得到的中心先验调整后的人眼关注度图，使用邻域窗再做一次高斯滤波，得到稳定的人眼关注度图，最后对人眼关注度图进行归一化，用灰度图像的形式呈现，灰度图像中像素值越大即越亮的位置即为预测的人眼凝视点的位置。

前述的一种结合全局颜色与局部结构特征的人眼凝视点提取方法，其特征是：所述步骤2包括步骤：

a)使用双线性插值方法将图像缩放至宽高为64×64像素大小；

b)分别提取RGB三个颜色通道，在各个颜色通道内将每个像素值均匀量化为4个等级，将每个像素x_i的量化颜色特征表达为一个三维矢量，其中分别表示像素x_i在R、G、B三个通道的量化等级，取值为{0，1，2，3}，颜色量化公式如下：

由此，将所有像素颜色量化为4×4×4共64种；

c)使用空间位置加权的欧氏距离，计算每个像素x_i量化后的颜色特征与整幅图像其它像素x_j颜色特征之间的对比度，作为其全局颜色显著度S_i,GC，得到宽高为64×64像素大小的全局颜色显著度图，使用双线性插值缩放至原图像大小，得到基于全局颜色特征的显著度图S_GC，全局颜色显著度S_i,GC的计算公式如下：

其中，D(x_i,x_j)表示像素x_i量化后的颜色特征与其他像素x_j量化后的颜色特征之间的欧氏距离，w(x_i,x_j)表示基于像素空间距离的权重，等于像素x_i与x_j以像素为单位空间位置欧氏距离的倒数。

前述的一种结合全局颜色与局部结构特征的人眼凝视点提取方法，其特征是：所述步骤3包括步骤：

a)提取待检测图像的亮度通道；

b)在亮度通道内计算每个像素x_i以3×3为邻域的局部回归核K(x_l-x_i)，计算公式如下：

其中，x_l是像素x_i邻域内的像素，l∈{1,...,P}，P＝9是局部3×3邻域内像素的个数，C_l是以x_l为中心3×3邻域窗内梯度矢量的协方差矩阵，|C_l|为C_l的行列式，h为平滑参数；

c)对每一像素x_i的局部回归核在3×3邻域内进行归一化，作为此像素点处的局部结构特征LSK(x_i)，进而得到局部结构特征图，局部结构特征LSK(x_i)计算公式如下：

d)将结构特征图划分为不重叠的3×3块作为基本单位，以3×3块区域中心像素的局部结构特征代表该区域的局部结构特征，并计算与以该区域为中心的9×9个邻域区域的空间距离加权的局部结构特征对比度，作为初步的局部结构显著度S_i,LS，进而得到初步的局部结构显著度图，初步的局部结构显著度S_i,LS计算公式如下：

其中，D(LSK(x_i),LSK(x_j))为像素x_i的局部结构特征与其他像素x_j的局部结构特征之间的欧氏距离，Q为以3×3块为基本单位的9×9邻域区域的个数，R＝9为结构特征的维数，r为结构特征的分量索引，LSK(x_i)_r与LSK(x_j)_r分别为像素x_i与x_j结构特征的第r个分量，w(x_i,x_j)是像素x_i与x_j以像素为单位空间位置欧氏距离的倒数；

e)使用邻域窗对初步的局部结构显著度图做一次高斯滤波，得到基于局部结构特征的显著度图S_LS。

前述的一种结合全局颜色与局部结构特征的人眼凝视点提取方法，其特征是：所述步骤4初步的人眼关注度图S'_F，计算公式如下：

S'_F＝α·S_GC+(1-α)·S_LS (8)

其中，权重α表示S_GC与S_LS线性融合时的重要性程度。

前述的一种结合全局颜色与局部结构特征的人眼凝视点提取方法，其特征是：所述步骤5包括步骤：

记图像中心位置的像素为x_center，其坐标为(x_center,x,x_center,y)，则图像中心先验S_CP可用基于空间距离的二维高斯函数表示如下：

其中，(x_i,x,x_i,_y)为图像中任一像素x_i的空间坐标，为中心先验高斯函数的方差，使用中心先验S_CP对步骤4得到的初步人眼关注度图进行调整得到的中心先验调整后的人眼关注度图S″_F：

前述的一种结合全局颜色与局部结构特征的人眼凝视点提取方法，其特征是：所述步骤6中的邻域窗大小为5×5像素。

本发明所达到的有益效果：

1、本发明充分利用并有效融合了人眼敏感的全局颜色特征和局部结构特征，提高了图像低层特征表达的准确性和鲁棒性，有效提高了人眼凝视点提取的准确性；

2、本发明在提取全局颜色特征时，在RGB颜色通道内分别进行颜色量化，减小了计算复杂度且提高了颜色特征的鲁棒性；

3、本发明在计算基于结构特征的局部显著度图时，结构特征对比度的计算以3×3块为单位进行并使用像素空间欧氏距离进行加权，减小了计算复杂度且考虑了像素位置对显著度的影响。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，一种结合全局颜色与局部结构特征的人眼凝视点提取方法，包括步骤：

步骤1、读入当前待检测的图像I；

步骤2、对待检测图像I，在RGB颜色空间对图像中的所有像素颜色做均匀量化以提取全局颜色特征，基于颜色对比度在整个图像范围内计算全局显著度图，具体包括如下步骤：

a)使用双线性插值方法将图像I缩放至宽高为64×64像素大小；

b)分别提取RGB三个颜色通道，在各个颜色通道内将原属于[0，255]的像素值(x_i,R,x_i,G,x_i,B)均匀量化为4个等级，由此将每个像素x_i的量化颜色特征表达为一个三维矢量其中分别表示像素x_i在R、G、B三个通道的量化等级，取值为{0，1，2，3}，具体的颜色量化公式如下：

由此，将所有像素颜色量化为4×4×4共64种；

c)使用空间位置加权的欧氏距离，计算每个像素x_i量化后的颜色特征与整幅图像其它像素x_j颜色特征之间的对比度，作为其全局颜色显著度S_i,GC，得到宽高为64×64像素大小的全局颜色显著度图，使用双线性插值缩放至原图像大小，得到基于全局颜色特征的显著度图S_GC，全局颜色显著度S_i,GC的计算公式如下：

其中，D(x_i,x_j)表示像素x_i量化后的颜色特征与其他像素x_j量化后的颜色特征之间的欧氏距离，w(x_i,x_j)表示基于像素空间距离的权重，等于像素x_i与x_j以像素为单位空间位置欧氏距离的倒数；

步骤3，对待检测图像I提取亮度通道，在亮度通道内计算局部回归核以提取局部结构特征，基于结构对比度在局部邻域内计算结构显著度图，包括如下子步骤：

a)提取待检测图像I的亮度通道；

b)在亮度通道内计算每个像素x_i以3×3为邻域的局部回归核K(x_l-x_i)，具体的计算公式如下：

其中，x_l是像素x_i邻域内的像素，l∈{1,...,P}，P＝9是局部3×3邻域内像素的个数，C_l是以x_l为中心3×3邻域窗内梯度矢量的协方差矩阵，|C_l|为C_l的行列式，h为平滑参数，其值经验性的设为0.008；

c)对每一像素x_i的局部回归核在3×3邻域内进行归一化，作为此像素点处的局部结构特征LSK(x_i)，进而得到局部结构特征图，具体的计算公式如下：

d)将结构特征图划分为不重叠的3×3块作为基本单位，以3×3块区域中心像素的局部结构特征代表该区域的局部结构特征，并计算与以该3×3块区域为中心的9×9个邻域区域的空间距离加权的局部结构特征对比度，作为初步的局部结构显著度S_i,LS，进而得到初步的局部结构显著度图，具体的计算公式如下：

其中，D(LSK(x_i),LSK(x_j))为像素x_i的局部结构特征与其他像素x_j的局部结构特征之间的欧氏距离，Q为以3×3块为基本单位的9×9邻域区域的个数，R＝9为结构特征的维数，r为结构特征的分量索引，LSK(x_i)_r与LSK(x_j)_r分别为像素x_i与x_j结构特征的第r个分量，w(x_i,x_j)是像素x_i与x_j以像素为单位空间位置欧氏距离的倒数；

e)使用5×5像素大小的邻域窗对初步的局部结构显著度图做一次高斯滤波，平滑掉分块计算对比度的影响，得到基于局部结构特征的显著度图S_LS；

步骤4，对步骤2中得到的基于全局颜色特征的显著度图S_GC与步骤3中得到的基于局部结构特征的显著度图S_LS进行线性融合，得到初步的人眼关注度图S'_F，具体计算公式如下：

其中，权重α＝0.4表示S_GC与S_LS线性融合时的重要性程度；

步骤5，对步骤4得到的初步人眼关注度图S'_F使用中心先验进行调整，具体步骤如下：记图像中心位置的像素为x_center，其坐标为(x_center,x,x_center,y)，则图像中心先验S_CP可用基于空间距离的二维高斯函数表示如下：

其中，(x_i,x,x_i,_y)为图像中任一像素x_i的空间坐标，为根据经验设置的中心先验高斯函数的方差，使用中心先验S_CP对步骤4得到的初步人眼关注度图进行调整得到的中心先验调整后的人眼关注度图S″_F，具体公式如下：

即对初步的人眼关注度图根据各像素与中心像素的距离进行调整；

步骤6，对步骤5得到的中心先验调整后的人眼关注度图S″_F，使用5×5像素大小的邻域窗再做一次高斯滤波，去除噪声的影响，得到稳定的人眼关注度图S_F，最后对人眼关注度图进行归一化，即可用灰度图像的形式呈现，灰度图像中像素值越大即越亮的位置即为预测的人眼凝视点的位置。

本发明通过在RGB颜色通道进行颜色量化以提取全局颜色特征，并通过颜色特征的对比度计算得到全局颜色显著度图，在亮度通道使用局部回归核提取结构特征，通过结构特征的对比度计算得到局部结构显著度图；最后通过线性融合得到人眼凝视点位置，以较小的计算复杂度得到准确的预测结果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种结合全局颜色与局部结构特征的人眼凝视点提取方法，其特征在于：包括如下步骤：

步骤1、读入当前待检测的图像；

步骤2、对待检测图像，在RGB颜色空间对图像中的所有像素颜色做均匀量化以提取全局颜色特征，基于颜色对比度在整个图像范围内计算全局显著度图；

步骤3，对待检测图像提取亮度通道，在亮度通道内计算局部回归核以提取局部结构特征，基于结构对比度在局部邻域内计算结构显著度图；

步骤4，对步骤2中得到的全局显著度图与步骤3中得到的结构显著度图进行线性融合，得到初步的人眼关注度图；

步骤5，对步骤4得到的初步人眼关注度图使用中心先验进行调整，得到中心先验调整后的人眼关注度图；

步骤6，对步骤5得到的中心先验调整后的人眼关注度图，使用邻域窗再做一次高斯滤波，得到稳定的人眼关注度图，最后对人眼关注度图进行归一化，用灰度图像的形式呈现，灰度图像中像素值越大即越亮的位置即为预测的人眼凝视点的位置。

2.根据权利要求1所述的一种结合全局颜色与局部结构特征的人眼凝视点提取方法，其特征是：所述步骤2包括步骤：

a)使用双线性插值方法将图像缩放至宽高为64×64像素大小；

b)分别提取RGB三个颜色通道，在各个颜色通道内将每个像素值均匀量化为4个等级，将每个像素x_i的量化颜色特征表达为一个三维矢量其中分别表示像素x_i在R、G、B三个通道的量化等级，取值为{0，1，2，3}，颜色量化公式如下：

由此，将所有像素颜色量化为4×4×4共64种；

c)使用空间位置加权的欧氏距离，计算每个像素x_i量化后的颜色特征与整幅图像其它像素x_j颜色特征之间的对比度，作为其全局颜色显著度S_i,GC，得到宽高为64×64像素大小的全局颜色显著度图，使用双线性插值缩放至原图像大小，得到基于全局颜色特征的显著度图S_GC，全局颜色显著度S_i,GC的计算公式如下：

S_i,GC＝∑_j≠iD(x_i,x_j)·w(x_i,x_j) (2)

其中，D(x_i,x_j)表示像素x_i量化后的颜色特征与其他像素x_j量化后的颜色特征之间的欧氏距离，w(x_i,x_j)表示基于像素空间距离的权重，等于像素x_i与x_j以像素为单位空间位置欧氏距离的倒数。

3.根据权利要求1所述的一种结合全局颜色与局部结构特征的人眼凝视点提取方法，其特征是：所述步骤3包括步骤：

a)提取待检测图像的亮度通道；

b)在亮度通道内计算每个像素x_i以3×3为邻域的局部回归核K(x_l-x_i)，计算公式如下：

其中，x_l是像素x_i邻域内的像素，l∈{1,...,P}，P＝9是局部3×3邻域内像素的个数，C_l是以x_l为中心3×3邻域窗内梯度矢量的协方差矩阵，|C_l|为C_l的行列式，h为平滑参数；

c)对每一像素x_i的局部回归核在3×3邻域内进行归一化，作为此像素点处的局部结构特征LSK(x_i)，进而得到局部结构特征图，局部结构特征LSK(x_i)计算公式如下：

d)将结构特征图划分为不重叠的3×3块作为基本单位，以3×3块区域中心像素的局部结构特征代表该区域的局部结构特征，并计算与以该区域为中心的9×9个邻域区域的空间距离加权的局部结构特征对比度，作为初步的局部结构显著度S_i,LS，进而得到初步的局部结构显著度图，初步的局部结构显著度S_i,LS计算公式如下：

其中，D(LSK(x_i),LSK(x_j))为像素x_i的局部结构特征与其他像素x_j的局部结构特征之间的欧氏距离，Q为以3×3块为基本单位的9×9邻域区域的个数，R＝9为结构特征的维数，r为结构特征的分量索引，LSK(x_i)_r与LSK(x_j)_r分别为像素x_i与x_j结构特征的第r个分量，w(x_i,x_j)是像素x_i与x_j以像素为单位空间位置欧氏距离的倒数；

e)使用邻域窗对初步的局部结构显著度图做一次高斯滤波，得到基于局部结构特征的显著度图S_LS。

4.根据权利要求1所述的一种结合全局颜色与局部结构特征的人眼凝视点提取方法，其特征是：所述步骤4初步的人眼关注度图S'_F，计算公式如下：

S'_F＝α·S_GC+(1-α)·S_LS (8)

其中，权重α表示S_GC与S_LS线性融合时的重要性程度。

5.根据权利要求1所述的一种结合全局颜色与局部结构特征的人眼凝视点提取方法，其特征是：所述步骤5包括步骤：

记图像中心位置的像素为x_center，其坐标为(x_center,x,x_center,_y)，则图像中心先验S_CP可用基于空间距离的二维高斯函数表示如下：

其中，(x_i,x,x_i,y)为图像中任一像素x_i的空间坐标，为中心先验高斯函数的方差，使用中心先验S_CP对步骤4得到的初步人眼关注度图进行调整得到的中心先验调整后的人眼关注度图S″_F：

S″_F＝S_CP·S′_F (10)。

6.根据权利要求1所述的一种结合全局颜色与局部结构特征的人眼凝视点提取方法，其特征是：所述步骤6中的邻域窗大小为5×5像素。