CN107249126A - 一种适用于自由视点三维视频的人眼注视方向跟踪方法 - Google Patents

Abstract

本发明公开了一种适用于自由视点三维视频的人眼注视方向跟踪方法，属于立体视频显示与感知技术领域。本发明方法实时获取用户面部图像进行人脸检测，根据人脸结构特征定位眼眶，计算眼眶中心得到基准眼球中心位置坐标，再采用基于图像梯度矢量场分析的眼球中心定位算法来实时定位眼球中心位置，最后采用梯度方向模型计算此时眼球相对于基准眼球中心位置的水平旋转角和垂直旋转角，即人眼的注视方向。本发明方法无需对眼球中心进行提前标定；且将眼球中心到虹膜平面的距离简化为固定值，减小计算量；同时实时定位眼球中心位置算法和人眼注视方向算法较简单，适应性强。

Description

一种适用于自由视点三维视频的人眼注视方向跟踪方法

技术领域

本发明属于立体视频显示与感知技术领域，更具体地，涉及一种适用于自由视点三维视频的人眼注视方向跟踪方法。

背景技术

如今，传统的数字高清2D电视和视频已经非常普及，而随着科学技术的不断发展，能为用户提供身临其境的观感体验的三维视频正逐渐得到广泛的研究和推广。在现有的众多三维显示技术中，基于双目视差原理的分光立体显示是现在应用最广泛的一种三维立体显示方式，它的实现形式有眼镜式分光立体显示和裸眼式分光立体显示。戴眼镜式的3D显示技术由于要求用户在使用时佩戴专门的眼镜，降低了用户的舒适度，也就限制了其应用范围。在这样的背景条件下，用户可以直接观看的自由立体显示技术，即“裸眼式3D显示技术”最具应用前景，成为近年来的研究热点。裸眼3D显示技术作为未来显示技术的一大发展方向目前主要包括四大类：头部跟踪立体显示、体三维显示、全息三维显示和平板自由立体显示。其中，随着液晶显示技术的不断成熟，特别是液晶显示器、等离子显示器等影像设备的快速发展，人们研究的热点主要集中在基于液晶平板显示器的裸眼3D显示技术上。根据光线引导装置的不同，平板自有立体显示技术又可以分为狭缝式光栅自由立体显示技术(Barrier Displays)和柱透镜光栅式自由立体显示技术(Lenticular Displays)。柱透镜光栅式自由立体显示技术最突出的优点是显示图像的亮度不会因光栅的存在而受影响，但它制作成本高，对制备工艺的要求高无法轻易实现。而狭缝式光栅自由立体显示技术是一种基于双目视差的三维显示技术，虽然会因狭缝的存在而使显示图像的亮度受损，但它制作成本要求不高，简单易实现。因此，对比以上两种光栅式三维显示技术，显然基于狭缝式光栅自由立体显示技术的显示器大有发展前途。而在狭缝式光栅自由立体显示系统中，对人眼视线方向的跟踪识别是使用户获得优异的立体视觉体验的关键因素。只有实时准确的跟踪获取用户观看视频时的视线方向，才能实时地渲染立体显示器在用户视觉区域对应的视频画面，进而减少用户在使用过程中双眼看到的立体视频串扰问题，从而为用户提供更好的三维观感体验。因此如何准确的对用户视线方向进行计算获取和实时跟踪是目前学术界和工业界的研究热点。在此方面，国内外相关学者专家提出一种模型，是将人眼视线方向定义为穿过眼球和虹膜中心的光轴的方向，当视线发生改变时，眼球也会围绕着它的中心旋转，那么视线角度也就会有水平旋转角和垂直旋转角。但是在这个模型中，首选要进行实时标定，计算眼睛中心位置作为校准点，再对眼球中心位置进行实时定位，依据眼球中心位置和校准点位置之间的关系计算得到此时的视线方向角度。此外，它还需要进行霍夫变换得到眼球半径和虹膜半径，从而得到眼球中心到虹膜平面的距离。

但是以上方法必须事先进行实时标定找到校准点，并且现有的眼球中心实时定位算法复杂，而且要通过霍夫变换得到眼球半径和虹膜半径从而计算得到眼球中心到虹膜平面的距离，计算开销大；现有人眼注视方向跟踪方法存在算法复杂、可扩展性较差，计算开销大，效率低等问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种适用于自由视点三维视频的人眼注视方向跟踪方法，其目的在于利用基于图像梯度矢量场分析的眼球中心定位算法实时定位眼球中心位置，通过人脸结构定位眼眶，根据眼眶中心计算得到基准眼球中心位置，再利用梯度方向模型计算得到眼球注视方向角度，由此解决现有技术方案中需要实时对眼球进行标定找到校准点，实时定位眼球中心算法复杂的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种适用于自由视点三维视频的人眼注视方向跟踪方法，所述方法包括以下步骤：

(1)实时获取用户面部图像，并对面部图像进行预处理；对预处理后的面部图像进行人脸检测；

(2)根据眼眶在人脸上的位置关系，在人脸上定位眼眶，由眼眶中心位置定位基准眼球中心位置坐标；

(3)计算眼球中心实时位置坐标C^*：

其中，N表示眼球圆周上的N个点，N个点的位置表示为n_i,i∈{1,2,...,N}；d_i为圆内一点c到圆周上n_i处的位移向量；将d_i归一化为单位向量，T表示求转置；g_i为图像I中点n_i处的梯度向量，其中x_i，y_i表示n_i的横纵坐标；将梯度向量g_i也归一化为单位向量，||g_i||₂＝1；w_c表示权值，是将原始输入图像I进行高斯光滑和图像灰度值反转后得到的图像I^*在点c处的灰度值，w_c＝I^*(c_x，c_y)；

(4)由基准眼球中心位置坐标和眼球中心实时位置坐标得到眼球运动向量眼球注视方向相对于初始位置产生的水平方向和垂直方向旋转角α和β为：

其中，表示向量的实部，表示向量的虚部，d表示人眼眼球中心到虹膜平面的距离。

进一步地，所述步骤(1)中预处理包括面部图像灰度化和高斯滤波。

进一步地，所述步骤(2)中眼眶在人脸上的位置关系为：眼眶宽为脸宽的0.35倍；两眼眶的间距为脸高的0.3倍；眼眶顶部到脸框顶部距离为脸框高的0.25倍；左眼眶左边到脸框左边的距离和右眼眶右边到脸框右边的的距离为脸宽的0.13倍。

进一步地，所述步骤(2)中基准眼球中心位置坐标(x₀,y₀)为：

y₀＝y_r＝y_l

其中，(x_l,y_l)表示左眼角位置坐标；(x_r,y_r)表示右眼角坐标。

进一步地，所述步骤(4)中人眼眼球中心到虹膜平面的距离d取固定值1.036cm。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：

(1)本技术方案采用了一种基于图像梯度矢量场分析的眼球中心定位算法来实时定位人眼眼球中心，算法较简单，对人体无干扰，在戴眼镜、低对比度以及有阴影的情况下都能准确定位，适用于各种现实场景；

(2)由于用户在观看视频时头部的运动是极其微小的，可基本认为头部是固定不动的，故本技术方案由眼眶中心模型计算得到基准眼球中心位置，从而不需要进行实时标定，降低了算法的复杂度，减少了时间成本；

(3)本技术方案根据眼球中心实时位置坐标和基准眼球中心位置坐标可得到初始眼球中心和运动后眼球中心所形成的向量，再根据梯度方向模型计算得到此时眼睛的视线方向，算法较简单；

(4)由于对大多数人眼球中心到虹膜平面的距离的差别可忽略不计，故本技术方案将眼球中心到虹膜平面的距离设为一个固定值，不需要进行霍夫变换，降低了算法复杂度和时间复杂度，提高了视线跟踪效率。

附图说明

图1是本发明实施例中的方法流程图；

图2是本发明实施例中人脸和眼眶之间的几何比例示意图；

图3是本发明实施例中眼眶中心模型示意图；

图4是本发明实施例中眼球中心定位算法的眼球中心定位模型；

图5是本发明实施例中视线方向估计三维模型。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明方法包括以下步骤：

(1)用Dell Inspiration 15-5545型号的笔记本电脑自带的摄像头采集用户面部图像，对面部图像进行预处理，预处理包括图像灰度化和高斯滤波，图像灰度化是提取三通道彩色图像的某一通道作为灰度图，高斯滤波是对图像进行平滑去噪；对预处理后的图像进行人脸检测，采用OpenCV自带的Haar-like特征分类器进行人脸检测，检测到面部图像中的人脸；

(2)根据眼眶在人脸上的位置关系，在人脸上定位眼眶，由眼眶中心位置定位基准眼球中心位置坐标；

(21)根据人脸的结构特征、眼眶特征及眼眶在人脸的位置约束等来进行眼眶定位，如图2脸框和眼眶几何比例示意图所示，眼眶相对于人脸的位置是固定的：眼眶宽最多为脸框的三分之一，将眼眶设为脸宽的0.35倍，能够满足眼眶最大宽度；两眼眶的间距为脸高的0.3倍；眼眶顶部到脸框顶部距离为脸框高的0.25倍；左眼眶左边到脸框左边的距离和右眼眶右边到脸框右边的的距离为脸宽的0.13倍；

(22)在确定了眼眶区域后，定位初始基准眼睛中心位置，如附图3所示，初始基准眼睛中心位置坐标(x₀,y₀)可定义为：

y₀＝y_r＝y_l

其中，x_r是该帧图像中用户左或右眼的右眼角的横坐标位置，x_l是该帧图像中用户左或右眼的左眼角的横坐标位置，y_r是该帧图像中用户左或右眼的右眼角的纵坐标位置，y_l是该帧图像中用户左或右眼的左眼角的纵坐标位置；

(3)在进行了人脸检测和人眼定位后，再进行眼球中心实时位置的精确定位，眼球中心实时位置定位是人眼视线方向检测的关键步骤，精确的眼球中心定位是高精度完成人眼视线方向估计的前提条件，此处采用的一种基于图像梯度矢量场分析方法，如附图4所示，左边的园内点c不是圆心，点c到x_i的向量d_i与x_i处的径向向量g_i不在一个方向上，而右边的点c为圆心，点c到x_i的向量d_i与x_i处的径向向量g_i在同一方向上，也就是说若某点为圆心，则该点到圆周上任意一点的向量与该点处的径向向量方向相同，因此眼球中心实时位置坐标C^*为：

其中，N表示眼球圆周上的N个点，N个点的位置表示为n_i,i∈{1,2,...,N}；d_i为圆内一点c到圆周上n_i处的位移向量；将d_i归一化为单位向量，T表示求转置；g_i为图像I中点n_i处的梯度向量，计算图像的部分偏导求得图像的梯度向量，其中x_i，y_i表示n_i的横纵坐标；将梯度向量g_i也归一化为单位向量，||g_i||₂＝1；w_c表示权值，是将原始输入图像I进行高斯光滑和图像灰度值反转后得到的图像I^*在点c处的灰度值，w_c＝I^*(c_x，c_y)；

(4)在得到眼球中心实时位置坐标和初始基准眼睛中心位置坐标的前提下，可计算得到初始眼球中心与运动后眼球中心所形成的向量如附图5所示，眼球注视方向相对于初始位置产生的水平方向和垂直方向旋转角α和β为：

其中，表示向量的实部，表示向量的虚部，d表示人眼眼球中心到虹膜平面的距离，可以通过眼球半径和虹膜半径计算得到，如附表1所示，大部分人眼球半径和虹膜半径基本一致，即眼球中心到虹膜平面的距离d也是基本一样的，所以此处我们将d取为一个固定值1.036cm。

表1

以上具体实施方式本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种适用于自由视点三维视频的人眼注视方向跟踪方法，其特征在于，所述方法包括以下步骤：

(1)实时获取用户面部图像，并对面部图像进行预处理；对预处理后的面部图像进行人脸检测；

(2)根据眼眶在人脸上的位置关系，在人脸上定位眼眶，由眼眶中心位置定位基准眼球中心位置坐标；

(3)计算眼球中心实时位置坐标C^*：

<mrow> <msup> <mi>C</mi> <mo>*</mo> </msup> <mo>=</mo> <munder> <mi>argmax</mi> <mi>c</mi> </munder> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>w</mi> <mi>c</mi> </msub> <msup> <mrow> <mo>(</mo> <msubsup> <mi>d</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mi>g</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>

其中，N表示眼球圆周上的N个点，N个点的位置表示为n_i,i∈{1,2,...,N}；d_i为圆内一点c到圆周上n_i处的位移向量；将d_i归一化为单位向量，T表示求转置；g_i为图像I中点n_i处的梯度向量，其中x_i，y_i表示n_i的横纵坐标；将梯度向量g_i也归一化为单位向量，||g_i||₂＝1；w_c表示权值，是将原始输入图像I进行高斯光滑和图像灰度值反转后得到的图像I^*在点c处的灰度值，w_c＝I^*(c_x，c_y)；

(4)由基准眼球中心位置坐标和眼球中心实时位置坐标得到眼球运动向量眼球注视方向相对于初始位置产生的水平方向和垂直方向旋转角α和β为：

<mrow> <mi>&amp;alpha;</mi> <mo>&amp;ap;</mo> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mi>&amp;alpha;</mi> <mo>=</mo> <mfrac> <mrow> <mi>Re</mi> <mrow> <mo>(</mo> <mover> <msub> <mi>v</mi> <mi>g</mi> </msub> <mo>&amp;RightArrow;</mo> </mover> <mo>)</mo> </mrow> </mrow> <mi>d</mi> </mfrac> </mrow>

<mrow> <mi>&amp;beta;</mi> <mo>&amp;ap;</mo> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mi>&amp;beta;</mi> <mo>=</mo> <mfrac> <mrow> <mi>Im</mi> <mrow> <mo>(</mo> <mover> <msub> <mi>v</mi> <mi>g</mi> </msub> <mo>&amp;RightArrow;</mo> </mover> <mo>)</mo> </mrow> </mrow> <mi>d</mi> </mfrac> </mrow>

其中，表示向量的实部，表示向量的虚部，d表示人眼眼球中心到虹膜平面的距离。

2.根据权利要求1所述的人眼注视方向跟踪方法，其特征在于，所述步骤(1)中预处理包括面部图像灰度化和高斯滤波。

3.根据权利要求1所述的人眼注视方向跟踪方法，其特征在于，所述步骤(2)中眼眶在人脸上的位置关系为：眼眶宽为脸宽的0.35倍；两眼眶的间距为脸高的0.3倍；眼眶顶部到脸框顶部距离为脸框高的0.25倍；左眼眶左边到脸框左边的距离和右眼眶右边到脸框右边的的距离为脸宽的0.13倍。

4.根据权利要求1所述的人眼注视方向跟踪方法，其特征在于，所述步骤(2)中基准眼球中心位置坐标(x₀,y₀)为：

<mrow> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>x</mi> <mi>r</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>l</mi> </msub> </mrow> <mn>2</mn> </mfrac> <mo>+</mo> <msub> <mi>x</mi> <mi>l</mi> </msub> </mrow>

y₀＝y_r＝y_l

其中，(x_l,y_l)表示左眼角位置坐标；(x_r,y_r)表示右眼角坐标。

5.根据权利要求1所述的人眼注视方向跟踪方法，其特征在于，所述步骤(4)中人眼眼球中心到虹膜平面的距离d取固定值1.036cm。