CN105740846A - 一种基于深度相机的水平视角估计及校准方法 - Google Patents

Abstract

本发明公开了一种基于深度相机的水平视角估计及校准方法，采用Kinect深度相机捕捉人脸部2D图像和估计头部姿势；在2D图像中定位最佳瞳孔中心点，得到最佳瞳孔中心点的2D坐标；利用Kinect深度相机的固有参数，将步骤二得到的最佳瞳孔中心点的2D坐标转换到Kinect深度相机的3D坐标系中，得到最佳瞳孔中心点的3D坐标；利用3D眼球模型，估计水平视线角度；设计实验系统，校准得到的视线角度。本发明方法操作简便、实时性好、成本低廉、对测试者头部无约束且精度高。

Description

一种基于深度相机的水平视角估计及校准方法

技术领域

本发明涉及一种基于深度相机的水平视角估计及校准方法，属于视线追踪技术领域。

背景技术

视线检测技术是目前国内外一个热门的研究课题，它在人机交互，残疾人交流，安全监控和疲劳驾驶中都有着广泛的应用。通常，其检测方法分为两类：基于外表的方法和基于模型的方法。前者建立一个从高维特征到低维目标空间的映射关系，后者一般是根据头部和眼部的特征来建立3D模型。

目前，市场上基于视线检测的眼动仪还存在着明显的缺陷：第一，检测设备复杂，成本高；第二，对头部限制大，操作不灵活；第三，精度低，无法推广。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于深度相机的水平视角估计及校准方法，解决现有技术中视觉检测设备复杂、成本高、对头部限制大，操作不灵活且精度低，无法推广的技术问题。

为解决上述技术问题，本发明所采用的技术方案是：一种基于深度相机的水平视角估计及校准方法，包括如下步骤：

步骤一：采用Kinect深度相机捕捉人脸部2D图像和估计头部姿势；

步骤二：在2D图像中定位最佳瞳孔中心点，得到最佳瞳孔中心点的2D坐标；

步骤三：利用Kinect深度相机的固有参数，将步骤二得到的最佳瞳孔中心点的2D坐标转换到Kinect深度相机的3D坐标系中，得到最佳瞳孔中心点的3D坐标；

步骤四：利用3D眼球模型，估计水平视线角度；

步骤五：设计实验系统，校准得到的视线角度。

步骤一具体包括如下步骤：

根据Kinect深度相机提供的头部倾斜角度γ、摇摆角度α、偏转角度β和空间坐标系中各方向的平移分量Tx，Ty，Tz，其中平移矩阵T＝(Tx，Ty，Tz)，计算头部的旋转矩阵R：

$R=\left[\begin{array}{ccc}\cos \mathrm{\α}\cos \mathrm{\γ}-\sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}& -\cos \mathrm{\β}\sin \mathrm{\α}& \cos \mathrm{\α}\sin \mathrm{\γ}+\cos \mathrm{\γ}\sin \mathrm{\α}\sin \mathrm{\β}\\ \cos \mathrm{\γ}\sin \mathrm{\α}+\cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}& \cos \mathrm{\α}\cos \mathrm{\β}& \sin \mathrm{\α}\sin \mathrm{\γ}-\cos \mathrm{\α}\cos \mathrm{\γ}\sin \mathrm{\β}\\ -\cos \mathrm{\β}\sin \mathrm{\γ}& \sin \mathrm{\β}& \cos \mathrm{\β}\cos \mathrm{\γ}\end{array}\right]---\left(10\right);$

预设头部坐标系中的眼球中心点经验值C_head，通过旋转矩阵R和平移矩阵T把C_head转换到Kinect深度相机的3D坐标系中，得到眼球中心点C：

C＝R*C_head+T(11)。

步骤二具体包括如下步骤：

通过Kinect深度相机定位到眼部区域，通过分析梯度值检测出眼部的虹膜和巩膜的边界，然后通过公式(3)计算虹膜区域随机瞳孔中心p*与虹膜边界区域随机点q_i的位移向量和q_i的梯度值的数量积，其中得到的最大值就是最佳的瞳孔中心点p＝(x_p,y_p)；

$p=\underset{p*}{\mathrm{argmax}}\{\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(d_i^T{g}_i\right)}^2---\left(12\right)$

$d_i={\frac{q_i-p*}{\left|\right|q_i-p*\left|\right|}}_2.\∀i:\left|\right|g_i|{|}_2=1---\left(13\right)$

其中：d_i是p*和q_i的单位化位移向量，g_i是q_i的单位化梯度向量，p的位移方向和q_i的梯度方向一致。

步骤三中将最佳瞳孔中心点的2D坐标转换到Kinect深度相机的3D坐标系中的具体方法为：

$\frac{x}{x_p-c_{center}}=-\frac{y}{y_p-r_{center}}=\frac{z}{\mathrm{\λ}}---\left(14\right)$

其中：P＝(x,y,z)是最佳瞳孔中心的3D坐标，(c_center,r_center)是Kinect深度相机的光轴和图像交点的列坐标和行坐标，λ是相机焦距。

步骤四具体包括如下步骤：

采用3D眼球模型建立特征点之间的关系，计算角膜中心点C_p：

$C_p=\frac{Ko}{K}(P-C)+C---\left(15\right)$

其中：C是步骤一中得到的眼球中心点，P是步骤三中得到的瞳孔中心点，Ko表示角膜中心点C_p与眼球中心点C的直线距离，K是瞳孔中心点P与眼球中心点C的直线距离；

根据角膜中心点C_p计算得到光轴向量然后根据公式(7)计算视轴向量其中M是视线点；

alpha＝arctan(x_cm/z_cm)(17)

θ表示光轴和视轴的夹角，为已知常量，得到最终的水平视线角度的测量值alpha。

步骤五具体包括如下步骤：

步骤501：设计实验系统：令测试者、Kinect深度相机、可移动黑板按照从前至后排序，Kinect深度相机的高度低于测试者的水平视线高度；

步骤502：在实际测量中，令测试者坐直坐正，视线平视前方，将可移动黑板上看到的首个点标记为0点，也称为定点；然后分别在定点的水平左右两边取若干点，通过保持瞳孔直视前方的情况下分别左右水平转动头部，使得视线恰好到所标点处，在转动过程中保持头部中心点到可移动黑板距离不变；

步骤503：计算水平视线角度的真实值

其中：0P是眼睛到可移动黑板的距离，0i是0点到i点的距离；

步骤504：利用线性回归模型中的最小二乘法y＝ax+b对所得到的测量值alpha和真实值进行拟合，其中：x是测量值，y是校准后的角度，通过拟合得到系数a和b后，就可以通过测量值计算得到相应校准后的水平视线角度。

所述测试者头部还戴有固定激光笔的帽子，用于校准测试者头部偏转，激光笔在测试者头部正中心的正上方，且激光笔发出的光束与测试者水平视线相平行。

与现有技术相比，本发明所达到的有益效果是：，采用Kinect深度相机，用户头部可自由转动不影响视线检测结果，检测设备简单，成本低廉；采用预设定的眼球中心点经验值，算法不需要对个人进行眼球中心点单独标定，具有实时性，高效性和普遍适用性，精确度高；采用一个简化3维眼球模型，设计了一个实验系统，用线性回归模型校准测量值，快速便捷地计算出水平视线角度。

附图说明

图1本发明方法的流程图。

图2眼部区域示意图。

图3瞳孔中心定位方法图。

图4三维眼球模型图。

图5水平视线角度图。

图6实验系统图。

图7实验操作图。

其中：1、瞳孔；2、虹膜；3、巩膜；4、激光笔；5、Kinect深度相机；6、可移动黑板。

具体实施方式

本发明是基于深度相机5的水平视角估计及校准方法，该方法采用Kinect深度相机5获取脸部特征点的3维坐标，通过一个瞳孔1定位算法，3D眼球模型及预设定的眼球中心点，得到水平视线角度。然后通过一个实验系统校准所得到的视线角度。

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，是本发明方法的流程图，包括如下步骤：

步骤一：采用Kinect深度相机5捕捉人脸部2维图像和估计头部姿势。

本发明采用了微软推出的Kinect深度相机5，它有一个彩色摄像头和两个红外摄像头，本发明用它的彩色摄像头捕捉2维图像，用红外摄像头捕捉深度图。Kinect深度相机5能够直接得到人头部摇摆角度α，偏转角度β，倾斜角度γ和空间坐标系中各方向的平移分量Tx，Ty，Tz。其中平移矩阵T＝(Tx，Ty，Tz)，由这三个角度就可以通过公式(1)得到人头部的旋转矩阵R。

$R=\left[\begin{array}{ccc}\cos \mathrm{\α}\cos \mathrm{\γ}-\sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}& -\cos \mathrm{\β}\sin \mathrm{\α}& \cos \mathrm{\α}\sin \mathrm{\γ}+\cos \mathrm{\γ}\sin \mathrm{\α}\sin \mathrm{\β}\\ \cos \mathrm{\γ}\sin \mathrm{\α}+\cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}& \cos \mathrm{\α}\cos \mathrm{\β}& \sin \mathrm{\α}\sin \mathrm{\γ}-\cos \mathrm{\α}\cos \mathrm{\γ}\sin \mathrm{\β}\\ -\cos \mathrm{\β}\sin \mathrm{\γ}& \sin \mathrm{\β}& \cos \mathrm{\β}\cos \mathrm{\γ}\end{array}\right]---\left(19\right);$

为了本发明的普遍适用性，本发明预设了一个头部坐标系中的眼球中心点经验值C_head，然后就可以通过得到的旋转矩阵R和平移矩阵T把C_head转换到Kinect坐标系中：

C＝R*C_head+T(20)。

步骤二：从2维图像中采用梯度法定位瞳孔1中心点。

本发明先通过Kinect深度相机5定位到眼部区域，图2为眼部区域示意图，通过分析梯度值可以检测出虹膜2与巩膜3的边界。然后我们通过公式(3)计算虹膜2区域随机瞳孔1中心p*与虹膜2边界区域随机点q_i的位移向量和q_i的梯度值的数量积，其中得到的最大值就是最佳的瞳孔1中心点p。

$p=\underset{p*}{\mathrm{argmax}}\{\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(d_i^T{g}_i\right)}^2---\left(21\right)$

$d_i={\frac{q_i-p*}{\left|\right|q_i-p*\left|\right|}}_2.\∀i:\left|\right|g_i|{|}_2=1---\left(22\right)$

其中d_i是p*和q_i的单位化位移向量，g_i是q_i的单位化梯度向量。通过公式(3)算出最大值，那么它就是最佳瞳孔1中心点p＝(x_p,y_p)。其中p的位移方向和q_i的梯度方向应该是一致的，如图3所示。

步骤三：利用Kinect深度相机5固有参数，得到3维坐标系中的瞳孔1中心点。

步骤二中得到了2维坐标系中瞳孔1中心坐标点p，因此通过Kinect深度相机5的固有参数，可以把它转换到Kinect深度相机5的3维坐标系中，如公式(5)所示：

$\frac{x}{x_p-c_{center}}=-\frac{y}{y_p-r_{center}}=\frac{z}{\mathrm{\λ}}---\left(23\right)$

其中P＝(x,y,z)是瞳孔1中心的3维坐标，(c_center,r_center)是Kinect深度相机5的光轴和图像交点的列坐标和行坐标，也称为图像的中心坐标。λ是相机焦距。c_center，r_center和λ都是Kinect相机的内部参数。

步骤四：利用简化的3维眼球模型，估计水平视线角度。

本发明采用了一个如图4所示的简化3维眼球模型来建立特征点之间的关系。图中C是步骤(1)中得到的眼球中心点，P是步骤(3)中得到的瞳孔1中心点，C_p是角膜中心点。K，Ko，θ都是已知常量。

$C_p=\frac{Ko}{K}(P-C)+C---\left(24\right)$

得到C_p后就可以得到光轴向量然后计算得到视轴向量 其中M是视线点。

alpha＝arctan(x_cm/z_cm)(26)

θ表示光轴和视轴的夹角，最终检测到的水平视线角度的测量值alpha，如图5所示。

步骤五：设计实验系统，校准得到水平视线角度。

为了校准步骤(4)得到的视线角度，本发明设计了一个实验系统，如图6所示。Kinect深度相机5在测试者前方70cm左右，且安放位置略低于测试者视线。Kinect深度相机5后面是一块可移动黑板6，测试者需要戴一个固定激光笔4的帽子，用来校准头部偏转。

在实际测量中，测试者需要坐直坐正，视线平视前方，将可移动黑板6上看到的首个点标记为0点，也称为定点。然后分别在定点的水平左右两边取若干点，通过保持瞳孔1直视前方的情况下分别左右水平转动头部，使得视线恰好到所标点处，在转动过程中保持头部中心点到可移动黑板6距离不变。为了便于视线恰好到达所标点处，本发明采用激光笔4校准头部偏转，激光笔4固定在头部正中心，激光线与测试者的视线保持水平。相同的，它在可移动黑板6上的首个点也标记为0点，且水平方向上其余点都与相应的视线点处于同一垂直方向，如图7中的视线点和激光点。

实验中测量值alpha是通过算法直接得到的，真实值是通过实际定点的坐标得到的，如图7所示。

其中0P是眼睛到可移动黑板6的距离，0i是0点到i点的距离。通过可移动黑板6到测试者的距离来改变真实值的角度，该方法比直接采用Kinect得到目标的真实值要更准确，实验时对每个人都要调整黑板6上视线点和激光点的位置及Kinect的高度。

通过实验得到测量值和真实值一一对应的数据后，本发明采用线性回归模型中的最小二乘法来对数据进行拟合。

y＝ax+b(10)

其中x是测量值，y是校准后的角度。通过拟合得到系数a和b后就可以从测量值直接得到相应校准后的视线角度了。

通过本发明公开的上述技术方案，得到了如下有益效果：(1)采用Kinect深度相机5，头部自由运动不影响视线检测结果；(2)采用预设定的眼球中心点经验值，不需要单独对每个人的眼球点进行校准；(3)采用一个简化3维眼球模型，快速便捷地计算出视线角度；(4)设计了一个实验系统，用线性回归模型校准测量值。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种基于深度相机的水平视角估计及校准方法，其特征在于，包括如下步骤：

步骤一：采用Kinect深度相机捕捉人脸部2D图像和估计头部姿势；

步骤二：在2D图像中定位最佳瞳孔中心点，得到最佳瞳孔中心点的2D坐标；

步骤三：利用Kinect深度相机的固有参数，将步骤二得到的最佳瞳孔中心点的2D坐标转换到Kinect深度相机的3D坐标系中，得到最佳瞳孔中心点的3D坐标；

步骤四：利用3D眼球模型，估计水平视线角度；

步骤五：设计实验系统，校准得到的视线角度。

2.根据权利要求1所述的基于深度相机的水平视角估计及校准方法，其特征在于，步骤一具体包括如下步骤：

根据Kinect深度相机提供的头部倾斜角度γ、摇摆角度α、偏转角度β和空间坐标系中各方向的平移分量Tx，Ty，Tz，其中平移矩阵T＝(Tx，Ty，Tz)，计算头部的旋转矩阵R：

$R=\left[\begin{array}{ccc}cos\mathrm{\α}cos\mathrm{\γ}-sin\mathrm{\α}sin\mathrm{\β}sin\mathrm{\γ}& -cos\mathrm{\β}sin\mathrm{\α}& cos\mathrm{\α}sin\mathrm{\γ}+cos\mathrm{\γ}sin\mathrm{\α}sin\mathrm{\β}\\ cos\mathrm{\γ}\sin \mathrm{\α}+cos\mathrm{\α}sin\mathrm{\β}sin\mathrm{\γ}& \cos \mathrm{\α}\cos \mathrm{\β}& sin\mathrm{\α}sin\mathrm{\γ}-cos\mathrm{\α}cos\mathrm{\γ}sin\mathrm{\β}\\ -\cos \mathrm{\β}\sin \mathrm{\γ}& \sin \mathrm{\β}& cos\mathrm{\β}cos\mathrm{\γ}\end{array}\right]---\left(1\right);$

预设头部坐标系中的眼球中心点经验值C_head，通过旋转矩阵R和平移矩阵T把C_head转换到Kinect深度相机的3D坐标系中，得到眼球中心点C：

C＝R*C_head+T(2)。

3.根据权利要求2所述的基于深度相机的水平视角估计及校准方法，其特征在于，步骤二具体包括如下步骤：

通过Kinect深度相机定位到眼部区域，通过分析梯度值检测出眼部的虹膜和巩膜的边界，然后通过公式(3)计算虹膜区域随机瞳孔中心p*与虹膜边界区域随机点q_i的位移向量和q_i的梯度值的数量积，其中得到的最大值就是最佳的瞳孔中心点p＝(x_p,y_p)；

$p=\underset{p*}{\mathrm{argmax}}\{\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(d_i^T{g}_i\right)}^2---\left(3\right)$

$d_i={\frac{q_i-p*}{\left|\right|q_i-p*\left|\right|}}_2.\∀i:\left|\right|g_i|{|}_2=1---\left(4\right)$

其中：d_i是p*和q_i的单位化位移向量，g_i是q_i的单位化梯度向量，p的位移方向和q_i的梯度方向一致。

4.根据权利要求3所述的基于深度相机的水平视角估计及校准方法，其特征在于，步骤三中将最佳瞳孔中心点的2D坐标转换到Kinect深度相机的3D坐标系中的具体方法为：

$\frac{x}{x_p-c_{center}}=-\frac{y}{y_p-r_{center}}=\frac{z}{\mathrm{\λ}}---\left(5\right)$

其中：P＝(x,y,z)是最佳瞳孔中心的3D坐标，(c_center,r_center)是Kinect深度相机的光轴和图像交点的列坐标和行坐标，λ是相机焦距。

5.根据权利要求4所述的基于深度相机的水平视角估计及校准方法，其特征在于，步骤四具体包括如下步骤：

采用3D眼球模型建立特征点之间的关系，计算角膜中心点C_p：

$C_p=\frac{Ko}{K}(P-C)+C---\left(6\right)$

其中：C是步骤一中得到的眼球中心点，P是步骤三中得到的瞳孔中心点，Ko表示角膜中心点C_p与眼球中心点C的直线距离，K是瞳孔中心点P与眼球中心点C的直线距离；

根据角膜中心点C_p计算得到光轴向量然后根据公式(7)计算视轴向量其中M是视线点；

alpha＝arctan(x_cm/z_cm)(8)

θ表示光轴和视轴的夹角，为已知常量，得到最终的水平视线角度的测量值alpha。

6.根据权利要求5所述的基于深度相机的水平视角估计及校准方法，其特征在于，步骤五具体包括如下步骤：

步骤501：设计实验系统：令测试者、Kinect深度相机、可移动黑板按照从前至后排序，Kinect深度相机的高度低于测试者的水平视线高度；

步骤502：在实际测量中，令测试者坐直坐正，视线平视前方，将可移动黑板上看到的首个点标记为0点，也称为定点；然后分别在定点的水平左右两边取若干点，通过保持瞳孔直视前方的情况下分别左右水平转动头部，使得视线恰好到所标点处，在转动过程中保持头部中心点到可移动黑板距离不变；

步骤503：计算水平视线角度的真实值

其中：0P是眼睛到可移动黑板的距离，0i是0点到i点的距离；

步骤504：利用线性回归模型中的最小二乘法y＝ax+b对所得到的测量值alpha和真实值进行拟合，其中：x是测量值，y是校准后的角度，通过拟合得到系数a和b后，就可以通过测量值计算得到相应校准后的水平视线角度。

7.根据权利要求6所述的基于深度相机的水平视角估计及校准方法，其特征在于，所述测试者头部还戴有固定激光笔的帽子，用于校准测试者头部偏转，激光笔在测试者头部正中心的正上方，且激光笔发出的光束与测试者水平视线相平行。