CN110794963A - 基于深度相机的眼控辅助输入方法 - Google Patents

Abstract

本发明公开了一种基于深度相机的眼控辅助输入方法，该方法可以根据人的眼球以及眼部特征确定视线的方向以及视线与屏幕注视点的坐标，得到用户所要输入的内容，能够在眼睛注视选择的过程中就选中需要的字词，直接敲击空格键便可以实现录入，这样省去了鼠标的移动选择或者数字键的点击，提升了用户使用的便捷程度，提高了人机交互的友好程度。

Description

基于深度相机的眼控辅助输入方法

技术领域

本发明涉及智能输入技术领域，更具体的说是涉及一种基于深度相机的眼控辅助输入方法。

背景技术

目前，打字输入是使用电子设备过程中一项非常重要且使用频率较高的输入方式。在日常使用的输入法当中最为常用的输入法大都是使用拼音进行输入，输入过程中输入法会根据词组的意义以及用户平时对固定词组的使用频率和用户习惯优先给出使用者选择可能性最大的字词，使用频率越高、选择可能性越大的字词会出现在靠前的位置，如果出现在输入面板第一个位置的字词是用户所需要的字词，此时只需点击空格便可以选中录入。

但是，由于用户的使用频率以及词组组合的可能性等原因，并非每次用户需要的字词都可以出现在首位。这种情况之下用户需要从待选栏中选取自己所需要的字词，通常是通过点击鼠标或者键盘上的数字键来进行选择。使用者的手需要离开字母键盘或者整个键盘，并且在使用数字键的时候也容易选择错误，这样影响了在文字录入过程之中的速度与准确性。

因此，如何提供一种待选字词选择过程更加便捷、准确辅助输入方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于深度相机的眼控辅助输入方法，该方法可以根据人的眼球以及眼部特征确定视线的方向以及视线与屏幕注视点的坐标，得到用户所要输入的内容，克服了现有的输入方式录入速度及准确率低的问题。

为了实现上述目的，本发明采用如下技术方案：

一种基于深度相机的眼控辅助输入方法，该方法包括：

将Kinect摄像机固定安装于计算机显示器的正上方，通过Kinect摄像机对屏幕前的用户进行拍摄，得到用户图像；

使用基于AMM模型的人脸识别算法获取用户图像中的人脸区域；

在人脸区域中使用级联分类器与Haar-likee特征相结合的方法获取眼部区域，并通过区域生长的方式缩小眼部区域的范围，得到最终的人眼区域；

在人眼区域中使用星射线法确定瞳孔中心点坐标；

从人脸区域中提取多个特征点，由Kinect摄像机直接获取各个特征点的深度信息；

将瞳孔中心点分别与左右眼角坐标进行连线，分别计算左右眼角与瞳孔中心的偏移量，得到眼动偏移量；

利用人脸区域中的特征点，使用ICP算法求取头部运动的旋转矩阵和平移矩阵，获得头部姿态；

通过多组用户在多种不同姿态下注视多组坐标已知的位置点，分别获取用户的眼动偏移量以及头部姿态与屏幕坐标之间的多组对应数据；将多组对应数据输入训练神经网络，得到网络模型；

使用训练所得的网络模型，预测注视点的位置坐标；

将注视点的位置坐标传递给鼠标控制函数，控制鼠标移动到注视点所在位置，敲击空格键实现鼠标左键的点击选择需要的字词。

进一步地，通过区域生长的方式缩小眼部区域的范围，具体包括：

步骤1：对眼部区域的图像顺序扫描，寻找第一个没有归属的像素，设所述像素的坐标为(x₀,y₀)；

步骤2：以(x₀,y₀)为中心，考虑(x₀,y₀)的4邻域像素(x,y)，若(x₀,y₀)满足生长准则，将(x,y)与(x₀,y₀)在同一区域内合并，同时将(x,y)压入堆栈；

步骤3：从堆栈中取出一个像素，将取出的像素作为(x₀,y₀)，返回到步骤2；

步骤4：直至堆栈为空时，返回到步骤1；

步骤5：重复步骤1至步骤4，直到眼部区域的图像中每个点都有归属时，生长结束。

进一步地，在人眼区域中使用星射线法确定瞳孔中心点坐标，具体包括：

使用hough圆检测算法初步定位虹膜的位置，获取虹膜中心初始坐标；

以虹膜中心初始坐标为原点截取20×20的区域作为人眼的虹膜区域；

从虹膜中心进行边界的跟踪，采用改进的星射线法确定瞳孔的边缘，

射线的角度区域限制在[-70°,60°]和[120°,250°]内，每隔5度向四周发散射线，根据每条射线经过的像素,搜索出具有最大梯度值的像素作为瞳孔的边缘点，得到的边缘点集合；

使用最小二乘法的椭圆拟合拟合边界点，椭圆拟合方程为：

F(x，y)＝Ax²+Bxy+Cy²+Dx+Ey+F＝0，B²-4AC＜0；

瞳孔中心点坐标为：

进一步地，眼动偏移量的获取过程，具体包括：

设左眼角坐标为A(a_A，b_A，c_A)，右眼角坐标为B(a_B，b_B，c_B)，虹膜中心坐标为P(a_p，b_p，c_p)；

左眼角与虹膜中心的偏移向量为：

右眼角与虹膜中心的偏移向量：

将计算得到的左眼角与虹膜中心的偏移向量以及右眼角与虹膜中心的偏移向量作为眼动偏移量。

进一步地，ICP(Iterative closest point)算法，是一种通过迭代、寻找来不断搜索最近点，定义一个阀值(threhold)最终完成多视图的拼合的方法，本发明中使用ICP算法求取头部运动的旋转矩阵和平移矩阵，具体包括：

步骤1：设人脸区域中的特征点集合为X{x₁,x₂,x₃,x₄,x₅.........x₅₄}，通用3D脸部标准模型中特征点集合为P{p₁,p₂,p₃,p₄,p₅.........p₅₄}，且集合X与集合P中的点相互对应；目标函数为：

式中，R为旋转矩阵，t为平移矩阵，N_p为特征点的数目，i为特征点的序号；

步骤2：计算集合P中的每一个点在集合X中的对应近点；

步骤3：分别计算使所述对应近点对平均距离最小的刚体变换，求得平移参数和旋转参数；

步骤4：将求得的平移参数和旋转参数代入集合X，得到新的变换点集；

步骤5：重复步骤4进行迭代计算，直至新的变换点集与参考点集满足两点集的平均距离小于预设的阈值时停止，求取此时的旋转矩阵R以及平移矩阵T。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于深度相机的眼控辅助输入方法，该方法可以根据人的眼球以及眼部特征确定视线的方向以及视线与屏幕注视点的坐标，得到用户所要输入的内容，能够在眼睛注视选择的过程中就选中需要的字词，直接敲击空格键便可以实现录入，这样省去了鼠标的移动选择或者数字键的点击，提升了用户使用的便捷程度，提高了人机交互的友好程度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的一种基于深度相机的眼控辅助输入方法的流程示意图；

图2附图为本发明实施例中神经网络模型的结构示意图；

图3附图为本发明实施例中瞳孔中心点分别与左右眼角连线的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于深度相机的眼控辅助输入方法，参见附图1，该方法包括：

S1:将Kinect摄像机固定安装于计算机显示器的正上方，通过Kinect摄像机对屏幕前的用户进行拍摄，得到用户图像；

S2:使用基于AMM模型的人脸识别算法获取用户图像中的人脸区域；

S3:在人脸区域中使用级联分类器与haar-like特征相结合的方法获取眼部区域，并通过区域生长的方式缩小眼部区域的范围，得到最终的人眼区域；

S4:在人眼区域中使用星射线法确定瞳孔中心点坐标；

S5:从人脸区域中提取多个特征点，由Kinect摄像机直接获取各个特征点的深度信息；

S6:将瞳孔中心点分别与左右眼角坐标进行连线，分别计算左右眼角与瞳孔中心的偏移量，得到眼动偏移量；

S7:利用人脸区域中的特征点，使用ICP算法求取头部运动的旋转矩阵和平移矩阵，获得头部姿态；

S8:通过多组用户在多种不同姿态下注视多组坐标已知的位置点，分别获取用户的眼动偏移量以及头部姿态与屏幕坐标之间的多组对应数据；将多组对应数据输入训练神经网络，得到网络模型；模型结构如图2所示,在t时刻，眼球状态与头部姿态

作为神经网络的输入，屏幕坐标S_t(x_t,y_t)为标签，作为训练数据；

S9:使用训练所得的网络模型，预测注视点的位置坐标；

S10:将注视点的位置坐标传递给鼠标控制函数，控制鼠标移动到注视点所在位置，敲击空格键实现鼠标左键的点击选择需要的字词。

在本实施例中，使用Kinect相机将二维映射与三维立体成像相结合，估计注视点的位置坐标。

本实施例中，AMM(Agile Maturity Model)模型又称敏捷成熟度模型，在本实施例中，使用基于AMM模型算法的人脸识别算法检测拍摄图像中的人脸位置获取人脸区域。ASM首先创建一个模型参数，然后用建立的模型在图像中定位几个关键位置(如额头、眼睛、鼻子、下巴等)，再进行相似变换从而得到关键点的位置。AMM是ASM的一个扩展，AMM通过目标的形状和纹理结合在一起建立一个统一的模型。在与目标匹配的过程中，不断的调整模型参数，以达到与目标纹理相吻合。

具体地，步骤S5中提到的多个特征点，可以是45个，也可以是68个、81个或128个，具体可以根据实际应用过程的需要合理设定。

具体地，通过区域生长的方式缩小眼部区域的范围，本实施例中，区域生长法将具有相似性质的像素点集合起来构成区域。首先，对每个需要分割的区域找一个种子像素作为生长起点；然后将种子像素和周围邻域中与种子像素有相同或相似性质的像素合并到种子像素所在的区域中。该方法具体包括：

步骤1：对眼部区域的图像顺序扫描，寻找第一个没有归属的像素，设所述像素的坐标为(x₀,y₀)；

步骤2：以(x₀,y₀)为中心，考虑(x₀,y₀)的4邻域像素(x,y)，若(x₀,y₀)满足生长准则，将(x,y)与(x₀,y₀)在同一区域内合并，同时将(x,y)压入堆栈；

步骤3：从堆栈中取出一个像素，将取出的像素作为(x₀,y₀)，返回到步骤2；

步骤4：直至堆栈为空时，返回到步骤1；

步骤5：重复步骤1至步骤4，直到眼部区域的图像中每个点都有归属时，生长结束。

在一个具体的实施例中，在人眼区域中使用星射线法确定瞳孔中心点坐标，具体包括：

使用hough圆检测算法初步定位虹膜的位置，获取虹膜中心初始坐标；

以虹膜中心初始坐标为原点截取20×20的区域作为人眼的虹膜区域；

从虹膜中心进行边界的跟踪，采用改进的星射线法确定瞳孔的边缘，

射线的角度区域限制在[-70°,60°]和[120°,250°]内，每隔5度向四周发散射线，根据每条射线经过的像素,搜索出具有最大梯度值的像素作为瞳孔的边缘点，得到的边缘点集合；

使用最小二乘法的椭圆拟合拟合边界点，椭圆拟合方程为：

F(x，y)＝Ax²+Bxy+Cy²+Dx+Ey+F＝0，B²-4AC＜0；

瞳孔中心点坐标为：

在一个具体的实施例中，眼动偏移量的获取过程，具体包括：

参见附图3，设左眼角坐标为A(a_A，b_A，c_A)，右眼角坐标为B(a_B，b_B，c_B)，虹膜中心坐标为P(a_p，b_p，c_p)；

左眼角与虹膜中心的偏移向量为：

右眼角与虹膜中心的偏移向量：

将计算得到的左眼角与虹膜中心的偏移向量以及右眼角与虹膜中心的偏移向量作为眼动偏移量。

具体地，ICP(Iterative closest point)算法，是一种通过迭代、寻找来不断搜索最近点，定义一个阀值(threhold)最终完成多视图的拼合的方法，本发明中使用ICP算法求取头部运动的旋转矩阵和平移矩阵，具体包括：

步骤1：设人脸区域中的特征点集合为X{x₁,x₂,x₃,x₄,x₅.........x₅₄}，通用3D脸部标准模型中特征点集合为P{p₁,p₂,p₃,p₄,p₅.........p₅₄}，且集合X与集合P中的点相互对应；目标函数为：

式中，R为旋转矩阵，t为平移矩阵，N_p为特征点的数目，i为特征点的序号；

步骤2：计算集合P中的每一个点在集合X中的对应近点；

步骤3：分别计算使所述对应近点对平均距离最小的刚体变换，求得平移参数和旋转参数；

步骤4：将求得的平移参数和旋转参数代入集合X，得到新的变换点集；

步骤5：重复步骤4进行迭代计算，直至新的变换点集与参考点集满足两点集的平均距离小于预设的阈值时停止，此时的目标函数为：

求取此时的旋转矩阵R以及平移矩阵T。

旋转矩阵R可以表示为：

平移矩阵T可以表示为：

在本实施例中，模型的建立及注视点坐标的确定过程为：

在t时刻，将眼球状态与头部姿态

作为神经网络的输入，此时，屏幕坐标S_t(x_t,y_t)为标签；

输入为任意时刻的眼球状态与头部姿态

得到屏幕的位置坐标S，即为注视点坐标。

综上所述，本发明实施例公开的基于深度相机的眼控辅助输入方法，与现有技术相比，具有如下优点：

该方法可以根据人的眼球以及眼部特征确定视线的方向以及视线与屏幕注视点的坐标，得到用户所要输入的内容，能够在眼睛注视选择的过程中就选中需要的字词，直接敲击空格键便可以实现录入，这样省去了鼠标的移动选择或者数字键的点击，提升了用户使用的便捷程度，提高了人机交互的友好程度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种基于深度相机的眼控辅助输入方法，其特征在于，包括：

将Kinect摄像机固定安装于计算机显示器的正上方，通过Kinect摄像机对屏幕前的用户进行拍摄，得到用户图像；

使用基于AMM模型的人脸识别算法获取用户图像中的人脸区域；

在人脸区域中使用级联分类器与Haar-likee特征相结合的方法获取眼部区域，并通过区域生长的方式缩小眼部区域的范围，得到最终的人眼区域；

在人眼区域中使用星射线法确定瞳孔中心点坐标；

从人脸区域中提取多个特征点，由Kinect摄像机直接获取各个特征点的深度信息；

将瞳孔中心点分别与左右眼角坐标进行连线，分别计算左右眼角与瞳孔中心的偏移量，得到眼动偏移量；

利用人脸区域中的特征点，使用ICP算法求取头部运动的旋转矩阵和平移矩阵，获得头部姿态；

通过多组用户在多种不同姿态下注视多组坐标已知的位置点，分别获取用户的眼动偏移量以及头部姿态与屏幕坐标之间的多组对应数据；将多组对应数据输入训练神经网络，得到网络模型；

使用训练所得的网络模型，预测注视点的位置坐标；

将注视点的位置坐标传递给鼠标控制函数，控制鼠标移动到注视点所在位置，敲击空格键实现鼠标左键的点击选择需要的字词。

2.根据权利要求1所述的一种基于深度相机的眼控辅助输入方法，其特征在于，通过区域生长的方式缩小眼部区域的范围，具体包括：

步骤1：对眼部区域的图像顺序扫描，寻找第一个没有归属的像素，设所述像素的坐标为(x₀,y₀)；

步骤2：以(x₀,y₀)为中心，考虑(x₀,y₀)的4邻域像素(x,y)，若(x₀,y₀)满足生长准则，将(x,y)与(x₀,y₀)在同一区域内合并，同时将(x,y)压入堆栈；

步骤3：从堆栈中取出一个像素，将取出的像素作为(x₀,y₀)，返回到步骤2；

步骤4：直至堆栈为空时，返回到步骤1；

步骤5：重复步骤1至步骤4，直到眼部区域的图像中每个点都有归属时，生长结束。

3.根据权利要求1所述的一种基于深度相机的眼控辅助输入方法，其特征在于，在人眼区域中使用星射线法确定瞳孔中心点坐标，具体包括：

使用hough圆检测算法初步定位虹膜的位置，获取虹膜中心初始坐标；

以虹膜中心初始坐标为原点截取20×20的区域作为人眼的虹膜区域；

从虹膜中心进行边界的跟踪，采用改进的星射线法确定瞳孔的边缘，

射线的角度区域限制在[-70°,60°]和[120°,250°]内，每隔5度向四周发散射线，根据每条射线经过的像素,搜索出具有最大梯度值的像素作为瞳孔的边缘点，得到的边缘点集合；

使用最小二乘法的椭圆拟合拟合边界点，椭圆拟合方程为：

F(x，y)＝Ax²+Bxy+Cy²+Dx+Ey+F＝0，B²-4AC＜0；

瞳孔中心点坐标为：

4.根据权利要求1所述的一种基于深度相机的眼控辅助输入方法，其特征在于，眼动偏移量的获取过程，具体包括：

左内眼角坐标为A(a_A，b_A，c_A)，右眼角坐标为B(a_B，b_B，c_B)，虹膜中心坐标为P(a_p，b_p，c_p)；

左眼角与虹膜中心的偏移向量为：

右眼角与虹膜中心的偏移向量：

将计算得到的左眼角与虹膜中心的偏移向量以及右眼角与虹膜中心的偏移向量作为眼动偏移量。

5.根据权利要求1所述的一种基于深度相机的眼控辅助输入方法，其特征在于，使用ICP算法求取头部运动的旋转矩阵和平移矩阵，具体包括：

步骤1：设人脸区域中的特征点集合为X{x₁,x₂,x₃,x₄,x₅.........x₅₄}，通用3D脸部标准模型中特征点集合为P{p₁,p₂,p₃,p₄,p₅.........p₅₄}，且集合X与集合P中的点相互对应；目标函数为：

式中，R为旋转矩阵，t为平移矩阵，N_p为特征点的数目，i为特征点的序号；

步骤2：计算集合P中的每一个点在集合X中的对应近点；

步骤3：分别计算使所述对应近点对平均距离最小的刚体变换，求得平移参数和旋转参数；

步骤4：将求得的平移参数和旋转参数代入集合X，得到新的变换点集；

步骤5：重复步骤4进行迭代计算，直至新的变换点集与参考点集满足两点集的平均距离小于预设的阈值时停止，求取此时的旋转矩阵R以及平移矩阵T。

Images