CN105590103B - 眼球识别方法及系统 - Google Patents

Abstract

本发明提供眼球识别方法，包括：a）获取用户面部图像；b）在所获取的面部图像中，划分出包含人脸轮廓的矩形，该矩形为包含人脸轮廓的矩形图像；c）记录所划分出的矩形图像在显示系统中的坐标；d）针对所划分的矩形图像，基于人脸图像的对称性与投影振幅，进行校正，以获得校正后的人脸图像；e）基于校正后的人脸图像以及所记录的位置，识别眼球位置。

Description

眼球识别方法及系统

技术领域

本发明涉及脸部识别技术，更为具体地，涉及眼球识别技术。

背景技术

眼球追踪主要是研究眼球运动信息的获取、建模和模拟。随着摄像头已广泛普及在手机、笔记本电脑、PC等设备中，眼球追踪已广泛用于活体检测、汽车驾驶员疲劳检测、指令控制等场景中。

人脸平面旋转校正是完成眼球跟踪中重要一环，很多识别眼球的实现效果有赖于图像是否旋转校正。

发明内容

有鉴于此，本发明提供眼球识别方法，包括：

a)获取用户面部图像；

b)在所获取的面部图像中，划分出包含人脸轮廓的矩形，该矩形为包含人脸轮廓的矩形图像；

c)记录所划分出的矩形图像在显示系统中的坐标；

d)针对所划分的矩形图像，基于人脸图像的对称性与投影振幅，进行校正，以获得校正后的人脸图像；

e)基于校正后的人脸图像以及所记录的位置，识别眼球位置。

根据本发明一个示例的眼球识别方法，其中，所述步骤d包括：

d1)计算该矩形图像的中心点位置o；

d2)将所述矩形图像转换为灰度图P；

d3)在所述灰度图中，以至少不同比例划分出多个子矩形图像q_i，其中，各子矩形图像q_i均以所述中心点为中心，所述比例均小于1，i为大于1的整数；

d4)将各子矩形图像q_i在矩形图像的平面内绕中心点旋转一定角度α；

d5)对各子矩形图像，向其长度方向做投影得到长度方向投影曲线f(x)，计算该投影曲线f(x)的波峰灰度值g max(q_i)、波谷灰度值g min(q_i)；

d6)对各子矩形图像q_i，计算其对称性Sym(q_i)；

d7)对各子矩形图像q_i，分别计算h(q_i)＝gmax(q_i)-β·gmin(q_i)+η·Sym(q_i)，其中，β与η是预设参数，两者均为正数；可根据图片的特点设置β与η，它们数值越大，与它们相乘的项的权重就越大；

d8)将各子矩形图像q_i的h(q_i)值累加，获得旋转α角度下的累加h值；

d9)在(α1，α2)的角度范围内变换旋转角度α的大小，并依次执行步骤d4到d8获得多个旋转角度下的h值；

d10)从多个旋转角度下的多个h值中选择最大的h值，与该h值对应的旋转角度对应的图像即为校正图像。

根据本发明一个示例的眼球识别方法，其中，所述步骤d6包括：

对每个矩形图像q_i，向长度方向做投影，得到该方向的投影曲线g(y)；

使对称中心处于[1/4w,1/2w]范围内时，对称区间分别是(0,c)和(c，2c)，其中w为矩形图像p的宽度，c为对称中心，则Sym(q_i,c)＝Σ|g(y)-g(2c-y)|，其中y在(0,c)范围内；以及

当对称中心c处于[1/2w,3/4w]范围内时，对称区间分别是(2c-w,c)和(c,w)，则Sym(q_i)＝Σ|g(y)-g(2c-y)|，其中y在(c,w)范围内。

根据本发明一个示例的眼球识别方法，其中，步骤d3中，以不同的三个比例划分出三个子矩形图像p₁，P₂与P₃。

根据本发明的又一方面，还提供眼球识别系统，该系统包括：

第一单元，用于获取用户面部图像；

第二单元，用于在所获取的面部图像中，划分出包含人脸轮廓的矩形，该矩形为包含人脸轮廓的矩形图像；

第三单元，用于记录所划分出的矩形图像在显示系统中的坐标；

第四单元，用于针对所划分的矩形图像，基于人脸图像的对称性与投影振幅，进行校正，以获得校正后的人脸图像；

第五单元，用于基于校正后的人脸图像以及所记录的位置，识别眼球位置。

根据本发明一个示例的眼球识别系统，其中，所述第四单元包括：

第一子单元，用于计算该矩形图像的中心点位置；

第二子单元，用于将所述矩形图像转换为灰度图P；

第三子单元，用于在所述矩形图像中，以至少不同比例划分出多个子矩形图像q_i，其中，各子矩形图像q_i均以所述中心点为中心，所述比例均小于1，i为大于1的整数；

第四子单元，用于将各子矩形图像q_i在矩形图像的平面内绕中心点旋转一定角度α；

第五子单元，用于对各子矩形图像，向其长度方向做投影得到长度方向投影曲线f(x)，计算该投影曲线f(x)的波峰灰度值g max(q_i)、波谷灰度值g min(q_i)；

第六子单元，用于对各子矩形图像q_i，计算其对称性Sym(q_i)；

第七子单元，用于对各子矩形图像q_i，分别计算h(q_i)＝gmax(q_i)-β·gmin(q_i)+η·Sym(q_i)；

第八子单元，用于将各子矩形图像q_i的h(q_i)值累加，获得旋转α角度下的累加h值；

第九子单元，用于在(α1，α2)的角度范围内变换旋转角度α的大小，并将转换后的角度传送给第四子单元，由第四子单元到第八子单元依次操作获得多个旋转角度下的h值；

第十子单元，用于从多个旋转角度下的多个h值中选择最大的h值，与该h值对应的旋转角度对应的图像即为校正图像。

附图说明

图1是根据本发明示例的眼球识别方法的流程图。

图2给出了图1中的步骤14的流程图。

图3示意了第三子图像q₃绕中心点o旋转角度α后的示意性图示。

图4是该眼球识别系统的结构示意图。

具体实施方式

现在参照附图描述本发明的示意性示例。相同的附图标号表示相同的元件。下文描述的各实施例有助于本领域技术人员透彻理解本发明，且意在示例而非限制。除非另有限定，文中使用的术语(包括科学、技术和行业术语)具有与本发明所属领域的技术人员普遍理解的含义相同的含义。此外，流程图中各步骤的先后顺序也不以图示的顺序为限。

在本文中，图像与图像均表示通过摄像头等影像获取元件所取得的用户的图像以及基于该图像进行处理后获得的图像，图像与图像在本文中可互换使用。

图1是根据本发明一个示例的眼球识别方法的流程图。简单来说，根据图1所示的方法，首先获取到用户面部图像，随后对其进行处理以获得校正图像，在该校正图像中确认眼球的位置，最后基于所确认的眼球位置来确定原始的用户面部图像中的眼球位置。

在步骤10，获取用户面部图像。可通过摄像头等影像获取部件获取用户面部图像。

在步骤12，在所获取的面部图像中，划分出包含人脸轮廓的矩形，该矩形即为包含人脸轮廓的矩形图像。所划分的矩形图像至少包括人的五官。划分可采用已有图形识别方法中的划分方式。

在步骤14，记录所划分出的矩形图像在显示系统中的坐标。所显示的图像在现实设备中都有坐标位置，示例地，可记录该坐标位置。

在步骤16，针对所划分的矩形图像，基于人脸图像的对称性与投影振幅，进行校正，以获得校正后的人脸图像。

在步骤18，基于校正后的人脸图像以及所记录的位置，识别眼球位置。该步骤识别出眼球位置之后，则可结合步骤14中记录的坐标位置，相应地确定出原始图像中眼球的位置。

作为示例，图2给出了图1中的步骤14的流程图。

如图所示，在步骤140，计算该矩形图像的中心点o位置。

在步骤142，将所述矩形图像转换为灰度图P。

在步骤144，在所述灰度图中，以至少不同比例划分出多个子矩形图像q_i，其中，各子矩形图像q_i均以所述中心点为中心，所述比例均小于1，i为大于1的整数。作为示例，按照0.5、0.6以及0.7的比例分别划分出三个子矩形图像，在以下的示例中，分别将其称为第一子图像q₁、第二子图像q₂与第三子图像q₃。

在步骤146，将各子矩形图像q_i在矩形图像的平面内绕中心点o旋转一定角度α。例如将第一子图像q₁绕中心点o旋转角度α，将第二子图像q₂绕中心点o旋转角度α，将第三子图像q₃绕中心点o旋转角度α。

在步骤148，对各子矩形图像，向其长度方向做投影得到长度方向投影曲线f(x)，计算该投影曲线f(x)的波峰灰度值g max(q_i)、波谷灰度值g min(q_i)。图3示意了第三子图像q₃绕中心点o旋转角度α后的示意性图示。如图所示，矩形图像q的长度为w，宽度为h，这里要特别说明的是，在本发明的示例中，是将矩形图像q沿着显示屏幕x轴方向的边的长度作为长度边、沿着显示屏幕y轴方向的边的长度做为宽度边。但这仅是示意，也可将沿x轴方向的长度作为宽度边，沿显示屏幕y轴方向的边的长度作为高度的边。第三子图像q₃的长度为w’，宽度为h’。将第三子图像q₃向其长度边的方向投影，获得投影曲线f(x)，计算该投影曲线f(x)的波峰灰度值g max(q_s)、波谷灰度值g min(q₃)。

在步骤150，对各子矩形图像q_i，计算其对称性Sym(q_i)。对于围绕中心o旋转的每个子图像q_i，左右按照人脸中心垂线具有对称性。自然而然，我们计算每张候选图像q_i的对称性值Sym(q_i)，以衡量人脸的对称性。同时，在图像中，无法实现准确得知人脸中心线的位置，所以，系统逐一将对称中心c设置1/4w到3/4w的范围内，计算对称中心c的图片的对称性值Sym(q_i,c)，挑取其中最大数值，作为图片的对称性值Sym(q_i,c)。在此，应理解到，Sym(q_i,c)表示的是以对称中心c为对称中心而获得的Sym(q_i)。Sym(q_i,c)的计算方式如下：

对个每个矩形q，向y轴方向(与长度边平行)做投影，得到y轴灰度值投影曲线x＝g(y)；当对称中心c处于[1/4w,1/2w]范围内时，对称区间分别是(0,c)和(0,2c)Sym(q_i,c)＝Σ|g(y)-g(2c-y)|，其中y属于(0,c)范围内；

当对称中心c处于[1/2w,3/4w]范围内时，对称区间分别是(2c-w,c)和(c,w)；以及Sym(q_i,c)＝Σ|g(y)-g(2c-y)|，其中y属于(c,w)范围内。

随后，在步骤152，对各子矩形图像q_i，分别计算h(q_i)＝gmax(q_i)-β·gmin(q_i)+η·Sym(q_i)。示例地，对第一子图像q₁，计算h(q₁)＝gmax(q₁)-β·gmin(q₁)+η·Sym(q₁,c)；对第二子图像q₂，计算h(q₂)＝gmax(q₂)-β·gmin(q₂)+η·Sym(q₂,c)；q₁，对第三子图像q₃计算h(q₃)＝gmax(q₃)-β·gmin(q₃)+η·Sym(q₃,c)。

在步骤154，对各子矩形图像q_i的h(q_i)值累加，获得旋转α角度下的累加h值。示例地，累加h是h(q₁)、h(q₂)与h(q₃)的和。

在步骤156，在(α1，α2)的角度范围内变换旋转角度α的大小，并依次执行步骤146到步骤154获得多个旋转角度下的h值。

在步骤158，从步骤154中得到的h值以及执行步骤156得到的多个h值中，选择最大的h值。该具有最大的h值的子图像便是所选择的校正图像。

例如根据图2所示的过程获得了矫正图像之后，可获知眼球在该矫正图像中的位置。进一步，基于该位置以及所记录的所划分出的矩形图像在显示系统中的坐标，便可识别出用户面部图像中的眼球。

如本发明各示例的眼球识别方法可实现为软件模块，结合到现有的人脸识别模块或设备中。可替代地，也可实现为软件与硬件的结合，或仅通过硬件来实现。

根据本发明，还提供眼球识别系统。图4是该眼球识别系统的结构示意图。如图所示，该眼球识别系统包括第一单元50，第二单元52，第三单元54，第四单元56，第五单元58。

第一单元50用于获取用户面部图像，其例如可以是摄像头等影像获取部件。

第二单元52在所获取的面部图像中，划分出包含人脸轮廓的矩形，该矩形即为包含人脸轮廓的矩形图像。所划分的矩形图像至少包括人的五官。划分可采用已有图形识别方法中的划分方式。

第三单元54记录所划分出的矩形图像在显示系统中的坐标。所显示的图像在现实设备中都有坐标位置，示例地，可记录该坐标位置。

第四单元56针对所划分的矩形图像，基于人脸图像的对称性与投影振幅，进行校正，以获得校正后的人脸图像。

第五单元58，基于校正后的人脸图像以及所记录的位置，识别眼球位置。该识别出眼球位置之后，则可结合记录的坐标位置，相应地确定出原始图像中眼球的位置。

第四单元56进一步可包括多个子单元。第一子单元计算该矩形图像的中心点o位置。第二子单元将所述矩形图像转换为灰度图P。第三子单元在所述灰度图中，以至少不同比例划分出多个子矩形图像q_i，其中，各子矩形图像q_i均以所述中心点为中心，所述比例均小于1，i为大于1的整数。作为示例，按照0.5、0.6以及0.7的比例分别划分出三个子矩形图像，在以下的示例中，分别将其称为第一子图像q₁、第二子图像q₂与第三子图像q₃。

第四子单元将各子矩形图像q_i在矩形图像的平面内绕中心点o旋转一定角度α。例如将第一子图像q₁绕中心点o旋转角度α，将第二子图像q₂绕中心点o旋转角度α，将第三子图像q₃绕中心点o旋转角度α。

第五子单元对各子矩形图像，向其长度方向做投影得到长度方向投影曲线f(x)，计算该投影曲线f(x)的波峰灰度值g max(q_i)、波谷灰度值g min(q_i)。图3示意了第三子图像q₃绕中心点o旋转角度α后的示意性图示。如图所示，矩形图像q的长度为w，宽度为h，这里要特别说明的是，在本发明的示例中，是将矩形图像q沿着显示屏幕x轴方向的边的长度作为长度边、沿着显示屏幕y轴方向的边的长度做为宽度边。但这仅是示意，也可将沿x轴方向的长度作为宽度边，沿显示屏幕y轴方向的边的长度作为高度的边。第三子图像q₃的长度为w’，宽度为h’。将第三子图像q₃向其长度边的方向投影，获得投影曲线f(x)，计算该投影曲线f(x)的波峰灰度值g max(q_s)、波谷灰度值g min(q_s)。

第六子单元对各子矩形图像q_i，计算其对称性Sym(q_i)。对于围绕中心o旋转的每个子图像q_i，左右按照人脸中心垂线具有对称性。自然而然，我们计算每张候选图像q_i的对称性值Sym(q_i)，以衡量人脸的对称性。同时，在图像中，无法实现准确得知人脸中心线的位置，所以，系统逐一将对称中心c设置1/4w到3/4w的范围内，计算对称中心c的图片的对称性值Sym(q_i,c)，挑取其中最大数值，作为图片的对称性值Sym(q_i,c)。在此，应理解到，Sym(q_i,c)表示的是以对称中心c为对称中心而获得的Sym(q_i)。Sym(q_i,c)的计算方式如下：

对个每个矩形q，向y轴方向(与长度边平行)做投影，得到y轴灰度值投影曲线x＝g(y)；当对称中心c处于[1/4w,1/2w]范围内时，对称区间分别是(0,c)和(0,2c)Sym(q_i,c)＝Σ|g(y)-g(2c-y)|，其中y属于(0,c)范围内；

当对称中心c处于[1/2w,3/4w]范围内时，对称区间分别是(2c-w,c)和(c,w)；以及Sym(q_i,c)＝Σ|g(y)-g(2c-y)|，其中y属于(c,w)范围内。

第七子单元对各子矩形图像q_i，分别计算h(q_i)＝gmax(q_i)-β·gmin(q_i)+η·Sym(q_i)。示例地，对第一子图像q₁，计算h(q₁)＝gmax(q₁)-β·gmin(q₁)+η·Sym(q₁,c)；对第二子图像q₂，计算h(q₂)＝gmax(q₂)-β·gmin(q₂)+η·Sym(q₂,c)；q₁，对第三子图像q₃计算h(q₃)＝gmax(q₃)-β·gmin(q₃)+η·Sym(q₃,c)。

第八子单元对各子矩形图像q_i的h(q_i)值累加，获得旋转α角度下的累加h值。示例地，累加h是h(q₁)、h(q₂)与h(q₃)的和。

第九子单元在(α1，α2)的角度范围内变换旋转角度α的大小，并依次执行步骤146到步骤154获得多个旋转角度下的h值。

第十子单元从步骤154中得到的h值以及执行步骤156得到的多个h值中，选择最大的h值。该具有最大的h值的子图像便是所选择的校正图像。

获得了矫正图像之后，可获知眼球在该矫正图像中的位置。进一步，基于该位置以及所记录的所划分出的矩形图像在显示系统中的坐标，便可识别出用户面部图像中的眼球。

如本发明个示例的眼球识别系统可通过软件是实现，结合到现有的人脸识别模块或设备中。可替代地，也可实现为软件与硬件的结合，或仅通过硬件来实现。

尽管已结合附图在上文的描述中，公开了本发明的具体实施例，但是本领域技术人员可以理解到，可在不脱离本发明精神的情况下，对公开的具体实施例进行变形或修改。本发明的实施例仅用于示意并不用于限制本发明。

Claims (6)

1.一种眼球识别方法，其特征在于，该方法包括：

a)获取用户面部图像；

b)在所获取的面部图像中，划分出包含人脸轮廓的矩形，该矩形为包含人脸轮廓的矩形图像；

c)记录所划分出的矩形图像在显示系统中的坐标；

d)针对所划分的矩形图像，基于人脸图像的对称性与投影振幅，进行校正，以获得校正后的人脸图像；

e)基于校正后的人脸图像以及所记录的位置，识别眼球位置。

2.如权利要求1所述的眼球识别方法，其特征在于，所述步骤d包括：

d1)计算该矩形图像的中心点位置o；

d2)将所述矩形图像转换为灰度图P；

d3)在所述灰度图中，以至少不同比例划分出多个子矩形图像q_i，其中，各子矩形图像q_i均以所述中心点为中心，所述比例均小于1，i为大于1的整数；

d4)将各子矩形图像q_i在矩形图像的平面内绕中心点旋转一定角度α；

d5)对各子矩形图像，向其长度方向做投影得到长度方向投影曲线f(x)，计算该投影曲线f(x)的波峰灰度值gmax(q_i)、波谷灰度值gmin(q_i)；

d6)对各子矩形图像q_i，计算其对称性Sym(q_i)；

d7)对各子矩形图像q_i，分别计算h(q_i)＝gmax(q_i)-β·gmin(q_i)+η·Sym(q_i)，其中，β与η是预设参数，两者均为正数；

d8)将各子矩形图像q_i的h(q_i)值累加，获得旋转α角度下的累加h值；

d9)在(α1，α2)的角度范围内变换旋转角度α的大小，并依次执行步骤d4到d8获得多个旋转角度下的h值；

d10)从多个旋转角度下的多个h值中选择最大的h值，与该h值对应的旋转角度对应的图像即为校正图像。

3.如权利要求2所述的眼球识别方法，其特征在于，所述步骤d6包括：

对每个矩形图像q_i，向长度方向做投影，得到该方向的投影曲线g(y)；

使对称中心处于[1/4w,1/2w]范围内时，对称区间分别是(0,c)和(c，2c)，其中w为矩形图像p的宽度，c为对称中心，则Sym(q_i,c)＝Σ|g(y)-g(2c-y)|，其中y在(0,c)范围内；以及

当对称中心c处于[1/2w,3/4w]范围内时，对称区间分别是(2c-w,c)和(c,w)，则Sym(q_i)＝Σ|g(y)-g(2c-y)|，其中y在(c,w)范围内。

4.如权利要求2所述的眼球识别方法，其特征在于，步骤d3中，以不同的三个比例划分出三个子矩形图像q₁，q₂与q₃。

5.一种眼球识别系统，其特征在于，该系统包括：

第一单元，用于获取用户面部图像；

第二单元，用于在所获取的面部图像中，划分出包含人脸轮廓的矩形，该矩形为包含人脸轮廓的矩形图像；

第三单元，用于记录所划分出的矩形图像在显示系统中的坐标；

第四单元，用于针对所划分的矩形图像，基于人脸图像的对称性与投影振幅，进行校正，以获得校正后的人脸图像；

第五单元，用于基于校正后的人脸图像以及所记录的位置，识别眼球位置。

6.如权利要求5所述的眼球识别系统，其特征在于，所述第四单元包括：

第一子单元，用于计算该矩形图像的中心点位置；

第二子单元，用于将所述矩形图像转换为灰度图P；

第三子单元，用于在所述矩形图像中，以至少不同比例划分出多个子矩形图像q_i，其中，各子矩形图像q_i均以所述中心点为中心，所述比例均小于1，i为大于1的整数；

第四子单元，用于将各子矩形图像q_i在矩形图像的平面内绕中心点旋转一定角度α；

第五子单元，用于对各子矩形图像，向其长度方向做投影得到长度方向投影曲线f(x)，计算该投影曲线f(x)的波峰灰度值gmax(q_i)、波谷灰度值gmin(q_i)；

第六子单元，用于对各子矩形图像q_i，计算其对称性Sym(q_i)；

第七子单元，用于对各子矩形图像q_i，分别计算h(q_i)＝gmax(q_i)-β·gmin(q_i)+η·Sym(q_i)，其中，β与η是预设参数，两者均为正数；

第八子单元，用于将各子矩形图像q_i的h(q_i)值累加，获得旋转α角度下的累加h值；

第九子单元，用于在(α1，α2)的角度范围内变换旋转角度α的大小，并将转换后的角度传送给第四子单元，由第四子单元到第八子单元依次操作获得多个旋转角度下的h值；

第十子单元，用于从多个旋转角度下的多个h值中选择最大的h值，与该h值对应的旋转角度对应的图像即为校正图像。