CN107633240A - 视线追踪方法和装置、智能眼镜 - Google Patents

Abstract

本发明实施例提供一种视线追踪方法和装置、智能眼镜。视线追踪方法包括：接收多个红外采集器在不同位置采集的红外图像；按照预先设置的可信度，将多个红外图像转换成眼睛的灰阶图像；采用四方向比对法对所述灰阶图像进行处理，获得瞳孔和光斑的中心坐标；根据所述瞳孔和光斑的中心坐标，确定眼睛视线。本发明通过多位置采集和图像可信度处理的结合，不仅保证了眼睛图像的准确性，而且不需要校正处理，通过采用四方向比对法确定瞳孔和光斑的中心坐标，算法简单，运算量小，不仅具有较高的计算精度，而且可以满足实时性要求。本发明最大限度地降低了误检率和误控率，满足车载驾驶所要求的高可靠性。

Description

视线追踪方法和装置、智能眼镜

技术领域

本发明涉及眼控技术领域，具体涉及一种视线追踪方法和装置、智能眼镜。

背景技术

如果触控和声控是人机交互技术向自然交互属性的一种飞跃，那眼控就属于一种进化。眼控是用眼球运动控制机器的一种智能人机交互技术，用眼“看”就能完成所有操作，不仅可以解放双手，而且也是最快捷、最人性化的控制方式。

眼控(Eye control)技术也称为人眼追踪、视线追踪或眼动追踪(Eye tracking)技术，应用范围相当广。对于肢体残障或重度瘫痪的人士，只要眼睛仍可正常活动，即可利用眼控技术操控电脑与外界沟通，因此对残障人士来说，眼控装置就是一套可以让人用眼睛写字或说话的装置。近年来，随着驾驶安全逐渐受到重视，眼控技术逐渐应用于车载系统，通过对眼部动作进行扫描和识别，实现对车载系统的控制，替代手动操作。例如，当眼睛聚焦在显示装置时，显示装置显示驾驶员所需的各种信息；又如，根据眼控作业命令执行开启灯光、关闭灯光、开启音乐、关闭音乐、增大音量、减小音量、开启空调、关闭空调等。

目前，较为流行的眼控技术是基于视频的方法，通过安装在眼睛前面的摄像机，实时捕捉眼睛的瞳孔图像，通过图像处理获得瞳孔的中心位置。同时，基于角膜反射原理，利用近红外光源在眼睛角膜上形成高亮度光斑(purkinje image)作为参考点。当眼球注视不同位置时，近似球体的眼球转动而光斑不动，利用瞳孔中心位置和光斑中心位置的关系，就可以计算出人眼的当前的视线方向或视线位置。由此可见，瞳孔和光斑的精确定位是眼控技术的基础。

一种现有车载眼控装置采用在仪表板上方设置摄像装置，摄像装置获取驾驶员头部影像，处理单元对头部影像进行处理，在头部影像范围内建立眼部搜寻区域，随后在眼部搜寻区域内提取眼部影像，最后对眼部影像进行运算处理，获得瞳孔的位置。由于该方案需事先建立用户头部的三维计算机模型且追踪运算方法复杂，运算量巨大，因此难以满足车载应用的实时性要求。同时，由于该方案还需要克服驾驶员头部移动造成的误差，因此误检率较高，难以实现实用的眼控精确度。另一种现有车载眼控装置是采用眼动仪，在眼睛的上部或下部设置摄像装置，由于是直接采集眼睛图像，算法相对简单，眼部与摄像装置相对固定，因此不会因为脸部偏移或眼部的相对距离变化导致判断不准确，但该方案使用前需要额外的校正处理，校正处理对瞳孔位置的精准度影响很大，一但更换用户或是用户特征有所变化，就需要重新校正，同样存在误检率较高的问题，眼控精确度难以保证。因此，现有眼控技术的误检率比较高，严重影响了眼控技术在车载系统中的应用。

发明内容

本发明实施例所要解决的技术问题是，提供一种视线追踪方法和装置、智能眼镜，以解决现有技术存在误检率高的技术问题。

为了解决上述技术问题，本发明实施例提供了一种视线追踪方法，包括：

接收多个红外采集器在不同位置采集的红外图像；

按照预先设置的可信度，将多个红外图像转换成眼睛的灰阶图像；

采用四方向比对法对所述灰阶图像进行处理，获得瞳孔和光斑的中心坐标；

根据所述瞳孔和光斑的中心坐标，确定眼睛视线。

可选地，按照预先设置的可信度，将多个红外图像转换成眼睛的灰阶图像，包括：

对所述多个红外图像进行图像矫正处理，使所述多个红外图像对齐；

按照预先设置的可信度分别对所述多个红外图像进行可信处理，获得多个灰阶图像；

将所述多个灰阶图像叠加，生成眼睛的灰阶图像。

可选地，采用四方向比对法对所述灰阶图像进行处理，获得瞳孔和光斑的中心坐标，包括：

将眼睛的灰阶图像划分为多个子区，对每个子区的像素进行均化处理，得到每个子区的灰度值；

将每个子区的灰度值分别与预设的瞳孔阈值和光斑阈值进行比较，若子区的灰度值小于或等于瞳孔阈值，则判定该区域为瞳孔区，若子区的灰度值大于或等于光斑阈值，则判定该区域为光斑区，否则为眼白区；

采用四方向比对法，判定瞳孔区的边界和光斑区的边界；

根据所述瞳孔区的边界确定瞳孔区域，根据所述光斑区的边界确定光斑区域；根据所述瞳孔区域确定瞳孔的中心坐标，根据所述光斑区域确定光斑的中心坐标。

可选地，采用四方向比对法，判定瞳孔区的边界和光斑区的边界，包括：

选定一瞳孔区或光斑区作为检查区，将所述检查区邻近的8个子区作为比较区，形成比对九宫格，对所述比对九宫格进行水平、垂直、左上右下、左下右上的比对，确定瞳孔区或光斑区的边界。

为了解决上述技术问题，本发明实施例还提供了一种视线追踪装置，包括：

接收模块，用于接收多个红外采集器在不同位置采集的红外图像；

灰度处理模块，用于按照预先设置的可信度，将多个红外图像转换成眼睛的灰阶图像；

坐标获取模块，用于采用四方向比对法对所述灰阶图像进行处理，获得瞳孔和光斑的中心坐标；

视线获取模块，用于根据所述瞳孔和光斑的中心坐标，确定眼睛视线。

可选地，所述灰度处理模块包括：

矫正单元，用于对所述多个红外图像进行图像矫正处理，使所述多个红外图像对齐；

可信单元，用于按照预先设置的可信度分别对所述多个红外图像进行可信处理，获得多个灰阶图像；

生成单元，用于将所述多个灰阶图像叠加，生成眼睛的灰阶图像。

可选地，所述坐标获取模块包括：

划分单元，用于将眼睛的灰阶图像划分为多个子区，对每个子区的像素进行均化处理，得到每个子区的灰度值；

判断单元，用于将每个子区的灰度值分别与预设的瞳孔阈值和光斑阈值进行比较，若子区的灰度值小于或等于瞳孔阈值，则判定该区域为瞳孔区，若子区的灰度值大于或等于光斑阈值，则判定该区域为光斑区，否则为眼白区；

比对单元，用于采用四方向比对法，判定瞳孔区的边界和光斑区的边界；

坐标单元，用于根据所述瞳孔区的边界确定瞳孔区域，确定瞳孔的中心坐标；根据所述光斑区的边界确定光斑区域，确定光斑的中心坐标。

可选地，所述比对单元，具体用于选定一瞳孔区或光斑区作为检查区，将所述检查区邻近的8个子区作为比较区，形成比对九宫格，对所述比对九宫格进行水平、垂直、左上右下、左下右上的比对，确定瞳孔区或光斑区的边界。

本发明实施例还提供了一种智能眼镜，包括眼镜框和眼镜片，还包括红外发射器、多个红外采集器和采用如上所述视线追踪装置的处理器，其中，

红外发射器，设置在所述眼镜框上，用于向眼睛发射红外光；

多个红外采集器，设置在眼镜框或眼镜片上，用于从不同位置采集眼睛的红外图像；

处理器，与所述多个红外采集器连接，用于接收所述红外图像，通过图像处理获得瞳孔和光斑的中心坐标，并根据瞳孔和光斑的中心坐标确定眼睛视线。

可选地，每个眼镜片上设置4个透明的红外采集器，所述4个透明的红外采集器分别设置在所述眼镜片的四角。

本发明实施例所提供的视线追踪方法和装置、智能眼镜，通过多位置采集和图像可信度处理的结合，可以有效消除眼睛图像因人、因时、因景造成的不确定性，不仅保证了眼睛图像的准确性，而且不需要校正处理。同时，本发明实施例采用四方向比对法确定瞳孔和光斑的中心坐标，算法简单，运算量小，不仅具有较高的计算精度，而且可以满足实时性要求。本发明实施例有效解决了现有眼控技术存在误检率比较高的缺陷，最大限度地降低了误检率和误控率，满足车载驾驶所要求的高可靠性。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。本发明的其它特征和优点将在随后的说明书实施例中阐述，并且，部分地从说明书实施例中变得显而易见，或者通过实施本发明而了解。本发明实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。附图中各部件的形状和大小不反映真实比例，目的只是示意说明本发明内容。

图1为本发明实施例智能眼镜的结构示意图；

图2为本发明实施例视线追踪方法的流程图；

图3为本发明实施例采集眼睛红外图像的示意图；

图4为本发明实施例红外图像可信度的示意图；

图5为本发明实施例四方向比对的示意图。

具体实施方式

下面结合附图和实施例对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1为本发明实施例智能眼镜的结构示意图。如图1所示，具有眼控功能的智能眼镜的主体结构包括眼镜框1、眼镜腿2、镶嵌于眼镜框1上的两个眼镜片3、设置在眼镜框1上的红外发射器4、设置在眼镜框1或两个眼镜片3上的红外采集装置5以及处理器(未示出)。其中，红外发射器4用于向眼睛发射红外光，红外采集装置5用于从不同位置采集眼睛的红外图像，处理器与红外采集装置5连接，从红外采集装置5接收红外图像，通过图像处理获得瞳孔和光斑的中心坐标，并根据瞳孔和光斑的中心坐标确定眼睛视线。

本发明实施例中，两个眼镜框1或眼镜片3上的红外采集装置5均包括多个红外采集器，以眼镜片中心点为中心对称设置。例如，红外采集装置5包括4个透明的红外采集器5：第一红外采集器51、第二红外采集器52、第三红外采集器53和第四红外采集器54，分别设置在每个眼镜片3的四角，从四个方向采集眼睛的红外图像。处理器分别从4个红外采集器接收红外图像，按照预先设置的可信度对每个红外图像进行处理，并将4个红外图像合成为1个眼睛的灰阶图像，通过对灰阶图像进行处理最终获得瞳孔和光斑的中心坐标，并根据瞳孔和光斑的中心坐标确定眼睛视线。

实际实施时，处理器可以设置在眼镜框或眼镜腿上，通过无线通信装置与车载系统进行通信。此外，智能眼镜还可以包括用于放大图像信号的中继镜、控制成像区域的光阑或用于将光线进行反射的棱镜等部件。红外采集器的数量可以根据实际需要确定，当红外采集器设置在眼镜片上时，红外采集器采用透明结构，即透明的红外采集器。透明的红外采集器可以采用多种方式实现，例如，利用透明膜片制备眼镜片，在制备中将红外采集器件集成在眼镜片的周边。又如，可以采用普通的眼镜片，将透明的红外采集器安装在眼镜片的周边。

下面通过具体实施例详细说明本发明实施例的技术方案。

第一实施例

基于本发明实施例具有眼控功能的智能眼镜的结构上，本实施例提供了一种视线追踪方法。图2为本发明实施例视线追踪方法的流程图，如图2所示，视线追踪方法包括：

S1、接收多个红外采集器在不同位置采集的红外图像；

S2、按照预先设置的可信度，将多个红外图像转换成眼睛的灰阶图像；

S3、采用四方向比对法对所述灰阶图像进行处理，获得瞳孔和光斑的中心坐标；

S4、根据所述瞳孔和光斑的中心坐标，确定眼睛视线。

其中，步骤S1包括：接收四个红外采集器分别在眼睛四个角部采集的第一红外图像、第二红外图像、第三红外图像和第四红外图像。

由于在普通光照条件下拍摄的眼睛图像，瞳孔与它周围的虹膜亮度相近，两者较难区分。本实施例采用红外线光源，在红外光照射下，由于瞳孔与虹膜对红外线有不同的吸收率和反射率，瞳孔反射效果很低，大部分红外光会被吸收，而虹膜几乎会将红外线完全反射，因而瞳孔部分会表现得偏暗，而虹膜部分则会偏亮，两者之间的差距明显，从而可以容易检测出瞳孔。实际实施时，可以采用850nm的红外光照射人眼，不会干扰眼睛的正常使用。

其中，步骤S2包括：

S21、对所述多个红外图像进行图像矫正处理，使所述多个红外图像对齐；

S22、按照预先设置的可信度分别对所述多个红外图像进行可信处理，获得多个灰阶图像；

S23、将所述多个灰阶图像叠加，生成眼睛的灰阶图像。

本实施例中，步骤S21是对多个红外图像的预处理。虽然在设计时可以将多个红外采集器设置成采集同一水平区域和同一垂直区域的红外图像，但考虑到结构设计和安装等方面的误差，以及不同使用者的使用差异，多个红外图像仍会存在采集区域的误差。本实施例通过图像矫正处理，可以实现多个红外图像所针对的采集区域完全相同，以提高后续合成灰阶图像的准确度。实际实施时，红外图像矫正处理可以采用本领域技术人员熟知的算法。

考虑到每个人的眼睛的形状、色彩以及状态不一样，而且一个人的眼睛在不同时刻也有差异，这些差异有些是眼睛自身(如疲惫)造成的，有些是环境(如亮度、色彩)影响的，因此现有方法所采集的眼睛图像具有很大的不确定性。虽然现有技术提出了初始校正处理，以消除眼睛图像的误差，但现有这种初始校正只能部分消除每个人眼睛的差异，而不能消除一个人的眼睛在不同时刻的差异，更无法消除环境因素变化造成的差异，因此现有方法存在误检率较高的问题，眼控精确度难以保证。为此，本实施例提出了多个位置采集结合图像可信度的处理方法。

图3为本发明实施例采集眼睛红外图像的示意图，以四个红外采集器分别在眼睛四个角部采集红外图像为例。由于每个红外采集器是在眼睛的一个角部采集完整的眼部图像，因此所采集眼睛图像中不同位置的可信度是不同的。本实施例中，可信度表示图像中某位置反映真实程度的可信程度，或图像准确性的可靠程度。按照红外成像原理，红外采集器对距离较近物体成像的可信度，要远大于对距离较远物体成像的可信度。如图3所示，如果将眼睛整体划分为四个区域，红外采集器51采集的眼睛红外图像中，右上角区域具有较高的可信度，左上角区域和右下角区域可信度稍低，而左下角区域则几乎不可信。同理，红外采集器52采集的眼睛红外图像中，左上角区域具有较高的准确度，右上角区域和左下角区域准确度较差，而右下角区域则几乎不准确。

本实施例中，根据四个红外采集器的采集位置，预先设置了每个红外采集器所采集图像的可信度。图4为本发明实施例红外图像可信度的示意图。如图4所示，如果将第一红外采集器所采集的第一红外图像划分为四个区域，那么右上角区域具有第一可信度A，其它区域分别具有第二可信度B、第三可信度C、第四可信度D等，第一可信度A>第二可信度B>第三可信度C>第四可信度D，即距离右上角越远，可信度越低。图4所示的可信度仅仅是个示意，实际实施时，通常会划分为数百或数千个区域，可信度从100％到0％。例如，对第一红外图像的每个像素设置相应的可信度，最右上角像素的可信度为100％，最左下角像素的可信度为0％，中间区域的像素依据与最右上角像素的距离设置，随着距离增大可信度依次递减。因此，步骤S22中，根据预先设置的可信度，可以对第一红外图像进行可信处理，将第一红外图像中每个像素的像素值(即红外强度值)乘以该像素的可信度，即可得到经过可信处理的第一灰度图像。同理，采用相同的处理，可以分别得到经过可信处理的第二灰度图像、第三灰度图像和第四灰度图像。最后，步骤S23中，将第一灰度图像、第二灰度图像、第三灰度图像和第四灰度图像叠加，即将四个灰度图像同一像素位置的灰度值相加，合成一个具有较高可信度的眼睛的灰阶图像，该灰阶图像具有256个灰阶。

通过上述处理可以看出，本发明多个位置采集结合图像可信度的处理方法，通过在多个位置分别采集眼睛红外图像的方式，并引入图像可信度概念，所合成的眼睛的灰阶图像强化了每个红外图像中可信度较高的元素，弱化了每个红外图像中可信度较低的元素，因此所合成的眼睛的灰阶图像具有较高可信度，可以有效消除眼睛图像因人、因时、因景造成的不确定性，不仅保证了眼睛图像的准确性，而且不需要校正处理。

实际实施时，红外采集器的数量可以根据实际需要确定。例如，可以将眼睛划分为8个区域，采用8个红外采集器分别从八个方向采集红外图像，可以进一步提高眼睛图像的准确性。

其中，步骤S3包括：

S31、将眼睛的灰阶图像划分为M*N个子区，对每个子区的像素进行均化处理，得到每个子区的灰度值，M、N为正整数；

S32、将每个子区的灰度值分别与预设的瞳孔阈值和光斑阈值进行比较，若子区的灰度值小于或等于瞳孔阈值，则判定该区域为瞳孔区，若子区的灰度值大于或等于光斑阈值，则判定该区域为光斑区，否则为眼白区；

S33、采用四方向比对法，判定瞳孔区的边界和光斑区的边界；

S33、根据所述瞳孔区的边界确定瞳孔区域，根据所述光斑区的边界确定光斑区域；根据所述瞳孔区域确定瞳孔的中心坐标，根据所述光斑区域确定光斑的中心坐标。

其中，步骤S33具体包括：选定一瞳孔区或光斑区作为检查区，将所述检查区邻近的8个子区作为比较区，形成比对九宫格，对所述比对九宫格进行水平、垂直、左上右下、左下右上的比对，确定瞳孔区或光斑区的边界。

具体地，采用四方向比对法判定瞳孔区的边界，包括：

S331、选定一瞳孔区作为检查区P0，将所述检查区P0邻近的8个子区作为比较区，分别为：检查区左下侧的第一比较区P1，检查区下侧的第二比较区P2，检查区右下侧的第三比较区P3，检查区左侧的第四比较区P4，检查区右侧的第五比较区P5，检查区左上侧的第六比较区P6，检查区上侧的第七比较区P7，检查区右上侧的第八比较区P8，形成比对九宫格；

S332、判断H_P0≤Y1*[(H_P4+H_P5)/2]，是则执行步骤S333，否则执行步骤S337；

S333、判断H_P0≤Y1*[(H_P2+H_P7)/2]，是则执行步骤S334，否则执行步骤S337；

S334、判断H_P0≤Y1*[(H_P6+H_P3)/2]，是则执行步骤S335，否则执行步骤S337；

S335、判断H_P0≤Y1*[(H_P1+H_P8)/2]，是则执行步骤S336，否则执行步骤S337；

S336、所述检查区P0为瞳孔区，执行S338；

S337、所述检查区P0为瞳孔边界区，执行S338；

S338、判断是否还有未检查的瞳孔区，是则执行S331，否则结束。

其中，H为各个分区的灰度值，Y1为预先设置的瞳孔边界阈值，可以设置为70％～90％，优选为80％。

本实施例提供了一种四方向比对方法，可以快速而准确地确定瞳孔区域的边界。图5为本发明实施例四方向比对的示意图。如图5所示，在判断某瞳孔区是否是瞳孔区域的边界时，先选定一个瞳孔区作为检查区P0，然后将与检查区P0邻近的8个子区作为比较区P1～P8，形成以检查区P0为中心的比对九宫格的图案，比对九宫格的9个子区可以形成四个比对方向，分别为：水平比对方向P4-P5，垂直比对方向P2-P7，左上右下比对方向P6-P3，左下右上比对方向P8-P1。从四个比对方向判断检查区P0是否是瞳孔区域的边界的原理是，某一比对方向上2个子区的灰度值的均值乘以瞳孔边界阈值，表示该比对方向上的灰度程度，如果检查区P0的灰度值小于或等于该灰度程度，说明该比对方向上3个子区的灰度值比较接近或检查区的灰度值比较小，则检查区P0是瞳孔区域的内部区。如果检查区P0的灰度值大于该灰度程度，说明在该比对方向上3个子区的灰度值有突变，则检查区P0是瞳孔区域的瞳孔边界区。采用四方向比对方法遍历所有的瞳孔区，就可以获得所有的瞳孔边界区，根据所有的瞳孔边界区，就可以准确地确定瞳孔区域。

本实施例中，设置了四个比对方向的优先级，水平比对方向的优先级>垂直比对方向的优先级>左上右下比对方向的优先级>左下右上比对方向的优先级,因此判断次序为：水平比对方向P4-P5，垂直比对方向P2-P7，左上右下比对方向P6-P3，左下右上比对方向P8-P1，当任何一个比对方向判断出检查区P0是瞳孔边界区时，后续比对就停止，可以有效缩短处理时间。

实际实施时，将眼睛的灰阶图像划分的子区数量可以根据实际需要确定，划分的子区数量越多，计算精度越高，但计算量越大。当然，也可以将灰阶图像的一个像素作为一个子区。对每个子区的像素进行均化处理中，既可以采用算数平均方式，也可以采用几何平均方式。此外，步骤S31之前可以包括对眼睛的灰阶图像进行降噪处理的步骤，以提高确定瞳孔和光斑中心坐标的精度。降噪、均化和根据边界确定区域等处理均是本领域常用的图像处理方法，在此不作赘述。

具体地，采用四方向比对法判定光斑区的边界,包括：

S331′、选定一光斑区作为检查区P0′，将所述检查区P0′邻近的8个子区作为比较区，分别为：检查区左下侧的第一比较区P1′，检查区下侧的第二比较区P2′，检查区右下侧的第三比较区P3′，检查区左侧的第四比较区P4′，检查区右侧的第五比较区P5′，检查区左上侧的第六比较区P6′，检查区上侧的第七比较区P7′，检查区右上侧的第八比较区P8′，形成比对九宫格；

S332′、判断H_P0≥Y2*[(H_P4+H_P5)/2]，是则执行步骤S333′，否则执行步骤S337′；

S333′、判断H_P0≥Y2*[(H_P2+H_P7)/2]，是则执行步骤S334′，否则执行步骤S337′；

S334′、判断H_P0≥Y2*[(H_P6+H_P3)/2]，是则执行步骤S335′，否则执行步骤S337；

S335′、判断H_P0≥Y2*[(H_P1+H_P8)/2]，是则执行步骤S336′，否则执行步骤S337′；

S336′、所述检查区P0′为光斑区，执行S338′；

S337′、所述检查区P0′为光斑边界区，执行S338′；

S338′、判断是否还有未检查的光斑区，是则执行S331′，否则结束。

其中，H为各个分区的灰度值，Y2为预先设置的光斑边界阈值，可以设置为110％～130％，优选为120％。

本实施例还提供了一种四方向比对方法，可以快速而准确地确定光斑区域的边界。在判断某光斑区是否是光斑区域的边界时，先选定一个光斑区作为检查区P0′，然后将与检查区P0′邻近的8个子区作为比较区P1′～P8′，形成以检查区P0′为中心的比对九宫格的图案，比对九宫格的9个子区可以形成四个比对方向，分别为：水平比对方向P4′-P5′，垂直比对方向P2′-P7′，左上右下比对方向P6′-P3′，左下右上比对方向P8′-P1′。从四个比对方向判断检查区P0′是否是光斑区域的边界的原理是，某一比对方向上2个子区的灰度值的均值乘以光斑边界阈值，表示该比对方向上的灰度程度，如果检查区P0的灰度值大于或等于该灰度程度，说明该比对方向上3个子区的灰度值比较接近，或检查区的灰度值比较大，则检查区P0′是光斑区域的内部区。如果检查区P0′的灰度值小于该灰度程度，说明在该比对方向上3个子区的灰度值有突变，则检查区P0′是光斑区域的光斑边界区。采用四方向比对方法遍历所有的光斑区，就可以获得所有的光斑边界区，根据所有的光斑边界区，就可以准确地确定光斑区域。

同样，本实施例设置了四个比对方向的优先级，水平比对方向的优先级>垂直比对方向的优先级>左上右下比对方向的优先级>左下右上比对方向的优先级,因此判断次序为：水平比对方向，垂直比对方向，左上右下比对方向，左下右上比对方向，当任何一个比对方向判断出检查区P0′是光斑边界区时，后续比对方向就停止，可以有效缩短处理时间。

从上述采用四方向比对法的处理可以看出，本发明判定瞳孔区和光斑区边界的处理算法简单，运算量小，可以满足实时性要求。同时，由于是根据灰度值进行判定，因此具有较高的计算精度，可以保证眼控精确度。进一步地，四方向比对法可以通过分区数量或阈值设置等参数调整处理精度，在计算精度和运算量之间寻求合理的平衡。

在确定了瞳孔和光斑的中心坐标后，步骤S4即可利用瞳孔中心坐标和光斑中心坐标的关系，就可以计算出人眼的当前的视线方向或视线位置。例如，可以计算出瞳孔注视方向的垂直角度和水平角度，与驾驶操作相结合，进行用眼睛驾驶或控制其它车载系统。又如，可以通过连续计算瞳孔的位置，获得瞳孔位置的轨迹资料，判断驾驶员的状态。本实施例中，步骤S4可以采用现有成熟的算法，这里不再赘述。

本发明实施例提供了一种视线追踪方法，通过多位置采集和图像可信度处理的结合，可以有效消除眼睛图像因人、因时、因景造成的不确定性，不仅保证了眼睛图像的准确性，而且不需要校正处理。同时，本发明实施例采用四方向比对法确定瞳孔和光斑的中心坐标，算法简单，运算量小，不仅具有较高的计算精度，而且可以满足实时性要求。本发明实施例有效解决了现有眼控技术存在误检率比较高的缺陷。

第二实施例

基于前述第一实施例的技术内容，本发明还提供可一种视线追踪装置，作为具有眼控功能的智能眼镜的处理器的一部分。本实施例视线追踪装置包括：

接收模块，用于接收多个红外采集器在不同位置采集的红外图像；

灰度处理模块，用于按照预先设置的可信度，将多个红外图像转换成眼睛的灰阶图像；

坐标获取模块，用于采用四方向比对法对所述灰阶图像进行处理，获得瞳孔和光斑的中心坐标；

视线获取模块，用于根据所述瞳孔和光斑的中心坐标，确定眼睛视线。

其中，接收模块具体用于，接收四个红外采集器分别在眼睛四个角部采集的第一红外图像、第二红外图像、第三红外图像和第四红外图像。

其中，灰度处理模块包括：

矫正单元，用于对所述多个红外图像进行图像矫正处理，使所述多个红外图像对齐；

可信单元，用于按照预先设置的可信度分别对所述多个红外图像进行可信处理，获得多个灰阶图像；

生成单元，用于将所述多个灰阶图像叠加，生成眼睛的灰阶图像。

其中，坐标获取模块包括：

划分单元，用于将眼睛的灰阶图像划分为多个子区，对每个子区的像素进行均化处理，得到每个子区的灰度值；

判断单元，用于将每个子区的灰度值分别与预设的瞳孔阈值和光斑阈值进行比较，若子区的灰度值小于或等于瞳孔阈值，则判定该区域为瞳孔区，若子区的灰度值大于或等于光斑阈值，则判定该区域为光斑区，否则为眼白区；

比对单元，用于采用四方向比对法，判定瞳孔区的边界和光斑区的边界；

坐标单元，用于根据所述瞳孔区的边界确定瞳孔区域，根据所述光斑区的边界确定光斑区域；根据所述瞳孔区域确定瞳孔的中心坐标，根据所述光斑区域确定光斑的中心坐标。

其中，比对单元，具体用于选定一瞳孔区或光斑区作为检查区，将所述检查区邻近的8个子区作为比较区，形成比对九宫格，对所述比对九宫格进行水平、垂直、左上右下、左下右上的比对，确定瞳孔区或光斑区的边界。具体处理流程可参见第一实施例的内容，这里不再赘述。

在本发明实施例的描述中，需要理解的是，术语“中部”、“上”、“下”、“前”、“后”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序请求实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序请求到通用计算机、专用计算机、嵌入式处理机或其他可编程信息处理设备的处理器以产生一个机器，使得通过计算机或其他可编程信息处理设备的处理器执行的请求产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序请求也可存储在能引导计算机或其他可编程信息处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的请求产生包括请求装置的制造品，该请求装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序请求也可装载到计算机或其他可编程信息处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的请求提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种视线追踪方法，其特征在于，包括：

接收多个红外采集器在不同位置采集的红外图像；

按照预先设置的可信度，将多个红外图像转换成眼睛的灰阶图像；

采用四方向比对法对所述灰阶图像进行处理，获得瞳孔和光斑的中心坐标；

根据所述瞳孔和光斑的中心坐标，确定眼睛视线。

2.根据权利要求1所述的视线追踪方法，其特征在于，按照预先设置的可信度，将多个红外图像转换成眼睛的灰阶图像，包括：

对所述多个红外图像进行图像矫正处理，使所述多个红外图像对齐；

按照预先设置的可信度分别对所述多个红外图像进行可信处理，获得多个灰阶图像；

将所述多个灰阶图像叠加，生成眼睛的灰阶图像。

3.根据权利要求1所述的视线追踪方法，其特征在于，采用四方向比对法对所述灰阶图像进行处理，获得瞳孔和光斑的中心坐标，包括：

将眼睛的灰阶图像划分为多个子区，对每个子区的像素进行均化处理，得到每个子区的灰度值；

将每个子区的灰度值分别与预设的瞳孔阈值和光斑阈值进行比较，若子区的灰度值小于或等于瞳孔阈值，则判定该区域为瞳孔区，若子区的灰度值大于或等于光斑阈值，则判定该区域为光斑区，否则为眼白区；

采用四方向比对法，判定瞳孔区的边界和光斑区的边界；

根据所述瞳孔区的边界确定瞳孔区域，根据所述光斑区的边界确定光斑区域；根据所述瞳孔区域确定瞳孔的中心坐标，根据所述光斑区域确定光斑的中心坐标。

4.根据权利要求3所述的视线追踪方法，其特征在于，采用四方向比对法，判定瞳孔区的边界和光斑区的边界，包括：

选定一瞳孔区或光斑区作为检查区，将所述检查区邻近的8个子区作为比较区，形成比对九宫格，对所述比对九宫格进行水平、垂直、左上右下、左下右上的比对，确定瞳孔区或光斑区的边界。

5.一种视线追踪装置，其特征在于，包括：

接收模块，用于接收多个红外采集器在不同位置采集的红外图像；

灰度处理模块，用于按照预先设置的可信度，将多个红外图像转换成眼睛的灰阶图像；

坐标获取模块，用于采用四方向比对法对所述灰阶图像进行处理，获得瞳孔和光斑的中心坐标；

视线获取模块，用于根据所述瞳孔和光斑的中心坐标，确定眼睛视线。

6.根据权利要求5所述的视线追踪装置，其特征在于，所述灰度处理模块包括：

矫正单元，用于对所述多个红外图像进行图像矫正处理，使所述多个红外图像对齐；

可信单元，用于按照预先设置的可信度分别对所述多个红外图像进行可信处理，获得多个灰阶图像；

生成单元，用于将所述多个灰阶图像叠加，生成眼睛的灰阶图像。

7.根据权利要求5所述的视线追踪装置，其特征在于，所述坐标获取模块包括：

划分单元，用于将眼睛的灰阶图像划分为多个子区，对每个子区的像素进行均化处理，得到每个子区的灰度值；

判断单元，用于将每个子区的灰度值分别与预设的瞳孔阈值和光斑阈值进行比较，若子区的灰度值小于或等于瞳孔阈值，则判定该区域为瞳孔区，若子区的灰度值大于或等于光斑阈值，则判定该区域为光斑区，否则为眼白区；

比对单元，用于采用四方向比对法，判定瞳孔区的边界和光斑区的边界；

坐标单元，用于根据所述瞳孔区的边界确定瞳孔区域，根据所述光斑区的边界确定光斑区域；根据所述瞳孔区域确定瞳孔的中心坐标，根据所述光斑区域确定光斑的中心坐标。

8.根据权利要求7所述的视线追踪装置，其特征在于，

所述比对单元，具体用于选定一瞳孔区或光斑区作为检查区，将所述检查区邻近的8个子区作为比较区，形成比对九宫格，对所述比对九宫格进行水平、垂直、左上右下、左下右上的比对，确定瞳孔区或光斑区的边界。

9.一种智能眼镜，包括眼镜框和眼镜片，其特征在于，还包括红外发射器、多个红外采集器和采用如权利要求5～8任一所述视线追踪装置的处理器，其中，

红外发射器，设置在所述眼镜框上，用于向眼睛发射红外光；

多个红外采集器，设置在眼镜框或眼镜片上，用于从不同位置采集眼睛的红外图像；

处理器，与所述多个红外采集器连接，用于接收所述红外图像，通过图像处理获得瞳孔和光斑的中心坐标，并根据瞳孔和光斑的中心坐标确定眼睛视线。

10.根据权利要求9所述的智能眼镜，其特征在于，每个眼镜片上设置4个透明的红外采集器，所述4个透明的红外采集器分别设置在所述眼镜片的四角。