CN109963143A - 一种ar眼镜的图像获取方法及系统 - Google Patents

Abstract

本发明公开了一种AR眼镜的图像获取方法及系统，所述方法包括：步骤S1，获取用户眼球反射图像；步骤S2，利用预先获得的像素校正变换矩阵对获得的用户眼球反射图像进行校正，获得校准后的图形；步骤S3，根据用户的眼球反射图像，确定用户注视的视线方向，本发明可准确读取眼球视线方向的图像，从而准确判断眼睛注视的方向。

Description

一种AR眼镜的图像获取方法及系统

技术领域

本发明涉及AR(Augmented Reality，即增强现实)技术领域，特别是涉及一种AR眼镜的图像获取方法及系统。

背景技术

随着智能计算机技术的发展，智能产品不断涌现，继智能手机、平板电脑之后，增强现实(AR)已有潜力成为下一个重大通用计算平台。AR头显设备是一种实现AR(AugmentedReality，即增强现实，也称之为混合现实)技术且可佩戴在人体头部进行展示的穿戴式设备，它通过计算机技术可将虚拟的信息叠加到真实世界，使真实的环境和虚拟的物体能够实时地叠加到同一个画面中，实现两种信息的相互补充，并通过诸如头盔显示其等设备在用户眼前进行画面展示，增强用户的现实感。例如由谷歌公司开发出的AR智能眼镜，其属于眼镜+摄像头+微处理器+微型摄影设备的结合体，可以将虚拟数据叠加到由摄像头采集到的实时图像中，并通过微型摄影设备在人体眼球前进行画面展示，从而可以实现多种应用功能，例如进行导航或显示周围建筑的参数等。

目前AR眼镜获取图像的方法一般是通过安装在眼镜上的摄像头对前方取景。这种方法可以取得前方景物的图像，但不能预知眼睛真正的视觉方向

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种AR眼镜的图像获取方法及系统，以准确读取眼球视线方向的图像，从而准确判断眼睛注视的方向。

为达上述目的，本发明提出一种AR眼镜的图像获取方法，包括：

步骤S1，获取用户眼球反射图像；

步骤S2，利用预先获得的像素校正变换矩阵对获得的用户眼球反射图像进行校正，获得校准后的图形；

步骤S3，根据用户的眼球反射图像，确定用户注视的视线方向。

优选地，于步骤S1中，利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄像头获取用户眼球反射图像。

优选地，所述摄像头采用高清摄像头，其对焦对在所述AR眼镜佩戴者的眼球上。

优选地，所述像素校正变换矩阵的获取步骤如下：

获取一规则图形的平面反射图像；

获取该规则图形的眼球反射图像；

将该规则图形的眼球反射图像与平面反射图像进行对比，计算出所述像素校正变换矩阵。

优选地，所述规则图形采用几何线条规则的图形。

优选地，通过所述AR眼镜的前向摄像头获取该规则图形的平面反射图像。

优选地，利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄像头获取该规则图形的眼球反射图像。

优选地，所述像素校正变换矩阵的获取方法如下：对获得图像进行空间坐标变换，建立图像像素点对应点坐标间的映射关系，求解映射关系中的未知参数，形成所述像素校正变换矩阵。

优选地，于步骤S3中，根据眼球反射图像确定由眼球黑色成像部分球弧的中心与眼球的球心的连线，确定该线往外所指的方向为眼睛注视的方向。。

为达到上述目的，本发明还提供一种AR眼镜的图像获取系统，包括：

眼球反射图像获取单元，用于获取用户眼球反射图像；

校正单元，用于利用预先获得的像素校正变换矩阵对获得的用户眼球反射图像进行校正，获得标准后的图形；

视线方向确定单元，用于根据用户的眼球反射图像，确定用户注视的视线方向。

与现有技术相比，本发明一种AR眼镜的图像获取方法及系统通过获取用户眼球反射图像，利用预先获得的像素校正变换矩阵对获得的用户眼球反射图像进行校正，并根据用户的眼球反射图像提取中心图像，根据中心图像确定用户注视的视线方向，实现了准确读取眼球视线方向的图像，并准确判断眼睛视线方向的目的。

附图说明

图1为本发明一种AR眼镜的图像获取方法的步骤流程图；

图2为本发明一种AR眼镜的图像获取系统的系统架构图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种AR眼镜的图像获取方法的步骤流程图。如图1所示，本发明一种AR眼镜的图像获取方法，包括：

步骤S1，获取用户眼球反射图像。在本发明具体实施例中，利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄像头获取用户眼球反射图像，所述摄像头采用高清摄像头，其对焦对在佩戴者的眼球上。

具体的，一般来说，人的眼球有类似于镜子的效果(即相当于球面镜)，其可以将眼球前面的景物反射回来，例如当两人相对而视时，通过反射光线可以在对方的眼球里看到自己的头像，同理，用户在观看某一景物或物体时，所观看内容的图像也会经用户眼球而反射，基于该原理，本实施例通过高清摄像头检测用户眼球反射图像来获取用户所观看到的内容。

步骤S2，利用预先获得的像素校正变换矩阵对获得的用户眼球反射图像进行校正，获得校准后的图形。

由于人的眼球相当于一个球面镜，因此通过眼球获取的眼球反射图像是有几何奇变的，类似于哈哈镜里的图像，但由于人的眼球的曲面是固定的，因此可以利用像素校正变换矩阵对其进行校正。

校正的思路为通过一些已知的参考点，即无失真图像的某些像素点和畸变图象相应像素的坐标间对应关系，拟合出映射关系中的未知系数，并作为恢复其它像素的基础。像素校正变换矩阵的获取方法如下：

获取一规则图形的平面反射图像。在本发明具体实施例中，所述规则图形采用几何线条规则的图形，例如一个“田”字图形，或一个中间包含十字的圆形这样的几何线条非常规则的图案，这里的平面反射图像即正常拍摄的图像，例如可通过AR眼镜的前向摄像头获取该规则图形的平面反射图像；

获取该规则图形的眼球反射图像。具体地说，使佩戴者佩戴AR眼镜看向该规则图形，然后利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄像头获取佩戴者看向该规则图形的眼球反射图像；

将该规则图形的眼球反射图像与平面反射图像进行对比，计算出所述像素校正变换矩阵。也就是说，相对于该平面反射图像，眼球反射图像会存在一些形变，具体地，对获得图像进行空间坐标变换，即建立图像像素点坐标(行、列号)对应点坐标间的映射关系，求解映射关系中的未知参数，形成所述像素点校正变换矩阵，然后根据映射关系对图像各个像素坐标进行校正，并确定各像素的灰度值(灰度内插)，进而获得校正结果。

举例来说，像素校正变换矩阵理论上计算如下：

M＝R·N

其中，M为平面反射图像的图像矩阵，N为眼球反射的图像矩阵，R为像素校正变换矩阵，M和N为同阶方阵，如果N是非奇异矩阵，则N有唯一的逆矩阵，即N^-1

则：

R＝M·N^-1

当然，如果M和N不是方阵，情况会复杂一些。但思路仍是一样的。另外，若有很多组M和N，会有很多个R，则可用类似于最小二乘法的方式，综合出最佳的一个，在此不予赘述。

这里需说明的是，由于每个人的眼球弧度不同，因此该像素校正变换矩阵对于每个佩戴者是不同的，因此当更换佩戴者，利用该AR眼镜获取图像时，需重新计算该像素校正变换矩阵。

步骤S3，根据用户的眼球反射图像，确定用户注视的视线方向。在本发明具体实施例中，根据眼球反射图像确定由眼球黑色成像部分球弧的中心与眼球的球心(图像中心)的连线，该线往外所指的方向即是眼睛注视的方向。这里眼球黑色部分即指的是瞳孔，也就是黑眼珠的部分，一般来说，当人往左边看的时候，瞳孔会向左边，往右看，瞳孔则会向右边，因此，通过对瞳孔位置的分析，大致可以确认人眼注视的视线方向。

图2为本发明一种AR眼镜的图像获取系统的系统架构图。如图2所示，本发明一种AR眼镜的图像获取系统，包括：

眼球反射图像获取单元201，用于获取用户眼球反射图像。在本发明具体实施例中，眼球反射图像获取单元201利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄像头获取用户眼球反射图像，所述摄像头采用高清摄像头，其对焦对在佩戴者的眼球上。

具体的，一般来说，人的眼球有类似于镜子的效果(即相当于球面镜)，其可以将眼球前面的景物反射回来，例如当两人相对而视时，通过反射光线可以在对方的眼球里看到自己的头像，同理，用户在观看某一景物或物体时，所观看内容的图像也会经用户眼球而反射，基于该原理，本实施例通过高清摄像头检测用户眼球反射图像来获取用户所观看到的内容。

校正单元202，用于利用预先获得的像素校正变换矩阵对获得的用户眼球反射图像进行校正，获得标准后的图形。

由于人的眼球相当于一个球面镜，因此通过眼球获取的眼球反射图像是有几何奇变的，类似于哈哈镜里的图像，但由于人的眼球的曲面是固定的，因此可以利用像素校正变换矩阵对其进行校正。

在本发明具体实施例中，像素校正变换矩阵的获取过程如下：

获取一规则图形的平面反射图像。在本发明具体实施例中，所述规则图形采用几何线条规则的图形，例如一个“田”字图形，或一个中间包含十字的圆形这样的几何线条非常规则的图案，这里的平面反射图像即正常拍摄的图像，例如可通过AR眼镜的前向摄像头获取该规则图形的平面反射图像；

获取该规则图形的眼球反射图像。具体地说，使佩戴者佩戴AR眼镜看向该规则图形，然后利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄像头获取佩戴者看向该规则图形的眼球反射图像；

将该规则图形的眼球反射图像与平面反射图像进行对比，计算出所述像素校正变换矩阵。也就是说，相对于该平面反射图像，眼球反射图像会存在一些形变。

这里需说明的是，由于每个人的眼球弧度不同，因此该像素校正变换矩阵对于每个佩戴者是不同的，因此当更换佩戴者，利用该AR眼镜获取图像时，需重新计算该像素校正变换矩阵。

视线方向确定单元203，用于根据用户的眼球反射图像，确定用户注视的视线方向。在本发明具体实施例中，视线方向确定单元203根据用户的眼球反射图像确定由眼球黑色成像部分球弧的中心与眼球的球心的连线，该线往外所指的方向即是眼睛注视的方向。这里眼球黑色部分即指的是瞳孔，也就是黑眼珠的部分，一般来说，当人往左边看的时候，瞳孔会向左边，往右看，瞳孔则会向右边，因此，通过对瞳孔位置的分析，大致可以确认人眼注视的视线方向。

综上所述，本发明一种AR眼镜的图像获取方法及系统通过获取用户眼球反射图像，利用预先获得的像素校正变换矩阵对获得的用户眼球反射图像进行校正，并根据用户的眼球反射图像提取中心图像，根据中心图像确定用户注视的视线方向，实现了准确读取眼球视线方向的图像，并准确判断眼睛视线方向的目的。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种AR眼镜的图像获取方法，包括：

步骤S1，获取用户眼球反射图像；

步骤S2，利用预先获得的像素校正变换矩阵对获得的用户眼球反射图像进行校正，获得校准后的图形；

步骤S3，根据用户的眼球反射图像，确定用户注视的视线方向。

2.如权利要求1所述的一种AR眼镜的图像获取方法，其特征在于：于步骤S1中，利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄像头获取用户眼球反射图像。

3.如权利要求1所述的一种AR眼镜的图像获取方法，其特征在于：所述摄像头采用高清摄像头，其对焦对在所述AR眼镜佩戴者的眼球上。

4.如权利要求1所述的一种AR眼镜的图像获取方法，其特征在于，所述像素校正变换矩阵的获取步骤如下：

获取一规则图形的平面反射图像；

获取该规则图形的眼球反射图像；

将该规则图形的眼球反射图像与平面反射图像进行对比，计算出所述像素校正变换矩阵。

5.如权利要求4所述的一种AR眼镜的图像获取方法，其特征在于：所述规则图形采用几何线条规则的图形。

6.如权利要求5所述的一种AR眼镜的图像获取方法，其特征在于：通过所述AR眼镜的前向摄像头获取该规则图形的平面反射图像。

7.如权利要求6所述的一种AR眼镜的图像获取方法，其特征在于：利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄像头获取该规则图形的眼球反射图像。

8.如权利要求7所述的一种AR眼镜的图像获取方法，其特征在于：所述像素校正变换矩阵的获取方法如下：对获得图像进行空间坐标变换，建立图像像素点对应点坐标间的映射关系，求解映射关系中的未知参数，形成所述像素校正变换矩阵。

9.如权利要求1所述的一种AR眼镜的图像获取方法，其特征在于：，于步骤S3中，根据眼球反射图像确定由眼球黑色成像部分球弧的中心与眼球的球心的连线，确定该线往外所指的方向为眼睛注视的方向。

10.一种AR眼镜的图像获取系统，包括：

眼球反射图像获取单元，用于获取用户眼球反射图像；

校正单元，用于利用预先获得的像素校正变换矩阵对获得的用户眼球反射图像进行校正，获得标准后的图形；

视线方向确定单元，用于根据用户的眼球反射图像，确定用户注视的视线方向。