CN109917908A - 一种ar眼镜的图像获取方法及系统 - Google Patents

Abstract

本发明公开了一种AR眼镜的图像获取方法及系统，所述方法包括：步骤S1，获取AR眼镜佩戴者眼睛视网膜上的成像的图片；步骤S2，利用预先获得的像素校正变换矩阵对获得的视网膜上的成像的图片进行校正，获得校准后的图形；步骤S3，根据用户的视网膜上的成像的图片，确定用户注视的视线方向，本发明通过将AR眼镜上的内置摄像头对准眼球视网膜，可准确读取眼睛所看到的图像，从而准确判断眼睛的视觉方向。

Description

一种AR眼镜的图像获取方法及系统

技术领域

本发明涉及AR(Augmented Reality，即增强现实)技术领域，特别是涉及 一种AR眼镜的图像获取方法及系统。

背景技术

随着智能计算机技术的发展，智能产品不断涌现，继智能手机、平板电脑 之后，增强现实(AR)已有潜力成为下一个重大通用计算平台。AR头显设备是一 种实现AR(Augmented Reality，即增强现实，也称之为混合现实)技术且可佩 戴在人体头部进行展示的穿戴式设备，它通过计算机技术可将虚拟的信息叠加 到真实世界，使真实的环境和虚拟的物体能够实时地叠加到同一个画面中，实 现两种信息的相互补充，并通过诸如头盔显示其等设备在用户眼前进行画面展 示，增强用户的现实感。例如由谷歌公司开发出的AR智能眼镜，其属于眼镜+ 摄像头+微处理器+微型摄影设备的结合体，可以将虚拟数据叠加到由摄像头采 集到的实时图像中，并通过微型摄影设备在人体眼球前进行画面展示，从而可以实现多种应用功能，例如进行导航或显示周围建筑的参数等。

目前AR眼镜获取图像的方法一般是通过安装在眼镜上的摄像头对前方取 景。这种方法可以取得前方景物的图像，但不能预知眼睛真正的视觉方向

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种AR眼镜的 图像获取方法及系统，以通过将AR眼镜上的内置摄像头对准眼球视网膜，以准 确读取眼睛所看到的图像，从而准确判断眼睛的视觉方向。

为达上述目的，本发明提出一种AR眼镜的图像获取方法，包括：

步骤S1，获取AR眼镜佩戴者眼睛视网膜上的成像的图片；

步骤S2，利用预先获得的像素校正变换矩阵对获得的视网膜上的成像的图 片进行校正，获得校准后的图形；

步骤S3，根据用户的视网膜上的成像的图片，确定用户注视的视线方向。

优选地，于步骤S1中，利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄 像头获取用户视网膜上的成像的图片。

优选地，所述摄像头采用高清摄像头，其聚焦于所述AR眼镜佩戴者的眼 睛视网膜。

优选地，所述像素校正变换矩阵的获取步骤如下：

获取一规则图形的平面反射图像；

获取该规则图形于眼睛视网膜上的成像的图片；

将该规则图形于眼睛视网膜上的成像的图片与平面反射图像进行对比，计 算出所述像素校正变换矩阵。

优选地，所述规则图形采用几何线条规则的图形。

优选地，通过所述AR眼镜的前向摄像头获取该规则图形的平面反射图像。

优选地，利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄像头获取该规则 图形于眼睛视网膜上的成像的图片。

优选地，于步骤S3中，提取用户眼睛视网膜上的成像的图片的中心图像， 根据该中心图像确定所述AR眼镜用户注视的目标。

为达到上述目的，本发明还提供一种AR眼镜的图像获取系统，包括：

视网膜成像获取单元，用于AR眼镜佩戴者眼睛视网膜上的成像的图片；

校正单元，用于利用预先获得的像素校正变换矩阵对获得的眼睛视网膜上 的成像的图片进行校正，获得标准后的图形；

视线方向确定单元，用于根据用户眼睛视网膜上的成像的图片，确定用户 注视的视线方向。

优选地，利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄像头获取AR眼 镜佩戴者眼睛视网膜上的成像的图片，所述摄像头聚焦于所述AR眼镜佩戴者的 眼睛视网膜。

与现有技术相比，本发明一种AR眼镜的图像获取方法及系统通过获取AR 眼镜佩戴者眼睛视网膜上的成像的图片，利用预先获得的像素校正变换矩阵对 获得的视网膜上的成像的图片进行校正，并根据视网膜上的成像的图片提取中 心图像，根据中心图像确定用户注视的视线方向，实现了准确读取眼睛所看到 的图像，从而准确判断眼睛的视觉方向的目的。

附图说明

图1为本发明一种AR眼镜的图像获取方法的步骤流程图；

图2为本发明一种AR眼镜的图像获取系统的系统架构图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术 人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明 亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基 于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种AR眼镜的图像获取方法的步骤流程图。如图1所示， 本发明一种AR眼镜的图像获取方法，包括：

步骤S1，获取AR眼镜佩戴者眼睛视网膜上的成像的图片。在本发明具体 实施例中，利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄像头获取AR眼镜佩 戴者眼睛视网膜上的成像的图片，所述摄像头采用高清摄像头，其聚焦于所述 AR眼镜佩戴者的眼睛视网膜。

一般地，眼睛的成像原理：外腺状体当自然界的光线进入眼睛，经过角膜、 晶状体、玻璃体等屈光系统的折射后，聚集在视网膜上，形成光的刺激。视网 膜上的感光细胞受到光的刺激后，经过一系列的物理化学变化，产生了电流(注： 就是神经冲动)，经由视网膜神经纤维传导至视神经。两眼的视神经在脑垂体附 近会合，最后到达大脑皮层的视觉中枢，产生视觉，然后我们才能看见东西。 在视网膜上的影像是上下颠倒、左右相反的，到了脑部时又将影像转了回来， 所以我们的视觉跟实际景象一样。也就是说，眼球的构造和成像的原理与照相 机相似，照相机有镜头、光圈、调焦装置、暗箱和底片，眼球也有类似的构造， 角膜相当于镜头，瞳孔相当于光圈，晶状体相当于调焦的透镜，脉络膜相当于 暗箱，视网膜相当于底片。因此，根据视网膜的成像则可获得需要的图像。

步骤S2，利用预先获得的像素校正变换矩阵对获得的眼睛视网膜上的成像 的图片进行校正，获得校准后的图形。

由于视网膜上的成像有像差和色差，但像差和色差是固定的，因此可以通 过校准进行还原。校正的思路为通过一些已知的参考点，即无失真图像的某些 像素点和畸变图像相应像素的坐标间对应关系，拟合出映射关系中的未知系数， 并作为恢复其它像素的基础

在本发明中，像素校正变换矩阵的获取方法如下：

获取一规则图形的平面反射图像。在本发明具体实施例中，所述规则图形 采用几何线条规则的图形，例如一个“田”字图形，或一个中间包含十字的圆 形这样的几何线条非常规则的图案，这里的平面反射图像即正常拍摄的图像， 例如可通过AR眼镜的前向摄像头获取该规则图形的平面反射图像；

获取该规则图形于眼睛视网膜上的成像的图片。具体地说，使佩戴者佩戴 AR眼镜看向该规则图形，然后利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄 像头获取佩戴者看向该规则图形时于眼睛视网膜上的成像的图片；

将该规则图形于眼睛视网膜上的成像的图片与平面反射图像进行对比，计 算出所述像素校正变换矩阵。也就是说，相对于该平面反射图像，视网膜上的 成像的图片有像差和色差，因此可根据两个图像的差别计算出像素校正变换矩 阵。在本发明中，其思路是通过一些已知的参考点，即无失真图像的某些像素 点和畸变图像相应像素点的坐标间对应关系，拟合出映射关系中的未知系数， 并作为恢复其它像素的基础。具体地，对获得的图像进行空间坐标变换，即建 立图像像素点坐标(行、列号)对应点坐标间的映射关系，求解映射关系中的 未知参数，形成所述像素点校正变换矩阵，然后根据映射关系对图像各个像素 坐标进行校正，并确定各像素的灰度值(灰度内插)，进而获得校正结果。

步骤S3，根据获得的眼睛视网膜上的成像的图片，确定用户注视的视线方 向。一般来说，人眼注视的目标往往会成像到中间，因此，于步骤S3中，提取 眼睛视网膜上的成像的图片的中心图像，该中心图像指的是眼睛视网膜上的成 像的图片中处于居中位置的图像，提取中心图像后，即可确定用户注视的目标。

图2为本发明一种AR眼镜的图像获取系统的系统架构图。如图2所示， 本发明一种AR眼镜的图像获取系统，包括：

视网膜成像获取单元201，用于获取AR眼镜佩戴者眼睛视网膜上的成像 的图片。在本发明具体实施例中，利用设置于AR眼镜内侧朝向佩戴者眼睛处的 摄像头获取AR眼镜佩戴者眼睛视网膜上的成像的图片，所述摄像头采用高清摄 像头，其聚焦于所述AR眼镜佩戴者的眼睛视网膜。

一般地，眼睛的成像原理：外腺状体当自然界的光线进入眼睛，经过角膜、 晶状体、玻璃体等屈光系统的折射后，聚集在视网膜上，形成光的刺激。视网 膜上的感光细胞受到光的刺激后，经过一系列的物理化学变化，产生了电流(注： 就是神经冲动)，经由视网膜神经纤维传导至视神经。两眼的视神经在脑垂体附 近会合，最后到达大脑皮层的视觉中枢，产生视觉，然后我们才能看见东西。 在视网膜上的影像是上下颠倒、左右相反的，到了脑部时又将影像转了回来， 所以我们的视觉跟实际景象一样。也就是说，眼球的构造和成像的原理与照相 机相似，照相机有镜头、光圈、调焦装置、暗箱和底片，眼球也有类似的构造， 角膜相当于镜头，瞳孔相当于光圈，晶状体相当于调焦的透镜，脉络膜相当于 暗箱，视网膜相当于底片。因此，根据视网膜的成像则可获得需要的图像。

校正单元202，用于利用预先获得的像素校正变换矩阵对获得的眼睛视网 膜上的成像的图片进行校正，获得校准后的图形。

由于视网膜上的成像有像差和色差，但像差和色差是固定的，因此可以通 过校准进行还原。

在本发明具体实施例中，像素校正变换矩阵的获取方法如下：

获取一规则图形的平面反射图像。在本发明具体实施例中，所述规则图形 采用几何线条规则的图形，例如一个“田”字图形，或一个中间包含十字的圆 形这样的几何线条非常规则的图案，这里的平面反射图像即正常拍摄的图像， 例如可通过AR眼镜的前向摄像头获取该规则图形的平面反射图像；

获取该规则图形于眼睛视网膜上的成像的图片。具体地说，使佩戴者佩戴 AR眼镜看向该规则图形，然后利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄 像头获取佩戴者看向该规则图形时于眼睛视网膜上的成像的图片；

将该规则图形于眼睛视网膜上的成像的图片与平面反射图像进行对比，计 算出所述像素校正变换矩阵。也就是说，相对于该平面反射图像，视网膜上的 成像的图片有像差和色差，因此可根据两个图像的差别计算出像素校正变换矩 阵。

视线方向确定单元203，用于根据获得的眼睛视网膜上的成像的图片，确 定用户注视的视线方向。一般来说，人眼注视的目标往往会成像到中间，因此， 视线方向确定单元203提取眼睛视网膜上的成像的图片的中心图像，该中心图 像指的是眼睛视网膜上的成像的图片中处于居中位置的图像，提取中心图像后， 即可确定用户注视的目标。

综上所述，本发明一种AR眼镜的图像获取方法及系统通过获取AR眼镜 佩戴者眼睛视网膜上的成像的图片，利用预先获得的像素校正变换矩阵对获得 的视网膜上的成像的图片进行校正，并根据视网膜上的成像的图片提取中心图 像，根据中心图像确定用户注视的视线方向，实现了准确读取眼睛所看到的图 像，从而准确判断眼睛的视觉方向的目的。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。 任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行 修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种AR眼镜的图像获取方法，包括：

步骤S1，获取AR眼镜佩戴者眼睛视网膜上的成像的图片；

步骤S2，利用预先获得的像素校正变换矩阵对获得的视网膜上的成像的图片进行校正，获得校准后的图形；

步骤S3，根据用户的视网膜上的成像的图片，确定用户注视的视线方向。

2.如权利要求1所述的一种AR眼镜的图像获取方法，其特征在于：于步骤S1中，利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄像头获取用户视网膜上的成像的图片。

3.如权利要求1所述的一种AR眼镜的图像获取方法，其特征在于：所述摄像头采用高清摄像头，其聚焦于所述AR眼镜佩戴者的眼睛视网膜。

4.如权利要求1所述的一种AR眼镜的图像获取方法，其特征在于，所述像素校正变换矩阵的获取步骤如下：

获取一规则图形的平面反射图像；

获取该规则图形于眼睛视网膜上的成像的图片；

将该规则图形于眼睛视网膜上的成像的图片与平面反射图像进行对比，计算出所述像素校正变换矩阵。

5.如权利要求4所述的一种AR眼镜的图像获取方法，其特征在于：所述规则图形采用几何线条规则的图形。

6.如权利要求5所述的一种AR眼镜的图像获取方法，其特征在于：通过所述AR眼镜的前向摄像头获取该规则图形的平面反射图像。

7.如权利要求6所述的一种AR眼镜的图像获取方法，其特征在于：利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄像头获取该规则图形于眼睛视网膜上的成像的图片。

8.如权利要求1所述的一种AR眼镜的图像获取方法，其特征在于：于步骤S3中，提取用户眼睛视网膜上的成像的图片的中心图像，根据该中心图像确定所述AR眼镜用户注视的目标。

9.一种AR眼镜的图像获取系统，包括：

视网膜成像获取单元，用于AR眼镜佩戴者眼睛视网膜上的成像的图片；

校正单元，用于利用预先获得的像素校正变换矩阵对获得的眼睛视网膜上的成像的图片进行校正，获得标准后的图形；

视线方向确定单元，用于根据用户眼睛视网膜上的成像的图片，确定用户注视的视线方向。

10.如权利要求9所述的一种AR眼镜的图像获取系统，其特征在于：利用设置于AR眼镜内侧朝向佩戴者眼睛处的摄像头获取AR眼镜佩戴者眼睛视网膜上的成像的图片，所述摄像头聚焦于所述AR眼镜佩戴者的眼睛视网膜。