CN218413524U - 眼部追踪装置及智能眼镜 - Google Patents

Abstract

本申请实施例提出了一种眼部追踪装置，包括：多个光源以及图像识别装置。多个光源间隔设置，每个光源用于朝向眼球投射光斑，且每个光源形成的光斑形状不同。图像识别装置用于获取眼部图像，眼部图像中包含被眼球反射的反射光斑以及瞳孔位置信息，并根据反射光斑以及眼球的瞳孔位置信息，获取人眼注视方向。此外，本申请实施例还提供了一种智能眼镜。

Description

眼部追踪装置及智能眼镜

技术领域

本申请涉及显示设备领域，具体涉及一种眼部追踪装置及智能眼镜。

背景技术

眼动追踪技术能够测量人眼的运动进而得到人眼的注视方向，在科研领域和商业领域都有广泛的应用。现有技术已经公开了通过眼球上的反射光斑以及通孔位置，来获取眼球注视方向的装置。但是注视方向的准确性取决于角膜反射光斑以及对瞳孔的正确检测，当每个眼睛存在多个光源所形成的光斑时，在识别不同光斑时可能存在无法准确判断每一个光斑是由哪一个光源所生成的，影响了获取眼球注视方向的准确度。

实用新型内容

本申请实施方式提出了一种眼部追踪装置，以改善上述技术问题。

第一方面，本申请提出了一种眼部追踪装置，包括：多个光源以及图像识别装置。多个光源间隔设置，每个光源用于朝向眼球投射光斑，且每个光源形成的光斑形状不同。图像识别装置用于获取眼部图像，眼部图像中包含被眼球反射的反射光斑以及瞳孔位置信息，并根据反射光斑以及眼球的瞳孔位置信息，获取人眼注视方向。

在一些实施方式中，光源为红外光源。

在一些实施方式中，每个光源形成的光斑的形状独立的选自圆形、直线形、十字形或者“L”形。

在一些实施方式中，识别装置包括处理器以及图像传感器，处理器与图像传感器电性连接，图像传感器用于获取眼部图像。

在一些实施方式中，每个光源投射于眼球形成的光斑相互不重叠。

第二方面，本申请提出了一种智能眼镜，包括：如上述任一项的眼部追踪装置。眼镜以及光机。眼镜包括镜架和显示镜片，显示镜片安装于镜架。光机用于向显示镜片投射图像光。眼部追踪装置设置于眼镜，且多个光源设置于眼镜的朝向用户的一侧。

在一些实施方式中，多个光源设置于镜架，且环绕显示镜片的光轴设置。

在一些实施方式中，多个光源设置于显示镜片，且环绕显示镜片的光轴设置。

在一些实施方式中，显示镜片包括第一镜片和第二镜片，第一镜片和第二镜片均安装于镜架，第一镜片和第二镜片均设置有眼部追踪装置，智能眼镜还包括控制器，控制器用于根据两个眼部追踪装置获取的注视方向，确定用户的注视点。

在一些实施方式中，智能眼镜还包括外景相机，外景相机用于获取外部环境图像，并显示于显示镜片。

本实施例提出的智能眼镜，眼部追踪装置设置于眼镜，眼部追踪装置上的多个光源向眼球投射光斑。图像识别装置获取包括光斑与以及孔位置信息的眼部图像，并根据眼部图像获取人眼的注视方向。本实施例提出的智能眼镜，每个光源所形成的光斑形状不同，图像识别装置在获取含有光斑的眼部图像时，可以分辨每一个光斑以及对应的光源，提高了图像识别装置的在获得人眼注视方向时的准确度。

附图说明

为了更清楚地说明本申请实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的智能眼镜的部分结构示意图；

图2为本申请一实施例提供的智能眼镜的一工作原理示意图；

图3为本申请一实施例提供的智能眼镜的结构框图；

图4为本申请一实施例提供的智能眼镜的另一工作原理示意图；

图5为本申请一实施例提供的智能眼镜中圆形光斑形状示意图；

图6为本申请一实施例提供的智能眼镜中十字形光斑形状示意图；

图7为本申请一实施例提供的智能眼镜中直线形光斑形状示意图；

图8为本申请一实施例提供的智能眼镜中“L”形光斑形状示意图；

图9为本申请另一实施例提供的智能眼镜智能眼镜的部分结构示意图；

图10为本申请一实施例提供的智能眼镜的工作原理示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述。显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。

在本申请中，除非另有明确的规定或限定，术语“安装”、“连接”、“固定”等术语应做广义理解。例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通，也可以是仅为表面接触，或者通过中间媒介的表面接触连接。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为特指或特殊结构。术语“一些实施方式”、“其他实施方式”等的描述意指结合该实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本申请中，对上述术语的示意性表述不必须针对的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本申请中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。

智能眼镜包括VR眼镜、AR眼镜、MR眼镜等类型，是指如同智能手机一样拥有独立的操作系统，可以通过软件安装来实现各种功能的可穿戴的眼镜设备统称。它是最近几年被提出而且是最被看好的可穿戴智能设备之一。其具有使用简便，体积较小等，特点公众普遍认为智能眼镜的出现将会方便人们的生活，因此它得到了谷歌，微软等重点研发，被视为未来智能科技产品的重要增长点。其中，AR眼镜的常见应用，是利用摄像头，扫描现实世界的物体，通过图像识别技术在眼镜上显示相对应的图片、音视频、3D模型等。

一些智能眼镜可以用语音操作、还可以视觉控制。在佩戴者视线上会有一个光标，向上看能与光标互动，查看天气，发信息，做智能手机能做的事。除了智能手机功能，它还能与环境互动，扩充现实。

第一实施例

参阅图1，本申请实施例提出了一种智能眼镜，包括眼镜1，

参阅图2，智能眼镜还包括光机2，

参阅图3，智能眼镜还包括眼部追踪装置3。

请参阅图1，眼镜包括镜架11与显示镜片12，显示镜片12安装于镜架11。当佩戴智能眼镜时，显示镜片12与人的眼球相对设置，显示镜片12可以显示图像，使人眼观察到，同时在一些实施方式中，显示镜片12还可以透过环境光线，以使用户在观看显示图像的同时，可以看到环境中的物体。其中，显示12镜片可以是一个，也可以是两个，在此不做限定。

示例性的，镜架11可以包括环形的安装部13，显示镜片12可以嵌入安装部13内以使显示镜片12固定于安装部13。在本实施例中，显示镜片12还可以具有光轴，光轴大致垂直于显示镜片12的中心位置，光轴在使用者佩戴智能眼镜并平视前方时，可以与眼球的注视方向可以相重合。

请一并参阅图2及图3，光机2可用于向显示镜片12投射图像光，以使使用者都够通过智能眼镜看到投影出的显示画面。在本实施例中，光机可以直接将画面投影于显示镜片12上，也可以通过其他光传导件将画面投影于显示镜片12上，光传导件例如可以是反射镜、透镜等。智能眼镜还可以包括控制器4，控制器4与光机2电性连接。控制器4也可以与外部电子设备，如与手机、平板等通信连接，并用于控制光机2投射画面至显示镜片12上。

在本实施例中，智能眼镜还可以包括一外景相机3，外景相机3用于获取外部环境图像，外部图像可以显示于显示镜片12上，以实现智能眼镜佩戴过程中与环境互动，扩充现实的功能。示例性的，外景相机3与光机2电性连接，光机2可以将外景相机3获取的图像显示于显示镜片12上。

眼部追踪装置3包括多个光源31以及图像识别装置32。

多个光源31间隔设置，用于在智能眼镜使用时，朝向眼球投射光斑。在本实施例中，作为一种实施方式，光源31可以为一种红外光源，避免可见光在照射至眼球上时，对人体视觉造成影响。在另外一些实施方式中，光源31也可以是其他颜色的光源，在此不做限定。图像识别装置32用于获取眼部图像，眼部图像中包含被眼球反射的的反射光斑以及瞳孔位置信息，并根据反射光斑以及眼球的瞳孔位置信息，获取人眼注视方向。

在本实施例中，为了使光源31能够向眼球投射，眼部追踪装置3设置于镜架11，且多个光源31设置于镜架11朝向用户的一侧。在另外一些实施例中，为了适应不同智能眼镜上的结构，智能眼镜还可以包括透镜以及反光镜等光传导件，多个光源31也可以朝向光传导件设置，光源31发出的光线经过光传导件的反射或折射，并最终将光斑投射于眼球上。在此对智能眼镜的具体结构不做限定。

作为一种实施方式，图像识别装置32可以包括处理器322以及图像传感器321，处理器322与图像传感器321电性连接，图像传感器321用于获取眼部图像，处理器322用于对眼部图像进行处理，并通过反射光斑与瞳孔位置信息，获取人眼注视方向。其中，反射光斑是指光源31投射于眼部，并在眼部反射形成的光斑，眼部图像中也包括该光斑的图像。瞳孔位置信息是指在眼部图像中瞳孔的具体位置，具体的，瞳孔的朝向一般与眼球的注视方向重合。当眼球的注视方向与显示镜片12光轴重合时，可以将该位置的瞳孔图像作为初始瞳孔位置信息；当智能眼镜的佩戴者转动眼球时，眼部图像中瞳孔的位置发生变化，可以将此时的眼部图像中瞳孔的图像作为第一瞳孔位置信息，通过初始瞳孔位置信息与第二瞳孔位置信息可以判断瞳孔朝向运动情况。

示例性的，在本实施例中，图像传感器321可以是一相机，处理器322利用瞳孔颜色较深以及形状近似圆形的特点，可以通过二值化使得获取到的眼部图像中亮度大于某一个阈值的点全部变成白色，其余的点设为黑色，对黑色的区域用椭圆进行拟合，即可得到瞳孔位置信息。在另外一些实施例中，处理器322还可以是以其他一些方式获取瞳孔位置信息，在此不做限定。

请一并参阅图4，通过反射光斑与瞳孔位置信息，可以获取人眼注视方向。当单一光源31在眼球上形成对应单一光斑时，图像传感器321获取的眼部图像中的光斑越多，对人眼注视方向的获取准确度也越高。为了区分任意一光源31是由哪一个光源31产生的，在本实施例中，每个光源31所形成的光斑形状不同，图像识别装置32在获取反射光斑时，可以分辨每一个反射光斑以及对应的光源31。

在本实施例中，多个光源31所形成的多个光斑是一些比较易于区分的形状形状，每个光源31入射于眼球形成的光斑可以采用各类形状，以使得每个光源31入射于眼球形成的光斑互相之间不相同或不完全相同，这些光斑在反射后进入图像传感器321后形成的反射光斑同样也是不相同或不完全相同的，因而处理器322可以识别并确定反射光斑对应的光源31。示例性的，在一种实施方式中，如图5所示，其中一个光源31入射于眼球形成的光斑可以是圆形。如图6所示，其中一个光源31入射于眼球形成的光斑可以是直线形。如图7所示，其中一个光源31入射于眼球形成的光斑可以是十字形的。如图8所示，其中一个光源31入射于眼球形成的光斑可以是“L”形的。

需要说明的是，在其他的实施方式中，光源31入射于眼球形成的光斑还可以是弧线形、扇形、多边形等各类形状，本实施例不做限定。

示例性的，请再次参阅图4，光源31包括第一光源311与第二光源312，第一光源311所投射的光斑形状为十字形，第二光源312所投射的光斑形状为“L”形，图像传感器321在获取到十字形反射光斑时，处理器322可以判断其是由第一光源311形成的；相同的，图像传感器321在获取到“L”形反射光斑时，处理器322可以判断其是由第二光源312形成的。如此能够实现区分不同光源31所投射的光斑。在另外一些实施方式中，光源31所投射的光斑还可以是其他一些易于区分的形状，具体形状在此不做限定。

在本实施例中，处理器322可以利用光斑识别算法来区分不同光源31所投射形成的反射光斑。具体的，处理器322首先用一个近似反射光斑大小的圆形/方形卷积对获取的眼部图像进行卷积，找到最大值，即为第一个反射光斑，把图片上对应该区域周围都设为黑色，然后再找到最大值，即为第二个反射光斑，以此类推，找到所有的反射光斑位置。对于每一个反射光斑，通过预先训练的用于分类的神经网络模型来判断该反射光斑的形状，进而直接根据反射光斑的形状找到对应形状的光源31。在另外一些实施例中，处理器322还可以采用其他的方式，通过眼部图像中的光斑形状判断反射光斑的来源，在此不做限定。

每一个光源31在眼球上形成的光斑占据眼球上的部分表面，当多个光源31为能产生相同颜色的光源31时，多个光源31形成的光斑发生重叠时，可能会出现处理器322对反射光斑形状判断不清楚的问题。所以在本实施例中，每个光源31投射于眼球形成的光斑互不重叠。示例性的，多个光源31设置于镜架11上，且环绕显示镜片12的光轴设置。多个光源31在眼球上所形成的多个光斑，均匀分布于眼球上的不同位置，以使其相互之间不发生重叠，避免了由于反射光斑颜色相同造成处理器322对反射光斑形状判断不清楚的问题。

本实施例提出的智能眼镜具有以下使用原理：

本实施例提出的智能眼镜，眼部追踪装置3设置于眼镜，眼部追踪装置3上的多个光源31向眼球投射光斑。识别装置获取包括光斑与以及孔位置信息的眼部图像，并根据眼部图像获取人眼的注视方向。本实施例提出的智能眼镜，每个光源31所形成的光斑形状不同，图像识别装置32在获取含有光斑的眼部图像时，可以分辨每一个光斑以及对应的光源31，提高了图像识别装置32的在获得人眼注视方向时的准确度。

第二实施例

请参阅图9，本申请实施例提出了一种智能眼镜，与第一实施例不同之处在于，在本实施例中，多个光源31设置于显示镜片12，且环绕显示镜片12的光轴设置。通过如此设计，可以更好的节约智能眼镜内的空间，使整体结构较为紧凑。

示例性的，在本实施例中，镜架11包括第一安装部131与第二安装部132，第一安装部131与第二安装部132间隔设置，间隔与人体双眼之间的间隔大致相同。显示镜片12包括第一镜片121和第二镜片122，第一镜片121和第二镜片122均安装于镜架11。可以理解的，第一镜片121可以设置于第一安装部131，第二镜片122设置于第二安装部132。

请参阅图10，在本实施例中，第一镜片121和第二镜片122均设置有眼部追踪装置3。通过两个眼部追踪装置3，在使用过程中可以分别获得使用者左右眼的注视方向。作为一种实施方式，控制器4还可用于根据两个眼部追踪装置3获取的注视方向，确定用户的注视点，也即是用户视线集中的点。在本实施例中，控制器4与眼部追踪装置3电性连接。可以理解的，请参阅图7，单一眼球的注视方向为一条直线，左眼的注视方向为L1，右眼的注视方向为L2，当佩戴者注视前方时，注视点为左右眼球注视方向的交点，即L1与L2之间的交点O。通过获取佩戴者的注视点，可以对智能眼镜进行视觉控制，如控制一显示于显示镜片12上的光标等。

本申请提出的智能眼镜具有以下使用原理：

本申请提出的智能眼镜，眼部追踪装置3设置于眼镜，眼部追踪装置3上的多个光源31向眼球投射光斑。图像识别装置32获取包括光斑与以及孔位置信息的眼部图像，并根据眼部图像获取人眼的注视方向。在分别获得佩戴者左右眼的注视方向后，控制器4可以根据左右眼注视方向，通过计算注视方向的交点获得佩戴者的注视点。

以上实施方式仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施方式对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施方式技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种眼部追踪装置，其特征在于，包括：

多个光源，所述多个光源间隔设置，每个所述光源用于朝向眼球投射光斑，且每个所述光源形成的光斑形状不同；以及

图像识别装置，所述图像识别装置用于获取眼部图像，所述眼部图像中包含被眼球反射的反射光斑以及瞳孔位置信息，并根据所述反射光斑以及眼球的瞳孔位置信息，获取人眼注视方向。

2.根据权利要求1所述的眼部追踪装置，其特征在于，所述光源为红外光源。

3.根据权利要求1所述的眼部追踪装置，其特征在于，每个所述光源形成的光斑的形状独立的选自圆形、直线形、十字形或者“L”形。

4.根据权利要求1所述的眼部追踪装置，其特征在于，所述图像识别装置包括处理器以及图像传感器，所述处理器与所述图像传感器电性连接，所述图像传感器用于获取眼部图像。

5.根据权利要求1所述的眼部追踪装置，其特征在于，每个所述光源投射于眼球形成的光斑相互不重叠。

6.一种智能眼镜，其特征在于，包括：

眼镜，所述眼镜包括镜架和显示镜片，所述显示镜片安装于所述镜架；

光机，所述光机用于向所述显示镜片投射图像光；以及

如权利要求1-5任一项所述的眼部追踪装置，所述眼部追踪装置设置于所述眼镜，且所述多个光源设置于所述眼镜的朝向用户的一侧。

7.根据权利要求6所述的智能眼镜，其特征在于，所述多个光源设置于镜架，且环绕所述显示镜片的光轴设置。

8.根据权利要求6所述的智能眼镜，其特征在于，所述多个光源设置于显示镜片，且环绕所述显示镜片的光轴设置。

9.根据权利要求8所述的智能眼镜，其特征在于，所述显示镜片包括第一镜片和第二镜片，所述第一镜片和所述第二镜片均安装于所述镜架，所述第一镜片和所述第二镜片均设置有所述眼部追踪装置，所述智能眼镜还包括控制器，所述控制器用于根据两个所述眼部追踪装置获取的注视方向，确定用户的注视点。

10.根据权利要求6所述的智能眼镜，其特征在于，所述智能眼镜还包括外景相机，所述外景相机用于获取外部环境图像，并显示于所述显示镜片。

Images