CN204883092U - 一种基于视线追踪技术的智能眼镜 - Google Patents

Abstract

本实用新型公开了一种基于视线追踪技术的智能眼镜，包括具有腔体的眼镜框、与眼镜框连通的眼镜腿、镶嵌于眼镜框内的眼镜片、光学装置、数据记录与分析装置、眼图处理装置、视线跟踪装置，其中，光学装置包括覆设于眼镜片的内表面上的红外反射膜、并排设置于眼镜腿的镜腿内侧的红外光发射器和红外摄像头；数据记录与分析装置包括设置于眼镜腿内的图像采集卡；眼图处理装置与数据记录与分析装置连接，用于获得眼底图像中瞳孔的中心坐标；视线跟踪装置与眼图处理装置连接，用于根据瞳孔的中心坐标获取真实场景中眼睛的注视点坐标，解决了现有基于视线追踪技术的装置结构复杂，体积笨重、不具备便携性的技术问题，且结构简单，易于携带。

Description

一种基于视线追踪技术的智能眼镜

技术领域

本实用新型涉及视线追踪技术，特别地，涉及一种基于视线追踪技术的智能眼镜。

背景技术

视线追踪是利用机械、电子、光学等各种检测手段获取受试者当前“注视方向”的技术。在人机交互和疾病诊断两个领域有着广泛的应用，如助残、虚拟现实、认知障碍诊断、车辆辅助驾驶、人因分析等。现有的视线追踪技术是利用眼球转动时相对位置不变的某些眼部结构和特征作为参照，在位置变化特征和这些不变特征之间提取视线变化参数，然后通过几何模型或映射模型获取视线方向。

但目前基于视线追踪技术的装置，例如眼动仪，大部分是将获取眼底图像的摄像头置于眼睛上方或前方，不美观，佩戴也不方便，并且在使用和保管过程中容易产生人为机械性损坏，如支架移位、变形等等，从而影响系统的精度和实用性。

实用新型内容

本实用新型提供了一种基于视线追踪技术的智能眼镜，以解决现有基于视线追踪技术的装置结构复杂，体积笨重，且不具备便携性的技术问题。

本实用新型的基于视线追踪技术的智能眼镜，包括：

具有腔体的眼镜框、与眼镜框连通的眼镜腿、镶嵌于眼镜框内的眼镜片，智能眼镜还包括：光学装置、数据记录与分析装置、眼图处理装置、视线跟踪装置，其中，

光学装置包括覆设于眼镜片的内表面上的红外反射膜、并排设置于眼镜腿的镜腿内侧的红外光发射器和红外摄像头，红外光发射器的发射端和红外摄像头的摄像端均对应于红外反射膜的反射面；

数据记录与分析装置包括设置于眼镜腿内的图像采集卡，图像采集卡用于采集红外摄像头拍摄到的眼底图像；

眼图处理装置与数据记录与分析装置连接，用于对眼底图像进行图像处理，从而获得眼底图像中瞳孔的中心坐标；

视线跟踪装置与眼图处理装置连接，用于根据瞳孔的中心坐标获取真实场景中眼睛的注视点坐标。

进一步地，红外光发射器和红外摄像头，并排设置于与覆设红外反射膜的眼镜片同一侧的眼镜腿的镜腿内侧。

进一步地，红外光发射器和红外摄像头一体成型。

进一步地，红外摄像头采用焦距可调式或焦距固定式的微型红外摄像头。

进一步地，智能眼镜还包括与视线跟踪装置连接的无线通讯装置，

无线通讯装置包括多个通讯接口以及通讯接口转换装置，通讯接口包括LED光通讯接口、无线电波通讯接口、车载无线通讯接口、红外线通讯接口中的至少任意两个；通讯接口转换装置用于对通讯接口进行转换；LED光通讯接口通过LED光通讯介质实现通讯，无线电波通讯接口通过无线电波通讯介质实现通讯，车载无线通讯接口通过车载无线通讯介质实现通讯，红外线通讯接口通过红外线通讯介质实现通讯。

进一步地，无线通讯装置还至少包括WIFI通讯接口、蓝牙通讯接口、无线传感通讯接口及NFC通讯接口中的一种或者多种；

WIFI通讯接口通过WIFI通讯介质实现通讯，蓝牙通讯接口通过蓝牙通讯介质实现通讯，无线传感通讯接口通过无线传感网络通讯介质实现通讯，NFC通讯接口通过NFC通讯介质实现通讯。

进一步地，智能眼镜还包括设置于眼镜腿内的用于采集语音信号的语音采集器，语音采集器与无线通讯装置连接。

进一步地，智能眼镜还包括设置于眼镜腿内的手机卡，手机卡与无线通讯装置连接。

本实用新型具有以下有益效果：

本实用新型提供的基于视线追踪技术的智能眼镜，包括具有腔体的眼镜框、与眼镜框连通的眼镜腿、镶嵌于眼镜框内的眼镜片、光学装置、数据记录与分析装置、眼图处理装置、视线跟踪装置，其中，光学装置包括覆设于眼镜片的内表面上的红外反射膜、并排设置于眼镜腿的镜腿内侧的红外光发射器和红外摄像头；数据记录与分析装置包括设置于眼镜腿内的图像采集卡；眼图处理装置与数据记录与分析装置连接，用于获得眼底图像中瞳孔的中心坐标；视线跟踪装置与眼图处理装置连接，用于根据瞳孔的中心坐标获取真实场景中眼睛的注视点坐标，解决了现有基于视线追踪技术的装置结构复杂，体积笨重、不具备便携性的技术问题，且结构简单，易于携带。

除了上面所描述的目的、特征和优点之外，本实用新型还有其它的目的、特征和优点。下面将参照图，对本实用新型作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本实用新型的进一步理解，本实用新型的示意性实施例及其说明用于解释本实用新型，并不构成对本实用新型的不当限定。在附图中：

图1是本实用新型优选实施例一的基于视线追踪技术的智能眼镜的结构示意图；

图2是本实用新型优选实施例二的基于视线追踪技术的智能眼镜的结构示意图；

图3是本实用新型优选实施例二的无线通讯装置的结构示意图；

图4是本实用新型优选实施例三的基于视线追踪技术的智能眼镜的结构示意图；

图5是本实用新型优选实施例四的基于视线追踪技术的智能眼镜的结构示意图。

附图标记说明：

1、眼镜框；2、眼镜腿；3、眼镜片；4、红外反射膜；5、眼底图像；6、红外光发射器；7、红外摄像头；8、图像采集卡；9、眼图处理装置；10、视线跟踪装置；11、无线通讯装置；12、语音采集器；13、手机卡；14、LED光通讯接口；15、无线电波通讯接口；16、车载无线通讯接口；17、红外线通讯接口；18、WIFI通讯接口；19、NFC通讯接口；20、无线传感通讯接口；21、蓝牙通讯接口;22、通讯接口转换装置。

具体实施方式

以下结合附图对本实用新型的实施例进行详细说明，但是本实用新型可以由权利要求限定和覆盖的多种不同方式实施。

优选实施例一

参照图1，本实用新型的优选实施例一提供了一种基于视线追踪技术的智能眼镜，包括具有腔体的眼镜框1、与眼镜框1连通的眼镜腿2、镶嵌于眼镜框1内的眼镜片3、光学装置、数据记录与分析装置、眼图处理装置9、视线跟踪装置10，其中，光学装置包括覆设于眼镜片3的内表面上的红外反射膜4、并排设置于眼镜腿2的镜腿内侧的红外光发射器6和红外摄像头7，红外光发射器6的发射端和红外摄像头7的摄像端均对应于红外反射膜4的反射面；数据记录与分析装置包括设置于眼镜腿2内的图像采集卡8，图像采集卡8用于采集红外摄像头7拍摄到的眼底图像5；眼图处理装置9与数据记录与分析装置连接，用于对眼底图像5进行图像处理，从而获得眼底图像5中瞳孔的中心坐标；视线跟踪装置10与眼图处理装置9连接，用于根据瞳孔的中心坐标获取真实场景中眼睛的注视点坐标。

由于在普通光照条件下拍摄的眼底图像5，瞳孔与它周围的虹膜亮度相近，从而导致较难区分。而在红外光照射下，由于瞳孔与虹膜对红外线有不同的吸收率和反射率，瞳孔部分会表现得偏暗，而虹膜部分则会偏亮，两者之间的差距明显，从而更容易检测出瞳孔。故本实施例采用红外光进行照射，且为了不干扰人眼观察目标，采用850nm的红外光照射人眼。

本实施例中的红外反射膜4可通过现有工艺镀在右眼镜片3的内表面上，采用红外光的目的是不影响可见光下人眼正常的视觉功能，即人眼可以透过镜片正常视物。本实施例红外光发射器6和红外摄像头7可以是集成一体的结构，也可以是紧凑排列的分体结构，且红外光发射器6和红外摄像头7可以位于与覆设红外反射膜4的眼镜片3同一侧或不同侧的眼镜腿2的镜腿内侧。此外，本实施例中的红外摄像头7可采用焦距可调式或焦距固定式的微型红外摄像头，且微型红外摄像头的体积可以根据需要定制，以佩戴该眼镜体时不影响用户为准，微型红外摄像头焦距可调节到可以清晰拍摄眼镜片3上反射的红外眼底图像5为准。

本实施例的工作原理如下：光学装置中的红外光发射器6发射红外线经红外反射膜4反射到眼球，眼球反射红外光，在眼镜片3上产生反射的红外眼底图像5，但人眼看不到该图像，之后眼镜片3上的红外眼底图像5再反射到微型红外摄像头，微型红外摄像头将捕获到的眼底图像5发送至数据记录与分析装置中的图像采集卡8。图像采集卡8将采集的红外摄像头7拍摄到的眼底图像5发送至眼图处理装置9，眼图处理装置9对眼底图像5进行图像处理，并将获得的眼底图像5中瞳孔的中心坐标发送至视线跟踪装置10，视线跟踪装置10最后根据瞳孔的中心坐标获取真实场景中眼睛的注视点坐标，从而实现对眼睛观察运动不断地跟踪，跟踪过程中采集的注视点坐标值保存在excel表格中，观察结束后导入坐标数据，生成轨迹图、热点图和地貌图，直观分析观察过程中眼动轨迹。

本实施例中眼图处理装置9对眼底图像5进行图像处理具体包括首先利用小波变换对眼底图像5进行去噪处理，并用自适应获取阈值的方法和双阈值随机椭圆凝合方法进行瞳孔中心定位，然后分区域随机进行椭圆凝合，获取最佳凝合椭圆，最终确定瞳孔的中心坐标。

参考图2，本实用新型的优选实施例二提供的基于视线追踪技术的智能眼镜，包括具有腔体的眼镜框1、与眼镜框1连通的眼镜腿2、镶嵌于眼镜框1内的眼镜片3、光学装置、数据记录与分析装置、眼图处理装置9、视线跟踪装置10以及与视线跟踪装置10连接的无线通讯装置11，其中，光学装置包括覆设于眼镜片3的内表面上的红外反射膜4、并排设置于眼镜腿2的镜腿内侧的红外光发射器6和红外摄像头7，红外光发射器6的发射端和红外摄像头7的摄像端均对应于红外反射膜4的反射面；数据记录与分析装置包括设置于眼镜腿2内的图像采集卡8，图像采集卡8用于采集红外摄像头7拍摄到的眼底图像5；眼图处理装置9与数据记录与分析装置连接，用于对眼底图像5进行图像处理，从而获得眼底图像5中瞳孔的中心坐标；视线跟踪装置10与眼图处理装置9连接，用于根据瞳孔的中心坐标获取真实场景中眼睛的注视点坐标。本实施例通过在智能眼镜的眼镜腿2内增设无线通讯装置11，可以实现注视点坐标数据与外界的通讯，从而更好的实现基于视线追踪技术的控制应用。可选地，本实施例也可以采用有线输出接口代替无线通讯装置11，具体地，本实施例采用通过数据线将视线追踪信号输出至其他上位机或终端设备。

参考图3，具体地，本实施例中的无线通讯装置11为一种混合多跳移动自组织网络通讯装置，该通讯装置包括多个通讯接口，多个通讯接口为LED光通讯接口14、无线电波通讯接口15、车载无线通讯接口16、红外线通讯接口17中的至少任意两个；以及用于对通讯接口进行转换的通讯接口转换装置22，解决了现有的无线自组织网络只能在一种通讯介质中实现自组织网络组建，导致使用条件受限的技术问题，扩大了自组织网络组建的组建范围，提高了网络通讯的稳定性和可靠性。可选地，无线通讯装置11还至少包括WIFI通讯接口18、蓝牙通讯接口21、无线传感通讯接口20及NFC通讯接口19中的一种或者多种；WIFI通讯接口18通过WIFI通讯介质实现通讯，蓝牙通讯接口21通过蓝牙通讯介质实现通讯，无线传感通讯接口20通过无线传感网络通讯介质实现通讯，NFC通讯接口19通过NFC通讯介质实现通讯。

本实施例基于混合多跳移动自组织网络通讯装置的通讯原理为：混合多跳移动自组织网络通讯装置定时自动扫描附近匹配装置的匹配通讯介质；选择至少一种匹配通讯介质建立通讯连接，从而形成通讯链路；基于通讯链路完成信息传递，通过自动扫描附近匹配装置的匹配通讯介质，可以任意选择匹配通讯介质建立通讯连接并完成信息传递，解决了现有的无线自组织网络只能在一种通讯介质中实现自组织网络组建，导致使用条件受限的技术问题，大大扩大了自组织网络组建的使用范围，且提高了自组织网络通讯的稳定性和可靠性。

优选实施例三

参照图4，本实用新型的优选实施例三提供的基于视线追踪技术的智能眼镜，包括具有腔体的眼镜框1、与眼镜框1连通的眼镜腿2、镶嵌于眼镜框1内的眼镜片3、光学装置、数据记录与分析装置、眼图处理装置9、视线跟踪装置10、与视线跟踪装置10连接的无线通讯装置11，以及与无线通讯装置11连接的语音采集器12。其中，光学装置包括覆设于眼镜片3的内表面上的红外反射膜4、并排设置于眼镜腿2的镜腿内侧的红外光发射器6和红外摄像头7，红外光发射器6的发射端和红外摄像头7的摄像端均对应于红外反射膜4的反射面；数据记录与分析装置包括设置于眼镜腿2内的图像采集卡8，图像采集卡8用于采集红外摄像头7拍摄到的眼底图像5；眼图处理装置9与数据记录与分析装置连接，用于对眼底图像5进行图像处理，从而获得眼底图像5中瞳孔的中心坐标；视线跟踪装置10与眼图处理装置9连接，用于根据瞳孔的中心坐标获取真实场景中眼睛的注视点坐标。本实施例的语音采集器12用于采集语音信号，并将采集到的语音信号经过处理后发送给无线通讯装置11，无线通讯装置11再将处理好的语音信号无线发送给受控终端，例如移动终端，其中移动终端为手机、平板、电脑中的任意一种。

本实施例通过在基于视线追踪技术的智能眼镜上增加采集语音信号的语音采集器12，使本实施例的基于视线追踪技术的智能眼镜成为一种多功能的眼镜，其不仅能采集视线追踪数据，还能采集语音信号。需要说明的是，在实际使用情况中，为了避免语音采集器12能准确采集佩戴者所发出的语音指令，本实施例可以在基于视线追踪技术的智能眼镜中增设控制语音采集器12工作的语音采集控制开关，从而实现准确采集指定的语音信号。具体地，语音采集控制开关可以为物理按钮启动开关，也可以是指令控制开关。

可选地，本实施例的无线通讯装置11也可以为LED光通讯接口14、无线电波通讯接口15、车载无线通讯接口16、红外线通讯接口17、WIFI通讯接口18、蓝牙通讯接口21、无线传感通讯接口20、NFC通讯接口19中的一种或多种组合。且无线通讯装置11的具体工作原理可以参照优选实施二中的无线通讯装置11的具体工作原理。

优选实施例四

参照图5，本实用新型的优选实施例四提供的基于视线追踪技术的智能眼镜，包括具有腔体的眼镜框1、与眼镜框1连通的眼镜腿2、镶嵌于眼镜框1内的眼镜片3、光学装置、数据记录与分析装置、眼图处理装置9、视线跟踪装置10、与视线跟踪装置10连接的无线通讯装置11，以及与无线通讯装置11连接的手机卡13。其中，光学装置包括覆设于眼镜片3的内表面上的红外反射膜4、并排设置于眼镜腿2的镜腿内侧的红外光发射器6和红外摄像头7，红外光发射器6的发射端和红外摄像头7的摄像端均对应于红外反射膜4的反射面；数据记录与分析装置包括设置于眼镜腿2内的图像采集卡8，图像采集卡8用于采集红外摄像头7拍摄到的眼底图像5；眼图处理装置9与数据记录与分析装置连接，用于对眼底图像5进行图像处理，从而获得眼底图像5中瞳孔的中心坐标；视线跟踪装置10与眼图处理装置9连接，用于根据瞳孔的中心坐标获取真实场景中眼睛的注视点坐标。

本实施例通过在基于视线追踪技术的智能眼镜的眼镜腿2内设置与无线通讯装置11连接的手机卡13，可以通过该手机卡13与外界进行通讯，实现了用户不需要携带其他移动终端设备就能实现与其他通讯联系人的通讯，且便携性好。

可选地，本实施例的无线通讯装置11也可以为LED光通讯接口14、无线电波通讯接口15、车载无线通讯接口16、红外线通讯接口17、WIFI通讯接口18、蓝牙通讯接口21、无线传感通讯接口20、NFC通讯接口19中的一种或多种组合。且无线通讯装置11的具体工作原理可以参照优选实施二中的无线通讯装置11的具体工作原理。

以上所述仅为本实用新型的优选实施例而已，并不用于限制本实用新型，对于本领域的技术人员来说，本实用新型可以有各种更改和变化。凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。

Claims (8)

1.一种基于视线追踪技术的智能眼镜，包括具有腔体的眼镜框（1）、与所述眼镜框（1）连通的眼镜腿（2）、镶嵌于所述眼镜框（1）内的眼镜片（3），其特征在于，所述智能眼镜还包括：光学装置、数据记录与分析装置、眼图处理装置（9）、视线跟踪装置（10），其中，

所述光学装置包括覆设于所述眼镜片（3）的内表面上的红外反射膜（4）、并排设置于所述眼镜腿（2）的镜腿内侧的红外光发射器（6）和红外摄像头（7），所述红外光发射器（6）的发射端和所述红外摄像头（7）的摄像端均对应于所述红外反射膜（4）的反射面；

所述数据记录与分析装置包括设置于所述眼镜腿（2）内的图像采集卡（8），所述图像采集卡（8）用于采集所述红外摄像头（7）拍摄到的眼底图像（5）；

所述眼图处理装置（9）与所述数据记录与分析装置连接，用于对所述眼底图像（5）进行图像处理，从而获得所述眼底图像（5）中瞳孔的中心坐标；

所述视线跟踪装置（10）与所述眼图处理装置（9）连接，用于根据所述瞳孔的中心坐标获取真实场景中眼睛的注视点坐标。

2.根据权利要求1所述的基于视线追踪技术的智能眼镜，其特征在于，

所述红外光发射器（6）和所述红外摄像头（7），并排设置于与覆设所述红外反射膜（4）的眼镜片（3）同一侧的眼镜腿（2）的镜腿内侧。

3.根据权利要求1所述的基于视线追踪技术的智能眼镜，其特征在于，

所述红外光发射器（6）和所述红外摄像头（7）一体成型。

4.根据权利要求2所述的基于视线追踪技术的智能眼镜，其特征在于，

所述红外摄像头（7）采用焦距可调式或焦距固定式的微型红外摄像头。

5.根据权利要求4所述的基于视线追踪技术的智能眼镜，其特征在于，所述智能眼镜还包括与所述视线跟踪装置（10）连接的无线通讯装置（11），

所述无线通讯装置（11）包括多个通讯接口以及通讯接口转换装置（22），所述通讯接口包括LED光通讯接口（14）、无线电波通讯接口（15）、车载无线通讯接口（16）、红外线通讯接口（17）中的至少任意两个；所述通讯接口转换装置（22）用于对所述通讯接口进行转换；所述LED光通讯接口（14）通过LED光通讯介质实现通讯，所述无线电波通讯接口（15）通过无线电波通讯介质实现通讯，所述车载无线通讯接口（16）通过车载无线通讯介质实现通讯，所述红外线通讯接口（17）通过红外线通讯介质实现通讯。

6.根据权利要求5所述的基于视线追踪技术的智能眼镜，其特征在于，

所述无线通讯装置（11）还至少包括WIFI通讯接口（18）、蓝牙通讯接口（21）、无线传感通讯接口（20）及NFC通讯接口（19）中的一种或者多种；

所述WIFI通讯接口（18）通过WIFI通讯介质实现通讯，所述蓝牙通讯接口（21）通过蓝牙通讯介质实现通讯，所述无线传感通讯接口（20）通过无线传感网络通讯介质实现通讯，所述NFC通讯接口（19）通过NFC通讯介质实现通讯。

7.根据权利要求6所述的基于视线追踪技术的智能眼镜，其特征在于，

所述智能眼镜还包括设置于所述眼镜腿（2）内的用于采集语音信号的语音采集器（12），所述语音采集器（12）与所述无线通讯装置（11）连接。

8.根据权利要求7所述的基于视线追踪技术的智能眼镜，其特征在于，

所述智能眼镜还包括设置于所述眼镜腿（2）内的手机卡（13），所述手机卡（13）与所述无线通讯装置（11）连接。