CN214896643U - 一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪 - Google Patents

Abstract

本申请提供一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪，包括耳挂式支架、延长臂、球形连接臂、前景摄像头和瞳孔摄像头，其中，所述延长臂、球形连接臂和瞳孔摄像头的数目都为两个，所述耳挂式支架通过内侧设有的锯齿状滑槽卡扣结构与所述延长臂相连，所述延长臂上连接有球形连接臂的一端，所述球形连接臂的另一端与瞳孔摄像头相连，所述耳挂式支架的一侧连接有前景摄像头。本申请通过两个瞳孔摄像头记录实时瞳孔图像，利用高帧率摄像头、红外补光和滤光技术，实时拍摄清晰明亮的瞳孔图像，并通过瞳孔图像计算得到注视点信息。同时做到轻量化，优化近视人群及不同体型人群的佩戴体验。

Description

一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪

技术领域

本申请涉及表情识别设备技术领域，尤其涉及一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪。

背景技术

在人们的固有认知中，眼动作为人体器官运动的一种，指眼睛在看不同位置时发生的移动，这种移动是很自然的，但是随着心理学和认知科学的发展，研究眼球运动的特征往往能揭示被试者当前的心理或精神状态。为了能够对被试者的眼动进行跟踪，研究者需要使用眼动仪来记录被试者在观察过程中的眼球运动。

如今，眼动仪分别有可穿戴式和桌面式两种。可穿戴式的眼动仪是将眼动追踪系统和前景摄像头集成为可穿戴设备佩戴于被试者身上，佩戴者可以自由活动，该眼动仪可以实时的记录佩戴者的眼动信息，同时采集被试者在真实场景下的眼动行为。桌面式的眼动仪一般配合电脑一同使用，记录使用者的面部表情和眼动信息，同时计算注视点标记在电脑屏幕上，适用于固定场景下的眼动行为检测。

传统市面上的可穿戴眼动仪大多是镜架式的和头盔式的，瞳孔采集摄像头和前景摄像头集成在可穿戴结构上，佩戴者可自由移动，眼动仪可以采集佩戴者在开放空间里的眼部动作，并预测其在前景摄像头中的注视点。但是，头盔式的结构十分臃肿，而镜架式的结构对近视人群的佩戴体验不友好，摄像头的帧率不够高，难以捕捉快速的眼动图像。

实用新型内容

本申请提供了一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪，以解决传统市面上的可穿戴眼动仪大多是镜架式的和头盔式的，瞳孔采集摄像头和前景摄像头集成在可穿戴结构上，佩戴者可自由移动，眼动仪可以采集佩戴者在开放空间里的眼部动作，并预测其在前景摄像头中的注视点。但是，头盔式的结构十分臃肿，而镜架式的结构对近视人群的佩戴体验不友好，摄像头的帧率不够高，难以捕捉快速的眼动图像的问题。

本申请提供一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪，包括：耳挂式支架、延长臂、球形连接臂、前景摄像头和瞳孔摄像头，其中，

所述延长臂、球形连接臂和瞳孔摄像头的数目都为两个，所述耳挂式支架通过内侧设有的锯齿状滑槽卡扣结构与所述延长臂相连，所述延长臂上连接有球形连接臂的一端，所述球形连接臂的另一端与瞳孔摄像头相连，所述耳挂式支架的一侧连接有前景摄像头。

可选的，所述耳挂式支架包括耳挂式结构、延伸臂和平衡装置，所述耳挂式结构和延伸臂的数目都为两个，所述两个耳挂式结构直接连接至平衡装置的两端，所述耳挂式结构与平衡装置的连接处还连接有延伸臂，所述延伸臂通过内侧设有的锯齿状滑槽卡扣结构与延长臂连接。

可选的，所述左侧的延伸臂的后段设有空槽，所述空槽中设有集线器。

可选的，所述延长臂包括第一球形接口和插头，所述第一球形接口的一端与插头的一端直接连接，所述插头的另一端设有两处凸起，连接有延伸臂的锯齿状滑槽卡扣结构，所述第一球形接口的另一端与球形连接臂的大端相连，两者连接处可通过旋转调节球形连接臂的方向。

可选的，所述球形连接臂包括圆管、第一球形接头和第二球形接头，所述第一球形接头和第二球形接头分别连接在圆管的两端，所述第一球形接头大于第二球形接头，所述第一球形接头连接有延长臂，所述第二球形接头连接有瞳孔摄像头。

可选的，所述前景摄像头上还设有前景摄像头外壳，所述前景摄像头外壳通过第三球形接头与前景摄像头相连。

可选的，所述每个瞳孔摄像头上还设有一个瞳孔摄像头外壳，所述瞳孔摄像头外壳通过第二球形接口与第二球形接头相连。

可选的，所述瞳孔摄像头外壳上还设有两个缺口，所述缺口中设有镜头模块和红外补光模块。

由以上技术方案可知，本申请提供一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪，包括：耳挂式支架、延长臂、球形连接臂、前景摄像头和瞳孔摄像头，其中，所述延长臂、球形连接臂和瞳孔摄像头的数目都为两个，所述耳挂式支架通过内侧设有的锯齿状滑槽卡扣结构与所述延长臂相连，所述延长臂上连接有球形连接臂的一端，所述球形连接臂的另一端与瞳孔摄像头相连，所述耳挂式支架的一侧连接有前景摄像头。

本申请提出了耳挂式的佩戴结构和具有伸缩延长臂、旋转轴的调节装置，能够通过两个瞳孔摄像头记录实时的瞳孔图像，利用高帧率摄像头、红外补光和滤光技术，实时拍摄清晰明亮的瞳孔图像，并通过这些瞳孔图像，计算得到注视点信息，反映在前景摄像头上。同时做到轻量化，优化了近视人群以及不同体型人群的佩戴体验。另外，在科研领域中多模态融合分析在复杂环境下有更好的分析结果，本实用新型设计的结构在保障传统眼动仪的功能外，在结构设计上尽量避免遮挡佩戴者的眼部、眉毛、鼻子等表情识别等重要区域，协助科研工作者同步的采集眼动和表情数据进行之后的多模态分析。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的整体结构示意图；

图2为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的整体结构示意图；

图3为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的整体结构示意图；

图4为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的整体结构示意图；

图5为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的耳挂式支架的结构示意图；

图6为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的耳挂式支架的结构示意图；

图7为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的耳挂式支架的结构示意图；

图8为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的耳挂式支架的结构示意图；

图9为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的延长臂的结构示意图；

图10为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的延长臂的结构示意图；

图11为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的延长臂的结构示意图；

图12为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的延长臂的结构示意图；

图13为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的球形连接臂的结构示意图；

图14为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的球形连接臂的结构示意图；

图15为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的球形连接臂的结构示意图；

图16为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的球形连接臂的结构示意图；

图17为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的前景摄像头外壳的结构示意图；

图18为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的前景摄像头外壳的结构示意图；

图19为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的前景摄像头外壳的结构示意图；

图20为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的前景摄像头外壳的结构示意图；

图21为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的瞳孔摄像头外壳的结构示意图；

图22为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的瞳孔摄像头外壳的结构示意图；

图23为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的瞳孔摄像头外壳的结构示意图；

图24为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的瞳孔摄像头外壳的结构示意图。

图示说明：

其中，1-耳挂式支架、2-延长臂、3-球形连接臂、4-前景摄像头、5-瞳孔摄像头、 6-耳挂式结构、7-延伸臂、8-平衡装置、9-集线器、10-第一球形接口、11-插头、12- 圆管、13-第一球形接头、14-第二球形接头、15-前景摄像头外壳、16-第三球形接头、 17-瞳孔摄像头外壳、18-第二球形接口。

具体实施方式

下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。

面部表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪，实现计算机对人脸表情的理解与识别，从根本上改变人与计算机的关系，从而达到更好的人机交互。因此人脸表情识别在心理学、智能机器人、智能监控、虚拟现实及合成动画等领域有很大的潜在应用价值。面部表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度，因此，与其它生物识别技术如指纹识别、虹膜识别、人脸识别等相比，发展相对较慢，应用还不广泛。但是表情识别对于人机交互却有重要的价值，因此国内外很多研究机构及学者致力于这方面的研究，并已经取得了一定的成果。

一种可穿戴眼动和面部表情同步采集设备，包括同步采集系统模块、耳挂式托架模块、图像采集模块和识别算法模块，其中：

所述同步采集系统模块通过USB接口与耳挂式托架模块相连，所述耳挂式托架模块通过USB接口与图像采集模块相连，所述图像采集模块和识别算法模块通过信号分别与同步采集系统模块相连；

所述同步采集系统模块包括实时进程子模块和非实时进程子模块，被配置为实时同步采集表情图像和眼动图像；

所述耳挂式托架模块包括3D打印支架，被配置为安装眼动摄像头和前景摄像头；

所述图像采集模块包括表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块，被配置为采集被试者的表情图像、眼动图像和前景图像；

所述识别算法模块包括图像去噪技术子模块、腐蚀边缘检测子模块和瞳孔分割子模块，被配置为基于图像去噪、边缘检测和瞳孔分割算法计算瞳孔的半径大小和中心点位置。

所述同步采集系统模块采用内存文件系统，应用实时同步机制，所述同步采集系统模块还连接有进程预加载单元、实时同步信号单元和多处理器单元。

同步采集系统的进程分为实时进程和非实时进程两类，本申请设计实时同步机制，基于实时操作系统和内存文件系统，采用进程预加载、实时同步信号和多处理器绑定实时进程进行多采集任务实时同步，实现表情和眼动图像的微秒级同步延迟，满足情感计算及认知实验等场景多模融合分析对时间同步的要求。

所述3D打印支架采用弹性尼龙材质制成，包括耳挂支架、延长臂和后方支架。

所述耳挂式托架模块设计了一个适配本采集系统的3D打印结构，用于安装眼动摄像头和前景摄像头。本申请在采集眼动的同时，还需要从被试者正面拍摄表情图像，因此本模块在结构上进行了创新，传统的可穿戴眼动采集设备大多是镜架式的，佩戴的时候会遮挡眉毛和眼睛的大部分区域，这些区域属于面部表情识别的关键区域，倘若遮挡将影响预处理及兴趣区域定位算法。本申请针对这一问题，设计了一种耳挂式的结构，避免了对眉毛、眼睛的遮挡，使用3D打印制成，选择尼龙材料打印，既能有较高的精细度，还有较高的弹性和较低的重量。

所述表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块上分别连接有表情图像采集单元、眼动图像采集单元和前景图像采集单元，所述眼动图像采集单元上还连接有红外补光处理单元和滤光处理单元。

所述图像采集模块包括表情摄像头、眼动摄像头和前景摄像头。眼动摄像头采用了红外补光和滤光技术，为高帧率摄像头提供额外的光源以区分瞳孔和虹膜，并通过滤光技术滤去影响眼动图像拍摄的自然光，眼动摄像头用于采集被试者的瞳孔图像，分别有左右两个，分辨率为300×300，帧数为400帧。表情摄像头用于从正面采集被试者的表情图像，使用桌面式的摄像头，分辨率为1920×1080，帧数为30帧。前景摄像头用于模拟被试者的视野图像，可以在此基础上确定被试者的注视点，分辨率为1920×1080，帧数为30帧；四个摄像头通过一根USB线接入上位机。

所述识别算法模块由以下三个步骤组成：基于高斯模糊算法的图像去噪技术，基于自适应阈值的腐蚀边缘检测，基于AVBFSC算法的瞳孔分割。完成从眼动图像中识别瞳孔区域和计算瞳孔半径大小和中心点坐标，并在前景图像中标注出用户的注视点。

所述图像去噪技术子模块基于高斯模糊算法，将高斯模糊算法运用于图像中，使图像出现模糊的效果，能够有效的抑制噪声，平滑图像。

所述腐蚀边缘检测子模块基于自适应阈值的边缘检测算法，其具体步骤如下：

设置自适应阈值：将每一块区域的像素强度的平均值作为阈值Thread；

图像二值化处理：利用Thread将图像转化成二值数字图像，公式如下：

腐蚀优化：用某一大小规格的结构元素，扫描二值图像的每一个像素，用结构元素与其覆盖的二值图像做“与”运算，如果都为1，结构图像的该像素为1，否则为0；最终过滤掉一些冗余的边缘分支。

所述瞳孔分割子模块基于AVBFSC算法，其具体步骤为：

输入上述处理过的二值图像，背景的像素点强度为0，图像目标的像素点强度为1；利用CHT计算出粗略的瞳孔圆心Ox,Oy和半径Or，选取以Ox,Oy为初始中心，为半径的区域及该区域内的强度为1的像素点；

设置随机搜索的总次数N，随机搜索三个不共线的像素点，并对选取的像素点进行离群点检测，如果这三个像素点不是离群点就利用这三个点拟合圆模型；

然后将所有非离群像素点代入上述圆模型，计算到圆边缘的距离，若距离小于给定阈值，就把这些像素点作为内点，并计算内点的个数；

如果这三个像素点中出现了离群点，放弃拟合圆模型，并重复上述步骤，直到搜索次数达到N停止迭代搜索，这时返回内点个数最多的圆模型参数；最终确定眼动图像中的瞳孔区域以及半径大小和中心点坐标。

本实用新型提出了一种可穿戴眼动和面部表情的同步采集装置，该可穿戴眼动和面部表情的同步采集装置与耳挂式托架模块，同步采集装置由3D打印制成，采用尼龙材质，既能有较高的精细度，还有较高的弹性和较低的质量。主体结构针对不遮挡面部表情兴趣区域进行改良。眼动采集设备由3D打印支架和摄像头组成，支架主要由左右耳挂支架、后方支架和延长臂组成。该结构通过左右耳挂支架将设备佩戴至用户的耳部，眼动摄像头向前延伸拍摄眼部区域图像，前景摄像头位于右太阳穴位置用于拍摄模拟用户视野的前景图像。后方支架起到平衡的作用，设备主体结构和摄像头部分均位于设备前端，且佩戴位置偏后，需要一个结构维持重心。延长臂部分用于适配不同人群，可以将摄像头进行适当的向外拉伸。此结构避免了传统镜架式结构对眉毛眼睛等表情识别重要区域的遮挡，眼睛的结构设计上尽可能的避免遮挡眉毛、眼镜、嘴部等关键部位，因此整体选择耳挂式的结构，以及瞳孔摄像头支架在佩戴的时候会根据被试不同的脸型向外拉伸，让拍摄瞳孔的摄像头不会遮挡脸颊部分，同时调节摄像头朝向，使得摄像头可以斜向上拍摄瞳孔，既不遮挡面部，同时能够清晰的采集到瞳孔图片。

参见图1、图2、图3和图4，为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的结构示意图，本实用新型的主体结构分为耳挂式支架1、延长臂2、球形连接臂3、前景摄像头4和两个瞳孔摄像头5。以耳挂式支架1为主，各个部件连接于其上：两个延长臂2通过支架内侧设有的锯齿状滑槽卡扣结构与支架相连；球形连接臂3的大端与延长臂2连接，小端和瞳孔摄像头5相连；前景摄像头4通过球形接头连接在支架右侧耳挂处。

本实用新型采用的是3D打印技术，由弹性尼龙材质和尼龙材料制成，有着较强的弹性形变能力以及较低的密度。

参见图5、图6、图7和图8，为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的耳挂式支架的结构示意图，本实用新型的耳挂式支架1结构由三个部分组成：上方的耳挂式结构6、前方的延伸臂7和后方的平衡装置8。

佩戴者通过耳挂式结构6佩戴眼动采集设备，该结构贴合人体耳部结构向内侧弯曲贴合佩戴者的耳廓部位，同时为了适配不同脸型的佩戴者且佩戴时感到舒适，在该耳挂结构内侧贴有一层硅胶垫；前方延伸臂7连接延长臂2，其内侧设计了锯齿状滑槽卡扣结构，并在左侧延伸臂7后段开设一个内径为30mm×15mm×7mm的长方体外壳结构用于安装三个摄像头的集线器9，三个摄像头的数据线沿支架内部汇集至集线器9，后由 typeC-usb2.0连接线连接上位机；后方的平衡装置8用于连接和平衡两侧的结构，本实用新型的大部分重量均集中在前半部分，需要向后设计一个平衡装置实现稳定佩戴的目的，其中镂空设计保证了整体结构的轻质以及左右的平衡。

参见图9、图10、图11和图12，为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的延长臂的结构示意图，本实用新型的延长臂2由两部分组成：前端的第一球形接口10和后端的长方体插头11。

后端的插头11末端设计了两处凸起，连接支架延伸臂7的锯齿状滑槽卡扣结构，能够自由的伸长延长臂2，同时固定在某个位置；前端的第一球形接口10与球形连接臂3 的大端第一球形接头13相连，两者相连处可以通过旋转调节球形连接臂3的方向。

参见图13、图14、图15和图16，为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的球形连接臂的结构示意图，本实用新型的球形连接臂3由中间的圆管 12和一大一小两球形接头组成，大的第一球形接头13连接延长臂2，小的第二球形接头 14连接瞳孔摄像头5。

球形连接臂3与延长臂2共同作用，以调整瞳孔摄像头5的拍摄角度来适应大部分的佩戴者。

参见图17、图18、图19和图20，为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的前景摄像头外壳的结构示意图，此结构用于安装前景摄像头4。

前景摄像头外壳15的主体为长方体，内径为32mm×13mm×7mm，内安装1080p、60Hz的高清摄像头。连接部分使用第三球形接头16，可以调节前景摄像头4的拍摄角度来适配大部分佩戴者的视野画面。

参见图21、图22、图23和图24，为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的瞳孔摄像头外壳的结构示意图，此结构用于安装左右两个瞳孔摄像头 5。

瞳孔摄像头外壳17的主体也为长方体，内径为53mm×10mm×5mm，内安装300×300分辨率、400Hz的高清摄像头用于拍摄瞳孔图像，瞳孔摄像头外壳17通过第二球形接口 18与球形连接臂3的第二球形接头14相连，瞳孔摄像头外壳17的一面开了两个缺口，其中的圆形缺口用于安装瞳孔摄像头5的镜头模块，方形缺口用于安装红外补光模块。根据瞳孔和虹膜吸光度的不同，在摄像头模块中加入了红外补光模块，红外补光的波长为850nm，同时摄像头上安装了850nm窄带滤光片，以达到避免自然光的干扰，最终能够记录清晰的瞳孔图像的目的。

一种可穿戴眼动和面部表情的同步采集系统，其分为四个模块，包括同步采集系统模块、耳挂式托架模块、图像采集模块、识别算法模块。

本系统的采集部分需要实时处理视频流，通用操作系统延迟和抖动较大，导致视频记录过程出现时钟漂移和丢帧，导致眼动图像和表情图像在时间轴上不同步。本实用新型基于实时操作系统和内存文件系统，设计实时同步机制。采用预加载机制，先启动主进程，通过主进程初始化相关资源并启动眼动采集进程、表情采集进程、前景摄像头进程和刺激范式进程(在情感计算及认知实验等场景需要使用刺激范式)。子进程启动后分别提高进程优先级，并等待主进程的同步信号，当用户指令下发，主进程向各子进程发送同步信号，开始采集任务。为降低延迟，采集到的图像文件暂时存储到内存文件系统 (RAMFS)，瞳孔识别程序直接从内存文件系统读入眼动图像文件，实现实时瞳孔识别和注视点预测。采集结束后，将眼动图像编码为视频文件，写入磁盘文件系统中。

图像采集模块分为三个部分：前景摄像头、表情摄像头和眼动摄像头；前景摄像头和表情摄像头分辨率为1920×1080，帧数为30帧；眼动摄像头用于采集眼动图像且眼动动作是在几毫秒内完成的，所以眼动摄像头需要高帧率和额外的红外补光；眼动摄像头分别有左右两个，分辨率为300×300，帧数为400帧；为使相机能清楚拍摄瞳孔，采用 850nm红外补光，同时为避免环境中其他光源造成的干扰，相机镜头采用850nm窄带滤光光片过滤其他波段可见光。实际使用场景下环境光线可能差异较大，照明度太低或太高会造成补光不足或过强，该模块采用固定曝光模式，通过端口映射，将UVC协议中的“增益”接口改为红外灯亮度调节接口，通过调节“增益”可控制LED亮度变化。主控芯片中端口对接MCU输入，通过软件调节输出PWM信号，从而达到调整红外灯亮度，实现画面亮度稳定。

识别算法模块指从原始的眼动图像中，识别并分割瞳孔区域，并计算瞳孔的半径大小和中心点坐标。瞳孔分割由图像去噪、边缘检测和瞳孔圆检测三部分组成。所述识别算法只针对瞳孔图像，即瞳孔摄像头采集的图像，识别图像中的瞳孔区域，并计算瞳孔半径、中心点这些眼动指标，最后对注视点进行预测，并投影到前景摄像头捕获到图像上(前景摄像头用来模拟佩戴者的视野)。表情采集模块并没有使用识别算法，只是通过实时同步系统采集并保存图像。因为需要对瞳孔图像和表情图像进行融合分析，所以在本申请系统中加上了表情采集模块，融合分析需要图像在时间轴上一一对应所以采用了实时同步系统。

本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪包括：耳挂式支架、延长臂、球形连接臂、前景摄像头和瞳孔摄像头，其中，所述延长臂、球形连接臂和瞳孔摄像头的数目都为两个，所述耳挂式支架通过内侧设有的锯齿状滑槽卡扣结构与所述延长臂相连，所述延长臂上连接有球形连接臂的一端，所述球形连接臂的另一端与瞳孔摄像头相连，所述耳挂式支架的一侧连接有前景摄像头。

本申请提出了耳挂式的佩戴结构和具有伸缩延长臂、旋转轴的调节装置，能够通过两个瞳孔摄像头记录实时的瞳孔图像，利用高帧率摄像头、红外补光和滤光技术，实时拍摄清晰明亮的瞳孔图像，并通过这些瞳孔图像，计算得到注视点信息，反映在前景摄像头上。同时做到轻量化，优化了近视人群以及不同体型人群的佩戴体验。另外，在科研领域中多模态融合分析在复杂环境下有更好的分析结果，本实用新型设计的结构在保障传统眼动仪的功能外，在结构设计上尽量避免遮挡佩戴者的眼部、眉毛、鼻子等表情识别等重要区域，协助科研工作者同步的采集眼动和表情数据进行之后的多模态分析。

以上显示和描述了本申请的基本原理和主要特征以及本申请的优点，对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (8)

1.一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪，其特征在于，包括：耳挂式支架(1)、延长臂(2)、球形连接臂(3)、前景摄像头(4)和瞳孔摄像头(5)，其中，

所述延长臂(2)、球形连接臂(3)和瞳孔摄像头(5)的数目都为两个，所述耳挂式支架(1)通过内侧设有的锯齿状滑槽卡扣结构与所述延长臂(2)相连，所述延长臂(2)上连接有球形连接臂(3)的一端，所述球形连接臂(3)的另一端与瞳孔摄像头(5)相连，所述耳挂式支架(1)的一侧连接有前景摄像头(4)。

2.根据权利要求1所述的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪，其特征在于，所述耳挂式支架(1)包括耳挂式结构(6)、延伸臂(7)和平衡装置(8)，所述耳挂式结构(6)和延伸臂(7)的数目都为两个，所述两个耳挂式结构(6)直接连接至平衡装置(8)的两端，所述耳挂式结构(6)与平衡装置(8)的连接处还连接有延伸臂(7)，所述延伸臂(7)通过内侧设有的锯齿状滑槽卡扣结构与延长臂(2)连接。

3.根据权利要求2所述的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪，其特征在于，所述左侧的延伸臂(7)的后段设有空槽，所述空槽中设有集线器(9)。

4.根据权利要求1所述的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪，其特征在于，所述延长臂(2)包括第一球形接口(10)和插头(11)，所述第一球形接口(10)的一端与插头(11)的一端直接连接，所述插头(11)的另一端设有两处凸起，连接有延伸臂(7)的锯齿状滑槽卡扣结构，所述第一球形接口(10)的另一端与球形连接臂(3)的大端相连，两者连接处可通过旋转调节球形连接臂的方向。

5.根据权利要求1所述的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪，其特征在于，所述球形连接臂(3)包括圆管(12)、第一球形接头(13)和第二球形接头(14)，所述第一球形接头(13)和第二球形接头(14)分别连接在圆管(12)的两端，所述第一球形接头(13)大于第二球形接头(14)，所述第一球形接头(13)连接有延长臂(2)，所述第二球形接头(14)连接有瞳孔摄像头(5)。

6.根据权利要求1所述的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪，其特征在于，所述前景摄像头(4)上还设有前景摄像头外壳(15)，所述前景摄像头外壳(15)通过第三球形接头(16)与前景摄像头(4)相连。

7.根据权利要求1所述的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪，其特征在于，所述每个瞳孔摄像头(5)上还设有一个瞳孔摄像头外壳(17)，所述瞳孔摄像头外壳(17)通过第二球形接口(18)与第二球形接头(14)相连。

8.根据权利要求7所述的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪，其特征在于，所述瞳孔摄像头外壳(17)上还设有两个缺口，所述缺口中设有镜头模块和红外补光模块。

Images