CN113269122A - 一种可穿戴眼动和面部表情同步采集设备、系统及算法 - Google Patents

Abstract

本申请提供一种可穿戴眼动和面部表情同步采集设备、系统及算法，所述可穿戴眼动和面部表情同步采集系统包括可穿戴眼动和面部表情同步采集设备和瞳孔半径大小及中心点坐标识别算法，其中，所述可穿戴眼动和面部表情同步采集设备中识别算法模块包括图像去噪技术子模块、腐蚀边缘检测子模块和瞳孔分割子模块，所述瞳孔半径大小及中心点坐标识别算法包括模糊眼动摄像头子模块所采集到的原始眼动图像的步骤、优化去噪后图像的边缘的步骤和分割优化后图像中的瞳孔的步骤。本申请使瞳孔边缘更清晰；设计新型瞳孔识别算法AVBFSC，能更精确的识别瞳孔区域并标记注视点；基于实时操作系统，设计微秒级延迟的同步机制，实现眼动图像和表情图像的严格同步。

Description

一种可穿戴眼动和面部表情同步采集设备、系统及算法

技术领域

本申请涉及面部表情采集技术领域，尤其涉及一种可穿戴眼动和面部表情同步采集设备、系统及算法。

背景技术

眼动和表情作为人们一种自发的行为，可以直接或间接地反映被试者当前的心理状态。眼动分析仪作为眼动行为的重要测量仪器，常用于心理学领域，在心理学实验中的应用主要是通过对眼睛活动的精确描述来推断其所反映的认知活动。其中主要从三个方面来描述人类的眼动行为：注视点，即人眼停顿下来注视某一点；扫视，即人眼从一个注视点往下一个注视点的运动过程；瞳孔大小。这种非侵入式设备能够方便的进行数据采集，操作方便。表情快速且不易察觉，可以表达真实的情感和意图，表情和眼动的融合分析可以捕获多模态数据的模态表示和跨模态互补相关性。而融合分析的时间同步十分重要，因为人的眼动行为是在毫秒级就可以完成的，表情变化微弱且迅速，因此精确的时间同步是多模融合分析的前提。

眼动表情融合分析逐渐应用在各个领域，在检测疲劳中，通过观察驾驶员的眼动行为和表情变化，可以判断其是否处于疲劳状态；在临床中，眼动仪可以作为一种诊断的工具，通过测试病人眼动的功能来诊断相应的精神疾病；在焦虑、抑郁、孤独症等精神障碍诊断和研究中，研究者通过心理学刺激范式或认知任务下被试的眼动指标和表情变化，对其精神状态做客观量化的评估。现有的眼动和面部表情采集系统往往无法清晰识别瞳孔边缘，精确识别瞳孔区域并标记注视点，且无法严格的同步采集眼动图像和表情图像。

发明内容

本申请提供了一种可穿戴眼动和面部表情同步采集设备、系统及算法，以解决现有的眼动和面部表情采集系统往往无法清晰识别瞳孔边缘，精确识别瞳孔区域并标记注视点，且无法严格的同步采集眼动图像和表情图像的问题。

一方面，本申请提供一种可穿戴眼动和面部表情同步采集设备，包括同步采集系统模块、耳挂式托架模块、图像采集模块和识别算法模块，其中：

所述同步采集系统模块通过USB接口与耳挂式托架模块相连，所述耳挂式托架模块通过USB接口与图像采集模块相连，所述图像采集模块和识别算法模块通过信号分别与同步采集系统模块相连；

所述同步采集系统模块被配置为实时同步采集表情图像和眼动图像；

所述耳挂式托架模块被配置为安装眼动摄像头和前景摄像头，包括耳挂式支架、延长臂、球形连接臂、前景摄像头和瞳孔摄像头；

所述延长臂、球形连接臂和瞳孔摄像头的数目都为两个，所述耳挂式支架通过内侧设有的锯齿状滑槽卡扣结构与所述延长臂相连，所述延长臂上连接有球形连接臂的一端，所述球形连接臂的另一端与瞳孔摄像头相连，所述耳挂式支架的一侧连接有前景摄像头；

所述图像采集模块被配置为采集被试者的表情图像、眼动图像和前景图像；

所述识别算法模块被配置为基于图像去噪、边缘检测和瞳孔分割算法计算瞳孔的半径大小和中心点位置。

可选的，所述同步采集系统模块包括实时进程子模块和非实时进程子模块，采用内存文件系统，应用实时同步机制，所述同步采集系统模块还连接有进程预加载单元、实时同步信号单元和多处理器单元。

可选的，所述3D打印支架采用弹性尼龙材质制成，包括耳挂支架、延长臂和后方支架，所述耳挂式支架包括耳挂式结构、延伸臂和平衡装置，所述耳挂式结构和延伸臂的数目都为两个，所述两个耳挂式结构直接连接至平衡装置的两端，所述耳挂式结构与平衡装置的连接处还连接有延伸臂，所述延伸臂通过内侧设有的锯齿状滑槽卡扣结构与延长臂连接。

可选的，所述左侧延伸臂的后段设有空槽，所述空槽中设有集线器。

可选的，所述延长臂包括第一球形接口和插头，所述第一球形接口的一端与插头的一端直接连接，所述插头的另一端设有两处凸起，连接有延伸臂的锯齿状滑槽卡扣结构，所述第一球形接口的另一端与球形连接臂的大端相连，两者连接处可通过旋转调节球形连接臂的方向。

可选的，所述球形连接臂包括圆管、第一球形接头和第二球形接头，所述第一球形接头和第二球形接头分别连接在圆管的两端，所述第一球形接头大于第二球形接头，所述第一球形接头连接有延长臂，所述第二球形接头连接有瞳孔摄像头。

可选的，所述前景摄像头上还设有前景摄像头外壳，所述前景摄像头外壳通过第三球形接头与前景摄像头相连。

可选的，所述每个瞳孔摄像头上还设有一个瞳孔摄像头外壳，所述瞳孔摄像头外壳通过第二球形接口与第二球形接头相连。

可选的，所述瞳孔摄像头外壳上还设有两个缺口，所述缺口中设有镜头模块和红外补光模块。

可选的，所述图像采集模块包括表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块，所述表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块上分别连接有表情图像采集单元、眼动图像采集单元和前景图像采集单元，所述眼动图像采集单元上还连接有红外补光处理单元和滤光处理单元。

可选的，所述识别算法模块包括图像去噪技术子模块、腐蚀边缘检测子模块和瞳孔分割子模块，所述图像去噪技术子模块基于高斯模糊算法，运用于图像中抑制噪声，平滑图像，保留瞳孔边缘；所述腐蚀边缘检测子模块基于自适应阈值的边缘检测算法过滤冗余边缘分支；所述瞳孔分割子模块基于AVBFSC算法分割瞳孔。

另一方面，本申请提供一种瞳孔半径大小及中心点坐标识别算法，包括：

基于高斯模糊算法模糊眼动摄像头子模块所采集到的原始眼动图像，抑制图像噪声，得到去噪后图像；

基于自适应阈值方法优化所述去噪后图像的边缘，得到边缘优化后图像；

基于AVBFSC算法分割所述优化后图像中的瞳孔，确定瞳孔半径大小及中心点坐标。

可选的，所述基于高斯模糊算法模糊眼动摄像头子模块所采集到的原始眼动图像的步骤包括：

通过高斯模糊算法模糊眼动摄像头子模块所采集到的原始眼动图像，抑制图像噪声，平滑图像，得到去噪后图像。

可选的，所述基于自适应阈值方法优化所述去噪后图像的边缘的步骤包括：

设置自适应阈值：将所述去噪后图像的每一块区域的像素强度平均值作为阈值Thread；图像二值化处理：利用Thread将所述去噪后图像转化成二值数字图像，公式如下：

腐蚀优化：用固定大小规格的结构元素扫描二值数字图像的每一个像素，用结构元素与其覆盖的二值数字图像做“与”运算，如果都为1，结构图像的该像素为1，否则为0，过滤冗余的边缘分支，得到边缘优化后图像。

可选的，所述基于AVBFSC算法分割所述优化后图像中的瞳孔的步骤包括：

输入所述边缘优化后图像，背景的像素点强度为0，图像目标的像素点强度为1；利用CHT计算粗略的瞳孔圆心(Ox,Oy)和半径Or，选取以(Ox,Oy)为初始中心，Or±δ*Or为半径的区域及该区域内的强度为1的像素点；

设置随机搜索的总次数N，随机搜索三个不共线的像素点，对选取的像素点进行离群点检测，如不是离群点则利用其拟合圆模型；

将所有非离群像素点代入圆模型，计算到圆边缘的距离，若距离小于给定阈值，则将这些像素点作为内点，计算内点的个数；

如果不共线的像素点中出现了离群点，放弃拟合圆模型，重复上述步骤，直到搜索次数达到N停止迭代搜索，返回内点个数最多的圆模型参数；最终确定眼动图像中的瞳孔区域以及半径大小和中心点坐标。

由以上技术方案可知，本申请提供一种可穿戴眼动和面部表情同步采集设备、系统及算法，包括可穿戴眼动和面部表情同步采集设备和瞳孔半径大小及中心点坐标识别算法，其中，所述可穿戴眼动和面部表情同步采集设备中识别算法模块包括图像去噪技术子模块、腐蚀边缘检测子模块和瞳孔分割子模块，所述瞳孔半径大小及中心点坐标识别算法包括模糊眼动摄像头子模块所采集到的原始眼动图像的步骤、优化去噪后图像的边缘的步骤和分割优化后图像中的瞳孔的步骤，所述图像去噪技术子模块运行模糊眼动摄像头子模块所采集到的原始眼动图像的步骤，所述腐蚀边缘检测子模块运行优化去噪后图像的边缘的步骤，所述瞳孔分割子模块运行分割优化后图像中的瞳孔的步骤。

本申请创新设计了采集设备的结构和摄像头硬件，结构上避免面部关键区域的遮挡；通过在眼动摄像头引入红外补光和滤光技术，使瞳孔边缘更清晰；设计新型瞳孔识别算法AVBFSC，能更精确的识别瞳孔区域并标记注视点；基于实时操作系统，设计微秒级延迟的同步机制，实现眼动图像和表情图像的严格同步；本申请能够为情感计算、认知、心理等学科研究提供设备支持，也可以用于精神障碍诊断、疲劳驾驶监测、注意力评估等应用，有广阔的应用价值。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的一种可穿戴眼动和面部表情同步采集设备、系统及算法的总体框架示意图；

图2为本申请提供的一种可穿戴眼动和面部表情同步采集设备、系统及算法的同步采集机制时序图；

图3为本申请提供的一种可穿戴眼动和面部表情同步采集设备、系统及算法的耳挂式托架模块结构示意图；

图4为本申请提供的一种可穿戴眼动和面部表情同步采集设备、系统及算法的耳挂式托架模块的结构示意图；

图5为本申请提供的一种可穿戴眼动和面部表情同步采集设备、系统及算法的耳挂式托架模块的延长臂的结构示意图；

图6为本申请提供的一种可穿戴眼动和面部表情同步采集设备、系统及算法的耳挂式托架模块的球形连接臂的结构示意图；

图7为本申请提供的一种可穿戴眼动和面部表情同步采集设备、系统及算法的耳挂式托架模块的前景摄像头外壳的结构示意图；

图8为本申请提供的一种可穿戴眼动和面部表情同步采集设备、系统及算法的耳挂式托架模块的瞳孔摄像头外壳的结构示意图；

图9为本申请提供的一种可穿戴眼动和面部表情同步采集设备、系统及算法的瞳孔识别算法流程示意图。

具体实施方式

下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。

面部表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪，实现计算机对人脸表情的理解与识别，从根本上改变人与计算机的关系，从而达到更好的人机交互。因此人脸表情识别在心理学、智能机器人、智能监控、虚拟现实及合成动画等领域有很大的潜在应用价值。面部表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度，因此，与其它生物识别技术如指纹识别、虹膜识别、人脸识别等相比，发展相对较慢，应用还不广泛。但是表情识别对于人机交互却有重要的价值，因此国内外很多研究机构及学者致力于这方面的研究，并已经取得了一定的成果。

参见图1、图2、图3和图9，一种可穿戴眼动和面部表情同步采集设备，包括同步采集系统模块、耳挂式托架模块、图像采集模块和识别算法模块，其中：

所述同步采集系统模块通过USB接口与耳挂式托架模块相连，所述耳挂式托架模块通过USB接口与图像采集模块相连，所述图像采集模块和识别算法模块通过信号分别与同步采集系统模块相连；

所述同步采集系统模块被配置为实时同步采集表情图像和眼动图像；

所述耳挂式托架模块包括3D打印支架，被配置为安装眼动摄像头和前景摄像头；

所述图像采集模块被配置为采集被试者的表情图像、眼动图像和前景图像；

所述识别算法模块被配置为基于图像去噪、边缘检测和瞳孔分割算法计算瞳孔的半径大小和中心点位置。

所述同步采集系统模块包括实时进程子模块和非实时进程子模块，采用内存文件系统，应用实时同步机制，所述同步采集系统模块还连接有进程预加载单元、实时同步信号单元和多处理器单元。

同步采集系统的进程分为实时进程和非实时进程两类，本申请设计实时同步机制，基于实时操作系统和内存文件系统，采用进程预加载、实时同步信号和多处理器绑定实时进程进行多采集任务实时同步，实现表情和眼动图像的微秒级同步延迟，满足情感计算及认知实验等场景多模融合分析对时间同步的要求。

所述3D打印支架采用弹性尼龙材质制成，包括耳挂支架、延长臂和后方支架。

所述耳挂式托架模块设计了一个适配本采集系统的3D打印结构，用于安装眼动摄像头和前景摄像头。本申请在采集眼动的同时，还需要从被试者正面拍摄表情图像，因此本模块在结构上进行了创新，传统的可穿戴眼动采集设备大多是镜架式的，佩戴的时候会遮挡眉毛和眼睛的大部分区域，这些区域属于面部表情识别的关键区域，倘若遮挡将影响预处理及兴趣区域定位算法。本申请针对这一问题，设计了一种耳挂式的结构，避免了对眉毛、眼睛的遮挡，使用3D打印制成，选择尼龙材料打印，既能有较高的精细度，还有较高的弹性和较低的重量。

所述图像采集模块包括表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块，所述表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块上分别连接有表情图像采集单元、眼动图像采集单元和前景图像采集单元，所述眼动图像采集单元上还连接有红外补光处理单元和滤光处理单元。

所述图像采集模块包括表情摄像头、眼动摄像头和前景摄像头。眼动摄像头采用了红外补光和滤光技术，为高帧率摄像头提供额外的光源以区分瞳孔和虹膜，并通过滤光技术滤去影响眼动图像拍摄的自然光，眼动摄像头用于采集被试者的瞳孔图像，分别有左右两个，分辨率为300×300，帧数为400帧。表情摄像头用于从正面采集被试者的表情图像，使用桌面式的摄像头，分辨率为1920×1080，帧数为30帧。前景摄像头用于模拟被试者的视野图像，可以在此基础上确定被试者的注视点，分辨率为1920×1080，帧数为30帧；四个摄像头通过一根USB线接入上位机。

所述识别算法模块包括图像去噪技术子模块、腐蚀边缘检测子模块和瞳孔分割子模块，所述识别算法模块由以下三个步骤组成：基于高斯模糊算法的图像去噪技术，基于自适应阈值的腐蚀边缘检测，基于AVBFSC算法的瞳孔分割。完成从眼动图像中识别瞳孔区域和计算瞳孔半径大小和中心点坐标，并在前景图像中标注出用户的注视点。

所述图像去噪技术子模块基于高斯模糊算法，将高斯模糊算法运用于图像中，使图像出现模糊的效果，能够有效的抑制噪声，平滑图像。

所述腐蚀边缘检测子模块基于自适应阈值的边缘检测算法，其具体步骤如下：

设置自适应阈值：将所述去噪后图像的每一块区域的像素强度的平均值作为阈值Thread；

图像二值化处理：利用Thread将所述去噪后图像转化成二值数字图像，公式如下：

腐蚀优化：用某一大小规格的结构元素，扫描二值数字图像的每一个像素，用结构元素与其覆盖的二值数字图像做“与”运算，如果都为1，结构图像的该像素为1，否则为0；最终过滤掉一些冗余的边缘分支。

所述瞳孔分割子模块基于AVBFSC算法，其具体步骤为：

输入所述边缘优化后图像，背景的像素点强度为0，图像目标的像素点强度为1；利用CHT计算出粗略的瞳孔圆心(Ox,Oy)和半径Or，选取以(Ox,Oy)为初始中心，Or±δ*Or为半径的区域及该区域内的强度为1的像素点；

设置随机搜索的总次数N，随机搜索三个不共线的像素点，对选取的像素点进行离群点检测，如果这三个像素点不是离群点就利用这三个点拟合圆模型；

然后将所有非离群像素点代入上述圆模型，计算到圆边缘的距离，若距离小于给定阈值，就把这些像素点作为内点，计算内点的个数；

如果这三个像素点中出现了离群点，放弃拟合圆模型，重复上述步骤，直到搜索次数达到N停止迭代搜索，返回内点个数最多的圆模型参数；最终确定眼动图像中的瞳孔区域以及半径大小和中心点坐标。

参见图3，本发明提出了一种可穿戴眼动和面部表情的同步采集装置，该可穿戴眼动和面部表情的同步采集装置与耳挂式托架模块相连，同步采集装置由3D打印制成，采用尼龙材质，既能有较高的精细度，还有较高的弹性和较低的质量。主体结构针对不遮挡面部表情兴趣区域进行改良。眼动采集设备由3D打印支架和摄像头组成，支架主要由左右耳挂支架、后方支架和延长臂组成。该结构通过左右耳挂支架将设备佩戴至用户的耳部，眼动摄像头向前延伸拍摄眼部区域图像，前景摄像头位于右太阳穴位置用于拍摄模拟用户视野的前景图像。后方支架起到平衡的作用，设备主体结构和摄像头部分均位于设备前端，且佩戴位置偏后，需要一个结构维持重心。延长臂部分用于适配不同人群，可以将摄像头进行适当的向外拉伸。此结构避免了传统镜架式结构对眉毛眼睛等表情识别重要区域的遮挡，眼睛的结构设计上尽可能的避免遮挡眉毛、眼镜、嘴部等关键部位，因此整体选择耳挂式的结构，以及瞳孔摄像头支架在佩戴的时候会根据被试不同的脸型向外拉伸，让拍摄瞳孔的摄像头不会遮挡脸颊部分，同时调节摄像头朝向，使得摄像头可以斜向上拍摄瞳孔，既不遮挡面部，同时能够清晰的采集到瞳孔图片。

参见图3，为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的结构示意图，本发明的主体结构分为耳挂式支架1、延长臂2、球形连接臂3、前景摄像头4和两个瞳孔摄像头5。以耳挂式支架1为主，各个部件连接于其上：两个延长臂2通过支架内侧设有的锯齿状滑槽卡扣结构与支架相连；球形连接臂3的大端与延长臂2连接，小端和瞳孔摄像头5相连；前景摄像头4通过球形接头连接在支架右侧耳挂处。

本发明采用的是3D打印技术，由弹性尼龙材质和尼龙材料制成，有着较强的弹性形变能力以及较低的密度。

参见图4，为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的耳挂式支架的结构示意图，本发明的耳挂式支架1结构由三个部分组成：上方的耳挂式结构6、前方的延伸臂7和后方的平衡装置8。

佩戴者通过耳挂式结构6佩戴眼动采集设备，该结构贴合人体耳部结构向内侧弯曲贴合佩戴者的耳廓部位，同时为了适配不同脸型的佩戴者且佩戴时感到舒适，在该耳挂结构内侧贴有一层硅胶垫；前方延伸臂7连接延长臂2，其内侧设计了锯齿状滑槽卡扣结构，并在左侧延伸臂7后段开设一个内径为30mm×15mm×7mm的长方体外壳结构用于安装三个摄像头的集线器9，三个摄像头的数据线沿支架内部汇集至集线器9，后由typeC-usb2.0连接线连接上位机；后方的平衡装置8用于连接和平衡两侧的结构，本发明的大部分重量均集中在前半部分，需要向后设计一个平衡装置实现稳定佩戴的目的，其中镂空设计保证了整体结构的轻质以及左右的平衡。

参见图5，为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的延长臂的结构示意图，本发明的延长臂2由两部分组成：前端的第一球形接口10和后端的长方体插头11。

后端的插头11末端设计了两处凸起，连接支架延伸臂7的锯齿状滑槽卡扣结构，能够自由的伸长延长臂2，同时固定在某个位置；前端的第一球形接口10与球形连接臂3的大端第一球形接头13相连，两者相连处可以通过旋转调节球形连接臂3的方向。

参见图6，为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的球形连接臂的结构示意图，本发明的球形连接臂3由中间的圆管12和一大一小两球形接头组成，大的第一球形接头13连接延长臂2，小的第二球形接头14连接瞳孔摄像头5。

球形连接臂3与延长臂2共同作用，以调整瞳孔摄像头5的拍摄角度来适应大部分的佩戴者。

参见图7，为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的前景摄像头外壳的结构示意图，此结构用于安装前景摄像头4。

前景摄像头外壳15的主体为长方体，内径为32mm×13mm×7mm，内安装1080p、60Hz的高清摄像头。连接部分使用第三球形接头16，可以调节前景摄像头4的拍摄角度来适配大部分佩戴者的视野画面。

参见图8，为本申请提供的一种可穿戴耳挂式瞳孔采集及注视点预测眼动仪的瞳孔摄像头外壳的结构示意图，此结构用于安装左右两个瞳孔摄像头5,。

瞳孔摄像头外壳17的主体也为长方体，内径为53mm×10mm×5mm，内安装300×300分辨率、400Hz的高清摄像头用于拍摄瞳孔图像，瞳孔摄像头外壳17通过第二球形接口18与球形连接臂3的第二球形接头14相连，瞳孔摄像头外壳17的一面开了两个缺口，其中的圆形缺口用于安装瞳孔摄像头5的镜头模块，方形缺口用于安装红外补光模块。根据瞳孔和虹膜吸光度的不同，在摄像头模块中加入了红外补光模块，红外补光的波长为850nm，同时摄像头上安装了850nm窄带滤光片，以达到避免自然光的干扰，最终能够记录清晰的瞳孔图像的目的。

参见图1、图2和图3，图1是本发明的系统总体框架示意图，一种可穿戴眼动和面部表情的同步采集系统，其分为四个模块，包括同步采集系统模块、耳挂式托架模块、图像采集模块、识别算法模块。

同步采集系统模块如图2所示，本系统的采集部分需要实时处理视频流，通用操作系统延迟和抖动较大，导致视频记录过程出现时钟漂移和丢帧，导致眼动图像和表情图像在时间轴上不同步。本发明基于实时操作系统和内存文件系统，设计实时同步机制。采用预加载机制，先启动主进程，通过主进程初始化相关资源并启动眼动采集进程、表情采集进程、前景摄像头进程和刺激范式进程(在情感计算及认知实验等场景需要使用刺激范式)。子进程启动后分别提高进程优先级，并等待主进程的同步信号，当用户指令下发，主进程向各子进程发送同步信号，开始采集任务。为降低延迟，采集到的图像文件暂时存储到内存文件系统(RAMFS)，瞳孔识别程序直接从内存文件系统读入眼动图像文件，实现实时瞳孔识别和注视点预测。采集结束后，将眼动图像编码为视频文件，写入磁盘文件系统中。

图像采集模块分为三个部分：前景摄像头、表情摄像头和眼动摄像头；前景摄像头和表情摄像头分辨率为1920×1080，帧数为30帧；眼动摄像头用于采集眼动图像且眼动动作是在几毫秒内完成的，所以眼动摄像头需要高帧率和额外的红外补光；眼动摄像头分别有左右两个，分辨率为300×300，帧数为400帧；为使相机能清楚拍摄瞳孔，采用850nm红外补光，同时为避免环境中其他光源造成的干扰，相机镜头采用850nm窄带滤光光片过滤其他波段可见光。实际使用场景下环境光线可能差异较大，照明度太低或太高会造成补光不足或过强，该模块采用固定曝光模式，通过端口映射，将UVC协议中的“增益”接口改为红外灯亮度调节接口，通过调节“增益”可控制LED亮度变化。主控芯片中端口对接MCU输入，通过软件调节输出PWM信号，从而达到调整红外灯亮度，实现画面亮度稳定，具体原理如图3所示。

识别算法模块指从原始的眼动图像中，识别并分割瞳孔区域，并计算瞳孔的半径大小和中心点坐标。瞳孔分割由图像去噪、边缘检测和瞳孔圆检测三部分组成。所述识别算法只针对瞳孔图像，即瞳孔摄像头采集的图像，识别图像中的瞳孔区域，并计算瞳孔半径、中心点这些眼动指标，最后对注视点进行预测，并投影到前景摄像头捕获到图像上(前景摄像头用来模拟佩戴者的视野)。表情采集模块并没有使用识别算法，只是通过实时同步系统采集并保存图像。因为需要对瞳孔图像和表情图像进行融合分析，所以在本申请系统中加上了表情采集模块，融合分析需要图像在时间轴上一一对应所以采用了实时同步系统。

本申请提供一种可穿戴眼动和面部表情同步采集设备、系统及算法，同步采集系统模块连接有耳挂式托架模块、图像采集模块和识别算法模块，其中，所述同步采集系统模块包括实时进程子模块和非实时进程子模块；所述耳挂式托架模块包括3D打印支架和摄像装置；所述图像采集模块包括表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块；所述识别算法模块包括图像去噪技术子模块、腐蚀边缘检测子模块和瞳孔分割子模块。

本申请创新设计了采集设备的结构和摄像头硬件，结构上避免面部关键区域的遮挡；通过在眼动摄像头引入红外补光和滤光技术，使瞳孔边缘更清晰；设计新型瞳孔识别算法AVBFSC，能更精确的识别瞳孔区域并标记注视点；基于实时操作系统，设计微秒级延迟的同步机制，实现眼动图像和表情图像的严格同步；本申请能够为情感计算、认知、心理等学科研究提供设备支持，也可以用于精神障碍诊断、疲劳驾驶监测、注意力评估等应用，有广阔的应用价值。

以上显示和描述了本申请的基本原理和主要特征以及本申请的优点，对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

1.一种可穿戴眼动和面部表情同步采集设备，其特征在于，包括：同步采集系统模块、耳挂式托架模块、图像采集模块和识别算法模块，其中：

所述同步采集系统模块通过USB接口与耳挂式托架模块相连，所述耳挂式托架模块通过USB接口与图像采集模块相连，所述图像采集模块和识别算法模块通过信号分别与同步采集系统模块相连；

所述同步采集系统模块被配置为实时同步采集表情图像和眼动图像；

所述耳挂式托架模块包括3D打印支架，被配置为安装眼动摄像头和前景摄像头；

所述图像采集模块被配置为采集被试者的表情图像、眼动图像和前景图像；

所述识别算法模块被配置为基于图像去噪、边缘检测和瞳孔分割算法计算瞳孔的半径大小和中心点位置。

2.根据权利要求1所述的一种可穿戴眼动和面部表情同步采集设备，其特征在于，所述同步采集系统模块包括实时进程子模块和非实时进程子模块，采用内存文件系统，应用实时同步机制，所述同步采集系统模块还连接有进程预加载单元、实时同步信号单元和多处理器单元。

3.根据权利要求1所述的一种可穿戴眼动和面部表情同步采集设备，其特征在于，所述3D打印支架采用弹性尼龙材质制成，包括耳挂支架、延长臂和后方支架。

4.根据权利要求1所述的一种可穿戴眼动和面部表情同步采集设备，其特征在于，所述图像采集模块包括表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块，所述表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块上分别连接有表情图像采集单元、眼动图像采集单元和前景图像采集单元，所述眼动图像采集单元上还连接有红外补光处理单元和滤光处理单元。

5.根据权利要求1所述的一种可穿戴眼动和面部表情同步采集设备，其特征在于，所述识别算法模块包括图像去噪技术子模块、腐蚀边缘检测子模块和瞳孔分割子模块，所述图像去噪技术子模块基于高斯模糊算法，运用于图像中抑制噪声，平滑图像，保留瞳孔边缘；所述腐蚀边缘检测子模块基于自适应阈值的边缘检测算法过滤冗余边缘分支；所述瞳孔分割子模块基于AVBFSC算法分割瞳孔。

6.一种瞳孔半径大小及中心点坐标识别算法，其特征在于，应用于如权利要求1至5中任一项所述的同步采集设备，包括：

基于高斯模糊算法模糊眼动摄像头子模块所采集到的原始眼动图像，抑制图像噪声，得到去噪后图像；

基于自适应阈值方法优化所述去噪后图像的边缘，得到边缘优化后图像；

基于AVBFSC算法分割所述优化后图像中的瞳孔，确定瞳孔半径大小及中心点坐标。

7.根据权利要求6所述的一种瞳孔半径大小及中心点坐标识别算法，其特征在于，所述基于高斯模糊算法模糊眼动摄像头子模块所采集到的原始眼动图像的步骤包括：

通过高斯模糊算法模糊眼动摄像头子模块所采集到的原始眼动图像，抑制图像噪声，平滑图像，得到去噪后图像。

8.根据权利要求6所述的一种瞳孔半径大小及中心点坐标识别算法，其特征在于，所述基于自适应阈值方法优化所述去噪后图像的边缘的步骤包括：

设置自适应阈值：将所述去噪后图像的每一块区域的像素强度平均值作为阈值Thread；

图像二值化处理：利用Thread将所述去噪后图像转化成二值数字图像，公式如下：

腐蚀优化：用固定大小规格的结构元素扫描二值数字图像的每一个像素，用结构元素与其覆盖的二值数字图像做“与”运算，如果都为1，结构图像的该像素为1，否则为0，过滤冗余的边缘分支，得到边缘优化后图像。

9.根据权利要求6所述的一种瞳孔半径大小及中心点坐标识别算法，其特征在于，所述基于AVBFSC算法分割所述优化后图像中的瞳孔的步骤包括：

输入所述边缘优化后图像，背景的像素点强度为0，图像目标的像素点强度为1；利用CHT计算粗略的瞳孔圆心(Ox,Oy)和半径Or，选取以(Ox,Oy)为初始中心，Or±δ*Or为半径的区域及该区域内的强度为1的像素点；

设置随机搜索的总次数N，随机搜索三个不共线的像素点，对选取的像素点进行离群点检测，如不是离群点则利用其拟合圆模型；

将所有非离群像素点代入圆模型，计算到圆边缘的距离，若距离小于给定阈值，则将这些像素点作为内点，计算内点的个数；

如果不共线的像素点中出现了离群点，放弃拟合圆模型，重复上述步骤，直到搜索次数达到N停止迭代搜索，返回内点个数最多的圆模型参数；最终确定眼动图像中的瞳孔区域以及半径大小和中心点坐标。

10.一种可穿戴眼动和面部表情同步采集系统，其特征在于，包括可穿戴眼动和面部表情同步采集设备和瞳孔半径大小及中心点坐标识别算法，其中，

所述可穿戴眼动和面部表情同步采集设备中识别算法模块包括图像去噪技术子模块、腐蚀边缘检测子模块和瞳孔分割子模块，所述瞳孔半径大小及中心点坐标识别算法包括模糊眼动摄像头子模块所采集到的原始眼动图像的步骤、优化去噪后图像的边缘的步骤和分割优化后图像中的瞳孔的步骤，所述图像去噪技术子模块运行模糊眼动摄像头子模块所采集到的原始眼动图像的步骤，所述腐蚀边缘检测子模块运行优化去噪后图像的边缘的步骤，所述瞳孔分割子模块运行分割优化后图像中的瞳孔的步骤。

Images