CN113413154A - 一种可穿戴眼动和面部表情同步采集系统 - Google Patents

Abstract

本发明公开了一种可穿戴眼动和面部表情同步采集设备及系统，属于心理学和情感计算技术领域。一种可穿戴眼动和面部表情的同步采集系统，主要包括同步采集系统模块、耳挂式托架模块、图像采集模块和识别算法模块，本发明创新设计了采集设备的结构和摄像头硬件，结构上避免面部关键区域的遮挡；通过在眼动摄像头引入红外补光和滤光技术，使瞳孔边缘更清晰；设计新型瞳孔识别算法FILSAC，能更精确的识别瞳孔区域并标记注视点；基于实时操作系统，设计微秒级延迟的同步机制，实现眼动图像和表情图像的严格同步。

Description

一种可穿戴眼动和面部表情同步采集系统

技术领域

本发明涉及心理学和情感计算技术领域，尤其涉及一种可穿戴眼动和面部表情同步采集系统。

背景技术

眼动和表情作为人们一种自发的行为，可以直接或间接地反映被试当前的心理状态。眼动分析仪作为眼动行为的重要测量仪器，常用于心理学领域,在心理学实验中的应用主要是通过对眼睛活动的精确描述来推断其所反映的认知活动。其中主要从三个方面来描述人类的眼动行为：注视点，即人眼停顿下来注视某一点；扫视，即人眼从一个注视点往下一个注视点的运动过程；瞳孔大小。这种非侵入式设备能够方便的进行数据采集，操作方便。表情是一种快速的，不易察觉的表情，可以表达了真实的情感和意图，表情和眼动的融合分析可以捕获多模态数据的模态表示和跨模态互补相关性。而融合分析的时间同步十分重要的。人的眼动行为在毫秒级就可以完成的，表情变化微弱且迅速。精确的时间同步是多模融合分析的前提。

眼动表情融合分析逐渐应用在各个领域，在检测疲劳中，通过观察驾驶员的眼动行为和表情变化，可以判断其是否处于疲劳状态。在临床中，眼动仪可以作为一种诊断的工具，通过测试病人眼动的功能来诊断相应的精神疾病。在焦虑、抑郁、孤独症等精神障碍诊断和研究中，研究者通过心理学刺激范式或认知任务下被试的眼动指标和表情变化，对其精神状态做客观量化的评估。

发明内容

本发明提供了一种可穿戴眼动和面部表情的同步采集系统，设计开发了精确测量眼动指标的可穿戴眼动仪，该眼动仪对面部关键区域无遮挡；发明了新型瞳孔识别算法，并且能够实时精确的识别瞳孔的边缘与中心点；基于实时操作系统，设计微秒级延迟的同步机制，实现眼动和表情的严格同步。

为了实现上述目的，本发明采用了如下技术方案：

一种可穿戴眼动和面部表情同步采集系统，包括有同步采集系统模块、耳挂式托架模块、图像采集模块和识别算法模块；

所述同步采集系统模块设计有实时同步机制，采用内存文件系统；

所述耳挂式托架模块包括包括有一种可穿戴眼动和面部表情同步采集设备，所述一种可穿戴眼动和面部表情同步采集设备包括有3D打印支架，所述3D打印支架上连接有摄像装置；

所述图像采集模块包括有表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块；

所述识别算法模块包括有图像去噪技术子模块、腐蚀边缘检测子模块和瞳孔分割子模块。

优选地，所述同步采集系统模块包括有实时进程子模块和非实时进程子模块，所述同步采集系统模块上还链接有进程预加载单元、实时同步信号单元和多处理器单元。

优选地，所述3D打印支架采用弹性尼龙材质制成，所述3D打印支架包括有耳挂支架、延长臂和后方支架，所述后方支架设计为半环状，所述耳挂支架固定连接在后方支架的开口末端上侧，所述耳挂支架与人体耳廓相匹配，所述延长臂固定连接在后方支架的开口末端下侧；所述摄像装置包括有前景摄像头和眼动摄像头，所述前景摄像头固定连接在右侧耳挂支架前端，所述眼动摄像头转动连接在延长臂远离后方支架一端上，所述眼动摄像头设置有两个。

优选地，所述表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块上分别链接有表情图像采集单元、眼动图像采集单元和前景图像采集单元，所述眼动图像采集单元上还链接有红外补光处理单元和滤光处理单元。

优选地，所述图像去噪技术子模块基于高斯模糊算法，将高斯模糊算法运用于图像中，使图像出现模糊的效果，能够有效的抑制噪声，平滑图像。

优选地，所述腐蚀边缘检测子模块基于自适应阈值的边缘检测算法，其具体步骤如下：

A1、设置自适应阈值：将每一块区域的像素强度的平均值作为阈值Thread；

A2、图像二值化处理：利用Thread将图像转化成二值数字图像，公式如下：

A3、腐蚀优化：用某一大小规格的结构元素，扫描二值图像的每一个像素，用结构元素与其覆盖的二值图像做“与”运算，如果都为1，结构图像的该像素为1，否则为0；最终过滤掉一些冗余的边缘分支。

优选地，所述瞳孔分割子模块基于FILSAC算法，其具体步骤为：

B1、输入上述处理过的二值图像，背景的像素点强度为0，图像目标的像素点强度为1；利用CHT计算出粗略的瞳孔圆心(Ox,Oy)和半径Or，选取以(Ox,Oy)为初始中心，Or±δ*Or为半径的区域及该区域内的强度为1的像素点；

B2、设置随机搜索的总次数N，随机搜索三个不共线的像素点，并对在B1中选取的像素点进行离群点检测，如果这三个像素点不是离群点就利用这三个点拟合圆模型；

B3、然后将所有非离群像素点代入B2中的圆模型，计算到圆边缘的距离，若距离小于给定阈值，就把这些像素点作为内点，并计算内点的个数；

B4、如果这三个像素点中出现了离群点，放弃拟合圆模型，并重复B2-B3的步骤，直到搜索次数达到N停止迭代搜索，这时返回内点个数最多的圆模型参数；最终确定眼动图像中的瞳孔区域以及半径大小和中心点坐标。

与现有技术相比，本发明提供了一种可穿戴眼动和面部表情同步采集系统，具备以下有益效果：

本发明提供的一种可穿戴眼动和面部表情的同步采集系统，创新设计了采集设备的结构和摄像头硬件，结构上避免面部关键区域的遮挡；通过在眼动摄像头引入红外补光和滤光技术，使瞳孔边缘更清晰；设计新型瞳孔识别算法FILSAC，能更精确的识别瞳孔区域并标记注视点；基于实时操作系统，设计微秒级延迟的同步机制，实现眼动图像和表情图像的严格同步；该发明能够为情感计算、认知、心理等学科研究提供设备支持，也可以用于精神障碍诊断、疲劳驾驶监测、注意力评估等应用，有广阔的应用价值。

附图说明

图1为本发明提出的一种可穿戴眼动和面部表情的同步采集系统的系统总体框架示意图；

图2为本发明提出的一种可穿戴眼动和面部表情的同步采集系统的同步采集机制时序图；

图3为本发明提出的一种可穿戴眼动和面部表情的同步采集系统的眼动采集设备结构图；

图4为本发明提出的一种可穿戴眼动和面部表情的同步采集系统的瞳孔摄像头电路图；

图5为本发明提出的一种可穿戴眼动和面部表情的同步采集系统的识别算法的流程示意图。

标号说明：

1、前景摄像头；2、眼动摄像头；3、耳挂支架；4、延长臂；5、后方支架。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例1：

请参阅图1-5，一种可穿戴眼动和面部表情同步采集系统，包括有同步采集系统模块、耳挂式托架模块、图像采集模块和识别算法模块；

同步采集系统模块设计有实时同步机制，采用内存文件系统；

耳挂式托架模块包括包括有一种可穿戴眼动和面部表情同步采集设备，一种可穿戴眼动和面部表情同步采集设备包括有3D打印支架，3D打印支架上连接有摄像装置；

图像采集模块包括有表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块；

识别算法模块包括有图像去噪技术子模块、腐蚀边缘检测子模块和瞳孔分割子模块。

同步采集系统模块包括有实时进程子模块和非实时进程子模块，同步采集系统模块上还链接有进程预加载单元、实时同步信号单元和多处理器单元。

3D打印支架采用弹性尼龙材质制成，3D打印支架包括有耳挂支架3、延长臂4和后方支架5，后方支架5设计为半环状，耳挂支架3固定连接在后方支架5的开口末端上侧，耳挂支架3与人体耳廓相匹配，延长臂4固定连接在后方支架5的开口末端下侧；摄像装置包括有前景摄像头1和眼动摄像头2，前景摄像头1固定连接在右侧耳挂支架3前端，眼动摄像头2转动连接在延长臂4远离后方支架5一端上，眼动摄像头2设置有两个。

表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块上分别链接有表情图像采集单元、眼动图像采集单元和前景图像采集单元，眼动图像采集单元上还链接有红外补光处理单元和滤光处理单元。

图像去噪技术子模块基于高斯模糊算法，将高斯模糊算法运用于图像中，使图像出现模糊的效果，能够有效的抑制噪声，平滑图像。

腐蚀边缘检测子模块基于自适应阈值的边缘检测算法，其具体步骤如下：

A1、设置自适应阈值：将每一块区域的像素强度的平均值作为阈值Thread；

A2、图像二值化处理：利用Thread将图像转化成二值数字图像，公式如下：

A3、腐蚀优化：用某一大小规格的结构元素，扫描二值图像的每一个像素，用结构元素与其覆盖的二值图像做“与”运算，如果都为1，结构图像的该像素为1，否则为0；最终过滤掉一些冗余的边缘分支。

瞳孔分割子模块基于FILSAC算法，其具体步骤为：

B1、输入上述处理过的二值图像，背景的像素点强度为0，图像目标的像素点强度为1；利用CHT计算出粗略的瞳孔圆心Ox,Oy和半径Or，选取以Ox,Oy为初始中心，Or±δ*Or为半径的区域及该区域内的强度为1的像素点；

B2、设置随机搜索的总次数N，随机搜索三个不共线的像素点，并对在B1中选取的像素点进行离群点检测，如果这三个像素点不是离群点就利用这三个点拟合圆模型；

B3、然后将所有非离群像素点代入B2中的圆模型，计算到圆边缘的距离，若距离小于给定阈值，就把这些像素点作为内点，并计算内点的个数；

B4、如果这三个像素点中出现了离群点，放弃拟合圆模型，并重复B2-B3的步骤，直到搜索次数达到N停止迭代搜索，这时返回内点个数最多的圆模型参数；最终确定眼动图像中的瞳孔区域以及半径大小和中心点坐标。

本发明提供的一种可穿戴眼动和面部表情的同步采集系统，创新设计了采集设备的结构和摄像头硬件，结构上避免面部关键区域的遮挡；通过在眼动摄像头引入红外补光和滤光技术，使瞳孔边缘更清晰；设计新型瞳孔识别算法FILSAC，能更精确的识别瞳孔区域并标记注视点；基于实时操作系统，设计微秒级延迟的同步机制，实现眼动图像和表情图像的严格同步；该发明能够为情感计算、认知、心理等学科研究提供设备支持，也可以用于精神障碍诊断、疲劳驾驶监测、注意力评估等应用，有广阔的应用价值

实施例2：

请参阅图3，基于实施例1但有所不同之处在于，

本发明提出了一种可穿戴眼动和面部表情的同步采集装置，该可穿戴眼动和面部表情的同步采集装置与耳挂式托架模块，同步采集装置由3D打印制成，采用尼龙材质，既能有较高的精细度，还有较高的弹性和较低的质量。主体结构针对不遮挡面部表情兴趣区域进行改良。眼动采集设备由3D打印支架和摄像头组成，支架主要由左右耳挂支架、后方支架和延长臂组成。该结构通过左右耳挂支架将设备佩戴至用户的耳部，眼动摄像头向前延伸拍摄眼部区域图像，前景摄像头位于右太阳穴位置用于拍摄模拟用户视野的前景图像。后方支架起到平衡的作用，设备主体结构和摄像头部分均位于设备前端，且佩戴位置偏后，需要一个结构维持重心。延长臂部分用于适配不同人群，可以将摄像头进行适当的向外拉伸。此结构避免了传统镜架式结构对眉毛眼睛等表情识别重要区域的遮挡，眼睛的结构设计上尽可能的避免遮挡眉毛、眼镜、嘴部等关键部位，因此整体选择耳挂式的结构，以及瞳孔摄像头支架在佩戴的时候会根据被试不同的脸型向外拉伸，让拍摄瞳孔的摄像头不会遮挡脸颊部分，同时调节摄像头朝向，使得摄像头可以斜向上拍摄瞳孔，既不遮挡面部，同时能够清晰的采集到瞳孔图片。

实施例3：

请参阅图1-3，基于实施例1-2但有所不同之处在于，

图1是本发明的系统总体框架示意图，一种可穿戴眼动和面部表情的同步采集系统，其分为四个模块，包括同步采集系统模块、耳挂式托架模块、图像采集模块、识别算法模块。

同步采集系统模块如图2所示，本系统的采集部分需要实时处理视频流，通用操作系统延迟和抖动较大，导致视频记录过程出现时钟漂移和丢帧，导致眼动图像和表情图像在时间轴上不同步。本发明基于实时操作系统和内存文件系统，设计实时同步机制。采用预加载机制，先启动主进程，通过主进程初始化相关资源并启动眼动采集进程、表情采集进程、前景摄像头进程和刺激范式进程(在情感计算及认知实验等场景需要使用刺激范式)。子进程启动后分别提高进程优先级，并等待主进程的同步信号，当用户指令下发，主进程向各子进程发送同步信号，开始采集任务。为降低延迟，采集到的图像文件暂时存储到内存文件系统(RAMFS)，瞳孔识别程序直接从内存文件系统读入眼动图像文件，实现实时瞳孔识别和注视点预测。采集结束后，将眼动图像编码为视频文件，写入磁盘文件系统中。

图像采集模块分为三个部分：前景摄像头、表情摄像头和眼动摄像头；前景摄像头和表情摄像头分辨率为1920×1080，帧数为30帧；眼动摄像头用于采集眼动图像且眼动动作是在几毫秒内完成的，所以眼动摄像头需要高帧率和额外的红外补光；眼动摄像头分别有左右两个，分辨率为300×300，帧数为400帧；为使相机能清楚拍摄瞳孔，采用850nm红外补光，同时为避免环境中其他光源造成的干扰，相机镜头采用850nm窄带滤光光片过滤其他波段可见光。实际使用场景下环境光线可能差异较大，照明度太低或太高会造成补光不足或过强，该模块采用固定曝光模式，通过端口映射，将UVC协议中的“增益”接口改为红外灯亮度调节接口，通过调节“增益”可控制LED亮度变化。主控芯片中端口对接MCU输入，通过软件调节输出PWM信号，从而达到调整红外灯亮度，实现画面亮度稳定，具体原理如图3所示。

识别算法模块指从原始的眼动图像中，识别并分割瞳孔区域，并计算瞳孔的半径大小和中心点坐标。瞳孔分割由图像去噪、边缘检测和瞳孔圆检测三部分组成。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种可穿戴眼动和面部表情同步采集系统，其特征在于，包括有同步采集系统模块、耳挂式托架模块、图像采集模块和识别算法模块；

所述同步采集系统模块设计有实时同步机制，采用内存文件系统；

所述耳挂式托架模块包括包括有一种可穿戴眼动和面部表情同步采集设备，所述一种可穿戴眼动和面部表情同步采集设备包括有3D打印支架，所述3D打印支架上连接有摄像装置；

所述图像采集模块包括有表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块；

所述识别算法模块包括有图像去噪技术子模块、腐蚀边缘检测子模块和瞳孔分割子模块。

2.根据权利要求1所述的一种可穿戴眼动和面部表情同步采集系统，其特征在于，所述同步采集系统模块包括有实时进程子模块和非实时进程子模块，所述同步采集系统模块上还链接有进程预加载单元、实时同步信号单元和多处理器单元。

3.根据权利要求1所述的一种可穿戴眼动和面部表情同步采集系统，其特征在于，所述3D打印支架采用弹性尼龙材质制成，所述3D打印支架包括有耳挂支架(3)、延长臂(4)和后方支架(5)，所述后方支架(5)设计为半环状，所述耳挂支架(3)固定连接在后方支架(5)的开口末端上侧，所述耳挂支架(3)与人体耳廓相匹配，所述延长臂(4)固定连接在后方支架(5)的开口末端下侧；所述摄像装置包括有前景摄像头(1)和眼动摄像头(2)，所述前景摄像头(1)固定连接在右侧耳挂支架(3)前端，所述眼动摄像头(2)转动连接在延长臂(4)远离后方支架(5)一端上，所述眼动摄像头(2)设置有两个。

4.根据权利要求1所述的一种可穿戴眼动和面部表情同步采集系统，其特征在于，所述表情摄像头子模块、眼动摄像头子模块和前景摄像头子模块上分别链接有表情图像采集单元、眼动图像采集单元和前景图像采集单元，所述眼动图像采集单元上还链接有红外补光处理单元和滤光处理单元。

5.根据权利要求1所述的一种可穿戴眼动和面部表情同步采集系统，其特征在于，所述图像去噪技术子模块基于高斯模糊算法，将高斯模糊算法运用于图像中，使图像出现模糊的效果，能够有效的抑制噪声，平滑图像。

6.根据权利要求1所述的一种可穿戴眼动和面部表情同步采集系统，其特征在于，所述腐蚀边缘检测子模块基于自适应阈值的边缘检测算法，其具体步骤如下：

A1、设置自适应阈值：将每一块区域的像素强度的平均值作为阈值Thread；

A2、图像二值化处理：利用Thread将图像转化成二值数字图像，公式如下：

A3、腐蚀优化：用某一大小规格的结构元素，扫描二值图像的每一个像素，用结构元素与其覆盖的二值图像做“与”运算，如果都为1，结构图像的该像素为1，否则为0；最终过滤掉一些冗余的边缘分支。

7.根据权利要求1所述的一种可穿戴眼动和面部表情同步采集系统，其特征在于，所述瞳孔分割子模块基于FILSAC算法，其具体步骤为：

B1、输入上述处理过的二值图像，背景的像素点强度为0，图像目标的像素点强度为1；利用CHT计算出粗略的瞳孔圆心(Ox,Oy)和半径Or，选取以(Ox,Oy)为初始中心，Or±δ*Or为半径的区域及该区域内的强度为1的像素点；

B2、设置随机搜索的总次数N，随机搜索三个不共线的像素点，并对在B1中选取的像素点进行离群点检测，如果这三个像素点不是离群点就利用这三个点拟合圆模型；

B3、然后将所有非离群像素点代入B2中的圆模型，计算到圆边缘的距离，若距离小于给定阈值，就把这些像素点作为内点，并计算内点的个数；

B4、如果这三个像素点中出现了离群点，放弃拟合圆模型，并重复B2-B3的步骤，直到搜索次数达到N停止迭代搜索，这时返回内点个数最多的圆模型参数；最终确定眼动图像中的瞳孔区域以及半径大小和中心点坐标。

Images