CN111743553B - 一种基于眼动数据的情感特征提取方法及系统 - Google Patents

Abstract

本发明涉及一种基于眼动数据的情感特征提取方法及系统，包括：获取利用眼动仪采集的眼动视频数据；根据眼动视频数据中不同位置的注视点确定注视熵；根据第一眼动视频数据确定平静情感任务刺激下的第一平均瞳孔直径；根据第一平均瞳孔直径以及第二眼动视频数据确定第二眼动视频数据对应的情感任务刺激下的第二瞳孔直径变化率；根据第一眼动视频数据确定平静情感任务刺激下的第一眨眼频率；根据第一眨眼频率以及第二眼动视频数据确定第二眼动视频数据对应的情感任务刺激下的第二眨眼变化率；根据眼动视频数据中注视点的变化确定眼跳速度。通过采用本发明的上述方法实现眼动特征的提取，用于人的情感识别以提高情感识别的精度。

Description

一种基于眼动数据的情感特征提取方法及系统

技术领域

本发明涉及特征提取技术领域，特别是涉及一种基于眼动数据的情感特征提取方法及系统。

背景技术

人的情感是一种心理和生理的综合体验，往往伴随着生理唤醒和一定的外部表现，研究显示人类80％的交流信息都是情感性的信息。随着计算机和计算机应用程序变得越来越复杂和越来越多的参与到我们的日常生活中，无论是在专业、个人或社会层面，情感识别都变得越来越重要。人类互动中最重要的特征是我们能够根据他人的情绪状态的隐蔽或显性信号来推断他人的情绪状态，这使我们能够相应地调整我们的反应和行为模式，从而确保交互过程的收敛和优化。因此，情感识别是实现人与机器完全互动的重要组成部分，情感信息是人类交流的基础。情感识别可以应用在远程教育、安全驾驶、广告推送、人机交互等不同领域。例如，情绪状态可以用来监测和预测疲劳状态。在语音识别中，情感识别可用于呼叫中心，其目的是检测呼叫者的情绪状态，并为服务质量提供反馈。

眼睛是生命体感知外界信息的器官，它们可以感知光线，从而进一步从周围环境获取信息，是人类观察世界的主要途径。同时，眼睛蕴藏着丰富的心理层面潜在意识信息。这种丰富的意识信息包括了人的情感状态和内心活动，意识信息传达至眼睛，通过不同的眼球运动将信息直观地表达出来。

Brent Lance通过将眼动状态与用户的情感状态进行映射，表明人的眼动行为能够在某种程度上反映出人的情感状态。早在1960年，研究者就证实眼部瞳孔大小的变化与情感唤醒呈线性关系，当观看不愉快的图像刺激时，瞳孔会缩小，当观看愉快的图像刺激时，瞳孔就会放大。虽然瞳孔直径反映了情绪变化，但是人的瞳孔直径物理大小差别很大，不能直接用于情感体验的测量。

目前的研究多使用眼跳信号、瞳孔直径、注视信号进行基于眼动的情感识别研研究。Partala和Bradley等人分别使用音乐和图片来诱发情感，并观察受试者瞳孔的变化。他们发现由正或负性情感刺激引起的瞳孔直径明显大于在平静条件下的瞳孔直径。其中大多数研究人员专注于瞳孔对不同情绪的反应。上海交通大学的吕宝粮等人通过眼动仪获取眼动特征(瞳孔直径、扫视、凝视、眨眼)识别三种情感状态(正性、负性、中性)，得到了77.8％的识别结果，并将其与脑电信号进行融合以提高情感识别的精度。

目前，研究者普遍认为眼睛的瞳孔直径、扫视、凝视、眨眼等眼动特征能够反映内在的情感变化，然而这些眼动特征不能全面的刻画眼动状态及运动轨迹。因此，如何更好的用眼动特征来表征人的情感是本领域继续解决的问题。

发明内容

本发明的目的是提供一种基于眼动数据的情感特征提取方法及系统，实现眼动特征的提取，用于人的情感识别以提高情感识别的精度。

为实现上述目的，本发明提供了如下方案：

一种基于眼动数据的情感特征提取方法，包括：

获取利用眼动仪采集的眼动视频数据；所述眼动视频数据中包括平静情感任务刺激下的第一眼动视频数据以及除平静情感任务外的其它情感任务刺激下的第二眼动视频数据；

根据所述眼动视频数据中不同位置的注视点确定注视熵；所述注视熵包括水平注视熵和竖直注视熵；

根据所述第一眼动视频数据确定平静情感任务刺激下的第一平均瞳孔直径；

根据所述第一平均瞳孔直径以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二瞳孔直径变化率；

根据所述第一眼动视频数据确定平静情感任务刺激下的第一眨眼频率；

根据所述第一眨眼频率以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二眨眼变化率；

根据所述眼动视频数据中注视点的变化确定眼跳速度。

可选的，所述根据所述眼动视频数据中不同位置的注视点确定注视熵，具体包括：

根据公式确定水平注视熵；

根据公式确定竖直注视熵；

其中，x(k)为第k个注视点的横坐标值，y(k)为第k个注视点的纵坐标值，EX为水平注视熵，EY竖直注视熵，N为注视点数量。

可选的，所述根据所述第一眼动视频数据确定平静情感任务刺激下的第一平均瞳孔直径，具体包括：

根据公式PD_nmk＝(L_nmk+R_nmk)/2确定平静情感任务刺激下每帧视频图像的瞳孔直径；

根据公式确定第一平均瞳孔直径；

其中，PD_nmk为平静情感任务刺激中第m个视频帧图像中第k个注视点的瞳孔直径，L_nmk为平静情感任务刺激中第m个视频帧图像中第k个注视点的左眼瞳孔直径，R_nmk为平静情感任务刺激中第m个视频帧图像中第k个注视点的右眼瞳孔直径，PD_n为第一平均瞳孔直径，M为平静情感任务中第一眼动视频数据的帧数，N为注视点数量。

可选的，所述根据所述第一平均瞳孔直径以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二瞳孔直径变化率，具体包括：

根据所述第二眼动视频数据确定第二眼动视频数据对应的情感任务刺激下的的第二平均瞳孔直径；

根据公式PDR_h＝(PD_h-PD_n)/PD_n确定第二瞳孔直径变化率；

其中，PD_h为第二平均瞳孔直径，PD_n为第一平均瞳孔直径，PDR_h为第二瞳孔直径变化率。

可选的，所述根据所述第一眼动视频数据确定平静情感任务刺激下的第一眨眼频率，具体包括：

根据公式确定平静情感任务刺激下的第一总眨眼次数；

根据公式WF_n＝W_n/M确定平静情感任务刺激下的第一眨眼频率；

其中，W_nm为平静情感任务刺激中第m个视频帧图像中的眨眼次数，W_n为平静情感任务刺激下的第一总眨眼次数，WF_n为第一眨眼频率，M为平静情感任务刺激中第一眼动视频数据的帧数。

可选的，所述根据所述第一眨眼频率以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二眨眼变化率，具体包括：

根据所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二眨眼频率；

根据公式WFR_h＝(WF_h-WF_n)/WF_n确定第二眨眼变化率；

其中，WF_n为第一眨眼频率，WF_h为第二眨眼频率，WFR_h为第二眨眼变化率。

可选的，所述根据所述眼动视频数据中注视点的变化确定眼跳速度，具体包括：

根据所述眼动视频数据中注视点的变化确定眼跳幅度；

根据所述眼跳幅度确定眼跳速率；

根据所述眼动视频数据中注视点的变化确定眼跳方向。

一种基于眼动数据的情感特征提取系统，包括：

眼动视频数据获取模块，用于获取利用眼动仪采集的眼动视频数据；所述眼动视频数据中包括平静情感任务刺激下的第一眼动视频数据以及除平静情感任务外的其它情感任务刺激下的第二眼动视频数据；

注视熵确定模块，用于根据所述眼动视频数据中不同位置的注视点确定注视熵；所述注视熵包括水平注视熵和竖直注视熵；

第一平均瞳孔直径确定模块，用于根据所述第一眼动视频数据确定平静情感任务刺激下的第一平均瞳孔直径；

第二瞳孔直径变化率确定模块，用于根据所述第一平均瞳孔直径以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二瞳孔直径变化率；

第一眨眼频率确定模块，用于根据所述第一眼动视频数据确定平静情感任务刺激下的第一眨眼频率；

第二眨眼变化率确定模块，用于根据所述第一眨眼频率以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二眨眼变化率；

眼跳速度确定模块，用于根据所述眼动视频数据中注视点的变化确定眼跳速度。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提出了一种基于眼动数据的情感特征提取方法及系统，通过该方法得到眼动数据的情感特征提取：注视熵、瞳孔直径变化率、眨眼变化率以及眼跳速度。其中“注视熵”的概念来描述眼动的无序程度，“瞳孔直径变化率”、“眨眼变化率”消除了因个体差异引起的眼动指标差异；“眼跳速度”描述眼跳速率及方向。提取的上述特征能够更全面的刻画眼动状态，进一步提高情感识别正确率及泛化能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一所提供的一种基于眼动数据的情感特征提取方法的流程图；

图2为本发明实施例二所提供的不同参试者在不同眼动特征下的情感识别正确率；

图3为本发明实施例三所提供的一种基于眼动数据的情感特征提取系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于眼动数据的情感特征提取方法及系统，实现眼动特征的提取，用于人的情感识别以提高情感识别的精度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例一所提供的一种基于眼动数据的情感特征提取方法的流程图，如图1所示，本发明一种基于眼动数据的情感特征提取方法，包括：

S101，获取利用眼动仪采集的眼动视频数据；所述眼动视频数据中包括平静情感任务刺激下的第一眼动视频数据以及除平静情感任务外的其它情感任务刺激下的第二眼动视频数据。

S102，根据所述眼动视频数据中不同位置的注视点确定注视熵；所述注视熵包括水平注视熵和竖直注视熵。S102具体包括：

步骤201，根据公式确定水平注视熵。

步骤202，根据公式确定竖直注视熵。

其中，x(k)为第k个注视点的横坐标值，y(k)为第k个注视点的纵坐标值，EX为水平注视熵，EY竖直注视熵，N为注视点数量。

S103，根据所述第一眼动视频数据确定平静情感任务刺激下的第一平均瞳孔直径。S103具体包括：

步骤301，根据公式PD_nmk＝(L_nmk+R_nmk)/2确定平静情感任务刺激下每帧视频图像的瞳孔直径。

步骤302，根据公式确定第一平均瞳孔直径。

其中，PD_nmk为平静情感任务刺激中第m个视频帧图像中第k个注视点的瞳孔直径，L_nmk为平静情感任务刺激中第m个视频帧图像中第k个注视点的左眼瞳孔直径，R_nmk为平静情感任务刺激中第m个视频帧图像中第k个注视点的右眼瞳孔直径，PD_n为第一平均瞳孔直径，M为平静情感任务中第一眼动视频数据的帧数，N为注视点数量。

S104，根据所述第一平均瞳孔直径以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二瞳孔直径变化率。S104具体包括：

步骤401，根据所述第二眼动视频数据确定第二眼动视频数据对应的情感任务刺激下的的第二平均瞳孔直径。

步骤402，根据公式PDR_h＝(PD_h-PD_n)/PD_n确定第二瞳孔直径变化率。

其中，PD_h为第二平均瞳孔直径，PD_n为第一平均瞳孔直径，PDR_h为第二瞳孔直径变化率。

S105，根据所述第一眼动视频数据确定平静情感任务刺激下的第一眨眼频率。S105具体包括：

步骤501，根据公式确定平静情感任务刺激下的第一总眨眼次数。

步骤502，根据公式WF_n＝W_n/M确定平静情感任务刺激下的第一眨眼频率。

其中，W_nm为平静情感任务刺激中第m个视频帧图像中的眨眼次数，W_n为平静情感任务刺激下的第一总眨眼次数，WF_n为第一眨眼频率，M为平静情感任务刺激中第一眼动视频数据的帧数。

S106，根据所述第一眨眼频率以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二眨眼变化率。S106具体包括：

步骤601，根据所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二眨眼频率。

步骤602，根据公式WFR_h＝(WF_h-WF_n)/WF_n确定第二眨眼变化率。

其中，WF_n为第一眨眼频率，WF_h为第二眨眼频率，WFR_h为第二眨眼变化率。

S107，根据所述眼动视频数据中注视点的变化确定眼跳速度。S107具体包括：

步骤701，根据所述眼动视频数据中注视点的变化确定眼跳幅度。

步骤702，根据所述眼跳幅度确定眼跳速率。

步骤703，根据所述眼动视频数据中注视点的变化确定眼跳方向。

具体的，眼跳速度S_i是眼睛的注视点从一个位置移动到另一个位置的速率以及移动方向。眼跳速度S_i使用眼跳速率V_i和眼跳方向θ_ik描述，其中眼跳速率使用眼跳幅度D_i和眼跳时间T_i计算得到。

眼跳幅度为：

眼跳速率为：

V_i＝D_i/T_i

眼跳方向为：

其中，(x_i,y_i)是当前注视点位置G_i的坐标，(x_i+1,y_i+1)是下一个注视点位置G_i+1的坐标。

采用本发明的上述方法得到眼动数据的情感特征提取：注视熵、瞳孔直径变化率、眨眼变化率以及眼跳速度。其中“注视熵”的概念来描述眼动的无序程度，“瞳孔直径变化率”、“眨眼变化率”消除了因个体差异引起的眼动指标差异；“眼跳速度”描述眼跳速率及方向。

实施例二

为进一步说明本发明的目的，本发明又提出了一实施例二，并在此实施例中对本发明提出的眼动数据的情感特征提取的有效性进行了验证。

1、情感诱发视频的选择

人的情感可以通过外在诱发以及内在自主产生，外在诱发主要是指通过一些外在的刺激，如文字、图像、声音等，使参试者产生共情，从而产生不同的情感，这种方式可以简单快速的激发人类的不同情感。内在自主产生主要是指人类由自己内心的一些想法产生的不同情感状态，此种方法产生的情感类型不受外界控制，由人类自发产生。为了快速获取参试者的不同情感数据，本发明实施例使用外在诱发的方式诱发参试者的情感，相比于文字、图像等单一的诱发模式，使用图像和声音相结合的视频的诱发方式更能激发参试者的情感。

本实施例研究参试者的三种情感状态，包括高兴、悲伤和平静。因此选取能够有效地诱发这3种情感的视频片段。为了评估视频片段的有效性，首先，为每种情感准备20个原始的刺激视频，因此3种情感共60个刺激视频，为了避免诱发多重情感，从每个原始的刺激视频中提取60秒具有最强情感状态内容的视频片段。然后，设计了一个自我评价表，将情感强度分为5个等级，从不满意(第1级)到满意(第5级)。本发明实施例中邀请了20名志愿者，让他们观看这60个刺激视频片段，并对每个刺激视频片段进行评分。这样就可以得到所有志愿者每个刺激视频片段的平均分，得分越高，情感强度越强。最后，在情感识别中，每种情感选取5个评分最高的刺激视频片段，共15个刺激视频片段，作为本发明实施例的情感诱发视频。

(1)参试者选择

本实施例的参试者通过公开招募征集，参试者入组标准：①年龄10-60岁，各年龄段的男女比例相当；②既往无颅内损伤病史、无弱视等眼部疾病、视力正常或矫正视力正常、无其它精神疾病；③数据无缺失。

(2)实施环境

在实验室进行本实施例，试验期间保持室内只有主试与参试者两个人的无干扰状态，并保持舒适的光线条件。

(3)实施设备

在情感诱发过程中所需的主要设备如下：

a、Tobii眼动仪

眼动仪拟使用瑞典Tobii公司的X3-120型的遥测屏幕式眼动仪，采样率为512Hz，尺寸为324×20×17mm，重量为118g，头动范围为宽50cm×高40cm，操作可调节距离为50–90cm，具有体积小、重量轻、头动范围大和操作可调节的优点，眼动仪可直接安装在25"以内的显示器下方。

该设备采用了Tobii Pro最新的先进眼动追踪技术，可以实时自动化采集双眼，在整个追踪范围内的眼动数据准确度极高，兼容更广泛的参试者群体，无论种族、是否佩戴眼镜，参试者视线超出追踪范围或眨眼时眼动追踪可实时恢复，将数据丢失率降至最低，参试者头动或光线条件变化时能够保持数据准确度和稳定的追踪能力，自适应明瞳或暗瞳追踪，Tobii Pro X3-120眼动仪可应用于定性和定量研究中，如不同眼动追踪统计指标的计算。

b、主机和显示屏

主机和显示屏的参数如表1所示。

表1为主机和显示屏的参数

(4)实验范式设计

正式实验开始前，主试会先向参试者简单介绍实验设备及具体操作流程，以使参试者可以清楚整个实验过程，有质量地完成实验任务。为了诱发并获得受试者不同的情感状态，设计了实验范式，当受试者听到提示的“嘀”声并且屏幕出现“播放视频”提示字时，表示该次实验开始，然后参试者会观看长度为一分钟的代表一种情感的诱发视频片段，直到显示一个画面提示“休息”，休息时长为10秒，至此一个情感诱发过程结束。然后下一个实验过程如上述一样进入实验观看视频进行情感激活，直至屏幕显示“结束”提示字后，表示该次实验结束。一次实验范式包括3类情感(高兴、悲伤、平静)，每种情感5段视频刺激，共15段视频刺激，各个情感片段打散交叉呈现。

2、不同情感状态的眼动特征提取

(1)眼动特征提取

为了更全面的刻画眼动模式及眼动轨迹，本发明提出了“注视熵”、“瞳孔直径变化率”、“眨眼变化率”及“眼跳速度”的概念，以下为对某一参试者的眼动特征进行提取的具体方法。

a、注视熵

为了描述眼动过程中注视位置的无序程度，定义注视熵的概念和计算方法。注视熵表示时间序列下注视点的无序程度，注视熵值越大，表示注视点的无序程度越高。使用一个注视点的坐标(x,y)可以描述一个注视点的位置，因此注视熵E包括两个维度：水平注视熵EX和竖直注视熵EY。

水平注视熵为：

竖直注视熵为：

其中，x(k)为第k个注视点的横坐标值，y(k)为第k个注视点的纵坐标值，EX为水平注视熵，EY竖直注视熵，N为注视点数量。

b、瞳孔直径变化率

将平静状态下的平均瞳孔直径作为基准，研究不同情感刺激下的瞳孔直径变化率，平静状态下每一帧视频图像下的瞳孔直径为:

PD_nmk＝(L_nmk+R_nmk)/2 (3)

平静状态下的平均瞳孔直径为：

其中，PD_nmk为平静情感任务中第m个视频帧图像中第k个注视点的瞳孔直径，L_nmk为平静情感任务中第m个视频帧图像中第k个注视点的左眼瞳孔直径，R_nmk为平静情感任务中第m个视频帧图像中第k个注视点的右眼瞳孔直径，PD_n为平静平均瞳孔直径，M为平静情感任务中平静眼动视频数据的帧数，N为注视点数量。

高兴刺激视频任务下每一帧视频图像下的瞳孔直径为：

PD_f＝(L_fmk+R_fmk)/2 (5)

高兴刺激视频任务下的平均瞳孔直径为：

其中，PD_fmk为高兴情感任务中第m个视频帧图像中第k个注视点的瞳孔直径，L_fmk为高兴情感任务中第m个视频帧图像中第k个注视点的左眼瞳孔直径，R_fmk为高兴情感任务中第m个视频帧图像中第k个注视点的右眼瞳孔直径，PD_f为高兴平均瞳孔直径，M′为高兴情感任务中高兴眼动视频数据的帧数，N为注视点数量。

高兴状态下瞳孔直径变化率为：

PDR_f＝(PD_f-PD_n)/PD_n (7)

同理，采用上述方法确定悲伤状态下瞳孔直径变化率为：

PDR_s＝(PD_s-PD_n)/PD_n (8)

c、眨眼变化率

人体生理结构复杂，个体眨眼频率差异很大，因此为了研究不同情感刺激下的眨眼频率的指标差异，本发明定义了眨眼变化率的指标，该指标研究高兴、悲伤视频诱发的眨眼频率相对于平静刺激视频诱发的眨眼频率的变化情况。

平静任务刺激诱发下的总眨眼次数为：

平静情感任务下的平静眨眼频率为：

WF_n＝W_n/M (10)

其中，W_nm为平静情感任务中第m个视频帧图像中的眨眼次数，W_n为平静情感任务下的平静总眨眼次数，WF_n为平静眨眼频率，M为平静情感任务中平静眼动视频数据的帧数。

采用公式(9)和公式(10)求取高兴情感任务下的高兴眨眼频率WF_f，高兴视频刺激的眨眼变化率为：

WFR_f＝(WF_f-WF_n)/WF_n (11)

同理，悲伤视频任务下的眨眼变化率为：

WFR_s＝(WF_s-WF_n)/WF_n (12)

d、眼跳速度

眼跳速度S_i是眼睛的注视点从一个位置移动到另一个位置的速率以及移动方向。眼跳速度S_i使用眼跳速率V_i和眼跳方向θ_ik描述，其中眼跳速率使用眼跳幅度D_i和眼跳时间T_i计算得到。

眼跳幅度为：

眼跳速率为：

V_i＝D_i/T_i (14)

眼跳方向为：

其中，(x_i,y_i)是当前注视点位置G_i的坐标，(x_i+1,y_i+1)是下一个注视点位置G_i+1的坐标。

(2)不同情感刺激任务下眼动特征的情感识别有效性分析

为了验证不同眼动特征在识别高兴、悲伤、平静情感时的有效性，本研究逐个检验各个眼动特征。使用上述与情感变化有关的眼动特征作为情感识别特征，首先使用min-max归一化方法将每个人在每种情感任务中的眼动特征信号归一化到[0,1]。然后，对归一化后的特征使用RBF核函数的极限学习机KELM进行情感识别。使用10折交叉验证方法进行分类，取10次测试的平均值作为最终的分类结果。

训练和测试过程如下：首先把总样本平均分成10份，9份用于训练，1份用于测试。每次使用1份不同的样本测试，其余的9份用于训练，总共训练测试10次，每次训练和测试使用的样本都不重叠。本研究共选取4名参试者参加实验，实验结果如表2和图2所示，注视熵、瞳孔直径变化率、眨眼变化率、眼跳速度中的每一种特征都在情感识别中起到了一定的作用，说明本研究提出的眼动特征可以从不同的角度更全面的刻画不同情感状态下的眼动状态及眼动轨迹，为情感识别提供特征参考，进一步提高情感识别正确率及泛化能力。

表2不同参试者使用不同眼动特征进行情感识别的正确率

本实施例中通过本发明提出的一种基于眼动数据的情感特征提取方法得到眼动数据的情感特征提取，得到“注视熵”、“瞳孔直径变化率”、“眨眼变化率”及“眼跳速度”的眼动特征，并验证了这些特征与情感变化的相关性，后期可以作为情感识别的特征。

实施例三

本发明还提供了一种基于眼动数据的情感特征提取系统，如图3所示，包括：

眼动视频数据获取模块1，用于获取利用眼动仪采集的眼动视频数据；所述眼动视频数据中包括平静情感任务刺激下的第一眼动视频数据以及除平静情感任务外的其它情感任务刺激下的第二眼动视频数据。

注视熵确定模块2，用于根据所述眼动视频数据中不同位置的注视点确定注视熵；所述注视熵包括水平注视熵和竖直注视熵。

第一平均瞳孔直径确定模块3，用于根据所述第一眼动视频数据确定平静情感任务刺激下的第一平均瞳孔直径。

第二瞳孔直径变化率确定模块4，用于根据所述第一平均瞳孔直径以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二瞳孔直径变化率。

第一眨眼频率确定模块5，用于根据所述第一眼动视频数据确定平静情感任务刺激下的第一眨眼频率。

第二眨眼变化率确定模块6，用于根据所述第一眨眼频率以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二眨眼变化率。

眼跳速度确定模块7，用于根据所述眼动视频数据中注视点的变化确定眼跳速度。

本发明提出了一种基于眼动数据的情感特征提取方法及系统，通过该方法得到眼动数据的情感特征提取：注视熵、瞳孔直径变化率、眨眼变化率以及眼跳速度。其中“注视熵”的概念来描述眼动的无序程度，“瞳孔直径变化率”、“眨眼变化率”消除了因个体差异引起的眼动指标差异；“眼跳速度”描述眼跳速率及方向。通过上述特征的提取，能够更全面的刻画眼动状态，进一步提高情感识别正确率及泛化能力。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例三公开的系统而言，由于其与实施例一公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于眼动数据的情感特征提取方法，其特征在于，包括：

获取利用眼动仪采集的眼动视频数据；所述眼动视频数据中包括平静情感任务刺激下的第一眼动视频数据以及除平静情感任务外的其它情感任务刺激下的第二眼动视频数据；

根据所述眼动视频数据中不同位置的注视点确定注视熵；所述注视熵包括水平注视熵和竖直注视熵；

根据所述第一眼动视频数据确定平静情感任务刺激下的第一平均瞳孔直径；

根据所述第一平均瞳孔直径以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二瞳孔直径变化率；

根据所述第一眼动视频数据确定平静情感任务刺激下的第一眨眼频率；

根据所述第一眨眼频率以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二眨眼变化率；

根据所述眼动视频数据中注视点的变化确定眼跳速度；

其中，所述根据所述第一平均瞳孔直径以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二瞳孔直径变化率，具体包括：

根据所述第二眼动视频数据确定第二眼动视频数据对应的情感任务刺激下的第二平均瞳孔直径；

根据公式PDR_h＝(PD_h-PD_n)/PD_n确定第二瞳孔直径变化率；

其中，PD_h为第二平均瞳孔直径，PD_n为第一平均瞳孔直径，PDR_h为第二瞳孔直径变化率；

其中，所述根据所述眼动视频数据中注视点的变化确定眼跳速度，具体包括：

根据所述眼动视频数据中注视点的变化确定眼跳幅度；

根据所述眼跳幅度确定眼跳速率；

根据所述眼动视频数据中注视点的变化确定眼跳方向；

具体的，眼跳速度S_i是眼睛的注视点从一个位置移动到另一个位置的速率以及移动方向；眼跳速度S_i使用眼跳速率V_i和眼跳方向θ_i描述，其中眼跳速率使用眼跳幅度D_i和眼跳时间T_i计算得到；

眼跳幅度为：

眼跳速率为：

V_i＝D_i/T_i

眼跳方向为：

其中，(x_i,y_i)是当前注视点位置G_i的坐标，(x_i+1,y_i+1)是下一个注视点位置G_i+1的坐标；

对所述眼动视频数据进行验证分类，具体包括：

根据min-max归一化方法将所述眼动视频数据进行归一化处理，得到归一化后的眼动视频数据；

根据RBF核函数对所述归一化后的眼动视频数据进行情感识别，得到情感特征提取结果；

根据10折交叉验证方法对所述情感特征提取结果进行分类，得到最终分类结果。

2.根据权利要求1所述的基于眼动数据的情感特征提取方法，其特征在于，所述根据所述眼动视频数据中不同位置的注视点确定注视熵，具体包括：

根据公式确定水平注视熵；

根据公式确定竖直注视熵；

其中，x(k)为第k个注视点的横坐标值，y(k)为第k个注视点的纵坐标值，EX为水平注视熵，EY竖直注视熵，N为注视点数量。

3.根据权利要求1所述的基于眼动数据的情感特征提取方法，其特征在于，所述根据所述第一眼动视频数据确定平静情感任务刺激下的第一平均瞳孔直径，具体包括：

根据公式PD_nmk＝(L_nmk+R_nmk)/2确定平静情感任务刺激下每帧视频图像的瞳孔直径；

根据公式确定第一平均瞳孔直径；

其中，PD_nmk为平静情感任务刺激中第m个视频帧图像中第k个注视点的瞳孔直径，L_nmk为平静情感任务刺激中第m个视频帧图像中第k个注视点的左眼瞳孔直径，R_nmk为平静情感任务刺激中第m个视频帧图像中第k个注视点的右眼瞳孔直径，PD_n为第一平均瞳孔直径，M为平静情感任务中第一眼动视频数据的帧数，N为注视点数量。

4.根据权利要求1所述的基于眼动数据的情感特征提取方法，其特征在于，所述根据所述第一眼动视频数据确定平静情感任务刺激下的第一眨眼频率，具体包括：

根据公式确定平静情感任务刺激下的第一总眨眼次数；

根据公式WF_n＝W_n/M确定平静情感任务刺激下的第一眨眼频率；

其中，W_nm为平静情感任务刺激中第m个视频帧图像中的眨眼次数，W_n为平静情感任务刺激下的第一总眨眼次数，WF_n为第一眨眼频率，M为平静情感任务刺激中第一眼动视频数据的帧数。

5.根据权利要求1所述的基于眼动数据的情感特征提取方法，其特征在于，所述根据所述第一眨眼频率以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二眨眼变化率，具体包括：

根据所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二眨眼频率；

根据公式WFR_h＝(WF_h-WF_n)/WF_n确定第二眨眼变化率；

其中，WF_n为第一眨眼频率，WF_h为第二眨眼频率，WFR_h为第二眨眼变化率。

6.一种基于眼动数据的情感特征提取系统，其特征在于，包括：

眼动视频数据获取模块，用于获取利用眼动仪采集的眼动视频数据；所述眼动视频数据中包括平静情感任务刺激下的第一眼动视频数据以及除平静情感任务外的其它情感任务刺激下的第二眼动视频数据；

注视熵确定模块，用于根据所述眼动视频数据中不同位置的注视点确定注视熵；所述注视熵包括水平注视熵和竖直注视熵；

第一平均瞳孔直径确定模块，用于根据所述第一眼动视频数据确定平静情感任务刺激下的第一平均瞳孔直径；

第二瞳孔直径变化率确定模块，用于根据所述第一平均瞳孔直径以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二瞳孔直径变化率；

第一眨眼频率确定模块，用于根据所述第一眼动视频数据确定平静情感任务刺激下的第一眨眼频率；

第二眨眼变化率确定模块，用于根据所述第一眨眼频率以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二眨眼变化率；

眼跳速度确定模块，用于根据所述眼动视频数据中注视点的变化确定眼跳速度；

其中，根据所述第一平均瞳孔直径以及所述第二眼动视频数据确定所述第二眼动视频数据对应的情感任务刺激下的第二瞳孔直径变化率，具体包括：

根据所述第二眼动视频数据确定第二眼动视频数据对应的情感任务刺激下的第二平均瞳孔直径；

根据公式PDR_h＝(PD_h-PD_n)/PD_n确定第二瞳孔直径变化率；

其中，PD_h为第二平均瞳孔直径，PD_n为第一平均瞳孔直径，PDR_h为第二瞳孔直径变化率；

其中，所述根据所述眼动视频数据中注视点的变化确定眼跳速度，具体包括：

根据所述眼动视频数据中注视点的变化确定眼跳幅度；

根据所述眼跳幅度确定眼跳速率；

根据所述眼动视频数据中注视点的变化确定眼跳方向；

具体的，眼跳速度S_i是眼睛的注视点从一个位置移动到另一个位置的速率以及移动方向；眼跳速度S_i使用眼跳速率V_i和眼跳方向θ_i描述，其中眼跳速率使用眼跳幅度D_i和眼跳时间T_i计算得到；

眼跳幅度为：

眼跳速率为：

V_i＝D_i/T_i

眼跳方向为：

其中，(x_i,y_i)是当前注视点位置G_i的坐标，(x_i+1,y_i+1)是下一个注视点位置G_i+1的坐标；

对所述眼动视频数据进行验证分类，具体包括：

根据min-max归一化方法将所述眼动视频数据进行归一化处理，得到归一化后的眼动视频数据；

根据RBF核函数对所述归一化后的眼动视频数据进行情感识别，得到情感特征提取结果；

根据10折交叉验证方法对所述情感特征提取结果进行分类，得到最终分类结果。