CN110638472B - 情感识别方法、装置、电子设备及计算机可读存储介质 - Google Patents

情感识别方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110638472B
CN110638472B CN201910926880.8A CN201910926880A CN110638472B CN 110638472 B CN110638472 B CN 110638472B CN 201910926880 A CN201910926880 A CN 201910926880A CN 110638472 B CN110638472 B CN 110638472B
Authority
CN
China
Prior art keywords
signal
user
input node
emotion
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910926880.8A
Other languages
English (en)
Other versions
CN110638472A (zh
Inventor
王晨
张天翼
阿卜杜拉·阿里
巴勃罗·塞萨尔
朱昕彤
鞠靖
杨育松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netherlands National Center For Mathematics And Computer
Xinhuanet Co ltd
Original Assignee
Netherlands National Center For Mathematics And Computer
Xinhuanet Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netherlands National Center For Mathematics And Computer, Xinhuanet Co ltd filed Critical Netherlands National Center For Mathematics And Computer
Priority to CN201910926880.8A priority Critical patent/CN110638472B/zh
Publication of CN110638472A publication Critical patent/CN110638472A/zh
Application granted granted Critical
Publication of CN110638472B publication Critical patent/CN110638472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety

Abstract

本申请实施例提供了一种情感识别方法、装置、电子设备及计算机可读存储介质，涉及计算机及生物检测技术领域。该方法包括：获取用户的皮肤电反应信号以及用户的瞳孔直径信号，然后从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取联合特征，然后基于联合特征并通过训练后的神经网络进行情感识别，得到用户的情感信息。本申请实施例实现了通过生理信号识别用户情感。

Description

情感识别方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及计算机及生物检测技术领域，具体而言，本申请涉及一种情感识别方法、装置、电子设备及计算机可读存储介质。
背景技术
情感识别技术是一种给予计算机识别情感能力的人工智能技术，现己逐渐成为新兴人工智能领域的研究重点与难点。例如，情感识别技术可以用于识别用户在观看一部电影过程中的情感信息。
现有技术中，一般通过用户的语音信号以及面部表情，识别用户的情感，但是相比于语音信号和面部表情，人类的生理信号是人体自身由于情感而诱发的非自主反应，很难受到人的意识控制，因此通过生理信号进行情感识别的客观性更强，精度更高。
因此，如何通过生理信号识别用户情感成为一个关键问题。
发明内容
本申请提供了一种情感识别方法、装置、电子设备及计算机可读存储介质，可以用于解决通过生理信号识别用户情感的问题。所述技术方案如下：
第一方面，提供了一种情感识别方法，该方法包括：
获取用户的皮肤电反应信号以及用户的瞳孔直径信号；
从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取联合特征；
基于联合特征并通过训练后的神经网络进行情感识别，得到用户的情感信息。
在一种可能的实现方式中，基于联合特征并通过训练后的神经网络进行情感识别，得到用户的情感信息，包括：
基于联合特征确定输入节点信号，输入节点信号为训练后的神经网络对应的输入节点信号；
将输入节点信号通过训练后的神经网络进行情感识别，得到用户的情感信息。
在另一种可能的实现方式中，获取用户的皮肤电反应信号，包括：
获取用户的原始皮肤电导率信号；
将用户的原始皮肤电导率信号通过高频滤波处理，得到滤波处理后的皮肤电导率信号；
对滤波处理后的皮肤电导率信号进行反卷积计算，得到皮肤电反应信号。
在另一种可能的实现方式中，从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取联合特征，包括：
基于预设从信号空间到特征空间的线性映射信号，从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取联合特征。
在另一种可能的实现方式中，基于联合特征确定输入节点信号，包括：
将联合特征进行归一化处理；
基于归一化处理后的联合特征，计算预设个数的特征节点；
基于预设个数的特征节点计算增强节点；
基于预设个数的特征节点以及增强节点，计算输入节点信号。
在另一种可能的实现方式中，基于归一化处理后的联合特征，计算每一个特征节点的方式，包括：
确定每一个特征节点对应的随机矩阵；
基于归一化处理后的联合特征以及每一个特征节点对应的随机矩阵，计算每一个特征节点。
在另一种可能的实现方式中，基于归一化处理后的联合特征以及每一个特征节点对应的随机矩阵，计算每一个特征节点，包括：
基于每一个特征节点对应的随机矩阵计算每一个特征节点对应的稀疏编码矩阵；
基于归一化处理后的联合特征以及每一个特征节点对应的稀疏编码矩阵，计算每一个特征节点。
在另一种可能的实现方式中，将输入节点信号通过训练后的神经网络进行情感识别，之前还包括：
获取训练样本，训练样本包括：多个输入节点样本信号集以及各个输入节点样本信号集分别对应的情感标签；
基于训练样本，计算神经网络的网络参数。
在另一种可能的实现方式中，基于训练样本，计算神经网络的网络参数，包括：
基于多个输入节点样本信号集以及各个输入节点样本集分别对应的情感标签，计算输入节点样本信号集的到标签的伪逆信号。
在另一种可能的实现方式中，将输入节点信号通过训练后的神经网络进行情感识别，得到用户的情感信息，包括：
将输入节点信号以及输入节点样本信号样本集的到标签的伪逆信号，确定用户的情感信息。
第二方面，提供了一种情感识别装置，该装置包括：
第一获取模块，用于获取用户的皮肤电反应信号以及用户的瞳孔直径信号；
提取模块，用于从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取联合特征；
情感识别模块，用于基于联合特征并通过训练后的神经网络进行情感识别，得到用户的情感信息。
在一种可能的实现方式中，情感识别模块，具体用于基于联合特征确定输入节点信号，输入节点信号为训练后的神经网络对应的输入节点信号；将输入节点信号通过训练后的神经网络进行情感识别，得到用户的情感信息。
在另一种可能的实现方式中，第一获取模块，具体用于获取用户的原始皮肤电导率信号；将用户的原始皮肤电导率信号通过高频滤波处理，得到滤波处理后的皮肤电导率信号；对滤波处理后的皮肤电导率信号进行反卷积计算，得到皮肤电反应信号。
在另一种可能的实现方式中，提取模块，具体用于基于从信号空间到特征空间的线性映射信号，从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取联合特征。
在另一种可能的实现方式中，情感识别模块在基于联合特征确定输入节点信号时，具体用于将联合特征进行归一化处理；基于归一化处理后的联合特征，计算预设个数的特征节点；基于预设个数的特征节点计算增强节点；基于预设个数的特征节点以及增强节点，计算输入节点信号。
在另一种可能的实现方式中，情感识别模块在基于归一化处理后的联合特征，计算每一个特征节点时，具体用于确定每一个特征节点对应的随机矩阵；基于归一化处理后的联合特征以及每一个特征节点对应的随机矩阵，计算每一个特征节点。
在另一种可能的实现方式中，情感识别模块，在基于归一化处理后的联合特征以及每一个特征节点对应的随机矩阵，计算每一个特征节点时，具体用于基于每一个特征节点对应的随机矩阵计算每一个特征节点对应的稀疏编码矩阵；基于归一化处理后的联合特征以及每一个特征节点对应的稀疏编码矩阵，计算每一个特征节点。
在另一种可能的实现方式中，装置还包括：第二获取模块以及计算模块，其中，
第二获取模块，用于获取训练样本，训练样本包括：多个输入节点样本信号集以及各个输入节点样本信号集分别对应的情感标签；
计算模块，用于基于训练样本，计算神经网络的网络参数。
在另一种可能的实现方式中，计算模块，具体用于基于多个输入节点样本信号集以及各个输入节点样本集分别对应的情感标签，计算输入节点样本信号集的到标签的伪逆信号。
在另一种可能的实现方式中，情感识别模块在将输入节点信号通过训练后的神经网络进行情感识别，得到用户的情感信息时，具体用于将输入节点信号以及输入节点样本信号样本集的到标签的伪逆信号，确定用户的情感信息。
第三方面，提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行根据第一方面或者第一方面任一可能的实现方式所示的情感识别方法对应的操作。
第四方面，提供了一种计算机可读存储介质，存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如第一方面或者第一方面任一可能的实现方式所示的情感识别方法。
本申请提供的技术方案带来的有益效果是：
本申请提供了一种情感识别方法、装置、电子设备及计算机可读存储介质，与现有技术相比，本申请通过获取用户的皮肤电反应信号以及用户的瞳孔直径信号，并且从获取到的皮肤电反应信号以及瞳孔直径信号中提取联合信号，然后基于联合特征并通过训练后的神经网络进行情感识别，得到用户的情感信息，即本申请可以从皮肤电反应信号以及瞳孔直径信号等生理信号中联合提取情感特征，并通过训练后的神经网络识别用户情感，从而实现通过生理信号识别用户情感，进而可以提升识别用户情感的准确度，提升用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种情感识别方法的流程示意图；
图2为本申请实施例提供的一种情感识别装置的结构示意图；
图3为本申请实施例提供的一种情感识别的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例提供了一种情感识别方法，由电子设备执行，该电子设备可以包括：终端设备、云端设备以及物理服务器，如图1所示，该方法包括：
步骤S101、获取用户的皮肤电反应信号以及用户的瞳孔直径信号。
对于本申请实施例，用户的皮肤电反应信号是基于用户的皮肤电导率信号得到的。其中，基于用户的皮肤电导率信号得到用户的皮肤电反应信号的方式详见下述实施例。
对于本申请实施例，通过可佩戴的眼动仪和非侵入式皮肤电导率传感器实时测量用户的皮肤电导率信号以及瞳孔直径信号。
对于本申请实施例，皮肤电导率信号和瞳孔直径信号都与基于视觉侧记的注意力水平相关。在本申请实施例中，皮肤电导率信号用于表征皮肤的导电信号；瞳孔直径信号为瞳孔直径变化信号；皮肤电导反应(SCR)为在皮肤电导水平中出现的一个瞬时的、较快的波动，是由刺激而引起的生理心理激惹状态。
例如，获取用户在观看艺术作品(电影)过程中的皮肤电导率信号以及瞳孔直径信号。
步骤S102、从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取联合特征。
对于本申请实施例，从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取的联合特征用于表征用户的情感特征。
步骤S103、基于联合特征并通过训练后的神经网络进行情感识别，得到用户的情感信息。
对于本申请实施例，基于联合特征并通过训练后的神经网络进行情感识别，得到情感标签、情绪效价或者情绪唤醒度。在本申请实施例中，情绪效价分正性的和负性的情绪，即对情绪属性的自我评估；情绪唤醒度是情绪在多大程度上激活的程度指标，比如微笑，大笑，狂笑等。
本申请实施例提供了一种情感识别方法，与现有技术相比，本申请实施例通过获取用户的皮肤电反应信号以及用户的瞳孔直径信号，并且从获取到的皮肤电反应信号以及瞳孔直径信号中提取联合信号，然后基于联合特征并通过训练后的神经网络进行情感识别，得到用户的情感信息，即本申请实施例可以从皮肤电反应信号以及瞳孔直径信号等生理信号中联合提取情感特征，并通过训练后的神经网络识别用户情感，从而实现通过生理信号识别用户情感，进而可以提升识别用户情感的准确度，提升用户体验。
本申请实施例的另一种可能的实现方式，步骤S101具体可以包括：步骤S1011(图中未示出)、步骤S1012(图中未示出)以及步骤S1013(图中未示出)，其中，
步骤S1011、获取用户的原始皮肤电导率信号。
对于本申请实施例，获取用户的原始皮肤电导率信号的方式详见上述实施例，在此不再赘述。
步骤S1012、将用户的原始皮肤电导率信号通过高频滤波处理，得到滤波处理后的皮肤电导率信号。
对于本申请实施例，将用户的原始皮肤电导率信号通过汉宁窗滤波器进行滤波以滤除高频噪声信号。
步骤S1013、对滤波处理后的皮肤电导率信号进行反卷积计算，得到皮肤电反应信号。
对于本申请实施例，通过公式(1)得到皮肤电反应信号。
其中，SCR＝Driverphasic*IRF＝(SC*-1IRF-Drivertonic)*IRF (1)；
其中，SCR用于表征皮肤电反应信号；Driverphasic以及Drivertonic是由非刺激特异性事件和刺激特异性事件分别引起的汗腺神经活动，并且可以预先获取得到；IRF＝e-t/τ1-e-t/τ2为激发函数，用于模拟个体神经脉冲对神经元膜突触活化的影响，t用于表征当前时间，τ1以及τ2为常量，*表征汗腺神经活动和触发函数之间的卷积运算；*-1代表反卷积运算。
本申请实施例的另一种可能的实现方式，步骤S102具体可以包括：基于预设从信号空间到特征空间的线性映射信号，从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取联合特征。
对于本申请实施例，预设从信号空间到特征空间的线性映射信息是由训练过程中得到的。其中，计算从信号空间到特征空间的线性映射信息可以详见训练过程的实施例，在此不再赘述。
对于本申请实施例，通过公式(7)，得到联合特征；
具体地，H＝[SCRω1，PDω2] (7)；
其中，H用于表征联合特征，SCR用户表征用户的皮肤电反应信号，PD用于表征用户的瞳孔直径信号，ω1用于表征SCR从信号空间到特征空间的线性映射信号；ω2用于表征瞳孔直径信号从信号空间到特征空间的线性映射信号。
本申请实施例的一种可能的实现方式，步骤S103具体可以包括：步骤S1031(图中未示出)以及步骤S1032(图中未示出)，其中，
步骤S1031、基于联合特征确定输入节点信号。
其中，输入节点信号为训练后的神经网络对应的输入节点信号。
具体地，步骤S1031具体可以包括：将联合特征进行归一化处理；基于归一化处理后的联合特征，计算预设个数的特征节点；基于预设个数的特征节点计算增强节点；基于预设个数的特征节点以及增强节点，计算输入节点信号。
对于本申请实施例，使用z-score归一化对联合特征进行归一化处理，即将该联合特征对应的矩阵的每一行归一化为均值为0方差为1的行向量。
本申请实施例的另一种可能的实现方式，基于归一化处理后的联合特征，计算每一个特征节点的方式，包括：确定每一个特征节点对应的随机矩阵；基于归一化处理后的联合特征以及每一个特征节点对应的随机矩阵，计算每一个特征节点。
具体地，基于归一化处理后的联合特征以及每一个特征节点对应的随机矩阵，计算每一个特征节点，包括：基于每一个特征节点对应的随机矩阵计算每一个特征节点对应的稀疏编码矩阵；基于归一化处理后的联合特征以及每一个特征节点对应的稀疏编码矩阵，计算每一个特征节点。
对于本申请实施例，基于公式(8)计算每一个特征节点。
其中，
Figure GDA0003648208460000091
其中，A1用于表征任一个特征节点，其中，H″＝[H′|1]为H′的增广矩阵，
Figure GDA0003648208460000092
为随机矩阵W’的稀疏矩阵；其中，WA1满足以下条件约束：
Figure GDA0003648208460000093
λ为正则系数。
进一步地，按照上述公式(8)计算预设个数的特征节点，得到特征节点集A，其中，A＝[A1，A2……，AN2]∈RL×N1N2。
进一步地，通过公式(9)计算增强节点；
具体地，
Figure GDA0003648208460000094
其中，B用于表征增强节点，
Figure GDA0003648208460000095
A′＝[A|1]为矩阵A的增广矩阵；orth(W″)表示随机矩阵W”的正交变换，S为增强节点的缩放系数。
具体地，通过公式(10)得到输入节点信号，其中，
Et＝[A，B] (10)
其中Et表征输入节点信号，A为预设个数的输入节点组成的特征节点集，B用于表征增强节点。
步骤S1032、将输入节点信号通过训练后的神经网络进行情感识别，得到用户的情感信息。
本申请实施例的另一种可能的实现方式，步骤S1032具体可以包括：将输入节点信号以及输入节点样本信号样本集的到标签的伪逆信号，确定用户的情感信息。
本申请实施例中对神经网络的训练即是为了得到神经网络的网络参数(输入节点样本信号集的到标签的伪逆信号)，然后基于输入节点信号以及神经网络参数信号，得到用户的情感信息。
具体地，通过公式(11)确定用户的情感信息。
其中，yt＝EtW (11)；
其中，yt用于表征用户的情感信息，Et用于表征输入节点信号，W用于表征输入节点样本信号集的到标签的伪逆信号。
上述方法实施例从线上应用的角度介绍了基于皮肤电导率信号以及瞳孔直径信号并通过训练好的神经网络，确定用户当前的情感信息的方式，下述方法实施例从线下训练的角度介绍了对神经网络的训练过程，即得到输入节点样本信号集的到标签的伪逆信号(W)的过程，具体如下所示：
进一步地，步骤S103之前还可以包括：步骤Sa(图中未示出)以及步骤Sb(图中未示出)，其中，
步骤Sa、获取训练样本。
其中，训练样本包括：多个输入节点样本信号集以及各个输入节点样本信号集分别对应的情感标签。
本申请实施例中获取多个输入节点样本信号集的方式实际上与线上应用过程中确定特征节点集A的方式相似，具体如下所示：
步骤一：从多个原始皮肤电导率信号样本中分别提取对应的皮肤电反应信号样本；
其中，从任一原始皮肤电导率信号样本中提取对应的皮肤电反应信号样本，具体如下所示：
1.1)将该任一原始皮肤电导率信号样本经过汉宁窗滤波器进行滤波以滤除高频噪声信号，得到滤波处理后的皮肤电导率信号样本：
1.2)对滤波处理后的皮肤电导率信号样本进行反卷积以提取皮肤电反应信号样本：
具体地，通过公式(12)得到皮肤电反应信号样本：
SCR’＝Driverphasic’*IRF’＝(SC’*-1IRF’-Drivertonic’)*IRF’ (12)；
其中，SCR’用于表征皮肤电反应信号样本；Driverphasic’以及Drivertonic’是由非刺激特异性事件和刺激特异性事件分别引起的汗腺神经活动，并且可以预先获取得到；IRF’＝e-t’/τ1-e-t’/τ2为激发函数，用于模拟个体神经脉冲对神经元膜突触活化的影响，t’用于表征当前时间，τ1以及τ2为常量，*表征汗腺神经活动和触发函数之间的卷积运算；*-1代表反卷积运算。
步骤二、从皮肤电反应信号样本和瞳孔直径信号样本中提取联合特征样本；
2.1)将用户在预设过程中产生的皮肤电反应信号样本和瞳孔直径信号样本按照预设过程所属类别进行分组(例如，将用户在观看多媒体信息过程中所产生的皮肤电反应信号样本和瞳孔直径信号样本根据用户所观看的多媒体内容进行分组)；
假设SCRmn用于表征用户m观看多媒体内容n时的皮肤电反应信号，Pmn用于表征用户m观看多媒体内容n时的瞳孔直径信号的倒数；其中，n∈[1，N]，m∈[1，M]，N用于表征观看同一多媒体内容的用户总数，M用于表征总的多媒体内容；因此，SCRm∈[SCR1，SCR2，……，SCRM]，Pm∈[P1，P2，……，PN]为根据用户所观看多媒体内容所进行分组的生理信号组别。
2.2)计算皮肤电导率信号样本的协方差矩阵、计算瞳孔直径信号样本的协方差矩阵，以及皮肤电导率信号样本与瞳孔直径信号样本之间的互协方差矩阵；
其中，通过公式(13)计算SCRm的协方差矩阵，通过公式(14)计算Pm的协方差矩阵，通过公式(15)计算SCRm与Pm之间的互协方差矩阵，其中，
Figure GDA0003648208460000121
Figure GDA0003648208460000122
Figure GDA0003648208460000123
其中，S11’为SCRm的协方差矩阵；S22’为Pm的协方差矩阵，S12’为SCRm以及Pm的互协方差矩阵，I为单位矩阵，Fm1以及Fm2分别为SCRm以及Pm向量的长度；
2.3)使用奇异值分解计算从信号空间到特征空间的线性映射信号；具体地，通过公式(16)以及公式(17)计算从信号空间到特征空间的线性映射信号(即为上文提到的预设从信号空间到特征空间的线性映射信号)；
Figure GDA0003648208460000124
Figure GDA0003648208460000125
其中，
Figure GDA0003648208460000126
其中，Dms以及Dmp分别为对角元素为S11’以及S22’的k个非零特征值；其中，
Figure GDA0003648208460000127
Figure GDA0003648208460000128
其中，Vms＝[Vms1，Vms2，...，Vmsk]是由k个特征值[Dms1，Dms2，...，Dmsk]组成，Vmp＝[Vmp1，Vmp2，...，Vmpk]是由k个特征值[Dmp1，Dmp2，...，Dmpk]组成。
2.4)利用线性映射从SCRm和PDm中提取联合特征样本Hm；
具体地，通过公式(18)得到Hm；
其中，Hm＝[SCRmωm1,PDmωm2] (18)
2.5)对M组信号均采用2.1)-2.4)进行联合特征提取，得到特征空间中所有信号的特征集H：H＝[H1 T,H2 T,……,HM T]∈RMN×2K。其中，K为特征空间维度。
步骤三，获取多个输入节点样本信号集；
3.1)假设Hm’∈RL×2K为从H∈RMN×2K选取的训练集，首先使用Z-score归一化将Hm’的每一行归一化为均值为0方差为1的行向量；
3.2)计算第一个特征节点Am1：
Am1＝Hm"·WmA1；
其中，Hm"＝[Hm＇|1]为Hm＇的增广矩阵；WmA1∈R2K×N 1为随机矩阵Wm＇(其中，元素wij＇∈[-1,1]为随机数)的稀疏编码矩阵。
其中，WmA1还要满足：WmA1＝argmax||Wm＇·WmA1-Hm"||2 2+λ||WmA1||1以及WmA1·Hm"＝Wm＇。
3.3)按照步骤3.2)计算N2个特征节点以组成特征节点集Am:
Am＝[Am1,Am2,……,AmN2]RL×2K；
3.4)根据特征节点集Am计算增强节点Bm：
Figure GDA0003648208460000131
其中，A′m＝[Am|1]为矩阵Am的增广矩阵，orth(Wm")表示随机矩阵Wm"的正交变换，S为增强节点系数；
Figure GDA0003648208460000132
为激活增强节点的非线性激活函数。
3.5)生成输入节点样本集Em＝[Am,Bm]；
步骤Sb、基于训练样本，计算神经网络的网络参数。
本申请实施例的另一种可能的实现方式，步骤Sb具体可以包括：基于多个输入节点样本信号集以及各个输入节点样本集分别对应的情感标签，计算输入节点样本信号集的到标签的伪逆信号。
对于本申请实施例，基于下述公式(19)计算输入节点样本信号集的到标签的伪逆信号，其中，
Figure GDA0003648208460000141
其中，IL×L表征维度L×L的单位矩阵，E为稀疏正则化系数，y表征输入节点样本信号集的情感标签信息。
本申请实施例中的神经网络可以为宽度神经网络，但是不做限定。
下述结合一个具体的应用场景介绍情感识别方法，具体如下所示：
(1)使用可佩戴的眼动仪和非侵入式皮肤电导率传感器实时测量用户的皮肤电导率信号和瞳孔直径信号。
本实施例中，眼动仪通过USB TpyeC或其他高速接口与用户手机相连。所有信号均通过网络时间协议(Network Time Protocol，NTP)或其他时间同步服务器实时同步。
(2)通过高速5G网络将用户的传感器数据上传至云端设备；
(3)云端设备按照前述方式，计算用户观看该视频的情感信息。
上述实施例从方法流程的角度介绍了情感识别方法，下述实施例从虚拟模块以及虚拟单元的角度介绍了情感识别装置，具体如下所示：
本申请实施例提供了一种情感识别装置，如图2所示，该情感识别装置20可以包括：第一获取模块21、提取模块22以及情感识别模块23，其中，
第一获取模块21，用于获取用户的皮肤电反应信号以及用户的瞳孔直径信号。
提取模块22，用于从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取联合特征。
情感识别模块23，用于基于联合特征并通过训练后的神经网络进行情感识别，得到用户的情感信息。
本申请实施例的一种可能的实现方式，情感识别模块23，具体用于基于联合特征确定输入节点信号，输入节点信号为训练后的神经网络对应的输入节点信号；将输入节点信号通过训练后的神经网络进行情感识别，得到用户的情感信息。
本申请实施例的一种可能的实现方式，第一获取模块21，具体用于获取用户的原始皮肤电导率信号；将用户的原始皮肤电导率信号通过高频滤波处理，得到滤波处理后的皮肤电导率信号；对滤波处理后的皮肤电导率信号进行反卷积计算，得到皮肤电反应信号。
本申请实施例的一种可能的实现方式，提取模块22，具体用于基于预设从信号空间到特征空间的线性映射信号，从用户的皮肤电反应信号以及用户的瞳孔直径信号中提取联合特征。
本申请实施例的一种可能的实现方式，情感识别模块23在基于联合特征确定输入节点信号时，具体用于将联合特征进行归一化处理；基于归一化处理后的联合特征，计算预设个数的特征节点；基于预设个数的特征节点计算增强节点；基于预设个数的特征节点以及增强节点，计算输入节点信号。
本申请实施例的一种可能的实现方式，情感识别模块23在基于归一化处理后的联合特征，计算每一个特征节点时，具体用于确定每一个特征节点对应的随机矩阵；基于归一化处理后的联合特征以及每一个特征节点对应的随机矩阵，计算每一个特征节点。
本申请实施例的一种可能的实现方式，情感识别模块23，在基于归一化处理后的联合特征以及每一个特征节点对应的随机矩阵，计算每一个特征节点时，具体用于基于每一个特征节点对应的随机矩阵计算每一个特征节点对应的稀疏编码矩阵；基于归一化处理后的联合特征以及每一个特征节点对应的稀疏编码矩阵，计算每一个特征节点。
本申请实施例的一种可能的实现方式，装置20还包括：第二获取模块以及计算模块，其中，
第二获取模块，用于获取训练样本，训练样本包括：多个输入节点样本信号集以及各个输入节点样本信号集分别对应的情感标签；
计算模块，用于基于训练样本，计算神经网络的网络参数。
对于本申请实施例，第一获取模块21与第二获取模块可以为同一个获取模块，也可以为不同的获取模块。在本申请实施例中不做限定。
本申请实施例的一种可能的实现方式，计算模块，具体用于基于多个输入节点样本信号集以及各个输入节点样本集分别对应的情感标签，计算输入节点样本信号集的到标签的伪逆信号。
本申请实施例的一种可能的实现方式，情感识别模块23在将输入节点信号通过训练后的神经网络进行情感识别，得到用户的情感信息时，具体用于将输入节点信号以及输入节点样本信号样本集的到标签的伪逆信号，确定用户的情感信息。
本申请实施例提供了一种情感识别装置，与现有技术相比，本申请实施例通过获取用户的皮肤电反应信号以及用户的瞳孔直径信号，并且从获取到的皮肤电反应信号以及瞳孔直径信号中提取联合信号，然后基于联合特征并通过训练后的神经网络进行情感识别，得到用户的情感信息，即本申请实施例可以从皮肤电反应信号以及瞳孔直径信号等生理信号中联合提取情感特征，并通过训练后的神经网络识别用户情感，从而实现通过生理信号识别用户情感，进而可以提升识别用户情感的准确度，提升用户体验。
本实施例的情感识别装置可执行上述实施例提供的一种情感识别方法，其实现原理相类似，此处不再赘述。
上述实施例从方法流程的角度介绍了情感识别方法以及从虚拟模块以及虚拟单元的角度介绍了情感识别装置，下述从实体装置的角度介绍了一种电子设备，具体如下所示：
本申请实施例提供了一种电子设备，如图3所示，图3所示的电子设备3000包括：处理器3001和存储器3003。其中，处理器3001和存储器3003相连，如通过总线3002相连。可选地，电子设备3000还可以包括收发器3004。需要说明的是，实际应用中收发器3004不限于一个，该电子设备3000的结构并不构成对本申请实施例的限定。
处理器3001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器3001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线3002可包括一通路，在上述组件之间传送信息。总线3002可以是PCI总线或EISA总线等。总线3002可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器3003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器3003用于存储执行本申请方案的应用程序代码，并由处理器3001来控制执行。处理器3001用于执行存储器3003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。
本申请实施例提供了一种电子设备，本申请实施例中的电子设备包括：存储器和处理器；至少一个程序，存储于所述存储器中，用于被所述处理器执行时，与现有技术相比可实现：本申请实施例通过获取用户的皮肤电反应信号以及用户的瞳孔直径信号，并且从获取到的皮肤电反应信号以及瞳孔直径信号中提取联合信号，然后基于联合特征并通过训练后的神经网络进行情感识别，得到用户的情感信息，即本申请实施例可以从皮肤电反应信号以及瞳孔直径信号等生理信号中联合提取情感特征，并通过训练后的神经网络识别用户情感，从而实现通过生理信号识别用户情感，进而可以提升识别用户情感的准确度，提升用户体验。
本申请实施例中的电子设备可以为终端设备，也可以为云端设备，还可以为物理服务器。在本申请实施例中并不限定。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与现有技术相比，本申请实施例通过获取用户的皮肤电反应信号以及用户的瞳孔直径信号，并且从获取到的皮肤电反应信号以及瞳孔直径信号中提取联合信号，然后基于联合特征并通过训练后的神经网络进行情感识别，得到用户的情感信息，即本申请实施例可以从皮肤电反应信号以及瞳孔直径信号等生理信号中联合提取情感特征，并通过训练后的神经网络识别用户情感，从而实现通过生理信号识别用户情感，进而可以提升识别用户情感的准确度，提升用户体验。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种情感识别方法，其特征在于，包括：
获取用户的皮肤电反应信号以及所述用户的瞳孔直径信号；
从所述用户的皮肤电反应信号以及所述用户的瞳孔直径信号中提取联合特征；
将所述联合特征H进行归一化处理；
基于归一化处理后的联合特征H’构建增广矩阵H”，根据所述增广矩阵H”以及随机矩阵W’的稀疏矩阵WA1计算预设个数的特征节点A，其中，所述稀疏矩阵WA1满足：所述稀疏矩阵WA1与所述随机矩阵W’的乘积与所述增广矩阵H”之差的二阶范数最大化；
基于所述预设个数的特征节点A计算增强节点B，其中，
Figure FDA0003661914570000011
A′＝[A|1]为预设个数的特征节点A的增广矩阵；orth(W″)表示随机矩阵W”的正交变换，S为增强节点的缩放系数；
基于所述预设个数的特征节点A以及所述增强节点B，计算输入节点信号，所述输入节点信号为训练后的神经网络对应的输入节点信号；
将所述输入节点信号通过训练后的神经网络进行情感识别，得到所述用户的情感信息。
2.根据权利要求1所述的方法，其特征在于，所述获取用户的皮肤电反应信号，包括：
获取用户的原始皮肤电导率信号；
将所述用户的原始皮肤电导率信号通过高频滤波处理，得到滤波处理后的皮肤电导率信号；
对所述滤波处理后的皮肤电导率信号进行反卷积计算，得到所述皮肤电反应信号。
3.根据权利要求1所述的方法，其特征在于，所述从所述用户的皮肤电反应信号以及所述用户的瞳孔直径信号中提取联合特征，包括：
基于预设从信号空间到特征空间的线性映射信号，从所述用户的皮肤电反应信号以及所述用户的瞳孔直径信号中提取联合特征。
4.根据权利要求1所述的方法，其特征在于，所述将所述输入节点信号通过训练后的神经网络进行情感识别，之前还包括：
获取训练样本，所述训练样本包括：多个输入节点样本信号集以及各个输入节点样本信号集分别对应的情感标签；
基于所述训练样本，计算所述神经网络的网络参数。
5.根据权利要求4所述的方法，其特征在于，所述基于所述训练样本，计算所述神经网络的网络参数，包括：
基于所述多个输入节点样本信号集以及各个输入节点样本集分别对应的情感标签，计算输入节点样本信号集的到标签的伪逆信号。
6.根据权利要求5所述的方法，其特征在于，所述将所述输入节点信号通过训练后的神经网络进行情感识别，得到所述用户的情感信息，包括：
根据所述输入节点信号以及所述输入节点样本信号集的到标签的伪逆信号，确定所述用户的情感信息。
7.一种情感识别装置，其特征在于，包括：
第一获取模块，用于获取用户的皮肤电反应信号以及所述用户的瞳孔直径信号；
提取模块，用于从所述用户的皮肤电反应信号以及所述用户的瞳孔直径信号中提取联合特征；
情感识别模块，用于基于所述联合特征并通过训练后的神经网络进行情感识别，得到所述用户的情感信息；
其中，所述情感识别模块，具体用于
将所述联合特征H进行归一化处理；基于归一化处理后的联合特征H’，构建增广矩阵H”，根据所述增广矩阵H”以及随机矩阵W’的稀疏矩阵WA1计算预设个数的特征节点A，其中，所述稀疏矩阵WA1满足：所述稀疏矩阵WA1与所述随机矩阵W’的乘积与所述增广矩阵H”之差的二阶范数最大化；基于所述预设个数的特征节点A计算增强节点B，其中，
Figure FDA0003661914570000031
A′＝[A|1]为预设个数的特征节点A的增广矩阵；orth(W″)表示随机矩阵W”的正交变换，S为增强节点的缩放系数；基于所述预设个数的特征节点A以及所述增强节点B，计算输入节点信号，将所述输入节点信号通过训练后的神经网络进行情感识别，得到所述用户的情感信息；所述输入节点信号为所述训练后的神经网络对应的输入节点信号。
8.根据权利要求7所述的装置，其特征在于，所述第一获取模块，具体用于获取用户的原始皮肤电导率信号；将所述用户的原始皮肤电导率信号通过高频滤波处理，得到滤波处理后的皮肤电导率信号；对所述滤波处理后的皮肤电导率信号进行反卷积计算，得到所述皮肤电反应信号。
9.根据权利要求7所述的装置，其特征在于，所述提取模块，具体用于：
基于预设从信号空间到特征空间的线性映射信号，从所述用户的皮肤电反应信号以及所述用户的瞳孔直径信号中提取联合特征。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括：第二获取模块以及计算模块，其中，
所述第二获取模块，用于获取训练样本，所述训练样本包括：多个输入节点样本信号集以及各个输入节点样本信号集分别对应的情感标签；
所述计算模块，用于基于所述训练样本，计算所述神经网络的网络参数。
11.一种电子设备，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1～6任一项所述的情感识别方法。
12.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1～6任一所述的情感识别方法。
CN201910926880.8A 2019-09-27 2019-09-27 情感识别方法、装置、电子设备及计算机可读存储介质 Active CN110638472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910926880.8A CN110638472B (zh) 2019-09-27 2019-09-27 情感识别方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910926880.8A CN110638472B (zh) 2019-09-27 2019-09-27 情感识别方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110638472A CN110638472A (zh) 2020-01-03
CN110638472B true CN110638472B (zh) 2022-07-05

Family

ID=68992968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910926880.8A Active CN110638472B (zh) 2019-09-27 2019-09-27 情感识别方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110638472B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274417B (zh) * 2020-01-17 2023-05-12 新华网股份有限公司 情感标注方法、装置、电子设备及计算机可读存储介质
CN113842145B (zh) * 2021-10-11 2023-10-03 北京工业大学 基于瞳孔波计算情绪指标的方法、装置及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104983435A (zh) * 2015-08-07 2015-10-21 北京环度智慧智能技术研究所有限公司 一种兴趣取向值测验的刺激信息编制方法
CN106667506A (zh) * 2016-12-21 2017-05-17 上海与德信息技术有限公司 一种基于皮肤电反应和瞳孔变化的测谎方法及装置
KR101855168B1 (ko) * 2016-11-18 2018-05-10 가톨릭대학교 산학협력단 딥러닝 기반의 감성 분류 장치 및 그 방법
CN108630299A (zh) * 2018-04-27 2018-10-09 合肥工业大学 基于皮肤电阻特征的人格分析方法和系统、存储介质
CN108670277A (zh) * 2018-06-04 2018-10-19 新华网股份有限公司 精神压力监测方法
US10121345B1 (en) * 2014-03-07 2018-11-06 State Farm Mutual Automobile Insurance Company Vehicle operator emotion management system and method
CN108830167A (zh) * 2018-04-19 2018-11-16 哈尔滨工程大学 一种基于k-svd字典学习的海水温度场数据重构方法
CN109154860A (zh) * 2016-05-18 2019-01-04 微软技术许可有限责任公司 情感/认知状态触发记录
CN109171773A (zh) * 2018-09-30 2019-01-11 合肥工业大学 基于多通道数据的情感分析方法和系统
CN109620265A (zh) * 2018-12-26 2019-04-16 中国科学院深圳先进技术研究院 识别方法及相关装置
KR20190080598A (ko) * 2017-12-28 2019-07-08 클라트 주식회사 생체신호를 이용한 감성 검출 시스템 및 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180373793A1 (en) * 2015-12-16 2018-12-27 Thomson Licensing Methods and apparatuses for processing biometric responses to multimedia content

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10121345B1 (en) * 2014-03-07 2018-11-06 State Farm Mutual Automobile Insurance Company Vehicle operator emotion management system and method
CN104983435A (zh) * 2015-08-07 2015-10-21 北京环度智慧智能技术研究所有限公司 一种兴趣取向值测验的刺激信息编制方法
CN109154860A (zh) * 2016-05-18 2019-01-04 微软技术许可有限责任公司 情感/认知状态触发记录
KR101855168B1 (ko) * 2016-11-18 2018-05-10 가톨릭대학교 산학협력단 딥러닝 기반의 감성 분류 장치 및 그 방법
CN106667506A (zh) * 2016-12-21 2017-05-17 上海与德信息技术有限公司 一种基于皮肤电反应和瞳孔变化的测谎方法及装置
KR20190080598A (ko) * 2017-12-28 2019-07-08 클라트 주식회사 생체신호를 이용한 감성 검출 시스템 및 그 방법
CN108830167A (zh) * 2018-04-19 2018-11-16 哈尔滨工程大学 一种基于k-svd字典学习的海水温度场数据重构方法
CN108630299A (zh) * 2018-04-27 2018-10-09 合肥工业大学 基于皮肤电阻特征的人格分析方法和系统、存储介质
CN108670277A (zh) * 2018-06-04 2018-10-19 新华网股份有限公司 精神压力监测方法
CN109171773A (zh) * 2018-09-30 2019-01-11 合肥工业大学 基于多通道数据的情感分析方法和系统
CN109620265A (zh) * 2018-12-26 2019-04-16 中国科学院深圳先进技术研究院 识别方法及相关装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Affective and physiological correlates of the perception of unimodal and bimodal emotional stimuli;Rosa P J , Oliveira J , Alghazzawi D , et al.;《Psicothema》;20171231;第29卷(第3期);全文 *
Aracena, C ; Basterrech, S ; (...) ; Velasquez, J.Neural Networks for Emotion Recognition Based on Eye Tracking Data.《2015 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS (SMC 2015): BIG DATA ANALYTICS FOR HUMAN-CENTRIC SYSTEMS》.2016,第2632-2637页. *
neural network based emotion estimation using heart rate variability and skin resistance;Sun K Y , Lee C K , Park Y J , et al.;《1st International Conference on Natural Computation (ICNC 2005)》;20050827;全文 *
Sparse Deconvolution of Electrodermal Activity via Continuous-Time System Identification;Amin M R , Faghih R T;《IEEE Transactions on Biomedical Engineering》;20190110;第2585-2595页 *

Also Published As

Publication number Publication date
CN110638472A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
Higgins et al. Unsupervised deep learning identifies semantic disentanglement in single inferotemporal face patch neurons
Özdenizci et al. Adversarial deep learning in EEG biometrics
Hossain et al. An emotion recognition system for mobile applications
Kumar et al. Envisioned speech recognition using EEG sensors
Soleymani et al. Analysis of EEG signals and facial expressions for continuous emotion detection
CN113598774B (zh) 基于多通道脑电数据的积极情绪多标签分类方法及装置
WO2015180397A1 (zh) 一种基于深度神经网络的数据类别识别方法及装置
Kohli et al. Removal of gross artifacts of transcranial alternating current stimulation in simultaneous EEG monitoring
Ali et al. A globally generalized emotion recognition system involving different physiological signals
Wang et al. The influence of photo elements on EEG signal recognition
Khalili et al. Emotion detection using brain and peripheral signals
Gupta et al. Enhancing text using emotion detected from EEG signals
Rescigno et al. Personalized models for facial emotion recognition through transfer learning
CN110638472B (zh) 情感识别方法、装置、电子设备及计算机可读存储介质
CN115590515A (zh) 基于生成式自监督学习和脑电信号的情绪识别方法及系统
Kong et al. Task-independent eeg identification via low-rank matrix decomposition
Patlar Akbulut Hybrid deep convolutional model-based emotion recognition using multiple physiological signals
Susanto et al. Emotion recognition from galvanic skin response signal based on deep hybrid neural networks
Wu et al. A novel deep learning model based on the ICA and Riemannian manifold for EEG-based emotion recognition
Prasetio et al. Ensemble support vector machine and neural network method for speech stress recognition
Chiovetto et al. Perceptual integration of kinematic components in the recognition of emotional facial expressions
CN113749656B (zh) 基于多维生理信号的情感识别方法和装置
Zuo et al. Cross-subject emotion recognition using fused entropy features of EEG
Yaacob et al. Emotional profiling through supervised machine learning of interrupted EEG interpolation
Mo et al. A Bi-LSTM based network with attention mechanism for EEG visual classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant