CN113197573A - 基于表情识别及脑电融合的观影印象检测方法 - Google Patents

Abstract

基于表情识别及脑电融合的观影印象检测方法，属于观影印象检测领域。本发明为解决现有技术中无法定量评定用户对广告内容的主观印象以及不利于在大数据层面上分析的问题。本发明检测方法包括如下：采集观影时间段内的观影表情变化视频及脑电信号；根据观影表情变化视频，获得观看过程中的愉悦程度B1和专注程度B2，并将B1与B2的乘积作为表情印象指数m₁；同时还对脑电信号进行傅里叶变化，获得功率谱密度P(w)；再根据P(w)获得各频段的频带能量占比及相关频段的频带能量比，并将其送入支持向量机SVM，获得脑电印象指数m₂；利用DS决策融合算法对表情印象指数m₁和脑电印象指数m₂进行融合，从而获得决策结果m。主要用于对观影印象进行量化。

Description

基于表情识别及脑电融合的观影印象检测方法

技术领域

本发明属于观影印象检测领域。

背景技术

视频广告是重要的营销手段，是生产商向用户传递产品信息的主要渠道。从观看者获得对广告的主观印象，能够反映出用户对于广告内容的喜好程度，这对指导生产商改进广告内容，合理选择目标投放人群等营销策略有重要意义。此外，对人的情绪的自动识别对于高级人机交互系统的发展具有重要的意义。在人机交互系统中，如果能够准确且快速地识别出人的情绪，可以针对人的情绪使交互过程更加智能和友好。情绪识别也可以应用于军事领域，帮助指挥官实时了解战士的精神状态。而在驾驶安全领域，对于司机的情绪识别和监测可以防止司机在极端情绪下驾驶造成的安全隐患。

目前调研广告效果常用方法为“直接询问法”和“销量对比法”。这些方法不能用量化指标衡量广告观看者对广告内容的主观印象，也不利于在大数据层面上分析，因此，以上问题亟需解决。

发明内容

本发明目的是为了解决现有技术中无法定量评定用户对广告内容的主观印象以及不利于在大数据层面上分析的问题，提供了一种基于表情识别及脑电融合的观影印象检测方法。

基于表情识别及脑电融合的观影印象检测方法，该方法包括如下过程：

步骤一、采集观影时间段内的观影表情变化视频及脑电信号；

步骤二、根据观影时间段内的观影表情变化视频，获得观看过程中的愉悦程度B1和专注程度B2，并将愉悦程度B1与专注程度B2的乘积作为表情印象指数m₁；

步骤三、对观影时间段内的脑电信号进行傅里叶变化，获得功率谱密度P(w)；再根据功率谱密度P(w)获得各频段的频带能量占比及相关频段的频带能量比；

步骤四、将步骤三获得的各频段的频带能量占比及相关频段的频带能量比送入支持向量机SVM，获得脑电印象指数m₂；

步骤五、利用DS决策融合算法对步骤二获得的表情印象指数m₁和步骤四获得的脑电印象指数m₂进行融合，从而获得决策结果m，并将决策结果m作为观影印象指数。

优选的是，步骤二中愉悦程度B1的实现方式包括：

步骤二一一、通过表情识别模型对观影时间段内的观影表情变化视频中的每帧图像进行特征提取，获得每帧图像所对应的观影表情；所述观影表情包括高兴表情和中性表情；

步骤二一二、再根据每帧图像所对应的观影表情获得整个观影过程的愉悦程度B1。

优选的是，步骤二一二中，再根据每帧图像所对应的观影表情获得整个观影过程的愉悦程度B1的实现方式包括：

首先、根据每帧图像所对应的观影表情，获得整个观影时间段内高兴表情所对应的时长和中性表情所对应的时长；

其次，将整个观影时间段内高兴表情所对应的时长除以整个观影时间段内中性表情所对应的时长的比值结果，作为愉悦程度B1。

优选的是，步骤二中专注程度B2的实现方式包括：

步骤二二一、通过眨眼检测模型获得观影时间段内的眨眼总次数；

步骤二二二、根据观影时间段内的眨眼总次数，获得的平均每分钟眨眼次数n；

步骤二二三、根据平均每分钟眨眼次数n，换算出专注程度B2。

优选的是，步骤二二三中、根据平均每分钟眨眼次数n，换算出专注程度B2的实现方式为：

优选的是，眨眼检测模型采用眨眼检测算法实现。

优选的是，步骤三中，根据功率谱密度P(w)，获得各频段的频带能量占比及相关频段的频带能量比的实现方式包括：

步骤三一、将脑电信号依次划分成4个频段，其分别为频段δ、θ、α和β；

步骤三二、根据功率谱密度P(w)，统计脑电信号在频段δ、θ、α和β上分别对应的频带能量E_δ、E_θ、E_α和E_β；其中，w为频率；

步骤三三、分别根据频带能量E_δ、E_θ、E_α和E_β，获得频段δ、θ、α和β分别对应的频带能量E_δ、E_θ、E_α和E_β在总频带能量中的占比R_i，其中，i为变量，i＝δ,θ,α,β；

R_δ为频段δ所对应的频带能量E_δ在总能量中的占比；

R_θ为频段θ所对应的频带能量E_θ在总能量中的占比；

R_α为频段α所对应的频带能量E_α在总能量中的占比；

R_β为频段β所对应的频带能量E_β在总能量中的占比；

步骤三四、根据频带能量E_δ、E_θ、E_α和E_β，获得K_δ-α、K_θ-β和K；其中，

K_δ-α表示频段δ所对应的频带能量E_δ与频段α所对应的频带能量E_α的比值；

K_θ-β表示频段θ所对应的频带能量E_θ与频段β所对应的频带能量E_β的比值；

K表示低频波段频带能量与高频波段频带能量比值。

优选的是，步骤三二中，

w的单位为Hz；

步骤三三中，

优选的是，步骤二一一中，表情识别模型采用含有Inception结构的深度神经网络实现。

优选的是，步骤五中、利用DS决策融合算法对步骤二获得的表情印象指数m₁和步骤四获得的脑电印象指数m₂进行融合，从而获得决策结果m的实现方式为：

K′为冲突因子。

本发明带来的有益效果是：本发明根据用户观看过程中的面部表情变化和脑电信号频带能量占比来推知某个用户对该广告的主观印象，量化用户的主观印象，以直观地反映用户对广告内容的喜好程度，便于生产产商改进广告内容，以适用通过量化用户的主观印象，以实现在大数据层面上对观影印象的分析。

实验人员的面部信息和生理信息属于明显的异构信息，且具有互补的特性。对于这些多源异构信息，一般从特征级融合和决策级融合两个层次来展开。本发明引入基于多核学习的特征层融合、基于典型相关分析的特征融合和基于D-S证据理论的决策层融合对图像特征及脑电特征进行融合提高实验人员观影印象检测准确率。

附图说明

图1是本发明所述基于表情识别及脑电融合的观影印象检测方法进行决策融合的原理示意图；

图2是频段δ、θ、α和β上的能量占比示意图；其中，横轴表示采样时间，单位为秒，纵轴表示频带能量占比；

图2a为频段δ所对应的能量占比R_δ示意图；

图2b为频段θ所对应的能量占比R_θ示意图；

图2c为频段α所对应的能量占比R_α示意图；

图2d为频段β所对应的能量占比R_β示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

参见图1说明本实施方式，本实施方式所述的基于表情识别及脑电融合的观影印象检测方法，该方法包括如下过程：

步骤一、采集观影时间段内的观影表情变化视频及脑电信号；

步骤二、根据观影时间段内的观影表情变化视频，获得观看过程中的愉悦程度B1和专注程度B2，并将愉悦程度B1与专注程度B2的乘积作为表情印象指数m₁；

步骤三、对观影时间段内的脑电信号进行傅里叶变化，获得功率谱密度P(w)；再根据功率谱密度P(w)获得各频段的频带能量占比及相关频段的频带能量比；

步骤四、将步骤三获得的各频段的频带能量占比及相关频段的频带能量比送入支持向量机SVM，获得脑电印象指数m₂；

步骤五、利用DS决策融合算法对步骤二获得的表情印象指数m₁和步骤四获得的脑电印象指数m₂进行融合，从而获得决策结果m，并将决策结果m作为观影印象指数。

本实施方式所述的基于表情识别及脑电融合的观影印象检测方法，根据用户观看过程中的面部表情变化和脑电信号频带能量占比来推知某个用户对该广告的主观印象，量化用户的主观印象，以直观地反映用户对广告内容的喜好程度，便于生产产商改进广告内容，以适用通过量化用户的主观印象，以实现在大数据层面上对观影印象的分析。

具体应用时，可利用OpenCV调用计算机内置摄像头录制观看者的面部变化，录制的视频分辨率为640×480，帧率30fps。支持向量机SVM采用现有技术实现；步骤三中脑电信号的功率谱密度P(w)可以直观地反映了不同频率功率或能量的分布，对脑电信号警觉度的分析十分有效。本发明主要通过观影表情变化视频获得表情印象指数m₁，通过脑电信号获得脑电印象指数m₂，再将二者进行融合获得的观影印象指数，该值越大，表明广告对观看者的正面效果越强，量化用户的主观印象。

进一步的，步骤二中愉悦程度B1的实现方式包括：

步骤二一一、通过表情识别模型对观影时间段内的观影表情变化视频中的每帧图像进行特征提取，获得每帧图像所对应的观影表情；所述观影表情包括高兴表情和中性表情；

步骤二一二、再根据每帧图像所对应的观影表情获得整个观影过程的愉悦程度B1。

具体应用时，通过现有技术中表情识别模型对视频中的每帧图像进行特征提取，获取每帧图像的表情变化，用以获得更加准确的整个观影过程的愉悦程度B1奠定数据基础。

更进一步的，步骤二一二中，再根据每帧图像所对应的观影表情获得整个观影过程的愉悦程度B1的实现方式包括：

首先、根据每帧图像所对应的观影表情，获得整个观影时间段内高兴表情所对应的时长和中性表情所对应的时长；

其次，将整个观影时间段内高兴表情所对应的时长除以整个观影时间段内中性表情所对应的时长的比值结果，作为愉悦程度B1。

更进一步的，步骤二中专注程度B2的实现方式包括：

步骤二二一、通过眨眼检测模型获得观影时间段内的眨眼总次数；

步骤二二二、根据观影时间段内的眨眼总次数，获得的平均每分钟眨眼次数n；

步骤二二三、根据平均每分钟眨眼次数n，换算出专注程度B2。

本实施方式中，眨眼检测模型可采用现有技术实现。

更进一步的，步骤二二三中、根据平均每分钟眨眼次数n，换算出专注程度B2的实现方式为：

更进一步的，眨眼检测模型采用眨眼检测算法实现。

更进一步的，具体参见,1和图2，步骤三中，根据功率谱密度P(w)，获得各频段的频带能量占比及相关频段的频带能量比的实现方式包括：

步骤三一、将脑电信号依次划分成4个频段，其分别为频段δ、θ、α和β；

步骤三二、根据功率谱密度P(w)，统计脑电信号在频段δ、θ、α和β上分别对应的频带能量E_δ、E_θ、E_α和E_β；其中，w为频率；

步骤三三、分别根据频带能量E_δ、E_θ、E_α和E_β，获得频段δ、θ、α和β分别对应的频带能量E_δ、E_θ、E_α和E_β在总频带能量中的占比R_i，其中，i为变量，i＝δ,θ,α,β；

R_δ为频段δ所对应的频带能量E_δ在总能量中的占比；

R_θ为频段θ所对应的频带能量E_θ在总能量中的占比；

R_α为频段α所对应的频带能量E_α在总能量中的占比；

R_β为频段β所对应的频带能量E_β在总能量中的占比；

步骤三四、根据频带能量E_δ、E_θ、E_α和E_β，获得K_δ-α、K_θ-β和K；其中，

K_δ-α表示频段δ所对应的频带能量E_δ与频段α所对应的频带能量E_α的比值；

K_θ-β表示频段θ所对应的频带能量E_θ与频段β所对应的频带能量E_β的比值；

K表示低频波段频带能量与高频波段频带能量比值。

大脑的意识活动与不同节律的脑电波有密切的联系，脑电信号的功率谱密度P(w)分布与专注程度是相关的，在不同频段θ、α、β下的能量占比不同，根据能量占比不同能反映观影专注状态和非专注状态的不同。

本发明采用了基于频带能量占比的脑电信号特征，δ和θ频段与大脑的专注程度正先关，α和β频段与大脑的专注程度负相关。且δ与α频段的频带能量占比负相关，θ与β频段的能量占比负相关；因此本发明引入以下三个特征，如公式二至公式四所示，这种基于各波段的比值特征在同一个体的不同时段以及不同个体之间具有更好的泛化能力。

大脑受抑制下，慢波变多，也即频段δ、θ占比增多，快波变少的体现，也即频段α、β占比变少，表明了实验人员低频段δ、θ活动渐渐地明显，高频段α、β活动则渐渐减少，大脑逐渐不活跃，逐渐不愉悦，专注度下降。

图2给出了，频段δ、θ、α和β上的能量占比。

更进一步的，步骤三二中，

w的单位为Hz；

步骤三三中，

更进一步的，步骤二一一中，表情识别模型采用含有Inception结构的深度神经网络实现。

应用时，传统方法最大的缺陷在于，其提取的都是浅层特征，当外部因素稍有变动(如：光照发生变化或者头部偏转)，其准确率将大大降低。本发明基于深度学习的方法，利用含有Inception结构的深度神经网络实现的表情识别模型，避免了使用不同核函数将特征进行高维映射，增强了算法的鲁棒性。

本实施方式中，Inception结构是一种具优良局部拓扑结构的网络，即对输入图像并行地执行多个卷积运算或池化操作，并将所有输出结果拼接为一个非常深的特征图。

Inception结构的优点如下：增加了网络的宽度、增加了网络对尺度的适应性、提高了网络内部计算资源的利用率、减少网络参数，降低模型复杂度、将信息进行融合、提高训练效率。

含有Inception结构的深度神经网络包括卷积层、对提取面部图像特征进行合卷积运算、最大池化层、感知层、丢弃层、全连接层和输出层。

更进一步的，步骤五中、利用DS决策融合算法对步骤二获得的表情印象指数m₁和步骤四获得的脑电印象指数m₂进行融合，从而获得决策结果m的实现方式为：

K′为冲突因子。

K′为冲突系数用于表征各个证据给出的决策之间的冲突大小，在证据进行合成的过程中，因为对全部的证据都开展了同样重要程度的融合。决策级融特点是高容错性，体现在某一信息源的决策出现错误但经过系统合适的决策层融合后依然可以获得正确的输出，其还具有良好的实时性和高抗干扰能力，高灵活性等优点。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (10)

1.基于表情识别及脑电融合的观影印象检测方法，其特征在于，该方法包括如下过程：

步骤一、采集观影时间段内的观影表情变化视频及脑电信号；

步骤二、根据观影时间段内的观影表情变化视频，获得观看过程中的愉悦程度B1和专注程度B2，并将愉悦程度B1与专注程度B2的乘积作为表情印象指数m₁；

步骤三、对观影时间段内的脑电信号进行傅里叶变化，获得功率谱密度P(w)；再根据功率谱密度P(w)获得各频段的频带能量占比及相关频段的频带能量比；

步骤四、将步骤三获得的各频段的频带能量占比及相关频段的频带能量比送入支持向量机SVM，获得脑电印象指数m₂；

步骤五、利用DS决策融合算法对步骤二获得的表情印象指数m₁和步骤四获得的脑电印象指数m₂进行融合，从而获得决策结果m，并将决策结果m作为观影印象指数。

2.根据权利要求1所述的基于表情识别及脑电融合的观影印象检测方法，其特征在于，步骤二中愉悦程度B1的实现方式包括：

步骤二一一、通过表情识别模型对观影时间段内的观影表情变化视频中的每帧图像进行特征提取，获得每帧图像所对应的观影表情；所述观影表情包括高兴表情和中性表情；

步骤二一二、再根据每帧图像所对应的观影表情获得整个观影过程的愉悦程度B1。

3.根据权利要求2所述的基于表情识别及脑电融合的观影印象检测方法，其特征在于，步骤二一二中，再根据每帧图像所对应的观影表情获得整个观影过程的愉悦程度B1的实现方式包括：

首先、根据每帧图像所对应的观影表情，获得整个观影时间段内高兴表情所对应的时长和中性表情所对应的时长；

其次，将整个观影时间段内高兴表情所对应的时长除以整个观影时间段内中性表情所对应的时长的比值结果，作为愉悦程度B1。

4.根据权利要求1所述的基于表情识别及脑电融合的观影印象检测方法，其特征在于，步骤二中专注程度B2的实现方式包括：

步骤二二一、通过眨眼检测模型获得观影时间段内的眨眼总次数；

步骤二二二、根据观影时间段内的眨眼总次数，获得的平均每分钟眨眼次数n；

步骤二二三、根据平均每分钟眨眼次数n，换算出专注程度B2。

5.根据权利要求4所述的基于表情识别及脑电融合的观影印象检测方法，其特征在于，步骤二二三中、根据平均每分钟眨眼次数n，换算出专注程度B2的实现方式为：

专注程度

6.根据权利要求4所述的基于表情识别及脑电融合的观影印象检测方法，其特征在于，眨眼检测模型采用眨眼检测算法实现。

7.根据权利要求1所述的基于表情识别及脑电融合的观影印象检测方法，其特征在于，步骤三中，根据功率谱密度P(w)，获得各频段的频带能量占比及相关频段的频带能量比的实现方式包括：

步骤三一、将脑电信号依次划分成4个频段，其分别为频段δ、θ、α和β；

步骤三二、根据功率谱密度P(w)，统计脑电信号在频段δ、θ、α和β上分别对应的频带能量E_δ、E_θ、E_α和E_β；其中，w为频率；

步骤三三、分别根据频带能量E_δ、E_θ、E_α和E_β，获得频段δ、θ、α和β分别对应的频带能量E_δ、E_θ、E_α和E_β在总频带能量中的占比R_i，其中，i为变量，i＝δ,θ,α,β；

R_δ为频段δ所对应的频带能量E_δ在总能量中的占比；

R_θ为频段θ所对应的频带能量E_θ在总能量中的占比；

R_α为频段α所对应的频带能量E_α在总能量中的占比；

R_β为频段β所对应的频带能量E_β在总能量中的占比；

步骤三四、根据频带能量E_δ、E_θ、E_α和E_β，获得K_δ-α、K_θ-β和K；其中，

K_δ-α表示频段δ所对应的频带能量E_δ与频段α所对应的频带能量E_α的比值；

K_θ-β表示频段θ所对应的频带能量E_θ与频段β所对应的频带能量E_β的比值；

K表示低频波段频带能量与高频波段频带能量比值。

8.根据权利要求7所述的基于表情识别及脑电融合的观影印象检测方法，其特征在于，步骤三二中，

w的单位为Hz；

步骤三三中，

9.根据权利要求2所述的基于表情识别及脑电融合的观影印象检测方法，其特征在于，步骤二一一中，表情识别模型采用含有Inception结构的深度神经网络实现。

10.根据权利要求1所述的基于表情识别及脑电融合的观影印象检测方法，其特征在于，步骤五中、利用DS决策融合算法对步骤二获得的表情印象指数m₁和步骤四获得的脑电印象指数m₂进行融合，从而获得决策结果m的实现方式为：

K′为冲突因子。

Images