CN113408355B - 一种基于三支决策和光流过滤机制的微表情压缩方法 - Google Patents

Abstract

本发明提供了一种基于三支决策和光流过滤机制的微表情压缩方法，该方法包括：首先，对于每段微表情视频的微表情视频片段集合V＝{v₁,v₂,…,v_t}获取视频片段间的光流O＝{o₁,o₂,…,o_t‑1}。接着，计算每张光流的横向位移

与纵向位移

联合作用函数进行光流加权。然后，联合三支决策调节三支化阈值(α,β)对光流进行NEG域，BND域及POS域光流的迭代筛选，当达到收敛条件联合BND域及POS域按序生成最终光流集合。最后，通过联合BND域及POS域完成视频压缩。本发明将粗糙集概率决策引入微表情领域，通过粗糙集进行信息决策，拓展了微表情研究新方向。本发明依据光流变化权重对图片信息进行去冗余，有效压缩视频片段信息，提升信息间的语义表达。

Description

一种基于三支决策和光流过滤机制的微表情压缩方法

技术领域

本发明属于计算机视觉领域，具体是一种基于三支决策和光流过滤机制的微表情压缩方法。

背景技术

微表情是一种微妙的、无意识的面部表情，通常受到一些复杂的环境、人为等因素的影响，并在无意识的情况下产生。微表情相对于宏表情具有隐秘性，一般难以觉察，实际上由于人类的身体特性，这种无意识的面部表情会通过一种极其快速且微妙的脸部动作表现出来。微表情泄露性的表达了人们压抑、试图隐藏的真实情绪，目前的微表情主要由几个基本的情绪构成，包括开心、愤怒、厌恶、恐惧、惊讶和其他。微表情是一种归属于生理性的反应行为，因此其表露出的是不可控的真实的心理状态。

通过微表情相关数据分析可以发现，视频中包含大量图像具有较低的语义信息，这些图像没有表达且形态语义变化很小。根据微表情视频数据分析可知，微表情发生的区域主要集中在开始帧到偏移帧，在顶点帧中达到语义的高峰。因此，未做处理的数据中包含大量的低质量和不平衡数据。

发明内容

本发明提供一种基于三支决策和光流过滤机制的微表情压缩方法，利用光流属性进行加权函数的定义，再基于粗糙集概率决策方法提出了一种具有去冗余、压缩视频功能的微表情研究方法。

本发明是通过以下技术方案实现的：

一种基于三支决策和光流过滤机制的微表情压缩方法，包括如下步骤：

S1:选取微表情数据集A＝{V₁,V₂,V₃,…V_t}进行图像的补齐、统一大小、图像灰值化等预处理；

S2:采用MTCNN多任务级联神经网络对V₁,V₂,V₃,…V_t视频片段图片进行脸部区域的定位裁剪,并统一图片大小；

S3:对每一段视频V_i＝{v₁,v₂,…,v_t}对于每俩个连续的视频片段v_i和v_i+1都有o_i生成,视频V_i转变为光流集合O_i＝{o₁,o₂,…,o_t-1}；

S4:对于O_i＝{o₁,o₂,…,o_t-1}获取每一张光流的横向位移

和纵向位移

通过如下表达式计算每一张光流的强度,其中W代表横向像素，H代表纵向像素大小；

S5:对当前光流o_i获取当前光流下的平均像素强度

其表达式如下所示：

S6:采用作用加权函数对每张光流o_i进行加权赋值，其赋值表达是如下所示：

S7:重复S3-S6对每一个视频片段集进行光流处理加权，可以获取每一个视频集合V_i所对应的光流加权集合ω_i；

S8:定义三支阈值(α,β)通过对ω_i集合进行分支筛选，其规则定义为：

当

时，光流o_i划分为NEG_(α,β)(O)域集；

当

时，光流o_i划分为BND_(α,β)(O)域集；

当

时，光流o_i划分为POS_(α,β)(O)域集；

S9:根据光流分支规则获取视频片段集,其规则定义为:

当o_i∈POS_(α,β)(O)时,视频片段v_i+1被定义为v_i+1∈POS_(α,β)(V)；

当o_i∈BND_(α,β)(O)时,视频片段v_i+1被定义为v_i+1∈BND_(α,β)(V)；

当o_i∈NEG_α(O)时,视频片段v_i+1被定义为v_i+1∈NEG_(α,β)(V)；

S10:根据光流集BND_(α,β)(V)∪POS_(α,β)(V)更新视频片段集,并进行基于时间序列进行视频片段重排序整合,获取新的视频片段序列集合V；

S11：定义收敛系数η，重复S3-S10步骤次数达到收敛系数或者NEG_(α,β)(O)域集数据在自增长阈值状态下保持为0，停止迭代；

S12：获得高质量语义视频片段集,获取高质量视频片段集合V；

S13:对基于光流过滤下的视频V进行基于动态视频下的纹理特征提取,获得在空间平面XY和时空平面XT，YT的三个平面上的视频特征值,其表达式所下所示:

S14:采用分类器对S13获取的视频特征进行训练,获取微表情识别模型用于微表情最终识别。

本发明相对于现有技术具有以下优点：

1.本发明将粗糙集概率决策引入微表情领域，通过粗糙集进行信息决策，拓展了微表情研究新方向。

2.本发明依据光流变化权重对图片信息进行去冗余，有效压缩视频片段信息，提升信息间的语义表达。

附图说明

图1是本发明的基本流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明技术方案，并不限于本发明。

如图1所示的基于三支决策和光流过滤机制的微表情压缩方法基本流程图，本发明将通过以下实施例作进一步说明。

1.以微表情CASMEII数据集作为实验数据，其中包括26个参与者，256个微表情视频文件V＝{V₁,V₂,V₃,…V₂₅₆}，微表情标签中包含开心、厌恶、恐惧、悲伤和其他5大类表情标签。并定义初始化迭代阈值η＝5，统计次数S＝0，阈值(α,β)＝(0.35,0.6)。

2.针对于视频文件V₁＝{v₁,v₂,…,v₂₉₀}，其由290张视频帧图片构成，依据光流提取规则可获取光流集合O＝{o₁,o₂,…,o₂₈₉}，共289张光流来表示图片间的语义变化关系。

3.利用S4-S6所定义的光流加权函数对O＝{o₁,o₂,…,o₂₈₉}进行权重计算获得光流权重集合

4.对于

依据阈值(α,β)＝(0.35,0.6)进行光流过滤。

5.对ω(O)进行遍历，根据步骤S8，当

时，光流o_i划分为NEG_(α,β)(O)域集，

时划分为光流o_i划分为BND_(α,β)(O)域集，反之光流o_i划分为POS_(α,β)(O)。

6.根据步骤S9，将视频帧依据光流分类进行类别划分为POS_(α,β)(V)，BND_(α,β)(V)和NEG_(α,β)(V)。

7.重复步骤2-6,每完成一次迭代阈值α增长0.02且S+1,直到统计次数迭代次数S≥η停止。

8.合并POS_(α,β)(V)和BND_(α,β)(V)并重新进行排序完成视频V₁压缩为V₁′＝{v₁′,v₂′,…,v′₂₀₇}，其中v₁′,v′₂,…,v′₂₀₇为重新排序的图片编号。

9.同理对视频V的其他视频依据步骤2-8进行过滤操作，得到新的压缩视频文件V′＝{V₁′,V₂′,V₃′,…V′₂₅₆}。

10.提取V′特征H_α,β用于分类识别，获取识别率效果在51％左右。

以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此本发明专利的保护范围应以所附权利要求为准。

Claims (1)

1.一种基于三支决策和光流过滤机制的微表情压缩方法，其特征在于：包括如下步骤：

S1:选取微表情数据集A＝{V₁,V₂,V₃,…V_t}进行图像的补齐、统一大小、图像灰值化预处理；

S2:采用MTCNN多任务级联神经网络对V₁,V₂,V₃,…V_t视频片段图片进行脸部区域的定位裁剪,并统一图片大小；

S3:对每一段视频V_i＝{v₁,v₂,…,v_t}对于每两个连续的视频片段v_i和v_i+1都有o_i生成,视频V_i转变为光流集合O_i＝{o₁,o₂,…,o_t-1}；

S4:对于O_i＝{o₁,o₂,…,o_t-1}获取每一张光流的横向位移

和纵向位移

通过如下表达式计算每一张光流的强度，其中W代表横向像素，H代表纵向像素大小；

S5:对当前光流o_i获取当前光流下的平均像素强度

其表达式如下所示：

S6:采用作用加权函数对每张光流o_i进行加权赋值，其赋值表达是如下所示：

S7:重复S3-S6对每一个视频片段集进行光流处理加权，获取每一个视频集合V_i所对应的光流加权集合ω_i；

S8:定义三支阈值(α,β)通过对ω_i集合进行分支筛选，其规则定义为：

当

时，光流o_i划分为NEG_(α,β)(O)域集；

当

时，光流o_i划分为BND_(α,β)(O)域集；

当

时，光流o_i划分为POS_(α,β)(O)域集；

S9:根据光流分支规则获取视频片段集,其规则定义为:

当o_i∈POS_(α,β)(O)时,视频片段v_i+1被定义为v_i+1∈POS_(α,β)(V)；

当o_i∈BND_(α,β)(O)时,视频片段v_i+1被定义为v_i+1∈BND_(α,β)(V)；

当o_i∈NEG_α(O)时,视频片段v_i+1被定义为v_i+1∈NEG_(α,β)(V)；

S10:根据光流集BND_(α,β)(V)∪POS_(α,β)(V)更新视频片段集,并进行基于时间序列进行视频片段重排序整合,获取新的视频片段序列集合V；

S11：定义收敛系数η，重复S3-S10步骤次数达到收敛系数或者NEG_(α,β)(O)域集数据在自增长阈值状态下保持为0，停止迭代；

S12：获得高质量语义视频片段集,获取高质量视频片段集合V；

S13:对基于光流过滤下的视频V进行基于动态视频下的纹理特征提取,获得在空间平面XY和时空平面XT，YT的三个平面上的视频特征值,其表达式所下所示:

S14:采用分类器对S13获取的视频特征进行训练,获取微表情识别模型用于微表情最终识别。

Images