CN113408355B - 一种基于三支决策和光流过滤机制的微表情压缩方法 - Google Patents

一种基于三支决策和光流过滤机制的微表情压缩方法 Download PDF

Info

Publication number
CN113408355B
CN113408355B CN202110550533.7A CN202110550533A CN113408355B CN 113408355 B CN113408355 B CN 113408355B CN 202110550533 A CN202110550533 A CN 202110550533A CN 113408355 B CN113408355 B CN 113408355B
Authority
CN
China
Prior art keywords
optical flow
video
expression
micro
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110550533.7A
Other languages
English (en)
Other versions
CN113408355A (zh
Inventor
徐健锋
吴俊杰
王振
左柯
雷洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN202110550533.7A priority Critical patent/CN113408355B/zh
Publication of CN113408355A publication Critical patent/CN113408355A/zh
Application granted granted Critical
Publication of CN113408355B publication Critical patent/CN113408355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1744Redundancy elimination performed by the file system using compression, e.g. sparse files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于三支决策和光流过滤机制的微表情压缩方法,该方法包括:首先,对于每段微表情视频的微表情视频片段集合V={v1,v2,…,vt}获取视频片段间的光流O={o1,o2,…,ot‑1}。接着,计算每张光流的横向位移
Figure DDA0003075249810000011
与纵向位移
Figure DDA0003075249810000012
联合作用函数进行光流加权。然后,联合三支决策调节三支化阈值(α,β)对光流进行NEG域,BND域及POS域光流的迭代筛选,当达到收敛条件联合BND域及POS域按序生成最终光流集合。最后,通过联合BND域及POS域完成视频压缩。本发明将粗糙集概率决策引入微表情领域,通过粗糙集进行信息决策,拓展了微表情研究新方向。本发明依据光流变化权重对图片信息进行去冗余,有效压缩视频片段信息,提升信息间的语义表达。

Description

一种基于三支决策和光流过滤机制的微表情压缩方法
技术领域
本发明属于计算机视觉领域,具体是一种基于三支决策和光流过滤机制的微表情压缩方法。
背景技术
微表情是一种微妙的、无意识的面部表情,通常受到一些复杂的环境、人为等因素的影响,并在无意识的情况下产生。微表情相对于宏表情具有隐秘性,一般难以觉察,实际上由于人类的身体特性,这种无意识的面部表情会通过一种极其快速且微妙的脸部动作表现出来。微表情泄露性的表达了人们压抑、试图隐藏的真实情绪,目前的微表情主要由几个基本的情绪构成,包括开心、愤怒、厌恶、恐惧、惊讶和其他。微表情是一种归属于生理性的反应行为,因此其表露出的是不可控的真实的心理状态。
通过微表情相关数据分析可以发现,视频中包含大量图像具有较低的语义信息,这些图像没有表达且形态语义变化很小。根据微表情视频数据分析可知,微表情发生的区域主要集中在开始帧到偏移帧,在顶点帧中达到语义的高峰。因此,未做处理的数据中包含大量的低质量和不平衡数据。
发明内容
本发明提供一种基于三支决策和光流过滤机制的微表情压缩方法,利用光流属性进行加权函数的定义,再基于粗糙集概率决策方法提出了一种具有去冗余、压缩视频功能的微表情研究方法。
本发明是通过以下技术方案实现的:
一种基于三支决策和光流过滤机制的微表情压缩方法,包括如下步骤:
S1:选取微表情数据集A={V1,V2,V3,…Vt}进行图像的补齐、统一大小、图像灰值化等预处理;
S2:采用MTCNN多任务级联神经网络对V1,V2,V3,…Vt视频片段图片进行脸部区域的定位裁剪,并统一图片大小;
S3:对每一段视频Vi={v1,v2,…,vt}对于每俩个连续的视频片段vi和vi+1都有oi生成,视频Vi转变为光流集合Oi={o1,o2,…,ot-1};
S4:对于Oi={o1,o2,…,ot-1}获取每一张光流的横向位移
Figure BDA0003075249790000021
和纵向位移
Figure BDA0003075249790000022
通过如下表达式计算每一张光流的强度,其中W代表横向像素,H代表纵向像素大小;
Figure BDA0003075249790000023
S5:对当前光流oi获取当前光流下的平均像素强度
Figure BDA0003075249790000024
其表达式如下所示:
Figure BDA0003075249790000025
S6:采用作用加权函数对每张光流oi进行加权赋值,其赋值表达是如下所示:
Figure BDA0003075249790000026
S7:重复S3-S6对每一个视频片段集进行光流处理加权,可以获取每一个视频集合Vi所对应的光流加权集合ωi
S8:定义三支阈值(α,β)通过对ωi集合进行分支筛选,其规则定义为:
Figure BDA0003075249790000027
时,光流oi划分为NEG(α,β)(O)域集;
Figure BDA0003075249790000028
时,光流oi划分为BND(α,β)(O)域集;
Figure BDA0003075249790000029
时,光流oi划分为POS(α,β)(O)域集;
S9:根据光流分支规则获取视频片段集,其规则定义为:
当oi∈POS(α,β)(O)时,视频片段vi+1被定义为vi+1∈POS(α,β)(V);
当oi∈BND(α,β)(O)时,视频片段vi+1被定义为vi+1∈BND(α,β)(V);
当oi∈NEGα(O)时,视频片段vi+1被定义为vi+1∈NEG(α,β)(V);
S10:根据光流集BND(α,β)(V)∪POS(α,β)(V)更新视频片段集,并进行基于时间序列进行视频片段重排序整合,获取新的视频片段序列集合V;
S11:定义收敛系数η,重复S3-S10步骤次数达到收敛系数或者NEG(α,β)(O)域集数据在自增长阈值状态下保持为0,停止迭代;
S12:获得高质量语义视频片段集,获取高质量视频片段集合V;
S13:对基于光流过滤下的视频V进行基于动态视频下的纹理特征提取,获得在空间平面XY和时空平面XT,YT的三个平面上的视频特征值,其表达式所下所示:
Figure BDA0003075249790000031
S14:采用分类器对S13获取的视频特征进行训练,获取微表情识别模型用于微表情最终识别。
本发明相对于现有技术具有以下优点:
1.本发明将粗糙集概率决策引入微表情领域,通过粗糙集进行信息决策,拓展了微表情研究新方向。
2.本发明依据光流变化权重对图片信息进行去冗余,有效压缩视频片段信息,提升信息间的语义表达。
附图说明
图1是本发明的基本流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明技术方案,并不限于本发明。
如图1所示的基于三支决策和光流过滤机制的微表情压缩方法基本流程图,本发明将通过以下实施例作进一步说明。
1.以微表情CASMEII数据集作为实验数据,其中包括26个参与者,256个微表情视频文件V={V1,V2,V3,…V256},微表情标签中包含开心、厌恶、恐惧、悲伤和其他5大类表情标签。并定义初始化迭代阈值η=5,统计次数S=0,阈值(α,β)=(0.35,0.6)。
2.针对于视频文件V1={v1,v2,…,v290},其由290张视频帧图片构成,依据光流提取规则可获取光流集合O={o1,o2,…,o289},共289张光流来表示图片间的语义变化关系。
3.利用S4-S6所定义的光流加权函数对O={o1,o2,…,o289}进行权重计算获得光流权重集合
Figure BDA0003075249790000041
4.对于
Figure BDA0003075249790000042
依据阈值(α,β)=(0.35,0.6)进行光流过滤。
5.对ω(O)进行遍历,根据步骤S8,当
Figure BDA0003075249790000043
时,光流oi划分为NEG(α,β)(O)域集,
Figure BDA0003075249790000044
时划分为光流oi划分为BND(α,β)(O)域集,反之光流oi划分为POS(α,β)(O)。
6.根据步骤S9,将视频帧依据光流分类进行类别划分为POS(α,β)(V),BND(α,β)(V)和NEG(α,β)(V)。
7.重复步骤2-6,每完成一次迭代阈值α增长0.02且S+1,直到统计次数迭代次数S≥η停止。
8.合并POS(α,β)(V)和BND(α,β)(V)并重新进行排序完成视频V1压缩为V1′={v1′,v2′,…,v′207},其中v1′,v′2,…,v′207为重新排序的图片编号。
9.同理对视频V的其他视频依据步骤2-8进行过滤操作,得到新的压缩视频文件V′={V1′,V2′,V3′,…V′256}。
10.提取V′特征Hα,β用于分类识别,获取识别率效果在51%左右。
以上所述仅表达了本发明的优选实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形、改进及替代,这些都属于本发明的保护范围。因此本发明专利的保护范围应以所附权利要求为准。

Claims (1)

1.一种基于三支决策和光流过滤机制的微表情压缩方法,其特征在于:包括如下步骤:
S1:选取微表情数据集A={V1,V2,V3,…Vt}进行图像的补齐、统一大小、图像灰值化预处理;
S2:采用MTCNN多任务级联神经网络对V1,V2,V3,…Vt视频片段图片进行脸部区域的定位裁剪,并统一图片大小;
S3:对每一段视频Vi={v1,v2,…,vt}对于每两个连续的视频片段vi和vi+1都有oi生成,视频Vi转变为光流集合Oi={o1,o2,…,ot-1};
S4:对于Oi={o1,o2,…,ot-1}获取每一张光流的横向位移
Figure FDA0003075249780000011
和纵向位移
Figure FDA0003075249780000012
通过如下表达式计算每一张光流的强度,其中W代表横向像素,H代表纵向像素大小;
Figure FDA0003075249780000013
S5:对当前光流oi获取当前光流下的平均像素强度
Figure FDA0003075249780000014
其表达式如下所示:
Figure FDA0003075249780000015
S6:采用作用加权函数对每张光流oi进行加权赋值,其赋值表达是如下所示:
Figure FDA0003075249780000016
S7:重复S3-S6对每一个视频片段集进行光流处理加权,获取每一个视频集合Vi所对应的光流加权集合ωi
S8:定义三支阈值(α,β)通过对ωi集合进行分支筛选,其规则定义为:
Figure FDA0003075249780000021
时,光流oi划分为NEG(α,β)(O)域集;
Figure FDA0003075249780000022
时,光流oi划分为BND(α,β)(O)域集;
Figure FDA0003075249780000023
时,光流oi划分为POS(α,β)(O)域集;
S9:根据光流分支规则获取视频片段集,其规则定义为:
当oi∈POS(α,β)(O)时,视频片段vi+1被定义为vi+1∈POS(α,β)(V);
当oi∈BND(α,β)(O)时,视频片段vi+1被定义为vi+1∈BND(α,β)(V);
当oi∈NEGα(O)时,视频片段vi+1被定义为vi+1∈NEG(α,β)(V);
S10:根据光流集BND(α,β)(V)∪POS(α,β)(V)更新视频片段集,并进行基于时间序列进行视频片段重排序整合,获取新的视频片段序列集合V;
S11:定义收敛系数η,重复S3-S10步骤次数达到收敛系数或者NEG(α,β)(O)域集数据在自增长阈值状态下保持为0,停止迭代;
S12:获得高质量语义视频片段集,获取高质量视频片段集合V;
S13:对基于光流过滤下的视频V进行基于动态视频下的纹理特征提取,获得在空间平面XY和时空平面XT,YT的三个平面上的视频特征值,其表达式所下所示:
Figure FDA0003075249780000024
S14:采用分类器对S13获取的视频特征进行训练,获取微表情识别模型用于微表情最终识别。
CN202110550533.7A 2021-05-20 2021-05-20 一种基于三支决策和光流过滤机制的微表情压缩方法 Active CN113408355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110550533.7A CN113408355B (zh) 2021-05-20 2021-05-20 一种基于三支决策和光流过滤机制的微表情压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110550533.7A CN113408355B (zh) 2021-05-20 2021-05-20 一种基于三支决策和光流过滤机制的微表情压缩方法

Publications (2)

Publication Number Publication Date
CN113408355A CN113408355A (zh) 2021-09-17
CN113408355B true CN113408355B (zh) 2022-04-12

Family

ID=77678964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110550533.7A Active CN113408355B (zh) 2021-05-20 2021-05-20 一种基于三支决策和光流过滤机制的微表情压缩方法

Country Status (1)

Country Link
CN (1) CN113408355B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563323A (zh) * 2017-08-30 2018-01-09 华中科技大学 一种视频人脸特征点定位方法
CN109784143A (zh) * 2018-11-27 2019-05-21 中国电子科技集团公司第二十八研究所 一种基于光流法的微表情分类方法
CN110942037A (zh) * 2019-11-29 2020-03-31 河海大学 一种用于视频分析中的动作识别方法
CN111626179A (zh) * 2020-05-24 2020-09-04 中国科学院心理研究所 一种基于光流叠加的微表情检测方法
CN112199997A (zh) * 2020-09-07 2021-01-08 青岛海信移动通信技术股份有限公司 一种终端及工具处理方法
CN112446348A (zh) * 2020-12-08 2021-03-05 电子科技大学 一种基于特征谱流的行为识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10824877B2 (en) * 2017-06-29 2020-11-03 Texas Instruments Incorporated Hierarchical data organization for dense optical flow processing in a computer vision system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563323A (zh) * 2017-08-30 2018-01-09 华中科技大学 一种视频人脸特征点定位方法
CN109784143A (zh) * 2018-11-27 2019-05-21 中国电子科技集团公司第二十八研究所 一种基于光流法的微表情分类方法
CN110942037A (zh) * 2019-11-29 2020-03-31 河海大学 一种用于视频分析中的动作识别方法
CN111626179A (zh) * 2020-05-24 2020-09-04 中国科学院心理研究所 一种基于光流叠加的微表情检测方法
CN112199997A (zh) * 2020-09-07 2021-01-08 青岛海信移动通信技术股份有限公司 一种终端及工具处理方法
CN112446348A (zh) * 2020-12-08 2021-03-05 电子科技大学 一种基于特征谱流的行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"A Micro-expression Recognition Algorithm for Students in Classroom Learning Based on Convolutional Neural Network";Jiayin Pei;《Traitement du Signal》;20191231;第36卷(第6期);第557-563页 *
"基于深度学习的视觉显著性检测研究";温洪发;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210115(第01期);第I138-1701页 *

Also Published As

Publication number Publication date
CN113408355A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
Youssif et al. Arabic sign language (arsl) recognition system using hmm
CN110084266B (zh) 一种基于视听特征深度融合的动态情感识别方法
CN111832431A (zh) 一种基于cnn的情绪脑电分类方法
Sabeenian et al. Sign language recognition using deep learning and computer vision
Zhao et al. Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection
CN112633288B (zh) 一种基于绘画笔触指导的人脸素描生成方法
Manikandan et al. Sign language recognition using machine learning
Cornejo et al. Recognition of occluded facial expressions based on CENTRIST features
CN109522865A (zh) 一种基于深度神经网络的特征加权融合人脸识别方法
CN105608440B (zh) 基于最小化误差的面部微表情序列特征抽取方法
Tur et al. Isolated sign recognition with a siamese neural network of RGB and depth streams
CN113408355B (zh) 一种基于三支决策和光流过滤机制的微表情压缩方法
Ito et al. A method of classifying Japanese sign language using gathered image generation and convolutional neural networks
Haidar et al. Glove Based American Sign Language Interpretation Using Convolutional Neural Network and Data Glass
Sidorov et al. Feature and decision level audio-visual data fusion in emotion recognition problem
Fidaleo et al. CoArt: coarticulation region analysis for control of 2D characters
Mahto et al. Effectual Approach for Facial Expression Recognition System
Tarannum et al. Human expression recognition based on facial features
Farmohammadi et al. Facial expression recognition based on facial motion patterns
Hussein et al. Study of image-based expression recognition techniques on three recent spontaneous databases
Suthar et al. A literature survey on facial expression recognition techniques using appearance based features
Swetha et al. Tamil Sign Language Recognition using Machine Learning to Aid Deaf and Dumb People
Hu et al. A Preprocessing Method of Facial Expression Image under Different Illumination
Mehrjardi et al. A Facial Motion Capture System Based on Neural Network Classifier Using RGB-D Data
Rathi et al. Facial Expression Recognition A Survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant