CN112949560A - 双通道特征融合下长视频表情区间连续表情变化识别方法 - Google Patents

双通道特征融合下长视频表情区间连续表情变化识别方法 Download PDF

Info

Publication number
CN112949560A
CN112949560A CN202110316065.7A CN202110316065A CN112949560A CN 112949560 A CN112949560 A CN 112949560A CN 202110316065 A CN202110316065 A CN 202110316065A CN 112949560 A CN112949560 A CN 112949560A
Authority
CN
China
Prior art keywords
expression
time domain
domain sequence
interval
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110316065.7A
Other languages
English (en)
Other versions
CN112949560B (zh
Inventor
邓伟
王德权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Happy Xiaoqing Intelligent Technology Co.,Ltd.
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202110316065.7A priority Critical patent/CN112949560B/zh
Publication of CN112949560A publication Critical patent/CN112949560A/zh
Application granted granted Critical
Publication of CN112949560B publication Critical patent/CN112949560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开双通道特征融合下长视频表情区间连续表情变化识别方法，包括以下步骤：步骤s1：通过有限差分法及关键帧提取法对一段视频进行表情区间划分，获得由若干表情区间所组成的表情区间集合；步骤s2：提取获得每个表情区间的空域序列和时域序列，时域序列为空域序列中的每个表情区间的连续3个图像序列的光流，所述图像大小为256*256且每个表情区间的空域序列和时域序列均包括3张图像；步骤s3：将每个表情区间的空域序列和时域序列分别送入双通道特征融合网络，并通过softmax得到每个表情区间的表情识别结果，最终获得该段视频的连续表情变化的识别结果。本发明能够对1s至30min的视频中的表情变化进行连续性识别且准确率高。

Description

双通道特征融合下长视频表情区间连续表情变化识别方法
技术领域
本发明涉及图像识别技术领域，尤其涉及双通道特征融合下长视频表情区间连续表情变化识别方法。
背景技术
表情识别在人机交互、辅助医疗、机器人制造、商业推广、海关、公共安全、疲劳驾驶、远程教育等领域具有广泛的应用场景，近年来对该课题的研究极为活跃。表情是人类情绪识别重要特征之一，国内外对表情识别都有大量的研究。表情特征提取方法主要分为人工提取特征方法和深度学习提取特征方法。
早期采用的人工提取特征的方法，如：HOG(Histograms of Oriented radients，方向梯度直方图)，LBP(Local Binary attern，局部二值模式)，Gabor WT(WaveletTransform，小波变换)，SIFT(Scale Invariant Feature Transform，尺度不变的特征变换)这些提取特征的方式不能自动提取特征，对前期工作依赖很大，有很多人为干扰。分类模型主要采用VM(Support Vector Machine，支持向量机)、LLE(Local Linear Embedding，局部线性嵌入)、HMM(Hidden Markov Model，隐马尔可夫模型法)等，分类模型的泛化能力也不足。
2014年，Ouellet利用AlexNet深度框架识别人脸表情达到了较好的实时效果。2015年，将CNN与玻尔兹曼机结合对表情进行特征提取，并使用SVM作为分类器，该网络称为UDN(ultra dense network，超密集网络)。2016年，Zhang Feifei等将PCA(PrincipalComponents Analysis，主成分分析网络)与卷积神经网络CNN相结合进行表情识别，解决了多姿态图像的表情识别问题。2019年，李旻择等提出基于多尺度卷积核提取脸部信息，文元美等提出表情识别中使用双通道卷积神经网络，将低层次特征与高层次特征进行融合，解决了网络参数过多的问题。2020年，梁正友，何景琳，孙宇等提出一种用于微表情识别的C3D(Three-Dimensional Convolutional Neural Network Evolution，三维卷积神经网络进化)方法。微表情持续时间在1/25～1/3s，一般在无意识情况下做出的表情，一闪而过，对该段时间的截取是否合理对研究者提出难题。
在表情识别中，对视频序列的表情识别方法很少，在目前对视频的处理中，大多在行为识别，对视频的分段大多是等分的，从每个等分段中随机采用帧，这种方式准确率较低。
发明内容
本发明旨在提供一种能够对1s至30min的视频中的表情变化进行连续性识别且准确率高的双通道特征融合下长视频表情区间连续表情变化识别方法。
为达到上述目的，本发明是采用以下技术方案实现的：
双通道特征融合下长视频表情区间连续表情变化识别方法，包括以下步骤：
步骤s1：通过有限差分法及关键帧提取法对一段视频进行表情区间划分，获得由若干表情区间所组成的表情区间集合；
步骤s2：提取获得每个表情区间的空域序列和时域序列，时域序列为空域序列中的每个表情区间的连续3个图像序列的光流，所述图像大小为256*256且每个表情区间的空域序列和时域序列均包括3张图像；
步骤s3：将每个表情区间的空域序列和时域序列分别送入双通道特征融合网络，并通过softmax得到每个表情区间的表情识别结果，最终获得该段视频的连续表情变化的识别结果；所述双通道特征融合网络包括空域CNN和时域CNN，时域CNN的第一个卷积层的权值取空域CNN第一个卷积层的平均值，其它卷积池化层同空域CNN，在时域CNN的最后一个全连接层与时域CNN的最后一个全连接层进行特征的融合。
优选的，在步骤s1中，所述有限差分法包括以下内容：
Figure BDA0002991236000000031
其中，X(t)为视频中t时刻的帧矩阵；
每个像素点的RGB值表示为
Figure BDA0002991236000000032
则差分矩阵表示为：
Figure BDA0002991236000000041
推导得出：
Figure BDA0002991236000000042
Figure BDA0002991236000000043
通过汉宁窗函数法得到时域函数：
Figure BDA0002991236000000044
其中n表示信号采样点，n＝0,1,2,…N-1，N表示窗口宽度频域函数，也即是时域上的信号幅度值；
Figure BDA0002991236000000045
其中
Figure BDA0002991236000000046
ω为Rad/s，w为时域函数，W代为频域函数，e为自然常数，也即是自然对数函数的底数，j为虚数，j2＝-1。
进一步的，在步骤s1中，所述关键帧提取法包括以下内容：
Si＝F[Peaki:Peaki+1]，
其中，Si为第i个区间，Peaki第i个波峰位置，F表示索引位置所对应的视频帧；表情区间的起帧都在波峰处。
进一步的，在步骤s2中，包括以下步骤：
步骤s201：采用波峰采样、波谷采样或均值采样中的任意一种方法选择表情区间的3张图像作为代表帧且代表帧为连续的3帧图像；
步骤s202：通过不同图像灰度分布变化，得到二维矢量场：
Figure BDA0002991236000000051
其中，E(x,y,t)为t时刻x,y方向上的灰度，E(x+Δx,y+Δx,t+Δt)为经过极小的时间Δt后x，y方向上的灰度；
图像中像素点灰度沿x，y，t方向的梯度如下所示：
Figure BDA0002991236000000052
步骤s203：采用cv2.COLOR_BGR2GRAY对图像进行灰度处理，并对相邻的两张代表帧采用TV-L1光流算法。
进一步的，所述TV-L1光流算法包括以下内容：
F0和F1为连续两帧图像，F0图像上的一个像素点为P＝(x,y)；
TV-L1光流算法的能量函数为：
I0和I1表示连续两帧图像，I0上的一个像素点表示为X＝(x,y)，光流目标就是计算出两幅图像之间的视觉差值，用TV-L1光流算法的能量函数表示如下：
Figure BDA0002991236000000053
其中E表示能量函数，参数λ是一个用来调节数据约束和正则化约束之间的权重，所述数据约束是指I0和I1亮度不变约束，指同一像素点在相邻两帧图像间的灰度差值；
用TV-L1光流算法的能量函数公式的展开后的项式表示如下：
Figure BDA0002991236000000054
所述正则化约束是指运动平滑约束；
用TV-L1光流算法的能量函数公式的展开后项式表示如下：
Figure BDA0002991236000000061
U＝(u,v)是二维运动场，
Figure BDA0002991236000000062
和
Figure BDA0002991236000000063
是图像在x、y两个运动方向上相应的梯度，
Figure BDA0002991236000000064
是相应的二维梯度值，
Figure BDA0002991236000000065
是灰度图I1的梯度；总变分光流能量函数的最小化方法是基于图像去噪的双向求解的数值分析机制来进行；
令：
ρ(U)＝I1(X+U0)+(U-U0)ΔI1-I0；
并带入一个外部的变量U'，TV-L1光流算法的能量函数公式可变为最小化凸函数的方程如下：
Figure BDA0002991236000000066
其中，θ是一个极小的常量，U'无限逼近U，通过交替的更新U'和U进行优化，然后可以通过以下阈值方程变换得到：
Figure BDA0002991236000000067
本发明具有以下有益效果：
1、本发明能够针对1s到30min不等的视频进行表情识别，捕捉视频中的表情变化且准确率较现有技术更高；
2、本发明抛弃了对视频进行等长划分的不合理，采用了关键帧的提取，并基于关键帧进行表情区间的划分，将所获得的空域序列与时域序列送入双通道特征融合网络中，达到了对视频中连续表情识别的预期技术目的。
附图说明
图1为本发明整体框架图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
双通道特征融合下长视频表情区间连续表情变化识别方法，包括以下步骤：
步骤s1：
通过有限差分法及关键帧提取法对一段视频进行表情区间划分，获得由若干表情区间所组成的表情区间集合。
在步骤s1中，所述有限差分法包括以下内容：
Figure BDA0002991236000000071
其中，X(t)为视频中t时刻的帧矩阵；
每个像素点的RGB值表示为
Figure BDA0002991236000000072
则差分矩阵表示为：
Figure BDA0002991236000000073
推导得出：
Figure BDA0002991236000000074
Figure BDA0002991236000000075
通过汉宁窗函数法得到时域函数：
Figure BDA0002991236000000081
其中n表示信号采样点，n＝0,1,2,…N-1，N表示窗口宽度频域函数，也即是时域上的信号幅度值；
Figure BDA0002991236000000082
其中
Figure BDA0002991236000000083
ω为Rad/s，w为时域函数，W代为频域函数，e为自然常数，也即是自然对数函数的底数，j为虚数，j2＝-1。
具体的，在步骤s1中，所述关键帧提取法包括以下内容：
Si＝F[Peaki:Peaki+1]，
其中，Si为第i个区间，Peaki第i个波峰位置，F表示索引位置所对应的视频帧；表情区间的起帧都在波峰处。
步骤s2：
提取获得每个表情区间的空域序列和时域序列，时域序列为空域序列中的每个表情区间的连续3个图像序列的光流，所述图像大小为256*256且每个表情区间的空域序列和时域序列均包括3张图像。
在步骤s2中，包括以下步骤：
步骤s201：采用波峰采样、波谷采样或均值采样中的任意一种方法选择表情区间的3张图像作为代表帧且代表帧为连续的3帧图像；
步骤s202：通过不同图像灰度分布变化，得到二维矢量场：
Figure BDA0002991236000000091
其中，E(x,y,t)为t时刻x,y方向上的灰度，E(x+Δx,y+Δx,t+Δt)为经过极小的时间Δt后x，y方向上的灰度；
图像中像素点灰度沿x，y，t方向的梯度如下所示：
Figure BDA0002991236000000092
步骤s203：采用cv2.COLOR_BGR2GRAY对图像进行灰度处理，并对相邻的两张代表帧采用TV-L1光流算法。
具体的，所述TV-L1光流算法包括以下内容：
F0和F1为连续两帧图像，F0图像上的一个像素点为P＝(x,y)；
TV-L1光流算法的能量函数为：
I0和I1表示连续两帧图像，I0上的一个像素点表示为X＝(x,y)，光流目标就是计算出两幅图像之间的视觉差值，用TV-L1光流算法的能量函数表示如下：
Figure BDA0002991236000000093
其中E表示能量函数，参数λ是一个用来调节数据约束和正则化约束之间的权重，所述数据约束是指I0和I1亮度不变约束，指同一像素点在相邻两帧图像间的灰度差值；
用TV-L1光流算法的能量函数公式的展开后的项式表示如下：
Figure BDA0002991236000000094
所述正则化约束是指运动平滑约束；
用TV-L1光流算法的能量函数公式的展开后项式表示如下：
Figure BDA0002991236000000095
U＝(u,v)是二维运动场，
Figure BDA0002991236000000096
和
Figure BDA0002991236000000097
是图像在x、y两个运动方向上相应的梯度，
Figure BDA0002991236000000101
是相应的二维梯度值，
Figure BDA0002991236000000102
是灰度图I1的梯度；总变分光流能量函数的最小化方法是基于图像去噪的双向求解的数值分析机制来进行；
令：
ρ(U)＝I1(X+U0)+(U-U0)ΔI1-I0；
并带入一个外部的变量U'，TV-L1光流算法的能量函数公式可变为最小化凸函数的方程如下：
Figure BDA0002991236000000103
其中，θ是一个极小的常量，U'无限逼近U，通过交替的更新U'和U进行优化，然后可以通过以下阈值方程变换得到：
Figure BDA0002991236000000104
步骤s3：
将每个表情区间的空域序列和时域序列分别送入双通道特征融合网络，并通过softmax得到每个表情区间的表情识别结果，最终获得该段视频的连续表情变化的识别结果；所述双通道特征融合网络包括空域CNN和时域CNN，时域CNN的第一个卷积层的权值取空域CNN第一个卷积层的平均值，其它卷积池化层同空域CNN，在时域CNN的最后一个全连接层与时域CNN的最后一个全连接层进行特征的融合。
在实际使用过程中，由受试者观看刺激视频，采集得到1秒至30分钟不等的视频，针对目前表情识别主要是针对单张图片且准确率不高的不足，本发明提出一种能够对1s到30分钟不等的视频进行处理的方式，抛弃了对视频进行等长划分的不合理，采用了关键帧的提取，基于关键帧进行表情区间的划分，将获得的空域序列与时域序列送入双通道特征融合网络中，达到了对视频中连续表情的识别，通过实验证明了该方法的有效性。识别过程考虑了图片序列与时间序列在多个表情区间的共同作用。通过相邻帧差分均值法并加窗函数的方式，得到表情变化曲线，从中提取关键帧，表情区间即两个相邻关键帧的区间。并且通过对比表情区间的波峰采样、波谷采样、均值采样方式选择最优的方式形成空域序列与时域序列，将每个表情区间的空域时域序列送入双通道特征融合网络中，经过各自通道的特征提取，在最后一个全连接层按权值进行融合，然后经过softmax算法得到表情的七种分类。实验对比表明，在波谷采样，特征融合权重4:1的情况下，Top-1识别正确率达96.2％。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.双通道特征融合下长视频表情区间连续表情变化识别方法，其特征在于，包括以下步骤：
步骤s1：通过有限差分法及关键帧提取法对一段视频进行表情区间划分，获得由若干表情区间所组成的表情区间集合；
步骤s2：提取获得每个表情区间的空域序列和时域序列，时域序列为空域序列中的每个表情区间的连续3个图像序列的光流，所述图像大小为256*256且每个表情区间的空域序列和时域序列均包括3张图像；
步骤s3：将每个表情区间的空域序列和时域序列分别送入双通道特征融合网络，并通过softmax得到每个表情区间的表情识别结果，最终获得该段视频的连续表情变化的识别结果；所述双通道特征融合网络包括空域CNN和时域CNN，时域CNN的第一个卷积层的权值取空域CNN第一个卷积层的平均值，其它卷积池化层同空域CNN，在时域CNN的最后一个全连接层与时域CNN的最后一个全连接层进行特征的融合。
2.根据权利要求1所述的双通道特征融合下长视频表情区间连续表情变化识别方法，其特征在于：在步骤s1中，所述有限差分法包括以下内容：
Figure FDA0002991235990000011
其中，X(t)为视频中t时刻的帧矩阵；
每个像素点的RGB值表示为
Figure FDA0002991235990000021
则差分矩阵表示为：
Figure FDA0002991235990000022
Figure FDA0002991235990000023
推导得出：
Figure FDA0002991235990000024
Figure FDA0002991235990000025
通过汉宁窗函数法得到时域函数：
Figure FDA0002991235990000026
其中n表示信号采样点，n＝0,1,2,…N-1，N表示窗口宽度频域函数，也即是时域上的信号幅度值；
Figure FDA0002991235990000027
其中
Figure FDA0002991235990000028
ω为Rad/s，w为时域函数，W代为频域函数，e为自然常数，也即是自然对数函数的底数，j为虚数，j2＝-1。
3.根据权利要求2所述的双通道特征融合下长视频表情区间连续表情变化识别方法，其特征在于：在步骤s1中，所述关键帧提取法包括以下内容：
Si＝F[Peaki:Peaki+1]，
其中，Si为第i个区间，Peaki第i个波峰位置，F表示索引位置所对应的视频帧；表情区间的起帧都在波峰处。
4.根据权利要求3所述的双通道特征融合下长视频表情区间连续表情变化识别方法，其特征在于：在步骤s2中，包括以下步骤：
步骤s201：采用波峰采样、波谷采样或均值采样中的任意一种方法选择表情区间的3张图像作为代表帧且代表帧为连续的3帧图像；
步骤s202：通过不同图像灰度分布变化，得到二维矢量场：
Figure FDA0002991235990000031
其中，E(x,y,t)为t时刻x,y方向上的灰度，E(x+Δx,y+Δx,t+Δt)为经过极小的时间Δt后x，y方向上的灰度；
图像中像素点灰度沿x，y，t方向的梯度如下所示：
Figure FDA0002991235990000032
步骤s203：采用cv2.COLOR_BGR2GRAY对图像进行灰度处理，并对相邻的两张代表帧采用TV-L1光流算法。
5.根据权利要求4所述的双通道特征融合下长视频表情区间连续表情变化识别方法，其特征在于：所述TV-L1光流算法包括以下内容：
F0和F1为连续两帧图像，F0图像上的一个像素点为P＝(x,y)；
TV-L1光流算法的能量函数为：
I0和I1表示连续两帧图像，I0上的一个像素点表示为X＝(x,y)，光流目标就是计算出两幅图像之间的视觉差值，用TV-L1光流算法的能量函数表示如下：
Figure FDA0002991235990000041
其中E表示能量函数，参数λ是一个用来调节数据约束和正则化约束之间的权重，所述数据约束是指I0和I1亮度不变约束，指同一像素点在相邻两帧图像间的灰度差值；
用TV-L1光流算法的能量函数公式的展开后的项式表示如下：
Figure FDA0002991235990000042
所述正则化约束是指运动平滑约束；
用TV-L1光流算法的能量函数公式的展开后项式表示如下：
Figure FDA0002991235990000043
U＝(u,v)是二维运动场，
Figure FDA0002991235990000044
和
Figure FDA0002991235990000045
是图像在x、y两个运动方向上相应的梯度，
Figure FDA0002991235990000046
是相应的二维梯度值，
Figure FDA0002991235990000047
是灰度图I1的梯度；总变分光流能量函数的最小化方法是基于图像去噪的双向求解的数值分析机制来进行；
令：
ρ(U)＝I1(X+U0)+(U-U0)ΔI1-I0；
并带入一个外部的变量U'，TV-L1光流算法的能量函数公式可变为最小化凸函数的方程如下：
Figure FDA0002991235990000048
其中，θ是一个极小的常量，U'无限逼近U，通过交替的更新U'和U进行优化，然后可以通过以下阈值方程变换得到：
Figure FDA0002991235990000049
CN202110316065.7A 2021-03-24 2021-03-24 双通道特征融合下长视频表情区间连续表情变化识别方法 Active CN112949560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110316065.7A CN112949560B (zh) 2021-03-24 2021-03-24 双通道特征融合下长视频表情区间连续表情变化识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110316065.7A CN112949560B (zh) 2021-03-24 2021-03-24 双通道特征融合下长视频表情区间连续表情变化识别方法

Publications (2)

Publication Number Publication Date
CN112949560A true CN112949560A (zh) 2021-06-11
CN112949560B CN112949560B (zh) 2022-05-24

Family

ID=76226668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110316065.7A Active CN112949560B (zh) 2021-03-24 2021-03-24 双通道特征融合下长视频表情区间连续表情变化识别方法

Country Status (1)

Country Link
CN (1) CN112949560B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435335A (zh) * 2021-06-28 2021-09-24 平安科技（深圳）有限公司 微观表情识别方法、装置、电子设备及存储介质
CN113591660A (zh) * 2021-07-24 2021-11-02 中国石油大学(华东) 基于元学习的微表情识别方法
CN113642429A (zh) * 2021-07-29 2021-11-12 海南大学 一种基于tpp-tccnn的海洋鱼类识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070237225A1 (en) * 2006-03-30 2007-10-11 Eastman Kodak Company Method for enabling preview of video files
CN108921130A (zh) * 2018-07-26 2018-11-30 聊城大学 基于显著性区域的视频关键帧提取方法
CN109190479A (zh) * 2018-08-04 2019-01-11 台州学院 一种基于混合深度学习的视频序列表情识别方法
CN109409296A (zh) * 2018-10-30 2019-03-01 河北工业大学 将人脸表情识别和语音情感识别融合的视频情感识别方法
CN109947991A (zh) * 2017-10-31 2019-06-28 腾讯科技（深圳）有限公司 一种关键帧提取方法、装置和存储介质
CN110047041A (zh) * 2019-03-04 2019-07-23 辽宁师范大学 一种空—频域联合的交通监控视频去雨方法
CN110096950A (zh) * 2019-03-20 2019-08-06 西北大学 一种基于关键帧的多特征融合行为识别方法
CN110175596A (zh) * 2019-06-04 2019-08-27 重庆邮电大学 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法
CN111401105A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 一种视频表情识别方法、装置及设备
CN111912745A (zh) * 2020-08-11 2020-11-10 湘潭大学 一种通过滴落实验测量液体粘度的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070237225A1 (en) * 2006-03-30 2007-10-11 Eastman Kodak Company Method for enabling preview of video files
CN109947991A (zh) * 2017-10-31 2019-06-28 腾讯科技（深圳）有限公司 一种关键帧提取方法、装置和存储介质
CN108921130A (zh) * 2018-07-26 2018-11-30 聊城大学 基于显著性区域的视频关键帧提取方法
CN109190479A (zh) * 2018-08-04 2019-01-11 台州学院 一种基于混合深度学习的视频序列表情识别方法
CN109409296A (zh) * 2018-10-30 2019-03-01 河北工业大学 将人脸表情识别和语音情感识别融合的视频情感识别方法
CN111401105A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 一种视频表情识别方法、装置及设备
CN110047041A (zh) * 2019-03-04 2019-07-23 辽宁师范大学 一种空—频域联合的交通监控视频去雨方法
CN110096950A (zh) * 2019-03-20 2019-08-06 西北大学 一种基于关键帧的多特征融合行为识别方法
CN110175596A (zh) * 2019-06-04 2019-08-27 重庆邮电大学 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法
CN111912745A (zh) * 2020-08-11 2020-11-10 湘潭大学 一种通过滴落实验测量液体粘度的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SONGTAO DING等: "A long video caption generation algorithm for big video data retrieval", 《FUTURE GENERATION COMPUTER SYSTEMS》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435335A (zh) * 2021-06-28 2021-09-24 平安科技（深圳）有限公司 微观表情识别方法、装置、电子设备及存储介质
CN113591660A (zh) * 2021-07-24 2021-11-02 中国石油大学(华东) 基于元学习的微表情识别方法
CN113642429A (zh) * 2021-07-29 2021-11-12 海南大学 一种基于tpp-tccnn的海洋鱼类识别方法
CN113642429B (zh) * 2021-07-29 2023-07-14 海南大学 一种基于tpp-tccnn的海洋鱼类识别方法

Also Published As

Publication number Publication date
CN112949560B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
Jain et al. Extended deep neural network for facial emotion recognition
CN112949560B (zh) 双通道特征融合下长视频表情区间连续表情变化识别方法
CN106919903B (zh) 一种鲁棒的基于深度学习的连续情绪跟踪方法
CN110287805B (zh) 基于三流卷积神经网络的微表情识别方法及系统
CN110555368B (zh) 基于三维卷积神经网络的跌倒行为识别方法
CN104077579B (zh) 基于专家系统的人脸表情图像识别方法
Ko et al. Development of a Facial Emotion Recognition Method based on combining AAM with DBN
CN107918772B (zh) 基于压缩感知理论和gcForest的目标跟踪方法
CN110399821B (zh) 基于人脸表情识别的顾客满意度获取方法
CN104318221A (zh) 一种基于elm的人脸表情识别方法
CN111476178A (zh) 一种基于2d-3d cnn的微表情识别方法
CN110458235A (zh) 一种视频中运动姿势相似度比对方法
CN111666845A (zh) 基于关键帧采样的小样本深度学习多模态手语识别方法
Lee et al. Face and facial expressions recognition system for blind people using ResNet50 architecture and CNN
Ullah et al. Emotion recognition from occluded facial images using deep ensemble model.
Sheela et al. Iris detection for gaze tracking using video frames
Deng et al. View-invariant gait recognition based on deterministic learning and knowledge fusion
CN113408389A (zh) 一种智能识别司机睡意动作的方法
Kumar et al. Age detection based on facial image using fusion extreme learning machine classifier
Depuru et al. Hybrid CNNLBP using facial emotion recognition based on deep learning approach
Abdulsattar et al. Facial expression recognition using HOG and LBP features with convolutional neural network
Devasena et al. A study of various algorithms for facial expression recognition: A review
CN111325131B (zh) 基于自适应去除过渡帧深度网络的微表情检测方法
Yang et al. Combining attention mechanism and dual-stream 3d convolutional neural network for micro-expression recognition
MOUSAVI A SPATIAL AND FREQUENCY BASED METHOD FOR MICRO FACIAL EXPRESSIONS RECOGNITION USING COLOR AND DEPTH IMAGES

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Wang Dequan

Inventor after: Deng Wei

Inventor before: Deng Wei

Inventor before: Wang Dequan

CB03 Change of inventor or designer information
TR01 Transfer of patent right

Effective date of registration: 20230515

Address after: Room 701, 7th Floor, Building 1, No. 11-1, Section 4, Renmin South Road, Wuhou District, Chengdu City, Sichuan Province, 610000

Patentee after: Chengdu Happy Xiaoqing Intelligent Technology Co.,Ltd.

Address before: No. 37, Wuhou District National School Lane, Chengdu, Sichuan Province

Patentee before: WEST CHINA HOSPITAL, SICHUAN University

TR01 Transfer of patent right