CN110175596A - 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法 - Google Patents

基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法 Download PDF

Info

Publication number
CN110175596A
CN110175596A CN201910481703.3A CN201910481703A CN110175596A CN 110175596 A CN110175596 A CN 110175596A CN 201910481703 A CN201910481703 A CN 201910481703A CN 110175596 A CN110175596 A CN 110175596A
Authority
CN
China
Prior art keywords
micro
expression
image
light stream
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910481703.3A
Other languages
English (en)
Other versions
CN110175596B (zh
Inventor
蔡林沁
董伟
周思桐
王俪瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Haoze Information Technology Co ltd
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201910481703.3A priority Critical patent/CN110175596B/zh
Publication of CN110175596A publication Critical patent/CN110175596A/zh
Application granted granted Critical
Publication of CN110175596B publication Critical patent/CN110175596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法，包括以下步骤：S1：微表情数据的预处理：对微表情视频进行欧拉视频放大并抽取图像序列，对图像序列进行人脸定位并裁剪，得到微表情的RGB数据；将欧拉视频放大后的数据提取光流信息，得到微表情的光流图像；S2：将预处理后的数据分为训练集和测试集两部分并使用迁移学习的方法构建双流卷积神经网络，以学习到微表情的空间与时域信息；S3：将双流卷积神经网络的输出进行最大值融合，以增强识别准确率，得到最终的微表情识别模型；S4：使用微表情识别模型创建虚拟学习环境交互系统，并通过Kinect获取用户面部图像序列进行微表情识别任务。

Description

基于双流卷积神经网络的虚拟学习环境微表情识别与交互 方法
技术领域
本发明属于人工智能领域，涉及一种基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法。
背景技术
情绪在日常生活中的作用非常重要，它可以反映出人的情感状态，并可通过面部表情、声音、肢体语言等方式表现。其中，面部表情是情绪表达中最为重要的方式，也能辅助其他表达方式，因此受到广泛关注。然而，在很多情况下，面部表情往往容易被掩盖或抑制，产生持续时间短，动作幅度小的微表情。这是一种快速的面部表情，持续时间仅有0.5s，动作幅度小且不对称。微表情的识别可以有效地帮助人们更加精确的捕捉人类的真实情感，但是，通常需要专业的心理学者经过大量的训练才能识别微表情。因此，微表情的自动识别与研究显得尤为重要，并在测谎、在线教育、商业谈判等领域有广泛的应用前景。
由于微表情数据为图像序列，单幅图像的表情识别模型已不能有效地识别，且微表情公开数据集的样本数量较少。所以，目前微表情的识别方法以传统机器学习为主，大致分为以下几类：基于局部二值模式(Local binary patterns,LBP)的三维拓展及相关改进方法的识别，LBP是一种针对二维图像的纹理提取方式，将LBP编码拓展到XY、XT、YT三个正交平面进行微表情的特征提取；基于光流场特征识别，及基于张量识别等，再通过支持向量机、最近邻、随机森林等分类器进行分类。这些识别方法需要在微表情的预处理与特征提取阶段消耗大量人力，且识别准确率并未有效提升。
近年来，深度学习在计算机视觉和自然语言处理领域中表现优异，进而成为专家学者广泛研究的对象。深度学习较传统机器学习的主要优点为：特征提取阶段不依赖人工，而是通过构建神经网络让机器自主学习到对象的特征，使得到的训练模型更具泛化能力。然而，由于微表情运动幅度小、持续时间短的特点，常规网络结构不能很好的学习微表情中的时域特征。
因此，使用欧拉放大技术将原始数据进行处理，以增强面部运动幅度；并采用一种新型网络结构可用来识别微表情。该结构由两个卷积神经网络组成，基本思想是将图像序列拆分为表现流和运动流两个通道分别处理，达到空间信息和时间信息互补的目的。使用更精确的TV-L1光流估计方法计算两张相邻微表情图像的光流，能够反映出微表情序列中的时域信息。同时，采用迁移学习的方法进行模型训练，可在一定程度上避免由训练样本数量不足而产生的过拟合现象。使用VGG-16预训练模型初始化网络参数，并利用微表情数据库微调，得到目标任务网络模型。VGG-16预训练模型是由ImageNet数据库训练得到的，该数据库有丰富的图像数据，模型能够很好地获取图像中的低级、局部特征，有较强的泛化能力。并将两个网络的Softmax层的输出进行最大值融合，进一步增加了识别准确率。
创建实时虚拟学习环境交互系统，可实现微表情的实时检测与分类。Kinect是微软公司推出的一款体感设备，可以提供更加自然的人机交互方式，相比其他设备，提高了对周围环境的理解能力。使用Kinect实时采集用户面部图像序列并进行欧拉视频放大、光流分析等处理，输入至训练好的模型中，系统将快速返回微表情识别结果，如开心、压抑、难过、惊讶和其他，并在场景中出现相应交互动画。根据识别结果，教师可及时调整授课策略，保障并提高学生的学习效率，改善学习效果。
综上所述，微表情的应用场景广泛，快速、有较地识别微表情仍是未来一段时间的发展方向。增加微表情的应用场景、优化网络结构并提高模型的识别精确率显得尤为重要。
发明内容
有鉴于此，本发明的目的在于提供一种有效增加网络学习能力，提升实时微表情识别系统的性能，并基于迁移学习的方法创建实时微表情识别的虚拟学习环境交互系统。
为达到上述目的，本发明提供如下技术方案：
一种基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法，包括以下步骤：
S1：微表情数据的预处理：对微表情视频进行欧拉视频放大并抽取图像序列，对图像序列进行人脸定位并裁剪，得到微表情的RGB数据；将欧拉视频放大后的数据提取光流信息，得到微表情的光流图像；
S2：将预处理后的数据分为训练集和测试集两部分并使用迁移学习的方法构建双流卷积神经网络，以学习到微表情的空间与时域信息；
S3：将双流卷积神经网络的输出进行最大值融合，以增强识别准确率，得到最终的微表情识别模型；
S4：使用微表情识别模型创建虚拟学习环境交互系统，并通过Kinect获取用户面部图像序列进行微表情识别任务。
进一步，步骤S1包括以下步骤：
S11：选取无限脉冲响应滤波器IIR将微表情数据库CASME II进行欧拉视频放大处理，欧拉视频放大技术首先要对输入的视频序列进行空间滤波，再对每个空间频率的基带进行时域滤波处理,可将增强视频中物体的运动幅度。令I(x,t)表示位置x和时间t的图像强度，由于图像经历平移运动，可以用δ(t)表示相对位移函数F(x)。运动放大的目的是合成信号：其中，α表示放大系数。此处选取无限脉冲响应(Infinite Impulse Response,IIR)滤波器，放大倍数为20，将处理好的视频逐帧抽取图像，得到微表情的图像序列；
S12：使用主动形状模型ASM对处理后的微表情图像进行人脸检测定位，并裁剪成大小为224*224的人脸图像；
S13：将欧拉放大后的微表情图像序列划分为多段，并使用基于总变分(TotalVariation,TV)和L1范数的光流估计方法TV-L1进行光流分析，得到微表情的光流图像，光流是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧与当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。得到的光流数据是和RGB图像尺寸相等的多通道图像，设I(x,y,z)表示时刻t的点(x,y)的图像强度，这个点将在t+Δt时刻移动到(x+Δx,y+Δy)，图像强度表示为I(x+Δx,y+Δy,t+Δt)，令v＝(vx,vy)表示两帧的光流，其中vx和vy是x和y的运动速度分量，则光流的约束方程为：Ixvx+Iyvy+It＝0。
进一步，步骤S2包括以下步骤：
S21：将预处理后的数据与标签，以7:3的比例划分为训练集和测试集两部分，且数据不交叉出现；
S22：双流卷积神经网络由两个卷积神经网络组成，对应着空间神经网络与时间神经网络，可分别输入RGB图像与光流图像。两个卷积神经网络模型都采用VGG-16预训练模型构建，VGGNet由牛津大学的视觉几何组(Visual Geometry Group)提出，是在ImageNet数据库上训练得到的具有1000个分类的深层网络模型，泛化能力较强，VGGNet是从AlexNet发展而来的，与AlexNet框架有很多相似之处。所述VGG-16网络模型共有16层，有13个卷积层和3个全连接层，具体包含5组卷积集合(如表1)，第一组与第二组卷积集合包含2个卷积层，其它均包含3个卷积层，所有卷积层的卷积核大小均为3×3，步长也缩小到1，相比其他网络结构能模仿出更大的感受野，每组卷积集合的最后一个卷积层后连接一个最大池化层，所有的最大池化窗口均为2×2；初始卷积核个数为64，每经过一次最大池化后卷积核的个数增加一倍，包含3个全连接层，第一个和第二个全连接层的维度为4096，第三个全连接层维度为1000，最后由Softmax输出分类结果；
表1
S23：将得到的欧拉放大后的微表情RGB图像输入至空间神经网络，并将得到的光流图像输入至时域神经网络，对时域神经网络的输入进行以下两方面的处理：首先是光流场的叠加，方法是计算每两个连续的帧t和t+1间的光流，然后简单地叠加在一起，假设需要追踪t+1帧，那么会把光流分解成x,y两个方向的光流，这时会有2L个通道。dt(u,v)表示在t帧点(u,v)的位置向量，和表示水平和垂直分量的向量场，可以作为图像通道，非常适合使用卷积网络识别，为了表示一系列的帧序列，堆叠光流通道这时会有2L个通道，用w和h代表一个视频的宽和高；一个卷积网络的输入量Iτ∈Rw×h×2L对任意一个帧(t)设置如下：
其中，u＝[1；w],v＝[1；h],k＝[1；L].对于任意一点(u,v)，通道编码了L序列帧的所有点。
其次是沿轨迹追踪光流叠加，在连续几帧相同的位置上采样，根据采样结果，得到轨迹的运动信息。在这种情况下，Iτ为输入向量，采用以下公式来对应于一个帧t:
其中u＝[1；w],v＝[1；h],k＝[1；L].
Pk是沿着轨迹的第K层，从(u,v)开始在帧间存在以下递归关系定义：P1＝(u,v),
Pk＝Pk-1+dτ+k-2(Pk-1),k＞1.
光流的叠加存储了位移向量(u,v)，而轨迹叠加存储了沿着轨迹的光流向量的叠加向量Pk。
S24：使用迁移学习的方法对VGG-16预训练模型做微调。将前两个全连接层(FullyConnected,FC)的维度由4096减为2048，以减少模型训练时需要的训练参数从而加快训练速度和降低对计算机性能的要求；由于CASME II数据库的类别为5，所以应将最后一个全连接层FC3维度由1000修改为5。
将处理好的RGB图像和光流图像分别输入VGG-16预训练模型进行训练，网络的初始学习率设为10-5，经过1000次迭代学习率降低为10-6，共迭代6000次。
进一步，步骤S3包括以下步骤：
S31：损失函数可用L(Y,f(x))来表示。其中Y表示其真实值，f(x)是模型输出的预测值。一般情况下，目标函数包括了损失函数和正则项，用下式表示： 其中第一项是损失函数，第二项是正则化项，为了避免过拟合现象，这里采用L2范数。训练可求得使目标函数L更小的参数ω。为了得到更好的网络模型，采用自适应矩估计作为优化器。
对于多分类问题，卷积神经网络采用的是交叉熵损失当输入样本被判定为真实类别的概率越大，样本的损失值也就越小。Softmax相当于一个归一化的作用，函数表达式为：对于分类任务，若数据集共有n类，那么Softmax的输出就是n维向量，向量中的每一维的值代表该输入数据属于某一类的概率值，共n类。一般情况下，Softmax层是接在全连接层后的，经过Softmax层后得到的输出再输入并最小化损失函数，将误差反向传播来优化网络参数，从而达到训练与学习的目的。
S32：由于时间流和空间流的互补性，融合技术能使准确率明显提高。融合方法可用一些集合函数，包括L2范数，均匀平均，最大值等。将双流卷积神经网络的两个输出进行最大值融合。令xa，xb分别为两个卷积神经网络的输出，H,W和D分别代表特征映射的宽度、高度和通道数量。则在t时刻，两个卷积网络的输出分别为使用来取得两个特征映射的最大值。
S33：在测试阶段，将划分好的测试集中的RGB数据与光流数据分别输入至双流卷积神经网络模型，得到五类微表情的最终的识别结果。
进一步，步骤S4包括以下步骤：
S41：利用虚拟现实技术在Unity3D平台创建虚拟学习环境，模拟课堂学习环境，对虚拟角色进行建模，并创建交互界面。
S42：使用Kinect实时采集用户面部图像序列，并使用OpenCV库中的Haar-cascade分类器将已获取的图像进行人脸检测与面部裁剪，再对裁剪之后的图像序列进行欧拉视频放大并保存为RGB图像；并进行光流分析，得到光流帧。
S43：最后将RGB图像与光流图像输入到微表情识别模型中，经前向传播，模型将会返回微表情分类结果，如开心、压抑、难过、惊讶和其他，并在场景中出现相应交互动画。根据分类结果，教师可及时调整授课策略，转变教学思路，提高学生的学习效率，改善学习效果。
本发明的有益效果在于：
1、针对微表情运动幅度小的特点，本发明引入欧拉放大技术作为预处理方法，不仅可以增加面部的运动幅度，也可以改变运动区域对应像素的亮度，能够更有效的使模型捕捉到微表情。
2、由于微表情现有的公开数据集的样本数比较少，所以目前微表情主要还是依靠传统机器学习的方法来识别。这些方法大多是使用一组人工设计的特征，在一定程度上损失了原有的特征信息，或者假设属性之间互相独立，这往往与实际应用环境不相符。对此本发明使用迁移学习的方法，引入VGG-16预训练模型并利用微表情数据库微调，可在一定程度上避免由训练样本数量不足而产生的过拟合现象，同时使模型有较强的泛化能力。
3、使用双流卷积神经网络，分别输入RGB图像与光流图像至空间神经网络与时间神经网络，可使模型同时考虑到微表情的空间信息与时间信息，达到信息互补的目的，对微表情有更强的学习能力。同时，对两个网络的Softmax输出进行最大值融合，进一步增加了识别准确率。
4、通过创建虚拟学习环境交互系统，拓宽了微表情的应用领域。使用Kinect实时采集用户面部图像序列并进行相应处理，输入至训练好的模型中，系统将快速返回微表情识别结果，并在场景中出现相应交互动画。虚拟教师可根据识别结果，及时调整授课策略，保障并提高学生的学习效率。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明所述基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图1所示，一种基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法，包括以下步骤：
S1：微表情数据的预处理：对微表情视频进行欧拉视频放大并抽取图像序列，对图像序列进行人脸定位并裁剪，得到微表情的RGB数据；将欧拉视频放大后的数据提取光流信息，得到微表情的光流图像；
S2：将预处理后的数据分为训练集和测试集两部分并使用迁移学习的方法构建双流卷积神经网络，以学习到微表情的空间与时域信息；
S3：将双流卷积神经网络的输出进行最大值融合，以增强识别准确率，得到最终的微表情识别模型；
S4：使用微表情识别模型创建虚拟学习环境交互系统，并通过Kinect获取用户面部图像序列进行微表情识别任务。
可选地，步骤S1包括以下步骤：
S11：选取无限脉冲响应滤波器IIR将微表情数据库CASME II进行欧拉视频放大处理，欧拉视频放大技术首先要对输入的视频序列进行空间滤波，再对每个空间频率的基带进行时域滤波处理,可将增强视频中物体的运动幅度。令I(x,t)表示位置x和时间t的图像强度，由于图像经历平移运动，可以用δ(t)表示相对位移函数F(x)。运动放大的目的是合成信号：其中，α表示放大系数。此处选取无限脉冲响应(Infinite Impulse Response,IIR)滤波器，放大倍数为20，将处理好的视频逐帧抽取图像，得到微表情的图像序列；
S12：使用主动形状模型ASM对处理后的微表情图像进行人脸检测定位，并裁剪成大小为224*224的人脸图像；
S13：将欧拉放大后的微表情图像序列划分为多段，并使用基于总变分(TotalVariation,TV)和L1范数的光流估计方法TV-L1进行光流分析，得到微表情的光流图像，光流是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧与当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。得到的光流数据是和RGB图像尺寸相等的多通道图像，设I(x,y,z)表示时刻t的点(x,y)的图像强度，这个点将在t+Δt时刻移动到(x+Δx,y+Δy)，图像强度表示为I(x+Δx,y+Δy,t+Δt)，令v＝(vx,vy)表示两帧的光流，其中vx和vy是x和y的运动速度分量，则光流的约束方程为：Ixvx+Iyvy+It＝0。
可选地，步骤S2包括以下步骤：
S21：将预处理后的数据与标签，以7:3的比例划分为训练集和测试集两部分，且数据不交叉出现；
S22：双流卷积神经网络由两个卷积神经网络组成，对应着空间神经网络与时间神经网络，可分别输入RGB图像与光流图像。两个卷积神经网络模型都采用VGG-16预训练模型构建，VGGNet由牛津大学的视觉几何组(Visual Geometry Group)提出，是在ImageNet数据库上训练得到的具有1000个分类的深层网络模型，泛化能力较强，VGGNet是从AlexNet发展而来的，与AlexNet框架有很多相似之处。所述VGG-16网络模型共有16层，有13个卷积层和3个全连接层，具体包含5组卷积集合(如表1)，第一组与第二组卷积集合包含2个卷积层，其它均包含3个卷积层，所有卷积层的卷积核大小均为3×3，步长也缩小到1，相比其他网络结构能模仿出更大的感受野，每组卷积集合的最后一个卷积层后连接一个最大池化层，所有的最大池化窗口均为2×2；初始卷积核个数为64，每经过一次最大池化后卷积核的个数增加一倍，包含3个全连接层，第一个和第二个全连接层的维度为4096，第三个全连接层维度为1000，最后由Softmax输出分类结果；
表1
S23：将得到的欧拉放大后的微表情RGB图像输入至空间神经网络，并将得到的光流图像输入至时域神经网络，对时域神经网络的输入进行以下两方面的处理：首先是光流场的叠加，方法是计算每两个连续的帧t和t+1间的光流，然后简单地叠加在一起，假设需要追踪t+1帧，那么会把光流分解成x,y两个方向的光流，这时会有2L个通道。dt(u,v)表示在t帧点(u,v)的位置向量，和表示水平和垂直分量的向量场，可以作为图像通道，非常适合使用卷积网络识别，为了表示一系列的帧序列，堆叠光流通道这时会有2L个通道，用w和h代表一个视频的宽和高；一个卷积网络的输入量Iτ∈Rw×h×2L对任意一个帧(t)设置如下：
其中，u＝[1；w],v＝[1；h],k＝[1；L].对于任意一点(u,v)，通道编码了L序列帧的所有点。
其次是沿轨迹追踪光流叠加，在连续几帧相同的位置上采样，根据采样结果，得到轨迹的运动信息。在这种情况下，Iτ为输入向量，采用以下公式来对应于一个帧t:
其中u＝[1；w],v＝[1；h],k＝[1；L].
Pk是沿着轨迹的第K层，从(u,v)开始在帧间存在以下递归关系定义：P1＝(u,v),Pk＝Pk-1+dτ+k-2(Pk-1),k＞1.
光流的叠加存储了位移向量(u,v)，而轨迹叠加存储了沿着轨迹的光流向量的叠加向量Pk。
S24：使用迁移学习的方法对VGG-16预训练模型做微调。将前两个全连接层(FullyConnected,FC)的维度由4096减为2048，以减少模型训练时需要的训练参数从而加快训练速度和降低对计算机性能的要求；由于CASME II数据库的类别为5，所以应将最后一个全连接层FC3维度由1000修改为5。
将处理好的RGB图像和光流图像分别输入VGG-16预训练模型进行训练，网络的初始学习率设为10-5，经过1000次迭代学习率降低为10-6，共迭代6000次。
可选地，步骤S3包括以下步骤：
S31：损失函数可用L(Y,f(x))来表示。其中Y表示其真实值，f(x)是模型输出的预测值。一般情况下，目标函数包括了损失函数和正则项，用下式表示： 其中第一项是损失函数，第二项是正则化项，为了避免过拟合现象，这里采用L2范数。训练可求得使目标函数L更小的参数ω。为了得到更好的网络模型，采用自适应矩估计作为优化器。
对于多分类问题，卷积神经网络采用的是交叉熵损失当输入样本被判定为真实类别的概率越大，样本的损失值也就越小。Softmax相当于一个归一化的作用，函数表达式为：对于分类任务，若数据集共有n类，那么Softmax的输出就是n维向量，向量中的每一维的值代表该输入数据属于某一类的概率值，共n类。一般情况下，Softmax层是接在全连接层后的，经过Softmax层后得到的输出再输入并最小化损失函数，将误差反向传播来优化网络参数，从而达到训练与学习的目的。
S32：由于时间流和空间流的互补性，融合技术能使准确率明显提高。融合方法可用一些集合函数，包括L2范数，均匀平均，最大值等。将双流卷积神经网络的两个输出进行最大值融合。令xa，xb分别为两个卷积神经网络的输出，H,W和D分别代表特征映射的宽度、高度和通道数量。则在t时刻，两个卷积网络的输出分别为使用来取得两个特征映射的最大值。
S33：在测试阶段，将划分好的测试集中的RGB数据与光流数据分别输入至双流卷积神经网络模型，得到五类微表情的最终的识别结果。
可选地，步骤S4包括以下步骤：
S41：利用虚拟现实技术在Unity3D平台创建虚拟学习环境，模拟课堂学习环境，对虚拟角色进行建模，并创建交互界面。
S42：使用Kinect实时采集用户面部图像序列，并使用OpenCV库中的Haar-cascade分类器将已获取的图像进行人脸检测与面部裁剪，再对裁剪之后的图像序列进行欧拉视频放大并保存为RGB图像；并进行光流分析，得到光流帧。
S43：最后将RGB图像与光流图像输入到微表情识别模型中，经前向传播，模型将会返回微表情分类结果，如开心、压抑、难过、惊讶和其他，并在场景中出现相应交互动画。根据分类结果，教师可及时调整授课策略，转变教学思路，提高学生的学习效率，改善学习效果。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法，其特征在于：包括以下步骤：
S1：微表情数据的预处理：对微表情视频进行欧拉视频放大并抽取图像序列，对图像序列进行人脸定位并裁剪，得到微表情的RGB数据；将欧拉视频放大后的数据提取光流信息，得到微表情的光流图像；
S2：将预处理后的数据分为训练集和测试集两部分并使用迁移学习的方法构建双流卷积神经网络，以学习到微表情的空间与时域信息；
S3：将双流卷积神经网络的输出进行最大值融合，以增强识别准确率，得到最终的微表情识别模型；
S4：使用微表情识别模型创建虚拟学习环境交互系统，并通过Kinect获取用户面部图像序列进行微表情识别任务。
2.根据权利要求1所述的基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法，其特征在于：步骤S1包括以下步骤：
S11：选取无限脉冲响应滤波器IIR将微表情数据库CASME II进行欧拉视频放大处理，欧拉视频放大技术首先对输入的视频序列进行空间滤波，再对每个空间频率的基带进行时域滤波处理；令I(x,t)表示位置x和时间t的图像强度，用δ(t)表示相对位移函数F(x)；运动放大的目的是合成信号：其中，α表示放大系数；选取无限脉冲响应滤波器，放大倍数为20，将处理好的视频逐帧抽取图像，得到微表情的图像序列；
S12：使用主动形状模型ASM对处理后的微表情图像进行人脸检测定位，并裁剪成大小为224*224的人脸图像；
S13：将欧拉放大后的微表情图像序列划分为多段，并使用基于总变分TV和L1范数的光流估计方法TV-L1进行光流分析，得到微表情的光流图像；得到的光流图像数据是和RGB图像尺寸相等的多通道图像，设I(x,y,z)表示时刻t的点(x,y)的图像强度，这个点将在t+Δt时刻移动到(x+Δx,y+Δy)，图像强度表示为I(x+Δx,y+Δy,t+Δt)，令v＝(vx,vy)表示两帧的光流，其中vx和vy是x和y的运动速度分量，则光流的约束方程为：Ixvx+Iyvy+It＝0。
3.根据权利要求2所述的基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法，其特征在于：步骤S2包括以下步骤：
S21：将预处理后的数据与标签，以7:3的比例划分为训练集和测试集两部分，且数据不交叉出现；
S22：双流卷积神经网络由两个卷积神经网络组成，对应空间神经网络与时间神经网络，分别输入RGB图像与光流图像；两个卷积神经网络模型都采用VGG-16预训练模型构建，所述VGG-16网络模型共有16层，有13个卷积层和3个全连接层，具体包含5组卷积集合，如表1，第一组与第二组卷积集合包含2个卷积层，其它均包含3个卷积层，所有卷积层的卷积核大小均为3×3，步长为1，每组卷积集合的最后一个卷积层后连接一个最大池化层，所有的最大池化窗口均为2×2；初始卷积核个数为64，每经过一次最大池化后卷积核的个数增加一倍，包含3个全连接层，第一个和第二个全连接层的维度为4096，第三个全连接层维度为1000，最后由Softmax输出分类结果；
表1
S23：将得到的欧拉放大后的微表情RGB图像输入至空间神经网络，并将得到的光流图像输入至时域神经网络，对时域神经网络的输入进行以下两方面的处理：首先是光流场的叠加，方法是计算每两个连续的帧t和t+1间的光流，然后简单地叠加在一起，假设需要追踪t+1帧，则把光流分解成x,y两个方向的光流，这时有2L个通道，dt(u,v)表示在t帧点(u,v)的位置向量，和表示水平和垂直分量的向量场，作为图像通道，为了表示一系列的帧序列，堆叠光流通道则有2L个通道，用w和h代表一个视频的宽和高；一个卷积网络的输入量Iτ∈Rw×h×2L对任意一个帧(t)设置如下：
其中，u＝[1；w],v＝[1；h],k＝[1；L]，对于任意一点(u,v)，通道编码L序列帧的所有点；
其次是沿轨迹追踪光流叠加，在连续几帧相同的位置上采样，根据采样结果，得到轨迹的运动信息，Iτ为输入向量，采用以下公式来对应于一个帧t：
其中u＝[1；w],v＝[1；h],k＝[1；L]
Pk是沿着轨迹的第K层，从(u,v)开始在帧间存在以下递归关系定义：P1＝(u,v)，Pk＝Pk-1+dτ+k-2(Pk-1),k＞1；
光流的叠加存储位移向量(u,v)，轨迹叠加存储沿着轨迹的光流向量的叠加向量Pk；
S24：使用迁移学习的方法对VGG-16预训练模型做微调；将前两个全连接层FC的维度由4096减为2048，以减少模型训练时需要的训练参数从而加快训练速度和降低对计算机性能的要求；由于CASME II数据库的类别为5，所以将最后一个全连接层FC3维度由1000修改为5；
将处理好的RGB图像和光流图像分别输入VGG-16预训练模型进行训练，网络的初始学习率设为10-5，经过1000次迭代学习率降低为10-6，共迭代6000次。
4.根据权利要求3所述的基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法，其特征在于：步骤S3包括以下步骤：
S31：损失函数用L(Y,f(x))来表示，其中Y表示其真实值，f(x)是模型输出的预测值，目标函数包括损失函数和正则项，用下式表示： 其中第一项是损失函数，第二项是正则化项，采用L2范数，训练求得使目标函数L更小的参数ω，采用自适应矩估计作为优化器；
对于多分类问题，卷积神经网络采用的是交叉熵损失当输入样本被判定为真实类别的概率越大，样本的损失值也就越小；Softmax用于归一化，函数表达式为：对于分类任务，若数据集共有n类，Softmax的输出就是n维向量，向量中的每一维的值代表该输入数据属于某一类的概率值，共n类；Softmax层接在全连接层后，经过Softmax层后得到的输出再输入并最小化损失函数，将误差反向传播来优化网络参数；
S32：将双流卷积神经网络的两个输出进行最大值融合，令xa，xb分别为两个卷积神经网络的输出，H,W和D分别代表特征映射的宽度、高度和通道数量；在t时刻，两个卷积网络的输出分别为使用来取得两个特征映射的最大值；
S33：在测试阶段，将划分好的测试集中的RGB数据与光流数据分别输入至双流卷积神经网络模型，得到五类微表情的最终的识别结果。
5.根据权利要求1所述的基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法，其特征在于：步骤S4包括以下步骤：
S41：利用虚拟现实技术在Unity3D平台创建虚拟学习环境，模拟课堂学习环境，对虚拟角色进行建模，并创建交互界面；
S42：使用Kinect实时采集用户面部图像序列，并使用OpenCV库中的Haar-cascade分类器将已获取的图像进行人脸检测与面部裁剪，再对裁剪之后的图像序列进行欧拉视频放大并保存为RGB图像；并进行光流分析，得到光流帧；
S43：最后将RGB图像与光流图像输入到微表情识别模型中，经前向传播，模型返回微表情分类结果，并在场景中出现相应交互动画。
CN201910481703.3A 2019-06-04 2019-06-04 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法 Active CN110175596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910481703.3A CN110175596B (zh) 2019-06-04 2019-06-04 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910481703.3A CN110175596B (zh) 2019-06-04 2019-06-04 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法

Publications (2)

Publication Number Publication Date
CN110175596A true CN110175596A (zh) 2019-08-27
CN110175596B CN110175596B (zh) 2022-04-22

Family

ID=67697856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910481703.3A Active CN110175596B (zh) 2019-06-04 2019-06-04 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法

Country Status (1)

Country Link
CN (1) CN110175596B (zh)

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532959A (zh) * 2019-08-30 2019-12-03 大连海事大学 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN110751016A (zh) * 2019-09-02 2020-02-04 合肥工业大学 用于情绪状态监测的面部运动单元双流特征提取方法
CN110765839A (zh) * 2019-09-02 2020-02-07 合肥工业大学 可见光面部图像的多路信息融合及人工智能情绪监测方法
CN110766192A (zh) * 2019-09-10 2020-02-07 中国石油大学(北京) 基于深度学习的钻井井漏预测系统及方法
CN110826510A (zh) * 2019-11-12 2020-02-21 电子科技大学 一种基于表情情感计算的三维教学课堂实现方法
CN110909622A (zh) * 2019-10-31 2020-03-24 中国科学院深圳先进技术研究院 微表情识别金融风控方法及系统
CN111027377A (zh) * 2019-10-30 2020-04-17 杭州电子科技大学 一种双流神经网络时序动作定位方法
CN111210415A (zh) * 2020-01-06 2020-05-29 浙江大学 一种帕金森患者面部表情低迷的检测方法
CN111325140A (zh) * 2020-02-18 2020-06-23 南京航空航天大学 一种红外视频序列行为识别方法及装置
CN111402200A (zh) * 2020-02-18 2020-07-10 江苏大学 基于共生双流卷积网络和数字图像的油炸食品检测系统
CN111461021A (zh) * 2020-04-01 2020-07-28 中国科学院心理研究所 一种基于光流的微表情检测方法
CN111466878A (zh) * 2020-04-14 2020-07-31 合肥工业大学 基于表情识别的卧床病人疼痛症状实时监护方法及装置
CN111507241A (zh) * 2020-04-14 2020-08-07 四川聚阳科技集团有限公司 一种轻量级网络课堂表情监测方法
CN111553216A (zh) * 2020-04-20 2020-08-18 维沃移动通信有限公司 图像处理方法、电子设备及存储介质
CN111598032A (zh) * 2020-05-21 2020-08-28 中山大学 一种基于图神经网络的群体行为识别方法
CN111626121A (zh) * 2020-04-24 2020-09-04 上海交通大学 基于视频中多层次交互推理的复杂事件识别方法及系统
CN111626179A (zh) * 2020-05-24 2020-09-04 中国科学院心理研究所 一种基于光流叠加的微表情检测方法
CN111667559A (zh) * 2020-05-27 2020-09-15 西北工业大学 一种基于深度迁移网络的多形态人脸情感生成方法
CN112001241A (zh) * 2020-07-16 2020-11-27 山东大学 基于通道注意力机制的微表情识别方法及系统
CN112036247A (zh) * 2020-08-03 2020-12-04 北京小米松果电子有限公司 表情包文字生成方法、装置及存储介质
CN112101255A (zh) * 2020-09-21 2020-12-18 哈尔滨工业大学（深圳） 一种基于深度学习模型的特定动作识别方法及系统
CN112132089A (zh) * 2020-09-28 2020-12-25 天津天地伟业智能安全防范科技有限公司 一种基于3d卷积和光流的挖掘机行为分析方法
CN112200065A (zh) * 2020-10-09 2021-01-08 福州大学 基于动作放大和自适应注意力区域选取的微表情分类方法
CN112232191A (zh) * 2020-10-15 2021-01-15 南京邮电大学 基于微表情分析的抑郁症识别系统
CN112329663A (zh) * 2020-11-10 2021-02-05 西南大学 一种基于人脸图像序列的微表情时刻检测方法及装置
CN112560812A (zh) * 2021-02-19 2021-03-26 中国科学院自动化研究所 基于融合深度特征的微表情识别方法
CN112634331A (zh) * 2020-12-04 2021-04-09 北京迈格威科技有限公司 一种光流预测方法及装置
CN112699772A (zh) * 2020-12-28 2021-04-23 常州码库数据科技有限公司 一种动态表情识别模型获取方法、识别方法和装置
CN112766063A (zh) * 2020-12-31 2021-05-07 沈阳康泰电子科技股份有限公司 基于位移补偿的微表情拟合方法和系统
CN112801009A (zh) * 2021-02-07 2021-05-14 华南理工大学 基于双流网络的面部情感识别方法、装置、介质及设备
CN112801042A (zh) * 2021-03-08 2021-05-14 南京大学 一种基于深度学习和视频轨迹的学生上课行为识别方法
CN112929622A (zh) * 2021-02-05 2021-06-08 浙江大学 一种基于深度学习的欧拉视频颜色放大方法
CN112949560A (zh) * 2021-03-24 2021-06-11 四川大学华西医院 双通道特征融合下长视频表情区间连续表情变化识别方法
CN113095183A (zh) * 2021-03-31 2021-07-09 西北工业大学 一种基于深度神经网络的微表情检测方法
CN113139479A (zh) * 2021-04-28 2021-07-20 山东大学 一种基于光流和rgb模态对比学习的微表情识别方法及系统
CN113239794A (zh) * 2021-05-11 2021-08-10 西北工业大学 一种面向在线学习的学习状态自动识别方法
CN113537008A (zh) * 2021-07-02 2021-10-22 江南大学 基于自适应运动放大和卷积神经网络的微表情识别方法
CN113591660A (zh) * 2021-07-24 2021-11-02 中国石油大学(华东) 基于元学习的微表情识别方法
CN113591761A (zh) * 2021-08-09 2021-11-02 成都华栖云科技有限公司 一种视频镜头语言识别方法
CN113673307A (zh) * 2021-07-05 2021-11-19 浙江工业大学 一种轻量型的视频动作识别方法
WO2022073282A1 (zh) * 2020-10-10 2022-04-14 中国科学院深圳先进技术研究院 一种基于特征交互学习的动作识别方法及终端设备
CN114708627A (zh) * 2022-02-28 2022-07-05 厦门大学 一种应用于社交机器人的微表情识别方法
CN114842399A (zh) * 2022-05-23 2022-08-02 马上消费金融股份有限公司 视频检测方法、视频检测模型的训练方法及装置
CN115359534A (zh) * 2022-08-25 2022-11-18 成都信息工程大学 基于多特征融合和双流网络的微表情识别方法
CN113505740B (zh) * 2021-07-27 2023-10-10 北京工商大学 基于迁移学习和卷积神经网络的面部识别方法
CN116894978A (zh) * 2023-07-18 2023-10-17 中国矿业大学 一种融合面部情绪与行为多特征的线上考试防作弊系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
US20180189553A1 (en) * 2016-12-29 2018-07-05 Samsung Electronics Co., Ltd. Facial expression image processing method and apparatus
CN108921037A (zh) * 2018-06-07 2018-11-30 四川大学 一种基于BN-inception双流网络的情绪识别方法
CN109146066A (zh) * 2018-11-01 2019-01-04 重庆邮电大学 一种基于语音情感识别的虚拟学习环境自然交互方法
CN109683709A (zh) * 2018-12-17 2019-04-26 苏州思必驰信息科技有限公司 基于情绪识别的人机交互方法及系统
CN109815785A (zh) * 2018-12-05 2019-05-28 四川大学 一种基于双流卷积神经网络的人脸情绪识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180189553A1 (en) * 2016-12-29 2018-07-05 Samsung Electronics Co., Ltd. Facial expression image processing method and apparatus
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN108921037A (zh) * 2018-06-07 2018-11-30 四川大学 一种基于BN-inception双流网络的情绪识别方法
CN109146066A (zh) * 2018-11-01 2019-01-04 重庆邮电大学 一种基于语音情感识别的虚拟学习环境自然交互方法
CN109815785A (zh) * 2018-12-05 2019-05-28 四川大学 一种基于双流卷积神经网络的人脸情绪识别方法
CN109683709A (zh) * 2018-12-17 2019-04-26 苏州思必驰信息科技有限公司 基于情绪识别的人机交互方法及系统

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
HONG-WEI 等: "Deep Learning for Emotion Recognition on Small Datasets using Transfer Learning", 《ICMI"15：PROCEEDINGS OF THE 2015 ACM ON INTERNATIONAL CONFERENCE ON MULTIMODAL INTERACTION》 *
JIA DENG 等: "cGAN Based Facial Expression Recognition for Human-Robot Interaction", 《TOPICS：PROXIMITY SERVICE（PROSE） CHALLENGES AND APPLICATIONS》 *
YINGRUO FAN 等: "Multi-region Ensemble Convolutional Neural Network for Facial Expression Recognition", 《ARTIFICIAL NEURAL NETWORKS ANDMACHINE LEARNING-ICANN》 *
刘渭滨 等: "模式分类中的特征融合方法", 《北京邮电大学学报》 *
彭敏: "基于双时间尺度卷积神经网络的微表情识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
提浩: "自然场景下的人脸检测及表情识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
樊雷: "一种基于Keras和CNN的人脸表情识别系统设计", 《电脑知识与技术》 *
赵突: "基于视频的人脸微表情识别关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532959A (zh) * 2019-08-30 2019-12-03 大连海事大学 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN110532959B (zh) * 2019-08-30 2022-10-14 大连海事大学 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN110751016A (zh) * 2019-09-02 2020-02-04 合肥工业大学 用于情绪状态监测的面部运动单元双流特征提取方法
CN110765839A (zh) * 2019-09-02 2020-02-07 合肥工业大学 可见光面部图像的多路信息融合及人工智能情绪监测方法
CN110751016B (zh) * 2019-09-02 2023-04-11 合肥工业大学 用于情绪状态监测的面部运动单元双流特征提取方法
CN110765839B (zh) * 2019-09-02 2022-02-22 合肥工业大学 可见光面部图像的多路信息融合及人工智能情绪监测方法
CN110766192B (zh) * 2019-09-10 2022-09-09 中国石油大学(北京) 基于深度学习的钻井井漏预测系统及方法
CN110766192A (zh) * 2019-09-10 2020-02-07 中国石油大学(北京) 基于深度学习的钻井井漏预测系统及方法
CN111027377A (zh) * 2019-10-30 2020-04-17 杭州电子科技大学 一种双流神经网络时序动作定位方法
CN110909622A (zh) * 2019-10-31 2020-03-24 中国科学院深圳先进技术研究院 微表情识别金融风控方法及系统
CN110826510A (zh) * 2019-11-12 2020-02-21 电子科技大学 一种基于表情情感计算的三维教学课堂实现方法
CN111210415A (zh) * 2020-01-06 2020-05-29 浙江大学 一种帕金森患者面部表情低迷的检测方法
CN111210415B (zh) * 2020-01-06 2022-08-23 浙江大学 一种帕金森患者面部表情低迷的检测方法
CN111325140A (zh) * 2020-02-18 2020-06-23 南京航空航天大学 一种红外视频序列行为识别方法及装置
CN111402200A (zh) * 2020-02-18 2020-07-10 江苏大学 基于共生双流卷积网络和数字图像的油炸食品检测系统
CN111402200B (zh) * 2020-02-18 2021-12-21 江苏大学 基于共生双流卷积网络和数字图像的油炸食品检测系统
CN111461021A (zh) * 2020-04-01 2020-07-28 中国科学院心理研究所 一种基于光流的微表情检测方法
CN111507241A (zh) * 2020-04-14 2020-08-07 四川聚阳科技集团有限公司 一种轻量级网络课堂表情监测方法
CN111466878A (zh) * 2020-04-14 2020-07-31 合肥工业大学 基于表情识别的卧床病人疼痛症状实时监护方法及装置
CN111553216A (zh) * 2020-04-20 2020-08-18 维沃移动通信有限公司 图像处理方法、电子设备及存储介质
CN111626121A (zh) * 2020-04-24 2020-09-04 上海交通大学 基于视频中多层次交互推理的复杂事件识别方法及系统
CN111626121B (zh) * 2020-04-24 2022-12-20 上海交通大学 基于视频中多层次交互推理的复杂事件识别方法及系统
CN111598032A (zh) * 2020-05-21 2020-08-28 中山大学 一种基于图神经网络的群体行为识别方法
CN111598032B (zh) * 2020-05-21 2023-04-18 中山大学 一种基于图神经网络的群体行为识别方法
CN111626179B (zh) * 2020-05-24 2023-04-28 中国科学院心理研究所 一种基于光流叠加的微表情检测方法
CN111626179A (zh) * 2020-05-24 2020-09-04 中国科学院心理研究所 一种基于光流叠加的微表情检测方法
CN111667559B (zh) * 2020-05-27 2022-08-02 西北工业大学 一种基于深度迁移网络的多形态人脸情感生成方法
CN111667559A (zh) * 2020-05-27 2020-09-15 西北工业大学 一种基于深度迁移网络的多形态人脸情感生成方法
CN112001241B (zh) * 2020-07-16 2023-08-18 山东大学 基于通道注意力机制的微表情识别方法及系统
CN112001241A (zh) * 2020-07-16 2020-11-27 山东大学 基于通道注意力机制的微表情识别方法及系统
CN112036247A (zh) * 2020-08-03 2020-12-04 北京小米松果电子有限公司 表情包文字生成方法、装置及存储介质
CN112101255A (zh) * 2020-09-21 2020-12-18 哈尔滨工业大学（深圳） 一种基于深度学习模型的特定动作识别方法及系统
CN112101255B (zh) * 2020-09-21 2023-06-27 哈尔滨工业大学（深圳） 一种基于深度学习模型的特定动作识别方法及系统
CN112132089A (zh) * 2020-09-28 2020-12-25 天津天地伟业智能安全防范科技有限公司 一种基于3d卷积和光流的挖掘机行为分析方法
CN112200065B (zh) * 2020-10-09 2022-08-09 福州大学 基于动作放大和自适应注意力区域选取的微表情分类方法
CN112200065A (zh) * 2020-10-09 2021-01-08 福州大学 基于动作放大和自适应注意力区域选取的微表情分类方法
WO2022073282A1 (zh) * 2020-10-10 2022-04-14 中国科学院深圳先进技术研究院 一种基于特征交互学习的动作识别方法及终端设备
CN112232191B (zh) * 2020-10-15 2023-04-18 南京邮电大学 基于微表情分析的抑郁症识别系统
CN112232191A (zh) * 2020-10-15 2021-01-15 南京邮电大学 基于微表情分析的抑郁症识别系统
CN112329663A (zh) * 2020-11-10 2021-02-05 西南大学 一种基于人脸图像序列的微表情时刻检测方法及装置
CN112634331A (zh) * 2020-12-04 2021-04-09 北京迈格威科技有限公司 一种光流预测方法及装置
CN112699772B (zh) * 2020-12-28 2024-09-06 常州码库数据科技有限公司 一种动态表情识别模型获取方法、识别方法和装置
CN112699772A (zh) * 2020-12-28 2021-04-23 常州码库数据科技有限公司 一种动态表情识别模型获取方法、识别方法和装置
CN112766063B (zh) * 2020-12-31 2024-04-23 沈阳康泰电子科技股份有限公司 基于位移补偿的微表情拟合方法和系统
CN112766063A (zh) * 2020-12-31 2021-05-07 沈阳康泰电子科技股份有限公司 基于位移补偿的微表情拟合方法和系统
CN112929622A (zh) * 2021-02-05 2021-06-08 浙江大学 一种基于深度学习的欧拉视频颜色放大方法
CN112801009B (zh) * 2021-02-07 2023-02-14 华南理工大学 基于双流网络的面部情感识别方法、装置、介质及设备
CN112801009A (zh) * 2021-02-07 2021-05-14 华南理工大学 基于双流网络的面部情感识别方法、装置、介质及设备
CN112560812A (zh) * 2021-02-19 2021-03-26 中国科学院自动化研究所 基于融合深度特征的微表情识别方法
CN112801042B (zh) * 2021-03-08 2023-12-15 南京大学 一种基于深度学习和视频轨迹的学生上课行为识别方法
CN112801042A (zh) * 2021-03-08 2021-05-14 南京大学 一种基于深度学习和视频轨迹的学生上课行为识别方法
CN112949560A (zh) * 2021-03-24 2021-06-11 四川大学华西医院 双通道特征融合下长视频表情区间连续表情变化识别方法
CN113095183A (zh) * 2021-03-31 2021-07-09 西北工业大学 一种基于深度神经网络的微表情检测方法
CN113139479A (zh) * 2021-04-28 2021-07-20 山东大学 一种基于光流和rgb模态对比学习的微表情识别方法及系统
CN113239794A (zh) * 2021-05-11 2021-08-10 西北工业大学 一种面向在线学习的学习状态自动识别方法
CN113239794B (zh) * 2021-05-11 2023-05-23 西北工业大学 一种面向在线学习的学习状态自动识别方法
CN113537008B (zh) * 2021-07-02 2024-03-29 江南大学 基于自适应运动放大和卷积神经网络的微表情识别方法
CN113537008A (zh) * 2021-07-02 2021-10-22 江南大学 基于自适应运动放大和卷积神经网络的微表情识别方法
CN113673307A (zh) * 2021-07-05 2021-11-19 浙江工业大学 一种轻量型的视频动作识别方法
CN113673307B (zh) * 2021-07-05 2024-03-29 浙江工业大学 一种轻量型的视频动作识别方法
CN113591660A (zh) * 2021-07-24 2021-11-02 中国石油大学(华东) 基于元学习的微表情识别方法
CN113505740B (zh) * 2021-07-27 2023-10-10 北京工商大学 基于迁移学习和卷积神经网络的面部识别方法
CN113591761A (zh) * 2021-08-09 2021-11-02 成都华栖云科技有限公司 一种视频镜头语言识别方法
CN114708627B (zh) * 2022-02-28 2024-05-31 厦门大学 一种应用于社交机器人的微表情识别方法
CN114708627A (zh) * 2022-02-28 2022-07-05 厦门大学 一种应用于社交机器人的微表情识别方法
CN114842399A (zh) * 2022-05-23 2022-08-02 马上消费金融股份有限公司 视频检测方法、视频检测模型的训练方法及装置
CN115359534B (zh) * 2022-08-25 2023-04-07 成都信息工程大学 基于多特征融合和双流网络的微表情识别方法
CN115359534A (zh) * 2022-08-25 2022-11-18 成都信息工程大学 基于多特征融合和双流网络的微表情识别方法
CN116894978A (zh) * 2023-07-18 2023-10-17 中国矿业大学 一种融合面部情绪与行为多特征的线上考试防作弊系统
CN116894978B (zh) * 2023-07-18 2024-03-29 中国矿业大学 一种融合面部情绪与行为多特征的线上考试防作弊系统

Also Published As

Publication number Publication date
CN110175596B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN110175596A (zh) 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法
Pigou et al. Beyond temporal pooling: Recurrence and temporal convolutions for gesture recognition in video
CN110473284B (zh) 一种基于深度学习的运动物体三维模型重建方法
CN110472604B (zh) 一种基于视频的行人与人群行为识别方法
Bera et al. Efficient trajectory extraction and parameter learning for data-driven crowd simulation.
Kim et al. Interactive and adaptive data-driven crowd simulation
CN110674741A (zh) 一种基于双通道特征融合的机器视觉中手势识别方法
CN107679462A (zh) 一种基于小波的深度多特征融合分类方法
Bera et al. Online parameter learning for data-driven crowd simulation and content generation
Devo et al. Deep reinforcement learning for instruction following visual navigation in 3D maze-like environments
CN110781736A (zh) 基于双流网络将姿态和注意力相结合的行人重识别方法
Skubic et al. Qualitative analysis of sketched route maps: translating a sketch into linguistic descriptions
CN109086664A (zh) 一种动静态融合的多态手势识别方法
Sun et al. Action recognition with motion map 3D network
CN114036969A (zh) 一种多视角情况下的3d人体动作识别算法
Cao et al. Effective action recognition with embedded key point shifts
Chen Research on convolutional neural network image recognition algorithm based on computer big data
Che et al. A database of students’ spontaneous actions in the real classroom environment
CN117115911A (zh) 一种基于注意力机制的超图学习动作识别系统
Kumar et al. Light-Weight Deep Learning Model for Human Action Recognition in Videos
Xu et al. STRNet: Triple-stream spatiotemporal relation network for action recognition
Sra et al. Deepspace: Mood-based image texture generation for virtual reality from music
Wu et al. An adaptive landmark-based attention network for students’ facial expression recognition
Forbes Augmented seeing and sensing
Hu Visual Presentation Algorithm of Dance Arrangement and CAD Based on Big Data Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240811

Address after: Room 1005-3, 10th Floor, Building 2, Optics Valley Yike Center, No. 438 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000

Patentee after: Wuhan Haoze Information Technology Co.,Ltd.

Country or region after: China

Address before: 400065 Chongqing Nan'an District huangjuezhen pass Chongwen Road No. 2

Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS

Country or region before: China