CN111738160B - 视频微表情识别方法、装置、计算机设备及存储介质 - Google Patents
视频微表情识别方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111738160B CN111738160B CN202010583481.9A CN202010583481A CN111738160B CN 111738160 B CN111738160 B CN 111738160B CN 202010583481 A CN202010583481 A CN 202010583481A CN 111738160 B CN111738160 B CN 111738160B
- Authority
- CN
- China
- Prior art keywords
- image
- micro
- frame
- expression
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 239000013598 vector Substances 0.000 claims abstract description 191
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 31
- 230000014509 gene expression Effects 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 64
- 230000003287 optical effect Effects 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000033001 locomotion Effects 0.000 description 20
- 238000000605 extraction Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 206010063659 Aversion Diseases 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了视频微表情识别方法、装置、计算机设备及存储介质，涉及人工智能的生物识别，包括获取用户视频数据中包含微表情的图像帧；在包含微表情的图像帧中获取与经验帧数值相等张数的连续多帧图像，以组成微表情序列；调用权重计算层计算微表情序列中每一帧图像的结合权重值的图像特征向量；将每一帧图像的结合权重值的图像特征向量进行求和，得到对应的综合图像特征向量；将其输入至卷积神经网络得到微表情识别结果；调用事项处理微表情策略，获取对应的事项处理流程信息。实现了采用神经网络在进行微表情分类时充分考虑到微表情在多个连续图像帧之间的时序关系，学习到微表情在图像视频序列中的时域信息，从而更准确获取微表情识别结果。
Description
技术领域
本发明涉及人工智能的生物识别技术领域，尤其涉及一种视频微表情识别方法、装置、计算机设备及存储介质。
背景技术
随着互联网技术的不断发展，金融产品也开始提供线上销售的渠道，以便于人们进行购买。在销售过程中，可以对录制的销售过程视频使用微表情识别技术，分析客户在视频中企图抑制的真实情绪，实现对客户的情绪识别以规避销售过程中的风险。
现有的微表情识别算法需要完成特征提取和表情识别两个任务。其中，“特征提取”是指在一段经过合适的预处理方法的视频图像序列中，通过各种特征提取方式检测并提取其中的微表情，例如，基于光流的特征提取或者基于LBP-TOP算子(即时空局部纹理算子)的特征提取。
而“表情识别”实际上是一个分类任务。亦即，将提取获得的微表情分到预先设定的类别中，从而最终确定每个微表情具体对应的含义。例如，高兴，悲伤、惊讶、生气、厌恶、害怕等等。
现有的表情识别方法是通过CNN(卷积神经网络)来实现的。其首先利用训练数据集对构建好的CNN模型进行训练。然后通过训练好的CNN模型进行分类和识别。
但是，现有使用CNN进行识别和分类时，CNN无法利用视频图像序列在时域上的相关信息(CNN的特征输入层中，每个特征之间的相互关系没有体现，输入层的神经元是等效的)。亦即，CNN只能对视频图像信息中的单个图像帧进行识别而无法学习到相邻图像帧之间的变化或者关联。
而微表情是客户在一段较短时间内，面部局部区域呈现的运动。时域上的相关信息也是识别和区分微表情非常重要的部分。因此，忽略时域上的相关信息会导致CNN对微表情识别性能的下降。
发明内容
本发明实施例提供了一种视频微表情识别方法、装置、计算机设备及存储介质，旨在解决现有技术中微表情识别是仅仅是基于面部局部区域呈现的运动，也即采用的卷积神经网络只能对视频图像信息中的单个图像帧进行识别而无法学习到相邻图像帧之间的变化或者关联，导致卷积神经网络对微表情识别准确率下降的问题。
第一方面，本发明实施例提供了一种视频微表情识别方法，其包括：
若接收到与用户端对应的用户视频数据，获取所述用户视频数据的视频图像序列中包含微表情的图像帧；
根据预设的经验帧数值，在包含微表情的图像帧中获取与所述经验帧数值相等张数的连续多帧图像，以组成微表情序列；
调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量；
将每一帧图像的结合权重值的图像特征向量进行求和，得到所述用户视频数据对应的综合图像特征向量；
将所述综合图像特征向量输入至预先训练的卷积神经网络，得到微表情识别结果；以及
调用预先存储的事项处理微表情策略，获取与所述微表情识别结果的事项处理流程信息，将所述事项处理流程信息发送至用户端；其中，所述事项处理微表情策略存储有若干个事项处理流程信息，每一事项处理流程信息对应一个微表情识别结果。
第二方面，本发明实施例提供了一种视频微表情识别装置，其包括：
微表情图像帧获取单元，用于若接收到与用户端对应的用户视频数据，获取所述用户视频数据的视频图像序列中包含微表情的图像帧；
微表情序列获取单元，用于若根据预设的经验帧数值，在包含微表情的图像帧中获取与所述经验帧数值相等张数的连续多帧图像，以组成微表情序列；
权重值特征向量获取单元，用于调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量；
综合图像特征向量获取单元，用于将每一帧图像的结合权重值的图像特征向量进行求和，得到所述用户视频数据对应的综合图像特征向量；
微表情识别单元，用于将所述综合图像特征向量输入至预先训练的卷积神经网络，得到微表情识别结果；以及
事项流程信息获取单元，用于调用预先存储的事项处理微表情策略，获取与所述微表情识别结果的事项处理流程信息，将所述事项处理流程信息发送至用户端；其中，所述事项处理微表情策略存储有若干个事项处理流程信息，每一事项处理流程信息对应一个微表情识别结果。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的视频微表情识别方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的视频微表情识别方法。
本发明实施例提供了一种视频微表情识别方法、装置、计算机设备及存储介质，包括若接收到与用户端对应的用户视频数据，获取所述用户视频数据的视频图像序列中包含微表情的图像帧；根据预设的经验帧数值，在包含微表情的图像帧中获取与所述经验帧数值相等张数的连续多帧图像，以组成微表情序列；调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量；将每一帧图像的结合权重值的图像特征向量进行求和，得到所述用户视频数据对应的综合图像特征向量；将所述综合图像特征向量输入至预先训练的卷积神经网络，得到微表情识别结果；调用预先存储的事项处理微表情策略，获取与所述微表情识别结果的事项处理流程信息，将所述事项处理流程信息发送至用户端。该方法实现了采用神经网络在进行微表情分类时，充分考虑到微表情在多个连续图像帧之间的时序关系，学习到微表情在图像视频序列中的时域信息，从而能够提供更准确的微表情识别结果。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频微表情识别方法的应用场景示意图；
图2为本发明实施例提供的视频微表情识别方法的流程示意图；
图3为本发明实施例提供的视频微表情识别方法的子流程示意图；
图4为本发明实施例提供的视频微表情识别装置的示意性框图；
图5为本发明实施例提供的视频微表情识别装置的子单元示意性框图；
图6为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的视频微表情识别方法的应用场景示意图；图2为本发明实施例提供的视频微表情识别方法的流程示意图，该视频微表情识别方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。
如图2所示，该方法包括步骤S110～S160。
S110、若接收到与用户端对应的用户视频数据，获取所述用户视频数据的视频图像序列中包含微表情的图像帧。
在本实施例中，当用户端与服务器建立连接后，用户在用户端上查看服务器对应提供的用户交互界面时，用户根据在用户交互界面上所选定的事项对应的事项流程进行事项办理。在事项办理的过程中，用户端需启动摄像头以对用户视频数据进行采集并上传至服务器。服务器在接收到用户端所发送的用户视频数据后，获取其中包含微表情的图像帧，以进行后续的微表情识别。
在一实施例中，步骤S110包括：
通过光流法获取所述用户视频数据的视频图像序列中包含微表情的图像帧；或者通过时空局部纹理算子获取所述用户视频数据的视频图像序列中包含微表情的图像帧。
在本实施例中，具体可以选择使用的任何合适的特征提取方式，从视频图像序列中提取其中包含的微表情的图像帧。例如，可以使用基于光流的特征提取或者基于LBP-TOP算子的特征提取：
其中，光流算法是在一定约束条件下估算视频图像序列中的光流从而识别出客户面部的细微运动，实现对微表情的特征提取。而LBP-TOP算子(即时空局部纹理)则是在局部二值模式(LBP算子)的基础上发展而来的，用于反映像素在视频图像序列中的空间分布的特征。简单而言，其是在LBP算子的基础上，新增加了一个时间上的维度，从而可以提取视频图像序列中各个像素点跟随时间的变化特征，从而识别出客户面部的细微表情变化。
在一实施例中，所述通过光流法获取所述用户视频数据的视频图像序列中包含微表情的图像帧，包括：
获取所述用户视频数据的视频图像序列的各像素点对应的速度矢量特征；
若视频图像序列中存在至少一帧图像的所述速度矢量特征未保持连续变化，由对应图片组成包含微表情的图像帧。
在本实施例中，当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜(即图像平面)，好像是一种光的“流”，故称之为光流。光流表达图像的变化，包含目标运动的信息，可用来确定目标的运动。光流三个要素：一是运动速度场,这是形成光流的必要条件；二是带光学特征的部分例如有灰度的象素点，它可以携带运动信息；三是成像投影从场景到图像平面，因而能被观察到。
定义光流以点为基础，具体来说，设(u,v)为图像点(x,y)的光流，则把(x,y,u,v)称为光流点。所有光流点的集合称为光流场。当带光学特性的物体在三维空间运动时，在图像平面上就形成了相应的图像运动场，或称为图像速度场。在理想情况下，光流场对应于运动场。
给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时(当用户有微表情时，脸部会有运动，相当于运动物体)，目标和背景存在着相对运动。运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置。通过光流法进行预处理，即可得到所述用户视频数据的视频图像序列中包含微表情的图像帧。
S120、根据预设的经验帧数值，在包含微表情的图像帧中获取与所述经验帧数值相等张数的连续多帧图像，以组成微表情序列。
在本实施例中，经验帧数值记为N，N是一个经验性数值，可以由技术人员根据实际情况的需要而设置。亦即，保证在N帧图像中记录有一个微表情从起始、峰值到终结的完整过程。
S130、调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量。
在本实施例中，通过权重值的不同的可以表示微表情序列中图像帧之间的联系(即微表情图像序列的时域信息)。例如，在一个微笑的微表情序列中，某几张图像帧总是联合出现，通过提高这些联合出现的图像帧的权重可以获得序列的时域信息。
为了对所述微表情序列中每一帧图像赋予权重值，需要调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量。
在一实施例中，如图3所示，步骤S130包括：
S131、获取所述微表情序列中每一帧图像对应的图片特征向量，及每一帧图像对应的图片特征向量集合；其中，所述微表情序列中第i帧图像对应的图片特征向量集合由所述微表情序列中除第i帧图像之外的其他帧图像对应的图片特征向量组成，i的取值范围是[1,N]且N＝经验帧数值；
S132、获取所述微表情序列中每一帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，以得到每一帧图像对应的相似度值集合；其中，所述微表情序列中第i帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，组成第i帧图像的相似度值集合；
S133、将所述微表情序列中每一帧图像分别对应的相似度值集合均进行归一化处理，得到与每一帧图像分别对应的归一化相似度值集合；
S134、根据每一帧图像分别对应的归一化相似度值集合及图片特征向量集合，获取每一帧图像分别对应的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量。
在本实施例中，由于所述微表情序列中的各帧图像初始是不带权重值的，此时为了获取每一帧图像的权重值，可以通过下述过程进行：
1)获取所述微表情序列中每一帧图像对应的图片特征向量，具体可将每一帧图像输入至已完成训练的卷积神经网络中，得到与各帧图像对应图片特征向量；此时再获取每一帧图像对应的图片特征向量集合，其中所述微表情序列中第i帧图像对应的图片特征向量集合由所述微表情序列中除第i帧图像之外的其他帧图像对应的图片特征向量组成，i的取值范围是[1,N]且N＝经验帧数值；
2)将微表情序列的N帧图像中第i帧图像记为Ni，先将将其中一帧图像对应的图片特征向量输入至权重计算层，以计算该帧图像与微表情序列中其余的N-1帧图像的图片特征向量之间的相似性，从而得到每一帧图像对应的相似度值集合；其中，所述微表情序列中第i帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，组成第i帧图像的相似度值集合。该相似性具体可以采用任何合适的方式进行评价，如通过两帧图像的图像特征向量之间的向量点积，余弦相似度或者是引入新的神经网络来计算；
3)将计算获得的与所述微表情序列中每一帧图像分别对应的相似度值集合均进行归一化处理，得到与每一帧图像分别对应的归一化相似度值集合；
4)由于每一帧图像均对应一个归一化相似度值集合，此时将归一化相似度值集合中每一个归一化相似度值与对应帧的图片特征向量相乘后求和，得到每一帧图像均对应的结合权重值的图像特征向量。
通过上述权重计算层，可以挖掘获得微表情图像序列中，不同图像帧之间的内在联系。亦即，一些密切相关的图像帧会有显著高于其他图像帧的权重值，从而在微表情的识别过程能够得到更多的关注。
在一实施例中，步骤S134包括：
将第i帧图像的归一化相似度值集合中每一归一化相似度值，与第i帧图像的图片特征向量集合中对应的图片特征向量进行相乘后求和，得到第i帧图像对应的权重特征向量，以得到第i帧图像相应的结合权重值的图像特征向量。
在本实施例中，通过这一方式获取的第i帧图像相应的结合权重值的图像特征向量，充分考虑了不同图像帧之间的内在联系。
S140、将每一帧图像的结合权重值的图像特征向量进行求和，得到所述用户视频数据对应的综合图像特征向量。
在本实施例中，当获取了每一帧图像的结合权重值的图像特征向量后，此时为了综合考虑这些帧数的图像对应的微表情识别结果，此时可以将每一帧图像的结合权重值的图像特征向量进行求和，得到所述用户视频数据对应的综合图像特征向量，之后以综合图像特征向量作为识别向量来进行微表情识别。
S150、将所述综合图像特征向量输入至预先训练的卷积神经网络，得到微表情识别结果。
在本实施例中，当获取了所述综合图像特征向量后，这一综合图像特征向量代表了视频图像序列中N帧图像对应的综合图片特征向量，此时将其输入至权重计算层所使用的卷积神经网络中，即可得到微表情识别结果。
在一实施例中，步骤S150包括：
将所述综合图像特征向量输入至预先训练的卷积神经网络的softmax层，得到微表情识别结果。
在本实施例中，由于在权重计算层所使用的卷积神经网络中已使用了卷积层、池化层及全连接层，得到了对应的图片特征向量，此时在获取了所述综合图像特征向量后，可将综合图像特征向量输入至卷积神经网络的softmax层，获取最终的微表情识别结果。具体是获得该微表情属于各个类别的概率，选择概率最高的类别作为该微表情序列的微表情识别结果。
S160、调用预先存储的事项处理微表情策略，获取与所述微表情识别结果的事项处理流程信息，将所述事项处理流程信息发送至用户端；其中，所述事项处理微表情策略存储有若干个事项处理流程信息，每一事项处理流程信息对应一个微表情识别结果。
在本实施例中，由于识别了用户视频数据对应的微表情识别结果后，此时为了有针对性的出发后续事项办理流程，此时需要调用预先存储的事项处理微表情策略。
例如，在事项处理微表情策略设置有以下两个策略：
A)当微表情识别结果为开心时，获取事项处理微表情策略中与开心标签对应的第一事项处理流程(如该第一事项处理流程是保持当前自助办理流程的方式，无需人工插入干预流程)
B)当微表情识别结果为厌恶时，获取事项处理微表情策略中与开心标签对应的第二事项处理流程(如该第二事项处理流程是中断当前自助办理流程的方式，需人工插入干预流程，以核实用户是否对事项办理有不满之处)；
C)当微表情识别结果为除了开心和厌恶以外的其他识别结果时，获取事项处理微表情策略中与其他标签对应的第三事项处理流程(如该第三事项处理流程是保持当前自助办理流程的方式，前面多步无需人工插入干预流程，最后3步需人工插入干预流程即可)。
该方法实现了采用神经网络在进行微表情分类时，充分考虑到微表情在多个连续图像帧之间的时序关系，学习到微表情在图像视频序列中的时域信息，从而能够提供更准确的微表情识别结果。
本发明实施例还提供一种视频微表情识别装置，该视频微表情识别装置用于执行前述视频微表情识别方法的任一实施例。具体地，请参阅图4，图4是本发明实施例提供的视频微表情识别装置的示意性框图。该视频微表情识别装置100可以配置于服务器中。
如图4所示，视频微表情识别装置100包括：微表情图像帧获取单元110、微表情序列获取单元120、权重值特征向量获取单元130、综合图像特征向量获取单元140、微表情识别单元150、事项流程信息获取单元160。
微表情图像帧获取单元110，用于若接收到与用户端对应的用户视频数据，获取所述用户视频数据的视频图像序列中包含微表情的图像帧。
在本实施例中，当用户端与服务器建立连接后，用户在用户端上查看服务器对应提供的用户交互界面时，用户根据在用户交互界面上所选定的事项对应的事项流程进行事项办理。在事项办理的过程中，用户端需启动摄像头以对用户视频数据进行采集并上传至服务器。服务器在接收到用户端所发送的用户视频数据后，获取其中包含微表情的图像帧，以进行后续的微表情识别。
在一实施例中，微表情图像帧获取单元110还用于：
通过光流法获取所述用户视频数据的视频图像序列中包含微表情的图像帧；或者通过时空局部纹理算子获取所述用户视频数据的视频图像序列中包含微表情的图像帧。
在本实施例中，具体可以选择使用的任何合适的特征提取方式，从视频图像序列中提取其中包含的微表情的图像帧。例如，可以使用基于光流的特征提取或者基于LBP-TOP算子的特征提取：
其中，光流算法是在一定约束条件下估算视频图像序列中的光流从而识别出客户面部的细微运动，实现对微表情的特征提取。而LBP-TOP算子(即时空局部纹理)则是在局部二值模式(LBP算子)的基础上发展而来的，用于反映像素在视频图像序列中的空间分布的特征。简单而言，其是在LBP算子的基础上，新增加了一个时间上的维度，从而可以提取视频图像序列中各个像素点跟随时间的变化特征，从而识别出客户面部的细微表情变化。
在一实施例中，所述微表情图像帧获取单元110，包括：
速度矢量特征获取单元，用于获取所述用户视频数据的视频图像序列的各像素点对应的速度矢量特征；
目标图像帧获取单元，用于若视频图像序列中存在至少一帧图像的所述速度矢量特征未保持连续变化，由对应图片组成包含微表情的图像帧。
在本实施例中，当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜(即图像平面)，好像是一种光的“流”，故称之为光流。光流表达图像的变化，包含目标运动的信息，可用来确定目标的运动。光流三个要素：一是运动速度场,这是形成光流的必要条件；二是带光学特征的部分例如有灰度的象素点，它可以携带运动信息；三是成像投影从场景到图像平面，因而能被观察到。
定义光流以点为基础，具体来说，设(u,v)为图像点(x,y)的光流，则把(x,y,u,v)称为光流点。所有光流点的集合称为光流场。当带光学特性的物体在三维空间运动时，在图像平面上就形成了相应的图像运动场，或称为图像速度场。在理想情况下，光流场对应于运动场。
给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时(当用户有微表情时，脸部会有运动，相当于运动物体)，目标和背景存在着相对运动。运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置。通过光流法进行预处理，即可得到所述用户视频数据的视频图像序列中包含微表情的图像帧。
微表情序列获取单元120，用于根据预设的经验帧数值，在包含微表情的图像帧中获取与所述经验帧数值相等张数的连续多帧图像，以组成微表情序列。
在本实施例中，经验帧数值记为N，N是一个经验性数值，可以由技术人员根据实际情况的需要而设置。亦即，保证在N帧图像中记录有一个微表情从起始、峰值到终结的完整过程。
权重值特征向量获取单元130，用于调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量。
在本实施例中，通过权重值的不同的可以表示微表情序列中图像帧之间的联系(即微表情图像序列的时域信息)。例如，在一个微笑的微表情序列中，某几张图像帧总是联合出现，通过提高这些联合出现的图像帧的权重可以获得序列的时域信息。
为了对所述微表情序列中每一帧图像赋予权重值，需要调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量。
在一实施例中，如图3所示，权重值特征向量获取单元130包括：
图片特征向量获取单元131，用于获取所述微表情序列中每一帧图像对应的图片特征向量，及每一帧图像对应的图片特征向量集合；其中，所述微表情序列中第i帧图像对应的图片特征向量集合由所述微表情序列中除第i帧图像之外的其他帧图像对应的图片特征向量组成，i的取值范围是[1,N]且N＝经验帧数值；
相似度值获取单元132，用于获取所述微表情序列中每一帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，以得到每一帧图像对应的相似度值集合；其中，所述微表情序列中第i帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，组成第i帧图像的相似度值集合；
归一化单元133，用于将所述微表情序列中每一帧图像分别对应的相似度值集合均进行归一化处理，得到与每一帧图像分别对应的归一化相似度值集合；
权重特征向量获取单元134，用于根据每一帧图像分别对应的归一化相似度值集合及图片特征向量集合，获取每一帧图像分别对应的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量。
在本实施例中，由于所述微表情序列中的各帧图像初始是不带权重值的，此时为了获取每一帧图像的权重值，可以通过下述过程进行：
1)获取所述微表情序列中每一帧图像对应的图片特征向量，具体可将每一帧图像输入至已完成训练的卷积神经网络中，得到与各帧图像对应图片特征向量；此时再获取每一帧图像对应的图片特征向量集合，其中所述微表情序列中第i帧图像对应的图片特征向量集合由所述微表情序列中除第i帧图像之外的其他帧图像对应的图片特征向量组成，i的取值范围是[1,N]且N＝经验帧数值；
2)将微表情序列的N帧图像中第i帧图像记为Ni，先将将其中一帧图像对应的图片特征向量输入至权重计算层，以计算该帧图像与微表情序列中其余的N-1帧图像的图片特征向量之间的相似性，从而得到每一帧图像对应的相似度值集合；其中，所述微表情序列中第i帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，组成第i帧图像的相似度值集合。该相似性具体可以采用任何合适的方式进行评价，如通过两帧图像的图像特征向量之间的向量点积，余弦相似度或者是引入新的神经网络来计算；
3)将计算获得的与所述微表情序列中每一帧图像分别对应的相似度值集合均进行归一化处理，得到与每一帧图像分别对应的归一化相似度值集合；
4)由于每一帧图像均对应一个归一化相似度值集合，此时将归一化相似度值集合中每一个归一化相似度值与对应帧的图片特征向量相乘后求和，得到每一帧图像均对应的结合权重值的图像特征向量。
通过上述权重计算层，可以挖掘获得微表情图像序列中，不同图像帧之间的内在联系。亦即，一些密切相关的图像帧会有显著高于其他图像帧的权重值，从而在微表情的识别过程能够得到更多的关注。
在一实施例中，权重特征向量获取单元134还用于包括：
将第i帧图像的归一化相似度值集合中每一归一化相似度值，与第i帧图像的图片特征向量集合中对应的图片特征向量进行相乘后求和，得到第i帧图像对应的权重特征向量，以得到第i帧图像相应的结合权重值的图像特征向量。
在本实施例中，通过这一方式获取的第i帧图像相应的结合权重值的图像特征向量，充分考虑了不同图像帧之间的内在联系。
综合图像特征向量获取单元140，用于将每一帧图像的结合权重值的图像特征向量进行求和，得到所述用户视频数据对应的综合图像特征向量。
在本实施例中，当获取了每一帧图像的结合权重值的图像特征向量后，此时为了综合考虑这些帧数的图像对应的微表情识别结果，此时可以将每一帧图像的结合权重值的图像特征向量进行求和，得到所述用户视频数据对应的综合图像特征向量，之后以综合图像特征向量作为识别向量来进行微表情识别。
微表情识别单元150，用于将所述综合图像特征向量输入至预先训练的卷积神经网络，得到微表情识别结果。
在本实施例中，当获取了所述综合图像特征向量后，这一综合图像特征向量代表了视频图像序列中N帧图像对应的综合图片特征向量，此时将其输入至权重计算层所使用的卷积神经网络中，即可得到微表情识别结果。
在一实施例中，微表情识别单元150还用于：
将所述综合图像特征向量输入至预先训练的卷积神经网络的softmax层，得到微表情识别结果。
在本实施例中，由于在权重计算层所使用的卷积神经网络中已使用了卷积层、池化层及全连接层，得到了对应的图片特征向量，此时在获取了所述综合图像特征向量后，可将综合图像特征向量输入至卷积神经网络的softmax层，获取最终的微表情识别结果。具体是获得该微表情属于各个类别的概率，选择概率最高的类别作为该微表情序列的微表情识别结果。
事项流程信息获取单元160，用于调用预先存储的事项处理微表情策略，获取与所述微表情识别结果的事项处理流程信息，将所述事项处理流程信息发送至用户端；其中，所述事项处理微表情策略存储有若干个事项处理流程信息，每一事项处理流程信息对应一个微表情识别结果。
在本实施例中，由于识别了用户视频数据对应的微表情识别结果后，此时为了有针对性的出发后续事项办理流程，此时需要调用预先存储的事项处理微表情策略。
例如，在事项处理微表情策略设置有以下两个策略：
A)当微表情识别结果为开心时，获取事项处理微表情策略中与开心标签对应的第一事项处理流程(如该第一事项处理流程是保持当前自助办理流程的方式，无需人工插入干预流程)
B)当微表情识别结果为厌恶时，获取事项处理微表情策略中与开心标签对应的第二事项处理流程(如该第二事项处理流程是中断当前自助办理流程的方式，需人工插入干预流程，以核实用户是否对事项办理有不满之处)；
C)当微表情识别结果为除了开心和厌恶以外的其他识别结果时，获取事项处理微表情策略中与其他标签对应的第三事项处理流程(如该第三事项处理流程是保持当前自助办理流程的方式，前面多步无需人工插入干预流程，最后3步需人工插入干预流程即可)。
该装置实现了采用神经网络在进行微表情分类时，充分考虑到微表情在多个连续图像帧之间的时序关系，学习到微表情在图像视频序列中的时域信息，从而能够提供更准确的微表情识别结果。
上述视频微表情识别装置可以实现为计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图6，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行视频微表情识别方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行视频微表情识别方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的视频微表情识别方法。
本领域技术人员可以理解，图6中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图6所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的视频微表情识别方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种视频微表情识别方法，其特征在于，包括：
若接收到与用户端对应的用户视频数据，获取所述用户视频数据的视频图像序列中包含微表情的图像帧；
根据预设的经验帧数值，在包含微表情的图像帧中获取与所述经验帧数值相等张数的连续多帧图像，以组成微表情序列；
调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量；
将每一帧图像的结合权重值的图像特征向量进行求和，得到所述用户视频数据对应的综合图像特征向量；
将所述综合图像特征向量输入至预先训练的卷积神经网络，得到微表情识别结果；以及
调用预先存储的事项处理微表情策略，获取与所述微表情识别结果的事项处理流程信息，将所述事项处理流程信息发送至用户端；其中，所述事项处理微表情策略存储有若干个事项处理流程信息，每一事项处理流程信息对应一个微表情识别结果；
所述调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量，包括：
获取所述微表情序列中每一帧图像对应的图片特征向量，及每一帧图像对应的图片特征向量集合；其中，所述微表情序列中第i帧图像对应的图片特征向量集合由所述微表情序列中除第i帧图像之外的其他帧图像对应的图片特征向量组成，i的取值范围是[1,N]且N=经验帧数值；
获取所述微表情序列中每一帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，以得到每一帧图像对应的相似度值集合；其中，所述微表情序列中第i帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，组成第i帧图像的相似度值集合；
将所述微表情序列中每一帧图像分别对应的相似度值集合均进行归一化处理，得到与每一帧图像分别对应的归一化相似度值集合；
根据每一帧图像分别对应的归一化相似度值集合及图片特征向量集合，获取每一帧图像分别对应的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量。
2.根据权利要求1所述的视频微表情识别方法，其特征在于，所述获取所述用户视频数据的视频图像序列中包含微表情的图像帧，包括：
通过光流法获取所述用户视频数据的视频图像序列中包含微表情的图像帧；或者通过时空局部纹理算子获取所述用户视频数据的视频图像序列中包含微表情的图像帧。
3.根据权利要求2所述的视频微表情识别方法，其特征在于，所述通过光流法获取所述用户视频数据的视频图像序列中包含微表情的图像帧，包括：
获取所述用户视频数据的视频图像序列的各像素点对应的速度矢量特征；
若视频图像序列中存在至少一帧图像的所述速度矢量特征未保持连续变化，由对应图片组成包含微表情的图像帧。
4.根据权利要求1所述的视频微表情识别方法，其特征在于，所述根据每一帧图像分别对应的归一化相似度值集合及图片特征向量集合，获取每一帧图像分别对应的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量，包括：
将第i帧图像的归一化相似度值集合中每一归一化相似度值，与第i帧图像的图片特征向量集合中对应的图片特征向量进行相乘后求和，得到第i帧图像对应的权重特征向量，以得到第i帧图像相应的结合权重值的图像特征向量。
5.根据权利要求4所述的视频微表情识别方法，其特征在于，所述将所述综合图像特征向量输入至预先训练的卷积神经网络，得到微表情识别结果，包括：
将所述综合图像特征向量输入至预先训练的卷积神经网络的softmax层，得到微表情识别结果。
6.一种视频微表情识别装置，其特征在于，包括：
微表情图像帧获取单元，用于若接收到与用户端对应的用户视频数据，获取所述用户视频数据的视频图像序列中包含微表情的图像帧；
微表情序列获取单元，用于若根据预设的经验帧数值，在包含微表情的图像帧中获取与所述经验帧数值相等张数的连续多帧图像，以组成微表情序列；
权重值特征向量获取单元，用于调用预先构建的权重计算层计算所述微表情序列中每一帧图像的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量；
综合图像特征向量获取单元，用于将每一帧图像的结合权重值的图像特征向量进行求和，得到所述用户视频数据对应的综合图像特征向量；
微表情识别单元，用于将所述综合图像特征向量输入至预先训练的卷积神经网络，得到微表情识别结果；以及
事项流程信息获取单元，用于调用预先存储的事项处理微表情策略，获取与所述微表情识别结果的事项处理流程信息，将所述事项处理流程信息发送至用户端；其中，所述事项处理微表情策略存储有若干个事项处理流程信息，每一事项处理流程信息对应一个微表情识别结果；
所述权重值特征向量获取单元包括：
图片特征向量获取单元，用于获取所述微表情序列中每一帧图像对应的图片特征向量，及每一帧图像对应的图片特征向量集合；其中，所述微表情序列中第i帧图像对应的图片特征向量集合由所述微表情序列中除第i帧图像之外的其他帧图像对应的图片特征向量组成，i的取值范围是[1,N]且N=经验帧数值；
相似度值获取单元，用于获取所述微表情序列中每一帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，以得到每一帧图像对应的相似度值集合；其中，所述微表情序列中第i帧图像的图片特征向量与其他各帧图像的图片特征向量之间的相似度值，组成第i帧图像的相似度值集合；
归一化单元，用于将所述微表情序列中每一帧图像分别对应的相似度值集合均进行归一化处理，得到与每一帧图像分别对应的归一化相似度值集合；
权重特征向量获取单元，用于根据每一帧图像分别对应的归一化相似度值集合及图片特征向量集合，获取每一帧图像分别对应的权重特征向量，以得到每一帧图像的结合权重值的图像特征向量。
7.根据权利要求6所述的视频微表情识别装置，其特征在于，所述微表情图像帧获取单元还用于：
通过光流法获取所述用户视频数据的视频图像序列中包含微表情的图像帧；或者通过时空局部纹理算子获取所述用户视频数据的视频图像序列中包含微表情的图像帧。
8.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的视频微表情识别方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至5任一项所述的视频微表情识别方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010583481.9A CN111738160B (zh) | 2020-06-23 | 2020-06-23 | 视频微表情识别方法、装置、计算机设备及存储介质 |
| PCT/CN2021/097208 WO2021259005A1 (zh) | 2020-06-23 | 2021-05-31 | 视频微表情识别方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010583481.9A CN111738160B (zh) | 2020-06-23 | 2020-06-23 | 视频微表情识别方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111738160A CN111738160A (zh) | 2020-10-02 |
| CN111738160B true CN111738160B (zh) | 2024-03-26 |
Family
ID=72650730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010583481.9A Active CN111738160B (zh) | 2020-06-23 | 2020-06-23 | 视频微表情识别方法、装置、计算机设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111738160B (zh) |
| WO (1) | WO2021259005A1 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738160B (zh) * | 2020-06-23 | 2024-03-26 | 平安科技（深圳）有限公司 | 视频微表情识别方法、装置、计算机设备及存储介质 |
| CN112580555B (zh) * | 2020-12-25 | 2022-09-30 | 中国科学技术大学 | 一种自发微表情识别方法 |
| CN114463809A (zh) * | 2022-01-10 | 2022-05-10 | 中国电子科技集团公司电子科学研究院 | 一种视频流中微表情视频序列的检测方法及装置 |
| CN114373214A (zh) * | 2022-01-14 | 2022-04-19 | 平安普惠企业管理有限公司 | 基于微表情的用户心理分析方法、装置、设备及存储介质 |
| CN114639136B (zh) * | 2022-01-22 | 2024-03-08 | 西北工业大学 | 一种基于浅层网络的长视频微表情检测方法 |
| CN114708627B (zh) * | 2022-02-28 | 2024-05-31 | 厦门大学 | 一种应用于社交机器人的微表情识别方法 |
| CN114743235B (zh) * | 2022-03-01 | 2024-10-18 | 东南大学 | 基于稀疏化自注意力机制的微表情识别方法及系统 |
| CN114511912B (zh) * | 2022-03-14 | 2024-08-02 | 东南大学 | 基于双流卷积神经网络的跨库微表情识别方法及装置 |
| CN114842523A (zh) * | 2022-03-16 | 2022-08-02 | 西南大学 | 表情识别方法、装置、电子设备及计算机可读取存储介质 |
| CN114863515B (zh) * | 2022-04-18 | 2024-07-23 | 厦门大学 | 基于微表情语义的人脸活体检测方法及装置 |
| CN115221954B (zh) * | 2022-07-12 | 2023-10-31 | 中国电信股份有限公司 | 用户画像方法、装置、电子设备以及存储介质 |
| CN115396743B (zh) * | 2022-08-26 | 2023-08-11 | 深圳万兴软件有限公司 | 视频去水印方法、装置、设备及存储介质 |
| CN116071810A (zh) * | 2023-04-03 | 2023-05-05 | 中国科学技术大学 | 微表情检测方法、系统、设备及存储介质 |
| CN116824280B (zh) * | 2023-08-30 | 2023-11-24 | 安徽爱学堂教育科技有限公司 | 基于微表情变化的心理预警方法 |
| CN117314890B (zh) * | 2023-11-07 | 2024-04-23 | 东莞市富明钮扣有限公司 | 打扣加工的安全控制方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980811A (zh) * | 2016-10-21 | 2017-07-25 | 商汤集团有限公司 | 人脸表情识别方法和人脸表情识别装置 |
| CN109376598A (zh) * | 2018-09-17 | 2019-02-22 | 平安科技（深圳）有限公司 | 面部表情图片处理方法、装置、计算机设备和存储介质 |
| CN109522818A (zh) * | 2018-10-29 | 2019-03-26 | 中国科学院深圳先进技术研究院 | 一种表情识别的方法、装置、终端设备及存储介质 |
| CN110175505A (zh) * | 2019-04-08 | 2019-08-27 | 北京网众共创科技有限公司 | 微表情类型的确定方法、装置、存储介质及电子装置 |
| EP3564854A1 (en) * | 2018-10-30 | 2019-11-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Facial expression recognition method, apparatus, electronic device, and storage medium |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI430185B (zh) * | 2010-06-17 | 2014-03-11 | Inst Information Industry | 臉部表情辨識系統及其辨識方法及其電腦程式產品 |
| US8848068B2 (en) * | 2012-05-08 | 2014-09-30 | Oulun Yliopisto | Automated recognition algorithm for detecting facial expressions |
| CN111738160B (zh) * | 2020-06-23 | 2024-03-26 | 平安科技（深圳）有限公司 | 视频微表情识别方法、装置、计算机设备及存储介质 |
-
2020
- 2020-06-23 CN CN202010583481.9A patent/CN111738160B/zh active Active
-
2021
- 2021-05-31 WO PCT/CN2021/097208 patent/WO2021259005A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980811A (zh) * | 2016-10-21 | 2017-07-25 | 商汤集团有限公司 | 人脸表情识别方法和人脸表情识别装置 |
| CN109376598A (zh) * | 2018-09-17 | 2019-02-22 | 平安科技（深圳）有限公司 | 面部表情图片处理方法、装置、计算机设备和存储介质 |
| CN109522818A (zh) * | 2018-10-29 | 2019-03-26 | 中国科学院深圳先进技术研究院 | 一种表情识别的方法、装置、终端设备及存储介质 |
| EP3564854A1 (en) * | 2018-10-30 | 2019-11-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Facial expression recognition method, apparatus, electronic device, and storage medium |
| CN110175505A (zh) * | 2019-04-08 | 2019-08-27 | 北京网众共创科技有限公司 | 微表情类型的确定方法、装置、存储介质及电子装置 |
Non-Patent Citations (1)
| Title |
|---|
| 人脸微表情识别综述;徐峰 等;自动化学报;20170331;第第43卷卷(第第3期期);333-348 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021259005A1 (zh) | 2021-12-30 |
| CN111738160A (zh) | 2020-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111738160B (zh) | 视频微表情识别方法、装置、计算机设备及存储介质 | |
| TW202101371A (zh) | 視訊流的處理方法和裝置 | |
| CN108629306B (zh) | 人体姿态识别方法及装置、电子设备、存储介质 | |
| CN105917305B (zh) | 基于图像情感内容的过滤和快门拍摄 | |
| CN111339813B (zh) | 人脸属性识别方法、装置、电子设备和存储介质 | |
| CN108269254A (zh) | 图像质量评估方法和装置 | |
| CN109413510B (zh) | 视频摘要生成方法和装置、电子设备、计算机存储介质 | |
| US20220237943A1 (en) | Method and apparatus for adjusting cabin environment | |
| CN111209818A (zh) | 视频个体识别方法、系统、设备及可读存储介质 | |
| CN114612987B (zh) | 一种表情识别方法及装置 | |
| CN111259815A (zh) | 一种人脸图像质量评估方法、系统、设备及介质 | |
| Ullah et al. | Improved deep CNN-based two stream super resolution and hybrid deep model-based facial emotion recognition | |
| Banskota et al. | A novel enhanced convolution neural network with extreme learning machine: facial emotional recognition in psychology practices | |
| CN112215831B (zh) | 一种用于人脸图像质量的评价方法和系统 | |
| Haber et al. | A practical approach to real-time neutral feature subtraction for facial expression recognition | |
| CN110909622A (zh) | 微表情识别金融风控方法及系统 | |
| CN116912604B (zh) | 模型训练方法、图像识别方法、装置以及计算机存储介质 | |
| Willoughby et al. | DrunkSelfie: intoxication detection from smartphone facial images | |
| CN112084371B (zh) | 一种电影多标签分类方法、装置、电子设备以及存储介质 | |
| JP6101470B2 (ja) | 顔表情解析装置および顔表情解析プログラム | |
| CN111126177B (zh) | 人数统计的方法及装置 | |
| JP2014119879A (ja) | 顔表情評価結果平滑化装置および顔表情評価結果平滑化プログラム | |
| CN108399358B (zh) | 一种在视频聊天的表情显示方法及系统 | |
| Dhamecha et al. | On frame selection for video face recognition | |
| CN112801238B (zh) | 一种图像分类方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |