CN110532950A - 基于微表情视频的视频特征提取方法、微表情识别方法 - Google Patents

基于微表情视频的视频特征提取方法、微表情识别方法 Download PDF

Info

Publication number
CN110532950A
CN110532950A CN201910808102.9A CN201910808102A CN110532950A CN 110532950 A CN110532950 A CN 110532950A CN 201910808102 A CN201910808102 A CN 201910808102A CN 110532950 A CN110532950 A CN 110532950A
Authority
CN
China
Prior art keywords
micro
video
expression
image
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910808102.9A
Other languages
English (en)
Other versions
CN110532950B (zh
Inventor
陶建华
牛明月
刘斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201910808102.9A priority Critical patent/CN110532950B/zh
Publication of CN110532950A publication Critical patent/CN110532950A/zh
Application granted granted Critical
Publication of CN110532950B publication Critical patent/CN110532950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Abstract

本发明属于情感计算领域，特别涉及一种基于微表情视频的视频特征提取方法，旨在为了解决如何从视频中识别面部微小变化并提取出微表情特征，提高微表情识别精度和准确率的问题。本发明对待测目标人脸视频每一帧图像进行网格化处理，并进行二阶梯度的计算和数据分布统计，获取图像帧序列对应的图像特征表示序列；通过秩池化，按照时间顺序排序特征表示序列，获取视频特征表示；通过范数的行稀疏性获取微表情视频特征。本发明能够提取面部的局部细节信息，捕获人脸细节信息的动态变化，在提取微表情视频特征的同时进一步抑制面部中其他信息对识别结果的影响；进一步通过本发明的微表情识别方法，有效提高了微表情识别精度和准确率。

Description

基于微表情视频的视频特征提取方法、微表情识别方法
技术领域
本发明属于情感计算领域，特别涉及一种基于微表情视频的视频特征提取方法、微表情识别方法。
背景技术
微表情识别就是希望机器能够观察并理解人的面部微小变化，揭示人在不同情形下的真实情感表达，根据相关的心理学研究表明，微表情发生在1/25到1/5秒之间，且仅发生在面部的部分区域。因此，对于捕获该面部微小变化具有一定的难度。微表情识别是有表现力的人机交互和人工智能领域重点关注的研究方向，涉及到智能科学、数学、心理学、生理科学等多个领域。
微表情识别主要包括特征提取和分类器分类两个步骤。目前微表情特征的提取有两类方法：一类是直接从视频中获得特征表示，代表性的方法有LBP-TOP、光流法等，这些特征无法提取面部的细微变化或者无法获得视频中所有帧之间的时序关系，因此影响了微表情识别的精度。另一类是首先提取视频中各帧的特征，就是利用已有的图像描述子如LBP等得到帧级别的特征表示，然后通过平均值池化或者最大值池化来将这些帧级别的特征聚合为视频级别的特征。但是，这些方法中所使用的图像描述子往往反映的是面部的身份特征而不是面部细节信息，此外，常见的最大值或者平均值池化无法保持帧级别特征之间的时序关系。
因此，在微表情识别时如何从视频中识别面部微小变化并提取出微表情特征，提高微表情识别精度和准确率成为有表现力的人机交互和人工智能领域重点关注的研究方向。
发明内容
为了解决现有技术中的上述问题，即为了解决在微表情识别时如何从视频中识别面部微小变化并提取出微表情特征，提高微表情识别精度和准确率的问题，本发明的第一方面，提出了一种基于微表情视频的视频特征提取方法，该方法包括以下步骤：
步骤S100，提取待测目标人脸视频的图像帧序列；
步骤S200，对每一帧图像进行网格化处理，并进行二阶梯度的计算和数据分布统计，提取图像特征；获取所述图像帧序列对应的图像特征表示序列；
步骤S300，采用秩池化，按照时间顺序排序所述图像特征表示序列，提取视频特征，获取视频特征表示；
步骤S400，基于所述视频特征表示，通过范数的行稀疏性获取微表情视频特征表示。
在一些优选实施方式中，步骤S200包括以下步骤：
步骤S210，将所述图像帧序列中的每帧图像进行网格划分，获取图像网格单元；
步骤S220，计算每个网格单元中各像素的二阶梯度，得到每个网格单元的二阶梯度特征直方图的向量表示；基于每帧图像中各网格单元的二阶梯度特征直方图的向量表示，获取每帧图像的图像特征表不；
步骤S230，基于每帧图像的图像特征表示，得到所述图像帧序列对应的图像特征表示序列。
在一些优选实施方式中，所述秩池化的目标函数为：
其中，和表示第ti帧和第tj帧图像的图像特征表示，且在视频中第ti帧先于第tj帧出现；εij是待优化的非负数；C是惩罚因子；u是待优化的结果，即视频特征表示。
在一些优选实施方式中，“通过范数的行稀疏性获取微表情视频特征表示”的步骤为：
步骤S4]0，通过优化基于范数构造的目标函数获得权矩阵；
步骤S420，通过对权矩阵的行向量的范数进行排序，获取微表情视频特征表示。
在一些优选实施方式中，步骤S4]0中的目标函数为：
其中，U是样本矩阵，W是权矩阵，Y是样本对应的标签矩阵，γ是参数。
在一些优选实施方式中，所述图像帧序列通过高速摄像机采集，帧速率大于等于120帧/秒，分辨率大于等于256像素*256像素。
本发明的第二方面提出了一种基于微表情视频的视频特征提取系统，该系统包括图像帧序列提取模块、图像特征获取模块、视频特征获取模块、微表情视频特征获取模块；
所述图像帧序列提取模块，配置为提取待测目标人脸视频的图像帧序列；
所述图像特征获取模块，配置为对每一帧图像进行网格化处理，并进行二阶梯度的计算和数据分布统计，提取图像特征；获取所述图像帧序列对应的图像特征表示序列；
所述视频特征获取模块，配置为采用秩池化，按照时间顺序排序所述图像特征表示序列，提取视频特征，获取视频特征表示；
所述微表情视频特征获取模块，配置为基于所述视频特征表示，通过范数的行稀疏性获取微表情视频特征表示。
本发明的第三方面提出了一种微表情识别方法，包括：
获取待测目标人脸的视频数据；
通过上述的基于微表情视频的视频特征提取方法获取微表情视频特征表示；
基于所述微表情视频特征表示，通过微表情识别模型进行微表情类别判断，输出微表情分类结果；
其中，所述微表情识别模型基于支持向量机构建；其训练样本中的带微表情类别标签的视频数据，需要通过上述的基于微表情视频的视频特征提取方法获取微表情视频特征表示，再用于所述微表情识别模型的训练。
本发明的第四方面提出了一种微表情识别系统，包括视频数据获取模块，微表情视频特征获取模块、微表情类别获取模块；
所述视频数据获取模块，配置为获取待测目标人脸的视频数据；
所述微表情视频特征获取模块，配置为通过上述的基于微表情视频的视频特征提取方法获取微表情视频特征表示；
所述微表情类别获取模块，配置为基于所述微表情视频特征表示，通过微表情识别模型进行微表情类别判断，输出微表情分类结果。
其中，微表情识别模型基于支持向量机构建；其训练样本中的带微表情类别标签的视频数据，需要通过上述的基于微表情视频的视频特征提取方法获取微表情视频特征表示，再用于所述微表情识别模型的训练。
本发明的第五方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于微表情视频的视频特征提取方法，或上述的微表情识别方法。
本发明的第六方面，提出了一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于微表情视频的视频特征提取方法，或上述的微表情识别方法。
本发明有益效果：
本发明提出一种基于微表情视频的视频特征提取方法，能够提取面部的局部细节信息，捕获人脸细节信息中随时间的动态变化，通过范数的稀疏性质选择出微表情视频特征，在提取有效特征的同时进一步抑制面部中其他信息对识别结果的影响，进一步通过本发明的微表情识别方法，有效提高了微表情识别精度和准确率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例的基于微表情视频的视频特征提取方法流程示意图；
图2是本发明一种实施例的计算二阶梯度的模板；
图3是本发明一种实施例的微表情识别方法流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的一种基于微表情视频的视频特征提取方法，该方法包括以下步骤：
步骤S100，提取待测目标人脸视频的图像帧序列；
步骤S200，对每一帧图像进行网格化处理，并进行二阶梯度的计算和数据分布统计，提取图像特征；获取图像帧序列对应的图像特征表示序列；
步骤S300，采用秩池化，按照时间顺序排序图像特征表示序列，提取视频特征，获取视频特征表示；
步骤S400，基于视频特征表示，通过范数的行稀疏性获取微表情视频特征表示。
为了更清晰地对本发明进行说明，下面结合图1对本方发明方法一种实施例中各步骤进行展开详述。
步骤S100，提取待测目标人脸视频的图像帧序列。
图像帧序列通过高速摄像机采集，帧速率大于等于120帧/秒，分辨率大于等于256像素*256像素。
步骤S200，对每一帧图像进行网格化处理，并进行二阶梯度的计算和数据分布统计，提取图像特征；获取图像帧序列对应的图像特征表示序列。
以下对步骤S200包括的具体步骤做详细说明。
步骤S210，将图像帧序列中的每帧图像进行网格划分，获取图像网格单元。
将每帧图像进行灰度化处理，并归一化为256像素*256像素大小，然后对每帧图像进行8*8的网格划分，因此每一个网格的大小为32像素*32像素，且为正方形。
步骤S220，计算每个网格单元中各像素的二阶梯度，得到每个网格单元的二阶梯度特征直方图的向量表示；基于每帧图像中各网格单元的二阶梯度特征直方图的向量表示，获取每帧图像的图像特征表示。
像素的二阶梯度采用模板卷积来计算，对每个像素分别计算八个方向的二阶梯度，采用的模板如图2中P1-P8所示，其中空白位置是数字0，各方向间的夹角为45度。
对于网格单元每个位置，首先利用图2所示的模板对其进行滤波，会得到8个滤波结果；其次，对这8个滤波结果进行二值化处理，即如果滤波结果大于0则置为1，否则置为0；最后，对于网格单元的每一个位置而言，这8个二值化的结果产生了一个长度为8的二进制串，其对应的十进制结果即为网格单元中每一个像素的局部二阶梯度模式值。由于8个二进制位所能表示的十进制数的范围为0-255，因此对每一个网格单元统计0-255中每个数字出现的次数会得到一个长度为256的二阶梯度特征直方图的向量表示。
将一帧图像中64个网格单元得到的向量表示拼接到一起就是一帧图像的图像特征表示。对图像帧序列中的每一帧图像都进行上述处理，得到每帧图像的图像特征表示。
步骤S230，基于每帧图像的图像特征表示，得到图像帧序列对应的图像特征表示序列。
步骤S300，采用秩池化，按照时间顺序排序图像特征表示序列，提取视频特征，获取视频特征表示。
根据视频中各帧图像之间的关系，利用秩池化(rank pooling)由式(1)来获得相应的视频特征；
其中，和表示第ti帧和第tj帧图像的图像特征表示，且在视频中第ti帧先于第tj帧出现；εij是待优化的非负数；C是惩罚因子；u是待优化的结果，也是秩池化的结果，即视频特征表示；表示如果ti＜tj则
对于式(1)的优化过程可以转变为对采用拉格朗日乘子法得到的对偶问题进行求解。具体来说，式(1)的对偶问题可以写为式(2)的形式：
其中，和为拉格朗日乘子；和表示图像帧序列第ti帧和第tj帧图像的图像特征表示，N为图像帧序列的帧数。
对于求解上式，可以先初始化除以外的其他参数来优化然后再固定除以外的参数来优化以此类推直至把所有的参数优化完为止。以下列出了式(2)对未知变量的导数：
当ts＝1时，式(2)对的导数如式(3)所示；
当t3≤ts＜tN时，式(2)对的导数如式(4)所示；
当ts＝tN时，式(2)对的导数如式(4)所示。
当所有的未知变量被优化完成以后，那么式(1)中待优化变量u可以通过式(6)求得。
步骤S400，基于所述视频特征表示，通过范数的行稀疏性获取微表情视频特征表示。
具体步骤为：
步骤S410，通过优化基于范数构造的目标函数获得权矩阵；
任一m行n列的矩阵A的l2，1范数可依据式(7)计算得到。
根据式(8)优化基于l2，1范数构造的目标函数，获得权矩阵。
其中，U＝[u1，…，un]∈Rd×n是样本矩阵，样本un为通过步骤S100-步骤S300获取的视频特征表示，Y＝[y1，…，yn]T∈Rn×c是样本对应的标签矩阵，样本标签yn是通过one-hot编码得到的样本un微表情的类别，W是权矩阵，γ是参数。
对式(8)的优化过程可通过算法1来进行。
算法1：
记A＝[UT γI]，E＝UTW-Y，V＝[WT ET]T，其中I为n阶单位矩阵；
设置t＝0，初始化Dt为一个单位矩阵；
重复以下步骤直至收敛：
计算
计算对角矩阵Dt+1，其中第i个对角元素为
令t＝t+1.
步骤S420，通过对权矩阵的行向量的范数进行排序，获取微表情视频特征表示。
对于得到的解权矩阵W，记Wi为W的第i行，计算权矩阵的每一行的2-范数，按照2-范数进行排序，得到||wi1||2≥…≥||wid||2，如果在步骤S410中所选择的特征个数为S，记下前S个较大的2-范数值所对应的行标，那么U的第i1，…is行就是选择出来的与微表情相关的特征。
本发明的一种微表情识别方法，包括：
获取待测目标人脸的视频数据；
通过基于微表情视频的视频特征提取方法获取微表情视频特征表示；
基于微表情视频特征表示，通过微表情识别模型进行微表情类别判断，输出微表情分类结果；
其中，微表情识别模型基于支持向量机构建；其训练样本中的带微表情类别标签的视频数据，需要通过基于微表情视频的视频特征提取方法获取微表情视频特征表示，再用于微表情识别模型的训练。
为了更清晰地对本发明一种微表情识别方法进行说明，下面先对支持向量机的获取和训练进行说明，然后结合图3对本方发明方法一种实施例中各步骤进行展开详述。
1、支持向量机的获取和训练
支持向量机本身是用于二分类问题的方法，当需要用于多分类时，可以采用“一对多”的方案来实现多分类目标。在训练时，先将样本分为高兴和不高兴两个样本集来训练第一个支持向量机模型；然后将不高兴的样本分为惊奇和非惊奇两个样本集来训练第二个支持向量机模型；以此类推直到每一个样本集中只含有单一类别的样本为止。
2、发明方法步骤说明
获取待测目标人脸的视频数据。待测目标人脸的视频数据通过高速摄像机采集，帧速率大于等于120帧/秒，分辨率大于等于256像素*256像素。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，通过基于微表情视频的视频特征提取方法获取微表情视频特征的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
基于微表情视频特征，通过微表情识别模型进行微表情类别判断，输出微表情分类结果。将微表情视频特征输入预先训练好的微表情识别模型，微表情识别模型基于支持向量机构建，支持向量机进行微表情类别判断，输出微表情分类结果。共有五类情感种类，分别为高兴(happiness)、惊奇(surprise)、厌恶(disgust)、压抑(repression)、其他(others)，最终的识别结果为其中之一。
支持向量机进行微表情类别判断的具体过程为：首先将测试样本的微表情视频特征表示输入第一个训练好的支持向量机模型来判断该视频特征是否属于高兴或者不高兴，如果将其分为高兴类别则测试样本的类别为高兴，否则将其输入第二个支持向量机模型来判断其是否属于惊奇这个类别，如果属于则测试样本的情感类别为惊奇，否则将测试样本输入第三个支持向量机模型，直到能够将测试样本分到一个明确的类别中为止。
本发明实施例的一种基于微表情视频的视频特征提取系统，该系统包括图像帧序列提取模块、图像特征获取模块、视频特征获取模块、微表情视频特征获取模块；
图像帧序列提取模块，配置为提取待测目标人脸视频的图像帧序列；
图像特征获取模块，配置为对每一帧图像进行网格化处理，并进行二阶梯度的计算和数据分布统计，提取图像特征；获取图像帧序列对应的图像特征表示序列；
视频特征获取模块，配置为采用秩池化，按照时间顺序排序图像特征表示序列，提取视频特征，获取视频特征表示；
微表情视频特征获取模块，配置为基于视频特征表示，通过范数的行稀疏性获取微表情视频特征表示。
本发明实施例的一种微表情识别系统，包括：视频数据获取模块，微表情视频特征获取模块、微表情类别获取模块；
视频数据获取模块，配置为获取待测目标人脸的视频数据；
微表情视频特征获取模块，配置为通过上述的基于微表情视频的视频特征提取方法获取微表情视频特征表示；
微表情类别获取模块，配置为基于微表情视频特征表示，通过微表情识别模型进行微表情类别判断，输出微表情分类结果；
其中，微表情识别模型基于支持向量机构建；其训练样本中的带微表情类别标签的视频数据，需要通过上述的基于微表情视频的视频特征提取方法获取微表情视频特征表示，再用于微表情识别模型的训练。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述两个实施例提供的基于微表情视频的视频特征提取系统和微表情识别系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，每个系统可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于微表情视频的视频特征提取方法，或上述的微表情识别方法。
本发明实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于微表情视频的视频特征提取方法，或上述的微表情识别方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (11)

1.一种基于微表情视频的视频特征提取方法，其特征在于，该方法包括以下步骤：
步骤S100，提取待测目标人脸视频的图像帧序列；
步骤S200，对每一帧图像进行网格化处理，并进行二阶梯度的计算和数据分布统计，提取图像特征；获取所述图像帧序列对应的图像特征表示序列；
步骤S300，采用秩池化，按照时间顺序排序所述图像特征表示序列，提取视频特征，获取视频特征表示；
步骤S400，基于所述视频特征表示，通过范数的行稀疏性获取微表情视频特征表示。
2.根据权利要求1所述的基于微表情视频的视频特征提取方法，其特征在于，步骤S200包括以下步骤：
步骤S210，将所述图像帧序列中的每帧图像进行网格划分，获取图像网格单元；
步骤S220，计算每个网格单元中各像素的二阶梯度，得到每个网格单元的二阶梯度特征直方图的向量表示；基于每帧图像中各网格单元的二阶梯度特征直方图的向量表示，获取每帧图像的图像特征表示；
步骤S230，基于每帧图像的图像特征表示，得到所述图像帧序列对应的图像特征表示序列。
3.根据权利要求1所述的基于微表情视频的视频特征提取方法，其特征在于，所述秩池化的目标函数为：
εij≥0
其中，和表示第ti帧和第tj帧图像的图像特征表示，且在视频中第ti帧先于第tj帧出现；εij是待优化的非负数；C是惩罚因子；u是待优化的结果，即视频特征表示。
4.根据权利要求1所述的基于微表情视频的视频特征提取方法，其特征在于，“通过范数的行稀疏性获取微表情视频特征表示”的步骤为：
步骤S410，通过优化基于范数构造的目标函数获得权矩阵；
步骤S420，通过对权矩阵的行向量的范数进行排序，获取微表情视频特征表示。
5.根据权利要求4所述的基于微表情视频的视频特征提取方法，其特征在于，步骤S410中的目标函数为：
其中，U是样本矩阵，W是权矩阵，Y是样本对应的标签矩阵，γ是参数。
6.根据权利要求1所述的基于微表情视频的视频特征提取方法，其特征在于，所述图像帧序列通过高速摄像机采集，帧速率大于等于120帧/秒，分辨率大于等于256像素*256像素。
7.一种基于微表情视频的视频特征提取系统，其特征在于，该系统包括图像帧序列提取模块、图像特征获取模块、视频特征获取模块、微表情视频特征获取模块；
所述图像帧序列提取模块，配置为提取待测目标人脸视频的图像帧序列；
所述图像特征获取模块，配置为对每一帧图像进行网格化处理，并进行二阶梯度的计算和数据分布统计，提取图像特征；获取所述图像帧序列对应的图像特征表示序列；
所述视频特征获取模块，配置为采用秩池化，按照时间顺序排序所述图像特征表示序列，提取视频特征，获取视频特征表示；
所述微表情视频特征获取模块，配置为基于所述视频特征表示，通过范数的行稀疏性获取微表情视频特征表示。
8.一种微表情识别方法，其特征在于，包括：
获取待测目标人脸的视频数据；
通过权利要求1-6中任一项所述的基于微表情视频的视频特征提取方法获取微表情视频特征表示；
基于所述微表情视频特征表示，通过微表情识别模型进行微表情类别判断，输出微表情分类结果；
其中，所述微表情识别模型基于支持向量机构建；其训练样本中的带微表情类别标签的视频数据，需要通过权利要求1-6中任一项所述的基于微表情视频的视频特征提取方法获取微表情视频特征表示，再用于所述微表情识别模型的训练。
9.一种微表情识别系统，其特征在于，包括视频数据获取模块，微表情视频特征获取模块、微表情类别获取模块；
所述视频数据获取模块，配置为获取待测目标人脸的视频数据；
所述微表情视频特征获取模块，配置为通过权利要求1-6中任一项所述的基于微表情视频的视频特征提取方法获取微表情视频特征表示；
所述微表情类别获取模块，配置为基于所述微表情视频特征表示，通过微表情识别模型进行微表情类别判断，输出微表情分类结果；
其中，所述微表情识别模型基于支持向量机构建；其训练样本中的带微表情类别标签的视频数据，需要通过权利要求1-6中任一项所述的基于微表情视频的视频特征提取方法获取微表情视频特征表示，再用于所述微表情识别模型的训练。
10.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6中任一项所述的基于微表情视频的视频特征提取方法，或权利要求8所述的微表情识别方法。
11.一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6中任一项所述的基于微表情视频的视频特征提取方法，或权利要求8所述的微表情识别方法。
CN201910808102.9A 2019-08-29 2019-08-29 基于微表情视频的视频特征提取方法、微表情识别方法 Active CN110532950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910808102.9A CN110532950B (zh) 2019-08-29 2019-08-29 基于微表情视频的视频特征提取方法、微表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910808102.9A CN110532950B (zh) 2019-08-29 2019-08-29 基于微表情视频的视频特征提取方法、微表情识别方法

Publications (2)

Publication Number Publication Date
CN110532950A true CN110532950A (zh) 2019-12-03
CN110532950B CN110532950B (zh) 2021-08-13

Family

ID=68665080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910808102.9A Active CN110532950B (zh) 2019-08-29 2019-08-29 基于微表情视频的视频特征提取方法、微表情识别方法

Country Status (1)

Country Link
CN (1) CN110532950B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368734A (zh) * 2020-03-04 2020-07-03 中国科学技术大学 一种基于正常表情辅助的微表情识别方法
CN111882625A (zh) * 2020-07-07 2020-11-03 北京达佳互联信息技术有限公司 生成动态图的方法、装置、电子设备及存储介质
CN111967295A (zh) * 2020-06-23 2020-11-20 南昌大学 一种语义标签挖掘的微表情捕捉方法
CN112183419A (zh) * 2020-10-09 2021-01-05 福州大学 一种基于光流生成网络和重排序的微表情分类方法
CN113076813A (zh) * 2021-03-12 2021-07-06 首都医科大学宣武医院 面具脸特征识别模型训练方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425183A (zh) * 2008-11-13 2009-05-06 上海交通大学 基于二阶锥规划的变形体三维跟踪方法
US20120002869A1 (en) * 2006-06-13 2012-01-05 Feng Han System and method for detection of multi-view/multi-pose objects
CN102930301A (zh) * 2012-10-16 2013-02-13 西安电子科技大学 基于特征权重学习与核稀疏表示的图像分类方法
CN104134204A (zh) * 2014-07-09 2014-11-05 中国矿业大学 一种基于稀疏表示的图像清晰度评价方法和装置
CN105139039A (zh) * 2015-09-29 2015-12-09 河北工业大学 视频序列中人脸微表情的识别方法
CN105787500A (zh) * 2014-12-26 2016-07-20 日本电气株式会社 基于人工神经网络的特征选择方法和装置
CN106447716A (zh) * 2016-09-08 2017-02-22 天津大学 用于条纹投影图像的方向偏微分方程滤波方法
CN106569270A (zh) * 2015-10-12 2017-04-19 中国石油化工股份有限公司 规则网格速度模型的自适应非结构三角网格化方法
CN108053431A (zh) * 2018-02-24 2018-05-18 中原工学院 一种基于梯度分布的非刚体医学图像配准方法
CN108830222A (zh) * 2018-06-19 2018-11-16 山东大学 一种基于信息性和代表性主动学习的微表情识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120002869A1 (en) * 2006-06-13 2012-01-05 Feng Han System and method for detection of multi-view/multi-pose objects
CN101425183A (zh) * 2008-11-13 2009-05-06 上海交通大学 基于二阶锥规划的变形体三维跟踪方法
CN102930301A (zh) * 2012-10-16 2013-02-13 西安电子科技大学 基于特征权重学习与核稀疏表示的图像分类方法
CN104134204A (zh) * 2014-07-09 2014-11-05 中国矿业大学 一种基于稀疏表示的图像清晰度评价方法和装置
CN105787500A (zh) * 2014-12-26 2016-07-20 日本电气株式会社 基于人工神经网络的特征选择方法和装置
CN105139039A (zh) * 2015-09-29 2015-12-09 河北工业大学 视频序列中人脸微表情的识别方法
CN106569270A (zh) * 2015-10-12 2017-04-19 中国石油化工股份有限公司 规则网格速度模型的自适应非结构三角网格化方法
CN106447716A (zh) * 2016-09-08 2017-02-22 天津大学 用于条纹投影图像的方向偏微分方程滤波方法
CN108053431A (zh) * 2018-02-24 2018-05-18 中原工学院 一种基于梯度分布的非刚体医学图像配准方法
CN108830222A (zh) * 2018-06-19 2018-11-16 山东大学 一种基于信息性和代表性主动学习的微表情识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MENGYUAN LIU等: ""Recognizing Human Actions as the Evolution of Pose Estimation Maps"", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368734A (zh) * 2020-03-04 2020-07-03 中国科学技术大学 一种基于正常表情辅助的微表情识别方法
CN111368734B (zh) * 2020-03-04 2022-09-06 中国科学技术大学 一种基于正常表情辅助的微表情识别方法
CN111967295A (zh) * 2020-06-23 2020-11-20 南昌大学 一种语义标签挖掘的微表情捕捉方法
CN111967295B (zh) * 2020-06-23 2024-02-13 南昌大学 一种语义标签挖掘的微表情捕捉方法
CN111882625A (zh) * 2020-07-07 2020-11-03 北京达佳互联信息技术有限公司 生成动态图的方法、装置、电子设备及存储介质
CN111882625B (zh) * 2020-07-07 2024-04-05 北京达佳互联信息技术有限公司 生成动态图的方法、装置、电子设备及存储介质
CN112183419A (zh) * 2020-10-09 2021-01-05 福州大学 一种基于光流生成网络和重排序的微表情分类方法
CN112183419B (zh) * 2020-10-09 2022-06-10 福州大学 一种基于光流生成网络和重排序的微表情分类方法
CN113076813A (zh) * 2021-03-12 2021-07-06 首都医科大学宣武医院 面具脸特征识别模型训练方法和装置
CN113076813B (zh) * 2021-03-12 2024-04-12 首都医科大学宣武医院 面具脸特征识别模型训练方法和装置

Also Published As

Publication number Publication date
CN110532950B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN110532950A (zh) 基于微表情视频的视频特征提取方法、微表情识别方法
Su et al. Deep learning-based solar-cell manufacturing defect detection with complementary attention network
CN110532920B (zh) 基于FaceNet方法的小数量数据集人脸识别方法
Shao et al. Feature learning for image classification via multiobjective genetic programming
CN110399821B (zh) 基于人脸表情识别的顾客满意度获取方法
CN112036447B (zh) 零样本目标检测系统及可学习语义和固定语义融合方法
CN107832412B (zh) 一种基于文献引用关系的刊物聚类方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN108256486B (zh) 一种基于非负低秩和半监督学习的图像识别方法及装置
CN108960260B (zh) 一种分类模型生成方法、医学影像图像分类方法及装置
CN112785441B (zh) 数据处理方法、装置、终端设备及存储介质
EP3867808A1 (en) Method and device for automatic identification of labels of image
CN110929746A (zh) 一种基于深度神经网络的电子卷宗标题定位提取与分类方法
CN107967461A (zh) Svm 差分模型训练及人脸验证方法、装置、终端及存储介质
CN112001901A (zh) 基于卷积神经网络的苹果缺陷检测方法及系统
CN107622280A (zh) 基于场景分类的模块化处方式图像显著性检测方法
CN107545281B (zh) 一种基于深度学习的单一有害气体红外图像分类识别方法
CN114492634B (zh) 一种细粒度装备图片分类识别方法及系统
CN113378812A (zh) 一种基于Mask R-CNN和CRNN的数字表盘识别方法
CN110826534A (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
Juyal et al. Multilabel image classification using the CNN and DC-CNN model on Pascal VOC 2012 dataset
CN106709490A (zh) 一种字符识别方法和装置
Liu et al. Character recognition algorithm based on fusion probability model and deep learning
CN108960285B (zh) 一种分类模型生成方法、舌体图像分类方法及装置
CN116681921A (zh) 一种基于多特征损失函数融合的目标标注方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant