CN111274895A - 基于空洞卷积的cnn微表情识别方法 - Google Patents

基于空洞卷积的cnn微表情识别方法 Download PDF

Info

Publication number
CN111274895A
CN111274895A CN202010041268.5A CN202010041268A CN111274895A CN 111274895 A CN111274895 A CN 111274895A CN 202010041268 A CN202010041268 A CN 202010041268A CN 111274895 A CN111274895 A CN 111274895A
Authority
CN
China
Prior art keywords
convolution
face
cnn
micro
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010041268.5A
Other languages
English (en)
Inventor
钱育蓉
赖振意
陈人和
贾金露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang University
Original Assignee
Xinjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang University filed Critical Xinjiang University
Priority to CN202010041268.5A priority Critical patent/CN111274895A/zh
Publication of CN111274895A publication Critical patent/CN111274895A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空洞卷积的CNN微表情识别方法，基于空洞卷积神经网络，在MTCNN和VGG16网络的基础上完成人脸微表情的自动获取与识别功能，通过空洞卷积有效提升网络感受野，避免图像边缘特征及细微特征在卷积过程中丢失，提出感受野更大、识别准确度更高的人脸微表情识别算法具有较高的鲁棒性，同时结合人脸表情自动识别，形成一套从人脸检测与发现到微表情分类的整体框架，利用相似网络结构从一定程度上避免了人工筛选。

Description

基于空洞卷积的CNN微表情识别方法
技术领域
本发明属于微表情识别技术领域，涉及一种微表情识别方法，具体是一种基于空洞卷积的CNN微表情识别方法。
背景技术
微表情是人脸特殊的肌肉动作产生的细微变化，作为一种自然机制的面部行为，无法伪造且反应人类内心真实情感，周期维持在0.04-0.5秒之间，动作幅度细微，肉眼不易发现，在公共安防、心理治疗、谈判交流预测等领域具备广泛的应用价值，但由于人工识别受到专业训练和时间成本的限制，虽然具备专业工具，但通过人力进行识别的效果仅为47％，难以进行大规模推广。
微表情识别包括人脸识别、人脸校准和微表情分类三个模块，通过主动形状模型(Active Shape Model，ASM)和局部二进制模式(Local Binary Pattern，LBP)对微表情进行自动识别,目前，微表情识别的研究主要集中在微表情特征提取及其分类上。
在特征提取上，一方面通过传统的特征提取方法如LBP算子、HOG特征点获取的特征通常是图像浅层特征，虽然这些基于特征的方法从时空纹理的角度充分考虑了人脸表情的变化，但无法有效的描述样本的结构信息，难以区分高维特征间的关系；另一方面，通过光流法等基于运动特征的特征提取方法完成微表情识别，往往由于光流算法的计算量过大，无法满足实时分析需求，不能完成大规模的微表情识别；同时，实际拍摄视频的连续帧间也会存在缺乏足够灰度等级变化的区域，会存在真实运动漏检现象。
在微表情分类上，随着深度网络的发展，深度神经网络开始应用于人脸微表情识别过程中，总结现有的微表情分类网络，随着层数的不断增加虽然提取到充分的特征信息，但也增加了神经节点的计算量，在卷积过程中会丢失关键的细节特征；同时现有的微表情数据库都是特定环境下完成视频帧分割筛选后得到的清晰人脸正向图像，训练的模型在实际应用场景下，识别率较测试时普遍下降明显，实时系统的应用情况欠佳。
发明内容
本发明的目的在于提供一种基于空洞卷积的CNN微表情识别方法，
本发明的目的可以通过以下技术方案实现：
一种基于空洞卷积的CNN微表情识别方法，具体包括以下步骤：
步骤S1，实时采集人脸视频，送入多任务卷积神经网络模型。
步骤S2，通过多任务卷积神经网络模型快速检测和识别实时人脸视频中的人脸图像。
步骤S3，通过人脸自动矫正模块进行人脸自动矫正，对步骤2中识别的人脸图像区域进行校正。
步骤S4，通过结合空洞卷积的CNN模型对校正后的人脸图像进行微表情特征提取。
步骤S5，通过类sofmax分类算法完成微表情实时分析。
步骤S6，输出微表情识别结果。
进一步地，步骤S2中的人脸检测和识别包括以下步骤：
步骤S21，摄像头实时检测，获取并传输多帧连续人脸视频图像。
步骤S22，转换RGB图像，获取图像参数，包括图像高度h和宽度w。
步骤S23，定义多任务卷积神经网络模型的模型参数，包括最小人脸尺寸，模型训练过程中三个阶段的临界值和模型比例因数。
步骤S24，计算BB回归损失值，若BB回归损失值小于1，则未检测到人脸，反之，计算人脸所在位置坐标。
步骤S25，依据步骤S24的坐标信息进行图像切割，显示人脸推荐窗口。
进一步地，步骤S3中的人脸自动矫正包括以下步骤：
步骤S31，获取多任务卷积神经网络模型的人脸标记点坐标及推荐框坐标。
步骤S32，计算两眼之间的直线距离及水平夹角角度。
步骤S33，依据夹角读书顺时针完成图像旋转。
步骤S34，依据夹角完成推荐框坐标变换。
步骤S35，依据步骤S34的坐标完成人脸图像裁剪。
进一步地，步骤S4中的空洞卷积，其卷积构造方法是在传统的卷积核中增加权重为0的卷积像素，引入扩张率参数r定义卷积核处理数据时各值的间距，在原卷积和的基础上增加(ri-1)2个空洞，其第i卷积层的特征图o的计算方式为
Figure BDA0002367848250000031
进一步地，步骤S4中结合空洞卷积的CNN模型的网络结构以16层的VGG网络作为基础网络框架，整个卷积网络由13个卷积层及空洞块构成，在网络计算结束时保证输出为7*7的特征图，所述空洞块由扩张系数为4和2的卷积核且大小为3*3的卷积层串联形成。
进一步地，步骤S5中，定义训练数据X包含k个训练样本x，并将其分为生气、厌恶、恐惧、幸福、悲伤、惊讶和自然7类表情，通过Softmax分类器将神经网络输出归一到(0，1)的概率分布上，则第i个样本的概率为
Figure BDA0002367848250000041
进一步地，步骤S5中，采用相对熵来衡量样本x的真实分布p与模型预测分布q间的差异，
Figure BDA0002367848250000042
进一步地，步骤S5中，评估计算过程中真实分布p的熵-H(p(x))保持不变，计算交叉熵，
Figure BDA0002367848250000043
进一步地，步骤S5中，增加不同类别权重weight控制正负样本平衡并计算loss值，
Figure BDA0002367848250000044
进一步地，步骤S5中，采用Focal loss解决正负样本比例严重失衡的问题，Focalloss在交叉熵的基础上增加参数γ与平衡权重因子α，
FLloss＝αi[-(1-p(xi))]γ*CEloss。
本发明的有益效果：本发明基于空洞卷积神经网络，在MTCNN和VGG16网络的基础上完成人脸微表情的自动获取与识别功能，通过空洞卷积有效提升网络感受野，避免图像边缘特征及细微特征在卷积过程中丢失，提出感受野更大、识别准确度更高的人脸微表情识别算法具有较高的鲁棒性，同时结合人脸表情自动识别，形成一套从人脸检测与发现到微表情分类的整体框架，利用相似网络结构从一定程度上避免了人工筛选。
附图说明
下面结合附图和具体实施例对本发明作进一步详细描述。
图1是本发明基于空洞卷积的多尺度卷积神经网络模型图。
图2是本发明的方法流程图。
图3是本发明MTCNN网络结构拓扑图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“开孔”、“上”、“下”、“厚度”、“顶”、“中”、“长度”、“内”、“四周”等指示方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的组件或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明提供了一种基于空洞卷积的CNN微表情识别方法，采用one-stage检测算法思想，基于CNN网络模型提出结合空洞卷积的微表情分类模型，满足长视频拍摄条件下微表情实时分析模型的效率，在CNN层级结构学习不同层次特征(视频帧图像纹理特征、边缘特征)的基础上，引入空洞卷积充分提取微表情不同尺度的细节特征，达到扩大卷积核感受野，增强多尺度上下文信息的目的，该方法相比其他检测算法省略推荐区域生成阶段，直接产生目标的识别准确性及坐标位置，因此具备更强的检测速度，为实时分类奠定基础。
空洞卷积(atrous convolutions)又名扩张卷积(dilated convolutions)，其卷积构造方法是在传统的卷积核中增加权重为0的卷积像素，优势在于弥补了池化过程当中丢失信息的缺陷，可以提升网络精度，被广泛用于图像的全卷积网络与语义分割网络中。
空洞卷积在卷积层中引入“扩张率(dilation rate)”参数记为r，该参数定义了卷积核处理数据时各值的间距，相比于同等n*n的卷积核其第i层卷积层的感受野计算方式如公式(1)，即在原卷积和的基础上增加(ri-1)2个空洞；
ri 2＝[n+(n-1)*(ri-1)]2 (1)
一般的，若待处理输入图像为I，卷积的滑动步长为s，p为不同方式卷积填充的像素数目，则输入的特征图o计算公式如(2)所示，
Figure BDA0002367848250000061
将式(1)带入式(2)可得第i卷积层的特征图算法如公式(3)所示。
Figure BDA0002367848250000062
随着卷积神经网络的发展，其网络结构随着卷积层数的增加，特征图会随着卷积计算而不断减少，一方面层数增加带来了更大的计算量，另一方面所提取的特征存在特征表达能力不足、缺少图像细节特征及损失部分关键特征信息等缺陷，因此需要构建合理的卷积神经网络以减少其计算缺陷。
如图1所示，本发明网络结构以16层的VGG网络作为基础网络框架，就网络卷积过程而言，整个卷积网络由13个卷积层及空洞块构成，为了不改变卷积核大小，在网络计算结束时保证输出为7*7的特征图，本发明设计的空洞块由扩张系数为4和2的卷积核且大小为3*3的卷积层串联形成；经过网络计算，通过空洞块后特征图像素点的感受野大小相比普通的3*3卷积核感受野扩大了5倍。
本发明定义训练数据X包含k个训练样本x，并将其分为7类表情：生气、厌恶、恐惧、幸福、悲伤、惊讶和自然，通过Softmax分类器将神经网络输出归一到(0，1)的概率分布上，则第i个样本的概率见公式(4)，完成目标多分类任务；
Figure BDA0002367848250000071
为了方便衡量样本x真实分布p与模型预测分布q间关系，采用相对熵(KL散度)来衡量两种分布间差异，见公式(5)；
Figure BDA0002367848250000072
由于在评估计算过程中真实分布p的熵-H(p(x))保持不变，因此只需要计算交叉熵，见公式(6)。
Figure BDA0002367848250000073
本发明增加不同类别权重weight控制正负样本平衡并计算loss值，见公式(7)，通过减少易分类样本的权重，使模型更倾向于学习困难样本特征。
Figure BDA0002367848250000081
本发明所采用的one-stage方法常常准确率相比于two-stage方法较低，其主要原因是由于训练样本的类别不均衡，由于one-stage方法中没有诸如RPN相似的网络来自动删除负样本，导致网络训练时负样本数量占比较高，网络无法获取到有效特征信息，而Focalloss可以很好解决one-stage中正负样本比例严重失衡的问题。Focal loss在交叉熵的基础上增加参数γ与平衡权重因子α，与公式(7)中weight作用相同，见公式(8)，从而避免由于缺失proposal带来的loss干扰，同时可提升困难样本训练程度，提高模型整体鲁棒性。
FLloss＝αi[-(1-p(xi))]γ*CEloss (8)
如图2所示，基于空洞卷积CNN网络构建微表情识别方法，结合长视频人脸面部检测、人脸自动校正、CNN微表情特征分析和类sofmax分类算法完成微表情实时分析任务。
本文通过多任务卷积神经网络(MTCNN)实现人脸检测，代替传统的dlib中的CNN面部检测器，dlib的CNN面部检测器是基于最大边距对象检测器MMOD，虽然训练过程简单且适用于多种面部方向的检测，但是对面部在图像中所占比例要求较高，并且基于dilb的方法仅能检测到大小达70*70的人脸，在多数检测情况下无法预知面部大小，因此利用MTCNN进行多尺度检测以提高检测精度及效率。
MTCNN通过CNN模型级联实现多任务学习，其学习过程共包含三个阶段即三种网络结构，其网络整体结构如图3所示，其中P-Net作为第一阶段网络，通过一个浅层的CNN网络快速获得人脸区域窗口即边界回归，在结果校正的基础上使用非最大压制方法合并窗口；第二阶段通过一个能力更强的CNN网络过滤掉绝大部分非人脸候选窗口，同样使用非最大压制方法合并窗口，此阶段网络称为R-Net；第三阶段在阶段二网络的结果基础上输出人脸面部五个标记点。
具体地，人脸检测和自动识别包括以下步骤：
步骤S21，摄像头实时检测，获取并传输多帧连续人脸视频图像。
步骤S22，转换RGB图像，获取图像参数，包括图像高度h和宽度w。
步骤S23，定义模型参数，包括最小人脸尺寸，模型训练过程中三个阶段的临界值和模型比例因数。
步骤S24，计算BB回归损失值，若BB回归损失值小于1，则未检测到人脸，反之，计算人脸所在位置坐标。
步骤S25，依据步骤S24的坐标信息进行图像切割，显示人脸推荐窗口。
本发明通过MTCNN快速识别实时视频中的人脸图像，MTCNN模型在人脸二元分类预判的基础上确定视频人脸候选窗口，在模型训练过程中采用交叉熵损失，记p为样本图像，x是人脸的概率大小，ydet∈{0,1}表示训练图像标注标签，0表示为非人脸图像，1表示是人脸图像，则交叉熵损失函数如(9)所示。
Ldet＝-(ydetlog(p)+(1-ydet)(1-log(p))) (9)
针对训练中的每一个样本x，记y为推荐窗口，其表示为包含左上角横坐标，左上角纵坐标，高度及宽度四个参数的四元组，则
Figure BDA0002367848250000091
为回归窗口，即预测窗口，ybox为标注窗口，即人脸所在真实区域，如公式(10)，通过欧式距离计算BB回归损失值。
Figure BDA0002367848250000101
本发明在训练微表情分类器以及人脸检测模型的过程中均使用姿态端正且归一化的人脸表情图像，由于摄像头实时采集的人脸图像存在多尺度、姿态角度多样等问题，导致训练好的模型运用到实际识别过程中，其识别精度较训练时降低明显，因此本发明在MTCNN识别人脸的基础上，增加人脸自动矫正，通过矫正及裁剪人脸图像，使之更贴合微表情分类器所需图像，在尽可能不增加时间复杂度的基础上提升实际使用过程中微表情分类的准确度。
具体地，人脸自动矫正包括以下步骤：
步骤S31，获取MTCNN人脸标记点坐标及推荐框坐标。
步骤S32，计算两眼之间的直线距离及水平夹角角度。
步骤S33，依据夹角读书顺时针完成图像旋转。
步骤S34，依据夹角完成推荐框坐标变换。
步骤S35，依据步骤S34坐标完成人脸图像裁剪。
依据MTCNN的人脸标记点，其识别输出结果包含左右眼、鼻子和左右嘴角标记点，共计5个，本发明利用左右眼坐标，分别记为左眼e1(x1,y1)和右眼e2(x2,y2)，则人脸水平夹角及人眼距离计算方式如(11)所示；
Figure BDA0002367848250000102
依据人脸眼距中点完成旋转，记中点坐标为(x0,y0)，则旋转后的坐标计算公式见(12)。
Figure BDA0002367848250000111
本发明基于空洞卷积神经网络，在MTCNN和VGG16网络的基础上完成人脸微表情的自动获取与识别功能，通过空洞卷积有效提升网络感受野，避免图像边缘特征及细微特征在卷积过程中丢失，提出感受野更大、识别准确度更高的人脸微表情识别算法具有较高的鲁棒性，同时结合人脸表情自动识别，形成一套从人脸检测与发现到微表情分类的整体框架，利用相似网络结构从一定程度上避免了人工筛选。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种基于空洞卷积的CNN微表情识别方法，其特征在于，具体包括以下步骤：
步骤S1，实时采集人脸视频，送入多任务卷积神经网络模型。
步骤S2，通过多任务卷积神经网络模型快速检测和识别实时人脸视频中的人脸图像。
步骤S3，通过人脸自动矫正模块进行人脸自动矫正，对步骤2中识别的人脸图像区域进行校正。
步骤S4，通过结合空洞卷积的CNN模型对校正后的人脸图像进行微表情特征提取。
步骤S5，通过类sofmax分类算法完成微表情实时分析。
步骤S6，输出微表情识别结果。
2.根据权利要求1所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S2中的人脸检测和识别包括以下步骤：
步骤S21，摄像头实时检测，获取并传输多帧连续人脸视频图像。
步骤S22，转换RGB图像，获取图像参数，包括图像高度h和宽度w。
步骤S23，定义多任务卷积神经网络模型的模型参数，包括最小人脸尺寸，模型训练过程中三个阶段的临界值和模型比例因数。
步骤S24，计算BB回归损失值，若BB回归损失值小于1，则未检测到人脸，反之，计算人脸所在位置坐标。
步骤S25，依据步骤S24的坐标信息进行图像切割，显示人脸推荐窗口。
3.根据权利要求1所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S3中的人脸自动矫正包括以下步骤：
步骤S31，获取多任务卷积神经网络模型的人脸标记点坐标及推荐框坐标。
步骤S32，计算两眼之间的直线距离及水平夹角角度。
步骤S33，依据夹角读书顺时针完成图像旋转。
步骤S34，依据夹角完成推荐框坐标变换。
步骤S35，依据步骤S34的坐标完成人脸图像裁剪。
4.根据权利要求1所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S4中的空洞卷积，其卷积构造方法是在传统的卷积核中增加权重为0的卷积像素，引入扩张率参数r定义卷积核处理数据时各值的间距，在原卷积和的基础上增加(ri-1)2个空洞，其第i卷积层的特征图o的计算方式为
Figure FDA0002367848240000021
5.根据权利要求1所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S4中结合空洞卷积的CNN模型的网络结构以16层的VGG网络作为基础网络框架，整个卷积网络由13个卷积层及空洞块构成，在网络计算结束时保证输出为7*7的特征图，所述空洞块由扩张系数为4和2的卷积核且大小为3*3的卷积层串联形成。
6.根据权利要求1所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S5中，定义训练数据X包含k个训练样本x，并将其分为生气、厌恶、恐惧、幸福、悲伤、惊讶和自然7类表情，通过Softmax分类器将神经网络输出归一到(0，1)的概率分布上，则第i个样本的概率为
Figure FDA0002367848240000031
7.根据权利要求6所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S5中，采用相对熵来衡量样本x的真实分布p与模型预测分布q间的差异，
Figure FDA0002367848240000032
8.根据权利要求7所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S5中，评估计算过程中真实分布p的熵-H(p(x))保持不变，计算交叉熵，
Figure FDA0002367848240000033
9.根据权利要求8所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S5中，增加不同类别权重weight控制正负样本平衡并计算loss值，
Figure FDA0002367848240000034
10.根据权利要求9所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S5中，采用Focal loss解决正负样本比例严重失衡的问题，Focal loss在交叉熵的基础上增加参数γ与平衡权重因子α，
FLloss＝αi[-(1-p(xi))]γ*CEloss。
CN202010041268.5A 2020-01-15 2020-01-15 基于空洞卷积的cnn微表情识别方法 Pending CN111274895A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010041268.5A CN111274895A (zh) 2020-01-15 2020-01-15 基于空洞卷积的cnn微表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010041268.5A CN111274895A (zh) 2020-01-15 2020-01-15 基于空洞卷积的cnn微表情识别方法

Publications (1)

Publication Number Publication Date
CN111274895A true CN111274895A (zh) 2020-06-12

Family

ID=71002177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010041268.5A Pending CN111274895A (zh) 2020-01-15 2020-01-15 基于空洞卷积的cnn微表情识别方法

Country Status (1)

Country Link
CN (1) CN111274895A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070041A (zh) * 2020-09-14 2020-12-11 北京印刷学院 一种基于cnn深度学习模型的活体人脸检测方法和装置
CN112200110A (zh) * 2020-10-19 2021-01-08 厦门大学 一种基于深度干扰分离学习的人脸表情识别方法
CN113505746A (zh) * 2021-07-27 2021-10-15 陕西师范大学 微表情图像精细化分类方法、装置、设备及可读存储介质
CN114863515A (zh) * 2022-04-18 2022-08-05 厦门大学 基于微表情语义的人脸活体检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108677A (zh) * 2017-12-12 2018-06-01 重庆邮电大学 一种基于改进的cnn人脸表情识别方法
CN110399821A (zh) * 2019-07-17 2019-11-01 上海师范大学 基于人脸表情识别的顾客满意度获取方法
CN110472583A (zh) * 2019-08-16 2019-11-19 广东工业大学 基于深度学习的人脸微表情识别系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108677A (zh) * 2017-12-12 2018-06-01 重庆邮电大学 一种基于改进的cnn人脸表情识别方法
CN110399821A (zh) * 2019-07-17 2019-11-01 上海师范大学 基于人脸表情识别的顾客满意度获取方法
CN110472583A (zh) * 2019-08-16 2019-11-19 广东工业大学 基于深度学习的人脸微表情识别系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赖振意，等: ""结合空洞卷积的实时微表情识别算法"", 《计算机应用研究》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070041A (zh) * 2020-09-14 2020-12-11 北京印刷学院 一种基于cnn深度学习模型的活体人脸检测方法和装置
CN112070041B (zh) * 2020-09-14 2023-06-09 北京印刷学院 一种基于cnn深度学习模型的活体人脸检测方法和装置
CN112200110A (zh) * 2020-10-19 2021-01-08 厦门大学 一种基于深度干扰分离学习的人脸表情识别方法
CN113505746A (zh) * 2021-07-27 2021-10-15 陕西师范大学 微表情图像精细化分类方法、装置、设备及可读存储介质
CN114863515A (zh) * 2022-04-18 2022-08-05 厦门大学 基于微表情语义的人脸活体检测方法及装置

Similar Documents

Publication Publication Date Title
US11195051B2 (en) Method for person re-identification based on deep model with multi-loss fusion training strategy
CN111274895A (zh) 基于空洞卷积的cnn微表情识别方法
CN108491835B (zh) 面向面部表情识别的双通道卷积神经网络
CN106815566B (zh) 一种基于多任务卷积神经网络的人脸检索方法
CN109815826B (zh) 人脸属性模型的生成方法及装置
CN112801015B (zh) 一种基于注意力机制的多模态人脸识别方法
CN113592911B (zh) 表观增强深度目标跟踪方法
CN109815923B (zh) 基于lbp特征与深度学习的金针菇菇头分选识别方法
CN108256462A (zh) 一种商场监控视频中的人数统计方法
CN111666852A (zh) 一种基于卷积神经网络的微表情双流网络识别方法
CN109360179A (zh) 一种图像融合方法、装置及可读存储介质
CN117910073A (zh) 基于3d打印技术的工艺品包装设计优化系统及方法
CN103235943A (zh) 基于pca的3d人脸识别系统
CN112926430A (zh) 基于深度学习的多角度人脸表情识别方法
CN115880477A (zh) 一种基于深度卷积神经网络的苹果检测定位方法与系统
CN112597842B (zh) 基于人工智能的运动检测面瘫程度评估系统
CN114926420A (zh) 一种基于跨级特征增强的目标馕的识别及计数方法
CN111881732B (zh) 一种基于svm的人脸质量评价方法
CN111950586B (zh) 一种引入双向注意力的目标检测方法
CN111738099B (zh) 基于视频图像场景理解的人脸自动检测方法
CN111222473B (zh) 一种对视频中人脸进行聚类的分析识别方法
CN114882303A (zh) 一种基于帧过滤和目标检测的牲畜计数方法
Zhang et al. Object detection based on deep learning and b-spline level set in color images
CN113902774A (zh) 一种稠密度光流特征在视频中的面部表情检测方法
CN113486857A (zh) 一种基于YOLOv4的登高安全检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200612

RJ01 Rejection of invention patent application after publication