CN103971137B - 基于结构性稀疏特征学习的三维动态人脸表情识别方法 - Google Patents
基于结构性稀疏特征学习的三维动态人脸表情识别方法 Download PDFInfo
- Publication number
- CN103971137B CN103971137B CN201410189169.6A CN201410189169A CN103971137B CN 103971137 B CN103971137 B CN 103971137B CN 201410189169 A CN201410189169 A CN 201410189169A CN 103971137 B CN103971137 B CN 103971137B
- Authority
- CN
- China
- Prior art keywords
- dictionary
- dimensional
- sample
- coding
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008921 facial expression Effects 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 35
- 230000014509 gene expression Effects 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000009467 reduction Effects 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 238000003064 k means clustering Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims 1
- 238000000513 principal component analysis Methods 0.000 description 8
- 238000011160 research Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 230000008451 emotion Effects 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于结构性稀疏特征学习的三维动态人脸表情识别方法,对图像序列预处理,将人类表情样本的RGB和深度序列分别分割为三维模块;提取每个三维模块的LBP‑TOP纹理特征;以三维模块纹理特征为编码字典训练样本,并得到RGB和深度序列的编码字典B;利用编码字典B计算得到所有三维模块纹理特征的RGB和深度稀疏编码表示;利用汇聚算法将所有稀疏编码值汇聚统计表示,缩小特征维数,并合并RGB和深度特征,得到最终人脸表情序列特征;利用PCA算法降维,将降维后的特征输入CRFs实现样本训练;针对测试样本,依次采用上述步骤处理,投影至训练样本PCA空间降维,最终输入CRFs分类器实现表情识别。
Description
技术领域
本发明涉及一种三维动态人脸表情识别方法,尤其是一种在RGB-D摄像头(彩色及深度摄像头,如Kinect)视频拍摄条件下的人脸表情识别方法。
背景技术
表情是人重要的情感表达方式,因此,人脸表情识别技术是机器理解人类感情的基础,也是人类对自身情感智能化研究的有效途径。它不仅可以在诸如智能机器人、远程医疗、远程教育、智能游戏等人机互动的各种应用领域中发挥作用,还能够为商业决策,安全监控和辅助医疗等领域提供有效分析数据。
目前已有的人脸表情识别成果大多基于二维平面图像研究,在我国也尚未出现针对动态三维脸部视频图像表情识别的研究成果。作为脸部肌肉在三维空间中的一种运动过程,发掘人脸在深度空间和时间上的变化特征将更有助于提高自然状态的脸部表情识别率,推动脸部表情识别算法的实用化。RGB-D传感器,如Kinect或Intel的Creative SENZ3D摄像头等的普及,也为基于三维视频图像的人脸表情识别算法在人机互动领域的应用提供了条件。最早出现的针对三维视频图像的人脸表情识别研究来自于2008年发表在ECCV(欧洲计算机视觉会议)上L. Yin等人的一片文章“Facial expression recognition basedon 3D dynamic range model sequences”。但该算法采用2D纹理与人工标定的3D脸部特征点信息融合的特征实现表情识别,并没有提出脸部三维特征的提取方法。基于自动三维特征提取识别人脸表情的研究成果出现在2011年,且此后几年中,有约不到10篇相关研究论文在国际上发表,其中一些取得了不俗的识别精确率。但以上研究成果均以高分辨率的三维重建视频为输入数据,而三维重建数据的建立需要高分辨率的图像输入和复杂的数据计算,因此不适用于以普通RGB-D传感器为视频媒介的人机互动相关应用。
发明内容
本发明提出了一种直接基于RGB-D图像序列提取4D(2D空间+深度+时间)特征的三维动态人脸表情识别方法,该方法适用于各种正常分辨率(320×240像素大小及以上)的RGB-D图像输入,可直接应用于各种基于RGB-D传感器的人机互动应用。
本发明的技术方案是:一种基于结构性稀疏特征学习的三维动态人脸表情识别方法,其步骤是:
1、针对训练样本集,对图像序列预处理,将人类表情样本的RGB 和深度序列分别分割为一定大小三维模块,使整个序列中的脸部图像像素位置一致;
2、提取每个三维模块的LBP-TOP纹理特征;
3、以三维模块纹理特征为编码字典训练样本,通过字典初始化和更新流程分别得到RGB 和深度序列的编码字典B;利用编码字典B计算得到所有三维模块纹理特征的RGB和深度稀疏编码表示;
4、利用汇聚算法将所有稀疏编码值汇聚统计表示,缩小特征维数,并合并RGB和深度特征,得到最终人脸表情序列特征;
5、利用PCA算法降维,将降维后的特征输入条件随机场模型(CRFs)实现样本训练;
6、针对测试样本,依次采用步骤2-4处理,投影至训练样本PCA空间降维,最终输入条件随机场模型(CRFs)分类器实现表情识别。
对图像序列预处理具体方法是:
首先定位每帧图像的人眼位置,以双眼中心点的连接线中点为各帧基准点,采用人脸检测算法提取第一帧图像的脸部上边缘坐标,以第一帧图像的基准点与脸部上边缘坐标差值为脸部基准高度,第一帧双眼与基准点平均距离为脸部基准宽度;此后各帧,在各帧基准点位置确定的基础上,以基准点垂直上方基准高度处为该帧脸部上边缘y值,基准点垂直向下两倍基准高度处为脸部下边缘y值;基准点水平向左两倍基准宽度为脸部左侧边缘x值,同理水平向右两倍基准宽度为右侧边缘x值。
提取每个三维模块的LBP-TOP纹理特征具体方法是:
将预处理后的RGB图像和深度图像划分为相同个数的n×n大小,保持当前表情序列长度T,则每个图像序列可分为n×n×T大小的三维模块:
针对二维图像,若给出位于的像素点,为该点的像素值,则其3×3邻域空间中的LBP特征为:
(1)
作为LBP在三维空间的延伸,LBP-TOP(Three Orthogonal Planes)在空间时间中三个平面上分别计算LBP值实现动态纹理特征统计;若定义v为某一像素时空邻域的LBP-TOP特征,以()表示该像素点位置。P为其邻域个数。则:
(2)
其中,为中心像素点灰度值,
最终可以得到每个表情样本的4D纹理特征;177为每个三维模块的LBP-TOP特征维数,N为模块总数,2对应一种表情的RGB和深度图像两个序列。
以三维模块纹理特征为编码字典训练样本,通过字典初始化和更新流程分别得到RGB 和深度序列的编码字典B,利用编码字典B计算得到所有三维模块纹理特征的RGB和深度稀疏编码表示具体方法:
首先,以所有三维模块4D 纹理特征为特征训练样本集,采用k-均值聚类初始化编码字典B,再对编码字典B 进行优化,从全部特征训练样本集中随机取部分样本,采用循环方式进行字典优化;设字典,由此得到的稀疏编码为,指某一三维模块纹理特征,按照如下公式计算:
(3)
(4)
以上公式中,表示两向量间的点积运算,,其中为和间的欧式距离,为权重参数,在k-均值聚类初始化得到B值后,将参与字典优化的训练样本依次代入循环中,每次循环无重复使用其中一个样本,循环数等于参与字典优化的样本数;在每次循环中,将某样本与当前字典B代入公式(3)得到的稀疏编码,只有在中大于某预定义阈值的元素对应的项会被更新,这一过程如公式(5)所示:
(5)
再将代入公式(6),得到结果为
(6)
利用值采用梯度下降法更新,结合未被更新的其他项生成新的编码字典B;
在得到更新后的字典后,将B代入公式(3),依次算出所有特征样本的LLC稀疏编码值;在上述编码过程中,RGB和深度图像是分别计算其各自的编码字典和稀疏编码值的,针对每一个人脸表情序列样本,其LLC编码特征维数为M×2×N,其中M为字典条目数。
利用汇聚算法将所有稀疏编码值汇聚统计表示,缩小特征维数,并合并RGB和深度特征,得到最终人脸表情序列特征的具体方法:
将提取特征时分割得到的三维模块分组汇聚,组成金字塔式单元,以每一个单元中的稀疏编码最大值表示该单元特征值:图像长轴划分个数×图像宽轴划分个数×时间轴划分个数,每个单元Q的特征值F(Q)计算公式为:
(7)
依据上述图像序列的单元划分方式,将所有单元特征累积,得到最终该人脸表情序列的特征向量。
输入条件随机场模型(CRFs)分类器实现表情识别具体方法:
以每一个表情样本的观察特征为,其类别标签为,则每一个样本特征为表征样本纹理和形态特征的随机变量,对应CRF中一个输入节点;而每一个对应表征表情类型的随机变量,为输出节点;采用线性链式结构的CRFs模型为:
(8)
(9)
这里是归一化因子,则为特征函数,给出N个训练样本后,在训练过程中计算出使条件对数似然值最大化的最优权值,即:
(10)
(11)
上式中,参数的估计使用L-BFGS算法解决。
本发明的有益效果是:
本发明在经初始化实现脸部检测和数据校准后,在RGB和深度图像序列上分别提取3D纹理特征,以这些纹理特征为基础特征,通过k-均值聚类算法初始化编码字典。再利用局部限定线性编码算法(LLC)对编码字典进行学习更新,再计算得到每个纹理特征描述的稀疏编码表示。采用金字塔汇聚算法(Pyramid pooling)保留脸部图像的结构特征,并利用主成分分析(PCA)降维后,输入条件随机场模型(CRFs)实现样本训练和分类。由此得到表情识别结果。
因此,本发明在三维重建数据的建立不需要高分辨率的图像输入和复杂的数据计算,适用于以普通RGB-D传感器为视频媒介的人机互动相关应用。
具体实施方式
一种直接基于RGB-D图像序列提取4D(2D空间+深度+时间)特征的三维动态人脸表情识别方法,具体步骤是:
1.图像序列预处理:
预处理的目的是保证整个序列中的脸部图像像素位置一致。首先定位每帧图像的人眼位置。以双眼中心点的连接线中点为各帧基准点。采用人脸检测算法提取第一帧图像的脸部上边缘坐标,以第一帧图像的基准点与脸部上边缘坐标差值为脸部基准高度,第一帧双眼与基准点平均距离为脸部基准宽度。此后各帧,在各帧基准点位置确定的基础上,以基准点垂直上方基准高度处为该帧脸部上边缘y值,基准点垂直向下两倍基准高度处为脸部下边缘y值。基准点水平向左两倍基准宽度为脸部左侧边缘x值,同理水平向右两倍基准宽度为右侧边缘x值。
2.4D 纹理特征提取:
将预处理后的RGB图像和深度图像划分为相同个数的n×n大小。保持当前表情序列长度T,则每个图像序列可分为n×n×T大小的三维模块。针对每个三维模块提取基于LBP-TOP的动态纹理特征。
针对二维图像,若给出位于的像素点,为该点的像素值,则其3×3邻域空间中的LBP特征为:
(1)
作为LBP在三维空间的延伸,LBP-TOP(Three Orthogonal Planes)在空间时间中三个平面上分别计算LBP值实现动态纹理特征统计。若定义v为某一像素时空邻域的LBP-TOP特征,以()表示该像素点位置。P为其邻域个数。则:
(2)
其中,为中心像素点灰度值,。
最终可以得到每个表情样本的4D纹理特征。177为每个三维模块的LBP-TOP特征维数,N为模块总数,2对应一种表情的RGB和深度图像两个序列。
3.稀疏编码特征学习:
采用特征学习的方法得到每个三维模块特征的编码表示。首先,以所有三维模块4D 纹理特征为特征训练样本集,采用k-均值聚类初始化编码字典B。再对编码字典B 进行优化。从全部特征训练样本集中随机取部分样本,采用循环方式进行字典优化。设字典,由此得到的稀疏编码为。指某一三维模块纹理特征。按照如下公式计算:
(3)
(4)
以上公式中,表示两向量间的点积运算。,其中为和间的欧式距离。为权重参数。在k-均值聚类初始化得到B值后,将参与字典优化的训练样本依次代入循环中,每次循环无重复使用其中一个样本,循环数等于参与字典优化的样本数。在每次循环中,将某样本与当前字典B代入公式(3)得到的稀疏编码。只有在中大于某预定义阈值的元素对应的项会被更新,这一过程如公式(5)所示。
(5)
再将代入公式(6),得到结果为。
(6)
利用值采用梯度下降法更新,结合未被更新的其他项生成新的编码字典B。
在得到更新后的字典后,将B代入公式(3),依次算出所有特征样本的LLC稀疏编码值。在上述编码过程中,RGB和深度图像是分别计算其各自的编码字典和稀疏编码值的,因此针对每一个人脸表情序列样本,其LLC编码特征维数为M×2×N。M为字典条目数。
4.金字塔汇聚:
空间金字塔汇聚算法被应用于每一个人脸表情序列中,实现在降低特征维数的同时,保留图像结构特征。将之前提取特征时分割得到的三维模块分组汇聚,组成金字塔式单元。以每一个单元中的稀疏编码最大值表示该单元特征值。如,将整个图像序列划分为1×1×1,2×2×1和4×4×1(图像长轴划分个数×图像宽轴划分个数×时间轴划分个数)个单元,处于该单元中的所有模块参与该单元特征值的计算。每个单元Q的特征值F(Q)计算公式为:
(7)
依据上述图像序列的单元划分方式,将所有单元特征累积,得到最终该人脸表情序列的特征向量。
5.分类器人脸表情识别:
将上述特征经由主成分分析(PCA)算法降维后,输入CRFs分类器训练和识别。CRFs原理为:以每一个表情样本的观察特征为,其类别标签为。则每一个样本特征为表征样本纹理和形态特征的随机变量,对应CRF中一个输入节点;而每一个对应表征表情类型的随机变量,为输出节点。这里采用的线性链式结构的CRFs模型为:
(8)
(9)
这里是归一化因子,则为特征函数。给出N个训练样本后,在训练过程中能够计算出使条件对数似然值最大化的最优权值,即:
(10)
(11)
上式中,参数的估计问题可以使用L-BFGS(Limited memory Broyden FletcherGoldfarb Shanno)算法解决。
应用实例:
以帮助自闭症患儿理解人的表情为例诠释该算法的应用。采用Intel的CreativeSENZ3D摄像头和电脑为硬件辅助设备。开启算法运行后,算法可以自动捕获摄像头中儿童的表情,辅助动画软件,在显示器中相应显示出微笑、悲伤、惊讶、生气、厌恶、恐惧等6中常见表情的动画形象,利用情感反馈帮助自闭症患儿理解不同的情感表达。
算法具体实施步骤:
1、针对训练样本集,将人类表情样本的RGB 和深度序列分别分割为一定大小三维模块
2、提取每个三维模块的LBP-TOP纹理特征
3、以三维模块纹理特征为编码字典训练样本,通过字典初始化和更新流程分别得到RGB 和深度序列的编码字典B。
4、利用编码字典B计算得到所有三维模块纹理特征的RGB和深度稀疏编码表示。
5、利用汇聚算法将所有稀疏编码值汇聚统计表示,缩小特征维数,并合并RGB和深度特征,得到最终人脸表情序列特征。
6、利用PCA算法降维
7、将降维后的特征输入CRFs实现样本训练。
8、针对测试样本,依次采用步骤2-5处理,投影至训练样本PCA空间降维,最终输入CRFs分类器实现表情识别。
Claims (6)
1.一种基于结构性稀疏特征学习的三维动态人脸表情识别方法,其特征在于,其步骤是:
(1)针对训练样本集,对图像序列预处理,将人类表情样本的RGB和深度序列分别分割为三维模块,使整个序列中的脸部图像像素位置一致;
(2)提取每个三维模块的LBP-TOP纹理特征;
(3)以三维模块纹理特征为编码字典训练样本,通过字典初始化和更新流程分别得到RGB和深度序列的编码字典B;利用编码字典B计算得到所有三维模块纹理特征的RGB和深度稀疏编码表示;
(4)利用汇聚算法将所有稀疏编码值汇聚统计表示,缩小特征维数,并合并RGB和深度特征,得到最终人脸表情序列特征;
(5)利用PCA算法降维,将降维后的特征输入条件随机场模型(CRFs)实现样本训练;
(6)针对测试样本,依次采用步骤2-4处理,投影至训练样本PCA空间降维,最终输入条件随机场模型(CRFs)分类器实现表情识别。
2.根据权利要求1所述的基于结构性稀疏特征学习的三维动态人脸表情识别方法,其特征在于,所述对图像序列预处理具体方法是:
首先定位每帧图像的人眼位置,以双眼中心点的连接线中点为各帧基准点,采用人脸检测算法提取第一帧图像的脸部上边缘坐标,以第一帧图像的基准点与脸部上边缘坐标差值为脸部基准高度,第一帧双眼与基准点平均距离为脸部基准宽度;此后各帧,在各帧基准点位置确定的基础上,以基准点垂直上方基准高度处为该帧脸部上边缘y值,基准点垂直向下两倍基准高度处为脸部下边缘y值;基准点水平向左两倍基准宽度为脸部左侧边缘x值,同理水平向右两倍基准宽度为右侧边缘x值。
3.根据权利要求1所述的基于结构性稀疏特征学习的三维动态人脸表情识别方法,其特征在于,所述提取每个三维模块的LBP-TOP纹理特征具体方法是:
将预处理后的RGB图像和深度图像划分为相同个数的n×n大小,保持当前表情序列长度T,则每个图像序列可分为n×n×T大小的三维模块:
针对二维图像,若给出位于(xc,yc)的像素点,为该点的像素值,则其3×3邻域空间中的LBP特征为:
作为LBP在三维空间的延伸,LBP-TOP(Three Orthogonal Planes)在空间时间中三个平面(X-Y,X-T,Y-T)上分别计算LBP值实现动态纹理特征统计;若定义v为某一像素时空邻域的LBP-TOP特征,以(xc,yc,tc)表示该像素点位置,P为其邻域个数,则:
其中,为中心像素点灰度值,
最终可以得到每个表情样本的4D纹理特征177为每个三维模块的LBP-TOP特征维数,N为模块总数,2对应一种表情的RGB和深度图像两个序列。
4.根据权利要求1所述的基于结构性稀疏特征学习的三维动态人脸表情识别方法,其特征在于,所述以三维模块纹理特征为编码字典训练样本,通过字典初始化和更新流程分别得到RGB和深度序列的编码字典B,利用编码字典B计算得到所有三维模块纹理特征的RGB和深度稀疏编码表示具体方法:
首先,以所有三维模块4D纹理特征为特征训练样本集,采用k-均值聚类初始化编码字典B,再对编码字典B进行优化,从全部特征训练样本集中随机取部分样本,采用循环方式进行字典优化;设字典B={b1,…,bm,…,bM},由此得到的稀疏编码为C={c1,…,ck,…,cK},vk指某一三维模块纹理特征,按照如下公式计算:
以上公式中,⊙表示两向量间的点积运算,dist(vk,B)=[dist(vk,b1),…,dist(vk,bM)]T,其中dist(vk,bm)为vk和bm间的欧式距离,σ为权重参数,在k-均值聚类初始化得到B值后,将参与字典优化的训练样本依次代入循环中,每次循环无重复使用其中一个样本,循环数等于参与字典优化的样本数;在每次循环中,将某样本vk与当前字典B代入公式(3)得到vk的稀疏编码ck,只有在ck中大于某预定义阈值β的元素ck(j)对应的B*={bj}项会被更新,这一过程如公式(5)所示:
B*={bj},s.t.|ck(j)|>β (5)
再将B*代入公式(6),得到结果为c*
利用c*值采用梯度下降法更新B*,结合未被更新的其他项生成新的编码字典B;
在得到更新后的字典后,将B代入公式(3),依次算出所有特征样本的LLC稀疏编码值;在上述编码过程中,RGB和深度图像是分别计算其各自的编码字典 和稀疏编码值的,针对每一个人脸表情序列样本,其LLC编码特征维数为M×2×N,其中M为字典条目数。
5.根据权利要求1所述的基于结构性稀疏特征学习的三维动态人脸表情识别方法,其特征在于,所述利用汇聚算法将所有稀疏编码值汇聚统计表示,缩小特征维数,并合并RGB和深度特征,得到最终人脸表情序列特征的具体方法:
将提取特征时分割得到的三维模块分组汇聚,组成金字塔式单元,以每一个单元中的稀疏编码最大值表示该单元特征值:图像长轴划分个数×图像宽轴划分个数×时间轴划分个数,每个单元Q的特征值F(Q)计算公式为:
依据上述图像序列的单元划分方式,将所有单元特征累积,得到最终该人脸表情序列的特征向量。
6.根据权利要求1所述的基于结构性稀疏特征学习的三维动态人脸表情识别方法,其特征在于,所述输入条件随机场模型(CRFs)分类器实现表情识别具体方法:
以每一个表情样本的观察特征为x,其类别标签为y,则每一个样本特征x为表征样本纹理和形态特征的随机变量,对应CRF中一个输入节点;而每一个y对应表征表情类型的随机变量,为输出节点;采用线性链式结构的CRFs模型为:
这里z(x,θ)是归一化因子,Fj(x,y)则为特征函数,给出N个训练样本后,在训练过程中计算出使条件对数似然值最大化的最优权值θ*,即:
θ*=argmaxθL(θ) (10)
上式中,参数θ的估计使用L-BFGS算法解决。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410189169.6A CN103971137B (zh) | 2014-05-07 | 2014-05-07 | 基于结构性稀疏特征学习的三维动态人脸表情识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410189169.6A CN103971137B (zh) | 2014-05-07 | 2014-05-07 | 基于结构性稀疏特征学习的三维动态人脸表情识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103971137A CN103971137A (zh) | 2014-08-06 |
CN103971137B true CN103971137B (zh) | 2017-03-29 |
Family
ID=51240608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410189169.6A Expired - Fee Related CN103971137B (zh) | 2014-05-07 | 2014-05-07 | 基于结构性稀疏特征学习的三维动态人脸表情识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103971137B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103793690B (zh) * | 2014-01-27 | 2017-08-18 | 天津科技大学 | 一种基于皮下血流探测的人体生物活体检测方法及应用 |
CN105654103B (zh) * | 2014-11-12 | 2020-03-24 | 联想(北京)有限公司 | 一种图像识别方法及电子设备 |
CN104933416B (zh) * | 2015-06-26 | 2018-11-02 | 复旦大学 | 基于光流场的微表情序列特征提取方法 |
CN105469050B (zh) * | 2015-11-24 | 2019-01-18 | 南京师范大学 | 基于局部时空特征描述与金字塔词汇树的视频行为识别方法 |
CN106127806B (zh) * | 2016-06-17 | 2018-10-02 | 淮阴工学院 | 基于深度玻尔兹曼机跨模式特征学习的rgb-d视频目标跟踪方法 |
CN107871115B (zh) * | 2016-11-01 | 2021-05-04 | 中国科学院沈阳自动化研究所 | 一种基于图像的海底热液喷口的识别方法 |
CN108416360B (zh) * | 2018-01-16 | 2022-03-29 | 华南理工大学 | 基于乳腺钼靶钙化特征的癌症诊断系统及方法 |
CN108647628B (zh) * | 2018-05-07 | 2021-10-26 | 山东大学 | 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法 |
CN108646920A (zh) * | 2018-05-16 | 2018-10-12 | Oppo广东移动通信有限公司 | 识别交互方法、装置、存储介质及终端设备 |
CN108629338B (zh) * | 2018-06-14 | 2021-10-19 | 五邑大学 | 一种基于lbp和卷积神经网络的人脸美丽预测方法 |
CN108960422B (zh) * | 2018-06-19 | 2022-04-15 | 河南工业大学 | 一种基于主成分分析的宽度学习方法 |
CN109145754A (zh) * | 2018-07-23 | 2019-01-04 | 上海电力学院 | 融合面部表情及肢体动作三维特征的情绪识别方法 |
CN109034099B (zh) * | 2018-08-14 | 2021-07-13 | 华中师范大学 | 一种表情识别方法及装置 |
CN109446980A (zh) * | 2018-10-25 | 2019-03-08 | 华中师范大学 | 表情识别方法及装置 |
CN109726672B (zh) * | 2018-12-27 | 2020-08-04 | 哈尔滨工业大学 | 一种基于人体骨架序列和卷积神经网络的摔倒检测方法 |
CN109977794A (zh) * | 2019-03-05 | 2019-07-05 | 北京超维度计算科技有限公司 | 一种用深度神经网络进行人脸识别的方法 |
CN111582067B (zh) * | 2020-04-22 | 2022-11-29 | 西南大学 | 人脸表情识别方法、系统、存储介质、计算机程序、终端 |
CN111950429B (zh) * | 2020-08-07 | 2023-11-14 | 南京审计大学 | 一种基于加权协同表示的人脸识别方法 |
CN113869234B (zh) * | 2021-09-29 | 2024-05-28 | 中国平安财产保险股份有限公司 | 人脸表情识别方法、装置、设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101908149A (zh) * | 2010-07-06 | 2010-12-08 | 北京理工大学 | 一种从人脸图像序列中识别脸部表情的方法 |
KR102094723B1 (ko) * | 2012-07-17 | 2020-04-14 | 삼성전자주식회사 | 견고한 얼굴 표정 인식을 위한 특징 기술자 |
-
2014
- 2014-05-07 CN CN201410189169.6A patent/CN103971137B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN103971137A (zh) | 2014-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103971137B (zh) | 基于结构性稀疏特征学习的三维动态人脸表情识别方法 | |
Peng et al. | Semantic segmentation of litchi branches using DeepLabV3+ model | |
Shao et al. | Performance evaluation of deep feature learning for RGB-D image/video classification | |
CN109389055B (zh) | 基于混合卷积和注意力机制的视频分类方法 | |
CN107463949B (zh) | 一种视频动作分类的处理方法及装置 | |
CN107808131B (zh) | 基于双通路深度卷积神经网络的动态手势识别方法 | |
CN107203753B (zh) | 一种基于模糊神经网络和图模型推理的动作识别方法 | |
Gupta et al. | Learning rich features from RGB-D images for object detection and segmentation | |
CN110399821B (zh) | 基于人脸表情识别的顾客满意度获取方法 | |
Bai et al. | Subset based deep learning for RGB-D object recognition | |
CN106778796B (zh) | 基于混合式协同训练的人体动作识别方法及系统 | |
CN109829449B (zh) | 一种基于超像素时空上下文的rgb-d室内场景标注方法 | |
CN108830262A (zh) | 自然状态下多角度人脸表情识别方法 | |
Loghmani et al. | Recurrent convolutional fusion for RGB-D object recognition | |
CN108090403A (zh) | 一种基于3d卷积神经网络的人脸动态识别方法及系统 | |
Ding et al. | Fish recognition using convolutional neural network | |
CN105335725A (zh) | 一种基于特征融合的步态识别身份认证方法 | |
CN110176023B (zh) | 一种基于金字塔结构的光流估计方法 | |
CN110728183A (zh) | 一种基于注意力机制的神经网络的人体动作识别方法 | |
CN108875655A (zh) | 一种基于多特征的实时目标视频跟踪方法及系统 | |
CN112464844A (zh) | 一种基于深度学习与运动目标检测的人体行为动作识别方法 | |
CN113420703B (zh) | 基于多尺度特征提取和多注意力机制建模的动态面部表情识别方法 | |
Xu et al. | Face expression recognition based on convolutional neural network | |
CN112800988A (zh) | 一种基于特征融合的c3d行为识别方法 | |
Sabater et al. | Event Transformer+. A multi-purpose solution for efficient event data processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170329 |