CN104361316A - 一种基于多尺度时序建模的维度情感识别方法 - Google Patents

一种基于多尺度时序建模的维度情感识别方法 Download PDF

Info

Publication number
CN104361316A
CN104361316A CN201410601169.2A CN201410601169A CN104361316A CN 104361316 A CN104361316 A CN 104361316A CN 201410601169 A CN201410601169 A CN 201410601169A CN 104361316 A CN104361316 A CN 104361316A
Authority
CN
China
Prior art keywords
face
region image
emotion
key point
normalization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410601169.2A
Other languages
English (en)
Other versions
CN104361316B (zh
Inventor
陶建华
巢林林
杨明浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Extreme Element Hangzhou Intelligent Technology Co Ltd
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201410601169.2A priority Critical patent/CN104361316B/zh
Publication of CN104361316A publication Critical patent/CN104361316A/zh
Application granted granted Critical
Publication of CN104361316B publication Critical patent/CN104361316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度时序建模的维度情感识别方法，该方法包括以下步骤：对于视频序列中的每帧图像进行人脸检测及跟踪，并提取人脸关键点作为第一类组人脸特征；提取人脸区域图像、人脸嘴部区域图像和人脸眼睛区域图像中像素的灰度值作为第二、三、四类组人脸特征；根据单位时间段t内多帧图像的四类组人脸特征进行维度情感初步预测；根据连续N个单位时间段t的情感初步预测结果用线性回归器进行时序及模态融合，输出视频序列的情感预测值。本发明方法对视频序列信号进行不同尺度的时序建模，实现了序列中每一时序单元的精确预测。本发明适用于视频中人脸信号的情感识别，具有实时性好、并能够大幅度提高识别精度等优点。

Description

一种基于多尺度时序建模的维度情感识别方法
技术领域
本发明属于视频信号处理领域，具体涉及一种基于多尺度时序建模的维度情感识别方法，并以此来提高连续维度的情感识别的精度。
背景技术
近年来，国内外研究人员对连续维度情感识别进行了大量的研究工作，提出了许多用于情感识别的有效方法。这些方法从处理策略上可以分为基于静态分类器的检测方法和基于动态分类器的检测方法。基于静态分类器的检测方法，多利用支持向量机(SVM)、神经网络、Boosting等，且这类分类器多为判别式模型。由于具有较强的区分能力，因此广泛应用于情感状态识别领域，但这种方法忽略了连续维度情感中不同时刻情感相互联系的事实，也即忽视了时序建模在分类模型中的关键作用。情感状态是一个逐渐变化的、平滑的过程，有着很强的上下文相关性，充分考虑情感状态的时序信息将有助于分类精度的提升。基于动态分类器的检测方法大多采用基于隐马尔科夫(HMM)的分类模型，HMM在序列上下文信息建模方面有着突出的优势，因而对于时间序列，能够较好的融合序列信号的上下文信息，融合一定的情感历史信息。然而，HMM只能在单一时间尺度上进行时序建模，且时序建模的范围有限，并不能完全反应情感时序信息在情感识别中的关键作用。
本发明利用深度置信网络实现较小尺度的时序建模，同时利用线性回归进行多模态及时序的同时融合，实现了较大尺度上的时序建模，进而依靠两级不同尺度上的时序建模，实现了维度情感的精确预测。
发明内容
为了解决上述现有技术中存在的连续语音序列的情感信息识别问题，本发明提出了一种基于多尺度时序建模的维度情感识别方法。
本发明提出的一种基于多尺度时序建模的维度情感识别方法，包括以下步骤：
步骤1，对于视频序列中的每帧图像进行人脸检测及跟踪，并根据检测或跟踪得到的人脸区域图像提取对应的人脸关键点作为第一类组人脸特征；
步骤2，根据所述步骤1得到的人脸关键点，对于相应的人脸区域图像进行人脸校正，分别提取人脸区域图像、人脸嘴部区域图像和人脸眼睛区域图像中所有像素的灰度值作为第二、三、四类组人脸特征；
步骤3，分别提取单位时间段t内多帧图像的四类组人脸特征，并将提取得到的四类组人脸特征分别输入到具有时序池化层的深度置信网络中进行维度情感初步预测，得到单位时间段t内视频序列的情感初步预测结果；
步骤4，根据所述步骤3提取连续N个单位时间段t内的四类组人脸特征并分别进行情感初步预测，根据连续N个单位时间段t的情感初步预测结果训练得到情感预测线性回归器，所述情感预测线性回归器用于同时融合上述四类组人脸特征在同一时间段内的情感预测值；
步骤5，对于连续N个单位时间段t内的测试视频序列，根据所述步骤1-3，得到连续N个单位时间段t内测试视频序列的情感初步预测结果，将得到的连续N个单位时间段t内测试视频序列的情感初步预测结果输入至线性回归器进行时序及模态融合，得到每单位时间段t内测试视频序列的情感预测值。
本发明在视频序列中，采用多层时序建模，实现了两个不同实现粒度上的有效建模，同时融合了多种视觉特征，最终达到了对连续维度情感的有效预测。
附图说明
图1是本发明基于多尺度时序建模的维度情感识别方法的流程图。
图2是本发明步骤1的流程示意图。
图3是本发明步骤2的流程示意图
图4是本发明采用的具有时序池化层的深度置信网络的结构示意图。
图5是本发明步骤5的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。附图中绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。应该指出，所描述的实例仅仅视为说明的目的，而不是对本发明的限制。
图1是本发明基于多尺度时序建模的维度情感识别方法的流程图，如图1所示，所述基于多尺度时序建模的维度情感识别方法包括以下步骤：
步骤1，对于视频序列中的每帧图像进行人脸检测及跟踪，并根据检测或跟踪得到的人脸区域图像提取对应的人脸关键点作为第一类组人脸特征；
如图2所示，所述步骤1中，首先对于视频序列中的第一帧图像进行人脸检测，得到人脸检测结果(即人脸区域图像)后对于后续每帧图像进行人脸跟踪，跟踪时停止进行人脸检测；但如果人脸跟踪失败，则需要对于当前帧重新进行人脸检测寻找人脸。在得到每帧图像的人脸检测或跟踪结果(即人脸区域图像)后，提取得到每帧人脸区域图像对应的人脸关键点，并将得到的人脸关键点作为第一类组人脸特征，用于描述人脸的形态及头部运动信息。
在本发明一实施例中，采用Haar特征及AdaBoost分类器进行人脸检测；采用均值漂移算法进行人脸跟踪；由ASM特征点提取得到人脸的关键点，其中，所述人脸关键点包括眼球点及眼角点、鼻唇中心点、嘴角点三部分。
在本发明一实施例中，在所述步骤1得到人脸关键点之后，还对每帧人脸区域图像的人脸关键点的坐标值进行归一化，即将每帧人脸区域图像的人脸关键点的坐标值减去所有人脸关键点的坐标均值；之后采用主成分分析法对于所述人脸关键点的坐标值进行降维，降维之后通过白化处理使所有特征具有单位方差，(以下简称白化处理)，其中，降维后数据的能量保持在降维前数据能量的90％。
数据的白化处理是为了使降维后的所有特征都有相同的方差且特征之间的相关性较低。具体做法为：求得降维后数据的每一维除以各自维度上的标准差，从而使降维后的数据的每一维的方差为1。
步骤2，根据所述步骤1得到的人脸关键点，对于相应的人脸区域图像进行人脸校正，分别提取人脸区域图像、人脸嘴部区域图像和人脸眼睛区域图像中所有像素的灰度值作为第二、三、四类组人脸特征；
如图3所示，该步骤中，首先依次对于人脸区域图像进行人脸校正处理，具体包括旋转校正、尺度缩放、灰度化和归一化，将所述人脸区域图像中所有像素的灰度值作为第二类组人脸特征；然后分别在经过人脸校正后的人脸区域图像上，根据人脸关键点提取人脸嘴部区域以及人脸眼睛区域，对于所述人脸嘴部区域和人脸眼睛区域进行大小归一化和灰度归一化后，将所述人脸嘴部区域和人脸眼睛区域内所有像素的灰度值分别作为第三组和第四类组人脸特征。
具体地，所述步骤2进一步包括以下步骤：
步骤21，根据所述人脸关键点中左、右眼睛眼角的关键点进行连线，得到眼角连线与水平线之间的夹角，根据所述夹角对于所述人脸区域图像进行旋转，使所述夹角变为0度；
步骤22，对于旋转后的人脸区域图像进行尺度缩放，使所述眼角连线的长度为M个像素，其中，M可取为50-100；
步骤23，根据左眼角关键点的位置对于经过尺度缩放的人脸区域图像进行裁剪，以使得到的人脸区域图像达到第一预定大小；
在本发明一实施例中，所述第一预定大小为2Mx2M，且左眼角关键点的位置为横纵坐标分别为0.8M和0.6M。
步骤24，对于裁剪得到的人脸区域图像进行灰度化，并将所述人脸区域图像中每个像素的灰度值减去所述人脸区域图像的像素灰度值均值，并对于归一化后的人脸区域图像的像素灰度值进行主成分分析降维和白化处理，降维后的特征能量保持在降维前特征总能量的80％，将降维后的人脸区域图像的所有像素灰度值作为第二类组人脸特征；
步骤25，根据嘴部关键点的位置，从归一化后的人脸区域图像中提取得到人脸嘴部区域图像，并将所述人脸嘴部区域图像归一化至第二预定大小，在本发明一实施例中，所述第二预定大小为0.9Mx0.6M；对于归一化后的人脸嘴部区域图像进行灰度化，将其中每个像素的灰度值减去整幅人脸嘴部区域图像像素的灰度值均值，并进行主成分分析降维和白化处理，降维后的特征能量保持在降维前特征总能量的80％，将降维后的人脸嘴部区域图像的所有像素灰度值作为第三类组人脸特征；
步骤26，根据眼睛关键点的位置，从归一化后的人脸区域图像中提取得到人脸眼睛区域图像，并将所述人脸眼睛区域图像归一化至第三预定大小，在本发明一实施例中，所述第三预定大小为1.6Mx0.4M；对于归一化后的人脸眼睛区域图像进行灰度化，将其中每个像素的灰度值减去整幅人脸眼睛区域图像像素的灰度值均值，并进行主成分分析降维和白化处理，降维后的特征能量保持在降维前特征总能量的80％，将降维后的人脸眼睛区域图像的所有像素灰度值作为第四类组人脸特征。
这样，对于每帧人脸区域图像，均能够得到四类组人脸特征。
步骤3，分别提取单位时间段t内多帧图像的四类组人脸特征，其中，单位时间段t可取为1～3秒，并将提取得到的四类组人脸特征分别输入到具有时序池化层的深度置信网络中进行维度情感初步预测，得到单位时间段t内视频序列的情感初步预测结果；
如图4所示，所述具有时序池化层的深度置信网络结构包括四层：一个输入层，一个隐藏层，一个时序池化层和一个线性回归层。其中，所述深度置信网络的激活函数统一采用sigmoid函数：
f ( z ) = 1 1 + exp ( - z ) .
z＝WX+b
其中，W和b为神经网络的权值，X为神经某一层的输入。
所述深度置信网络在进行有监督训练之前首先采用受限波尔兹曼机对于权值初始值进行预训练，在本发明一实施例中，所采用的受限波尔兹曼机的显层为连续特征值，隐藏层为符合0-1分布的输出结点；然后整个深度置信网络采用随机梯度下降法进行误差反传的有监督训练。其中，所述深度置信网络的损失函数采用最小均方误差(MSE)损失函数。
所述时序池化层抽取各个人脸特征值在单位时间段t内的最大值、最小值、均值、方差，作为新的特征输入到线性回归层。线性回归层的结点个数为3，分别对应PAD三个维度，在PAD维度空间中，PAD包含愉悦度、激活度和优势度3个维度。
总的来说，所述深度置信网络的输入是上述四类组人脸特征中的任意一类组，将所述单位时间段t内多帧图像的某一类组人脸特征输入至所述深度置信网络中，在隐藏层学习帧级别的特征，在时序池化层对所述单位时间段t内的帧级别的特征统计所述单位时间段t内的最大值、最小值、均值及方差，并将这些统计特征作为新的特征输入到下一层，即线性回归层中，以对所述单位时间段t内视频序列的情感状态进行预测。其中，通过时序池化层后的特征，能够反映上述四类组人脸特征在所述单位时间段内的动态变化，从而能够更好的描述情感的短时时序变化。
步骤4，根据所述步骤3提取连续N个单位时间段t内的四类组人脸特征并分别进行情感初步预测，其中，N可取10-20，根据连续N个单位时间段t的情感初步预测结果训练得到情感预测线性回归器，所述情感预测线性回归器用于同时融合上述四类组人脸特征在同一时间段内的情感预测值；
由上可知，经过所述步骤3，针对视频序列中的每单位时间段t内的数据均会得到4组情感预测值，分别对应上述四类组人脸特征，其中，每组情感预测值中均包含与三个维度相对应的情感预测值。
在本发明一实施例中，所述线性回归器输入结点个数为120，分别对应四类组特征的在10(N取10)个ts内对三个维度的预测值；输出结点个数为3。
在本发明一实施例中，所述线性回归器采用随机梯度下降法训练完成，采用的损失函数为最小均方误差函数。在实际预测时，直接输入上述四类组特征的情感预测值，即可得到融合后的最终情感预测值。
步骤5，对于连续N个单位时间段t内的测试视频序列，根据所述步骤1-3，得到连续N个单位时间段t内测试视频序列的情感初步预测结果，将得到的连续N个单位时间段t内测试视频序列的情感初步预测结果输入至线性回归器进行时序及模态融合，得到每单位时间段t内测试视频序列的情感预测值。该步骤的流程示意图如图5所示，图5中，D1(t)，D2(t)，D3(t)，D4(t)分别表示针对四类组人脸特征：人脸关键点特征、人脸区域特征、嘴部区域特征及眼睛区域特征的情感初步预测结果；dt-10表示t时刻向前10秒的情感初步预测结果；O(t)表示t时刻的最终情感输出结果。
其中，时序及模态融合分别指上述某一类组人脸特征在不同时间段上的分类结果融合和上述四类组人脸特征的分类结果融合。
综上，本发明采取具有时序池化层的深度置信网络对视频中人脸信号的情感状态进行短时建模，之后采用线性回归器进行多模态及长序时融合，实现了较大尺度上的时序建模；本发明对视频序列中的人脸信号进行了充分利用，提取了关键点特征、脸部总体特征、嘴部特征以及眼部特征，得到了对视频中每帧图像的充分表示；本发明利用具有时序池化层的深度置信网络分别对四类组人脸特征进行情感初步预测，在时序池化层描述序列信号的短时动态变化，实现较小尺度的时序建模，最后采用线性回归器，同时融合上述四组人脸特征的预测结果，以及上述四组特征在不同时间段上的预测结果，实现较大尺度上的时序建模，最终得到情感预测结果。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多尺度时序建模的维度情感识别方法，其特征在于，该方法包括以下步骤：
步骤1，对于视频序列中的每帧图像进行人脸检测及跟踪，并根据检测或跟踪得到的人脸区域图像提取对应的人脸关键点作为第一类组人脸特征；
步骤2，根据所述步骤1得到的人脸关键点，对于相应的人脸区域图像进行人脸校正，分别提取人脸区域图像、人脸嘴部区域图像和人脸眼睛区域图像中所有像素的灰度值作为第二、三、四类组人脸特征；
步骤3，分别提取单位时间段t内多帧图像的四类组人脸特征，并将提取得到的四类组人脸特征分别输入到具有时序池化层的深度置信网络中进行维度情感初步预测，得到单位时间段t内视频序列的情感初步预测结果；
步骤4，根据所述步骤3提取连续N个单位时间段t内的四类组人脸特征并分别进行情感初步预测，根据连续N个单位时间段t的情感初步预测结果训练得到情感预测线性回归器，所述情感预测线性回归器用于同时融合上述四类组人脸特征在同一时间段内的情感预测值；
步骤5，对于连续N个单位时间段t内的测试视频序列，根据所述步骤1-3，得到连续N个单位时间段t内测试视频序列的情感初步预测结果，将得到的连续N个单位时间段t内测试视频序列的情感初步预测结果输入至线性回归器进行时序及模态融合，得到每单位时间段t内测试视频序列的情感预测值。
2.根据权利要求1所述的方法，其特征在于，所述步骤1中，首先对于视频序列中的第一帧图像进行人脸检测，得到人脸区域图像后对于后续每帧图像进行人脸跟踪，跟踪时停止进行人脸检测；但如果人脸跟踪失败，则对于当前帧重新进行人脸检测寻找人脸。
3.根据权利要求1所述的方法，其特征在于，所述步骤1中，采用Haar特征及AdaBoost分类器进行人脸检测；采用均值漂移算法进行人脸跟踪；根据ASM特征点提取得到人脸的关键点。
4.根据权利要求1所述的方法，其特征在于，所述人脸关键点包括眼球点及眼角点、鼻唇中心点、嘴角点。
5.根据权利要求1所述的方法，其特征在于，在所述步骤1得到人脸关键点之后，还对每帧人脸区域图像的人脸关键点的坐标值进行归一化，之后采用主成分分析法对于所述人脸关键点的坐标值进行降维，降维之后通过白化处理使所有特征具有单位方差并去相关。
6.根据权利要求1所述的方法，其特征在于，具体地，所述步骤2进一步包括以下步骤：
步骤21，根据所述人脸关键点中左、右眼睛眼角的关键点进行连线，得到眼角连线与水平线之间的夹角，根据所述夹角对于所述人脸区域图像进行旋转，使所述夹角变为0度；
步骤22，对于旋转后的人脸区域图像进行尺度缩放，使所述眼角连线的长度为M个像素；
步骤23，根据左眼角关键点的位置对于经过尺度缩放的人脸区域图像进行裁剪，以使得到的人脸区域图像达到第一预定大小；
步骤24，对于裁剪得到的人脸区域图像进行灰度化和归一化，并对于归一化后的人脸区域图像的像素灰度值进行主成分分析降维和白化处理，将得到的人脸区域图像的所有像素灰度值作为第二类组人脸特征；
步骤25，根据嘴部关键点的位置，从归一化后的人脸区域图像中提取得到人脸嘴部区域图像，并将所述人脸嘴部区域图像归一化至第二预定大小，对于归一化后的人脸嘴部区域图像进行灰度化和归一化，并进行主成分分析降维和白化处理，将降维后的人脸嘴部区域图像的所有像素灰度值作为第三类组人脸特征；
步骤26，根据眼睛关键点的位置，从归一化后的人脸区域图像中提取得到人脸眼睛区域图像，并将所述人脸眼睛区域图像归一化至第三预定大小，对于归一化后的人脸眼睛区域图像进行灰度化和归一化，并进行主成分分析降维和白化处理，将降维后的人脸眼睛区域图像的所有像素灰度值作为第四类组人脸特征。
7.根据权利要求1所述的方法，其特征在于，所述具有时序池化层的深度置信网络结构包括：一个输入层，一个隐藏层，一个时序池化层和一个线性回归层。
8.根据权利要求7所述的方法，其特征在于，所述时序池化层抽取各个人脸特征值在单位时间段t内的最大值、最小值、均值、方差，作为新的特征输入到线性回归层。
9.根据权利要求7所述的方法，其特征在于，所述线性回归层的结点个数为3，分别对应PAD三个维度：愉悦度、激活度和优势度。
10.根据权利要求1所述的方法，其特征在于，所述线性回归器和深度置信网络均采用随机梯度下降法训练完成，采用最小均方误差函数为损失函数。
CN201410601169.2A 2014-10-30 2014-10-30 一种基于多尺度时序建模的维度情感识别方法 Active CN104361316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410601169.2A CN104361316B (zh) 2014-10-30 2014-10-30 一种基于多尺度时序建模的维度情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410601169.2A CN104361316B (zh) 2014-10-30 2014-10-30 一种基于多尺度时序建模的维度情感识别方法

Publications (2)

Publication Number Publication Date
CN104361316A true CN104361316A (zh) 2015-02-18
CN104361316B CN104361316B (zh) 2017-04-19

Family

ID=52528574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410601169.2A Active CN104361316B (zh) 2014-10-30 2014-10-30 一种基于多尺度时序建模的维度情感识别方法

Country Status (1)

Country Link
CN (1) CN104361316B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881685A (zh) * 2015-05-27 2015-09-02 清华大学 基于捷径深度神经网络的视频分类方法
CN105678250A (zh) * 2015-12-31 2016-06-15 北京小孔科技有限公司 视频中的人脸识别方法和装置
CN105938565A (zh) * 2016-06-27 2016-09-14 西北工业大学 基于多层分类器和互联网图像辅助训练的彩色图像情感分类方法
CN106683680A (zh) * 2017-03-10 2017-05-17 百度在线网络技术（北京）有限公司 说话人识别方法及装置、计算机设备及计算机可读介质
CN106919903A (zh) * 2017-01-19 2017-07-04 中国科学院软件研究所 一种鲁棒的基于深度学习的连续情绪跟踪方法
CN107844766A (zh) * 2017-10-31 2018-03-27 北京小米移动软件有限公司 人脸图像模糊度的获取方法、装置和设备
CN108073933A (zh) * 2016-11-08 2018-05-25 杭州海康威视数字技术股份有限公司 一种目标检测方法及装置
CN109241952A (zh) * 2018-10-26 2019-01-18 北京陌上花科技有限公司 拥挤场景下人物计数方法及装置
CN109376684A (zh) * 2018-11-13 2019-02-22 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质
CN109460737A (zh) * 2018-11-13 2019-03-12 四川大学 一种基于增强式残差神经网络的多模态语音情感识别方法
CN109960626A (zh) * 2017-12-26 2019-07-02 中国移动通信集团辽宁有限公司 端口异常的识别方法、装置、设备及介质
CN113326781A (zh) * 2021-05-31 2021-08-31 合肥工业大学 基于面部视频的非接触式焦虑识别方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793718A (zh) * 2013-12-11 2014-05-14 台州学院 一种基于深度学习的人脸表情识别方法
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
US20140294295A1 (en) * 2009-06-05 2014-10-02 Samsung Electronics Co., Ltd. Apparatus and method for video sensor-based human activity and facial expression modeling and recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140294295A1 (en) * 2009-06-05 2014-10-02 Samsung Electronics Co., Ltd. Apparatus and method for video sensor-based human activity and facial expression modeling and recognition
CN103793718A (zh) * 2013-12-11 2014-05-14 台州学院 一种基于深度学习的人脸表情识别方法
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SAMIRA EBRAHIMI KAHOU等: "Combining Modality Specific Deep Neural Networks for Emotion Recognition in Video", 《PROCEEDINGS OF THE 15TH ACM ON INTERNATIONAL CONFERENCE ON MULTIMODAL INTERACTION》 *
贾熹滨等: "基于动态图像序列的表情识别", 《北京工业大学学报》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881685B (zh) * 2015-05-27 2019-04-02 清华大学 基于捷径深度神经网络的视频分类方法
CN104881685A (zh) * 2015-05-27 2015-09-02 清华大学 基于捷径深度神经网络的视频分类方法
CN105678250A (zh) * 2015-12-31 2016-06-15 北京小孔科技有限公司 视频中的人脸识别方法和装置
CN105678250B (zh) * 2015-12-31 2019-10-11 北京迈格威科技有限公司 视频中的人脸识别方法和装置
CN105938565A (zh) * 2016-06-27 2016-09-14 西北工业大学 基于多层分类器和互联网图像辅助训练的彩色图像情感分类方法
CN108073933B (zh) * 2016-11-08 2021-05-25 杭州海康威视数字技术股份有限公司 一种目标检测方法及装置
CN108073933A (zh) * 2016-11-08 2018-05-25 杭州海康威视数字技术股份有限公司 一种目标检测方法及装置
CN106919903A (zh) * 2017-01-19 2017-07-04 中国科学院软件研究所 一种鲁棒的基于深度学习的连续情绪跟踪方法
CN106919903B (zh) * 2017-01-19 2019-12-17 中国科学院软件研究所 一种鲁棒的基于深度学习的连续情绪跟踪方法
CN106683680A (zh) * 2017-03-10 2017-05-17 百度在线网络技术（北京）有限公司 说话人识别方法及装置、计算机设备及计算机可读介质
CN106683680B (zh) * 2017-03-10 2022-03-25 百度在线网络技术（北京）有限公司 说话人识别方法及装置、计算机设备及计算机可读介质
CN107844766A (zh) * 2017-10-31 2018-03-27 北京小米移动软件有限公司 人脸图像模糊度的获取方法、装置和设备
CN109960626A (zh) * 2017-12-26 2019-07-02 中国移动通信集团辽宁有限公司 端口异常的识别方法、装置、设备及介质
CN109960626B (zh) * 2017-12-26 2022-10-18 中国移动通信集团辽宁有限公司 端口异常的识别方法、装置、设备及介质
CN109241952A (zh) * 2018-10-26 2019-01-18 北京陌上花科技有限公司 拥挤场景下人物计数方法及装置
CN109460737A (zh) * 2018-11-13 2019-03-12 四川大学 一种基于增强式残差神经网络的多模态语音情感识别方法
CN109376684A (zh) * 2018-11-13 2019-02-22 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质
CN109376684B (zh) * 2018-11-13 2021-04-06 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质
US11727663B2 (en) 2018-11-13 2023-08-15 Bigo Technology Pte. Ltd. Method and apparatus for detecting face key point, computer device and storage medium
CN113326781A (zh) * 2021-05-31 2021-08-31 合肥工业大学 基于面部视频的非接触式焦虑识别方法和装置
CN113326781B (zh) * 2021-05-31 2022-09-02 合肥工业大学 基于面部视频的非接触式焦虑识别方法和装置

Also Published As

Publication number Publication date
CN104361316B (zh) 2017-04-19

Similar Documents

Publication Publication Date Title
CN104361316A (zh) 一种基于多尺度时序建模的维度情感识别方法
US20200302180A1 (en) Image recognition method and apparatus, terminal, and storage medium
Abdu et al. Multimodal video sentiment analysis using deep learning approaches, a survey
CN105469065A (zh) 一种基于递归神经网络的离散情感识别方法
Wöllmer et al. LSTM-modeling of continuous emotions in an audiovisual affect recognition framework
CN106326857A (zh) 基于人脸图像的性别识别方法及装置
Ali et al. Facial emotion detection using neural network
Salih et al. Study of video based facial expression and emotions recognition methods
Das et al. Sign language recognition using facial expression
Hussein et al. Emotional stability detection using convolutional neural networks
Dissanayake et al. Utalk: Sri Lankan sign language converter mobile app using image processing and machine learning
Elons et al. Facial expressions recognition for arabic sign language translation
Tewari et al. Real Time Sign Language Recognition Framework For Two Way Communication
Sharma et al. Dynamic Two Hand Gesture Recognition using CNN-LSTM based networks
Al-agha et al. Geometric-based feature extraction and classification for emotion expressions of 3D video film
Kahfi et al. Lip Motion Recognition for Indonesian Vowel Phonemes Using 3D Convolutional Neural Networks
Chhabria et al. Survey of fusion techniques for design of efficient multimodal systems
Kumar et al. Facial emotion recognition and detection using cnn
Ayoub Multimodal Affective Computing Using Temporal Convolutional Neural Network and Deep Convolutional Neural Networks
Jadhav et al. Facial Emotion Detection using Convolutional Neural Network
Vijayalakshmi et al. Automatic human facial expression recognition using Hidden Markov Model
Almana et al. Real-time Arabic Sign Language Recognition using CNN and OpenCV
Santonanda et al. Model for Detect Hand Sign Language Using Deep Convolutional Neural Network for the Speech/Hearing Impaired
Yan et al. Personalized Learning Pathway Generation for Online Education Through Image Recognition.
Ahmed et al. Facial Expression Recognition using Deep Learning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20170407

Address after: 100085 Beijing East Road, No. 35, building No. 1, floor 3, 1-312-316,

Patentee after: Extreme element (Beijing) intelligent Polytron Technologies Inc

Address before: 100190 Zhongguancun East Road, Beijing, No. 95, No.

Patentee before: Institute of Automation, Chinese Academy of Sciences

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 310019 1105, 11 / F, 4 building, 9 Ring Road, Jianggan District nine, Hangzhou, Zhejiang.

Patentee after: Limit element (Hangzhou) intelligent Polytron Technologies Inc

Address before: 100085 1-312-316, 3 floor, 1 building, 35 hospital, Shanghai East Road, Haidian District, Beijing.

Patentee before: Extreme element (Beijing) intelligent Polytron Technologies Inc

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 310019 1105, 11 / F, 4 building, 9 Ring Road, Jianggan District nine, Hangzhou, Zhejiang.

Patentee after: Zhongke extreme element (Hangzhou) Intelligent Technology Co., Ltd

Address before: 310019 1105, 11 / F, 4 building, 9 Ring Road, Jianggan District nine, Hangzhou, Zhejiang.

Patentee before: Limit element (Hangzhou) intelligent Polytron Technologies Inc.