CN106295568B - 基于表情和行为双模态结合的人类自然状态情感识别方法 - Google Patents

基于表情和行为双模态结合的人类自然状态情感识别方法 Download PDF

Info

Publication number
CN106295568B
CN106295568B CN201610654684.6A CN201610654684A CN106295568B CN 106295568 B CN106295568 B CN 106295568B CN 201610654684 A CN201610654684 A CN 201610654684A CN 106295568 B CN106295568 B CN 106295568B
Authority
CN
China
Prior art keywords
feature
emotion
expression
cognition
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610654684.6A
Other languages
English (en)
Other versions
CN106295568A (zh
Inventor
邵洁
赵倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Electric Power
Original Assignee
Shanghai University of Electric Power
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Electric Power filed Critical Shanghai University of Electric Power
Priority to CN201610654684.6A priority Critical patent/CN106295568B/zh
Publication of CN106295568A publication Critical patent/CN106295568A/zh
Application granted granted Critical
Publication of CN106295568B publication Critical patent/CN106295568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本发明涉及一种基于表情和行为双模态结合的人类自然状态情感识别方法，包括以下步骤：S1：建立两级分类模式的情感认知架构；S2：对视频输入的自然姿态人体图像进行人体区域检测；S3：对人体躯干子区域的图像进行特征点提取，并根据不同时刻各帧图像内的特征点获取特征点运动轨迹，采用聚类方法由特征点运动轨迹获取反映人体行为的主运动轨迹，从主运动轨迹中提取出人体躯干运动特征；S4：根据人体躯干运动特征获得情感认知粗分类结果；S5：对人脸子区域的图像进行人脸表情特征提取；S6：输出对应查找出的人脸表情特征的情感认知细分类结果。与现有技术相比，本发明具有识别精度高、适用范围广、容易实现等优点。

Description

基于表情和行为双模态结合的人类自然状态情感识别方法
技术领域
本发明涉及一种情感识别方法，尤其是涉及一种基于表情和行为双模态结合的人类自然状态情感识别方法。
背景技术
丰富的情感表达是人类相互了解的有效途径，更是人类区别于其他生物的特质之一。随着计算机技术的发展，利用机器实现各种场景中人类情感的自动识别将越来越多的影响人类的日常生活，也是人工智能领域研究的关键课题之一。它在心理学、临床医学、智能人机互动、社会安全、远程教育、商业信息统计等领域都具有非常广泛的应用。人类情感的智能感知可通过图像、语言、文本、姿态和生理信号等多种途径，基于视觉信息的人类情感智能认知不仅具有无接触、适用范围广等特点，且类似于人的情感捕获方式，因此具有更加广泛的发展前景和更加广阔的应用领域。
近年来已有的人类情感视觉智能认知方法主要依据正面人脸表情，虽存在少量针对自然状态下各种角度人脸表情的情感识别方法，但其正确识别率都不超过50％。有研究显示，在某些情况下，身体姿态传递的情感信息内容比面部表情更为丰富。尤其是针对“害怕”和“生气”，“害怕”和“高兴”这些基于面部表情常常出现混淆的情绪进行分辨时，行为姿态能够给出更为正确的判断。但是，行为姿态的情感表达方式受年龄、性别及文化影响存在差异，单纯依据行为姿态实现情感认知识别率较低。目前，尚没有自然状态下单纯依据行为姿态进行情感认知的研究成果发表。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于表情和行为双模态结合的人类自然状态情感识别方法，能够有效提高在自然状态下的人的常见情感(包括高兴、伤心、惊讶、恐惧、生气、厌恶六种)的机器视觉认知正确率，具有识别精度高且速率快、拍摄限制少、容易实现等优点。
本发明的目的可以通过以下技术方案来实现：
一种基于表情和行为双模态结合的人类自然状态情感识别方法，该方法的情感认知对象为自然状态拍摄的人，而非实验样本中摆拍状态的人，该方法包括以下步骤：
S1：建立两级分类模式的情感认知架构，其中第一级分类模式为情感认知粗分类，第二级分类模式为情感认知细分类，同时通过大量图像的脱机训练建立对应情感认知粗分类的人体躯干运动特征库以及对应情感认知细分类的人脸表情特征库；
S2：对视频输入的自然姿态人体图像进行人体区域检测，并将检测到的人体区域分为人脸子区域和人体躯干子区域；
S3：对步骤S2获取的人体躯干子区域的图像进行特征点提取，并根据不同时刻各帧图像内的特征点获取特征点运动轨迹，采用聚类方法由特征点运动轨迹获取反映人体行为的主运动轨迹，从主运动轨迹中提取出人体躯干运动特征；
S4：基于人体躯干运动特征库，将步骤S3获取的人体躯干运动特征与步骤S1获取的人体躯干运动特征库相匹配，获得情感认知粗分类结果；
S5：对步骤S2获取的人脸子区域的图像进行人脸表情特征提取；
S6：以步骤S4获取的情感认知粗分类结果为基础，从步骤S1获取的人脸表情特征库查找与步骤S5获取的人脸表情特征相匹配的人脸表情特征，输出对应查找出的人脸表情特征的情感认知细分类结果。
所述情感认知粗分类分为：兴奋情绪、低落情绪、不确定情绪；
所述情感认知细分类分为高兴、惊讶、伤心、恐惧、生气、厌恶；
在情感认知粗分类中，将高兴和惊讶划分为兴奋情绪，将伤心、恐惧、生气和厌恶划分为低落情绪，当情感认知粗分类结果为兴奋情绪的概率和情感认知粗分类结果为低落情绪的概率的差值低于设定的概率阈值时，则该情感认知粗分类结果判断为不确定情绪。
所述设定的概率阈值取值为18％～22％。
以各帧图像间的特征点运动向量为隐状态，所述人体躯干运动特征库中包括与兴奋情绪和低落情绪对应的隐状态时间变化模型。
所述步骤S3具体为：
301：对步骤S2获取的人体躯干子区域的图像进行特征点提取；
302：将各帧图像内的相匹配的特征点逐帧连接后形成特征点轨迹；
303：根据任意两个特征点轨迹在各帧图像所属特征点相对距离平均值进行聚类，得到聚类后特征点轨迹的轨迹分类；
304：取各轨迹分类中所有特征点轨迹的各帧图像所属特征点平均坐标位置为主轨迹特征点，各主轨迹特征点逐帧连接后形成各轨迹分类的主运动轨迹；
305：从各轨迹分类的主运动轨迹中提取出人体躯干运动特征。
所述步骤302中根据设定的轨迹长度阈值，删除长度小于轨迹长度阈值的特征点轨迹。
所述步骤303中删除各帧图像中无法连续匹配的孤立聚类。
所述特征点表示为其中，si表示第i个特征点的坐标，表示第i个特征点在t时刻的运动速度向量。
与现有技术相比，本发明具有以下优点：
1)本发明方法建立两级分类模式的情感认知架构，由人体躯干运动特征获得情感认知粗分类结果，再结合情感认知粗分类结果和人脸表情特征获得情感认知细分类结果，相比现有单一人脸特征识别的方式，本发明方法加入人体躯干运动特征，可以更精准地识别出人类自然状态下的情感，且相比现有全局搜索来识别的方式，本发明方法在得到粗分类的基础上再进行细分类，采用局部最优的搜索方式，识别精度高且效率快，同时相比现有三种或三种以上特征识别的方式，本发明仅需要考虑表情和行为两种模态，涉及的参数更少，得到的识别结果依然很准确，解决自然状态下基于机器视觉的人类情感识别率较低的问题。
2)本发明方法对情感被识别的人的活动不存在任何影响。本发明方法在提取人体姿态特征时采用了轨迹特征，受拍摄角度影响较小，更好地提取出人体躯干运动特征；在提取人脸特征前进行了人脸姿态的恢复和定位，则可适用于多种拍摄角度得到的人脸图像，因此本发明方法对被识别人的活动和拍摄角度没有特殊要求，能够适用于各种自然行为状态下的人的情感识别，而现有情感识别方法大多只适用于正面人脸的摆拍样本。
3)本发明方法在情感认知粗分类中，建立容错机制，当情感认知粗分类结果为兴奋情绪的概率和情感认知粗分类结果为低落情绪的概率的差值低于设定的概率阈值时，则该情感认知粗分类结果判断为不确定情绪，为后续细分类的精度提供可靠的保证。
4)本发明方法对特征点轨迹分别进行聚类、求均值以及滤除误差，使得从主运动轨迹中提取的人体躯干运动特征可以准确地反应人体自然状态下的运动特征，受拍摄角度影响较小，为后续粗分类结果的精度提供可靠的保证。
5)本发明方法对拍摄视频的清晰度没有特别要求，可采用普通摄像头拍摄。由于分类器最终基于人体姿态的特征点轨迹聚类特征，及人脸的LBP特征，因此不要求输入高清图像。
6)本发明方法适用于各种不同室内室外环境拍摄的图像。本发明方法提取的特征对光线不敏感，因此适用于室内外不同环境。
7)整个识别过程由设备自动完成，结果客观快速。算法全自动，运算过程不需要人为干预。
附图说明
图1为本发明方法流程图；
图2为不同类型测试样本对比示意图；
其中，图(2a)为正面脸部表情识别样本示意图，图(2b)为实验室采集测试状态人体情绪表达样本示意图，图(2c)为本发明针对的自然状态人体情绪表达样本示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，一种基于表情和行为双模态结合的人类自然状态情感识别方法包括以下步骤：
S1：建立两级分类模式的情感认知架构，其中：第一级分类模式为情感认知粗分类，情感认知粗分类分为：兴奋情绪、低落情绪、不确定情绪；第二级分类模式为情感认知细分类，情感认知细分类分为高兴、惊讶、伤心、恐惧、生气、厌恶；在情感认知粗分类中，将高兴和惊讶划分为兴奋情绪，将伤心、恐惧、生气和厌恶划分为低落情绪，当情感认知粗分类结果为兴奋情绪的概率和情感认知粗分类结果为低落情绪的概率的差值低于设定的概率阈值时，则该情感认知粗分类结果判断为不确定情绪，设定的概率阈值取值为18％～22％，本实施例中取20％；
同时收集包含完整人形区域的情感表达视频，通过分析多个数据库及网络数据源中的情感自然表达场景，以及在日常生活中的实地拍摄记录，确定固定视角下常见六种情感的肢体行为和脸部表情表达方式，收集不同角度的拍摄视频图像，如图(2c)所示，通过大量图像的脱机训练建立具有代表性的人体情感样本序列集，具体包括：对应情感认知粗分类的人体躯干运动特征库以及对应情感认知细分类的人脸表情特征库。通过图(2a)、(2b)、(2c)的对比，可知：相比图(2a)的实验室里正脸情绪识别以及图(2b)的实验室里固定摆放姿势情绪识别，本发明方法针对的是自然状态人体情绪识别问题，是一种基于固定摄像头观测的针对自然状态下的人类高兴、伤心、惊讶、恐惧、生气、厌恶六种情感采用双模态实现的智能认知方法。
其中，在情感认知粗分类中，以各帧图像间的特征点运动向量为隐状态，定义“兴奋情绪”和“低落情绪”的隐状态时间变化模型(即隐马尔可夫模型)，大量图像训练隐状态时间变化模型后得到人体躯干运动特征库。
S2：输入固定摄像头采集的待检测自然姿态人体图像视频，利用分类器SVM(Support Vector Machine，支持向量机)学习并检测图像序列中的人形部分，区分人脸子区域和人体躯干子区域。
S3：对步骤S2获取的人体躯干子区域的图像进行特征点提取，并根据不同时刻各帧图像内的特征点获取特征点运动轨迹，采用聚类方法对特征点运动轨迹进行聚类，连接同一轨迹聚类中各帧特征点聚类的中心形成反映人体行为的主运动轨迹，从主运动轨迹中提取出人体躯干运动特征。
步骤S3具体为：
301：在步骤S2获取的人体躯干子区域中提取角点，即特征点。
302：依据KLT(Kanade-Lucas-Tomasi)算法，将各帧图像内的相匹配的特征点逐帧连接后形成特征点轨迹，根据设定的轨迹长度阈值，删除长度小于轨迹长度阈值的特征点轨迹，即去除中途断裂的过短轨迹，设定的轨迹长度阈值以图像的帧数为尺度；
帧中各特征点表示为其中，si表示第i个特征点的坐标，表示第i个特征点在t时刻的运动速度向量。
303：基于相关滤波(Coherent Filtering)算法，根据任意两个特征点轨迹在各帧图像所属特征点相对距离平均值进行聚类，删除各帧图像中无法连续匹配的孤立聚类，即去除各帧中无法连续匹配的孤立聚类，得到聚类后特征点轨迹的轨迹分类。
304：取各轨迹分类中所有特征点轨迹的各帧图像所属特征点平均坐标位置为主轨迹特征点，各主轨迹特征点逐帧连接后形成各轨迹分类的主运动轨迹。
305：从各轨迹分类的主运动轨迹中提取出人体躯干运动特征。
S4：基于人体躯干运动特征库，根据步骤S3获取的人体躯干运动特征输入HCRFs(hidden conditional random fields，隐条件随机场)分类器进行情绪类型识别，输出情感认知粗分类结果。
S5：对步骤S2获取的人脸子区域的图像进行姿态定位和正面姿态恢复，提取人脸表情特征。
步骤S5具体为：
501：检测人脸区域，利用3D人脸模型进行3D到2D图像的最优投影匹配，确定视频帧中人脸的2D定位点坐标，根据脸部定位点坐标确定鼻子、眼角、嘴角定位点，以鼻尖、眼角、嘴角的定位坐标为基准进行仿射变换，完成脸部缺失区域的恢复，得到正面姿态恢复后的正面脸部图像。
基于3DMM的人脸姿态定位及恢复：3DMM指3D形变模型，是描述3D脸部区域最为成功的人脸模型之一。为了实现3DMM与脸部2D图像的匹配，首先需要采用弱透视投影的方法将脸部模型投影到图像平面中：
s2d＝fPR(α,β,γ)(S+t3d)
其中，s2d是3D点在图像平面中的坐标，f为尺度因子，P为正交投影矩阵R为3×3旋转矩阵，S为3DMM脸部模型，t3d为转换向量，α,β,γ为三维坐标。整个转换过程为通过参数估计实现3D点在2D平面的真实投影坐标s2dt与s2d的距离最小化。
502：基于正面脸部图像，将脸部表情变化时间帧作为z轴建立脸部表情三维空间，对空间中所有脸部表情进行大小和位置归一化预处理，采用LBP-TOP(Local BinaryPatterns from Three Orthogonal Panels)算子提取空间特征，基于空间金字塔匹配模型实现特征描述，输出人脸表情特征。
空间金字塔匹配模型采用基础特征提取、抽象、再抽象的过程实现特征的自适应选择。参考阶层式匹配追踪算法(HMP)的设计，采用三层架构的形式。首先，特征提取区域为一定大小的时空三维立方体，输入值为立方体中i×n×k大小的像素三维邻域。采用基于三维梯度的特征描述子实现各三维邻域的基础特征描述，由此建立自学习稀疏编码特征架构的第一层：“特征描述层”。设重构矩阵为M维，建立空间稀疏编码描述，并在每一次编码描述后更新重构矩阵。实现第二层“编码层”。在第三层“汇聚层”，合并所有像素邻域，通过空间金字塔汇聚算法(Spatial Pyramid Pooling)建立归一化稀疏统计特征向量描述。
S6：在情感粗分类的基础上，选取对应步骤S4获取的情感认知粗分类结果的人脸表情特征库，输入步骤S5获取的基于空间金字塔匹配模型的人脸表情特征描述，从选取的人脸表情特征库查找与人脸表情特征相匹配的人脸表情特征，利用条件随机域(CRFs，Conditional Random Fields)分类器输出对应查找出的人脸表情特征的情感认知细分类结果，完成最终情感的高兴、伤心、惊讶、恐惧、生气、厌恶分类。

Claims (8)

1.一种基于表情和行为双模态结合的人类自然状态情感识别方法，其特征在于，包括以下步骤：
S1：建立两级分类模式的情感认知架构，其中第一级分类模式为情感认知粗分类，第二级分类模式为情感认知细分类，同时通过大量图像的脱机训练建立对应情感认知粗分类的人体躯干运动特征库以及对应情感认知细分类的人脸表情特征库；
S2：对视频输入的自然姿态人体图像进行人体区域检测，并将检测到的人体区域分为人脸子区域和人体躯干子区域；
S3：对步骤S2获取的人体躯干子区域的图像进行特征点提取，并根据不同时刻各帧图像内的特征点获取特征点运动轨迹，采用聚类方法由特征点运动轨迹获取反映人体行为的主运动轨迹，从主运动轨迹中提取出人体躯干运动特征；
S4：将步骤S3获取的人体躯干运动特征与步骤S1获取的人体躯干运动特征库相匹配，获得情感认知粗分类结果；
S5：对步骤S2获取的人脸子区域的图像进行人脸表情特征提取；
S6：以步骤S4获取的情感认知粗分类结果为基础，从步骤S1获取的人脸表情特征库查找与步骤S5获取的人脸表情特征相匹配的人脸表情特征，输出对应查找出的人脸表情特征的情感认知细分类结果。
2.根据权利要求1所述的基于表情和行为双模态结合的人类自然状态情感识别方法，其特征在于，所述情感认知粗分类分为：兴奋情绪、低落情绪、不确定情绪；
所述情感认知细分类分为高兴、惊讶、伤心、恐惧、生气、厌恶；
在情感认知粗分类中，将高兴和惊讶划分为兴奋情绪，将伤心、恐惧、生气和厌恶划分为低落情绪，当情感认知粗分类结果为兴奋情绪的概率和情感认知粗分类结果为低落情绪的概率的差值低于设定的概率阈值时，则该情感认知粗分类结果判断为不确定情绪。
3.根据权利要求2所述的基于表情和行为双模态结合的人类自然状态情感识别方法，其特征在于，所述设定的概率阈值取值为18％～22％。
4.根据权利要求2所述的基于表情和行为双模态结合的人类自然状态情感识别方法，其特征在于，以各帧图像间的特征点运动向量为隐状态，所述人体躯干运动特征库中包括与兴奋情绪和低落情绪对应的隐状态时间变化模型。
5.根据权利要求1所述的基于表情和行为双模态结合的人类自然状态情感识别方法，其特征在于，所述步骤S3具体为：
301：对步骤S2获取的人体躯干子区域的图像进行特征点提取；
302：将各帧图像内的相匹配的特征点逐帧连接后形成特征点轨迹；
303：根据任意两个特征点轨迹在各帧图像所属特征点相对距离平均值进行聚类，得到聚类后特征点轨迹的轨迹分类；
304：取各轨迹分类中所有特征点轨迹的各帧图像所属特征点平均坐标位置为主轨迹特征点，各主轨迹特征点逐帧连接后形成各轨迹分类的主运动轨迹；
305：从各轨迹分类的主运动轨迹中提取出人体躯干运动特征。
6.根据权利要求5所述的基于表情和行为双模态结合的人类自然状态情感识别方法，其特征在于，所述步骤302中根据设定的轨迹长度阈值，删除长度小于轨迹长度阈值的特征点轨迹。
7.根据权利要求5所述的基于表情和行为双模态结合的人类自然状态情感识别方法，其特征在于，所述步骤303中删除各帧图像中无法连续匹配的孤立聚类。
8.根据权利要求1所述的基于表情和行为双模态结合的人类自然状态情感识别方法，其特征在于，所述特征点表示为其中，si表示第i个特征点的坐标，表示第i个特征点在t时刻的运动速度向量。
CN201610654684.6A 2016-08-11 2016-08-11 基于表情和行为双模态结合的人类自然状态情感识别方法 Active CN106295568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610654684.6A CN106295568B (zh) 2016-08-11 2016-08-11 基于表情和行为双模态结合的人类自然状态情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610654684.6A CN106295568B (zh) 2016-08-11 2016-08-11 基于表情和行为双模态结合的人类自然状态情感识别方法

Publications (2)

Publication Number Publication Date
CN106295568A CN106295568A (zh) 2017-01-04
CN106295568B true CN106295568B (zh) 2019-10-18

Family

ID=57669998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610654684.6A Active CN106295568B (zh) 2016-08-11 2016-08-11 基于表情和行为双模态结合的人类自然状态情感识别方法

Country Status (1)

Country Link
CN (1) CN106295568B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016233A (zh) * 2017-03-14 2017-08-04 中国科学院计算技术研究所 运动行为和认知能力的关联分析方法及系统
CN107007257B (zh) * 2017-03-17 2018-06-01 深圳大学 面部不自然度的自动评级方法和装置
CN108334806B (zh) * 2017-04-26 2021-12-14 腾讯科技（深圳）有限公司 图像处理方法、装置和电子设备
CN107194151B (zh) * 2017-04-20 2020-04-03 华为技术有限公司 确定情感阈值的方法和人工智能设备
CN108664932B (zh) * 2017-05-12 2021-07-09 华中师范大学 一种基于多源信息融合的学习情感状态识别方法
CN107358169A (zh) * 2017-06-21 2017-11-17 厦门中控智慧信息技术有限公司 一种人脸表情识别方法及人脸表情识别装置
CN107944431B (zh) * 2017-12-19 2019-04-26 天津天远天合科技有限公司 一种基于运动变化的智能识别方法
CN108577866A (zh) * 2018-04-03 2018-09-28 中国地质大学（武汉） 一种多维情感识别与缓解的系统及方法
GB2574052B (en) 2018-05-24 2021-11-03 Advanced Risc Mach Ltd Image processing
CN108921037B (zh) * 2018-06-07 2022-06-03 四川大学 一种基于BN-inception双流网络的情绪识别方法
CN109145754A (zh) * 2018-07-23 2019-01-04 上海电力学院 融合面部表情及肢体动作三维特征的情绪识别方法
CN109165685B (zh) * 2018-08-21 2021-09-10 南京邮电大学 基于表情和动作的监狱服刑人员潜在性风险监测方法和系统
CN110879950A (zh) * 2018-09-06 2020-03-13 北京市商汤科技开发有限公司 多级目标分类及交通标志检测方法和装置、设备、介质
CN109376604B (zh) * 2018-09-25 2021-01-05 苏州飞搜科技有限公司 一种基于人体姿态的年龄识别方法和装置
CN111460245B (zh) * 2019-01-22 2023-07-21 刘宏军 多维度人群特征测定方法
CN110287912A (zh) * 2019-06-28 2019-09-27 广东工业大学 基于深度学习的目标对象情感状态确定方法、装置及介质
CN110378406A (zh) * 2019-07-12 2019-10-25 北京字节跳动网络技术有限公司 图像情感分析方法、装置及电子设备
CN110473229B (zh) * 2019-08-21 2022-03-29 上海无线电设备研究所 一种基于独立运动特征聚类的运动目标检测方法
CN110569777B (zh) * 2019-08-30 2022-05-06 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110717542A (zh) * 2019-10-12 2020-01-21 广东电网有限责任公司 一种情绪识别方法、装置和设备
CN111047078B (zh) * 2019-11-25 2023-05-05 中山大学 交通特征预测方法、系统及存储介质
CN111938674A (zh) * 2020-09-07 2020-11-17 南京宇乂科技有限公司 一种对话的情绪识别控制系统
CN112633170A (zh) * 2020-12-23 2021-04-09 平安银行股份有限公司 通讯优化方法、装置、设备及介质
CN113723374B (zh) * 2021-11-02 2022-02-15 广州通达汽车电气股份有限公司 一种基于视频识别用户矛盾的警报方法及相关装置
CN117275060A (zh) * 2023-09-07 2023-12-22 广州像素数据技术股份有限公司 一种基于情绪分组的人脸表情识别方法和相关设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561868B (zh) * 2009-05-19 2011-08-10 华中科技大学 基于高斯特征的人体运动情感识别方法
CN101561881B (zh) * 2009-05-19 2012-07-04 华中科技大学 人体非程式化运动的情感识别方法
US20120249761A1 (en) * 2011-04-02 2012-10-04 Joonbum Byun Motion Picture Personalization by Face and Voice Image Replacement
CN103123619B (zh) * 2012-12-04 2015-10-28 江苏大学 基于情感上下文的视觉语音多模态协同分析方法
CN105739688A (zh) * 2016-01-21 2016-07-06 北京光年无限科技有限公司 一种基于情感体系的人机交互方法、装置和交互系统

Also Published As

Publication number Publication date
CN106295568A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN106295568B (zh) 基于表情和行为双模态结合的人类自然状态情感识别方法
CN109919031B (zh) 一种基于深度神经网络的人体行为识别方法
Konstantinidis et al. Sign language recognition based on hand and body skeletal data
Zhu et al. Fusing spatiotemporal features and joints for 3d action recognition
CN103268495B (zh) 计算机系统中基于先验知识聚类的人体行为建模识别方法
Vishnu et al. Human fall detection in surveillance videos using fall motion vector modeling
CN106897670B (zh) 一种基于计算机视觉的快递暴力分拣识别方法
Sun et al. Discriminative exemplar coding for sign language recognition with kinect
Weinland et al. Automatic discovery of action taxonomies from multiple views
Fang et al. 3d-siamrpn: An end-to-end learning method for real-time 3d single object tracking using raw point cloud
Chen et al. A joint estimation of head and body orientation cues in surveillance video
Eweiwi et al. Temporal key poses for human action recognition
Shen et al. Emotion recognition based on multi-view body gestures
CN103279768A (zh) 一种基于增量学习人脸分块视觉表征的视频人脸识别方法
CN111046732A (zh) 一种基于多粒度语义解析的行人重识别方法及存储介质
Li et al. Robust multiperson detection and tracking for mobile service and social robots
Chen et al. TriViews: A general framework to use 3D depth data effectively for action recognition
CN103955671A (zh) 基于快速判别公共向量算法的人体行为识别方法
Xia et al. Face occlusion detection using deep convolutional neural networks
CN110837777A (zh) 基于改进VGG-Net的部分遮挡的人脸表情识别方法
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
Lu et al. Pose-guided model for driving behavior recognition using keypoint action learning
Zhang et al. View-invariant action recognition in surveillance videos
Özbay et al. 3D Human Activity Classification with 3D Zernike Moment Based Convolutional, LSTM-Deep Neural Networks.
Batool et al. Fundamental Recognition of ADL Assessments Using Machine Learning Engineering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant