CN114005153A - 面貌多样性的个性化微表情实时识别方法 - Google Patents

面貌多样性的个性化微表情实时识别方法 Download PDF

Info

Publication number
CN114005153A
CN114005153A CN202110139109.3A CN202110139109A CN114005153A CN 114005153 A CN114005153 A CN 114005153A CN 202110139109 A CN202110139109 A CN 202110139109A CN 114005153 A CN114005153 A CN 114005153A
Authority
CN
China
Prior art keywords
micro
real
time
expression
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110139109.3A
Other languages
English (en)
Inventor
凌志辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xinktech Information Technology Co ltd
Original Assignee
Nanjing Xinktech Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xinktech Information Technology Co ltd filed Critical Nanjing Xinktech Information Technology Co ltd
Priority to CN202110139109.3A priority Critical patent/CN114005153A/zh
Publication of CN114005153A publication Critical patent/CN114005153A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及微表情识别技术领域,且公开了面貌多样性的个性化微表情实时识别方法,包括以下步骤:S1:采集被测试人员平和状态下的视频数据;S2:输入个性化微动作采样模块采集的样本,对该视频数据进行实时微动作特征采样分析;S3:采集被测试人员的自由状态视频数据;S4:通过实时微动作检测模块对视频中每帧数据进行面部微动作检测。本发明不需要针对不同性别、不同年龄、不同外貌特征分别建立微表情识别模型,避免了大量数据集标注、收集、制作、模型训练调优等多种繁琐工作,通过该个性化微表情识别方案能够实现多样性面部微表情的实时动态分析及微表情识别。

Description

面貌多样性的个性化微表情实时识别方法
技术领域
本发明涉及微表情识别技术领域,具体为面貌多样性的个性化微表情实时识别方法。
背景技术
随着计算机技术的快速发展,可应用于人机交互、模式识别、心理研究等领域的人脸表情识别技术也成为了当下重要的科学研究方向之一,其中,大部分研究针对的是愉快、悲伤、惊讶、厌恶、愤怒和恐惧这六种基础表情的表情识别方法,为尽可能地提高表情识别效率并获得更好的表情识别结果,各类改进的表情识别模型层出不穷。
在微表情识别实际应用场景中,待检测人员面貌特征呈现多样性,通用微表情识别模型不再适用于该场景,针对该问题,通常采用增加训练数据多样性、数据量等,以增强微表情识别模型的泛化能力,该方案存在微表情训练数据标注任务难、耗时耗力、识别效果不确定性高等问题,一直未取得进展,因此亟需建立面向面貌多样性的个性化微表情实时识别技术。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了面貌多样性的个性化微表情实时识别方法,主要为解决实际应用场景中出现的面部不协调、五官不端正、脸部褶皱多等特点的面部微表情识别的问题。
(二)技术方案
为实现上述目的,本发明提供如下技术方案:
面貌多样性的个性化微表情实时识别方法,包括以下步骤:
S1:采集被测试人员平和状态下的视频数据;
S2:输入个性化微动作采样模块采集的样本,对该视频数据进行实时微动作特征采样分析;
S3:采集被测试人员的自由状态视频数据;
S4:通过实时微动作检测模块对视频中每帧数据进行面部微动作检测;
S5:将实时面部微动作与个性化微动作特征分布模型输入实时动态微动作识别模块分析每一帧的动态微动作特征分布;
S6:将每一帧的动态微动作特征输入微表情识别模型,实时分析每一帧的微表情,然后输出实时每帧微表情分类数据。
在前述方案的基础上,所述S1中包括信息采集模块,信息采集模块连接有储存模块,信息采集模块采集的信息储存到储存模块中。
作为本发明再进一步的方案,所述S2中包括分析模块,分析模块与储存模块相连接,S2中建立该测试人员个性化面部微动作特征分布模型,通过个性化面部微动作特征分布模型方便方便进行快速的分析。
进一步的,所述S3中在采集时进行要在被测试人员不知情的状态下进行采集,充分保证采集样本的代表性。
在前述方案的基础上,所述S4中包括检测模块,检测模块与分析模块和储存模块相连接,且监测模块连接有传输模块,通过传输模块进行信号传输。
本发明再进一步的方案,所述S6中实时每帧微表情分类时包括8中微表情,分别为平和、生气、轻蔑、厌恶、恐惧、开心、伤心、惊讶。
进一步的,所述S6中在实际应用场景中,如果测试人员的眉毛等面部特征在平和状态下呈现生气状态,通用微表情识别会将其平和状态识别为生气,依次类推,判断测试人员为平和、轻蔑、厌恶、恐惧、开心、伤心、惊讶的状态,通过该方案,实现去个性化的微表情实时识别。
在前述方案的基础上,所述S1中在获取被测试人员平和状态下的视频数据时,分别在多个角度下的人物表情图像,S3中包括动态阈值更新模块,当待识别图像中不存在被测者人脸图像,则更新动态阈值。
(三)有益效果
与现有技术相比,本发明提供了面貌多样性的个性化微表情实时识别方法,具备以下有益效果:
1、本发明实现实时微动作特征与个性化微动作特征相结合分析实时动态微动作特征,以此动态微特征作为微表情识别模型的输入,最终输出实时微表情分析数据,为实际应用场景提供可行的面向面貌多样性的微表情识别技术方案。
2、本发明通过采集测试人员平和状态的面部视频数据,建立被测试人员的个性化平和状态面部微动作特征分布模型,作为实时微表情分析的基础,这样不需要针对不同性别、不同年龄、不同外貌特征分别建立微表情识别模型,避免了大量数据集标注、收集、制作、模型训练调优等多种繁琐工作,通过该个性化微表情识别方案能够实现多样性面部微表情的实时动态分析及微表情识别。
3、本发明分别在多个角度下的人物表情图像,方便不同的角度采集不同的信息,提高数据采集的充分性,方便进行准确的分析。
附图说明
图1为本发明提出的面貌多样性的个性化微表情实时识别方法的流程结构示意图。
图2为本发明提出的面貌多样性的个性化微表情实时识别方法的采样模块结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
参照图1-2,面貌多样性的个性化微表情实时识别方法,包括以下步骤:
S1:采集被测试人员平和状态下的视频数据;
S2:输入个性化微动作采样模块采集的样本,对该视频数据进行实时微动作特征采样分析;
S3:采集被测试人员的自由状态视频数据;
S4:通过实时微动作检测模块对视频中每帧数据进行面部微动作检测;
S5:将实时面部微动作与个性化微动作特征分布模型输入实时动态微动作识别模块分析每一帧的动态微动作特征分布,实现实时微动作特征与个性化微动作特征相结合分析实时动态微动作特征,以此动态微特征作为微表情识别模型的输入,最终输出实时微表情分析数据,为实际应用场景提供可行的面向面貌多样性的微表情识别技术方案;
S6:将每一帧的动态微动作特征输入微表情识别模型,实时分析每一帧的微表情,然后输出实时每帧微表情分类数据,通过采集测试人员平和状态的面部视频数据,建立被测试人员的个性化平和状态面部微动作特征分布模型,作为实时微表情分析的基础,这样不需要针对不同性别、不同年龄、不同外貌特征分别建立微表情识别模型,避免了大量数据集标注、收集、制作、模型训练调优等多种繁琐工作,通过该个性化微表情识别方案能够实现多样性面部微表情的实时动态分析及微表情识别。
本发明的S1中包括信息采集模块,信息采集模块连接有储存模块,信息采集模块采集的信息储存到储存模块中,S2中包括分析模块,分析模块与储存模块相连接,S2中建立该测试人员个性化面部微动作特征分布模型,通过个性化面部微动作特征分布模型方便方便进行快速的分析,S3中在采集时进行要在被测试人员不知情的状态下进行采集,充分保证采集样本的代表性,S4中包括检测模块,检测模块与分析模块和储存模块相连接,且监测模块连接有传输模块,通过传输模块进行信号传输。
需要特别说明的是,S6中实时每帧微表情分类时包括8中微表情,分别为平和、生气、轻蔑、厌恶、恐惧、开心、伤心、惊讶,S6中在实际应用场景中,如果测试人员的眉毛等面部特征在平和状态下呈现生气状态,通用微表情识别会将其平和状态识别为生气,依次类推,判断测试人员为平和、轻蔑、厌恶、恐惧、开心、伤心、惊讶的状态,通过该方案,实现去个性化的微表情实时识别。
实施例2
参照图1-2,面貌多样性的个性化微表情实时识别方法,包括以下步骤:
S1:采集被测试人员平和状态下的视频数据;
S2:输入个性化微动作采样模块采集的样本,对该视频数据进行实时微动作特征采样分析;
S3:采集被测试人员的自由状态视频数据;
S4:通过实时微动作检测模块对视频中每帧数据进行面部微动作检测;
S5:将实时面部微动作与个性化微动作特征分布模型输入实时动态微动作识别模块分析每一帧的动态微动作特征分布,实现实时微动作特征与个性化微动作特征相结合分析实时动态微动作特征,以此动态微特征作为微表情识别模型的输入,最终输出实时微表情分析数据,为实际应用场景提供可行的面向面貌多样性的微表情识别技术方案;
S6:将每一帧的动态微动作特征输入微表情识别模型,实时分析每一帧的微表情,然后输出实时每帧微表情分类数据,通过采集测试人员平和状态的面部视频数据,建立被测试人员的个性化平和状态面部微动作特征分布模型,作为实时微表情分析的基础,这样不需要针对不同性别、不同年龄、不同外貌特征分别建立微表情识别模型,避免了大量数据集标注、收集、制作、模型训练调优等多种繁琐工作,通过该个性化微表情识别方案能够实现多样性面部微表情的实时动态分析及微表情识别。
本发明的S1中包括信息采集模块,信息采集模块连接有储存模块,信息采集模块采集的信息储存到储存模块中,S2中包括分析模块,分析模块与储存模块相连接,S2中建立该测试人员个性化面部微动作特征分布模型,通过个性化面部微动作特征分布模型方便方便进行快速的分析,S3中在采集时进行要在被测试人员不知情的状态下进行采集,充分保证采集样本的代表性,S4中包括检测模块,检测模块与分析模块和储存模块相连接,且监测模块连接有传输模块,通过传输模块进行信号传输。
需要特别说明的是,S6中实时每帧微表情分类时包括8中微表情,分别为平和、生气、轻蔑、厌恶、恐惧、开心、伤心、惊讶,S6中在实际应用场景中,如果测试人员的眉毛等面部特征在平和状态下呈现生气状态,通用微表情识别会将其平和状态识别为生气,依次类推,判断测试人员为平和、轻蔑、厌恶、恐惧、开心、伤心、惊讶的状态,通过该方案,实现去个性化的微表情实时识别。
尤其的,S1中在获取被测试人员平和状态下的视频数据时,分别在多个角度下的人物表情图像,方便不同的角度采集不同的信息,提高数据采集的充分性,方便进行准确的分析,S3中包括动态阈值更新模块,当待识别图像中不存在被测者人脸图像,则更新动态阈值。
在该文中的描述中,需要说明的是,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.面貌多样性的个性化微表情实时识别方法,其特征在于,包括以下步骤:
S1:采集被测试人员平和状态下的视频数据;
S2:输入个性化微动作采样模块采集的样本,对该视频数据进行实时微动作特征采样分析;
S3:采集被测试人员的自由状态视频数据;
S4:通过实时微动作检测模块对视频中每帧数据进行面部微动作检测;
S5:将实时面部微动作与个性化微动作特征分布模型输入实时动态微动作识别模块分析每一帧的动态微动作特征分布;
S6:将每一帧的动态微动作特征输入微表情识别模型,实时分析每一帧的微表情,然后输出实时每帧微表情分类数据。
2.根据权利要求1所述的面貌多样性的个性化微表情实时识别方法,其特征在于,所述S1中包括信息采集模块,信息采集模块连接有储存模块,信息采集模块采集的信息储存到储存模块中。
3.根据权利要求2所述的面貌多样性的个性化微表情实时识别方法,其特征在于,所述S2中包括分析模块,分析模块与储存模块相连接,S2中建立该测试人员个性化面部微动作特征分布模型,通过个性化面部微动作特征分布模型方便方便进行快速的分析。
4.根据权利要求3所述的面貌多样性的个性化微表情实时识别方法,其特征在于,所述S3中在采集时进行要在被测试人员不知情的状态下进行采集,充分保证采集样本的代表性。
5.根据权利要求3所述的面貌多样性的个性化微表情实时识别方法,其特征在于,所述S4中包括检测模块,检测模块与分析模块和储存模块相连接,且监测模块连接有传输模块,通过传输模块进行信号传输。
6.根据权利要求1所述的面貌多样性的个性化微表情实时识别方法,其特征在于,所述S6中实时每帧微表情分类时包括8中微表情,分别为平和、生气、轻蔑、厌恶、恐惧、开心、伤心、惊讶。
7.根据权利要求1所述的面貌多样性的个性化微表情实时识别方法,其特征在于,所述S6中在实际应用场景中,如果测试人员的眉毛等面部特征在平和状态下呈现生气状态,通用微表情识别会将其平和状态识别为生气,依次类推,判断测试人员为平和、轻蔑、厌恶、恐惧、开心、伤心、惊讶的状态,通过该方案,实现去个性化的微表情实时识别。
8.根据权利要求1所述的面貌多样性的个性化微表情实时识别方法,其特征在于,所述S1中在获取被测试人员平和状态下的视频数据时,分别在多个角度下的人物表情图像,S3中包括动态阈值更新模块,当待识别图像中不存在被测者人脸图像,则更新动态阈值。
CN202110139109.3A 2021-02-01 2021-02-01 面貌多样性的个性化微表情实时识别方法 Pending CN114005153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110139109.3A CN114005153A (zh) 2021-02-01 2021-02-01 面貌多样性的个性化微表情实时识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110139109.3A CN114005153A (zh) 2021-02-01 2021-02-01 面貌多样性的个性化微表情实时识别方法

Publications (1)

Publication Number Publication Date
CN114005153A true CN114005153A (zh) 2022-02-01

Family

ID=79920898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110139109.3A Pending CN114005153A (zh) 2021-02-01 2021-02-01 面貌多样性的个性化微表情实时识别方法

Country Status (1)

Country Link
CN (1) CN114005153A (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180005272A1 (en) * 2016-06-30 2018-01-04 Paypal, Inc. Image data detection for micro-expression analysis and targeted data services
CN107808113A (zh) * 2017-09-13 2018-03-16 华中师范大学 一种基于差分深度特征的人脸表情识别方法及系统
CN108776774A (zh) * 2018-05-04 2018-11-09 华南理工大学 一种基于复杂度感知分类算法的面部表情识别方法
CN109190487A (zh) * 2018-08-07 2019-01-11 平安科技(深圳)有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
WO2019029261A1 (zh) * 2017-08-07 2019-02-14 深圳市科迈爱康科技有限公司 微表情识别方法、装置及存储介质
CN109409296A (zh) * 2018-10-30 2019-03-01 河北工业大学 将人脸表情识别和语音情感识别融合的视频情感识别方法
CN109903363A (zh) * 2019-01-31 2019-06-18 天津大学 条件生成对抗网络三维人脸表情运动单元合成方法
CN110046587A (zh) * 2019-04-22 2019-07-23 安徽理工大学 基于Gabor差分权重的人脸表情特征提取方法
CN110765873A (zh) * 2019-09-19 2020-02-07 华中师范大学 一种基于表情强度标签分布的面部表情识别方法与装置
CN110781828A (zh) * 2019-10-28 2020-02-11 北方工业大学 一种基于微表情的疲劳状态检测方法
CN111368734A (zh) * 2020-03-04 2020-07-03 中国科学技术大学 一种基于正常表情辅助的微表情识别方法
CN111414862A (zh) * 2020-03-22 2020-07-14 西安电子科技大学 基于神经网络融合关键点角度变化的表情识别方法
CN111461021A (zh) * 2020-04-01 2020-07-28 中国科学院心理研究所 一种基于光流的微表情检测方法
WO2020165557A1 (en) * 2019-02-14 2020-08-20 Huawei Technologies Co., Ltd. 3d face reconstruction system and method
CN111639577A (zh) * 2020-05-25 2020-09-08 台州智必安科技有限责任公司 一种监控视频多人人脸检测和表情识别方法
CN111832426A (zh) * 2020-06-23 2020-10-27 东南大学 基于双稀疏迁移学习的跨库微表情识别方法及装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180005272A1 (en) * 2016-06-30 2018-01-04 Paypal, Inc. Image data detection for micro-expression analysis and targeted data services
WO2019029261A1 (zh) * 2017-08-07 2019-02-14 深圳市科迈爱康科技有限公司 微表情识别方法、装置及存储介质
CN107808113A (zh) * 2017-09-13 2018-03-16 华中师范大学 一种基于差分深度特征的人脸表情识别方法及系统
CN108776774A (zh) * 2018-05-04 2018-11-09 华南理工大学 一种基于复杂度感知分类算法的面部表情识别方法
CN109190487A (zh) * 2018-08-07 2019-01-11 平安科技(深圳)有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
CN109409296A (zh) * 2018-10-30 2019-03-01 河北工业大学 将人脸表情识别和语音情感识别融合的视频情感识别方法
CN109903363A (zh) * 2019-01-31 2019-06-18 天津大学 条件生成对抗网络三维人脸表情运动单元合成方法
WO2020165557A1 (en) * 2019-02-14 2020-08-20 Huawei Technologies Co., Ltd. 3d face reconstruction system and method
CN110046587A (zh) * 2019-04-22 2019-07-23 安徽理工大学 基于Gabor差分权重的人脸表情特征提取方法
CN110765873A (zh) * 2019-09-19 2020-02-07 华中师范大学 一种基于表情强度标签分布的面部表情识别方法与装置
CN110781828A (zh) * 2019-10-28 2020-02-11 北方工业大学 一种基于微表情的疲劳状态检测方法
CN111368734A (zh) * 2020-03-04 2020-07-03 中国科学技术大学 一种基于正常表情辅助的微表情识别方法
CN111414862A (zh) * 2020-03-22 2020-07-14 西安电子科技大学 基于神经网络融合关键点角度变化的表情识别方法
CN111461021A (zh) * 2020-04-01 2020-07-28 中国科学院心理研究所 一种基于光流的微表情检测方法
CN111639577A (zh) * 2020-05-25 2020-09-08 台州智必安科技有限责任公司 一种监控视频多人人脸检测和表情识别方法
CN111832426A (zh) * 2020-06-23 2020-10-27 东南大学 基于双稀疏迁移学习的跨库微表情识别方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
付晓峰;吴俊;牛力;: "小数据样本深度迁移网络自发表情分类", 中国图象图形学报, no. 05, 16 May 2019 (2019-05-16) *
姚丽莎;张军委;房波;张绍雷;周欢;赵凤;: "基于LBP和SVM的人脸表情识别系统的设计与实现", 贵州师范大学学报(自然科学版), no. 01, 15 January 2020 (2020-01-15) *
姚乃明;郭清沛;乔逢春;陈辉;王宏安;: "基于生成式对抗网络的鲁棒人脸表情识别", 自动化学报, no. 05, 18 April 2018 (2018-04-18) *
徐超;冯志勇;: "基于协同交互的面部表情实时分析", 南开大学学报(自然科学版), no. 03, 20 June 2010 (2010-06-20) *
李文;: "人脸表情识别方法", 电子科技, no. 06, 15 June 2007 (2007-06-15) *

Similar Documents

Publication Publication Date Title
Shao et al. Objects365: A large-scale, high-quality dataset for object detection
CN111523462B (zh) 基于自注意增强cnn的视频序列表情识别系统及方法
Ahmed The impact of filter size and number of filters on classification accuracy in CNN
CN111401270A (zh) 一种人体运动姿态识别评价方法及其系统
CN112580552B (zh) 一种鼠类行为分析方法及装置
CN110532950B (zh) 基于微表情视频的视频特征提取方法、微表情识别方法
CN111079658A (zh) 基于视频的多目标连续行为分析方法、系统、装置
CN111150372B (zh) 一种结合快速表示学习和语义学习的睡眠阶段分期系统
CN114202791A (zh) 面部情绪识别模型的训练方法、情绪识别方法及相关设备
CN116230234A (zh) 多模态特征一致性心理健康异常识别方法及系统
CN113627391A (zh) 一种考虑个体差异的跨模式脑电信号识别方法
CN113069117A (zh) 一种基于时间卷积神经网络的脑电情绪识别方法及系统
Liu et al. Facial expression recognition for in-the-wild videos
CN113988135A (zh) 一种基于双分支多流网络的肌电信号手势识别方法
CN116645721B (zh) 基于深度学习的坐姿识别方法及系统
CN114005153A (zh) 面貌多样性的个性化微表情实时识别方法
CN116721458A (zh) 一种基于跨模态时序对比学习的自监督动作识别方法
Koutini et al. Receptive-field regularized CNNs for music classification and tagging
CN112861949B (zh) 一种基于人脸和声音的情绪预测方法和系统
CN114495220A (zh) 一种目标身份识别方法、装置以及存储介质
KR102522202B1 (ko) Nir 분광학 데이터를 이용하여 혈당 레벨을 예측하는 장치 및 방법
Nyhuis et al. Automated video analysis for social science research 1
Reinsve Data analytics for hunt: Recognition of physical activity on sensor data streams
CN116912949B (zh) 一种基于视角感知部分明智注意力机制的步态识别方法
CN117708682B (zh) 脑电波智能采集分析系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination