CN109522861A - 一种人脸多类微表情识别方法 - Google Patents

一种人脸多类微表情识别方法 Download PDF

Info

Publication number
CN109522861A
CN109522861A CN201811433607.3A CN201811433607A CN109522861A CN 109522861 A CN109522861 A CN 109522861A CN 201811433607 A CN201811433607 A CN 201811433607A CN 109522861 A CN109522861 A CN 109522861A
Authority
CN
China
Prior art keywords
expression
face
softmax
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811433607.3A
Other languages
English (en)
Inventor
常永鑫
冯世杰
陈家骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Petroleum University
Original Assignee
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Petroleum University filed Critical Southwest Petroleum University
Priority to CN201811433607.3A priority Critical patent/CN109522861A/zh
Publication of CN109522861A publication Critical patent/CN109522861A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸多类微表情识别方法，包括：步骤1：训练好关于人脸的AE模型。步骤2：爬取网络上的人脸表情图像并对其做预处理。步骤3：将准备好的数据集作为输入，编码得到训练集和测试集的特征隐向量。步骤4：训练集的隐向量作为输入，调节好softmax的参数，训练得到多类表情识别的模型，根据精度反馈结果继续调节softmax的参数，直至精度达到要求。得到softmax的多表情分类模型。步骤5：将AE与softmax分类器结合，加载AE模型和softmax模型；将普通网络摄像头采集的人脸图像做预处理后作为输入，输出结果即为表情预测结果。本发明的优点在于：不需要海量的数据，且精度较高。

Description

一种人脸多类微表情识别方法
技术领域
本发明涉及表情识别技术领域，特别涉及一种基于自动编码器和softmax的两阶段多类微表情识别方法。
背景技术
表情识别在金融安全、心理咨询和行为分析等领域的重要作用。通用的多类表情识别方法为传统的机器学习方法，比如决策树、k邻近分类等等，但是精度都不高；到现在较为常用的普通神经网络分类，卷积神经网络分类等方法，虽然精度提升很大，但是需要大量数据支撑。
发明内容
本发明针对现有技术的缺陷，提供了一种人脸多类微表情识别方法，能有效的解决上述现有技术存在的问题。
为了实现以上发明目的，本发明采取的技术方案如下：
一种人脸多类微表情识别方法，包括以下步骤：
步骤1：用已有的数据集如CelebA和LFW等人脸数据集，预先训练好关于人脸的AE(AutoEncoder，自动编码器)模型，用于提取人脸的隐向量特征。
步骤2：通过脚本爬取网络上的人脸表情图像并对其做预处理(人脸正对齐和margin裁剪)，用作人脸表情训练数据集和测试数据集。
步骤3：将步骤2中准备好的数据集作为输入，用步骤1训练好的AE模型进行编码得到训练集和测试集的特征隐向量。
步骤4：根据softmax原理编程，将步骤3得到的训练集的隐向量作为输入，调节好softmax的参数，训练得到多类表情识别的模型，并用测试集测试精度，根据精度反馈结果继续调节softmax的参数，直至精度达到要求。得到softmax的多表情分类模型。
步骤5：将AE与softmax分类器结合，同时加载步骤1中的AE模型和步骤4中的softmax模型；将普通网络摄像头采集的人脸图像做预处理后作为输入，输出结果即为表情预测结果。
进一步地，步骤2具体为：
步骤21：编写脚本从google图片上自动下载相应的人脸表情的图片，采用相关算法检测图片中的人脸并对其做适合大小的裁剪，去掉不含人脸的图片；然后建立一个表情的粗比对模型，对裁剪的图片粗分类；最后再由人工筛选一类的表情图片，得到相应的人脸多类表情数据集。
步骤22：为了增强以后softmax的拟合，需要对数据集的图像做预处理。包括人脸对齐和输入图像大小限定的处理。
进一步地，步骤3具体为：
步骤31：将处理好的表情数据集按8:2分为训练集和测试集。
步骤32：加载训练好的AE模型，将训练集和测试集的图像作为输入通过自动编码器，得到相应的训练集和测试集的特征隐向量。
进一步地，步骤4具体为：用训练集的特征隐向量及其分类标签作为softmax多分类器的输入，调节好分类器的参数(如学习率，批次梯度损失等)进行训练得到一个训练模型；加载得到的模型用测试集测试精度，并根据结果调节分类器参数再次训练softmax多分类器，循环直到精度达到要求。
与现有技术相比本发明的优点在于：不需要海量的数据，且精度提高。
附图说明
图1本发明实施例的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图并列举实施例，对本发明做进一步详细说明。
如图1所示，一种人脸多类微表情识别方法，包括以下步骤：
步骤1：用已有的数据集如CelebA和LFW等人脸数据集，预先训练好关于人脸的AE(AutoEncoder，自动编码器)模型，用于提取人脸的隐向量特征。
步骤2：通过脚本爬取网络上的人脸表情图像并对其做预处理(人脸正对齐和margin裁剪)，用作人脸表情训练数据集和测试数据集。
步骤2具体为：
步骤21：编写脚本从google图片上自动下载相应的人脸表情的图片，采用相关算法检测图片中的人脸并对其做适合大小的裁剪，去掉不含人脸的图片；然后建立一个表情的粗比对模型，对裁剪的图片粗分类；由于模型不可能完全正确，最后再由人工筛选一类的表情图片，得到相应的人脸多类表情数据集。
步骤22：为了增强以后softmax的拟合，需要对数据集的图像做预处理。包括人脸对齐和输入图像大小限定的处理。
步骤3：将步骤2中准备好的数据集作为输入，用步骤1训练好的AE模型进行编码得到训练集和测试集的特征隐向量。
步骤3具体为：
步骤31：将处理好的表情数据集按8:2分为训练集和测试集。
步骤32：加载训练好的AE模型，将训练集和测试集的图像作为输入通过自动编码器，得到相应的训练集和测试集的特征隐向量。
步骤4：根据softmax原理编程，将步骤3得到的训练集的隐向量作为输入，调节好softmax的参数，训练得到多类表情识别的模型，并用测试集测试精度，根据精度反馈结果继续调节softmax的参数，直至精度达到要求。得到softmax的多表情分类模型。
步骤4具体为：用训练集的特征隐向量及其分类标签作为softmax多分类器的输入，调节好分类器的参数(如学习率，批次梯度损失等)进行训练得到一个训练模型；加载得到的模型用测试集测试精度，并根据结果调节分类器参数再次训练softmax多分类器，循环直到精度达到要求。
步骤5：将AE与softmax分类器结合，同时加载步骤1中的AE模型和步骤4中的softmax模型；将普通网络摄像头采集的人脸图像做预处理后作为输入，输出结果即为表情预测结果。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.一种人脸多类微表情识别方法，其特征在于，包括以下步骤：
步骤1：用已有的数据集如CelebA和LFW等人脸数据集，预先训练好关于人脸的AE(AutoEncoder，自动编码器)模型，用于提取人脸的隐向量特征；
步骤2：通过脚本爬取网络上的人脸表情图像并对其做预处理人脸正对齐和margin裁剪，用作人脸表情训练数据集和测试数据集；
步骤3：将步骤2中准备好的数据集作为输入，用步骤1训练好的AE模型进行编码得到训练集和测试集的特征隐向量；
步骤4：根据softmax原理编程，将步骤3得到的训练集的隐向量作为输入，调节好softmax的参数，训练得到多类表情识别的模型，并用测试集测试精度，根据精度反馈结果继续调节softmax的参数，直至精度达到要求，得到softmax的多表情分类模型；
步骤5：将AE与softmax分类器结合，同时加载步骤1中的AE模型和步骤4中的softmax模型；将普通网络摄像头采集的人脸图像做预处理后作为输入，输出结果即为表情预测结果。
2.根据权利要求1所述的一种人脸多类微表情识别方法，其特征在于，步骤2具体为：
步骤21：编写脚本从google图片上自动下载相应的人脸表情的图片，采用相关算法检测图片中的人脸并对其做适合大小的裁剪，去掉不含人脸的图片；然后建立一个表情的粗比对模型，对裁剪的图片粗分类；最后再由人工筛选一类的表情图片，得到相应的人脸多类表情数据集；
步骤22：为了增强以后softmax的拟合，需要对数据集的图像做预处理，包括人脸对齐和输入图像大小限定的处理。
3.根据权利要求1所述的一种人脸多类微表情识别方法，其特征在于，步骤3具体为：
步骤31：将处理好的表情数据集按8:2分为训练集和测试集；
步骤32：加载训练好的AE模型，将训练集和测试集的图像作为输入通过自动编码器，得到相应的训练集和测试集的特征隐向量。
4.根据权利要求1所述的一种人脸多类微表情识别方法，其特征在于，步骤4具体为：用训练集的特征隐向量及其分类标签作为softmax多分类器的输入，调节好分类器的参数进行训练得到一个训练模型；加载得到的模型用测试集测试精度，并根据结果调节分类器参数再次训练softmax多分类器，循环直到精度达到要求。
CN201811433607.3A 2018-11-28 2018-11-28 一种人脸多类微表情识别方法 Pending CN109522861A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811433607.3A CN109522861A (zh) 2018-11-28 2018-11-28 一种人脸多类微表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811433607.3A CN109522861A (zh) 2018-11-28 2018-11-28 一种人脸多类微表情识别方法

Publications (1)

Publication Number Publication Date
CN109522861A true CN109522861A (zh) 2019-03-26

Family

ID=65794754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811433607.3A Pending CN109522861A (zh) 2018-11-28 2018-11-28 一种人脸多类微表情识别方法

Country Status (1)

Country Link
CN (1) CN109522861A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674774A (zh) * 2019-09-30 2020-01-10 新疆大学 一种改进的深度学习人脸面部表情识别方法及系统
CN111832499A (zh) * 2020-07-17 2020-10-27 东华理工大学 一种简易人脸识别分类系统
CN112101216A (zh) * 2020-09-15 2020-12-18 百度在线网络技术（北京）有限公司 人脸识别方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002223A (zh) * 2011-09-08 2013-03-27 奥林巴斯映像株式会社 摄影设备
CN104298981A (zh) * 2014-11-05 2015-01-21 河北工业大学 人脸微表情的识别方法
CN105139039A (zh) * 2015-09-29 2015-12-09 河北工业大学 视频序列中人脸微表情的识别方法
CN107273876A (zh) * 2017-07-18 2017-10-20 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002223A (zh) * 2011-09-08 2013-03-27 奥林巴斯映像株式会社 摄影设备
CN104298981A (zh) * 2014-11-05 2015-01-21 河北工业大学 人脸微表情的识别方法
CN105139039A (zh) * 2015-09-29 2015-12-09 河北工业大学 视频序列中人脸微表情的识别方法
CN107273876A (zh) * 2017-07-18 2017-10-20 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张志禹等: "堆栈式混合自编码器的人脸表情识别方法", 《计算机工程与应用》 *
李小波: "改进深度ELM算法研究及在自拍图像自动评价中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674774A (zh) * 2019-09-30 2020-01-10 新疆大学 一种改进的深度学习人脸面部表情识别方法及系统
CN111832499A (zh) * 2020-07-17 2020-10-27 东华理工大学 一种简易人脸识别分类系统
CN112101216A (zh) * 2020-09-15 2020-12-18 百度在线网络技术（北京）有限公司 人脸识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111079639B (zh) 垃圾图像分类模型构建的方法、装置、设备及存储介质
CN108491765B (zh) 一种蔬菜图像的分类识别方法及系统
CN107577985B (zh) 基于循环生成对抗网络的人脸头像卡通化的实现方法
CN106096535B (zh) 一种基于双线性联合cnn的人脸验证方法
US20170228618A1 (en) Video classification method and apparatus
CN105981008B (zh) 学习深度人脸表示
CN110688288B (zh) 基于人工智能的自动化测试方法、装置、设备及存储介质
CN109522861A (zh) 一种人脸多类微表情识别方法
CN109271958B (zh) 人脸年龄识别方法及装置
CN107145503A (zh) 基于word2vec的远监督非分类关系提取方法及系统
CN106991355B (zh) 基于拓扑保持的解析型字典学习模型的人脸识别方法
CN109784153A (zh) 情绪识别方法、装置、计算机设备及存储介质
CN108776774A (zh) 一种基于复杂度感知分类算法的面部表情识别方法
CN113077388B (zh) 一种数据增广的深度半监督超限学习图像分类方法及系统
Jaiswal et al. Training your sparse neural network better with any mask
CN106408086A (zh) 用于图像优化的深度学习神经网络处理方法及系统
CN110659563A (zh) 基于改进YOLOv3网络的电网调度图纸自动识别方法、系统及介质
CN110570443A (zh) 一种基于结构约束条件生成模型的图像线状目标提取方法
CN110569965A (zh) 一种基于ThLU函数的神经网络模型优化方法及系统
CN110991554B (zh) 一种基于改进pca的深度网络图像分类方法
CN114048729A (zh) 医学文献评价方法、电子设备、存储介质和程序产品
CN110020431B (zh) 文本信息的特征提取方法、装置、计算机设备及存储介质
CN114596590A (zh) 一种用于具有长尾分布特性的单猴视频动作分类方法
CN114118370A (zh) 模型训练方法、电子设备和计算机可读存储介质
CN110245226A (zh) 企业行业分类方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190326