CN111108508A - 脸部情感识别方法、智能装置和计算机可读存储介质 - Google Patents

脸部情感识别方法、智能装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111108508A
CN111108508A CN201980003175.9A CN201980003175A CN111108508A CN 111108508 A CN111108508 A CN 111108508A CN 201980003175 A CN201980003175 A CN 201980003175A CN 111108508 A CN111108508 A CN 111108508A
Authority
CN
China
Prior art keywords
recognized
morphological
neural network
face image
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980003175.9A
Other languages
English (en)
Other versions
CN111108508B (zh
Inventor
丁万
黄东延
李柏
邵池
熊友军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Publication of CN111108508A publication Critical patent/CN111108508A/zh
Application granted granted Critical
Publication of CN111108508B publication Critical patent/CN111108508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种脸部情感识别方法,包括:获取待识别人脸图像,对待识别人脸图像进行形态学特征提取,获取待识别人脸图像的形态学特征;将待识别人脸图像和待识别人脸图像的形态学特征输入预训练的情感识别神经网络,获取待识别人脸图像的脸部情感。本发明还提供了智能装置和计算机可读存储介质。本发明可以有效提升情感识别的准确率。

Description

脸部情感识别方法、智能装置和计算机可读存储介质
技术领域
本发明涉及人工智能技术领域,尤其涉及脸部情感识别方法、智能装置和计算机可读存储介质。
背景技术
脸部形态特征指的是脸部的形状如眼睛大小、鼻子形状、嘴唇厚薄、皱纹多少等。脸部形态特征映射指的是脸部形态能够反映人的文化背景和社会背景(如东方人或西方人、年龄大小、从事的行业等),而不同背景的人的脸部情感表达方式也有所差异。例如西方人的情感表达会有相对明显的嘴部的动作,东方人的情感表达主要集中于眼部区域。现有的脸部情感识别技术主要考虑如何提取形态学不变(即特征值不随形态学变化而变化)的脸部情感识别特征,忽略了脸部形态学信息与情感识别的相关性,会导致情感识别结果的不准确。
发明内容
基于此,有必要针对上述问题,提出了脸部情感识别方法、智能装置和计算机可读存储介质。
一种脸部情感识别方法,所述方法包括:获取待识别人脸图像,对所述待识别人脸图像进行形态学特征提取,获取所述待识别人脸图像的形态学特征;将所述待识别人脸图像和所述待识别人脸图像的形态学特征输入预训练的情感识别神经网络,获取所述待识别人脸图像的脸部情感。
一种智能装置,包括:获取模块,用于获取待识别人脸图像,对所述待识别人脸图像进行形态学特征提取,获取所述待识别人脸图像的形态学特征;识别模块,用于将所述待识别人脸图像和所述待识别人脸图像的形态学特征输入预训练的情感识别神经网络,获取所述待识别人脸图像的脸部情感。
一种智能装置,包括:获取电路、处理器、存储器,所述处理器耦接所述存储器和所述获取电路,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序以实现如上所述的方法。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序能够被处理器执行以实现如上所述的方法。
采用本发明实施例,具有如下有益效果:
对待识别人脸图像进行形态学特征提取,获取待识别人脸图像的形态学特征,将待识别人脸图像及其形态学特征输入预训练的情感识别神经网络,获取该情感识别神经网络的输出作为待识别人脸图像的脸部情感,结合形态学特征对待识别人脸图像进行情感识别,可以有效提升情感识别的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1是本发明一个实施例中脸部情感识别方法应用环境图;
图2是本发明提供的脸部情感识别方法的第一实施例的流程示意图;
图3是本发明提供的脸部情感识别方法的第二实施例的流程示意图;
图4是本发明提供的脸部情感识别方法的第三实施例的流程示意图;
图5是本发明提供的智能装置的第一实施例的结构示意图;
图6是本发明提供的智能装置的第二实施例的结构示意图;
图7是本发明提供的计算机可读存储介质的一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在现有技术中主要考虑如何提取形态学不变(即特征值不随形态学变化而变化)的脸部情感识别特征,忽略了脸部形态学信息与情感识别的相关性,会导致情感识别结果的不准确。
在本实施例中,为了解决上述问题,提供了一种脸部情感识别方法,可以有效提升脸部情感识别的准确性。
请参阅图1,图1是本发明一个实施例中脸部情感识别方法应用环境图。参照图1,该脸部情感识别方法应用于脸部情感识别系统。该脸部情感识别系统包括终端110和服务器120。终端110和服务器120通过网络连接,终端110具体可以是台式终端或移动终端,移动终端具体可以是手机、平板电脑、笔记本电脑、机器人等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端110用于获取待识别人脸图像,服务器120用于对待识别人脸图像进行形态学特征提取,获取待识别人脸图像的形态学特征,以及将待识别人脸图像和待识别人脸图像的形态学特征输入预训练的情感识别神经网络,获取待识别人脸图像的脸部情感。
请参阅图2,图2是本发明提供的脸部情感识别方法的第一实施例的流程示意图。本发明提供的脸部情感识别方法包括如下步骤:
S101:获取待识别人脸图像,对待识别人脸图像进行形态学特征提取,获取待识别人脸图像的形态学特征。
在一个具体的实施场景中,首先获取待识别的人脸图像。例如,可以直接获取由用户提供的人脸图像,或者是通过图像分割方法获取图片中的待识别人脸图像,还可以是从图像集合中获取待识别人脸图像。
在获取到待识别人脸图像后,对该待识别人脸图像进行形态学特征提取。例如,该待识别人脸图像带有用户标注的形态学标识,可以通过读取该标识获取形态学特征。还可以通过将待识别人脸图像输入预训练的形态学特征提取网络,从而获取待识别人脸图像的形态学特征。
在本实施场景中,需要对形态学特征提取网络进行训练,例如,通过事先准备大量的训练人脸图像及其对应的形态学标识,将训练人脸图像及其对应的形态学标识输入形态学特征提取网络进行训练,定义该训练的算法和训练的网络结构、损失函数、终止条件后开始训练,训练完成后可获取预训练的形态学特征提取网络。
在本实施场景中,形态学特征包括胖瘦、人种、年龄、脸部类型中的至少一项数据,形态学特征与脸部情感的表达方式具有密切的关联,例如,不同的文化背景会影响其脸部情感的表达方式,东方人的情感表达主要集中于眼部,嘴部的情感表达不激烈,而西方人则相反。因此,在本实施例中,对待识别脸部图形进行脸部情感识别之前,先获取待识别脸部图像的形态学特征,将形态学特征作为脸部情感识别的依据之一,可以有效提升脸部情感识别的准确性。
S102:将待识别人脸图像和待识别人脸图像的形态学特征输入预训练的情感识别神经网络,获取待识别人脸图像的脸部情感。
在本实施场景中,将待识别人脸图像及其形态学特征输入预训练的情感识别神经网络,获取该待识别的人脸图像的脸部情感。
在本实施场景中,需要对情感识别神经网络进行训练,例如,事先准备大量的训练人脸图像,以及标注该训练人脸图像对应的脸部情感,获取该人脸图像的形态学特征,将训练人脸图像及其脸部情感输入情感识别神经网络,进行训练,定义该情感识别神经网络的结构损失函数和训练的终止条件后开始训练,训练完成后可获取预训练的情感识别神经网络。
通过上述描述可知,在本实施例中获取待识别人脸图像的形态学特征,结合待识别人脸图像的形态学特征进行情感识别,可以有效提升情感识别的准确率。
请参阅图3,图3是本发明提供的脸部情感识别方法的第二实施例的流程示意图。本发明提供的脸部情感识别方法包括如下步骤:
S201:获取待识别人脸图像,将待识别人脸图像输入预训练的形态学特征提取神经网络,获取待识别人脸图像的形态学特征。
在一个具体的实施场景中,将待识别人脸图像输入预训练的形态学特征提取网络。预训练的形态学特征提取网络输出的待识别人脸图像的形态学特征为m维形态学特征向量V,V=(v1,...,vi,...,vm)。
S202:将待识别人脸图像的形态学特征输入预训练的注意力神经网络,获取待识别人脸图像的注意力地图。
用深度神经网络处理计算图像时,步骤首先是对图像中的特征进行提取,这些特征在神经网络“眼里”没有差异,神经网络并不会过多关注某个“区域”。注意力机制从本质上讲和人类的选择性视觉注意力机制类似,目的也是从众多信息中选择出对当前任务目标更关键的信息。注意力神经网络用于学习权重分布,在深度学习的进程中,输入数据或特征图上的不同部分对应的专注度不同。通过迭代训练,注意力神经网络将会越来越注重具有细微差别的地方,则对应地,注意力地图中对应细微差别区域的权重将会越重。
在本实施场景中,将m维形态学特征向量V输入预训练的注意力神经网络,获取n×n维的脸部注意力地图An×n。具体地说,根据m维形态学特征向量V获取形态学特征序列U,
Figure BDA0002332256610000051
其中,
Figure BDA0002332256610000052
为m×n2维的矩阵,形态学特征向量V通过
Figure BDA0002332256610000053
进行reshape变换,获取n×n维的形态学特征矩阵Un×n,Un×n=U。形态学特征矩阵Un×n经过softmax函数进行归一化就得到了符合概率分布取值区间的注意力分配概率的注意力地图An×n
在其他实施场景中,还可以通过卷积转置的方法获取n×n维的脸部注意力地图An×n
S203:将待识别人脸图像及其形态学特征输入预训练的特征识别神经网络,获取待识别人脸图像的特征地图。
在本实施场景中,将待识别人脸图像分为若干分区(xi-k,...,xi,...,xi+k)。将m维形态学特征向量V(v1,...,vi,...,vm)和若干分区(xi-k,...,xi,...,xi+k)输入预训练的特征识别神经网络,获取每个区域的特征
Figure BDA0002332256610000061
将每个区域的特征hi按照对应的若干分区的相对位置进行组合,得到待识别人脸图像的特征地图。
需要说明的是,步骤S202和步骤S203可以同时或者先后进行。
S204:将注意力地图和特征地图相融合,获取训练人脸图像的特征识别结果。
在本实施场景中,注意力地图表示了待识别人脸图像各个区域的特征的权重,特征地图表示了待识别人脸图像的各个区域的形态学特征,两者融合可以获取待识别人脸图像各个区域形态学特征乘以其对应的权重的结果,这些结果组合即可获取待识别人脸图像的特征识别结果。
在本实施场景中,将注意力地图和特征地图相点乘,实现人脸图像各个区域的特征的权重信息的加入,在其他实施场景中,还可以基于注意力权值设计池化(pooling),滤波器(filer),ROI(regions of interest)detection等算法来实现人脸图像各个区域的特征的权重信息的加入。
S205:将特征识别结果输入预训练的情感分类神经网络,获取待识别人脸图像的脸部情感。
在本实施场景中,将上述步骤中获取的待识别人脸图像的特征识别结果输入预训练的情感分类神经网络,获取待识别人脸图像的脸部情感。
在本实施场景中,情感分类神经网络经过训练,可以根据待识别人脸图像的特征识别结果对待识别人脸图像的脸部情感进行分类,从而获取待识别人脸图像的脸部情感。
通过上述描述可知,在本实施例中获取待识别人脸图像的形态学特征,结合待识别人脸图像的形态学特征获取待识别人脸图像的注意力地图和特征地图,将二者融合,获取待识别人脸图像的特征识别结果,将特征识别结果输入预训练的情感分类神经网络,获取待识别人脸图像的脸部情感,充分考虑了形态学特征和脸部情感之间的联系,可以有效提升情感识别的准确率。
请参阅图4,图4是本发明提供的脸部情感识别方法的第三实施例的流程示意图。本发明提供的脸部情感识别方法包括如下步骤:
S301:获取待识别人脸图像,将待识别人脸图像输入预训练的形态学特征提取神经网络,获取待识别人脸图像的形态学特征。
在一个具体的实施场景中,本步骤与本发明提供的脸部情感识别方法的第二实施例中的步骤S201基本一致,此处不再进行赘述。
在本实施场景中,形态学特征提取神经网络为卷积神经网络,卷积神经网络可以降低网络模型的复杂度,同时对于平移、旋转、尺度缩放等形式的变有度的不变性。因此被广泛应用于图像分类、目标识别、语音识别等领域。基于图像的识别、分类等操作,具有无接触、高精度的特点,尤其在活体检测、识别、分类等过程中这种无接触的方式适用性极强。
S302:将形态学特征输入第一神经网络,获取形态学特征序列。
在本实施场景中,第一神经网络为全连接网络,在其他实施场景中,第一神经网络也可以是其他种类的神经网络。
由于本实施场景中,待识别人脸图像的形态学特征为m维形态学特征向量V,V=(v1,...,vi,...,vm)。因此,第一神经网络的尺寸为m×n2,以将m维的向量转为n2维的序列。第一神经网络输出形态学特征序列U,
Figure BDA0002332256610000071
S303:将形态学特征序列进行矩阵变化,生成形态学特征矩阵。
在本实施场景中,将形态学特征序列U进行矩阵变化(reshape),将其由n2维的序列转换为n×n维的形态学特征矩阵Un×n,Un×n=U。
S304:将形态学特征矩阵进行注意力运算,生成注意力地图。
在本实施场景中,通过softmax函数获取n×n维的脸部注意力地图An×n,An×n=softmax(Un×n)。
注意力地图An×n可以表示待识别图像n×n个分区的形态学特征的权重,例如对应眼部的分区的权重、对应嘴部的分区的权重等等,不同部分的分区的权重,由于形态学特征的不同而有所差距。例如东方人的情感表达主要集中于眼部,嘴部的情感表达不激烈,而西方人则相反。因此当形态学特征包括人种为东方人种时,对应眼部的分区的权重将会大于对应嘴部分区的权重。而当形态学特征包括人种为西方人种时,对应眼部的分区的权重将会小于对应嘴部分区的权重。
S305:将待识别人脸图像及其形态学特征输入第二神经网络,获取待识别人脸图像各分区的特征,将各分区的特征组合,获取训练人脸图像的特征地图。
在本实施场景中,第二神经网络为条件卷积网络,卷积网络在图像处理方面的优势较高,因此选择条件卷积网络。
将待识别人脸图像分为若干分区(xi-k,...,xi,...,xi+k)。将m维形态学特征向量V(v1,...,vi,...,vm)和若干分区(xi-k,...,xi,...,xi+k)输入预训练的特征识别神经网络,获取每个分区的特征
Figure BDA0002332256610000081
将每个分区的特征hi按照对应的若干分区的相对位置进行组合,得到待识别人脸图像的特征地图。
在本实施场景中,分区的个数为n×n个,即,将将待识别人脸图像平均分为n×n个分区,以使得将每个分区的特征hi按照对应的若干分区的相对位置进行组合时,获取到的待识别人脸图像的特征地图为n×n维。方便后续注意力地图与特征地图进行点乘。
需要说明的是,步骤S302和步骤S305可以同时或者先后进行。
S306:将注意力地图和特征地图相融合,获取训练人脸图像的特征识别结果。
S307:将特征识别结果输入预训练的情感分类神经网络,获取待识别人脸图像的脸部情感。
在本实施场景中,步骤S306-S307与本发明提供的脸部情感识别方法的第二实施例中的步骤S204-S205基本一致,此处不再进行赘述。
通过上述描述可知,在本实施例中通过待识别人脸图像的形态学特征生成注意力地图,可以根据形态学特征获取待识别人脸图像的不同部分的分区的权重,将各分区的权重与其对应的特征融合,对融合后的结果进行脸部情绪识别,充分考虑了形态学特征和脸部情感之间的联系,可以有效提升情感识别的准确率。
请参阅图5,图5是本发明提供的智能装置的第一实施例的结构示意图。智能装置10包括获取模块11和识别模块12。
获取模块11用于获取待识别人脸图像,对待识别人脸图像进行形态学特征提取,获取待识别人脸图像的形态学特征。识别模块12用于将待识别人脸图像和待识别人脸图像的形态学特征输入预训练的情感识别神经网络,获取待识别人脸图像的脸部情感。
获取模块11包括提取子模块111,提取子模块111用于将待识别人脸图像输入预训练的形态学特征提取神经网络,获取待识别人脸图像的形态学特征。
其中,形态学特征包括胖瘦、人种、年龄、脸部类型中的至少一项数据。
识别模块12包括注意力子模块121、特征地图子模块122、融合子模块123和输入子模块124。注意力子模块121用于将待识别人脸图像的形态学特征输入预训练的注意力神经网络,获取待识别人脸图像的注意力地图;特征地图子模块122用于将待识别人脸图像及其形态学特征输入预训练的特征识别神经网络,获取待识别人脸图像的特征地图;融合子模块123用于将注意力地图和特征地图相融合,获取训练人脸图像的特征识别结果;输入子模块124用于将特征识别结果输入预训练的情感分类神经网络,获取待识别人脸图像的脸部情感。
注意力子模块121包括序列单元1211、矩阵单元1212和权重单元1213。序列单元1211用于将形态学特征输入第一神经网络,获取形态学特征序列;矩阵单元1212用于将形态学特征序列进行矩阵变化,生成形态学特征矩阵;权重单元1213用于将形态学特征矩阵进行注意力运算,生成注意力地图。
权重单元1213用于对形态学矩阵进行注意力运算,获取形态学特征矩阵每个单元的权重。
特征地图子模块122包括分区单元1221,分区单元1221用于将待识别人脸图像及其形态学特征输入第二神经网络,获取待识别人脸图像各分区的特征,将各分区的特征组合,获取训练人脸图像的特征地图。
其中,情感分类神经网络可以为全连接神经网络;第一神经网络可以为全连接神经网络;第二神经网络可以为条件卷积神经网络。
智能装置10还包括训练模块13,训练模块13用于训练所述情感识别神经网络。训练模块13包括准备子模块131、形态学子模块132、定义子模块133和训练子模块134。准备子模块131用于准备多个训练人脸图像,标注每个训练人脸图像的脸部情感;形态学子模块132用于获取每个训练人脸图像的形态学特征;定义子模块133用于定义训练的情感识别神经网络的结构、损失函数和终止条件;训练子模块134用于将每个人脸图像的形态学特征及其对应的脸部情感输入情感识别神经网络进行训练。
通过上述描述可知,在本实施例中智能终端在识别待识别人脸图像的脸部情感时,充分考虑了形态学特征和脸部情感之间的联系,可以有效提升情感识别的准确率。
请参阅图6,图6是本发明提供的智能装置的第二实施例的结构示意图。本发明提供的智能装置20包括获取电路21、处理器22和存储器23。处理器22耦接获取电路21和存储器23。存储器23中存储有计算机程序,处理器22在工作时执行该计算机程序以实现如图2-图4所示的方法。详细的方法可参见上述,在此不再赘述。
通过上述描述可知,在本实施例中智能终端在识别待识别人脸图像的脸部情感时,充分考虑了形态学特征和脸部情感之间的联系,可以有效提升情感识别的准确率。
请参阅图7,图7是本发明提供的计算机可读存储介质的一实施例的结构示意图。计算机可读存储介质30中存储有至少一个计算机程序31,计算机程序31用于被处理器执行以实现如图2-图4所示的方法,详细的方法可参见上述,在此不再赘述。在一个实施例中,计算机可读存储介质30可以是终端中的存储芯片、硬盘或者是移动硬盘或者优盘、光盘等其他可读写存储的工具,还可以是服务器等等。
通过上述描述可知,在本实施例中计算机可读存储介质中存储的计算机程序可以用于在识别待识别人脸图像的脸部情绪前,获取待识别人脸图像的形态学特征,将待识别人脸图像及其形态学特征输入预训练的情感识别神经网络,获取待识别人脸图像的脸部情感,考虑了形态学特征和脸部情感之间的联系,可以有效提升情感识别的准确率。
区别于现有技术,本发明在识别待识别人脸图像的脸部情绪时,充分考虑了形态学特征和脸部情感之间的联系,可以有效提升情感识别的准确率。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (17)

1.一种脸部情感识别方法,其特征在于,包括:
获取待识别人脸图像,对所述待识别人脸图像进行形态学特征提取,获取所述待识别人脸图像的形态学特征;
将所述待识别人脸图像和所述待识别人脸图像的形态学特征输入预训练的情感识别神经网络,获取所述待识别人脸图像的脸部情感。
2.根据权利要求1所述的脸部情感识别方法,其特征在于,所述对所述待识别人脸图像进行形态学特征提取的步骤,包括:
将所述待识别人脸图像输入预训练的形态学特征提取神经网络,获取所述待识别人脸图像的形态学特征。
3.根据权利要求2所述的脸部情感识别方法,其特征在于,所述形态学特征包括胖瘦、人种、年龄、脸部类型中的至少一项数据。
4.根据权利要求1所述的脸部情感识别方法,其特征在于,所述将所述待识别人脸图像和所述待识别人脸图像的形态学特征输入预训练的情感识别神经网络的步骤,包括:
将所述待识别人脸图像的形态学特征输入预训练的注意力神经网络,获取所述待识别人脸图像的注意力地图;
将所述待识别人脸图像及其形态学特征输入预训练的特征识别神经网络,获取所述待识别人脸图像的特征地图;
将所述注意力地图和所述特征地图相融合,获取所述训练人脸图像的特征识别结果;
将所述特征识别结果输入预训练的情感分类神经网络,获取所述待识别人脸图像的脸部情感。
5.根据权利要求4所述的脸部情感识别方法,其特征在于,所述将所述待识别人脸图像的形态学特征输入预训练的注意力神经网络,获取所述待识别人脸图像的注意力地图,包括:
将所述形态学特征输入第一神经网络,获取形态学特征序列;
将所述形态学特征序列进行矩阵变化,生成形态学特征矩阵;
获取所述形态学特征矩阵每个单元的权重,生成所述注意力地图。
6.根据权利要求5所述的脸部情感识别方法,其特征在于,所述获取所述形态学特征矩阵每个单元的权重的步骤,包括:
对所述形态学矩阵进行注意力运算,获取所述述形态学特征矩阵每个单元的权重。
7.根据权利要求5所述的脸部情感识别方法,其特征在于,所述将所述待识别人脸图像及其形态学特征输入预训练的特征识别神经网络,获取所述待识别人脸图像的特征地图的步骤,包括:
将所述待识别人脸图像及其所述形态学特征输入第二神经网络,获取所述待识别人脸图像各分区的特征,将所述各分区的特征组合,获取所述训练人脸图像的特征地图。
8.根据权利要求7所述的脸部情感识别方法,其特征在于,
所述情感分类神经网络为全连接神经网络;
所述第一神经网络为全连接神经网络;
所述第二神经网络为条件卷积神经网络。
9.根据权利要求1所述的脸部情感识别方法,其特征在于,所述将所述待识别人脸图像和所述待识别人脸图像的形态学特征输入预训练的情感识别神经网络的步骤之前,包括:
训练所述情感识别神经网络;
所述训练所述情感识别神经网络的步骤包括:
准备多个训练人脸图像,标注每个所述训练人脸图像的脸部情感;
获取每个所述训练人脸图像的形态学特征;
定义训练的所述情感识别神经网络的结构、损失函数和终止条件;
将每个人脸图像的形态学特征及其对应的脸部情感输入所述情感识别神经网络进行训练。
10.一种智能装置,其特征在于,包括:
获取模块,用于获取待识别人脸图像,对所述待识别人脸图像进行形态学特征提取,获取所述待识别人脸图像的形态学特征;
识别模块,用于将所述待识别人脸图像和所述待识别人脸图像的形态学特征输入预训练的情感识别神经网络,获取所述待识别人脸图像的脸部情感。
11.根据权利要求10所述的智能装置,其特征在于,所述获取模块包括:
提取子模块,用于将所述待识别人脸图像输入预训练的形态学特征提取神经网络,获取所述待识别人脸图像的形态学特征。
12.根据权利要求10所述的智能装置,其特征在于,所述识别模块包括:
注意力子模块,用于将所述待识别人脸图像的形态学特征输入预训练的注意力神经网络,获取所述待识别人脸图像的注意力地图;
特征地图子模块,用于将所述待识别人脸图像及其形态学特征输入预训练的特征识别神经网络,获取所述待识别人脸图像的特征地图;
融合子模块,用于将所述注意力地图和所述特征地图相融合,获取所述训练人脸图像的特征识别结果;
输入子模块,用于将所述特征识别结果输入预训练的情感分类神经网络,获取所述待识别人脸图像的脸部情感。
13.根据权利要求12所述的智能装置,其特征在于,所述注意力子模块包括:
序列单元,用于将所述形态学特征输入第一神经网络,获取形态学特征序列;
矩阵单元,用于将所述形态学特征序列进行矩阵变化,生成形态学特征矩阵;
权重单元,用于获取所述形态学特征矩阵每个单元的权重,生成所述注意力地图。
14.根据权利要求13所述的智能装置,其特征在于,
所述权重单元用于对所述形态学矩阵进行注意力运算,获取所述形态学特征矩阵每个单元的权重。
15.根据权利要求12所述的智能装置,其特征在于,所述特征地图子模块包括:
分区单元,用于将所述待识别人脸图像及其所述形态学特征输入第二神经网络,获取所述待识别人脸图像各分区的特征,将所述各分区的特征组合,获取所述训练人脸图像的特征地图。
16.一种智能装置,其特征在于,包括:获取电路、处理器、存储器,所述处理器耦接所述存储器和所述获取电路,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序以实现如权利要求1-9任一项所述的方法。
17.一种计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序能够被处理器执行以实现如权利要求1-9任一项所述的方法。
CN201980003175.9A 2019-12-23 2019-12-23 脸部情感识别方法、智能装置和计算机可读存储介质 Active CN111108508B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/127620 WO2021127916A1 (zh) 2019-12-23 2019-12-23 脸部情感识别方法、智能装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111108508A true CN111108508A (zh) 2020-05-05
CN111108508B CN111108508B (zh) 2023-10-13

Family

ID=70427469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980003175.9A Active CN111108508B (zh) 2019-12-23 2019-12-23 脸部情感识别方法、智能装置和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111108508B (zh)
WO (1) WO2021127916A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021001851A1 (en) * 2019-07-02 2021-01-07 Entropik Technologies Private Limited A system for estimating a user's response to a stimulus
CN112651351A (zh) * 2020-12-29 2021-04-13 珠海大横琴科技发展有限公司 一种数据处理的方法和装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869229B (zh) * 2021-09-29 2023-05-09 电子科技大学 基于先验注意力机制引导的深度学习表情识别方法
CN117058405B (zh) * 2023-07-04 2024-05-17 首都医科大学附属北京朝阳医院 一种基于图像的情绪识别方法、系统、存储介质及终端

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392151A (zh) * 2017-07-21 2017-11-24 竹间智能科技(上海)有限公司 基于神经网络的人脸影像多维度情感判别系统及方法
WO2018166438A1 (zh) * 2017-03-13 2018-09-20 北京市商汤科技开发有限公司 图像处理方法、装置及电子设备
CN108921061A (zh) * 2018-06-20 2018-11-30 腾讯科技(深圳)有限公司 一种表情识别方法、装置和设备
CN109522818A (zh) * 2018-10-29 2019-03-26 中国科学院深圳先进技术研究院 一种表情识别的方法、装置、终端设备及存储介质
CN109815924A (zh) * 2019-01-29 2019-05-28 成都旷视金智科技有限公司 表情识别方法、装置及系统
US20190258925A1 (en) * 2018-02-20 2019-08-22 Adobe Inc. Performing attribute-aware based tasks via an attention-controlled neural network
CN110264483A (zh) * 2019-06-19 2019-09-20 东北大学 一种基于深度学习的语义图像分割方法
CN110298332A (zh) * 2019-07-05 2019-10-01 海南大学 行为识别的方法、系统、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633203A (zh) * 2017-08-17 2018-01-26 平安科技(深圳)有限公司 面部情绪识别方法、装置及存储介质
CN110263673B (zh) * 2019-05-31 2022-10-14 合肥工业大学 面部表情识别方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018166438A1 (zh) * 2017-03-13 2018-09-20 北京市商汤科技开发有限公司 图像处理方法、装置及电子设备
CN107392151A (zh) * 2017-07-21 2017-11-24 竹间智能科技(上海)有限公司 基于神经网络的人脸影像多维度情感判别系统及方法
US20190258925A1 (en) * 2018-02-20 2019-08-22 Adobe Inc. Performing attribute-aware based tasks via an attention-controlled neural network
CN108921061A (zh) * 2018-06-20 2018-11-30 腾讯科技(深圳)有限公司 一种表情识别方法、装置和设备
CN109522818A (zh) * 2018-10-29 2019-03-26 中国科学院深圳先进技术研究院 一种表情识别的方法、装置、终端设备及存储介质
CN109815924A (zh) * 2019-01-29 2019-05-28 成都旷视金智科技有限公司 表情识别方法、装置及系统
CN110264483A (zh) * 2019-06-19 2019-09-20 东北大学 一种基于深度学习的语义图像分割方法
CN110298332A (zh) * 2019-07-05 2019-10-01 海南大学 行为识别的方法、系统、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡晓瑞 等: "基于面部动作编码系统的表情生成对抗网络", 计算机工程与应用, vol. 56, no. 18, pages 150 - 156 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021001851A1 (en) * 2019-07-02 2021-01-07 Entropik Technologies Private Limited A system for estimating a user's response to a stimulus
CN112651351A (zh) * 2020-12-29 2021-04-13 珠海大横琴科技发展有限公司 一种数据处理的方法和装置

Also Published As

Publication number Publication date
WO2021127916A1 (zh) 2021-07-01
CN111108508B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
US11670071B2 (en) Fine-grained image recognition
CN107633207B (zh) Au特征识别方法、装置及存储介质
WO2021036059A1 (zh) 图像转换模型训练方法、异质人脸识别方法、装置及设备
CN109657554B (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN111164601A (zh) 情感识别方法、智能装置和计算机可读存储介质
CN109858555A (zh) 基于图像的数据处理方法、装置、设备及可读存储介质
CN110555481A (zh) 一种人像风格识别方法、装置和计算机可读存储介质
CN109389076B (zh) 图像分割方法及装置
WO2023284182A1 (en) Training method for recognizing moving target, method and device for recognizing moving target
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
Raut Facial emotion recognition using machine learning
HN et al. Human Facial Expression Recognition from static images using shape and appearance feature
CN114120389A (zh) 网络训练及视频帧处理的方法、装置、设备及存储介质
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
CN116994021A (zh) 图像检测方法、装置、计算机可读介质及电子设备
Mohseni et al. Recognizing induced emotions with only one feature: a novel color histogram-based system
Gonzalez-Sosa et al. Real time egocentric segmentation for video-self avatar in mixed reality
CN113076905A (zh) 一种基于上下文交互关系的情绪识别方法
CN116994319A (zh) 训练模型的方法和人脸识别方法、设备、介质
CN112419249B (zh) 一种特殊服饰图片转化方法、终端设备及存储介质
Srininvas et al. A framework to recognize the sign language system for deaf and dumb using mining techniques
Shukla et al. Deep Learning Model to Identify Hide Images using CNN Algorithm
CN113569809A (zh) 一种图像处理方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant