CN109522945A - 一种群体情感识别方法、装置、智能设备及存储介质 - Google Patents

一种群体情感识别方法、装置、智能设备及存储介质 Download PDF

Info

Publication number
CN109522945A
CN109522945A CN201811286630.4A CN201811286630A CN109522945A CN 109522945 A CN109522945 A CN 109522945A CN 201811286630 A CN201811286630 A CN 201811286630A CN 109522945 A CN109522945 A CN 109522945A
Authority
CN
China
Prior art keywords
group
feature
picture
human body
face expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811286630.4A
Other languages
English (en)
Other versions
CN109522945B (zh
Inventor
孟锝斌
乔宇
彭小江
曾小星
王锴
张凯鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201811286630.4A priority Critical patent/CN109522945B/zh
Publication of CN109522945A publication Critical patent/CN109522945A/zh
Application granted granted Critical
Publication of CN109522945B publication Critical patent/CN109522945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明适用于信息处理技术领域，提供了一种群体情感识别方法、装置、智能设备及存储介质，包括：获取待进行群体情感识别的群体图片；对所述群体图片进行特征提取，获取所述群体图片的人脸表情特征和人体情感特征；根据所述人脸表情特征和训练好的第一神经网络模型，获取所述群体图片中的人脸表情特征概率；根据所述人体情感特征和训练好的第二神经网络模型，获取所述群体图片中的人体情感特征概率；将所述人脸表情特征概率与所述人体情感特征概率进行融合，基于所述融合的结果确定所述群体照片的群体情感。通过上述方法能够稳定识别群体照片的群体情感，并提高群体情感识别的准确性。

Description

一种群体情感识别方法、装置、智能设备及存储介质
技术领域
本发明属于信息处理技术领域，尤其涉及一种群体情感识别方法、装置、智能设备及存储介质。
背景技术
随着近几年社交网络和自媒体的发展如WeChat、Youtube，每天有成千上万的社交图片上传到公开互联网上或者私人空间，比如聚会照片、婚礼照片等。因此计算机自动分析群体的情感具有广泛的应用，比如景区内游玩群体情感识别、比赛或演唱会观众群体情感识别、饭店内顾客情绪状态识别等。也可用于群体行为预测，如亲社会行为、员工缺勤行为、群体暴力行为预测等。群体情感识别算法旨在能自动识别场景(如：游行，婚礼，宴会)中群体的情感。
目前群体情感识别方法主要基于群体中个体情感的识别，用平均情感代表群体情感。然而这种方法有很多的不足，一方面，个人情感不会一直处于开心或难过的状态经常回归中性情感，因此群体中大多数为中性情感时，用平均情感代表群体情感会有很大误差；另一方面，群体情感往往由少数关键人决定，无关的个体情感对群体情感识别的干扰较多，如何识别这些人的情感并赋予更高的权重而不是用平均情感对识别群体情感有重要的意义。
综上所述，现有技术中的群体情感识别算法识别出的群体情感误差较大，情感识别的稳定性与准确率较低。
发明内容
有鉴于此，本发明实施例提供了一种群体情感识别方法、装置、智能设备及存储介质，以解决现有技术中的群体情感识别算法识别出的群体情感误差较大，情感识别的稳定性与准确率较低的问题。
本发明第一方面提供了一种群体情感识别方法，包括：
获取待进行群体情感识别的群体图片；
对所述群体图片进行特征提取，获取所述群体图片的人脸表情特征和人体情感特征；
根据所述人脸表情特征和训练好的第一神经网络模型，获取所述群体图片中的人脸表情特征概率；
根据所述人体情感特征和训练好的第二神经网络模型，获取所述群体图片中的人体情感特征概率；
将所述人脸表情特征概率与所述人体情感特征概率进行融合，基于所述融合的结果确定所述群体照片的群体情感。
本发明第二方面提供了一种群体情感识别装置，包括：
图片获取单元，用于获取待进行群体情感识别的群体图片；
特征提取单元，用于对所述群体图片进行特征提取，获取所述群体图片的人脸表情特征和人体情感特征；
第一概率预测单元，用于根据所述人脸表情特征和训练好的第一神经网络模型，获取所述群体图片中的人脸表情特征概率；
第二概率预测单元，用于根据所述人体情感特征和训练好的第二神经网络模型，获取所述群体图片中的人体情感特征概率；
群体情感预测单元，用于将所述人脸表情特征概率与所述人体情感特征概率进行融合，基于所述融合的结果确定所述群体照片的群体情感。
本发明第三方面提供了一种智能设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述群体情感识别方法的步骤。
本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面所述群体情感识别方法的步骤。
本发明实施例中，通过获取待进行群体情感识别的群体图片，对所述群体图片进行特征提取，获取所述群体图片的人脸表情特征和人体情感特征，然后根据所述人脸表情特征和训练好的第一神经网络模型，获取所述群体图片中的人脸表情特征概率，根据所述人体情感特征和训练好的第二神经网络模型，获取所述群体图片中的人体情感特征概率，最后将所述人脸表情特征概率与所述人体情感特征概率进行融合，基于所述融合的结果确定所述群体照片的群体情感，由于将群体图片中人脸与人体的情感分别进行预测，将预测得到人脸表情特征概率与人体情感特征概率进行融合，根据融合结果确定群体图片中的群体情感使得群体情感识别稳定可靠，同时，综合考虑群体中各个人体的情感，可提高群体情感识别的准确性，减少群体情感识别的误差。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的群体情感识别方法的实现流程图；
图2是本发明实施例提供的群体情感识别方法S102的具体实现流程图；
图2.1是本发明实施例提供的群体情感识别方法人脸检测示意图；
图2.2是本发明实施例提供的群体情感识别方法仿射变换示意图；
图3是本发明实施例提供的群体情感识别装置的结构框图；
图4是本发明实施例提供的一种终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
图1示出了本发明实施例提供的一种群体情感识别方法的流程图，该方法流程包括步骤S101至S105。各步骤的具体实现原理详述如下：
步骤S101，获取待进行群体情感识别的群体图片。
其中，所述群体图片是指包括人体的图片。在本发明实施例中，所述待进行群体情感识别的群体图片由用户指定。
步骤S102，对所述群体图片进行特征提取，获取所述群体图片的人脸表情特征和人体情感特征。
具体地，对所述群体照片进行预处理，从经过预处理的所述群体图片进行特征提取，以提高获取的脸表情特征和人体情感特征的准确性。
作为本发明的一个实施例，如图2所示，对所述群体照片进行预处理，上述S102具体包括：
A1：检测所述群体图片中的人脸关键点，所述人脸关键点为预先指定的脸部特征点。具体地，使用MTCNN检测所述群体图片，在所述群体图片中检测人脸关键点，在本发明实施例中，所述人脸关键点包括左右眼，鼻尖，左右嘴角。
A2：根据所述人脸关键点获取所述群体图片中的人脸图片。进一步地，在所述群体图片检测到的人脸并不一定是正对的，多种角度的人脸会给特征提取算法带来困难。本发明实施例中，如图2.1所示，根据所述人脸关键点，按照统一规则采用仿射变换对所述群体图片中的人脸图片进行矫正，通过矫正操作可减少人脸姿势角度多样性带来的影响，从而使得人脸表情特征提取更为准确。具体地，仿射变换是一种复合变换，采用预设模板对所述群体图片中的人脸图片进行转换，使转换后所述群体图片中人脸图片的多个关键点分别与所述预设模板中的多个目标点相对应，从而实现对所述群体图片中的人脸图片进行矫正。示例性地，如图2.2所示，仿射变换包括对图片的平移、缩放、旋转、翻转、剪切变换，经过这些复合变换将图片中的人脸转正。从而实现人脸图片的矫正。
A3：对所述人脸图片进行特征提取，获取所述群体图片的人脸表情特征。
A4：检测所述群体图片中的人体关键点，所述人体关键点为预先指定的人体特征点。
A5：根据检测到的所述人体关键点，获取所述群体图片中的人体图片。具体地，使用OpenPose检测指定个数的人体关键点，本发明实施例中，检测指定的18个人体关键点。根据检测到的指定个数的人体关键点获取所述群体图片中的人体图片。
A6：对所述人体图片进行特征提取，获取所述群体图片的人体情感特征。
在本发明实施例中，通过检测人脸关键点获取所述群体图片中的人脸图片，通过检测到人体关键点，获取所述群体图片中的人体图片，从所述人脸图片中提取人脸表情特征，从所述人体图片中提取人体情感特征，以提高特征提取的准确性。
可选地，对所述人脸图片与所述人体图片分别进行数据增强处理。具体地，数据增强处理包括对原图的翻转、随机裁剪、改变亮度以及改变色调中的一种或者多种。进行数据增强处理的目的是在数据有限情况下增强数据丰富性，本发明实施例中，可对所述人脸图片与所述人体图片分别进行水平翻转和随机剪裁，例如，图片水平翻转后统一尺寸到256×256后，随机剪裁出224×224的图片。
作为本发明的一个实施例，上述S102具体包括：
B1：对所述群体图片进行特征提取，获取所述群体图片的初始人脸表情特征和初始人体情感特征。
B2：根据所述初始人脸表情特征和对应人脸表情权重，确定所述群体图片的人脸表情特征。
B3：根据所述初始人体情感特征和对应人体情感权重，确定所述群体图片的人体情感特征。
具体地，根据初始人脸表情特征的情感分类结果Pi，确定所述初始人脸表情特征的加权抑制权重ri，并根据权重得到加权抑制的初始人脸表情特征Xi
根据加权抑制的初始人脸表情特征Xi，确定该特征Xi的对应人脸表情权重α′i，并根据所述加权抑制的初始人脸表情特征的得到对应人脸表情权重。并根据所述加权抑制的初始人脸情感特征和特征对应的人脸表情权重得到确定所述群体图片的人脸表情特征。
具体地，根据初始人体情感征的情感分类结果qi，确定所述初始人体情感特征的加权抑制权重li，并根据权重得到加权抑制的初始人体情感特征Yi。
根据加权抑制的初始人体情感特征Yi，确定该特征Yi的对应人体情感权重ε'l，并根据所述加权抑制的初始人体情感特征的得到对应人体情感权重。并根据所述加权抑制的初始人体情感特征和特征对应的人体情感权重得到确定所述群体图片的人体情感特征。
具体地，根据初始人体情感征的情感分类结果qi，确定所述初始人体情感特征的加权抑制权重li，并根据权重得到加权抑制的初始人体情感特征Yi。
可选地，作为本发明的一个实施例，所述加权抑制的人脸表情特征包括初始人脸表情特征和抑制权重，根据所述初始人脸表情特征确定抑制权重，具体地：ri＝(tanh(1-pi)+1)/2，其中，Pi为第i张人脸图片预测为中性情感的概率，ri为第i张人脸图片的初始人脸表情特征向量的抑制权重。
根据所述初始人脸表情特征和抑制权重，确定加权抑制的人脸表情特征，具体地：[X1,X2…,Xn]＝[x1r1,x2r2…,xnrn],(Xi＝xiri)，其中，xi为第i个初始人脸表情特征，ri为第i个初始人脸表情特征向量的抑制权重，Xi为第i个加权抑制的初始人脸表情特征。
可选地，作为本发明的一个实施例，所述加权抑制的人体情感特征包括，初始人体情感特征和抑制权重，根据所述初始人体情感特征确定抑制权重，具体地：
li＝(tanh(1-qi)+1)/2，
其中，qi为第i张人体图片预测为中性情感的概率，li为第i张人体图片的初始人体情感特征向量的抑制权重。根据所述初始人体情感特征和抑制权重，确定加权抑制的初始人体情感特征，具体地：
[Y1,Y2…,Yn]＝[Y1l1,Y2l2…,Ynln],(Yi＝yili)，
其中，yi为第i个初始人体情感特征，li为第i个初始人体情感特征向量的抑制权重，Yi为第i个加权抑制的初始人体情感特征。
可选地，作为本发明的一个实施例，所述对应人脸表情权重包括第一人脸表情权重、第二人脸表情权重与第三人脸表情权重，上述步骤B2具体包括：
B21：根据所述第一人脸表情权重、所述第二人脸表情权重与所述第三人脸表情权重分别确定所述群体图片的第一人脸表情特征、第二人脸表情特征与第三人脸表情特征。
B22：将所述第一人脸表情特征、所述第二人脸表情特征与所述第三人脸表情特征进行特征融合，根据所述特征融合的结果确定所述群体照片的人脸表情特征。
具体地，所述将所述第一人脸表情特征、所述第二人脸表情特征与所述第三人脸表情特征进行特征融合，根据所述特征融合的结果确定所述群体照片的人脸表情特征，包括：
根据如下公式(1)确定所述群体图片的第一人脸表情特征：
其中，feature1表示所述第一人脸表情特征，所述Xi表示所述群体照片的第i个加权抑制的初始人脸表情特征，1≤i≤n，所述α'i表示第一人脸表情权重；
根据如下公式(2)确定所述群体图片的第二人脸表情特征：
其中，feature2表示所述第二人脸表情特征，exp是以自然常数e为底的指数函数，1≤i≤n，1≤j≤n，所述βi表示第二人脸表情权重；
根据如下公式(3)确定所述群体图片的第三人脸表情特征：
其中，feature3表示所述第三人脸表情特征，1≤i≤n，所述α'i·β'i表示第三人脸表情权重；
将所述第一人脸表情特征feature1、所述第二人脸表情特征feature2与所述第三人脸表情特征feature3进行特征融合，所述群体照片的人脸表情特征根据如下公式(4)确定：
Fface＝[feature1，feature2，feature3] (4)，
其中，Fface表示所述群体照片的人脸表情特征。
可选地，作为本发明的一个实施例，所述对应人体情感权重包括第一人体情感权重、第二人体情感权重与第三人体情感权重，上述步骤B3具体包括：
B31：根据所述第一人体情感权重、所述第二人体情感权重与所述第三人体情感权重分别确定所述群体图片的第一人体情感特征、第二人体情感特征与第三人体情感特征。
B32：将所述第一人体情感特征、所述第二人体情感特征与所述第三人体情感特征进行特征融合，根据所述特征融合的结果确定所述群体照片的人体情感特征。
具体地，所述将所述第一人体情感特征、所述第二人体情感特征与所述第三人体情感特征进行特征融合，根据所述特征融合的结果确定所述群体照片的人体情感特征，包括：
根据如下公式(1)’确定所述群体图片的第一人体情感特征：
其中，feature1'表示所述第一人体情感特征，所述Yl表示所述群体照片的第l个加权抑制的初始人体情感特征，1≤l≤n，所述ε'l表示第一人体情感权重；
根据如下公式(2)’确定所述群体图片的第二人体情感特征：
其中，feature2'表示所述第二人体情感特征，exp是以自然常数e为底的指数函数，1≤l≤n，1≤k≤n，所述η'l表示第二人体情感权重；
根据如下公式(3)’确定所述群体图片的第三人体情感特征：
其中，feature3'表示所述第三人体情感特征，1≤l≤n，所述ε'l·η'l表示第三人体情感权重；
将所述第一人体情感特征feature1'、所述第二人体情感特征feature2'与所述第三人体情感特征feature3'进行特征融合，所述群体照片的人体情感特征根据如下公式(4)’确定：
Fbody＝[feature1'，feature2'，feature3'] (4)’，
其中，Fbody表示所述群体照片的人体情感特征。
本发明实施例中，采用多示例学习方抓取群体图片中的关键人脸图片和人体图片，并避免非关键人脸图片和人体图片的影响。我们将这个过程抽象为赋予关键人脸图片和关键人体图片更高的权重，赋予其他人脸和人体图片较低的权重，具体地，我们发现群体图片中普遍存在大量中性情感的人脸和人体图片，为了减少这些中性情感图片对群体情感预测的影响，我们采取一种中性情感抑制。以人脸表情特征为例，我们定义群体图片中的初始人脸表情特征为x＝[x1,x2…,xn]，其中xi为第i个初始人脸表情特征。定义ri＝(tanh(1-pi)+1)/2，[X1,X2…,Xn]＝[x1r1,x2r2…,xnrn],(Xi＝xiri)。其中，Pi为第i张人脸图片预测为中性情感的概率，ri为第i张人脸图片的初始人脸表情特征向量的抑制权重。Xi为第i张图片的加权抑制的初始人脸表情特征。事实上，所述Pi表示的是群体情感类别的概率分布，群体情感类别包括中性、积极和消极，在此概率分布中，若预测第i张图片为中性情感(Neutral)的概率很低，则赋予所述人脸表情特征的权重会比较大(大于预设值)，反之，预测为中性情感的概率很高，则赋予所述人脸表情特征的权重会很小(小于预设值)。经过这一操作可以抑制群体图片中大量中性情感个体的影响。
为了赋予群体中关键人脸和关键人体图片更高的权重。我们采用两种权重计算方式，之后用不同权重的组合方式对群体中关键人脸表情特征和人体情感特征进行加权，得到鲁棒的群体特征表达，从而提高群体识别算法的稳定性。
可选地，以人脸表情特征为例，定义群体图片中每个人脸表情特征的权重[α1,α2,…,αn]＝xmean·X，其中xmean＝(X1+X2+…+Xn)/n，这意味着与群体图片中平均人脸表情特征相似的人脸表情特征会赋予更大的权重，计算X的加权平均xweightmean＝(α1·X1+α2·X2+…+αn·Xn)/n，再根据加权平均的结果得到每个人脸表情特征的第一人脸表情权重[α1,α2,…,αn]＝xmean·X。
可选地，基于优化算法设计第二人脸表情权重，具体地，经过公式βi＝ωT·xi运算向量内积后得到第二人脸表情权重，其中，ω为待学习的特征向量。进一步地，使用SoftMax归一化方法得到归一化权重β'i，利用反向传播算法优化ω，让网络朝着情感分类误差更小的方向优化，这样得到的特征权重可以更好体现群体中的不同人脸的重要程度。
步骤S103，根据所述人脸表情特征和训练好的第一神经网络模型，获取所述群体图片中的人脸表情特征概率。
具体地，所述训练好的第一神经网络模型的级联特征分类器是SoftMax分类器，该分类器输入所述人脸表情特征后，输出所述群体图片中的人脸表情特征概率。
可选地，在所述步骤S103之前还包括：
C1：构建包括输入层、卷积层、池化层、全连接层以及输出层的第一神经网络模型。
C2：获取标注情感类别的样本人脸图片。
C3：根据所述样本人脸图片训练所述第一神经网络模型。
C4：所述第一神经网络模型中还包括所述人脸特征分类器，在训练过程中，根据所述样本人脸图片训练人脸特征抽取模块与人脸特征分类器，所述人脸特征抽取模块用于抽人脸图片中的人脸特征。根据所述人脸特征分类器中预设的损失函数调整所述第一神经网络模型的参数，直至所述第一神经网络模型输出的人脸表情特征概率的误差值在预设误差值范围内时完成训练，得到训练好的第一神经网络模型。
步骤S104，根据所述人体情感特征和训练好的第二神经网络模型，获取所述群体图片中的人体情感特征概率。
具体地，所述训练好的第二神经网络模型的级联特征分类器是SoftMax分类器，该分类器输入所述人体情感特征后，输出所述群体图片中的人体情感特征概率。
可选地，在所述步骤S104之前还包括：
D1：构建包括输入层、卷积层、池化层、全连接层以及输出层的第二神经网络模型。
D2：获取标注情感类别的样本人体图片。
D3：根据所述样本人体图片训练所述第二神经网络模型。
D4：所述第二神经网络模型中还包括人体情感特征分类器，在训练过程中，根据所述样人体图片训练人体情感特征抽取模块与人体情感特征分类器，所述人体情感特征抽取模块用于抽取人体图片中的人体情感特征。根据所述人体情感特征分类器中预设的损失函数调整所述第一神经网络模型的参数，直至所述第二神经网络模型输出的人脸表情特征概率的误差值在预设误差值范围内时完成训练，得到训练好的第二神经网络模型。
可选地，在本发明实施例中，所述人脸特征分类器与所述人体情感特征分类器的分类结果加权融合。
在本发明实施例中，使用深度学习算法训练所述第一神经网络模型和所述第二神经网络模型。使用CNN网络提取图片情感特征，这里使用的CNN网络是VGGFACE、VGG19、SeNet154、ResNet18、ResNet34、ResNet64、ResNet101。由于原网路做1000类的分类，在本发明实施例中，群体情感分为三类。所以我们把最后分类器输出类别数改为3。所述神经网络模型的网络结构主要由2D卷积层、池化层、全连接层和全链接层组成。其中第二部分的特征图是经过2D卷积操作(2DConvolution)或池化操作(Pooling)得到的。其中2D卷积操作(2DConvolution)是用一组滤波器对人脸表情图片做滤波，滤波器对感兴趣的区域产生大的响应。在2D卷积(2DConvolution)操作中一般会有多组滤波器，从而得到多组特征图。卷积不仅可以对原始图片操作，也可对特征图操作。情感特征经过多次卷积变换得到更强的特征判别能力。池化操作(Pooling)是对情感特征图的采样操作，一般对特征图按一定区域(比如每2×2的区域做一次pooling采样，100×100的特征图经过不重叠pooling采用操作后变成50×50的特征图)做最大值，最小值或平均值的采样。池化操作通过对特征图的下采样减少空间中的冗余信息。第三部高阶语义特征由全链接层计算得到，首先将最后一层的多张特征图拉成多个特征向量，然后再将多个特征向量拼接成一个特征向量。全链接层对特征向量进行矩阵映射和非线性映射的操作将特征变换为更具判别力的情感特征。
神经网络模型还包括多示例学习单元，该单元包括待学习特征向量w用来学习第一对应权重，特征向量均值和特征向量加权均值计算函数用来学习第二对应权重，以及特征向量级联单元用于级联第一、二、三对应向量。神经网络模型还包括分类器，分类器输入情感特征，输出情感分类的结果。
可选地，在本发明实施例中，定义所述预设的损失函数如下：
Loss＝ω1·SoftMaxLoss+ω2·Discri min atorLoss (5)，
其中，SoftMaxLoss表示情感特征分类任务损失函数，ω1表示所述情感特征分类任务损失函数的权重，Discri min atorLoss表示情感特征判别力任务损失函数，ω2表示所述情感特征判别力任务损失函数的权重。可选地，设置ω1＝0.65，ω2＝0.35。
具体地，在本发明实施例中，预设的损失函数是多任务损失函数。该多任务损失函数由情感特征分类任务损失函数和情感特征判别力任务损失函数组成。其中，情感特征分类任务损失函数为标准的SoftMax损失函数。假设图片image{z}的类别为z，深度学习算法对该图片预测为类别z的概率为P{z}，那么这张图片带来的损失为-logP{z}。一批训练数据的损失为每张图片带来的损失和，整个网络朝损失最小的方向优化，即：让网络正确预测图片的情感类别且预测概率尽量趋近1(-logP{z},P{z}为1时-logP{z}为0此时损失最少；P{z}小于1时，-logP{z}大于0此时有损失)。
所述情感特征分类任务损失函数SoftMaxLoss包括：
其中，J(batchm)指的是batch输入m张样本图片产生的误差损失。样本图片可以是样本人脸图片或者样本人体图片，1≤z≤Z，数据集中总共有Z个情感类别，yt为样本图片t标注的情感类别，Pt,z表示样本图片t预测为情感类别z的概率。本发明实施例中，利用SoftMaxLoss优化网络可以让网络情感分类误差变小，提升情感特征的判别能力和网络分类能力。
可选地，在本发明实施例中，所述情感特征判别力任务损失函数DiscriminatorsLoss用于将样本图片分为积极、消极和中性三个类别。由于情感可以由两个维度分析，一个是唤醒度，另一个是效价。其中效价维度描述情感状态从低到高为很消极、消极、中性、积极、非常积极。因此从效价维度分析情感特征，语义空间上积极情感特征距离中性情感特征的距离要比积极情感特征距离消极情感特征的距离更近，而SoftMaxLoss损失函数可以保证基本的分类任务，并未将不同情感类别相关信息引入作为明显的监督信息，因此我们提出情感特征判别力损失函数DiscriminatorsLoss，引入类别关联信息提升情感特征判别能力，具体地，所述情感特征判别力损失函数DiscriminatorsLoss包括公式(7)、(8)、(9)：
D(PSe,Sr)+λ1<D(NSf,Sr) (7)，
D(PCe,Neur)+λ2<D(NCf,PCe) (8)，
D(PCf,Neur)+λ3<D(NCf,PCe) (9)，
其中，公式(7)中，Sr是指第r个训练样本，PSe是第e个正类样本，所述正类样本是和所述训练样本类别相同的样本。NSf是第f个负类样本，所述负类样本是与所述训练样本类别不相同的样本。其中，函数D(A,B)是指两个样本语义空间的距离，在语义空间中，同一类别的距离D(PSe,Sr)要小于不同类别的距离D(NSf,Sr)是正确分类的基本要求，通过加入λ1后同一类别的距离D(PSe,Sr)就要更加小于不同类别的距离D(NSf,Sr)，从而得到更加紧凑的情感特征表示。可选地，λ1为0.3。
对于公式(8)和(9)，其中，PCe是第e个积极类别样本，NCf是第f个消极类别样本，Neur是第r个中性类别样本，PCf是第f个积极类别样本。这两个约束要求语义空间中积极类别样本和消极类别的样本距离要大于积极或消极类别样本到中性类别样本的距离。通过这两个约束将原来基本分类任务引入类别相关信息提升情感特征判别能力，又进一步地，我们用λ2和λ3这两个参数进一步对类别相关信息做约束，提升情感特征判别能力。可选地，设置λ2＝λ3＝0.4。
可选地，在本发明实施例中，一方面为了充分利用多任务Loss训练网络，我们的输入数据要同时包含积极、中性和消极三种类别，另一方面，如果每次训练的batch中三个类别数据分布都不平衡，比如数据中积极的图片要多于中性和消极，这会导致网络倾向于预测积极类别，而不是学到三个类别的关系。因此我们每个batch保证三个类别的数量都是一样的方式采样。
步骤S105，将所述人脸表情特征概率与所述人体情感特征概率进行融合，基于所述融合的结果确定所述群体照片的群体情感。
在本发明实施例中，群体情感的类别包括积极、消极和中性。将所述人脸表情特征概率与所述人体情感特征概率进行融合，基于所述融合的结果确定所述群体照片的群体情感，从而使得群体情感识别更为准确。
具体地，所述将人脸表情特征概率与所述人体情感特征概率进行融合，基于所述融合的结果确定所述群体照片的群体情感具体包括：
获取根据所述第一神经网络模型确定的所述人脸表情特征概率的指定人脸权重，获取根据所述第二神经网络模型确定的所述人体情感特征概率的指定人体权重，将所述指定人脸权重的人脸表情特征概率与根据指定人体权重的人体情感特征概率两者相加，根据所述两者之和确定所述群体照片的群体情感。
可选地，作为本发明的一个实施例，所述群体情感识别方法还包括训练好的第三神经网络模型，所述训练好的第三神经网络模型用于预测所述群体图片的初始群体情感概率，在所述步骤S104之前还包括：
E1：构建包括输入层、卷积层、池化层、全连接层以及输出层的第三神经网络模型。
E2：获取标注情感类别的群体图片样本。
E3：根据所述群体图片样本训练所述第三神经网络模型。
E4：所述第三神经网络模型中还包括群体情感特征分类器，在训练过程中，根据所述群体图片样本训练群体情感特征抽取模块与群体情感特征分类器，所述群体情感特征抽取模块用于抽取群体图片样本中的群体情感特征。根据所述群体情感特征分类器中预设的损失函数调整所述第三神经网络模型的参数，直至所述第三神经网络模型输出的初始群体情感概率的误差值在预设误差值范围内时完成训练，得到训练好的第三神经网络模型。
此时，所述将人脸表情特征概率与所述人体情感特征概率进行融合，基于所述融合的结果确定所述群体照片的群体情感具体包括：
获取根据所述第三神经网络模型确定的初始群体情感概率的指定群体情感权重，将所述指定人脸权重的人脸表情特征概率、根据指定人体权重的人体情感特征概率以及指定群体情感权重的初始群体情感概率三者相加，根据所述三者之和确定所述群体照片的群体情感。
本发明实施例中，通过获取待进行群体情感识别的群体图片，对所述群体图片进行特征提取，获取所述群体图片的人脸表情特征和人体情感特征，然后根据所述人脸表情特征和训练好的第一神经网络模型，获取所述群体图片中的人脸表情特征概率，根据所述人体情感特征和训练好的第二神经网络模型，获取所述群体图片中的人体情感特征概率，最后将所述人脸表情特征概率与所述人体情感特征概率进行融合，基于所述融合的结果确定所述群体照片的群体情感，由于将群体图片中人脸与人体的情感分别进行预测，将预测得到人脸表情特征概率与人体情感特征概率进行融合，根据融合结果确定群体图片中的群体情感使得群体情感识别稳定可靠，同时，综合考虑群体中各个人体的情感，可提高群体情感识别的准确性，减少群体情感识别的误差。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
实施例二：
对应于上文实施例所述的群体情感识别方法，图3示出了本发明实施例提供的群体情感识别装置的结构框图，该装置可应用于智能终端，该智能终端可以包括经无线接入网RAN与一个或多个核心网进行通信的用户设备，该用户设备可以是移动电话(或称为“蜂窝”电话)、具有移动设备的计算机等，例如，用户设备还可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语音和/或数据。又例如，该移动设备可以包括智能手机、平板电脑、个人数字助理PDA、销售终端POS或车载电脑等。为了便于说明，仅示出了与本发明实施例相关的部分。
参照图3，该群体情感识别装置包括：图片获取单元31，特征提取单元32，第一概率预测单元33，第二概率预测单元34，群体情感预测单元35，其中：
图片获取单元31，用于获取待进行群体情感识别的群体图片；
特征提取单元32，用于对所述群体图片进行特征提取，获取所述群体图片的人脸表情特征和人体情感特征；
第一概率预测单元33，用于根据所述人脸表情特征和训练好的第一神经网络模型，获取所述群体图片中的人脸表情特征概率；
第二概率预测单元34，用于根据所述人体情感特征和训练好的第二神经网络模型，获取所述群体图片中的人体情感特征概率；
群体情感预测单元35，用于将所述人脸表情特征概率与所述人体情感特征概率进行融合，基于所述融合的结果确定所述群体照片的群体情感。
可选地，所述特征提取单元32包括：
第一关键点检测模块，用于检测所述群体图片中的人脸关键点，所述人脸关键点为预先指定的脸部特征点；
第一图片获取模块，用于根据所述人脸关键点获取所述群体图片中的人脸图片；
第一特征获取模块，用于对所述人脸图片进行特征提取，获取所述群体图片的人脸表情特征；
第二关键点检测模块，用于检测所述群体图片中的人体关键点，所述人体关键点为预先指定的人体特征点；
第二图片获取模块，用于根据检测到的所述人体关键点，获取所述群体图片中的人体图片；
第二特征获取对所述人体图片进行特征提取，获取所述群体图片的人体情感特征。
可选地，所述特征提取单元32包括：
初始特征获取模块，用于对所述群体图片进行特征提取，获取所述群体图片的初始人脸表情特征和初始人体情感特征；
人脸表情特征获取模块，用于根据初始人脸表情特征和对应人脸表情权重，确定所述群体图片的人脸表情特征；
人体情感特征模块，用于根据所述初始人体情感特征和对应人体情感权重，确定所述群体图片的人体情感特征。
可选地，所述对应人脸表情权重包括第一人脸表情权重、第二人脸表情权重与第三人脸表情权重，所述人脸表情特征获取模块包括：
图片人脸表情特征确定子模块，用于根据所述第一人脸表情权重、所述第二人脸表情权重与所述第三人脸表情权重分别确定所述群体图片的第一人脸表情特征、第二人脸表情特征与第三人脸表情特征；
表情特征融合子模块，用于将所述第一人脸表情特征、所述第二人脸表情特征与所述第三人脸表情特征进行特征融合，根据所述特征融合的结果确定所述群体照片的人脸表情特征。
可选地，所述表情特征融合子模块包括：
第一计算子模块，用于根据如下公式确定所述群体图片的第一人脸表情特征：
其中，feature1表示所述第一人脸表情特征，所述Xi表示所述群体照片的第i个初始人脸表情特征，1≤i≤n，所述α'i表示第一对应人脸表情权重；
第二计算子模块，用于根据如下公式确定所述群体图片的第二人脸表情特征：
其中，feature2表示所述第二人脸表情特征，exp是以自然常数e为底的指数函数，1≤i≤n，1≤j≤n，所述βi表示第二人脸表情权重；
第三计算子模块，用于根据如下公式确定所述群体图片的第三人脸表情特征：
其中，feature3表示所述第三人脸表情特征，1≤i≤n，1≤j≤n，所述α'i·β'i表示第三人脸表情权重；
第一特征融合子模块，用于将所述第一人脸表情特征feature1、所述第二人脸表情特征feature2与所述第三人脸表情特征feature3进行特征融合，所述群体照片的人脸表情特征根据如下公式确定：
Fface＝[feature1，feature2，feature3]，
其中，Fface表示所述群体照片的人脸表情特征。
可选地，所述对应人体情感权重包括第一人体情感权重、第二人体情感权重与第三人体情感权重，所述人体情感特征模块包括：
图片人体情感特征确定子模块，用于根据所述第一人体情感权重、所述第二人体情感权重与所述第三人体情感权重分别确定所述群体图片的第一人体情感特征、第二人体情感特征与第三人体情感特征；
人体情感特征融合子模块，用于将所述第一人体情感特征、所述第二人体情感特征与所述第三人体情感特征进行特征融合，根据所述特征融合的结果确定所述群体照片的人体情感特征。
可选地，所述群体情感识别装置还包括模型训练单元，用于构建和训练神经网络模型。
可选地，所述模型训练单元包括：
第一构建模块，用于构建包括输入层、卷积层、池化层、全连接层以及输出层的第一神经网络模型；
第一样本获取模块，用于获取标注情感类别的样本人脸图片；
第一训练模块，用于根据所述样本人脸图片训练所述第一神经网络模型；
所述第一神经网络模型中还包括分类器，所述示例学习单元包括还包括：
第一损失调整模块，用于根据所述样本人脸图片训练人脸特征抽取模块与人脸特征分类器，所述人脸特征抽取模块用于抽人脸图片中的人脸特征。根据所述人脸特征分类器中预设的损失函数调整所述第一神经网络模型的参数，直至所述第一神经网络模型输出的人脸表情特征概率的误差值在预设误差值范围内时完成训练，得到训练好的第一神经网络模型。
具体地，所述根据所述分类器中预设的损失函数调整所述神经网络模型的参数，包括：
定义所述预设的损失函数如下：
Loss＝ω1·SoftMaxLoss+ω2·Discri min atorLoss，
其中，SoftMaxLoss表示情感特征分类任务损失函数，ω1表示所述情感特征分类任务损失函数的权重，Discri min atorLoss表示情感特征判别力任务损失函数，ω2表示所述情感特征判别力任务损失函数的权重。
本发明第二实施例中，本发明实施例中，通过获取待进行群体情感识别的群体图片，对所述群体图片进行特征提取，获取所述群体图片的人脸表情特征和人体情感特征，然后根据所述人脸表情特征和训练好的第一神经网络模型，获取所述群体图片中的人脸表情特征概率，根据所述人体情感特征和训练好的第二神经网络模型，获取所述群体图片中的人体情感特征概率，最后将所述人脸表情特征概率与所述人体情感特征概率进行融合，基于所述融合的结果确定所述群体照片的群体情感，由于将群体图片中人脸与人体的情感分别进行预测，将预测得到人脸表情特征概率与人体情感特征概率进行融合，根据融合结果确定群体图片中的群体情感使得群体情感识别稳定可靠，同时，综合考虑群体中各个人体的情感，可提高群体情感识别的准确性，减少群体情感识别的误差。
实施例三：
图4是本发明一实施例提供的智能设备的示意图。如图4所示，该实施例的智能设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42，例如群体情感识别程序。所述处理器40执行所述计算机程序42时实现上述各个群体情感识别方法实施例中的步骤，例如图1所示的步骤101至105。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能，例如图3所示单元31至35的功能。
示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述智能设备4中的执行过程。例如，所述计算机程序42可以被分割图片获取单元，特征提取单元，第一概率预测单元，第二概率预测单元，群体情感预测单元，各单元具体功能如下：
图片获取单元，用于获取待进行群体情感识别的群体图片；
特征提取单元，用于对所述群体图片进行特征提取，获取所述群体图片的人脸表情特征和人体情感特征；
第一概率预测单元，用于根据所述人脸表情特征和训练好的第一神经网络模型，获取所述群体图片中的人脸表情特征概率；
第二概率预测单元，用于根据所述人体情感特征和训练好的第二神经网络模型，获取所述群体图片中的人体情感特征概率；
群体情感预测单元，用于将所述人脸表情特征概率与所述人体情感特征概率进行融合，基于所述融合的结果确定所述群体照片的群体情感。
所述智能设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述智能设备4可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是智能设备4的示例，并不构成对智能设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述智能设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述智能设备4的内部存储单元，例如智能设备4的硬盘或内存。所述存储器41也可以是所述智能设备4的外部存储设备，例如所述智能设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述智能设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述智能设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种群体情感识别方法，其特征在于，所述群体情感识别方法包括：
获取待进行群体情感识别的群体图片；
对所述群体图片进行特征提取，获取所述群体图片的人脸表情特征和人体情感特征；
根据所述人脸表情特征和训练好的第一神经网络模型，获取所述群体图片中的人脸表情特征概率；
根据所述人体情感特征和训练好的第二神经网络模型，获取所述群体图片中的人体情感特征概率；
将所述人脸表情特征概率与所述人体情感特征概率进行融合，基于所述融合的结果确定所述群体照片的群体情感。
2.如权利要求1所述的群体情感识别方法，其特征在于，所述对所述群体图片进行特征提取，获取所述群体图片的人脸表情特征和人体情感特征，包括：
检测所述群体图片中的人脸关键点，所述人脸关键点为预先指定的脸部特征点；
根据所述人脸关键点获取所述群体图片中的人脸图片；
对所述人脸图片进行特征提取，获取所述群体图片的人脸表情特征；
检测所述群体图片中的人体关键点，所述人体关键点为预先指定的人体特征点；
根据检测到的所述人体关键点，获取所述群体图片中的人体图片；
对所述人体图片进行特征提取，获取所述群体图片的人体情感特征。
3.如权利要求1所述的群体情感识别方法，其特征在于，所述对所述群体图片进行特征提取，获取所述群体图片的人脸表情特征和人体情感特征，包括：
对所述群体图片进行特征提取，获取所述群体图片的初始人脸表情特征和初始人体情感特征；
根据初始人脸表情特征和对应人脸表情权重，确定所述群体图片的人脸表情特征；
根据所述初始人体情感特征和对应人体情感权重，确定所述群体图片的人体情感特征。
4.如权利要求3所述的群体情感识别方法，其特征在于，所述对应人脸表情权重包括第一人脸表情权重、第二人脸表情权重与第三人脸表情权重，所述根据初始人脸表情特征和对应人脸表情权重，确定所述群体图片的人脸表情特征，包括：
根据所述第一人脸表情权重、所述第二人脸表情权重与所述第三人脸表情权重分别确定所述群体图片的第一人脸表情特征、第二人脸表情特征与第三人脸表情特征；
将所述第一人脸表情特征、所述第二人脸表情特征与所述第三人脸表情特征进行特征融合，根据所述特征融合的结果确定所述群体照片的人脸表情特征。
5.如权利要求4所述的群体情感识别方法，其特征在于，所述将所述第一人脸表情特征、所述第二人脸表情特征与所述第三人脸表情特征进行特征融合，根据所述特征融合的结果确定所述群体照片的人脸表情特征，包括：
根据如下公式确定所述群体图片的第一人脸表情特征：
其中，feature1表示所述第一人脸表情特征，所述Xi表示所述群体照片的第i个初始人脸表情特征，1≤i≤n，所述α'i表示第一人脸表情权重；
根据如下公式确定所述群体图片的第二人脸表情特征：
其中，feature2表示所述第二人脸表情特征，exp是以自然常数e为底的指数函数，1≤i≤n，1≤j≤n，所述βi表示第二人脸表情权重；
根据如下公式确定所述群体图片的第三人脸表情特征：
其中，feature3表示所述第三人脸表情特征，1≤i≤n，所述α'i·β'i表示第三人脸表情权重；
将所述第一人脸表情特征feature1、所述第二人脸表情特征feature2与所述第三人脸表情特征feature3进行特征融合，所述群体照片的人脸表情特征根据如下公式确定：
Fface＝[feature1，feature2，feature3]，
其中，Fface表示所述群体照片的人脸表情特征。
6.如权利要求1所述的群体情感识别方法，其特征在于，在所述根据所述人脸表情特征和训练好的第一神经网络模型，获取所述群体图片中的人脸表情特征概率之前，包括：
构建包括输入层、卷积层、池化层、全连接层以及输出层的第一神经网络模型；
获取标注情感类别的样本人脸图片；
根据所述样本人脸图片训练所述第一神经网络模型；
所述第一神经网络模型中还包括分类器，在训练过程中，根据所述分类器中预设的损失函数调整所述第一神经网络模型的参数，直至所述第一神经网络模型输出的人脸表情特征概率的误差值在预设误差值范围内时完成训练，得到训练好的第一神经网络模型。
7.如权利要求6所述的群体情感识别方法，其特征在于，所述根据所述分类器中预设的损失函数调整所述第一神经网络模型的参数，包括：
定义所述预设的损失函数如下：
Loss＝ω1·SoftMaxLoss+ω2·DiscriminatorLoss，
其中，SoftMaxLoss表示情感特征分类任务损失函数，ω1表示所述情感特征分类任务损失函数的权重，DiscriminatorLoss表示情感特征判别力任务损失函数，ω2表示所述情感特征判别力任务损失函数的权重。
8.一种群体情感识别装置，其特征在于，所述群体情感识别装置包括：
图片获取单元，用于获取待进行群体情感识别的群体图片；
特征提取单元，用于对所述群体图片进行特征提取，获取所述群体图片的人脸表情特征和人体情感特征；
第一概率预测单元，用于根据所述人脸表情特征和训练好的第一神经网络模型，获取所述群体图片中的人脸表情特征概率；
第二概率预测单元，用于根据所述人体情感特征和训练好的第二神经网络模型，获取所述群体图片中的人体情感特征概率；
群体情感预测单元，用于将所述人脸表情特征概率与所述人体情感特征概率进行融合，基于所述融合的结果确定所述群体照片的群体情感。
9.一种智能设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述群体情感识别方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述群体情感识别方法的步骤。
CN201811286630.4A 2018-10-31 2018-10-31 一种群体情感识别方法、装置、智能设备及存储介质 Active CN109522945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811286630.4A CN109522945B (zh) 2018-10-31 2018-10-31 一种群体情感识别方法、装置、智能设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811286630.4A CN109522945B (zh) 2018-10-31 2018-10-31 一种群体情感识别方法、装置、智能设备及存储介质

Publications (2)

Publication Number Publication Date
CN109522945A true CN109522945A (zh) 2019-03-26
CN109522945B CN109522945B (zh) 2020-09-25

Family

ID=65773584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811286630.4A Active CN109522945B (zh) 2018-10-31 2018-10-31 一种群体情感识别方法、装置、智能设备及存储介质

Country Status (1)

Country Link
CN (1) CN109522945B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135251A (zh) * 2019-04-09 2019-08-16 上海电力学院 一种基于注意力机制和混合网络的群体图像情绪识别方法
CN110503081A (zh) * 2019-08-30 2019-11-26 山东师范大学 基于帧间差分的暴力行为检测方法、系统、设备及介质
CN110909885A (zh) * 2019-11-19 2020-03-24 支付宝(杭州)信息技术有限公司 一种平衡多个任务的方法及系统
CN111815529A (zh) * 2020-06-30 2020-10-23 上海电力大学 一种基于模型融合和数据增强的低质图像分类增强方法
CN111930896A (zh) * 2020-09-01 2020-11-13 平安国际智慧城市科技股份有限公司 文本情感分析方法、装置、计算机设备及可读存储介质
CN112101342A (zh) * 2019-06-17 2020-12-18 顺丰科技有限公司 箱体关键点检测方法和装置、计算设备、计算机可读存储介质
CN112784776A (zh) * 2021-01-26 2021-05-11 山西三友和智慧信息技术股份有限公司 一种基于改进残差网络的bpd面部情绪识别方法
CN113537123A (zh) * 2021-07-28 2021-10-22 上海高德威智能交通系统有限公司 手势识别方法、装置、电子设备及可读存储介质
CN113723165A (zh) * 2021-03-25 2021-11-30 山东大学 基于深度学习的待检测人员危险表情检测方法及系统
CN114898418A (zh) * 2022-03-24 2022-08-12 合肥工业大学 基于环形模型的复杂情绪检测方法和系统
CN115410265A (zh) * 2022-11-01 2022-11-29 合肥的卢深视科技有限公司 模型训练方法、人脸识别方法、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654049A (zh) * 2015-12-29 2016-06-08 中国科学院深圳先进技术研究院 人脸表情识别的方法及装置
CN106257489A (zh) * 2016-07-12 2016-12-28 乐视控股（北京）有限公司 表情识别方法及系统
CN106803069A (zh) * 2016-12-29 2017-06-06 南京邮电大学 基于深度学习的人群高兴程度识别方法
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
KR20170094836A (ko) * 2016-02-12 2017-08-22 한국전자통신연구원 운전자의 감정상태 인식 장치 및 방법
CN107092596A (zh) * 2017-04-24 2017-08-25 重庆邮电大学 基于attention CNNs和CCR的文本情感分析方法
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN107341462A (zh) * 2017-06-28 2017-11-10 电子科技大学 一种基于注意力机制的视频分类方法
CN107808146A (zh) * 2017-11-17 2018-03-16 北京师范大学 一种多模态情感识别分类方法
US20180189581A1 (en) * 2010-06-07 2018-07-05 Affectiva, Inc. Vehicle manipulation using convolutional image processing
CN108363978A (zh) * 2018-02-12 2018-08-03 华南理工大学 采用深度学习和ukf的基于肢体语言的情感感知方法
CN108596039A (zh) * 2018-03-29 2018-09-28 南京邮电大学 一种基于3d卷积神经网络的双模态情感识别方法及系统
CN108647625A (zh) * 2018-05-04 2018-10-12 北京邮电大学 一种表情识别方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180189581A1 (en) * 2010-06-07 2018-07-05 Affectiva, Inc. Vehicle manipulation using convolutional image processing
CN105654049A (zh) * 2015-12-29 2016-06-08 中国科学院深圳先进技术研究院 人脸表情识别的方法及装置
KR20170094836A (ko) * 2016-02-12 2017-08-22 한국전자통신연구원 운전자의 감정상태 인식 장치 및 방법
CN106257489A (zh) * 2016-07-12 2016-12-28 乐视控股（北京）有限公司 表情识别方法及系统
CN106803069A (zh) * 2016-12-29 2017-06-06 南京邮电大学 基于深度学习的人群高兴程度识别方法
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN107092596A (zh) * 2017-04-24 2017-08-25 重庆邮电大学 基于attention CNNs和CCR的文本情感分析方法
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN107341462A (zh) * 2017-06-28 2017-11-10 电子科技大学 一种基于注意力机制的视频分类方法
CN107808146A (zh) * 2017-11-17 2018-03-16 北京师范大学 一种多模态情感识别分类方法
CN108363978A (zh) * 2018-02-12 2018-08-03 华南理工大学 采用深度学习和ukf的基于肢体语言的情感感知方法
CN108596039A (zh) * 2018-03-29 2018-09-28 南京邮电大学 一种基于3d卷积神经网络的双模态情感识别方法及系统
CN108647625A (zh) * 2018-05-04 2018-10-12 北京邮电大学 一种表情识别方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MOSTAFA MOHAMMADPOUR ET AL: "Facial emotion recognition using deep convolutional networks", 《2017 IEEE 4TH INTERNATIONAL CONFERENCE ON KNOWLEDGE-BASED ENGINEERING AND INNOVATION (KBEI)》 *
WEI WEI ET AL: "Emotion recognition based on feedback weighted fusion of multimodal emotion data", 《2017 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS (ROBIO)》 *
张芬: "基于boosting框架的视觉语音多模态情感识别检测方法", 《现代电子技术》 *
闫静杰等: "表情和姿态的双模态情感识别", 《中国图象图形学报》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135251B (zh) * 2019-04-09 2023-08-08 上海电力学院 一种基于注意力机制和混合网络的群体图像情绪识别方法
CN110135251A (zh) * 2019-04-09 2019-08-16 上海电力学院 一种基于注意力机制和混合网络的群体图像情绪识别方法
CN112101342A (zh) * 2019-06-17 2020-12-18 顺丰科技有限公司 箱体关键点检测方法和装置、计算设备、计算机可读存储介质
CN110503081A (zh) * 2019-08-30 2019-11-26 山东师范大学 基于帧间差分的暴力行为检测方法、系统、设备及介质
CN110909885A (zh) * 2019-11-19 2020-03-24 支付宝(杭州)信息技术有限公司 一种平衡多个任务的方法及系统
CN111815529A (zh) * 2020-06-30 2020-10-23 上海电力大学 一种基于模型融合和数据增强的低质图像分类增强方法
CN111815529B (zh) * 2020-06-30 2023-02-07 上海电力大学 一种基于模型融合和数据增强的低质图像分类增强方法
CN111930896A (zh) * 2020-09-01 2020-11-13 平安国际智慧城市科技股份有限公司 文本情感分析方法、装置、计算机设备及可读存储介质
CN112784776B (zh) * 2021-01-26 2022-07-08 山西三友和智慧信息技术股份有限公司 一种基于改进残差网络的bpd面部情绪识别方法
CN112784776A (zh) * 2021-01-26 2021-05-11 山西三友和智慧信息技术股份有限公司 一种基于改进残差网络的bpd面部情绪识别方法
CN113723165A (zh) * 2021-03-25 2021-11-30 山东大学 基于深度学习的待检测人员危险表情检测方法及系统
CN113723165B (zh) * 2021-03-25 2022-06-07 山东大学 基于深度学习的待检测人员危险表情检测方法及系统
CN113537123A (zh) * 2021-07-28 2021-10-22 上海高德威智能交通系统有限公司 手势识别方法、装置、电子设备及可读存储介质
CN114898418A (zh) * 2022-03-24 2022-08-12 合肥工业大学 基于环形模型的复杂情绪检测方法和系统
CN114898418B (zh) * 2022-03-24 2024-08-02 合肥工业大学 基于环形模型的复杂情绪检测方法和系统
CN115410265A (zh) * 2022-11-01 2022-11-29 合肥的卢深视科技有限公司 模型训练方法、人脸识别方法、电子设备及存储介质
CN115410265B (zh) * 2022-11-01 2023-01-31 合肥的卢深视科技有限公司 模型训练方法、人脸识别方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN109522945B (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN109522945A (zh) 一种群体情感识别方法、装置、智能设备及存储介质
LU503090B1 (en) A semantic segmentation system and method based on dual feature fusion for iot sensing
Lin et al. An improved polynomial neural network classifier using real-coded genetic algorithm
WO2021057056A1 (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
Kaburlasos et al. Lattice computing extension of the FAM neural classifier for human facial expression recognition
CN111695415A (zh) 图像识别模型的构建方法、识别方法及相关设备
CN110222718B (zh) 图像处理的方法及装置
CN111831826B (zh) 跨领域的文本分类模型的训练方法、分类方法以及装置
CN109344888A (zh) 一种基于卷积神经网络的图像识别方法、装置及设备
CN108875693A (zh) 一种图像处理方法、装置、电子设备及其存储介质
CN108804617A (zh) 领域术语抽取方法、装置、终端设备及存储介质
CN112364236A (zh) 目标对象推荐系统、方法、装置、数据处理方法及装置
CN112785005A (zh) 多目标任务的辅助决策方法、装置、计算机设备及介质
CN112668482A (zh) 人脸识别训练方法、装置、计算机设备及存储介质
CN115238909A (zh) 一种基于联邦学习的数据价值评估方法及其相关设备
US20240242127A1 (en) Recommendation method and related apparatus
CN113989566A (zh) 一种图像分类方法、装置、计算机设备和存储介质
CN205665729U (zh) 细胞/卷积神经网络智能视觉支付加速器
CN112381064A (zh) 一种基于时空图卷积网络的人脸检测方法及装置
CN116702784A (zh) 实体链接方法、装置、计算机设备和存储介质
CN116976461A (zh) 联邦学习方法、装置、设备及介质
CN117009878A (zh) 基于超图的分类方法、装置、计算机设备及存储介质
CN110245230A (zh) 一种图书分级方法、系统、存储介质和服务器
WO2022127603A1 (zh) 一种模型处理方法及相关装置
Tuba et al. Modified seeker optimization algorithm for image segmentation by multilevel thresholding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant