CN110705419A - 情绪识别方法、预警方法、模型训练方法和相关装置 - Google Patents

情绪识别方法、预警方法、模型训练方法和相关装置 Download PDF

Info

Publication number
CN110705419A
CN110705419A CN201910909937.3A CN201910909937A CN110705419A CN 110705419 A CN110705419 A CN 110705419A CN 201910909937 A CN201910909937 A CN 201910909937A CN 110705419 A CN110705419 A CN 110705419A
Authority
CN
China
Prior art keywords
face
emotion
image
face region
region image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910909937.3A
Other languages
English (en)
Inventor
徐启南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN201910909937.3A priority Critical patent/CN110705419A/zh
Publication of CN110705419A publication Critical patent/CN110705419A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开提出一种情绪识别方法、预警方法、模型训练方法和相关装置，涉及生物特征识别技术领域。所述方法包括：从待识别图像中提取出人脸区域图像，利用卷积层和池化层对所述人脸区域图像进行特征提取，得到所述人脸区域图像中人脸的情绪特征向量，利用GAP层对所述情绪特征向量进行处理，得到所述人脸区域图像中人脸分别在各个情绪标签下的置信度，基于各个情绪标签的置信度，识别出所述人脸区域图像中人脸反映的情绪。本公开能够提高识别人脸情绪的效率。

Description

情绪识别方法、预警方法、模型训练方法和相关装置
技术领域
本公开涉及生物特征识别技术领域，具体而言，涉及一种情绪识别方法、预警方法、模型训练方法和相关装置。
背景技术
生物特征识别指通过计算机利用人体所固有的生理特征(指纹、虹膜、面相、基因等)或行为特征(步态、击键习惯等)来进行个人身份鉴定的技术。其中，人脸识别被广泛应用于公共安全、信息安全、人工智能等多各领域。
现有技术中，可以通过事先训练的神经网络模型，从待识别图像中识别出人脸的情绪，但该神经网络中通常会包括全连接层以及较多的模型参数，从而导致识别的效率低下。
发明内容
本公开的目的在于提供一种情绪识别方法、预警方法、模型训练方法和相关装置，以提高识别人脸情绪的效率。
为了实现上述目的，本公开采用的技术方案如下：
第一方面，本公开提出一种情绪识别方法，所述方法包括：
从待识别图像中提取出人脸区域图像；
利用卷积层和池化层对所述人脸区域图像进行特征提取，得到所述人脸区域图像中人脸的情绪特征向量；
利用GAP(Global average Pooling，全局平均池化)层对所述情绪特征向量进行处理，得到所述人脸区域图像中人脸分别在各个情绪标签下的置信度；
基于各个所述情绪标签的置信度，识别出所述人脸区域图像中人脸反映的情绪。
可选地，在所述利用卷积层和池化层对所述人脸区域图像进行特征提取，得到所述人脸区域图像中人脸的情绪特征向量之前，所述方法还包括：
对所述人脸区域图像进行人脸矫正处理，得到人脸矫正区域图像；
所述利用卷积层和池化层对所述人脸区域图像进行特征提取，得到所述人脸区域图像中人脸的情绪特征向量，包括：
利用卷积层和池化层对所述人脸矫正区域图像进行特征提取，得到所述人脸矫正区域图像中人脸的情绪特征向量。
可选地，所述对所述人脸区域图像进行人脸矫正处理，得到人脸矫正区域图像，包括：
识别所述人脸区域图像中人脸的人脸关键点数据；
基于所述人脸关键点数据，对所述人脸区域图像进行透视变换，得到所述人脸矫正区域图像。
可选地，所述从待识别图像中提取出人脸区域图像，包括：
确定所述待识别图像的HOG(Histogram of Oriented Gradient，方向梯度直方图)特征；
基于所述HOG特征，从所述待识别图像中提取出所述人脸区域图像。
第二方面，本公开还提出一种预警方法，包括：
采用第一方面任一所述的情绪识别方法识别患者在预设时间段内多个时间点的情绪；
根据所述多个时间点的情绪确定所述患者的情绪变化；
当所述情绪变化满足预警条件时，发送预警信号和展示所述情绪变化，以指示医护人员根据所述情绪变化对所述患者执行相应护理。
第三方面，本公开还提出一种模型训练方法，所述模型包括人脸区域识别模型和人脸情绪识别模型，所述方法包括：
获取人脸图像样本集，所述人脸图像样本集包括多个人脸图像样本，每个所述人脸图像样本标记有人脸区域和人脸区域中人脸对应的情绪标签，且各个所述人脸图像样本标记的情绪标签不完全相同；
利用所述人脸图像样本集，对所述人脸区域识别模型进行训练，在训练结束后，利用训练得到的人脸区域识别模型从所述人脸图像样本集中的人脸图像样本中提取出人脸区域图像；
利用人脸情绪识别模型中的卷积层、池化层对所述人脸区域图像进行特征提取，得到所述人脸区域中人脸的情绪特征向量；并利用所述人脸情绪识别模型中的GAP层对所述情绪特征向量进行处理，确定所述人脸区域图像中人脸在各个情绪标签下的置信度；并基于确定出的各个所述情绪标签的置信度，识别所述人脸区域图像中人脸反映的情绪。
第四方面，本公开还提出一种情绪识别装置，所述装置包括：
第一提取模块，用于从待识别图像中提取出人脸区域图像；
第二提取模块，用于利用卷积层和池化层对所述人脸区域图像进行特征提取，得到所述人脸区域图像中人脸的情绪特征向量；
处理模块，用于利用GAP层对所述情绪特征向量进行处理，得到所述人脸区域图像中人脸分别在各个情绪标签下的置信度；
识别模块，用于基于各个所述情绪标签的置信度，识别出所述人脸区域图像中人脸反映的情绪。
可选地，所述装置还包括：
矫正模块，用于对所述人脸区域图像进行人脸矫正处理，得到人脸矫正区域图像；
所述第二提取模块还用于：
利用卷积层和池化层对所述人脸矫正区域图像进行特征提取，得到所述人脸矫正区域图像中人脸的情绪特征向量。
可选地，所述矫正模块还用于：
识别所述人脸区域图像中人脸的人脸关键点数据；
基于所述人脸关键点数据，对所述人脸区域图像进行透视变换，得到所述人脸矫正区域图像。
可选地，所述第一提取模块还用于：
确定所述待识别图像的HOG特征；
基于所述HOG特征，从所述待识别图像中提取出所述人脸区域图像。
第五方面，本公开还提出一种预警装置，包括：
识别模块，用于第四方面任一所述的情绪识别装置识别患者在预设时间段内多个时间点的情绪；
确定模块，用于根据所述多个时间点的情绪确定所述患者的情绪变化；
发送模块，用于当所述情绪变化满足预警条件时，发送预警信号和展示所述情绪变化，以指示医护人员根据所述情绪变化对所述患者执行相应护理。
第六方面，本公开还提出一种模型训练装置，所述模型包括人脸区域识别模型和人脸情绪识别模型，所述装置包括：
获取模块，用于获取人脸图像样本集，所述人脸图像样本集包括多个人脸图像样本，每个所述人脸图像样本标记有人脸区域和人脸区域中人脸对应的情绪标签，且各个所述人脸图像样本标记的情绪标签不完全相同；
第一训练模块，用于利用所述人脸图像样本集，对所述人脸区域识别模型进行训练，在训练结束后，利用训练得到的人脸区域识别模型从所述人脸图像样本集中的人脸图像样本中提取出人脸区域图像；
第二训练模块，用于利用人脸情绪识别模型中的卷积层、池化层对所述人脸区域图像进行特征提取，得到所述人脸区域中人脸的情绪特征向量；并利用所述人脸情绪识别模型中的GAP层对所述情绪特征向量进行处理，确定所述人脸区域图像中人脸在各个情绪标签下的置信度；并基于确定出的各个所述情绪标签的置信度，识别所述人脸区域图像中人脸反映的情绪。
第七方面，本公开还提出一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过所述总线通信，所述处理器执行所述机器可读指令，以执行如前述第一方面、第二方面、和/或第三方面所述方法的步骤。
第八方面，本公开还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行前述第一方面、第二方面、和/或第三方面所述方法的步骤。
在本公开实施例中，对于待识别图像，可以从该待识别图像中提取出人脸区域图像，并进一步通过卷积层和池化层提取得到待识别图像中人脸的情绪特征向量，通过GAP层确定人脸区域图像分别在各情绪标签下的置信度，进而根据各情绪标签的置信度，识别人脸区域图像中人脸的情绪，通过将GAP层代替全连接层，大幅减少了模型参数以及内存占用，减少了过拟合的发生，有效提高了识别效率。
本公开的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开了解。本公开的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本公开的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开所提供的一种情绪识别方法的流程示意图；
图2示出了本公开所提供的一种人脸情绪识别模型的结构示意图；
图3示出了本公开所提供的一种待识别图像的示意图；
图4示出了本公开所提供的一种人脸区域图像的示意图；
图5示出了本公开所提供的一种模型训练方法的流程示意图；
图6示出了本公开所提供的一种预警方法的流程示意图；
图7示出了本公开所提供的一种情绪识别装置的功能模块示意图；
图8示出了本公开所提供的另一种情绪识别装置的功能模块示意图；
图9示出了本公开所提供的一种预警装置的功能模块示意图；
图10示出了本公开所提供的模型训练装置的功能模块示意图；
图11示出了本公开所提供的一种电子设备的功能模块示意图。
具体实施方式
下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在对本公开进行详细地解释之前，先对本公开的应用场景予以介绍。
目前，随着人脸识别技术的不断发展，人脸情绪识别也越来越得到广泛的应用，比如视频游戏的应用中，根据用户的情绪确定用户体验，在医护应用中，根据用户的情绪对患者的健康状态评估，在广告领域的应用中，根据用户观看商品广告等推荐信息时的情绪，确定向用户推送相应信息的策略等，而现有技术中用于情绪识别的神经网络模型由于包括较多的模型参数，识别的效率低下，已经难以满足当前的情绪识别的需求，因此，为解决情绪识别效率低下这一问题，本公开提供了一种情绪识别方法，对于待识别图像，可以从该待识别图像中提取出人脸区域图像，并进一步通过卷积层和池化层提取得到待识别图像中人脸的情绪特征向量，通过GAP层确定人脸区域图像分别在各情绪标签下的置信度，进而根据各情绪标签的置信度，识别人脸区域图像中人脸的情绪，通过将GAP层代替全连接层，大幅减少了模型参数以及内存占用，减少了过拟合的发生，有效提高了识别效率。
以下对本公开中的一些技术术语进行介绍：
待识别图像可以为需要对所包括人脸进行情绪识别的图像，当然也可以不包括人脸，在识别过程中进行区分进而仅对包括人脸的图像进行情绪识别。
置信度，或称置信水平，可以用于说明被测量参数的测量值的可信程度。在本公开实施例中，置信度可以用于说明图像中人脸的情绪与多个情绪标签匹配的程度。
情绪标签可以表示一种情绪类别。其中，情绪标签可以通过事先确定，比如可以事先针对人脸情绪设置7种情绪标签，包括“生气”、“厌恶”、“恐惧”、“开心”、“难过”、“惊喜”和“平静”。
以下将结合上述应用场景，对本公开进行具体说明。且需要说明的是，在实际应用中，本公开所提供的情绪识别方法，也可以应用对动物情绪的识别，相应地从待识别图像中提取出的为动物面部区域图像，从而识别出动物面部所反映的情绪。
请参照图1，为本公开所提供的一种情绪识别方法的流程示意图。需要说明的是，本公开提供的情绪识别方法并不以图1以及以下提供的具体顺序为限制，应当理解，在其它实施例中，本公开提供的情绪识别方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。下面将对图1所示的流程进行详细阐述。
步骤101，从待识别图像中提取出人脸区域图像。
待识别图像中可能包括人脸，也可能还会包括其它与人脸无关的信息，比如背景以及身体的其它部分等，为了便于后续对人脸的情绪进行识别，减少其它信息的干扰，可以从待识别图像中提取出人脸区域图像。
其中，人脸区域图像，可以为仅包括人脸区域的图像，或者，可以为对待识别图像进行人脸区域标注之后的图像。
可选的，可以将待识别图像输入至人脸区域识别模型，通过该人脸区域识别模型，检测待识别图像中是否存在人脸，如果是则将人脸区域进行裁剪或标注，从而得到人脸区域图像。
其中，人脸区域识别模型可以用于从待识别图像中提取出人脸区域图像。该人脸区域识别模型可以包括机器学习模型或者神经网络模型，且该人脸区域识别模型可以通过事先训练获取得到，例如，该人脸区域识别模型可以包括SVM(Support Vector Machine，支持向量机)。将待识别图像输入至人脸区域识别模型后，该模型可以输出能够表征人脸区域的位置信息，如该位置信息可以为人脸区域中心位置的坐标，以及人脸区域的长和宽；或者，人脸区域左顶点的坐标，以及人脸区域的长和宽等等。
需要说明的是，可以包括下述至少一种方式来获取待识别图像：方式一，获取用户提交的图像作为待识别图像；方式二，从其他设备或者网络中获取图像作为待识别图像；方式三，从动态图片或者视频中获取图像作为待识别图像；方式四，从设备当前的显示屏幕中截取得到待识别图像；方式五，从摄像头等图像传感器获取待识别图像。当然，在实际应用中，还可以通过其他方式来获取待识别图像，本公开实施例对获取待识别图像的方式不做具体限定。
需要说明的是，若待识别图像中提取到人脸区域图像，则可以通过下述步骤102-104识别该人脸区域图像中的人脸情绪，当然，若未提取到任何人脸区域图像，则可以不再执行后续步骤。
可选地，可以通过人脸情绪识别模型来执行下述步骤102-104。
其中，人脸情绪识别模型可以用于识别图像中的人脸所归属的情绪类别。该人脸情绪识别模型可以包括神经网络模型，且该人脸情绪识别模型可以通过事先训练获取得到。例如，人脸情绪识别模型可以包括基于CNN(Convolutional Neural Networks，卷积神经网络)的人脸情绪识别模型。
可选地，人脸情绪识别模型包括输入层、卷积层、池化层、GAP层和输出层。其中，输入层可以用于接收输入的图像；卷积层的数目可以为至少一个，可以用于通过预设大小的卷积核从输入的图像中提取图像特征，得到特征图(也即情绪特征向量)；池化层的数目可以为至少一个，可以用于对卷积层提取的特征图进行压缩，从而简化网络计算复杂度；GAP层用于将上一层(如卷积层)输出的对应各情绪标签的特征图中的数值相加并求平均值，从而得到人脸区域图像中人脸分别在各情绪标签下的置信度；输出层可以包括归一化函数(比如softmax()函数)，可以用于对多个情绪标签的置信度归一化处理，从而最终确定待识别图像中人脸的情绪。
其中，当该人脸情绪识别模型包括全连接层而不包括GAP层时，需要通过该全连接层将特征图(即二维的情绪特征向量)转换为一维的特征向量，与GAP层相比，不仅包括更多的模型参数，也会占用更多的内存，那么在人脸情绪识别模型使用GAP层而不使用全连接层，既能够大幅减少模型参数以及内存占用，而且可以减少过拟合的发生，提高识别效率。
例如，请参考图2，为本公开实施例提供的一种人脸情绪识别模型的结构示意图。该人脸情绪识别模型可以包括输入层，卷积层1、卷积层2、卷积层3、池化层1、卷积层4、卷积层5、池化层2、卷积层6、卷积层7、池化层3、卷积层8、GAP层和输出层。其中，输入层所输入的图像大小可以为64*64像素；卷积层1和卷积层2可以包括16个大小为64*64像素的卷积核；卷积层3可以包括32个大小为64*64像素的卷积核；池化层1可以包括32个32*32像素的卷积核；卷积层4可以包括64个大小为32*32像素的卷积核；卷积层5可以包括128个大小为32*32像素的卷积核；池化层2可以包括128个16*16像素的卷积核；卷积层6和卷积层7可以包括256个大小为16*16像素的卷积核；池化层3可以包括256个大小为8*8像素的卷积核；卷积层8可以包括7个8*8像素的卷积核；且上述各卷积核中的各神经元可以包括激活函数ReLU；输出层可以包括归一化函数softmax()。
步骤102，利用卷积层和池化层对人脸区域图像进行特征提取，得到人脸区域图像中人脸的情绪特征向量。
可以将人脸区域图像作为输入，通过人脸情绪识别模型中的卷积层和池化层，获取分别对应各种情绪标签的情绪特征向量。其中，情绪特征向量可以称做特征图。例如，在如图2所示的人脸情绪识别模型中，可以通过该人脸情绪识别模型中的8个卷积层和3个池化层对人脸区域图像进行识别，得到对应7种情绪标签的特征图。
需要说明的是，若人脸区域图像为对待识别图像进行人脸区域标注之后的图像，则可以直接从人脸区域内进行特征提取。
步骤103，利用GAP层对情绪特征向量进行处理，得到人脸区域图像中人脸分别在各个情绪标签下的置信度。
具体地，可以将各情绪标签对应的特征图输入至GAP层，通过该GAP层将各特征图中的数值分别进行加和并求平均值，所得到的数值即为分别对应各情绪标签的置信度。例如，当有7类情绪标签时，在如图2所示的人脸情绪识别模型中，通过GAP层分别将7个特征图中8*8个数值相加并求平均值，所得到的7个平均值即为对应7个情绪标签的置信度。
步骤104，基于各个情绪标签的置信度，识别出人脸区域图像中人脸反映的情绪。
具体地，可以将对应各情绪标签的置信度输入至输出层，从而通过输出层及各情绪标签对应的置信度，确定人脸区域图像中人脸所反映的情绪。以输出层为softmax函数为例，将各个情绪标签下的置信度输入至softmax函数中，从而可以得到各个情绪标签下的归一化输出值，然后将归一化输出值取值最大的情绪标签确定为人脸区域图像中人脸所反映的情绪。
需要说明的是，在本公开实施例中，是通过人脸区域识别模型从待识别图像中提取出人脸区域图像、通过人脸情绪识别模型从人脸区域图像中识别人脸情绪，在实际应用中，也可以通过更多或更少的机器学习模型或神经网络模型来进行情绪识别，比如，可以通过人脸情绪识别模型从待识别图像中提取人脸区域图像，并识别其中人脸的情绪。
在本公开实施例中，对于待识别图像，可以从该待识别图像中提取出人脸区域图像，并进一步通过卷积层和池化层提取得到待识别图像中人脸的情绪特征向量，通过GAP层确定人脸区域图像分别在各情绪标签下的置信度，进而根据各情绪标签的置信度，识别人脸区域图像中人脸的情绪，通过将GAP层代替全连接层，大幅减少了模型参数以及内存占用，减少了过拟合的发生，有效提高了识别效率。
可选地，步骤101中从待识别图像中提取出人脸区域图像的操作可以包括：确定待识别图像的HOG特征，基于HOG特征，从该待识别图像中提取出人脸区域图像。
其中，可以对待识别图像进行灰度化处理，得到灰度化的待识别图像，对灰度化的待识别图像进行Gamma(伽马)矫正，得到Gamma矫正后的待识别图像，从Gamma矫正后的待识别图像获取HOG特征。
需要说明的是，可以通过预设大小的检测窗口，依次对待识别图像处于该检测窗口中的像素进行处理，从而对该待识别图像进行灰度化、Gamma矫正以及提取HOG特征处理。
灰度化处理用于将待识别图像转换为灰度图的形式，其中，可以通过预设灰度图转换算法将对待识别图像进行灰度化处理，且该预设灰度图转换算法可以通过事先确定。例如，预设灰度图算法可以包括平均值法，则可以通过下述公式1对待识别图像进行灰度化处理：
Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j) (公式1)
其中，(i，j)表示像素坐标；Gray(i,j)表示对(i，j)处的像素进行灰度化处理；R、G和B分别表示彩色图像的三个通道；0.199、0.578、0.114为分别针对R、G、B的权重。
Gamma矫正可以用于针对人类视觉的特性，对图像进行补偿，从而提高图像对光照等干扰因素的鲁棒性。其原理为，对于图像中的像素i，假设其像素值为200，可以先将i转换为0-1之间的实数，即(i+0.5)/256，对于像素i来说，其对应的归一化值为0.783203。然后对该像素i进行预补偿，即补偿以1/Gamma为指数的对应值，对于像素i，若Gamma为2.2，则1/Gamma为0.454545，对像素i进行预补偿的结果为f＝0.783203^0.454545＝0.894872。最后对像素i进行反归一化处理，即将预补偿的结果反变换为0-255之间的实数，计算方式为f*256-0.5，则对于像素i，最后得到Gamma矫正后的数值为228。
Gamma矫正后的待识别图像中像素在水平方向和竖直方向的梯度值、梯度大小和梯度方向，梯度值、梯度大小和梯度方向能够说明人脸的轮廓信息。将Gamma矫正后的待识别图像划分为多个细胞单元(cell)，分别基于各细胞单元中各像素的梯度值、梯度大小和梯度方向，获取各细胞单元的HOG特征描述符。基于该多个细胞单元的HOG特征描述符，获取得到待识别图像的HOG特征。
可以通过下述公式2和公式3计算像素在水平方向和竖直方向的梯度值、梯度大小和梯度方向：
Figure BDA0002213420860000141
Figure BDA0002213420860000142
其中，Gx(x,y)表示在(x，y)处的像素在X方向(水平方向)的梯度值；Gy(x,y)表示在(x，y)处的像素在Y方向(竖直方向)的梯度值；
Figure BDA0002213420860000143
表示在(x，y)处的像素的梯度大小；θG(x,y)表示在(x，y)处的像素的梯度方向。
细胞单元可以为对图像提取HOG特征的最小单位，该细胞单元的大小可以通过事先确定，比如该细胞单元可以包括8*8个像素。而HOG特征描述符可以用于说明细胞单元的HOG特征。具体地，可以基于细胞单元中各像素的梯度值、梯度大小和梯度方向，统计得到该细胞单元的梯度方向直方图，将梯度方向映射至180度，按照预设角度等分，得到一个多维向量，该多维向量即可作为该细胞单元的HOG特征描述符。其中，预设角度可以通过事先确定，比如该预设角度可以为20度，相应的，所得到的细胞单元的HOG特征描述符可以包括一个9维向量。
当确定待识别图像中各细胞单元的HOG特征描述符时，可以将多个细胞单元组成一个区块(block)，将该区块内各细胞单元的HOG特征描述符串联，从而得到该区块的HOG特征描述符。将待识别图像中各区块的HOG特征描述符串联，即可得到待识别图像的HOG特征。
例如，待识别图像如图3所示，则确定人脸区域后的待识别图像可以如图4所示，与图3相比，图4中包括一个说明人脸区域的矩形标注框。
需要说明的是，图3和4仅以卡通人脸为例，对本公开实施例中确定人脸区域的场景进行说明，在实际应用中，可以不进行人脸的真实与否进行区分，即对真实的人脸和卡通人脸、人物素描、雕像等虚假的人脸均进行识别，也可以仅对真实或虚假的人脸进行识别，且当仅对真实或虚假的人脸进行识别时，可以先确定待识别图像中的人脸是否为真人人脸，然后根据确定结果确定是否进行进一步的识别。
另外，在本公开的另一可选实施例中，可以在步骤101从待识别图像中提取出人脸区域图像的操作之前，对待识别图像进行预处理，该预处理包括灰度化处理，得到预处理后的待识别图像，从而在后续步骤中可以直接从对预处理后的待识别图像中人脸区域图像并识别人脸情绪，而不必再对待识别图像进行灰度化处理。通过预处理，可以将待识别图像转换为更适合人脸区域识别模型或人脸情绪识别模型处理的形式，从而提高人脸情绪识别的效率以及准确率。
其中，预处理也可以包括其它的处理方式，比如可以对待识别图像进行二值化处理、旋转、缩放和裁剪中的至少一项，二值化处理可以用于将待识别图像转换为黑白图像。
可选地，可以通过前述中的人脸区域识别模型，对待识别图像进行预处理。
可选地，在步骤102利用卷积层和池化层对所述人脸区域图像进行特征提取，得到所述人脸区域图像中人脸的情绪特征向量的操作之前，可以对该人脸区域图像进行人脸矫正处理，得到人脸矫正区域图像，相应的，步骤102利用卷积层和池化层对人脸区域图像进行特征提取的操作，可以包括利用卷积层和池化层对该人脸矫正区域图像进行特征提取，得到该人脸矫正区域图像中人脸的情绪特征向量。
由于人脸在待识别图像中的位置可能是侧脸或者倾斜的，从而不能够很好很展示脸部的信息，不便于后续对情绪的识别，那么为了尽量达到将待识别图像中的人脸矫正为正脸的效果，提高后续识别人脸情绪的可靠性，可以对人脸区域图像进行人脸矫正。
具体地，可以通过预设矫正算法对人脸区域图像进行矫正，或者，可以将人脸区域图像展示给用户，然后接收用户对该人区域图像的矫正操作，从而得到人脸矫正区域图像。
其中，该预设矫正算法可以是基于预设边缘检测算子(比如Canny边缘算子)的矫正算法。
可选地，对人脸区域图像进行人脸矫正处理，得到人脸矫正区域图像的操作，可以包括：识别该人脸区域图像中人脸的人脸关键点数据，基于该人脸关键点数据，对该人脸区域图像进行透视变换，得到该人脸矫正区域图像。
人脸关键点数据可以用于说明待识别图像中人脸区域的位置，从而可以基于该人脸关键点数据对人脸区域图像进行变换矫正。比如，该人脸关键点数据可以包括由Canny等预设边缘识别算子对图像进行检测得到的该人脸区域所在最小矩形框的4个顶点的像素的坐标。可选地，还可以基于人脸区域识别模型输出的能够表征人脸区域的位置信息来确定人脸关键点坐标，如利用人脸区域左顶点的坐标及人脸区域的长和宽，来确定人脸区域的四个顶点的像素的坐标。
可选地，当人脸区域识别模型为训练得到的神经网络模型时，该神经网络模型在识别人脸区域的同时，也可以得到上述人脸关键点数据。可选地，人脸关键点数据还可以至少包括左眼睛、右眼睛、鼻子、嘴巴中的一个或多个关键点的像素坐标。
可选地，在本公开实施例中，通过该人脸区域识别模型对人脸区域图像进行人脸矫正处理；或者，也可以通过人脸情绪识别模型，对人脸区域图像进行人脸矫正处理。
可选地，基于上述任一实施例，本发明实施例在实施步骤101时，可以按照下述过程实施：对待识别图像进行校正处理，得到待识别校正图像；从待识别校正图像中提取出人脸区域图像。具体地，在对待识别图像进行校正处理时，可以参考上述预设校正算法，以及可以利用人脸区域识别模型从待识别校正图像中提取出人脸区域图像，具体过程参考步骤101中的详细说明，此处不再详细描述。
为了确保能够直接通过训练好的人脸区域识别模型和人脸情绪识别模型，对待识别图像中人脸的情绪进行识别，从而提高识别的可靠性，可以先训练获取人脸区域识别模型和人脸情绪识别模型。
请参照图5，为本公开所提供的一种模型训练方法的流程示意图。其中，模型包括人脸区域识别模型和人脸情绪识别模型。需要说明的是，本公开提供的模型训练方法并不以图5以及以下提供的具体顺序为限制，应当理解，在其它实施例中，本公开提供的模型训练方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。下面将对图5所示的流程进行详细阐述。
步骤501，获取人脸图像样本集，人脸图像样本集包括多个人脸图像样本，每个人脸图像样本标记有人脸区域和人脸区域中人脸对应的情绪标签，且各个人脸图像样本标记的情绪标签不完全相同。
可以获取多张包括人脸的图像，并对该图像中的人脸区域以及人脸情绪进行标记，从而得到人脸图像样本。
例如，对于人脸区域标记，可以通过imglab(一种基于网页的图像标注工具)工具，用矩形框标记人脸区域，将标记得到的人脸区域数据存储至XML(Extensible MarkupLanguage，可扩展标记语言)文件中。
人脸区域数据可以用于说明人脸在图像中的位置，比如，该人脸区域数据可以包括人脸所在矩形框的左上角坐标以及该矩形框的宽度和高度。当然，在实际应用中，人脸区域数据也可以包括其它能够说明人脸在图像中位置的信息，本公开实施例对人脸区域数据的种类不做具体限定。
步骤502，利用人脸图像样本集，对人脸区域识别模型进行训练，在训练结束后，利用训练得到的人脸区域识别模型从人脸图像样本集中的人脸图像样本中提取出人脸区域图像。
可以提取人脸图像样本的HOG特征，基于该HOG特征，对用于确定人脸区域的人脸区域识别模型进行训练，将通过人脸区域识别模型确定的人脸区域与标注的人脸区域进行比较，基于人脸区域识别模型确定的人脸区域与标注的人脸区域之间的差异，对该人脸区域识别模型中的模型参数进行迭代更新，直至该人脸区域识别模型收敛或者对模型参数进行迭代更新的次数达到预设迭代次数，结束训练。
例如，当人脸区域识别模型为SVM时，可以通过人脸图像样本的HOG特征，结合OpenCV(一种开源的跨平台计算机视觉库)和dlib库(一种机器学习的开源库)对SVM进行训练。
需要说明的是，当人脸区域识别模型为神经网络模型时，人脸图像样本还可以包括人脸关键点数据，如人脸关键点的位置信息等。
可选地，人脸图像样本集包括训练子集和测试子集，训练子集和测试子集中的人脸图像样本的标记方式相同，相应的可以通过训练子集训练获取人脸区域识别模型，通过测试子集对人脸区域识别模型进行测试。
可以将获取到的人脸图像样本集中的人脸图像样本随机按照预设比例划分为训练子集和测试子集。其中，预设比例可以通过事先确定得到，比如预设比例可以包括8:2，当然，预设比例也可以包括其它比例，本公开实施例对此预设比例的大小不做具体限定。
可以通过人脸区域识别模型，从测试子集包括的人脸图像样本提取人脸区域图像，并所提取的人脸区域图像与该人脸图像样本预先标记的人脸区域图像进行比对，从而根据比对结果判断人脸区域识别模型训练的是否合格。例如确定该人脸区域识别模型提取人脸区域图像的准确率，并在该准确率大于或等于第一预设准确率阈值时，确定该人脸区域识别模型满足识别要求，结束训练，在该准确率小于第一预设准确率阈值时，确定该人脸区域识别模型不满足识别要求，继续对该人脸区域识别模型进行训练。
其中，第一预设准确率阈值可以通过事先确定得到，比如该第一预设准确率阈值可以为70％、80％或90％，当然，在实际应用中，该第一预设准确率阈值也可以包括其它数值，本公开实施例对此第一预设准确率阈值的大小不做具体限定。
步骤503，利用人脸情绪识别模型中的卷积层、池化层对人脸区域图像进行特征提取，得到人脸区域中人脸的情绪特征向量，并利用人脸情绪识别模型中的GAP层对情绪特征向量进行处理，确定人脸区域图像中人脸在各个情绪标签下的置信度，并基于确定出的各个情绪标签的置信度，识别人脸区域图像中人脸反映的情绪。
可选地，在实施步骤502之后，以及在实施步骤503之前，可以对人脸区域图像进行人脸校正处理得到人脸矫正区域图像，具体可以参考情绪识别方法实施例中人脸矫正处理的流程，此处不再详细描述。在此基础之上，实施步骤503时，则利用人脸情绪识别模型中的卷积层、池化层对人脸矫正区域图像进行特征提取，从而获得情绪特征向量。
可以将各人脸区域图像，输入至创建的人脸情绪识别模型，从而识别出人脸区域图像中人脸反映的情绪，将所识别的情绪标签与标记的情绪标签进行比较，根据所识别的情绪标签的正确或错误的不同结果，对该人脸情绪识别模型中的模型参数进行迭代更新，直至该人脸情绪识别模型收敛或者对模型参数进行迭代更新的次数达到预设迭代次数，确定训练结束。
可选地，若人脸图像样本集包括训练子集和测试子集，则可以通过训练子集训练获取人脸情绪识别模型，通过测试子集对该人脸情绪识别模型进行测试。
可以通过人脸情绪识别模型的卷积层和池化层，从测试子集中人脸图像样本的人脸区域图像中提取出情绪特征向量，然后通过GAP层对情绪特征向量进行处理，确定人脸区域图像中人脸在各个情绪标签下的置信度，并基于确定出的各个情绪标签的置信度，识别人脸区域图像中人脸反映的情绪，并将识别的情绪标签和预先标记的情绪标签进行比较，从而确定人脸情绪识别模型的识别准确率，若识别准确率低于第二准确率阈值，则继续对人脸情绪识别模型进行训练。
其中，第二预设准确率阈值可以通过事先确定得到，比如该第二预设准确率阈值可以为70％、80％或90％，当然，在实际应用中，该第二预设准确率阈值也可以包括其它数值，本公开实施例对此第二预设准确率阈值的大小不做具体限定。
另外，在本公开的另一可选实施例中，也可以分别获取第一人脸图像样本集和第二人脸图像样本集，其中，第一人脸图像样本集包括多个第一人脸图像样本，各第一人脸图像样本标记有人脸区域，第二人脸图像样本集包括多个第二人脸图像样本，各第二人脸图像样本标记有人脸区域以及人脸对应的情绪标签，且各第二人脸图像样本标记的情绪标签不完全相同，从而分别通过第一人脸图像样本集训练获取人脸区域识别模型，通过第二人脸图像样本集训练获取人脸情绪识别模型。
需要说明的是，在实际应用中，训练人脸区域识别模型和人脸情绪识别模型的设备，与应用人脸区域识别模型和人脸情绪识别模型的设备可以不是相同的设备，也可以是同一个设备，本公开实施例对此不做具体限定。
还需要说明的是，若本公开所提供的情绪识别方法应用于对动物情绪的识别，可以通过标记有动物面部区域以及情绪的动物面部图像样本集，训练获取相应的动物面部识别模型和动物面部情绪识别模型。
在本公开实施例中，能够通过人脸图像样本集对人脸区域识别模型和人脸情绪识别模型进行训练，且由于人脸情绪识别模型中包括GAP层而不包括全连接层，即通过将GAP层代替全连接层，大幅减少了模型参数以及内存占用，减少了过拟合的发生，有效提高了训练效率。
请参照图6，为公开所提供的一种预警方法的流程示意图。需要说明的是，本公开提供的预警方法并不以图6以及以下提供的具体顺序为限制，应当理解，在其它实施例中，本公开提供的预警方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。下面将对图6所示的流程进行详细阐述。
步骤601，识别患者在预设时间段内多个时间点的情绪。
其中，可以采用如前述任一种的情绪识别方法识别患者的情绪。
需要说明的是，预设时间段以及时间点可以通过预先设置得到。
步骤602，根据多个时间点的情绪确定患者的情绪变化。
患者的情绪变化可以说明患者的病情变化，比如因肉体的疼痛而产生的痛苦情绪，因心理疾病而产生的焦虑或疯狂情绪等等。
可以将多个时间点的情绪，与患者在正常状态时的情绪以及在病发时的情绪进行比较，从而确定患者的情绪变化。
步骤603，当情绪变化满足预警条件时，发送预警信号和展示情绪变化，以指示医护人员根据该情绪变化对患者执行相应护理。
当情绪变化满足预警条件时，可能患者生理或心理正在为病痛所折磨，需要及时护理，因而可以发出预警信号并展示情绪变化，以指示医护人员及时进行护理。
预警条件以及预警信号可以通过事先设置得到，且预警信号可以与预警条件对应，从而确保医护人员可以根据预警信号确定相应的护理方式。
例如，预警条件可以包括当前情绪为特定情绪，相应的预警信号可以包括对应特定情绪的灯光和/或声音。
需要说明的是，本公开实施例对预警条件和预警信号的形式不做具体限定。
在本公开实施例中，通过前述的情绪识别方法，有效提高了识别患者情绪变化效率，进而能够及时在该情绪变化满足预警条件时，发出预警信号并提示该情绪变化，从而便于快速对患者可能出现的病情进行护理，提高了对患者病情进行相应的效率。
需要说明的是，本发明实施例提供的情绪识别方法、模型训练方法、预警方法的执行主体可以相同也可以不同，如，情绪识别方法、预警方法的执行主体可以是医疗分析设备，而模型训练方法可以由电子设备(比如服务器)实施。
请参照图7，为本公开所提供的一种情绪识别装置700的功能模块示意图。需要说明的是，本实施例所提供的情绪识别装置700，其基本原理及产生的技术效果与前述对应的方法实施例相同，为简要描述，本实施例中未提及部分，可参考方法实施例中的相应内容。该情绪识别装置700包括第一提取模块701，第二提取模块702，处理模块703和识别模块704。
第一提取模块701，用于从待识别图像中提取出人脸区域图像；
第二提取模块702，用于利用卷积层和池化层对该人脸区域图像进行特征提取，得到该人脸区域图像中人脸的情绪特征向量；
处理模块703，用于利用GAP层对该情绪特征向量进行处理，得到该人脸区域图像中人脸分别在各个情绪标签下的置信度；
识别模块704，用于基于各个情绪标签的置信度，识别出该人脸区域图像中人脸反映的情绪。
可选地，请参见图8，该装置还包括：
矫正模块705，用于对该人脸区域图像进行人脸矫正处理，得到人脸矫正区域图像；
该第二提取模块702还用于：
利用卷积层和池化层对该人脸矫正区域图像进行特征提取，得到该人脸矫正区域图像中人脸的情绪特征向量。
可选地，该矫正模块705还用于：
识别该人脸区域图像中人脸的人脸关键点数据；
基于该人脸关键点数据，对该人脸区域图像进行透视变换，得到该人脸矫正区域图像。
可选地，该第一提取模块701还用于：
确定该待识别图像的HOG特征；
基于该HOG特征，从该待识别图像中提取出人脸区域图像。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
请参照图9，为本公开所提供的一种预警装置900的功能模块示意图。需要说明的是，本实施例所提供的预警装置900，其基本原理及产生的技术效果与前述对应的方法实施例相同，为简要描述，本实施例中未提及部分，可参考方法实施例中的相应内容。该预警装置900包括识别模块901，确定模块902和发送模块903。
识别模块901，用于采用前述任一的情绪识别装置识别患者在预设时间段内多个时间点的情绪；
确定模块902，用于根据该多个时间点的情绪确定该患者的情绪变化；
发送模块903，用于当该情绪变化满足预警条件时，发送预警信号和展示该情绪变化，以指示医护人员根据该情绪变化对该患者执行相应护理。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
请参照图10，为本公开所提供的一种模型训练装置1000的功能模块示意图。其中，模型包括人脸区域识别模型和人脸情绪识别模型。需要说明的是，本实施例所提供的模型训练装置1000，其基本原理及产生的技术效果与前述对应的方法实施例相同，为简要描述，本实施例中未提及部分，可参考方法实施例中的相应内容。该模型训练装置1000包括获取模块1001，第一训练模块1002和第二训练模块1003。
获取模块1001，用于获取人脸图像样本集，该人脸图像样本集包括多个人脸图像样本，每个人脸图像样本标记有人脸区域和人脸区域中人脸对应的情绪标签，且各个人脸图像样本标记的情绪标签不完全相同；
第一训练模块1002，用于利用该人脸图像样本集，对该人脸区域识别模型进行训练，在训练结束后，利用训练得到的人脸区域识别模型从该人脸图像样本集中的人脸图像样本中提取出人脸区域图像；
第二训练模块1003，用于利用人脸情绪识别模型中的卷积层、池化层对该人脸区域图像进行特征提取，得到该人脸区域中人脸的情绪特征向量；并利用该人脸情绪识别模型中的GAP层对该情绪特征向量进行处理，确定该人脸区域图像中人脸在各个情绪标签下的置信度；并基于确定出的各个情绪标签的置信度，识别该人脸区域图像中人脸反映的情绪。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
请参照图11，为本公开所提供的一种电子设备的功能模块示意图。该电子设备可以包括处理器1101、计算机可读存储介质1102和总线1103，该计算机可读存储介质1102存储有该处理器1101可执行的机器可读指令，当该电子设备运行时，该处理器1101与该计算机可读存储介质1102之间通过总线1103通信，该处理器1101执行该机器可读指令，可以实现上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本公开还提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行，以实现上述方法实施例。
在本公开所提供的几个实施例中，应该理解到，以上所描述的装置实施例仅仅是示意性的，所揭露的装置和方法，可以通过其它的方式实现。例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行，例如各单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (11)

1.一种情绪识别方法，其特征在于，所述方法包括：
从待识别图像中提取出人脸区域图像；
利用卷积层和池化层对所述人脸区域图像进行特征提取，得到所述人脸区域图像中人脸的情绪特征向量；
利用全局平均池化GAP层对所述情绪特征向量进行处理，得到所述人脸区域图像中人脸分别在各个情绪标签下的置信度；
基于各个所述情绪标签的置信度，识别出所述人脸区域图像中人脸反映的情绪。
2.如权利要求1所述的方法，其特征在于，在所述利用卷积层和池化层对所述人脸区域图像进行特征提取，得到所述人脸区域图像中人脸的情绪特征向量之前，所述方法还包括：
对所述人脸区域图像进行人脸矫正处理，得到人脸矫正区域图像；
所述利用卷积层和池化层对所述人脸区域图像进行特征提取，得到所述人脸区域图像中人脸的情绪特征向量，包括：
利用卷积层和池化层对所述人脸矫正区域图像进行特征提取，得到所述人脸矫正区域图像中人脸的情绪特征向量。
3.如权利要求2所述的方法，其特征在于，所述对所述人脸区域图像进行人脸矫正处理，得到人脸矫正区域图像，包括：
识别所述人脸区域图像中人脸的人脸关键点数据；
基于所述人脸关键点数据，对所述人脸区域图像进行透视变换，得到所述人脸矫正区域图像。
4.如权利要求1所述的方法，其特征在于，所述从待识别图像中提取出人脸区域图像，包括：
确定所述待识别图像的方向梯度直方图HOG特征；
基于所述HOG特征，从所述待识别图像中提取出所述人脸区域图像。
5.一种预警方法，其特征在于，包括：
采用权利要求1～4任一所述的情绪识别方法识别患者在预设时间段内多个时间点的情绪；
根据所述多个时间点的情绪确定所述患者的情绪变化；
当所述情绪变化满足预警条件时，发送预警信号和展示所述情绪变化，以指示医护人员根据所述情绪变化对所述患者执行相应护理。
6.一种模型训练方法，其特征在于，所述模型包括人脸区域识别模型和人脸情绪识别模型，所述方法包括：
获取人脸图像样本集，所述人脸图像样本集包括多个人脸图像样本，每个所述人脸图像样本标记有人脸区域和人脸区域中人脸对应的情绪标签，且各个所述人脸图像样本标记的情绪标签不完全相同；
利用所述人脸图像样本集，对所述人脸区域识别模型进行训练，在训练结束后，利用训练得到的人脸区域识别模型从所述人脸图像样本集中的人脸图像样本中提取出人脸区域图像；
利用人脸情绪识别模型中的卷积层、池化层对所述人脸区域图像进行特征提取，得到所述人脸区域中人脸的情绪特征向量；并利用所述人脸情绪识别模型中的GAP层对所述情绪特征向量进行处理，确定所述人脸区域图像中人脸在各个情绪标签下的置信度；并基于确定出的各个所述情绪标签的置信度，识别所述人脸区域图像中人脸反映的情绪。
7.一种情绪识别装置，其特征在于，所述装置包括：
第一提取模块，用于从待识别图像中提取出人脸区域图像；
第二提取模块，用于利用卷积层和池化层对所述人脸区域图像进行特征提取，得到所述人脸区域图像中人脸的情绪特征向量；
处理模块，用于利用GAP层对所述情绪特征向量进行处理，得到所述人脸区域图像中人脸分别在各个情绪标签下的置信度；
识别模块，用于基于各个所述情绪标签的置信度，识别出所述人脸区域图像中人脸反映的情绪。
8.一种预警装置，其特征在于，包括：
识别模块，用于采用权利要求7所述的情绪识别装置识别患者在预设时间段内多个时间点的情绪；
确定模块，用于根据所述多个时间点的情绪确定所述患者的情绪变化；
发送模块，用于当所述情绪变化满足预警条件时，发送预警信号和展示所述情绪变化，以指示医护人员根据所述情绪变化对所述患者执行相应护理。
9.一种模型训练装置，其特征在于，所述模型包括人脸区域识别模型和人脸情绪识别模型，所述装置包括：
获取模块，用于获取人脸图像样本集，所述人脸图像样本集包括多个人脸图像样本，每个所述人脸图像样本标记有人脸区域和人脸区域中人脸对应的情绪标签，且各个所述人脸图像样本标记的情绪标签不完全相同；
第一训练模块，用于利用所述人脸图像样本集，对所述人脸区域识别模型进行训练，在训练结束后，利用训练得到的人脸区域识别模型从所述人脸图像样本集中的人脸图像样本中提取出人脸区域图像；
第二训练模块，用于利用人脸情绪识别模型中的卷积层、池化层对所述人脸区域图像进行特征提取，得到所述人脸区域中人脸的情绪特征向量；并利用所述人脸情绪识别模型中的GAP层对所述情绪特征向量进行处理，确定所述人脸区域图像中人脸在各个情绪标签下的置信度；并基于确定出的各个所述情绪标签的置信度，识别所述人脸区域图像中人脸反映的情绪。
10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过所述总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-4任一方法的步骤，和/或，执行如权利要求5的步骤，和/或，执行如权利要求6的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-4任一方法的步骤，和/或，执行如权利要求5的步骤，和/或，执行如权利要求6的步骤。
CN201910909937.3A 2019-09-24 2019-09-24 情绪识别方法、预警方法、模型训练方法和相关装置 Pending CN110705419A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910909937.3A CN110705419A (zh) 2019-09-24 2019-09-24 情绪识别方法、预警方法、模型训练方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910909937.3A CN110705419A (zh) 2019-09-24 2019-09-24 情绪识别方法、预警方法、模型训练方法和相关装置

Publications (1)

Publication Number Publication Date
CN110705419A true CN110705419A (zh) 2020-01-17

Family

ID=69196389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910909937.3A Pending CN110705419A (zh) 2019-09-24 2019-09-24 情绪识别方法、预警方法、模型训练方法和相关装置

Country Status (1)

Country Link
CN (1) CN110705419A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259857A (zh) * 2020-02-13 2020-06-09 星宏集群有限公司 一种人脸笑容评分方法及人脸情绪分类方法
CN111530081A (zh) * 2020-04-17 2020-08-14 成都数字天空科技有限公司 游戏关卡设计方法、装置、存储介质及电子设备
CN111709461A (zh) * 2020-05-27 2020-09-25 北京百度网讯科技有限公司 动物识别模型的训练方法、装置、设备及存储介质
CN112307947A (zh) * 2020-10-29 2021-02-02 北京沃东天骏信息技术有限公司 用于生成信息的方法和装置
CN112541425A (zh) * 2020-12-10 2021-03-23 深圳地平线机器人科技有限公司 情绪检测方法、装置、介质及电子设备
CN112733803A (zh) * 2021-01-25 2021-04-30 中国科学院空天信息创新研究院 情绪识别方法及系统
CN112948691A (zh) * 2021-03-29 2021-06-11 建信金融科技有限责任公司 实体场所的体验指标计算方法和装置
CN113053385A (zh) * 2021-03-30 2021-06-29 中国工商银行股份有限公司 异常情绪检测方法及装置
CN113434227A (zh) * 2021-06-18 2021-09-24 深圳掌酷软件有限公司 锁屏壁纸切换方法、装置、设备及存储介质
CN113780062A (zh) * 2021-07-26 2021-12-10 岚图汽车科技有限公司 一种基于情感识别的车载智能交互方法、存储介质及芯片
GR20210100825A (el) * 2021-11-25 2023-06-13 Βιοαρωγη Ανωνυμη Εταιρεια, Πρωτοτυπη μεθοδος επικοινωνιας και συνεχους παρακολουθησης της σωματικης και συναισθηματικης καταστασης ασθενων μεσω παρακλινιου συστηματος
CN117079324A (zh) * 2023-08-17 2023-11-17 厚德明心(北京)科技有限公司 一种人脸情绪识别方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575367A (zh) * 2014-08-21 2017-04-19 北京市商汤科技开发有限公司 用于基于多任务的人脸关键点检测的方法和系统
CN107316015A (zh) * 2017-06-19 2017-11-03 南京邮电大学 一种基于深度时空特征的高精度面部表情识别方法
CN107633203A (zh) * 2017-08-17 2018-01-26 平安科技（深圳）有限公司 面部情绪识别方法、装置及存储介质
CN107862292A (zh) * 2017-11-15 2018-03-30 平安科技（深圳）有限公司 人物情绪分析方法、装置及存储介质
CN108229268A (zh) * 2016-12-31 2018-06-29 商汤集团有限公司 表情识别及卷积神经网络模型训练方法、装置和电子设备
CN109583431A (zh) * 2019-01-02 2019-04-05 上海极链网络科技有限公司 一种人脸情绪识别模型、方法及其电子装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575367A (zh) * 2014-08-21 2017-04-19 北京市商汤科技开发有限公司 用于基于多任务的人脸关键点检测的方法和系统
CN108229268A (zh) * 2016-12-31 2018-06-29 商汤集团有限公司 表情识别及卷积神经网络模型训练方法、装置和电子设备
CN107316015A (zh) * 2017-06-19 2017-11-03 南京邮电大学 一种基于深度时空特征的高精度面部表情识别方法
CN107633203A (zh) * 2017-08-17 2018-01-26 平安科技（深圳）有限公司 面部情绪识别方法、装置及存储介质
CN107862292A (zh) * 2017-11-15 2018-03-30 平安科技（深圳）有限公司 人物情绪分析方法、装置及存储介质
CN109583431A (zh) * 2019-01-02 2019-04-05 上海极链网络科技有限公司 一种人脸情绪识别模型、方法及其电子装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MIN LIN等: "Network In Network", 《ARXIV:1312.4400V3》 *
陈鹏展等: "基于ＴＰＬＢＰ／ ＨＯＧ特征与 ＤＢＮ 深度模型的人脸识别研究", 《测控技术》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259857A (zh) * 2020-02-13 2020-06-09 星宏集群有限公司 一种人脸笑容评分方法及人脸情绪分类方法
CN111530081A (zh) * 2020-04-17 2020-08-14 成都数字天空科技有限公司 游戏关卡设计方法、装置、存储介质及电子设备
CN111709461A (zh) * 2020-05-27 2020-09-25 北京百度网讯科技有限公司 动物识别模型的训练方法、装置、设备及存储介质
CN112307947A (zh) * 2020-10-29 2021-02-02 北京沃东天骏信息技术有限公司 用于生成信息的方法和装置
CN112541425A (zh) * 2020-12-10 2021-03-23 深圳地平线机器人科技有限公司 情绪检测方法、装置、介质及电子设备
CN112733803A (zh) * 2021-01-25 2021-04-30 中国科学院空天信息创新研究院 情绪识别方法及系统
CN112948691A (zh) * 2021-03-29 2021-06-11 建信金融科技有限责任公司 实体场所的体验指标计算方法和装置
CN113053385A (zh) * 2021-03-30 2021-06-29 中国工商银行股份有限公司 异常情绪检测方法及装置
CN113434227A (zh) * 2021-06-18 2021-09-24 深圳掌酷软件有限公司 锁屏壁纸切换方法、装置、设备及存储介质
CN113780062A (zh) * 2021-07-26 2021-12-10 岚图汽车科技有限公司 一种基于情感识别的车载智能交互方法、存储介质及芯片
GR20210100825A (el) * 2021-11-25 2023-06-13 Βιοαρωγη Ανωνυμη Εταιρεια, Πρωτοτυπη μεθοδος επικοινωνιας και συνεχους παρακολουθησης της σωματικης και συναισθηματικης καταστασης ασθενων μεσω παρακλινιου συστηματος
CN117079324A (zh) * 2023-08-17 2023-11-17 厚德明心(北京)科技有限公司 一种人脸情绪识别方法、装置、电子设备及存储介质
CN117079324B (zh) * 2023-08-17 2024-03-12 厚德明心(北京)科技有限公司 一种人脸情绪识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110705419A (zh) 情绪识别方法、预警方法、模型训练方法和相关装置
US10004463B2 (en) Systems, methods, and computer readable media for using descriptors to identify when a subject is likely to have a dysmorphic feature
Lucey et al. Painful monitoring: Automatic pain monitoring using the UNBC-McMaster shoulder pain expression archive database
CN110869938A (zh) 人员识别系统和方法
CN111091109B (zh) 基于人脸图像进行年龄和性别预测的方法、系统和设备
CN112016527B (zh) 基于深度学习的大熊猫行为识别方法、系统、终端及介质
CN111523389A (zh) 情绪智能识别方法、装置、电子设备及存储介质
JP2017506379A (ja) 無制約の媒体内の顔を識別するシステムおよび方法
Sukno et al. Active shape models with invariant optimal features: Application to facial analysis
CN111753643B (zh) 人物姿态识别方法、装置、计算机设备和存储介质
CN111222380B (zh) 一种活体检测方法、装置、及其识别模型训练方法
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN110969613B (zh) 一种具有影像征象解释的肺结核智能识别方法及系统
CN112418135A (zh) 人体行为识别方法、装置、计算机设备及可读存储介质
JP2007048172A (ja) 情報分類装置
CN113781488A (zh) 舌象图像的分割方法、装置及介质
CN116681923A (zh) 一种基于人工智能的眼科疾病自动分类方法及系统
CN115205933A (zh) 面部表情识别方法、装置、设备及可读存储介质
CN113033387A (zh) 一种自动识别老年人慢性疼痛程度的智能评估方法及系统
CN113052236A (zh) 一种基于NASNet的肺炎图像分类方法
CN117351504A (zh) 一种电子病历表格抽取的方法、装置、设备及介质
CN112861743A (zh) 一种掌静脉图像防伪方法、装置和设备
CN110222571B (zh) 黑眼圈智能判断方法、装置及计算机可读存储介质
CN110110750B (zh) 一种原始图片的分类方法及装置
CN113723165B (zh) 基于深度学习的待检测人员危险表情检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117