CN117079324B - 一种人脸情绪识别方法、装置、电子设备及存储介质 - Google Patents

一种人脸情绪识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117079324B
CN117079324B CN202311039493.5A CN202311039493A CN117079324B CN 117079324 B CN117079324 B CN 117079324B CN 202311039493 A CN202311039493 A CN 202311039493A CN 117079324 B CN117079324 B CN 117079324B
Authority
CN
China
Prior art keywords
face
emotion
matrix
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311039493.5A
Other languages
English (en)
Other versions
CN117079324A (zh
Inventor
康现昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Houde Mingxin Beijing Technology Co ltd
Original Assignee
Houde Mingxin Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Houde Mingxin Beijing Technology Co ltd filed Critical Houde Mingxin Beijing Technology Co ltd
Priority to CN202311039493.5A priority Critical patent/CN117079324B/zh
Publication of CN117079324A publication Critical patent/CN117079324A/zh
Application granted granted Critical
Publication of CN117079324B publication Critical patent/CN117079324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种人脸情绪识别方法、装置、电子设备及存储介质，方法包括：通过拍摄装置，获取待识别的目标图像；使用预先训练好的人脸识别模型对所述目标图像进行识别，得到所述目标图像中全部人脸各自所处的目标区域，其中，所述人脸识别模型为深度学习模型；对于所述目标图像中每一所述人脸各自所处的目标区域，使用预先训练好的情绪识别模型对该人脸所处的目标区域进行识别，得到该人脸所表现出的情绪以及该人脸对应的情绪指数，其中，所述情绪识别模型为深度学习模型，该人脸对应的情绪指数用于反映该人脸所表现出的情绪的强度。本申请能够对图像中的每个人脸均进行情绪识别以及情绪强度识别。

Description

一种人脸情绪识别方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理领域，具体而言，涉及一种人脸情绪识别方法、装置、电子设备及存储介质。
背景技术
随着科技的发展，人脸图像识别开始出现，进一步的，人脸情绪识别也应运而生。
然而，现有方式一般仅对单个人脸进行识别，而且无法识别出人脸所表现出的情绪的强度。
发明内容
有鉴于此，本申请的目的在于提供一种人脸情绪识别方法、装置、电子设备及存储介质，能够对图像中的每个人脸均进行情绪识别以及情绪强度识别。
第一方面，本申请实施例提供了一种人脸情绪识别方法，所述方法包括：
通过拍摄装置，获取待识别的目标图像；
使用预先训练好的人脸识别模型对所述目标图像进行识别，得到所述目标图像中全部人脸各自所处的目标区域，其中，所述人脸识别模型为深度学习模型；
对于所述目标图像中每一所述人脸各自所处的目标区域，使用预先训练好的情绪识别模型对该人脸所处的目标区域进行识别，得到该人脸所表现出的情绪以及该人脸对应的情绪指数，其中，所述情绪识别模型为深度学习模型，该人脸对应的情绪指数用于反映该人脸所表现出的情绪的强度。
在一种可能的实施方式中，所述情绪识别模型，依次包括：输入层，卷积层，池化层，全连接层，输出层。
在一种可能的实施方式中，所述池化层，用于：
对于自身接收到的第一矩阵中每一位置的数值，对该位置的数值进行归一化处理，得到该位置对应的归一化值；
将该位置的数值替换为该位置对应的归一化值，得到归一化矩阵；
对所述归一化矩阵进行卷积运算，得到第二矩阵；
将所述归一化矩阵与所述第二矩阵的转置矩阵进行乘积，得到目标矩阵，并将所述目标矩阵传输给所述池化层的下一层，以使所述池化层的下一层基于所述目标矩阵进行处理。
在一种可能的实施方式中，在对于所述目标图像中每一所述人脸各自所处的目标区域，使用预先训练好的情绪识别模型对该人脸所处的目标区域进行识别，得到该人脸所表现出的情绪以及该人脸对应的情绪指数之后，所述方法还包括：
对于所述目标图像中每一所述人脸各自所处的目标区域，在该人脸所处的目标区域覆盖上与该人脸所表现出的情绪对应的预设人脸表情图像，得到覆盖图像，其中，所述预设人脸表情图像与该人脸的大小相匹配；
在显示屏上对所述覆盖图像进行实时显示。
第二方面，本申请实施例还提供了一种人脸情绪识别装置，所述装置包括：
图像获取模块，用于通过拍摄装置，获取待识别的目标图像；
第一识别模块，用于使用预先训练好的人脸识别模型对所述目标图像进行识别，得到所述目标图像中全部人脸各自所处的目标区域，其中，所述人脸识别模型为深度学习模型；
第二识别模块，用于对于所述目标图像中每一所述人脸各自所处的目标区域，使用预先训练好的情绪识别模型对该人脸所处的目标区域进行识别，得到该人脸所表现出的情绪以及该人脸对应的情绪指数，其中，所述情绪识别模型为深度学习模型，该人脸对应的情绪指数用于反映该人脸所表现出的情绪的强度。
在一种可能的实施方式中，所述情绪识别模型，依次包括：输入层，卷积层，池化层，全连接层，输出层。
在一种可能的实施方式中，所述池化层，用于：
对于自身接收到的第一矩阵中每一位置的数值，对该位置的数值进行归一化处理，得到该位置对应的归一化值；
将该位置的数值替换为该位置对应的归一化值，得到归一化矩阵；
对所述归一化矩阵进行卷积运算，得到第二矩阵；
将所述归一化矩阵与所述第二矩阵的转置矩阵进行乘积，得到目标矩阵，并将所述目标矩阵传输给所述池化层的下一层，以使所述池化层的下一层基于所述目标矩阵进行处理。
在一种可能的实施方式中，所述装置还包括：
覆盖模块，用于在所述第二识别模块对于所述目标图像中每一所述人脸各自所处的目标区域，使用预先训练好的情绪识别模型对该人脸所处的目标区域进行识别，得到该人脸所表现出的情绪以及该人脸对应的情绪指数之后，对于所述目标图像中每一所述人脸各自所处的目标区域，在该人脸所处的目标区域覆盖上与该人脸所表现出的情绪对应的预设人脸表情图像，得到覆盖图像，其中，所述预设人脸表情图像与该人脸的大小相匹配；
显示模块，用于在显示屏上对所述覆盖图像进行实时显示。
第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面任一项所述的人脸情绪识别方法的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一项所述的人脸情绪识别方法的步骤。
本申请实施例提供的一种人脸情绪识别方法、装置、电子设备及存储介质，能够对图像中的每个人脸均进行情绪识别以及情绪强度识别。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种人脸情绪识别方法的流程图；
图2示出了本申请实施例提供的另一种人脸情绪识别方法的流程图；
图3示出了本申请实施例提供的一种人脸情绪识别装置的结构示意图；
图4示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
为便于对本实施例进行理解，对本申请实施例提供的一种人脸情绪识别方法、装置、电子设备及存储介质进行详细介绍。
参照图1所示，为本申请实施例提供的一种人脸情绪识别方法的流程图，所述方法包括：
S101、通过拍摄装置，获取待识别的目标图像；
示例性的，拍摄装置可以为摄像头，设置位置可以在某密闭场景内，例如，电梯内。
另外，若判断目标图像光照过强(即目标图像的平均像素值高于第一预设阈值)或过暗(即目标图像的平均像素值低于第二预设阈值)，可以对目标图像进行调暗处理或加亮处理。
S102、使用预先训练好的人脸识别模型对所述目标图像进行识别，得到所述目标图像中全部人脸各自所处的目标区域，其中，所述人脸识别模型为深度学习模型；
S103、对于所述目标图像中每一所述人脸各自所处的目标区域，使用预先训练好的情绪识别模型对该人脸所处的目标区域进行识别，得到该人脸所表现出的情绪以及该人脸对应的情绪指数，其中，所述情绪识别模型为深度学习模型，该人脸对应的情绪指数用于反映该人脸所表现出的情绪的强度。
示例性的，情绪指数可以设置为1-9的自然数。
示例性的，该人脸对应的情绪指数越高，则表征该人脸所表现出的情绪的强度越高。
优选的，在训练情绪识别模型时，使用的训练集为不同年龄段、不同性别(性别比例优选为1比1左右)、表现出不同情绪表情、表现出不同情绪强度的人脸图像，以及，示例性的，预设的情绪可以设置为以下7种：愤怒、高兴、悲伤、惊讶、厌恶、恐惧、自然，即，该人脸所表现出的情绪为以上7者中的某一者。
在一种可能的实施方式中，若目标图像中表现出消极情绪的人脸的数量超过预设数值，和/或，表现出消极情绪的人脸的数量占全部人脸数量的百分比超过预设百分比，则在预设的终端上进行报警提示，其中，消极情绪包括：悲伤、愤怒、惊讶、厌恶，恐惧，预设的终端可以为手机或电脑，报警提示的方式可以为语音提示，也可以为文字提示，或者是语音提示和文字提示二者皆有。
示例性的，还可以对每个人脸的人物身份进行识别，并将该人脸所表现出的情绪(以及该人脸对应的情绪指数)与该人脸的人物身份进行绑定，并将绑定结果保存到本地数据库或云端。
在一种可能的实施方式中，所述情绪识别模型，依次包括：输入层，卷积层，池化层，全连接层，输出层。
优选的，全连接层与输出层之间还可以包括损失层，通过增加损失层，可以修正正反向的传播误差。
示例性的，输出层的激活函数可以为Sigmoid函数或Softmax函数。
在一种可能的实施方式中，所述池化层，用于：
对于自身接收到的第一矩阵中每一位置的数值，对该位置的数值进行归一化处理，得到该位置对应的归一化值；
将该位置的数值替换为该位置对应的归一化值，得到归一化矩阵；
对所述归一化矩阵进行卷积运算，得到第二矩阵；
将所述归一化矩阵与所述第二矩阵的转置矩阵进行乘积，得到目标矩阵，并将所述目标矩阵传输给所述池化层的下一层，以使所述池化层的下一层基于所述目标矩阵进行处理。
在池化层和全连接层不包括其他层的情况下，池化层的下一层即为全连接层。
通过对池化层的改进，不仅提升了模型情绪识别的准确度，还减少了模型训练完成所需的时间。
参照图2所示，为本申请实施例提供的另一种人脸情绪识别方法的流程图，在一种可能的实施方式中，在对于所述目标图像中每一所述人脸各自所处的目标区域，使用预先训练好的情绪识别模型对该人脸所处的目标区域进行识别，得到该人脸所表现出的情绪以及该人脸对应的情绪指数之后，所述方法还包括：
S201、对于所述目标图像中每一所述人脸各自所处的目标区域，在该人脸所处的目标区域覆盖上与该人脸所表现出的情绪对应的预设人脸表情图像，得到覆盖图像，其中，所述预设人脸表情图像与该人脸的大小相匹配；
示例性的，预设人脸表情图像可以为卡通图像。
优选的，不同的预设人脸表情图像可以采用不同的颜色，以使用户便于区分，例如，愤怒情绪对应的预设人脸表情图像为红色，自然表情对应的预设人脸表情图像为绿色。
S202、在显示屏上对所述覆盖图像进行实时显示。
示例性的，可以为监控显示屏，显示屏可以为LCD显示屏，或者是LED显示屏。
以及，还可以在该人脸所处的目标区域处覆盖的预设人脸表情图像上显示出该人脸对应的情绪指数。
在一种可能的实施方式中，可以响应对该人脸所处的目标区域处覆盖的预设人脸表情图像的旋转操作，对该预设人脸表情进行相应的旋转。
本申请实施例提供的一种人脸情绪识别方法，能够对图像中的每个人脸均进行情绪识别以及情绪强度识别。
参照图3所示，为本申请实施例提供的一种人脸情绪识别装置的结构示意图，所述装置包括：
图像获取模块301，用于通过拍摄装置，获取待识别的目标图像；
第一识别模块302，用于使用预先训练好的人脸识别模型对所述目标图像进行识别，得到所述目标图像中全部人脸各自所处的目标区域，其中，所述人脸识别模型为深度学习模型；
第二识别模块303，用于对于所述目标图像中每一所述人脸各自所处的目标区域，使用预先训练好的情绪识别模型对该人脸所处的目标区域进行识别，得到该人脸所表现出的情绪以及该人脸对应的情绪指数，其中，所述情绪识别模型为深度学习模型，该人脸对应的情绪指数用于反映该人脸所表现出的情绪的强度。
在一种可能的实施方式中，所述情绪识别模型，依次包括：输入层，卷积层，池化层，全连接层，输出层。
在一种可能的实施方式中，所述池化层，用于：
对于自身接收到的第一矩阵中每一位置的数值，对该位置的数值进行归一化处理，得到该位置对应的归一化值；
将该位置的数值替换为该位置对应的归一化值，得到归一化矩阵；
对所述归一化矩阵进行卷积运算，得到第二矩阵；
将所述归一化矩阵与所述第二矩阵的转置矩阵进行乘积，得到目标矩阵，并将所述目标矩阵传输给所述池化层的下一层，以使所述池化层的下一层基于所述目标矩阵进行处理。
在一种可能的实施方式中，所述装置还包括：
覆盖模块，用于在所述第二识别模块对于所述目标图像中每一所述人脸各自所处的目标区域，使用预先训练好的情绪识别模型对该人脸所处的目标区域进行识别，得到该人脸所表现出的情绪以及该人脸对应的情绪指数之后，对于所述目标图像中每一所述人脸各自所处的目标区域，在该人脸所处的目标区域覆盖上与该人脸所表现出的情绪对应的预设人脸表情图像，得到覆盖图像，其中，所述预设人脸表情图像与该人脸的大小相匹配；
显示模块，用于在显示屏上对所述覆盖图像进行实时显示。
本申请实施例提供的一种人脸情绪识别装置，能够对图像中的每个人脸均进行情绪识别以及情绪强度识别。
参照图4所示，本申请实施例提供的一种电子设备400，包括：处理器401、存储器402和总线，所述存储器402存储有所述处理器401可执行的机器可读指令，当电子设备运行时，所述处理器401与所述存储器402之间通过总线通信，所述处理器401执行所述机器可读指令，以执行如上述人脸情绪识别的方法的步骤。
具体地，上述存储器402和处理器401能够为通用的存储器和处理器，这里不做具体限定，当处理器401运行存储器402存储的计算机程序时，能够执行上述人脸情绪识别的方法。
对应于上述人脸情绪识别的方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述人脸情绪识别的方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、系统和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种人脸情绪识别方法，其特征在于，所述方法包括：
通过拍摄装置，获取待识别的目标图像；
使用预先训练好的人脸识别模型对所述目标图像进行识别，得到所述目标图像中全部人脸各自所处的目标区域，其中，所述人脸识别模型为深度学习模型；
对于所述目标图像中每一所述人脸各自所处的目标区域，使用预先训练好的情绪识别模型对该人脸所处的目标区域进行识别，得到该人脸所表现出的情绪以及该人脸对应的情绪指数，其中，所述情绪识别模型为深度学习模型，该人脸对应的情绪指数用于反映该人脸所表现出的情绪的强度；
所述情绪识别模型，依次包括：输入层，卷积层，池化层，全连接层，输出层；
所述池化层，用于：
对于自身接收到的第一矩阵中每一位置的数值，对该位置的数值进行归一化处理，得到该位置对应的归一化值；
将该位置的数值替换为该位置对应的归一化值，得到归一化矩阵；
对所述归一化矩阵进行卷积运算，得到第二矩阵；
将所述归一化矩阵与所述第二矩阵的转置矩阵进行乘积，得到目标矩阵，并将所述目标矩阵传输给所述池化层的下一层，以使所述池化层的下一层基于所述目标矩阵进行处理。
2.根据权利要求1所述的人脸情绪识别方法，其特征在于，在对于所述目标图像中每一所述人脸各自所处的目标区域，使用预先训练好的情绪识别模型对该人脸所处的目标区域进行识别，得到该人脸所表现出的情绪以及该人脸对应的情绪指数之后，所述方法还包括：
对于所述目标图像中每一所述人脸各自所处的目标区域，在该人脸所处的目标区域覆盖上与该人脸所表现出的情绪对应的预设人脸表情图像，得到覆盖图像，其中，所述预设人脸表情图像与该人脸的大小相匹配；
在显示屏上对所述覆盖图像进行实时显示。
3.一种人脸情绪识别装置，其特征在于，所述装置包括：
图像获取模块，用于通过拍摄装置，获取待识别的目标图像；
第一识别模块，用于使用预先训练好的人脸识别模型对所述目标图像进行识别，得到所述目标图像中全部人脸各自所处的目标区域，其中，所述人脸识别模型为深度学习模型；
第二识别模块，用于对于所述目标图像中每一所述人脸各自所处的目标区域，使用预先训练好的情绪识别模型对该人脸所处的目标区域进行识别，得到该人脸所表现出的情绪以及该人脸对应的情绪指数，其中，所述情绪识别模型为深度学习模型，该人脸对应的情绪指数用于反映该人脸所表现出的情绪的强度；
所述情绪识别模型，依次包括：输入层，卷积层，池化层，全连接层，输出层；
所述池化层，用于：
对于自身接收到的第一矩阵中每一位置的数值，对该位置的数值进行归一化处理，得到该位置对应的归一化值；
将该位置的数值替换为该位置对应的归一化值，得到归一化矩阵；
对所述归一化矩阵进行卷积运算，得到第二矩阵；
将所述归一化矩阵与所述第二矩阵的转置矩阵进行乘积，得到目标矩阵，并将所述目标矩阵传输给所述池化层的下一层，以使所述池化层的下一层基于所述目标矩阵进行处理。
4.根据权利要求3所述的人脸情绪识别装置，其特征在于，所述装置还包括：
覆盖模块，用于在所述第二识别模块对于所述目标图像中每一所述人脸各自所处的目标区域，使用预先训练好的情绪识别模型对该人脸所处的目标区域进行识别，得到该人脸所表现出的情绪以及该人脸对应的情绪指数之后，对于所述目标图像中每一所述人脸各自所处的目标区域，在该人脸所处的目标区域覆盖上与该人脸所表现出的情绪对应的预设人脸表情图像，得到覆盖图像，其中，所述预设人脸表情图像与该人脸的大小相匹配；
显示模块，用于在显示屏上对所述覆盖图像进行实时显示。
5.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1或2所述的人脸情绪识别方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1或2所述的人脸情绪识别方法的步骤。
CN202311039493.5A 2023-08-17 2023-08-17 一种人脸情绪识别方法、装置、电子设备及存储介质 Active CN117079324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311039493.5A CN117079324B (zh) 2023-08-17 2023-08-17 一种人脸情绪识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311039493.5A CN117079324B (zh) 2023-08-17 2023-08-17 一种人脸情绪识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117079324A CN117079324A (zh) 2023-11-17
CN117079324B true CN117079324B (zh) 2024-03-12

Family

ID=88712738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311039493.5A Active CN117079324B (zh) 2023-08-17 2023-08-17 一种人脸情绪识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117079324B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992824A (zh) * 2017-11-30 2018-05-04 努比亚技术有限公司 拍照处理方法、移动终端及计算机可读存储介质
CN108537749A (zh) * 2018-03-29 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN108563978A (zh) * 2017-12-18 2018-09-21 深圳英飞拓科技股份有限公司 一种情绪检测方法与装置
CN108833779A (zh) * 2018-06-15 2018-11-16 Oppo广东移动通信有限公司 拍摄控制方法及相关产品
CN109508638A (zh) * 2018-10-11 2019-03-22 平安科技（深圳）有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
CN109919001A (zh) * 2019-01-23 2019-06-21 深圳壹账通智能科技有限公司 基于情绪识别的客服监测方法、装置、设备和存储介质
CN110705419A (zh) * 2019-09-24 2020-01-17 新华三大数据技术有限公司 情绪识别方法、预警方法、模型训练方法和相关装置
CN111627086A (zh) * 2020-06-03 2020-09-04 上海商汤智能科技有限公司 一种头像的展示方法、装置、计算机设备及存储介质
CN111696176A (zh) * 2020-06-08 2020-09-22 北京有竹居网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN113822164A (zh) * 2021-08-25 2021-12-21 深圳市安视宝科技有限公司 动态情绪识别方法、装置、计算机设备和存储介质
CN113850136A (zh) * 2021-08-24 2021-12-28 中国船舶重工集团公司第七0九研究所 基于yolov5与BCNN的车辆朝向识别方法及系统
WO2023098912A1 (zh) * 2021-12-02 2023-06-08 新东方教育科技集团有限公司 图像处理方法、装置、存储介质及电子设备
CN116363732A (zh) * 2023-03-10 2023-06-30 武汉轻工大学 人脸情绪识别方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891537B2 (en) * 2019-03-20 2021-01-12 Huawei Technologies Co., Ltd. Convolutional neural network-based image processing method and image processing apparatus

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992824A (zh) * 2017-11-30 2018-05-04 努比亚技术有限公司 拍照处理方法、移动终端及计算机可读存储介质
CN108563978A (zh) * 2017-12-18 2018-09-21 深圳英飞拓科技股份有限公司 一种情绪检测方法与装置
CN108537749A (zh) * 2018-03-29 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN108833779A (zh) * 2018-06-15 2018-11-16 Oppo广东移动通信有限公司 拍摄控制方法及相关产品
CN109508638A (zh) * 2018-10-11 2019-03-22 平安科技（深圳）有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
CN109919001A (zh) * 2019-01-23 2019-06-21 深圳壹账通智能科技有限公司 基于情绪识别的客服监测方法、装置、设备和存储介质
CN110705419A (zh) * 2019-09-24 2020-01-17 新华三大数据技术有限公司 情绪识别方法、预警方法、模型训练方法和相关装置
CN111627086A (zh) * 2020-06-03 2020-09-04 上海商汤智能科技有限公司 一种头像的展示方法、装置、计算机设备及存储介质
CN111696176A (zh) * 2020-06-08 2020-09-22 北京有竹居网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN113850136A (zh) * 2021-08-24 2021-12-28 中国船舶重工集团公司第七0九研究所 基于yolov5与BCNN的车辆朝向识别方法及系统
CN113822164A (zh) * 2021-08-25 2021-12-21 深圳市安视宝科技有限公司 动态情绪识别方法、装置、计算机设备和存储介质
WO2023098912A1 (zh) * 2021-12-02 2023-06-08 新东方教育科技集团有限公司 图像处理方法、装置、存储介质及电子设备
CN116363732A (zh) * 2023-03-10 2023-06-30 武汉轻工大学 人脸情绪识别方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Visual Geometry Group based on U-Shaped Model for Liver Tumor Segmentation;Javaria Amin et al.;《IEEE LATIN AMERICA TRANSACTIONS》;20230430;第21卷(第4期);557-564 *
一种基于改进的卷积神经网络的人脸表情识别方法;邹建成 等;北方工业大学学报;20200430;32(2);39-44 *

Also Published As

Publication number Publication date
CN117079324A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN113343826B (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
CN106682602A (zh) 一种驾驶员行为识别方法及终端
CN110929805B (zh) 神经网络的训练方法、目标检测方法及设备、电路和介质
CN110879993B (zh) 神经网络训练方法、人脸识别任务的执行方法及装置
CN107871345A (zh) 信息处理方法及相关产品
CN110738102A (zh) 一种人脸识别方法及系统
CN110472582B (zh) 基于眼部识别的3d人脸识别方法、装置和终端
CN112507897A (zh) 跨模态人脸识别方法、装置、设备及存储介质
CN112925412A (zh) 智能镜子的控制方法、设备和存储介质
CN117079324B (zh) 一种人脸情绪识别方法、装置、电子设备及存储介质
CN114783070A (zh) 活体检测模型的训练方法、装置、电子设备及存储介质
CN112037235A (zh) 伤情图片自动化审核方法、装置、电子设备及存储介质
CN116363538A (zh) 一种基于无人机的桥梁检测方法及系统
CN113469049B (zh) 一种疾病信息识别方法、系统、装置及存储介质
CN116168378A (zh) 车牌识别方法、装置、非易失性存储介质和计算机设备
CN114202807A (zh) 活体检测方法、装置、电子设备及存储介质
CN113628145B (zh) 一种图像清晰化方法、系统、设备及存储介质
CN113011328B (zh) 图像处理方法、装置、电子设备及存储介质
CN112581001B (zh) 设备的评估方法及装置、电子设备、可读存储介质
CN111753656B (zh) 特征提取方法、装置、设备及计算机可读存储介质
CN114119374A (zh) 图像处理方法、装置、设备以及存储介质
CN113849665A (zh) 多媒体数据识别方法、装置、设备及存储介质
CN106447639A (zh) 一种移动终端照片处理方法及装置
CN113221766A (zh) 训练活体人脸识别模型、识别活体人脸的方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant