CN114648802A - 用户面部表情识别方法、装置和设备 - Google Patents

用户面部表情识别方法、装置和设备 Download PDF

Info

Publication number
CN114648802A
CN114648802A CN202210541431.3A CN202210541431A CN114648802A CN 114648802 A CN114648802 A CN 114648802A CN 202210541431 A CN202210541431 A CN 202210541431A CN 114648802 A CN114648802 A CN 114648802A
Authority
CN
China
Prior art keywords
feature map
determining
image
feature
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210541431.3A
Other languages
English (en)
Other versions
CN114648802B (zh
Inventor
周波
陈永刚
苗瑞
邹小刚
梁书玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haiqing Zhiyuan Technology Co.,Ltd.
Original Assignee
Shenzhen HQVT Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen HQVT Technology Co Ltd filed Critical Shenzhen HQVT Technology Co Ltd
Priority to CN202210541431.3A priority Critical patent/CN114648802B/zh
Publication of CN114648802A publication Critical patent/CN114648802A/zh
Application granted granted Critical
Publication of CN114648802B publication Critical patent/CN114648802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种用户面部表情识别方法、装置和设备。该方法包括：获取目标对象的待处理图像，并对待处理图像进行卷积处理，确定待处理图像的第一特征图，其中，第一特征图表征待处理图像的基础特征信息；基于第一特征图，提取待处理图像的深层特征信息，得到最终特征图，其中，最终特征图包括基础特征信息和深层特征信息；根据最终特征图，确定待处理图像的分类识别结果。实现了对用户面部表情的特征的高精度、深层次提取，提高了面部表情分类识别结果的准确性。

Description

用户面部表情识别方法、装置和设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种用户面部表情识别方法、装置和设备。
背景技术
由于煤矿生产环境具有不稳定性高、光照条件差以及能见度较低等特性，需要对煤矿生产现场进行实时监控，尤其需要对煤矿井下作业人员的面部表情进行识别分类，以尽早发现作业人员的异常，保障煤矿井下作业人员的人身安全以及生产作业安全。
现有技术中，利用结构简单的卷积神经网络对煤矿作业人员的面部表情图像进行简单卷积处理，以获取煤矿作业人员的面部特征信息，进而确定面部表情图像的分类识别结果。
然而现有技术中，由于煤矿作业人员的面部表情图像中人脸区域与背景区域对比度较小，并且煤矿作业人员的脸部颜色较深，使用结构简单的卷积神经网络提取其面部特征信息的精度较低，进而导致识别结果不准确。
发明内容
本申请提供一种用户面部表情识别方法、装置和设备，用以解决提取用户面部特征信息的精度较低，面部表情识别结果不准确的问题。
第一方面，本申请提供一种用户面部表情识别方法，所述方法包括：
获取目标对象的待处理图像，并对所述待处理图像进行卷积处理，确定所述待处理图像的第一特征图，其中，所述第一特征图表征所述待处理图像的基础特征信息；
基于所述第一特征图，提取所述待处理图像的深层特征信息，得到最终特征图，其中，所述最终特征图包括所述基础特征信息和所述深层特征信息；
根据所述最终特征图，确定所述待处理图像的分类识别结果。
在可选的一种实施方式中，基于所述第一特征图，提取所述待处理图像的深层特征信息，确定最终特征图，包括：
重复执行以下步骤，直至达到预设条件：
对所述第一特征图中每一像素点进行卷积处理和采样处理，提取所述第一特征图中每一像素点的关键特征信息，确定第二特征图，其中，所述第一特征图中包括有N×N个像素点，N为大于1的正整数；
对所述第一特征图中每一像素点进行卷积处理和激活处理，提取所述特征图中每一像素点的关联特征信息，确定第三特征图；
对所述第一特征图、所述第二特征图以及所述第三特征图进行特征融合处理，确定第四特征图，将所述第四特征图确定为新的第一特征图；
其中，所述预设条件为预设最大深层特征信息提取次数；达到预设条件时的第一特征图为最终特征图。
在可选的一种实施方式中，对所述第一特征图中每一像素点进行卷积处理和采样处理，提取所述第一特征图中每一像素点的关键特征信息，确定第二特征图，包括：
基于预设的1×1卷积核，对所述第一特征图中每一像素点进行卷积处理，获取所述第一特征图中每一像素点的特征映射信息；
对每一像素点的特征映射信息进行上采样和下采样处理，确定并强化每一像素点的关键特征信息，确定第二特征图。
在可选的一种实施方式中，对所述第一特征图中每一像素点进行卷积处理和激活处理，提取所述特征图中每一像素点的关联特征信息，确定第三特征图，包括：
对所述第一特征图进行深度可分离卷积处理，并根据第一预设激活函数对每一像素点进行逐通道激活，提取每一像素点的关联特征信息，确定第三特征图。
在可选的一种实施方式中，所述第一预设激活函数具有线性参数，所述线性参数用于对每一像素点进行逐通道激活，获取每一像素点的关联特征信息。
在可选的一种实施方式中，根据所述最终特征图，确定所述待处理图像的分类识别结果，包括：
对所述最终特征图进行池化处理，并根据第二预设激活函数确定所述待处理图像的识别预测信息，确定所述待处理图像的分类识别结果。
第二方面，本申请提供一种用户面部表情识别装置，所述装置包括：
第一确定单元，用于获取目标对象的待处理图像，并对所述待处理图像进行卷积处理，确定所述待处理图像的第一特征图，其中，所述第一特征图表征所述待处理图像的基础特征信息；
处理单元，用于基于所述第一特征图，提取所述待处理图像的深层特征信息，得到最终特征图，其中，所述最终特征图包括所述基础特征信息和所述深层特征信息；
第二确定单元，用于根据所述最终特征图，确定所述待处理图像的分类识别结果。
在可选的一种实施方式中，所述处理单元具体用于：
重复执行以下步骤，直至达到预设条件：
对所述第一特征图中每一像素点进行卷积处理和采样处理，提取所述第一特征图中每一像素点的关键特征信息，确定第二特征图，其中，所述第一特征图中包括有N×N个像素点，N为大于1的正整数；
对所述第一特征图中每一像素点进行卷积处理和激活处理，提取所述特征图中每一像素点的关联特征信息，确定第三特征图；
对所述第一特征图、所述第二特征图以及所述第三特征图进行特征融合处理，确定第四特征图，将所述第四特征图确定为新的第一特征图；
其中，所述预设条件为预设最大深层特征信息提取次数；达到预设条件时的第一特征图为最终特征图。
第三方面，本申请提供一种电子设备，所述电子设备包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行如第一方面所述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
本申请提供的用户面部表情识别方法、装置和设备，通过以下步骤：获取目标对象的待处理图像，并对待处理图像进行卷积处理，确定待处理图像的第一特征图，其中，第一特征图表征待处理图像的基础特征信息；基于第一特征图，提取待处理图像的深层特征信息，得到最终特征图，其中，最终特征图包括基础特征信息和深层特征信息；根据最终特征图，确定待处理图像的分类识别结果。实现了对用户面部表情的特征的高精度、深层次提取，提高了面部表情分类识别结果的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种用户面部表情识别方法的流程图；
图2为本申请实施例提供的另一种用户面部表情识别方法的流程图；
图3为本申请实施例提供的一种用户面部表情识别装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图；
图5是根据一示例性实施例示出的一种终端设备的框图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
由于煤矿生产环境具有不稳定性高、光照条件差以及能见度较低等特性，需要对煤矿生产现场进行实时监控，尤其需要对煤矿井下作业人员的面部表情进行识别分类，以尽早发现作业人员的异常，保障煤矿井下作业人员的人身安全以及生产作业安全。
现有技术中，利用结构简单的卷积神经网络对煤矿作业人员的面部表情图像进行简单卷积处理，以获取煤矿作业人员的面部特征信息，进而确定面部表情图像的分类识别结果。
如果要使得面部识别结果更加准确，就需要大量的数据集进行识别训练，目前传统的机器学习对于大量数据集的处理方面存在不足；深度学习方法需要对数据进行预处理，去除与面部表情无关的背景和图像，考虑光照、头部姿态引起的面部表情的差异，进而进行特征学习。但由于煤矿环境中光照条件较差，可见度较低，图像或影像中人脸区域与背景区域对比度较小，并且识别对象，例如矿工，的脸部颜色较深，因此使用人工特征的分类器和结构简单的卷积神经网络对用户面部表情的特征提取的精度较低，进而导致识别结果不准确。
本申请提供的用户面部表情识别方法，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图1为本申请实施例提供的一种用户面部表情识别方法的流程图，如图1所示，该方法包括：
101、获取目标对象的待处理图像，并对待处理图像进行卷积处理，确定待处理图像的第一特征图，其中，第一特征图表征待处理图像的基础特征信息。
示例性地，获取目标对象的图像数据，即待处理图像，并对待处理图像进行卷积处理，这个过程包括对待处理图像中的对人脸进行检测提取，对人脸的面部姿态、光照和位置进行统一处理，分离背景，对人脸面部的表情进行特征提取，获取面部的形变特征信息、面部的运动特征信息，确定待处理图像的第一特征图，其中，第一特征图表征待处理图像的基础特征信息。
一个示例中，基于特征提取网络提取待处理图像的特征，首先连续使用两个卷积模块对待处理图像进行卷积处理，提取待处理图像的基础特征信息，确定待处理图像的第一特征图，其中，每一卷积模块依次包括3×3卷积层、网络权重归一化层以及改进的FReLU激活函数。
102、基于第一特征图，提取待处理图像的深层特征信息，得到最终特征图，其中，最终特征图包括基础特征信息和深层特征信息。
示例性地，对获取到的第一特征图进行特征提取，获取待处理图像的深层特征信息，根据得到的待处理图像的基础特征信息和深层特征信息，得到待处理图像的最终特征图。
一个示例中，基于提取网络提取待处理图像的特征，根据特征提取网络中预先设置的一个或多个残差提取模块对第一特征图进行深层特征信息提取，其中，每一残差提取模块包括两个分支模块，基于每一残差提取模块中各分支模块获取的特征信息与基础特征信息，得到最终特征图。
103、根据最终特征图，确定待处理图像的分类识别结果。
示例性地，根据得到的最终特征图，对目标对象的待处理图像进行分类识别，从而完成识别过程，确定待处理图像的分类识别结果。
本实施例中，通过以下步骤：获取目标对象的待处理图像，并对待处理图像进行卷积处理，确定待处理图像的第一特征图，其中，第一特征图表征待处理图像的基础特征信息；基于第一特征图，提取待处理图像的深层特征信息，得到最终特征图，其中，最终特征图包括基础特征信息和深层特征信息；根据最终特征图，确定待处理图像的分类识别结果。实现了对用户面部表情的特征的高精度、深层次提取，提高了面部表情分类识别结果的准确性。
图2为本申请实施例提供的另一种用户面部表情识别方法的流程图，如图2所示，该方法包括：
201、获取目标对象的待处理图像，并对待处理图像进行卷积处理，确定待处理图像的第一特征图，其中，第一特征图表征待处理图像的基础特征信息。
示例性地，本步骤参见步骤101，不再赘述。
202、重复执行步骤203至步骤205，直至达到预设条件，其中，预设条件为预设最大深层特征信息提取次数；达到预设条件时的第一特征图为最终特征图。
示例性地，重复执行以下的步骤203至步骤205，直至达到预设条件，其中，预设条件为预设最大深层特征信息提取次数；达到预设条件时的第一特征图为最终特征图。
一个示例中，用于提取待处理图像的特征提取网络中中，预先设置的残差提取模块的数量即为预设最大深层特征信息提取次数。
203、对第一特征图中每一像素点进行卷积处理和采样处理，提取第一特征图中每一像素点的关键特征信息，确定第二特征图，其中，第一特征图中包括有N×N个像素点，N为大于1的正整数。
一个示例中，步骤203包括以下步骤：
基于预设的1×1卷积核，对第一特征图中每一像素点进行卷积处理，获取第一特征图中每一像素点的特征映射信息；对每一像素点的特征映射信息进行上采样和下采样处理，确定并强化每一像素点的关键特征信息，确定第二特征图。
示例性地，第一特征图中包括N×N个像素点，N为大于1的正整数，特征提取网络中预先设置有残差提取模块，用于对第一特征图进行深层特征信息提取，该残差提取模块中包含有第一分支模块，即深层特征提取分支模块，根据该分支中的1×1卷积层，基于预设的1×1卷积核，对第一特征图中每一像素点进行卷积处理，获取第一特征图中每一像素点的特征映射信息，再根据该分支模块中依次设置的上采样与下采样模块，对特征映射信息进行重新编码与解码，获取并强化每一像素点的特征映射信息中的重点特征信息，即关键特征，进而确定第二特征图。
204、对第一特征图中每一像素点进行卷积处理和激活处理，提取特征图中每一像素点的关联特征信息，确定第三特征图。
一个示例中，步骤204包括以下步骤：
对第一特征图进行深度可分离卷积处理，并根据第一预设激活函数对每一像素点进行逐通道激活，提取每一像素点的关联特征信息，确定第三特征图。
一个示例中，第一预设激活函数具有线性参数，线性参数用于对每一像素点进行逐通道激活，获取每一像素点的关联特征信息。
示例性地，特征提取网络中预先设置的残差提取模块中还包含有第二分支模块，即另一个深层特征提取分支，用于对第一特征图进行深度可分离卷积处理，并根据第一预设激活函数对每一像素点进行逐通道激活，提取每一像素点的关联特征信息，确定第三特征图。该分支包括深度可分离卷积层、网络权重归一化层、第一预设激活函数，即改进的FReLU激活函数、深度可分离卷积层、网络权重归一化层、普通的3×3卷积层、最大池化层、网络权重归一化层，其中，改进的FReLU激活函数中相比于FReLU激活函数加入了线性系数，用于对参数池化窗口内每个像素点逐通道激活，可以获取每一像素点的关联特征信息，进而确定第三特征图。
一个示例中，深度可分离卷积层与普通的卷积层相比较，可以有效减少卷积过程的参数量。例如，深度可分离卷积不采用普通卷积中大小为n×n×3的卷积核，而是将每个卷积核拆为3个n×n×1的过滤器。对尺寸H×W，通道数为C的表情图像进行深度可分离卷积的卷积过程可以分为两步：步骤一，将H×W×C的表情图像，通过每一个过滤器卷积得到(H-n+1)×(W-n+1)映射图，再将映射图堆叠成(H-n+1)×(W-n+1)×3的表情特征图作为该卷积层的输出图像；步骤二，即采用m个大小为1×1×3的过滤器对步骤一得到输出图像进行卷积以扩展输出深度，最终得到m个通道的表情特征图，其中，m为卷积核个数。
普通卷积与深度可分离卷积过程中产生的参数量如下式：
Figure 539617DEST_PATH_IMAGE001
其中，
Figure 772015DEST_PATH_IMAGE002
表示普通卷积产生的参数数量；
Figure 137137DEST_PATH_IMAGE003
表示深度可分离卷积产生的参数数 量；W、H和C代表输入图像的尺寸和通道数；n为卷积核尺寸大小；m为卷积核个数。进而可计 算两种卷积方式参数数量比e为：
Figure 556617DEST_PATH_IMAGE004
一个示例中，第一预设激活函数，即改进的FReLU激活函数可以表示为
Figure 783330DEST_PATH_IMAGE005
，新增的线性系数为
Figure 870235DEST_PATH_IMAGE006
，其表达式为：
Figure 281625DEST_PATH_IMAGE007
Figure 313035DEST_PATH_IMAGE008
其中，
Figure 202493DEST_PATH_IMAGE005
代表Exp-FReLU激活函数；c代表第c特征通道，i、j代表表情特 征图横、纵坐标；
Figure 19271DEST_PATH_IMAGE009
是第c个通道上非线性激活的输入像素点；
Figure 601562DEST_PATH_IMAGE010
代表依赖于空间 上下文的二维漏斗条件，有助于提取物体的精细空间布局；
Figure 385847DEST_PATH_IMAGE011
表示以
Figure 813417DEST_PATH_IMAGE012
为中心点的W ×h参数池化窗口，w和h代表参数池化窗口尺寸；
Figure 484701DEST_PATH_IMAGE013
表示同一通道中共享的该窗口上的参 数。
Figure 237894DEST_PATH_IMAGE014
表示W×h参数池化窗口内的比重参数；e代表该池化窗口内每个像素点像素值的 归一化值，且e
Figure 243896DEST_PATH_IMAGE015
（0,1）；
Figure 6315DEST_PATH_IMAGE016
为自适应像素特征学习参数，与每个像素点相对应。
Figure 656740DEST_PATH_IMAGE016
与e两矩阵 对应位置相乘后构成新的参数矩阵，并逐通道累加，共累加c次，最后取其均值得到表情特 征比重参数
Figure 184761DEST_PATH_IMAGE014
的数值。
205、对第一特征图、第二特征图以及第三特征图进行特征融合处理，确定第四特征图，将第四特征图确定为新的第一特征图。
示例性地，对第一特征图、第二特征图以及第三特征图进行特征融合处理，确定第四特征图，将第四特征图确定为新的第一特征图。
一个示例中，残差提取模块中的第一分支模块还包括有两个1×1卷积层，用于改变特征图的通道数；sigmoid函数，用于对获取的特征信息进行非线性化处理，经过处理后的第二特征图与第三特征图以及第一特征图具有相同的特征通道数，进而可以进行特征融合，确定第四特征图，将第四特征图确定为新的第一特征图。
206、对最终特征图进行池化处理，并根据第二预设激活函数确定待处理图像的识别预测信息，确定待处理图像的分类识别结果。
示例性地，对最终特征图进行池化处理，并根据第二预设激活函数，例如softmax激活函数，确定待处理图像的识别预测信息，确定待处理图像的分类识别结果。
本实施例中，通过以下方式获取待处理图像的深层特征信息，进而确定最终特征图：基于预设的1×1卷积核，对第一特征图中每一像素点进行卷积处理，获取第一特征图中每一像素点的特征映射信息；对每一像素点的特征映射信息进行上采样和下采样处理，确定并强化每一像素点的关键特征信息，确定第二特征图；对第一特征图中每一像素点进行卷积处理和激活处理，提取特征图中每一像素点的关联特征信息，确定第三特征图；对第一特征图、第二特征图以及第三特征图进行特征融合处理，确定第四特征图，将第四特征图确定为新的第一特征图，直至达到预设的深层特征提取次数，此时的第一特征图为最终特征图。这个过程中使用深度可分离卷积层、1×1卷积、上下采样、以及改进的Exp-FReLU激活函数获取了待处理图像多样化的深层特征信息，有效的减少了卷积过程的参数量，并且实现了对用户面部表情的特征的高精度、深层次提取，提高了面部表情分类识别结果的准确性。
图3为本申请实施例提供的一种用户面部表情识别装置的结构示意图，如图3所示，该装置包括：
第一确定单元31，用于获取目标对象的待处理图像，并对待处理图像进行卷积处理，确定待处理图像的第一特征图，其中，第一特征图表征待处理图像的基础特征信息。
处理单元32，用于基于第一特征图，提取待处理图像的深层特征信息，得到最终特征图，其中，最终特征图包括基础特征信息和深层特征信息。
第二确定单元33，用于根据最终特征图，确定待处理图像的分类识别结果。
一个示例中，处理单元32具体用于：
重复执行以下步骤，直至达到预设条件：
对第一特征图中每一像素点进行卷积处理和采样处理，提取第一特征图中每一像素点的关键特征信息，确定第二特征图，其中，第一特征图中包括有N×N个像素点，N为大于1的正整数；
对第一特征图中每一像素点进行卷积处理和激活处理，提取特征图中每一像素点的关联特征信息，确定第三特征图；
对第一特征图、第二特征图以及第三特征图进行特征融合处理，确定第四特征图，将第四特征图确定为新的第一特征图；
其中，预设条件为预设最大深层特征信息提取次数；达到预设条件时的第一特征图为最终特征图。
一个示例中，处理单元32具体用于：
基于预设的1×1卷积核，对第一特征图中每一像素点进行卷积处理，获取第一特征图中每一像素点的特征映射信息；对每一像素点的特征映射信息进行上采样和下采样处理，确定并强化每一像素点的关键特征信息，确定第二特征图。
一个示例中，处理单元32具体用于：
对第一特征图进行深度可分离卷积处理，并根据第一预设激活函数对每一像素点进行逐通道激活，提取每一像素点的关联特征信息，确定第三特征图。
一个示例中，第一预设激活函数具有线性参数，线性参数用于对每一像素点进行逐通道激活，获取每一像素点的关联特征信息。
一个示例中，第二确定单元33具体用于：
对最终特征图进行池化处理，并根据第二预设激活函数确定待处理图像的识别预测信息，确定待处理图像的分类识别结果。
图4为本申请实施例提供的一种电子设备的结构示意图，如图4所示，电子设备包括：存储器51，处理器52。
存储器51；用于存储处理器52可执行指令的存储器。
其中，处理器52被配置为执行如上述实施例提供的方法。
图5是根据一示例性实施例示出的一种终端设备的框图，该设备可以是移动电话，计算机，数字广播终端，消息收发设备，医疗设备，个人数字助理等。
装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出（I/ O）接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风（MIC），当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/ O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
本申请实施例还提供了一种非临时性计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例提供的方法。
本申请实施例还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种用户面部表情识别方法，其特征在于，所述方法包括：
获取目标对象的待处理图像，并对所述待处理图像进行卷积处理，确定所述待处理图像的第一特征图，其中，所述第一特征图表征所述待处理图像的基础特征信息；
基于所述第一特征图，提取所述待处理图像的深层特征信息，得到最终特征图，其中，所述最终特征图包括所述基础特征信息和所述深层特征信息；
根据所述最终特征图，确定所述待处理图像的分类识别结果。
2.根据权利要求1所述的方法，其特征在于，基于所述第一特征图，提取所述待处理图像的深层特征信息，确定最终特征图，包括：
重复执行以下步骤，直至达到预设条件：
对所述第一特征图中每一像素点进行卷积处理和采样处理，提取所述第一特征图中每一像素点的关键特征信息，确定第二特征图，其中，所述第一特征图中包括有N×N个像素点，N为大于1的正整数；
对所述第一特征图中每一像素点进行卷积处理和激活处理，提取所述特征图中每一像素点的关联特征信息，确定第三特征图；
对所述第一特征图、所述第二特征图以及所述第三特征图进行特征融合处理，确定第四特征图，将所述第四特征图确定为新的第一特征图；
其中，所述预设条件为预设最大深层特征信息提取次数；达到预设条件时的第一特征图为最终特征图。
3.根据权利要求2所述的方法，其特征在于，对所述第一特征图中每一像素点进行卷积处理和采样处理，提取所述第一特征图中每一像素点的关键特征信息，确定第二特征图，包括：
基于预设的1×1卷积核，对所述第一特征图中每一像素点进行卷积处理，获取所述第一特征图中每一像素点的特征映射信息；
对每一像素点的特征映射信息进行上采样和下采样处理，确定并强化每一像素点的关键特征信息，确定第二特征图。
4.根据权利要求2所述的方法，其特征在于，对所述第一特征图中每一像素点进行卷积处理和激活处理，提取所述特征图中每一像素点的关联特征信息，确定第三特征图，包括：
对所述第一特征图进行深度可分离卷积处理，并根据第一预设激活函数对每一像素点进行逐通道激活，提取每一像素点的关联特征信息，确定第三特征图。
5.根据权利要求4所述的方法，其特征在于，所述第一预设激活函数具有线性参数，所述线性参数用于对每一像素点进行逐通道激活，获取每一像素点的关联特征信息。
6.根据权利要求1-5任一项所述的方法，其特征在于，根据所述最终特征图，确定所述待处理图像的分类识别结果，包括：
对所述最终特征图进行池化处理，并根据第二预设激活函数确定所述待处理图像的识别预测信息，确定所述待处理图像的分类识别结果。
7.一种用户面部表情识别装置，其特征在于，所述装置包括：
第一确定单元，用于获取目标对象的待处理图像，并对所述待处理图像进行卷积处理，确定所述待处理图像的第一特征图，其中，所述第一特征图表征所述待处理图像的基础特征信息；
处理单元，用于基于所述第一特征图，提取所述待处理图像的深层特征信息，得到最终特征图，其中，所述最终特征图包括所述基础特征信息和所述深层特征信息；
第二确定单元，用于根据所述最终特征图，确定所述待处理图像的分类识别结果。
8.根据权利要求7所述的装置，其特征在于，所述处理单元具体用于：
重复执行以下步骤，直至达到预设条件：
对所述第一特征图中每一像素点进行卷积处理和采样处理，提取所述第一特征图中每一像素点的关键特征信息，确定第二特征图，其中，所述第一特征图中包括有N×N个像素点，N为大于1的正整数；
对所述第一特征图中每一像素点进行卷积处理和激活处理，提取所述特征图中每一像素点的关联特征信息，确定第三特征图；
对所述第一特征图、所述第二特征图以及所述第三特征图进行特征融合处理，确定第四特征图，将所述第四特征图确定为新的第一特征图；
其中，所述预设条件为预设最大深层特征信息提取次数；达到预设条件时的第一特征图为最终特征图。
9.一种电子设备，其特征在于，所述电子设备包括：存储器，处理器；
所述存储器用于存储计算机执行指令；
所述处理器用于读取所述存储器存储的计算机执行指令，并根据所述存储器中的计算机执行指令执行如权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-6任一项所述的方法。
CN202210541431.3A 2022-05-19 2022-05-19 用户面部表情识别方法、装置和设备 Active CN114648802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210541431.3A CN114648802B (zh) 2022-05-19 2022-05-19 用户面部表情识别方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210541431.3A CN114648802B (zh) 2022-05-19 2022-05-19 用户面部表情识别方法、装置和设备

Publications (2)

Publication Number Publication Date
CN114648802A true CN114648802A (zh) 2022-06-21
CN114648802B CN114648802B (zh) 2022-08-23

Family

ID=81996751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210541431.3A Active CN114648802B (zh) 2022-05-19 2022-05-19 用户面部表情识别方法、装置和设备

Country Status (1)

Country Link
CN (1) CN114648802B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190087686A1 (en) * 2017-09-21 2019-03-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for detecting human face
CN111179217A (zh) * 2019-12-04 2020-05-19 天津大学 一种基于注意力机制的遥感图像多尺度目标检测方法
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和系统
CN112668486A (zh) * 2020-12-30 2021-04-16 长春理工大学 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体
US20210241015A1 (en) * 2020-02-03 2021-08-05 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, and storage medium
CN113421259A (zh) * 2021-08-20 2021-09-21 北京工业大学 基于分类网络的octa图像的分析方法
WO2021218786A1 (zh) * 2020-04-30 2021-11-04 华为技术有限公司 一种数据处理系统、物体检测方法及其装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190087686A1 (en) * 2017-09-21 2019-03-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for detecting human face
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和系统
CN111179217A (zh) * 2019-12-04 2020-05-19 天津大学 一种基于注意力机制的遥感图像多尺度目标检测方法
US20210241015A1 (en) * 2020-02-03 2021-08-05 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, and storage medium
WO2021218786A1 (zh) * 2020-04-30 2021-11-04 华为技术有限公司 一种数据处理系统、物体检测方法及其装置
CN112668486A (zh) * 2020-12-30 2021-04-16 长春理工大学 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体
CN113421259A (zh) * 2021-08-20 2021-09-21 北京工业大学 基于分类网络的octa图像的分析方法

Also Published As

Publication number Publication date
CN114648802B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN106557768B (zh) 对图片中的文字进行识别的方法及装置
EP3226204B1 (en) Method and apparatus for intelligently capturing image
CN106651955B (zh) 图片中目标物的定位方法及装置
CN105095881B (zh) 人脸识别方法、装置及终端
CN106228556B (zh) 图像质量分析方法和装置
EP3057304B1 (en) Method and apparatus for generating image filter
CN107563994B (zh) 图像的显著性检测方法及装置
CN105809704A (zh) 识别图像清晰度的方法及装置
CN110619350B (zh) 图像检测方法、装置及存储介质
CN108668080B (zh) 提示镜头脏污程度的方法及装置、电子设备
CN111461182B (zh) 图像处理方法、图像处理装置及存储介质
US11443438B2 (en) Network module and distribution method and apparatus, electronic device, and storage medium
KR20210058887A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체
EP3975046B1 (en) Method and apparatus for detecting occluded image and medium
CN107038428B (zh) 活体识别方法和装置
CN113065591B (zh) 目标检测方法及装置、电子设备和存储介质
CN111611034A (zh) 屏幕显示调节方法、装置及存储介质
CN108154093B (zh) 人脸信息识别方法及装置、电子设备、机器可读存储介质
CN110633715B (zh) 图像处理方法、网络训练方法及装置、和电子设备
CN107609513B (zh) 视频类型确定方法及装置
CN111507131B (zh) 活体检测方法及装置、电子设备和存储介质
CN112036307A (zh) 图像处理方法及装置、电子设备和存储介质
CN114648802B (zh) 用户面部表情识别方法、装置和设备
CN115641269A (zh) 一种图像修补方法、装置及可读存储介质
CN114120034A (zh) 一种图像分类方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518000 Guangdong Shenzhen Baoan District Xixiang street, Wutong Development Zone, Taihua Indus Industrial Park 8, 3 floor.

Patentee after: Shenzhen Haiqing Zhiyuan Technology Co.,Ltd.

Address before: 518000 Guangdong Shenzhen Baoan District Xixiang street, Wutong Development Zone, Taihua Indus Industrial Park 8, 3 floor.

Patentee before: SHENZHEN HIVT TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder