CN109002766B - 一种表情识别方法及装置 - Google Patents

一种表情识别方法及装置 Download PDF

Info

Publication number
CN109002766B
CN109002766B CN201810649059.1A CN201810649059A CN109002766B CN 109002766 B CN109002766 B CN 109002766B CN 201810649059 A CN201810649059 A CN 201810649059A CN 109002766 B CN109002766 B CN 109002766B
Authority
CN
China
Prior art keywords
result
layer
convolution
expression recognition
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810649059.1A
Other languages
English (en)
Other versions
CN109002766A (zh
Inventor
景晓军
祝轶哲
黄海
田耒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201810649059.1A priority Critical patent/CN109002766B/zh
Publication of CN109002766A publication Critical patent/CN109002766A/zh
Application granted granted Critical
Publication of CN109002766B publication Critical patent/CN109002766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Abstract

本发明实施例提供了一种表情识别方法，该方法包括：获取待识别图像，对所述待识别图像进行人脸检测；截取检测出的人脸区域；将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果。应用本发明实施例提供的表情识别方法，不必预先构建多种表情模型，只需训练深度可分离卷积神经网络，而深度可分离卷积神经网络中的参数的数量较少，这样，就可以减少表情识别过程中的计算量。

Description

一种表情识别方法及装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种表情识别方法及装置。
背景技术
在人机交互、实时监控、自动驾驶以及社交网络等领域中，计算机越来越需要理解人类的内心情感。而表情是人类表达内心情感的最主要的方式之一，因此，计算机对表情的识别技术对于计算机理解人类的内心情感显得尤为重要。
现有的表情识别方案通常包括：预先构建多种表情模型，将待识别图像与这多种表情模型进行匹配，根据匹配结果确定图像中的表情。但是这种方案中，需要构建大量表情模型，计算量大。
发明内容
本发明实施例的目的在于提供一种表情识别方法及装置，以实现减少表情识别过程的计算量。
本发明实施例提出了一种表情识别方法，所述方法包括：
获取待识别图像，对所述待识别图像进行人脸检测；
截取检测出的人脸区域；
将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果。
可选的，所述将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果，包括：
将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，利用所述深度可分离卷积神经网络中的权值参数对所述人脸区域进行卷积处理；
对卷积结果进行融合分析，得到表情识别结果。
可选的，采用如下步骤，训练得到所述深度可分离卷积神经网络中的权值参数：
针对所述深度可分离卷积神经网络中的每层卷积，计算该层卷积中每个神经元的敏感度，根据反向传播算法及所述每个神经元的敏感度，对该层卷积的权值参数进行收敛，得到该层卷积的权值参数。
可选的，采用如下公式，对该层卷积的权值参数进行收敛：
Figure BDA0001704219440000021
Figure BDA0001704219440000022
其中，
Figure BDA0001704219440000023
表示第l-1层的神经元j的敏感度，D表示与所述第l-1层的神经元j相关的第l层神经元的个数，
Figure BDA0001704219440000024
表示第l层的神经元d的敏感度，
Figure BDA0001704219440000025
表示第l层的神经元d的权值参数，f′(netl-1)表示第l-1层的激活函数的导数，
Figure BDA00017042194400000210
表示第l-1层的神经元d的敏感度的偏导数，
Figure BDA00017042194400000211
表示第l-1层的输出的偏导数，δl表示第l层的敏感度，Wl表示第l层的权值参数。
可选的，所述将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，利用预先训练得到的权值参数进行卷积处理，包括：
采用如下公式，对所述人脸区域进行卷积处理：
Figure BDA0001704219440000026
其中，
Figure BDA0001704219440000027
表示第l层的局部感受野的特征值，f表示卷积函数，Mj表示神经元j对应的局部感受野，
Figure BDA0001704219440000028
表示第l层的神经元i的第j个输入对应的预先训练得到的权值参数，Bl表示第l层的偏置，
Figure BDA0001704219440000029
表示第l-1层的局部感受野中的特征值。
可选的，采用如下步骤，对卷积结果进行融合分析，得到表情识别结果：
对卷积结果进行预处理，得到预处理结果；
将所述人脸区域输入至第一预设卷积结构中，得到第一输出结果；
建立所述预处理结果与所述第一输出结果的对应关系，得到连接层处理结果；
将所述连接层处理结果输入至第二预设卷积结构中进行处理，将所述第二预设卷积结构的处理结果输入至第二预设卷积结构中进行处理，判断将所述第二预设卷积结构的处理结果输入至第二预设卷积结构的次数是否达到预设阈值，如果未达到，返回执行所述将所述第二预设卷积结构处理结果输入至第二预设卷积结构中进行处理的步骤，如果达到，得到所述第二预设卷积结构输出值；
对所述第二预设卷积结构输出值进行池化处理，得到所述人脸区域的特征值；
对所述特征值进行分类，得到表情识别结果。
可选的，采用如下公式，对卷积结果进行预处理：
Figure BDA0001704219440000031
Figure BDA0001704219440000032
Figure BDA0001704219440000033
yi＝γxi+β
Figure BDA0001704219440000034
Figure BDA0001704219440000035
其中，xi表示第i个输入的数据，μB表示均值，m表示所述卷积结果的数量，
Figure BDA0001704219440000036
表示方差，
Figure BDA0001704219440000037
表示对输入的数据进行标准化操作，ε表示噪声，γ、β表示训练的参数，通过线性变化求得原来的数值，yi表示xi的批规范化处理结果，βl表示第l层的可训练参数，Mj表示神经元j对应的局部感受野，Bl表示第l层的偏置，
Figure BDA0001704219440000041
表示l前一层的局部感受野的特征值，
Figure BDA0001704219440000042
表示第l层的局部感受野的特征值，f1表示泛化函数，f2表示激活函数；
采用如下公式，对所述特征值进行分类，得到表情识别结果：
Figure BDA0001704219440000043
其中，Si表示第i个特征值的分类值，Vi表示第i个特征值,Vj表示第j个特征值，e是一个常数，表示自然对数的底数。
可选的，所述将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果，包括：
对所述候选人脸区域进行归一化处理；
将归一化处理后的人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果。
可选的，所述表情识别结果为：所述待处理图像中的人脸区域对应不同表情的识别概率；在所述将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果之后，所述方法还包括：
根据所述表情识别结果中包括的所述识别概率，确定符合预设概率条件的表情的标识；在所述待识别图像中标注所确定的表情的标识；
或者，在所述待识别图像中标注所述人脸区域对应不同表情的识别概率。
本发明实施例还提供了一种表情识别装置，所述装置包括：
人脸识别模块，用于获取待识别图像，对所述待识别图像进行人脸检测；
图像截取模块，用于截取检测出的人脸区域；
表情识别模块，用于将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的表情识别方法。
本发明实施例提供的表情识别方法及装置，首先对待识别图像进行人脸检测，截取待识别图像的人脸区域，然后将人脸区域输入至预先训练得到的深度可分离卷积神经网络中，从而得到表情识别结果，不必预先构建多种表情模型，只需训练深度可分离卷积神经网络，而深度可分离卷积神经网络中的参数的数量较少，这样，就可以减少表情识别过程中的计算量。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种表情识别方法的架构图；
图2为本发明实施例提供的一种表情识别方法的流程示意图；
图3为矩形特征级联分类器模型示意图；
图4(a)、(b)、(c)、(d)、(e)为一种实现方式中，将人脸区域输入至预先训练得到的深度可分离卷积神经网络中的处理过程；
图5为深度可分离卷积神经网络的结构示意图；
图6为本发明实施例提供的一种表情识别装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中，在对图像进行分析，识别图像中人脸的面部表情时，通常预先构建多种表情模型，将待识别图像与这多种表情模型进行匹配，根据匹配结果确定图像中的表情，因此需要构建大量表情模型，计算量大的问题，本发明提出了一种表情识别方法及装置。
下面从总体上对本发明实施例提供的表情识别方法进行说明。该方法可以应用于电子设备，如计算机、服务器、摄像机等等，具体不做限定。
本发明的一种实现方式中，上述表情识别方法包括：
获取待识别图像，对所述待识别图像进行人脸检测；
截取检测出的人脸区域；
将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果。
如图1所示，为本发明实施例提供的一种表情识别方法的架构图。首先，对所获取的动态图像组进行人脸检测，识别出动态图像组中的人脸区域，然后，截取识别出的人脸区域，对人脸区域进行表情识别，最终得到表情识别结果。
由以上可见，本发明实施例提供的表情识别方法，截取出待识别图像的人脸区域后，将人脸区域输入至预先训练得到的深度可分离卷积神经网络中，从而得到表情识别结果，不必预先构建多种表情模型，只需训练深度可分离卷积神经网络，而深度可分离卷积神经网络中的参数的数量较少，这样，就可以减少表情识别过程中的计算量。
下面将通过具体的实施例，对本发明实施例提供的表情识别方法进行详细描述。
如图2所示，为本发明实施例提供的一种表情识别方法的流程示意图，包括如下步骤：
S201：获取待识别图像，对待识别图像进行人脸检测。
举例而言，待识别图像可以是单张静态图像，也可以是视频或动态图像中的某一帧，具体不做限定。
在待识别图像中，可能包含有待识别的人脸区域，还可能包含背景或其他物体。通过对待识别图像进行人脸检测，可以确定待识别图像中的人脸区域，而该过程可以利用不同的算法。
举例而言，可以利用矩形特征级联分类器算法对待识别图像进行人脸检测，确定待识别图像中的人脸区域。如图3所示，为矩形特征级联分类器模型示意图。具体的，利用预设的矩形特征模板在待识别图像中进行遍历，在矩形特征模板遍历到的每一个位置，都可以计算该位置对应的区域特征，然后利用积分图对这些区域特征进行计算，提取出关键特征，最后由预设的级联强分类器对提取出的关键特征进行迭代训练，从而得到待识别图像中的人脸区域。
或者，还可以利用基于二进小波变换的人脸检测算法、基于弹性模型的方法、神经网络方法、人脸等密度线分析匹配方法等方法对待识别图像进行人脸检测，确定待识别图像中的人脸区域，本发明实施例对此不做限定。
S202：截取检测出的人脸区域。
在检测出待识别图像的人脸区域之后，就可以将人脸区域从待识别图像中截取出来。根据待识别图像的内容的不同，通常，截取出的人脸区域是不同形状、不同尺寸的。
进一步的，可以对截取出的人脸区域进行归一化处理，将截取出的不同尺寸的人脸区域的图像归一化为适用于预先训练得到的双流卷积神经网络的尺寸，也就是说，将截取出的不同尺寸的人脸区域的图像处理为与用于训练深度可分离卷积神经网络的图片集相同的尺寸。
例如，如果用于训练深度可分离卷积神经网络的图片集的大小为48*48像素，则将截取出的不同尺寸的人脸区域归一化处理为48*48像素。
S203：将人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果。
具体的，首先可以将人脸区域输入至预先训练得到的深度可分离卷积神经网络中，利用深度可分离卷积神经网络中的权值参数对所述人脸区域进行卷积处理，然后，再对卷积结果进行融合分析，得到表情识别结果。
其中，在一种实现方式中，可以采用如下公式，对人脸区域进行卷积处理：
Figure BDA0001704219440000081
其中，
Figure BDA0001704219440000082
表示第l层的局部感受野的特征值，f表示卷积函数，Mj表示神经元j对应的局部感受野，
Figure BDA0001704219440000083
表示第l层的神经元i的第j个输入对应的预先训练得到的权值参数，Bl表示第l层的偏置，
Figure BDA0001704219440000084
表示第l-1层的局部感受野中的特征值。
进一步的，可以经过如下步骤，对得到的卷积结果进行融合分析，最终得到表情识别结果。
步骤一：对卷积结果进行预处理，得到预处理结果。在本步骤中，对卷积结果进行预处理可以分为如下两步。
第1步，对卷积结果进行泛化处理，提高待处理图像与深度可分离卷积神经网络的适应性。
具体的，首先，可以采用如下公式，对卷积结果进行批规范化：
Figure BDA0001704219440000085
Figure BDA0001704219440000086
Figure BDA0001704219440000087
yi＝γxi+β
其中，xi表示第i个输入的数据，μB表示均值，m表示所述卷积结果的数量，
Figure BDA0001704219440000088
表示方差，
Figure BDA0001704219440000089
表示对输入的数据进行标准化操作，ε表示噪声，γ、β表示训练的参数，通过线性变化求得原来的数值，yi表示xi的批规范化处理结果。
然后，可以对上述步骤得到的批规范化处理结果进行池化处理，从而减少输出的特征值的数量，避免深度可分离卷积神经网络产生过拟合现象，进一步提高表情识别结果的准确度。对批处理结果进行池化处理的方式可以是最大值池化，也可以是一般池化，还可以是平均池化、重叠池化等等，本发明实施例对此不做限定。
在一种实现方式中，可以采用如下公式，对上述步骤得到的批规范化处理结果进行最大值池化：
Figure BDA0001704219440000091
其中，Mj表示神经元j对应的局部感受野，Bl表示第l层的偏置，βl表示第l层的可训练参数，
Figure BDA0001704219440000092
表示l前一层的局部感受野的特征值，
Figure BDA0001704219440000093
表示第l层的局部感受野的特征值，f1表示泛化函数。
第2步，利用激活函数对上述池化处理结果进行激活处理，这样，可以为深度可分离卷积神经网络的输出加入非线性因素，进一步提高提高表情识别结果的准确度。其中，激活函数可以是sigmod函数，也可以是tanh(双曲正切)函数，还可以是ReLU(RectifiedLinear Unit，线性整流)函数、ELU(Exponential Linear Unit，线性指数)函数、PreLU(Parametric Rectified Linear Unit，线性参数)函数等等，本发明实施例对此不做限定。
在一种实现方式中，可以采用如下公式，利用ReLU函数对上述步骤得到的池化处理结果进行激活：
Figure BDA0001704219440000094
其中，f2表示激活函数。
池化处理结果经过激活函数的激活处理后，也就得到了预处理结果。
步骤二：将人脸区域输入至第一预设卷积结构中，得到第一输出结果。其中，第一预设卷积结构可以为任一一维卷积结构，比如离散卷积、连续卷积等等，本发明实施例对此不做限定。
步骤三：建立预处理结果与第一输出结果的对应关系，得到连接层处理结果。
步骤四：将连接层处理结果输入至第二预设卷积结构中进行处理，将第二预设卷积结构的处理结果输入至第二预设卷积结构中进行处理。然后，判断将第二预设卷积结构的处理结果输入至第二预设卷积结构的次数是否达到预设阈值，如果未达到，返回执行将第二预设卷积结构处理结果输入至第二预设卷积结构中进行处理的步骤，如果达到，则得到第二预设卷积结构输出值。
其中，第二预设卷积结构可以为任一一维卷积结构，比如离散卷积、连续卷积等等，可以与第一预设卷积结构相同，也可以与第一预设卷积结构不同，本发明实施例对此不做限定。另外，预设阈值可以在深度可分离卷积神经网络的训练过程中不断调整。在一种实现方式中，预设阈值可以为3。
步骤五：对第二预设卷积结构输出值进行池化处理，得到人脸区域的特征值。具体的，可以采用全局均值池化的方式，进一步减少输出的特征值的数量，避免深度可分离卷积神经网络产生过拟合现象，从而提高表情识别结果的准确度。
步骤六：对特征值进行分类，得到表情识别结果。得到人脸区域的特征值之后，就可以采用分类算法，对特征值进行分类，从而得到表情识别结果。其中，分类算法可以采用支持向量机算法、Softmax算法、KNN(k-NearestNeighbor，K-最近邻)算法等等，本发明实施例对此不做限定。
在一种实现方式中，可以采用如下公式，利用Softmax算法对特征值进行分类，得到表情识别结果：
Figure BDA0001704219440000101
其中，Si表示第i个特征值的分类值，Vi表示第i个特征值，Vj表示第j个特征值，e是一个常数，表示自然对数的底数。
这样，通过上述步骤，就可以对得到的卷积结果进行融合分析，最终得到表情识别结果。
在一种实现方式中，上述将人脸区域输入至预先训练得到的深度可分离卷积神经网络中的处理过程如图4(a)、(b)、(c)、(d)、(e)所示，由于篇幅限制，将图4拆分为(a)、(b)、(c)、(d)、(e)五部分。
图4中，input表示输入，output表示输出，InputLayer表示输入的人脸图像，Conv2D表示卷积处理，BatchNormalization表示批规范化处理，Activation表示激活处理，SeparableConv2D表示可分离卷积，MaxPooling2D表示最大值池化，Add表示建立连接，GlobalAveragePooling表示全局均值池化处理，在图4所示的处理过程中，输入的人脸区域的大小为48×48像素，最终从中识别出7种不同表情的概率。
其中，input_1表示输入层，conv2d_1表示第一卷积层，batch_normalization_1表示第一批规范化层，activation_1表示第一激活层，conv2d_2表示第二卷积层，batch_normalization_2表示第二批规范化层，activation_2表示第二激活层，conv2d_3表示第三卷积层，batch_normalization_3表示第三批规范化层，separable_conv2d_1表示第一可分离卷积层，batch_normalization_4表示第四批规范化层，activation_3表示第三激活层，separable_conv2d_2表示第二可分离卷积层，batch_normalization_5表示第五批规范化层，max_pooling2d_1表示第一最大池化层，add_1表示第一连接层，conv2d_4表示第四卷积层，batch_normalization_6表示第六批规范化层，separable_conv2d_3表示第三可分离卷积层，batch_normalization_7表示第七批规范化层，activation_4表示第四激活层，separable_conv2d_4表示第四可分离卷积层，batch_normalization_8表示第八批规范化层，max_pooling2d_2表示第二最大池化层，add_2表示第二连接层，conv2d_5表示第五卷积层，batch_normalization_9表示第九批规范化层，separable_conv2d_5表示第五可分离卷积层，batch_normalization_10表示第十批规范化层，activation_5表示第五激活层，separable_conv2d_6表示第六可分离卷积层，batch_normalization_11表示第十一批规范化层，max_pooling2d_3表示第三最大池化层，add_3表示第三连接层，conv2d_6表示第六卷积层，batch_normalization_12表示第十二批规范化层，separable_conv2d_7表示第七可分离卷积层，batch_normalization_13表示第十三批规范化层，activation_6表示第六激活层，separable_conv2d_8表示第八可分离卷积层，batch_normalization_14表示第十四批规范化层，max_pooling2d_4表示第四最大池化层，add_4表示第四连接层，conv2d_7表示第七卷积层，global_average_pooling2d_1表示全局均值池化层，predictions表示输出层。
图4(a)中的activation_2(第二激活层)与图4(b)中的activation_2表示同一计算过程，图4(b)中的add_1(第一连接层)与图4(c)中的add_1表示同一计算过程，图4(c)中的add_2(第二连接层)与图4(d)中的add_2表示同一计算过程，图4(d)中的add_3(第三连接层)与图4(e)中的add_3表示同一计算过程。
一种实现方式中，在得到表情识别结果之后，可以在待识别图像中对表情识别结果进行标注和展示。例如，可以先根据表情识别结果中的识别概率，确定符合预设概率条件的表情对应的标识，然后，在待识别图像中标注所确定的表情的标识；或者，还可以直接在待识别图像中标注人脸区域对应不同表情的识别概率；本发明实施例对此不做限定。
在预先训练得到的深度可分离卷积神经网络中，包含不同的多种表情分类结果，例如：愤怒、厌恶、恐惧、开心、难过、惊讶和平淡等，每个表情都有其对应的特征，可以通过计算，得到识别结果结果对应于不同表情的识别概率，从而对识别结果进行分类，得到表情识别结果。
另外，在待识别图像中展示表情识别结果时，还可以同时对检测出的人脸区域进行标注，以供用户参考。
由以上可见，本发明实施例提供的表情识别方法，首先对待识别图像进行人脸检测，截取待识别图像的人脸区域，然后将人脸区域输入至预先训练得到的深度可分离卷积神经网络中，从而得到表情识别结果，该过程中，不必预先构建多种表情模型，只需训练深度可分离卷积神经网络，而且深度可分离卷积神经网络中的参数的数量较少，这样，就可以减少表情识别过程中的计算量。
在一种实现方式中，深度可分离卷积神经网络由灰度图片集训练得到，具体的，可以是任一预设的表情数据库中的数据集，例如，FER2013数据集、BioID人脸数据集等等。
在一种实现方式中，可以利用FER2013数据集对深度可分离卷积神经网络进行训练。FER2013数据集包含35887张48×48像素大小的灰度化图片，每张图片都有对应的标签，在训练过程中，首先将FER2013数据集中的RGB图像数据分为测试集和训练集，举例而言，训练集与测试集的比例可以为4:1，这样米就得到28709张训练集图片和3589张测试集图片，然后，可以利用训练集对深度可分离卷积模型进行训练，得到初始深度可分离卷积神经网络，然后再用测试集对初始深度可分离卷积神经网络进行测试，进一步优化，最终得到可以用于表情识别的深度可分离卷积神经网络。
如图5所示，为深度可分离卷积神经网络的结构示意图，其中，ID指输入的深度，OD指输出的深度，DM指深度乘数，深度可分离卷积结构，在保持通道分离的前提下，可以连接上一个深度卷积结构，从而实现空间卷积，并且有效利用网络参数，减少神经网络中的参数的数量。
具体的，可以采用如下步骤，训练得到深度可分离卷积神经网络中的权值参数：首先，针对深度可分离卷积神经网络中的每层卷积，计算该层卷积中每个神经元的敏感度，然后，根据反向传播算法及每个神经元的敏感度，对该层卷积的权值参数进行收敛，得到该层卷积的权值参数。
其中，反向传播算法可以采用如下公式，对该层卷积的权值参数进行收敛：
Figure BDA0001704219440000131
Figure BDA0001704219440000132
其中，
Figure BDA0001704219440000133
表示第l-1层的神经元j的敏感度，D表示与所述第l-1层的神经元j相关的第l层神经元的个数，
Figure BDA0001704219440000134
表示第l层的神经元d的敏感度，
Figure BDA0001704219440000135
表示第l层的神经元d的权值参数，f′(netl-1)表示第l-1层的激活函数的导数，
Figure BDA0001704219440000136
表示第l-1层的神经元d的敏感度的偏导数，
Figure BDA0001704219440000137
表示第l-1层的输出的偏导数，δl表示第l层的敏感度，Wl表示第l层的权值参数。
训练得到深度可分离卷积神经网络中的权值参数后，就可以进一步对输入的图像数据进行特征提取，具体的过程与S203中，将人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果的过程相同：
1：采用如下公式，对人脸区域进行卷积处理：
Figure BDA0001704219440000141
其中，
Figure BDA0001704219440000142
表示第l层的局部感受野的特征值，f表示卷积函数，Mj表示神经元j对应的局部感受野，
Figure BDA0001704219440000143
表示第l层的神经元i的第j个输入对应的预先训练得到的权值参数，Bl表示第l层的偏置，
Figure BDA0001704219440000144
表示第l-1层的局部感受野中的特征值。
2：采用如下公式，对卷积结果进行批规范化：
Figure BDA0001704219440000145
Figure BDA0001704219440000146
Figure BDA0001704219440000147
yi＝γxi+β
其中，x1表示第i个输入的数据，μB表示均值，m表示所述卷积结果的数量，
Figure BDA0001704219440000148
表示方差，
Figure BDA0001704219440000149
表示对输入的数据进行标准化操作，ε表示噪声，γ、β表示训练的参数，通过线性变化求得原来的数值，yi表示xi的批规范化处理结果。
3：采用如下公式，对上述步骤得到的批规范化处理结果进行最大值池化：
Figure BDA00017042194400001410
其中，Mj表示神经元j对应的局部感受野，B1表示第l层的偏置，βl表示第l层的可训练参数，
Figure BDA00017042194400001411
表示l前一层的局部感受野的特征值，
Figure BDA00017042194400001412
表示第l层的局部感受野的特征值，f1表示泛化函数。
4：采用如下公式，利用ReLU函数对上述步骤得到的池化处理结果进行激活：
Figure BDA0001704219440000151
其中，f2表示激活函数。
5：将人脸区域输入至第一预设卷积结构中，得到第一输出结果。其中，第一预设卷积结构可以为任一一维卷积结构，比如离散卷积、连续卷积等等，本发明实施例对此不做限定。
6：建立预处理结果与第一输出结果的对应关系，得到连接层处理结果。
7：将连接层处理结果输入至第二预设卷积结构中进行处理，将第二预设卷积结构的处理结果输入至第二预设卷积结构中进行处理。然后，判断将第二预设卷积结构的处理结果输入至第二预设卷积结构的次数是否达到预设阈值，如果未达到，返回执行将第二预设卷积结构处理结果输入至第二预设卷积结构中进行处理的步骤，如果达到，则得到第二预设卷积结构输出值。
8：对第二预设卷积结构输出值进行池化处理，得到人脸区域的特征值。具体的，可以采用全局均值池化的方式，进一步减少输出的特征值的数量，避免深度可分离卷积神经网络产生过拟合现象，从而提高表情识别结果的准确度。
9：采用如下公式，利用Softmax算法对特征值进行分类，得到表情识别结果：
Figure BDA0001704219440000152
其中，Si表示第i个特征值的分类值，Vi表示第i个特征值，Vj表示第j个特征值，e是一个常数，表示自然对数的底数。
这样，通过对FER2013数据集的训练和测试，就可以得到了本发明实施例中可以用于进行表情识别的深度可分离卷积神经网络。
一种实现方式中，可以将训练得到的深度可分离卷积神经网络保存为HDF5格式，以便后期调用。
对应于上述表情识别方法，本发明实施例还提供了一种表情识别装置，如图6所示，为本发明实施例提供的一种表情识别装置的结构示意图，该装置包括：
人脸识别模块601，用于获取待识别图像，对所述待识别图像进行人脸检测；
图像截取模块602，用于截取检测出的人脸区域；
表情识别模块603，用于将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果。
在一种实现方式中，表情识别模块603具体用于：
将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，利用所述深度可分离卷积神经网络中的权值参数对所述人脸区域进行卷积处理；
对卷积结果进行融合分析，得到表情识别结果。
在一种实现方式中，表情识别模块603采用如下步骤，训练得到所述深度可分离卷积神经网络中的权值参数：
针对所述深度可分离卷积神经网络中的每层卷积，计算该层卷积中每个神经元的敏感度，根据反向传播算法及所述每个神经元的敏感度，对该层卷积的权值参数进行收敛，得到该层卷积的权值参数。
在一种实现方式中，表情识别模块603采用如下公式，对该层卷积的权值参数进行收敛：
Figure BDA0001704219440000161
Figure BDA0001704219440000162
其中，
Figure BDA0001704219440000163
表示第l-1层的神经元j的敏感度，D表示与所述第l-1层的神经元j相关的第l层神经元的个数，
Figure BDA0001704219440000164
表示第l层的神经元d的敏感度，
Figure BDA0001704219440000165
表示第l层的神经元d的权值参数，f′(netl-1)表示第l-1层的激活函数的导数，
Figure BDA0001704219440000166
表示第l-1层的神经元d的敏感度的偏导数，
Figure BDA0001704219440000167
表示第l-1层的输出的偏导数，δl表示第l层的敏感度，Wl表示第l层的权值参数。
在一种实现方式中，表情识别模块603具体用于采用如下公式，对所述人脸区域进行卷积处理：
Figure BDA0001704219440000171
其中，
Figure BDA0001704219440000172
表示第l层的局部感受野的特征值，f表示卷积函数，Mj表示神经元j对应的局部感受野，
Figure BDA0001704219440000173
表示第l层的神经元i的第j个输入对应的预先训练得到的权值参数，Bl表示第l层的偏置，
Figure BDA0001704219440000174
表示第l-1层的局部感受野中的特征值。
在一种实现方式中，表情识别模块603采用如下步骤，对卷积结果进行融合分析，得到表情识别结果：
对卷积结果进行预处理，得到预处理结果；
将所述人脸区域输入至第一预设卷积结构中，得到第一输出结果；
建立所述预处理结果与所述第一输出结果的对应关系，得到连接层处理结果；
将所述连接层处理结果输入至第二预设卷积结构中进行处理，将所述第二预设卷积结构的处理结果输入至第二预设卷积结构中进行处理，判断将所述第二预设卷积结构的处理结果输入至第二预设卷积结构的次数是否达到预设阈值，如果未达到，返回执行所述将所述第二预设卷积结构处理结果输入至第二预设卷积结构中进行处理的步骤，如果达到，得到所述第二预设卷积结构输出值；
对所述第二预设卷积结构输出值进行池化处理，得到所述人脸区域的特征值；
对所述特征值进行分类，得到表情识别结果。
在一种实现方式中，表情识别模块603采用如下公式，对卷积结果进行预处理：
Figure BDA0001704219440000181
Figure BDA0001704219440000182
Figure BDA0001704219440000183
yi＝γxi+β
Figure BDA0001704219440000184
Figure BDA0001704219440000185
其中，xi表示第i个输入的数据，μB表示均值，m表示所述卷积结果的数量，
Figure BDA0001704219440000186
表示方差，
Figure BDA0001704219440000187
表示对输入的数据进行标准化操作，ε表示噪声，γ、β表示训练的参数，通过线性变化求得原来的数值，yi表示xi的批规范化处理结果，βl表示第l层的可训练参数，Mj表示神经元j对应的局部感受野，Bl表示第l层的偏置，
Figure BDA0001704219440000188
表示l前一层的局部感受野的特征值，
Figure BDA0001704219440000189
表示第l层的局部感受野的特征值，f1表示泛化函数，f2表示激活函数；
采用如下公式，对所述特征值进行分类，得到表情识别结果：
Figure BDA00017042194400001810
其中，Si表示第i个特征值的分类值，Vi表示第i个特征值,Vj表示第j个特征值，e是一个常数，表示自然对数的底数。
在一种实现方式中，表情识别模块603还用于：
对所述候选人脸区域进行归一化处理；
将归一化处理后的人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果。
在一种实现方式中，所述表情识别结果为：所述待处理图像中的人脸区域对应不同表情的识别概率；该装置还包括：
结果展示模块604，用于根据所述表情识别结果中包括的所述识别概率，确定符合预设概率条件的表情的标识；在所述待识别图像中标注所确定的表情的标识；
或者，在所述待识别图像中标注所述人脸区域对应不同表情的识别概率。
由以上可见，本发明实施例提供的表情识别装置，首先对待识别图像进行人脸检测，截取待识别图像的人脸区域，然后将人脸区域输入至预先训练得到的深度可分离卷积神经网络中，从而得到表情识别结果，该过程中，不必预先构建多种表情模型，而且深度可分离卷积神经网络中的参数的数量较少，这样，就可以减少表情识别过程中的计算量。
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现如下步骤：
获取待识别图像，对所述待识别图像进行人脸检测；
截取检测出的人脸区域；
将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
由以上可见，本发明实施例提供的表情识别方法，首先对待识别图像进行人脸检测，截取待识别图像的人脸区域，然后将人脸区域输入至预先训练得到的深度可分离卷积神经网络中，从而得到表情识别结果，该过程中，不必预先构建多种表情模型，而且深度可分离卷积神经网络中的参数的数量较少，这样，就可以减少表情识别过程中的计算量。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种表情识别方法，其特征在于，所述方法包括：
获取待识别图像，对所述待识别图像进行人脸检测；
截取检测出的人脸区域；
将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果；
其中，所述将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果，包括：
将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，利用所述深度可分离卷积神经网络中的权值参数对所述人脸区域进行卷积处理；对卷积结果进行融合分析，得到表情识别结果；
其中，对卷积结果进行融合分析，得到表情识别结果，具体包括：
对卷积结果进行预处理，得到预处理结果；
将所述人脸区域输入至第一预设卷积结构中，得到第一输出结果；
建立所述预处理结果与所述第一输出结果的对应关系，得到连接层处理结果；
将所述连接层处理结果输入至第二预设卷积结构中进行处理，将所述第二预设卷积结构的处理结果输入至第二预设卷积结构中进行处理，判断将所述第二预设卷积结构的处理结果输入至第二预设卷积结构的次数是否达到预设阈值，如果未达到，返回执行所述将所述第二预设卷积结构处理结果输入至第二预设卷积结构中进行处理的步骤，如果达到，得到所述第二预设卷积结构输出值；
对所述第二预设卷积结构输出值进行池化处理，得到所述人脸区域的特征值；
对所述特征值进行分类，得到表情识别结果。
2.根据权利要求1所述的方法，其特征在于，采用如下步骤，训练得到所述深度可分离卷积神经网络中的权值参数：
针对所述深度可分离卷积神经网络中的每层卷积，计算该层卷积中每个神经元的敏感度，根据反向传播算法及所述每个神经元的敏感度，对该层卷积的权值参数进行收敛，得到该层卷积的权值参数。
3.根据权利要求2所述的方法，其特征在于，采用如下公式，对该层卷积的权值参数进行收敛：
Figure FDA0002963100210000021
Figure FDA0002963100210000022
其中，
Figure FDA0002963100210000023
表示第l-1层的神经元j的敏感度，D表示与所述第l-1层的神经元j相关的第1层神经元的个数，
Figure FDA0002963100210000024
表示第l层的神经元d的敏感度，
Figure FDA0002963100210000025
表示第l层的神经元d的权值参数，f′(netl-1)表示第l-1层的激活函数的导数，
Figure FDA0002963100210000026
表示第l-1层的神经元d的敏感度的偏导数，
Figure FDA0002963100210000027
表示第l-1层的输出的偏导数，δl表示第l层的敏感度，Wl表示第l层的权值参数。
4.根据权利要求1所述的方法，其特征在于，所述将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，利用预先训练得到的权值参数进行卷积处理，包括：
采用如下公式，对所述人脸区域进行卷积处理：
Figure FDA0002963100210000028
其中，
Figure FDA0002963100210000029
表示第l层的局部感受野的特征值，f表示卷积函数，Mj表示神经元j对应的局部感受野，
Figure FDA00029631002100000210
表示第l层的神经元i的第j个输入对应的预先训练得到的权值参数，Bl表示第l层的偏置，
Figure FDA00029631002100000211
表示第l-1层的局部感受野中的特征值。
5.根据权利要求1所述的方法，其特征在于，采用如下公式，对卷积结果进行预处理：
Figure FDA0002963100210000031
Figure FDA0002963100210000032
Figure FDA0002963100210000033
yi＝γxi+β
Figure FDA0002963100210000034
Figure FDA0002963100210000035
其中，xi表示第i个输入的数据，μB表示均值，m表示所述卷积结果的数量，
Figure FDA0002963100210000036
表示方差，
Figure FDA0002963100210000037
表示对输入的数据进行标准化操作，ε表示噪声，γ、β表示训练的参数，通过线性变化求得原来的数值，yi表示xi的批规范化处理结果，βl表示第l层的可训练参数，Mj表示神经元j对应的局部感受野，Bl表示第l层的偏置，
Figure FDA0002963100210000038
表示l前一层的局部感受野的特征值，
Figure FDA0002963100210000039
表示第l层的局部感受野的特征值，f1表示泛化函数，f2表示激活函数；
采用如下公式，对所述特征值进行分类，得到表情识别结果：
Figure FDA00029631002100000310
其中，Si表示第i个特征值的分类值，Vi表示第i个特征值，Vj表示第j个特征值，e是一个常数，表示自然对数的底数。
6.根据权利要求1所述的方法，其特征在于，所述将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果，包括：
对所述人脸区域进行归一化处理；
将归一化处理后的人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果。
7.根据权利要求1所述的方法，其特征在于，所述表情识别结果为：所述待识别图像中的人脸区域对应不同表情的识别概率；在所述将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果之后，所述方法还包括：
根据所述表情识别结果中包括的所述识别概率，确定符合预设概率条件的表情的标识；在所述待识别图像中标注所确定的表情的标识；
或者，在所述待识别图像中标注所述人脸区域对应不同表情的识别概率。
8.一种表情识别装置，其特征在于，所述装置包括：
人脸识别模块，用于获取待识别图像，对所述待识别图像进行人脸检测；
图像截取模块，用于截取检测出的人脸区域；
表情识别模块，用于将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，得到表情识别结果；
所述表情识别模块具体用于：
将所述人脸区域输入至预先训练得到的深度可分离卷积神经网络中，利用所述深度可分离卷积神经网络中的权值参数对所述人脸区域进行卷积处理；对卷积结果进行融合分析，得到表情识别结果；
其中，对卷积结果进行融合分析，得到表情识别结果，具体包括：
对卷积结果进行预处理，得到预处理结果；
将所述人脸区域输入至第一预设卷积结构中，得到第一输出结果；
建立所述预处理结果与所述第一输出结果的对应关系，得到连接层处理结果；
将所述连接层处理结果输入至第二预设卷积结构中进行处理，将所述第二预设卷积结构的处理结果输入至第二预设卷积结构中进行处理，判断将所述第二预设卷积结构的处理结果输入至第二预设卷积结构的次数是否达到预设阈值，如果未达到，返回执行所述将所述第二预设卷积结构处理结果输入至第二预设卷积结构中进行处理的步骤，如果达到，得到所述第二预设卷积结构输出值；
对所述第二预设卷积结构输出值进行池化处理，得到所述人脸区域的特征值；
对所述特征值进行分类，得到表情识别结果。
CN201810649059.1A 2018-06-22 2018-06-22 一种表情识别方法及装置 Active CN109002766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810649059.1A CN109002766B (zh) 2018-06-22 2018-06-22 一种表情识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810649059.1A CN109002766B (zh) 2018-06-22 2018-06-22 一种表情识别方法及装置

Publications (2)

Publication Number Publication Date
CN109002766A CN109002766A (zh) 2018-12-14
CN109002766B true CN109002766B (zh) 2021-07-09

Family

ID=64600923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810649059.1A Active CN109002766B (zh) 2018-06-22 2018-06-22 一种表情识别方法及装置

Country Status (1)

Country Link
CN (1) CN109002766B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829364A (zh) * 2018-12-18 2019-05-31 深圳云天励飞技术有限公司 一种表情识别方法、装置和推荐方法、装置
CN109858467B (zh) * 2019-03-01 2021-05-07 北京视甄智能科技有限公司 一种基于关键点区域特征融合的人脸识别方法及装置
CN109902632A (zh) * 2019-03-02 2019-06-18 西安电子科技大学 一种面向老人异常的视频分析装置及视频分析方法
CN109977891A (zh) * 2019-03-30 2019-07-05 哈尔滨理工大学 一种基于神经网络的目标检测与识别方法
CN111860046B (zh) * 2019-04-26 2022-10-11 四川大学 一种改进MobileNet模型的人脸表情识别方法
CN110188708A (zh) * 2019-06-03 2019-08-30 西安工业大学 一种基于卷积神经网络的人脸表情识别方法
CN110427867B (zh) * 2019-07-30 2021-11-19 华中科技大学 基于残差注意力机制的面部表情识别方法及系统
CN110705430A (zh) * 2019-09-26 2020-01-17 江苏科技大学 基于深度学习的多人面部表情识别方法和识别系统
CN110796020B (zh) * 2019-09-30 2022-03-25 深圳云天励飞技术有限公司 一种心情指数分析方法及相关装置
CN110688977B (zh) * 2019-10-09 2022-09-20 浙江中控技术股份有限公司 一种工业图像识别方法、装置、服务器及存储介质
CN111178217A (zh) * 2019-12-23 2020-05-19 上海眼控科技股份有限公司 人脸图像的检测方法及设备
CN111401299A (zh) * 2020-04-03 2020-07-10 上海应用技术大学 人脸识别方法
CN112308746A (zh) * 2020-09-28 2021-02-02 北京邮电大学 一种教学状态评估方法、装置及电子设备
CN112800874A (zh) * 2021-01-14 2021-05-14 上海汽车集团股份有限公司 一种人脸检测和识别方法及相关装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886395A (zh) * 2014-04-08 2014-06-25 河海大学 一种基于神经网络模型的水库优化调度方法
CN106599907A (zh) * 2016-11-29 2017-04-26 北京航空航天大学 多特征融合的动态场景分类方法与装置
CN106709448A (zh) * 2016-12-21 2017-05-24 华南理工大学 一种基于人脸卷积神经网络的中医体质识别方法
CN107273925A (zh) * 2017-06-12 2017-10-20 太原理工大学 一种基于局部感受野和半监督深度自编码的肺结节诊断方法
CN107463949A (zh) * 2017-07-14 2017-12-12 北京协同创新研究院 一种视频动作分类的处理方法及装置
CN107680082A (zh) * 2017-09-11 2018-02-09 宁夏医科大学 基于深度卷积神经网络和全局特征的肺部肿瘤识别方法
CN107742117A (zh) * 2017-11-15 2018-02-27 北京工业大学 一种基于端到端模型的人脸表情识别方法
CN107871101A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 一种人脸检测方法及装置
CN108154192A (zh) * 2018-01-12 2018-06-12 西安电子科技大学 基于多尺度卷积与特征融合的高分辨sar地物分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157814B2 (en) * 2016-11-15 2021-10-26 Google Llc Efficient convolutional neural networks and techniques to reduce associated computational costs

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886395A (zh) * 2014-04-08 2014-06-25 河海大学 一种基于神经网络模型的水库优化调度方法
CN107871101A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 一种人脸检测方法及装置
CN106599907A (zh) * 2016-11-29 2017-04-26 北京航空航天大学 多特征融合的动态场景分类方法与装置
CN106709448A (zh) * 2016-12-21 2017-05-24 华南理工大学 一种基于人脸卷积神经网络的中医体质识别方法
CN107273925A (zh) * 2017-06-12 2017-10-20 太原理工大学 一种基于局部感受野和半监督深度自编码的肺结节诊断方法
CN107463949A (zh) * 2017-07-14 2017-12-12 北京协同创新研究院 一种视频动作分类的处理方法及装置
CN107680082A (zh) * 2017-09-11 2018-02-09 宁夏医科大学 基于深度卷积神经网络和全局特征的肺部肿瘤识别方法
CN107742117A (zh) * 2017-11-15 2018-02-27 北京工业大学 一种基于端到端模型的人脸表情识别方法
CN108154192A (zh) * 2018-01-12 2018-06-12 西安电子科技大学 基于多尺度卷积与特征融合的高分辨sar地物分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
François Chollet.Xception: Deep Learning with Depthwise Separable Convolutions.《2017 IEEE Conference on Computer Vision and Pattern Recognition》.2017, *
基于深度可分离卷积的级联多尺度交叉网络的超分辨率重构;商丽娟等;《图像与信号处理》;20180427;第3.1-3.2节，图5 *

Also Published As

Publication number Publication date
CN109002766A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN109002766B (zh) 一种表情识别方法及装置
CN109961009B (zh) 基于深度学习的行人检测方法、系统、装置及存储介质
WO2021120752A1 (zh) 域自适应模型训练、图像检测方法、装置、设备及介质
CN111079639B (zh) 垃圾图像分类模型构建的方法、装置、设备及存储介质
CN110728209B (zh) 一种姿态识别方法、装置、电子设备及存储介质
Alani et al. Hand gesture recognition using an adapted convolutional neural network with data augmentation
CN107610087B (zh) 一种基于深度学习的舌苔自动分割方法
WO2019228317A1 (zh) 人脸识别方法、装置及计算机可读介质
Zhang et al. Real-time sow behavior detection based on deep learning
KR102629380B1 (ko) 실제 3차원 객체를 실제 객체의 2-차원 스푸프로부터 구별하기 위한 방법
WO2022033150A1 (zh) 图像识别方法、装置、电子设备及存储介质
US8792722B2 (en) Hand gesture detection
US8750573B2 (en) Hand gesture detection
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN107679513B (zh) 图像处理方法、装置及服务器
WO2019200735A1 (zh) 牲畜特征向量的提取方法、装置、计算机设备和存储介质
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
WO2019033568A1 (zh) 嘴唇动作捕捉方法、装置及存储介质
US11790492B1 (en) Method of and system for customized image denoising with model interpretations
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN111694954B (zh) 图像分类方法、装置和电子设备
Lin et al. Determination of the varieties of rice kernels based on machine vision and deep learning technology
Wahyono et al. A New Computational Intelligence for Face Emotional Detection in Ubiquitous
CN110717407A (zh) 基于唇语密码的人脸识别方法、装置及存储介质
CN107944363A (zh) 人脸图像处理方法、系统及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant