CN108491835B - 面向面部表情识别的双通道卷积神经网络 - Google Patents
面向面部表情识别的双通道卷积神经网络 Download PDFInfo
- Publication number
- CN108491835B CN108491835B CN201810599295.7A CN201810599295A CN108491835B CN 108491835 B CN108491835 B CN 108491835B CN 201810599295 A CN201810599295 A CN 201810599295A CN 108491835 B CN108491835 B CN 108491835B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- lbp
- layers
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 26
- 238000013527 convolutional neural network Methods 0.000 title claims description 19
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000014509 gene expression Effects 0.000 claims abstract description 22
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 238000012937 correction Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 210000001508 eye Anatomy 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000010195 expression analysis Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 abstract description 2
- 230000001815 facial effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008451 emotion Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种双通道卷积神经网络对人脸面部表情识别的方法，首先针对不同的输入图像进行预处理包括人脸检测、旋转校正、降采样以及数据样本扩充(若输入RGB图像，则将其灰度化以降低计算复杂度)，从而提高人脸检测精度。其次对于样本扩充后的灰度图像，计算对应的LBP图像，从而构成双通道样本集，用于后续的模型训练与测试。然后利用双通道特征提取网络(Binary Channel‑Feature Extraction Network，BC‑FEN)进行人脸图像全局及局部特征的有效提取。最后利用加权融合分类网络(Weighted Merge Classify Network，WMCN)完成人脸图像的特征融合及表情分类，提高了人脸表情识别精度。
Description
技术领域
本发明属于智能监控领域，特别涉及一种面向面部表情识别的双通道卷积神经网络。
背景技术
随面部表情识别指利用计算机视觉技术从人脸图像中预测表情，它在揭示人的意图、情感及其他内在状态方面发挥着极大的作用，是机器感知人类情绪变化并与人类进行沟通的重要手段，在人机交互、健康监控、辅助驾驶等方面获得了广泛应用。
面部表情识别流程包括图像预处理、面部特征提取以及表情分类。人脸检测通常利用级联分类器实现，譬如目前流行的Viola-Jones人脸检测框架。检测到人脸后，可以利用眼睛、嘴角等特征点进行旋转校正，并从校正后的脸部区域中提取能够反映表情变化的面部特征，包括嘴、眼睛、眉毛、鼻子等典型区域的位置与形状或脸部的全局/局部灰度特征。最后，利用分类器(支持向量机与随机森林分类器等)识别不同面部表情。
近年来，面部表情识别取得了较大进展，但是，光照变化、局部遮挡、面部旋转等复杂因素通常会影响人脸检测结果，进而降低表情识别的准确率。即使准确检测到人脸，面部表情识别也是一项极具挑战的任务，其难点在于：(1)相同表情的面部图像可能因人而异；(2)相同被试不同表情的差异可能不明显；(3)相同表情的强弱程度可能导致面部图像存在差异。因此，面部表情识别不仅需要准确检测人脸，更需要能够有效描述表情变化的特征以及准确区分不同表情的分类器。基于上述问题，本发明主要考虑面部表情特征的提取与表情识别问题，搭建一个双通道卷积神经网络来识别六种基本面部表情(高兴、愤怒、悲伤、恐惧、沮丧、惊讶)。
发明内容
本发明目的在于搭建一个双通道卷积神经网络识别六种基本面部表情(高兴、愤怒、悲伤、恐惧、沮丧、惊讶)，此方法对人群分布不均、尺度不一等问题具有很强的鲁棒性，同时能够通过视频帧间的关联信息增强人群计数的准确性。
本发明的技术方案为：
一种基于双通道卷积神经网络对人脸表情识别的方法，包括以下步骤：
1)：进行数据预处理，减少背景信息干扰；
2)：搭建一个双通道卷积神经网络自动提取有效特征，并以加权的策略将特征融合；
3)：利用softmax进行表情分类。
进一步，所述步骤1)具体包括：
(1)：人脸检测
采用Viola-Jones算法进行人脸检测，从而减少人脸图像中与表情分析无关的背景信息，增强特征描述子对不同面部表情的表达能力；
(2)：旋转校正
针对检测到的人脸图像中可能存在的角度差异，利用旋转变化矩阵进行校正，定义如下：
其中，Lx、Ly表示原始坐标，Lx’、Ly’表示变换后的坐标，θ表示旋转角度(通过测量两眼中心向量与水平方向的夹角得到)；
(3)：降采样
降采样是为了减小待处理图片尺寸，降低算法复杂度，并保证输入数据尺度一致。本发明采用线性插值方法进行降采样，同时，为避免过分降采样导致人脸LBP图像信息丢失，将降采样后的图像尺寸定为64*64(单位：像素)；
(4)：数据样本扩充
由于目前人脸表情基准数据库中的样本量无法满足要求，因此本发明对原始数据进行旋转与平移产生合成数据，并添加高斯白噪声，从而人为地扩充数据样本。
(5)：人脸LBP图像计算
局部二值模式(Local Binary Pattern，LBP)是一种常用的图像局部纹理描述方法，它通过对比局部范围内的中心点与邻域点的像素值，得到关于该区域的二进制编码。
得到某像素对应的LBP编码后，可以计算该像素的LBP值，计算方法如下：
其中，S()表示符号函数，N表示邻域点的数目，gc与gn分别表示中心点与邻域点的像素值。通过计算图像每一点的LBP值，可以得到对应的LBP图像。
进一步，所述步骤2)具体为：
(1)：搭建双通道特征提取网络(Binary Channel-Feature Extraction Network，BC-FEN)，以获取不同通道人脸图像与表情变化相关的特征。其中单通道特征提取网络包括一组输入层，两组卷积-下采样层(convolution-down sampling，C-S)以及一组特征向量层(feature vector，fv)。
(2)：对于不同通道的输入图像，采用相同的网络结构，但是针对不同通道图像的特点调整网络参数。对于人脸灰度图像(描述全局信息)，输入层大小为32×32像素，两组隐含层中卷积层与下采样层C1，S1，C2，S2大小分别为28×28，14×14，12×12，6×6，输出特征向量维度为500；对于对应的LBP图像(描述细节信息)，输入层大小为32×32像素，两组隐层的卷积层和下采样层C1，S1，C2，S2大小分别为30×30，16×16，14×14，7×7，输出特征向量维度同样为500。
(3)：对于任意通道，特征向量层与两个下采样层S2及S1同时相连，保证所提取特征具有多尺度特性。在此过程中，为了防止过拟合，在下采样层-特征向量层之间进行“dropout”操作(参数为0.5)。
(4)：对fv1、fv2进行加权融合得到向量fw＝{p1,p2,…,pm}，其中第i个成分pi通过如下方式计算得到：pi＝α·si+(1-α)·li，其中，权重α用来衡量人脸灰度图像与对应的LBP图像对最终融合特征的贡献，α的取值通过实验方式确定。对于融合后的特征向量fw，将其输出到两个级联的全连接层fc1与fc2，其中fc1维度为300，fc2维度为100。
进一步，所述步骤3)具体为：
(1)：softmax函数可用于计算多类别分类问题的类别概率分布，假设对于给定输入x：
其中，输入x与输出y都是K维向量，
分母起到正则化作用，保证输出向量的每个成分在[0,1]范围内。
(2)作为神经网络的输出，softmax函数中的值可用K个神经元来表示，即对给定输入x，每种分类的概率y可表示为
其中，P(y＝k|x)表示输入x属于第k类的概率。
(3)对于softmax函数的求解，本发明采用交叉熵作为损失函数，定义如下：
其中，zi表示输入样本的真实值，yi表示softmax输出值。采用基于梯度下降优化的反推算法进行最小化，从而得到网络输出。
本发明的有益效果：
(1)考虑到光照变化、局部遮挡、面部旋转等复杂因素，本发明对采集得到的人脸图像进行预处理以限制分析范围，从而提高人脸检测结果准确率。
(2)考虑到表情识别受到不同个体差异以及情绪强弱差异影响较大，本发明通过同时分析人脸灰度图像与对应的LBP图像，利用不同参数的卷积神经网络自动提取面部全局及细节特征，并通过加权融合分类网络进行特征融合。
(3)利用softmax分类不同表情从而解决问题，提高人脸表情识别的准确性。
附图说明
图1是本发明提出的面部表情识别算法流程；
图2是本发明中提出的LBP编码示意图；
图3是本发明中提出的双通道卷积神经网络中单通道特征提取网络结构图；
图4是本发明中提出的加权融合分类网络结构图。
具体实施方式
下面将结合附图对本发明作进一步的说明，但本发明的保护范围并不限于此。
图1给出了基于双通道卷积神经网络的人脸面部表情识别算法流程：
本发明提出的人脸面部表情识别算法流程，包括图像预处理模块与双通道卷积神经网络(Binary Channel-Convolution Neural Network，BC-CNN)，后者又由双通道特征提取网络(Binary Channel-Feature Extraction Network，BC-FEN)与加权融合分类网络(Weighted Merge Classify Network，WMCN)构成，可以同时完成人脸图像的特征提取与表情分类。本发明对输入的人脸图像进行预处理，包括人脸检测、旋转校正、降采样以及数据样本扩充，如果输入RGB图像，还需进行灰度化以降低计算复杂度。对于样本扩充后的灰度图像，计算对应的LBP图像，从而构成双通道样本集，用于后续的模型训练与测试。
本发明的具体操作步骤：
1)进行数据预处理，减少背景信息干扰
(1)人脸检测
采用Viola-Jones算法进行人脸检测，从而减少人脸图像中与表情分析无关的背景信息，增强特征描述子对不同面部表情的表达能力。
(2)旋转校正
针对检测到的人脸图像中可能存在的角度差异，利用旋转变化矩阵进行校正，定义如下：
其中，Lx、Ly表示原始坐标，Lx’、Ly’表示变换后的坐标，θ表示旋转角度(通过测量两眼中心向量与水平方向的夹角得到)。
(3)降采样
降采样是为了减小待处理图片尺寸，降低算法复杂度，并保证输入数据尺度一致。本发明采用线性插值方法进行降采样，同时，为避免过分降采样导致人脸LBP图像信息丢失，将降采样后的图像尺寸定为64*64(单位：像素)。
(4)数据样本扩充
由于目前人脸表情基准数据库中的样本量无法满足要求，因此本发明对原始数据进行旋转与平移产生合成数据，并添加高斯白噪声，从而人为地扩充数据样本。
(5)人脸LBP图像计算
局部二值模式(Local Binary Pattern，LBP)是一种常用的图像局部纹理描述方法，它通过对比局部范围内的中心点与邻域点的像素值，得到关于该区域的二进制编码。得到某像素对应的LBP编码后，可以计算该像素的LBP值，计算方法如下：
其中，S()表示符号函数，N表示邻域点的数目，gc与gn分别表示中心点与邻域点的像素值。通过计算图像每一点的LBP值，可以得到对应的LBP图像。
图2给出了LBP编码示意图。
2)搭建一个双通道卷积神经网络自动提取有效特征，并以加权的策略将特征融合
图3给出了双通道卷积神经网络中单个通道特征提取网络结构图，其包括一组输入层，两组卷积-下采样层(convolution-down sampling，C-S)以及一组特征向量层(feature vector，fv)。
对于不同通道的输入图像，采用相同的网络结构，但是针对不同通道图像的特点调整网络参数。对于人脸灰度图像(描述全局信息)，输入层大小为32×32像素，两组隐含层中卷积层与下采样层C1，S1，C2，S2大小分别为28×28，14×14，12×12，6×6，输出特征向量维度为500；对于对应的LBP图像(描述细节信息)，输入层大小为32×32像素，两组隐层的卷积层和下采样层C1，S1，C2，S2大小分别为30×30，16×16，14×14，7×7，输出特征向量维度同样为500。
对于任意通道，特征向量层与两个下采样层S2及S1同时相连，保证所提取特征具有多尺度特性。在此过程中，为了防止过拟合，在下采样层-特征向量层之间进行“dropout”操作(参数为0.5)。
对fv1、fv2进行加权融合得到向量fw＝{p1,p2,…,pm}，其中第i个成分pi通过如下方式计算得到：pi＝α·si+(1-α)·li，其中，权重α用来衡量人脸灰度图像与对应的LBP图像对最终融合特征的贡献，α的取值通过实验方式确定。对于融合后的特征向量fw，将其输出到两个级联的全连接层fc1与fc2，其中fc1维度为300，fc2维度为100。
图4给出了加权融合分类网络结构图。
3)利用softmax进行表情分类
softmax函数可用于计算多类别分类问题的类别概率分布，假设对于给定输入x：
其中，输入x与输出y都是K维向量，
分母起到正则化作用，保证输出向量的每个成分在[0,1]范围内。
作为神经网络的输出，softmax函数中的值可用K个神经元来表示，即对给定输入x，每种分类的概率y可表示为
其中，P(y＝k|x)表示输入x属于第k类的概率。
对于softmax函数的求解，本发明采用交叉熵作为损失函数，定义如下：
其中，zi表示输入样本的真实值，yi表示softmax输出值。采用基于梯度下降优化的反推算法进行最小化，从而得到网络输出。
以上所述对本发明进行了简单说明，并不受上述工作范围限值，只要采取本发明思路和工作方法进行简单修改运用到其他设备，或在不改变本发明主要构思原理下做出改进和润饰的等行为，均在本发明的保护范围之内。
Claims (2)
1.基于双通道卷积神经网络对人脸表情识别的方法，其特征在于，包括以下步骤：
1)：进行数据预处理，减少背景信息干扰；
2)：搭建一个双通道卷积神经网络自动提取有效特征，并以加权的策略将特征融合；
3)：利用softmax进行表情分类；
所述步骤1)具体包括：
(1)：人脸检测
采用Viola-Jones算法进行人脸检测，从而减少人脸图像中与表情分析无关的背景信息，增强特征描述子对不同面部表情的表达能力；
(2)：旋转校正
针对检测到的人脸图像中可能存在的角度差异，利用旋转变化矩阵进行校正，定义如下：
，其中，Lx、Ly表示原始坐标，Lx’、Ly’表示变换后的坐标，θ表示旋转角度，所述旋转角度通过测量两眼中心向量与水平方向的夹角得到；
(3)：降采样
采用线性插值方法进行降采样，同时，为避免过分降采样导致人脸LBP图像信息丢失，将降采样后的图像尺寸定为64×64，单位：像素；
(4)：数据样本扩充
对原始数据进行旋转与平移产生合成数据，并添加高斯白噪声，从而人为地扩充数据样本；
(5)：人脸LBP图像计算
采用局部二值模式(Local Binary Pattern，LBP)进行图像局部纹理描述方法，首先对比局部范围内的中心点与邻域点的像素值，得到关于该局部范围的二进制编码，得到某像素对应的LBP编码后，计算该像素的LBP值，计算方法如下：
其中，S()表示符号函数，N表示邻域点的数目，gc与gn分别表示中心点与邻域点的像素值，通过计算图像每一点的LBP值，得到对应的LBP图像，LBP图像用于描述细节信息；
所述步骤2)具体为：
(1)：基于卷积神经网络（CNN）搭建双通道特征提取网络(Binary Channel-FeatureExtraction Network，BC-FEN)，以获取不同通道人脸图像与表情变化相关的特征，其中单通道特征提取网络包括一组输入层，两组卷积-下采样层(convolution-down sampling，C-S)以及一组特征向量层 (feature vector，fv)；
(2)：对于不同通道的输入图像，采用相同的网络结构，但是针对不同通道图像的特点调整网络参数，对于用于描述全局信息的人脸灰度图像，输入层大小为32×32像素，通过局部VGG16网络从人脸灰度图像中提取特征，具体方法为：设定两组隐含层中卷积层与下采样层C1，S1，C2，S2大小分别为28×28，14×14，12×12，6×6，输出特征向量维度为500；对于对应的LBP图像，输入层大小为32×32像素，通过浅层卷积神经网络（CNN）从LBP的面部图像中提取特征，具体方法为：设定两组隐含层的卷积层和下采样层C1，S1，C2，S2大小分别为30×30，16×16，14×14，7×7，输出特征向量维度同样为500；
(3)：对于任意通道，特征向量层与两个下采样层S2及S1同时相连，保证所提取特征具有多尺度特性；在此过程中，为了防止过拟合，在下采样层-特征向量层之间进行“dropout”操作；
(4)：对fv1、fv2进行加权融合得到向量fw＝{p1,p2,…,pm}，其中第i个成分pi通过如下方式计算得到：pi＝α·si+(1-α)·li，其中，权重α用来衡量人脸灰度图像与对应的LBP图像对最终融合特征的贡献，α的取值通过实验方式确定，对于融合后的特征向量fw，将其输出到两个级联的全连接层fc1与fc2，其中fc1维度为300，fc2维度为100。
2.根据权利要求1所述的一种基于双通道卷积神经网络对人脸表情识别的方法，其特征在于，所述步骤3)具体包括：
(1)：softmax函数用于计算多类别分类问题的类别概率分布，假设对于给定输入x：
(2)作为神经网络的输出，softmax函数中的值用K个神经元来表示，即对给定输入x，每种分类的概率y可表示为：
其中，P(y＝k|x)表示输入x属于第k类的概率；
(3)对于softmax函数的求解，采用交叉熵作为损失函数，定义如下：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810599295.7A CN108491835B (zh) | 2018-06-12 | 2018-06-12 | 面向面部表情识别的双通道卷积神经网络 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810599295.7A CN108491835B (zh) | 2018-06-12 | 2018-06-12 | 面向面部表情识别的双通道卷积神经网络 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108491835A CN108491835A (zh) | 2018-09-04 |
| CN108491835B true CN108491835B (zh) | 2021-11-30 |
Family
ID=63342644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810599295.7A Active CN108491835B (zh) | 2018-06-12 | 2018-06-12 | 面向面部表情识别的双通道卷积神经网络 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108491835B (zh) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543526B (zh) * | 2018-10-19 | 2022-11-08 | 谢飞 | 基于深度差异性特征的真假面瘫识别系统 |
| CN109657554B (zh) | 2018-11-21 | 2022-12-20 | 腾讯科技（深圳）有限公司 | 一种基于微表情的图像识别方法、装置以及相关设备 |
| CN111227789A (zh) * | 2018-11-29 | 2020-06-05 | 百度在线网络技术（北京）有限公司 | 人体健康监护方法和装置 |
| CN111260548B (zh) * | 2018-11-30 | 2023-07-21 | 浙江宇视科技有限公司 | 基于深度学习的贴图方法及装置 |
| CN109815785A (zh) * | 2018-12-05 | 2019-05-28 | 四川大学 | 一种基于双流卷积神经网络的人脸情绪识别方法 |
| CN109379509B (zh) * | 2018-12-10 | 2020-06-23 | 盎锐（上海）信息科技有限公司 | 点云加密压缩引擎 |
| CN109657582B (zh) * | 2018-12-10 | 2023-10-31 | 平安科技（深圳）有限公司 | 人脸情绪的识别方法、装置、计算机设备及存储介质 |
| CN109858496A (zh) * | 2019-01-17 | 2019-06-07 | 广东工业大学 | 一种基于加权深度特征的图像特征提取方法 |
| CN109886933B (zh) * | 2019-01-25 | 2021-11-02 | 腾讯科技（深圳）有限公司 | 一种医学图像识别方法、装置和存储介质 |
| CN109934112B (zh) * | 2019-02-14 | 2021-07-13 | 青岛小鸟看看科技有限公司 | 一种人脸对齐方法和相机 |
| CN111582008B (zh) | 2019-02-19 | 2023-09-08 | 富士通株式会社 | 训练分类模型的装置和方法及利用分类模型分类的装置 |
| JP7158320B2 (ja) * | 2019-03-15 | 2022-10-21 | 浜松ホトニクス株式会社 | 畳み込みニューラルネットワーク判断根拠抽出方法および装置 |
| CN109934204A (zh) * | 2019-03-22 | 2019-06-25 | 重庆邮电大学 | 一种基于卷积神经网络的人脸表情识别方法 |
| CN110135237B (zh) * | 2019-03-24 | 2021-11-26 | 北京化工大学 | 一种手势识别方法 |
| CN110175500B (zh) | 2019-04-03 | 2024-01-19 | 平安科技（深圳）有限公司 | 指静脉比对方法、装置、计算机设备及存储介质 |
| CN110321920B (zh) | 2019-05-08 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置、计算机可读存储介质和计算机设备 |
| CN111914600A (zh) * | 2019-05-08 | 2020-11-10 | 四川大学 | 一种基于空间注意力模型的群组情绪识别方法 |
| CN110119905A (zh) * | 2019-05-23 | 2019-08-13 | 贵州大学 | 一种基于双通道卷积神经网络的精准分案方法 |
| CN110188047B (zh) * | 2019-06-20 | 2023-04-18 | 重庆大学 | 一种基于双通道卷积神经网络的重复缺陷报告检测方法 |
| CN110378254B (zh) * | 2019-07-03 | 2022-04-19 | 中科软科技股份有限公司 | 车损图像修改痕迹的识别方法、系统、电子设备及存储介质 |
| CN110728193B (zh) * | 2019-09-16 | 2022-10-04 | 连尚（新昌）网络科技有限公司 | 一种脸部图像丰富度特征的检测方法及设备 |
| CN110807585A (zh) * | 2019-10-30 | 2020-02-18 | 山东商业职业技术学院 | 一种学员课堂学习状态在线评估方法及系统 |
| CN111160194B (zh) * | 2019-12-23 | 2022-06-24 | 浙江理工大学 | 一种基于多特征融合的静态手势图像识别方法 |
| CN111128178A (zh) * | 2019-12-31 | 2020-05-08 | 上海赫千电子科技有限公司 | 一种基于面部表情分析的语音识别方法 |
| CN111368663B (zh) * | 2020-02-25 | 2024-02-20 | 华南理工大学 | 自然场景中静态面部表情识别方法、装置、介质及设备 |
| CN111681238A (zh) * | 2020-06-12 | 2020-09-18 | 电子科技大学 | 一种基于神经网络的齿痕舌识别方法及系统 |
| CN111738270B (zh) * | 2020-08-26 | 2020-11-13 | 北京易真学思教育科技有限公司 | 模型生成方法、装置、设备和可读存储介质 |
| CN112329683B (zh) * | 2020-11-16 | 2024-01-26 | 常州大学 | 一种多通道卷积神经网络人脸表情识别方法 |
| CN112541422B (zh) * | 2020-12-08 | 2024-03-12 | 北京科技大学 | 光照和头部姿态鲁棒的表情识别方法、设备及存储介质 |
| CN112836589A (zh) * | 2021-01-13 | 2021-05-25 | 苏州元启创人工智能科技有限公司 | 基于特征融合的视频中人脸表情识别方法 |
| CN113033511B (zh) * | 2021-05-21 | 2021-08-10 | 中国科学院自动化研究所 | 一种基于操控解耦身份表示的人脸匿名方法 |
| CN113887487B (zh) * | 2021-10-20 | 2024-03-15 | 河海大学 | 一种基于CNN-Transformer的面部表情识别方法及装置 |
| CN114220142B (zh) * | 2021-11-24 | 2022-08-23 | 慧之安信息技术股份有限公司 | 一种深度学习算法的人脸特征识别方法 |
| CN114049675B (zh) * | 2021-11-29 | 2024-02-13 | 合肥工业大学 | 基于轻量双通道神经网络的人脸表情识别方法 |
| CN116664140B (zh) * | 2023-08-02 | 2023-09-29 | 华北电力大学 | 一种基于区块链的碳排放权交易方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105960657A (zh) * | 2014-06-17 | 2016-09-21 | 北京旷视科技有限公司 | 使用卷积神经网络的面部超分辨率 |
| CN107491726A (zh) * | 2017-07-04 | 2017-12-19 | 重庆邮电大学 | 一种基于多通道并行卷积神经网络的实时表情识别方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732413B (zh) * | 2013-12-20 | 2017-11-21 | 中国科学院声学研究所 | 一种智能个性化视频广告推送方法及系统 |
| CN105809094A (zh) * | 2014-12-31 | 2016-07-27 | 研祥智能科技股份有限公司 | 基于机器视觉的条形码识别方法 |
| US9552510B2 (en) * | 2015-03-18 | 2017-01-24 | Adobe Systems Incorporated | Facial expression capture for character animation |
| CN105844221A (zh) * | 2016-03-18 | 2016-08-10 | 常州大学 | 一种基于Vadaboost筛选特征块的人脸表情识别方法 |
| CN106682616B (zh) * | 2016-12-28 | 2020-04-21 | 南京邮电大学 | 基于双通道特征深度学习的新生儿疼痛表情识别方法 |
| CN107358180B (zh) * | 2017-06-28 | 2021-08-03 | 江苏爱朋医疗科技股份有限公司 | 一种人脸表情的疼痛评估方法 |
| CN107506722A (zh) * | 2017-08-18 | 2017-12-22 | 中国地质大学（武汉） | 一种基于深度稀疏卷积神经网络人脸情感识别方法 |
-
2018
- 2018-06-12 CN CN201810599295.7A patent/CN108491835B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105960657A (zh) * | 2014-06-17 | 2016-09-21 | 北京旷视科技有限公司 | 使用卷积神经网络的面部超分辨率 |
| CN107491726A (zh) * | 2017-07-04 | 2017-12-19 | 重庆邮电大学 | 一种基于多通道并行卷积神经网络的实时表情识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| A method of facial expression recognition based on LBP fusion of key expressions areas;He Jun;《 The 27th Chinese Control and Decision Conference (2015 CCDC)》;20151230;第4200-4204页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108491835A (zh) | 2018-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108491835B (zh) | 面向面部表情识别的双通道卷积神经网络 | |
| CN113221639B (zh) | 一种基于多任务学习的代表性au区域提取的微表情识别方法 | |
| WO2020108362A1 (zh) | 人体姿态检测方法、装置、设备及存储介质 | |
| WO2022111236A1 (zh) | 一种结合注意力机制的面部表情识别方法及系统 | |
| Kim et al. | Efficient facial expression recognition algorithm based on hierarchical deep neural network structure | |
| CN107229904B (zh) | 一种基于深度学习的目标检测与识别方法 | |
| CN106960202B (zh) | 一种基于可见光与红外图像融合的笑脸识别方法 | |
| CN109472198B (zh) | 一种姿态鲁棒的视频笑脸识别方法 | |
| CN108830237B (zh) | 一种人脸表情的识别方法 | |
| CN108154118A (zh) | 一种基于自适应组合滤波与多级检测的目标探测系统及方法 | |
| CN107403200A (zh) | 改进图像分割算法结合深度学习的多重不良图片分类方法 | |
| CN111191583A (zh) | 基于卷积神经网络的空间目标识别系统及方法 | |
| CN105139004A (zh) | 基于视频序列的人脸表情识别方法 | |
| CN112329683A (zh) | 一种基于注意力机制融合的多通道卷积神经网络人脸表情识别方法 | |
| CN111652836A (zh) | 一种基于聚类算法和神经网络的多尺度目标检测方法 | |
| CN106023249A (zh) | 一种基于局部二值相似性模式的运动目标检测方法 | |
| CN113963026A (zh) | 基于非局部特征融合和在线更新的目标跟踪方法及系统 | |
| CN111209873A (zh) | 一种基于深度学习的高精度人脸关键点定位方法及系统 | |
| CN115147932A (zh) | 一种基于深度学习的静态手势识别方法及系统 | |
| CN116386102A (zh) | 一种基于改进残差卷积网络inception块结构的人脸情绪识别方法 | |
| CN113936034A (zh) | 一种结合帧间光流的表观运动联合弱小运动目标检测方法 | |
| CN113688715A (zh) | 面部表情识别方法及系统 | |
| CN116311472B (zh) | 基于多层次图卷积网络的微表情识别方法及装置 | |
| Hsia et al. | A fast face detection method for illumination variant condition | |
| CN117437691A (zh) | 一种基于轻量化网络的实时多人异常行为识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180904 Assignee: Shandong Hongde Yuheng Information Technology Co.,Ltd. Assignor: CHANGZHOU University Contract record no.: X2023980051060 Denomination of invention: A Dual Channel Convolutional Neural Network for Facial Expression Recognition Granted publication date: 20211130 License type: Common License Record date: 20231209 |
|
| EE01 | Entry into force of recordation of patent licensing contract |