CN108615010A - 基于平行卷积神经网络特征图融合的人脸表情识别方法 - Google Patents
基于平行卷积神经网络特征图融合的人脸表情识别方法 Download PDFInfo
- Publication number
- CN108615010A CN108615010A CN201810373477.2A CN201810373477A CN108615010A CN 108615010 A CN108615010 A CN 108615010A CN 201810373477 A CN201810373477 A CN 201810373477A CN 108615010 A CN108615010 A CN 108615010A
- Authority
- CN
- China
- Prior art keywords
- characteristic pattern
- fusion
- channel
- neural networks
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明请求保护一种基于平行卷积神经网络特征图融合的人脸表情识别方法。该方法模拟人双眼视觉通道，设计一种平行结构的卷积神经网络，在卷积池化层后对平行通道的特征图进行融合；并在全连接层结构上，将其中一通道采用稀疏全连接输出，另一通道采用稠密全连接输出，最后二者输出融合并分类；采用人脸表情数据进行模型训练达到较高识别率后使用测试样本检测模型的识别效果，并获得较高的识别准确率，为情感分析人脸表情识别提供了一个新的方法。
Description
技术领域
本发明属于图像识别领域，特别是运用平行卷积神经网络进行人脸表情特征提取并识别的方法。
背景技术
人脸表情包含丰富的情感真实信息，准确高效的识别人脸表情是图像视觉领域的一个重要研究方向。人脸表情信息可运用于远程教育、辅助医疗、刑侦测谎等多领域。人脸表情识别技术是通过特定的方法进行人脸表情特征提取后对特征信息进行分类识别的过程。
目前人脸表情识别常用的特征提取可分为基于形状模型和纹理模型方法。其中基于形状模型的主要有主动外观模型，其通过图像之间的差异获取特征，方法简单便捷，缺点在于对具有光照，复杂背景以及角度干扰情形下的识别效果较差。基于纹理模型的典型方法有局部二值模型(LBP)和Gabor小波以及方向梯度直方图(HOG)特征的提取，这类方法对图像的某类特征进行提取，相比形状模型可使特征目标明确化，但是由于人脸表情的微弱性导致不同表情之间的差异性低，提取的特征不足导致识别误差较大。
近年，深度学习方法对特征的自动提取能力被运用到人脸表情识别上。采用常规的CNN、DBN、RNN模型对具有较大差异表情有一定的识别的效果，但对微小表情特征的区分识别效果不理想。为使模型对微小差异表情特征有足够的特征提取能力的同时方便模型训练完成，从而具有较高的识别准确率，满足实际的场景运用需求，本发明提出一种平行卷积神经网络特征图融合的人脸表情识别方法，以适用于复杂条件下的人脸表情识别。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种提高对复杂场景下的人脸表情识别准确度的基于平行卷积神经网络特征图融合的人脸表情识别方法。本发明的技术方案如下：
一种基于平行卷积神经网络特征图融合的人脸表情识别方法，其包括以下步骤：
将人脸表情图像进行包括截取人脸面部区域和归一化步骤在内的预处理操作；
将处理后图像输入平行卷积神经网络的不同通道进行卷积池化运算；
对平行卷积神经网络的最后一个池化层输出的特征图进行特征比例融合得到融合后特征图；
再将融合后特征图展开成一维向量的全连接形式，然后做不同连接复杂度的全连接的特征信息组合；
最后将组合信息用于分类识别。
进一步的，所述对获取的人脸表情图像进行截取面部区域和归一化预处理，具体包括：
人脸面部获取：获取人脸面部区域，选择256×256大小的图像区域；
归一化：将获取的人脸表情图像进行归一化使图像数值在[0,1]范围内。
进一步的，所述将处理后图像输入平行卷积神经网络不同通道进行卷积池化运算，具体步骤如下：
第一卷积层采用5×5大小卷积核获得4张特征图，然后继续使用5×5大小卷积核卷积得到8张大小为128×128的特征图，之后连接大小为2×2，步长为2的池化核进行最大池化，获得64×64大小特征图并采用Swish作为激活函数，再将8张大小为64×64的特征图进行批量归一化处理。通道1和通道2均做相同处理。
进一步的，所述1通道或2通道的卷积和池化运算过程为：
1)使用两个连续卷积层结构，其卷积核大小为5×5；
2)采用大小2×2的池化核进行最大池化处理；
3)批量归一化处理,对最大池化层输出数据求得整体的均值和方差然后采用式(1,2)调整数据结构分布；
式中xi为输入值，μB为批次的均值，σB是批次的方差，γ，β为可训练参数。
进一步的，所述通道1连接形式:
Conv1_3--Max_pooling--Conv1_4--Max_pooling--Conv1_5--Max_pooling。
Conv1_x表示1通道第x个卷积层，Max_pooling表示最大池化层；
通道2连接形式:
Conv2_3--Max_pooling--Conv2_4--Max_pooling--Conv2_5--Max_pooling。
Conv2_x表示2通道第x个卷积层，Max_pooling表示最大池化层。
进一步的，所述对网络最后一个池化层输出的特征图进行特征比例融合的步骤为：将通道1和通道2的特征图按照学习比例融合，各通道输出乘以一权值向量后进行特征图叠加。如下式：
F＝aA+bB (3)
式中，a,b分别为第一通道特征权重和第二通道特征权值，为可训练变量；A,B分别为第一通道特征图矩阵和第二通道特征图矩阵；F为融合后特征信息矩阵。
融合后特征图F展开为大小为4096个元素的一维向量形式FC1。
进一步的，所述将获取的特征信息展开成一维向量的全连接形式，后做不同连接复杂度的全连接的特征信息组合，具体包括：
将FC1一维向量分别连接到512单元神经元的FC1-1和FC1-2的全连接层上，其FC1-1采用保留比例0.3的Dropout稀疏形式连接，FC1-2采用保留比例为0.6的Dropout稠密连接形式。
进一步的，将FC1-1和FC1-2分别连接7个神经元的输出单元OUT1,OUT2，之后输出OUT由OUT1和OUT2叠加。
进一步的，将融合后输出的OUT输入到Softmax分类器进行分类置信度概率计算，其向量中最大值索引号为分类表情编号，将分类的编号对应表情类别字符数组，最后将表情识别显示为中性、生气、厌恶、恐惧、高兴、悲伤、惊讶的表情类别。
本发明的优点及有益效果如下：
由于单通道的卷积神经网络提取特征信息有限，尤其对人脸表情微小特征提取不足，本发明采用平行结构的卷积神经网络可以提取更多有效的表情特征信息；将不同通道提取的特征进行比例融合，可以合理选择对通道特征的使用程度；此外在全连接层采用不同复杂程度的连接处理，对明显表情特征可经过稀疏网络决策，对微小表情特征可使用稠密网络决策，这样增加模型的特征表达能力。同时在网络中加入Batch Normalization策略处理数据分布便于网络快速的训练，防止网络发生梯度消失或梯度爆炸以及降低过拟合的风险，使训练好的网络模型对不同姿态、光照以及角度干扰的表情图像具有理想的识别效果。
附图说明
图1是本发明提供优选实施例为人脸表情识别系统结构图。
图2为平行卷积神经网络模型训练流程图；
图3所示为人脸表情识别系统流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
本实施例提供的一种平行卷积神经网络的特征融合人脸表情识别方法，包括以下步骤：
(1)获取的人脸表情图像进行截取人脸面部区域和数值归一化预处理：
截取面部区域：获取人脸面部区域选择256×256大小的图像区域进行截取。
归一化：将获取的图像进行归一化使图像数值在[0,1]范围内。将图像数值矩阵除以255得到数值大小在[0,1]的图像矩阵信息。
(2)平行卷积神经网络不同通道进行卷积池化运算。将处理后图像输入网络模型中，其过程包括：
第一卷积层采用5×5大小卷积核获得4张特征图，然后继续使用5×5大小卷积核卷积得到8张大小为128×128的特征图，之后连接大小为2×2，步长为2的池化核进行最大池化，获得64×64大小特征图并采用Swish作为激活函数。再将8张大小为64×64的特征图进行批量归一化处理。通道1和通道2均做相同处理。具体运算模型如下：
1通道卷积和池化运算过程：
1)使用两个连续卷积层结构，其卷积核大小为5×5。
2)采用大小2×2的池化核进行最大池化处理。
3)批量归一化处理,对最大池化层输出数据求得整体的均值和方差然后采用式(1,2)调整数据结构分布；
式中xi为输入值，μB为批次的均值，σB是批次的方差，γ，β为可训练参数。
2通道卷积和池化运算过程：
1)使用两个连续卷积层结构，其卷积核大小为5×5。
2)采用大小2×2的池化核进行最大池化处理。
3)批量归一化处理，对池化后数据按照通道1批量归一化形式进行相同处理。
以上为网络模型起始部分处理过程。
进一步，3个卷积层和3个池化层交替连接并在池化层后进行Swish激活函数处理。在最后一个池化层后输出大小为8×8的特征图64张。具体过程：
通道1连接形式:
Conv1_3--Max_pooling--Conv1_4--Max_pooling--Conv1_5--Max_pooling。
Conv1_x表示1通道第x个卷积层，Max_pooling表示最大池化层。
通道2连接形式:
Conv2_3--Max_pooling--Conv2_4--Max_pooling--Conv2_5--Max_pooling。
Conv2_x表示2通道第x个卷积层，Max_pooling表示最大池化层。
(3)输出特征图之间进行特征比例融合步骤：将通道1和通道2的特征图按照学习比例融合，各通道输出乘以一权值向量后进行特征图叠加。如下式：
F＝aA+bB (3)
式中，a,b分别为第一通道特征权重和第二通道特征权值，为可训练变量；A,B分别为第一通道特征图矩阵和第二通道特征图矩阵；F为融合后特征信息矩阵。
融合后特征图F展开为大小为4096个元素的一维向量形式FC1。
(4)不同连接复杂度的全连接特征信息组合步骤：将FC1一维向量分别连接到512单元神经元的FC1-1和FC1-2的全连接层上。其FC1-1采用保留比例0.3的Dropout稀疏形式连接，FC1-2采用保留比例为0.6的Dropout稠密连接形式。进一步，将FC1-1和FC1-2分别连接7个神经元的输出单元OUT1,OUT2。之后输出OUT由OUT1和OUT2叠加。
(5)组合信息分类识别，将融合后输出的OUT输入到Softmax分类器进行分类置信度概率计算，其向量中最大值索引号为分类表情编号。将分类的编号对应表情类别字符数组，最后将表情识别显示为中性、生气、厌恶、恐惧、高兴、悲伤、惊讶的表情类别。
(6)如图2所示，本发明的模型训练过程包括：
通过人脸表情数据库随机选择表情图像输入网络模型进行迭代训练，在网络输出部分计算误差，将误差反向传播进行权值更新，当训练批次连续多次达到理想识别准确率或完成迭代次数后结束训练保存模型，模型用于人脸表情识别系统。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (9)
1.一种基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，包括以下步骤：
将人脸表情图像进行包括截取人脸面部区域和归一化步骤在内的预处理操作；
将处理后图像输入平行卷积神经网络的不同通道进行卷积池化运算；
对平行卷积神经网络的最后一个池化层输出的特征图进行特征比例融合得到融合后特征图；
再将融合后特征图展开成一维向量的全连接形式，然后做不同连接复杂度的全连接的特征信息组合；
最后将组合信息用于分类识别。
2.根据权利要求1所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，所述对获取的人脸表情图像进行截取人脸面部区域和归一化预处理，具体包括：
人脸面部区域获取：获取人脸面部区域，选择256×256大小的图像区域；
归一化：将获取的人脸表情图像进行归一化使图像数值在[0,1]范围内。
3.根据权利要求1所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，所述将处理后图像输入平行卷积神经网络不同通道进行卷积池化运算，具体步骤如下：
第一卷积层采用5×5大小卷积核获得4张特征图，然后继续使用5×5大小卷积核卷积得到8张大小为128×128的特征图，之后连接大小为2×2，步长为2的池化核进行最大池化，获得64×64大小特征图并采用Swish作为激活函数，再将8张大小为64×64的特征图进行批量归一化处理。通道1和通道2均做相同处理。
4.根据权利要求3所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，所述1通道或2通道的卷积和池化运算过程为：
1)使用两个连续卷积层结构，其卷积核大小为5×5；
2)采用大小2×2的池化核进行最大池化处理；
3)批量归一化处理,对最大池化层输出数据求得整体的均值和方差然后采用式(1,2)调整数据结构分布；
式中xi为输入值，μB为批次的均值，σB是批次的方差，γ，β为可训练参数。
5.根据权利要求3所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，所述通道1连接形式:
Conv1_3--Max_pooling--Conv1_4--Max_pooling--Conv1_5--Max_pooling。
Conv1_x表示1通道第x个卷积层，Max_pooling表示最大池化层；
通道2连接形式:
Conv2_3--Max_pooling--Conv2_4--Max_pooling--Conv2_5--Max_pooling。
Conv2_x表示2通道第x个卷积层，Max_pooling表示最大池化层。
6.根据权利要求3或4或5所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，所述对网络最后一个池化层输出的特征图进行特征比例融合的步骤为：将通道1和通道2的特征图按照学习比例融合，各通道输出乘以一权值向量后进行特征图叠加。如下式：
F＝aA+bB (3)
式中，a,b分别为第一通道特征权重和第二通道特征权值，为可训练变量；A,B分别为第一通道特征图矩阵和第二通道特征图矩阵；F为融合后特征信息矩阵，融合后特征图F展开为大小为4096个元素的一维向量形式FC1。
7.根据权利要求6所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，所述将获取的特征信息展开成一维向量的全连接形式，后做不同连接复杂度的全连接的特征信息组合，具体包括：
将FC1一维向量分别连接到512单元神经元的FC1-1和FC1-2的全连接层上，其FC1-1采用保留比例0.3的Dropout稀疏形式连接，FC1-2采用保留比例为0.6的Dropout稠密连接形式。
8.根据权利要求7所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，将FC1-1和FC1-2分别连接7个神经元的输出单元OUT1,OUT2，之后输出OUT由OUT1和OUT2叠加。
9.根据权利要求8所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，将融合后输出的OUT输入到Softmax分类器进行分类置信度概率计算，其向量中最大值索引号为分类表情编号，将分类的编号对应表情类别字符数组，最后将表情识别显示为中性、生气、厌恶、恐惧、高兴、悲伤、惊讶的表情类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810373477.2A CN108615010B (zh) | 2018-04-24 | 2018-04-24 | 基于平行卷积神经网络特征图融合的人脸表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810373477.2A CN108615010B (zh) | 2018-04-24 | 2018-04-24 | 基于平行卷积神经网络特征图融合的人脸表情识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108615010A true CN108615010A (zh) | 2018-10-02 |
| CN108615010B CN108615010B (zh) | 2022-02-11 |
Family
ID=63660506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810373477.2A Active CN108615010B (zh) | 2018-04-24 | 2018-04-24 | 基于平行卷积神经网络特征图融合的人脸表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108615010B (zh) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109359599A (zh) * | 2018-10-19 | 2019-02-19 | 昆山杜克大学 | 基于联合学习身份和情感信息的面部表情识别方法 |
| CN109409297A (zh) * | 2018-10-30 | 2019-03-01 | 咪付（广西）网络技术有限公司 | 一种基于双通道卷积神经网络的身份识别方法 |
| CN109493490A (zh) * | 2018-11-27 | 2019-03-19 | 电卫士智能电器（北京）有限公司 | 用电用户权限判断方法及装置 |
| CN109583507A (zh) * | 2018-12-07 | 2019-04-05 | 浙江工商大学 | 一种基于深度卷积神经网络的猪体识别方法 |
| CN109584417A (zh) * | 2018-11-27 | 2019-04-05 | 电卫士智能电器（北京）有限公司 | 门禁控制方法及装置 |
| CN109657582A (zh) * | 2018-12-10 | 2019-04-19 | 平安科技（深圳）有限公司 | 人脸情绪的识别方法、装置、计算机设备及存储介质 |
| CN109784153A (zh) * | 2018-12-10 | 2019-05-21 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、计算机设备及存储介质 |
| CN110210311A (zh) * | 2019-04-30 | 2019-09-06 | 杰创智能科技股份有限公司 | 一种基于通道特征融合稀疏表示的人脸识别方法 |
| CN110222777A (zh) * | 2019-06-11 | 2019-09-10 | 北京字节跳动网络技术有限公司 | 图像特征的处理方法、装置、电子设备及存储介质 |
| CN110222726A (zh) * | 2019-05-15 | 2019-09-10 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置及电子设备 |
| CN110287982A (zh) * | 2019-05-08 | 2019-09-27 | 中国科学技术大学 | 一种基于卷积神经网络的ct影像分类方法、装置及介质 |
| CN110427892A (zh) * | 2019-08-06 | 2019-11-08 | 河海大学常州校区 | 基于深浅层自相关融合的cnn人脸表情特征点定位方法 |
| CN110472668A (zh) * | 2019-07-22 | 2019-11-19 | 华北电力大学（保定） | 一种图像分类方法 |
| CN111274886A (zh) * | 2020-01-13 | 2020-06-12 | 天地伟业技术有限公司 | 一种基于深度学习的行人闯红灯违法行为分析方法及系统 |
| CN111310734A (zh) * | 2020-03-19 | 2020-06-19 | 支付宝(杭州)信息技术有限公司 | 保护用户隐私的人脸识别方法和装置 |
| CN111339890A (zh) * | 2020-02-20 | 2020-06-26 | 中国测绘科学研究院 | 基于高分辨率遥感影像提取新增建设用地信息的方法 |
| CN111401442A (zh) * | 2020-03-16 | 2020-07-10 | 中科立业(北京)科技有限公司 | 一种基于深度学习的水果识别方法 |
| CN111401294A (zh) * | 2020-03-27 | 2020-07-10 | 山东财经大学 | 基于自适应特征融合的多任务人脸属性分类方法及系统 |
| CN111507241A (zh) * | 2020-04-14 | 2020-08-07 | 四川聚阳科技集团有限公司 | 一种轻量级网络课堂表情监测方法 |
| CN112132255A (zh) * | 2019-06-24 | 2020-12-25 | 百度（美国）有限责任公司 | 人工智能神经网络引擎中模型推断的批量归一化层融合和量化方法 |
| CN112183213A (zh) * | 2019-09-02 | 2021-01-05 | 沈阳理工大学 | 一种基于Intral-Class Gap GAN的面部表情识别方法 |
| CN110321872B (zh) * | 2019-07-11 | 2021-03-16 | 京东方科技集团股份有限公司 | 人脸表情识别方法及装置、计算机设备、可读存储介质 |
| CN112560953A (zh) * | 2020-12-16 | 2021-03-26 | 中国平安财产保险股份有限公司 | 私家车非法营运的识别方法、系统、设备及存储介质 |
| CN112800979A (zh) * | 2021-02-01 | 2021-05-14 | 南京邮电大学 | 一种基于表征流嵌入网络的动态表情识别方法及系统 |
| CN113011386A (zh) * | 2021-04-13 | 2021-06-22 | 重庆大学 | 一种基于等分特征图的表情识别方法及系统 |
| US20210209423A1 (en) * | 2020-04-17 | 2021-07-08 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for training face fusion model and electronic device |
| CN115797708A (zh) * | 2023-02-06 | 2023-03-14 | 南京博纳威电子科技有限公司 | 一种输配电同步数据采集方法 |
| CN116309216A (zh) * | 2023-02-27 | 2023-06-23 | 南京博视医疗科技有限公司 | 基于多波段的伪彩色图像融合方法及图像融合系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504064A (zh) * | 2016-10-25 | 2017-03-15 | 清华大学 | 基于深度卷积神经网络的服装分类与搭配推荐方法及系统 |
| CN106651886A (zh) * | 2017-01-03 | 2017-05-10 | 北京工业大学 | 一种基于超像素聚类优化cnn的云图分割方法 |
| CN106682616A (zh) * | 2016-12-28 | 2017-05-17 | 南京邮电大学 | 基于双通道特征深度学习的新生儿疼痛表情识别方法 |
| CN106682664A (zh) * | 2016-12-07 | 2017-05-17 | 华南理工大学 | 基于全卷积递归神经网络的水表圆盘区域检测方法 |
| CN107220657A (zh) * | 2017-05-10 | 2017-09-29 | 中国地质大学（武汉） | 一种面向小数据集的高分辨率遥感影像场景分类的方法 |
| CN107273936A (zh) * | 2017-07-07 | 2017-10-20 | 广东工业大学 | 一种gan图像处理方法及系统 |
| CN107491726A (zh) * | 2017-07-04 | 2017-12-19 | 重庆邮电大学 | 一种基于多通道并行卷积神经网络的实时表情识别方法 |
| CN107545245A (zh) * | 2017-08-14 | 2018-01-05 | 中国科学院半导体研究所 | 一种年龄估计方法及设备 |
| CN107665352A (zh) * | 2017-09-07 | 2018-02-06 | 浙江工业大学 | 一种基于多通道残差网络的珍珠分类方法 |
-
2018
- 2018-04-24 CN CN201810373477.2A patent/CN108615010B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504064A (zh) * | 2016-10-25 | 2017-03-15 | 清华大学 | 基于深度卷积神经网络的服装分类与搭配推荐方法及系统 |
| CN106682664A (zh) * | 2016-12-07 | 2017-05-17 | 华南理工大学 | 基于全卷积递归神经网络的水表圆盘区域检测方法 |
| CN106682616A (zh) * | 2016-12-28 | 2017-05-17 | 南京邮电大学 | 基于双通道特征深度学习的新生儿疼痛表情识别方法 |
| CN106651886A (zh) * | 2017-01-03 | 2017-05-10 | 北京工业大学 | 一种基于超像素聚类优化cnn的云图分割方法 |
| CN107220657A (zh) * | 2017-05-10 | 2017-09-29 | 中国地质大学（武汉） | 一种面向小数据集的高分辨率遥感影像场景分类的方法 |
| CN107491726A (zh) * | 2017-07-04 | 2017-12-19 | 重庆邮电大学 | 一种基于多通道并行卷积神经网络的实时表情识别方法 |
| CN107273936A (zh) * | 2017-07-07 | 2017-10-20 | 广东工业大学 | 一种gan图像处理方法及系统 |
| CN107545245A (zh) * | 2017-08-14 | 2018-01-05 | 中国科学院半导体研究所 | 一种年龄估计方法及设备 |
| CN107665352A (zh) * | 2017-09-07 | 2018-02-06 | 浙江工业大学 | 一种基于多通道残差网络的珍珠分类方法 |
Cited By (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109359599A (zh) * | 2018-10-19 | 2019-02-19 | 昆山杜克大学 | 基于联合学习身份和情感信息的面部表情识别方法 |
| CN109409297A (zh) * | 2018-10-30 | 2019-03-01 | 咪付（广西）网络技术有限公司 | 一种基于双通道卷积神经网络的身份识别方法 |
| CN109409297B (zh) * | 2018-10-30 | 2021-11-23 | 咪付（广西）网络技术有限公司 | 一种基于双通道卷积神经网络的身份识别方法 |
| CN109493490A (zh) * | 2018-11-27 | 2019-03-19 | 电卫士智能电器（北京）有限公司 | 用电用户权限判断方法及装置 |
| CN109584417A (zh) * | 2018-11-27 | 2019-04-05 | 电卫士智能电器（北京）有限公司 | 门禁控制方法及装置 |
| CN109583507A (zh) * | 2018-12-07 | 2019-04-05 | 浙江工商大学 | 一种基于深度卷积神经网络的猪体识别方法 |
| CN109583507B (zh) * | 2018-12-07 | 2023-04-18 | 浙江工商大学 | 一种基于深度卷积神经网络的猪体识别方法 |
| CN109657582B (zh) * | 2018-12-10 | 2023-10-31 | 平安科技（深圳）有限公司 | 人脸情绪的识别方法、装置、计算机设备及存储介质 |
| CN109657582A (zh) * | 2018-12-10 | 2019-04-19 | 平安科技（深圳）有限公司 | 人脸情绪的识别方法、装置、计算机设备及存储介质 |
| CN109784153A (zh) * | 2018-12-10 | 2019-05-21 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、计算机设备及存储介质 |
| CN110210311A (zh) * | 2019-04-30 | 2019-09-06 | 杰创智能科技股份有限公司 | 一种基于通道特征融合稀疏表示的人脸识别方法 |
| CN110210311B (zh) * | 2019-04-30 | 2021-05-04 | 杰创智能科技股份有限公司 | 一种基于通道特征融合稀疏表示的人脸识别方法 |
| CN110287982A (zh) * | 2019-05-08 | 2019-09-27 | 中国科学技术大学 | 一种基于卷积神经网络的ct影像分类方法、装置及介质 |
| CN110222726A (zh) * | 2019-05-15 | 2019-09-10 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置及电子设备 |
| CN110222777B (zh) * | 2019-06-11 | 2022-03-08 | 北京字节跳动网络技术有限公司 | 图像特征的处理方法、装置、电子设备及存储介质 |
| CN110222777A (zh) * | 2019-06-11 | 2019-09-10 | 北京字节跳动网络技术有限公司 | 图像特征的处理方法、装置、电子设备及存储介质 |
| CN112132255A (zh) * | 2019-06-24 | 2020-12-25 | 百度（美国）有限责任公司 | 人工智能神经网络引擎中模型推断的批量归一化层融合和量化方法 |
| US11281895B2 (en) * | 2019-07-11 | 2022-03-22 | Boe Technology Group Co., Ltd. | Expression recognition method, computer device, and computer-readable storage medium |
| CN110321872B (zh) * | 2019-07-11 | 2021-03-16 | 京东方科技集团股份有限公司 | 人脸表情识别方法及装置、计算机设备、可读存储介质 |
| CN110472668A (zh) * | 2019-07-22 | 2019-11-19 | 华北电力大学（保定） | 一种图像分类方法 |
| CN110427892A (zh) * | 2019-08-06 | 2019-11-08 | 河海大学常州校区 | 基于深浅层自相关融合的cnn人脸表情特征点定位方法 |
| CN110427892B (zh) * | 2019-08-06 | 2022-09-09 | 河海大学常州校区 | 基于深浅层自相关融合的cnn人脸表情特征点定位方法 |
| CN112183213A (zh) * | 2019-09-02 | 2021-01-05 | 沈阳理工大学 | 一种基于Intral-Class Gap GAN的面部表情识别方法 |
| CN112183213B (zh) * | 2019-09-02 | 2024-02-02 | 沈阳理工大学 | 一种基于Intral-Class Gap GAN的面部表情识别方法 |
| CN111274886A (zh) * | 2020-01-13 | 2020-06-12 | 天地伟业技术有限公司 | 一种基于深度学习的行人闯红灯违法行为分析方法及系统 |
| CN111274886B (zh) * | 2020-01-13 | 2023-09-19 | 天地伟业技术有限公司 | 一种基于深度学习的行人闯红灯违法行为分析方法及系统 |
| CN111339890A (zh) * | 2020-02-20 | 2020-06-26 | 中国测绘科学研究院 | 基于高分辨率遥感影像提取新增建设用地信息的方法 |
| CN111401442A (zh) * | 2020-03-16 | 2020-07-10 | 中科立业(北京)科技有限公司 | 一种基于深度学习的水果识别方法 |
| CN111310734A (zh) * | 2020-03-19 | 2020-06-19 | 支付宝(杭州)信息技术有限公司 | 保护用户隐私的人脸识别方法和装置 |
| CN111401294A (zh) * | 2020-03-27 | 2020-07-10 | 山东财经大学 | 基于自适应特征融合的多任务人脸属性分类方法及系统 |
| CN111507241A (zh) * | 2020-04-14 | 2020-08-07 | 四川聚阳科技集团有限公司 | 一种轻量级网络课堂表情监测方法 |
| US20210209423A1 (en) * | 2020-04-17 | 2021-07-08 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for training face fusion model and electronic device |
| CN112560953A (zh) * | 2020-12-16 | 2021-03-26 | 中国平安财产保险股份有限公司 | 私家车非法营运的识别方法、系统、设备及存储介质 |
| CN112560953B (zh) * | 2020-12-16 | 2023-08-15 | 中国平安财产保险股份有限公司 | 私家车非法营运的识别方法、系统、设备及存储介质 |
| CN112800979B (zh) * | 2021-02-01 | 2022-08-26 | 南京邮电大学 | 一种基于表征流嵌入网络的动态表情识别方法及系统 |
| CN112800979A (zh) * | 2021-02-01 | 2021-05-14 | 南京邮电大学 | 一种基于表征流嵌入网络的动态表情识别方法及系统 |
| CN113011386B (zh) * | 2021-04-13 | 2023-04-07 | 重庆大学 | 一种基于等分特征图的表情识别方法及系统 |
| CN113011386A (zh) * | 2021-04-13 | 2021-06-22 | 重庆大学 | 一种基于等分特征图的表情识别方法及系统 |
| CN115797708A (zh) * | 2023-02-06 | 2023-03-14 | 南京博纳威电子科技有限公司 | 一种输配电同步数据采集方法 |
| CN116309216A (zh) * | 2023-02-27 | 2023-06-23 | 南京博视医疗科技有限公司 | 基于多波段的伪彩色图像融合方法及图像融合系统 |
| CN116309216B (zh) * | 2023-02-27 | 2024-01-09 | 南京博视医疗科技有限公司 | 基于多波段的伪彩色图像融合方法及图像融合系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108615010B (zh) | 2022-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108615010A (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
| Zhang et al. | A face emotion recognition method using convolutional neural network and image edge computing | |
| CN108596039B (zh) | 一种基于3d卷积神经网络的双模态情感识别方法及系统 | |
| CN109165566B (zh) | 一种基于新型损失函数的人脸识别卷积神经网络训练方法 | |
| CN109685115B (zh) | 一种双线性特征融合的细粒度概念模型及学习方法 | |
| Zahisham et al. | Food recognition with resnet-50 | |
| CN107437092B (zh) | 基于三维卷积神经网络的视网膜oct图像的分类方法 | |
| CN107491726B (zh) | 一种基于多通道并行卷积神经网络的实时表情识别方法 | |
| CN108985377B (zh) | 一种基于深层网络的多特征融合的图像高级语义识别方法 | |
| CN106096535B (zh) | 一种基于双线性联合cnn的人脸验证方法 | |
| Zhang et al. | Food image recognition with convolutional neural networks | |
| CN107944399A (zh) | 一种基于卷积神经网络目标中心模型的行人重识别方法 | |
| CN109063724A (zh) | 一种增强型生成式对抗网络以及目标样本识别方法 | |
| CN108665005A (zh) | 一种利用dcgan提高基于cnn图像识别性能的方法 | |
| CN110032925A (zh) | 一种基于改进胶囊网络与算法的手势图像分割与识别方法 | |
| CN107153840A (zh) | 一种基于卷积神经的农作物害虫图像识别方法 | |
| CN109522925A (zh) | 一种图像识别方法、装置和存储介质 | |
| CN110059593B (zh) | 一种基于反馈卷积神经网络的面部表情识别方法 | |
| CN116645716B (zh) | 基于局部特征和全局特征的表情识别方法 | |
| CN105809201A (zh) | 一种生物启发式自主提取图像语义概念的识别方法及装置 | |
| CN107423727A (zh) | 基于神经网络的人脸复杂表情识别方法 | |
| Xu et al. | Face expression recognition based on convolutional neural network | |
| Sarigül et al. | Comparison of different deep structures for fish classification | |
| CN106682653A (zh) | 一种基于knlda的rbf神经网络人脸识别方法 | |
| CN109948662B (zh) | 一种基于K-means和MMD的人脸图像深度聚类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |