CN111476174A - 一种基于人脸图像的情绪识别方法及装置 - Google Patents
一种基于人脸图像的情绪识别方法及装置 Download PDFInfo
- Publication number
- CN111476174A CN111476174A CN202010273363.8A CN202010273363A CN111476174A CN 111476174 A CN111476174 A CN 111476174A CN 202010273363 A CN202010273363 A CN 202010273363A CN 111476174 A CN111476174 A CN 111476174A
- Authority
- CN
- China
- Prior art keywords
- emotion
- feature
- extraction module
- information extraction
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 24
- 230000008451 emotion Effects 0.000 claims abstract description 153
- 238000000605 extraction Methods 0.000 claims abstract description 114
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 6
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 230000006872 improvement Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理领域，公开了一种基于人脸图像的情绪识别方法及装置，包括步骤：建立基于深度学习的情绪估计卷积神经网络；情绪估计卷积神经网络包括特征提取模块、情绪信息提取模块和情绪分类操作；获取人脸情绪图像数据样本集，将人脸情绪图像数据样本集分成样本训练集和测试集，分别利用训练集和测试集对情绪估计卷积神经网络进行训练和测试；将待测试的人脸情绪图像数据样本输入至已训练好的情绪估计卷积神经网络中，获得人脸情绪识别结果。本发明通过多次交叉融合特征，避免了在多次卷积过程中遗失重要的特征信息，同时还通过设置相加操作以及情绪信息提取操作增强了重要的局部细节特征，提高了人脸情绪识别的准确率。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种基于人脸图像的情绪识别方法及装置。
背景技术
人脸蕴含了丰富的生物信息,包括身份、情绪、年龄和性别等,基于人脸的生物特征识别技术是当前的研究热点。随着人机交互、智能商务和社会安全的发展，人脸图像的情绪估计技术在日常生活和商业市场中有着广泛的应用前景。目前情绪估计多被处理为分类问题，首先提取特征，然后使用分类器进行分类得到最终的预测结果，此方法会导致提取到的人脸情绪信息特征与预测结果产生割裂，从而导致该方法在预测准确度上有较大提升空间。
鉴于此，克服上述现有技术所存在的缺陷是本技术领域亟待解决的问题。
发明内容
本发明的目的在于提供一种基于人脸图像的情绪识别方法及装置，从而解决现有技术中存在的前述问题。
为了实现上述目的，本发明采用的技术方案如下：
一种基于人脸图像的情绪识别方法，包括步骤：
S1)建立基于深度学习的情绪估计卷积神经网络；情绪估计卷积神经网络包括特征提取模块、情绪信息提取模块和情绪分类操作；
S2)获取人脸情绪图像数据样本集，将人脸情绪图像数据样本集分成样本训练集和测试集，分别利用训练集和测试集对情绪估计卷积神经网络进行训练和测试；
S3)将待测试的人脸情绪图像数据样本输入至已训练好的情绪估计卷积神经网络中，获得人脸情绪识别结果。
进一步的，步骤S1)中建立基于深度学习的情绪估计卷积神经网络，包括步骤：
S11)建立所述特征提取模块，获得特征图；特征提取模块包括卷积层，最大采样层，激活层和归一化层；
S12)构建情绪信息提取模块，获得情绪信息提取模块的输出结果；
S13)对情绪信息提取模块的输出进行情绪分类操作。
进一步的，步骤S12)中构建情绪信息提取模块，获得情绪信息提取模块的输出结果，包括步骤：
S121)将特征提取模块获得的特征图作为情绪信息提取模块的输入；
S122)使用第一卷积计算对所述输入进行特征提取，生成特征图F1；
S123)使用第二卷积计算对所述输入进行特征提取，生成特征图F2；使用情绪信息提取操作对特征图F2进行人脸情绪特征提取，生成特征图F3；
S124)对特征图F1和特征图F3的重叠位置元素进行第一相加操作，对特征图F1和特征图F3的重叠位置元素进行第一相加操作后的结果进行第三卷积计算，生成特征图F4；
S125)使用第四卷积计算对所述输入进行特征提取，生成特征图F5；
S126)对特征图F3和特征图F4的重叠位置元素进行第二相加操作，采用第五卷积计算对第二相加操作的结果进行特征提取，获得最终特征提取结果，将最终特征提取结果作为情绪信息提取模块的输出结果。
本发明通过多次交叉融合特征，并考虑了将输入通过一次卷积计算后的结果(即特征图F5)与特征图F4相结合，避免了在多次卷积过程中遗失重要的特征信息，同时还通过两次相加操作(第一相加操作和第二相加操作)增强了局部细节特征，提高了准确率。
进一步的，情绪信息提取操作包括对输入大小为H*W*C的特征图F2分别更新大小为H*W*1的子特征图上的每一点的特征值；更新后的子特征图上坐标为(j,i)的点的特征值
W为输入特征图宽度，H为输入特征图长度，C为子特征图通道数，j与i分别表示坐标为(j,i)的点在输入特征图中水平方向、竖直方向的位置。
进一步的，步骤S13)中情绪分类操作包括特征提取操作和特征分类；
特征提取操作，用于对情绪信息提取模块的输出结果进行全局平均池化，生成一维数组，一维数组中的元素个数与情绪信息提取模块的输出结果的通道数相同；
特征分类，用于将特征提取操作生成的一维数组与特征模板向量相乘，特征模板向量的大小与一维数组的大小相同。特征模板向量的所有元素的和与一维数组的大小相同。
进一步的，特征分类还包括设置情绪类别区间，所述情绪类别区间为[0,1)、[1,2)、[2,3)、…、[k,k+1)、…、[n,n+1)，k表示第k种人脸情绪，n表示情绪类别总个数。
进一步的，人脸情绪类别包括愤怒、轻蔑、厌恶、恐惧、快乐、悲伤和/或惊讶。
一种基于人脸图像的情绪识别装置，包括特征提取模块、情绪信息提取模块与情绪分类模块；
特征提取模块，用于采集人脸图像并对人脸图像进行预处理，获得人体脸部框架信息，对人脸图像的纹理特征和浅层语义特征的初步提取；
特征提取模块与情绪信息提取模块相连，将特征提取模块的输出作为情绪信息提取模块的输入，情绪信息提取模块用于有效提取情绪特征，获得情绪信息提取模块的输出结果；
情绪分类模块，用于将获得的情绪信息提取模块的输出结果对情绪进行分类。
本发明的有益效果是：本发明不仅可应用于人脸情绪识别，还可应用于智能视频监控及智能机器人领域的人脸情绪估计。本发明通过多次交叉融合特征，避免了在多次卷积过程中遗失重要的特征信息，同时还通过设置相加操作以及情绪信息提取操作增强了重要的局部细节特征，而且本发明不同于现有技术中采用分类器进行情绪识别，本发明通过设置特征模板向量提高了人脸情绪识别的准确率。
附图说明
图1为本发明的整体流程示意图。
图2为本发明的特征提取模块结构示意图。
图3为本发明的情绪信息提取模块计算流程示意图。
图4为本发明的情绪信息提取操作计算示例图。
图5为本发明的情绪分类操作示意图。
图6为本发明的特征模板计算示意图。
图7为本发明对待测试人脸情绪图像数据样本进行情绪识别流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
实施例一，一种基于人脸图像的情绪识别方法，如图1所示，包括步骤：
S1)建立基于深度学习的情绪估计卷积神经网络；情绪估计卷积神经网络包括特征提取模块、情绪信息提取模块和情绪分类操作；建立基于深度学习的情绪估计卷积神经网络包括步骤：
S11)建立特征提取模块，获得特征图；特征提取模块包括卷积层，最大采样层，激活层和归一化层；
S12)构建情绪信息提取模块，获得情绪信息提取模块的输出结果，包括步骤：
S121)将特征提取模块获得的特征图作为情绪信息提取模块的输入；
S122)使用第一卷积计算对所述输入进行特征提取，生成特征图F1；
S123)使用第二卷积计算对所述输入进行特征提取，生成特征图F2；使用情绪信息提取操作对特征图F2进行人脸情绪特征提取，情绪信息提取操作包括对输入大小为H*W*C的特征图F2分别更新大小为H*W*1的子特征图上的每一点的特征值；
更新后的子特征图上坐标为(j,i)的点的特征值
W为输入特征图宽度，H为输入特征图长度，C为子特征图通道数，j与i分别表示坐标为(j,i)的点在输入特征图中水平方向、竖直方向的位置。生成特征图F3。
S124)对特征图F1和特征图F3的重叠位置元素进行第一相加操作，对特征图F1和特征图F3的重叠位置元素进行第一相加操作后的结果进行第三卷积计算，生成特征图F4；
S125)使用第四卷积计算对所述输入进行特征提取，生成特征图F5；
S126)对特征图F3和特征图F4的重叠位置元素进行第二相加操作，采用第五卷积计算对第二相加操作的结果进行特征提取，获得最终特征提取结果，将最终特征提取结果作为情绪信息提取模块的输出结果。
S13)对情绪信息提取模块的输出进行情绪分类操作，情绪分类操作包括特征提取操作和特征分类；
特征提取操作，用于对情绪信息提取模块的输出结果进行全局平均池化，生成一维数组，一维数组中的元素个数与情绪信息提取模块的输出结果的通道数相同；
特征分类，用于将特征提取操作生成的一维数组与特征模板向量相乘，特征模板向量的大小与一维数组的大小相同。
特征分类还包括设置情绪类别区间，情绪类别区间为[0,1)、[1,2)、[2,3)、…、[k,k+1)、…、[n,n+1)，k表示第k种人脸情绪，n表示情绪类别总个数。人脸情绪类别包括愤怒、轻蔑、厌恶、恐惧、快乐、悲伤和/或惊讶。
S2)获取人脸情绪图像数据样本集，综合考虑人种及光照等因素，使用摄像头采集人脸正面图片并获取情绪信息，摄像头为普通彩色摄像头，例如手机摄像头，监控摄像头。对采集的图片进行预处理生成预训练集，预处理包括人脸区域裁剪与随机翻转操作。
人脸区域裁剪操作可将图片中的人脸区域按固定方式截取成固定大小的图片，包括步骤：
S21)使用人脸位置检测算法检测采集的图像中人脸区域左上角、右下角点的位置坐标；
S22)根据得到的人脸角点坐标，计算两角点所围成的矩形的长度和宽度；
S23)在两角点围成矩形的短边两侧增加相同的长度使围成的矩形变为正方形人脸待截取区域；
S24)调整正方形人脸待截取区域在图片中的上下相对位置，使上边界固定在人脸发际线附近，下边界固定在人脸下巴附近，调整坐标的计算公式为
其中(x0,y0),(x1y1)分别为人脸检测算法所得的左上、右下角点的坐标，margin为四周增加背景像素值的大小，本实施例可取固定值8，dist为长边与短边长度差值的一半。(x2,y2),(x3y3)分别为最终人脸待截取区域左上、右下角点的坐标。
S25)使用步骤S21)至S24)从原图截取人脸待截取区域，并将人脸待截取区域缩放至所需的固定大小，例如：宽度为112，高度为112，通道数为3。
对截取原图生成的数据集进行随机翻转操作，包括步骤：遍历人脸情绪图像数据样本集中的每一张图像，随机对该图像进行水平翻转，得到更多数量的人脸样本。通过对截取原图生成的数据集进行随机翻转操作以丰富训练图像的多样性，增加模型的鲁棒性。
将预训练集与公开的人脸情绪数据集融合生成本发明提供的情绪估计神经网络设计方法的人脸情绪图像数据样本集。将人脸情绪图像数据样本集分成样本训练集和测试集，使用本发明提供的情绪估计卷积神经网络对人脸情绪图像数据样本集中各人脸样本进行深度特征提取，分别利用训练集和测试集对情绪估计卷积神经网络进行训练和测试。
S3)通过摄像头采集一张人脸正面图片，获得待测试的人脸情绪图像数据样本。如图7所示，将人脸正面图片中的人脸区域按步骤S21)至步骤S24)的预处理过程生成112*112*3大小的人脸区域图像。将112*112*3大小的人脸区域图像输入至已训练好的情绪估计卷积神经网络中，通过特征提取模块提取特征，生成14*14*128大小的人脸情绪信息特征图，如图2所示，kernel表示卷积核，kernel这列对应的参数分别为卷积核大小、步长、填充值、个数。
如图3所示，为情绪信息提取模块结构图。将14*14*128大小的人脸情绪信息特征图作为情绪信息提取模块的输入。本实施例中依次使用名为“特征传递卷积”、“预处理卷积”、“特征传递卷积”的操作对14*14*128大小的人脸情绪信息特征图进行卷积计算，依次生成特征图F5、特征图F2、特征图F1。将卷积计算中的卷积操作的卷积核大小均设置为3*3、步长为1，填充为1，特征图F5、特征图F2、特征图F1大小均为14*14*128。
对特征图F2使用情绪信息提取操作，情绪信息提取操作针对输入大小为14*14*128的特征图F2中128个通道分别更新大小为14*14*1的子特征图上中每一点的特征值。更新时将该14*14*1大小子特征图分为左右对称两部分并分别计算，计算时采取由上至下的规则依次更新子特征图中每一行中每一点的特征值，生成大小为14*14*128的特征图F3。如图4所示，经过情绪信息提取操作后原来的特征图中的第2、3行元素
更新为了新的元素
对特征图F1、特征图F3相同位置元素进行第一相加操作，对第一相加操作的结果进行卷积计算，生成大小为14*14*128的特征图F4。
对特征图F4、特征图F5相同位置元素进行第二相加操作，对第二相加操作后的结果使用“特征选择”卷积计算，“特征选择”卷积计算中卷积核大小为3*3、步长为2，填充为1，生成大小为7*7*128的特征图，将7*7*128的特征图作为情绪信息提取模块最终输出。
进行情绪分类操作，如图5所示，包括特征提取操作与特征分类两部分。特征提取操作即对情绪信息提取模块产生的大小为7*7*128的结果使用全局平均池化(GlobalAverage Pooling)操作，即计算情绪信息提取模块产生的结果中每个通道(7*7*1)的均值，最终特征提取操作生成大小为1*128的一维情绪特征向量，一维情绪特征向量中元素个数与情绪信息提取模块产生的结果的通道数相同。
特征分类，用于将所述特征提取操作生成的一维数组与特征模板向量相乘，如图6所示，特征模板向量的大小与一维数组的大小相同。相乘后产生的数值在[0,1)、[1,2)、[2,3)、[3,4)、[4,5)、[5,6)、[6,7)、[7,～)中任意子区间，子区间的分类结果分别为愤怒、轻蔑、厌恶、恐惧、快乐、悲伤、惊讶与其他。特征模板向量为一维向量，共128个值，特征模板向量中元素值的和为128。每一个元素代表对特征向量中对应特征的偏好，数值大小可由人工任意设计得到。获得人脸情绪识别结果。
一种基于人脸图像的情绪识别装置，包括特征提取模块、情绪信息提取模块与情绪分类模块；
特征提取模块，用于采集人脸图像并对人脸图像进行预处理，获得人体脸部框架信息，对人脸图像的纹理特征和浅层语义特征的初步提取；
特征提取模块与所述情绪信息提取模块相连，将特征提取模块的输出作为情绪信息提取模块的输入，情绪信息提取模块用于有效提取情绪特征，获得情绪信息提取模块的输出结果；
情绪分类模块，用于将获得的情绪信息提取模块的输出结果对情绪进行分类。
本发明通过多次交叉融合特征，并考虑了将输入通过一次卷积计算后的结果(即特征图F5)与特征图F4相结合，避免了在多次卷积过程中遗失重要的特征信息，同时还通过两次相加操作(第一相加操作和第二相加操作)增强了局部细节特征，而且本发明不同于现有技术中采用分类器进行情绪识别，本发明通过设置特征模板向量提高了准确率。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。
Claims (8)
1.一种基于人脸图像的情绪识别方法，其特征在于，包括步骤：
S1)建立基于深度学习的情绪估计卷积神经网络；所述情绪估计卷积神经网络包括特征提取模块、情绪信息提取模块和情绪分类操作；
S2)获取人脸情绪图像数据样本集，将所述人脸情绪图像数据样本集分成样本训练集和测试集，分别利用所述训练集和测试集对所述情绪估计卷积神经网络进行训练和测试；
S3)将待测试的人脸情绪图像数据样本输入至已训练好的情绪估计卷积神经网络中，获得人脸情绪识别结果。
2.根据权利要求1所述的基于人脸图像的情绪识别方法，其特征在于，步骤S1)中建立基于深度学习的情绪估计卷积神经网络，包括步骤：
S11)建立所述特征提取模块，获得特征图；所述特征提取模块包括卷积层，最大采样层，激活层和归一化层；
S12)构建情绪信息提取模块，获得情绪信息提取模块的输出结果；
S13)对所述情绪信息提取模块的输出进行情绪分类操作。
3.根据权利要求2所述的基于人脸图像的情绪识别方法，其特征在于，步骤S12)中构建情绪信息提取模块，获得情绪信息提取模块的输出结果，包括步骤：
S121)将所述特征提取模块获得的特征图作为情绪信息提取模块的输入；
S122)使用第一卷积计算对所述输入进行特征提取，生成特征图F1；
S123)使用第二卷积计算对所述输入进行特征提取，生成特征图F2；使用情绪信息提取操作对所述特征图F2进行人脸情绪特征提取，生成特征图F3；
S124)对所述特征图F1和所述特征图F3的重叠位置元素进行第一相加操作，对所述特征图F1和所述特征图F3的重叠位置元素进行第一相加操作后的结果进行第三卷积计算，生成特征图F4；
S125)使用第四卷积计算对所述输入进行特征提取，生成特征图F5；
S126)对所述特征图F3和所述特征图F4的重叠位置元素进行第二相加操作，采用第五卷积计算对第二相加操作的结果进行特征提取，获得最终特征提取结果，将所述最终特征提取结果作为所述情绪信息提取模块的输出结果。
4.根据权利要求3所述的基于人脸图像的情绪识别方法，其特征在于，步骤S123)中所述情绪信息提取操作用于有效地提取情绪信息，所述情绪信息提取操作包括对输入大小为H*W*C的特征图F2分别更新大小为H*W*1的子特征图上的每一点的特征值；更新后的子特征图上坐标为(j,i)的点的特征值
W为输入特征图宽度，H为输入特征图长度，C为子特征图总通道数，j与i分别表示坐标为(j,i)的点在输入特征图中水平方向、竖直方向的位置。
5.根据权利要求2或4所述的基于人脸图像的情绪识别方法，其特征在于，步骤S13)中所述情绪分类操作包括特征提取操作和特征分类；
所述特征提取操作，用于对所述情绪信息提取模块的输出结果进行全局平均池化，生成一维数组，所述一维数组中的元素个数与所述情绪信息提取模块的输出结果的通道数相同；
所述特征分类，用于将所述特征提取操作生成的一维数组与特征模板向量相乘，所述特征模板向量的大小与所述一维数组的大小相同。
6.根据权利要求5所述的基于人脸图像的情绪识别方法，其特征在于，所述特征分类还包括设置情绪类别区间，所述情绪类别区间为[0,1)、[1,2)、[2,3)、…、[k,k+1)、…、[n,n+1)，k表示第k种人脸情绪，n表示情绪类别总个数。
7.根据权利要求1或6所述的基于人脸图像的情绪识别方法，其特征在于，情绪类别包括愤怒、轻蔑、厌恶、恐惧、快乐、悲伤和/或惊讶。
8.一种基于人脸图像的情绪识别装置，适用于如权利要求1至7所述的任一项基于人脸图像的情绪识别方法，其特征在于，包括特征提取模块、情绪信息提取模块与情绪分类模块；
所述特征提取模块，用于采集人脸图像并对人脸图像进行预处理，获得人体脸部框架信息，对人脸图像的纹理特征和浅层语义特征的初步提取；
所述特征提取模块与所述情绪信息提取模块相连，将所述特征提取模块的输出作为所述情绪信息提取模块的输入，所述情绪信息提取模块用于有效提取情绪特征，获得情绪信息提取模块的输出结果；
所述情绪分类模块，用于将获得的情绪信息提取模块的输出结果对情绪进行分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010273363.8A CN111476174B (zh) | 2020-04-09 | 2020-04-09 | 一种基于人脸图像的情绪识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010273363.8A CN111476174B (zh) | 2020-04-09 | 2020-04-09 | 一种基于人脸图像的情绪识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111476174A true CN111476174A (zh) | 2020-07-31 |
| CN111476174B CN111476174B (zh) | 2023-04-04 |
Family
ID=71751342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010273363.8A Active CN111476174B (zh) | 2020-04-09 | 2020-04-09 | 一种基于人脸图像的情绪识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111476174B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218324A (zh) * | 2023-10-17 | 2023-12-12 | 广东迅扬科技股份有限公司 | 一种基于人工智能的摄像头调控系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180181838A1 (en) * | 2016-12-22 | 2018-06-28 | Samsung Electronics Co., Ltd. | Convolutional neural network system and operation method thereof |
| CN109583419A (zh) * | 2018-12-13 | 2019-04-05 | 深圳市淘米科技有限公司 | 一种基于深度卷积网络的情绪预测系统 |
| US20190130250A1 (en) * | 2017-10-30 | 2019-05-02 | Samsung Electronics Co., Ltd. | Method and apparatus with neural network performing convolution |
| CN110163293A (zh) * | 2019-05-28 | 2019-08-23 | 武汉轻工大学 | 基于深度学习的红肉分类方法、装置、设备及存储介质 |
| US20190311188A1 (en) * | 2018-12-05 | 2019-10-10 | Sichuan University | Face emotion recognition method based on dual-stream convolutional neural network |
-
2020
- 2020-04-09 CN CN202010273363.8A patent/CN111476174B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180181838A1 (en) * | 2016-12-22 | 2018-06-28 | Samsung Electronics Co., Ltd. | Convolutional neural network system and operation method thereof |
| US20190130250A1 (en) * | 2017-10-30 | 2019-05-02 | Samsung Electronics Co., Ltd. | Method and apparatus with neural network performing convolution |
| US20190311188A1 (en) * | 2018-12-05 | 2019-10-10 | Sichuan University | Face emotion recognition method based on dual-stream convolutional neural network |
| CN109583419A (zh) * | 2018-12-13 | 2019-04-05 | 深圳市淘米科技有限公司 | 一种基于深度卷积网络的情绪预测系统 |
| CN110163293A (zh) * | 2019-05-28 | 2019-08-23 | 武汉轻工大学 | 基于深度学习的红肉分类方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| BORIS PUTERKA: "Windowing for Speech Emotion Recognition" * |
| 王佳盛等: "基于全卷积神经网络的荔枝表皮缺陷提取" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218324A (zh) * | 2023-10-17 | 2023-12-12 | 广东迅扬科技股份有限公司 | 一种基于人工智能的摄像头调控系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111476174B (zh) | 2023-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10891511B1 (en) | Human hairstyle generation method based on multi-feature retrieval and deformation | |
| CN109543606B (zh) | 一种加入注意力机制的人脸识别方法 | |
| CN111126258B (zh) | 图像识别方法及相关装置 | |
| CN110738207A (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
| CN108280397B (zh) | 基于深度卷积神经网络的人体图像头发检测方法 | |
| CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN106022223B (zh) | 一种高维局部二值模式人脸识别方法及系统 | |
| CN109165658B (zh) | 一种基于Faster-RCNN的强负样本水下目标检测方法 | |
| CN113052185A (zh) | 一种基于Faster R-CNN的小样本目标检测方法 | |
| CN103473545A (zh) | 一种基于多特征的文本图像相似度度量方法 | |
| CN107610177A (zh) | 一种同步定位与地图构建中确定特征点的方法和设备 | |
| Zhang et al. | Retargeting semantically-rich photos | |
| CN111108508A (zh) | 脸部情感识别方法、智能装置和计算机可读存储介质 | |
| CN106529441A (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| Yanagisawa et al. | Face detection for comic images with deformable part model | |
| CN116091946A (zh) | 一种基于YOLOv5的无人机航拍图像目标检测方法 | |
| CN111680577A (zh) | 人脸检测方法和装置 | |
| CN103295238B (zh) | 安卓平台上基于roi运动检测的视频实时定位方法 | |
| CN111476174B (zh) | 一种基于人脸图像的情绪识别方法及装置 | |
| CN113076905B (zh) | 一种基于上下文交互关系的情绪识别方法 | |
| CN112883926B (zh) | 表格类医疗影像的识别方法及装置 | |
| CN109359543B (zh) | 一种基于骨骼化的人像检索方法及装置 | |
| CN106709437A (zh) | 一种改进的针对早期专利文档扫描件中图文信息的智能处理方法 | |
| CN108256401B (zh) | 一种获取目标属性特征语义的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |