CN110532869A - 表情识别方法、装置及计算机可读存储介质 - Google Patents

表情识别方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN110532869A
CN110532869A CN201910669105.9A CN201910669105A CN110532869A CN 110532869 A CN110532869 A CN 110532869A CN 201910669105 A CN201910669105 A CN 201910669105A CN 110532869 A CN110532869 A CN 110532869A
Authority
CN
China
Prior art keywords
expression
human face
image
expression recognition
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910669105.9A
Other languages
English (en)
Inventor
谢波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910669105.9A priority Critical patent/CN110532869A/zh
Publication of CN110532869A publication Critical patent/CN110532869A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种人工智能技术，揭露了一种表情识别方法，包括：获取人脸表情图像集以及标签集，对所述人脸表情图像集进行预处理操作，得到人脸表情目标图像集；利用迭代算法检测所述人脸表情目标图像集中的人脸表情目标，并利用HOG特征算子对所述检测的人脸表情目标进行特征提取，得到人脸表情目标的HOG特征图谱集；利用所述HOG特征图谱集和所述标签集对预先构建的表情识别模型进行训练，得到训练好的表情识别模型，接收用户上传的表情图片，并根据所述表情识别模型，输出与所述上传的表情图片匹配度最高的情感词汇。本发明还提出一种表情识别装置以及一种计算机可读存储介质。本发明实现了表情的精准识别。

Description

表情识别方法、装置及计算机可读存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种智能化的表情识别方法、装置及计算机可读存储介质。
背景技术
近年来，随着微信小程序的兴起，一些小程序游戏层出不穷。同时，随着人工智能这一技术的兴起，人工智能与微信小程序这一概念的结合引起了市场的广泛关注。而人脸表情识别是人工心理和人工情感理论研究的重要组成部分，涉及到图像处理与分析、模式识别、计算机视觉、计算机图形学、人工智能、认知科学、生理学、心理学等多种科学，对其进行深入研究能有利促进这些科学的发展与进步。在多模式人机交互界面中，表情与视线、体态和声音等有机结合起来可以获得更加高效的人机交流。因此，人脸表情识别在人机交互中扮演着重要的角色。对表情识别进行深入研究可以使机器人更好地理解人类的情感和心理，使其在与人的交互过程中，变得更友好、更智能、更人性化，从而更好地为人类服务。
发明内容
本发明提供一种表情识别方法、装置及计算机可读存储介质，其主要目的在于当用户在识别人脸表情时，给用户呈现出精准的表情识别结果。
为实现上述目的，本发明提供的一种表情识别方法，包括：
收集人脸表情图像集，利用情感词汇对所述人脸表情图像集建立标签，产生标签集，并对所述人脸表情图像集进行预处理操作，得到人脸表情目标图像集；
通过迭代算法检测所述人脸表情目标图像集中的人脸表情目标，并利用HOG特征算子对所述检测的人脸表情目标进行特征提取，得到人脸表情目标的HOG特征图谱集，将所述HOG特征图谱集作为训练集，并将所述标签集和训练集存入数据库中；
将所述训练集和所述标签集输入至预先构建的表情识别模型，并利用所述训练集对所述表情识别模型进行训练，得到训练值，并将所述训练值和所述标签集输入至所述表情识别模型的损失函数中，得到损失函数值，直至所述损失函数值小于预设的阈值时，完成所述表情识别模型的训练；
接收用户上传的表情图片，并根据所述表情识别模型，输出与所述上传的表情图片匹配度最高的情感词汇。
可选地，所述预处理操作，包括；
利用对比度拉伸方法对所述人脸表情图像集进行对比度增强，识别所述人脸表情图像集中的人脸特定区域，并利用分段线性变换函数对所述人脸特定区域进行灰度拉伸；
利用直方图均衡化对所述人脸表情图像集进行灰度值处理，使所述灰度值在整个灰度值动态变化范围内分布均匀化；
根据自适应图像降噪滤波器对所述人脸表情图像集进行降噪，并利用校正处理对所述人脸特定区域进行校正，得到所述人脸表情目标图像集。
可选地，所述利用HOG特征算子对所述检测的人脸表情目标进行特征提取，得到人脸表情目标的HOG特征图谱集，包括：
计算所述人脸表情目标的每个像素点(x,y)的梯度幅值G(x,y)和梯度方向σ(x,y)，形成人脸表情目标的梯度矩阵，并将所述梯度矩阵分为小的细胞单元；
计算所述细胞单元中的每个像素点的梯度大小和方向，统计出梯度方向直方图，并计算出所述梯度方向直方图中的每一个方向通道的像素梯度的和；
对所述每一方向通道的像素梯度的和进行累加并构成向量，并将所述细胞单元组合成块，对每一个块中的向量进行归一化处理，得到特征向量，并将所述每一块中得到的特征向量进行连接，得到所述HOG特征图谱。
可选地，所述利用所述训练集对构建的表情识别模型进行训练，得到训练值，包括：
将所述训练集和所述标签集输入至所述表情识别模型的卷积神经网络的输入层，通过在所述卷积神经网络的卷积层中预设一组过滤器对所述训练集进行卷积操作，提取出特征向量；
利用所述卷积神经网络的池化层对所述特征向量进行池化操作并将池化后的特征向量输入至全连接层，通过激活函数对所述池化后的特征向量进行归一化处理和计算，得到所述训练值。
可选地，所述接收用户上传的表情图片，并根据所述表情识别模型，输出与所述上传的表情图片匹配度最高的情感词汇，包括：
接收用户上传的第一表情图片，根据所述表情识别模型，输出与所述第一表表情图片匹配度最高的第一情感词汇，并将所述第一情感词汇分享给预设对象；
接收所述预设对象上传的第二表情图片，根据所述表情识别模型，输出与所述第二表情图片匹配度最高的第二情感词汇，当所述第二情感词汇与所述的第一情感词汇相匹配时，通知所述预设对象表情挑战成功，并根据表情挑战成功的次数，对所述预设对象进行排名。
此外，为实现上述目的，本发明还提供一种表情识别装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的表情识别程序，所述表情识别程序被所述处理器执行时实现如下步骤：
收集人脸表情图像集，利用情感词汇对所述人脸表情图像集建立标签，产生标签集，并对所述人脸表情图像集进行预处理操作，得到人脸表情目标图像集；
通过迭代算法检测所述人脸表情目标图像集中的人脸表情目标，并利用HOG特征算子对所述检测的人脸表情目标进行特征提取，得到人脸表情目标的HOG特征图谱集，将所述HOG特征图谱集作为训练集，并将所述标签集和训练集存入数据库中；
将所述训练集和所述标签集输入至预先构建的表情识别模型，并利用所述训练集对所述表情识别模型进行训练，得到训练值，并将所述训练值和所述标签集输入至所述表情识别模型的损失函数中，得到损失函数值，直至所述损失函数值小于预设的阈值时，完成所述表情识别模型的训练；
接收用户上传的表情图片，并根据所述表情识别模型，输出与所述上传的表情图片匹配度最高的情感词汇。
可选地，所述预处理操作，包括；
利用对比度拉伸方法对所述人脸表情图像集进行对比度增强，识别所述人脸表情图像集中的人脸特定区域，并利用分段线性变换函数对所述人脸特定区域进行灰度拉伸；
利用直方图均衡化对所述人脸表情图像集进行灰度值处理，使所述灰度值在整个灰度值动态变化范围内分布均匀化；
根据自适应图像降噪滤波器对所述人脸表情图像集进行降噪，并利用校正处理对所述人脸特定区域进行校正，得到所述人脸表情目标图像集。
可选地所述利用HOG特征算子对所述检测的人脸表情目标进行特征提取，得到人脸表情目标的HOG特征图谱集，包括：
计算所述人脸表情目标的每个像素点(x,y)的梯度幅值G(x,y)和梯度方向σ(x,y)，形成人脸表情目标的梯度矩阵，并将所述梯度矩阵分为小的细胞单元；
计算所述细胞单元中的每个像素点的梯度大小和方向，统计出梯度方向直方图，并计算出所述梯度方向直方图中的每一个方向通道的像素梯度的和；
对所述每一方向通道的像素梯度的和进行累加并构成向量，并将所述细胞单元组合成块，对每一个块中的向量进行归一化处理，得到特征向量，并将所述每一块中得到的特征向量进行连接，得到所述HOG特征图谱。
可选地，所述接收用户上传的表情图片，并根据所述表情识别模型，输出与所述上传的表情图片匹配度最高的情感词汇，包括：
接收用户上传的第一表情图片，根据所述表情识别模型，输出与所述第一表表情图片匹配度最高的第一情感词汇，并将所述第一情感词汇分享给预设对象；
接收所述预设对象上传的第二表情图片，根据所述表情识别模型，输出与所述第二表情图片匹配度最高的第二情感词汇，当所述第二情感词汇与所述的第一情感词汇相匹配时，通知所述预设对象表情挑战成功，并根据表情挑战成功的次数，对所述预设对象进行排名。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有表情识别程序，所述表情识别程序可被一个或者多个处理器执行，以实现如上所述的表情识别方法的步骤。
本发明提出的表情识别方法、装置及计算机可读存储介质，在用户根据人脸表情来进行人机交互、趣味互动时，结合所述收集的人脸表情图像，进行预处理操作，训练一个表情识别模型，将用户上传的图片输入至所述表情识别模型中，给用户呈现出精准的表情识别结果。
附图说明
图1为本发明一实施例提供的表情识别方法的流程示意图；
图2为本发明一实施例提供的表情识别装置的内部结构示意图；
图3为本发明一实施例提供的表情识别装置中表情识别程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种表情识别方法。参照图1所示，为本发明一实施例提供的表情识别方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，表情识别方法包括：
S1、收集人脸表情图像集，利用情感词汇对所述人脸表情图像集建立标签，产生标签集，并对所述人脸表情图像集进行预处理操作，得到人脸表情目标图像集。
本发明较佳实施例中，所述人脸表情图像集来源于美国卡内基梅隆大学机器人研究所和心理学系共同建立的Cohn-Kanade AU-Coded Facial Expression Image Database人脸表情数据库。所述情感词汇包含：兴奋、难过、垂头丧气、伤心等。本发明较佳实施例通过所述情感词汇为所述收集的人脸表情图像集建立属于每一个人脸表情图像的标签，例如，收集的一个人脸表情图像中的人脸表情是兴奋的，于是便对所述人脸表情图像建立兴奋的标签。
进一步地，所述预处理操作包含：对所述人脸表情图像集进行对比度增强、直方图均衡化、降噪以及校正处理，得到人脸表情目标图像集。具体的实施步骤如下所示：
a、对比度增强：
所述对比度指的是成像系统中亮度最大值与最小值之间的对比，其中，对比度低会使图像处理难度增大。本发明较佳实施例中采用的是对比度拉伸方法，利用提高灰度级动态范围的方式，达到图像对比度增强的目的。所述对比度拉伸也叫作灰度拉伸，是目前常用的灰度变换方式。进一步地，本发明根据所述对比度拉伸方法中的分段线性变换函数对特定区域进行灰度拉伸，进一步提高输出图像的对比度。当进行对比度拉伸时，本质上是实现灰度值变换。本发明通过线性拉伸实现灰度值变换，所述线性拉伸指的是输入与输出的灰度值之间为线性关系的像素级运算，灰度变换公式如下所示：
Db＝f(Da)＝a*Da+b
其中a为线性斜率，b为在Y轴上的截距。当a>1时，此时输出的图像对比度相比原图像是增强的。当a<1时，此时输出的图像对比度相比原图像是削弱的，其中Da代表输入图像灰度值，Db代表输出图像灰度值。
b、直方图均衡化：
所述直方图是图像的最基本统计特征，反映的是图像灰度值的分布情况。直方图反映了图像的明暗分布规律，可以通过图像变换进行直方图调整，获得较好的视觉效果。直方图均衡化是在每个灰度级上都具有相同的象素点数的过程，目的是使图像在整个灰度值动态变化范围内分布均匀化，改善图像的亮度分布状态，增强图像的视觉效果。本发明实施例中，均衡化处理的步骤为：对所述对比度提高后的人脸表情图像统计其直方图；根据统计出的直方图采用累积分布函数做变换，求变换后的新灰度；用新灰度代替旧灰度，同时把灰度值相等或近似的合并到一起，得到均衡化的人脸表情图像。
c、降噪：
本发明较佳实施例中，通过设计自适应图像降噪滤波器对所述均衡化的人脸表情图像进行降噪，这样可以很好的滤除“椒盐”噪声，并且可以很大程度的保护图像的细节。椒盐噪声是图像中一种随机出现的白点或黑点，而自适应图像降噪滤波器便是信号抽取器，它的作用是从被噪声污染的信号中抽取原来的信号。预设输入的待处理的均衡化的人脸表情图像为f(x,y)，在退化函数H的作用下，由于受到噪声η(x,y)的影响，最终得到一个退化图像g(x,y)。这时得到一个图像退化公式:g(x,y)＝η(x,y)+f(x,y)，并利用AdaptiveFilter方法对图像进行降噪，所述Adaptive Filter方法的核心思想是：
其中，是整张图像的噪声方差，是点(x,y)附近的一个窗口内的像素灰度均值，是点(x,y)附近一个窗口内的像素灰度的方差。
d、校正处理：
所述校正处理指的是对裁剪出来的人脸表情图像矩阵进行定点操作使倾斜的人脸表情图像变为不倾斜的人脸表情图像。本发明较佳实施例中通过在原来倾斜的人脸表情图像中标记四个使人脸表情图像不倾斜的点并根据变换矩阵就可以得到不倾斜的人脸表情图像，从而得到人脸表情目标图像集。
S2、通过迭代算法检测所述人脸表情目标图像集中的人脸表情目标，并利用HOG特征算子对所述检测的人脸表情目标进行特征提取，得到人脸表情目标的HOG特征图谱集，将所述HOG特征图谱集作为训练集，并将所述标签集和训练集存入数据库中。
本发明较佳实施例中，所述迭代算法为AdaBoost算法。所述AdaBoost算法的核心是迭代，并针对不同的训练集构造出的一个基本分类器(弱分类器)，并将每一个基本分类器(弱分类器)组合到一起，形成一个最终的强分类器。所述AdaBoost算法的实现是通过调整数据分布，并依据判断每一次训练集当中每一个样本分类的正确性以及上次样本总体分类的准确率，来设置每一个样本的权值。本发明较佳实施例中将新得到的权值作为下层分类器训练的数据集，并将每一次训练出的分类器组合起来，形成最终的决策分类器。
所述弱分类器为：
其中f为特征，θ为阈值，p指示不等号的方向，x表示一个检测子窗口。进一步地，本发明较佳实施例中通过确定f的最优阈值来训练所述弱分类器h(x,f,p,θ)，使得所述弱分类器h(x,f,p,θ)对所有训练样本的分类误差很低。在当弱分类器训练完成之后，将会对不同训练集上得到的分类器集合起来训练强分类器。本发明采用级联分类器，在这里的弱分类器的个数会比较有限，而是通过尽量多的强分类器级联。在特征值提取和计算的步骤中，“每个特征f”表示在训练样本中计算所有可能出现的矩形特征值，即计算所有的弱分类器，并从中选择性能好的分类器。进一步地，预设给定一连串训练的人脸表情目标图像集(x1,y1)，(x2,y2)，…(xn,yn)，其中负样本(非人脸表情)用yi＝0来表示，正样本(人脸表情)用yi＝1来表示，通过对弱分类器进行集合，并对其最小错误率εt的最佳分类器ht(x)进行选取，εt＝minf,p,θ∑i(wi/∑wi)|h(x,f,p,θ)-yi|，其中w为特征权值，最后得到最终的强分类器：
其中，t为特征，βt＝εt/(1-εt)。
所述级联分类器就是将上述训练得到的强分类器通过级联(串联)的方式组成一个人脸表情检测级联分类器，所述级联分类器也可以描述为一个退化的决策树。在级联分类器中，第2层分类器分类是由第1层分类得到的正样本触发的，第3层分类器分类是由第2层分类得到的正样本触发的，依次类推，最终检测到一般环境下的所有人脸表情目标。
本发明较佳实施例中，所述HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。进一步地，本发明较佳实施例通过计算每张人脸表情图像的每个像素点(x,y)的梯度幅值G(x,y)和梯度方向σ(x,y)，形成图像的梯度矩阵，其中，梯度矩阵中每一个元素都是向量，第一个分量是梯度幅值，第二、三个分量组合起来表示梯度方向；将所述图像矩阵分为小的细胞单元，本发明中预设每个细胞单元为4*4像素，每2*2个细胞单元构成一个块，biang将0°到180°的角度平均分为9个方向通道；计算细胞单元中的每个像素点的梯度大小和方向，进行投票，统计出梯度方向直方图；梯度方向直方图共9个方向通道，梯度方向直方图的每一个通道累加出像素的梯度大小的和，最终得到一组由各个通道像素梯度累加和构成的向量；把细胞单元组成块，在每一个块内部对向量归一化，得到特征向量；将经过归一化处理后的所有特征向量连接起来，形成检测人脸表情图像的HOG特征图谱。
S3、将所述训练集和所述标签集输入至预先构建的表情识别模型，并利用所述训练集对所述表情识别模型进行训练，得到训练值，并将所述训练值和所述标签集输入至所述表情识别模型的损失函数中，得到损失函数值，直至所述损失函数值小于预设的阈值时，完成所述表情识别模型的训练。
本发明较佳实施例中，所述智能文本编辑模型包括卷积神经网络。所述卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，其基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。
本发明较佳实施例中，所述卷积神经网络包含输入层、卷积层、池化层以及输出层。本发明较佳实施例所述卷积神经网络模型的输入层接收所述训练集和所述标签集，并通过在所述卷积层中预设一组过滤器对所述训练集进行卷积操作，提取出特征向量，所述过滤器可以为{filter0,filter1}，分别用于在相似通道和相异通道上来生成一组特征；利用所述池化层对所述特征向量进行池化操作并将池化后的特征向量输入至全连接层，通过激活函数对所述池化后的特征向量进行归一化处理和计算，得到训练值，并将计算结果输入至输出层，所述输出层输出与输入的人脸表情匹配度最高的情感词汇。所述归一化处理是将一个含任意实数的K维向量“压缩”到另一个K维实向量，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。
本发明实施例中所述激活函数为softmax函数，计算公式如下所示：
其中,Oj表示所述卷积神经网络输出层第j个神经元的情感词汇输出值，Ij表示所述卷积神经网络输出层第j个神经元的输入值，t表示所述输出层神经元的总量，e为无限不循环小数
本发明较佳实施例中预设损失函数值的阈值为0.01，所述损失函数为最小二乘法：
其中，s为与输入的人脸表情匹配度最高的情感词汇与对人脸表情图像建立的情感词汇的误差值，k为所述人脸表情图像集的数量，yi为所述对人脸表情图像建立的情感词汇，y′i为所述与输入的人脸表情匹配度最高的情感词汇。
S4、接收用户上传的表情图片，并根据所述表情识别模型，输出与所述上传的表情图片匹配度最高的情感词汇。
本发明较佳实施例中通过接收用户上传的第一表情图片，根据所述表情识别模型，输出与所述表情图片匹配度最高的第一情感词汇，并将所述第一情感词汇分享给预设对象。所述预设对象可以为微信中的好友，用户通过微信朋友圈小程序的方式来拍下自己的表情图片或者上传一个已有的表情图片作为第一表情图片，并通过H5的形式分享所述表情对应情感词汇给微信中的好友，用于邀请好友进行表情的模仿挑战。所述H5又称互动H5，相当于微信的PPT，主要用于品牌方传播和推广的载体。
进一步地，本发明较佳实施例接收所述预设对象上传的第二表情图片，根据所述表情识别模型，输出与所述第二表情图片匹配度最高的第二情感词汇，当所述第二情感词汇与所述的第一情感词汇相匹配时，通知所述预设对象表情挑战成功，并根据表情挑战成功的次数，对所述预设对象进行排名。本发明较佳实施例中支持多用户同时在线，其中，每个用户都轮流录入一个表情让预设对象来挑战，最后最难被挑战的用户胜出。
发明还提供一种表情识别装置。参照图2所示，为本发明一实施例提供的表情识别装置的内部结构示意图。
在本实施例中，所述表情识别装置1可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。该表情识别装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是表情识别装置1的内部存储单元，例如该表情识别装置1的硬盘。存储器11在另一些实施例中也可以是表情识别装置1的外部存储设备，例如表情识别装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括表情识别装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于表情识别装置1的应用软件及各类数据，例如表情识别程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行表情识别程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在表情识别装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-14以及表情识别程序01的表情识别装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对表情识别装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，存储器11中存储有表情识别程序01；处理器12执行存储器11中存储的表情识别程序01时实现如下步骤：
步骤一、收集人脸表情图像集，利用情感词汇对所述人脸表情图像集建立标签，产生标签集，并对所述人脸表情图像集进行预处理操作，得到人脸表情目标图像集。
本发明较佳实施例中，所述人脸表情图像集来源于美国卡内基梅隆大学机器人研究所和心理学系共同建立的Cohn-Kanade AU-Coded Facial Expression Image Database人脸表情数据库。所述情感词汇包含：兴奋、难过、垂头丧气、伤心等。本发明较佳实施例通过所述情感词汇为所述收集的人脸表情图像集建立属于每一个人脸表情图像的标签，例如，收集的一个人脸表情图像中的人脸表情是兴奋的，于是便对所述人脸表情图像建立兴奋的标签。
进一步地，所述预处理操作包含：对所述人脸表情图像集进行对比度增强、直方图均衡化、降噪以及校正处理，得到人脸表情目标图像集。具体的实施步骤如下所示：
a、对比度增强：
所述对比度指的是成像系统中亮度最大值与最小值之间的对比，其中，对比度低会使图像处理难度增大。本发明较佳实施例中采用的是对比度拉伸方法，利用提高灰度级动态范围的方式，达到图像对比度增强的目的。所述对比度拉伸也叫作灰度拉伸，是目前常用的灰度变换方式。进一步地，本发明根据所述对比度拉伸方法中的分段线性变换函数对特定区域进行灰度拉伸，进一步提高输出图像的对比度。当进行对比度拉伸时，本质上是实现灰度值变换。本发明通过线性拉伸实现灰度值变换，所述线性拉伸指的是输入与输出的灰度值之间为线性关系的像素级运算，灰度变换公式如下所示：
Db＝f(Da)＝a*Da+b
其中a为线性斜率，b为在Y轴上的截距。当a>1时，此时输出的图像对比度相比原图像是增强的。当a<1时，此时输出的图像对比度相比原图像是削弱的，其中Da代表输入图像灰度值，Db代表输出图像灰度值。
b、直方图均衡化：
所述直方图是图像的最基本统计特征，反映的是图像灰度值的分布情况。直方图反映了图像的明暗分布规律，可以通过图像变换进行直方图调整，获得较好的视觉效果。直方图均衡化是在每个灰度级上都具有相同的象素点数的过程，目的是使图像在整个灰度值动态变化范围内分布均匀化，改善图像的亮度分布状态，增强图像的视觉效果。本发明实施例中，均衡化处理的步骤为：对所述对比度提高后的人脸表情图像统计其直方图；根据统计出的直方图采用累积分布函数做变换，求变换后的新灰度；用新灰度代替旧灰度，同时把灰度值相等或近似的合并到一起，得到均衡化的人脸表情图像。
c、降噪：
本发明较佳实施例中，通过设计自适应图像降噪滤波器对所述均衡化的人脸表情图像进行降噪，这样可以很好的滤除“椒盐”噪声，并且可以很大程度的保护图像的细节。椒盐噪声是图像中一种随机出现的白点或黑点，而自适应图像降噪滤波器便是信号抽取器，它的作用是从被噪声污染的信号中抽取原来的信号。预设输入的待处理的均衡化的人脸表情图像为f(x,y)，在退化函数H的作用下，由于受到噪声η(x,y)的影响，最终得到一个退化图像g(x,y)。这时得到一个图像退化公式:g(x,y)＝η(x,y)+f(x,y)，并利用AdaptiveFilter方法对图像进行降噪，所述Adaptive Filter方法的核心思想是：
其中，是整张图像的噪声方差，是点(x,y)附近的一个窗口内的像素灰度均值，是点(x,y)附近一个窗口内的像素灰度的方差。
d、校正处理：
所述校正处理指的是对裁剪出来的人脸表情图像矩阵进行定点操作使倾斜的人脸表情图像变为不倾斜的人脸表情图像。本发明较佳实施例中通过在原来倾斜的人脸表情图像中标记四个使人脸表情图像不倾斜的点并根据变换矩阵就可以得到不倾斜的人脸表情图像，从而得到人脸表情目标图像集。
步骤二、通过迭代算法检测所述人脸表情目标图像集中的人脸表情目标，并利用HOG特征算子对所述检测的人脸表情目标进行特征提取，得到人脸表情目标的HOG特征图谱集，将所述HOG特征图谱集作为训练集，并将所述标签集和训练集存入数据库中。
本发明较佳实施例中，所述迭代算法为AdaBoost算法。所述AdaBoost算法的核心是迭代，并针对不同的训练集构造出的一个基本分类器(弱分类器)，并将每一个基本分类器(弱分类器)组合到一起，形成一个最终的强分类器。所述AdaBoost算法的实现是通过调整数据分布，并依据判断每一次训练集当中每一个样本分类的正确性以及上次样本总体分类的准确率，来设置每一个样本的权值。本发明较佳实施例中将新得到的权值作为下层分类器训练的数据集，并将每一次训练出的分类器组合起来，形成最终的决策分类器。
所述弱分类器为：
其中f为特征，θ为阈值，p指示不等号的方向，x表示一个检测子窗口。进一步地，本发明较佳实施例中通过确定f的最优阈值来训练所述弱分类器h(x,f,p,θ)，使得所述弱分类器h(x,f,p,θ)对所有训练样本的分类误差很低。在当弱分类器训练完成之后，将会对不同训练集上得到的分类器集合起来训练强分类器。本发明采用级联分类器，在这里的弱分类器的个数会比较有限，而是通过尽量多的强分类器级联。在特征值提取和计算的步骤中，“每个特征f”表示在训练样本中计算所有可能出现的矩形特征值，即计算所有的弱分类器，并从中选择性能好的分类器。进一步地，预设给定一连串训练的人脸表情目标图像集(x1,y1)，(x2,y2)，…(xn,yn)，其中负样本(非人脸表情)用yi＝0来表示，正样本(人脸表情)用yi＝1来表示，通过对弱分类器进行集合，并对其最小错误率εt的最佳分类器ht(x)进行选取，εt＝minf,p,θ∑i(wi/∑wi)|h(x,f,p,θ)-yi|，其中w为特征权值，最后得到最终的强分类器：
其中，t为特征，βt＝εt/(1-εt)。
所述级联分类器就是将上述训练得到的强分类器通过级联(串联)的方式组成一个人脸表情检测级联分类器，所述级联分类器也可以描述为一个退化的决策树。在级联分类器中，第2层分类器分类是由第1层分类得到的正样本触发的，第3层分类器分类是由第2层分类得到的正样本触发的，依次类推，最终检测到一般环境下的所有人脸表情目标。
本发明较佳实施例中，所述HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。进一步地，本发明较佳实施例通过计算每张人脸表情图像的每个像素点(x,y)的梯度幅值G(x,y)和梯度方向σ(x,y)，形成图像的梯度矩阵，其中，梯度矩阵中每一个元素都是向量，第一个分量是梯度幅值，第二、三个分量组合起来表示梯度方向；将所述图像矩阵分为小的细胞单元，本发明中预设每个细胞单元为4*4像素，每2*2个细胞单元构成一个块，biang将0°到180°的角度平均分为9个方向通道；计算细胞单元中的每个像素点的梯度大小和方向，进行投票，统计出梯度方向直方图；梯度方向直方图共9个方向通道，梯度方向直方图的每一个通道累加出像素的梯度大小的和，最终得到一组由各个通道像素梯度累加和构成的向量；把细胞单元组成块，在每一个块内部对向量归一化，得到特征向量；将经过归一化处理后的所有特征向量连接起来，形成检测人脸表情图像的HOG特征图谱。
步骤三、将所述训练集和所述标签集输入至预先构建的表情识别模型，并利用所述训练集对所述表情识别模型进行训练，得到训练值，并将所述训练值和所述标签集输入至所述表情识别模型的损失函数中，得到损失函数值，直至所述损失函数值小于预设的阈值时，完成所述表情识别模型的训练。
本发明较佳实施例中，所述智能文本编辑模型包括卷积神经网络。所述卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，其基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。
本发明较佳实施例中，所述卷积神经网络包含输入层、卷积层、池化层以及输出层。本发明较佳实施例所述卷积神经网络模型的输入层接收所述训练集和所述标签集，并通过在所述卷积层中预设一组过滤器对所述训练集进行卷积操作，提取出特征向量，所述过滤器可以为{filter0,filter1}，分别用于在相似通道和相异通道上来生成一组特征；利用所述池化层对所述特征向量进行池化操作并将池化后的特征向量输入至全连接层，通过激活函数对所述池化后的特征向量进行归一化处理和计算，得到训练值，并将计算结果输入至输出层，所述输出层输出与输入的人脸表情匹配度最高的情感词汇。所述归一化处理是将一个含任意实数的K维向量“压缩”到另一个K维实向量，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。
本发明实施例中所述激活函数为softmax函数，计算公式如下所示：
其中,Oj表示所述卷积神经网络输出层第j个神经元的情感词汇输出值，Ij表示所述卷积神经网络输出层第j个神经元的输入值，t表示所述输出层神经元的总量，e为无限不循环小数
本发明较佳实施例中预设损失函数值的阈值为0.01，所述损失函数为最小二乘法：
其中，s为与输入的人脸表情匹配度最高的情感词汇与对人脸表情图像建立的情感词汇的误差值，k为所述人脸表情图像集的数量，yi为所述对人脸表情图像建立的情感词汇，y′i为所述与输入的人脸表情匹配度最高的情感词汇。
步骤四、接收用户上传的表情图片，并根据所述表情识别模型，输出与所述上传的表情图片匹配度最高的情感词汇。
本发明较佳实施例中通过接收用户上传的第一表情图片，根据所述表情识别模型，输出与所述表情图片匹配度最高的第一情感词汇，并将所述第一情感词汇分享给预设对象。所述预设对象可以为微信中的好友，用户通过微信朋友圈小程序的方式来拍下自己的表情图片或者上传一个已有的表情图片作为第一表情图片，并通过H5的形式分享所述表情对应情感词汇给微信中的好友，用于邀请好友进行表情的模仿挑战。所述H5又称互动H5，相当于微信的PPT，主要用于品牌方传播和推广的载体。
进一步地，本发明较佳实施例接收所述预设对象上传的第二表情图片，根据所述表情识别模型，输出与所述第二表情图片匹配度最高的第二情感词汇，当所述第二情感词汇与所述的第一情感词汇相匹配时，通知所述预设对象表情挑战成功，并根据表情挑战成功的次数，对所述预设对象进行排名。本发明较佳实施例中支持多用户同时在线，其中，每个用户都轮流录入一个表情让预设对象来挑战，最后最难被挑战的用户胜出。
可选地，在其他实施例中，表情识别程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述表情识别程序在表情识别装置中的执行过程。
例如，参照图3所示，为本发明表情识别装置一实施例中的表情识别程序的程序模块示意图，该实施例中，所述表情识别程序可以被分割为表情预处理模块10、特征提取模块20、模型训练模块30以及表情识别模块40，示例性地：
所述关键字接表情预处理模块10用于：收集人脸表情图像集，利用情感词汇对所述人脸表情图像集建立标签，产生标签集，并对所述人脸表情图像集进行预处理操作，得到人脸表情目标图像集。
所述特征提取模块20用于：通过迭代算法检测所述人脸表情目标图像集中的人脸表情目标，并利用HOG特征算子对所述检测的人脸表情目标进行特征提取，得到人脸表情目标的HOG特征图谱集，将所述HOG特征图谱集作为训练集，并将所述标签集和训练集存入数据库中。
所述模型训练模块30用于：将所述训练集和所述标签集输入至预先构建的表情识别模型，并利用所述训练集对所述表情识别模型进行训练，得到训练值，并将所述训练值和所述标签集输入至所述表情识别模型的损失函数中，得到损失函数值，直至所述损失函数值小于预设的阈值时，完成所述表情识别模型的训练。
所述表情识别模块40用于：接收用户上传的表情图片，并根据所述表情识别模型，输出与所述上传的表情图片匹配度最高的情感词汇。
上述表情预处理模块10、特征提取模块20、模型训练模块30以及表情识别模块40等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有表情识别程序，所述表情识别程序可被一个或多个处理器执行，以实现如下操作：
接收用户输入到预设知识库的关键字，并对接收的关键字执行分词操作；
获取所有用户在所述预设知识库的历史搜索记录，将所述历史搜索记录的关键字执行分词操作，并与当前接收的关键字进行匹配，以查找到与当前接收的关键字匹配的历史搜索记录，并计算所述历史搜索记录中的知识点的历史操作行数据；
获取所述预设知识库中的所有知识点，并对每一条知识点中的所有内容按照预先确定的分词规则执行分词操作，得到每一条知识点中的文档分词，并计算每一条知识点以及其中的文档分词的一种或者多种权值系数；
根据所述权值系数以及对所述知识点的历史操作行数据，利用预设的算法，计算利用所述关键字搜索到的每一条知识点的权值，并根据所述权值，将利用所述关键字搜索到所有知识点进行排序呈现给用户收集人脸表情图像集，利用情感词汇对所述人脸表情图像集建立标签，产生标签集，并对所述人脸表情图像集进行预处理操作，得到人脸表情目标图像集；
通过迭代算法检测所述人脸表情目标图像集中的人脸表情目标，并利用HOG特征算子对所述检测的人脸表情目标进行特征提取，得到人脸表情目标的HOG特征图谱集，将所述HOG特征图谱集作为训练集，并将所述标签集和训练集存入数据库中；
将所述训练集和所述标签集输入至预先构建的表情识别模型，并利用所述训练集对所述表情识别模型进行训练，得到训练值，并将所述训练值和所述标签集输入至所述表情识别模型的损失函数中，得到损失函数值，直至所述损失函数值小于预设的阈值时，完成所述表情识别模型的训练；
接收用户上传的表情图片，并根据所述表情识别模型，输出与所述上传的表情图片匹配度最高的情感词汇。
本发明计算机可读存储介质具体实施方式与上述表情识别装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种表情识别方法，其特征在于，所述方法包括：
收集人脸表情图像集，利用情感词汇对所述人脸表情图像集建立标签，产生标签集，并对所述人脸表情图像集进行预处理操作，得到人脸表情目标图像集；
通过迭代算法检测所述人脸表情目标图像集中的人脸表情目标，并利用HOG特征算子对所述检测的人脸表情目标进行特征提取，得到人脸表情目标的HOG特征图谱集，将所述HOG特征图谱集作为训练集，并将所述标签集和训练集存入数据库中；
将所述训练集和所述标签集输入至预先构建的表情识别模型，并利用所述训练集对所述表情识别模型进行训练，得到训练值，并将所述训练值和所述标签集输入至所述表情识别模型的损失函数中，得到损失函数值，直至所述损失函数值小于预设的阈值时，完成所述表情识别模型的训练；
接收用户上传的表情图片，并根据所述表情识别模型，输出与所述上传的表情图片匹配度最高的情感词汇。
2.如权利要求1所述的表情识别方法，其特征在于，所述预处理操作，包括；
利用对比度拉伸方法对所述人脸表情图像集进行对比度增强，识别所述人脸表情图像集中的人脸特定区域，并利用分段线性变换函数对所述人脸特定区域进行灰度拉伸；
利用直方图均衡化对所述人脸表情图像集进行灰度值处理，使所述灰度值在整个灰度值动态变化范围内分布均匀化；
根据自适应图像降噪滤波器对所述人脸表情图像集进行降噪，并利用校正处理对所述人脸特定区域进行校正，得到所述人脸表情目标图像集。
3.如权利要求1所述的表情识别方法，其特征在于，所述利用HOG特征算子对所述检测的人脸表情目标进行特征提取，得到人脸表情目标的HOG特征图谱集，包括：
计算所述人脸表情目标的每个像素点(x,y)的梯度幅值G(x,y)和梯度方向σ(x,y)，形成人脸表情目标的梯度矩阵，并将所述梯度矩阵分为小的细胞单元；
计算所述细胞单元中的每个像素点的梯度大小和方向，统计出梯度方向直方图，并计算出所述梯度方向直方图中的每一个方向通道的像素梯度的和；
对所述每一方向通道的像素梯度的和进行累加并构成向量，并将所述细胞单元组合成块，对每一个块中的向量进行归一化处理，得到特征向量，并将所述每一块中得到的特征向量进行连接，得到所述HOG特征图谱。
4.如权利要求1所述的表情识别方法，其特征在于，所述利用所述训练集对构建的表情识别模型进行训练，得到训练值，包括：
将所述训练集和所述标签集输入至所述表情识别模型的卷积神经网络的输入层，通过在所述卷积神经网络的卷积层中预设一组过滤器对所述训练集进行卷积操作，提取出特征向量；
利用所述卷积神经网络的池化层对所述特征向量进行池化操作并将池化后的特征向量输入至全连接层，通过激活函数对所述池化后的特征向量进行归一化处理和计算，得到所述训练值。
5.如权利要求1所述的表情识别方法，其特征在于，所述接收用户上传的表情图片，并根据所述表情识别模型，输出与所述上传的表情图片匹配度最高的情感词汇，包括：
接收用户上传的第一表情图片，根据所述表情识别模型，输出与所述第一表表情图片匹配度最高的第一情感词汇，并将所述第一情感词汇分享给预设对象；
接收所述预设对象上传的第二表情图片，根据所述表情识别模型，输出与所述第二表情图片匹配度最高的第二情感词汇，当所述第二情感词汇与所述的第一情感词汇相匹配时，通知所述预设对象表情挑战成功，并根据表情挑战成功的次数，对所述预设对象进行排名。
6.一种表情识别装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的表情识别程序，所述表情识别程序被所述处理器执行时实现如下步骤：
收集人脸表情图像集，利用情感词汇对所述人脸表情图像集建立标签，产生标签集，并对所述人脸表情图像集进行预处理操作，得到人脸表情目标图像集；
通过迭代算法检测所述人脸表情目标图像集中的人脸表情目标，并利用HOG特征算子对所述检测的人脸表情目标进行特征提取，得到人脸表情目标的HOG特征图谱集，将所述HOG特征图谱集作为训练集，并将所述标签集和训练集存入数据库中；
将所述训练集和所述标签集输入至预先构建的表情识别模型，并利用所述训练集对所述表情识别模型进行训练，得到训练值，并将所述训练值和所述标签集输入至所述表情识别模型的损失函数中，得到损失函数值，直至所述损失函数值小于预设的阈值时，完成所述表情识别模型的训练；
接收用户上传的表情图片，并根据所述表情识别模型，输出与所述上传的表情图片匹配度最高的情感词汇。
7.如权利要求6所述的表情识别装置，其特征在于，所述预处理操作，包括；
利用对比度拉伸方法对所述人脸表情图像集进行对比度增强，识别所述人脸表情图像集中的人脸特定区域，并利用分段线性变换函数对所述人脸特定区域进行灰度拉伸；
利用直方图均衡化对所述人脸表情图像集进行灰度值处理，使所述灰度值在整个灰度值动态变化范围内分布均匀化；
根据自适应图像降噪滤波器对所述人脸表情图像集进行降噪，并利用校正处理对所述人脸特定区域进行校正，得到所述人脸表情目标图像集。
8.如权利要求6所述的表情识别装置，其特征在于，所述利用HOG特征算子对所述检测的人脸表情目标进行特征提取，得到人脸表情目标的HOG特征图谱集，包括：
计算所述人脸表情目标的每个像素点(x,y)的梯度幅值G(x,y)和梯度方向σ(x,y)，形成人脸表情目标的梯度矩阵，并将所述梯度矩阵分为小的细胞单元；
计算所述细胞单元中的每个像素点的梯度大小和方向，统计出梯度方向直方图，并计算出所述梯度方向直方图中的每一个方向通道的像素梯度的和；
对所述每一方向通道的像素梯度的和进行累加并构成向量，并将所述细胞单元组合成块，对每一个块中的向量进行归一化处理，得到特征向量，并将所述每一块中得到的特征向量进行连接，得到所述HOG特征图谱。
9.如权利要求6所述的表情识别装置，其特征在于，所述接收用户上传的表情图片，并根据所述表情识别模型，输出与所述上传的表情图片匹配度最高的情感词汇，包括：
接收用户上传的第一表情图片，根据所述表情识别模型，输出与所述第一表表情图片匹配度最高的第一情感词汇，并将所述第一情感词汇分享给预设对象；
接收所述预设对象上传的第二表情图片，根据所述表情识别模型，输出与所述第二表情图片匹配度最高的第二情感词汇，当所述第二情感词汇与所述的第一情感词汇相匹配时，通知所述预设对象表情挑战成功，并根据表情挑战成功的次数，对所述预设对象进行排名。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有表情识别程序，所述表情识别程序可被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的表情识别方法的步骤。
CN201910669105.9A 2019-07-23 2019-07-23 表情识别方法、装置及计算机可读存储介质 Withdrawn CN110532869A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910669105.9A CN110532869A (zh) 2019-07-23 2019-07-23 表情识别方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910669105.9A CN110532869A (zh) 2019-07-23 2019-07-23 表情识别方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110532869A true CN110532869A (zh) 2019-12-03

Family

ID=68661907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910669105.9A Withdrawn CN110532869A (zh) 2019-07-23 2019-07-23 表情识别方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110532869A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463813A (zh) * 2022-01-21 2022-05-10 苏州浪潮智能科技有限公司 一种基于hog特征的表情识别方法、系统及相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463813A (zh) * 2022-01-21 2022-05-10 苏州浪潮智能科技有限公司 一种基于hog特征的表情识别方法、系统及相关装置
CN114463813B (zh) * 2022-01-21 2024-02-13 苏州浪潮智能科技有限公司 一种基于hog特征的表情识别方法、系统及相关装置

Similar Documents

Publication Publication Date Title
CN105138993B (zh) 建立人脸识别模型的方法及装置
CN106372581B (zh) 构建及训练人脸识别特征提取网络的方法
Li et al. Cross-modal attentional context learning for RGB-D object detection
EP3084682B1 (en) System and method for identifying faces in unconstrained media
JP7386545B2 (ja) 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置
CN105718889B (zh) 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法
CN107633207A (zh) Au特征识别方法、装置及存储介质
CN106295591A (zh) 基于人脸图像的性别识别方法及装置
CN108052884A (zh) 一种基于改进残差神经网络的手势识别方法
CN112784763A (zh) 基于局部与整体特征自适应融合的表情识别方法及系统
WO2021047587A1 (zh) 手势识别方法、电子设备、计算机可读存储介质和芯片
CN109886153A (zh) 一种基于深度卷积神经网络的实时人脸检测方法
CN108427740A (zh) 一种基于深度度量学习的图像情感分类与检索算法
CN110245621A (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN110309709A (zh) 人脸识别方法、装置及计算机可读存储介质
Khowaja et al. Facial expression recognition using two-tier classification and its application to smart home automation system
EP2790130A1 (en) Method for object recognition
Sarma et al. Hand gesture recognition using deep network through trajectory-to-contour based images
CN115223239A (zh) 一种手势识别方法、系统、计算机设备以及可读存储介质
Aslam et al. Gender classification based on isolated facial features and foggy faces using jointly trained deep convolutional neural network
CN110532869A (zh) 表情识别方法、装置及计算机可读存储介质
CN110414358B (zh) 基于人脸智能识别的信息输出方法、装置及存储介质
Hussein Robust iris recognition framework using computer vision algorithms
Shukla et al. Deep Learning Model to Identify Hide Images using CNN Algorithm
Moran Classifying emotion using convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20191203

WW01 Invention patent application withdrawn after publication