CN111694959A - 基于面部表情和文本信息的网络舆情多模态情感识别方法及系统 - Google Patents

基于面部表情和文本信息的网络舆情多模态情感识别方法及系统 Download PDF

Info

Publication number
CN111694959A
CN111694959A CN202010510691.5A CN202010510691A CN111694959A CN 111694959 A CN111694959 A CN 111694959A CN 202010510691 A CN202010510691 A CN 202010510691A CN 111694959 A CN111694959 A CN 111694959A
Authority
CN
China
Prior art keywords
emotion
data
text
face
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010510691.5A
Other languages
English (en)
Inventor
谢沛然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010510691.5A priority Critical patent/CN111694959A/zh
Publication of CN111694959A publication Critical patent/CN111694959A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于面部表情和文本信息的网络舆情多模态情感识别方法及系统，方法包括：首先对带有网民图片和文本的舆情数据进行预处理，通过人脸识别技术自动筛选数据，建立双模态情感数据库；结合文本表示模型Skip‑gram和深度学习技术BiLSTM构建网民文本情感分类模型，完成文本表示和情感分类；同时，结合面部运动编码系统FACS构建网民面部图片情感分类模型，对面部图片进行归一化处理，提取图片特征，识别面部运动单元Aus，判断面部图片情感；最后，通过决策层融合方法处理文本和面部图片各自的情感类别概率，获得网民所表达的总体情感。本发明结合网民面部图片和文本信息实现网民双模态情感识别，能显著提高舆情网民情感识别的准确性。

Description

基于面部表情和文本信息的网络舆情多模态情感识别方法及 系统
技术领域
本发明属于人工智能领域，特别涉及一种基于面部表情和文本信息的网络舆情多模态情感识别方法及系统。
背景技术
随着互联网的发展，图像也成为舆情分析的重要数据源之一，在网民情感表达中，图像隐含着用户的情感信息，可以对文本情感判断起到补充作用，但图像情感判断往往具有较强的主观性，直接对舆情中包含的全部图像进行情感分析还存在着很大的挑战性，对于舆情分析的助力很小。而面部表情，作为视觉内容情感分析的重要组成部分，既蕴含丰富的情感信息，又能直观、快速的反映人类情感变化，是情感表达最自然、最直接的通道。社会心理学家Mehrabian给出的情感表达公式证明，面部表情在人类情感表露中占比达到了55％。同时，从信息交流真实性角度来看，相较于文字的易操作性，面部表情更加可靠。因此，面部表情图片作为网民情感表达的重要外在表现，可以与文本信息融合进行舆情情感分析。
基于文本的舆情情感分析由来已久，研究者们通过机器学习、神经网络和自然语言处理等技术完成网民的情感极性判断，并成功的应用于新闻评论、商品评论、金融产品评论等多个领域，对政府或相关企业了解民意和应对危机提供重要指导方向。在这些模型当中，拥有双向学习能力的双向长短期记忆模型效果较好，不仅解决了循环神经网络中的信息爆炸和信息丢失的问题，还可以通过两个长短期记忆网络学习文本中单词的上下文信息。而社交网络中的人脸图片规范性差，存在着角度随意、图片遮挡、表情较弱等问题。传统的人脸表情识别中，特征的提取过程容易受到噪声的干扰，提取出的特征信息往往存在失真或冗余等问题，这样会直接影响利用训练数据学习的基本特征和抽象情感之间映射关系的准确性，进而导致无法很好地识别网民面部表情。
发明内容
本发明的目的在于针对上述现有技术存在的问题，提供一种能提高网民情感识别的精确性的情感识别方法及系统。
实现本发明目的的技术解决方案为：基于面部表情和文本信息的网络舆情多模态情感识别方法，所述方法包括以下步骤：
步骤1，对带有网民图片和文本的舆情数据进行预处理，建立双模态舆情情感数据库；
步骤2，对舆情文本数据进行文本表示和情感分类；
步骤3，对网民图片数据进行进一步预处理、特征提取和情感分类；
步骤4，利用决策层融合方法对步骤2和步骤3所得情感类别进行融合，完成融合面部表情和文本信息的网民情感识别。
进一步地，步骤1所述对带有网民图片和文本的舆情数据进行预处理，具体包括：
步骤1-1、对带有网民图片和文本的舆情数据中的每条数据进行清洗，删除仅带有文本或图片的数据；
步骤1-2、对每条数据中的图片进行人脸检测，保留带有人脸图片的数据；
步骤1-3、对每条数据的情感进行标注。
进一步地，步骤1-2所述对每条数据中的图片进行人脸检测，保留带有人脸图片的数据，具体包括：
利用dlib工具包自动检测图片中是否包含人脸，在一条数据中的一张图片中检测到多张人脸或多张图片中都检测到人脸时，保留面积最大的人脸作为该条数据的人脸图片，使得每条数据中都只包含一条文本信息和一张包含一个人脸的图片。
进一步地，步骤1-3所述对每条数据的情感进行标注，具体包括：
步骤1-3-1，对每条数据中的文本和面部图片的情感极性分别进行标注，情感极性包括正面、负面、中性三类标签；
步骤1-3-2，针对每条数据，综合其文本和人脸图片的情感极性标签，确定总体情感极性标签，具体包括：若文本和人脸图片的情感极性标签一致，则将该情感极性标签作为总体情感极性标签；若文本和人脸图片的情感极性标签不一致，包括两种情况：其中一个为中性，另一个为正面或负面，则总体情感极性标签为正面或负面；均不为中性，则将文本的情感极性标签作为总体情感极性标签；
步骤1-3-3，将每条数据的情感极性标签进行归并，获得双模态舆情情感数据库，每条数据包括一条文本，一张人脸图片，以及三个情感极性标签。
进一步地，步骤2所述对舆情文本数据进行文本表示和情感分类，具体包括：
步骤2-1，利用文本表示模型Skip-gram对舆情文本数据进行词向量表示，具体包括：采集舆情文本数据，对这些数据进行分词处理；利用gensim工具包中的Word2Vec 工具构建Skip-gram模型，并利用分词处理后的数据对所述Skip-gram模型进行训练；之后利用训练后的Skip-gram模型对舆情文本数据进行词向量表示，获得实数词语向量；
步骤2-2，基于双向长短期记忆模型BiLSTM实现舆情文本数据的情感分类，具体包括：利用Keras封装的LSTM结构构建BiLSTM模型；利用所述Skip-gram模型获得的词向量表示对BiSTM模型进行训练获得文本情感分类模型，利用该文本情感分类模型对舆情文本数据进行情感分类，获得对应的情感类别概率向量。
进一步地，步骤3中所述对网民图片数据进行预处理，具体包括：
步骤3-1-1，利用dlib工具包提取网民人脸图片面部关键点及其位置，所述关键点用于描述人脸几何形状，包括眼睛、眉毛、鼻子、嘴和人脸轮廓；
步骤3-1-2，基于dlib工具包提取的面部关键点位置信息，利用Procrustes变换对人脸几何形状进行归一化，具体包括：利用Procrustes变换对网民人脸图片的面部关键点与预设的参照人脸图片的面部关键点进行仿射变换，完成人脸对齐；
步骤3-1-3、根据面部运动编码系统FACS中的定义，以鼻头开始正向第二个关键点的纵坐标的水平线作为分割线，将对齐的人脸区域分割为上半脸和下半脸两部分，之后分别将其归一化为同一大小，并保留上、下两个面部区域中关键点的位置信息；所述正向是指以鼻头起始向上。
进一步地，步骤3中所述对网民图片数据进行特征提取，具体包括：
步骤3-2-1，提取所述上、下两个面部区域的几何特征，每个面部区域的几何特征包括：步骤3-1-3区域切割时所保留的该面部区域中关键点的位置信息，以及该面部区域内两两关键点间的距离；
步骤3-2-2，提取所述上、下两个面部区域的纹理特征，并对纹理特征进行降维处理；
步骤3-2-3，拼接所述降维后的纹理特征与几何特征构成面部图片特征，并对其进行归一化处理。
进一步地，步骤3中所述对网民图片数据进行情感分类，具体包括：
步骤3-3-1，为FACS中定义的每个面部动作单元Au定义一个二进制标签，表示其是否存在，其中二进制标签为0表示不存在，为1表示存在；
步骤3-3-2，利用支持向量机预测网民人脸图片中每个面部动作单元Au是否存在；
步骤3-3-3，由步骤3-3-2的检测结果构成n维面部动作单元向量，其中n表示面部动作单元的个数；
步骤3-3-4，将所述n维面部动作单元向量输入支持向量机，实现网民人脸图片的情感分类，获得对应的情感类别概率向量。
进一步地，步骤4所述对使用决策层融合方法对步骤2和步骤3所得情感类别进行融合，从而完成融合面部图片和文本信息的网民情感识别，具体包括：
步骤4-1，基于步骤2、步骤3分别获得的文本和图片的情感类别概率向量 TP＝{tp1,tp2,tp3}、IP＝{ip1,ip2,ip3}，利用最小值规则融合的方法获取总体情感类别概率向量P：
P＝[p1,p2,p3]＝[min(tp1,ip1),min(tp2,ip2),min(tp3,ip3)]
式中，tpi和ipi分别表示文本和图片属于第i类情感的概率，pi表示总体属于第i类情感的概率，i＝1,2,3，分别代表负面、中性、正面三种情感；
步骤4-2，取总体情感类别概率向量P中最大值对应的情感类别作为融合面部图片和文本信息的网民情感类别。
基于面部表情和文本信息的网络舆情多模态情感识别系统，所述系统包括：
存储器，用于存储程序；
处理器，用于运行所述程序；
其中，所述程序在所述处理器中运行时，用于执行以下步骤：
步骤1，对带有网民图片和文本的舆情数据进行预处理，建立双模态舆情情感数据库；
步骤2，对舆情文本数据进行文本表示和情感分类；
步骤3，对网民图片数据进行进一步预处理、特征提取和情感分类；
步骤4，利用决策层融合方法对步骤2和步骤3所得情感类别进行融合，完成融合面部表情和文本信息的网民情感识别。
本发明与现有技术相比，其显著优点为：1)本发明引入FACS建立网民面部图片情感识别模型，进行网民面部图片的情感判断，相较于传统方法，该方法元在面部表情微弱、部分遮挡等条件下仍能表现出较好的性能，保证网民面部图片情感分类模型的精确性；2)在传统的文本情感分析的基础上，加入面部表情信息，通过多通道的信息互补，提高网民情感分类的鲁棒性和准确率。情感不是由单一模态信息所表达的，多模态信息融合更加贴近真实的情感表达方式。通过融合网民面部图片和文本进行情感分类，并探寻适合的融合方法，能够更加精准地判断网民情感，进而帮助政府或相关单位更好地了解网民情绪，理解其行为。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为一个实施例中基于面部表情和文本信息的网络舆情多模态情感识别方法流程图。
图2为一个实施例中结合FACS的网民面部图片情感分类模型结构图。
图3为一个实施例中人脸关键点分布图。
图4为一个实施例中面部图片归一化处理示例图。
图5为一个实施例中面部动作单元示例图。
具体实施方式
本发明将FACS应用到网民面部图片情感识别任务中，并结合多模态融合技术实现网民双模态情感识别，主要从三个方面展开研究：双模态舆情情感数据库构建、面部图片情感分类和双模态情感融合。
双模态舆情情感数据库构建：为了利用不同模态数据中情感信息的互补性，完成基于多模态舆情数据的情感判断，必须有相应的数据库用于算法训练和性能判断。目前国内没有可用的多模态数据库，且没有多模态数据库构建的统一流程，因此，给出可执行的双模态数据库构建的流程。
面部图片情感分类：相对于一般的面部表情识别方法，结合FACS的情感识别方法在面部表情微弱、部分遮挡等条件下仍能表现出较好的性能，将FACS中定义的面部运动单元Aus加入模型，根据FACS中定义的Aus的发生位置将人脸划分为不同区域，基于局部特征将面部动作单元识别作为隐藏层任务加入到网民面部情感识别中，可以达到降低维度的作用，并且具有较强的针对性，可以提高作为中间参数Aus的识别精度和效率，提升网民面部图片情感分类模型的鲁棒性和准确性。
多模态融合技术：在分别得到文本和面部图片的情感信息之后，通过多模态融合的方法将共现的文本和图片的情感信息融合在一起得到总体情感类别，全面准确地解释网民情感。
在一个实施例中，结合图1，提供了一种基于面部表情和文本信息的网络舆情多模态情感识别方法，该方法包括以下步骤：
步骤1，对带有网民图片和文本的舆情数据进行预处理，建立双模态舆情情感数据库；
步骤2，对舆情文本数据进行文本表示和情感分类；
步骤3，对网民图片数据进行进一步预处理、特征提取和情感分类；
步骤4，利用决策层融合方法对步骤2和步骤3所得情感类别进行融合，完成融合面部表情和文本信息的网民情感识别。
进一步地，在其中一个实施例中，步骤1所述对带有网民图片和文本的舆情数据进行预处理，具体包括：
步骤1-1、对带有网民图片和文本的舆情数据中的每条数据进行清洗，删除仅带有文本或图片的数据；
步骤1-2、对每条数据中的图片进行人脸检测，保留带有人脸图片的数据；
步骤1-3、对每条数据的情感进行标注。
进一步地，在其中一个实施例中，步骤1-2所述对每条数据中的图片进行人脸检测，保留带有人脸图片的数据，具体包括：
将每条数据中的图片保存为’.jpg’格式，利用dlib工具包自动检测图片中是否包含人脸，在一条数据中的一张图片中检测到多张人脸或多张图片中都检测到人脸时，保留面积最大的人脸作为该条数据的人脸图片，使得每条数据中都只包含一条文本信息和一张包含一个人脸的图片。
进一步地，在其中一个实施例中，步骤1-3所述对每条数据的情感进行标注，具体包括：
步骤1-3-1，对每条数据中的文本和面部图片的情感极性分别进行标注，情感极性包括正面、负面、中性三类标签；
步骤1-3-2，针对每条数据，综合其文本和人脸图片的情感极性标签，确定总体情感极性标签，具体包括：若文本和人脸图片的情感极性标签一致，则将该情感极性标签作为总体情感极性标签；若文本和人脸图片的情感极性标签不一致，包括两种情况：其中一个为中性，另一个为正面或负面，则总体情感极性标签为正面或负面；均不为中性，则将文本的情感极性标签作为总体情感极性标签；
步骤1-3-3，将每条数据的情感极性标签进行归并，获得双模态舆情情感数据库，每条数据包括一条文本，一张人脸图片，以及三个情感极性标签。
进一步地，在其中一个实施例中，步骤2所述对舆情文本数据进行文本表示和情感分类，具体为：利用词嵌入模型Skip-gram和双向长短期记忆模型BILSTM完成文本数据的情感建模，包括文本表示和情感分类两部分。文本表示是用实数向量对文本进行表示，Skip-gram通过无监督的方法在大量舆情文本数据中进行训练，将每个词语映射到一个较低的k维空间中去，实现用低维度的实数向量形式表示每个单词。情感分类是利用具有学习长期依赖性的能力BILSTM模型，通过同时学习正序和逆序的输入信息，实现深层文本特征的学习和情感判断。具体过程包括：
步骤2-1，利用文本表示模型Skip-gram对舆情文本数据进行词向量表示，具体包括：采集舆情文本数据，对这些数据进行分词处理；利用gensim工具包中的Word2Vec 工具构建Skip-gram模型，并利用分词处理后的数据对所述Skip-gram模型进行训练；之后利用训练后的Skip-gram模型对舆情文本数据进行词向量表示，获得实数词语向量；
步骤2-2，基于双向长短期记忆模型BiLSTM实现舆情文本数据的情感分类，具体包括：利用Keras封装的LSTM结构构建BiLSTM模型；利用所述Skip-gram模型获得的词向量表示对BiSTM模型进行训练获得文本情感分类模型，利用该文本情感分类模型对舆情文本数据进行情感分类，获得对应的情感类别概率向量。
进一步地，在其中一个实施例中，步骤3所述对网民图片数据进行进一步预处理、特征提取和情感分类，具体为：基于面部运动编码系统FACS构建网民面部图片情感分类模型，对面部图片进行归一化处理，提取图片特征，判断面部图片情感。归一化处理是通过人脸检测、对齐、剪裁和大小归一化等步骤实现人脸大小、角度、位置的归一化处理，通过这些步骤可以有效消除背景复杂、角度随意等噪声，增强面部信息。面部图片特征包括几何特征和外观特征，几何特征描述了面部器官眼睛、嘴巴、鼻子的形状及面部轮廓的关键点的几何位置信息，外观特征描述了面部区域的纹理信息，包括皱纹和凸起，两种特征之间存在一定的互补性。结合FACS的情感判断是将面部动作单元识别加入到情感判断任务中的，基于动作单元识别的结果来进行情感分类。
其中，所述对网民图片数据进行预处理，具体包括：
步骤3-1-1，利用dlib工具包提取网民人脸图片面部关键点及其位置，所述关键点用于描述人脸几何形状，包括眼睛、眉毛、鼻子、嘴和人脸轮廓；
步骤3-1-2，基于dlib工具包提取的面部关键点位置信息，利用Procrustes变换对人脸几何形状进行归一化，具体包括：利用Procrustes变换对网民人脸图片的面部关键点与预设的参照人脸图片的面部关键点进行仿射变换，完成人脸对齐；
步骤3-1-3、根据面部运动编码系统FACS中的定义，以鼻头开始正向第二个关键点的纵坐标的水平线作为分割线，将对齐的人脸区域分割为上半脸和下半脸两部分，之后分别将其归一化为同一大小，并保留上、下两个面部区域中关键点的位置信息；所述正向是指以鼻头起始向上。
所述对网民图片数据进行特征提取，具体包括：
步骤3-2-1，提取所述上、下两个面部区域的几何特征，每个面部区域的几何特征包括：步骤3-1-3区域切割时所保留的该面部区域中关键点的位置信息，以及该面部区域内两两关键点间的距离；
步骤3-2-2，提取所述上、下两个面部区域的纹理特征，并对纹理特征进行降维处理；
这里优选地，利用Gabor算法提取纹理特征；
这里优选地，利用PCA对纹理特征进行降维。
步骤3-2-3，拼接所述降维后的纹理特征与几何特征构成面部图片特征，并对其进行归一化处理。
这里优选地，利用零均值方法进行归一化处理。
所述对网民图片数据进行情感分类，具体结合FACS进行面部图片情感分类，分类模型结构如图2所示，具体过程包括：
步骤3-3-1，为FACS中定义的每个面部动作单元Au定义一个二进制标签，表示其是否存在，其中二进制标签为0表示不存在，为1表示存在；
步骤3-3-2，利用支持向量机预测网民人脸图片中每个面部动作单元Au是否存在；
步骤3-3-3，由步骤3-3-2的检测结果构成n维面部动作单元向量，其中n表示面部动作单元的个数；
步骤3-3-4，将所述n维面部动作单元向量输入支持向量机，实现网民人脸图片的情感分类，获得对应的情感类别概率向量。
面部表情是由面部肌肉动作组合而成的一种面部外在表现，所有人类的面部肌肉几乎完全相同，面部动作编码系统(Facial action coding system，FACS)定义一系列面部动作单元(Action Units，AUs)，将面部表情和面部肌肉动作联系在一起，为面部表情提供了一种客观的描述方法。基于FACS的面部表情识别方法，不同于传统基于全局面部特征的方法，在表情微弱和存在遮挡的情景下表现出了良好的识别效果。
进一步地，在其中一个实施例中，步骤4所述对使用决策层融合方法对步骤2和步骤3所得情感类别进行融合，从而完成融合面部图片和文本信息的网民情感识别，具体包括：
步骤4-1，基于步骤2、步骤3分别获得的文本和图片的情感类别概率向量 TP＝{tp1,tp2,tp3}、IP＝{ip1,ip2,ip3}，利用最小值规则融合的方法获取总体情感类别概率向量P：
P＝[p1,p2,p3]＝[min(tp1,ip1),min(tp2,ip2),min(tp3,ip3)]
式中，tpi和ipi分别表示文本和图片属于第i类情感的概率，pi表示总体属于第i类情感的概率，i＝1,2,3，分别代表负面、中性、正面三种情感；
步骤4-2，取总体情感类别概率向量P中最大值对应的情感类别作为融合面部图片和文本信息的网民情感类别。
在一个实施例中，提供了一种基于面部表情和文本信息的网络舆情多模态情感识别系统，该系统包括：
存储器，用于存储程序；
处理器，用于运行所述程序；
其中，所述程序在所述处理器中运行时，用于执行以下步骤：
步骤1，对带有网民图片和文本的舆情数据进行预处理，建立双模态舆情情感数据库；
步骤2，对舆情文本数据进行文本表示和情感分类；
步骤3，对网民图片数据进行进一步预处理、特征提取和情感分类；
步骤4，利用决策层融合方法对步骤2和步骤3所得情感类别进行融合，完成融合面部表情和文本信息的网民情感识别。
关于每一步的具体限定可以参考上述对基于面部表情和文本信息的网络舆情多模态情感识别方法的限定，在此不再赘述。
在一个实施例中，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时使得所述计算机或处理器执行本发明实施例的基于面部表情和文本信息的网络舆情多模态情感识别方法的相应步骤。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器、可擦除可编程只读存储器、便携式紧致盘只读存储器、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
作为一种具体示例，对本发明基于面部表情和文本信息的网络舆情多模态情感识别方法进行进一步验证说明：
研究目标：新浪微博舆情事件网民情感识别。
数据说明：
1)新浪微博2019年舆情事件中带有文本和面部图片的双模态数据作为待清洗的舆情数据。
2)Skip-gram模型训练数据集是通过爬虫程序从新浪微博随机获取的2018年3月到9月博文数据，经过简单的去噪和预处理，共有100多万条中文文本数据。
3)面部图片情感分类模型训练数据集是公开数据集MMI，该数据集存在较多地光线差异与噪声干扰，部分人戴有配饰，并且存在部分面部遮挡的现象，适合用于较复杂场景的表情预测。
具体过程包括：
步骤1、对带有网民图片和文本的舆情数据进行基本处理，具体包括：
1)对舆情数据进行清洗，去除仅带有文本和图片的数据。
2)保留带有人脸图片的数据，具体为：利用python语言自动将所有图片均保存为’.jpg’格式，使用工具包dlib自动检测图片中是否包含人脸，当一条数据的图片检测出多张人脸时，仅保留面积最大的人脸区域作为该数据的面部图片，使得每条数据中都只包含一条文本信息和一张包含一个人脸的图片，最后共得到2700条双模态舆情数据。
3)对每条数据的情感进行人工标注，分正、负、中三类，具体为：对每条数据中的文本和面部图片的情感极性分别进行标注，之后，综合文本和面部图片的情感极性，选择情感表达更加强烈的情感极性作为总体情感极性标签。若文本和人脸图片的情感极性标签一致，则将该情感极性标签作为总体情感极性标签；若文本和人脸图片的情感极性标签不一致，包括两种情况：其中一个为中性，另一个为正或负，则总体情感极性标签为正或负；均不为中性，则将文本的情感极性标签作为总体情感极性标签。由此，每条数据包括一条文本，一张人脸图片，和三个情感极性标签，这些数据构成双模态情感数据库，数据示例如下表1所示。
表1双模态情感数据集示例
Figure RE-GDA0002599739820000111
步骤2、利用词嵌入模型Skip-gram和双向长短期记忆模型BILSTM完成文本数据的情感建模，包括文本表示和情感分类两方面，具体包括：
1)利用gensim工具包中的Word2Vec工具构建Skip-gram模型，将进行jieba分词后的大量舆情文本数据，输入至Skip-gram模型进行预训练，利用训练好的模型对网民文本数据进行文本表示，得到特定维度的实数词语向量，为情感分类模型提供输入。 Word2Vec的参数设置如下表2所示。
表2 Word2Vec参数设置表
Figure RE-GDA0002599739820000112
2)利用Keras封装的LSTM结构构建BiLSTM网络，结合Softmax函数输出具体的情感类别概率，将Skip-gram模型得到的文本表示向量输入至BiSTM模型中训练得到文本情感分类模型，训练好的BiLSTM模型即可用于舆情文本数据的深层情感特征提取和情感类别判断。BiLSTM的参数设置如下表3所示.
表3 BiLSTM参数设置表
Figure RE-GDA0002599739820000113
表4展示了网民文本情感分类模型的五折交叉验证的结果，这里选择了准确率acc和宏观F1值作为性能评估标准。可以看出基于Skip-gram和BILSTM的文本情感分类模型可以较好地识别网民情感。
表4网民文本情感分类结果
Figure RE-GDA0002599739820000121
步骤3、基于面部运动编码系统FACS构建网民面部图片情感分类模型，对面部图片进行归一化处理，提取图片特征，判断面部图片情感。具体包括：
1)利用Dlib包进行人脸检测和归一化处理，具体是：利用Dlib工具包检测人脸，得到描述人脸几何形状的68个面部关键点的具体位置信息，包括眼睛、眉毛、鼻子、嘴和人脸轮廓的具体位置信息，68个关键点的分布如图3所示，其中，各个器官的关键点分布为：右眉毛：18-22；右眼睛：37-42；左眉毛：23-27；左眼睛：43-48；鼻子： 28-36；嘴巴：49-68。
通过Procrustes变换将网民图片的面部关键点与预设的参照人脸图片的关键点进行仿射变换，使得所有人脸对齐到共同的预定义参考坐标系中，实现人脸在平面内旋转，缩放和平移，完成人脸对齐；以选取点30的纵坐标作为人脸切割的位置，将对齐的人脸区域分割为上半脸和下半脸两部分，分别将其归一化为129*258大小的局部面部区域，并保存眉眼区域的22个关键点和嘴巴区域的20个关键点的位置信息。图4为面部图片归一化处理示例图。
2)提取两个动作单元区域的几何特征和外观特征，具体为：区域切割时所保留的局部面部区域的关键点的位置信息是几何特征的一部分，在此基础上，计算同区域的关键点之间的两两距离，并将其与关键点特征拼接在一起。此外，由于距离特征和关键点位置特征的数据大小差别很大，使用零均值标准化的方法对其进行归一化处理，使得特征取值大小不会影响其在之后分类模型中的重要性，最终得到眉眼区域几何特征维度为 276，嘴部区域几何特征维度为230。利用Gabor算法提取两个面部区域的纹理特征，并用PCA对其进行降维；将降维后的纹理特征与几何特征进行零均值归一化后拼接在一起组成面部图片特征。对于纹理特征，采用尺度为[2，3，4，5，6]、方向为[0，pi/2， pi，3pi/2]的5个尺度4个方向Gabor滤波器提取各区域纹理特征，并通过PCA对其分别进行降维，保留原信息95％的成分。在特征组合过程中，同样对Gabor特征进行归一化处理，以降低分类模型生成过程中时特征数据大小和维度对分类性能的影响。
3)将组合特征输入至支持向量机中进行Aus识别和情感判断。对于Aus的选择，根据六类基本表情与动作单元间的关系，选出了最能描述表情差异性的动作单元，有效降低FACS中表情定义的复杂程度。图5展示了经过筛选得到的10个面部动作单元，分别是AU1、AU2、AU4、AU5、AU6、AU9、AU12、AU15、AU20和AU25。所选的动作单元在划分区域均有分布，覆盖了整个人脸，可以较为准确的表达面部表情。
对于支持向量机的参数设置，通过网格搜索法对支持向量机的参数进行调优，得到最优参数为：核函数Kernel选取径向基核函数rbf，惩罚系数C为230，gamma值为0.05，并设置类别权重为balanced，平衡类别数量不一致的情况。
表5展示了基于FACS的网民面部图片情感分类模型在公开表情库MMI上的情感分类情况。结果展示了在非标准表情库下，将图片情感分类任务简单地分为正面、负面、中性三类时，平均分类准确率能达到79％
表5 MMI情感分类效果
Figure RE-GDA0002599739820000131
表6展示了FACS面部图片情感分类模型在舆情图片数据集上的分类效果，其中SVM跨库和SVM库内是不结合FACS，直接用底层特征进行图片情感预测，SVM跨库一列展示的是将在MMI数据库上训练的情感分类模型SVM用于舆情图片数据的情感分类；SVM库内一列展示的是将在舆情图片数据集上训练的情感分类模型SVM用于其本身的情感分类；FACS_SVM则是结合FACS中定义的Aus，先在MMI上训练AUs识别模型和情感识别模型，再用于舆情图片数据的情感分类。
表6舆情图片数据情感分类效果对比
Figure RE-GDA0002599739820000141
通过表6可以看到FACS_SVM的分类效果最优，验证了本发明中提出的基于FACS 的面部图片情感分类模型的有效性。通过与传统跨库SVM算法对比，证明了在跨库场景下，结合Aus识别表情要比直接识别表情识别可靠地多，凸显了结合FACS模型进行现实场景的面部图片情感识别的有效性和鲁棒性。而通过与SVM库内算法进行对比，可以体现在现实场景下，结合面部动作单元的情感分类效果优于直接基于人工设计的底层特征进行情感分类的效果。
步骤4、使用最小值融合的方法对步骤2和步骤3所得情感类别进行融合，从而完成融合面部图片和文本信息的网民情感识别，具体为：对比图片和文本属于某一类情感的概率值，选取较小的概率作为总体情感属于该类的概率值，最后取三个概率值中最大的概率值所对应的情感类别为总体情感类别。随机抽取20％的测试数据，按照最小值规则进行融合来判断情感，循环五次，得到最小值融合的准确率达到了89.54％，较文本和图片的情感识别准确率均有提升。
通过新浪微博2019年的双模态舆情数据的实验，证明了本发明基于FACS的网民面部图片情感分类模型在真实场景中可以取得较好的性能，融合网民文本和面部图片的情感分类效果优于单一模态的效果，且相较于简单的特征拼接，决策层融合方法更适用于融合网民文本和面部图片的多模态情感分类任务。
由上可知，本发明通过引入面部动作单元编码系统进行面部图片情感分类，较好地完成了网民面部图片的情感识别任务，通过决策层融合的方法将其与文本情感融合在一起可以实现面部图片和文本信息的互补优势，提高了网民情感识别的准确率。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.基于面部表情和文本信息的网络舆情多模态情感识别方法，其特征在于，所述方法包括以下步骤：
步骤1，对带有网民图片和文本的舆情数据进行预处理，建立双模态舆情情感数据库；
步骤2，对舆情文本数据进行文本表示和情感分类；
步骤3，对网民图片数据进行进一步预处理、特征提取和情感分类；
步骤4，利用决策层融合方法对步骤2和步骤3所得情感类别进行融合，完成融合面部表情和文本信息的网民情感识别。
2.根据权利要求1所述的基于面部表情和文本信息的网络舆情多模态情感识别方法，其特征在于，步骤1所述对带有网民图片和文本的舆情数据进行预处理，具体包括：
步骤1-1、对带有网民图片和文本的舆情数据中的每条数据进行清洗，删除仅带有文本或图片的数据；
步骤1-2、对每条数据中的图片进行人脸检测，保留带有人脸图片的数据；
步骤1-3、对每条数据的情感进行标注。
3.根据权利要求2所述的基于面部表情和文本信息的网络舆情多模态情感识别方法，其特征在于，步骤1-2所述对每条数据中的图片进行人脸检测，保留带有人脸图片的数据，具体包括：
利用dlib工具包自动检测图片中是否包含人脸，在一条数据中的一张图片中检测到多张人脸或多张图片中都检测到人脸时，保留面积最大的人脸作为该条数据的人脸图片，使得每条数据中都只包含一条文本信息和一张包含一个人脸的图片。
4.根据权利要求2或3所述的基于面部表情和文本信息的网络舆情多模态情感识别方法，其特征在于，步骤1-3所述对每条数据的情感进行标注，具体包括：
步骤1-3-1，对每条数据中的文本和面部图片的情感极性分别进行标注，情感极性包括正面、负面、中性三类标签；
步骤1-3-2，针对每条数据，综合其文本和人脸图片的情感极性标签，确定总体情感极性标签，具体包括：若文本和人脸图片的情感极性标签一致，则将该情感极性标签作为总体情感极性标签；若文本和人脸图片的情感极性标签不一致，包括两种情况：其中一个为中性，另一个为正面或负面，则总体情感极性标签为正面或负面；均不为中性，则将文本的情感极性标签作为总体情感极性标签；
步骤1-3-3，将每条数据的情感极性标签进行归并，获得双模态舆情情感数据库，每条数据包括一条文本，一张人脸图片，以及三个情感极性标签。
5.根据权利要求1所述的基于面部表情和文本信息的网络舆情多模态情感识别方法，其特征在于，步骤2所述对舆情文本数据进行文本表示和情感分类，具体包括：
步骤2-1，利用文本表示模型Skip-gram对舆情文本数据进行词向量表示，具体包括：采集舆情文本数据，对这些数据进行分词处理；利用gensim工具包中的Word2Vec工具构建Skip-gram模型，并利用分词处理后的数据对所述Skip-gram模型进行训练；之后利用训练后的Skip-gram模型对舆情文本数据进行词向量表示，获得实数词语向量；
步骤2-2，基于双向长短期记忆模型BiLSTM实现舆情文本数据的情感分类，具体包括：利用Keras封装的LSTM结构构建BiLSTM模型；利用所述Skip-gram模型获得的词向量表示对BiSTM模型进行训练获得文本情感分类模型，利用该文本情感分类模型对舆情文本数据进行情感分类，获得对应的情感类别概率向量。
6.根据权利要求1或2所述的基于面部表情和文本信息的网络舆情多模态情感识别方法，其特征在于，步骤3中所述对网民图片数据进行预处理，具体包括：
步骤3-1-1，利用dlib工具包提取网民人脸图片面部关键点及其位置，所述关键点用于描述人脸几何形状，包括眼睛、眉毛、鼻子、嘴和人脸轮廓；
步骤3-1-2，基于dlib工具包提取的面部关键点位置信息，利用Procrustes变换对人脸几何形状进行归一化，具体包括：利用Procrustes变换对网民人脸图片的面部关键点与预设的参照人脸图片的面部关键点进行仿射变换，完成人脸对齐；
步骤3-1-3、根据面部运动编码系统FACS中的定义，以鼻头开始正向第二个关键点的纵坐标的水平线作为分割线，将对齐的人脸区域分割为上半脸和下半脸两部分，之后分别将其归一化为同一大小，并保留上、下两个面部区域中关键点的位置信息；所述正向是指以鼻头起始向上。
7.根据权利要求6所述的基于面部表情和文本信息的网络舆情多模态情感识别方法，其特征在于，步骤3中所述对网民图片数据进行特征提取，具体包括：
步骤3-2-1，提取所述上、下两个面部区域的几何特征，每个面部区域的几何特征包括：步骤3-1-3区域切割时所保留的该面部区域中关键点的位置信息，以及该面部区域内两两关键点间的距离；
步骤3-2-2，提取所述上、下两个面部区域的纹理特征，并对纹理特征进行降维处理；
步骤3-2-3，拼接所述降维后的纹理特征与几何特征构成面部图片特征，并对其进行归一化处理。
8.根据权利要求7所述的基于面部表情和文本信息的网络舆情多模态情感识别方法，其特征在于，步骤3中所述对网民图片数据进行情感分类，具体包括：
步骤3-3-1，为FACS中定义的每个面部动作单元Au定义一个二进制标签，表示其是否存在，其中二进制标签为0表示不存在，为1表示存在；
步骤3-3-2，利用支持向量机预测网民人脸图片中每个面部动作单元Au是否存在；
步骤3-3-3，由步骤3-3-2的检测结果构成n维面部动作单元向量，其中n表示面部动作单元的个数；
步骤3-3-4，将所述n维面部动作单元向量输入支持向量机，实现网民人脸图片的情感分类，获得对应的情感类别概率向量。
9.根据权利要求5或8所述的基于面部表情和文本信息的网络舆情多模态情感识别方法，其特征在于，步骤4所述对使用决策层融合方法对步骤2和步骤3所得情感类别进行融合，从而完成融合面部图片和文本信息的网民情感识别，具体包括：
步骤4-1，基于步骤2、步骤3分别获得的文本和图片的情感类别概率向量TP＝{tp1,tp2,tp3}、IP＝{ip1,ip2,ip3}，利用最小值规则融合的方法获取总体情感类别概率向量P：
P＝[p1,p2,p3]＝[min(tp1,ip1),min(tp2,ip2),min(tp3,ip3)]
式中，tpi和ipi分别表示文本和图片属于第i类情感的概率，pi表示总体属于第i类情感的概率，i＝1,2,3，分别代表负面、中性、正面三种情感；
步骤4-2，取总体情感类别概率向量P中最大值对应的情感类别作为融合面部图片和文本信息的网民情感类别。
10.基于面部表情和文本信息的网络舆情多模态情感识别系统，其特征在于，所述系统包括：
存储器，用于存储程序；
处理器，用于运行所述程序；
其中，所述程序在所述处理器中运行时，用于执行以下步骤：
步骤1，对带有网民图片和文本的舆情数据进行预处理，建立双模态舆情情感数据库；
步骤2，对舆情文本数据进行文本表示和情感分类；
步骤3，对网民图片数据进行进一步预处理、特征提取和情感分类；
步骤4，利用决策层融合方法对步骤2和步骤3所得情感类别进行融合，完成融合面部表情和文本信息的网民情感识别。
CN202010510691.5A 2020-06-08 2020-06-08 基于面部表情和文本信息的网络舆情多模态情感识别方法及系统 Withdrawn CN111694959A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010510691.5A CN111694959A (zh) 2020-06-08 2020-06-08 基于面部表情和文本信息的网络舆情多模态情感识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010510691.5A CN111694959A (zh) 2020-06-08 2020-06-08 基于面部表情和文本信息的网络舆情多模态情感识别方法及系统

Publications (1)

Publication Number Publication Date
CN111694959A true CN111694959A (zh) 2020-09-22

Family

ID=72479761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010510691.5A Withdrawn CN111694959A (zh) 2020-06-08 2020-06-08 基于面部表情和文本信息的网络舆情多模态情感识别方法及系统

Country Status (1)

Country Link
CN (1) CN111694959A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232276A (zh) * 2020-11-04 2021-01-15 赵珍 一种基于语音识别和图像识别的情绪检测方法和装置
CN113515626A (zh) * 2021-05-19 2021-10-19 中国工商银行股份有限公司 一种确定舆论类别的方法、装置及设备
CN115410061A (zh) * 2022-07-14 2022-11-29 东北林业大学 一种基于自然语言处理的图文情感分析系统
CN115982473A (zh) * 2023-03-21 2023-04-18 环球数科集团有限公司 一种基于aigc的舆情分析编排系统
CN116010595A (zh) * 2022-11-15 2023-04-25 东北林业大学 基于同构性和异质性动态信息交互的多模态情感分类方法
CN116580445A (zh) * 2023-07-14 2023-08-11 江西脑控科技有限公司 一种大语言模型人脸特征分析方法、系统及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764268A (zh) * 2018-04-02 2018-11-06 华南理工大学 一种基于深度学习的图文多模态情感识别方法
CN110162626A (zh) * 2019-04-26 2019-08-23 湘潭大学 一种基于双向lstm的舆情情感热度熵的计算方法
US20200104368A1 (en) * 2018-10-02 2020-04-02 At&T Intellectual Property I, L.P. Sentiment analysis tuning
CN111209401A (zh) * 2020-01-03 2020-05-29 西安电子科技大学 网络舆情文本信息情感极性分类处理系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764268A (zh) * 2018-04-02 2018-11-06 华南理工大学 一种基于深度学习的图文多模态情感识别方法
US20200104368A1 (en) * 2018-10-02 2020-04-02 At&T Intellectual Property I, L.P. Sentiment analysis tuning
CN110162626A (zh) * 2019-04-26 2019-08-23 湘潭大学 一种基于双向lstm的舆情情感热度熵的计算方法
CN111209401A (zh) * 2020-01-03 2020-05-29 西安电子科技大学 网络舆情文本信息情感极性分类处理系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YING-LI TIAN 等: "Recognizing Action Units for Facial Expression Analysis", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
吴鹏等: "基于双向长短期记忆模型的网民负面情感分类研究", 《情报学报》 *
王敏: "面向微博的跨媒体情感分类技术研究", 《万方数据》 *
范涛等: "基于深度学习的多模态融合网民情感识别研究", 《信息资源管理学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232276A (zh) * 2020-11-04 2021-01-15 赵珍 一种基于语音识别和图像识别的情绪检测方法和装置
CN112232276B (zh) * 2020-11-04 2023-10-13 上海企创信息科技有限公司 一种基于语音识别和图像识别的情绪检测方法和装置
CN113515626A (zh) * 2021-05-19 2021-10-19 中国工商银行股份有限公司 一种确定舆论类别的方法、装置及设备
CN115410061A (zh) * 2022-07-14 2022-11-29 东北林业大学 一种基于自然语言处理的图文情感分析系统
CN115410061B (zh) * 2022-07-14 2024-02-09 东北林业大学 一种基于自然语言处理的图文情感分析系统
CN116010595A (zh) * 2022-11-15 2023-04-25 东北林业大学 基于同构性和异质性动态信息交互的多模态情感分类方法
CN115982473A (zh) * 2023-03-21 2023-04-18 环球数科集团有限公司 一种基于aigc的舆情分析编排系统
CN115982473B (zh) * 2023-03-21 2023-06-23 环球数科集团有限公司 一种基于aigc的舆情分析编排系统
CN116580445A (zh) * 2023-07-14 2023-08-11 江西脑控科技有限公司 一种大语言模型人脸特征分析方法、系统及电子设备
CN116580445B (zh) * 2023-07-14 2024-01-09 江西脑控科技有限公司 一种大语言模型人脸特征分析方法、系统及电子设备

Similar Documents

Publication Publication Date Title
Kim et al. Efficient facial expression recognition algorithm based on hierarchical deep neural network structure
Sun et al. A visual attention based ROI detection method for facial expression recognition
CN111694959A (zh) 基于面部表情和文本信息的网络舆情多模态情感识别方法及系统
Chowdhury et al. One-to-many face recognition with bilinear cnns
Fan et al. Label distribution-based facial attractiveness computation by deep residual learning
Zhang et al. Multimodal learning for facial expression recognition
Oliveira et al. Automatic graphic logo detection via fast region-based convolutional networks
CN110276248B (zh) 一种基于样本权值分配和深度学习的人脸表情识别方法
Manna et al. Face recognition from video using deep learning
Sharma et al. Emotion recognition using facial expression by fusing key points descriptor and texture features
Ali et al. Facial emotion detection using neural network
Yingxin et al. A robust hand gesture recognition method via convolutional neural network
Jang et al. Analysis of deep features for image aesthetic assessment
Prabhu et al. Facial Expression Recognition Using Enhanced Convolution Neural Network with Attention Mechanism.
CN115862120A (zh) 可分离变分自编码器解耦的面部动作单元识别方法及设备
Li et al. Facial expression classification using salient pattern driven integrated geometric and textual features
CN115187910A (zh) 视频分类模型训练方法、装置、电子设备及存储介质
CN109948483B (zh) 一种基于动作和面部表情的人物交互关系识别方法
Bengamra et al. A comprehensive survey on object detection in Visual Art: taxonomy and challenge
Salehin et al. Analysis of student sentiment during video class with multi-layer deep learning approach
Noceti et al. Humans in groups: The importance of contextual information for understanding collective activities
Kumar et al. Facial emotion recognition and detection using cnn
Sumalakshmi et al. Fused deep learning based Facial Expression Recognition of students in online learning mode
Srininvas et al. A framework to recognize the sign language system for deaf and dumb using mining techniques
Huang et al. Expression-targeted feature learning for effective facial expression recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200922