CN109829363A - 表情识别方法、装置、计算机设备和存储介质 - Google Patents
表情识别方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109829363A CN109829363A CN201811553986.XA CN201811553986A CN109829363A CN 109829363 A CN109829363 A CN 109829363A CN 201811553986 A CN201811553986 A CN 201811553986A CN 109829363 A CN109829363 A CN 109829363A
- Authority
- CN
- China
- Prior art keywords
- expression
- classifier
- recognition result
- expression recognition
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 743
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000001815 facial effect Effects 0.000 claims abstract description 93
- 238000012549 training Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 31
- 239000000284 extract Substances 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000008451 emotion Effects 0.000 abstract 1
- 230000007547 defect Effects 0.000 description 10
- 238000007796 conventional method Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 206010040954 Skin wrinkling Diseases 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 230000036651 mood Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种表情识别方法、装置、计算机设备和存储介质。所述方法包括：获取待处理的视频数据和音频数据，所述视频数据和所述音频数据均携带同一用户标识，所述音频数据包括音频特征和文字信息，所述视频数据包括用户人脸图像对应的面部特征；将所述音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个所述表情分类器输出的表情识别结果以及与所述表情识别结果对应的权重；从所述输出的表情识别结果中，筛选出权重最大的表情识别结果，作为与所述用户标识对应的用户的表情类别。本方法基于微表情情绪识别技术，实现了从语音、文字和视觉这三个角度对用户的表情类别进行综合判断的目的，从而提高了表情识别的准确率。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种表情识别方法、装置、计算机设备和存储介质。
背景技术
人类表情蕴含着丰富的情绪，其传递的信息非常重要，故在用户视频面试、面审等既有视频录制也有音频录制的场景中，往往需要对用户表情进行分析，以了解用户真实的情绪。因此，表情识别的准确性显得越来越重要。
然而，传统的表情识别方法主要是基于录制的图像和视频来对用户的表情类型进行判断，因此对于图片的质量和拍摄的场景都有一定的要求；若图片的质量和拍摄的场景达不到要求，而且在用户面部动作不够丰富时，很容易出现漏判的情况，从而造成表情识别的准确率低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高表情识别的准确率的表情识别方法、装置、计算机设备和存储介质。
一种表情识别方法，所述方法包括：
获取待处理的视频数据和音频数据，所述视频数据和所述音频数据均携带同一用户标识，所述音频数据包括音频特征和文字信息，所述视频数据包括用户人脸图像对应的面部特征；
将所述音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个所述表情分类器输出的表情识别结果以及与所述表情识别结果对应的权重；
从所述输出的表情识别结果中，筛选出权重最大的表情识别结果，作为与所述用户标识对应的用户的表情类别。
在其中一个实施例中，所述表情分类器包括第一表情分类器、第二表情分类器和第三表情分类器；
所述将所述音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个所述表情分类器输出的表情识别结果以及与所述表情识别结果对应的权重，包括：
将所述音频特征输入至第一表情分类器中，获取第一表情分类器的表情识别结果以及与所述表情识别结果对应的第一权重；
将所述文字信息输入至第二表情分类器中，获取第二表情分类器的表情识别结果以及与所述表情识别结果对应的第二权重；
将所述面部特征输入至第三表情分类器中，获取第三表情分类器的表情识别结果以及与所述表情识别结果对应的第三权重。
在其中一个实施例中，所述将所述音频特征输入至第一表情分类器中，获取第一表情分类器的表情识别结果以及与所述表情识别结果对应的第一权重，包括：
将所述音频特征输入至第一表情分类器中，所述第一表情分类器用于从所述音频特征中提取出目标特征，根据所述目标特征查询第一数据库，获取与所述目标特征对应的表情类别，作为表情识别结果，并确定与所述表情识别结果对应的第一权重；
获取所述第一表情分类器的表情识别结果以及与所述表情识别结果对应的第一权重。
在其中一个实施例中，所述将所述文字信息输入至第二表情分类器中，获取第二表情分类器的表情识别结果以及与所述表情识别结果对应的第二权重，包括：
将所述文字信息输入至第二表情分类器中，所述第二表情分类器用于从所述文字信息中提取出目标信息，根据所述目标信息查询第二数据库，获取与所述目标信息对应的表情类别，作为表情识别结果，并确定与所述表情识别结果对应的第二权重；
获取所述第二表情分类器的表情识别结果以及与所述表情识别结果对应的第二权重。
在其中一个实施例中，所述将所述面部特征输入至第三表情分类器中，获取第一表情分类器的表情识别结果以及与所述表情识别结果对应的第三权重，包括：
将所述面部特征输入至第三表情分类器中，所述第三表情分类器用于根据所述面部特征查询第三数据库，获取与所述面部特征对应的表情类别，作为表情识别结果，并确定与所述表情识别结果对应的第三权重；
获取所述第三表情分类器的表情识别结果以及与所述表情识别结果对应的第三权重。
在其中一个实施例中，所述第一表情分类器通过下述方法得到：
获取多个样本音频特征及对应的表情类别；
通过待训练的第一表情分类器对所述样本音频特征进行识别，得到第一表情分类器的表情识别结果；
将所述表情识别结果与对应的实际表情类别进行比较，得到识别误差；
当所述识别误差大于或等于预设第一阈值时，根据所述识别误差对所述第一表情分类器进行训练，直到根据训练后的第一表情分类器得到的识别误差小于所述预设第一阈值，结束训练。
在其中一个实施例中，所述第三表情分类器通过下述方法得到：
获取多个样本面部特征及对应的表情类别；
通过待训练的第三表情分类器对所述样本面部特征进行识别，得到第三表情分类器的表情识别结果；
获取所述表情识别结果与对应的实际表情类别之间的相似度；
当所述相似度小于预设第二阈值时，根据所述相似度对所述第三表情分类器进行训练，直到根据训练后的第三表情分类器得到的表情识别结果与对应的实际表情类别之间的相似度大于或等于所述预设第二阈值，结束训练。
一种表情识别装置，所述装置包括：
数据获取模块，用于获取待处理的视频数据和音频数据，所述视频数据和所述音频数据均携带同一用户标识，所述音频数据包括音频特征和文字信息，所述视频数据包括用户人脸图像对应的面部特征；
表情获取模块，用于将所述音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个所述表情分类器输出的表情识别结果以及与所述表情识别结果对应的权重；
表情筛选模块，用于从所述输出的表情识别结果中，筛选出权重最大的表情识别结果，作为与所述用户标识对应的用户的表情类别。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待处理的视频数据和音频数据，所述视频数据和所述音频数据均携带同一用户标识，所述音频数据包括音频特征和文字信息，所述视频数据包括用户人脸图像对应的面部特征；
将所述音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个所述表情分类器输出的表情识别结果以及与所述表情识别结果对应的权重；
从所述输出的表情识别结果中，筛选出权重最大的表情识别结果，作为与所述用户标识对应的用户的表情类别。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待处理的视频数据和音频数据，所述视频数据和所述音频数据均携带同一用户标识，所述音频数据包括音频特征和文字信息，所述视频数据包括用户人脸图像对应的面部特征；
将所述音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个所述表情分类器输出的表情识别结果以及与所述表情识别结果对应的权重；
从所述输出的表情识别结果中，筛选出权重最大的表情识别结果，作为与所述用户标识对应的用户的表情类别。
上述表情识别方法、装置、计算机设备和存储介质，服务器获取待处理的视频数据和音频数据，视频数据和音频数据均携带同一用户标识，音频数据包括音频特征和文字信息，视频数据包括用户人脸图像对应的面部特征；将音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个表情分类器输出的表情识别结果以及与表情识别结果对应的权重；从输出的表情识别结果中，筛选出权重最大的表情识别结果，作为与用户标识对应的用户的表情类别；实现了从语音、文字和视觉这三个角度对用户的表情类别进行综合判断的目的，能够提供更为多样的表情识别结果，方便从多样的表情识别结果中对用户的表情类别进行综合分析，避免漏判，进一步提高了表情识别的准确率和稳定性，克服了传统方法中仅从视觉角度对用户表情类别进行判断，导致表情识别的准确率低的缺陷。
附图说明
图1为一个实施例中表情识别方法的应用场景图；
图2为一个实施例中表情识别方法的流程示意图；
图3为一个实施例中获取各个表情分类器输出的表情识别结果的步骤的流程示意图；
图4为另一个实施例中表情识别方法的流程示意图；
图5为一个实施例中表情识别装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的表情识别方法，可以应用于如图1所示的应用环境中。其中，终端110通过网络与服务器120进行通信。终端110中安装了视频录制系统，视频录制系统能够将录制的视频数据和音频数据上传至服务器120；视频数据和音频数据携带同一用户标识。服务器120从音频数据中提取出音频特征和文字信息，从视频数据中提取出用户人脸图像对应的面部特征；将提取出的音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个表情分类器输出的表情识别结果以及与表情识别结果对应的权重；从输出的表情识别结果中，筛选出权重最大的表情识别结果，作为与用户标识对应的用户的表情类别。其中，终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑，服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种表情识别方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S201，获取待处理的视频数据和音频数据，视频数据和音频数据均携带同一用户标识，音频数据包括音频特征和文字信息，视频数据包括用户人脸图像对应的面部特征。
视频数据和音频数据是指在用户面审、面试等环节中，通过终端中的视频录制系统对用户所录制的数据。用户标识用于标识视频数据和音频数据，便于服务器进行区分；用户标识可以是用户姓名，用户身份证号码等。音频特征是指用于分析用户的表情类别的特征信息，比如音量、频响等；文字信息是指通过语音识别技术，由音频特征中的音频信息转化而来的信息；面部特征是指从视频数据中的人脸图像中提取出来的，用于分析用户的表情类别的特征信息，比如眼部特征，嘴部特征等。用户的表情类别可以分为很多种，比如悲伤、高兴、厌恶等。
终端(比如智能手机)安装了视频录制系统，视频录制系统能够将在用户面审、面试等环节中录制的视频数据和音频数据，作为待处理的视频数据和音频数据，上传至服务器。服务器从待处理的音频数据中提取音频特征和文字信息；从待处理的视频数据中提取用户人脸图像，并从提取出的用户人脸图像提取面部特征，方便后续将提取出的音频特征、文字信息和人脸图像输入对应的表情分类器，以从多个角度对用户的表情类别进行综合判断，进一步提高了表情识别的准确率。
步骤S202，将音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个表情分类器输出的表情识别结果以及与表情识别结果对应的权重。
表情分类器能够根据输入的信息，输出对应的表情识别结果，比如，基于语音识别的表情分类器能够根据输入的音频特征，输出用户的表情类别；基于文字识别的表情分类器能够根据输入的文字信息，输出用户的表情类别；基于人脸识别的表情分类器能够根据输入的面部特征，输出用户的表情类别。
权重用于衡量表情识别结果的重要程度，不同的表情识别结果，对应的权重不一样。需要说明的是，同一表情分类器，每次输出的表情识别结果所占有的权重是不同的，具体跟输入的信息有关。
服务器将音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个表情分类器输出的表情识别结果以及与表情识别结果对应的权重，方便从语音、文字和视觉这三个角度对用户的表情类别进行综合判断，能够提供更为多样的表情识别结果，方便从多样的表情识别结果对用户的表情类别进行综合分析，进一步提高了表情识别的准确率，避免了传统方法中仅从视觉角度对用户的表情类别进行判断，导致表情识别的准确率低的缺陷。
步骤S203，从输出的表情识别结果中，筛选出权重最大的表情识别结果，作为与用户标识对应的用户的表情类别。
服务器从各个表情分类器输出的表情识别结果中，获取权重最大的表情识别结果，作为与用户标识对应的用户的表情类别，实现了从多个角度对用户的表情类别进行综合判断的目的，避免漏判，进一步提高了表情识别的准确率和稳定性。需要说明的是，若各个表情识别结果对应的权重一样，则以基于人脸识别的表情分类器输出的表情识别结果为主。
上述表情识别方法中，服务器获取待处理的视频数据和音频数据，视频数据和音频数据均携带同一用户标识，音频数据包括音频特征和文字信息，视频数据包括用户人脸图像对应的面部特征；将音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个表情分类器输出的表情识别结果以及与表情识别结果对应的权重；从输出的表情识别结果中，筛选出权重最大的表情识别结果，作为与用户标识对应的用户的表情类别；实现了从语音、文字和视觉这三个角度对用户的表情类别进行综合判断的目的，能够提供更为多样的表情识别结果，方便从多样的表情识别结果中对用户的表情类别进行综合分析，避免漏判，进一步提高了表情识别的准确率和稳定性，克服了传统方法中仅从视觉角度对用户的表情类别进行判断，导致表情识别的准确率低的缺陷。
考虑到不同的表情分类器，对应的输入信息不同，为了区分不同的表情分类器，服务器可以将表情分类器分为第一表情分类器、第二表情分类器和第三表情分类器。在一个实施例中，如图3所示，将音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个表情分类器输出的表情识别结果以及与表情识别结果对应的权重的步骤具体包括：
步骤S301，将音频特征输入至第一表情分类器中，获取第一表情分类器的表情识别结果以及与表情识别结果对应的第一权重。
步骤S302，将文字信息输入至第二表情分类器中，获取第二表情分类器的表情识别结果以及与表情识别结果对应的第二权重。
步骤S303，将面部特征输入至第三表情分类器中，获取第三表情分类器的表情识别结果以及与表情识别结果对应的第三权重。
第一表情分类器是基于语音识别的表情分类器，能够根据输入的音频特征，输出与音频特征对应的表情类别，作为用户的表情类别。第二表情分类器是基于文字识别的表情分类器，能够根据输入的文字信息，输出与文字信息对应的表情类型，作为用户的表情类别。第三表情分类器是基于人脸识别的表情分类器，能够根据输入的面部特征，输出与面部特征对应的表情类别，作为用户的表情类别。
服务器将音频特征、文字信息和面部特征分别输入至对应的表情分类器中，以从语音、文字和视觉这三个角度对用户的表情类别进行综合判断，避免漏判，进一步提高了表情识别的准确率；同时，从多个角度对用户的表情类别进行判断，可以提高表情识别的稳定性。
在一个实施例中，上述步骤S301，将音频特征输入至第一表情分类器中，获取第一表情分类器的表情识别结果以及与表情识别结果对应的第一权重，包括：将音频特征输入至第一表情分类器中，第一表情分类器用于从音频特征中提取出目标特征，根据目标特征查询第一数据库，获取与目标特征对应的表情类别，作为表情识别结果，并确定与表情识别结果对应的第一权重；获取第一表情分类器的表情识别结果以及与表情识别结果对应的第一权重。目标特征是指输入的音频特征中，与设定音频特征(比如音调)匹配的特征。第一数据库存储有多个与音频特征对应的表情类别。
服务器基于大数据，预先收集了多个不同的音频特征以及与音频特征对应的表情类别，从音频特征中提取出目标特征；将与音频特征对应的表情类别，作为与从该音频特征中提取的目标特征对应的表情类别，以得到多个与目标特征对应的表情类别；将多个与目标特征对应的表情类别存储至第一数据库中，方便后续通过第一数据库获取与目标特征对应的表情类别。比如，恐惧的情绪中时常会带有尖叫，因此平均音调较高；故通过第一表情分类器，从音频特征中提取出目标特征音调；当识别到音调较高时，可以判断出用户的表情类别为恐惧。通过第一表情分类器，可以获取与输入的音频特征对应的表情类别，结合语音识别技术，通过用户语音中的音频特征来分析用户当前的表情类别，进一步提高了表情识别的准确率，避免漏判而造成表情识别的准确率低的缺陷。
为了进一步提高第一表情分类器的表情识别准确率，可以对第一表情分类器进行多次训练。在一个实施例中，第一表情分类器通过下述方法得到：获取多个样本音频特征及对应的表情类别；通过待训练的第一表情分类器对样本音频特征进行识别，得到第一表情分类器的表情识别结果；将表情识别结果与对应的实际表情类别进行比较，得到识别误差；当识别误差大于或等于预设第一阈值时，根据识别误差对第一表情分类器进行训练，直到根据训练后的第一表情分类器得到的识别误差小于预设第一阈值，结束训练。
比如，当识别误差大于或等于预设第一阈值时，服务器根据识别误差调整第一表情分类器的参数；根据调整后的第一表情分类器对样本音频特征进行再次识别，获取根据第一表情分类器得到的表情识别结果与对应的实际表情类别之间的识别误差，根据识别误差对第一表情分类器的参数进行再次调整，以对第一表情分类器进行再次训练，直到根据训练后的第一表情分类器得到的识别误差小于预设第一阈值，结束训练。服务器根据识别误差，对第一表情分类器进行多次训练，方便通过第一表情分类器输出更准确的表情识别结果，避免漏判，从而进一步提高了第一表情分类器的表情识别准确率。
在一个实施例中，上述步骤S302，将文字信息输入至第二表情分类器中，获取第二表情分类器的表情识别结果以及与表情识别结果对应的第二权重，包括：将文字信息输入至第二表情分类器中，第二表情分类器用于从文字信息中提取出目标信息，根据目标信息查询第二数据库，获取与目标信息对应的表情类别，作为表情识别结果，并确定与表情识别结果对应的第二权重；获取第二表情分类器的表情识别结果以及与表情识别结果对应的第二权重。目标信息是指从输入的文字信息中，提取出的蕴含情绪的信息，比如开心、愤怒等。第二数据库存储有多个与文字信息对应的表情类别。
服务器基于大数据，预先收集了多个不同用户的语音信息，将语音信息转化成文字信息，从文字信息中提取出目标信息，并确定目标信息对应的表情类别，将多个与目标信息对应的表情类别存储至第二数据库中，方便后续通过第二数据库获取与目标信息对应的表情类别。比如，文字信息“开心”通常代表着快乐，故通过第二表情分类器，从文字信息中提取出目标信息；当识别到目标信息为“开心”时，可以判断出用户的表情类别为快乐。通过第二表情分类器，可以获取与输入的文字信息对应的表情类别，以确定用户当前的表情类别，从而进一步提高了表情识别的准确率，避免漏判而造成表情识别的准确率低的缺陷。
进一步，第二表情分类器还可以从文字信息中提取出目标信息，并从文字信息中确定与目标信息关联的上下文信息；根据目标信息以及与目标信息关联的上下文信息，确定目标信息的实际含义；根据目标信息的实际含义查询第二数据库，获取与目标信息的实际含义对应的表情类别，作为表情识别结果，并确定与表情识别结果对应的第二权重。比如，从文字信息“你说发生这样的事情我能开心吗”中提取目标信息“开心”，并结合“开心”的上下文信息，确定“开心”的实际含义为消极情绪“不开心”。基于此方法，可以获取多个与目标信息对应的表情类别，并将其存储至第二数据库中。结合提取的目标信息的上下文信息，能够进一步减少第二表情分类器的识别误差，从而提高了表情识别的准确率。
在一个实施例中，上述步骤S303，将面部特征输入至第三表情分类器中，获取第一表情分类器的表情识别结果以及与表情识别结果对应的第三权重，包括：将面部特征输入至第三表情分类器中，第三表情分类器用于根据面部特征查询第三数据库，获取与面部特征对应的表情类别，作为表情识别结果，并确定与表情识别结果对应的第三权重；获取第三表情分类器的表情识别结果以及与表情识别结果对应的第三权重。第三数据库存储有多个与面部特征对应的表情类别。
服务器基于大数据，预先收集了多个不同的面部特征以及与面部特征对应的表情类别；将多个与面部特征对应的表情类别存储至第三数据库中，方便后续通过第三数据库获取与面部特征对应的表情类别。比如，人们高兴时的面部特征为嘴角翘起，面颊上抬起皱，眼睑收缩，眼睛尾部会形成“鱼尾纹”；伤心时的面部特征为眯眼，眉毛收紧，嘴角下拉，下巴抬起或收紧。故通过第三表情分类器，当识别到面部特征为嘴角翘起，面颊上抬起皱，眼睑收缩，眼睛尾部会形成“鱼尾纹”，可以判断出用户的表情类别为高兴。通过第三表情分类器，可以获取与输入的面部特征对应的表情类别，结合人脸识别技术，通过用户的面部特征来分析用户当前的表情类别，进一步提高了表情识别的准确率，避免漏判而造成表情识别的准确率低的缺陷。
为了进一步提高表情识别的准确率，服务器还可以从待处理的视频数据中提取多张人脸图像，分别从各张人脸图像中提取面部特征，将面部特征输入第三表情分类器，获取多个表情识别结果及对应的多个第三权重；从多个表情识别结果中筛选出第三权重最大的表情识别结果，作为第三表情分类器最终输出的表情识别结果。从待处理的视频数据中提取多张人脸图像，并通过第三表情分类器进行分析，避免仅仅根据单张人脸图像中的面部特征对用户的表情类别进行判断，导致表情识别的准确率低的缺陷，从而提高了表情识别的准确率。
此外，为了进一步提高表情识别的准确率，服务器还可以对第三表情分类器进行多次训练。在一个实施例中，第三表情分类器通过下述方法得到：获取多个样本面部特征及对应的表情类别；通过待训练的第三表情分类器对样本面部特征进行识别，得到第三表情分类器的表情识别结果；获取表情识别结果与对应的实际表情类别之间的相似度；当相似度小于预设第二阈值时，根据相似度对第三表情分类器进行训练，直到根据训练后的第三表情分类器得到的表情识别结果与对应的实际表情类别之间的相似度大于或等于预设第二阈值，结束训练。
比如，当相似度小于预设第二阈值时，服务器根据相似度调整第三表情分类器的参数；根据调整后的第三表情分类器对样本面部特征进行再次识别，获取根据第三表情分类器得到的表情识别结果与对应的实际表情类别之间的相似度，根据相似度对第三表情分类器的参数进行再次调整，以对第三表情分类器进行再次训练，直到根据训练后的第三表情分类器得到的表情识别结果与对应的实际表情类别之间的相似度大于或等于预设第二阈值，结束训练。服务器根据相似度，对第三表情分类器进行多次训练，方便通过第三表情分类器输出更准确的表情识别结果，避免漏判，从而进一步提高了第三表情分类器的表情识别准确率。
在一个实施例中，如图4所示，提供了另一种表情识别方法，包括以下步骤：
步骤S401，获取待处理的视频数据和音频数据，视频数据和音频数据均携带同一用户标识，音频数据包括音频特征和文字信息，视频数据包括用户人脸图像对应的面部特征。
步骤S402，将音频特征输入至第一表情分类器中，第一表情分类器用于从音频特征中提取出目标特征，根据目标特征查询第一数据库，获取与目标特征对应的表情类别，作为表情识别结果，并确定与表情识别结果对应的第一权重；获取第一表情分类器的表情识别结果以及与表情识别结果对应的第一权重。
步骤S403，将文字信息输入至第二表情分类器中，第二表情分类器用于从文字信息中提取出目标信息，根据目标信息查询第二数据库，获取与目标信息对应的表情类别，作为表情识别结果，并确定与表情识别结果对应的第二权重；获取第二表情分类器的表情识别结果以及与表情识别结果对应的第二权重。
步骤S404，将面部特征输入至第三表情分类器中，第三表情分类器用于根据面部特征查询第三数据库，获取与面部特征对应的表情类别，作为表情识别结果，并确定与表情识别结果对应的第三权重；获取第三表情分类器的表情识别结果以及与表情识别结果对应的第三权重。
步骤S405，从输出的表情识别结果中，筛选出权重最大的表情识别结果，作为与用户标识对应的用户的表情类别。
上述表情识别方法中，实现了从语音、文字和视觉这三个角度对用户的表情类别进行综合判断的目的，能够提供更为多样的表情识别结果，方便从多样的表情识别结果中对用户的表情类别进行综合分析，避免漏判，进一步提高了表情识别的准确率和稳定性，克服了传统方法中仅从视觉角度对用户的表情类别进行判断，导致表情识别的准确率低的缺陷。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种表情识别装置，包括：数据获取模块510、表情获取模块520和表情筛选模块530，其中：
数据获取模块510，用于获取待处理的视频数据和音频数据，视频数据和音频数据均携带同一用户标识，音频数据包括音频特征和文字信息，视频数据包括用户人脸图像对应的面部特征。
表情获取模块520，用于将音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个表情分类器输出的表情识别结果以及与表情识别结果对应的权重。
表情筛选模块530，用于从输出的表情识别结果中，筛选出权重最大的表情识别结果，作为与用户标识对应的用户的表情类别。
在一个实施例中，表情获取模块还用于将音频特征输入至第一表情分类器中，获取第一表情分类器的表情识别结果以及与表情识别结果对应的第一权重；将文字信息输入至第二表情分类器中，获取第二表情分类器的表情识别结果以及与表情识别结果对应的第二权重；将面部特征输入至第三表情分类器中，获取第三表情分类器的表情识别结果以及与表情识别结果对应的第三权重。
在一个实施例中，表情获取模块还用于将音频特征输入至第一表情分类器中，第一表情分类器用于从音频特征中提取出目标特征，根据目标特征查询第一数据库，获取与目标特征对应的表情类别，作为表情识别结果，并确定与表情识别结果对应的第一权重；获取第一表情分类器的表情识别结果以及与表情识别结果对应的第一权重。
在一个实施例中，表情获取模块还用于将文字信息输入至第二表情分类器中，第二表情分类器用于从文字信息中提取出目标信息，根据目标信息查询第二数据库，获取与目标信息对应的表情类别，作为表情识别结果，并确定与表情识别结果对应的第二权重；获取第二表情分类器的表情识别结果以及与表情识别结果对应的第二权重。
在一个实施例中，表情获取模块还用于将面部特征输入至第三表情分类器中，第三表情分类器用于根据面部特征查询第三数据库，获取与面部特征对应的表情类别，作为表情识别结果，并确定与表情识别结果对应的第三权重；获取第三表情分类器的表情识别结果以及与表情识别结果对应的第三权重。
在一个实施例中，表情识别装置还包括第一训练模块，用于获取多个样本音频特征及对应的表情类别；通过待训练的第一表情分类器对样本音频特征进行识别，得到第一表情分类器的表情识别结果；将表情识别结果与对应的实际表情类别进行比较，得到识别误差；当识别误差大于或等于预设第一阈值时，根据识别误差对第一表情分类器进行训练，直到根据训练后的第一表情分类器得到的识别误差小于预设第一阈值，结束训练。
在一个实施例中，表情识别装置还包括第二训练模块，用于获取多个样本面部特征及对应的表情类别；通过待训练的第三表情分类器对样本面部特征进行识别，得到第三表情分类器的表情识别结果；获取表情识别结果与对应的实际表情类别之间的相似度；当相似度小于预设第二阈值时，根据相似度对第三表情分类器进行训练，直到根据训练后的第三表情分类器得到的表情识别结果与对应的实际表情类别之间的相似度大于或等于预设第二阈值，结束训练。
上述各个实施例，表情识别装置实现了从语音、文字和视觉这三个角度对用户的表情类别进行综合判断的目的，能够提供更为多样的表情识别结果，方便从多样的表情识别结果中对用户的表情类别进行综合分析，避免漏判，进一步提高了表情识别的准确率和稳定性，克服了传统方法中仅从视觉角度对用户表情类别进行判断，导致表情识别的准确率低的缺陷。
关于表情识别装置的具体限定可以参见上文中对于表情识别方法的限定，在此不再赘述。上述表情识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储表情类别。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种表情识别方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待处理的视频数据和音频数据，视频数据和音频数据均携带同一用户标识，音频数据包括音频特征和文字信息，视频数据包括用户人脸图像对应的面部特征；
将音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个表情分类器输出的表情识别结果以及与表情识别结果对应的权重；
从输出的表情识别结果中，筛选出权重最大的表情识别结果，作为与用户标识对应的用户的表情类别。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将音频特征输入至第一表情分类器中，获取第一表情分类器的表情识别结果以及与表情识别结果对应的第一权重；将文字信息输入至第二表情分类器中，获取第二表情分类器的表情识别结果以及与表情识别结果对应的第二权重；将面部特征输入至第三表情分类器中，获取第三表情分类器的表情识别结果以及与表情识别结果对应的第三权重。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将音频特征输入至第一表情分类器中，第一表情分类器用于从音频特征中提取出目标特征，根据目标特征查询第一数据库，获取与目标特征对应的表情类别，作为表情识别结果，并确定与表情识别结果对应的第一权重；获取第一表情分类器的表情识别结果以及与表情识别结果对应的第一权重。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将文字信息输入至第二表情分类器中，第二表情分类器用于从文字信息中提取出目标信息，根据目标信息查询第二数据库，获取与目标信息对应的表情类别，作为表情识别结果，并确定与表情识别结果对应的第二权重；获取第二表情分类器的表情识别结果以及与表情识别结果对应的第二权重。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将面部特征输入至第三表情分类器中，第三表情分类器用于根据面部特征查询第三数据库，获取与面部特征对应的表情类别，作为表情识别结果，并确定与表情识别结果对应的第三权重；获取第三表情分类器的表情识别结果以及与表情识别结果对应的第三权重。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取多个样本音频特征及对应的表情类别；通过待训练的第一表情分类器对样本音频特征进行识别，得到第一表情分类器的表情识别结果；将表情识别结果与对应的实际表情类别进行比较，得到识别误差；当识别误差大于或等于预设第一阈值时，根据识别误差对第一表情分类器进行训练，直到根据训练后的第一表情分类器得到的识别误差小于预设第一阈值，结束训练。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取多个样本面部特征及对应的表情类别；通过待训练的第三表情分类器对样本面部特征进行识别，得到第三表情分类器的表情识别结果；获取表情识别结果与对应的实际表情类别之间的相似度；当相似度小于预设第二阈值时，根据相似度对第三表情分类器进行训练，直到根据训练后的第三表情分类器得到的表情识别结果与对应的实际表情类别之间的相似度大于或等于预设第二阈值，结束训练。
上述各个实施例，计算机设备通过处理器上运行的计算机程序，实现了从语音、文字和视觉这三个角度对用户的表情类别进行综合判断的目的，能够提供更为多样的表情识别结果，方便从多样的表情识别结果中对用户的表情类别进行综合分析，避免漏判，进一步提高了表情识别的准确率和稳定性，克服了传统方法中仅从视觉角度对用户表情类别进行判断，导致表情识别的准确率低的缺陷。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待处理的视频数据和音频数据，视频数据和音频数据均携带同一用户标识，音频数据包括音频特征和文字信息，视频数据包括用户人脸图像对应的面部特征；
将音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个表情分类器输出的表情识别结果以及与表情识别结果对应的权重；
从输出的表情识别结果中，筛选出权重最大的表情识别结果，作为与用户标识对应的用户的表情类别。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将音频特征输入至第一表情分类器中，获取第一表情分类器的表情识别结果以及与表情识别结果对应的第一权重；将文字信息输入至第二表情分类器中，获取第二表情分类器的表情识别结果以及与表情识别结果对应的第二权重；将面部特征输入至第三表情分类器中，获取第三表情分类器的表情识别结果以及与表情识别结果对应的第三权重。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将音频特征输入至第一表情分类器中，第一表情分类器用于从音频特征中提取出目标特征，根据目标特征查询第一数据库，获取与目标特征对应的表情类别，作为表情识别结果，并确定与表情识别结果对应的第一权重；获取第一表情分类器的表情识别结果以及与表情识别结果对应的第一权重。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将文字信息输入至第二表情分类器中，第二表情分类器用于从文字信息中提取出目标信息，根据目标信息查询第二数据库，获取与目标信息对应的表情类别，作为表情识别结果，并确定与表情识别结果对应的第二权重；获取第二表情分类器的表情识别结果以及与表情识别结果对应的第二权重。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将面部特征输入至第三表情分类器中，第三表情分类器用于根据面部特征查询第三数据库，获取与面部特征对应的表情类别，作为表情识别结果，并确定与表情识别结果对应的第三权重；获取第三表情分类器的表情识别结果以及与表情识别结果对应的第三权重。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取多个样本音频特征及对应的表情类别；通过待训练的第一表情分类器对样本音频特征进行识别，得到第一表情分类器的表情识别结果；将表情识别结果与对应的实际表情类别进行比较，得到识别误差；当识别误差大于或等于预设第一阈值时，根据识别误差对第一表情分类器进行训练，直到根据训练后的第一表情分类器得到的识别误差小于预设第一阈值，结束训练。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取多个样本面部特征及对应的表情类别；通过待训练的第三表情分类器对样本面部特征进行识别，得到第三表情分类器的表情识别结果；获取表情识别结果与对应的实际表情类别之间的相似度；当相似度小于预设第二阈值时，根据相似度对第三表情分类器进行训练，直到根据训练后的第三表情分类器得到的表情识别结果与对应的实际表情类别之间的相似度大于或等于预设第二阈值，结束训练。
上述各个实施例，计算机可读存储介质通过其存储的计算机程序，实现了从语音、文字和视觉这三个角度对用户的表情类别进行综合判断的目的，能够提供更为多样的表情识别结果，方便从多样的表情识别结果中对用户的表情类别进行综合分析，避免漏判，进一步提高了表情识别的准确率和稳定性，克服了传统方法表情识别的准确率低的缺陷。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种表情识别方法，所述方法包括：
获取待处理的视频数据和音频数据，所述视频数据和所述音频数据均携带同一用户标识，所述音频数据包括音频特征和文字信息，所述视频数据包括用户人脸图像对应的面部特征；
将所述音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个所述表情分类器输出的表情识别结果以及与所述表情识别结果对应的权重；
从所述输出的表情识别结果中，筛选出权重最大的表情识别结果，作为与所述用户标识对应的用户的表情类别。
2.根据权利要求1所述的方法，其特征在于，所述表情分类器包括第一表情分类器、第二表情分类器和第三表情分类器；
所述将所述音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个所述表情分类器输出的表情识别结果以及与所述表情识别结果对应的权重，包括：
将所述音频特征输入至第一表情分类器中，获取第一表情分类器的表情识别结果以及与所述表情识别结果对应的第一权重；
将所述文字信息输入至第二表情分类器中，获取第二表情分类器的表情识别结果以及与所述表情识别结果对应的第二权重；
将所述面部特征输入至第三表情分类器中，获取第三表情分类器的表情识别结果以及与所述表情识别结果对应的第三权重。
3.根据权利要求2所述的方法，其特征在于，所述将所述音频特征输入至第一表情分类器中，获取第一表情分类器的表情识别结果以及与所述表情识别结果对应的第一权重，包括：
将所述音频特征输入至第一表情分类器中，所述第一表情分类器用于从所述音频特征中提取出目标特征，根据所述目标特征查询第一数据库，获取与所述目标特征对应的表情类别，作为表情识别结果，并确定与所述表情识别结果对应的第一权重；
获取所述第一表情分类器的表情识别结果以及与所述表情识别结果对应的第一权重。
4.根据权利要求2所述的方法，其特征在于，所述将所述文字信息输入至第二表情分类器中，获取第二表情分类器的表情识别结果以及与所述表情识别结果对应的第二权重，包括：
将所述文字信息输入至第二表情分类器中，所述第二表情分类器用于从所述文字信息中提取出目标信息，根据所述目标信息查询第二数据库，获取与所述目标信息对应的表情类别，作为表情识别结果，并确定与所述表情识别结果对应的第二权重；
获取所述第二表情分类器的表情识别结果以及与所述表情识别结果对应的第二权重。
5.根据权利要求2所述的方法，其特征在于，所述将所述面部特征输入至第三表情分类器中，获取第一表情分类器的表情识别结果以及与所述表情识别结果对应的第三权重，包括：
将所述面部特征输入至第三表情分类器中，所述第三表情分类器用于根据所述面部特征查询第三数据库，获取与所述面部特征对应的表情类别，作为表情识别结果，并确定与所述表情识别结果对应的第三权重；
获取所述第三表情分类器的表情识别结果以及与所述表情识别结果对应的第三权重。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述第一表情分类器通过下述方法得到：
获取多个样本音频特征及对应的表情类别；
通过待训练的第一表情分类器对所述样本音频特征进行识别，得到第一表情分类器的表情识别结果；
将所述表情识别结果与对应的实际表情类别进行比较，得到识别误差；
当所述识别误差大于或等于预设第一阈值时，根据所述识别误差对所述第一表情分类器进行训练，直到根据训练后的第一表情分类器得到的识别误差小于所述预设第一阈值，结束训练。
7.根据权利要求6所述的方法，其特征在于，所述第三表情分类器通过下述方法得到：
获取多个样本面部特征及对应的表情类别；
通过待训练的第三表情分类器对所述样本面部特征进行识别，得到第三表情分类器的表情识别结果；
获取所述表情识别结果与对应的实际表情类别之间的相似度；
当所述相似度小于预设第二阈值时，根据所述相似度对所述第三表情分类器进行训练，直到根据训练后的第三表情分类器得到的表情识别结果与对应的实际表情类别之间的相似度大于或等于所述预设第二阈值，结束训练。
8.一种表情识别装置，其特征在于，所述装置包括：
数据获取模块，用于获取待处理的视频数据和音频数据，所述视频数据和所述音频数据均携带同一用户标识，所述音频数据包括音频特征和文字信息，所述视频数据包括用户人脸图像对应的面部特征；
表情获取模块，用于将所述音频特征、文字信息和面部特征分别输入至对应的表情分类器中，获取各个所述表情分类器输出的表情识别结果以及与所述表情识别结果对应的权重；
表情筛选模块，用于从所述输出的表情识别结果中，筛选出权重最大的表情识别结果，作为与所述用户标识对应的用户的表情类别。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811553986.XA CN109829363A (zh) | 2018-12-18 | 2018-12-18 | 表情识别方法、装置、计算机设备和存储介质 |
| PCT/CN2019/122313 WO2020125386A1 (zh) | 2018-12-18 | 2019-12-02 | 表情识别方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811553986.XA CN109829363A (zh) | 2018-12-18 | 2018-12-18 | 表情识别方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109829363A true CN109829363A (zh) | 2019-05-31 |
Family
ID=66859842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811553986.XA Pending CN109829363A (zh) | 2018-12-18 | 2018-12-18 | 表情识别方法、装置、计算机设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109829363A (zh) |
| WO (1) | WO2020125386A1 (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503942A (zh) * | 2019-08-29 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 一种基于人工智能的语音驱动动画方法和装置 |
| CN110991427A (zh) * | 2019-12-25 | 2020-04-10 | 北京百度网讯科技有限公司 | 用于视频的情绪识别方法、装置和计算机设备 |
| WO2020125386A1 (zh) * | 2018-12-18 | 2020-06-25 | 深圳壹账通智能科技有限公司 | 表情识别方法、装置、计算机设备和存储介质 |
| CN111460494A (zh) * | 2020-03-24 | 2020-07-28 | 广州大学 | 面向多模态深度学习的隐私保护方法及系统 |
| CN111899321A (zh) * | 2020-08-26 | 2020-11-06 | 网易（杭州）网络有限公司 | 一种虚拟角色表情展现的方法和装置 |
| CN113538810A (zh) * | 2021-07-16 | 2021-10-22 | 中国工商银行股份有限公司 | 安防方法、安防系统和自动取款机设备 |
| US12002138B2 (en) | 2019-08-29 | 2024-06-04 | Tencent Technology (Shenzhen) Company Limited | Speech-driven animation method and apparatus based on artificial intelligence |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232276B (zh) * | 2020-11-04 | 2023-10-13 | 上海企创信息科技有限公司 | 一种基于语音识别和图像识别的情绪检测方法和装置 |
| CN112529623B (zh) * | 2020-12-14 | 2023-07-11 | 中国联合网络通信集团有限公司 | 恶意用户的识别方法、装置和设备 |
| CN114241564A (zh) * | 2021-12-17 | 2022-03-25 | 东南大学 | 一种基于类间差异强化网络的人脸表情识别方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080201144A1 (en) * | 2007-02-16 | 2008-08-21 | Industrial Technology Research Institute | Method of emotion recognition |
| US20110141258A1 (en) * | 2007-02-16 | 2011-06-16 | Industrial Technology Research Institute | Emotion recognition method and system thereof |
| CN103456314A (zh) * | 2013-09-03 | 2013-12-18 | 广州创维平面显示科技有限公司 | 一种情感识别方法以及装置 |
| CN104835507A (zh) * | 2015-03-30 | 2015-08-12 | 渤海大学 | 一种串并结合的多模式情感信息融合与识别方法 |
| CN105976809A (zh) * | 2016-05-25 | 2016-09-28 | 中国地质大学（武汉） | 基于语音和面部表情的双模态情感融合的识别方法及系统 |
| CN106469297A (zh) * | 2016-08-31 | 2017-03-01 | 北京小米移动软件有限公司 | 情绪识别方法、装置和终端设备 |
| CN106503646A (zh) * | 2016-10-19 | 2017-03-15 | 竹间智能科技（上海）有限公司 | 多模态情感辨识系统及方法 |
| CN107862292A (zh) * | 2017-11-15 | 2018-03-30 | 平安科技（深圳）有限公司 | 人物情绪分析方法、装置及存储介质 |
| CN108764010A (zh) * | 2018-03-23 | 2018-11-06 | 姜涵予 | 情绪状态确定方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107256392A (zh) * | 2017-06-05 | 2017-10-17 | 南京邮电大学 | 一种联合图像、语音的全面情绪识别方法 |
| CN107818785A (zh) * | 2017-09-26 | 2018-03-20 | 平安普惠企业管理有限公司 | 一种从多媒体文件中提取信息的方法及终端设备 |
| CN108268838B (zh) * | 2018-01-02 | 2020-12-29 | 中国科学院福建物质结构研究所 | 人脸表情识别方法及人脸表情识别系统 |
| CN108805089B (zh) * | 2018-06-14 | 2021-06-29 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| CN109829363A (zh) * | 2018-12-18 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 表情识别方法、装置、计算机设备和存储介质 |
-
2018
- 2018-12-18 CN CN201811553986.XA patent/CN109829363A/zh active Pending
-
2019
- 2019-12-02 WO PCT/CN2019/122313 patent/WO2020125386A1/zh active Application Filing
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080201144A1 (en) * | 2007-02-16 | 2008-08-21 | Industrial Technology Research Institute | Method of emotion recognition |
| US20110141258A1 (en) * | 2007-02-16 | 2011-06-16 | Industrial Technology Research Institute | Emotion recognition method and system thereof |
| CN103456314A (zh) * | 2013-09-03 | 2013-12-18 | 广州创维平面显示科技有限公司 | 一种情感识别方法以及装置 |
| CN104835507A (zh) * | 2015-03-30 | 2015-08-12 | 渤海大学 | 一种串并结合的多模式情感信息融合与识别方法 |
| CN105976809A (zh) * | 2016-05-25 | 2016-09-28 | 中国地质大学（武汉） | 基于语音和面部表情的双模态情感融合的识别方法及系统 |
| CN106469297A (zh) * | 2016-08-31 | 2017-03-01 | 北京小米移动软件有限公司 | 情绪识别方法、装置和终端设备 |
| CN106503646A (zh) * | 2016-10-19 | 2017-03-15 | 竹间智能科技（上海）有限公司 | 多模态情感辨识系统及方法 |
| CN107862292A (zh) * | 2017-11-15 | 2018-03-30 | 平安科技（深圳）有限公司 | 人物情绪分析方法、装置及存储介质 |
| CN108764010A (zh) * | 2018-03-23 | 2018-11-06 | 姜涵予 | 情绪状态确定方法及装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020125386A1 (zh) * | 2018-12-18 | 2020-06-25 | 深圳壹账通智能科技有限公司 | 表情识别方法、装置、计算机设备和存储介质 |
| CN110503942A (zh) * | 2019-08-29 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 一种基于人工智能的语音驱动动画方法和装置 |
| US12002138B2 (en) | 2019-08-29 | 2024-06-04 | Tencent Technology (Shenzhen) Company Limited | Speech-driven animation method and apparatus based on artificial intelligence |
| CN110991427A (zh) * | 2019-12-25 | 2020-04-10 | 北京百度网讯科技有限公司 | 用于视频的情绪识别方法、装置和计算机设备 |
| CN111460494A (zh) * | 2020-03-24 | 2020-07-28 | 广州大学 | 面向多模态深度学习的隐私保护方法及系统 |
| CN111460494B (zh) * | 2020-03-24 | 2023-04-07 | 广州大学 | 面向多模态深度学习的隐私保护方法及系统 |
| CN111899321A (zh) * | 2020-08-26 | 2020-11-06 | 网易（杭州）网络有限公司 | 一种虚拟角色表情展现的方法和装置 |
| CN111899321B (zh) * | 2020-08-26 | 2023-09-26 | 网易（杭州）网络有限公司 | 一种虚拟角色表情展现的方法和装置 |
| CN113538810A (zh) * | 2021-07-16 | 2021-10-22 | 中国工商银行股份有限公司 | 安防方法、安防系统和自动取款机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020125386A1 (zh) | 2020-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829363A (zh) | 表情识别方法、装置、计算机设备和存储介质 | |
| CN107492382B (zh) | 基于神经网络的声纹信息提取方法及装置 | |
| WO2020140665A1 (zh) | 双录视频质量检测方法、装置、计算机设备和存储介质 | |
| CN108039988B (zh) | 设备控制处理方法及装置 | |
| CN109508638A (zh) | 人脸情绪识别方法、装置、计算机设备及存储介质 | |
| CN108920639B (zh) | 基于语音交互的上下文获取方法及设备 | |
| CN109858381A (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
| CN106778450B (zh) | 一种面部识别方法和装置 | |
| CN110781916A (zh) | 视频数据的欺诈检测方法、装置、计算机设备和存储介质 | |
| CN110378228A (zh) | 面审视频数据处理方法、装置、计算机设备和存储介质 | |
| CN109450850A (zh) | 身份验证方法、装置、计算机设备和存储介质 | |
| CN108920640B (zh) | 基于语音交互的上下文获取方法及设备 | |
| CN109660744A (zh) | 基于大数据的智能双录方法、设备、存储介质及装置 | |
| CN109543377A (zh) | 身份验证方法、装置、计算机设备和存储介质 | |
| CN110853646A (zh) | 会议发言角色的区分方法、装置、设备及可读存储介质 | |
| CN109815489A (zh) | 催收信息生成方法、装置、计算机设备和存储介质 | |
| WO2021128817A1 (zh) | 视频音频识别方法、设备、存储介质及装置 | |
| CN110418204B (zh) | 基于微表情的视频推荐方法、装置、设备和存储介质 | |
| CN106096519A (zh) | 活体鉴别方法及装置 | |
| CN109766419A (zh) | 基于语音分析的产品推荐方法、装置、设备及存储介质 | |
| CN109766474A (zh) | 审讯信息审核方法、装置、计算机设备和存储介质 | |
| CN110796000A (zh) | 基于双向lstm的唇形样本生成方法、装置和存储介质 | |
| CN114639150A (zh) | 情绪识别方法、装置、计算机设备和存储介质 | |
| CN113409771B (zh) | 一种伪造音频的检测方法及其检测系统和存储介质 | |
| CN113920560A (zh) | 多模态说话人身份识别方法、装置和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |