CN110826637A - 情绪识别方法、系统及计算机可读存储介质 - Google Patents
情绪识别方法、系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110826637A CN110826637A CN201911099208.2A CN201911099208A CN110826637A CN 110826637 A CN110826637 A CN 110826637A CN 201911099208 A CN201911099208 A CN 201911099208A CN 110826637 A CN110826637 A CN 110826637A
- Authority
- CN
- China
- Prior art keywords
- emotion
- data
- voice
- face
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Abstract
本发明公开了一种情绪识别方法，该方法包括：接收终端发送的原始识别数据；对所述原始识别数据进行识别，得到语音特征数据和人脸特征数据，其中语音特征数据包括：语音特征时间信息，人脸特征数据包括：人脸特征时间信息；将所述语音特征数据与情绪模型库中的语音标准情绪模型进行匹配，获得语音变化数据；将所述人脸特征数据与情绪模型库中的人脸标准情绪模型进行匹配，获得人脸情绪变化数据；根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到情绪识别结果。本发明还公开了一种系统和一种计算机可读存储介质。本发明能够实现识别用户情绪的变化，提高用户情绪识别的准确率。
Description
技术领域
本发明涉及通信技术领域，尤其涉及情绪识别方法、系统及计算机可读存储介质。
背景技术
目前，情绪识别最常见的通过情感计算机技术，通过赋予计算机系统识别，理解，表达和适应人的情感能力，来建立和谐人机环境，以帮助用户客观地分析情绪，管理情绪。常用的分析用户情绪的方法有通过语音识别技术分析用户情绪。利用语音识别技术仅是通过识别语音中包括的敏感词来分析用户情绪，准确度低，很难达到通过客观准确的分析用户的情绪变化，帮助用户管理情绪的目的。
发明内容
本发明的主要目的在于提出一种情绪识别方法、系统及计算机可读存储介质，旨在解决用户情绪变化无法准确识别的技术问题。
为实现上述目的，本发明提供一种情绪识别方法，所述情绪识别方法包括如下步骤：
接收终端发送的原始识别数据；
对所述原始识别数据进行识别，得到语音特征数据和人脸特征数据；其中语音特征数据包括：语音特征时间信息，人脸特征数据包括：人脸特征时间信息；
将所述语音特征数据与情绪模型库中的语音标准情绪模型进行匹配，获得语音变化数据；
将所述人脸特征数据与情绪模型库中的人脸标准情绪模型进行匹配，获得人脸情绪变化数据；
根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到情绪识别结果。
可选地，所述根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到情绪识别结果的步骤之前，包括：
对所述原始识别数据进行识别，得到对话语音数据；其中，所述对话语音数据包括：对话语音时间信息；
对所述对话语音数据和所述语音特征数据进行识别，得到对话情绪数据；
所述根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到用户的情绪识别结果的步骤，包括：
根据所述对话情绪数据、所述图像情绪数据、所述语音特征时间信息和所述图像特征时间信息对所述语音变化数据进行验证，得到用户的情绪识别结果。
可选地，所述对所述对话语音数据和所述语音特征数据进行识别，得到对话情绪数据的步骤，包括：
根据所述对话语音数据和所述语音特征数据，得到对话文本数据；
采用通用情绪识别模型对所述对话文本数据进行识别得到通用识别结果；
采用对话情绪识别模型对所述对话文件数据进行识别得到对话识别结果；
根据所述通用识别模型结果和所述对话识别结果，得到对话情绪数据。
可选地，所述将语音特征数据与情绪模型库中的语音标准情绪模型进行匹配，获得语音变化数据的步骤，包括：
识别所述语音特征数据中包含的关键词信息和语调信息；
根据所述关键词信息和所述语调信息生成语音情绪模型，并将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配生成语音变化数据。
可选地，所述根据所述关键词信息和所述语调信息生成语音情绪模型，并将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配生成语音变化数据的步骤，包括：
根据所述关键词信息和所述语调信息确定语音特征点；
根据所述语音特征点生成语音情绪模型，并在所述语音情绪模型中标定所述语音特征点；
将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配，以调整所述语音情绪模型上已标定的所述语音特征点，并记录所述语音特征点的语音特征变化数据；
将所述语音特征变化数据与情绪模型库中的语调特征数据和心理行为特征数据进行匹配，并根据匹配结果生成语音变化数据。
可选地，所述将人脸特征数据与情绪模型库中的人脸标准情绪模型进行匹配，获得人脸情绪变化数据的步骤，包括：
识别所述人脸特征数据中包含的人脸图像信息；
根据所述人脸图像信息生成人脸情绪模型，并将所述人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配生成人脸情绪变化数据。
可选地，所述根据人脸图像信息生成人脸情绪模型，并将人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配生成人脸情绪变化数据的步骤，包括：
根据所述人脸图像信息确定人脸情绪特征点；其中，所述人脸情绪特征点为所述人脸图像信息中标识用户情绪的人脸图像；
根据所述人脸情绪特征点生成人脸情绪模型，并在所述人脸情绪模型上标定人脸情绪特征点；
将人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配，以调整所述人脸情绪模型上已标定的所述人脸情绪特征点，并记录所述人脸情绪特征点的人脸特征变化数据；
将所述人脸特征变化数据与情绪模型库中的表情特征数据和所述心理行为特征数据进行匹配，并根据匹配结果生成人脸情绪变化数据。
可选地，所述接收终端发送的原始识别数据的步骤之后，包括：
将接收到的所述原始识别数据进行去噪处理。
此外，为实现上述目的，本发明还提供一种情绪识别系统，所述系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的情绪识别程序，所述情绪识别程序被所述处理器执行时实现如上所述的情绪识别方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有情绪识别程序，所述情绪识别程序被处理器执行时实现如上所述的情绪识别方法的步骤。
本发明一种情绪识别方法、系统及计算机可读存储介质，接收终端发送的原始识别数据；对所述原始识别数据进行识别，得到语音特征数据和人脸特征数据；其中语音特征数据包括：语音特征时间信息，人脸特征数据包括：人脸特征时间信息；将所述语音特征数据与情绪模型库中的语音标准情绪模型进行匹配，获得语音变化数据；将所述人脸特征数据与情绪模型库中的人脸标准情绪模型进行匹配，获得人脸情绪变化数据；根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到情绪识别结果。通过上述方式，本发明能够实现识别用户情绪的变化，提高用户情绪识别的准确率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明情绪识别方法第一实施例的流程示意图；
图3为本发明情绪识别方法第二实施例的流程示意图；
图4为本发明情绪识别方法第三实施例的流程示意图；
图5为本发明情绪识别方法第四实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：接收终端发送的原始识别数据；对所述原始识别数据进行识别，得到语音特征数据和人脸特征数据；其中语音特征数据包括：语音特征时间信息，人脸特征数据包括：人脸特征时间信息；将所述语音特征数据与情绪模型库中的语音标准情绪模型进行匹配，获得语音变化数据；将所述人脸特征数据与情绪模型库中的人脸标准情绪模型进行匹配，获得人脸情绪变化数据；根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到情绪识别结果。
现有的情绪识别最常见的通过情感计算机技术，通过赋予计算机系统识别，理解，表达和适应人的情感能力，来建立和谐人机环境，以帮助用户客观地分析情绪，管理情绪。常用的分析用户情绪的方法有通过语音识别技术分析用户情绪。利用语音识别技术仅是通过识别语音中包括的敏感词来分析用户情绪，准确度低，很难达到通过客观准确的分析用户的情绪变化，帮助用户管理情绪的目的。
本发明旨在解决用户情绪变化无法准确识别的技术问题。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是PC，也可以是智能手机、平板电脑等具有显示功能的可移动式终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
优选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及情绪识别程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的情绪识别程序，并执行以下操作：
接收终端发送的原始识别数据；
对所述原始识别数据进行识别，得到语音特征数据和人脸特征数据；其中语音特征数据包括：语音特征时间信息，人脸特征数据包括：人脸特征时间信息；
将所述语音特征数据与情绪模型库中的语音标准情绪模型进行匹配，获得语音变化数据；
将所述人脸特征数据与情绪模型库中的人脸标准情绪模型进行匹配，获得人脸情绪变化数据；
根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到情绪识别结果。
进一步地，处理器1001可以调用存储器1005中存储的情绪识别程序，还执行以下操作：
对所述原始识别数据进行识别，得到对话语音数据；其中，所述对话语音数据包括：对话语音时间信息；
对所述对话语音数据和所述语音特征数据进行识别，得到对话情绪数据；
所述根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到用户的情绪识别结果的步骤，包括：
根据所述对话情绪数据、所述图像情绪数据、所述语音特征时间信息和所述图像特征时间信息对所述语音变化数据进行验证，得到用户的情绪识别结果。
进一步地，处理器1001可以调用存储器1005中存储的情绪识别程序，还执行以下操作：
根据所述对话语音数据和所述语音特征数据，得到对话文本数据；
采用通用情绪识别模型对所述对话文本数据进行识别得到通用识别结果；
采用对话情绪识别模型对所述对话文件数据进行识别得到对话识别结果；
根据所述通用识别模型结果和所述对话识别结果，得到对话情绪数据。
进一步地，处理器1001可以调用存储器1005中存储的情绪识别程序，还执行以下操作：
识别所述语音特征数据中包含的关键词信息和语调信息；
根据所述关键词信息和所述语调信息生成语音情绪模型，并将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配生成语音变化数据。
进一步地，处理器1001可以调用存储器1005中存储的情绪识别程序，还执行以下操作：
根据所述关键词信息和所述语调信息确定语音特征点；
根据所述语音特征点生成语音情绪模型，并在所述语音情绪模型中标定所述语音特征点；
将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配，以调整所述语音情绪模型上已标定的所述语音特征点，并记录所述语音特征点的语音特征变化数据；
将所述语音特征变化数据与情绪模型库中的语调特征数据和心理行为特征数据进行匹配，并根据匹配结果生成语音变化数据。
进一步地，处理器1001可以调用存储器1005中存储的情绪识别程序，还执行以下操作：
识别所述人脸特征数据中包含的人脸图像信息；
根据所述人脸图像信息生成人脸情绪模型，并将所述人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配生成人脸情绪变化数据。
进一步地，处理器1001可以调用存储器1005中存储的情绪识别程序，还执行以下操作：
根据所述人脸图像信息确定人脸情绪特征点；
根据所述人脸情绪特征点生成人脸情绪模型，并在所述人脸情绪模型上标定人脸情绪特征点；
将人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配，以调整所述人脸情绪模型上已标定的所述人脸情绪特征点，并记录所述人脸情绪特征点的人脸特征变化数据；
将所述人脸特征变化数据与情绪模型库中的表情特征数据和所述心理行为特征数据进行匹配，并根据匹配结果生成人脸情绪变化数据。
进一步地，处理器1001可以调用存储器1005中存储的情绪识别程序，还执行以下操作：
将接收到的所述原始识别数据进行去噪处理。
基于上述硬件结构，提出本发明情绪识别方法实施例。
本发明情绪识别方法。
参照图2，图2为本发明情绪识别方法第一实施例的流程示意图。
本发明实施例中，该情绪识别方法应用于情绪识别系统，所述方法包括：
步骤S10，接收终端发送的原始识别数据；
在本实施例中，当用户或者用户家属需要了解用户的情绪变化和用户的情绪状态，用户或者用户的家属可以通过终端发送用于识别用户情绪的原始识别数据，情绪识别系统接收用户通过终端发送的原始识别数据；其中，终端，可以是移动终端、也可以是固定终端、也可以是情绪识别机构用户识别用户情绪的设备。其中，原始识别数据包括：用户的语音原始数据、人脸识别的视频原始数据和用户其它人对话的对话原始数据。
步骤S10接收终端发送的原始识别数据之后，包括：
步骤a，将接收到的所述原始识别数据进行去噪处理。
在本实施例中，情绪识别系统计算原始识别数据的优化参数，该优化参数包括：指向性参数和增益参数。
步骤S20，对所述原始识别数据进行识别，得到语音特征数据和人脸特征数据；其中语音特征数据包括：语音特征时间信息，人脸特征数据包括：人脸特征时间信息；
在本实施例中，当情绪识别系统接收到终端发送的原始识别数据之后，情绪识别系统对原始识别数据进行识别，得到语音特征数据和人脸特征数据。
步骤S30，将所述语音特征数据与情绪模型库中的语音标准情绪模型进行匹配，获得语音变化数据；
情绪识别系统从语音特征数据中提取关键词信息和语调信息，其中，所述语调信息包括语音数据的音量、语速、音调以及各自的变化趋势中的至少一种；情绪识别系统根据关键词信息和语调信息生成语音情绪模型，并将语音情绪模型与情绪模型库中语音标准情绪模型进行匹配生成语音变化数据。
步骤S40，将所述人脸特征数据与情绪模型库中的人脸标准情绪模型进行匹配，获得人脸情绪变化数据；
情绪识别系统从人脸特征数据中提取人脸图像信息；其中，所述人脸图像信息可以用于表现用户表情的图像信息，例如，表示用户快乐的图像，表示用户悲伤的图像，表示用户愤怒的图像；可利用分词词库去除人脸图像信息中的无用户面部表情的图像或者由于用户快速转动或者移动用户面部表情不清晰的人脸图像；情绪识别系统根据人脸图像信息生成人脸情绪模型，并将人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配生成人脸情绪变化数据。
步骤S50，根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到情绪识别结果。
在本实施例中，根据语音特征时间信息和人脸特征时间信息，将人脸情绪变化数据和语音变化数据按照同一个时间点分别进行比对，如果一个时间点的人脸情绪变化数据与语音变化数据不同，则删除该时间点的语音变化数据；如果一个时间点的人脸情绪变化数据与语音变化数据相同，则保留该时间点的语音变化数据；在将语音特征时间信息和人脸特征时间信息全部一一比对完成之后，将删除后的语音变化数据保留并查找语音变化数据中每个语音特征时间信息下的情绪类别，并将语音特征时间信息下情绪类别变化的数据生成情绪识别结果。
本实施例通过上述方案，接收终端发送的原始识别数据；对所述原始识别数据进行识别，得到语音特征数据和人脸特征数据；其中语音特征数据包括：语音特征时间信息，人脸特征数据包括：人脸特征时间信息；将所述语音特征数据与情绪模型库中的语音标准情绪模型进行匹配，获得语音变化数据；将所述人脸特征数据与情绪模型库中的人脸标准情绪模型进行匹配，获得人脸情绪变化数据；根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到情绪识别结果。由此，实现了准确识别用户情绪的变化，提高了用户情绪识别的准确率。
进一步地，参照图3，图3为本发明方法情绪识别第二实施例的流程示意图。基于上述图2所示的实施例，步骤S50根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到情绪识别结果或步骤S40根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到情绪识别结果将所述人脸特征数据与情绪模型库中的人脸标准情绪模型进行匹配，获得人脸情绪变化数据或步骤S30将所述语音特征数据与情绪模型库中的语音标准情绪模型进行匹配，获得语音变化数据之前，可以包括：
步骤S60，对所述原始识别数据进行识别，得到对话语音数据；其中，所述对话语音数据包括：对话语音时间信息；
在本实施例中，为了更好的识别用户情绪，加强用户情绪识别的准确率；情绪识别系统对原始识别数据进行识别，得到与用户进行对话的对话语音数据；其中，对话语音数据是与用户进行对话人的语音数据。
步骤S70，对所述对话语音数据和所述语音特征数据进行识别，得到对话情绪数据；
在本实施例中，情绪识别系统在得到对话语音数据之后，将对话语音数据和语音特征数据进行识别，得到对话情绪数据。
步骤S70对所述对话语音数据和所述语音特征数据进行识别，得到对话情绪数据，可以包括：
步骤b，根据所述对话语音数据和所述语音特征数据，得到对话文本数据；
在本实施例中，情绪识别系统根据对话人的对话语音数据和用户说话的语音特征数据，得到用户和对话人进行对话的对话文本数据。
步骤c，采用通用情绪识别模型对所述对话文本数据进行识别得到通用识别结果；
在本实施例中，在将对话文本数据输入至通用情绪识别模型之后，通过通用情绪识别模型可以输出对话文本数据的通用识别结果。其中，通用识别结果中可能存在目标文本的通用情绪状态，也可能没有通用情绪状态。通用情绪识别模型可以在任何场景下对包含有强烈情感的情绪关键词的对话文本数据进行识别，并识别出该对话文本数据的情绪状态。如果对话文本数据中包括强烈情感的情绪关键词，通过通用场景的通用情绪识别模型对对话文本数据中的强烈情感的情绪关键词进行识别，从而得到对话文本数据的通用情绪状态类型。其中，通用情绪状态的类型可以包括正向强烈情绪和负向强烈情绪。
对话文本数据中可以包括强烈情感的情绪关键词和对场景敏感的情绪关键词等多种类型的情绪关键词。不同的场景中对情绪关键词的容忍度也不相同。强烈情感的情绪关键词可以理解为在任何场景下均需要被识别出来，不会因为场景的不同而会导致对话文本数据中的情绪状态发生变化的情绪关键词。例如，一种是具有强烈正向情感的情绪关键词的对话文本，比如：“你们这个真的是做的太棒了！”、“非常感谢，我特别喜欢这种功能！”、“哇，真厉害！”等类似的对话文本，上述对话文本中包含有强烈正向情感的情绪关键词；另一种是具有强烈负向情感的情绪关键词的对话文本，比如：“你们这个作品太垃圾了！”、“你今天看上去很痛苦！”、“你太可恶了！”等类似的对话文本，上述对话文本中包含有强烈负向情感的情绪关键词。对于强烈情感的情绪关键词而言，在任何场景下，都是不会有歧义的，不会对识别对话文本数据的情绪状态产生影响，并且由于上述情绪关键词为强烈情感的情绪关键词，各个场景下对强烈情感的情绪关键词容忍度均超过对应场景的容忍度阈值，因此必须被识别出来。
步骤d，采用对话情绪识别模型对所述对话文件数据进行识别得到对话识别结果；
在本实施例中，对于包含对场景敏感的情绪关键词的对话文本数据而言，由于对话文本数据在不同的场景下可能会被识别为不同的情绪状态或者被识别为没有情绪状态，如果单独采用通用情绪识别模型可能无法正确识别该包含对场景敏感的情绪关键词的对话文本数据的真实情绪状态。为此，可以针对性的为每一个场景构建预先训练的目标场景的对话情绪识别模型，在采用预先训练的通用场景的通用情绪识别模型对对话文本数据进行识别时，还可以采用预先训练的目标场景的对话情绪识别模型对对话文本数据进行识别，并得到对话识别结果。其中，对话识别结果中可能存在对话文本数据的目标场景情绪状态，也可能不存在目标场景情绪状态。如果对话识别结果中存在对话文本数据的目标场景情绪状态，相应的可以确定对话识别结果中的对话文本数据的目标情绪状态的类型。其中，目标情绪状态的类型可以包括对场景敏感的正向情绪和对场景敏感的负向情绪。
步骤e，根据所述通用识别模型结果和所述对话识别结果，得到对话情绪数据。
在本实施例中，在采用预先训练的通用场景的通用情绪识别模型对对话文本数据进行识别时，还需要采用预先训练的目标场景的对话情绪识别模型对对话文本数据进行识别。通用识别结果中可能存在目标文本的通用情绪状态，也可能没有通用情绪状态。对话识别结果中可能存在目标文本的目标场景情绪状态，也可能不存在目标场景情绪状态。若通用识别结果中不存在情绪状态，表明通过通用情绪识别模型没有识别得到目标文本的通用情绪状态，可以将对话识别结果作为对话文本数据的情绪状态。具体的，在通用识别结果中不存在情绪状态的情况下，当采用预先训练的目标场景的对话情绪识别模型可以识别得到对话文本数据的情绪状态时，可以将对话情绪识别模型对对话文本数据的识别得到的目标情绪状态作为对话文本数据的情绪状态；当采用预先训练的目标场景的对话情绪识别模型无法识别得到对话文本数据的情绪状态时，则需要在对应的场景下重新训练对话情绪识别模型或者更新对话情绪识别模型。
步骤S50根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到用户的情绪识别结果，可以包括：
步骤S51，根据所述对话情绪数据、所述图像情绪数据、所述语音特征时间信息和所述图像特征时间信息对所述语音变化数据进行验证，得到用户的情绪识别结果。
在本实施例中，根据语音特征时间信息和人脸特征时间信息，将人脸情绪变化数据、对话情绪数据和语音变化数据按照同一个时间点分别进行比对，如果一个时间点的人脸情绪变化数据和对话情绪数据与语音变化数据不同，则删除该时间点的语音变化数据；如果一个时间点的人脸情绪变化数据和对话情绪数据与语音变化数据相同，则保留该时间点的语音变化数据；在将语音特征时间信息和人脸特征时间信息全部一一比对完成之后，将删除后的语音变化数据保留并查找语音变化数据中每个语音特征时间信息下的情绪类别，并将语音特征时间信息下情绪类别变化的数据生成情绪识别结果。
本实施例通过上述方案，接收终端发送的原始识别数据；对所述原始识别数据进行识别，得到语音特征数据和人脸特征数据；其中语音特征数据包括：语音特征时间信息，人脸特征数据包括：人脸特征时间信息；将所述语音特征数据与情绪模型库中的语音标准情绪模型进行匹配，获得语音变化数据；将所述人脸特征数据与情绪模型库中的人脸标准情绪模型进行匹配，获得人脸情绪变化数据；对所述原始识别数据进行识别，得到对话语音数据；其中，所述对话语音数据包括：对话语音时间信息；对所述对话语音数据和所述语音特征数据进行识别，得到对话情绪数据；根据所述对话情绪数据、所述图像情绪数据、所述语音特征时间信息和所述图像特征时间信息对所述语音变化数据进行验证，得到用户的情绪识别结果。由此，实现了准确识别用户情绪的变化，提高了用户情绪识别的准确率。
进一步地，参照图4，图4为本发明方法情绪识别第三实施例的流程示意图。基于上述图2或图3所示的实施例，步骤S30将所述语音特征数据与情绪模型库中的语音标准情绪模型进行匹配，获得语音变化数据，可以包括：
步骤S31，识别所述语音特征数据中包含的关键词信息和语调信息；
在本实施例中，情绪识别系统从语音特征数据中提取关键词信息和语调信息，其中，所述语调信息包括语音数据的音量、语速、音调以及各自的变化趋势中的至少一种。示例性的，可利用分词词库去除语义内容中的无意义的词，同时提取能表明用户情绪的关键词信息；对于识别的语调，筛选其中满足预设条件的作为语调信息，示例性的，将音量超过最大预设阈值和低于最小预设阈值的筛选出来作为一种目标语调，或将语速超过某一预设阈值的也作为语调信息。
步骤S32，根据所述关键词信息和所述语调信息生成语音情绪模型，并将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配生成语音变化数据。
在本实施例中，情绪识别系统根据关键词信息和语调信息生成语音情绪模型，并将语音情绪模型与情绪模型库中语音标准情绪模型进行匹配生成语音变化数据。
步骤S32根据所述关键词信息和所述语调信息生成语音情绪模型，并将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配生成语音变化数据，可以包括：
步骤f，根据所述关键词信息和所述语调信息确定语音特征点；
对识别到的关键词信息和语调信息进一步分析和筛选，确定其中能够明显表明用户情绪的关键词和语调作为语音特征点，其中，语音特征点包括关键词特征点和语调特征点。示例性的，可通过提前建立的情绪敏感词词库对关键词信息进行筛选，并将筛选出的关键词信息确定为关键词特征点，其中，情绪敏感词词库包括用户各种不同情绪下常说的词汇。由于语调信息通常是以波形图的形式展示的，因此可将变化趋势比较明显的点作为语调特征点，例如语速突然加快的点。
步骤g，根据所述语音特征点生成语音情绪模型，并在所述语音情绪模型中标定所述语音特征点；
根据确定的语音特征点生成语音情绪模型，以便根据语音情绪模型分析用户情绪。在语音情绪模型上标定语音特征点，其中，语音特征点可以是中确定的语音特征点中的特征更突出的一部分，由此实现了对用户情绪特征的进一步筛选，使得用户的情绪特征更加明显。
步骤h，将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配，以调整所述语音情绪模型上已标定的所述语音特征点，并记录所述语音特征点的语音特征变化数据；
在本实施例中，情绪识别系统将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配，以调整语音情绪模型上已标定的语音特征点进行微调，并记录语音特征点的语音特征变化数据。
步骤i，将所述语音特征变化数据与情绪模型库中的语调特征数据和心理行为特征数据进行匹配，并根据匹配结果生成语音变化数据。
在本实施例中，根据语音特征点的语音特征变化数据与情绪模型库中的语调特征数据和心理行为特征数据的匹配结果，输出用户情绪或情绪变化数据。
本实施例通过上述方案，接收终端发送的原始识别数据；对所述原始识别数据进行识别，得到语音特征数据和人脸特征数据；其中语音特征数据包括：语音特征时间信息，人脸特征数据包括：人脸特征时间信息；识别所述语音特征数据中包含的关键词信息和语调信息；根据所述关键词信息和所述语调信息生成语音情绪模型，并将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配生成语音变化数据；将所述人脸特征数据与情绪模型库中的人脸标准情绪模型进行匹配，获得人脸情绪变化数据；根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到情绪识别结果。由此，实现了准确识别用户情绪的变化，提高了用户情绪识别的准确率。
进一步地，参照图5，图5为本发明方法情绪识别第四实施例的流程示意图。基于上述图2或图3所示的实施例，步骤S40将人脸特征数据与情绪模型库中的人脸标准情绪模型进行匹配，获得人脸情绪变化数据，可以包括：
步骤S41，识别所述人脸特征数据中包含的人脸图像信息；
在本实施例中，情绪识别系统从人脸特征数据中提取人脸图像信息；其中，所述人脸图像信息可以用于表现用户表情的图像信息，例如，表示用户快乐的图像，表示用户悲伤的图像，表示用户愤怒的图像；可利用分词词库去除人脸图像信息中的无用户面部表情的图像或者由于用户快速转动或者移动用户面部表情不清晰的人脸图像。
步骤S42，根据所述人脸图像信息生成人脸情绪模型，并将所述人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配生成人脸情绪变化数据。
在本实施例中，情绪识别系统根据人脸图像信息生成人脸情绪模型，并将人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配生成人脸情绪变化数据。
步骤S42根据人脸图像信息生成人脸情绪模型，并将人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配生成人脸情绪变化数据，可以包括：
步骤j，根据所述人脸图像信息确定人脸情绪特征点；
对识别到的人脸图像信息进一步分析和筛选，确定其中能够明显表明用户表情的用户人脸图像，其中，语音特征点包括人脸情绪特征点。
步骤k，根据所述人脸情绪特征点生成人脸情绪模型，并在所述人脸情绪模型上标定人脸情绪特征点；
根据确定的人脸情绪特征点生成人脸情绪模型，以便根据人脸情绪模型分析用户情绪。在人脸情绪模型上标定人脸情绪特征点，其中，人脸情绪特征点可以是中确定的人脸情绪特征点中的特征更突出的一部分，由此实现了对用户情绪特征的进一步筛选，使得用户的情绪特征更加明显。
步骤l，将人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配，以调整所述人脸情绪模型上已标定的所述人脸情绪特征点，并记录所述人脸情绪特征点的人脸特征变化数据；
在本实施例中，情绪识别系统将将人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配，以调整人脸情绪模型上已标定的人脸情绪特征点，并记录人脸情绪特征点的人脸特征变化数据。
步骤m，将所述人脸特征变化数据与情绪模型库中的表情特征数据和所述心理行为特征数据进行匹配，并根据匹配结果生成人脸情绪变化数据。
在本实施例中，根据人脸特征点的人脸特征变化数据与情绪模型库中的表情特征数据和心理行为特征数据的匹配结果，输出用户人脸情绪或人脸情绪变化数据。
本实施例通过上述方案，接收终端发送的原始识别数据；对所述原始识别数据进行识别，得到语音特征数据和人脸特征数据；其中语音特征数据包括：语音特征时间信息，人脸特征数据包括：人脸特征时间信息；将所述语音特征数据与情绪模型库中的语音标准情绪模型进行匹配，获得语音变化数据；识别所述人脸特征数据中包含的人脸图像信息；根据所述人脸图像信息生成人脸情绪模型，并将所述人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配生成人脸情绪变化数据；根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到情绪识别结果。由此，实现了准确识别用户情绪的变化，提高了用户情绪识别的准确率。
本发明还提供一种情绪识别系统。
本发明情绪识别系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的情绪识别程序，所述情绪识别程序被所述处理器执行时实现如上所述的情绪识别方法的步骤。
其中，在所述处理器上运行的情绪识别程序被执行时所实现的方法可参照本发明情绪识别方法各个实施例，此处不再赘述。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有情绪识别程序，所述情绪识别程序被处理器执行时实现如上所述的情绪识别方法的步骤。
其中，在所述处理器上运行的情绪识别程序被执行时所实现的方法可参照本发明情绪识别方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种情绪识别方法，其特征在于，所述情绪识别方法应用于情绪识别系统，所述方法包括如下步骤：
接收终端发送的原始识别数据；
对所述原始识别数据进行识别，得到语音特征数据和人脸特征数据，其中语音特征数据包括：语音特征时间信息，人脸特征数据包括：人脸特征时间信息；
将所述语音特征数据与情绪模型库中的语音标准情绪模型进行匹配，获得语音变化数据；
将所述人脸特征数据与情绪模型库中的人脸标准情绪模型进行匹配，获得人脸情绪变化数据；
根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到情绪识别结果。
2.如权利要求1所述的情绪识别方法，其特征在于，所述根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到情绪识别结果的步骤之前，包括：
对所述原始识别数据进行识别，得到对话语音数据，其中，所述对话语音数据包括：对话语音时间信息；
对所述对话语音数据和所述语音特征数据进行识别，得到对话情绪数据；
所述根据所述人脸情绪变化数据、所述语音特征时间信息和所述人脸特征时间信息对所述语音变化数据进行验证，得到用户的情绪识别结果的步骤，包括：
根据所述对话情绪数据、所述图像情绪数据、所述语音特征时间信息和所述图像特征时间信息对所述语音变化数据进行验证，得到用户的情绪识别结果。
3.如权利要求2所述的情绪识别方法，其特征在于，所述对所述对话语音数据和所述语音特征数据进行识别，得到对话情绪数据的步骤，包括：
根据所述对话语音数据和所述语音特征数据，得到对话文本数据；
采用通用情绪识别模型对所述对话文本数据进行识别得到通用识别结果；
采用对话情绪识别模型对所述对话文件数据进行识别得到对话识别结果；
根据所述通用识别模型结果和所述对话识别结果，得到对话情绪数据。
4.如权利要求1至3中任一项所述的情绪识别方法，其特征在于，所述将语音特征数据与情绪模型库中的语音标准情绪模型进行匹配，获得语音变化数据的步骤，包括：
识别所述语音特征数据中包含的关键词信息和语调信息；
根据所述关键词信息和所述语调信息生成语音情绪模型，并将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配生成语音变化数据。
5.如权利要求4所述的情绪识别方法，其特征在于，所述根据所述关键词信息和所述语调信息生成语音情绪模型，并将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配生成语音变化数据的步骤，包括：
根据所述关键词信息和所述语调信息确定语音特征点；
根据所述语音特征点生成语音情绪模型，并在所述语音情绪模型中标定所述语音特征点；
将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配，以调整所述语音情绪模型上已标定的所述语音特征点，并记录所述语音特征点的语音特征变化数据；
将所述语音特征变化数据与情绪模型库中的语调特征数据和心理行为特征数据进行匹配，并根据匹配结果生成语音变化数据。
6.如权利要求5所述的情绪识别方法，其特征在于，所述将人脸特征数据与情绪模型库中的人脸标准情绪模型进行匹配，获得人脸情绪变化数据的步骤，包括：
识别所述人脸特征数据中包含的人脸图像信息；
根据所述人脸图像信息生成人脸情绪模型，并将所述人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配生成人脸情绪变化数据。
7.如权利要求6所述的情绪识别方法，其特征在于，所述根据人脸图像信息生成人脸情绪模型，并将人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配生成人脸情绪变化数据的步骤，包括：
根据所述人脸图像信息确定人脸情绪特征点；
根据所述人脸情绪特征点生成人脸情绪模型，并在所述人脸情绪模型上标定人脸情绪特征点；
将人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配，以调整所述人脸情绪模型上已标定的所述人脸情绪特征点，并记录所述人脸情绪特征点的人脸特征变化数据；
将所述人脸特征变化数据与情绪模型库中的表情特征数据和所述心理行为特征数据进行匹配，并根据匹配结果生成人脸情绪变化数据。
8.如权利要求1至3中任一项所述的情绪识别方法，其特征在于，所述接收终端发送的原始识别数据的步骤之后，包括：
将接收到的所述原始识别数据进行去噪处理。
9.一种情绪识别系统，其特征在于，所述系统包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的情绪识别程序，所述情绪识别程序被所述处理器执行时实现如权利要求1至8中任一项所述的情绪识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有情绪识别程序，所述情绪识别程序被处理器执行时实现如权利要求1至8中任一项所述的情绪识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911099208.2A CN110826637A (zh) | 2019-11-11 | 2019-11-11 | 情绪识别方法、系统及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911099208.2A CN110826637A (zh) | 2019-11-11 | 2019-11-11 | 情绪识别方法、系统及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110826637A true CN110826637A (zh) | 2020-02-21 |
Family
ID=69554301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911099208.2A Pending CN110826637A (zh) | 2019-11-11 | 2019-11-11 | 情绪识别方法、系统及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110826637A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112190264A (zh) * | 2020-10-09 | 2021-01-08 | 安徽美心信息科技有限公司 | 一种智能心理身心反馈分析系统 |
| CN112215700A (zh) * | 2020-10-13 | 2021-01-12 | 中国银行股份有限公司 | 信贷面审的审核方法及装置 |
| CN114492421A (zh) * | 2020-11-12 | 2022-05-13 | Tcl科技集团股份有限公司 | 一种情绪识别方法、存储介质、装置及终端设备 |
| CN117370768A (zh) * | 2023-12-08 | 2024-01-09 | 北京回龙观医院(北京心理危机研究与干预中心) | 一种精神患者的情绪波动检测方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976809A (zh) * | 2016-05-25 | 2016-09-28 | 中国地质大学（武汉） | 基于语音和面部表情的双模态情感融合的识别方法及系统 |
| CN107463874A (zh) * | 2017-07-03 | 2017-12-12 | 华南师范大学 | 情绪识别方法及系统、及应用该方法的智能看护系统 |
| US20180165863A1 (en) * | 2016-12-06 | 2018-06-14 | Colopl, Inc. | Information processing method, device, and program for executing the information processing method on a computer |
| CN108805088A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的生理信号分析子系统 |
| CN108899050A (zh) * | 2018-06-14 | 2018-11-27 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的语音信号分析子系统 |
| CN110399837A (zh) * | 2019-07-25 | 2019-11-01 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
-
2019
- 2019-11-11 CN CN201911099208.2A patent/CN110826637A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976809A (zh) * | 2016-05-25 | 2016-09-28 | 中国地质大学（武汉） | 基于语音和面部表情的双模态情感融合的识别方法及系统 |
| US20180165863A1 (en) * | 2016-12-06 | 2018-06-14 | Colopl, Inc. | Information processing method, device, and program for executing the information processing method on a computer |
| CN107463874A (zh) * | 2017-07-03 | 2017-12-12 | 华南师范大学 | 情绪识别方法及系统、及应用该方法的智能看护系统 |
| CN108805088A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的生理信号分析子系统 |
| CN108899050A (zh) * | 2018-06-14 | 2018-11-27 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的语音信号分析子系统 |
| CN110399837A (zh) * | 2019-07-25 | 2019-11-01 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112190264A (zh) * | 2020-10-09 | 2021-01-08 | 安徽美心信息科技有限公司 | 一种智能心理身心反馈分析系统 |
| CN112215700A (zh) * | 2020-10-13 | 2021-01-12 | 中国银行股份有限公司 | 信贷面审的审核方法及装置 |
| CN114492421A (zh) * | 2020-11-12 | 2022-05-13 | Tcl科技集团股份有限公司 | 一种情绪识别方法、存储介质、装置及终端设备 |
| CN114492421B (zh) * | 2020-11-12 | 2023-05-12 | Tcl科技集团股份有限公司 | 一种情绪识别方法、存储介质、装置及终端设备 |
| CN117370768A (zh) * | 2023-12-08 | 2024-01-09 | 北京回龙观医院(北京心理危机研究与干预中心) | 一种精神患者的情绪波动检测方法及系统 |
| CN117370768B (zh) * | 2023-12-08 | 2024-03-05 | 北京回龙观医院(北京心理危机研究与干预中心) | 一种精神患者的情绪波动检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10186266B1 (en) | Message playback using a shared device | |
| US10438586B2 (en) | Voice dialog device and voice dialog method | |
| CN110826637A (zh) | 情绪识别方法、系统及计算机可读存储介质 | |
| CN110869904A (zh) | 用于提供未播放内容的系统和方法 | |
| CN109254669B (zh) | 一种表情图片输入方法、装置、电子设备及系统 | |
| CN111045639B (zh) | 语音输入方法、装置、电子设备及存储介质 | |
| CN110910903B (zh) | 语音情绪识别方法、装置、设备及计算机可读存储介质 | |
| CN109461437B (zh) | 唇语识别的验证内容生成方法及相关装置 | |
| CN108630231B (zh) | 信息处理装置、感情识别方法以及存储介质 | |
| US11281707B2 (en) | System, summarization apparatus, summarization system, and method of controlling summarization apparatus, for acquiring summary information | |
| CN111967224A (zh) | 对话文本的处理方法、装置、电子设备及存储介质 | |
| US10157614B1 (en) | Message playback using a shared device | |
| CN107945806B (zh) | 基于声音特征的用户识别方法及装置 | |
| CN110827825A (zh) | 语音识别文本的标点预测方法、系统、终端及存储介质 | |
| CN112530408A (zh) | 用于识别语音的方法、装置、电子设备和介质 | |
| CN110827803A (zh) | 方言发音词典的构建方法、装置、设备及可读存储介质 | |
| CN110875036A (zh) | 语音分类方法、装置、设备及计算机可读存储介质 | |
| US10866948B2 (en) | Address book management apparatus using speech recognition, vehicle, system and method thereof | |
| US20210110824A1 (en) | Electronic apparatus and controlling method thereof | |
| CN110767229B (zh) | 基于声纹的音频输出方法、装置、设备及可读存储介质 | |
| CN110908631A (zh) | 情感交互方法、装置、设备及计算机可读存储介质 | |
| US20210166685A1 (en) | Speech processing apparatus and speech processing method | |
| KR20210037857A (ko) | 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템 | |
| CN115019788A (zh) | 语音交互方法、系统、终端设备及存储介质 | |
| KR102479026B1 (ko) | MPEG IoMT 환경에서의 질의응답 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200221 |