CN114974310A - 基于人工智能的情感识别方法、装置、计算机设备及介质 - Google Patents

基于人工智能的情感识别方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN114974310A
CN114974310A CN202210602736.0A CN202210602736A CN114974310A CN 114974310 A CN114974310 A CN 114974310A CN 202210602736 A CN202210602736 A CN 202210602736A CN 114974310 A CN114974310 A CN 114974310A
Authority
CN
China
Prior art keywords
feature vector
emotion
voice
text data
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210602736.0A
Other languages
English (en)
Inventor
张之勇
王健宗
程宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210602736.0A priority Critical patent/CN114974310A/zh
Publication of CN114974310A publication Critical patent/CN114974310A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Machine Translation (AREA)

Abstract

本申请适用于人工智能技术领域，尤其涉及一种基于人工智能的情感识别方法、装置、计算机设备及介质。该方法将获取的语音数据转译为文本数据，计算文本数据的置信度，获取语音数据的声学特征向量，提取文本数据的语言学特征向量，用置信度将声学特征向量与语言学特征向量进行特征融合，将特征融合结果输入训练好的情感分类网络，输出语音数据被划分为训练好的情感分类网络中每个预设情感类别的概率，确定概率满足预设条件的预设情感分类为语音数据的情感识别结果，引入识别结果置信度来将文本的语言学特征与声学特征进行融合，可以使得本方法对语音识别转译具有一定的容错能力，对于高噪声语音具有一定的鲁棒性，提高了情感识别模型的识别准确率。

Description

基于人工智能的情感识别方法、装置、计算机设备及介质
技术领域
本申请适用于人工智能技术领域，尤其涉及一种基于人工智能的情感识别方法、装置、计算机设备及介质。
背景技术
目前，语音情感识别是指对语音流进行情感确认的一项任务，基于语音情感识别可以有效提高人机交互过程中机器人智能度，从而提高客户体验。随着深度学习技术的发展，语音情感识别精度已取得很大进展，但是受限于语音情感类别边界的模糊性以及由此带来的高难度数据标注，使得语音情感标注数据量较少，且大部为特殊演员的情感表现，这与日常生活中人类情感表现具有一定的差异性，因而，单纯的语音情感分类任务是一项比较具有挑战性的任务。由于语音情感数据的稀疏性，现阶段语音情感识别主要依赖自动语音识别技术(Automatic Speech Recognition，ASR)将语音转译成文本，再联合文本和语音进行综合情感识别，但是上述过程受限于语音识别转译精度，带有ASR转译错误的文本会影响联合建模的精度，识别中对转译精度的容错能力较差，使得识别模型鲁棒性较低，最终会导致情感识别模型的识别不准确。因此，如何改进情感识别的过程，以提高情感识别模型对转译精度的容错能力和鲁棒性成为亟待解决的问题。
发明内容
有鉴于此，本申请实施例提供了一种基于人工智能的情感识别方法、装置、计算机设备及介质，以解决如何改进情感识别的过程，以提高情感识别模型对转译精度的容错能力和鲁棒性的问题。
第一方面，本申请实施例提供一种基于人工智能的情感识别方法，所述情感识别方法包括：
使用训练好的语音识别网络，将获取的语音数据转译为文本数据；
计算所述文本数据的置信度，并获取所述语音数据转译为所述文本数据过程中所述语音数据的声学特征向量；
提取所述文本数据的语言学特征向量，并使用所述置信度将所述声学特征向量与所述语言学特征向量进行特征融合，得到特征融合结果；
将所述特征融合结果输入训练好的情感分类网络，输出所述语音数据被划分为所述训练好的情感分类网络中每个预设情感类别的概率，确定概率满足预设条件的预设情感分类为所述语音数据的情感识别结果。
在一实施方式中，若所述置信度包含针对所述文本数据中每个字的置信度，则使用所述置信度将所述声学特征向量与所述语言学特征向量进行特征融合，得到特征融合结果包括：
将每个字的置信度分别点乘所述声学特征向量，并与所述语言学特征向量合并为一个数组，确定所述数组为特征融合结果。
在一实施方式中，使用训练好的语音识别网络，将获取的语音数据转译为文本数据包括：
对获取的语音数据提取Fbank特征，并根据所述Fbank特征，计算每一帧语音的声学特征向量；
将每一帧语音的声学特征向量与单词表中的字进行匹配，并将匹配得到的字序列化得到文本数据。
在一实施方式中，计算所述文本数据的置信度包括：
针对所述文本数据中任一目标字，确定所述目标字在所述声学特征向量中对应的开始帧数和结束帧数；
计算在所述开始帧数与所述结束帧数之间每个帧数对应的声学特征向量的条件下输出所述目标字的概率，确定所有概率的平均值为所述目标字的置信度。
在一实施方式中，提取所述文本数据的语言学特征向量包括：
提取所述文本数据中每个字的字特征向量和位置特征向量，得到每个字的语义特征向量；
将每个字的语义特征向量输入transformer模型，输出特征为对应所述文本数据的语言学特征向量。
在一实施方式中，所述情感分类网络包括两层的前向神经网络层和一层Softmax层，并采用交叉熵函数作为损失函数，所述语音识别网络包括transformer模型和一层的前向神经网络层，并采用CTC作为损失函数，将所述情感分类网络与所述语音识别网络进行联合训练；
所述联合训练过程为：
使用待训练的语音识别网络，将训练语音转译为训练文本，并计算得到CTC损失；
计算所述训练文本的置信度，并获取所述训练语音转译为所述训练文本过程中所述训练语音的声学特征向量；
提取所述训练文本的语言学特征向量，并使用所述置信度将所述声学特征向量与所述语言学特征向量进行特征融合，得到训练的特征融合结果；
将所述训练的特征融合结果输入待训练的情感分类网络，输出训练的情感识别结果与所述训练语音的标注结果计算交叉熵损失，采用梯度下降法反向更新所述待训练的语音识别网络的参数和所述待训练的情感分类网络的参数，迭代直至所述交叉熵损失与所述CTC损失的和收敛，得到训练好的语音识别网络的参数和训练好的情感分类网络。
第二方面，本申请实施例提供一种基于人工智能的情感识别装置，所述情感识别装置包括：
语音识别模块，用于使用训练好的语音识别网络，将获取的语音数据转译为文本数据；
置信度计算模块，用于计算所述文本数据的置信度；
向量获取模块，用于获取所述语音数据转译为所述文本数据过程中所述语音数据的声学特征向量；
特征融合模块，用于提取所述文本数据的语言学特征向量，并使用所述置信度将所述声学特征向量与所述语言学特征向量进行特征融合，得到特征融合结果；
情感识别模块，用于将所述特征融合结果输入训练好的情感分类网络，输出所述语音数据被划分为所述训练好的情感分类网络中每个预设情感类别的概率，确定概率满足预设条件的预设情感分类为所述语音数据的情感识别结果。
在一实施方式中，若所述置信度包含针对所述文本数据中每个字的置信度，则所述特征融合模块包括：
特征融合单元，用于将每个字的置信度分别点乘所述声学特征向量，并与所述语言学特征向量合并为一个数组，确定所述数组为特征融合结果。
在一实施方式中，所述语音识别模块包括：
声学向量提取单元，用于对获取的语音数据提取Fbank特征，并根据所述Fbank特征，计算每一帧语音的声学特征向量；
文字匹配单元，用于将每一帧语音的声学特征向量与单词表中的字进行匹配，并将匹配得到的字序列化得到文本数据。
在一实施方式中，所述置信度计算模块包括：
帧数确定单元，用于针对所述文本数据中任一目标字，确定所述目标字在所述声学特征向量中对应的开始帧数和结束帧数；
置信度确定单元，用于计算在所述开始帧数与所述结束帧数之间每个帧数对应的声学特征向量的条件下输出所述目标字的概率，确定所有概率的平均值为所述目标字的置信度。
在一实施方式中，所述特征融合模块包括：
语义向量确定单元，用于提取所述文本数据中每个字的字特征向量和位置特征向量，得到每个字的语义特征向量；
语言学向量输出单元，用于将每个字的语义特征向量输入transformer模型，输出特征为对应所述文本数据的语言学特征向量。
在一实施方式中，所述情感分类网络包括两层的前向神经网络层和一层Softmax层，并采用交叉熵函数作为损失函数，所述语音识别网络包括transformer模型和一层的前向神经网络层，并采用CTC作为损失函数，将所述情感分类网络与所述语音识别网络进行联合训练；
所述联合训练过程为：
使用待训练的语音识别网络，将训练语音转译为训练文本，并计算得到CTC损失；
计算所述训练文本的置信度，并获取所述训练语音转译为所述训练文本过程中所述训练语音的声学特征向量；
提取所述训练文本的语言学特征向量，并使用所述置信度将所述声学特征向量与所述语言学特征向量进行特征融合，得到训练的特征融合结果；
将所述训练的特征融合结果输入待训练的情感分类网络，输出训练的情感识别结果与所述训练语音的标注结果计算交叉熵损失，采用梯度下降法反向更新所述待训练的语音识别网络的参数和所述待训练的情感分类网络的参数，迭代直至所述交叉熵损失与所述CTC损失的和收敛，得到训练好的语音识别网络的参数和训练好的情感分类网络。
第三方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的情感识别方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的情感识别方法。
本申请实施例与现有技术相比存在的有益效果是：本申请使用训练好的语音识别网络，将获取的语音数据转译为文本数据，计算文本数据的置信度，并获取语音数据转译为文本数据过程中语音数据的声学特征向量，提取文本数据的语言学特征向量，并使用置信度将声学特征向量与语言学特征向量进行特征融合，得到特征融合结果，将特征融合结果输入训练好的情感分类网络，输出语音数据被划分为训练好的情感分类网络中每个预设情感类别的概率，确定概率满足预设条件的预设情感分类为语音数据的情感识别结果，过程中引入识别结果置信度来将文本的语言学特征与声学特征进行融合，可以使得本方法对语音识别转译具有一定的容错能力，对于高噪声语音具有一定的鲁棒性，提高了情感识别模型的识别准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种基于人工智能的情感识别方法的一应用环境示意图；
图2是本申请实施例二提供的一种基于人工智能的情感识别方法的流程示意图；
图3是本申请实施例三提供的一种基于人工智能的情感识别方法的流程示意图；
图4是本申请实施例四提供的一种基于人工智能的情感识别装置的结构示意图；
图5是本申请实施例五提供的一种计算机设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
为了说明本申请的技术方案，下面通过具体实施例来进行说明。
本申请实施例一提供的一种基于人工智能的情感识别方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、云端计算机设备、个人数字助理(personal digital assistant，PDA)等计算机设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
参见图2，是本申请实施例二提供的一种基于人工智能的情感识别方法的流程示意图，上述情感识别方法应用于图1中的服务端，服务端对应的计算机设备连接相应的数据库，以获取数据库中相应的语音数据。上述计算机设备还可以连接相应的客户端，客户端将语音数据发送给服务端，实现了服务端获取语音数据的功能。如图2所示，该基于人工智能的情感识别方法可以包括以下步骤：
步骤S201，使用训练好的语音识别网络，将获取的语音数据转译为文本数据。
本申请中，服务端与相应的客户端连接，客户端用于采集语音，并将语音发送给服务端，实现服务端采集语音的步骤。其中，客户端可以是指具备语音采集设备的设备，如语音机器人、车载终端等。在一实施方式中，服务器从相应的数据库中获取语音。
服务端在使用训练好的语音识别网络进行语音识别之前，还可以对语音进行预处理，预处理包括降噪、增强等处理，从而保证后续识别语音的准确性。
上述训练好的语音识别网络可以是基于ASR技术的构建的学习网络，也可以是采用其他语音识别技术构建的学习网络。该训练好的语音识别网络所能够实现的功能为将语音转化为文本。其中，语音转文本的过程可以包括对音色、音调、断句等识别，得到语音中每一帧语音对应的音素或者音标(即每一帧语音对应的特征向量)，再使用匹配的方式得到对应的字，从而将语音转化为文本。
可选的是，使用训练好的语音识别网络，将获取的语音数据转译为文本数据包括：
对获取的语音数据提取Fbank特征，并根据Fbank特征，计算每一帧语音的声学特征向量；
将每一帧语音的声学特征向量与单词表中的字进行匹配，并将匹配得到的字序列化得到文本数据。
其中，提取Fbank特征可以是指对语音数据进行预加重、分帧、加窗、短时傅里叶变换(Short-Time Fourier Transform，STFT)、mel滤波、去均值等处理，最终得到语音数据的特征表达。
对声学特征向量的计算可以使用N层transformer结构对Fbank特征进行特征编码和解码，再使用前向神经网络进行特征计算，得到每一帧语音的声学特征向量。
按照每一帧语音的时序，将对应的声学特征向量序列化，并与单词表中的字进行匹配，应当理解，在单词表中每个字对应一组特征向量，匹配为相似度匹配，在匹配时，按照从一帧语音匹配和连续多帧语音匹配的方式，确定多种匹配的相似度结果，确定相似度最高的字。在得到所有的匹配结果后，按照时序将所有的字序列化，序列化结果即为文本数据。
例如，语音数据包含3帧语音，按照时序划分为第一帧语音、第二帧语音和第三帧语音，在匹配时，将第一帧语音的声学特征向量分别与单词表中每组特征向量进行相似度计算，将第一帧语音和第二真语音组成的连续语音分别与单词表中每组特征向量进行相似度计算，再将第一帧语音、第二帧语音和第三帧语音组成的连续语音分被与单词表中每组特征向量进行相似度计算，得到所有的相似度，其中，以第一帧语音和第二帧语音促成的连续语音与单词表中“和”字的相似度最高，随后，将第三帧语音的声学特征向量分别与单词表中每组特征向量进行相似度计算，确定与“你”字的相似度最高，最终，上述语音数据转译为文本数据为“和你”。
步骤S202，计算文本数据的置信度，并获取语音数据转译为文本数据过程中语音数据的声学特征向量。
本申请中，在将语音数据转译为文本数据之后，需要对文本数据的置信度进行计算，计算中需要使用语音数据转译文本数据过程中相应的参量。针对文本数据中每一个字的置信度而言，构成该字的语音至少包括一帧语音，因此，该字的置信度是构成该字的每一帧语音的真实程度。在一实施方式中，文本数据的置信度还可以是两个以上的字组成的词的置信度，相应地，在后续使用时可根据需求调整融合特征的过程。
在语音数据转译为文本数据的过程中需要提取语音数据的声学特征向量，该声学特征向量本质上用于表征语音数据的声学特征，该声学特征向量可以是指按照预先设定的帧数划分方法将语音数据划分为T帧语音后的每一帧语音的特征向量。例如，假定语音数据为序列X＝[x1，x2，…，xi，…，xT]，其中，xi表示第i帧语音的特征向量。进一步地，上述预先设定的帧数划分方法需要尽可能的将语音数据的每一帧划分为最小单元，理想情况下为一帧代表一个音素或者音标。
在上述的转译过程中产生的数据，可以直接获取，或者在产生这部分数据后将这部分数据转给相应的任务进行缓存处理，在该相应的任务执行时，调用这部分数据参与任务的计算。
可选的是，计算文本数据的置信度包括：
针对文本数据中任一目标字，确定目标字在声学特征向量中对应的开始帧数和结束帧数；
计算在开始帧数与结束帧数之间每个帧数对应的声学特征向量的条件下输出目标字的概率，确定所有概率的平均值为目标字的置信度。
其中，针对任一目标字，对所有该目标字对应的时间内，声学特征向量能够输出该目标自的概率进行平均，即判断该目标字对应的帧数中每一帧语音对应的声学特征向量能够输出目标字的概率，并将所有的概率平均，平均值作为目标字的置信度。可见，如果每一帧语音对应的声学特征向量输出目标字的概率均为1，则置信度也为1，可以确定该目标字的识别很准确，反之，置信度越低，说明该目标字的识别不准确。
如果对文本数据中每个字的置信度进行计算，则计算公式如下：
Figure BDA0003670272120000111
式中，s为字yj在声学特征向量对应的开始帧数，s+d表示yj在声学特征向量对应的结束帧数，d为yj在声学特征向量对应的持续帧数，S(yj)表示字yj的置信度。
步骤S203，提取文本数据的语言学特征向量，并使用置信度将声学特征向量与语言学特征向量进行特征融合，得到特征融合结果。
本申请中，语言学特征向量可以是表征文本数据的语言学特征，即是对文本数据的分析，其中，针对文本数据的分析可以是指基于自然语言处理(Natural LanguageProcessing，NLP)等语言处理模型对文本数据中文本的语义、语法结构和语用等的分析。
语言学特征向量可以融合语义分析结果、语法分析结果、语用分析结果等构成向量表示。
本申请中，对语音的情感识别融合了声学特征和语言学特征，能够更好地表征语音的真实情感表达，针对特征的融合是以置信度为联结条件，将两种向量组合为一个组特征，此处的融合是要将声学特征和语言学特征这两个不同维度的信息转化为具备相同维度的信息。例如，用置信度对声学特征向量进行修正，也即将声学特征向量转化为一维的信息，由于语言学特征向量也为一维的，将修正后的特征向量与对应置信度的语言学特征向量组合为一组特征向量。
可选的是，若置信度包含针对文本数据中每个字的置信度，则使用置信度将声学特征向量与语言学特征向量进行特征融合，得到特征融合结果包括：
将每个字的置信度分别点乘声学特征向量，并与语言学特征向量合并为一个数组，确定数组为特征融合结果。
其中，置信度为文本数据中每个字的置信度，该置信度可以用一维的置信度矩阵表示，每一帧语音均对应一个声学特征向量，就文本数据的一个字而言，对应的声学特征向量可以为一个或者多个，将声学特征向量转化为声学矩阵表示，如果置信度矩阵为一维行矩阵，则声学矩阵的行对应文本数据中的一个字(即一个置信度)，声学矩阵的列为该行字对应的声学特征向量，列的元素个数可以随机变化，如果该行字对应的声学特征向量小于列的元素个数，则其余元素均填充0，如果置信度矩阵为一维列矩阵，则适应调整声学矩阵的结构。
置信度矩阵点乘声学矩阵即可得到点乘后的矩阵，该点乘的矩阵与语言学特征向量合并为一个数据，即为特征融合结果。
例如，置信度矩阵为S＝[S(y1)S(y2)...S(yj)...S(yN)]，其中，S(yj)表示字yj的置信度，声学矩阵为
Figure BDA0003670272120000121
其中，fj1表示字yj对应的一个声学特征向量，点乘即为S⊙feata，最终的特征融合结果即为feat＝Concat(featt,S⊙feata)，其中，featt表示语言学特征向量。
可选的是，提取文本数据的语言学特征向量包括：
提取文本数据中每个字的字特征向量和位置特征向量，得到每个字的语义特征向量；
将每个字的语义特征向量输入transformer模型，输出特征为对应文本数据的语言学特征向量。
其中，针对文本数据的语言学特征向量，分析其每个字的字特征向量和位置特征向量，将两者作为对应字的语义特征，将语义特征输入transformer模型进行编码和解码，将解码结果经过一层前向神经网络进行特征计算，即可得到文本数据的语言学特征向量。
步骤S204，将特征融合结果输入训练好的情感分类网络，输出语音数据被划分为训练好的情感分类网络中每个预设情感类别的概率，确定概率满足预设条件的预设情感分类为语音数据的情感识别结果。
本申请中，训练好的情感分类网络中设置有划分好的多个预设情感类别，特征融合结果输入训练好的情感分类网络后，输出为每个预设情感类别的概率，该概率用于表征特征融合结果与一预设情感类别的关联程度或者相似程度等，如果概率较高，则表示该特征融合结果应归类为对应的预设情感类别，如果概率较低，则表示该特征融合结果不应归类与对应的预设情感类别。
设定相应的预设条件来判断语言数据的最终情感识别结果，情感识别结果即为从所有预设情感类别中确定的情感类别，其中，预设条件可以是阈值，淡然，预设条件也可以是比较概率中的最大值，在使用中，具体条件可以根据实际需求设定。
本申请实施例使用训练好的语音识别网络，将获取的语音数据转译为文本数据，计算文本数据的置信度，并获取语音数据转译为文本数据过程中语音数据的声学特征向量，提取文本数据的语言学特征向量，并使用置信度将声学特征向量与语言学特征向量进行特征融合，得到特征融合结果，将特征融合结果输入训练好的情感分类网络，输出语音数据被划分为训练好的情感分类网络中每个预设情感类别的概率，确定概率满足预设条件的预设情感分类为语音数据的情感识别结果，过程中引入识别结果置信度来将文本的语言学特征与声学特征进行融合，可以使得本方法对语音识别转译具有一定的容错能力，对于高噪声语音具有一定的鲁棒性，提高了情感识别模型的识别准确率。
参见图3，是本申请实施例三提供的一种基于人工智能的情感识别方法的流程示意图，如图3所示，具体为情感识别方法在某一限定条件下，针对其中网络、模型等需要训练的部分的训练过程。
本申请中，限定上述情感分类网络包括两层的前向神经网络层和一层Softmax层，并采用交叉熵函数作为损失函数，上述语音识别网络包括transformer模型和一层的前向神经网络层，并采用CTC作为损失函数，将情感分类网络与语音识别网络进行联合训练，联合训练可以包括以下步骤：
步骤S301，使用待训练的语音识别网络，将训练语音转译为训练文本，并计算得到CTC损失。
本申请中，从相应的数据库中获取训练语音以及对应训练语言的标注，使用待训练的语音识别网络将训练语音转译为训练文本，并计算CTC损失。
其中，输入语音序列假定为X＝[x1，x2，…，xi，…，xT]，式中，T为语音长度，xi表示第i帧语音的特征向量，输出文本序列假定为Y＝[y1，y2，…，yj，…，yN]，式中，N为输出序列长度，yj表示第j个字，将L表示所有的输出单元空间，且定义扩充空间L*＝L∪{blank}。
由此定义如下公式：
P(Y|X)＝∑c∈A(Y)P(C|X)
Figure BDA0003670272120000141
式中，P(Ct,t)表示t时刻观测到标签Ct的概率，Ct∈L*，P(C|X)表示在给定输入序列X的条件下网络输出序列C的概率，A(Y)表示所有文本序列Y和特殊标签blank组合成的概率结合，C为其中任意一个子序列，P(YX)表示在给定输入特征序列X条件下网络输出文本序列Y的概率。
由此定义CTC损失函数为：
lossctc＝∑(X,Y)-logP(Y|X)。
本申请中，一层的前向神经网络层针对transformer模型输出的解码结果，可以使用greedy-search解码算法得到语音识别转译结果。
步骤S302，计算训练文本的置信度，并获取训练语音转译为训练文本过程中训练语音的声学特征向量。
步骤S303，提取训练文本的语言学特征向量，并使用置信度将声学特征向量与语言学特征向量进行特征融合，得到训练的特征融合结果。
其中，步骤S302至步骤S303与上述实施例中步骤S202和步骤S203的内容相同，可参考上述表述，在此不再赘述。
步骤S304，将训练的特征融合结果输入待训练的情感分类网络，输出训练的情感识别结果与训练语音的标注结果计算交叉熵损失。
本申请中，交叉熵损失函数可以表示为：
Figure BDA0003670272120000151
式中，M表示网络中情感类别总数，ec表示第c类情感类别，feat表示特征融合结果。
步骤S305，采用梯度下降法反向更新待训练的语音识别网络的参数和待训练的情感分类网络的参数，迭代直至交叉熵损失与CTC损失的和收敛，得到训练好的语音识别网络的参数和训练好的情感分类网络。
本申请中，采用联合训练，需要计算两个网络的总的损失，总损失函数表示为：
loss＝lossser+λlossctc
式中，λ为可调节参数，一般取值为0.1。
采用梯度下降法反向更新参数，可以较快地促进损失收敛，从而尽可能提高网络的训练效率。
本申请实施例采用联合训练的方式同时训练语音识别网络和情感分类网络，从而使得上述的情感识别方法能够较好地贴合网络，最终使用训练好的语音识别网络，将获取的语音数据转译为文本数据，计算文本数据的置信度，并获取语音数据转译为文本数据过程中语音数据的声学特征向量，提取文本数据的语言学特征向量，并使用置信度将声学特征向量与语言学特征向量进行特征融合，得到特征融合结果，将特征融合结果输入训练好的情感分类网络，输出语音数据被划分为训练好的情感分类网络中每个预设情感类别的概率，确定概率满足预设条件的预设情感分类为语音数据的情感识别结果，过程中引入识别结果置信度来将文本的语言学特征与声学特征进行融合，可以使得本方法对语音识别转译具有一定的容错能力，对于高噪声语音具有一定的鲁棒性，提高了情感识别模型的识别准确率。
对应于上文实施例的基于人工智能的情感识别方法，图4示出了本申请实施例四提供的基于人工智能的情感识别装置的结构框图，上述情感识别装置应用于图1中的服务端，服务端对应的计算机设备连接相应的数据库，以获取数据库中相应的语音数据。上述计算机设备还可以连接相应的客户端，客户端将语音数据发送给服务端，实现了服务端获取语音数据的功能。为了便于说明，仅示出了与本申请实施例相关的部分。
参见图4，该情感识别装置包括：
语音识别模块41，用于使用训练好的语音识别网络，将获取的语音数据转译为文本数据；
置信度计算模块42，用于计算文本数据的置信度；
向量获取模块43，用于获取语音数据转译为文本数据过程中语音数据的声学特征向量；
特征融合模块44，用于提取文本数据的语言学特征向量，并使用置信度将声学特征向量与语言学特征向量进行特征融合，得到特征融合结果；
情感识别模块45，用于将特征融合结果输入训练好的情感分类网络，输出语音数据被划分为训练好的情感分类网络中每个预设情感类别的概率，确定概率满足预设条件的预设情感分类为语音数据的情感识别结果。
可选的是，若上述置信度包含针对上述文本数据中每个字的置信度，则上述特征融合模块44包括：
特征融合单元，用于将每个字的置信度分别点乘上述声学特征向量，并与上述语言学特征向量合并为一个数组，确定上述数组为特征融合结果。
可选的是，上述语音识别模块41包括：
声学向量提取单元，用于对获取的语音数据提取Fbank特征，并根据上述Fbank特征，计算每一帧语音的声学特征向量；
文字匹配单元，用于将每一帧语音的声学特征向量与单词表中的字进行匹配，并将匹配得到的字序列化得到文本数据。
可选的是，上述置信度计算模块42包括：
帧数确定单元，用于针对上述文本数据中任一目标字，确定上述目标字在上述声学特征向量中对应的开始帧数和结束帧数；
置信度确定单元，用于计算在上述开始帧数与上述结束帧数之间每个帧数对应的声学特征向量的条件下输出上述目标字的概率，确定所有概率的平均值为上述目标字的置信度。
可选的是，上述特征融合模块44包括：
语义向量确定单元，用于提取上述文本数据中每个字的字特征向量和位置特征向量，得到每个字的语义特征向量；
语言学向量输出单元，用于将每个字的语义特征向量输入transformer模型，输出特征为对应上述文本数据的语言学特征向量。
可选的是，上述情感分类网络包括两层的前向神经网络层和一层Softmax层，并采用交叉熵函数作为损失函数，上述语音识别网络包括transformer模型和一层的前向神经网络层，并采用CTC作为损失函数，将上述情感分类网络与上述语音识别网络进行联合训练；
上述联合训练过程为：
使用待训练的语音识别网络，将训练语音转译为训练文本，并计算得到CTC损失；
计算上述训练文本的置信度，并获取上述训练语音转译为上述训练文本过程中上述训练语音的声学特征向量；
提取上述训练文本的语言学特征向量，并使用上述置信度将上述声学特征向量与上述语言学特征向量进行特征融合，得到训练的特征融合结果；
将上述训练的特征融合结果输入待训练的情感分类网络，输出训练的情感识别结果与上述训练语音的标注结果计算交叉熵损失，采用梯度下降法反向更新上述待训练的语音识别网络的参数和上述待训练的情感分类网络的参数，迭代直至上述交叉熵损失与上述CTC损失的和收敛，得到训练好的语音识别网络的参数和训练好的情感分类网络。
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图5为本申请实施例五提供的一种计算机设备的结构示意图。如图5所示，该实施例的计算机设备包括：至少一个处理器(图5中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个基于人工智能的情感识别方法实施例中的步骤。
该计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图5仅仅是计算机设备的举例，并不构成对计算机设备的限定，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。
所称处理器可以是CPU，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器包括可读存储介质、内存储器等，其中，内存储器可以是计算机设备的内存，内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是计算机设备的硬盘，在另一些实施例中也可以是计算机设备的外部存储设备，例如，计算机设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
本申请实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现可实现上述方法实施例中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于人工智能的情感识别方法，其特征在于，所述情感识别方法包括：
使用训练好的语音识别网络，将获取的语音数据转译为文本数据；
计算所述文本数据的置信度，并获取所述语音数据转译为所述文本数据过程中所述语音数据的声学特征向量；
提取所述文本数据的语言学特征向量，并使用所述置信度将所述声学特征向量与所述语言学特征向量进行特征融合，得到特征融合结果；
将所述特征融合结果输入训练好的情感分类网络，输出所述语音数据被划分为所述训练好的情感分类网络中每个预设情感类别的概率，确定概率满足预设条件的预设情感分类为所述语音数据的情感识别结果。
2.根据权利要求1所述的情感识别方法，其特征在于，若所述置信度包含针对所述文本数据中每个字的置信度，则使用所述置信度将所述声学特征向量与所述语言学特征向量进行特征融合，得到特征融合结果包括：
将每个字的置信度分别点乘所述声学特征向量，并与所述语言学特征向量合并为一个数组，确定所述数组为特征融合结果。
3.根据权利要求1所述的情感识别方法，其特征在于，使用训练好的语音识别网络，将获取的语音数据转译为文本数据包括：
对获取的语音数据提取Fbank特征，并根据所述Fbank特征，计算每一帧语音的声学特征向量；
将每一帧语音的声学特征向量与单词表中的字进行匹配，并将匹配得到的字序列化得到文本数据。
4.根据权利要求3所述的情感识别方法，其特征在于，计算所述文本数据的置信度包括：
针对所述文本数据中任一目标字，确定所述目标字在所述声学特征向量中对应的开始帧数和结束帧数；
计算在所述开始帧数与所述结束帧数之间每个帧数对应的声学特征向量的条件下输出所述目标字的概率，确定所有概率的平均值为所述目标字的置信度。
5.根据权利要求4所述的情感识别方法，其特征在于，提取所述文本数据的语言学特征向量包括：
提取所述文本数据中每个字的字特征向量和位置特征向量，得到每个字的语义特征向量；
将每个字的语义特征向量输入transformer模型，输出特征为对应所述文本数据的语言学特征向量。
6.根据权利要求1至5任一项所述的情感识别方法，其特征在于，所述情感分类网络包括两层的前向神经网络层和一层Softmax层，并采用交叉熵函数作为损失函数，所述语音识别网络包括transformer模型和一层的前向神经网络层，并采用CTC作为损失函数，将所述情感分类网络与所述语音识别网络进行联合训练；
所述联合训练过程为：
使用待训练的语音识别网络，将训练语音转译为训练文本，并计算得到CTC损失；
计算所述训练文本的置信度，并获取所述训练语音转译为所述训练文本过程中所述训练语音的声学特征向量；
提取所述训练文本的语言学特征向量，并使用所述置信度将所述声学特征向量与所述语言学特征向量进行特征融合，得到训练的特征融合结果；
将所述训练的特征融合结果输入待训练的情感分类网络，输出训练的情感识别结果与所述训练语音的标注结果计算交叉熵损失，采用梯度下降法反向更新所述待训练的语音识别网络的参数和所述待训练的情感分类网络的参数，迭代直至所述交叉熵损失与所述CTC损失的和收敛，得到训练好的语音识别网络的参数和训练好的情感分类网络。
7.一种基于人工智能的情感识别装置，其特征在于，所述情感识别装置包括：
语音识别模块，用于使用训练好的语音识别网络，将获取的语音数据转译为文本数据；
置信度计算模块，用于计算所述文本数据的置信度；
向量获取模块，用于获取所述语音数据转译为所述文本数据过程中所述语音数据的声学特征向量；
特征融合模块，用于提取所述文本数据的语言学特征向量，并使用所述置信度将所述声学特征向量与所述语言学特征向量进行特征融合，得到特征融合结果；
情感识别模块，用于将所述特征融合结果输入训练好的情感分类网络，输出所述语音数据被划分为所述训练好的情感分类网络中每个预设情感类别的概率，确定概率满足预设条件的预设情感分类为所述语音数据的情感识别结果。
8.根据权利要求7所述的情感识别装置，其特征在于，若所述置信度包含针对所述文本数据中每个字的置信度，则所述特征融合模块包括：
特征融合单元，用于将每个字的置信度分别点乘所述声学特征向量，并与所述语言学特征向量合并为一个数组，确定所述数组为特征融合结果。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的情感识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的情感识别方法。
CN202210602736.0A 2022-05-30 2022-05-30 基于人工智能的情感识别方法、装置、计算机设备及介质 Pending CN114974310A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210602736.0A CN114974310A (zh) 2022-05-30 2022-05-30 基于人工智能的情感识别方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210602736.0A CN114974310A (zh) 2022-05-30 2022-05-30 基于人工智能的情感识别方法、装置、计算机设备及介质

Publications (1)

Publication Number Publication Date
CN114974310A true CN114974310A (zh) 2022-08-30

Family

ID=82957811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210602736.0A Pending CN114974310A (zh) 2022-05-30 2022-05-30 基于人工智能的情感识别方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN114974310A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117219046A (zh) * 2023-10-24 2023-12-12 广东广信通信服务有限公司 一种交互语音情感控制方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117219046A (zh) * 2023-10-24 2023-12-12 广东广信通信服务有限公司 一种交互语音情感控制方法及系统

Similar Documents

Publication Publication Date Title
CN107315737B (zh) 一种语义逻辑处理方法及系统
CN113205817B (zh) 语音语义识别方法、系统、设备及介质
CN107729313B (zh) 基于深度神经网络的多音字读音的判别方法和装置
CN111933129A (zh) 音频处理方法、语言模型的训练方法、装置及计算机设备
CN113836277A (zh) 用于数字助理的机器学习系统
WO2021047180A1 (zh) 基于情绪识别的智能会话方法、装置及计算机设备
CN109637537B (zh) 一种自动获取标注数据优化自定义唤醒模型的方法
CN111445898B (zh) 语种识别方法、装置、电子设备和存储介质
CN112151015B (zh) 关键词检测方法、装置、电子设备以及存储介质
CN111798840B (zh) 语音关键词识别方法和装置
CN113990352B (zh) 用户情绪识别与预测方法、装置、设备及存储介质
Ahmed et al. End-to-end lexicon free arabic speech recognition using recurrent neural networks
CN113705315B (zh) 视频处理方法、装置、设备及存储介质
CN115312033A (zh) 基于人工智能的语音情感识别方法、装置、设备及介质
CN114974310A (zh) 基于人工智能的情感识别方法、装置、计算机设备及介质
CN112349294A (zh) 语音处理方法及装置、计算机可读介质、电子设备
CN114611529B (zh) 意图识别方法和装置、电子设备及存储介质
CN111401069A (zh) 会话文本的意图识别方法、意图识别装置及终端
CN112071304B (zh) 一种语意分析方法及装置
CN115240712A (zh) 一种基于多模态的情感分类方法、装置、设备及存储介质
CN113096667A (zh) 一种错别字识别检测方法和系统
CN114067362A (zh) 基于神经网络模型的手语识别方法、装置、设备及介质
CN113111855A (zh) 一种多模态情感识别方法、装置、电子设备及存储介质
Ghorpade et al. ITTS model: speech generation for image captioning using feature extraction for end-to-end synthesis
CN112287690A (zh) 基于条件句子生成和跨模态重排的手语翻译方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination