CN110188361A - 结合文本、语音与情绪特征的语音意图识别方法及装置 - Google Patents
结合文本、语音与情绪特征的语音意图识别方法及装置 Download PDFInfo
- Publication number
- CN110188361A CN110188361A CN201910498005.4A CN201910498005A CN110188361A CN 110188361 A CN110188361 A CN 110188361A CN 201910498005 A CN201910498005 A CN 201910498005A CN 110188361 A CN110188361 A CN 110188361A
- Authority
- CN
- China
- Prior art keywords
- intention
- text
- identification model
- feature
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002996 emotional effect Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims description 66
- 230000008451 emotion Effects 0.000 claims description 28
- 230000036651 mood Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 239000013589 supplement Substances 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 7
- 230000001052 transient effect Effects 0.000 claims description 5
- 238000003058 natural language processing Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003466 anti-cipated effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000001502 supplementing effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例提供一种结合文本、语音与情绪特征的语音意图识别方法及装置，属于语音识别、语音信号处理及自然语言处理技术领域。该方法包括：获取意图特征；将意图特征输入至第一意图识别模型，输出意图类别。由于可基于语音特征及文本特征，对用户讲话进行意图识别，相较于通过对语音识别结果进行文本语义理解的方式，意图识别的依据更加多样，对用户讲话的意图识别更加精准。可利用第一意图识别模型进行意图识别，第一意图识别模型是基于样本意图特征训练得到的，而样本意图特征也是由多种特征组成，相较于单纯通过对用户讲话进行文本语义解析的方式，大量样本数据作为意图识别的基础，从而可进一步提高用户讲话意图识别的准确度。
Description
技术领域
本发明涉及语音识别、语音信号处理及自然语言处理技术领域，尤其涉及一种结合文本、语音与情绪特征的语音意图识别方法及装置。
背景技术
随着电话外呼技能的发展，人工外呼逐渐被主动语音外呼替代，可是主动语音外呼的意图理解准确率低，对话体验差，从而导致外呼成功率极低，企业无法从电话中获取有用的用户信息反馈。人工智能AI的出现给传统的电话外呼带来了巨大的革新，人工智能与外呼相结合，使得外呼机器人可识别用户的讲话意图。在相关技术中，外呼机器人在识别用户的讲话意图时，主要是依靠语音识别系统，也即将语音特征识别成文本，再通过NLP(Natural Language Processing、自然语言处理)技术对文本进行意图识别。
由于语音识别有一定的错误率，且仅基于文本进行意图分类方法无法对用户语音中包含的情绪等进行建模，造成对用户讲话的意图识别不够准确，外呼机器人对用户意图的理解能力较低。
发明内容
为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的结合文本、语音与情绪特征的语音意图识别方法及装置。
根据本发明实施例的第一方面，提供了一种结合文本、语音与情绪特征的语音意图识别方法，包括：
获取意图特征，意图特征至少包括语音特征及文本特征；
将意图特征输入至第一意图识别模型，输出意图类别，第一意图识别模型是基于样本意图特征及样本意图特征对应的意图类别训练得到的。
结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，获取意图特征，包括：
获取词向量，词向量是将语音特征识别为文本，并由文本转化得到的；
将词向量输入至第二意图识别模型，将第二意图识别模型中第N-1层输出的向量作为意图特征中的文本特征，第二意图识别模型是基于样本词向量及样本词向量对应的意图类别训练得到的，第二意图识别模型为N层结构。
结合第一方面的第一种可能的实现方式，在第三种可能的实现方式中，意图特征还包括基于语音特征获取到的情绪特征和/或补充语音特征。
结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，意图特征包括基于语音特征获取到的情绪特征；相应地，获取意图特征，包括：
将语音特征输入至情绪识别模型，将情绪识别模型中第M-1层输出的向量作为意图特征中的情绪特征，情绪识别模型是基于样本语音特征及样本语音特征对应的情绪类别训练得到的，情绪识别模型为M层结构。
结合第一方面的第三种可能的实现方式，在第五种可能的实现方式中，补充语音特征是对语音特征进行按帧平均得到的。
结合第一方面的第一种可能的实现方式至第五种可能的实现方式中任一种可能的实现方式，在第六种可能的实现方式中，意图类别为以下类别中的任意一种，以下类别至少包括肯定、否定及疑问。
结合第一方面的第六种可能的实现方式，在第七种可能的实现方式中，将意图特征输入至第一意图识别模型，输出意图类别之后，还包括：若意图类别为疑问，则获取对语音特征进行识别后的文本；将文本与问题文本库中的问题文本进行匹配，将匹配成功的问题文本对应的回答作为对语音特征的回应。
根据本发明实施例的第二方面，提供了一种结合文本、语音与情绪特征的语音意图识别装置，包括：
第一获取模块，用于获取意图特征，意图特征至少包括语音特征及文本特征；
输出模块，用于将意图特征输入至第一意图识别模型，输出意图类别，第一意图识别模型是基于样本意图特征及样本意图特征对应的意图类别训练得到的。
根据本发明实施例的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与处理器通信连接的至少一个存储器，其中：
存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的结合文本、语音与情绪特征的语音意图识别方法。
根据本发明的第四方面，提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的结合文本、语音与情绪特征的语音意图识别方法。
本发明实施例提供的结合文本、语音与情绪特征的语音意图识别方法及装置，通过获取意图特征，将意图特征输入至第一意图识别模型，输出意图类别。由于可基于语音特征及文本特征，对用户讲话进行意图识别，相较于通过对语音识别结果进行文本语义理解的方式，意图识别的依据更加多样，从而对用户讲话的意图识别更加精准。另外，由于可利用第一意图识别模型进行意图识别，第一意图识别模型是基于样本意图特征训练得到的，而样本意图特征也是由多种特征组成的，从而相较于单纯通过对用户讲话进行文本语义解析的方式，大量样本数据作为意图识别的基础，从而可进一步提高用户讲话意图识别的准确度。
应当理解的是，以上的一般描述和后文的细节描述是示例性和解释性的，并不能限制本发明实施例。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种结合文本、语音与情绪特征的语音意图识别方法的流程示意图；
图2为本发明实施例提供的一种结合文本、语音与情绪特征的语音意图识别装置的结构示意图；
图3为本发明实施例提供的一种电子设备的框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在相关技术中，由于外呼机器人的语音意图是被系统主要是基于语音识别的文本进行语义理解，其意图特征比较单一，从而造成对用户讲话的意图识别不够精准，外呼机器人对用户意图的理解能力较低。
针对相关技术中的问题，本发明实施例提供了一种结合文本、语音与情绪特征的语音意图识别方法。该方法可以应用于在不同的场景，如外呼机器人场景，还可以用于其它场景，如自助业务办理场景及线下商城自助服务场景等，本发明实施例对此不作具体限定。为了便于理解，本发明实施例以外呼机器人场景为例，对本发明实施例提供的方法流程进行说明。外呼机器人场景指的是，由计算机自动往外拨打用户电话，将录制好的语音通过电脑播放给用户，由用户通过讲话进行回应，再由计算机根据用户的回应对用户进行再次回应，以实现问答形式的主动服务。
结合外呼机器人场景，该方法的执行主体可以为外呼机器人，也可以为控制外呼机器人的终端等，本发明实施例对此也不作具体限定。参见图1，该方法包括：101、获取意图特征，意图特征至少包括语音特征及文本特征；102、将意图特征输入至第一意图识别模型，输出意图类别，第一意图识别模型是基于样本意图特征及样本意图特征对应的意图类型训练得到的。
在上述101中，语音特征是基于用户讲话所提取到的。本发明实施例不对从用户讲话中提取语音特征的方式作具体限定，包括但不限于：将用户讲话的语音数据输入至语音提取系统，以提取语音特征。其中，提取到的语音特征具体可以为MFCC(Mel-scaleFrequency Cepstral Coefficients，梅尔倒频谱系数)，还可以为I-Vector因子等，本发明实施例对此不作具体限定。文本特征可以为对语音特征识别为文本后，由文本转化成的词向量，本发明实施例不对文本特征的具体内容作具体限定。
在上述102中，意图类别可以为肯定或否定。对于外呼机器人语音询问，当用户讲话的意图类别为肯定时，则表示用户讲话是肯定回答。当用户讲话的意图类别为否定时，则表示用户讲话是否定回答。当然，意图类别也可以不限于上述两种，本发明实施例对此不作具体限定。另外，第一意图识别模型可以是将样本意图特征作为初始模型的输入，将样本意图特征对应的意图类别作为初始模型的输出，对初始模型进行训练后得到的。初始模型可以具体为深度神经网络模型，也可以卷积神经网络模型，本发明实施例对此不作具体限定。
需要说明的是，语音特征是基于语音信号提取到的。本发明实施例不对获取语音信号的方式作具体限定，包括但不限于：当电话接通后，持续采集音频流，并利用静音检测等方法，判断用户讲话是否结束；若当前用户讲话结束，则将之前持续采集到的音频流作为语音信号。
本发明实施例提供的方法，通过获取意图特征，将意图特征输入至第一意图识别模型，输出意图类别。由于可基于语音特征及文本特征，对用户讲话进行意图识别，相较于通过对语音识别结果进行文本语义理解的方式，意图识别的依据更加多样，从而对用户讲话的意图识别更加精准。另外，由于可利用第一意图识别模型进行意图识别，第一意图识别模型是基于样本意图特征训练得到的，而样本意图特征也是由多种特征组成的，从而相较于单纯通过对用户讲话进行文本语义解析的方式，大量样本数据作为意图识别的基础，从而可进一步提高用户讲话意图识别的准确度。
由上述实施例的内容可知，文本特征可以为将语音特征识别为文本后，由文本转化成的词向量。但是考虑到为了通过监督学习的方式对语义进行抽象理解，提取高层次的语义表示；与此同时，还为了实现固定维度的输出。针对上述情形，基于上述实施例的内容，作为一种可选实施例，本发明实施例不对获取意图特征的方式作具体限定，包括但不限于：获取词向量，词向量是将语音特征识别为文本，并由文本转化得到的；将词向量输入至第二意图识别模型，将第二意图识别模型中第N-1层输出的向量作为意图特征中的文本特征，第二意图识别模型是基于样本词向量及样本词向量对应的意图类别训练得到的，第二意图识别模型为N层结构。其中，N为大于等于2的正整数。
本发明实施例不对获取词向量的方式作具体限定，包括但不限于：对语音特征进行语音识别，以得到文本；通过Word2Vec等模型，可以将文本转化为词向量。第二意图识别模型可以是将样本词向量作为初始模型的输入，将样本词向量对应的意图类别作为初始模型的输出，对初始模型进行训练后得到的。初始模型可以具体为FastText分类器，也可以为神经网络模型，本发明实施例对此不作具体限定。另外，第二意图识别模型可以为N层结构，将词向量输入至第二意图识别模型后，第二意图识别模型中的每一层均会有个输出结果，输出结果的形式为向量，从而可以将第二意图识别模型中第N-1层输出的向量作为文本特征。
需要说明的是，第N-1层输出的向量其维度是固定的，如100维。另外，相较于词向量，第N-1层输出的向量其维度要远低于词向量的维度。还需要说明的是，实际实施过程中，也可以将第二意图识别模型中第N-2层甚至更靠前的层，其输出的向量作为文本特征。但考虑到第二意图识别模型中越靠后的层，其输出结果的准确性会越高，从而在本发明实施例中将第N-1层输出的向量作为文本特征。
本发明实施例提供的方法，通过获取词向量，将词向量输入至第二意图识别模型，将第二意图识别模型中第N-1层输出的向量作为意图特征中的文本特征。由于第N-1层输出的向量其维度是固定的，从而为后续通过第一意图识别模型进行意图识别提供了便利。另外，相较于将词向量作为第一意图识别模型的输入，将第二意图识别模型中第N-1层输出的向量作为第一意图识别模型的输入，可以降低计算量。
考虑到用户讲话时的情绪也可以作为意图识别的依据，基于上述实施例的内容，作为一种可选实施例，意图特征还包括基于语音特征获取到的情绪特征和/或原始语音特征补充。其中，情绪特征可以是在识别语音特征对应的情绪类别的过程中所获取到的特征，补充语音特征是对语音特征本身进一步的补充，以减少语音特征本身的误差。
本发明实施例提供的方法，由于意图特征中进一步包括了情绪特征和/或补充语音特征，从而为使得意图识别的依据更加多样，进而对用户讲话的意图识别更加精准。
基于将第二意图识别模型中第N-1层输出的向量作为文本特征的同样考虑，基于上述实施例的内容，作为一种可选实施例，意图特征包括情绪特征；相应地，本发明实施例不对获取意图特征的方式作具体限定，包括但不限于：将语音特征输入至情绪识别模型，将情绪识别模型中第M-1层输出的向量作为意图特征中的情绪特征，情绪识别模型是基于样本语音特征及样本语音特征对应的情绪类别训练得到的，情绪识别模型为M层结构。其中，M为大于等于2的正整数。
情绪类别可以同样为一种意图，如积极呼应、负面回应或不耐烦均为一种情绪类别，本发明实施例对此不作具体限定。情绪识别模型可以是将语音特征作为初始模型的输入，将语音特征及其对应的情绪类别作为初始模型的输出，对初始模型进行训练后得到的。初始模型可以由时延神经网络(TDNN)和/或长短期记忆网络(LSTM)所构成，本发明实施例对此不作具体限定。
另外，情绪识别模型可以为M层结构，将语音特征输入至情绪识别模型后，情绪识别模型中的每一层均会有个输出结果，输出结果的形式为向量，从而可以将情绪识别模型中第M-1层输出的向量作为情绪特征。
需要说明的是，第M-1层输出的向量其维度是固定的，如100维。另外，相较于语音特征，第M-1层输出的向量其维度要远低于语音特征的维度。还需要说明的是，实际实施过程中，也可以将情绪识别模型中第M-2层甚至更靠前的层，其输出的向量作为情绪特征。但考虑到情绪识别模型中越靠后的层，其输出结果的准确性会越高，从而在本发明实施例中将第M-1层输出的向量作为情绪特征。
本发明实施例提供的方法，通过将语音特征输入至情绪识别模型，将情绪识别模型中第M-1层输出的向量作为意图特征中的情绪特征。由于第M-1层输出的向量其维度是固定的，从而为后续通过第一意图识别模型进行意图识别提供了便利。另外，相较于将语音特征作为第一意图识别模型的输入，将情绪识别模型中第M-1层输出的向量作为第一意图识别模型的输入，可以降低计算量。
由上述实施例的内容可知，补充语音特征是对语音特征本身进一步的补充，以减少语音特征本身的误差。基于上述实施例的内容，作为一种可选实施例，补充语音特征是对语音特征进行按帧平均得到的。
本发明实施例提供的方法，通过对语音特征进行按帧平均，得到补充语音特征，并将补充语音特征作为第一意图识别模型的一项输入，从而可以提高意图识别的精准性。
考虑到常规意图类别划分，一般只有肯定与否定，而用户讲话时表达出的意图远不止该两种。基于上述实施例的内容，作为一种可选实施例，意图类别为以下类别中的任意一种，以下类别至少包括肯定、否定及疑问。需要说明的是，实际实施过程中意图类别还可以包括“拒绝”和/或“无意义”等，本发明实施例对此不作具体限定。
本发明实施例提供的方法，通过将意图类别划分为多种，而不仅限于肯定与否定，从而能够更好地识别出用户的不同意图，以使得后续能够更好地为用户服务，以提高用户体验。
由于在确定用户讲话的意图后，通常还需要回应用户，从而针对用户的不同意图，还可以有不同的回应方式。基于上述实施例的内容，作为一种可选实施例，将意图特征输入至第一意图识别模型，输出意图类别之后，还包括：若意图类别为疑问，则获取对语音特征进行识别后的文本；将文本与问题文本库中的问题文本进行匹配，将匹配成功的问题文本对应的回答作为对语音特征的回应。
其中，问题文本库中包含问题文本以及问题文本对应的回答。将文本与问题文本库中的问题文本进行匹配后，若匹配成功，则可将匹配成功的问题文本对应的回答作为对语音特征的回应，具体回应方式可以语音播报回答的方式，本发明实施例对此不作具体限定。若匹配失败，则可将用户讲话视为无意义的内容，不作回答。
本发明实施例提供的方法，通过在输出意图类别后，若意图类别为疑问，则获取对语音特征进行识别后的文本。将文本与问题文本库中的问题文本进行匹配，将匹配成功的问题文本对应的回答作为对语音特征的回应。由于可以通过匹配的方式及时对用户讲话作出回应，从而可提高用户体验。
基于上述实施例的内容，本发明实施例提供了一种结合文本、语音与情绪特征的语音意图识别装置，该结合文本、语音与情绪特征的语音意图识别装置用于执行上述方法实施例中提供的结合文本、语音与情绪特征的语音意图识别方法。参见图2，该装置包括：
第一获取模块201，用于获取意图特征，意图特征至少包括语音特征及文本特征；
输出模块202，用于将意图特征输入至第一意图识别模型，输出意图类别，第一意图识别模型是基于样本意图特征及样本意图特征对应的意图类别训练得到的。
作为一种可选实施例，第一获取模块201，用于获取词向量，词向量是将语音特征识别为文本，并由文本转化得到的；将词向量输入至第二意图识别模型，将第二意图识别模型中第N-1层输出的向量作为意图特征中的文本特征，第二意图识别模型是基于样本词向量及样本词向量对应的意图类别训练得到的，第二意图识别模型为N层结构。
作为一种可选实施例，意图特征还包括基于语音特征获取到的情绪特征和/或补充语音特征。
作为一种可选实施例，意图特征包括基于语音特征获取到的情绪特征；相应地，第一获取模块201，用于将语音特征输入至情绪识别模型，将情绪识别模型中第M-1层输出的向量作为意图特征中的情绪特征，情绪识别模型是基于样本语音特征及样本语音特征对应的情绪类别训练得到的，情绪识别模型为M层结构。
作为一种可选实施例，补充语音特征是对语音特征进行按帧平均得到的。
作为一种可选实施例，意图类别为以下类别中的任意一种，以下类别至少包括肯定、否定及疑问。
作为一种可选实施例，该装置还包括：
第二获取模块，用于当意图类别为疑问时，则获取对语音特征进行识别后的文本；
匹配模块，用于将文本与问题文本库中的问题文本进行匹配，将匹配成功的问题文本对应的回答作为对语音特征的回应。
本发明实施例提供的装置，通过获取意图特征，将意图特征输入至第一意图识别模型，输出意图类别。由于可基于语音特征及文本特征，对用户讲话进行意图识别，相较于通过对语音识别结果进行文本语义理解的方式，意图识别的依据更加多样，从而对用户讲话的意图识别更加精准。另外，由于可利用第一意图识别模型进行意图识别，第一意图识别模型是基于样本意图特征训练得到的，而样本意图特征也是由多种特征组成的，从而相较于单纯通过对用户讲话进行文本语义解析的方式，大量样本数据作为意图识别的基础，从而可进一步提高用户讲话意图识别的准确度。
其次，通过获取词向量，将词向量输入至第二意图识别模型，将第二意图识别模型中第N-1层输出的向量作为意图特征中的文本特征。由于第N-1层输出的向量其维度是固定的，从而为后续通过第一意图识别模型进行意图识别提供了便利。另外，相较于将词向量作为第一意图识别模型的输入，将第二意图识别模型中第N-1层输出的向量作为第一意图识别模型的输入，可以降低计算量。
再次，由于意图特征中进一步包括了情绪特征和/或补充语音特征，从而为使得意图识别的依据更加多样，进而对用户讲话的意图识别更加精准。
从次，通过将语音特征输入至情绪识别模型，将情绪识别模型中第M-1层输出的向量作为意图特征中的情绪特征。由于第M-1层输出的向量其维度是固定的，从而为后续通过第一意图识别模型进行意图识别提供了便利。另外，相较于将语音特征作为第一意图识别模型的输入，将情绪识别模型中第M-1层输出的向量作为第一意图识别模型的输入，可以降低计算量。
最后，通过对语音特征进行按帧平均，得到补充语音特征，并将补充语音特征作为第一意图识别模型的一项输入，从而可以提高意图识别的精准性。
另外，通过将意图类别划分为多种，而不仅限于肯定与否定，从而能够更好地识别出用户的不同意图，以使得后续能够更好地为用户服务，以提高用户体验。
除此之外，通过在输出意图类别后，若意图类别为疑问，则获取对语音特征进行识别后的文本。将文本与问题文本库中的问题文本进行匹配，将匹配成功的问题文本对应的回答作为对语音特征的回应。由于可以通过匹配的方式及时对用户讲话作出回应，从而可提高用户体验。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法：获取意图特征，意图特征至少包括语音特征及文本特征；将意图特征输入至第一意图识别模型，输出意图类别，第一意图识别模型是基于样本意图特征及样本意图特征对应的意图类别训练得到的。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：获取意图特征，意图特征至少包括语音特征及文本特征；将意图特征输入至第一意图识别模型，输出意图类别，第一意图识别模型是基于样本意图特征及样本意图特征对应的意图类别训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种结合文本、语音与情绪特征的语音意图识别方法，其特征在于，包括：
获取意图特征，所述意图特征至少包括语音特征及文本特征；
将所述意图特征输入至第一意图识别模型，输出意图类别，所述第一意图识别模型是基于样本意图特征及所述样本意图特征对应的意图类别训练得到的。
2.根据权利要求1所述的结合文本、语音与情绪特征的语音意图识别方法，其特征在于，所述获取意图特征，包括：
获取词向量，所述词向量是将所述语音特征识别为文本，并由所述文本转化得到的；
将所述词向量输入至第二意图识别模型，将所述第二意图识别模型中第N-1层输出的向量作为所述意图特征中的文本特征，所述第二意图识别模型是基于样本词向量及所述样本词向量对应的意图类别训练得到的，所述第二意图识别模型为N层结构。
3.根据权利要求1所述的结合文本、语音与情绪特征的语音意图识别方法，其特征在于，所述意图特征还包括基于所述语音特征获取到的情绪特征和/或补充语音特征。
4.根据权利要求3所述的结合文本、语音与情绪特征的语音意图识别方法，其特征在于，所述意图特征包括基于所述语音特征获取到的情绪特征；相应地，所述获取意图特征，包括：
将所述语音特征输入至情绪识别模型，将所述情绪识别模型中第M-1层输出的向量作为所述意图特征中的情绪特征，所述情绪识别模型是基于样本语音特征及所述样本语音特征对应的情绪类别训练得到的，所述情绪识别模型为M层结构。
5.根据权利要求3所述的结合文本、语音与情绪特征的语音意图识别方法，其特征在于，所述补充语音特征是对所述语音特征进行按帧平均得到的。
6.根据权利要求1至5中任一项所述的结合文本、语音与情绪特征的语音意图识别方法，其特征在于，所述意图类别为以下类别中的任意一种，所述以下类别至少包括肯定、否定及疑问。
7.根据权利要求6所述的结合文本、语音与情绪特征的语音意图识别方法，其特征在于，所述将所述意图特征输入至第一意图识别模型，输出意图类别之后，还包括：
若所述意图类别为疑问，则获取对所述语音特征进行识别后的文本；
将所述文本与问题文本库中的问题文本进行匹配，将匹配成功的问题文本对应的回答作为对所述语音特征的回应。
8.一种结合文本、语音与情绪特征的语音意图识别装置，其特征在于，包括：
第一获取模块，用于获取意图特征，所述意图特征至少包括语音特征及基于所述语音特征获取到的文本特征；
输出模块，用于将所述意图特征输入至第一意图识别模型，输出意图类别，所述第一意图识别模型是基于样本意图特征及所述样本意图特征对应的意图类别训练得到的。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910498005.4A CN110188361A (zh) | 2019-06-10 | 2019-06-10 | 结合文本、语音与情绪特征的语音意图识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910498005.4A CN110188361A (zh) | 2019-06-10 | 2019-06-10 | 结合文本、语音与情绪特征的语音意图识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110188361A true CN110188361A (zh) | 2019-08-30 |
Family
ID=67721011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910498005.4A Pending CN110188361A (zh) | 2019-06-10 | 2019-06-10 | 结合文本、语音与情绪特征的语音意图识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110188361A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111209380A (zh) * | 2019-12-31 | 2020-05-29 | 深圳追一科技有限公司 | 对话机器人的控制方法、装置、计算机设备和存储介质 |
| CN111464707A (zh) * | 2020-03-30 | 2020-07-28 | 中国建设银行股份有限公司 | 外呼处理方法、装置及系统 |
| CN111597808A (zh) * | 2020-04-24 | 2020-08-28 | 北京百度网讯科技有限公司 | 仪表盘绘制处理方法、装置、电子设备和存储介质 |
| CN111833849A (zh) * | 2020-03-10 | 2020-10-27 | 北京嘀嘀无限科技发展有限公司 | 语音识别和语音模型训练的方法及存储介质和电子设备 |
| CN112287675A (zh) * | 2020-12-29 | 2021-01-29 | 南京新一代人工智能研究院有限公司 | 一种基于文本和语音信息融合的智能客服意图理解方法 |
| CN112669821A (zh) * | 2020-12-17 | 2021-04-16 | 科大讯飞股份有限公司 | 一种语音意图识别方法、装置、设备及存储介质 |
| TWI728507B (zh) * | 2019-10-15 | 2021-05-21 | 財團法人資訊工業策進會 | 產生一對話狀態追蹤模型之裝置及方法 |
| CN112908315A (zh) * | 2021-03-10 | 2021-06-04 | 北京思图场景数据科技服务有限公司 | 一种基于声音特征和语音识别的问答意图判断方法 |
| CN112992147A (zh) * | 2021-02-26 | 2021-06-18 | 平安科技（深圳）有限公司 | 语音处理方法、装置、计算机设备和存储介质 |
| WO2021232725A1 (zh) * | 2020-05-22 | 2021-11-25 | 百度在线网络技术（北京）有限公司 | 基于语音交互的信息核实方法、装置、设备和计算机存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160210985A1 (en) * | 2013-09-25 | 2016-07-21 | Intel Corporation | Improving natural language interactions using emotional modulation |
| CN105895087A (zh) * | 2016-03-24 | 2016-08-24 | 海信集团有限公司 | 一种语音识别方法及装置 |
| US20170270922A1 (en) * | 2015-11-18 | 2017-09-21 | Shenzhen Skyworth-Rgb Electronic Co., Ltd. | Smart home control method based on emotion recognition and the system thereof |
| CN108091324A (zh) * | 2017-12-22 | 2018-05-29 | 北京百度网讯科技有限公司 | 语气识别方法、装置、电子设备和计算机可读存储介质 |
| CN108305642A (zh) * | 2017-06-30 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 情感信息的确定方法和装置 |
| CN108428447A (zh) * | 2018-06-19 | 2018-08-21 | 科大讯飞股份有限公司 | 一种语音意图识别方法及装置 |
| CN109256135A (zh) * | 2018-08-28 | 2019-01-22 | 桂林电子科技大学 | 一种端到端说话人确认方法、装置及存储介质 |
-
2019
- 2019-06-10 CN CN201910498005.4A patent/CN110188361A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160210985A1 (en) * | 2013-09-25 | 2016-07-21 | Intel Corporation | Improving natural language interactions using emotional modulation |
| US20170270922A1 (en) * | 2015-11-18 | 2017-09-21 | Shenzhen Skyworth-Rgb Electronic Co., Ltd. | Smart home control method based on emotion recognition and the system thereof |
| CN105895087A (zh) * | 2016-03-24 | 2016-08-24 | 海信集团有限公司 | 一种语音识别方法及装置 |
| CN108305642A (zh) * | 2017-06-30 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 情感信息的确定方法和装置 |
| CN108091324A (zh) * | 2017-12-22 | 2018-05-29 | 北京百度网讯科技有限公司 | 语气识别方法、装置、电子设备和计算机可读存储介质 |
| CN108428447A (zh) * | 2018-06-19 | 2018-08-21 | 科大讯飞股份有限公司 | 一种语音意图识别方法及装置 |
| CN109256135A (zh) * | 2018-08-28 | 2019-01-22 | 桂林电子科技大学 | 一种端到端说话人确认方法、装置及存储介质 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI728507B (zh) * | 2019-10-15 | 2021-05-21 | 財團法人資訊工業策進會 | 產生一對話狀態追蹤模型之裝置及方法 |
| CN111209380A (zh) * | 2019-12-31 | 2020-05-29 | 深圳追一科技有限公司 | 对话机器人的控制方法、装置、计算机设备和存储介质 |
| CN111833849A (zh) * | 2020-03-10 | 2020-10-27 | 北京嘀嘀无限科技发展有限公司 | 语音识别和语音模型训练的方法及存储介质和电子设备 |
| CN111464707A (zh) * | 2020-03-30 | 2020-07-28 | 中国建设银行股份有限公司 | 外呼处理方法、装置及系统 |
| CN111597808A (zh) * | 2020-04-24 | 2020-08-28 | 北京百度网讯科技有限公司 | 仪表盘绘制处理方法、装置、电子设备和存储介质 |
| WO2021232725A1 (zh) * | 2020-05-22 | 2021-11-25 | 百度在线网络技术（北京）有限公司 | 基于语音交互的信息核实方法、装置、设备和计算机存储介质 |
| CN112669821A (zh) * | 2020-12-17 | 2021-04-16 | 科大讯飞股份有限公司 | 一种语音意图识别方法、装置、设备及存储介质 |
| CN112669821B (zh) * | 2020-12-17 | 2024-04-30 | 中国科学技术大学 | 一种语音意图识别方法、装置、设备及存储介质 |
| CN112287675A (zh) * | 2020-12-29 | 2021-01-29 | 南京新一代人工智能研究院有限公司 | 一种基于文本和语音信息融合的智能客服意图理解方法 |
| CN112287675B (zh) * | 2020-12-29 | 2021-04-30 | 南京新一代人工智能研究院有限公司 | 一种基于文本和语音信息融合的智能客服意图理解方法 |
| CN112992147A (zh) * | 2021-02-26 | 2021-06-18 | 平安科技（深圳）有限公司 | 语音处理方法、装置、计算机设备和存储介质 |
| CN112908315A (zh) * | 2021-03-10 | 2021-06-04 | 北京思图场景数据科技服务有限公司 | 一种基于声音特征和语音识别的问答意图判断方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188361A (zh) | 结合文本、语音与情绪特征的语音意图识别方法及装置 | |
| CN109767765A (zh) | 话术匹配方法及装置、存储介质、计算机设备 | |
| CN107818798A (zh) | 客服服务质量评价方法、装置、设备及存储介质 | |
| JP6341092B2 (ja) | 表現分類装置、表現分類方法、不満検出装置及び不満検出方法 | |
| WO2020253128A1 (zh) | 基于语音识别的通信服务方法、装置、计算机设备及存储介质 | |
| CN107886949A (zh) | 一种内容推荐方法及装置 | |
| CN107409061A (zh) | 语音总结程序 | |
| CN111311327A (zh) | 基于人工智能的服务评价方法、装置、设备及存储介质 | |
| CN110310663A (zh) | 违规话术检测方法、装置、设备及计算机可读存储介质 | |
| CN107818785A (zh) | 一种从多媒体文件中提取信息的方法及终端设备 | |
| CN104538043A (zh) | 一种通话中实时情感提示装置 | |
| CN108920639A (zh) | 基于语音交互的上下文获取方法及设备 | |
| CN110600014B (zh) | 一种模型训练方法、装置、存储介质及电子设备 | |
| CN108920640A (zh) | 基于语音交互的上下文获取方法及设备 | |
| CN116631412A (zh) | 一种通过声纹匹配判断语音机器人的方法 | |
| CN108986804A (zh) | 人机交互处理方法、装置、用户终端、处理服务器及系统 | |
| CN117056481A (zh) | 基于大模型技术的云服务行业对话帮助系统及实现方法 | |
| CN114138960A (zh) | 用户意图识别方法、装置、设备及介质 | |
| CN109961152B (zh) | 虚拟偶像的个性化互动方法、系统、终端设备及存储介质 | |
| CN117150338A (zh) | 任务处理、自动问答以及多媒体数据识别模型训练方法 | |
| CN113905135B (zh) | 一种智能外呼机器人的用户意向识别方法和装置 | |
| CN114710592B (zh) | 一种基于人工智能的呼叫系统及方法 | |
| CN115641850A (zh) | 话术轮次结束的识别方法、装置、存储介质及计算机设备 | |
| CN116403601A (zh) | 情绪识别模型训练方法及情绪识别方法、装置以及存储介质 | |
| CN111897434A (zh) | 信号控制虚拟人像的系统、方法及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190830 |