CN111933118A - 进行语音识别优化的方法、装置及应用其的智能语音对话系统 - Google Patents
进行语音识别优化的方法、装置及应用其的智能语音对话系统 Download PDFInfo
- Publication number
- CN111933118A CN111933118A CN202010824327.6A CN202010824327A CN111933118A CN 111933118 A CN111933118 A CN 111933118A CN 202010824327 A CN202010824327 A CN 202010824327A CN 111933118 A CN111933118 A CN 111933118A
- Authority
- CN
- China
- Prior art keywords
- language model
- node
- dialogue
- voice
- conversation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000005457 optimization Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims description 31
- 238000003860 storage Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 235000003181 Panax pseudoginseng Nutrition 0.000 description 6
- 244000131316 Panax pseudoginseng Species 0.000 description 6
- 206010037660 Pyrexia Diseases 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- CMFIWMWBTZQTQH-IDTAVKCVSA-N 9-[(2r,3r,4s,5s)-3,4-dihydroxy-5-(2-methylpropylsulfanylmethyl)oxolan-2-yl]-3h-purin-6-one Chemical compound O[C@@H]1[C@H](O)[C@@H](CSCC(C)C)O[C@H]1N1C(NC=NC2=O)=C2N=C1 CMFIWMWBTZQTQH-IDTAVKCVSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000008678 sanqi Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/285—Memory allocation or algorithm optimisation to reduce hardware requirements
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Machine Translation (AREA)
Abstract
本发明公开一种在智能语音对话系统中进行语音识别优化的方法,包括:对智能语音对话系统进行对话节点的划分;为智能语音对话系统中涉及的对话节点分别创建和关联适配于相应对话节点的节点语言模型;响应于在相应的对话节点接收到的答复语音,调用节点语言模型进行语音识别,并将节点语言模型的识别结果融合至智能语音对话系统的通用语言模型。本发明还公开了一种进行语音识别优化的装置及应用其的智能语音对话系统,根据本发明提供的方案,既能进行通用识别又能针对性地进行语音识别的效果,使得语音识别能够与逻辑复杂的实际会话环境相适应,大幅提升智能对话系统中的语音识别准确率。
Description
技术领域
本发明涉及智能语音技术领域,尤其涉及一种在智能语音对话系统中进行语音识别优化的方法、装置及应用其的智能语音对话系统。
背景技术
人机交互是研究人和计算机系统之间的交互关系的技术。其中,智能语音对话系统是一种新型的人机交互方式,通过自然语音进行输入输出。智能语音对话系统通常包括语音识别、自然语言理解、对话管理、自然语言生成、语音合成等几个技术模块组成。语音识别是智能语音对话系统的第一个模块,语音识别的准确率直接影响到整个对话系统的任务成功率。而从语音识别原理来讲,影响语音识别准确率很重要的因素在于语音识别系统的模型。因而,目前,为了提高语音识别效果,业界通常是通过在训练时加入关于定制场景的文本语料来对语言模型进行训练优化,使得训练处的语言模型在面对该特定场景的领域词汇时,具备更好的匹配度,从而有更好的识别效果。
然而这种方式下,通常是针对智能语音对话系统训练出统一的语言模型,虽然这个统一的语言模型进行了场景训练优化,但是只用一个优化后的语言模型来面向整个语音对话过程时,由于语音对话过程的多样性和变化性,基于统一语言模型的语音识别系统仍然很难达到很好的语音识别效果。
发明内容
为了解决背景技术提及的问题,发明人想到由于智能对话系统中对话节点是与业务场景息息相关的,用户在每个环节的说出的话是不一样的,需要训练的语料有很大差别,如果能够针对对话场景中不同对话节点进行不同语言模型训练优化,将语言模型与智能语音对话系统的对话节点相结合,必然能够很好地适应逻辑复杂的会话环境,大幅提升智能对话系统中的语音识别效果。
基于此,根据本发明的第一方面,本发明实施例提供一种在智能语音对话系统中进行语音识别优化的方法,包括:
对所述智能语音对话系统进行对话节点的划分;
为所述智能语音对话系统中涉及的对话节点分别创建和关联适配于相应对话节点的节点语言模型;
响应于在相应的对话节点接收到的答复语音,调用节点语言模型进行语音识别,并将节点语言模型的识别结果融合至所述智能语音对话系统的通用语言模型。
根据本发明的第二方面,本发明实施例提供一种对智能语音对话系统进行语音识别优化的装置,其包括
对话管理模块,用于对所述智能语音对话系统进行对话节点的划分;和
模型管理模块,用于为所述智能语音对话系统中涉及的对话节点分别创建和关联适配于相应对话节点的节点语言模型。
根据本发明的第三个方面,本发明实施例提供一种智能语音对话系统,其包括
适配于智能语音对话系统中的各个对话节点的节点语言模型;
适用于不同智能语音对话系统的通用语言模型;
适配于所述智能语音对话系统所属的行业场景的专用语言模型;和
识别处理模块,用于响应于在相应的对话节点接收到的答复语音,调用节点语言模型进行语音识别,并将节点语言模型的识别结果融合至所述通用语言模型和专用语言模型。
根据本发明的第四方面,本发明实施例提供一种存储介质,所述存储介质中存储有一个或多个包括执行指令的程序,所述执行指令能够被电子设备(包括但不限于计算机,服务器,或者网络设备等)读取并执行,以用于执行本发明上述任一项在智能语音对话系统中进行语音识别优化的方法。
根据本发明的第五方面,提供一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明上述任一项在智能语音对话系统中进行语音识别优化的方法。
本发明实施例的有益效果在于:通过对智能语音对话系统进行对话节点的划分,并对智能语音对话系统中涉及的每个对话节点分别训练出适配的语言模型,来实现对语音识别系统的优化,从而实现将统一语言模型与节点语言模型的融合,达到既能进行通用识别又能针对性地进行语音识别的效果,使得语音识别能够与逻辑复杂的实际会话环境相适应,大幅提升智能对话系统中的语音识别准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的一实施方式的在智能语音对话系统中进行语音识别优化的方法流程图;
图2为本发明的一实施方式的创建和关联适配于相应对话节点的节点语言模型的方法流程图;
图3为本发明的另一实施方式的在智能语音对话系统中进行语音识别优化的方法流程图;
图4为本发明的一实施方式的对智能语音对话系统进行语音识别优化的装置原理框图;
图5为本发明的又一实施方式的对智能语音对话系统进行语音识别优化的装置原理框图;
图6为本发明的一实施方式的应用了本发明实施例的语音识别优化方法的智能语音对话系统的原理框图;
图7为本发明的电子设备的一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本发明中,“模块”、“装置”、“系统”等指应用于计算机的相关实体,如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说,例如,元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有,运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中,并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间,并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号,例如,来自一个与本地系统、分布式系统中另一元件交互的,和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”,不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明实施例的语音识别优化方法可以应用于任何配置了语音对话功能的终端设备,例如,智能手机、平板电脑、智能家居等终端设备,本发明对此不作限制,从而能够使得用户在使用这些终端设备进行语音交互的过程中获得更准确的响应,提升用户体验。
以下结合附图对本发明实施例进行详细阐述。
图1示意性地显示了在智能语音对话系统中进行语音识别优化的方法流程,如图1所示,本发明的实施例提供一种在智能语音对话系统中进行语音识别优化的方法,其包括如下步骤:
步骤S101:对智能语音对话系统进行对话节点的划分。
智能对话系统中一般会涉及不同的多种业务场景,而针对不同的业务场景,对话内容是有很大差异的,因此,基于业务场景对智能对话系统进行对话节点的划分,就可以将对话节点与业务场景相关联,使得在每个对话节点用户的对话内容都能够具有较高的一致性预期,这样就可以针对不同的对话节点来分别组织语料进行模型训练,使得训练出的模型与对话节点高度适配,以提高语音识别效果。
示例性地,对于包括获取姓名、获取地址和获取车牌号三个业务场景的智能对话系统,就可以将三个业务场景划分为三个对话节点,在与获取姓名对应的对话节点,对话内容是希望用户表达姓名,在与获取地址对应的对话节点,对话内容是让用户表达特定地址,而在于获取车牌号对应的对话节点,对话内容是希望用户表达特定车牌号。这三种不同的对话节点的对话内容具有实质差异,因而当采用传统的语音识别模型时,就很容易发生识别错误的情况,例如:
在获取车牌号的对话场景下,如果采用传统统一的语音识别模型进行识别时,车牌号“苏E56AY5”的语音回复内容,很容易被误识别为“所以五六AY我”;
在获取姓名的对话场景下,如果采用传统统一的语音识别模型进行识别时,姓名“刘学生”的用户回复内容,很容易被误识别为“留学生”;
在获取地址的对话场景下,如果采用传统统一的语音识别模型进行识别时,地址“三期”的用户回复内容,很容易被误识别为“三七”。
可见,采用传统统一的语音识别模型的情况下,对跟业务场景相关的对话节点的语音识别效果并不佳,尤其当用户说法很短,语音识别的语言模型不考虑对话的上下文信息,很容易出错。究其原因,发明人认为是由于不同对话节点需要的训练语料并不相同,合在一起训练的方式,很难达到很好的效果,优化成本很高。
步骤S102:为智能语音对话系统中涉及的对话节点分别创建和关联适配于相应对话节点的节点语言模型。本发明实施例中,除了在智能语音对话系统中继续利用现有的统一的通用语言模型之外,还为每个对话节点都分别创建一个相对应的节点语言模型,并将创建的节点语言模型与相应的对话节点关联绑定,以实现通过节点语言模型与通用语言模型的融合来实现语音识别,由此可以大幅提高语音转文本的识别准确率。
其中,图2示意性地显示了本发明一种实现方式的为对话节点分别创建和关联适配的节点语言模型的方法流程,如图2所示,其实现为包括:
步骤S201:根据对话类型为各对话节点配置语料文件。由于不同的对话节点涉及的业务场景不同,因而根据其对话类型,各个对话节点的对话内容也是完全不同的。因而,为了提高特定的对话节点的语音识别准确度,发明人考虑根据该对话节点用户可能回复的语言来提取语料进行节点语言模型的训练,即针对特定对话节点的回复话术,依据回复类型生成对应内容的原始语料。示例性地,对于“询问是否发烧”的对话节点,根据该对话类型,其回复话术包括肯定回答、否认回答、发烧情况和具体的温度信息等,根据其回复话术内容就可以将包含所有常见的关于发烧问题的回答设置为原始语料,并添加到语料文件中,比如常用的肯定否认回答(是的、没有),常见的关于发烧问题的回答(发烧了、没发烧、体温正常),具体的温度信息(三十六度五、三十七度、三十八度六)等。
优选地,在进行语料文件的配置时,还可以根据实际情况(如根据实际测试结果的准确率)和原始语料所属的回复类型,将原始语料以不同频率(即重复次数)添加到最终语料中,以形成语料文件。由此形成的语料文件更接近实际情况,进而使得语言模型的训练优化效果更好。
步骤S202:根据配置的语料文件训练生成与各对话节点适配的节点语言模型并发布。其中,进行模型训练和发布可以通过现有的模型训练平台如苏州思必驰信息科技有限公司提供的智能客服管理平台的语言模型训练模块等实现。其中,在训练模型时,需要将步骤S201形成的语料文件作为训练语料上传到训练平台,并为训练的节点语言模型设置模型名称。这样,在提交进行训练后,训练平台会自动生成节点语言模型并将其发布。
步骤S203:将发布的节点语言模型与相应的对话节点关联绑定。在划分了对话节点后,可以通过对话管理平台对每个对话节点进行属性编辑,以将特定的对话节点与训练生成并发布的节点语言模型关联绑定,例如通过在对话节点的属性节点设置下轮语音识别节点资源的属性,并通过将该属性值设置为发布的对应节点语言模型,来实现对话节点与节点语言模型的关联绑定。其中,对话管理平台可以是现有的智能语音对话系统的已有对话管理平台,也可以是采用语音供应商提供的对话管理平台,例如采用苏州思必驰信息科技公司提供的对话管理平台,只需要在原有对话管理平台根据对话节点的划分,设置不同的对话节点名称及其对应的可编辑属性,特别是增加设置用于关联绑定节点语言模型的下轮语音识别节点资源的属性即可。
步骤S103:响应于在相应的对话节点接收到的答复语音,调用对应的节点语言模型进行语音识别,并将对应的节点语言模型的识别结果融合至智能语音对话系统的通用语言模型。
在为相应的对话节点关联设置了节点语言模型后,在实际应用中,如果接收到答复语音,就会根据在对话管理平台的关联绑定,调用相应的节点语言模型对接收到的答复语音进行识别。之后,通过将节点语言模型的识别结果融合到智能语音对话系统的原有的通用语言模型,就可以得到最终的识别结果。该方式由于考虑到了特定对话场景下的语料内容特点,因而识别结果能够更接近实际情况,识别准确率更高。其中,将节点语言模型的识别结果融合到智能语音对话系统的原有的通用语言模型可以实现为:对接收到的同一用户语音,分别调用对应对话节点的节点语言模型和系统的通用语言模型进行识别,分别得到各自的候选识别结果,之后基于为节点语言模型和通用语言模型预先设置的权重来调整所有候选识别结果的概率,并根据最终计算出的概率大小,将概率最大的候选识别结果确定为最终识别结果。而在该对话节点没有节点语言模型的情况下,则是直接基于通用语言模型进行候选识别结果的获取和根据对候选识别结果的概率推算来确定最终识别结果。其中,对候选识别结果进行概率计算以确定最终识别结果的方式可以参照现有技术中确定语音识别结果的相关方法,在此不进行赘述。优选地,在进行融合时,将节点语言模型的权重设置为大于通用语言模型的权重,例如节点语言模型的权重设置为0.8,而通用语言模型的权重设置为0.2,基于该权重分配来计算两个语言模型得到的候选识别结果的概率。
在优选实现例中,除了在智能语音对话系统中增加设置基于对话节点的节点语言模型外,在原有通用语言模型的基础上,还可以根据智能语音对话系统所应用的行业特点,为智能语音对话系统创建和关联适配于特定行业场景的专用语言模型。其中,创建适配于特定行业场景的专用语言模型的方式可以参照节点语言模型的创建和发布方式,不同在于,配置的语料文件中的语料内容是与智能语音对话系统所面向的行业相适应的,如金融行业或快递行业,由此创建的专用语言模型就能够很好地适用于某一垂直行业。而通过将该专用语言模型增加到智能语音对话系统中,就可以使得智能语音对话系统能够准确地识别出该行业的常用词以及相关术语。其中,专用语言模型增加到智能语音对话系统的方式可以参照传统的通用语言模型与智能语音对话系统关联的方式。这样,在该实现例中,智能语音对话系统关联的语言模型就包括三路,即一路是与对话节点对应绑定的节点语言模型,一路是面向行业场景的专用语言模型,而另一路则是适用于广泛的对话系统的通用语言模型。这样,在实际应用中,在运行到某一对话节点时,响应于接收到的用户语音,在调用节点语言模型进行语音识别之后,还将节点语言模型的识别结果融合至智能语音对话系统的专用语言模型和通用语言模型。其中,将节点语言模型的识别结果融合至系统的转用语言模型和通用语言模型是指对三种模型得到的候选识别结果基于权重进行概率计算,并根据概率计算结果选取概率最大的候选识别结果作为最终识别结果。优选地,将三种模型的权重配置为节点语言模型的权重大于专用语言模型的权重,而专用语言模型的权重则设置为大于通用语言模型的权重,例如将节点语言模型的权重设置为0.5、将专用语言模型的权重设置为0.3、而将通用语言模型的权重设置为0.2。示例性地,以用户说的语音是“SanQi”为例,在仅有通用语言模型的系统中,得到的候选识别结果例如包括“三起”、“三期”、“三七”,此时,就根据通用语言模型输出的各个候选识别结果对应的概率,选取概率最大的作为最终识别结果;而增加了专用语言模型后,假设通用语言模型得到的候选识别结果也是包括“三起”、“三期”、“三七”,对应专用语言模型为医疗行业的情况下,由于在专用语言模型中增加了医疗行业的语料训练,那么专用语言模型得到的候选识别结果就是“三七”,因而通过加入权重后的概率计算,“三七”作为中药名的概率会被放大,因此“三七”这个结果会被优先识别;而增加了节点语言模型的情况下,假设通用语言模型得到的候选识别结果也是包括“三起”、“三期”、“三七”,而专用语言模型得到的候选识别结果是“三七”,而在某个对话节点前,如果是存在询问“有几期”的上下文对话逻辑,那么由于在节点语言模型中进行了特定对话内容的语料训练,节点语言模型得到的候选识别结果就为“三期”,此时,通过进行权重计算,“三期”这个候选识别结果的概率会被放大,因而“三期”这个结果会被优先识别。由于节点语言模型能够根据对话逻辑的上下文来提高识别效果,专用语言模型能够根据某个行业的特点来提高行业词汇的识别效果,由此,在对话进行到该特定节点时,绑定的三路语言模型会与一路资源(即通用语言模型)、二路资源(即专用语言模型)的识别结果融合,大幅提升语音转文本的精确性。大量的实验结果表明,本发明实施例的发明构思下的语音识别方法在回复语言为短句、词语时语音识别效果尤其好。
图3示意性地显示了本发明另一实现例的在智能语音对话系统进行语音识别优化的方法流程,如图3所示,该方法在图1所示实施例的基础上,还包括:
步骤S301:对智能语音对话系统进行对话节点的划分。
步骤S302:为智能语音对话系统中涉及的对话节点分别创建和关联适配于相应对话节点的节点语言模型。
步骤S303:根据智能语音对话系统所应用的行业特点,为智能语音对话系统创建和关联适配于特定行业场景的专用语言模型。
步骤S304:为通用语言模型、专用语言模型和节点语言模型的语音识别结果分别配置结果标识。
步骤S305:响应于在相应的对话节点接收到的答复语音,调用对应的节点语言模型进行语音识别,并将对应的节点语言模型的识别结果融合至智能语音对话系统的通用语言模型。
步骤S306:响应于接收到的搜索指令,获取符合条件的识别日志记录输出,其中,输出的识别日志记录包括结果标识和对应的识别结果。
其中,步骤S301至步骤S303以及步骤S305的具体实现方式可以参照前文描述。在步骤S304中,可以分别为不同的语言模型的识别结果分别设置不同的结果标识,以用于标识识别结果是由哪个语言模型识别出的。示例性地,在步骤S304中,为通用语言模型的语音识别结果设置的结果标识为rawrec_comm,为专用语言模型的语音识别结果设置的结果标识为rawrec_ab,为节点语言模型的语音识别结果设置的结果标识为rawrec_c。这样,在进行识别的过程中,就会将各个语言模型的识别结果以及最终识别结果都记录在运行日志中,在实际通过对话测试后,就可以通过获取识别日志记录来得到识别结果的记录,以此查看各个语言模型是否被成功应用到该智能语音对话系统中。其中,获取识别日志记录可以通过设置搜索条件,如编号、测试时间等搜索条件来发出搜索指令,以此获取到符合条件的识别日志记录。
以对话节点为确认身份为例,以下对本发明实施例的语音识别优化方法在具体应用场景中的应用进行进一步说明。
示例性地,在外呼的智能语音对话系统中会询问电话接听者是否为本人,该对话在“确认身份”对话节点完成,用户可能会在该对话节点表示确认、否认、忙碌等意图。智能语音对话系统在接收到用户回复语音时,将会对用户语音进行识别,再进行意图识别,最后根据意图标签进行对话节点的跳转。在该应用场景下,首先会基于该对话节点的设定,准备训练语料,得到语料文件。其中,训练语料的准备是基于“确认身份”对话节点的询问方式和实际可能的回答以及线上试运行时收集到的该对话节点实际回复日志来准备的,如智能语音对话系统的询问方式为“请问您是XX本人吗?”时,根据可能的回答,准备的部分原始语料内容如可以包括以下:
然后,对于准备的原始语料,可以依据实际情况对以上原始语料内容按比例写入语料文件,以生成最终语料。其中,实际情况是指对于实际识别效果的考量,例如在实际测试中某一词汇的识别效果不理想,就将识别效果不理想的词和相关语料写入语料文件。比例是指对于同一语料的写入次数,如:关于确认的回答重复5次,否认的回答重复4次,忙碌的回答重复3次。其中,语料文件可以为txt格式的文件。
在形成了最终语料文件后,即可通过在训练平台选中预期项目,然后点击“语言模型训练”进行模型配置,包括填写模型名称和上传txt格式的语料文件,之后点击“确认”后开始模型训练。示例性地,填写的模型名称可以为英文字母及数字符号。之后,平台即可训练生成相应的节点语言模型,并将其发布。其中,在应用了思必驰的训练平台的实例中,可以通过在页面的“状态查询”选项查看到已训练发布的节点语言模型。
在完成了模型训练和发布后,在对话管理平台对该项目的特定对话节点进行属性编辑,如将“下轮语音识别节点资源”的属性值设置为之前训练的某一节点语言模型的模型名称即可实现对应资源的选择,以将该对话节点与相应的节点语言模型相关联。
为了能够有效验证对增设的节点语言模型的应用情况,可以通过模型验证的方式来查看训练的节点语言模型是否得到有效应用。示例性地,可以在项目测试发布且实际通过电话测试后,进入数据中台(如思必驰公司提供的数据众泰)验证节点语言模型是否生效。通过在数据中台的用户界面填写“编号”和选择测试时间,点击“搜索”按钮,即可查询到所有的语音识别记录,通过点击对应对话节点的回复,如“对,对,是的”这一回复,即可打开该对话节点的语音识别日志记录,在该日志记录中通过结果标识即可知道某一识别结果是由哪个语言模型提供的,由此就可以确定出该语言模型是否生效。示例性地,以节点语言模型的结果标识为rawrec_c为例,日志记录中如果存在以rawrec_c表示的文本结果,即表示该节点语言模型已经生效。
图4示意性地显示了本发明一种实施方式的对智能语音对话系统进行语音识别优化的装置,如图4所示,其包括
对话管理模块40,用于对所述智能语音对话系统进行对话节点的划分;和
模型管理模块41,用于为所述智能语音对话系统中涉及的对话节点分别创建和关联适配于相应对话节点的节点语言模型。
在优选实现例中,所述模型管理模块41还可以配置为用于根据所述智能语音对话系统所应用的行业,为所述智能语音对话系统创建和关联适配于特定行业场景的专用语言模型。
图5示意性地显示了本发明一种实施方式的对智能语音对话系统进行语音识别优化的装置,在该实现例中,模型管理模块41还用于为所述通用语言模型、专用语言模型和节点语言模型的语音识别结果分别配置结果标识,如图5所示,其在图4所示实施例的基础上还包括
模型验证模块42,用于响应于接收到的搜索指令,获取符合条件的识别日志记录输出,其中,输出的识别日志记录包括结果标识和对应的识别结果。
其中,图4和图5所示的装置实施例中的对话管理模块40进行对话节点划分的方法、模型管理模块41进行语言模型创建和关联的方法以及配置结果标识的方法、模型验证模块42进行模型有效性验证的方法,均可以参照前文方法部分的描述,在此不再赘述。
图6示意性地显示了应用了上述语音识别优化方法的智能语音对话系统,如图6所示,其包括
适配于智能语音对话系统中的各个对话节点的节点语言模型60;
适用于不同智能语音对话系统的通用语言模型61;
适配于所述智能语音对话系统所属的行业场景的专用语言模型62;和
识别处理模块63,用于响应于在相应的对话节点接收到的答复语音,调用节点语言模型进行语音识别,并将节点语言模型的识别结果融合至通用语言模型和专用语言模型。
其中,节点语言模型60通过上述的方法进行训练和关联至各个对话节点,通用语言模型61为利用现有的方式训练生成并关联的整个智能语音对话系统都可以统一使用的通用语言模型61,专用语言模块62是基于对话系统所面向的行业进行训练并关联至整个智能语音对话系统、可以被整个系统统一使用的适配于垂直行业的语言模型,本发明实施例的智能语音对话系统通过融合三个语言模型的识别结果来实现语音识别,其中,识别处理模块63融合三路语言模型进行语音识别的方式可以参照前文叙述,在此不再赘述。
由此,本发明实施例提供的语音识别方法能够利用三路语言模型进行语音识别,充分考虑了对话场景和行业场景,能够有效提高语音识别的准确率和识别效率,且只需要在特定的有需求的对话节点进行节点语言模型训练和关联,或在特定的垂直行业进行专用语言模型的训练和关联即可,可扩展性非常好,优化成本相对统一共同的通用语言模型来说相对低的多。
在一些实施例中,本发明实施例提供一种非易失性计算机可读存储介质,所述存储介质中存储有一个或多个包括执行指令的程序,所述执行指令能够被电子设备(包括但不限于计算机,服务器,或者网络设备等)读取并执行,以用于执行本发明上述任一项对智能语音对话系统进行语音识别优化的方法。
在一些实施例中,本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述任一项对智能语音对话系统进行语音识别优化的方法。
在一些实施例中,本发明实施例还提供一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行对智能语音对话系统进行语音识别优化的方法。
在一些实施例中,本发明实施例还提供一种存储介质,其上存储有计算机程序,其中,该程序被处理器执行时,能够实现上述对智能语音对话系统进行语音识别优化的方法。
上述本发明实施例的对智能语音对话系统进行语音识别优化的装置可用于执行本发明实施例的对智能语音对话系统进行语音识别优化的方法,并相应的达到上述本发明实施例的实现对智能语音对话系统进行语音识别优化的方法所达到的技术效果,这里不再赘述。本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
图7是本申请另一实施例提供的执行对智能语音对话系统进行语音识别优化的方法的电子设备的硬件结构示意图,如图7所示,该设备包括:
一个或多个处理器410以及存储器420,图7中以一个处理器410为例。
执行对智能语音对话系统进行语音识别优化的方法的设备还可以包括:输入装置430和输出装置440。
处理器410、存储器420、输入装置430和输出装置440可以通过总线或者其他方式连接,图7中以通过总线连接为例。
存储器420作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的对智能语音对话系统进行语音识别优化的方法对应的程序指令/模块。处理器410通过运行存储在存储器420中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的对智能语音对话系统进行语音识别优化的方法。
存储器420可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据对智能语音对话系统进行语音识别优化的装置的使用所创建的数据等。此外,存储器420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器420可选包括相对于处理器410远程设置的存储器,这些远程存储器可以通过网络连接至对智能语音对话系统进行语音识别优化的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可接收输入的数字或字符信息,以及产生与对智能语音对话系统进行语音识别优化的装置的用户设置以及功能控制有关的信号。输出装置440可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器420中,当被所述一个或者多个处理器410执行时,执行上述任意方法实施例中的对智能语音对话系统进行语音识别优化的方法。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.在智能语音对话系统中进行语音识别优化的方法,包括:
对所述智能语音对话系统进行对话节点的划分;
为所述智能语音对话系统中涉及的对话节点分别创建和关联适配于相应对话节点的节点语言模型;
响应于在相应的对话节点接收到的答复语音,调用所述节点语言模型进行语音识别,并将所述节点语言模型的识别结果融合至所述智能语音对话系统的通用语言模型。
2.根据权利要求1所述的方法,其特征在于,还包括
根据所述智能语音对话系统所应用的行业,为所述智能语音对话系统创建和关联适配于特定行业场景的专用语言模型;
在调用所述节点语言模型进行语音识别之后,还将所述节点语言模型的识别结果融合至所述专用语言模型和智能语音对话系统的通用语言模型。
3.根据权利要求1或2所述的方法,其特征在于,为所述智能语音对话系统中涉及的对话节点分别创建和关联适配于相应对话节点的节点语言模型包括
根据对话类型为各对话节点配置语料文件;
根据配置的语料文件训练生成与各对话节点适配的节点语言模型并发布;
将发布的节点语言模型与相应的对话节点关联绑定。
4.根据权利要求2所述的方法,其特征在于,还包括:
为所述通用语言模型、专用语言模型和节点语言模型的语音识别结果分别配置结果标识;
响应于接收到的搜索指令,获取符合条件的识别日志记录输出,其中,输出的识别日志记录包括结果标识和对应的识别结果。
5.对智能语音对话系统进行语音识别优化的装置,其特征在于,包括
对话管理模块,用于对所述智能语音对话系统进行对话节点的划分;和
模型管理模块,用于为所述智能语音对话系统中涉及的对话节点分别创建和关联适配于相应对话节点的节点语言模型。
6.根据权利要求5所述的装置,其特征在于,所述模型管理模块还用于根据所述智能语音对话系统所应用的行业,为所述智能语音对话系统创建和关联适配于特定行业场景的专用语言模型。
7.根据权利要求6所述的装置,其特征在于,所述模型管理模块还用于为所述通用语言模型、专用语言模型和节点语言模型的语音识别结果分别配置结果标识;
所述装置还包括
模型验证模块,用于响应于接收到的搜索指令,获取符合条件的识别日志记录输出,其中,输出的识别日志记录包括结果标识和对应的识别结果。
8.智能语音对话系统,其特征在于,包括
适配于智能语音对话系统中的各个对话节点的节点语言模型;
适用于不同智能语音对话系统的通用语言模型;
适配于所述智能语音对话系统所属的行业场景的专用语言模型;和
识别处理模块,用于响应于在相应的对话节点接收到的答复语音,调用所述节点语言模型进行语音识别,并将所述节点语言模型的识别结果融合至所述通用语言模型和专用语言模型。
9.一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-4中任意一项所述方法的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-4中任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010824327.6A CN111933118B (zh) | 2020-08-17 | 2020-08-17 | 进行语音识别优化的方法、装置及应用其的智能语音对话系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010824327.6A CN111933118B (zh) | 2020-08-17 | 2020-08-17 | 进行语音识别优化的方法、装置及应用其的智能语音对话系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111933118A true CN111933118A (zh) | 2020-11-13 |
CN111933118B CN111933118B (zh) | 2022-11-15 |
Family
ID=73311456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010824327.6A Active CN111933118B (zh) | 2020-08-17 | 2020-08-17 | 进行语音识别优化的方法、装置及应用其的智能语音对话系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111933118B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113408736A (zh) * | 2021-04-29 | 2021-09-17 | 中国邮政储蓄银行股份有限公司 | 语音语义模型的处理方法和装置 |
CN113539245A (zh) * | 2021-07-05 | 2021-10-22 | 思必驰科技股份有限公司 | 语言模型自动训练方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106328147A (zh) * | 2016-08-31 | 2017-01-11 | 中国科学技术大学 | 语音识别方法和装置 |
CN108062954A (zh) * | 2016-11-08 | 2018-05-22 | 科大讯飞股份有限公司 | 语音识别方法和装置 |
CN110299136A (zh) * | 2018-03-22 | 2019-10-01 | 上海擎感智能科技有限公司 | 一种用于语音识别的处理方法及其系统 |
CN110610700A (zh) * | 2019-10-16 | 2019-12-24 | 科大讯飞股份有限公司 | 解码网络构建方法、语音识别方法、装置、设备及存储介质 |
CN111078846A (zh) * | 2019-11-25 | 2020-04-28 | 青牛智胜(深圳)科技有限公司 | 一种基于业务场景的多轮对话体系构建方法及系统 |
CN111128126A (zh) * | 2019-12-30 | 2020-05-08 | 上海浩琨信息科技有限公司 | 多语种智能语音对话的方法及系统 |
CN111210816A (zh) * | 2019-12-16 | 2020-05-29 | 北京淇瑀信息科技有限公司 | 一种智能语音配置管理方法、装置及电子设备 |
-
2020
- 2020-08-17 CN CN202010824327.6A patent/CN111933118B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106328147A (zh) * | 2016-08-31 | 2017-01-11 | 中国科学技术大学 | 语音识别方法和装置 |
CN108062954A (zh) * | 2016-11-08 | 2018-05-22 | 科大讯飞股份有限公司 | 语音识别方法和装置 |
CN110299136A (zh) * | 2018-03-22 | 2019-10-01 | 上海擎感智能科技有限公司 | 一种用于语音识别的处理方法及其系统 |
CN110610700A (zh) * | 2019-10-16 | 2019-12-24 | 科大讯飞股份有限公司 | 解码网络构建方法、语音识别方法、装置、设备及存储介质 |
CN111078846A (zh) * | 2019-11-25 | 2020-04-28 | 青牛智胜(深圳)科技有限公司 | 一种基于业务场景的多轮对话体系构建方法及系统 |
CN111210816A (zh) * | 2019-12-16 | 2020-05-29 | 北京淇瑀信息科技有限公司 | 一种智能语音配置管理方法、装置及电子设备 |
CN111128126A (zh) * | 2019-12-30 | 2020-05-08 | 上海浩琨信息科技有限公司 | 多语种智能语音对话的方法及系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113408736A (zh) * | 2021-04-29 | 2021-09-17 | 中国邮政储蓄银行股份有限公司 | 语音语义模型的处理方法和装置 |
CN113408736B (zh) * | 2021-04-29 | 2024-04-12 | 中国邮政储蓄银行股份有限公司 | 语音语义模型的处理方法和装置 |
CN113539245A (zh) * | 2021-07-05 | 2021-10-22 | 思必驰科技股份有限公司 | 语言模型自动训练方法及系统 |
CN113539245B (zh) * | 2021-07-05 | 2024-03-15 | 思必驰科技股份有限公司 | 语言模型自动训练方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111933118B (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110442701B (zh) | 语音对话处理方法及装置 | |
EP3912077A1 (en) | Maintaining machine language model state across communications channels | |
CN109325091B (zh) | 兴趣点属性信息的更新方法、装置、设备及介质 | |
CN110970021B (zh) | 一种问答控制方法、装置及系统 | |
CN109388691A (zh) | 用于生成对话代理的方法和系统 | |
CN111798833B (zh) | 一种语音测试方法、装置、设备和存储介质 | |
US20200004878A1 (en) | System and method for generating dialogue graphs | |
CN111261151B (zh) | 一种语音处理方法、装置、电子设备及存储介质 | |
CN111933118B (zh) | 进行语音识别优化的方法、装置及应用其的智能语音对话系统 | |
CN110297616B (zh) | 话术的生成方法、装置、设备以及存储介质 | |
CN109542780B (zh) | 自然语言处理应用的测试方法、测试设备及存储介质 | |
CN103605492A (zh) | 一种自适应语言训练方法和平台 | |
JP7375089B2 (ja) | 音声応答速度確定方法、装置、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム | |
CN109918492A (zh) | 一种人机对话设置方法和人机对话设置系统 | |
Lee | Voice user interface projects: build voice-enabled applications using dialogflow for google home and Alexa skills kit for Amazon Echo | |
CN105427857A (zh) | 生成文字记录的方法及系统 | |
JP7182584B2 (ja) | スピーチ理解における解析異常の情報を出力するための方法 | |
CN110442698A (zh) | 对话内容生成方法及系统 | |
US11533279B2 (en) | Method for electronic messaging using image based noisy content | |
CN111966803B (zh) | 对话模拟方法、装置、存储介质及电子设备 | |
CN112837678B (zh) | 私有云识别训练方法和装置 | |
CN111222322A (zh) | 信息处理方法和电子设备 | |
CN109412931A (zh) | 利用即时通讯方式进行知识问答的方法、装置和终端设备 | |
CN113539245A (zh) | 语言模型自动训练方法及系统 | |
CN111494950B (zh) | 游戏语音处理方法及装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant after: Sipic Technology Co.,Ltd. Address before: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant before: AI SPEECH Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |