CN110866100A - 一种话术泛化方法、装置及电子设备 - Google Patents
一种话术泛化方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110866100A CN110866100A CN201911081549.7A CN201911081549A CN110866100A CN 110866100 A CN110866100 A CN 110866100A CN 201911081549 A CN201911081549 A CN 201911081549A CN 110866100 A CN110866100 A CN 110866100A
- Authority
- CN
- China
- Prior art keywords
- dialogues
- dialog
- correct
- input
- dialect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005516 engineering process Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 abstract description 29
- 238000010586 diagram Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 235000021178 picnic Nutrition 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 235000006040 Prunus persica var persica Nutrition 0.000 description 1
- 240000006413 Prunus persica var. persica Species 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种话术泛化方法、装置及电子设备,该方法包括:获取第一输入话术;根据所述第一输入话术确定对话意图;根据所述对话意图泛化话术,以获得目标话术。目标话术(即训练样本)基于第一输入话术确定,减少了人工参与,降低了人工成本,并且,由于第一输入话术并不限定专业人员输入,也降低了确定训练样本的专业性。
Description
技术领域
本发明涉及语音识别技术领域,尤其涉及一种话术泛化方法、装置及电子设备。
背景技术
在构建对话系统时,需要由专业人员设定对话场景下的大量话术,例如,通过工程人员编写这些话术;然后将这些话术作为训练样本,输入至机器学习模型中,以对机器学习模型进行训练。通过机器学习模型的不断优化迭代,获得对话系统。对话系统可以对用户话术进行语义理解,从而实现人机对话。
在上述确定训练样本时,需要专业人员对话术进行设定,专业性高,且效率低。
发明内容
本发明实施例提供一种话术泛化方法、装置及电子设备,以解决现有技术中,在构建对话系统时,获取训练样本时需要专业人员参与,且效率低的问题。
为解决上述技术问题,本发明是这样实现的:
第一方面,本发明实施例提供了一种话术泛化方法,所述方法包括:
获取第一输入话术;
根据所述第一输入话术确定对话意图;
根据所述对话意图泛化话术,以获得目标话术。
第二方面,本发明实施例还提供一种话术泛化装置,包括:
第一获取模块,用于获取第一输入话术;
确定模块,用于根据所述第一输入话术确定对话意图;
第二获取模块,用于根据所述对话意图泛化话术,以获得目标话术。
第三方面,本发明实施例还提供一种电子设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述话术泛化方法的步骤。
在本发明实施例中,获取第一输入话术;根据所述第一输入话术确定对话意图;根据所述对话意图泛化话术,以获得目标话术。目标话术(即训练样本)基于第一输入话术获取,减少了人工参与,降低了人工成本,并且,由于第一输入话术并不限定专业人员输入,也降低了确定训练样本的专业性。
附图说明
图1是本发明实施例提供的话术泛化方法的流程图;
图2是本发明实施例提供的正确话术的结构组成图;
图3是本发明实施例提供的话术泛化装置的一结构图;
图4是本发明实施例提供的话术泛化装置的另一结构图;
图5是本发明实施例提供的电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1是本发明实施例提供的话术泛化方法的流程图之一,如图1所示,本实施例提供一种话术泛化方法,应用于话术泛化装置,包括以下步骤:
步骤101、获取第一输入话术。
话术泛化装置可理解为应用话术泛化方法的电子设备。第一输入话术可由用户输入,此处的用户可为需要使用对话系统的用户,并不限定为构建对话系统训练样本的专业人员。第一输入话术可理解为查询语句,例如:今天天气怎么样?
步骤102、根据所述第一输入话术确定对话意图。
话术泛化装置在获取到第一输入话术之后,对第一输入话术进行分析,确定对话意图。例如,对“今天天气怎么样”进行分析后,确定的对话意图为天气查询意图。
步骤103、根据所述对话意图泛化话术,以获得目标话术。
根据对话意图泛化话术,获得目标话术时,可包括:根据所述对话意图泛化话术,以获得中间话术;对所述中间话术的槽位进行泛化,获得目标话术。即先根据对话意图泛化话术,获得中间话术,然后对中间话术的槽位进行泛化,最终获得目标话术。具体的,获得的中间话术包括多条中间子话术,对每条中间子话术进行槽位提取,并对槽位进行泛化,最终获得目标话术,目标话术可包括多条目标子话术。
本实施例中,获取第一输入话术;根据所述第一输入话术确定对话意图;根据所述对话意图泛化话术,以获得目标话术。由于目标话术(即训练样本)基于第一输入话术获取,减少了人工参与,降低了人工成本,并且,由于第一输入话术并不限定专业人员输入,也降低了确定训练样本的专业性。
在本申请一个实施例中,步骤103、根据所述对话意图泛化话术,以获得目标话术,包括:
从预获取的无监督对话数据中获取与所述对话意图匹配的第一话术;
若所述第一话术中正确话术的个数占比大于预设阈值,则根据所述正确话术确定目标话术。
具体的,话术泛化装置根据对话意图从无监督对话数据中获取第一话术。话术泛化装置根据语义理解模型,从无监督对话数据中获取与对话意图匹配的第一话术。第一话术可理解为对第一输入话进行泛化后的话术。语义理解模型根据文本语义相似度技术构建,文本语义相似度技术是指:通过深度学习模型采用时间序列迭代的方式对文本进行语义编码,并用过余弦相似度或欧式距离判断两个文本之间的语义相似程度,当文本之间相似度大于设定的阈值时,可以认为其语义信息近似,并加入到自动泛化话术集中。
例如:第一输入话术为:帮我查询一下天气;
自动泛化语句(即第一话术)为:请问一下北京明天的天气怎么样?
话术泛化装置根据对话意图从无监督对话数据中获取第一话术,第一话术与对话意图匹配。例如,获取的第一话术可为“请查询一下今天的天气”、“今天天气适合郊游吗”等等。第一话术与对话意图匹配,可理解为第一话术的意图与对话意图相同。如“请查询一下今天的天气”、“今天天气适合郊游吗”均为天气查询意图。无监督对话数据为预先获取,无监督对话数据包括大量的话术,这些话术可包括用户输入至话术泛化装置的历史查询话术。
话术泛化装置可获取一条或多条第一话术。
话术泛化装置获取的第一话术并未都是正确话术,需要用户对第一话术的正确性进行判断。
虽然话术泛化装置在获取第一话术时,是根据对话意图获取的,但是话术泛化装置在获取第一话术时,存在一定的误差,可能第一话术中存在与第一输入话术的实际对话意图不同的话术。例如,“请查询一下今天的天气”与“今天天气怎么样?”所表述的意思相同(话术泛化装置判断为相同的对话意图),都是问今天天气情况,而“今天天气适合郊游吗”虽然也是与天气有关,属于天气查询意图,但是与“今天天气怎么样?”所表述的实际对话意图并不相同。因此,“请查询一下今天的天气”为正确话术,“今天天气适合郊游吗”为错误话术。正确话术可理解为与第一输入话术表述意思相同(即实际对话意图相同)的话术,错误话术可理解为与第一输入话术表述意思不同(即实际对话意图不同)的话术。
第一话术是正确话术还是错误话术,可由话术泛化装置判定,也可以由用户进行判定。当由用户判定时,向用户显示第一话术,由用户对第一话术进行标记来实现。例如,话术泛化装置在获取到第一话术后,在显示屏上显示第一话术,第一话术可包括多条第一子话术。当话术泛化装置获取到多条第一子话术时,可以按照列表形式来显示各个第一子话术,并在各第一子话术的一侧显示正确按钮和错误按钮。用户可通过点击第一子话术旁侧的正确按钮、或者错误按钮,来对第一子话术的正确或错误进行标记。话术泛化装置可根据用户输入的标记对正确话术的个数进行统计,若所述第一话术中正确话术的个数占比大于预设阈值,则根据所述正确话术确定目标话术。正确话术的个数占比,即正确话术的个数与第一话术的第一子话术的个数的比值。预设阈值可根据实际情况进行设置,在此不做限定。
在本实施例中,用户只需要对话术泛化装置获取的第一话术中的第一子话术进行正确或错误判定,与现有技术需要由用户完全编写话术,可减少人工参与程序,节省用户时间,提高效率。
在本申请一个实施例中,若所述第一话术中正确话术的个数占比大于预设阈值,则根据所述正确话术确定目标话术,包括:
若所述第一话术中正确话术的个数占比大于预设阈值,则对所述正确话术进行槽位抽取,以获取所述正确话术的槽位;
若所述槽位为正确槽位,则根据槽位替换词表对所述正确话术中的槽位进行替换,以获得目标话术。
具体的,对正确话术的槽位进行抽取,具体可根据句法分析模型对正确话术进行槽位抽取。不同的话术,其可能存在的槽位是不同的。句法分析模型首先对正确话术的句子结构进行拆解,获得前缀、后缀、停用词等语义无关词。如图2所示,正确话术“请问今天北京的天气怎么样”中,“请问”为前缀,“怎么样”为后缀,“的”为停用词,将前缀、后缀、停用词去掉,然后根据系统词典提取出槽位,槽位包括通用槽位和意图槽位。今天”为时间槽位,“北京”为地点槽位,“天气”为意图槽位。系统词典可包括时间,地点,人物,实体名称等,具体的,系统词典包括时间库、地点库、人物库和实体名称库。时间库可包括多个时间,例如,今天、明天、后天,或者日期等等,地点库可包括城市名称,例如,北京、上海、深圳、长沙等等。人物库可包括人物对象的名称,例如,老师、学生、家长、老板、司机等等。实体名称可包括除人物对象之外的对象的名称,例如,猫、狗、太阳、月亮、桃树等等。根据系统词典确定正确话术的槽位时,可将正确话术中的词组与系统词典中的词组进行匹配,匹配成功的词组为一个槽位,根据该词组在系统词典中的分类确定槽位的分类。例如,在将第一子话术中的“北京”与系统词典中的词组进行匹配时,会匹配到系统词典地点库中的“北京”,此时,确定“北京”为槽位,且为地点槽位;同样的,在将正确话术中的“今天”会匹配到系统词典时间库中的“今天”,此时,确定“今天”为槽位,且为时间槽位。时间槽位、地点槽位、人物槽位、实体名称槽位可称为通用槽位,正确话术中,除通用槽位之外的槽位,称为意图槽位。在图2中,“天气”为意图槽位。由于正确话术的意图是确定的(与对话意图一致),在本申请中,不对意图槽位进行处理。
本步骤中,正确话术的槽位可理解为通用槽位,即时间槽位、地点槽位、人物槽位、实体名称槽位中的至少一种。
若所述槽位为正确槽位,则根据槽位替换词表对所述正确话术中的槽位进行替换,以获得目标话术。
由于获取正确话术的槽位时,会存在一定的误差率,获取的槽位并不会绝对准确,因此,需要进一步对槽位的正确性进行判断。
槽位是正确槽位还是错误槽位,可由话术泛化装置判定,也可以由用户进行判定。当由用户判定时,向用户显示槽位,由用户对槽位进行标记。例如,话术泛化装置在获取到槽位后,在显示屏上显示槽位,用户通过点击槽位旁侧的正确按钮、或者错误按钮,来对槽位的正确或错误进行标记。当话术泛化装置获取到多个槽位时,可以按照列表形式来显示各个槽位,并在各槽位的一侧显示正确按钮和错误按钮。
若槽位为正确槽位,则根据槽位替换词表对所述正确话术中的槽位进行替换,将槽位替换后的话术作为目标话术。槽位替换词表包括多个词组,这多个词组与槽位属于相同的分类,槽位替换词表可由系统词典获得。例如,对于时间槽位“今天”来说,槽位替换词表可包括时间库中除“今天”之外的词组,对于地点槽位“北京”来说,槽位替换词表可包括地点库中除“北京”之外的词组。槽位与槽位替换词表中的词组属于相同的分类,例如,时间库、地点库、人物库、或者实体名称库等。
对于地点槽位“北京”来说,若对应的槽位替换词表包括上海和深圳,那么在进行槽位替换后,获得的目标话术为“请问今天上海的天气怎么样”以及“请问今天深圳的天气怎么样”。
对于时间槽位“今天”来说,若对应的槽位替换词表包括明天和后天,那么在进行槽位替换后,获得的目标话术为“请问明天北京的天气怎么样”以及“请问后天北京的天气怎么样”。
也可以将正确话术中地点槽位和时间槽位同时进行替换,那么在进行槽位替换后,获得的目标话术为“请问明天上海的天气怎么样”、“请问后天上海的天气怎么样”、“请问明天深圳的天气怎么样”以及“请问后天深圳的天气怎么样”。
获取的目标话术可作为构建对话系统的训练样本,相比于现有技术中,需要专业人员对训练样本进行编写设置,本申请中,训练样本可基于用户的输入话术获取,减少了人工参与,降低了人工成本,并且,由于输入话术并不限定专业人员输入,也降低了确定训练样本的专业性。同时,相比于现有技术中通过人工方式编写训练样本,本申请在无监督对话数据发掘与第一输入话术具有相似语义的话术,可尽量避免目标话术不全的问题。
进一步的,将训练样本输入至机器学习模型(可理解为对话系统)中,以对机器学习模型进行训练,实现后续的人机对话。本申请中用户可通过第一输入话术来确定对话系统的应用场景,使得用户可根据需求制定自定义场景。
本实施例中,获取第一输入话术;根据所述第一输入话术确定对话意图;从预获取的无监督对话数据中获取与所述对话意图匹配的第一话术;若所述第一话术中正确话术的个数占比大于预设阈值,则对所述正确话术进行槽位抽取,以获取所述正确话术的槽位;若所述槽位为正确槽位,则根据槽位替换词表对所述正确话术中的槽位进行替换,以获得目标话术。目标话术(即训练样本)基于第一输入话术获取,减少了人工参与,降低了人工成本,并且,由于第一输入话术并不限定专业人员输入,也降低了确定训练样本的专业性。
进一步的,在所述从预获取的无监督对话数据中获取与所述对话意图匹配的第一话术之后,还包括:
若所述第一话术中正确话术的个数占比不大于预设阈值,则获取第二输入话术;
根据所述第二输入话术更新所述第一输入话术,并执行所述根据所述第一输入话术确定对话意图的步骤。
具体的,第一话术的第一子话术是正确还是错误由用户判定。若第一子话术为错误话术,用户可重新输入话术,此时,话术泛化装置获取到第二输入话术,并将第二输入话术确定为第一输入话术,执行步骤102。即,话术泛化装置根据新的第一输入话术进行泛化,以获取最终的目标话术,为对话系统提供训练样本。
进一步的,所述从预获取的无监督对话数据中获取与所述对话意图匹配的第一话术,包括:
通过语义理解模型从所述无监督对话数据中获取与所述对话意图匹配的第一话术;
在所述从预获取的无监督对话数据中获取与所述对话意图匹配的第一话术之后,还包括:
若接收到判断所述第一话术的意图为错误的输入,则将所述第一话术为错误话术的信息反馈给所述语义理解模型,对所述语义理解模型进行优化迭代。
具体的,采用语义理解模型对第一输入话术进行泛化,即通过语义理解模型从所述无监督对话数据中获取与所述对话意图匹配的第一话术。
第一话术是正确话术还是错误话术,可由话术泛化装置判定,也可以由用户进行判定。当由用户判定时,向用户显示第一话术,由用户对第一话术进行标记来实现。例如,话术泛化装置在获取到第一话术后,在显示屏上显示第一话术,第一话术可包括多条第一子话术。当话术泛化装置获取到多条第一子话术时,可以按照列表形式来显示各个第一子话术,并在各第一子话术的一侧显示正确按钮和错误按钮。用户可通过点击第一子话术旁侧的正确按钮、或者错误按钮,来对第一子话术的正确或错误进行标记。
若第一话术中的第一子话术为错误话术,则话术泛化装置将第一子话术为错误话术的信息反馈给语义理解模型进行优化迭代。例如,若第一子话术“今天天气适合郊游吗”为错误话术,则话术泛化装置将“今天天气适合郊游吗”为错误话术的信息反馈给语义理解模型,语义理解模型可将“今天天气适合郊游吗”的权重降低,以减少“今天天气适合郊游吗”被作为第一子话术的概率。
本申请中,获取的目标话术可作为构建对话系统的训练样本,相比于现有技术中,需要专业人员对训练样本进行编写设置,本申请中,训练样本可基于用户的输入话术获取,减少了人工参与,降低了人工成本,并且,由于输入话术并不限定专业人员输入,也降低了确定训练样本的专业性。同时,相比于现有技术中通过人工方式编写训练样本,本申请在无监督对话数据发掘与第一输入话术具有相似语义的话术,可尽量避免目标话术不全的问题。
本申请利用机器学习和自然语言处理知识,结合海量无监督对话文本(即无监督对话数据)挖掘用户自定义意图下的话术和槽位信息,相较于现有技术中由专业工程人员定制用户场景信息,用户可以通过话术泛化装置实现自定义场景,并实现自动泛化。本申请中的话术泛化方法使得在进行对话系统构建时更加灵活,同时降低了对专业工程人员的依赖,可以更好的满足用户需求。
参见图3,图3是本发明实施例提供的话术泛化装置的结构图之一,如图3所示,本实施例提供一种话术泛化装置300,包括:
第一输入模块301,用于获取第一输入话术;
确定模块302,用于根据所述第一输入话术确定对话意图;
第一获取模块303,用于根据所述对话意图泛化话术,以获得目标话术。
进一步的,如图4所示,第一获取模块303包括:
第一获取子模块3031,用于从预获取的无监督对话数据中获取与所述对话意图匹配的第一话术;
第二获取子模块3032,用于若所述第一话术中正确话术的个数占比大于预设阈值,则根据所述正确话术确定目标话术。
进一步的,第二获取子模块3032,包括:
槽位获取单元,用于若所述第一话术中正确话术的个数占比大于预设阈值,则对所述正确话术进行槽位抽取,以获取所述正确话术的槽位;
槽位替换单元,用于若所述槽位为正确槽位,则根据槽位替换词表对所述正确话术中的槽位进行替换,以获得目标话术。
进一步的,如图4所示,话术泛化装置300还包括:
第二输入模块304,用于若所述第一话术中正确话术的个数占比不大于预设阈值,则获取第二输入话术;
执行模块305,用于根据所述第二输入话术更新所述第一输入话术,并执行所述根据所述第一输入话术确定对话意图的步骤。
进一步的,第一获取子模块3031,用于:
通过语义理解模型从所述无监督对话数据中获取与所述对话意图匹配的第一话术;
如图4所示,话术泛化装置300,还包括:
反馈模块306,用于若接收到根据所述第一话术的意图判定所述第一话术为错误话术的输入,则将所述第一话术为错误话术的信息反馈给所述语义理解模型,以对所述语义理解模型进行优化迭代。
进一步的,所述语义理解模型根据文本语义相似度构建。
进一步的,第一获取模块303,包括:
中间话术获取子模块,用于根据所述对话意图泛化话术,以获得中间话术;
目标话术获取子模块,用于对所述中间话术的槽位进行泛化,获得目标话术。
话术泛化装置300能够实现图1的方法实施例中话术泛化装置实现的各个过程,为避免重复,这里不再赘述。
本实施例中,获取第一输入话术;根据所述第一输入话术确定对话意图;根据所述对话意图泛化话术,以获得目标话术。目标话术(即训练样本)基于第一输入话术获取,减少了人工参与,降低了人工成本,并且,由于第一输入话术并不限定专业人员输入,也降低了确定训练样本的专业性。
参见图5,图5是本发明实施例提供的一种电子设备的结构示意图。如图5所示,电子设备500包括:处理器501、存储器502及存储在所述存储器502上并可在所述处理器上运行的计算机程序,服务器500中的各个组件通过总线系统503耦合在一起。可理解,总线系统503用于实现这些组件之间的连接通信。
其中,处理器501,用于获取第一输入话术;
根据所述第一输入话术确定对话意图;
根据所述对话意图泛化话术,以获得目标话术。
进一步的,处理器501,用于从预获取的无监督对话数据中获取与所述对话意图匹配的第一话术;
若所述第一话术中正确话术的个数占比大于预设阈值,则根据所述正确话术确定目标话术。
进一步的,处理器501,用于若所述第一话术中正确话术的个数占比大于预设阈值,则对所述正确话术进行槽位抽取,以获取所述正确话术的槽位;
若所述槽位为正确槽位,则根据槽位替换词表对所述正确话术中的槽位进行替换,以获得目标话术。
进一步的,处理器501,用于若所述第一话术中正确话术的个数占比不大于预设阈值,则获取第二输入话术;
根据所述第二输入话术更新所述第一输入话术,并执行所述根据所述第一输入话术确定对话意图的步骤。
进一步的,处理器501,用于通过语义理解模型从所述无监督对话数据中获取与所述对话意图匹配的第一话术;
处理器501在执行在所述从预获取的无监督对话数据中获取与所述对话意图匹配的第一话术之后,还用于:
若接收到根据所述第一话术的意图判定所述第一话术为错误话术的输入,则将所述第一话术为错误话术的信息反馈给所述语义理解模型,以对所述语义理解模型进行优化迭代。
进一步的,所述语义理解模型根据文本语义相似度构建。
进一步的,处理器501,用于根据所述对话意图泛化话术,以获得中间话术;
对所述中间话术的槽位进行泛化,获得目标话术。
电子设备500能够实现前述实施例中话术泛化装置实现的各个过程,为避免重复,这里不再赘述。
本发明实施例的电子设备500,获取第一输入话术;根据所述第一输入话术确定对话意图;根据所述对话意图泛化话术,以获得目标话术。目标话术(即训练样本)基于第一输入话术获取,减少了人工参与,降低了人工成本,并且,由于第一输入话术并不限定专业人员输入,也降低了确定训练样本的专业性。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述话术泛化方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
Claims (10)
1.一种话术泛化方法,其特征在于,所述方法包括:
获取第一输入话术;
根据所述第一输入话术确定对话意图;
根据所述对话意图泛化话术,以获得目标话术。
2.根据权利要求1所述的方法,其特征在于,所述根据所述对话意图泛化话术,以获得目标话术,包括:
从预获取的无监督对话数据中获取与所述对话意图匹配的第一话术;
若所述第一话术中正确话术的个数占比大于预设阈值,则根据所述正确话术确定目标话术。
3.根据权利要求2所述的方法,其特征在于,所述若所述第一话术中正确话术的个数占比大于预设阈值,则根据所述正确话术确定目标话术,包括:
若所述第一话术中正确话术的个数占比大于预设阈值,则对所述正确话术进行槽位抽取,以获取所述正确话术的槽位;
若所述槽位为正确槽位,则根据槽位替换词表对所述正确话术中的槽位进行替换,以获得目标话术。
4.根据权利要求2所述的方法,其特征在于,在所述从预获取的无监督对话数据中获取与所述对话意图匹配的第一话术之后,还包括:
若所述第一话术中正确话术的个数占比不大于预设阈值,则获取第二输入话术;
根据所述第二输入话术更新所述第一输入话术,并执行所述根据所述第一输入话术确定对话意图的步骤。
5.根据权利要求2-4中任一项所述的方法,其特征在于,所述从预获取的无监督对话数据中获取与所述对话意图匹配的第一话术,包括:
通过语义理解模型从所述无监督对话数据中获取与所述对话意图匹配的第一话术;
在所述从预获取的无监督对话数据中获取与所述对话意图匹配的第一话术之后,还包括:
若接收到根据所述第一话术的意图判定所述第一话术为错误话术的输入,则将所述第一话术为错误话术的信息反馈给所述语义理解模型,以对所述语义理解模型进行优化迭代。
6.根据权利要求5所述的方法,其特征在于,所述语义理解模型根据文本语义相似度构建。
7.根据权利要求1所述的方法,其特征在于,所述根据所述对话意图泛化话术,以获得目标话术,包括:
根据所述对话意图泛化话术,以获得中间话术;
对所述中间话术的槽位进行泛化,获得目标话术。
8.一种话术泛化装置,其特征在于,包括:
第一获取模块,用于获取第一输入话术;
确定模块,用于根据所述第一输入话术确定对话意图;
第二获取模块,用于根据所述对话意图泛化话术,以获得目标话术。
9.根据权利要求8所述的装置,其特征在于,所述第二获取模块,用于:
第一获取子模块,用于从预获取的无监督对话数据中获取与所述对话意图匹配的第一话术;
第一确定子模块,用于若所述第一话术中正确话术的个数占比大于预设阈值,则根据所述正确话术确定目标话术,所述正确话术由用户根据话术的意图确定。
10.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的话术泛化方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911081549.7A CN110866100B (zh) | 2019-11-07 | 2019-11-07 | 一种话术泛化方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911081549.7A CN110866100B (zh) | 2019-11-07 | 2019-11-07 | 一种话术泛化方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110866100A true CN110866100A (zh) | 2020-03-06 |
CN110866100B CN110866100B (zh) | 2022-08-23 |
Family
ID=69653199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911081549.7A Active CN110866100B (zh) | 2019-11-07 | 2019-11-07 | 一种话术泛化方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110866100B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111554297A (zh) * | 2020-05-15 | 2020-08-18 | 北京百度网讯科技有限公司 | 语音识别方法、装置、设备及可读存储介质 |
CN112035615A (zh) * | 2020-08-31 | 2020-12-04 | 康键信息技术(深圳)有限公司 | 线上问诊数据处理方法、装置和计算机设备 |
CN112163081A (zh) * | 2020-10-14 | 2021-01-01 | 网易(杭州)网络有限公司 | 标签确定方法、装置、介质及电子设备 |
CN112256855A (zh) * | 2020-11-13 | 2021-01-22 | 泰康保险集团股份有限公司 | 用户意图的识别方法和装置 |
CN112507097A (zh) * | 2020-12-17 | 2021-03-16 | 神思电子技术股份有限公司 | 一种提高问答系统泛化能力的方法 |
CN112581954A (zh) * | 2020-12-01 | 2021-03-30 | 杭州九阳小家电有限公司 | 一种高匹配性语音交互方法和智能设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140272821A1 (en) * | 2013-03-15 | 2014-09-18 | Apple Inc. | User training by intelligent digital assistant |
US20150220511A1 (en) * | 2014-02-04 | 2015-08-06 | Maluuba Inc. | Method and system for generating natural language training data |
CN106909656A (zh) * | 2017-02-27 | 2017-06-30 | 腾讯科技(深圳)有限公司 | 获取文本提取模型的方法及装置 |
CN108763548A (zh) * | 2018-05-31 | 2018-11-06 | 北京百度网讯科技有限公司 | 收集训练数据的方法、装置、设备和计算机可读存储介质 |
CN110008319A (zh) * | 2019-02-27 | 2019-07-12 | 百度在线网络技术(北京)有限公司 | 基于对话模板的模型训练方法和装置 |
CN110096572A (zh) * | 2019-04-12 | 2019-08-06 | 平安普惠企业管理有限公司 | 一种样本生成方法、装置及计算机可读介质 |
-
2019
- 2019-11-07 CN CN201911081549.7A patent/CN110866100B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140272821A1 (en) * | 2013-03-15 | 2014-09-18 | Apple Inc. | User training by intelligent digital assistant |
US20150220511A1 (en) * | 2014-02-04 | 2015-08-06 | Maluuba Inc. | Method and system for generating natural language training data |
CN106909656A (zh) * | 2017-02-27 | 2017-06-30 | 腾讯科技(深圳)有限公司 | 获取文本提取模型的方法及装置 |
CN108763548A (zh) * | 2018-05-31 | 2018-11-06 | 北京百度网讯科技有限公司 | 收集训练数据的方法、装置、设备和计算机可读存储介质 |
CN110008319A (zh) * | 2019-02-27 | 2019-07-12 | 百度在线网络技术(北京)有限公司 | 基于对话模板的模型训练方法和装置 |
CN110096572A (zh) * | 2019-04-12 | 2019-08-06 | 平安普惠企业管理有限公司 | 一种样本生成方法、装置及计算机可读介质 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111554297A (zh) * | 2020-05-15 | 2020-08-18 | 北京百度网讯科技有限公司 | 语音识别方法、装置、设备及可读存储介质 |
CN111554297B (zh) * | 2020-05-15 | 2023-08-22 | 阿波罗智联(北京)科技有限公司 | 语音识别方法、装置、设备及可读存储介质 |
US11798548B2 (en) | 2020-05-15 | 2023-10-24 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Speech recognition method, apparatus, device and readable storage medium |
CN112035615A (zh) * | 2020-08-31 | 2020-12-04 | 康键信息技术(深圳)有限公司 | 线上问诊数据处理方法、装置和计算机设备 |
CN112163081A (zh) * | 2020-10-14 | 2021-01-01 | 网易(杭州)网络有限公司 | 标签确定方法、装置、介质及电子设备 |
CN112256855A (zh) * | 2020-11-13 | 2021-01-22 | 泰康保险集团股份有限公司 | 用户意图的识别方法和装置 |
CN112581954A (zh) * | 2020-12-01 | 2021-03-30 | 杭州九阳小家电有限公司 | 一种高匹配性语音交互方法和智能设备 |
CN112581954B (zh) * | 2020-12-01 | 2023-08-04 | 杭州九阳小家电有限公司 | 一种高匹配性语音交互方法和智能设备 |
CN112507097A (zh) * | 2020-12-17 | 2021-03-16 | 神思电子技术股份有限公司 | 一种提高问答系统泛化能力的方法 |
CN112507097B (zh) * | 2020-12-17 | 2022-11-18 | 神思电子技术股份有限公司 | 一种提高问答系统泛化能力的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110866100B (zh) | 2022-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110866100B (zh) | 一种话术泛化方法、装置及电子设备 | |
US7127397B2 (en) | Method of training a computer system via human voice input | |
US20190279622A1 (en) | Method for speech recognition dictation and correction, and system | |
US11494161B2 (en) | Coding system and coding method using voice recognition | |
CN105654945B (zh) | 一种语言模型的训练方法及装置、设备 | |
CN104021786B (zh) | 一种语音识别的方法和装置 | |
CN106575502B (zh) | 用于在合成语音中提供非词汇线索的系统和方法 | |
CN111177324B (zh) | 基于语音识别结果进行意图分类的方法和装置 | |
CN111292752B (zh) | 一种用户意图识别方法、装置、电子设备及存储介质 | |
CN110010121B (zh) | 验证应答话术的方法、装置、计算机设备和存储介质 | |
CN107564528B (zh) | 一种语音识别文本与命令词文本匹配的方法及设备 | |
EP1593049A1 (en) | System for predicting speec recognition accuracy and development for a dialog system | |
US11907665B2 (en) | Method and system for processing user inputs using natural language processing | |
CN112818680B (zh) | 语料的处理方法、装置、电子设备及计算机可读存储介质 | |
CN110021293A (zh) | 语音识别方法及装置、可读存储介质 | |
CN111899140A (zh) | 基于话术水平提升的客服培训方法及系统 | |
CN116523031B (zh) | 语言生成模型的训练方法、语言生成方法及电子设备 | |
CN110674276A (zh) | 机器人自学习方法、机器人终端、装置及可读存储介质 | |
CN113935331A (zh) | 异常语义截断检测方法、装置、设备及介质 | |
CN112818096A (zh) | 对话生成方法及其装置 | |
López-Cózar et al. | Combining language models in the input interface of a spoken dialogue system | |
US20190279623A1 (en) | Method for speech recognition dictation and correction by spelling input, system and storage medium | |
CN113889115A (zh) | 一种基于语音模型的方言转述方法及相关装置 | |
CN113515586A (zh) | 数据处理方法及装置 | |
CN112434148A (zh) | 一种基于人工智能的智能机器人应答方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |