CN111191018A

CN111191018A - 对话系统的应答方法和装置、电子设备、智能设备

Info

Publication number: CN111191018A
Application number: CN201911403253.2A
Authority: CN
Inventors: 兰国兴; 刘励成; 张晴
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2019-12-30
Filing date: 2019-12-30
Publication date: 2020-05-22
Anticipated expiration: 2039-12-30
Also published as: CN111191018B

Abstract

本公开实施例提供了一种对话系统的应答方法和装置、电子设备、智能设备、存储介质，涉及人工智能技术领域，尤其涉及对话子领域，通过确定预设的多条技能外语料的分数，并根据确定出的分数确定应答阈值，以便当最高的第一分数大于应答阈值时，基于对应的待应答技能进行应答，可以避免现有技术中由于人工的方式容易被人为主观因素的影响，导致应答阈值的可靠性偏低，从而导致错误地确定出基于最高得分对应的候选技能进行应答或者不做出应答，进而造成人机交互的可靠性偏低的问题，从而实现确定出的应答阈值的客观性和可靠性，进而实现提高应答的有效性和准确性，并实现提高人机交互的准确性，且提升用户的整体交互体验的技术效果。

Description

对话系统的应答方法和装置、电子设备、智能设备

技术领域

本公开涉及人工智能技术领域，尤其涉及对话子领域，具体涉及一种对话系统的应答方法和装置、电子设备、智能设备、存储介质。

背景技术

随着人工智能(Artificial Intelligence，AI)技术的发展，人机交互在日常生活中的应用越来越普遍。其中，人机交互可基于对话系统实现。

在现有技术中，对话系统响应于用户输入的语料，对语料对应的候选技能(其中，技能是指对话系统能够实现的业务或功能，如点餐和买车票等)进行确定，并由排序模型对候选技能进行打分，将最高得分与预设的阈值进行比较，若最高得分大于阈值，则基于最高得分对应的候选技能进行应答，若最高得分小于或等于阈值，则不做出应答。其中，阈值是通过人工的方式根据历史交互记录确定的。

然而，发明人在实现本公开的过程中，发现通过上述现有技术中的方式至少存在以下问题：由于人工的方式容易受人为主观因素的影响，导致阈值的可靠性偏低，从而导致错误地确定出基于最高得分对应的候选技能进行应答或者不做出应答，进而造成人机交互的可靠性偏低。

发明内容

为解决上述技术问题，本公开实施例提供了一种对话系统的应答方法和装置、电子设备、智能设备、存储介质。

根据本公开实施例的一个方面，本公开实施例提供了对话系统的应答方法，所述方法包括：

确定接收到的待应答语料的至少一个待应答技能；

根据预设的排序模型生成与所述至少一个待应答技能的第一分数；

响应于所述第一分数中的最高的第一分数大于预设的应答阈值，根据最高的第一分数对应的待应答技能对所述待应答语料进行应答，其中，所述应答阈值为采用所述排序模型生成与预设的多条技能外语料对应的分数而确定的，且所述技能外语料用于表征对话系统中没有技能支持的语料。

在本公开实施例中，通过确定预设的多条技能外语料的分数，并根据确定出的分数确定应答阈值，可以避免现有技术中由于人工的方式容易被人为主观因素的影响，导致应答阈值的可靠性偏低，从而导致错误的确定出基于最高得分对应的候选技能进行应答或者不做出应答，进而造成人机交互的可靠性偏低的问题，从而实现确定出的应答阈值的客观性和可靠性，进而实现提高应答的有效性和准确性，并实现提高人机交互的准确性，且提升用户的整体交互体验的技术效果。

在一些实施例中，确定所述应答阈值包括：

分别对多条所述技能外语料进行解析，得到多条所述技能外语料各自对应的候选技能；

对每条所述技能外语料和与其对应的候选技能进行特征提取，得到特征数据；

将多个所述特征数据输入至所述排序模型，生成每条所述技能外语料的各个候选技能的分数；

从生成的各分数中选定所述应答阈值。

在一些实施例中，所述从生成的各分数中选定所述应答阈值包括：

选取每条所述技能外语料对应的分数中的最高分数；

从选取出的每条所述技能外语料对应的分数中的最高分数中选定所述应答阈值。

选取每个候选技能对应的分数中的最高分数；

从选取出的每个候选技能对应的分数中的最高分数中选定所述应答阈值。

对各分数进行排序；

根据预设的排名百分位从排序后的各分数中选定所述应答阈值。

在一些实施例中，所述方法还包括：

采集技能内语料验证集，并采集技能外语料验证集；

根据所述技能内语料验证集、所述技能外语料验证集、预设的召回率和预设的精确率确定所述排名百分位。

在一些实施例中，所述方法还包括：

根据所述对话系统对应的历史对话信息和历史操作信息采集多条所述技能外语料。

根据本公开实施例的另一个方面，本公开实施例还提供了一种对话系统的应答装置，所述装置包括：

第一确定模块，用于确定接收到的待应答语料的至少一个待应答技能；

生成模块，用于根据预设的排序模型生成与所述至少一个待应答技能的第一分数；

应答模块，用于响应于所述第一分数中的最高的第一分数大于预设的应答阈值，根据最高的第一分数对应的待应答技能对所述待应答语料进行应答，其中，所述应答阈值为采用所述排序模型生成与预设的多条技能外语料对应的分数而确定的，且所述技能外语料用于表征对话系统中没有技能支持的语料。

在一些实施例中，所述装置还包括：

第二确定模块，用于分别对多条所述技能外语料进行解析，得到多条所述技能外语料各自对应的候选技能，对每条所述技能外语料和与其对应的候选技能进行特征提取，得到特征数据，将多个所述特征数据输入至所述排序模型，生成每条所述技能外语料的各个候选技能的分数，从生成的各分数中选定所述应答阈值。

在一些实施例中，所述第二确定模块用于，选取每条所述技能外语料对应的分数中的最高分数，从选取出的每条所述技能外语料对应的分数中的最高分数中选定所述应答阈值。

在一些实施例中，所述第二确定模块用于，选取每个候选技能对应的分数中的最高分数，从选取出的每个候选技能对应的分数中的最高分数选定所述应答阈值。

在一些实施例中，所述第二确定模块用于，对各分数进行排序，根据预设的排名百分位从排序后的各分数中选定所述应答阈值。

在一些实施例中，所述装置还包括：

第一采集模块用于，采集技能内语料验证集，并采集技能外语料验证集；

第三确定模块，用于根据所述技能内语料验证集、所述技能外语料验证集、预设的召回率和预设的精确率确定所述排名百分位。

在一些实施例中，所述装置还包括：

第二采集模块，用于根据所述对话系统对应的历史对话信息和历史操作信息采集多条所述技能外语料。

根据本公开实施例的另一个方面，本公开实施例还提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任一实施例所述的方法。

根据本公开实施例的另一个方面，本公开实施例还提供了一种智能设备，包括如上任一实施例所述的装置，或者，如上任一实施例所述的电子设备。

根据本公开实施例的另一个方面，本公开实施例还提供了一种计算机存储介质，其上存储有计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的方法。

本公开实施例提供了一种对话系统的应答方法和装置、电子设备、智能设备、存储介质，包括：确定接收到的待应答语料的至少一个待应答技能，根据预设的排序模型生成与至少一个待应答技能的第一分数，响应于第一分数中的最高的第一分数大于预设的应答阈值，根据最高的第一分数对应的待应答技能对待应答语料进行应答，其中，应答阈值为采用排序模型生成与预设的多条技能外语料对应的分数而确定的，且技能外语料用于表征对话系统中没有技能支持的语料，通过确定预设的多条技能外语料的分数，并根据确定出的分数确定应答阈值，可以避免现有技术中由于人工的方式容易被人为主观因素的影响，导致应答阈值的可靠性偏低，从而导致错误地确定出基于最高得分对应的候选技能进行应答或者不做出应答，进而造成人机交互的可靠性偏低的问题，从而实现确定出的应答阈值的客观性和可靠性，进而实现提高应答的有效性和准确性，并实现提高人机交互的准确性，且提升用户的整体交互体验的技术效果。

附图说明

附图用于更好地理解本公开实施例，不构成对本公开的限定。其中，

图1为本公开实施例的对话系统的应答方法的流程示意图；

图2为本公开实施例的对话系统的应答方法的应用场景的示意图；

图3为本公开实施例的确定应答阈值的方法的流程示意图；

图4为本公开实施例的从生成的各分数中选定应答阈值的方法的流程示意图；

图5为本公开另一实施例的从生成的各分数中选定应答阈值的方法的流程示意图；

图6为本公开实施例的对话系统的应答装置的示意图；

图7为本公开另一实施例的对话系统的应答装置的示意图；

图8为本公开另一实施例的对话系统的应答装置的示意图；

图9为本公开实施例的电子设备的结构示意图；

图10为本公开实施例的手机的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

根据本公开实施例的一个方面，本公开实施例提供了一种对话系统的应答方法。

请参阅图1，图1为本公开实施例的对话系统的应答方法的流程示意图。

如图1所示，该方法包括：

S101：确定接收到的待应答语料的至少一个待应答技能。

其中，技能是指对话系统能够实现的业务或功能，如点餐和买车票等。语料可以理解为用户说的话，或者用户输入的语句。

在该步骤中，可通过对待应答语料进行解析的方式确定该待应答语料对应的一个或多个待应答技能，如采用自然语言理解(Natural Language Understanding，NLU)技术等对待应答语料进行解析。

S102：根据预设的排序模型生成与至少一个待应答技能的第一分数。

其中，排序模型可以理解为用于确定语料与技能之间的匹配度的模型。在该步骤中，排序模型用于确定待应答语料与各待应答技能之间的匹配度的模型，且用分数表示对应的匹配度，分数越大，则说明匹配度越高。

在本公开实施例中，对排序模型不做具体限定。在一些实施例中，排序模型可包括ranker模型。更具体地，排序模型可包括lambdarank模型。

S103：响应于第一分数中的最高的第一分数大于预设的应答阈值，根据最高的第一分数对应的待应答技能对待应答语料进行应答，其中，应答阈值为采用排序模型生成与预设的多条技能外语料对应的分数而确定的，且技能外语料用于表征对话系统中没有技能支持的语料。

该步骤可具体包括：从各第一分数中选取分数最高的第一分数，判断最高的第一分数与应答阈值的大小，若最高的第一分数大于应答阈值，则选取最高的第一分数对应的待应答技能，并根据选取出的该待应答技能对待应答语料进行应答。

其中，应答可以理解为基于待应答语料的召回的结果，可以为语音的答复，也可以为文本信息的显示，也可以为开启某网页，也可以为调用某应用，等等。

基于上述示例可知，分数表示匹配度，因此，当第一分数为最高的第一分数时，则说明对应的待应答技能与待应答语料的匹配度最高，则该待应答技能很有可能就是该待应答语料对应的真实技能，因此基于该待应答技能对待应答语料进行应答，可以实现应答的准确性和可靠性。

值得说明的是，在现有技术中，应答阈值是通过人工的方式根据历史交互记录确定的。而在本公开实施例中，应答阈值为基于排序模型和多条技能外语料确定的。且通过本公开实施例中应答阈值的确定方案，一方面，可以避免由于人工的方式容易被人为主观因素的影响，导致应答阈值的可靠性偏低的问题；另一方面，通过基于排序模型和多条技能外语料确定出应答阈值，可以实现应答阈值的客观性和可靠性，从而实现人机交互的准确性，提升用户的整体交互体验的技术效果。

其中，本公开实施例的对话系统的应答方法可被应用于手机、iPad、智能手表、智能手环、智能音箱、计算机、机器人等能够实现人机交互的产品中。

为使更加透彻地理解本公开实施例的方案，现结合应用场景对本公开实施例的对话系统的应答方法进行示范性地阐述。

请参阅图2，图2为本公开实施例的对话系统的应答方法的应用场景的示意图。

如图2所示，手机100采集多条技能外语料，通过ranker模型生成与多条技能外语料对应的分数，根据各分数确定应答阈值。

用户200通过语音的方式向手机100发出待应答语料“今天天气如何”。

手机100(可具体为手机中的手机助理)确定与“今天天气如何”对应的10个待应答技能，并通过ranker模型对10个待应答技能分别进行打分，得到10个分数，从10个分数中选取最高的分数(可通过升序或降序的方式实现)，判断选取出的最高的分数与应答阈值的大小，如果选取出的最高的分数大于应答阈值，则确定选取出的最高的分数对应的待应答技能，如“天气预报”，并根据“天气预报”的相关信息，如“天气晴朗，微风，温度……”进行应答。

需要说明的是，上述示例只是用于示范性地说明，而不能理解为对本公开实施例的范围的限定。

结合图3可知，在一些实施例中，确定应答阈值的方法包括：

S01：分别对多条技能外语料进行解析，得到多条技能外语料各自对应的候选技能。

其中，一条技能外语料可对应一个或多个候选技能。

也就是说，在该步骤中，针对每一条技能外语料，均进行解析，并得到与其对应的一个或多个候选技能。

具体地，对某技能外语料进行分词和命名实体识别，然后构建语言模型ngram特征和连续词袋模型CBOW词向量特征，用于获取技能外语料的特征，然后用意图识别fasttext模型进行意图识别和用槽位提取SVM模型进行槽位提取。每个技能都可以有上述意图识别和槽位提取的模型，对于有识别结果的技能，选为候选技能。

S02：对每条技能外语料和与其对应的候选技能进行特征提取，得到特征数据。

以某一条技能外语料以及该技能外语料对应的一个候选技能为例对该步骤进行说明：对该技能外语料进行特征提取，得到第一特征数据，且对该候选技能进行特征提取，得到第二特征数据，将第一特征数据和第二特征数据拼接成一个特征数据。

S03：将多个特征数据输入至排序模型，生成每条技能外语料的各个候选技能的分数。

例如，某条技能外语料对应10个候选技能，则针对该技能外语料生成的分数的数量为10个，即一个候选技能对应一个分数。

S04：从生成的各分数中选定应答阈值。

在一些实施例中，该步骤可包括：对各分数进行排序，根据预设的排名百分位从排序后的各分数中选定应答阈值。

在一些实施例中，S04可至少通过两种方式实现，第一种为根据各技能外语料对应的分数实现，第二种为根据各候选技能对应的分数实现。

结合图4可知，若是采用第一种方式实现，则S04包括：

S041：选取每条技能外语料对应的分数中的最高分数。

S042：从选取出的每条技能外语料对应的分数中的最高分数中选定应答阈值。

具体地，多条(m条)技能外语料包括：q¹,q²,…,q^m，且技能外语料qⁱ(i＝1,2,…,m)的候选技能包括：

针对任意技能外语料qⁱ，都可基于排序模型确定与其对应的各选候选技能的分数：

选取各分数中的最高的分数

并统计每一条技能外语料的最高的分数，得到m条技能外语料的所有的最高的分数：

对m条技能外语料的所有的最高的分数进行降序排列，得到各技能外语料的候选技能top1得分的降序分布：

并选取

中排名为top k％(预设的排名百分位)的分数

作为应答阈值。

结合图5可知，若是采用第二种方式实现，则S04包括：

S041’：选取每个候选技能对应的分数中的最高分数。

S042’：从选取出的每个候选技能对应的分数中的最高分数中选定应答阈值。

选取各分数中的最高的分数

并记录该最高的分数对应的候选技能的名称：

与对应的候选技能的名称：

对m条技能外语料的所有的最高的分数按照候选技能的名称进行降序排列，得到技能外语料各个候选技能的top1得分降序分布：

其中，c_i用于表征第i个候选技能，k用于表征对话系统支持的技能数量。

对于每个候选技能c_i，选取排名为topk_i％(预设的排名百分位)的分数

作为应答阈值。

其中，top k％与top k_i％可能相同，也可能不同。且，基于第一种方式或第二种方式确定出的应答阈值可能相同，也可能不同。

在一些实施例中，该方法还包括确定排名百分位的步骤。

具体地，可通过采集技能内语料验证集和技能外语料验证集，并根据技能内语料验证集、技能外语料验证集、预设的召回率和预设的精确率确定排名百分位。

其中，技能内语料为与技能外语料相对的概念。基于上述示例可知，技能外语料用于表征对话系统中没有技能支持的语料，因此，技能内语料用于表征对话系统中有技能支持的语料。而技能内语料验证集中包括多条技能内语料，技能外语料验证集中包括多条技能外语料。

基于上述示例可知，可至少通过两种方式确定应答阈值。因此，针对上述两种方式，也可采用两种方法确定排名百分位。

若为第一种实现方式，则对确定排名百分位的步骤地阐述如下。

采集语料的验证集合S_validation，且S_validation包括两部分，具体为技能外语料验证集和技能内语料验证集

针对S_validation中的任意语料qⁱ，都可基于排序模型确定与其对应的各选候选技能的分数，选取top1分数的候选技能

并标记其分数为

针对S_validation中的任意语料qⁱ，如果其top1分数

则输出与其对应的候选技能

即进行应答；否则不输出，即不应答。其中，T_k为应答阈值。

其中，召回率

其中，N_tp为技能内语料验证集

中符合预设条件的技能内语料的数量，

为技能内语料验证集

中的语料的数量。

预设条件：候选技能中分数为top1的候选技能为真实技能，且分数超过应答阈值。

其中，精确率

其中，

为技能内语料验证集

中应答的技能内语料数量，

为技能外语料验证集

中应答的语料数量。

通过预先给定的召回率和精确率(即预设的召回率和预设的精确率)，反向搜索出满足要求的k的值。

其中，反向搜索的方法包括但不限于二分法和黄金分割法。

若为第二种实现方式，则对确定排名百分位的步骤地阐述如下。

采集语料的验证集合S_validation，且S_validation包括两部分，具体为技能外语料验证集

和技能内语料验证集

并标记其分数为

针对S_validation中的任意语料qⁱ，标记其最高分数为

并标记其对应的候选技能名称

如果其top1分数

大于T_ci，则输出与其对应的候选技能

即进行应答；否则不输出，即不应答。其中，T_ci为应答阈值。

其中，召回率

其中，

为技能内语料验证集

中符合预设条件的技能内语料的数量，

为技能内语料验证集中属于候选技能ci的技能内语料的数量。

预设条件：真实技能为c_i的语料，其候选技能中分数top1的候选技能为c_i，且分数超过应答阈值T_ci。

其中，精确率

其中，

为应答，且应答的候选技能是c_i的技能外语料数量。

通过预先给定的召回率和精确率(即预设的召回率和预设的精确率)，反向搜索出满足要求的k_i的值。

其中，反向搜索的方法包括但不限于二分法和黄金分割法。

现以召回率的要求为95％及以上，精确率的要求为90％及以上为例对应答阈值地确定进行阐述。

确定语料的验证集合S_validation，包括技能外语料验证集

和技能内语料验证集

设定k的初始区间[low,high]。如，low＝0,high＝100。

设定k＝(low+high)/2，基于上述示例中的召回率和精确率的计算方法(此处不再赘述)计算S_validation的召回率和精确率。

如果计算得到的召回率和精确率满足要求，即召回率大于或等于95％，且精确率大于或等于90％，则流程结束，并输出k；如果计算得到的召回率和精确率均不满足要求，即召回率小于95％，且精确率小于90％，则流程结束，并输出error，说明当前对话系统无法满足召回率和精确率的要求；如果计算得到的召回率满足要求，即召回率大于或等于95％，而精确率不满足要求，即精确率小于90％，则令low＝k，并返回至重新设定k＝(low+high)/2的步骤；如果计算得到的召回率不满足要求，即召回率小于95％，而精确率满足要求，即精确率大于或等于90％，则令high＝k，并返回至重新设定k＝(low+high)/2的步骤。

如果输出不为error，则将输出的k作为最终的k*，将k*％用来作为对话系统的应答阈值确定过程中的top k％或top k_i％的参考值，进而确定出应答阈值。

在一些实施例中，可从离线技能外语料和现网技能外语料中选取多条技能外语料。

而由于现网技能外语料的数量较多，因此，为了节约选取技能外语料的时间，且提高选取的技能外语料的适用性，以提高对话系统应答的可靠性，在一些实施例中，该方法还包括：根据对话系统对应的历史对话信息和历史操作信息采集多条技能外语料。

在一些实施例中，可基于历史对话信息和历史操作信息确定一些常见的场景，在确定出的常见场景的范围内缩小技能外语料的筛选范围，从而选定技能外语料。

以历史操作信息为例：用户关闭了对话系统(如语音助手等)。

例如：用户向语音助手发出了语料，并在接收到语音助手的应答后，关闭了语音助手。则说明很有可能语音助手的应答让用户不满意，即语音助手很可能“答非所问”。因此，可确定在用户关闭语音助手之前发出的语料很可能为技能外语料。即，在该示例中，通过确定对话系统被关闭的场景，并在该场景内筛选出技能外语料。

又如(仍然以历史操作信息为例)：用户退出了刚开启的应用(如12306购票应用)。

例如：用户在向对话系统发出某语料后，12306购票应用开启。而在很短的时间间隔内，用户就关闭了12306购票应用，则说明很有可能用户并非想要开启12306购票应用，即对话系统很可能“答非所问”。因此，可确定用户在关闭12306购票应用之前发出的语料很可能为技能外语料。即，在该示例中，通过确定对话系统被关闭的场景，并在该场景内筛选出技能外语料。

其中，可根据对话系统的响应识别码确定对话系统是否对用户发出的语料进行了应答。

以历史对话信息为例：重复/相似语料。

例如：用户向对话系统发出一条语料后，对话系统判断用户发出的本条语料是否和上一条语料重复/相似，如果本条语料与上一条语料重复/相似，则说明用户对对话系统的应答并不满意，即对话系统很可能“答非所问”。因此，很可能用户发出的语料为技能外语料。

又如(仍然以历史对话信息为例)：情绪信息。

例如：在对话系统对用户发出的语料进行应答后，可获取用户针对该应答的情绪信息，如果基于情绪信息确定用户具有负面情绪，则说明很有可能对话系统的应答让用户不满意，即对话系统很可能“答非所问”。因此，很可能用户发出的语料为技能外语料。

其中，可通过图像采集装置获取用户针对该应答的情绪信息，如对用户针对该应答的表情确定用户是否带有负面情绪；也可通过深度神经网络模型对用户的语言回复进行情绪分析，并判断用户是否带有负面情绪。

值得说明的是，上述示例只是用于示范性地说明，而不能理解为对本公开实施例的范围的限定。

根据本公开实施例的另一个方面，本公开实施例还提供了一种对话系统的应答装置。

请参阅图6，图6为本公开实施例的对话系统的应答装置的示意图。

如图6所示，该装置包括：

第一确定模块11，用于确定接收到的待应答语料的至少一个待应答技能。

生成模块12，用于根据预设的排序模型生成与所述至少一个待应答技能的第一分数。

应答模块13，用于响应于第一分数中的最高的第一分数大于预设的应答阈值，根据最高的第一分数对应的待应答技能对待应答语料进行应答，其中，应答阈值为采用排序模型生成与预设的多条技能外语料对应的分数而确定的，且技能外语料用于表征对话系统中没有技能支持的语料。

其中，应答模块13包括具有语音功能、生成并显示文字信息功能、调用对话系统中的其他应用程序功能和打开/跳转网页功能的应答机制的模块。

结合图7可知，在一些实施例中，所述装置还包括：

第二确定模块14用于，分别对多条所述技能外语料进行解析，得到多条所述技能外语料各自对应的候选技能，对每条所述技能外语料和与其对应的候选技能进行特征提取，得到特征数据，将多个所述特征数据输入至所述排序模型，生成每条所述技能外语料的各个候选技能的分数，从生成的各分数中选定所述应答阈值。

在一些实施例中，所述第二确定模块14用于，选取每条所述技能外语料对应的分数中的最高分数，从选取出的每条所述技能外语料对应的分数中的最高分数中选定所述应答阈值。

在一些实施例中，所述第二确定模块14用于，选取每个候选技能对应的分数中的最高分数，从选取出的每个候选技能对应的分数中的最高分数选定所述应答阈值。

在一些实施例中，所述第二确定模块14用于，对各分数进行排序，根据预设的排名百分位从排序后的各分数中选定所述应答阈值。

结合图8可知，在一些实施例中，所述装置还包括：

第一采集模块15，用于采集技能内语料验证集，并采集技能外语料验证集；

第三确定模块16，用于根据所述技能内语料验证集、所述技能外语料验证集、预设的召回率和预设的精确率确定所述排名百分位。

结合图8可知，在一些实施例中，所述装置还包括：

第二采集模块17，用于根据所述对话系统对应的历史对话信息和历史操作信息采集多条所述技能外语料。

根据本公开实施例的另一个方面，本公开实施例还提供了一种电子设备和一种可读存储介质。

请参阅图9，图9为本公开实施例的电子设备的结构示意图。

如图9所示，其中，电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，该电子设备包括：一个或多个处理器101、存储器102，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器101为例。

存储器102即为本公开所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本公开所提供的对话系统的应答方法。本公开的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本公开所提供的对话系统的应答方法。

存储器102作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块。处理器101通过运行存储在存储器102中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的对话系统的应答方法。

存储器102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器102可选包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、区块链网、移动通信网及其组合。

电子设备还可以包括：输入装置103和输出装置104。处理器101、存储器102、输入装置103和输出装置104可以通过总线或者其他方式连接，图9中以通过总线连接为例。

输入装置103可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置104可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本公开实施例的另一个方面，本公开实施例还提供了一种智能设备，智能设备包括如上任一实施例所述的对话系统的应答装置，或者如上所述的电子设备。

其中，智能设备包括手机、iPad、智能手表、智能手环、智能音箱、计算机、机器人等能够实现人机交互的产品，如设置于手机中的智能助理组件、智能问答和聊天，或者设置于智能音箱中的智能问答组件，等等。

现结合图10对若智能设备为手机时，手机的结构进行详细阐述。

如图10所示，该手机可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。可以理解的是，本公开实施例示意的结构并不构成对手机的具体限定。在本申请另一些实施例中，手机可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件，或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。在一些实施例中，手机也可以包括一个或多个处理器110。其中，控制器可以是手机的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。这就避免了重复存取，减少了处理器110的等待时间，因而提高了手机系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。其中，USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为手机充电，也可以用于手机与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。

可以理解的是，本公开实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对手机的结构限定。在本申请另一些实施例中，手机也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过手机的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为手机供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

手机101的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。手机中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在手机上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在手机上的包括无线局域网(wireless localarea networks，WLAN)，蓝牙，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，NFC，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，手机的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得手机可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括GSM，GPRS，CDMA，WCDMA，TD-SCDMA，LTE，GNSS，WLAN，NFC，FM，和/或IR技术等。上述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

实际通过GPU，显示屏194，以及应用处理器等可以实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，手机可以包括1个或N个显示屏194，N为大于1的正整数。

手机可以通过ISP，一个或多个摄像头193，视频编解码器，GPU，一个或多个显示屏194以及应用处理器等实现拍摄功能。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现手机的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐、照片、视频等数据文件保存在外部存储卡中。

内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令，从而使得手机执行本公开一些实施例中所提供的对话系统的应答方法，以及各种功能应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统；该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储手机使用过程中所创建的数据(比如照片，联系人等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。在一些实施例中，处理器110可以通过运行存储在内部存储器121的指令，和/或存储在设置于处理器110中的存储器的指令，来使得手机执行本公开实施例中所提供的对话系统的应答方法，以及各种功能应用及数据处理。

手机可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。其中，音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。手机可以通过扬声器170A收听音乐，或收听免提通话。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当手机接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。手机可以设置至少一个麦克风170C。在另一些实施例中，手机可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，手机还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动手机平台(open mobile terminalplatform，OMTP)标准接口，还可以是美国蜂窝电信工业协会(cellulartelecommunications industry association of the USA，CTIA)标准接口。

传感器180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

其中，压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。手机根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，手机根据压力传感器180A检测所述触摸操作强度。手机也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定手机的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定手机围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测手机抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消手机的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景等。

加速度传感器180E可检测手机在各个方向上(一般为三轴)加速度的大小。当手机静止时可检测出重力的大小及方向。还可以用于识别手机姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。手机可以通过红外或激光测量距离。在一些实施例中，拍摄场景，手机可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。手机通过发光二极管向外发射红外光。手机使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定手机附近有物体。当检测到不充分的反射光时，手机可以确定手机附近没有物体。手机可以利用接近光传感器180G检测用户手持手机贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。手机可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测手机是否在口袋里，以防误触。

指纹传感器180H(也称为指纹识别器)，用于采集指纹。手机可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

触摸传感器180K，也可称触控面板或触敏表面。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称触控屏。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于手机的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键190包括开机键，音量键等。按键190可以是机械按键，也可以是触摸式按键。手机可以接收按键输入，产生与手机的用户设置以及功能控制有关的键信号输入。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和手机的接触和分离。手机可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。手机通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，手机采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在手机中，不能和手机分离。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims

1.一种对话系统的应答方法，其特征在于，所述方法包括：

确定接收到的待应答语料的至少一个待应答技能；

2.根据权利要求1所述的方法，其特征在于，确定所述应答阈值包括：

从生成的各分数中选定所述应答阈值。

3.根据权利要求2所述的方法，其特征在于，所述从生成的各分数中选定所述应答阈值包括：

选取每条所述技能外语料对应的分数中的最高分数；

4.根据权利要求2所述的方法，其特征在于，所述从生成的各分数中选定所述应答阈值包括：

选取每个候选技能对应的分数中的最高分数；

5.根据权利要求2至4中任一项所述的方法，其特征在于，所述从生成的各分数中选定所述应答阈值包括：

对各分数进行排序；

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

采集技能内语料验证集，并采集技能外语料验证集；

7.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

8.一种对话系统的应答装置，其特征在于，所述装置包括：

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

10.根据权利要求9所述的装置，其特征在于，所述第二确定模块用于，选取每条所述技能外语料对应的分数中的最高分数，从选取出的每条所述技能外语料对应的分数中的最高分数中选定所述应答阈值。

11.根据权利要求9所述的装置，其特征在于，所述第二确定模块用于，选取每个候选技能对应的分数中的最高分数，从选取出的每个候选技能对应的分数中的最高分数选定所述应答阈值。

12.根据权利要求9至11中任一项所述的装置，其特征在于，所述第二确定模块用于，对各分数进行排序，根据预设的排名百分位从排序后的各分数中选定所述应答阈值。

13.根据权利要求12所述的装置，其特征在于，所述装置还包括：

第一采集模块，用于采集技能内语料验证集，并采集技能外语料验证集；

14.根据权利要求8至11中任一项所述的装置，其特征在于，所述装置还包括：

15.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。

16.一种智能设备，其特征在于，包括如权利要求8至14中任一项所述的装置，或者，如权利要求15所述的电子设备。

17.一种计算机存储介质，其特征在于，其上存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1至7中任一项所述的方法。