CN110399469A - 客服机器人理解性能检测融合方法和装置 - Google Patents

Abstract

本发明提供了一种客服机器人理解性能检测融合方法和装置，其中的方法包括：基于测试样例集合对客服机器人进行测试，根据客服机器人对于测试样例中的标准问题、同义问题分别输出的答案确定客服机器人对于测试样例集合的测试一致性值，根据测试一致性值从客服机器人中选取符合评测要求的合格的客服机器人；设置协同控制机器人，由融合候选机器人与协同控制机器人构成融合协同客服机器人。本发明的方法、装置以及搜索引擎系统，提出了客服机器人的部分一致性度量方法，可以反映客服机器人在测试样例集上的一致性的程度，能够使客服机器人进行协同工作，取得更好的理解性能，提高了提供给用户答案的准确性，提升了服务效率，提高了用户的使用感受。

Description

客服机器人理解性能检测融合方法和装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种客服机器人理解性能 检测融合方法和装置。

背景技术

人工智能技术日趋成熟，在许多行业，人工智能技术和产品逐步得 到实际的应用。例如，国外著名的苹果公司的Siri对话机器人，微软公司 的小冰对话机器人，国内的科研机构(如中科院计算所和清华大学)以 及企业。服务型企业为了提升客户服务效率，降低客户服务成本，将客 服机器人引入到企业的客户服务中来。客服机器人是一种智能化的自动 装置，它接收客户提出的咨询问题，对它们进行自动的理解，根据理解 的结果给客户返回相应的答案，从而解决客户的问题或疑惑，可以部分 地替代话务员的工作，不仅降低了企业的客户服务成本，而且提升了客 户服务效率。

但是，当前客服机器人产品的技术和质量参差不齐，对客户咨询问 题的理解性能存在较大的差异。对企业用户而言，在选型客服机器人时， 面临着两个重要的问题：1：如何评测客服机器人的理解性能；对大多数 训练充分的客服机器人而言，采用标准的问法(即问题表述清楚、信息 完整、问法符合语言使用习惯等)，大多能够给出准确的答案，但是对非标准而问题含义相同的问法，则会产生错误的理解，从而给出错误的 答案。现有客服机器人的性能评估采用的是通过计算准确率(precision) 和召回率(recall)来反映客服机器人的理解性能，不能反映标准问法与 同义问法中的一致性，也不能反映出具有多台客服机器人之间的差异性； 问题2：当一台独立的客服机器人的理解性能难以满足需求时，如何选择 客服机器人进行协同工作，使得回答客户问题的理解性能能够提高。

发明内容

本发明的一个或多个实施例提供一种客服机器人理解性能检测融 合方法和装置。

根据本公开的一个方面，提供一种客服机器人理解性能检测融合 方法，包括：设置包含有测试样例的测试样例集合，基于所述测试样 例集合对客服机器人进行测试；其中，所述测试样例包括：标准问题、 同义问题；根据所述客服机器人对于所述测试样例中的标准问题、同 义问题分别输出的答案确定所述客服机器人对于所述测试样例集合的 测试一致性值；根据所述测试一致性值从所述客服机器人中选取符合 评测要求的合格的客服机器人；从所述客服机器人中选取融合候选机 器人，基于所述融合候选机器人对于标准问题、同义问题输出的答案 设置协同控制机器人，以便于由所述融合候选机器人与所述协同控制 机器人构成融合协同客服机器人。

可选地，所述设置包含有测试样例的测试样例集合包括：设置包 含有多个所述测试样例的测试样例集，由多个所述测试样例集组成所述 测试样例集合。

可选地，所述确定所述客服机器人对于所述测试样例集合的测试 一致性值包括：根据所述客服机器人对于所述测试样例集所包含的测 试样例中的标准问题、同义问题输出的答案确定所述客服机器人对于 此测试样例集的部分一致性值；基于所述客服机器人对于多个所述测 试样例集的部分一致性值获得所述测试一致性值。

可选地，所述确定所述客服机器人对于此测试样例集的部分一致 性值包括：在所述测试样例集中选取所述客服机器人对于标准问题和 同义问题输出相同答案的测试样例，将此测试样例作为一致性测试样 例；获得所述测试样例集中的一致性测试样例的数量与所述测试样例 集中的全部测试样例的数量的比值，将此比值作为所述部分一致性值。

可选地，所述基于所述客服机器人对于多个所述测试样例集的部 分一致性值获得所述测试一致性值包括：获得所述客服机器人对于多 个所述测试样例集的部分一致性值的和与所述测试样例集的个数的比 值，将此比值作为所述测试一致性值。

可选地，所述根据所述测试一致性值从所述客服机器人中选取符 合评测要求的合格的客服机器人包括：设置测试一致性阈值，如果所 述客服机器人所对应的所述测试一致性值大于或等于所述测试一致性 阈值，则确定此客服机器人为符合评测要求的合格的客服机器人。

可选地，所述设置协同控制机器人包括：在所述合格的客服机器 人中选取最高的两个测试一致性值所对应的两个融合候选机器人；设 置所述协同控制机器人，以使所述协同控制机器人基于协同规则对所 述两个融合候选机器人对于标准问题、同义问题输出的答案进行融合 处理并输出融合答案。

可选地，所述基于协同规则对所述两个融合候选机器人对于标准 问题、同义问题输出的答案进行融合处理并输出融合答案包括：如果 第一融合候选机器人输出的答案与第二融合候选机器人输出的答案相 同，则所述协同控制机器人确定所述融合答案为所述第一融合候选机 器人输出的答案；如果第一融合候选机器人输出的答案与第二融合候 选机器人输出的答案都不为空并且不相同，则所述协同控制机器人确 定所述融合答案为空值；如果第一融合候选机器人输出的答案或第二 融合候选机器人输出的答案为空值，则所述协同控制机器人确定所述 融合答案为第二融合候选机器人输出的答案或第一融合候选机器人输 出的答案；其中，第一融合候选机器人所对应的测试一致性值大于或 等于第二融合候选机器人所对应的测试一致性值。

可选地，所述测试样例包括：客户地区；所述方法还包括：基于 所述客户地区确定与所述标准问题相对应的标准答案。

可选地，所述每个所述测试样例集所包含的多个所述测试样例中的 标准问题、客户地区都相同。

根据本公开的另一方面，提供一种客服机器人理解性能检测融合 装置，包括：测试样例设置模块，用于设置包含有测试样例的测试样 例集合，基于所述测试样例集合对客服机器人进行测试；其中，所述 测试样例包括：标准问题、同义问题；一致性确定模块，用于根据所 述客服机器人对于所述测试样例中的标准问题、同义问题分别输出的 答案确定所述客服机器人对于所述测试样例集合的测试一致性值；机 器人选取模块，用于根据所述测试一致性值从所述客服机器人中选取 符合评测要求的合格的客服机器人；协同控制处理模块，用于从所述 客服机器人中选取融合候选机器人，基于所述融合候选机器人对于标准问题、同义问题输出的答案设置协同控制机器人，以便于由所述融 合候选机器人与所述协同控制机器人构成融合协同客服机器人。

可选地，所述测试样例设置模块，用于设置包含有多个所述测试 样例的测试样例集，由多个所述测试样例集组成所述测试样例集合。

可选地，所述一致性确定模块，用于根据所述客服机器人对于所 述测试样例集所包含的测试样例中的标准问题、同义问题输出的答案 确定所述客服机器人对于此测试样例集的部分一致性值；基于所述客 服机器人对于多个所述测试样例集的部分一致性值获得所述测试一致 性值。

可选地，所述一致性确定模块，具体用于在所述测试样例集中选 取所述客服机器人对于标准问题和同义问题输出相同答案的测试样例， 将此测试样例作为一致性测试样例；获得所述测试样例集中的一致性 测试样例的数量与所述测试样例集中的全部测试样例的数量的比值， 将此比值作为所述部分一致性值。

可选地，所述一致性确定模块，具体用于获得所述客服机器人对 于多个所述测试样例集的部分一致性值的和与所述测试样例集的个数 的比值，将此比值作为所述测试一致性值。

可选地，所述机器人选取模块，用于设置测试一致性阈值，如果 所述客服机器人所对应的所述测试一致性值大于或等于所述测试一致 性阈值，则确定此客服机器人为符合评测要求的合格的客服机器人。

可选地，所述协同控制处理模块，用于在所述合格的客服机器人 中选取最高的两个测试一致性值所对应的两个融合候选机器人；设置 所述协同控制机器人，以使所述协同控制机器人基于协同规则对所述 两个融合候选机器人对于标准问题、同义问题输出的答案进行融合处 理并输出融合答案。

可选地，如果第一融合候选机器人输出的答案与第二融合候选机 器人输出的答案相同，则所述协同控制机器人确定所述融合答案为所 述第一融合候选机器人输出的答案；如果第一融合候选机器人输出的 答案与第二融合候选机器人输出的答案都不为空并且不相同，则所述 协同控制机器人确定所述融合答案为空值；如果第一融合候选机器人输出的答案或第二融合候选机器人输出的答案为空值，则所述协同控 制机器人确定所述融合答案为第二融合候选机器人输出的答案或第一 融合候选机器人输出的答案；其中，第一融合候选机器人所对应的测 试一致性值大于或等于第二融合候选机器人所对应的测试一致性值。

可选地，所述测试样例包括：客户地区；所述一致性确定模块， 还用于基于所述客户地区确定与所述标准问题相对应的标准答案。

可选地，所述每个所述测试样例集所包含的多个所述测试样例中的 标准问题、客户地区都相同。

根据本公开的又一方面，提供一种客服机器人理解性能检测融合 装置，其中，包括：存储器；以及耦接至所述存储器的处理器，所述 处理器被配置为基于存储在所述存储器中的指令，执行如上所述的方 法。

根据本公开的再一方面，提供一种计算机可读存储介质，其上存储 有计算机程序指令，该指令被一个或多个处理器执行时实现如上所述 的方法的步骤。

本公开的客服机器人理解性能检测融合方法和装置，基于测试样例 集合对客服机器人进行测试，根据客服机器人对于测试样例中的标准 问题、同义问题分别输出的答案确定客服机器人对于测试样例集合的 测试一致性值，根据测试一致性值从客服机器人中选取符合评测要求 的合格的客服机器人；基于融合候选机器人对于标准问题、同义问题输出的答案设置协同控制机器人，由融合候选机器人与协同控制机器 人构成融合协同客服机器人；提出了客服机器人的部分一致性度量方法， 可以反映客服机器人在测试样例集上的一致性的程度，能够使客服机器 人进行协同工作，取得更好的理解性能，提高了提供给用户答案的准确 性，提升了客户服务效率，提高了用户的使用感受。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将 对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易 见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通 技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图 获得其他的附图。

图1为根据本公开的客服机器人理解性能检测融合方法的一个实施 例的流程示意图；

图2为根据本公开的客服机器人理解性能检测融合装置的一个实施 例的模块示意图；

图3为根据本公开的客服机器人理解性能检测融合装置的另一个实 施例的模块示意图。

具体实施方式

下面参照附图对本公开进行更全面的描述，其中说明本公开的示例 性实施例。下面将结合本公开实施例中的附图，对本公开实施例中的技 术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一 部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普 通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都 属于本公开保护的范围。

下文中的“第一”、“第二”等仅用于描述上相区别，并没有其它特殊 的含义。

图1为根据本公开的客服机器人理解性能检测融合方法的一个实施 例的流程示意图，如图1所示：

步骤101，设置包含有测试样例的测试样例集合，基于测试样例集 合对客服机器人进行测试。

本公开的客服机器人为智能客服机器人，测试样例包括：标准问 题、同义问题等，标准问题是指具有标准问法的问题，同义问题是指 具有同义问法的问题。测试样例也可以包括客户地区，能够基于客户 地区确定与标准问题相对应的标准答案。

步骤102，根据客服机器人对于测试样例中的标准问题、同义问 题分别输出的答案确定客服机器人对于测试样例集合的测试一致性值。

步骤103，根据测试一致性值从客服机器人中选取符合评测要求 的合格的客服机器人。评测要求可以有多种，可以根据测试需求进行 设置。

步骤104，从合格的客服机器人中选取融合候选机器人，基于融 合候选机器人对于标准问题、同义问题输出的答案设置协同控制机器 人，以便于由融合候选机器人与协同控制机器人构成融合协同客服机 器人。融合协同客服机器人包括融合候选机器人和协同控制机器人， 由协同控制机器人生成融合答案。

在一个实施例中，测试样例可以是一个三元组，包括：标准问题、 同义问题、客户地区。“标准问题”表示一个意思明确、叙述清晰的问题 表述。例如，在电信客户服务领域，“如何办理iFree卡？”是一个标准问 题。“同义问题”表示一个意思不够明确或者叙述模糊的问题表述，但是 其含义又与某个标准问题相同。例如，与“如何办理iFree卡？”相比，“问一下你们电信的iFree卡我怎么办呀？”不够明确，但是这两个问法表达的 含义是一致的，即客户想办理iFree，但是又不知道如何办理，因此需要 求助。“客户地区”表示提出问题的客户所在的城市，对不同城市的客户， 他们的问题一致，但是答案可能不一致。

客服机器人可以对同义问题以及标准问题进行语义分析，计算同义 问题与标准问题之间的语义距离(例如为欧式距离等)，选取语义距离 最短的标准问题作为与此同义问题相对应的标准问题，并获取与此标准 问题对应的标准答案作为此同义问题的答案。语义分析以及语义距离计 算方法可以采用现有的多种方法。

对于一台客服机器人Rob，任选一条测试样例，记为T_j＝(ST_j，TT_j，C_j)，使用标准问题ST_j和同义问题TT_j分别对Rob进行测试，分别得到 两个答案，记为标准问题答案SA_j和同义问题答案TA_j。如果TA_j和SA_j相同，则Rob对标准问题ST_j和同义问题TT_j是一致的，Rob对测试样 例T_j具有测试一致性。TA_j与SA_j不相同有两种：第一，TA_j为等于空(空 可以记为NULL)，表示Rob不能理解TT_j，因此无法返回答案，也即 无法返回任何内容。第二，TA_j不为空，但是不同于标准答案SA_j，说明 了Rob错误地理解了同义问题TT_j，因而给出了不正确的答案。

在一个实施例中，根据客服机器人对于测试样例集所包含的测试 样例中的标准问题、同义问题输出的答案确定客服机器人对于此测试 样例集的部分一致性值。基于客服机器人对于多个测试样例集的部分 一致性值获得测试一致性值。

获取部分一致性值以及测试一致性值可以有多种方。例如，在测 试样例集中选取客服机器人对于标准问题和同义问题输出相同答案的 测试样例，将此测试样例作为一致性测试样例。获得测试样例集中的 一致性测试样例的数量与测试样例集中的全部测试样例的数量的比值， 将此比值作为部分一致性值。获得客服机器人对于多个测试样例集的部分一致性值的和与测试样例集的个数的比值，将此比值作为测试一致 性值。

可以设置包含有多个测试样例的测试样例集，由多个测试样例集组 成测试样例集合。每个测试样例集所包含的多个测试样例中的标准问题、 客户地区都相同。给定一台客服机器人Rob,T为测试样例库中的一个标 准问题相同、客户地区相同的测试样例集，记为T＝{T₁，T₂，...，T_j，...， T_k}，其中：T_j＝(ST_j，TT_j，C_j)，1≤j≤k；ST₁、ST₂、...ST_j、...、ST_k相同， 即ST₁＝ST₂＝...＝ST_j＝...＝ST_k；C₁、C₂、...C_j、...、C_k相同，即 C₁＝C₂＝...＝C_j＝...＝C_k。如果对测试样例集T＝{T₁，T₂，...，T_j，...，T_k}中 的每条测试样例T_j，Rob对T_j都具有测试一致性，那么称Rob对测试样 例集T具有完全一致性。

可以使用T[ST,C]表示满足以下条件的一个测试样例集{T₁，T₂，...， T_j，...，T_k}：T_j＝(ST_j，TT_j，C_j)，其中1≤j≤k；ST₁、ST₂、...ST_j、...、ST_k相同，且都等于ST；C₁、C₂、...C_j、...、C_k相同，且都等于C。对于一台 客服机器人Rob,T[ST,C]＝{T₁，T₂，...，T_j，...，T_k}为一个测试样例集。 如果Rob对T[ST,C]的子集T’(即)具有一致性，而对T[ST, C]与T’的差集(T[ST,C]\T’)中的任何一条测试样例都不具有一致性， 那么称Rob对T[ST,C]具有部分一致性，计算Rob对T[ST,C]的部分一致 性的计算方法为：

其中，k为T[ST,C]中的测试样例的个数，|T'|为T’子集中的测试样例 的个数，即T[ST,C]中Rob对于标准问题和同义问题输出相同答案(标 准答案)的测试样例的个数。cons(Rob,T[ST,C])的值属于区间[0,1]，并 且cons(Rob,T[ST,C])＝1当且仅当Rob对测试样例集T[ST,C]具有完全一 致性。

设置一台客服机器人Rob以及一个测试样例集合 Ω＝{T[ST₁,C₁],T[ST₂,C₂],...,T[ST_i,C_i],...,T[ST_m,C_m]}，其中，每个T[ST_i,C_i] 是一个测试样例集。对每个T[ST_i,C_i]，按照公式1－1分别计算 cons(Rob,T[ST_i,C_i])。客服机器人的测试一致性值，即为客服机器人对 于测试样例集合的部分一致性度量，反映Rob在Ω上的一致性的程度。客服机器人Rob对测试样例集合Ω＝{T[ST₁,C₁],T[ST₂,C₂],...,T[ST_i,C_i],..., T[ST_m,C_m]}的测试一致性值为RobCons(Rob,Ω)：

其中，m为Ω中的测试样例集的个数。

在一个实施例中，设置测试一致性阈值，如果客服机器人所对应 的测试一致性值大于或等于测试一致性阈值，则确定此客服机器人为 符合评测要求的合格的客服机器人。例如，可以确定客服机器人的测 试一致性阈值为α(根据不同的应用需要，α可以取不同的值。例如，如 果实际应用对客服机器人的部分一致性要求很高，那么α取值0.95。如果 实际应用对客服机器人的部分一致性要求不是很高，那么α取值0.80)。

假设共有n台客服机器人参与评测，并且n≥1；测试样例集的集合Ω 中含有m个测试样例集，并且m≥1。对测试样例集的集合 Ω＝{T[ST₁,C₁],T[ST₂,C₂],...,T[ST_i,C_i],...,T[ST_m,C_m]}中的每个测试样集 T[ST_i,C_i]，分别调用待检测的客服机器人Rob^k进行测试，其中n≥k≥1。对 每个k，得到m个度量cons(Rob^k,T[ST_i,C_i])，其中m≥i≥1。

对客服机器人Rob^k和测试样例集T[ST_i,C_i]，Rob^k的部分一致性评估 cons(Rob^k,T[ST_i,C_i])采用公式1－1的计算方法。对测试样例集的集合Ω， 计算每个待检测的客服机器人Rob^k的RobCons(Rob^k,Ω)，其中n≥k≥1。对 于客服机器人Rob^k和测试样例集的集合Ω，Rob^k的测试一致性度量 RobCons(Rob^k,Ω)的计算采用公式1－2的计算方法。对n≥k≥1,输出满足 RobCons(Robk,Ω)≥α的所有的Rob^k作为符合评测要求的最终结果，作为 合格的客服机器人。

在一个实施例中，在合格的客服机器人中选取最高的两个测试一 致性值所对应的两个融合候选机器人，设置协同控制机器人，以使协 同控制机器人基于协同规则对两个融合候选机器人对于标准问题、同 义问题输出的答案进行融合处理并输出融合答案。

例如，确定接收到的问题为标准问题或同义问题，将标准问题或 同义问题分别输入第一融合候选机器人和第二融合候选机器人，如果 第一融合候选机器人输出的答案与第二融合候选机器人输出的答案相 同，则协同控制机器人确定融合答案为第一融合候选机器人输出的答 案。

如果第一融合候选机器人输出的答案与第二融合候选机器人输出 的答案都不为空并且不相同，则协同控制机器人确定融合答案为空值； 如果第一融合候选机器人输出的答案或第二融合候选机器人输出的答 案为空值，则协同控制机器人确定融合答案为第二融合候选机器人输 出的答案或第一融合候选机器人输出的答案；其中，第一融合候选机器人所对应的测试一致性值大于或等于第二融合候选机器人所对应的 测试一致性值。

给定两台客服机器人Rob^a、Rob^b，在Rob^a和Rob^b基础上，构造出一 个协同控制机器人，记为Rob⁺。对测试样例T_j＝(ST_j,TT_j,C_j)，Rob^a得到 标准问法ST_j和同义问法TT_j的答案分别是SA_j ^a和TA_j ^a，Rob^b得到标准问 法ST_j和同义问法TT_j的答案分别是SA_j ^b和TA_j ^b。那么，对测试样例 T_j＝(ST_j,TT_j,C_j)，Rob⁺输出的标准问法的答案和同义问法的答案(融合答 案)分别记为SA_j ⁺和TA_j ⁺。

通过Rob^a和Rob^b构造的协同控制机器人的理解性能不低于Rob^a或 Rob^b的理解性能，在融合协同客服机器人中，由协同控制机器人回答 客户的问题。对任意一个测试样例集的集合Ω， RobCons(Rob⁺,Ω)≥RobCons(Rob^a,Ω)，并且 RobCons(Rob⁺,Ω)≥RobCons(Rob^b,Ω)。

例如，选择两台RobCons(Rob^k,Ω)最大的智能客服机器人，记为Rob^a和Rob^b,构造出协同智能客服机器人Rob⁺。根据两台智能客服机器人 Rob^a和Rob^b构造的协同智能客服机器人Rob⁺按照公式1－3和公式1－4 的方法。计算RobCons(Rob⁺,Ω)，并且连同Rob^a和Rob^b一起输出。

在一个实施例中，Ω中有两个测试样例集，它们的内容如下：

T[“如何办理iFree卡？”,北京]

＝{

(“如何办理iFree卡？”，“问一下你们电信的iFree卡我 怎么办呀？”，北京)，

(“如何办理iFree卡？”，“iFree卡哪里可以买到？”，北 京)，

(“如何办理iFree卡？”，“办一张iFree卡怎么办？”，北京)

}

T[“ITV是什么？”,上海]

＝{

(“ITV是什么？”，“我想了解一下itv，它是什么？”， 上海)，

(“ITV是什么？”，“你们推出的天翼高清是什么服务？”， 上海)，

(“ITV是什么？”，“你们推出的天翼高清是什么服务？”， 上海)

}

假设共计有三台客服机器人参与理解性能评测，它们分别记为Rob¹、 Rob²、Rob³。结合以下调用Rob¹、Rob²、Rob³的测试结果，如下表1所 示：

表1－Rob¹、Rob²、Rob³对测试样例集的集合Ω的测试结果

假设评测时设定的客服机器人理解性能阈值，即测试一致性阈值 α＝0.8，有以下结果：

Rob¹、Rob²、Rob³均不满足性能要求。由于RobCons(Rob¹,Ω)和 RobCons(Rob²,Ω)均为2/3，选择Rob¹和Rob²用于构造协同客服机器人 Rob⁺,Rob¹和Rob²分别记为Rob^a和Rob^b。根据Rob^a和Rob^b构造出的协同 客服机器人记为Rob⁺。

算出也就是说，由Rob¹和 Rob²构造出的协同客服机器人记为Rob⁺满足理解性能要求。

在一个实施例中，如图2所示，本发明提供一种客服机器人理解 性能检测融合装置20，包括：测试样例设置模块21、一致性确定模块 22、机器人选取模块23、协同控制处理模块24。测试样例设置模块 21设置包含有测试样例的测试样例集合，基于测试样例集合对客服机 器人进行测试。测试样例包括标准问题、同义问题，也可以包括客户 地区。一致性确定模块21基于客户地区确定与标准问题相对应的标准 答案。

一致性确定模块22根据客服机器人对于测试样例中的标准问题、 同义问题分别输出的答案确定客服机器人对于测试样例集合的测试一 致性值。机器人选取模块23根据测试一致性值从客服机器人中选取符 合评测要求的合格的客服机器人。协同控制处理模块24从客服机器人 中选取融合候选机器人，基于融合候选机器人对于标准问题、同义问题输出的答案设置协同控制机器人，以便于由融合候选机器人与协同 控制机器人构成融合协同客服机器人。

在一个实施例中，测试样例设置模块21设置包含有多个测试样例 的测试样例集，由多个测试样例集组成测试样例集合。每个测试样例集 所包含的多个测试样例中的标准问题、客户地区可以都相同。一致性确 定模块22根据客服机器人对于测试样例集所包含的测试样例中的标准 问题、同义问题输出的答案确定客服机器人对于此测试样例集的部分一致性值，基于客服机器人对于多个测试样例集的部分一致性值获得 测试一致性值。

例如，一致性确定模块22在测试样例集中选取客服机器人对于标 准问题和同义问题输出相同答案的测试样例，将此测试样例作为一致 性测试样例；一致性确定模块22获得测试样例集中的一致性测试样例 的数量与测试样例集中的全部测试样例的数量的比值，将此比值作为 部分一致性值。一致性确定模块22获得客服机器人对于多个测试样例集的部分一致性值的和与测试样例集的个数的比值，将此比值作为测试 一致性值。

在一个实施例中，机器人选取模块23设置测试一致性阈值，如果 客服机器人所对应的测试一致性值大于或等于测试一致性阈值，则确 定此客服机器人为符合评测要求的合格的客服机器人。协同控制处理 模块24在合格的客服机器人中选取最高的两个测试一致性值所对应 的两个融合候选机器人。协同控制处理模块24设置协同控制机器人， 以使协同控制机器人基于协同规则对两个融合候选机器人对于标准问 题、同义问题输出的答案进行融合处理并输出融合答案。

如果第一融合候选机器人输出的答案与第二融合候选机器人输出 的答案相同，则协同控制机器人确定融合答案为第一融合候选机器人 输出的答案；如果第一融合候选机器人输出的答案与第二融合候选机 器人输出的答案都不为空并且不相同，则协同控制机器人确定融合答 案为空值；如果第一融合候选机器人输出的答案或第二融合候选机器人输出的答案为空值，则协同控制机器人确定融合答案为第二融合候 选机器人输出的答案或第一融合候选机器人输出的答案；其中，第一 融合候选机器人所对应的测试一致性值大于或等于第二融合候选机器 人所对应的测试一致性值。

图3为根据本发明公开的客服机器人理解性能检测融合装置的另 一个实施例的模块示意图。如图3所示，该装置可包括存储器31、处理 器32、通信接口33以及总线34。存储器31用于存储指令，处理器32 耦合到存储器31，处理器32被配置为基于存储器31存储的指令执行实 现上述的客服机器人理解性能检测融合方法。

存储器31可以为高速RAM存储器、非易失性存储器(NoN-volatile memory)等，存储器31也可以是存储器阵列。存储器31还可能被分块， 并且块可按一定的规则组合成虚拟卷。处理器32可以为中央处理器 CPU，或专用集成电路ASIC(Application SpecificIntegrated Circuit)， 或者是被配置成实施本发明公开的客服机器人理解性能检测融合方法 的一个或多个集成电路。

在一个实施例中，本公开还提供一种计算机可读存储介质，其中 计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如 上任一实施例涉及的客服机器人理解性能检测融合方法。本领域内的 技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程 序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或 结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或 多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介 质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施 的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)和计算机 程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指 令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/ 或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到 通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备 的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设 备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能的装置。

至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没 有描述本领域所公知的一些细节。本领域技术人员根据上面的描述， 完全可以明白如何实施这里公开的技术方案。

上述实施例提供的客服机器人理解性能检测融合方法和装置，基于 测试样例集合对客服机器人进行测试，根据客服机器人对于测试样例 中的标准问题、同义问题分别输出的答案确定客服机器人对于测试样 例集合的测试一致性值，根据测试一致性值从客服机器人中选取符合 评测要求的合格的客服机器人；基于融合候选机器人对于标准问题、同义问题输出的答案设置协同控制机器人，由融合候选机器人与协同 控制机器人构成融合协同客服机器人；提出了客服机器人的部分一致性 度量方法，可以反映客服机器人在测试样例集上的一致性的程度，能够 使客服机器人进行协同工作，取得更好的理解性能，提高了提供给用户 答案的准确性，提升了客户服务效率，提高了用户的使用感受。

可能以许多方式来实现本公开的方法和系统。例如，可通过软件、 硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和 系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法 的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外， 在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这 些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公 开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的 或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技 术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理 和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适 于特定用途的带有各种修改的各种实施例。

Claims (22)

1.一种客服机器人理解性能检测融合方法，包括：

设置包含有测试样例的测试样例集合，基于所述测试样例集合对客服机器人进行测试；其中，所述测试样例包括：标准问题、同义问题；

根据所述客服机器人对于所述测试样例中的标准问题、同义问题分别输出的答案确定所述客服机器人对于所述测试样例集合的测试一致性值；

根据所述测试一致性值从所述客服机器人中选取符合评测要求的合格的客服机器人；

从所述客服机器人中选取融合候选机器人，基于所述融合候选机器人对于标准问题、同义问题输出的答案设置协同控制机器人，以便于由所述融合候选机器人与所述协同控制机器人构成融合协同客服机器人。

2.如权利要求1所述的方法，所述设置包含有测试样例的测试样例集合包括：

设置包含有多个所述测试样例的测试样例集，由多个所述测试样例集组成所述测试样例集合。

3.如权利要求2所述的方法，所述确定所述客服机器人对于所述测试样例集合的测试一致性值包括：

根据所述客服机器人对于所述测试样例集所包含的测试样例中的标准问题、同义问题输出的答案确定所述客服机器人对于此测试样例集的部分一致性值；

基于所述客服机器人对于多个所述测试样例集的部分一致性值获得所述测试一致性值。

4.如权利要求3所述的方法，所述确定所述客服机器人对于此测试样例集的部分一致性值包括：

在所述测试样例集中选取所述客服机器人对于标准问题和同义问题输出相同答案的测试样例，将此测试样例作为一致性测试样例；

获得所述测试样例集中的一致性测试样例的数量与所述测试样例集中的全部测试样例的数量的比值，将此比值作为所述部分一致性值。

5.如权利要求4所述的方法，所述基于所述客服机器人对于多个所述测试样例集的部分一致性值获得所述测试一致性值包括：

获得所述客服机器人对于多个所述测试样例集的部分一致性值的和与所述测试样例集的个数的比值，将此比值作为所述测试一致性值。

6.如权利要求1所述的方法，所述根据所述测试一致性值从所述客服机器人中选取符合评测要求的合格的客服机器人包括：

设置测试一致性阈值，如果所述客服机器人所对应的所述测试一致性值大于或等于所述测试一致性阈值，则确定此客服机器人为符合评测要求的合格的客服机器人。

7.如权利要求6所述的方法，所述设置协同控制机器人包括：

在所述合格的客服机器人中选取最高的两个测试一致性值所对应的两个融合候选机器人；

设置所述协同控制机器人，以使所述协同控制机器人基于协同规则对所述两个融合候选机器人对于标准问题、同义问题输出的答案进行融合处理并输出融合答案。

8.如权利要求7所述的方法，所述基于协同规则对所述两个融合候选机器人对于标准问题、同义问题输出的答案进行融合处理并输出融合答案包括：

如果第一融合候选机器人输出的答案与第二融合候选机器人输出的答案相同，则所述协同控制机器人确定所述融合答案为所述第一融合候选机器人输出的答案；

如果第一融合候选机器人输出的答案与第二融合候选机器人输出的答案都不为空并且不相同，则所述协同控制机器人确定所述融合答案为空值；

如果第一融合候选机器人输出的答案或第二融合候选机器人输出的答案为空值，则所述协同控制机器人确定所述融合答案为第二融合候选机器人输出的答案或第一融合候选机器人输出的答案；

其中，第一融合候选机器人所对应的测试一致性值大于或等于第二融合候选机器人所对应的测试一致性值。

9.如权利要求1所述的方法，所述测试样例包括：客户地区；所述方法还包括：

基于所述客户地区确定与所述标准问题相对应的标准答案。

10.如权利要求9所述的方法，其特征在于，

所述每个所述测试样例集所包含的多个所述测试样例中的标准问题、客户地区都相同。

11.一种客服机器人理解性能检测融合装置，包括：

测试样例设置模块，用于设置包含有测试样例的测试样例集合，基于所述测试样例集合对客服机器人进行测试；其中，所述测试样例包括：标准问题、同义问题；

一致性确定模块，用于根据所述客服机器人对于所述测试样例中的标准问题、同义问题分别输出的答案确定所述客服机器人对于所述测试样例集合的测试一致性值；

机器人选取模块，用于根据所述测试一致性值从所述客服机器人中选取符合评测要求的合格的客服机器人；

协同控制处理模块，用于从所述客服机器人中选取融合候选机器人，基于所述融合候选机器人对于标准问题、同义问题输出的答案设置协同控制机器人，以便于由所述融合候选机器人与所述协同控制机器人构成融合协同客服机器人。

12.如权利要求11所述的装置，其中，

所述测试样例设置模块，用于设置包含有多个所述测试样例的测试样例集，由多个所述测试样例集组成所述测试样例集合。

13.如权利要求12所述的装置，其中，

所述一致性确定模块，用于根据所述客服机器人对于所述测试样例集所包含的测试样例中的标准问题、同义问题输出的答案确定所述客服机器人对于此测试样例集的部分一致性值；基于所述客服机器人对于多个所述测试样例集的部分一致性值获得所述测试一致性值。

14.如权利要求13所述的装置，其中，

所述一致性确定模块，具体用于在所述测试样例集中选取所述客服机器人对于标准问题和同义问题输出相同答案的测试样例，将此测试样例作为一致性测试样例；获得所述测试样例集中的一致性测试样例的数量与所述测试样例集中的全部测试样例的数量的比值，将此比值作为所述部分一致性值。

15.如权利要求14所述的装置，其中，

所述一致性确定模块，具体用于获得所述客服机器人对于多个所述测试样例集的部分一致性值的和与所述测试样例集的个数的比值，将此比值作为所述测试一致性值。

16.如权利要求11所述的装置，其中，

所述机器人选取模块，用于设置测试一致性阈值，如果所述客服机器人所对应的所述测试一致性值大于或等于所述测试一致性阈值，则确定此客服机器人为符合评测要求的合格的客服机器人。

17.如权利要求16所述的装置，其中，

所述协同控制处理模块，用于在所述合格的客服机器人中选取最高的两个测试一致性值所对应的两个融合候选机器人；设置所述协同控制机器人，以使所述协同控制机器人基于协同规则对所述两个融合候选机器人对于标准问题、同义问题输出的答案进行融合处理并输出融合答案。

18.如权利要求17所述的装置，其中，

如果第一融合候选机器人输出的答案与第二融合候选机器人输出的答案相同，则所述协同控制机器人确定所述融合答案为所述第一融合候选机器人输出的答案；如果第一融合候选机器人输出的答案与第二融合候选机器人输出的答案都不为空并且不相同，则所述协同控制机器人确定所述融合答案为空值；如果第一融合候选机器人输出的答案或第二融合候选机器人输出的答案为空值，则所述协同控制机器人确定所述融合答案为第二融合候选机器人输出的答案或第一融合候选机器人输出的答案；

其中，第一融合候选机器人所对应的测试一致性值大于或等于第二融合候选机器人所对应的测试一致性值。

19.如权利要求11所述的装置，所述测试样例包括：客户地区；

所述一致性确定模块，还用于基于所述客户地区确定与所述标准问题相对应的标准答案。

20.如权利要求19所述的装置，其中，

所述每个所述测试样例集所包含的多个所述测试样例中的标准问题、客户地区都相同。

21.一种客服机器人理解性能检测融合装置，其中，包括：

存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至10中任一项所述的方法。

22.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或多个处理器执行时实现权利要求1至10任意一项所述的方法的步骤。