CN106844334A - 用于评测会话机器人智能的方法及设备 - Google Patents

Abstract

本发明的实施方式提供了一种用于评测会话机器人智能的方法。该用于评测会话机器人智能的方法包括：根据会话机器人的配置信息确定配置指标的配置质量；其中，上述配置指标包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注及表达配置信息的服务触发中的至少一个。本发明的实施方式通过设置衡量会话机器人的智能程度的配置指标，使本发明可以基于会话机器人的配置信息客观的认知会话机器人的智能水平，从而有利于提升会话机器人的智能水平。此外，本发明的实施方式还提供了一种用于评测会话机器人智能的设备以及计算机可读存储介质。

Description

用于评测会话机器人智能的方法及设备

技术领域

本发明的实施方式涉及机器人领域，更具体地，本发明的实施方式涉及用于评测会话机器人智能的方法、用于评测会话机器人智能的设备以及计算机可读存储介质。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或者上下文。此处的描述不因为包括在本部分中就承认是现有技术。

会话机器人可以通过识别用户的意图而为用户提供相应的服务，如会话机器人根据用户的意图为用户提供音乐播放服务以及问题解答服务等。

目前，已经出现了会话机器人开发平台，会话机器人开发者可以通过在会话机器人开发平台上进行相应的信息配置从而方便快捷的生成会话机器人；利用会话机器人开发平台所生成的会话机器人的智能水平在很大程度上依赖于会话机器人开发者的技能，如何对会话机器人的智能水平进行客观的认知，以便于提升会话机器人的智能水平，是一个值得关注的技术问题。

发明内容

但是，出于目前会话机器人的开发过程与开发者的开发习惯以及主观认知等相关，且现有技术并未存在一种对会话机器人的智能水平进行客观评测的技术方案等原因，使会话机器人的智能水平依赖于开发者的开发水平，从而使不同的会话机器人的智能水平存在较大差异。

因此在现有技术中，会话机器人的智能水平无法被客观的认知，且这种状况不利于提升会话机器人的智能水平，这是非常令人烦恼的过程。

为此，非常需要一种现实且便捷可行的用于评测会话机器人智能的技术方案，以使会话机器人的智能水平能够被会话机器人的开发者等相关人员客观认知，以对会话机器人的智能水平进行相应的提升。

在本上下文中，本发明的实施方式期望提供一种用于评测会话机器人智能的方法、设备以及计算机可读存储介质。

在本发明实施方式的第一方面中，提供了一种用于评测会话机器人智能的方法，该方法包括：根据会话机器人的配置信息确定配置指标的配置质量；其中，所述配置指标包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注、表达配置信息的服务触发中的至少一个。

在本发明的一个实施例中，该根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：根据会话机器人的配置信息中对应同一意图的不同表达之间的差异度确定会话机器人的表达配置信息的表达方式的配置质量；和/或，根据会话机器人的配置信息中包含有无关表达词集合中的无关表达词的表达确定会话机器人的表达配置信息的表达方式的配置质量；和/或，根据会话机器人的配置信息中的各表达长度确定会话机器人的表达配置信息的表达方式的配置质量。

在本发明的另一实施例中，该根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：根据会话机器人的配置信息中的意图与其对应的表达之间的相似度确定会话机器人的意图配置信息的意图设置的配置质量；和/或，根据会话机器人的配置信息中的对应不同意图的表达之间的相似度确定会话机器人的意图配置信息的意图设置的配置质量。

在本发明的又一个实施例中，该根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：根据会话机器人的配置信息中的表达实体标注的正确程度确定会话机器人的表达配置信息的实体标注的配置质量；和/或，根据会话机器人的配置信息中的表达实体标注的数量确定会话机器人的表达配置信息的实体标注的配置质量。

在本发明的再一个实施例中，该根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：根据会话机器人的配置信息中未曾触发服务的表达配置信息确定会话机器人的表达配置信息的服务触发的配置质量。

在本发明的再一个实施例中，该方法还包括步骤：针对降低配置指标的配置质量的配置信息，产生并输出配置信息存在的配置问题的提示信息。

在本发明的再一个实施例中，该所述方法还包括下述步骤：针对降低配置指标的配置质量的配置信息从配置信息集合中选取不降低配置指标的配置质量的配置信息，并将所述选取的配置信息作为用于更新所述降低配置指标的配置质量的配置信息的选项输出；在接收到针对所述选项的更新确认信息后，根据所述更新确认信息对应的选项对所述降低配置指标的配置质量的配置信息进行维护。

在本发明实施方式的第二方面中，提供了一种用于评测会话机器人智能的设备，包括：确定配置质量模块，配置用于根据会话机器人的配置信息确定配置指标的配置质量；其中，所述配置指标包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注、表达配置信息的服务触发中的至少一个。

在本发明的一个实施例中，该确定配置质量模块包括：第一质量子模块，配置用于根据会话机器人的配置信息中对应同一意图的不同表达之间的差异度确定会话机器人的表达配置信息的表达方式的配置质量；和/或，第二质量子模块，配置用于根据会话机器人的配置信息中包含有无关表达词集合中的无关表达词的表达确定会话机器人的表达配置信息的表达方式的配置质量；和/或，第三质量子模块，配置用于根据会话机器人的配置信息中的各表达长度确定会话机器人的表达配置信息的表达方式的配置质量。

在本发明的一个实施例中，该确定配置质量模块包括：第四质量子模块，配置用于根据会话机器人的配置信息中的意图与其对应的表达之间的相似度确定会话机器人的意图配置信息的意图设置的配置质量；和/或，第五质量子模块，配置用于根据会话机器人的配置信息中的对应不同意图的表达之间的相似度确定会话机器人的意图配置信息的意图设置的配置质量。

在本发明的一个实施例中，该确定配置质量模块包括：第六质量子模块，配置用于根据会话机器人的配置信息中的表达实体标注的正确程度确定会话机器人的表达配置信息的实体标注的配置质量；和/或，第七质量子模块，配置用于根据会话机器人的配置信息中的表达实体标注的数量确定会话机器人的表达配置信息的实体标注的配置质量。

在本发明的一个实施例中，该所述确定配置质量模块包括：第八质量子模块，配置用于根据会话机器人的配置信息中未曾触发服务的表达配置信息确定会话机器人的表达配置信息的服务触发的配置质量。

在本发明的一个实施例中，该设备还包括：问题提示模块，配置用于针对降低配置指标的配置质量的配置信息，产生并输出配置信息存在的配置问题的提示信息。

在本发明的一个实施例中，该设备还包括：优化提示模块，配置用于针对降低配置指标的配置质量的配置信息从配置信息集合中选取不降低配置指标的配置质量的配置信息，并将所述选取的配置信息作为用于更新所述降低配置指标的配置质量的配置信息的选项输出；优化维护模块，配置用于在接收到针对所述选项的更新确认信息后，根据所述更新确认信息对应的选项对所述降低配置指标的配置质量的配置信息进行维护。

在本发明实施方式的第三方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现下述步骤：根据会话机器人的配置信息确定配置指标的配置质量；其中，所述配置指标包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注、表达配置信息的服务触发中的至少一个。

根据本发明实施方式的用于评测会话机器人智能的方法、用于评测会话机器人智能的设备以及计算机可读存储介质，通过将表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注以及表达配置信息的服务触发中的至少一个作为衡量会话机器人的智能程度的配置指标，并确定出会话机器人的配置信息中的相关配置指标的配置质量，由于本发明的发明人发现会话机器人的配置信息是否科学合理是决定会话机器人的智能水平的一个重要因素，因此，本发明实施方式能够在一定程度上客观的认知会话机器人的智能水平，从而本发明实施方式提供了一种现实且便捷可行的用于评测会话机器人智能的技术方案，该技术方案由于能够使会话机器人的智能水平被会话机器人的开发者等相关人员客观认知，因此本发明实施方式有利于提升会话机器人的智能水平，从而使会话机器人能够为用户带来更好的体验。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了根据本发明实施方式的可以在其中实现的应用场景；

图2示意性地示出了根据本发明一实施例的用于评测会话机器人智能的方法流程图；

图3示意性地示出了根据本发明又一实施例的用于评测会话机器人智能的设备的结构示意图；

图4示意性地示出了根据本发明再一实施例的计算机可读存储介质的示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或者计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种用于评测会话机器人智能的方法及设备。

在本文中，需要理解的是，所涉及的术语会话机器人(如对话机器人等)表示通过识别用户的意图而为用户提供相应的服务的智能系统，会话机器人开发平台表示一种会话机器人开发框架，该开发框架能够提供意图识别、实体解析、服务调用以及上下文管理等功能，通过该开发框架可以输出一个可以通过自然语言交流而调用指定服务的会话机器人。会话机器人开发平台也可以称为会话机器人软件开发平台等。此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

本发明人发现，会话机器人的开发过程与开发者的开发习惯以及主观认知等密切相关，且现有技术并未存在一种对会话机器人的智能水平进行客观评测的技术方案，这使得会话机器人(如利用会话机器人开发平台开发出的会话机器人)的智能水平基本上依赖于开发者的开发水平，从而使不同的会话机器人的智能水平存在较大差异。会话机器人的智能水平无法被客观的认知这种状况不利于提升会话机器人的智能水平。

因此针对现有技术中会话机器人的智能水平无法被客观的认知这一状况，提供了一种用于评测会话机器人智能的方法及设备，通过将表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注以及表达配置信息的服务触发中的至少一个作为衡量会话机器人的智能程度的配置指标，并确定出会话机器人的配置信息中的相关配置指标的配置质量，由于本发明的发明人发现会话机器人的配置信息是否科学合理是决定会话机器人的智能水平的一个重要因素，因此，本发明实施方式能够通过配置信息的配置指标的配置质量在一定程度上客观的认知会话机器人的智能水平，从而本发明实施方式提供了一种现实且便捷可行的用于评测会话机器人智能的技术方案，该技术方案由于能够使会话机器人的智能水平被会话机器人的开发者等相关人员客观认知，因此有利于提升会话机器人的智能水平，从而使会话机器人能够为用户带来更好的体验。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

首先参考图1，示意性地示出了根据本发明实施方式的可以在其中实现的应用场景。

图1中，不同的会话机器人开发者可以利用会话机器人开发平台开发出各自的会话机器人，且同一个会话机器人开发者也可以利用会话机器人开发平台开发出多个会话机器人。利用会话机器人开发平台所开发出的会话机器人通常可以设置于现有的服务器中，和用户终端进行通信，接收用户终端发送来的请求，对请求进行处理，返回相应的处理结果、对用户进行在线答复，当然，会话机器人也可以设置于台式计算机、笔记型计算机、智能移动电话、平板电脑或者车辆中的智能驾驶系统等多种类型的智能用户终端中，接收用户请求，进行处理后返回处理结果。本发明实施方式不限制设置有会话机器人的设备的具体表现形式。

本发明实施方式可以针对基于会话机器人开发平台所开发出的会话机器人进行智能水平评测。本领域技术人员可以理解，本发明实施方式也完全可以针对采用其他形式开发出的会话机器人进行智能水平评测。

示例性方法

下面结合图1的应用场景，参考图2来描述根据本发明示例性实施方式的用于评测会话机器人智能的方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

参见图2，示意性地示出了根据本发明一实施例的用于评测会话机器人智能的方法流程图，该方法具体可以包括：

S200、根据会话机器人的配置信息确定配置指标的配置质量。

作为示例，本发明实施方式中的会话机器人的配置信息通常包括：意图配置信息(如“听音乐”)、表达配置信息(如“放首刘德华的歌听听呗”)以及服务配置信息(如音乐播放服务)，且意图配置信息、表达配置信息以及服务配置信息这三者之间存在对应关系；在通常情况下，一条意图配置信息可以对应多条表达配置信息(也可以简述为一个意图对应多个表达/表达式)，且一条表达配置信息通常应仅对应一条意图配置信息(也可以简称为一个表达/表达式通常仅对应一个意图)，而一条意图配置信息对应至少一个服务配置，即判断出用户的意图后，可以调用至少一个相应服务来满足用户的需求，这至少一个服务可以包括一个主要服务和一个以上的子服务，本发明对此不作限定。

作为示例，本发明实施方式中的配置指标可以具体包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注、表达配置信息的服务触发中的至少一个；上述四个配置指标中的每一个配置指标的配置质量都是影响会话机器人智能的一个重要参数；在一个实施方式中，可以利用上述四个配置指标的配置质量来衡量会话机器人智能水平，且在一个实施方式中，可以针对四个配置指标分别设置相应的权重值，这样，本发明实施方式可以根据各配置指标的配置质量及其权重值综合衡量会话机器人智能水平。当然，在利用上述四个配置指标中的任意两个或者任意三个配置指标的配置质量来衡量会话机器人智能水平的情况下，同样可以采用设置权重值的方式。另外，不同配置指标的权重值大小可以灵活设置，如可以使表达配置信息的表达方式的权重值和表达配置信息的服务触发的权重值高于意图配置信息的意图设置的权重值和表达配置信息的实体标注的权重值等。

作为示例，本发明实施方式中表达配置信息的表达方式的配置质量的确定依据可以包括：对应同一意图的不同表达之间的差异度、表达中是否包含有无关表达词以及表达长度是否满足要求中的至少一个。

在本发明的一个实施方式中，通过确定对应同一意图的不同表达之间的差异度，可以衡量出一个意图所对应的不同表达之间的相似程度，如果一个意图所对应的任意两个不同的表达之间过于相似，则会降低表达配置信息的表达方式的配置质量。上述对应同一意图的不同表达之间的差异度可以具体为对应同一意图的不同表达之间的编辑距离或者语义距离等。在该实施方式中，可以预先针对差异度设置差异度阈值(如编辑距离阈值或者语义距离阈值等)，从而利用该差异度阈值可以判断出对应同一意图的不同表达之间的差异度是否满足要求(如是否小于差异度阈值)，在判断出对应同一意图的不同表达之间的差异度不满足要求(如小于差异度阈值)时，则降低表达配置信息的表达方式的配置质量，而在判断出对应同一意图的不同表达之间的差异度满足要求(如不小于差异度阈值)时，不执行降低表达配置信息的表达方式的配置质量的操作。另外，本发明实施方式可以在降低表达配置信息的表达方式的配置质量时，累计扣减的分值，直到针对该会话机器人的配置信息中的所有意图的不同表达之间的差异度均执行了是否满足要求的判断以及降低表达配置信息的表达方式的配置质量的操作后，最终累计扣减的分值即为对应同一意图的不同表达之间的差异度对表达配置信息的表达方式的配置质量的影响。

在本发明的一个实施方式中，通过对各表达中是否包含有无关表达词进行判断，可以衡量出各表达中是否包含了多余的内容，如果判断出某一表达中包含有无关表达词，则会降低表达配置信息的表达方式的配置质量。在该实施方式中，可以预先设置无关表达词集合，且可以针对不同的意图来设置无关表达词集合，即无关表达词集合中设置有意图和无关表达词的对应关系；一个具体的例子：由于针对“听音乐”这一意图而言，“你好”为无关表达词，因此，本实施方式可以在无关表达词集合中将“你好”设置为“听音乐”这一意图所对应的无关表达词。此外，一个无关表达词集合也可以适用于一个以上的意图。在该实施方式中，可以利用无关表达词集合针对所有意图的所有表达分别执行是否包含有无关表达词的判断操作，在判断出一条表达包含有无关表达词时，则降低表达配置信息的表达方式的配置质量，而在判断出一条表达未包含有无关表达词时，不执行降低表达配置信息的表达方式的配置质量的操作。另外，本发明实施方式可以在降低表达配置信息的表达方式的配置质量时，累计扣减的分值，直到针对该会话机器人的配置信息中的所有意图的所有表达均执行了是否包含有无关表达词的判断操作后，最终累计扣减的分值即为表达中是否包含有无关表达词对表达配置信息的表达方式的配置质量的影响。

在本发明的一个实施方式中，通过对各意图对应的各表达的长度进行判断，可以衡量出所有表达中的过于简短或者过于冗长的表达，如果一个表达过于简短或者过于冗长，则会降低表达配置信息的表达方式的配置质量。上述表达的长度可以具体为表达所包含的字符数等。在该实施方式中，可以预先针对表达设置长度阈值(如短阈值和/或长阈值)，也可以预先针对表达设置符合长度要求的长度阈值范围，从而利用预先设置的长度阈值或者长度阈值范围可以判断出表达的长度是否满足要求(如判断是否小于短阈值且大于长阈值，再如判断是否位于长度阈值范围内)，在判断出表达的长度不满足要求(如小于短阈值或者大于长阈值或者没有位于长度阈值范围内)时，降低表达配置信息的表达方式的配置质量，而在判断出表达的长度满足要求(如不小于短阈值且不大于长阈值，再如位于长度阈值范围内)时，不执行降低表达配置信息的表达方式的配置质量的操作。另外，本发明实施方式可以在降低表达配置信息的表达方式的配置质量时，累计扣减的分值，直到针对该会话机器人的配置信息中的所有意图的所有表达均执行了表达的长度判断以及降低表达配置信息的表达方式的配置质量的操作后，最终累计扣减的分值即为表达长度是否满足要求对表达配置信息的表达方式的配置质量的影响。需要特别说明的是，本发明实施方式可以针对所有意图的所有表达统一设置相同的长度阈值/长度阈值范围，当然，本发明也不排除针对不同意图设置不同的长度阈值/长度阈值范围的可能性。

由上述描述可知，本发明实施方式可以根据会话机器人的配置信息中对应同一意图的不同表达之间的差异度和/或各表达中是否包含有无关表达词和/或各表达长度是否满足要求来确定会话机器人的表达配置信息的表达方式的配置质量。在一个实施方式中，在利用会话机器人的配置信息中对应同一意图的不同表达之间的差异度、包含有无关表达词集合中的无关表达词的表达以及各表达长度这三项来确定会话机器人的表达配置信息的表达方式的配置质量的情况下，可以针对这三项分别设置权重值，这样，在每次扣减分值时，可以根据各项对应的权重值计算出本次实际需要扣减的分值。而在利用上述三项中的任意两项的具体情况来衡量表达配置信息的表达方式的配置质量的情况下，同样可以采用设置权重值的方式。

在本发明的一个实施方式中，可以预先针对表达配置信息的表达方式的配置质量设置初始值，从而在执行降低表达配置信息的表达方式的配置质量的操作时，可以以初始值为基础扣减相应的分值，而最终的分值可以表示出表达配置信息的表达方式的配置质量，此时最终的分值越低表示表达配置信息的表达方式的配置质量越低。另外，本发明实施方式也可以不针对表达配置信息的表达方式的配置质量设置初始值，且上述扣减分值的操作可以替换为累计分值，而最终累计获得的分值同样可以表示出表达配置信息的表达方式的配置质量，此时最终累计获得的分值越高表示表达配置信息的表达方式的配置质量越低。

作为示例，本发明实施方式中意图配置信息的意图设置的配置质量的确定依据可以包括：意图与其对应的表达之间的相似度以及对应不同意图的表达之间的相似度中的至少一个。

在本发明的一个实施方式中，通过确定意图与其对应的表达之间的相似度，可以衡量出意图与其对应的表达之间是否相适合，如果意图与其对应的表达之间相似度很低，则表征意图与其对应的表达很可能不相适合，从而应降低意图配置信息的意图设置的配置质量。上述意图与其对应的表达之间的相似度可以根据预先存储的大量的意图与表达之间的对应关系(如大量会话机器人的配置信息大数据)来衡量，一个具体的例子，在针对“打开APP”这一意图设置了“我想听歌”这一表达时，由于配置信息大数据中并不存在“打开APP”对应“我想听歌”这样的配置信息，且配置信息大数据中存在着大量的“听音乐”这一意图对应“我想听歌”这一表达的配置信息，则可以判断出“打开APP”与“我想听歌”的相似度很低。本发明实施方式可以预先针对相似度设置相似阈值，从而利用该相似阈值可以判断出意图与其对应的表达之间的相似度是否满足要求(如是否小于相似阈值)，在判断出意图与其对应的表达之间的相似度不满足要求(如小于相似阈值)时，降低意图配置信息的意图设置的配置质量，而在判断出意图与其对应的表达之间的相似度满足要求(如不小于相似阈值)时，不执行降低表达配置信息的表达方式的配置质量的操作。另外，本发明实施方式可以在降低意图配置信息的意图设置的配置质量时，累计扣减的分值，直到针对该会话机器人的配置信息中的所有意图与其对应的所有表达之间的相似度均执行了是否满足要求的判断以及降低意图配置信息的意图设置的配置质量的操作后，最终累计扣减的分值即为意图与其对应的表达之间的相似度对意图配置信息的意图设置的配置质量的影响。

作为示例，本发明实施方式的确定意图与其对应的表达之间的相似度的一个具体例子：根据意图与其对应的N个表达生成N个意图表达对，针对任意一个意图表达对而言，先利用语义分析算法对意图表达对中的意图与配置信息数据库中的各意图进行语义分析，以确定出配置信息数据库中的与意图表达对中的意图语义匹配(如两者的语义距离符合预定要求)的配置信息及其数量(下述称为第一数量)，然后，利用语义分析算法对意图表达对中的表达与配置信息数据库中的上述相匹配的配置信息中的表达进行语义分析，以确定出上述相匹配的配置信息中与意图表达对的表达语义匹配的配置信息及其数量(下述称为第二数量)，本发明实施方式可以利用第二数量与第一数量的比值或利用第二数量来表征意图与其对应的表达之间的相似度。

作为示例，本发明实施方式的确定意图与其对应的表达之间的相似度的另一个具体例子：根据意图与其对应的N个表达生成N个意图表达对，针对任意一个意图表达对而言，先利用语义分析算法对意图表达对中的表达与配置信息数据库中的各表达进行语义分析，以确定出配置信息数据库中的与意图表达对中的表达语义匹配(如两者的语义距离符合预定要求)的配置信息及其数量(下述称为第一数量)，然后，利用语义分析算法对意图表达对中的意图与配置信息数据库中的上述相匹配的配置信息中的意图进行语义分析，以确定出上述相匹配的配置信息中与意图表达对的意图语义匹配的配置信息及其数量(下述称为第二数量)，本发明实施方式可以利用第二数量与第一数量的比值或者利用第二数量来表征意图与其对应的表达之间的相似度。

作为示例，本发明实施方式的确定意图与其对应的表达之间的相似度的再一个具体例子：根据意图与其对应的N个表达生成N个意图表达对(下述称为第一意图表达对)，将配置信息数据库中的各意图和其对应的表达也形成意图表达对(下述称为第二意图表达对)，针对任意一个第一意图表达对而言，利用语义分析算法对第一意图表达对与各第二意图表达分别进行语义分析，以确定出与第一意图表达对语义匹配(如两者的语义距离符合预定要求)的第二意图表达对及其数量，本发明实施方式可以利用该数量来表征意图与其对应的表达之间的相似度。

需要特别说明的是，上述三个例子中的语音分析算法也可以利用计算编辑距离等其他方式来替换，且利用编辑距离等其他方式确定意图与其对应的表达之间的相似度的具体实现过程在此不再详细描述。

在本发明的一个实施方式中，通过确定对应不同意图的不同表达之间的差异度，可以衡量出对应不同意图的不同表达之间的相似程度，如果对应不同意图的任意两个不同的表达之间过于相似，则会降低意图配置信息的意图设置的配置质量。上述对应不同意图的不同表达之间的差异度可以具体为对应不同意图的不同表达之间的编辑距离或语义距离等。在该实施方式中，可以预先针对差异度设置差异度阈值(如编辑距离阈值或语义距离阈值)，从而利用该差异度阈值可以判断出对应不同意图的不同表达之间的差异度是否满足要求(如是否小于差异度阈值)，在判断出对应不同意图的不同表达之间的差异度不满足要求(如小于差异度阈值)时，降低意图配置信息的意图设置的配置质量，而在判断出对应不同意图的不同表达之间的差异度满足要求(如不小于差异度阈值)时，不执行降低表达配置信息的表达方式的配置质量的操作。另外，本发明实施方式可以在降低意图配置信息的意图设置的配置质量时，累计扣减的分值，直到针对该会话机器人的配置信息中的所有对应不同意图的不同表达之间的差异度均执行了是否满足要求的判断以及降低意图配置信息的意图设置的配置质量的操作后，最终累计扣减的分值即为对应不同意图的不同表达之间的差异度对意图配置信息的意图设置的配置质量的影响。本发明实施方式可以利用预先设置的模型从会话机器人的所有配置信息中挑选出对应不同意图的不同表达之间的差异度不满足要求的配置信息，如将会话机器人的所有配置信息输入该模型中，该模型针对所有配置信息进行计算，并输出差异度不满足要求的配置信息。

由上述描述可知，本发明实施方式可以根据会话机器人的配置信息中意图与其对应的表达之间的相似度和/或对应不同意图的表达之间的相似度来确定会话机器人的意图配置信息的意图设置的配置质量。在一个实施方式中，在利用会话机器人的配置信息中意图与其对应的表达之间的相似度以及对应不同意图的表达之间的相似度这两项来确定会话机器人的意图配置信息的意图设置的配置质量的情况下，可以针对这两项分别设置权重值，从而在每次扣减分值时，可以根据各项对应的权重值计算出本次实际需要扣减的分值。

在本发明的一个实施方式中，可以预先针对意图配置信息的意图设置的配置质量设置初始值，从而在执行降低意图配置信息的意图设置的配置质量的操作时，可以以初始值为基础扣减相应的分值，而最终的分值可以表示出意图配置信息的意图设置的配置质量，此时最终的分值越低表示意图配置信息的意图设置的配置质量越低。另外，本发明实施方式也可以不针对意图配置信息的意图设置的配置质量设置初始值，且上述扣减分值的操作可以替换为累计分值，而最终累计获得的分值同样可以表示出意图配置信息的意图设置的配置质量，此时最终累计获得的分值越高表示意图配置信息的意图设置的配置质量越低。

作为示例，本发明实施方式中表达配置信息的实体标注的配置质量的确定依据可以包括：表达实体标注的正确程度以及表达实体标注的数量中的至少一个。

在本发明的一个实施方式中，通过确定表达实体标注的正确程度，可以衡量出表达实体(如人名或者地名等)类型是否存在误标注现象，如果一个表达实体标注的正确程度不满足要求，则会降低表达配置信息的实体标注的配置质量。上述表达实体标注的正确程度可以根据预先存储的大量的表达实体标注(如会话机器人的配置信息大数据)来衡量，一个具体的例子，在针对某一歌星实体标注为港台歌星类型时，由于配置信息大数据中针对该歌星实体基本上都标注为大陆歌星类型，因此，可以判断出该实体标注的正确程度很低。本发明实施方式可以预先针对实体标注的正确程度设置正确程度阈值，从而利用该正确程度阈值可以判断出实体标注的正确程度是否满足要求(如是否小于正确程度阈值)，在判断出实体标注的正确程度不满足要求(如小于正确程度阈值)时，降低表达配置信息的实体标注的配置质量，而在判断出实体标注的正确程度满足要求(如不小于正确程度阈值)时，不执行降低表达配置信息的实体标注的配置质量的操作。另外，本发明实施方式可以在降低表达配置信息的实体标注的配置质量时，累计扣减的分值，直到针对该会话机器人的配置信息中的所有表达的所有实体标注的正确程度均执行了是否满足要求的判断和降低表达配置信息的实体标注的配置质量的操作后，最终累计扣减的分值即为表达实体标注的正确程度对表达配置信息的实体标注的配置质量的影响。

在本发明的一个实施方式中，通过确定表达实体标注的数量，可以衡量出是否存在被标注的表达实体(如人名或者地名等)以及被标注的表达实体与配置信息中的所有表达实体的比例，如果不存在被标注的表达实体或者被标注的表达实体与配置信息中的所有表达实体的比例过小，则会降低表达配置信息的实体标注的配置质量。上述表达实体标注的数量可以通过对配置信息中的所有表达实体逐一判断是否存在标注信息并统计存在标注信息的实体的数量实现。本发明实施方式可以预先针对被标注的表达实体与配置信息中的所有表达实体的设置比例阈值，从而利用该比例阈值可以判断出表达实体标注的数量是否满足要求(如是否小于比例阈值)，在判断出表达实体标注的数量不满足要求(如比例小于比例阈值)时，降低表达配置信息的实体标注的配置质量，而在判断出表达实体标注的数量满足要求(如比例不小于比例阈值)时，不执行降低表达配置信息的实体标注的配置质量的操作。另外，本发明实施方式可以针对被标注的表达实体数量与配置信息中的所有表达实体数量的比值设置多个比例阈值范围，且每个比例阈值范围对应各自的扣减分值，从而在确定出被标注的表达实体数量与配置信息中的所有表达实体数量的比值属于相应的比例阈值范围时，则扣减该比例阈值范围对应的分值。扣减的分值即为表达实体标注的数量对表达配置信息的实体标注的配置质量的影响。

由上述描述可知，本发明实施方式可以根据会话机器人的表达实体标注的正确程度和/或表达实体标注的数量来确定会话机器人的表达配置信息的实体标注的配置质量。在一个实施方式中，在利用会话机器人的配置信息中表达实体标注的正确程度以及表达实体标注的数量这两项来确定会话机器人的表达配置信息的实体标注的配置质量的情况下，可以针对这两项分别设置权重值，从而在每次扣减分值时，可以根据各项对应的权重值计算出本次实际需要扣减的分值。

在本发明的一个实施方式中，可以预先针对表达配置信息的实体标注的配置质量设置初始值，从而在执行降低表达配置信息的实体标注的配置质量的操作时，可以以初始值为基础扣减相应的分值，而最终的分值可以表示出表达配置信息的实体标注的配置质量，此时最终的分值越低表示表达配置信息的实体标注的配置质量越低。另外，本发明实施方式也可以不针对表达配置信息的实体标注的配置质量设置初始值，且上述扣减分值的操作可以替换为累计分值，最终累计获得的分值同样可以表示出表达配置信息的实体标注的配置质量，此时最终累计获得的分值越高表示表达配置信息的实体标注的配置质量越低。

作为示例，本发明实施方式中还可以根据表达配置信息的服务触发的情况的来确定配置指标的配置质量。也就是说，本发明实施方式可以监测触发服务的表达/表达式，在监测一段时间之后，如果监测到一个或者多个表达/表达式从未触发过服务，则监测到的各表达会降低表达配置信息的服务触发的配置质量。一个具体的例子：在针对“听音乐”这一意图设置了“我贼拉想来一曲儿听听”这一表达以及“音乐播放服务”这一服务的情况下，如果在监测一段时间后发现“我贼拉想来一曲儿听听”从未触发过“音乐播放服务”，则“我贼拉想来一曲儿听听”这一表达会降低表达配置信息的服务触发的配置质量。

在本发明的一个实施方式中，可以预先针对表达配置信息的服务触发的配置质量设置初始值，从而在执行降低表达配置信息的服务触发的配置质量的操作时，可以以初始值为基础扣减相应的分值，而最终的分值可以表示出表达配置信息的服务触发的配置质量，此时最终的分值越低表示表达配置信息的服务触发的配置质量越低。另外，本发明实施方式也可以不针对表达配置信息的服务触发的配置质量设置初始值，且上述扣减分值的操作可以替换为累计分值，最终累计获得的分值同样可以表示出表达配置信息的服务触发的配置质量，此时最终累计获得的分值越高表示表达配置信息的服务触发的配置质量越低。

S210、针对降低配置指标的配置质量的配置信息，产生并输出配置信息存在的配置问题的提示信息。

作为示例，本发明实施方式中的提示信息主要用于表明降低配置指标的配置质量的配置信息所存在的配置问题，以便于会话机器人开发者/维护者能够准确的定位影响会话机器人智能水平的问题。

本发明实施方式产生并输出的提示信息的具体例子如下：

对于对应同一意图的不同表达之间的差异度存在问题的配置信息，本发明实施方式可以输出“请提高某表达与某表达之间的差异度”的提示信息；

对于表达中包含有无关表达词的配置信息，本发明实施方式可以输出“请删除某表达中的无关表达词”的提示信息。

对于表达长度不满足要求的配置信息，本发明实施方式可以输出“请增加某表达的描述”或者“请删减某表达的描述”的提示信息。

对于意图与其对应的表达之间的相似度存在问题的配置信息，本发明实施方式可以输出“某意图与某表达不相适合”的提示信息。

对于对应不同意图的表达之间的相似度存在问题的配置信息，本发明实施方式可以输出“请提高某意图的某表达与某意图的某表达之间的差异度”的提示信息。

对于表达实体标注的正确程度存在问题的配置信息，本发明实施方式可以输出“请修改某表达实体的标志”的提示信息。

对于会话机器人的配置信息中的表达实体标注的数量存在的问题，本发明实施方式可以输出“目前表达实体标注数量过少，请提高表达实体标注数量”的提示信息。

对于未曾触发服务的表达配置信息，本发明实施方式可以输出“某表达从未触发过服务，请考虑是否优化该表达”的提示信息。另外，本发明实施方式还可以根据触发服务监测的实际情况产生并输出会话机器人的所有配置信息中的表达触发服务的监测信息，如显示各表达触发服务的次数以及触发服务时用户的表述内容(可以称为触发上下文)等监测信息。

上述提示信息仅为示例性说明，提示信息的具体内容可以根据实际需求设置，本实施例不限制提示信息的具体表现形式。

S220、针对降低配置指标的配置质量的配置信息从配置信息集合中选取不降低配置指标的配置质量的配置信息，并将选取的配置信息作为用于更新降低配置指标的配置质量的配置信息的选项输出。

作为示例，本发明实施方式中的不降低配置指标的配置质量的配置信息可以称为优质配置信息，其主要用于帮助提会话机器人开发者/维护者能够方便快捷的提高会话机器人智能水平。本发明实施方式中的配置信息集合可以具体为大量会话机器人的配置信息大数据，且该配置信息大数据中的一些配置信息被认为是优质配置信息(如设置有优质标识的配置信息)。本发明实施方式可以针对降低配置指标的配置质量的配置信息从配置信息大数据中选取相应的优质配置信息(如利用意图和/或表达从配置信息大数据中选取相应的优质配置信息)，并将选取的优质配置信息作为向会话机器人开发者/维护者推荐的可选项输出，以供会话机器人开发者/维护者考虑是否利用优质配置信息来对存在问题的配置信息进行维护。

S230、在接收到针对上述选项的更新确认信息后，根据更新确认信息对应的选项对降低配置指标的配置质量的配置信息进行维护。

作为示例，本发明实施方式可以在会话机器人开发者/维护者勾选了相应的选项，并点击了更新维护/确认按钮时，利用勾选的选项来更新降低配置指标的配置质量的配置信息，如利用勾选的选项中的表达来替换配置信息中存在相应问题的表达，再如利用勾选的选项中的意图来替换配置信息中存在相应问题的意图等；从而可以使会话机器人能够快捷方便的拥有优质配置信息。

示例性设备

在介绍了本发明示例性实施方式的方法之后，接下来，参考图3对本发明示例性实施方式的用于评测会话机器人智能的设备进行说明。

本发明一实施例的用于评测会话机器人智能的设备主要包括：确定配置质量模块300；且该设备还可以包括：问题提示模块310、优化提示模块320以及优化维护模块330。

确定配置质量模块300配置用于根据会话机器人的配置信息确定配置指标的配置质量；且确定配置质量模块300可以包括：第一质量子模块、第二质量子模块、第三质量子模块、第四质量子模块、第五质量子模块、第六质量子模块、第七质量子模块以及第八质量子模块。

作为示例，确定配置质量模块300所使用的配置指标可以具体包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注、表达配置信息的服务触发中的至少一个；上述四个配置指标中的每一个配置指标的配置质量都是影响会话机器人智能的一个重要参数；在一个实施方式中，确定配置质量模块300可以利用上述四个配置指标的配置质量来衡量会话机器人智能水平，且在一个实施方式中，确定配置质量模块300可以针对四个配置指标分别设置相应的权重值，这样，确定配置质量模块300可以根据各配置指标的配置质量及其权重值综合衡量会话机器人智能水平。当然，确定配置质量模块300在利用上述四个配置指标中的任意两个或者任意三个配置指标的配置质量来衡量会话机器人智能水平的情况下，同样可以采用设置权重值的方式。另外，不同配置指标的权重值大小可以灵活设置，如确定配置质量模块300可以使表达配置信息的表达方式的权重值和表达配置信息的服务触发的权重值高于意图配置信息的意图设置的权重值和表达配置信息的实体标注的权重值等。

作为示例，确定配置质量模块300确定表达配置信息的表达方式的配置质量的依据可以包括：对应同一意图的不同表达之间的差异度、表达中是否包含有无关表达词以及表达长度是否满足要求中的至少一个。

在本发明的一个实施方式中，确定配置质量模块300(如第一质量子模块)通过确定对应同一意图的不同表达之间的差异度，可以衡量出一个意图所对应的不同表达之间的相似程度，如果一个意图所对应的任意两个不同的表达之间过于相似，则第一质量子模块会降低表达配置信息的表达方式的配置质量。上述对应同一意图的不同表达之间的差异度可以具体为对应同一意图的不同表达之间的编辑距离或者语义距离等。在该实施方式中，第一质量子模块中设置有针对差异度设置差异度阈值(如编辑距离阈值或者语义距离阈值等)，从而利用该差异度阈值可以判断出对应同一意图的不同表达之间的差异度是否满足要求(如是否小于差异度阈值)，在判断出对应同一意图的不同表达之间的差异度不满足要求(如小于差异度阈值)时，则第一质量子模块降低表达配置信息的表达方式的配置质量，而在判断出对应同一意图的不同表达之间的差异度满足要求(如不小于差异度阈值)时，第一质量子模块不执行降低表达配置信息的表达方式的配置质量的操作。另外，第一质量子模块可以在降低表达配置信息的表达方式的配置质量时，累计扣减的分值，直到第一质量子模块针对该会话机器人的配置信息中的所有意图的不同表达之间的差异度均执行了是否满足要求的判断以及降低表达配置信息的表达方式的配置质量的操作后，最终累计扣减的分值即为对应同一意图的不同表达之间的差异度对表达配置信息的表达方式的配置质量的影响。

在本发明的一个实施方式中，确定配置质量模块300(如第二质量子模块)通过对各表达中是否包含有无关表达词进行判断，可以衡量出各表达中是否包含了多余的内容，如果第二质量子模块判断出某一表达中包含有无关表达词，则第二质量子模块会降低表达配置信息的表达方式的配置质量。在该实施方式中，第二质量子模块中设置有无关表达词集合，且无关表达词集合中设置有意图和无关表达词的对应关系；此外，一个无关表达词集合也可以适用于一个以上的意图。在该实施方式中，第二质量子模块可以利用无关表达词集合针对所有意图的所有表达分别执行是否包含有无关表达词的判断操作，在判断出一条表达包含有无关表达词时，则第二质量子模块降低表达配置信息的表达方式的配置质量，而在判断出一条表达未包含有无关表达词时，第二质量子模块不执行降低表达配置信息的表达方式的配置质量的操作。另外，第二质量子模块可以在降低表达配置信息的表达方式的配置质量时，累计扣减的分值，直到第二质量子模块针对该会话机器人的配置信息中的所有意图的所有表达均执行了是否包含有无关表达词的判断操作后，最终累计扣减的分值即为表达中是否包含有无关表达词对表达配置信息的表达方式的配置质量的影响。

在本发明的一个实施方式中，确定配置质量模块300(如第三质量子模块)通过对各意图对应的各表达的长度进行判断，可以衡量出所有表达中的过于简短或者过于冗长的表达，如果一个表达过于简短或者过于冗长，则第三质量子模块会降低表达配置信息的表达方式的配置质量。上述表达的长度可以具体为表达所包含的字符数等。在该实施方式中，第三质量子模块中预先设置有表达设置长度阈值(如短阈值和/或长阈值)，也可以设置有针对表达设置符合长度要求的长度阈值范围，从而第三质量子模块利用预先设置的长度阈值或者长度阈值范围可以判断出表达的长度是否满足要求(如判断是否小于短阈值且大于长阈值，再如判断是否位于长度阈值范围内)，在第三质量子模块判断出表达的长度不满足要求(如小于短阈值或者大于长阈值或者没有位于长度阈值范围内)时，第三质量子模块降低表达配置信息的表达方式的配置质量，而在判断出表达的长度满足要求(如不小于短阈值且不大于长阈值，再如位于长度阈值范围内)时，第三质量子模块不执行降低表达配置信息的表达方式的配置质量的操作。另外，第三质量子模块可以在降低表达配置信息的表达方式的配置质量时，累计扣减的分值，直到第三质量子模块针对该会话机器人的配置信息中的所有意图的所有表达均执行了表达的长度判断以及降低表达配置信息的表达方式的配置质量的操作后，最终累计扣减的分值即为表达长度是否满足要求对表达配置信息的表达方式的配置质量的影响。

由上述描述可知，确定配置质量模块300可以根据会话机器人的配置信息中对应同一意图的不同表达之间的差异度和/或各表达中是否包含有无关表达词和/或各表达长度是否满足要求来确定会话机器人的表达配置信息的表达方式的配置质量。在一个实施方式中，确定配置质量模块300在利用会话机器人的配置信息中对应同一意图的不同表达之间的差异度、包含有无关表达词集合中的无关表达词的表达以及各表达长度这三项来确定会话机器人的表达配置信息的表达方式的配置质量的情况下，确定配置质量模块300中可以设置有针对这三项的权重值，这样，在每次扣减分值时，确定配置质量模块300(如第一质量子模块、第二质量子模块或者第三质量子模块)可以根据各项对应的权重值计算出本次实际需要扣减的分值。而在确定配置质量模块300利用上述三项中的任意两项的具体情况来衡量表达配置信息的表达方式的配置质量的情况下，同样可以采用设置权重值的方式。

在本发明的一个实施方式中，确定配置质量模块300可以预先针对表达配置信息的表达方式的配置质量设置初始值，从而在确定配置质量模块300执行降低表达配置信息的表达方式的配置质量的操作时，可以以初始值为基础扣减相应的分值，而最终的分值可以表示出表达配置信息的表达方式的配置质量，此时最终的分值越低表示表达配置信息的表达方式的配置质量越低。另外，确定配置质量模块300也可以不针对表达配置信息的表达方式的配置质量设置初始值，且上述扣减分值的操作可以替换为累计分值，而最终累计获得的分值同样可以表示出表达配置信息的表达方式的配置质量，此时最终累计获得的分值越高表示表达配置信息的表达方式的配置质量越低。

作为示例，确定配置质量模块300确定意图配置信息的意图设置的配置质量的依据可以包括：意图与其对应的表达之间的相似度以及对应不同意图的表达之间的相似度中的至少一个。

在本发明的一个实施方式中，确定配置质量模块300(如第四质量子模块)通过确定意图与其对应的表达之间的相似度，可以衡量出意图与其对应的表达之间是否相适合，如果意图与其对应的表达之间相似度很低，则表征意图与其对应的表达很可能不相适合，从而第四质量子模块应降低意图配置信息的意图设置的配置质量。上述意图与其对应的表达之间的相似度可以根据预先存储的大量的意图与表达之间的对应关系(如大量会话机器人的配置信息大数据)来衡量，一个具体的例子，在针对“打开APP”这一意图设置了“我想听歌”这一表达时，由于配置信息大数据中并不存在“打开APP”对应“我想听歌”这样的配置信息，且配置信息大数据中存在着大量的“听音乐”这一意图对应“我想听歌”这一表达的配置信息，则第四质量子模块可以判断出“打开APP”与“我想听歌”的相似度很低。第四质量子模块中预先设置有针对相似度设置相似阈值，从而第四质量子模块利用该相似阈值可以判断出意图与其对应的表达之间的相似度是否满足要求(如是否小于相似阈值)，在第四质量子模块判断出意图与其对应的表达之间的相似度不满足要求(如小于相似阈值)时，第四质量子模块降低意图配置信息的意图设置的配置质量，而在判断出意图与其对应的表达之间的相似度满足要求(如不小于相似阈值)时，第四质量子模块不执行降低表达配置信息的表达方式的配置质量的操作。另外，第四质量子模块可以在降低意图配置信息的意图设置的配置质量时，累计扣减的分值，直到第四质量子模块针对该会话机器人的配置信息中的所有意图与其对应的所有表达之间的相似度均执行了是否满足要求的判断以及降低意图配置信息的意图设置的配置质量的操作后，最终累计扣减的分值即为意图与其对应的表达之间的相似度对意图配置信息的意图设置的配置质量的影响。

作为示例，第四质量子模块确定意图与其对应的表达之间的相似度的一个具体例子：第四质量子模块根据意图与其对应的N个表达生成N个意图表达对，针对任意一个意图表达对而言，第四质量子模块先利用语义分析算法对意图表达对中的意图与配置信息数据库中的各意图进行语义分析，以确定出配置信息数据库中的与意图表达对中的意图语义匹配(如两者的语义距离符合预定要求)的配置信息及其数量(下述称为第一数量)，然后，第四质量子模块利用语义分析算法对意图表达对中的表达与配置信息数据库中的上述相匹配的配置信息中的表达进行语义分析，以确定出上述相匹配的配置信息中与意图表达对的表达语义匹配的配置信息及其数量(下述称为第二数量)，第四质量子模块可以利用第二数量与第一数量的比值或利用第二数量来表征意图与其对应的表达之间的相似度。

作为示例，第四质量子模块确定意图与其对应的表达之间的相似度的另一个具体例子：第四质量子模块根据意图与其对应的N个表达生成N个意图表达对，针对任意一个意图表达对而言，第四质量子模块先利用语义分析算法对意图表达对中的表达与配置信息数据库中的各表达进行语义分析，以确定出配置信息数据库中的与意图表达对中的表达语义匹配(如两者的语义距离符合预定要求)的配置信息及其数量(下述称为第一数量)，然后，第四质量子模块利用语义分析算法对意图表达对中的意图与配置信息数据库中的上述相匹配的配置信息中的意图进行语义分析，以确定出上述相匹配的配置信息中与意图表达对的意图语义匹配的配置信息及其数量(下述称为第二数量)，第四质量子模块可以利用第二数量与第一数量的比值或者利用第二数量来表征意图与其对应的表达之间的相似度。

作为示例，第四质量子模块确定意图与其对应的表达之间的相似度的再一个具体例子：第四质量子模块根据意图与其对应的N个表达生成N个意图表达对(下述称为第一意图表达对)，且配置信息数据库中的各意图和其对应的表达也会形成意图表达对(下述称为第二意图表达对)，针对任意一个第一意图表达对而言，第四质量子模块利用语义分析算法对第一意图表达对与各第二意图表达分别进行语义分析，以确定出与第一意图表达对语义匹配(如两者的语义距离符合预定要求)的第二意图表达对及其数量，第四质量子模块可以利用该数量来表征意图与其对应的表达之间的相似度。

需要特别说明的是，上述三个例子中的语音分析算法也可以利用计算编辑距离等其他方式来替换，且第四质量子模块利用编辑距离等其他方式确定意图与其对应的表达之间的相似度的具体实现过程在此不再详细描述。

在本发明的一个实施方式中，确定配置质量模块300(如第五质量子模块)通过确定对应不同意图的不同表达之间的差异度，可以衡量出对应不同意图的不同表达之间的相似程度，如果对应不同意图的任意两个不同的表达之间过于相似，则第五质量子模块会降低意图配置信息的意图设置的配置质量。上述对应不同意图的不同表达之间的差异度可以具体为对应不同意图的不同表达之间的编辑距离或语义距离等。在该实施方式中，第五质量子模块中预先设置有针对差异度设置差异度阈值(如编辑距离阈值或语义距离阈值)，从而第五质量子模块利用该差异度阈值可以判断出对应不同意图的不同表达之间的差异度是否满足要求(如是否小于差异度阈值)，在第五质量子模块判断出对应不同意图的不同表达之间的差异度不满足要求(如小于差异度阈值)时，降低意图配置信息的意图设置的配置质量，而在判断出对应不同意图的不同表达之间的差异度满足要求(如不小于差异度阈值)时，第五质量子模块不执行降低表达配置信息的表达方式的配置质量的操作。另外，第五质量子模块可以在降低意图配置信息的意图设置的配置质量时，累计扣减的分值，直到第五质量子模块针对该会话机器人的配置信息中的所有对应不同意图的不同表达之间的差异度均执行了是否满足要求的判断以及降低意图配置信息的意图设置的配置质量的操作后，最终累计扣减的分值即为对应不同意图的不同表达之间的差异度对意图配置信息的意图设置的配置质量的影响。第五质量子模块可以利用预先设置的模型从会话机器人的所有配置信息中挑选出对应不同意图的不同表达之间的差异度不满足要求的配置信息，如将会话机器人的所有配置信息输入该模型中，该模型针对所有配置信息进行计算，并输出差异度不满足要求的配置信息。

由上述描述可知，确定配置质量模块300可以根据会话机器人的配置信息中意图与其对应的表达之间的相似度和/或对应不同意图的表达之间的相似度来确定会话机器人的意图配置信息的意图设置的配置质量。在一个实施方式中，在利用会话机器人的配置信息中意图与其对应的表达之间的相似度以及对应不同意图的表达之间的相似度这两项来确定会话机器人的意图配置信息的意图设置的配置质量的情况下，确定配置质量模块300可以针对这两项分别设置权重值，从而在每次扣减分值时，确定配置质量模块300(如第四质量子模块或者第五质量子模块)可以根据各项对应的权重值计算出本次实际需要扣减的分值。

在本发明的一个实施方式中，确定配置质量模块300中预先设置有针对意图配置信息的意图设置的配置质量设置初始值，从而在执行降低意图配置信息的意图设置的配置质量的操作时，确定配置质量模块300(如第四质量子模块或者第五质量子模块)可以以初始值为基础扣减相应的分值，而最终的分值可以表示出意图配置信息的意图设置的配置质量，此时最终的分值越低表示意图配置信息的意图设置的配置质量越低。另外，确定配置质量模块300也可以不针对意图配置信息的意图设置的配置质量设置初始值，且上述扣减分值的操作可以替换为累计分值，而最终累计获得的分值同样可以表示出意图配置信息的意图设置的配置质量，此时最终累计获得的分值越高表示意图配置信息的意图设置的配置质量越低。

作为示例，确定配置质量模块300确定表达配置信息的实体标注的配置质量的确定依据可以包括：表达实体标注的正确程度以及表达实体标注的数量中的至少一个。

在本发明的一个实施方式中，确定配置质量模块300(如第六质量子模块)通过确定表达实体标注的正确程度，可以衡量出表达实体(如人名或者地名等)类型是否存在误标注现象，如果一个表达实体标注的正确程度不满足要求，则第六质量子模块会降低表达配置信息的实体标注的配置质量。上述表达实体标注的正确程度可以根据预先存储的大量的表达实体标注(如会话机器人的配置信息大数据)来衡量，一个具体的例子，在针对某一歌星实体标注为港台歌星类型时，由于配置信息大数据中针对该歌星实体基本上都标注为大陆歌星类型，因此，第六质量子模块可以判断出该实体标注的正确程度很低。第六质量子模块中预先设置有针对实体标注的正确程度设置正确程度阈值，从而第六质量子模块利用该正确程度阈值可以判断出实体标注的正确程度是否满足要求(如是否小于正确程度阈值)，在判断出实体标注的正确程度不满足要求(如小于正确程度阈值)时，第六质量子模块降低表达配置信息的实体标注的配置质量，而在判断出实体标注的正确程度满足要求(如不小于正确程度阈值)时，第六质量子模块不执行降低表达配置信息的实体标注的配置质量的操作。另外，第六质量子模块可以在降低表达配置信息的实体标注的配置质量时，累计扣减的分值，直到第六质量子模块针对该会话机器人的配置信息中的所有表达的所有实体标注的正确程度均执行了是否满足要求的判断以及降低表达配置信息的实体标注的配置质量的操作后，最终累计扣减的分值即为表达实体标注的正确程度对表达配置信息的实体标注的配置质量的影响。

在本发明的一个实施方式中，确定配置质量模块300(如第七质量子模块)通过确定表达实体标注的数量，可以衡量出是否存在被标注的表达实体(如人名或者地名等)以及被标注的表达实体与配置信息中的所有表达实体的比例，如果不存在被标注的表达实体或者被标注的表达实体与配置信息中的所有表达实体的比例过小，则第七质量子模块会降低表达配置信息的实体标注的配置质量。上述表达实体标注的数量可以通过第七质量子模块对配置信息中的所有表达实体逐一判断是否存在标注信息并统计存在标注信息的实体的数量实现。第七质量子模块中预先设置有针对被标注的表达实体与配置信息中的所有表达实体的设置比例阈值，从而第七质量子模块利用该比例阈值可以判断出表达实体标注的数量是否满足要求(如是否小于比例阈值)，在判断出表达实体标注的数量不满足要求(如比例小于比例阈值)时，第七质量子模块降低表达配置信息的实体标注的配置质量，而在判断出表达实体标注的数量满足要求(如比例不小于比例阈值)时，第七质量子模块不执行降低表达配置信息的实体标注的配置质量的操作。另外，第七质量子模块中可以针对被标注的表达实体数量与配置信息中的所有表达实体数量的比值设置多个比例阈值范围，且每个比例阈值范围对应各自的扣减分值，从而第七质量子模块在确定出被标注的表达实体数量与配置信息中的所有表达实体数量的比值属于相应的比例阈值范围时，则扣减该比例阈值范围对应的分值。扣减的分值即为表达实体标注的数量对表达配置信息的实体标注的配置质量的影响。

由上述描述可知，确定配置质量模块300可以根据会话机器人的表达实体标注的正确程度和/或表达实体标注的数量来确定会话机器人的表达配置信息的实体标注的配置质量。在一个实施方式中，在确定配置质量模块300利用会话机器人的配置信息中表达实体标注的正确程度以及表达实体标注的数量这两项来确定会话机器人的表达配置信息的实体标注的配置质量的情况下，确定配置质量模块300可以针对这两项分别设置权重值，从而第六质量子模块和第七质量子模块在每次扣减分值时，可以根据各项对应的权重值计算出本次实际需要扣减的分值。

在本发明的一个实施方式中，确定配置质量模块300可以预先针对表达配置信息的实体标注的配置质量设置初始值，从而在执行降低表达配置信息的实体标注的配置质量的操作时，确定配置质量模块300可以以初始值为基础扣减相应的分值，而最终的分值可以表示出表达配置信息的实体标注的配置质量，此时最终的分值越低表示表达配置信息的实体标注的配置质量越低。另外，确定配置质量模块300也可以不针对表达配置信息的实体标注的配置质量设置初始值，且上述扣减分值的操作可以替换为累计分值，最终累计获得的分值同样可以表示出表达配置信息的实体标注的配置质量，此时最终累计获得的分值越高表示表达配置信息的实体标注的配置质量越低。

作为示例，确定配置质量模块300还可以根据表达配置信息的服务触发的情况的来确定配置指标的配置质量。

作为示例，确定配置质量模块300(如第八质量子模块)可以监测触发服务的表达/表达式，在第八质量子模块监测一段时间之后，如果监测到一个或者多个表达/表达式从未触发过服务，则第八质量子模块会针对监测到的各表达降低表达配置信息的服务触发的配置质量。一个具体的例子：在针对“听音乐”这一意图设置了“我贼拉想来一曲儿听听”这一表达以及“音乐播放服务”这一服务的情况下，如果在第八质量子模块监测一段时间后发现“我贼拉想来一曲儿听听”从未触发过“音乐播放服务”，则第八质量子模块会针对“我贼拉想来一曲儿听听”这一表达降低表达配置信息的服务触发的配置质量。

在本发明的一个实施方式中，确定配置质量模块300中预先设置有针对表达配置信息的服务触发的配置质量的初始值，从而在第八质量子模块执行降低表达配置信息的服务触发的配置质量的操作时，可以以初始值为基础扣减相应的分值，而最终的分值可以表示出表达配置信息的服务触发的配置质量，此时最终的分值越低表示表达配置信息的服务触发的配置质量越低。另外，本发明实施方式也可以不针对表达配置信息的服务触发的配置质量设置初始值，且上述扣减分值的操作可以替换为累计分值，最终第八质量子模块累计获得的分值同样可以表示出表达配置信息的服务触发的配置质量，此时第八质量子模块最终累计获得的分值越高表示表达配置信息的服务触发的配置质量越低。

问题提示模块310配置用于针对降低配置指标的配置质量的配置信息，产生并输出配置信息存在的配置问题的提示信息。

作为示例，问题提示模块310产生并输出的提示信息主要用于表明降低配置指标的配置质量的配置信息所存在的配置问题，以便于会话机器人开发者/维护者能够准确的定位影响会话机器人智能水平的问题。

问题提示模块310产生并输出的提示信息的具体例子如下：

对于对应同一意图的不同表达之间的差异度存在问题的配置信息，问题提示模块310可以输出“请提高某表达与某表达之间的差异度”的提示信息；

对于表达中包含有无关表达词的配置信息，问题提示模块310可以输出“请删除某表达中的无关表达词”的提示信息。

对于表达长度不满足要求的配置信息，问题提示模块310可以输出“请增加某表达的描述”或者“请删减某表达的描述”的提示信息。

对于意图与其对应的表达之间的相似度存在问题的配置信息，问题提示模块310可以输出“某意图与某表达不相适合”的提示信息。

对于对应不同意图的表达之间的相似度存在问题的配置信息，问题提示模块310可以输出“请提高某意图的某表达与某意图的某表达之间的差异度”的提示信息。

对于表达实体标注的正确程度存在问题的配置信息，问题提示模块310可以输出“请修改某表达实体的标志”的提示信息。

对于会话机器人的配置信息中的表达实体标注的数量存在的问题，问题提示模块310可以输出“目前表达实体标注数量过少，请提高表达实体标注数量”的提示信息。

对于未曾触发服务的表达配置信息，问题提示模块310可以输出“某表达从未触发过服务，请考虑是否优化该表达”的提示信息。另外，本发明实施方式还可以根据触发服务监测的实际情况产生并输出会话机器人的所有配置信息中的表达触发服务的监测信息，如显示各表达触发服务的次数以及触发服务时用户的表述内容(可以称为触发上下文)等监测信息。

上述提示信息仅为示例性说明，提示信息的具体内容可以根据实际需求设置，本实施例不限制问题提示模块310输出的提示信息的具体表现形式。

优化提示模块320配置用于针对降低配置指标的配置质量的配置信息从配置信息集合中选取不降低配置指标的配置质量的配置信息，并将选取的配置信息作为用于更新降低配置指标的配置质量的配置信息的选项输出。

作为示例，优化提示模块320所涉及的不降低配置指标的配置质量的配置信息可以称为优质配置信息，其主要用于帮助提会话机器人开发者/维护者能够方便快捷的提高会话机器人智能水平。优化提示模块320所涉及的配置信息集合可以具体为大量会话机器人的配置信息大数据，且该配置信息大数据中的一些配置信息被认为是优质配置信息(如设置有优质标识的配置信息)。优化提示模块320可以针对降低配置指标的配置质量的配置信息从配置信息大数据中选取相应的优质配置信息(如利用意图和/或表达从配置信息大数据中选取相应的优质配置信息)，并将选取的优质配置信息作为向会话机器人开发者/维护者推荐的可选项输出，以供会话机器人开发者/维护者考虑是否利用优质配置信息来对存在问题的配置信息进行维护。

优化维护模块330配置用于在接收到针对选项的更新确认信息后，根据更新确认信息对应的选项对降低配置指标的配置质量的配置信息进行维护。

作为示例，优化维护模块330可以在会话机器人开发者/维护者勾选了相应的选项，并点击了更新维护/确认按钮时，利用勾选的选项来更新降低配置指标的配置质量的配置信息，如优化维护模块330利用勾选的选项中的表达来替换配置信息中存在相应问题的表达，再如优化维护模块330利用勾选的选项中的意图来替换配置信息中存在相应问题的意图等；从而本发明实施方式的设备可以使会话机器人能够快捷方便的拥有优质配置信息。

本发明实施方式的计算机可读存储介质一个具体例子如图4所示。

图4的计算机可读存储介质为光盘40，其上存储有计算机程序(即程序产品)，该程序被处理器执行时，会实现上述方法实施方式中所记载的各步骤，在此不再重复说明。

应当注意，尽管在上文详细描述中提及了用于评测会话机器人智能的设备的若干装置或子装置，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (9)

1.一种方法，包括：

根据会话机器人的配置信息确定配置指标的配置质量；

其中，所述配置指标包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注、表达配置信息的服务触发中的至少一个。

2.如权利要求1所述的方法，所述根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：

根据会话机器人的配置信息中对应同一意图的不同表达之间的差异度确定会话机器人的表达配置信息的表达方式的配置质量；和/或

根据会话机器人的配置信息中包含有无关表达词集合中的无关表达词的表达确定会话机器人的表达配置信息的表达方式的配置质量；和/或

根据会话机器人的配置信息中的各表达长度确定会话机器人的表达配置信息的表达方式的配置质量。

3.如权利要求1所述的方法，所述根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：

根据会话机器人的配置信息中的意图与其对应的表达之间的相似度确定会话机器人的意图配置信息的意图设置的配置质量；和/或

根据会话机器人的配置信息中的对应不同意图的表达之间的相似度确定会话机器人的意图配置信息的意图设置的配置质量。

4.如权利要求1所述的方法，所述根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：

根据会话机器人的配置信息中的表达实体标注的正确程度确定会话机器人的表达配置信息的实体标注的配置质量；和/或

根据会话机器人的配置信息中的表达实体标注的数量确定会话机器人的表达配置信息的实体标注的配置质量。

5.如权利要求1所述的方法，所述根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：

根据会话机器人的配置信息中未曾触发服务的表达配置信息确定会话机器人的表达配置信息的服务触发的配置质量。

6.如权利要求1至5中任一权利要求所述的方法，所述方法还包括下述步骤：

针对降低配置指标的配置质量的配置信息，产生并输出配置信息存在的配置问题的提示信息。

7.如权利要求1至5中任一权利要求所述的方法，所述方法还包括下述步骤：

针对降低配置指标的配置质量的配置信息从配置信息集合中选取不降低配置指标的配置质量的配置信息，并将所述选取的配置信息作为用于更新所述降低配置指标的配置质量的配置信息的选项输出；

在接收到针对所述选项的更新确认信息后，根据所述更新确认信息对应的选项对所述降低配置指标的配置质量的配置信息进行维护。

8.一种设备，包括：

确定配置质量模块，配置用于根据会话机器人的配置信息确定配置指标的配置质量；

其中，所述配置指标包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注、表达配置信息的服务触发中的至少一个。

9.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现下述步骤：

根据会话机器人的配置信息确定配置指标的配置质量；

其中，所述配置指标包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注、表达配置信息的服务触发中的至少一个。