CN111008130B - 智能问答系统测试方法和装置 - Google Patents

Abstract

本申请提供了一种智能问答系统测试方法和装置，其中，该方法包括：获取待处理的笛卡尔积组合，笛卡尔积组合包括符合预设的业务逻辑的多个目标问；将笛卡尔积组合输入至智能问答系统，其中，智能问答系统对笛卡尔积组合中的各目标问进行语义识别和答复，并返回各目标问的语义识别结果和答复结果；接收智能问答系统返回的各目标问的语义识别结果和答复结果，并根据接收到的各目标问的语义识别结果和答复结果，确定笛卡尔积组合是否处理成功；根据笛卡尔积组合的处理结果，确定智能问答系统的处理准确率。通过上述方式，可以实现对智能问答系统的自动化测试，输出更为可靠的数据指标，提高测试效率，节约人力成本。

Description

智能问答系统测试方法和装置

技术领域

本申请涉及语义识别技术领域，特别涉及一种智能问答系统测试方法和装置。

背景技术

随着语音转译、语义识别和知识图谱等技术的发展，智能外呼在金融领域已有实施案例，如信用卡逾期催收和贷款产品营销等。智能外呼是识别客户意图并通过IVR(Interactive Voice Response，互动式语音应答)播报对应预置话术的对答流程。对答流程中每个节点都不是孤立的，因为只有前一个节点语义识别正确，才会跳转到下一话术节点。

然而，针对具体业务场景做知识梳理时，每一个标准问都对应多种扩展问法，从全流程来看，对所有标准问及其扩展问进行笛卡尔积运算后，组合后数量级巨大，因此，若依赖于人工完成各节点标准问和扩展问的遍历测试，效率将十分低下。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种智能问答系统测试方法和装置，以解决现有技术中智能问答的智能问答系统测试效率低下的问题。

本申请实施例提供了一种智能问答系统测试方法，包括：获取待处理的笛卡尔积组合，其中，笛卡尔积组合包括多个目标问，多个目标问之间符合预设的业务逻辑；将笛卡尔积组合输入至智能问答系统，其中，智能问答系统用于对笛卡尔积组合中的各目标问进行语义识别并返回各目标问的语义识别结果，还用于对笛卡尔积组合中的各目标问进行答复并返回各目标问的答复结果；接收智能问答系统返回的各目标问的语义识别结果和答复结果，并根据接收到的各目标问的语义识别结果和答复结果，确定笛卡尔积组合是否处理成功；根据笛卡尔积组合的处理结果，确定智能问答系统的处理准确率。

在一个实施例中，多个目标问中各目标问包括以下之一：标准问、标准问对应的扩展问；相应地，根据接收到的各目标问的语义识别结果和答复结果，确定笛卡尔积组合是否处理成功，包括：获取笛卡尔积组合的多个目标问中各目标问对应的标准问和各目标问对应的预设答复结果；确定各目标问的语义识别结果与各目标问对应的标准问是否相同；在确定各目标问的语义识别结果与各目标问对应的标准问相同的情况下，确定各目标问的答复结果与各目标问对应的预设答复结果是否相同；在确定各目标问的答复结果与各目标问对应的预设答复结果相同的情况下，确定笛卡尔积组合处理成功。

在一个实施例中，在确定各目标问的语义识别结果与各目标问对应的标准问是否相同之后，还包括：在确定一目标问的语义识别结果与该目标问对应的标准问不同的情况下，结束流程并确定笛卡尔积组合处理失败；在确定各目标问的答复结果与各目标问对应的预设答复结果是否相同之后，还包括：在一目标问的答复结果与该目标问对应的预设答复结果不同的情况下，结束流程并确定笛卡尔积组合处理失败。

在一个实施例中，在获取待处理的笛卡尔积组合之前，还包括：获取待处理的流程分支，其中，流程分支中包括多个应答节点，多个应答节点中各应答节点包括标准问和与标准问对应的多个扩展问；对多个应答节点中各应答节点的标准问和扩展问进行笛卡尔积运算，得到流程分支的多个笛卡尔积组合，其中，多个笛卡尔积组合中各笛卡尔积组合包括多个应答节点中各应答节点的标准问或多个扩展问中的一个扩展问；相应的，在根据接收到的各目标问的语义识别结果和答复结果，确定笛卡尔积组合是否处理成功之后，还包括：获取流程分支的多个笛卡尔积组合中的下一个笛卡尔积组合，并确定下一个笛卡尔积组合是否处理成功，直至确定完流程分支中的多个笛卡尔积组合中各笛卡尔积组合是否处理成功。

在一个实施例中，根据笛卡尔积组合的处理结果，确定智能问答系统的处理准确率，包括：获取流程分支中的多个笛卡尔积组合的个数以及多个笛卡尔积组合中处理成功的笛卡尔积组合的个数；根据流程分支中的多个笛卡尔积组合的个数和多个笛卡尔积组合中处理成功的笛卡尔积组合的个数，确定流程分支的处理准确率。

在一个实施例中，在获取待处理的流程分支之前，还包括：获取待处理的智能问答流程，其中，智能问答流程包括多个流程分支；相应地，在确定流程分支的处理准确率之后，还包括：获取待处理的智能问答流程中的下一个流程分支，并确定下一个流程分支的处理准确率，直至确定完智能问答流程中的多个流程分支中各流程分支的处理准确率。

在一个实施例中，根据笛卡尔积组合的处理结果，确定智能问答系统的处理准确率，包括：根据智能问答流程中的多个流程分支中各流程分支的处理准确率，确定智能问答流程的处理准确率。

本申请实施例还提供了一种智能问答系统测试方法，包括：获取待处理的笛卡尔积组合，其中，笛卡尔积组合包括多个目标问，多个目标问之间符合预设的业务逻辑；将笛卡尔积组合输入至智能问答系统，其中，智能问答系统对笛卡尔积组合中的各目标问进行语义识别并返回各目标问的语义识别结果；接收智能问答系统返回的各目标问的语义识别结果，并根据接收到的各目标问的语义识别结果，确定笛卡尔积组合是否识别成功；根据笛卡尔积组合的语义识别结果，确定智能问答系统的识别准确率。

本申请实施例还提供了一种智能问答系统测试装置，包括：获取模块，用于获取待处理的笛卡尔积组合，其中，笛卡尔积组合包括多个目标问，多个目标问之间符合预设的业务逻辑；输入模块，用于将笛卡尔积组合输入至智能问答系统，其中，智能问答系统对笛卡尔积组合中的各目标问进行语义识别并返回各目标问的语义识别结果，还用于对笛卡尔积组合中的各目标问进行答复并返回各目标问的答复结果；接收模块，用于接收智能问答系统返回的各目标问的语义识别结果和答复结果，并根据接收到的各目标问的语义识别结果和答复结果，确定笛卡尔积组合是否处理成功；确定模块，用于根据笛卡尔积组合的处理结果，确定智能问答系统的处理准确率。

本申请实施例还提供一种计算机设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述任意实施例中所述的智能问答系统测试方法的步骤。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任意实施例中所述的智能问答系统测试方法的步骤。

在本申请实施例中，提供了一种智能问答系统测试方法，获取待处理的包括多个目标问的笛卡尔积组合，其中，多个目标问之间符合预设的业务逻辑，将笛卡尔积组合输入至智能问答系统，智能问答系统对笛卡尔积组合中的各目标问进行语义识别并返回各目标问的语义识别结果，智能问答系统还对笛卡尔积组合中的各目标问进行答复并返回各目标问的答复结果，接收智能问答系统返回的各目标问的语义识别结果和答复结果，并根据接收到的各目标问的语义识别结果和答复结果，确定笛卡尔积组合是否处理成功，根据笛卡尔积组合的处理结果，确定智能问答系统的处理准确率。上述方案中，考虑到智能问答在本质上是按照一定业务逻辑的，因此以包括符合预设的业务逻辑的多个目标问的笛卡尔积组合作为输入，可以对智能问答流程的分支进行处理，不仅可以确定该分支中的各节点是否识别成功，还可以确定各节点的跳转是否正确，使得对智能问答系统的测试更加全面，而且可以根据笛卡尔积组合是否处理成功来确定智能问答系统的处理准确率，实现了智能问答系统的自动化测试，可以提高测试效率，节约人力成本，为智能问答业务方提供更为可靠的数据指标。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，并不构成对本申请的限定。在附图中：

图1示出了本申请一实施例中智能问答系统测试方法的应用场景的示意图；

图2示出了本申请一实施例中的智能问答系统测试方法的流程图；

图3示出了本申请一实施例中的智能问答系统测试方法的流程图；

图4示出了本申请一实施例中的智能问答系统测试方法的流程图；

图5示出了本申请一实施例中的智能问答流程的各个流程分支的示意图；

图6示出了本申请一实施例中的智能问答系统测试方法的流程图；

图7示出了本申请一实施例中的智能问答系统测试装置的示意图；

图8示出了本申请一实施例中的计算机设备的示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本申请公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域的技术人员知道，本申请的实施方式可以实现为一种系统、装置设备、方法或计算机程序产品。因此，本申请公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

本申请实施例提供了一种智能问答系统测试方法。图1示出了本申请一实施例中智能问答系统测试方法的应用场景的示意图。如图1所示，自动检测装置可以获取待处理的笛卡尔积组合，并将笛卡尔积组合发送至智能问答系统进行处理。其中，待处理的笛卡尔积组合包括多个目标问，各目标问之间符合预设的业务逻辑。智能问答系统接收到笛卡尔积组合之后，可以对笛卡尔积组合中的各目标问进行语义识别，并返回各目标问对应的语义识别结果。智能问答系统还可以对笛卡尔积组合中的各目标问进行答复，并返回各目标问对应的答复结果。智能问答系统将各目标问的语义识别结果和答复结果返回至自动检测装置。自动检测装置接收到各目标问的语义识别结果和答复结果之后，可以根据各目标问的语义识别结果和答复结果确定笛卡尔积组合是否处理成功。之后，自动检测装置可以根据笛卡尔积组合的处理结果，确定智能问答系统的处理准确率。

其中，上述自动检测装置和智能问答系统可以是相互独立的计算机装置，也可以是一个计算机装置上具有不同功能的模块，只要能够实现上述功能即可，对于自动检测装置和智能问答系统的具体组成形式，本申请不做限制。

图2示出了本申请一实施例中智能问答系统测试方法的流程图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本申请实施例描述及附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至分布式处理环境)。

具体地，如图2所示，本申请一种实施例提供的智能问答系统测试方法可以包括以下步骤：

步骤S201，获取待处理的笛卡尔积组合。

其中，笛卡尔积组合包括多个目标问，多个目标问之间符合预设的业务逻辑。预设的业务逻辑是指符合智能问答系统的应用场景中的业务的逻辑。其中，智能问答系统可以包括智能外呼系统和智能客户系统等。示例性地，对于智能外呼而言，可能适用的应用场景的业务可以包括信用卡逾期催收、贷款产品营销和理财产品推荐等。举例而言，在理财产品推荐的场景下，智能外呼系统可以主动拨打电话给用户，并播报一段预先设置的语音以询问客户是否有理财意向；客户此时可能答复有意向；这时，智能外呼系统可以播报与客户有意向相关的语音，例如介绍各种理财产品，并询问客户希望购买的理财产品类型；客户可能告知并没有符合需求的理财产品类型；此时，智能外呼系统可以播报与客户回答相关的语音，例如，感谢客户的接听并祝客户生活愉快。在上面的示例中，客户的每段回答可以看作一个目标问，智能外呼系统可以对各目标问进行识别和答复。在具体的业务中，客户的各段回答之间是符合预设的业务逻辑的。为了测试智能问答系统，需要获取符合预设的业务逻辑的笛卡尔积组合。

步骤S202，将笛卡尔积组合输入至智能问答系统，其中，智能问答系统对笛卡尔积组合中的各目标问进行语义识别并返回各目标问的语义识别结果。

具体地，在获取笛卡尔积组合之后，可以将笛卡尔积组合输入至智能问答系统。智能问答系统接收到智能问答系统之后，可以对笛卡尔积组合中的各目标问进行语义识别并返回各目标问的语义识别结果。

步骤S203，接收智能问答系统返回的各目标问的语义识别结果，并根据接收到的各目标问的语义识别结果，确定笛卡尔积组合是否识别成功。

具体地，可以接收智能问答系统返回的各目标问的语义识别结果。之后，可以根据接收到的各目标问的语义识别结果，确定笛卡尔积组合是否识别成功。例如，可以确定各目标问的语义识别结果是否正确。在确定各目标问的语义识别结果均正确的情况下，可以确定笛卡尔积组合识别成功，否则，确定笛卡尔积组合识别失败。

步骤S204，根据笛卡尔积组合的语义识别结果，确定智能问答系统的识别准确率。

在确定笛卡尔积组合是否识别成功之后，可以根据笛卡尔积组合的语义识别结果，确定智能问答系统的识别准确率。例如，可以获取待处理的多个笛卡尔积组合，然后逐个确定每个笛卡尔积组合是否识别成功，之后获取识别成功的笛卡尔积组合的个数和获得的笛卡尔积组合总个数，根据两者的比值，确定智能问答系统的识别准确率。

上述方案中，考虑到智能问答在本质上是按照一定业务逻辑的，因此以包括符合预设的业务逻辑的多个目标问的笛卡尔积组合作为输入，可以对智能问答流程的分支进行处理，相比于确定单个目标问是否识别成功，本方案的测试方法更加全面，而且可以根据笛卡尔积组合是否识别成功来确定智能问答系统的识别准确率，实现了智能问答系统的自动化测试，可以提高测试效率，节约人力成本，为智能问答业务方提供更为可靠的数据指标。

图3示出了本申请一实施例中智能问答系统测试方法的流程图。具体地，如图3所示，本申请一种实施例提供的智能问答系统测试方法可以包括以下步骤：

步骤S301，获取待处理的笛卡尔积组合。

其中，笛卡尔积组合包括多个目标问，多个目标问之间符合预设的业务逻辑。预设的业务逻辑是指符合智能问答系统的应用场景中的业务的逻辑。其中，智能问答系统可以包括智能外呼系统和智能客户系统等。示例性地，对于智能外呼而言，可能适用的应用场景的业务可以包括信用卡逾期催收、贷款产品营销和理财产品推荐等。举例而言，在理财产品推荐的场景下，智能外呼系统可以主动拨打电话给用户，并播报一段预先设置的话术以询问客户是否有理财意向；客户此时可能答复有意向；这时，智能外呼系统可以对用户的回答进行答复，即播报与客户有意向相关的话术，例如介绍各种理财产品，并询问客户希望购买的理财产品类型；客户可能告知并没有符合需求的理财产品类型；此时，智能外呼系统对用户的回答进行答复，即播报与客户回答相关的话术，例如，感谢客户的接听并祝客户生活愉快。在上面的示例中，客户的每段回答可以看作一个目标问，智能外呼系统可以对各目标问进行语义识别和答复。在具体的业务中，客户的各段回答之间是符合预设的业务逻辑的，即各目标问之间符合预设的业务逻辑。为了测试智能问答系统，需要获取符合预设的业务逻辑的笛卡尔积组合。

步骤S302，将笛卡尔积组合输入至智能问答系统，其中，智能问答系统用于对笛卡尔积组合中的各目标问进行语义识别并返回各目标问的语义识别结果，还用于对笛卡尔积组合中的各目标问进行答复并返回各目标问的答复结果。

具体地，在获取笛卡尔积组合之后，可以将笛卡尔积组合输入至智能问答系统。智能问答系统接收到智能问答系统之后，可以对笛卡尔积组合中的各目标问进行语义识别并返回各目标问的语义识别结果。在对各目标问进行语义识别之后，智能问答系统可以根据各目标问的语义识别结果对各目标问进行答复，得到各目标问的答复结果。其中，对目标问进行答复，即，从目标问跳转到系统预设的话术，因此，对目标问答复成功即从目标问跳转成功，即，从应答节点(笛卡尔积组合中的各目标问)跳转到正确的话术节点(系统预设的话术)。智能问答系统将得到的各目标问的语义识别结果和答复结果返回给自动检测装置。

步骤S303，接收智能问答系统返回的各目标问的语义识别结果和答复结果，并根据接收到的各目标问的语义识别结果和答复结果，确定笛卡尔积组合是否处理成功。

具体地，可以接收智能问答系统返回的各目标问的语义识别结果和答复结果。之后，可以根据接收到的各目标问的语义识别结果和答复结果，确定笛卡尔积组合是否处理成功。例如，可以确定各目标问的语义识别结果和答复结果是否正确。在确定各目标问的语义识别结果和答复结果均正确的情况下，可以确定笛卡尔积组合处理成功，否则，确定笛卡尔积组合处理失败。

步骤S304，根据笛卡尔积组合的处理结果，确定智能问答系统的处理准确率。

在确定笛卡尔积组合是否处理成功之后，可以根据笛卡尔积组合的处理结果，确定智能问答系统的处理准确率。例如，可以获取待处理的多个笛卡尔积组合，然后逐个确定每个笛卡尔积组合是否处理成功，之后获取处理成功的笛卡尔积组合的个数和获得的笛卡尔积组合总个数，根据两者的比值，确定智能问答系统的处理准确率。

上述方案中，由于智能问答在本质上是按照一定业务逻辑的，因此以包括符合预设的业务逻辑的多个目标问的笛卡尔积组合作为输入，可以对智能问答流程的分支进行处理，不仅可以确定该分支中的各节点是否识别成功，还可以确定各节点的跳转是否正确，使得对智能问答系统的测试更加全面，而且可以根据笛卡尔积组合是否处理成功来确定智能问答系统的处理准确率，实现了智能问答系统的自动化测试，可以提高测试效率，节约人力成本，为智能问答业务方提供更为可靠的数据指标。

在本申请一些实施例中，多个目标问中各目标问可以包括以下之一：标准问、标准问对应的扩展问；相应的，根据接收到的各目标问的语义识别结果和答复结果，确定笛卡尔积组合是否处理成功，可以包括：获取笛卡尔积组合的多个目标问中各目标问对应的标准问和各目标问对应的预设答复结果；确定各目标问的语义识别结果与各目标问对应的标准问是否相同；在确定各目标问的语义识别结果与各目标问对应的标准问相同的情况下，确定各目标问的答复结果与各目标问对应的预设答复结果是否相同；在确定各目标问的答复结果与各目标问对应的预设答复结果相同的情况下，确定笛卡尔积组合处理成功。

其中，标准问与扩展问的语义是相同或相似的，例如，若标准问为“你吃饭了吗”，则该标准问对应的扩展问有很多种，例如“你吃饭了没有”、“吃饭了吗”、“你用餐了吗”等等。一个笛卡尔积组合中可以包括多个目标问。每个目标问可以是一个标准问，也可以是与该标准问对应的一个扩展问。为了确定笛卡尔积组合是否处理成功，需要确定各目标问是否识别成功且跳转成功。智能问答系统对目标问进行语义识别可以是识别该目标问对应的标准问。可以先获取笛卡尔积组合的多个目标问中各目标问对应的标准问和各目标问对应的预设答复结果。例如，可以从预设的知识梳理文档中获取各目标问对应的标准问和各目标问对应的预设答复结果。之后，可以确定各目标问的语义识别结果与各目标问对应的标准问是否相同。可以在确定各目标问的语义识别结果与各目标问对应的标准问均相同的情况下，确定各目标问的答复结果与各目标问的预设答复结果是否相同。在确定各目标问的答复结果与各目标问的预设答复结果均相同的情况下，确定该笛卡尔积组合处理成功。即，在确定笛卡尔积组合中的所有目标问均识别成功且均跳转成功的情况下，才确定笛卡尔积组合处理成功。通过上述方式，可以根据各目标问的语义识别结果和答复结果确定笛卡尔积组合是否处理成功。

在本申请一些实施例中，在确定各目标问的语义识别结果与各目标问对应的标准问是否相同之后，还可以包括：在确定一目标问的语义识别结果与该目标问对应的标准问不同的情况下，结束流程并确定笛卡尔积组合处理失败；在确定各目标问的答复结果与各目标问对应的预设答复结果是否相同之后，还可以包括：在一目标问的答复结果与该目标问对应的预设答复结果不同的情况下，结束流程并确定笛卡尔积组合处理失败。通过上述方式，一旦确定一个目标问语义识别错误或者确定一个目标问的跳转错误的情况下，就结束流程并确定该笛卡尔积组合处理失败。

上述实施例中，在确定各目标问均识别正确的情况下，才确定各目标问是否均跳转成功。本申请并不限于这一种实施方式。例如，在其他实施例方式中，如图4所示，根据各目标问的语义识别结果和答复结果确定笛卡尔积组合是否处理成功，可以包括以下步骤：

步骤S401，获取笛卡尔积组合中N个目标问中各目标问对应的标准问和预设答复结果；

步骤S402，确定第i个目标问的语义识别结果与第i个目标问对应的标准问是否相同，若是，则执行步骤S403，否则执行步骤S406；

步骤S403，确定第i个目标问的答复结果与第i个目标问对应的预设答复结果是否相同，若是，执行步骤S404，否则，执行步骤S406；

步骤S404，i++，确定i是否大于N，若是，则确定执行步骤S404，否则，返回步骤S402；

步骤S405，确定笛卡尔积组合处理成功；

步骤S406，确定笛卡尔积组合处理失败。

其中，N为笛卡尔积组合中的目标问的总个数，i的初始值为1。

在本申请一些实施例中，在获取待处理的笛卡尔积组合之前，还可以包括：获取待处理的流程分支，其中，流程分支中包括多个应答节点，多个应答节点中各应答节点包括标准问和与标准问对应的多个扩展问；对多个应答节点中各应答节点的标准问和扩展问进行笛卡尔积运算，得到流程分支的多个笛卡尔积组合，其中，多个笛卡尔积组合中各笛卡尔积组合包括多个应答节点中各应答节点的标准问或多个扩展问中的一个扩展问；相应地，在根据接收到的各目标问的语义识别结果和答复结果，确定笛卡尔积组合是否处理成功之后，还可以包括：获取流程分支的多个笛卡尔积组合中的下一个笛卡尔积组合，并确定下一个笛卡尔积组合是否处理成功，直至确定完流程分支中的多个笛卡尔积组合中各笛卡尔积组合是否处理成功。

具体地，智能问答系统的一个流程分支可以包括多个应答节点和多个话术节点。对于智能外呼系统来说，应答节点为客户回答的节点，该节点可以包括一个标准问和该标准问对应的一个或多个扩展问，话术节点为智能外呼系统预设的话术。获取待处理的流程分支之后，可以对该流程分支中的多个应答节点中各应答节点的标准问和扩展问进行笛卡尔积运算，得到多个笛卡尔积组合。例如，一个流程分支包括2个节点，第1个节点包括标准问A、扩展问A1和扩展问A2，第2个节点包括标准问B、扩展问B1和扩展问B2。对该流程分支进行笛卡尔积运算之后，得到的多个笛卡尔积组合包括：(A,B)，(A,B1)，(A,B2)，(A1,B)，(A1,B1)，(A1,B2)，(A2,B)，(A2,B1)，(A2,B2)。在确定笛卡尔积组合(A,B)是否处理成功之后，获取笛卡尔积组合(A,B1)，并确定笛卡尔积组合(A,B1)是否处理成功，以此类推，直至确定完该流程分支的所有笛卡尔积组合是否处理成功。通过上述方式，可以将一个流程分支对应的所有笛卡尔积组合作为输入来测试智能问答系统的准确率。

在本申请一些实施例中，根据笛卡尔积组合的处理结果，确定智能问答系统的处理准确率，可以包括：获取流程分支中的多个笛卡尔积组合的个数以及多个笛卡尔积组合中处理成功的笛卡尔积组合的个数；根据流程分支中的多个笛卡尔积组合的个数和多个笛卡尔积组合中处理成功的笛卡尔积组合的个数，确定流程分支的处理准确率。

具体地，在确定完流程分支中的所有笛卡尔积组合是否处理成功之后，可以根据各笛卡尔积组合的处理结果，确定智能问答系统的处理准确率。具体地，获取流程分支中的多个笛卡尔积组合的个数以及多个笛卡尔积组合中处理成功的笛卡尔积组合的个数，然后根据流程分支中的多个笛卡尔积组合的个数和多个笛卡尔积组合中处理成功的笛卡尔积组合的个数，确定流程分支的处理准确率。例如，当流程分支中的多个笛卡尔积组合的个数为Y且多个笛卡尔积组合中处理成功的笛卡尔积组合的个数为X时，则该流程分支的处理准确率为X/Y。通过上述方式，可以确定智能问答系统对一流程分支的处理准确率。

在本申请一些实施例中，在获取待处理的流程分支之前，还可以包括：获取待处理的智能问答流程，其中，智能问答流程包括多个流程分支；相应地，在确定流程分支的处理准确率之后，还可以包括：获取待处理的智能问答流程中的下一个流程分支，并确定下一个流程分支的处理准确率，直至确定完智能问答流程中的多个流程分支中各流程分支的处理准确率。

具体地，智能问答系统的智能问答流程可以包括多个流程分支。如图5所示，示出了智能外呼系统的智能问答流程的分支示意图。其中，空心圆为话术节点，实心圆为客户的应答节点。智能问答系统对应答节点进行答复即从应答节点跳转至话术节点。图5示例性地示出了4个分支，本申请不限于此。在确定流程分支的处理准确率之后，获取待处理的智能问答流程中的下一个流程分支，并确定下一个流程分支的处理准确率，直至确定完智能问答流程中的多个流程分支中各流程分支的处理准确率。通过上述方式，可以确定整个智能问答流程中的所有流程分支的处理准确率，可以更准确地评价智能问答系统的处理准确率。

在本申请一些实施例中，根据笛卡尔积组合的处理结果，确定智能问答系统的处理准确率，可以包括：根据智能问答流程中的多个流程分支中各流程分支的处理准确率，确定智能问答流程的处理准确率。

具体地，在确定整个智能问答流程中的多个流程分支的处理准确率之后，可以根据多个流程分支中各流程分支的准确率，确定智能问答流程的处理准确率。例如，可以获取多个流程分支中各流程分支中的节点的个数，然后以各流程分支中的节点的个数作为各流程分支的权重，计算多个流程分支中各流程分支的处理准确率的加权平均值，并将该加权平均值作为智能问答流程的处理准确率，即作为智能问答系统的处理准确率。又例如，可以获取多个流程分支中各流程分支中的笛卡尔积组合的个数，然后以各流程分支中的笛卡尔积组合的个数作为各流程分支的权重，计算多个流程分支中各流程分支的处理准确率的加权平均值，并将该加权平均值作为智能问答流程的处理准确率，即作为智能问答系统的处理准确率。在其他实施方式中，还可以同时考虑各流程分支中的节点数和笛卡尔积组合数两者，来根据各流程分支的准确率确定智能问答流程的处理准确率。通过上述方式，可以全面地评价智能问答系统的处理准确性，为智能问答业务方提供更为可靠的数据指标。

上述多个实施例中的方法，可以评价智能问答系统的处理准确率，可以为后续的算法优化和知识梳理文档的优化提供依据，此外，在测试过程中，还可以记录识别失败或跳转失败处的目标问，便于后续优化语义识别模型和答复模型，进一步地，针对语义识别失败的节点，在系统优化后，可以由人工辅助测试，尽可能地覆盖了所有的标准问和扩展问，可以验证智能外呼系统的有效性，为业务方提供更为可靠的数据指标，还可以节省人力成本。

下面结合一个具体实施例对上述方法进行说明，然而，值得注意的是，该具体实施例仅是为了更好地说明本申请，并不构成对本申请的不当限定。

图6示出了在本申请一个具体实施例中的智能问答系统测试方法的流程图。如图6所示，在本实施例中，智能问答系统测试方式可以包括以下步骤：

步骤1，获取待处理的智能问答流程，其中，智能问答流程包括N个流程分支，每个流程分支上包括多个应答节点，每个应答节点中包括标准问和与标准问对应的多个扩展问；

步骤2，从智能问答流程中读取第n个流程分支；

步骤3，对第n个流程分支的多个应答节点中各应答节点的标准问和扩展问进行笛卡尔积运算，得到第n个流程分支的Mn个笛卡尔积组合，其中，Mn个笛卡尔积组合中各笛卡尔积组合包括第n个流程分支的多个应答节点中各应答节点的标准问或多个扩展问中的一个扩展问；

步骤4，从第n个流程分支读取第m个笛卡尔积组合；

步骤5，将第m个笛卡尔积组合输入至智能问答系统，其中，智能问答系统对第m个笛卡尔积组合中各目标问进行识别和答复，并返回各目标问的语义识别结果和答复结果；

步骤6，接收智能问答系统返回的第m个笛卡尔积组合的Km个目标问中各目标问的语义识别结果和答复结果，并获取第m个笛卡尔积组合的Km个目标问中各目标问对应的标准问和预设答复结果；

步骤7，确定第m个笛卡尔积组合的第k个目标问的语义识别结果与第k个目标问对应的标准问是否相同，若是，则执行步骤8，否则，执行步骤11；

步骤8，确定第m个笛卡尔积组合的第k个目标问的答复结果与第k个目标问对应的预设答复结果是否相同，若是，执行步骤9，否则，执行步骤11；

步骤9，k++，并判断k是否大于Km，若是，则执行步骤10，否则返回步骤7；

步骤10，确定第m个笛卡尔积组合处理成功，in++，跳转步骤12；

步骤11，确定第m个笛卡尔积组合处理失败，记录n、m和k的值，跳转步骤12；

步骤12，m++，并判断m是否大于Mn，若是，则执行步骤13，否则返回步骤4；

步骤13，确定第n个分支的处理准确率An，An＝in/Mn；

步骤14，n++，判断n是否大于N，若是，则执行步骤15，否则，返回步骤2；

步骤15，根据N个分支中各分支中的笛卡尔积组合的个数以及各分支的处理准确率，确定整个智能问答流程的处理准确率B，其中，/>

其中，m、n和k的初始值为1，in的初始值为0，N、Mn、Km和M为正整数，N为智能问答流程中的流程分支的个数，Mn为第n个流程分支中的笛卡尔积组合的个数，Km为第m个笛卡尔积组合中的目标问的个数，M为智能问答流程中的所有流程分支中的目标问的总个数。

上述实施例中的智能问答系统检测方法，以包括符合预设的业务逻辑的多个目标问的笛卡尔积组合作为输入，不仅可以确定该组合中的各目标问是否识别成功，还可以确定各目标问的跳转是否正确，从而确定笛卡尔积组合是否处理成功，此外，通过确定智能问答流程中的各分支中的所有笛卡尔积组合是否处理成功，来确定各流程分支的处理准确率，进而确定整个智能问答流程的处理准确率，使得可以对智能问答系统进行更加全面的测试，实现了智能问答系统的自动化测试，可以提高测试效率，节约人力成本，为智能问答业务方提供更为可靠的数据指标。此外，可以记录处理失败的流程分支、笛卡尔积组合和目标问的位置，便于开发人员后续对算法和知识梳理文档进行优化，以进一步提高智能问答系统的处理准确率。

基于同一发明构思，本申请实施例中还提供了一种智能问答系统测试装置，如下面的实施例所述。由于智能问答系统测试装置解决问题的原理与智能问答系统测试方法相似，因此智能问答系统测试装置的实施可以参见智能问答系统测试方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图7是本申请实施例的智能问答系统测试装置的一种结构框图，如图7所示，包括：获取模块701、输入模块702、接收模块703和确定模块704，下面对该结构进行说明。

获取模块701用于获取待处理的笛卡尔积组合，其中，笛卡尔积组合包括多个目标问，多个目标问之间符合预设的业务逻辑。

输入模块702用于将笛卡尔积组合输入至智能问答系统，其中，智能问答系统对笛卡尔积组合中的各目标问进行语义识别并返回各目标问的语义识别结果，还用于对笛卡尔积组合中的各目标问进行答复并返回各目标问的答复结果。

接收模块703用于接收智能问答系统返回的各目标问的语义识别结果和答复结果，并根据接收到的各目标问的语义识别结果和答复结果，确定笛卡尔积组合是否处理成功。

确定模块704用于根据笛卡尔积组合的处理结果，确定智能问答系统的处理准确率。

在本申请一些实施例中，多个目标问中各目标问可以包括以下之一：标准问、标准问对应的扩展问；相应的，根据接收到的各目标问的语义识别结果和答复结果，确定笛卡尔积组合是否处理成功，可以包括：获取笛卡尔积组合的多个目标问中各目标问对应的标准问和各目标问对应的预设答复结果；确定各目标问的语义识别结果与各目标问对应的标准问是否相同；在确定各目标问的语义识别结果与各目标问对应的标准问相同的情况下，确定各目标问的答复结果与各目标问对应的预设答复结果是否相同；在确定各目标问的答复结果与各目标问对应的预设答复结果相同的情况下，确定笛卡尔积组合处理成功。

在本申请一些实施例中，在确定各目标问的语义识别结果与各目标问对应的标准问是否相同之后，还可以包括：在确定一目标问的语义识别结果与该目标问对应的标准问不同的情况下，结束该笛卡尔积组合中其它目标问的遍历并确定笛卡尔积组合处理失败；在确定各目标问的答复结果与各目标问对应的预设答复结果是否相同之后，还可以包括：在一目标问的答复结果与该目标问对应的预设答复结果不同的情况下，结束当前笛卡尔积组合中其它目标问的遍历并确定笛卡尔积组合处理失败。

在本申请一些实施例中，在获取待处理的笛卡尔积组合之前，还可以包括：获取待处理的流程分支，其中，流程分支中包括多个应答节点，多个应答节点中各应答节点包括标准问和与标准问对应的多个扩展问；对多个应答节点中各应答节点的标准问和扩展问进行笛卡尔积运算，得到流程分支的多个笛卡尔积组合，其中，多个笛卡尔积组合中各笛卡尔积组合包括多个应答节点中各应答节点的标准问或多个扩展问中的一个扩展问；相应的，在根据接收到的各目标问的语义识别结果和答复结果，确定笛卡尔积组合是否处理成功之后，还可以包括：获取流程分支的多个笛卡尔积组合中的下一个笛卡尔积组合，并确定下一个笛卡尔积组合是否处理成功，直至确定完流程分支中的多个笛卡尔积组合中所有组合是否处理成功。

在本申请一些实施例中，根据笛卡尔积组合的处理结果，确定智能问答系统的处理准确率，可以包括：获取流程分支中的多个笛卡尔积组合的个数以及多个笛卡尔积组合中处理成功的组合的个数；根据流程分支中的多个笛卡尔积组合的个数和多个笛卡尔积组合中处理成功的笛卡尔积组合的个数，确定流程分支的处理准确率。

在本申请一些实施例中，在获取待处理的流程分支之前，还可以包括：获取待处理的智能问答流程，其中，智能问答流程包括多个流程分支；相应的，在确定流程分支的处理准确率之后，还可以包括：获取待处理的智能问答流程中的下一个流程分支，并确定下一个流程分支的处理准确率，直至确定完智能问答流程中的所有流程分支的处理准确率。

在本申请一些实施例中，根据笛卡尔积组合的处理结果，确定智能问答系统的处理准确率，可以包括：根据智能问答流程中的多个流程分支中各流程分支的处理准确率，确定智能问答流程的整体处理准确率。

从以上的描述中，可以看出，本申请实施例实现了如下技术效果：由于智能问答在本质上是按照一定业务逻辑的，因此以包括符合预设的业务逻辑的多个目标问的笛卡尔积组合作为输入，可以对智能问答流程的分支进行处理，不仅可以确定该分支中的各节点是否识别成功，还可以确定各节点的跳转是否正确，使得对智能问答系统的测试更加全面，而且可以根据笛卡尔积组合是否处理成功来确定智能问答系统的处理准确率，实现了智能问答系统的自动化测试，可以提高测试效率，节约人力成本，为智能问答业务方提供更为可靠的数据指标。

本申请实施方式还提供了一种计算机设备，具体可以参阅图8所示的基于本申请实施例提供的智能问答系统测试方法的计算机设备组成结构示意图，所述计算机设备具体可以包括输入设备81、处理器82、存储器83。其中，所述存储器83用于存储处理器可执行指令。所述处理器82执行所述指令时实现上述任意实施例中所述的智能问答系统测试方法的步骤。

在本实施方式中，所述输入设备具体可以是用户和计算机系统之间进行信息交换的主要装置之一。所述输入设备可以包括键盘、鼠标、摄像头、扫描仪、光笔、手写输入板、语音输入装置等；输入设备用于把原始数据和处理这些数的程序输入到计算机中。所述输入设备还可以获取接收其他模块、单元、设备传输过来的数据。所述处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述存储器具体可以是现代信息技术中用于保存信息的记忆设备。所述存储器可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。

在本实施方式中，该计算机设备具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。

本申请实施方式中还提供了一种基于智能问答系统测试方法的计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现上述任意实施例中所述智能问答系统测试方法的步骤。

在本实施方式中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。

在本实施方式中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。

显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。

应该理解，以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施方式和许多应用对本领域技术人员来说都将是显而易见的。因此，本申请的范围不应该参照上述描述来确定，而是应该参照前述权利要求以及这些权利要求所拥有的等价物的全部范围来确定。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请实施例可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种智能问答系统测试方法，其特征在于，包括：

获取待处理的笛卡尔积组合，其中，所述笛卡尔积组合包括多个目标问，所述多个目标问之间符合预设的业务逻辑；

将所述笛卡尔积组合输入至智能问答系统，其中，所述智能问答系统用于对所述笛卡尔积组合中的各目标问进行语义识别并返回所述各目标问的语义识别结果，还用于对所述笛卡尔积组合中的各目标问进行答复并返回所述各目标问的答复结果；

接收所述智能问答系统返回的各目标问的语义识别结果和答复结果，并根据接收到的所述各目标问的语义识别结果和答复结果，确定所述笛卡尔积组合是否处理成功；

根据所述笛卡尔积组合的处理结果，确定所述智能问答系统的处理准确率；

其中，在获取待处理的笛卡尔积组合之前，还包括：

获取待处理的流程分支，其中，所述流程分支中包括多个应答节点，所述多个应答节点中各应答节点包括标准问和与所述标准问对应的多个扩展问；

对所述多个应答节点中各应答节点的标准问和扩展问进行笛卡尔积运算，得到所述流程分支的多个笛卡尔积组合，其中，所述多个笛卡尔积组合中各笛卡尔积组合包括所述多个应答节点中各应答节点的标准问或所述多个扩展问中的一个扩展问；

相应地，在根据接收到的所述各目标问的语义识别结果和答复结果，确定所述笛卡尔积组合是否处理成功之后，还包括：

获取所述流程分支的多个笛卡尔积组合中的下一个笛卡尔积组合，并确定所述下一个笛卡尔积组合是否处理成功，直至确定完所述流程分支中的多个笛卡尔积组合中各笛卡尔积组合是否处理成功；

其中，所述多个目标问中各目标问包括以下之一：标准问、所述标准问对应的扩展问；

相应地，根据接收到的所述各目标问的语义识别结果和答复结果，确定所述笛卡尔积组合是否处理成功，包括：

获取所述笛卡尔积组合的多个目标问中各目标问对应的标准问和所述各目标问对应的预设答复结果；

确定所述各目标问的语义识别结果与所述各目标问对应的标准问是否相同；

在确定所述各目标问的语义识别结果与所述各目标问对应的标准问相同的情况下，确定所述各目标问的答复结果与所述各目标问对应的预设答复结果是否相同；

在确定所述各目标问的答复结果与所述各目标问对应的预设答复结果相同的情况下，确定所述笛卡尔积组合处理成功。

2.根据权利要求1所述的方法，其特征在于，在确定所述各目标问的语义识别结果与所述各目标问对应的标准问是否相同之后，还包括：

在确定一目标问的语义识别结果与该目标问对应的标准问不同的情况下，结束流程并确定所述笛卡尔积组合处理失败；

在确定所述各目标问的答复结果与所述各目标问对应的预设答复结果是否相同之后，还包括：

在一目标问的答复结果与该目标问对应的预设答复结果不同的情况下，结束流程并确定所述笛卡尔积组合处理失败。

3.根据权利要求1所述的方法，其特征在于，根据所述笛卡尔积组合的处理结果，确定所述智能问答系统的处理准确率，包括：

获取所述流程分支中的多个笛卡尔积组合的个数以及所述多个笛卡尔积组合中处理成功的笛卡尔积组合的个数；

根据所述流程分支中的多个笛卡尔积组合的个数和所述多个笛卡尔积组合中处理成功的笛卡尔积组合的个数，确定所述流程分支的处理准确率。

4.根据权利要求3所述的方法，其特征在于，在获取待处理的流程分支之前，还包括：

获取待处理的智能问答流程，其中，所述智能问答流程包括多个流程分支；

相应地，在确定所述流程分支的处理准确率之后，还包括：

获取所述待处理的智能问答流程中的下一个流程分支，并确定所述下一个流程分支的处理准确率，直至确定完所述智能问答流程中的所述多个流程分支中各流程分支的处理准确率。

5.根据权利要求4所述的方法，其特征在于，根据所述笛卡尔积组合的处理结果，确定所述智能问答系统的处理准确率，包括：

根据所述智能问答流程中的所述多个流程分支中各流程分支的处理准确率，确定所述智能问答流程的处理准确率。

6.一种智能问答系统测试方法，其特征在于，包括：

获取待处理的笛卡尔积组合，其中，所述笛卡尔积组合包括多个目标问，所述多个目标问之间符合预设的业务逻辑；

将所述笛卡尔积组合输入至智能问答系统，其中，所述智能问答系统对所述笛卡尔积组合中的各目标问进行语义识别并返回所述各目标问的语义识别结果；

接收所述智能问答系统返回的各目标问的语义识别结果，并根据接收到的所述各目标问的语义识别结果，确定所述笛卡尔积组合是否识别成功；

根据所述笛卡尔积组合的语义识别结果，确定所述智能问答系统的识别准确率；

其中，在获取待处理的笛卡尔积组合之前，还包括：

获取待处理的流程分支，其中，所述流程分支中包括多个应答节点，所述多个应答节点中各应答节点包括标准问和与所述标准问对应的多个扩展问；

对所述多个应答节点中各应答节点的标准问和扩展问进行笛卡尔积运算，得到所述流程分支的多个笛卡尔积组合，其中，所述多个笛卡尔积组合中各笛卡尔积组合包括所述多个应答节点中各应答节点的标准问或所述多个扩展问中的一个扩展问；

相应地，在根据接收到的所述各目标问的语义识别结果，确定所述笛卡尔积组合是否识别成功之后，还包括：

获取所述流程分支的多个笛卡尔积组合中的下一个笛卡尔积组合，并确定所述下一个笛卡尔积组合是否识别成功，直至确定完所述流程分支中的多个笛卡尔积组合中各笛卡尔积组合是否识别成功；

所述多个目标问中各目标问包括以下之一：标准问、所述标准问对应的扩展问；

相应地，根据接收到的所述各目标问的语义识别结果和答复结果，确定所述笛卡尔积组合是否处理成功，包括：

获取所述笛卡尔积组合的多个目标问中各目标问对应的标准问；

确定所述各目标问的语义识别结果与所述各目标问对应的标准问是否相同；

在确定所述各目标问的语义识别结果与所述各目标问对应的标准问相同的情况下，确定所述笛卡尔积组合处理成功。

7.一种智能问答系统测试装置，其特征在于，包括：

获取模块，用于获取待处理的笛卡尔积组合，其中，所述笛卡尔积组合包括多个目标问，所述多个目标问之间符合预设的业务逻辑；

输入模块，用于将所述笛卡尔积组合输入至智能问答系统，其中，所述智能问答系统对所述笛卡尔积组合中的各目标问进行语义识别并返回所述各目标问的语义识别结果，还用于对所述笛卡尔积组合中的各目标问进行答复并返回所述各目标问的答复结果；

接收模块，用于接收所述智能问答系统返回的各目标问的语义识别结果和答复结果，并根据接收到的所述各目标问的语义识别结果和答复结果，确定所述笛卡尔积组合是否处理成功；

确定模块，用于根据所述笛卡尔积组合的处理结果，确定所述智能问答系统的处理准确率；

其中，所述获取模块还用于：在获取待处理的笛卡尔积组合之前，获取待处理的流程分支，其中，所述流程分支中包括多个应答节点，所述多个应答节点中各应答节点包括标准问和与所述标准问对应的多个扩展问；对所述多个应答节点中各应答节点的标准问和扩展问进行笛卡尔积运算，得到所述流程分支的多个笛卡尔积组合，其中，所述多个笛卡尔积组合中各笛卡尔积组合包括所述多个应答节点中各应答节点的标准问或所述多个扩展问中的一个扩展问；

相应地，所述接收模块还用于：在根据接收到的所述各目标问的语义识别结果和答复结果，确定所述笛卡尔积组合是否处理成功之后，获取所述流程分支的多个笛卡尔积组合中的下一个笛卡尔积组合，并确定所述下一个笛卡尔积组合是否处理成功，直至确定完所述流程分支中的多个笛卡尔积组合中各笛卡尔积组合是否处理成功；

其中，所述多个目标问中各目标问包括以下之一：标准问、所述标准问对应的扩展问；

相应地，所述接收模块具体用于：获取所述笛卡尔积组合的多个目标问中各目标问对应的标准问和所述各目标问对应的预设答复结果；确定所述各目标问的语义识别结果与所述各目标问对应的标准问是否相同；在确定所述各目标问的语义识别结果与所述各目标问对应的标准问相同的情况下，确定所述各目标问的答复结果与所述各目标问对应的预设答复结果是否相同；在确定所述各目标问的答复结果与所述各目标问对应的预设答复结果相同的情况下，确定所述笛卡尔积组合处理成功。

8.一种计算机设备，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至5中任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被执行时实现权利要求1至5中任一项所述方法的步骤。