CN110109829B - 智能对话自动化校验方法、存储介质 - Google Patents

Abstract

本发明提供智能对话自动化校验方法、存储介质，方法包括：对应产品标识存储不同产品的用例；单产品测试过程，包括：依据系统平均响应时间、目标产品的用例数量以及单产品测试期望完成时间，计算得到所需的线程数量；通过执行对应所述线程数量的用例执行线程，对目标产品的各个用例分别进行测试；依据所述单产品测试过程得出的测试结果生成测试报告。本发明能够实现各产品独立化全自动测试，提高校验效率的同时使校验具备灵活性；再有，还支持自定义单个产品的测试完成时间，以便及时发现问题。进一步的，还能确保用例更新的有效性，不会对原有的用例造成影响。

Description

智能对话自动化校验方法、存储介质

技术领域

本发明涉及人工智能领域，具体涉及智能对话自动化校验方法、存储介质。

背景技术

目前常见的智能对话验证方案是：先通过收集事先预备好的问题及对应的答案列表，再通过脚本框架为基础，按照对话列表编写对应的脚本进行自动化校验。当数据量多的时候，目前较好的一个验证方案是使用一定的格式进行问题&答案的存储，再通过编写脚本去遍历存储文件，逐个进行验证并返回最终的应答结果。

上述日常的验证方法存在以下缺点：

缺点一、为了让对话系统显得更加的智能，系统会不断的载入更多预设好的问题和答案。当系统载入的问法超过万级规模，常规脚本的执行效率将显得很慢。举例：当前服务响应的时间为0.5S，脚本可执行的极致效率也只是趋近7200条/每小时，12小时的时间也只能执行86400条应答。测试人员无法在第一时间验证程序发布的正确性，当程序出错的时候容易出现外部用户比测试人员更早发现问题，这将影响到产品的口碑。

缺点二、一个智能对话系统，为了体现智能，会维护替换很多原有的问句所对应答案。当维护的问句非常多的时候，测试这边也需要同步的定位和替换问句答案，而这个过程就会显得非常麻烦，因为一个意图可能匹配的是几十个问法、甚至更多（一个意图包含多个问句，例如：{你叫什么}、{你贵姓}、{你名字}，这些都是询问名称的意图，可以理解问句是描述意图的一个说法）。

缺点三、一个智能对话系统，在面对不同产品的时候，应答的结果是不一样的。如果存在很多个产品接入的时候，对话系统一旦进行程序升级，那么脚本化的验证方式就会显得很繁琐，因为要配置多个产品脚本进行自动化测试，假设有100个产品，那么执行和维护起来就很耗时间。

因此，有必要提供一种能够克服上述缺点的智能问答校验方法。本发明采用直接对接API的方式，提高自动化校验效率；同时又能提高用例维护效率和产品化隔离。

本发明相比现有技术中，如申请日为201510346495.8，名称为《一种人工智能应答系统该测试方法及系统》这类的测试方案，具有至少以下本质区别：

1）核心技术不一样：上述现有技术所使用的是web层面的UI自动化；而本发明提供的是直接对接API的方式，主要实施技术是API（接口）自动化。相较之下，API层面的自动化效率远远高于UI自动化（UI响应时间=智能问答API响应时间+浏览器加载时间（CSS、JS等加载时间）+流程操作时间（比如UI还要登录，并跳转到某一个页面）+浏览器启动时间等)，同时UI层面的自动化由于需要加载浏览器等，所需要占用的内存资源高过API自动化。

2）解决问题点更多：上述现有技术实现的仅仅是本发明所提供的“用例执行”的功能，实现的是“问题+答案”的一个匹配，然后给出结果。但是本发明还提供了一个提高用例维护效率的平台，并且考虑到了产品化隔离的一个趋势；与此同时，本发明还针对产品用例暴增导致的自动化测试效率低的问题，提供了一个加速用例执行的方法，这些均是上述现有技术所不具备的；且由于上述现有技术所实施的技术方案选择的是web自动化为核心，原本效率就慢，加之也未考虑到效率提升，当用例多的时候会极大影响测试工作效率。因此，上述现有技术提及的方案也存在上述描述的三个主要缺点。

发明内容

本发明所要解决的技术问题是：提供智能对话自动化校验方法、存储介质，实现各产品独立化全自动测试，提高校验效率的同时使校验具备灵活性。

为了解决上述技术问题，本发明采用的技术方案为：

智能对话自动化校验方法，包括：

对应产品标识存储不同产品的用例，所述用例的字段包括产品标识、意图内容、问句内容和期望回答；

单产品测试过程，包括：

依据系统平均响应时间、目标产品的用例数量以及单产品测试期望完成时间，计算得到所需的线程数量；

通过执行对应所述线程数量的用例执行线程，对所述目标产品的各个用例分别进行测试；

依据所述单产品测试过程得出的测试结果生成测试报告。

本发明提供的另一个技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行时，能实现上述智能对话自动化校验方法所包含的步骤。

本发明的有益效果在于：通过产品标识来分管不同产品的用例，实现不同产品用例的独立更新和测试，从而能更具针对性的进行测试，提高用例测试效率；同时，还能大大降低维护难度和成本。再有，还支持自定义单个产品的测试完成时间，并据此创建相应数目的线程来执行，从而大大提高单产品的测试效率。进一步的，还能确保用例更新的有效性，不会对原有的用例造成影响。

附图说明

图1为本发明实施例智能对话自动化校验方法的流程示意图；

图2为本发明实施例中系统业务管理平台的架构示意图；

图3为本发明实施例一的单产品测试过程示意图；

图4为本发明实施例一的用例执行模块的执行流程示意图；

图5为本发明实施例一的全产品测试过程示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：通过产品标识来分管不同产品的用例，实现不同产品用例的独立更新和测试，且更具测试的针对性；支持自定义单个产品的测试完成时间，大大提高单产品的测试效率。

请参照图1，本发明提供智能对话自动化校验方法，包括：

对应产品标识存储不同产品的用例，所述用例的字段包括产品标识、意图内容、问句内容和期望回答；

单产品测试过程，包括：

依据系统平均响应时间、目标产品的用例数量以及单产品测试期望完成时间，计算得到所需的线程数量；

通过执行对应所述线程数量的用例执行线程，对所述目标产品的各个用例分别进行测试；

依据所述单产品测试过程得出的测试结果生成测试报告。

进一步的，还包括：全产品测试过程，包括：

依据所有产品标识获取产品列表；

依据产品列表中产品的数量以及预设的全产品测试期望完成时间，计算得到单产品测试期望完成时间；

通过遍历产品列表，依次获取各个产品作为目标产品，并执行所述单产品测试过程；

依据各个产品对应单产品测试过程分别得出的测试结果生成测试报告。

由上述描述可知，本发明支持全产品用例高效且自动地完成测试，并能对应各个产品的测试结果获取测试报告，为检测人员提供更具便利性的参考；进一步地，同样支持自定义全产品测试的完成时间，并将据此安排执行，从而提高全产品测试的效率。

进一步的，所述对所述目标产品的各个用例分别进行测试，具体为：

依据目标产品的所有用例获取问句详情列表，所述问句详情包括意图内容、问句内容和期望回答；

遍历所述问句详情列表，依次获取各个问句详情并向服务端发起请求；

判断服务端返回的实际回答与对应的问句详情中的期望回答是否匹配；

若不匹配，则生成对应的记录，所述记录包括所述对应的问句详情、实际回答和执行时间戳；

遍历结束后，依据所有的记录生成报告文件。

由上述描述可知，提供完全自动化且高效地单产品测试执行流程，极大地提高验证效率，降低了人工操作时间消耗；同时，又能具备测试独立性，可以被运用于全产品用例测试中对每一个产品进行测试，从而实现资源的高效利用，减少系统资源占用和运行、维护的成本。

进一步的，还包括：

对应产品标识，导入Excel表格形式的用例。

由上述描述可知，支持通过Excel快速、便捷性地导入用例，提高用例更新效率。

进一步的，还包括：

在对应产品标识的用例详情页面上，通过用例编辑模块添加、修改或删除对应产品的用例。

由上述描述可知，能够实现通过页面操作对任意产品对应的用例进行增删改查，从而更具操作灵活性和用例更新便捷性。

进一步的，还包括：

在对应产品标识的用例详情页面上，通过用例搜索模块搜索获取任一意图内容对应的问句内容和期望回答；

在用例搜索模块的搜索结果中编辑任一意图内容对应的任一问句内容或任一期望回答；

在用例搜索模块的搜索结果中编辑任一期望内容后，将所述任一期望内容所对应的意图内容对应的所有问句内容的期望回答全部替换为编辑后的期望内容。

由上述描述可知，提供“意图内容”字段的搜索引擎，能够以更便捷、高效地方式确认对应的所有问句和期望回答内容的正确性；同时，又支持对“意图内容”下“期望回答”的修改，并关联修改同一意图内容对应的所有问句的期望回答，实现智能修改，大大提高用例调整效率。

进一步的，所述期望回答包括至少一个的答案。

由上述描述可知，期望回答字段对应数组格式，使得同一问句内容能够提供多样性的回答内容，使对话更具智能化。

本发明提供的另一个技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行时，能实现上述智能对话自动化校验方法所包含的步骤。

其中，所述的存储介质可以是磁盘、光碟、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。

从上述描述可知，本发明的有益效果在于：对应本领域普通技术人员可以理解实现上述技术方案中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来实现的，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时，可包括如上述各方法的流程。具体的流程内容请参阅上述记载，在此不进行复述。另外，通过对应流程的实施，也能同时获取对应的有益效果。

实施例一

请参照图2至图5，本实施例提供一种智能对话自动化校验方法，包括：

一、对应产品标识存储不同产品的用例。

（1）关于“用例”；

所述用例至少包括产品标识（如产品ID）、意图内容、问句内容和期望回答这几个字段，用于存储对话用例。该数据结构具有易于维护和扩展的优点。

可选的，“期望回答”字段下包含了所有可能返回的答案。这是因为为了使智能机器人的回答更具智能化，因此其对应同一个问题的回答可能是不唯一的，这时候，通过数组形式可以实现对应同一个“问句内容”存储多个回答。

一产品的用例实例如下表1所示，其包含了上述通用的核心数据字段，可选的，每个产品可能存在一些其他的区别字段，例如账号信息、等级信息等，当有需要的时候，可以支持自定义添加。

表1

（2）关于分类存储；

具体依据预设的产品标识统一存储对应产品的所有用例。产品标识可以是对应产品具备唯一标识作用的内容，如产品ID；也可以是自定义的但在系统内与产品具备唯一标识作用的内容，如自定义产品A、产品B等。

提供第一个具体运用实例，支持便捷性、灵活性地对各个产品的用例进行增删改查。

对应本具体运用实例，系统将提供一个“用例管理模块”来实现上述的对应存储流程。

首先，基于“用例管理模块”的数据结构，将提供一个用例导入模块，来实现便捷性、高效地导入用例，特别适用于批量导入的运用场景。具体对应图2的“导入问话用例”。

所述用例导入模块，能实现用户通过Excel编辑用例具体内容以及导入Excel格式的用例至系统数据库中对应某一具体产品标识进行存储。

其次，还将提供一个用例编辑模块，来实现以网页形式支持在线添加、修改或删除对应产品的用例。特别适用于新增少量对话用例或对已有用例进行编辑的运用场景。具体对应图2的“添加问话用例”、“删除问话用例”和“编辑问话用例”。

可选的，通过所述用例编辑模块能实现以下流程内容：

1、当只需要新增少量对话用例的时候，可以直接通过系统网页中对应具体产品，如产品A这一产品标识的用例详情页面，然后通过点击“添加问话用例”选项按钮，跳转到添加用例页面，用户可以依次输入“意图内容”、“问句内容”、“期望回答”的具体内容。当输入的“意图内容”是已存在的时候，只需要输入“问句内容”即可，因为“期望回答”将自动生成。

2、当新增一个不存在的“意图内容”时，“期望回答”这一字段下默认只有一个输入行框，可以通过触发“+”按钮来新增输入行框，以便于输入多个答案；当填完信息之后，点击保存就会按照上述表1的“用例”数据结构存储到数据库中。

再来，更有提供一个用例搜索模块，实现依据所述条件快速定位目标用例，以及对目标用例进行关联修改。具体对应图2的“搜索问话用例”。

具体的，通过所述用例搜索模块能实现以下流程内容：

1、在对应产品标识的用例详情页面上，通过用例搜索模块搜索获取任一意图内容对应的问句内容和期望回答，即提供对应“意图内容”字段的搜索引擎，便于快速定位目标用例；

2、可以在用例搜索模块的搜索结果中编辑任一意图内容对应的任一问句内容或任一期望回答，即支持快速且便捷地修改用例内容；

3、在用例搜索模块的搜索结果中编辑任一期望内容后，将所述任一期望内容所对应的意图内容对应的所有问句内容的期望回答全部替换为编辑后的期望内容。即编辑意图下的回答内容后，将替换该意图下所有问句的期望回答，需要说明的是，编辑问句内容只会保存问句内容的修改，而不做关联性修改。由此，测试人员可以通过用例搜索模块实现问句的关联性修改，不仅具备操作便捷性，而且能在用例调整上大大降低成本和精力投入。

二、单产品测试过程。

请参阅图3的示意图，包括以下流程：

（1）依据系统平均响应时间、目标产品的用例数量以及单产品测试期望完成时间，计算得到所需的线程数量；

具体的，可以通过系统发起10次（预设次数，可自定义）服务请求，从而计算得到平均响应时间AverageTime。

所述目标产品的用例数量，具体依据预设的目标产品标识从数据库中获取对应目标产品的所有用例，统计得到其用例数量QuestionCount。

所述单产品测试期望完成时间，指的是期望完成目标产品测试的时间。若当前触发的检测流程仅针对一个产品进行测试，即对应单产品测试流程，则该时间为预先设定；若当前检测流程对应全产品测试流程，即需要同时或依次执行多个单产品测试流程，则该时间将依据预设的全产品测试期望完成时间计算得到。

所述所需的线程数量，为单产品测试期望完成时间UserTime内所需要的用例执行线程TreadCount，所述TreadCount=QuestionCount/AverageTime/UserTime。

（2）通过执行对应所述线程数量的用例执行线程，对所述目标产品的各个用例分别进行测试；

具体的，将首先创建对应（1）计算得到的线程数量的用例执行线程，然后通过所述用例执行线程完成目标产品的所有用例的测试。

优选的，还包括：

（3）依据所述单产品测试过程得出的测试结果生成测试报告。

需要同时说明的是，上述（1）至（3）步骤为全自动执行的过程，其而不管是对应单产品测试流程还是全产品测试流程，在完成了期望完成时间（单产品测试期望完成时间或全产品测试期望完成时间）配置后，便可全自动完成检测。

提供第二个具体运用实例，通过提供用例执行模块，执行以下步骤内容后，实现对一目标产品的各个用例分别进行测试的目的，且能支持一键触发全自动完成单产品测试功能：

请参阅图4的示意图，用例执行模块的执行流程包括：

1、依据目标产品的所有用例获取问句详情列表，所述问句详情包括意图内容、问句内容和期望回答；即依据确定的目标产品的产品标识从数据库中获取其所有的用例，然后提取所有用例的问句详情，构成对应目标产品的问句详情列表。

2、遍历所述问句详情列表，依次获取各个问句详情并向服务端发起请求；可以理解为，依次从问句详情列表中取出其中的一个问句详情，然后依据其中的问句内容和目标产品的产品标识（如产品A）请求服务端回复。

3、判断服务端返回的实际回答与对应的问句详情中的期望回答是否匹配；若不匹配，则生成对应的记录，所述记录包括所述对应的问句详情、实际回答和执行时间戳；

可以理解为，判断服务端返回的实际回答与请求对应的期望回答中的任意一个回答是否匹配，如果匹配，则通过；如果期望回答中的所有回答都与实际回答不一样，则匹配失败，将对应当前问句详情的测试结果生成对应的记录，并将该记录写入报告文件。

4、遍历结束后，依据所有的记录生成报告文件。可以理解为，循环执行2和3步骤，直到完成所有问句详情的遍历，然后生成报告文件。可选的，把报告文件的地址存储到数据库，完成本次测试执行，同时推送消息给对应负责的人员。

提供第三个具体运用实例，结合上述的第二个具体运用实例，对（2）的具体实现方式做进一步的细化，确保线程有序性、正确地执行，从而确保检测结果的准确性。

具体的，在计算得到所需的线程数量后，包括：

当所需的线程数量TreadCount<=1的时候，直接开始第二个具体运用实例记载的“用例执行模块”的操作；

当所需的线程数量TreadCount>1时，记录一个临时参数Count（初始值=TreadCount）用来记录用例检测完成情况；程序循环TreadCount次数，并依次递增LimitCount（偏移量，QuestionCount/TreadCount）作为用例执行范围，并启动线程执行。每个线程执行“用例执行模块”功能，并在执行完毕后对应生成一个以线程编号为名称的临时报告文件，每当完成一个线程执行，Count数值减一；

当监控到Count值变为0（即所有用例执行线程执行完毕），程序将根据临时报告文件的编号一一把内容写入到一个新的报告文件中，并保存该文件地址，完成本次测试执行，同时推送消息给对应负责的人员。

三、全产品测试过程。

请参阅图5的示意图，全产品测试过程包括：

（1）依据所有待测试产品的产品标识获取产品列表；所述产品列表包含所有待测试产品的产品标识。

（2）依据产品列表中产品的数量以及预设的全产品测试期望完成时间，计算得到单产品测试期望完成时间；这里的单产品测试期望完成时间，对应的是每一个产品独立测试完成的时间；全产品测试期望完成时间对应完成所有产品的测试的时间。

（3）通过遍历产品列表，依次获取各个产品作为目标产品，并执行所述单产品测试过程；

优选的，将从产品列表中每次取出一个产品标识，然后查询对应产品所包含的所有问句数量QuestionCount；判断当前产品的问句数量QuestionCount是否为0，若是，则继续获取下一个产品标识；若不是，则将该产品作为目标产品，然后执行上述“单产品测试过程”的步骤流程，并在流程结束后，继续获取下一个产品标识。特别的，可以通过配置第二个具体运用实例的“用例执行模块”来实现全自动分别执行产品列表中各个产品的测试。

（4）依据各个产品对应单产品测试过程分别得出的测试结果生成测试报告。

具体的，对应每一个产品的产品标识，将得到对应的测试结果。而优选的，最后生成的测试报告将依据每一个产品的产品标识进行分类整理。

在本实施例的具体运用实例中，通过“用例管理模块”下的“用例导入模块”、“用例编辑模块”和“用例搜索模块”实现用例的快捷维护，降低人工维护的成本，并显著提高用例维护效率；通过“用例执行模块”负责用例的执行和报告生成，更关键的是，还能根据预设的期望完成时间自动规划执行策略，提高执行效率。

实施例二

本实施例对应实施例一，提供三个具体运用场景：

第一个运用场景：

如图2所示，为对应配置的系统业务管理平台，用户通过在该平台上的操作实现上述实施例一所有的功能。具体实现：产品以及产品用例的增删改查，并把产品的智能对话的用例存储在数据库中；通过产品标识（产品A、产品B等）来分管产品用例，每个产品可以独立的上传、修改对应的对话用例；当对话系统程序未做修改的时候，某个产品提交了对话语料配置，只需要在对应的产品标识上上传对应的用例，并设置完成的时间，点击执行，程序就可以自动进行对话测试，并输出应答不匹配的问答列表（包含：意图、问句、期望应答及实际应答）；当各个产品的语料配置未做修改的时候，程序进行的更新调整，可以在产品列表上设置完成时间后点击一键执行；程序亦自动进行所有的产品遍历，并给出匹配应答存在错误的产品及其应答不匹配的问答列表详情。

第二个运用场景：

同学小A负责一个大型游戏的智能客服模块的测试，这个游戏已经上线了非常久，小A每个月都负责整理人工客服提供的游戏用户反馈问题和对应的答案，把问题和答案交予开发同学进行配置。开发同学处理完后，小A会对这几个问题放在智能客服模块进行验证，发现没错，就让开发发布到生产去。结果发布一小时之后，人工客服反馈，用户在询问智能客服的时候，智能客服部分问题存在答非所问。经排查，开发在上传新的语料问题时候，误覆盖了原有的部分文件，导致原来的一些问题不被识别。小A同学也挺无奈，毕竟游戏运维到现在，目前支持的问句导入了好几万，他也不可能一一验证。

通过本实施例一提供的方案，同学小A可以采用全新的用例更新方式，提高用例检测效率的同时又能确保所有用例的有效性。具体的，可以将日常收集的问句、答案添加上意图的方式进行存储。当新增问句和答案的时候，同学小A只需要把新增的问句和答案配置上去，点击测试，程序会自动验证产品历史以来的所有问句，便可以发现对原有问句答案的影响，规避对旧有问句的影响。与此同时，日常运维需要对问句进行调整的时候，同学小A不需要对每个相同意图的问句答案进行替换，只需要编辑该意图的答案，就能直接替换掉该意图下所有问句的答案，再进行一键测试，大大降低维护成本。

第三个具体运用场景：

同学小B负责一个智能对话系统的测试，这个对话系统已经拥有了许多的产品接入。但是该智能对话系统的匹配效率并不佳，系统的负责人决定对智能对话系统进行一次架构调整。在测试环境的时候，同学小B通过脚本的方式对其中几个产品进行了遍历执行，由于其中有一个产品的语料较多，同学小B用了半天时间才完成了测试。由于并没有发现任何问题，所以同学小B就通过了发布，并让开发发布了生产。当开发发布之后，同学小B依旧在生产中进行了脚本验证，但是脚本才执行了1个小时，就收到了其他产品的线上投诉，说智能客服返回的结果怎么和之前不一样了，经过排查才发现，开发在合并代码分支的时候，少了一个文件。

通过本实施例一的方案，同学小B可以预设好自己的期望时间5分钟，5分钟过后系统会自动将测试报告推送到同学小B，同学小B即可第一时间发现当前发布存在的问题，并要求开发及时进行补丁发布。

实施例三

本实施例对应实施例一和实施例二，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行时，能实现上述实施例一或实施例二所述的智能对话自动化校验方法所包含的所有步骤。具体的步骤内容在此不进行复述，详情请参与实施例一或实施例二的记载。

1、通过本实施例提供的方式进行智能对话系统的程序更新验证，测试人员可以自定义期望返回的时间并通过一键点击的简单方式完成一系列的程序验证，极大的提高了验证效率和降低了人工操作时间消耗。

2、通过本实施例提供的方式，测试人员可以快捷的进行意图下的问句回答修改，实现问句的关联修改，在用例调整上面大大减低了降低成本。

综上所述，本发明提供的提供智能对话自动化校验方法、存储介质，实现各产品独立化全自动测试，提高校验效率的同时使校验具备灵活性；同时能大大降低维护难度和成本；再有，还能确保用例更新的有效性，不会对原有的用例造成影响；最后，能预设测试完成时间，以便及时维护。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.智能对话自动化校验方法，其特征在于，包括：

对应产品标识存储不同产品的用例，所述用例的字段包括产品标识、意图内容、问句内容和期望回答；

单产品测试过程，包括：

依据系统平均响应时间、目标产品的用例数量以及单产品测试期望完成时间，计算得到所需的线程数量TreadCount：

TreadCount=QuestionCount/AverageTime/UserTime；

式中，QuestionCount表示目标产品的用例数量，AverageTime表示系统平均响应时间，UserTime表示单产品测试期望完成时间；

通过执行对应所述线程数量的用例执行线程，对所述目标产品的各个用例分别进行测试；

依据所述单产品测试过程得出的测试结果生成测试报告；

在计算得到所需的线程数量后，包括：

当所需的线程数量TreadCount<=1时，直接开始对所述目标产品的各个用例分别进行测试；

当所需的线程数量TreadCount>1时，记录一个临时参数Count，所述临时参数的初始值=TreadCount，用来记录用例检测完成情况；程序循环TreadCount次数，并依次递增偏移量作为用例执行范围，并启动线程执行；每个线程执行目标产品的用例测试操作，并在执行完毕后对应生成一个以线程编号为名称的临时报告文件，每当完成一个线程执行，Count数值减一；

所述偏移量等于所述目标产品的用例数量除以所述线程数量；

当监控到Count值变为0时，根据临时报告文件的编号一一把内容写入到一个新的报告文件中，并保存新的报告文件的地址，完成本次测试执行，同时推送消息给对应负责的人员。

2.如权利要求1所述的智能对话自动化校验方法，其特征在于，还包括：全产品测试过程，包括：

依据所有产品标识获取产品列表；

依据产品列表中产品的数量以及预设的全产品测试期望完成时间，计算得到单产品测试期望完成时间；

通过遍历产品列表，依次获取各个产品作为目标产品，并执行所述单产品测试过程；

依据各个产品对应单产品测试过程分别得出的测试结果生成测试报告。

3.如权利要求1所述的智能对话自动化校验方法，其特征在于，所述对所述目标产品的各个用例分别进行测试，具体为：

依据目标产品的所有用例获取问句详情列表，所述问句详情包括意图内容、问句内容和期望回答；

遍历所述问句详情列表，依次获取各个问句详情并向服务端发起请求；

判断服务端返回的实际回答与对应的问句详情中的期望回答是否匹配；

若不匹配，则生成对应的记录，所述记录包括所述对应的问句详情、实际回答和执行时间戳；

遍历结束后，依据所有的记录生成报告文件。

4.如权利要求1所述的智能对话自动化校验方法，其特征在于，还包括：

对应产品标识，导入Excel表格形式的用例。

5.如权利要求1所述的智能对话自动化校验方法，其特征在于，还包括：

在对应产品标识的用例详情页面上，通过用例编辑模块添加、修改或删除对应产品的用例。

6.如权利要求1所述的智能对话自动化校验方法，其特征在于，还包括：

在对应产品标识的用例详情页面上，通过用例搜索模块搜索获取任一意图内容对应的问句内容和期望回答；

在用例搜索模块的搜索结果中编辑任一意图内容对应的任一问句内容或任一期望回答；

在用例搜索模块的搜索结果中编辑任一期望内容后，将所述任一期望内容所对应的意图内容对应的所有问句内容的期望回答全部替换为编辑后的期望内容。

7.如权利要求1至6任意一项所述的智能对话自动化校验方法，其特征在于，所述期望回答包括至少一个的答案。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序在被处理器执行时，能实现上述权利要求1-7任意一项所述的智能对话自动化校验方法所包含的步骤。

Images