CN113791981A - 意图话术测试方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能领域，公开了一种意图话术测试方法、装置、设备及存储介质，该方法包括：接收意图话术测试请求，并对意图话术测试请求携带的意图触发话术文本进行解析并生成测试用例；对测试用例进行分词处理得到测试用例字符，根据测试用例字符进行意图识别，得到第一意图；根据基础话术意图集对测试用例进行相关性分析，识别测试用例的第二意图；将第一意图和第二意图进行比较，根据比较的结果生成测试报告。本发明实现了意图话术测试的自动化，且提高了意图话术测试的效率和准确度。此外，本发明还涉及区块链领域，意图触发话术文本和基础话术意图集可存储于区块链中。

Description

意图话术测试方法、装置、设备及存储介质

技术领域

本发明涉及人工智能领域，尤其涉及一种意图话术测试方法、装置、设备及存储介质。

背景技术

目前基于人工智能的智能语音交互领域，通过识别用户话术的意图，来给出相应回复。对用户话术的意图识别，是整个业务场景中的关键点。只有正确的识别用户话术的意图，才能给出正确的回复话术，因此需要对用户说法的意图触发话术进行测试，从而提高人工智能回复的准确度。

但现有技术中，测试人员需要手工组合构造话术进行测试，对于话术模板量大的需求，传统手工测试效率低下，而且容易遗漏测试用例，并需要一批大量经过人工标注过的数据作为标准测试集来验证模型的准确率和误差，导致意图话术的测试效率低。

发明内容

本发明的主要目的在于解决现有技术中对意图话术的测试效率低的技术问题。

本发明第一方面提供了一种意图话术测试方法，所述意图话术测试方法包括：接收意图话术测试请求，其中，所述意图话术测试请求携带有意图触发话术文本以及与所述意图触发话术文本对应的用户意图；对所述意图触发话术文本进行解析处理，得到文本数据，提取所述文本数据中的实体对象，并根据所述实体对象生成测试用例；对所述测试用例进行分词处理，得到测试用例字符，根据所述测试用例字符进行意图识别，得到所述测试用例的第一意图；基于预设的基础话术意图集，对所述测试用例进行相关性分析，并根据相关性分析的结果对所述测试用例进行意图识别，得到所述测试用例的第二意图；将所述第一意图和所述第二意图进行比较，并根据比较的结果生成测试报告。

可选的，在本发明的第一方面的第一种实现方式中，所述对所述意图触发话术文本进行解析处理，得到文本数据，提取所述文本数据中的实体对象，并根据所述实体对象生成测试用例包括：对所述意图触发话术文本按照预设的文本解析规则进行解析处理，得到文本数据；对所述文本数据进行非文字字符过滤处理，得到纯文本语句；基于预设的分词词库，对纯文本语句进行分词处理，得到字词数据；对所述字词数据进行分析，确定所述字词数据中的实体对象，并根据所述实体对象对所述意图触发话术文本进行分析，得到测试用例。

可选的，在本发明的第一方面的第二种实现方式中，所述对所述字词数据进行分析，确定所述字词数据中的实体对象，并根据所述实体对象对所述意图触发话术文本进行分析，得到测试用例包括：对所述字词数据进行分析，计算所述字词数据中各字词与预设的实体对象类型之间的实体类型相似度；根据所述实体类型相似度确定所述字词数据的实体对象以及所述实体对象的类型；从预设的实体对象类型与测试用例模板关联关系表中提取与所述实体对象的类型对应的测试用例模板；将所述意图触发话术文本填充至所述测试用例模板中，生成测试用例。

可选的，在本发明的第一方面的第三种实现方式中，所述基于预设的基础话术意图集，对所述测试用例进行相关性分析，并根据相关性分析的结果对所述测试用例进行意图识别，得到所述测试用例的第二意图包括：获取预设的基础话术意图集，其中，所述基础话术意图集包括基础话术以及与所述基础话术对应的基础意图；将所述基础话术和所述测试用例分别进行字符拆分处理，得到基础话术字符和测试用例字符；识别所述基础话术字符的第一字符长度和所述测试用例字符的第二字符长度，并根据所述第一字符长度和所述第二字符长度计算所述基础话术字符和所述测试用例字符的字符相似度；根据所述字符相似度确定所述测试用例的初步意图；识别所述基础话术与所述测试用例的正反义关系，并根据所述正反义关系对所述初步意图进行调整，得到所述测试用例的第二意图。

可选的，在本发明第一方面的第四种实现方式中，所述识别所述基础话术字符的第一字符长度和所述测试用例字符的第二字符长度，并根据所述第一字符长度和所述第二字符长度计算所述基础话术字符和所述测试用例字符的字符相似度包括：计算所述基础话术字符的字符长度，得到第一字符长度；计算所述测试用例字符的字符长度，得到第二字符长度；判断所述第一字符长度与第二字符长度是否一致；若是，则将所述基础话术字符与所述测试用例字符按照相应的字符长度进行字符比对，并计算所述基础话术字符和所述测试字符的字符相似度。

可选的，在本发明第一方面的第五种实现方式中，所述识别所述基础话术与所述测试用例的正反义关系，并根据所述正反义关系对所述初步意图进行调整，得到所述测试用例的第二意图包括：识别所述基础话术字符与所述测试用例字符中不相同的字符，并从所述不相同的字符中提取反义字符；统计所述反义字符的个数，并根据所述反义字符的个数的奇偶性确定所述基础话术与所述测试用例的正反义关系，其中，若所述反义字符的个数为奇数，则所述测试用例对应的意图与所述初步意图相反；若所述反义字符的个数为偶数，则所述测试用例的意图与所述初步意图相同；根据所述正反义关系对所述初步意图进行调整，得到所述测试用例的第二意图。

可选的，在本发明第一方面的第六种实现方式中，在所述将所述第一意图和所述第二意图进行比较，并根据比较的结果生成测试报告之后，还包括：基于预设的数据格式转换规则，对所述测试报告进行分析并将所述测试报告转换为可读性数据；提取所述可读性数据中的公共函数，并对所述公共函数进行解析，得到解析数据；将所述解析数据按照预设的数据通用格式转换成通用格式的数据；对所述通用格式的数据进行消息封装，得到消息体。

本发明第二方面提出一种意图话术测试装置，所述意图话术测试装置包括：接收模块，用于接收意图话术测试请求，其中，所述意图话术测试请求携带有意图触发话术文本以及与所述意图触发话术文本对应的用户意图；解析模块，用于对所述意图触发话术文本进行解析处理，得到文本数据，提取所述文本数据中的实体对象，并根据所述实体对象生成测试用例；第一识别模块，用于对所述测试用例进行分词处理，得到测试用例字符，根据所述测试用例字符进行意图识别，得到所述测试用例的第一意图；第二识别模块，用于基于预设的基础话术意图集，对所述测试用例进行相关性分析，并根据相关性分析的结果对所述测试用例进行意图识别，得到所述测试用例的第二意图；比较模块，用于将所述第一意图和所述第二意图进行比较，并根据比较的结果生成测试报告。

可选的，在本发明第二方面的第一种实现方式中，所述解析模块包括：解析单元，用于对所述意图触发话术文本按照预设的文本解析规则进行解析处理，得到文本数据；过滤单元，用于对所述文本数据进行非文字字符过滤处理，得到纯文本语句；分词单元，用于基于预设的分词词库，对纯文本语句进行分词处理，得到字词数据；分析单元，用于对所述字词数据进行分析，确定所述字词数据中的实体对象，并根据所述实体对象对所述意图触发话术文本进行分析，得到测试用例。

可选的，在本发明第二方面的第二种实现方式中，所述分析单元具体用于：对所述字词数据进行分析，计算所述字词数据中各字词与预设的实体对象类型之间的实体类型相似度；根据所述实体类型相似度确定所述字词数据的实体对象以及所述实体对象的类型；从预设的实体对象类型与测试用例模板关联关系表中提取与所述实体对象的类型对应的测试用例模板；将所述意图触发话术文本填充至所述测试用例模板中，生成测试用例。

可选的，在本发明第二方面的第三种实现方式中，所述第二识别模块包括：获取单元，用于获取预设的基础话术意图集，其中，所述基础话术意图集包括基础话术以及与所述基础话术对应的基础意图；拆分单元，用于将所述基础话术和所述测试用例分别进行字符拆分处理，得到基础话术字符和测试用例字符；计算单元，用于识别所述基础话术字符的第一字符长度和所述测试用例字符的第二字符长度，并根据所述第一字符长度和所述第二字符长度计算所述基础话术字符和所述测试用例字符的字符相似度；确定单元，用于根据所述字符相似度确定所述测试用例的初步意图；调整单元，用于识别所述基础话术与所述测试用例的正反义关系，并根据所述正反义关系对所述初步意图进行调整，得到所述测试用例的第二意图。

可选的，在本发明第二方面的第四种实现方式中，所述计算单元具体用于：计算所述基础话术字符的字符长度，得到第一字符长度；计算所述测试用例字符的字符长度，得到第二字符长度；判断所述第一字符长度与第二字符长度是否一致；若所述第一字符长度与第二字符长度一致，则将所述基础话术字符与所述测试用例字符按照相应的字符长度进行字符比对，并计算所述基础话术字符和所述测试字符的字符相似度。

可选的，在本发明第二方面的第五种实现方式中，所述调整单元具体用于：识别所述基础话术字符与所述测试用例字符中不相同的字符，并从所述不相同的字符中提取反义字符；统计所述反义字符的个数，并根据所述反义字符的个数的奇偶性确定所述基础话术与所述测试用例的正反义关系，其中，若所述反义字符的个数为奇数，则所述测试用例对应的意图与所述初步意图相反；若所述反义字符的个数为偶数，则所述测试用例的意图与所述初步意图相同；根据所述正反义关系对所述初步意图进行调整，得到所述测试用例的第二意图。

可选的，在本发明第二方面的第六种实现方式中，所述意图话术测试装置还包括封装模块，所述封装模块具体用于：基于预设的数据格式转换规则，对所述测试报告进行分析并将所述测试报告转换为可读性数据；提取所述可读性数据中的公共函数，并对所述公共函数进行解析，得到解析数据；将所述解析数据按照预设的数据通用格式转换成通用格式的数据；对所述通用格式的数据进行消息封装，得到消息体。

本发明第三方面提供了一种意图话术测试设备，所述意图话术测试设备包括：存储器和至少一个处理器，所述存储器中存储有计算机程序，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述计算机程序，以使得所述意图话术测试设备执行上述的意图话术测试方法的步骤。

本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机执行上述的意图话术测试方法的步骤。

在本发明提供的技术方案中，通过对意图触发话术文本进行解析处理，提取意图触发话术文本中的实体对象，并根据实体对象生成测试用例，对测试用例进行分词处理并进行意图识别，得到测试用例的第一意图；根据预设的基础话术意图集，对测试用例进行意图识别，得到测试用例的第二意图；将第一意图和第二意图进行比较，并根据比较的结果生成测试报告。本发明实现了意图话术的自动化测试，提高了意图话术测试的效率，且根据测试用例的识别出的第一意图和第二意图进行比较生成测试报告，提高了测试的准确度。

附图说明

图1为本发明实施例中意图话术测试方法的第一个实施例示意图；

图2为本发明实施例中意图话术测试方法的第二个实施例示意图；

图3为本发明实施例中意图话术测试方法的第三个实施例示意图；

图4为本发明实施例中意图话术测试方法的第四个实施例示意图；

图5为本发明实施例中意图话术测试装置的一个实施例示意图；

图6为本发明实施例中意图话术测试装置的另一个实施例示意图；

图7为本发明实施例中意图话术测试设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种意图话术测试方法、装置、设备及存储介质，通过对意图触发话术文本进行解析处理，提取意图触发话术文本中的实体对象，并根据实体对象生成测试用例，对测试用例进行分词处理并进行意图识别，得到测试用例的第一意图；根据预设的基础话术意图集，对测试用例进行意图识别，得到测试用例的第二意图；将第一意图和第二意图进行比较，并根据比较的结果生成测试报告。本发明实施例实现了意图话术的自动化测试，提高了意图话术测试的效率，且根据测试用例的识别出的第一意图和第二意图进行比较生成测试报告，提高了测试的准确度。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体内容进行描述，请参阅图1，本发明实施例中意图话术测试方法的第一个实施例包括：

101，接收意图话术测试请求；

服务器接收意图话术测试请求，该意图话术测试请求携带有意图触发话术文本以及与意图触发话术文本对应的意图。其中，意图触发话术文本是由意图触发话术模板中的一级卡片通用模板和二级卡片个性化模板组合成的。构造意图触发话术时，需要根据个性话术类别映射到对应的二级卡片个性化模板中，再组装一级卡片通用模板；二级卡片个性化模板包括产品名，产品名用“|”隔开，支持无限扩展。一级卡片通用模板和二级卡片个性化模板的存储形式都为Excel文件，当根据该级卡片通用模板和二级卡片个性化模板自动组装为意图触发话术文本时，将Excel文件转换为yml文件，即意图触发话术文本的文件类型为yml文件。另外，一级卡片个性话术通用模板可以设置为“介绍一下xxx”；“介绍介绍xxx”；“我想投保xxx”；“xxx怎么样”；“看下xxx”；“看看xxx”；“给我看下xxx”；“推荐一下xxx”。

另外，本发明实施例可以基于人工智能技术对意图话术测试请求进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

102，对意图话术测试请求携带的意图触发话术文本进行解析处理，提取意图触发话术文本中的实体对象，并根据实体对象生成测试用例；

服务器根据开源的pytest框架和测试报告插件allure，以及开发的自动化测试工具对意图触发话术文本进行意图话术测试，该自动化测试工具也通用于其他的接口自动化测试。服务器调用该自动化测试工具对意图触发话术文本进行解析处理，即通过pytest框架执行以test开头的py文件，解析yml格式的文件，即解析意图触发话术文本，提取该意图触发话术文本中的实体对象，根据该实体对象生成测试用例。

在本实施例中，pytest框架的fixture机制可以很方便在测试用例执行前初始化环境配置。测试用例用yml文件管理，有数据变更时只需要维护yml文件即可，并封装了通用的yml文件解析方法，实现了测试用例和测试执行脚本文件的分离。

103，对测试用例进行分词处理，得到测试用例字符，根据测试用例字符进行意图识别，得到测试用例的第一意图；

服务器对测试用例进行分词处理，识别测试用例中各字符，根据该测试用例中各字符按照预设的语义识别工具进行语义识别，确定测试用例各字符的语义，并将各字符的语义封装为完整的语句含义，对该语句含义进行意图识别，即计算该语句含义与预设的意图类型之间的意图相似度，当意图相似度不小于预设的意图相似度阈值时，则将该意图类型所对应的意图作为该测试用例的第一意图。

104，基于预设的基础话术意图集，对测试用例进行相关性分析，并根据相关性分析的结果对测试用例进行意图识别，得到测试用例的第二意图；

服务器根据预设的基础话术意图集，对测试用例进行相关性分析，并根据相关性分析的结果对测试用例进行意图识别，循环执行该测试用例，确定测试用例的第二意图。具体的，服务器根据基础话术意图集中的基础话术和与该基础话术对应的意图，对测试用例和基础话术进行相似度的计算，当基础话术和测试用例的相似度不小于预设的相似阈值时，则将该基础话术的意图作为该测试用例的第二意图。

在本实施例中，服务器通过pytest框架灵活控制测试用例的执行，以主函数方式执行测试用例，通过传入不同参数，控制执行不同的测试类或测试函数；或者通过pytest.mark添加标记的方法，控制执行测试用例。

105，将第一意图和第二意图进行比较，并根据比较的结果生成测试报告。

服务器将第一意图与第二意图进行比较，并根据比较的结果生成测试报告。服务器调取测试报告插件allure根据第一意图和第二意图的比较结果定制生成测试报告。Allure插件能定制美观的测试报告，在测试函数前添加@allure标记，方便定义测试的特性、测试步骤等信息，丰富测试报告的内容。另外，服务器判断第一意图与第二意图是否一致，当第一意图与第二意图一致时，说明该自动化测试工具的测试效率和准确度高，当第一意图和第二意图不一致时，将该测试用例作为训练语料，对自动化测试工具进行参数调整，不断训练以提高自动化测试工具的测试准确度。

在本发明实施例中，通过对意图触发话术文本进行解析并生成测试用例，并对测试用例进行分词处理识别测试用例的第一意图，根据基础话术意图集识别测试用例的第二意图，将第一意图和第二意图进行比较，生成测试报告。本发明实施例实现了意图话术测试的自动化，且提高了意图话术测试的效率和准确度。

请参阅图2，本发明实施例中意图话术测试方法的第二个实施例包括：

201，接收意图话术测试请求；

服务器接收意图话术测试请求，该意图话术测试请求携带有意图触发话术文本以及与意图触发话术文本对应的意图。其中，意图触发话术文本是由意图触发话术模板中的一级卡片通用模板和二级卡片个性化模板组合成的。构造意图触发话术时，需要根据个性话术类别映射到对应的二级卡片个性化模板中，再组装一级卡片通用模板；二级卡片个性化模板包括产品名，产品名用“|”隔开，支持无限扩展。一级卡片通用模板和二级卡片个性化模板的存储形式都为Excel文件，当根据该级卡片通用模板和二级卡片个性化模板自动组装为意图触发话术文本时，将Excel文件转换为yml文件，即意图触发话术文本的文件类型为yml文件。另外，一级卡片个性话术通用模板可以设置为“介绍一下xxx”；“介绍介绍xxx”；“我想投保xxx”；“xxx怎么样”；“看下xxx”；“看看xxx”；“给我看下xxx”；“推荐一下xxx”。

202，对意图话术测试请求携带的意图触发话术文本按照预设的文本解析规则进行解析处理，得到文本数据；

203，对文本数据进行非文字字符过滤处理，得到纯文本语句；

服务器对意图触发话术文本按照预设的文本解析规则进行解析处理，即服务器从预设的解析规则中提取对应的文本解析规则，并根据该文本解析规则对意图触发话术文本进行解析，得到文本数据。识别文本数据中的非文字字符，并对文本数据进行非文字字符过滤处理。其中，非文字字符滤除处理是指针对文本数据中的非文字字符进行删除处理，最终只保留文字字符。其非文字字符过滤处理的过程为，计算文本数据中各字符与预设的非文字字符之间的字符相似度，当该字符相似度不小于预设的字符相似度阈值时，将文本数据中对应的字符作为非文字字符，并进行删除处理，得到纯文本语句。

204，基于预设的分词词库，对纯文本语句进行分词处理，得到字词数据；

205，对字词数据进行分析，确定字词数据中的实体对象，并根据实体对象对意图触发话术文本进行分析，得到测试用例；

将预设的分词词库中的合法词汇分别与纯文本语句进行匹配，若匹配到纯文本中存在与合法词汇相同的文字字符，则将该文字字符确定为目标分词，若纯文本语句中存在与合法词汇不相同的文字字符，则将单个文字字符确定为目标分词，根据目标分词生成字词数据。其中，一个目标分词为一个字或一个词，预设的分词词库是指专门用于存储不同合法词汇的数据库。

服务器对字词数据进行分析，计算字词数据中各字词与预设的实体对象类型之间的相似度，即计算字词数据中各目标分词与实体对象类型之间的相似度，得到实体类型相似度，其中，实体对象是某个种类对象的具体描述。根据该实体类型相似度确定字词数据中的实体对象以及该实体对象的类型，即当实体类型相似度不小于预设的实体类型相似阈值时，则说明该目标分词隶属于该实体对象类型，并将该目标分词作为字词数据的实体对象。

服务器根据该实体对象对应的实体对象类型，从预设的实体对象类型与测试用例模板关联表中提取与该实体对象的类型对应的测试用例模板，将意图触发话术文本按照预设的模板填充规则填充至该测试用例模板中，生成测试用例。其中，预设的实体对象类型与测试用例模板关联表表征了实体对象类型与测试用例模板之间的对应关系，一个实体对象类型对应一个测试用例模板。

206，对测试用例进行分词处理，得到测试用例字符，根据测试用例字符进行意图识别，得到测试用例的第一意图；

207，基于预设的基础话术意图集，对测试用例进行相关性分析，并根据相关性分析的结果对测试用例进行意图识别，得到测试用例的第二意图；

208，将第一意图和第二意图进行比较，并根据比较的结果生成测试报告。

在本发明实施例中，步骤206-208与上述的意图话术测试方法的第一个实施例中的步骤103-105一致，在此不做赘述。

在本发明实施例中，通过对文本数据进行非文字字符过滤处理，得到纯文本语句，再利用预设分词库对纯文本语句进行分词处理，得到字词数据，实现对纯文本语句的分词处理。通过进行非文字字符过滤处理能够有效避免非文字字符对分词处理过程造成的干扰，进一步保证分词的准确性，提高后续采用分词得到的字词数据进行意图识别的准确性。

请参阅图3，本发明实施例中意图话术测试方法的第三个实施例包括：

301，接收意图话术测试请求；

302，对意图话术测试请求携带的意图触发话术文本进行解析处理，提取意图触发话术文本中的实体对象，并根据实体对象生成测试用例；

303，对测试用例进行分词处理，得到测试用例字符，根据测试用例字符进行意图识别，得到测试用例的第一意图；

304，获取预设的基础话术意图集；

305，将基础话术意图集中的基础话术和测试用例分别进行字符拆分处理，得到基础话术字符和测试用例字符；

服务器调取预设的基础话术意图集，该基础话术意图集包括至少一个基础话术和与该基础话术对应的基础意图。提取基础话术意图集中的基础话术，对基础话术和测试用例分别进行字符拆分处理，即将基础话术和测试用例中的各字符进行拆分，从而得到基础话术字符和测试用例字符，其中，基础话术字符和测试用例字符以数组形式展示。

306，识别基础话术字符的第一字符长度和测试用例字符的第二字符长度，并根据第一字符长度和第二字符长度计算基础话术字符和测试用例字符的字符相似度；

服务器识别基础话术字符的字符长度，即统计基础话术字符的字符个数，并根据字符个数计算该基础话术字符的字符长度，得到第一字符长度。相应地，识别测试用例字符的字符长度，得到第二字符长度。根据基础话术字符的第一字符长度和测试用例的第二字符长度计算基础话术字符和测试用例字符的字符相似度。即分别按照基础话术字符和测试用例字符中各字符的顺序，对基础话术字符中的每个字符，分别将各基础话术字符与测试用例字符中各字符进行对比并记录相同字符的个数。根据相同字符的个数与基础话术字符(A)的长度(n)之比得到测试用例字符(B)与基础话术字符(A)之间的相似度。例如，假设某一条基础话术为a，测试用例为b。按照字符对基础话术a进行拆分后得到的基础话术字符为A＝[A1，A2，……，An]，其中n为基础话术a包括的字符个数。按照字符对测试用例b进行拆分后得到的测试用例字符B＝[B1，B2，……，Bm]，其中m为测试用例b包括的字符个数。在进行话术拆分时，可忽略符号以及空格等。判断n和m是否一致，若n和m一致，则比较A和B中各字符对应是否一致，根据该比较的结果计算该字符相似度。

307，根据字符相似度确定测试用例的初步意图；

308，识别基础话术与测试用例的正反义关系，并根据正反义关系对初步意图进行调整，得到测试用例的第二意图；

当基础话术与测试用例的字符相似度不小于预设的字符相似阈值时，将基础话术对应的基础意图作为测试用例的初步意图。识别基础话术与测试用例中不相同的字符，并从不相同的字符中提取反义字符，即将基础话术字符与测试用例字符进行比对，查找出测试用例中与基础话术字符不相同的字符，并从不相同的字符中识别出反义字符。反义字符包括“不”、“否”、“非”等，统计反义字符的个数，根据反义字符的个数的奇偶性来确定基础话术与测试用例的正反义关系。若反义字符的个数为奇数，则测试用例对应的第二意图是初步意图的对立意图，即基础话术与测试用例呈反义关系；若反义字符的个数为偶数，则测试用例的第二意图就是初步意图，即基础话术与测试用例呈正义关系。服务器对与基础话术呈反义关系的测试用例的意图进行调整，即对初步意图进行调整，得到测试用例的第二意图；对于基础话术呈正义关系的测试用例的初步意图作为该测试用例的第二意图。

309，将第一意图和第二意图进行比较，并根据比较的结果生成测试报告。

服务器将第一意图与第二意图进行比较，并根据比较的结果生成测试报告。服务器调取测试报告插件allure根据第一意图和第二意图的比较结果定制生成测试报告。Allure插件能定制美观的测试报告，在测试函数前添加@allure标记，方便定义测试的特性、测试步骤等信息，丰富测试报告的内容。另外，服务器判断第一意图与第二意图是否一致，当第一意图与第二意图一致时，说明该自动化测试工具的测试效率和准确度高，当第一意图和第二意图不一致时，将该测试用例作为训练语料，对自动化测试工具进行参数调整，不断训练以提高自动化测试工具的测试准确度。

在本发明实施例中，步骤301-303与上述的意图话术测试方法的第一个实施例中的步骤101-103一致，在此不做赘述。

本发明实施例根据预先设置的基础话术及与其对应的基础意图，确定测试用例的第二意图，可以更好地基于测试用例来进行意图识别。通过将基础话术和测试用例按照字符拆分，并根据字符长度计算基础话术和测试用例的相似度，再根据基础话术与测试用例的正反义关系确定测试用例的第二意图，提高了基础话术和测试用例的匹配度，且可以节省人力和时间成本。

请参阅图4，本发明实施例中意图话术测试方法的第四个实施例包括：

401，接收意图话术测试请求；

402，对意图话术测试请求携带的意图触发话术文本进行解析处理，提取意图触发话术文本中的实体对象，并根据实体对象生成测试用例；

403，对测试用例进行分词处理，得到测试用例字符，根据测试用例字符进行意图识别，得到测试用例的第一意图；

404，基于预设的基础话术意图集，对测试用例进行相关性分析，并根据相关性分析的结果对测试用例进行意图识别，得到测试用例的第二意图；

405，将第一意图和第二意图进行比较，并根据比较的结果生成测试报告；

406，基于预设的数据格式转换规则，对测试报告进行分析，并将测试报告转换为可读性数据；

407，提取可读性数据中的公共函数，并对公共函数进行解析，得到解析数据；

408，将解析数据按照预设的数据通用格式转换成通用格式的数据；

409，对通用格式的数据进行消息封装，得到消息体。

服务器将测试报告按照预设的数据格式转换规则，转换为可读性数据。即按照服务器所规定的通信协议中的数据格式转换规则，将测试报告转换成ASCII值的数据，生成服务器可读的可读性数据。提取可读性数据中的公共函数，并对公共函数进行解析，得到解析数据。由于测试报告是以事件为基础进行记录的，在进行解析时，需要对各种事件的协议格式分别处理，对应成功能相对独立的模块。在测试报告解析这部分，分为通用功能模块和专用功能模块；通用功能模块主要是将一些公共函数组装到该模块中，最大限度达到复用的目的；专用功能模块是功能非常独立的模块部分，对应于高内聚、低耦合的设计思想。

在本实施例中，提取目标业务的通用格式，并根据该通用格式，将解析之后的解析数据进行格式转换，即将解析数据转换为通用格式的数据，其中，预设的格式转换规则为通用格式转换协议。另外，RocketMQ作为一款分布式的消息中间件，通过RocketMQ将得到的通用格式的数据进行消息封装，生成消息体，供以进行数据通信。

在本发明实施例中，步骤401-405与上述的意图话术测试方法的第一个实施例中的步骤101-105一致，在此不做赘述。

在本发明实施例中，通过对测试报告进行格式转换以及消息封装处理，生成消息体，后续服务器可根据该消息体进行数据通信，方便提取和查阅测试报告，以提高后续对测试报告进行分析的效率。

上面对本发明实施例中的意图话术测试方法进行了描述，下面对本发明实施例中的意图话术测试装置进行描述，请参照图5，本发明实施例中的意图话术测试装置的一个实施例包括：

接收模块501，用于接收意图话术测试请求，其中，所述意图话术测试请求携带有意图触发话术文本以及与所述意图触发话术文本对应的用户意图；

解析模块502，用于对所述意图触发话术文本进行解析处理，得到文本数据，提取所述文本数据中的实体对象，并根据所述实体对象生成测试用例；

第一识别模块503，用于对所述测试用例进行分词处理，得到测试用例字符，根据所述测试用例字符进行意图识别，得到所述测试用例的第一意图；

第二识别模块504，用于基于预设的基础话术意图集，对所述测试用例进行相关性分析，并根据相关性分析的结果对所述测试用例进行意图识别，得到所述测试用例的第二意图；

比较模块505，用于将所述第一意图和所述第二意图进行比较，并根据比较的结果生成测试报告。

在本发明实施例中，通过意图话术测试装置对意图触发话术文本进行解析并生成测试用例，并对测试用例进行分词处理识别测试用例的第一意图，根据基础话术意图集识别测试用例的第二意图，将第一意图和第二意图进行比较，生成测试报告。本发明实施例实现了意图话术测试的自动化，且提高了意图话术测试的效率和准确度。

请参阅图6，本发明实施例中的意图话术测试装置的另一个实施例包括：

接收模块501，用于接收意图话术测试请求，其中，所述意图话术测试请求携带有意图触发话术文本以及与所述意图触发话术文本对应的用户意图；

解析模块502，用于对所述意图触发话术文本进行解析处理，得到文本数据，提取所述文本数据中的实体对象，并根据所述实体对象生成测试用例；

第一识别模块503，用于对所述测试用例进行分词处理，得到测试用例字符，根据所述测试用例字符进行意图识别，得到所述测试用例的第一意图；

第二识别模块504，用于基于预设的基础话术意图集，对所述测试用例进行相关性分析，并根据相关性分析的结果对所述测试用例进行意图识别，得到所述测试用例的第二意图；

比较模块505，用于将所述第一意图和所述第二意图进行比较，并根据比较的结果生成测试报告。

其中，所述解析模块502包括：

解析单元5021，用于对所述意图触发话术文本按照预设的文本解析规则进行解析处理，得到文本数据；

过滤单元5022，用于对所述文本数据进行非文字字符过滤处理，得到纯文本语句；

分词单元5023，用于基于预设的分词词库，对纯文本语句进行分词处理，得到字词数据；

分析单元5024，用于对所述字词数据进行分析，确定所述字词数据中的实体对象，并根据所述实体对象对所述意图触发话术文本进行分析，得到测试用例。

其中，所述分析单元5024具体用于：

对所述字词数据进行分析，计算所述字词数据中各字词与预设的实体对象类型之间的实体类型相似度；

根据所述实体类型相似度确定所述字词数据的实体对象以及所述实体对象的类型；

从预设的实体对象类型与测试用例模板关联关系表中提取与所述实体对象的类型对应的测试用例模板；

将所述意图触发话术文本填充至所述测试用例模板中，生成测试用例。

其中，所述第二识别模块504包括：

获取单元5041，用于获取预设的基础话术意图集，其中，所述基础话术意图集包括基础话术以及与所述基础话术对应的基础意图；

拆分单元5042，用于将所述基础话术和所述测试用例分别进行字符拆分处理，得到基础话术字符和测试用例字符；

计算单元5043，用于识别所述基础话术字符的第一字符长度和所述测试用例字符的第二字符长度，并根据所述第一字符长度和所述第二字符长度计算所述基础话术字符和所述测试用例字符的字符相似度；

确定单元5044，用于根据所述字符相似度确定所述测试用例的初步意图；

调整单元5045，用于识别所述基础话术与所述测试用例的正反义关系，并根据所述正反义关系对所述初步意图进行调整，得到所述测试用例的第二意图。

其中，所述计算单元5043具体用于：

计算所述基础话术字符的字符长度，得到第一字符长度；计算所述测试用例字符的字符长度，得到第二字符长度；

判断所述第一字符长度与第二字符长度是否一致；

若所述第一字符长度与第二字符长度一致，则将所述基础话术字符与所述测试用例字符按照相应的字符长度进行字符比对，并计算所述基础话术字符和所述测试字符的字符相似度。

其中，所述调整单元5045具体用于：

识别所述基础话术字符与所述测试用例字符中不相同的字符，并从所述不相同的字符中提取反义字符；

统计所述反义字符的个数，并根据所述反义字符的个数的奇偶性确定所述基础话术与所述测试用例的正反义关系，其中，若所述反义字符的个数为奇数，则所述测试用例对应的意图与所述初步意图相反；

若所述反义字符的个数为偶数，则所述测试用例的意图与所述初步意图相同；

根据所述正反义关系对所述初步意图进行调整，得到所述测试用例的第二意图。

其中，所述意图话术测试装置还包括封装模块506，所述封装模块506具体用于：

基于预设的数据格式转换规则，对所述测试报告进行分析并将所述测试报告转换为可读性数据；

提取所述可读性数据中的公共函数，并对所述公共函数进行解析，得到解析数据；

将所述解析数据按照预设的数据通用格式转换成通用格式的数据；

对所述通用格式的数据进行消息封装，得到消息体。

在本发明实施例中，通过意图话术测试装置根据预先设置的基础话术及与其对应的基础意图，确定测试用例的第二意图，可以更好地基于测试用例来进行意图识别。通过将基础话术和测试用例按照字符拆分，并根据字符长度计算基础话术和测试用例的相似度，再根据基础话术与测试用例的正反义关系确定测试用例的第二意图，提高了基础话术和测试用例的匹配度，且可以节省人力和时间成本。

请参阅图7，下面从硬件处理的角度对本发明实施例中的意图话术测试设备的一个实施例进行详细描述。

图7是本发明实施例提供的一种意图话术测试设备的结构示意图，该意图话术测试设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对意图话术测试设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在意图话术测试设备700上执行存储介质730中的一系列指令操作。

意图话术测试设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和或或，一个或一个以上操作系统731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的意图话术测试设备结构并不构成对意图话术测试设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明所指服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述意图话术测试方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种意图话术测试方法，其特征在于，所述意图话术测试方法包括：

接收意图话术测试请求，其中，所述意图话术测试请求携带有意图触发话术文本以及与所述意图触发话术文本对应的用户意图；

对所述意图触发话术文本进行解析处理，得到文本数据，提取所述文本数据中的实体对象，并根据所述实体对象生成测试用例；

对所述测试用例进行分词处理，得到测试用例字符，根据所述测试用例字符进行意图识别，得到所述测试用例的第一意图；

基于预设的基础话术意图集，对所述测试用例进行相关性分析，并根据相关性分析的结果对所述测试用例进行意图识别，得到所述测试用例的第二意图；

将所述第一意图和所述第二意图进行比较，并根据比较的结果生成测试报告。

2.根据权利要求1所述的意图话术测试方法，其特征在于，所述对所述意图触发话术文本进行解析处理，得到文本数据，提取所述文本数据中的实体对象，并根据所述实体对象生成测试用例包括：

对所述意图触发话术文本按照预设的文本解析规则进行解析处理，得到文本数据；

对所述文本数据进行非文字字符过滤处理，得到纯文本语句；

基于预设的分词词库，对纯文本语句进行分词处理，得到字词数据；

对所述字词数据进行分析，确定所述字词数据中的实体对象，并根据所述实体对象对所述意图触发话术文本进行分析，得到测试用例。

3.根据权利要求2所述的意图话术测试方法，其特征在于，所述对所述字词数据进行分析，确定所述字词数据中的实体对象，并根据所述实体对象对所述意图触发话术文本进行分析，得到测试用例包括：

对所述字词数据进行分析，计算所述字词数据中各字词与预设的实体对象类型之间的实体类型相似度；

根据所述实体类型相似度确定所述字词数据的实体对象以及所述实体对象的类型；

从预设的实体对象类型与测试用例模板关联关系表中提取与所述实体对象的类型对应的测试用例模板；

将所述意图触发话术文本填充至所述测试用例模板中，生成测试用例。

4.根据权利要求1-3中任一项所述的意图话术测试方法，其特征在于，所述基于预设的基础话术意图集，对所述测试用例进行相关性分析，并根据相关性分析的结果对所述测试用例进行意图识别，得到所述测试用例的第二意图包括：

获取预设的基础话术意图集，其中，所述基础话术意图集包括基础话术以及与所述基础话术对应的基础意图；

将所述基础话术和所述测试用例分别进行字符拆分处理，得到基础话术字符和测试用例字符；

识别所述基础话术字符的第一字符长度和所述测试用例字符的第二字符长度，并根据所述第一字符长度和所述第二字符长度计算所述基础话术字符和所述测试用例字符的字符相似度；

根据所述字符相似度确定所述测试用例的初步意图；

识别所述基础话术与所述测试用例的正反义关系，并根据所述正反义关系对所述初步意图进行调整，得到所述测试用例的第二意图。

5.根据权利要求4所述的意图话术测试方法，其特征在于，所述识别所述基础话术字符的第一字符长度和所述测试用例字符的第二字符长度，并根据所述第一字符长度和所述第二字符长度计算所述基础话术字符和所述测试用例字符的字符相似度包括：

计算所述基础话术字符的字符长度，得到第一字符长度；

计算所述测试用例字符的字符长度，得到第二字符长度；

判断所述第一字符长度与第二字符长度是否一致；

若是，则将所述基础话术字符与所述测试用例字符按照相应的字符长度进行字符比对，并计算所述基础话术字符和所述测试字符的字符相似度。

6.根据权利要求5所述的意图话术测试方法，其特征在于，所述识别所述基础话术与所述测试用例的正反义关系，并根据所述正反义关系对所述初步意图进行调整，得到所述测试用例的第二意图包括：

识别所述基础话术字符与所述测试用例字符中不相同的字符，并从所述不相同的字符中提取反义字符；

统计所述反义字符的个数，并根据所述反义字符的个数的奇偶性确定所述基础话术与所述测试用例的正反义关系，其中，若所述反义字符的个数为奇数，则所述测试用例对应的意图与所述初步意图相反；若所述反义字符的个数为偶数，则所述测试用例的意图与所述初步意图相同；

根据所述正反义关系对所述初步意图进行调整，得到所述测试用例的第二意图。

7.根据权利要求6所述的意图话术测试方法，其特征在于，在所述将所述第一意图和所述第二意图进行比较，并根据比较的结果生成测试报告之后，还包括：

基于预设的数据格式转换规则，对所述测试报告进行分析并将所述测试报告转换为可读性数据；

提取所述可读性数据中的公共函数，并对所述公共函数进行解析，得到解析数据；

将所述解析数据按照预设的数据通用格式转换成通用格式的数据；

对所述通用格式的数据进行消息封装，得到消息体。

8.一种意图话术测试装置，其特征在于，所述意图话术测试装置包括：

接收模块，用于接收意图话术测试请求，其中，所述意图话术测试请求携带有意图触发话术文本以及与所述意图触发话术文本对应的用户意图；

解析模块，用于对所述意图触发话术文本进行解析处理，得到文本数据，提取所述文本数据中的实体对象，并根据所述实体对象生成测试用例；

第一识别模块，用于对所述测试用例进行分词处理，得到测试用例字符，根据所述测试用例字符进行意图识别，得到所述测试用例的第一意图；

第二识别模块基于预设的基础话术意图集，对所述测试用例进行相关性分析，并根据相关性分析的结果对所述测试用例进行意图识别，得到所述测试用例的第二意图；

比较模块，用于将所述第一意图和所述第二意图进行比较，并根据比较的结果生成测试报告。

9.一种意图话术测试设备，其特征在于，所述意图话术测试设备包括：

存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述意图话术测试设备执行如权利要求1-7中任一项所述的意图话术测试方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的意图话术测试方法的步骤。

Images