CN113778893B - 对话机器人测试用例生成方法、装置、设备及存储介质 - Google Patents

对话机器人测试用例生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113778893B
CN113778893B CN202111095881.6A CN202111095881A CN113778893B CN 113778893 B CN113778893 B CN 113778893B CN 202111095881 A CN202111095881 A CN 202111095881A CN 113778893 B CN113778893 B CN 113778893B
Authority
CN
China
Prior art keywords
node
graph
content
vertex
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111095881.6A
Other languages
English (en)
Other versions
CN113778893A (zh
Inventor
肖雨晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202111095881.6A priority Critical patent/CN113778893B/zh
Publication of CN113778893A publication Critical patent/CN113778893A/zh
Application granted granted Critical
Publication of CN113778893B publication Critical patent/CN113778893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及人工智能领域,公开了一种对话机器人测试用例生成方法、装置、设备及存储介质。通过基于产品需求流程图转化为结构化数据,具体是以YML文件的形式,主要是利用该YML文件容易被程序识别和解析的特点,然后解析YML文件得到有向带权图,基于有向带权图利用图遍历算法,将其转化为路径测试实例,从而生成可以覆盖所有需求的测试用例,这样的方法不仅提高测试用例的构建速度,还实现了多任务同时实现,减少了人工构建的资源消耗,同时自动构建多任务同时执行的测试用例,大大提高测试效率,同时也缩短了测试时的回归分析周期,提升了用户对对话机器人的使用体验。

Description

对话机器人测试用例生成方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域,尤其涉及一种对话机器人测试用例生成方法、装置、设备及存储介质。
背景技术
随着人工智能的发展,尤其是对话机器人,目前对话机器人已被应用于各个领域,用于代替客服进行用户引导,对话式机器人是一个用来模拟人类对话或聊天的程序,其中任务型机器人通过与用户对话,引导用户一步步完成指定任务。
但是,要实现对话机器人模拟人类对话,这需要进行大量的训练,尤其是多轮任务型的训练,对此传统的测试方案通常是按照需求流程图,手工执行每一条分支,或者用每个节点的用户输入数据调用机器人接口来逐一覆盖所有分支,确保机器人回复符合预期,节点跳转逻辑符合预期。但是,在实际的业务流程中,通常每个节点的用户输入有多种情况,对于节点数较多,且分支数较多的场景,不同的用户输入排列组合成的子场景可能有成百上千种,手工构造测试用例不仅效率低下,而且很难做到所有场景分支全覆盖,回归测试周期长。
发明内容
本申请的主要目的在于解决现有的测试用例生成效率慢且场景少,从而导致测试回归周期长的技术问题。
本发明第一方面提供了一种对话机器人测试用例生成方法,所述对话机器人测试用例生成方法包括:获取训练对话机器人的需求流程图,其中所述需求流程图为基于所述对话机器人的测试需求构建的多轮对话训练的训练流程图;提取所述需求流程图中的训练内容以及各所述训练内容之间的逻辑关系,并基于所述训练内容和所述逻辑关系将所述需求流程图转换为结构化数据;解析所述结构化数据,并将解析后的结构化数据转换为有向带权图;利用图遍历算法遍历所述有向带权图中的各路径和路径上的节点,生成测试用例。
可选的,在本发明第一方面的第一种实现方式中,所述提取所述需求流程图中的训练内容以及各所述训练内容之间的逻辑关系,并基于所述训练内容和所述逻辑关系将所述需求流程图转换为结构化数据包括:利用边缘识别算法提取所述需求流程图中的图形组件,以及所述图形组件的连接边;将所述图形组件与预设的内容图形组件进行匹配,基于匹配的结果筛选出所述需求流程图中记载训练内容的节点图形,并调用文字识别工具提取所述节点图形中的文字,得到训练内容,其中,所述训练内容包括用户问题和对应的答案;基于所述用户问题和所述答案定义节点字段,并将所述用户问题和所述答案添加到所述节点字段中,得到完整节点;基于所述连接边对各所述完整节点进行关联排序,形成问题跳转序列;基于所述问题跳转序列进行结构化转换,得到数据序列化格式的YML文件。
可选的,在本发明第一方面的第二种实现方式中,所述解析所述结构化数据,并利用邻接表结构将解析后的结构化数据转换为有向带权图包括:解析所述YML文件中的所有节点字段、各节点字段跳转关系和各节点字段跳转至下一节点字段的权重值;根据所述节点字段和所述下一跳转节点字段创建流程节点,基于所述流程节点构建有向带权图框架;提取各节点字段下的内容,并将所述内容填充至所述有向带权图框架中的流程节点中,以及根据各节点跳转关系添加流程节点之间的边的方向和权重值,得到有向带权图。
可选的,在本发明第一方面的第三种实现方式中,所述将所述内容填充至所述有向带权图框架中的流程节点中,以及根据各节点跳转关系添加流程节点之间的边的方向和权重值,得到有向带权图包括:将各所述节点字段、所述跳转关系和所述节点字段对应的内容构建映射关系字典,其中,所述映射关系字包括节点字段-内容字典、节点字段-跳转关系字典和内容字典-跳转关系字典;根据所述节点字段-内容字典配置所述流程节点的参数,利用所述内容字典-跳转关系字典创建所述流程节点之间的方向边和权重值,得到有向带权图。
可选的,在本发明第一方面的第四种实现方式中,在所述将各所述节点字段、所述跳转关系和所述节点字段对应的内容构建映射关系字典之后,还包括:获取用于配置所述有向带权图的邻接表结构,并提取所述邻接表结构中定义的图Graph类和顶点Vertex类;按照所述图Graph类和所述顶点Vertex类将所述映射关系字典转换为图结构;所述根据所述节点字段-内容字典配置所述流程节点的参数,利用所述内容字典-跳转关系字典创建所述流程节点之间的方向边和权重值,得到有向带权图包括:基于所述图结构,调整所述有向带权图框架中各所述流程节点的参数以及所述流程节点之间的边的方向和权重值,得到有向带权图。
可选的,在本发明第一方面的第五种实现方式中,所述按照所述图Graph类和所述顶点Vertex类将所述映射关系字典转换为图结构包括:基于所述节点字段-内容字典字典创建对应的顶点Vertex类实例和图Graph类实例;基于所述节点字段-跳转关系字典和内容字典-跳转关系字典对所述顶点类实例中顶点添加方向边,并将所述方向边配置所述顶点Vertex类实例和所述图Graph类实例之间的连接关系,得到图结构。
可选的,在本发明第一方面的第六种实现方式中,所述利用图遍历算法遍历所述有向带权图中的各路径和路径上的节点,生成测试用例包括:利用图遍历算法访问所述有向带权图中的起始顶点;以所述起始顶点为基点,随机选择一个方向搜索所述起始顶点的第一邻接顶点;若搜索所述第一邻接顶点存在,则以所述第一邻接顶点更新所述基点,继续搜索所述第一邻接顶点的第二邻接顶点;若搜索所述第一邻接顶点不存在,则重新确定搜索方向搜索所述起始顶点的邻接顶点或者重新选择起始顶点继续搜索;直到所有顶点搜索完成后,基于所述起始顶点、第一邻接顶点和第二邻接顶点,以及搜索方向,生成测试用例。
本发明第二方面提供了一种对话机器人测试用例生成装置,所述对话机器人测试用例生成装置包括:获取模块,用于获取训练对话机器人的需求流程图,其中所述需求流程图为基于所述对话机器人的测试需求构建的多轮对话训练的训练流程图;转换模块,用于提取所述需求流程图中的训练内容以及各所述训练内容之间的逻辑关系,并基于所述训练内容和所述逻辑关系将所述需求流程图转换为结构化数据;解析模块,用于解析所述结构化数据,并将解析后的结构化数据转换为有向带权图;用例生成模块,用于利用图遍历算法遍历所述有向带权图中的各路径和路径上的节点,生成测试用例。
可选的,在本发明第二方面的第一种实现方式中,所述转转换模块包括:提取单元,用于利用边缘识别算法提取所述需求流程图中的图形组件,以及所述图形组件的连接边;匹配单元,用于将所述图形组件与预设的内容图形组件进行匹配,基于匹配的结果筛选出所述需求流程图中记载训练内容的节点图形,并调用文字识别工具提取所述节点图形中的文字,得到训练内容,其中,所述训练内容包括用户问题和对应的答案;组合单元,用于基于所述用户问题和所述答案定义节点字段,并将所述用户问题和所述答案添加到所述节点字段中,得到完整节点;排序单元,用于基于所述连接边对各所述完整节点进行关联排序,形成问题跳转序列;转换单元,用于基于所述问题跳转序列进行结构化转换,得到数据序列化格式的YML文件。
可选的,在本发明第二方面的第二种实现方式中,所述解析模块包括:解析单元,用于解析所述YML文件中的所有节点字段、各节点字段跳转关系和各节点字段跳转至下一节点字段的权重值;构建单元,用于根据所述节点字段和所述下一跳转节点字段创建流程节点,基于所述流程节点构建有向带权图框架;填充单元,用于提取各节点字段下的内容,并将所述内容填充至所述有向带权图框架中的流程节点中,以及根据各节点跳转关系添加流程节点之间的边的方向和权重值,得到有向带权图。
可选的,在本发明第二方面的第三种实现方式中,所述填充单元具体用于:将各所述节点字段、所述跳转关系和所述节点字段对应的内容构建映射关系字典,其中,所述映射关系字包括节点字段-内容字典、节点字段-跳转关系字典和内容字典-跳转关系字典;根据所述节点字段-内容字典配置所述流程节点的参数,利用所述内容字典-跳转关系字典创建所述流程节点之间的方向边和权重值,得到有向带权图。
可选的,在本发明第二方面的第四种实现方式中,所述对话机器人测试用例生成装置还包括:配置模块,用于获取用于配置所述有向带权图的邻接表结构,并提取所述邻接表结构中定义的图Graph类和顶点Vertex类;按照所述图Graph类和所述顶点Vertex类将所述映射关系字典转换为图结构;所述填充单元,用于基于所述图结构,调整所述有向带权图框架中各所述流程节点的参数以及所述流程节点之间的边的方向和权重值,得到有向带权图。
可选的,在本发明第二方面的第五种实现方式中,所述配置模块具体用于:基于所述节点字段-内容字典字典创建对应的顶点Vertex类实例和图Graph类实例;基于所述节点字段-跳转关系字典和内容字典-跳转关系字典对所述顶点类实例中顶点添加方向边,并将所述方向边配置所述顶点Vertex类实例和所述图Graph类实例之间的连接关系,得到图结构。
可选的,在本发明第二方面的第六种实现方式中,所述用例生成模块包括:遍历单元,用于利用图遍历算法访问所述有向带权图中的起始顶点;选择单元,用于以所述起始顶点为基点,随机选择一个方向搜索所述起始顶点的第一邻接顶点;搜索单元,用于在搜索所述第一邻接顶点存在时,以所述第一邻接顶点更新所述基点,继续搜索所述第一邻接顶点的第二邻接顶点;以及在搜索所述第一邻接顶点不存在时,重新确定搜索方向搜索所述起始顶点的邻接顶点或者重新选择起始顶点继续搜索;用例生成单元,用于直到所有顶点搜索完成后,基于所述起始顶点、第一邻接顶点和第二邻接顶点,以及搜索方向,生成测试用例。
本发明第三方面提供了一种电子设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述电子设备执行上述的对话机器人测试用例生成方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的对话机器人测试用例生成方法。
本发明的技术方案中,通过将需求流程图转换为结构化数据后,构建有向带权图来实现测试用例的转换,这样的方式利用了图遍历算法对有向带权图中的路径进行遍历,以转换成测试用例,其不仅可以提高测试用例的生成效率,还可以实现场景分支全覆盖,从而减少了人工构建的资源消耗,缩短了测试时的回归分析周期。
附图说明
图1为本发明实施例中对话机器人测试用例生成方法的第一个实施例示意图;
图2为本发明实施例中对话机器人测试用例生成方法的第二个实施例示意图;
图3为本发明实施例中对话机器人测试用例生成方法的第三个实施例示意图;
图4为本发明实施例提供的有向带权图的一种示意图;
图5为本发明实施例提供的图结构的一种示意图;
图6为本发明实施例中对话机器人测试用例生成装置的一个实施例示意图;
图7为本发明实施例中对话机器人测试用例生成装置的另一个实施例示意图;
图8为本发明实施例中电子设备的一个实施例示意图。
具体实施方式
解决现有的测试用例生成效率慢且场景少,从而导致测试回归周期长的技术问题。对此本申请提出了一种基于图遍历算法自动生成任务型机器人测试用例的方法,通过基于产品需求流程图转化为结构化数据,具体是以YML文件的形式,主要是利用该YML文件容易被程序识别和解析的特点,然后解析YML文件得到有向带权图,基于有向带权图利用图遍历算法,将其转化为路径测试实例,从而生成可以覆盖所有需求的测试用例,这样的方法不仅提高测试用例的构建速度,还实现了多任务同时实现,减少了人工构建的资源消耗,同时自动构建多任务同时执行的测试用例,大大提高测试效率,同时也缩短了测试时的回归分析周期,提升了用户对对话机器人的使用体验。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中对话机器人测试用例生成方法的第一个实施例,该方法的实现步骤如下:
101、获取训练对话机器人的需求流程图;
该步骤中,该需求流程图中包括至少两轮对话任务且每轮对话任务不相同的需求,即是基于所述对话机器人的测试需求构建的多轮对话训练的训练流程图。
本实施例中,该需求流程图具体可以通过以下方式来得到:
通过收集用户对该对话机器人使用的反馈建议和/或对话机器人的使用场景;
基于反馈建议和/或使用场景,利用语义分析出其中的功能需求或者功能缺陷;
利用功能执行逻辑对功能需求或者功能缺陷进行逻辑推理,并基于推理得到的逻辑关系对功能需求或者功能缺陷进行执行逻辑调整,得到功能序列;
将所述功能序列构建出需求流程图。
在实际应用中,若是功能缺陷时,则以所述功能缺陷的功能为需求,即是需要对相应的功能进行优化,基于功能确定测试的需求,根据包含所有功能的功能序列,确定对应的测试需求序列,基于测试需求序列构建需求流程图。
在本实施例中,该需求流程图中包含测试数据和测试功能的类型,基于测试功能的类型确定对应的测试数据,然后将测试数据按照逻辑关系构建出测试数据的执行流程图,将该执行流程图作为需求流程图。
在本实施例中,若在测试的过程中,检测到有新的需求生成时,则按照上述的方式首先确定需求对应的新功能,分析该新功能与测试中的功能的关联性,从而确定该新功能的插入位置,然后基于新功能构建对应的测试数据,然后将测试数据按照插入位置,添加到需求流程图中。
102、提取需求流程图中的训练内容以及各训练内容之间的逻辑关系,并基于训练内容和逻辑关系将需求流程图转换为结构化数据;
在实际应用中,对于多轮任务型需求以流程图形式提供,首先将流程图转化为结构化数据,考虑到yml文件使用空格的缩进来控制层级关系,相比于json,xml等格式更简洁,可读性好,而且扩展性更强,根据流程图自定义字段描述所有节点用户问题,机器人答案,下一个跳转的问题列表。
该步骤中,该结构化数据为YML文件,在对所述需求流程图进行解析时,具体可以是:
利用边缘识别算法提取所述需求流程图中的图形组件,以及所述图形组件的连接边;
本实施例中,该边缘识别算法在提取图形组件时,首先将需求流程图转换为数字矩阵,具体的计算出所述需求流程图的像素和分辨率,基于像素和分辨率对需求流程图进行切割成多个图像块,每个图像块占据一个像素;然后识别每个图像块中是否存在图像,若存在图像,则识别该图像块是否为线条,若是线条,则将该图像块至为1,直到遍历所有图像块完成后,生成0和1的数字矩阵;然后提取数字矩阵中由元素1形成的封闭区域以及非封闭的连续元素,将该封闭区域的边缘描绘出图形组件,以及对非封闭的连续元素进行描边,构建出连接边。
将所述图形组件与预设的内容图形组件进行匹配,基于匹配的结果筛选出所述需求流程图中记载训练内容的节点图形,并调用文字识别工具提取所述节点图形中的文字,得到训练内容,其中,所述训练内容包括用户问题和对应的答案;
在实际应用中,需求流程图中的图形组件的类型是预先设置好的,比如表示用户问题的图形组件为棱形,答案为矩形,通过将提取到的图形组件进行类型的识别,而类型的识别可以直接通过匹配的方式来实现,也可以通过计算图形组件中边与边之间的夹角来确定,若存在两个大于90度或者两个小于90度的夹角,则认为是棱形,反之则是矩形。
基于识别或者计算的结果筛选出代表用户问题的图形组件和代表答案的图形组件,也即是通过识别图形组件的类型来进行对需求流程图中的节点图形进行分类,在分类完成后,针对每个类别中的节点图形进行内容提取,具体为根据识别出的图形组件的轮廓提取需求流程图中图像,利用OCR识别技术提取图像中的文字内容,得到训练内容。
基于所述用户问题和所述答案定义节点字段,并将所述用户问题和所述答案添加到所述节点字段中,得到完整节点;
本实施例中,由于YML文件属于代码文件,根据需求流程图中的内容自定义代码文件中的字段信息,将对应的内容添加到字段信息中,生成完整的YML文件,从而实现对需求流程图的结构化数据转换。
在实际应用中,该训练内容主要是包括用户问题和用户问题对应的回答答案,基于这两个训练内容定义两个字段分别是节点字段和节点跳转关系字段,而节点字段包括用户问题字段和答案字段,在定义完成后,基于定义的字段构建YML文件的空模板,最后将对应的训练内容以及训练内容之间的跳转关系补充空模板,从而得到完整节点。
基于所述连接边对各所述完整节点进行关联排序,形成问题跳转序列;
基于所述问题跳转序列进行结构化转换,得到数据序列化格式的YML文件。
本实施例中,基于连接边确定各节点之间的跳转关系,然后将存在跳转关系的节点信息添加到对应的节点跳转关系字段中,基于该添加内容后的节点跳转关系字段对各完整节点进行排序以及排序后关联起来,将所有关联后得完整节点组成一个问题跳转序列,即是消息队列,最后基于消息队列进行结构化转换,即是将各完整节点进行代码化处理,得到YML文件。
103、解析结构化数据,并将解析后的结构化数据转换为有向带权图;
该步骤中,基于YML文件进行节点的解析,具体的以节点字段对应的代码名称查询YML文件,例如Yml文件中的3个关键字段为nodeId,question,intentConf,其中nodeId为节点Id,question为机器人回答,intentConf为用户问列表,在解析出这三个字段后,将三个字段两两组合形成三个字典信息,以存储三个字段之间的关联关系,基于三个字典信息构建有向带权图。
104、利用图遍历算法遍历有向带权图中的各路径和路径上的节点,生成测试用例。
本实施例中,利用图遍历算法对有向带权图中的每个路径转换为实例,然后将所有路径的实例进行合并,得到测试用例,具体的,这里的测试用例可以理解为是包括两部分内容,一部分是测试逻辑框架,一部分是测试内容,首先采用图遍历算法将有向带权图中的内容和逻辑进行分离提取,其中逻辑则是基于YML文件中的代码顺序进行提取组合得到,即是提取YML文件中的nodeId,question,intentConf三个字段,按顺序进行识别,形成逻辑,而内容的提取,则是在提取了逻辑之后,根据逻辑逐一提取得到。
在实际应用中,在提取到逻辑后,将提取到的内容与逻辑中的节点建立映射关系,在后续执行测试用例时,主要是执行逻辑部分,然后在执行该逻辑中对应的节点后,基于节点中的映射关系调度对应的内容,基于内容对对话机器人进行话术的训练,从而实现对话机器人的对话测试。
综上,通过将需求流程图转换为结构化数据后,构建有向带权图来实现测试用例的转换,这样的方式利用了图遍历算法对有向带权图中的路径进行遍历,以转换成测试用例,其不仅可以提高测试用例的生成效率,还可以实现场景分支全覆盖,从而减少了人工构建的资源消耗,缩短了测试时的回归分析周期。
请参阅图2,本发明实施例中对话机器人测试用例生成方法的第二个实施例包括:
201、获取训练对话机器人的需求流程图;
202、提取需求流程图中的训练内容以及各训练内容之间的逻辑关系,并基于训练内容和逻辑关系将需求流程图转换为结构化数据;
203、解析YML文件中的所有节点字段、各节点字段跳转关系和各节点字段跳转至下一节点字段的权重值;
在实际应用中,例如:根据某需求流程图生成的yml文件部分内容如下:
在解析YML文件时,主要是解析文件中的nodeId,question,intentConf三个字段,其中nodeId字段会存在多个下级字段,为了区分下级字段的路径方向,则需要对跳转的路径进行区分标识,而该标识具体是通过权重值的方式来标识,而权重值的确定具体是通过解析每个nodeId字段后的intentConf字段来计算确定。
在实际应用中,在解析出nodeId字段后,还包括识别nodeId字段是否为叶子节点,若不是叶子节点,在不需要执行权重值的确定,若是叶子节点,则计算该叶子节点对应的用户问题相对于上一节点对应的用户问题的优先级别,若优先级别相比于上一节点中的其他叶子节点对应的用户问题的级别高,则其权重值设定为大值,从而确定各叶子节点相对于上一节点的连接边。
204、根据节点字段和所述下一跳转节点字段创建流程节点,基于流程节点构建有向带权图框架;
该步骤中,这里创建的流程节点包括节点和与下一节点或者上一节点的连接边,将创建好的流程节点进行串联,得到有向带权图框架。
205、提取各节点字段下的内容,并将内容填充至有向带权图框架中的流程节点中,以及根据各节点跳转关系添加流程节点之间的边的方向和权重值,得到有向带权图;
该步骤中,具体是通过构建映射关系词典来实现有向带权图的构建,其实现步骤如下:
将各所述节点字段、所述跳转关系和所述节点字段对应的内容构建映射关系字典,其中,所述映射关系字包括节点字段-内容字典、节点字段-跳转关系字典和内容字典-跳转关系字典;
根据所述节点字段-内容字典配置所述流程节点的参数,利用所述内容字典-跳转关系字典创建所述流程节点之间的方向边和权重值,得到有向带权图。
在实际应用中,假设需求流程图中存在7个节点时,其构建的有向带权图若是图4所示时,其中主要内容包括7个节点V0-V6,节点之间用边相连,每条边有方向和权重值。
在解析YML文件时,具体是解析Yml文件中的3个关键字段为nodeId,question,intentConf,其中nodeId为节点Id,question为机器人回答,intentConf为用户问列表,用字典存储这些字段信息,分别是{nodeId:question},{nodeId:intentConf},{question,intentConf},这3个字典描述了节点id、用户问题、机器人回答、下一个跳转的用户问题之间的关联关系。基于{nodeId:question},{nodeId:intentConf},{question,intentConf}三个组合构建出图中的有向带权图。
206、利用图遍历算法遍历有向带权图中的各路径和路径上的节点,生成测试用例。
进一步的,为了更加准确地构建有向带权图,在构建映射关系字典之后,还包括构建图类和顶点类结构的存储表,具体的:
获取用于配置所述有向带权图的邻接表结构,并提取所述邻接表结构中定义的图Graph类和顶点Vertex类;
按照所述图Graph类和所述顶点Vertex类将所述映射关系字典转换为图结构;
该步骤中,具体实现为:基于所述节点字段-内容字典字典创建对应的顶点Vertex类实例和图Graph类实例;
基于所述节点字段-跳转关系字典和内容字典-跳转关系字典对所述顶点类实例中顶点添加方向边,并将所述方向边配置所述顶点Vertex类实例和所述图Graph类实例之间的连接关系,得到图结构。
所述根据所述节点字段-内容字典配置所述流程节点的参数,利用所述内容字典-跳转关系字典创建所述流程节点之间的方向边和权重值,得到有向带权图包括:基于所述图结构,调整所述有向带权图框架中各所述流程节点的参数以及所述流程节点之间的边的方向和权重值,得到有向带权图。
在实际应用中,图Graph类和顶点Vertex类直接使用python库graphs模块实现,利用这2个类建立图结构,如图5所示。图中包括7个节点,具体步骤如下:
1、创建V0~V6共7个顶点类实例;
2、添加各个顶点相连的边;
以上顶点V是机器人回答,对应yml文件中quesiton字段,边是用户问,对应yml文件中intentConf列表的intent字段。
值得注意的是,在遍历yml文件数据时,如果下一个节点id为空,说明当前顶点连接的是叶子节点,如果yml数据中存在同一顶点通过不同的边连接到同一叶子节点,则在构建图时需要用不同的值标记同一叶子节点,否则2个顶点间后面的边会将前面的边覆盖,所以,充分分析yml文件数据的特殊性对构建正确的图结构至关重要,针对该问题,本方案的处理办法如下:
leaf32_{i}表示节点id为scene1_32的叶子节点,通过节点id可以找到该叶子节点对应的机器人回答话术;unify_{i}表示机器人统一回复话术。每次访问到一个新的顶点,i自增1。
示例代码如下:
通过对上述提供的方案的实施例,实现了利用程序自动生成测试用例数据,解决手工构造测试数据费时费力且容易遗漏测试点的问题,以及能确保自动生成的用例能覆盖多轮任务型对话的所有分支。
请参阅图3,本发明实施例中对话机器人测试用例生成方法的第三个实施例包括:
301、获取训练对话机器人的需求流程图;
302、提取需求流程图中的训练内容以及各训练内容之间的逻辑关系,并基于训练内容和逻辑关系将需求流程图转换为结构化数据;
303、解析结构化数据,并将解析后的结构化数据转换为有向带权图;
304、利用图遍历算法访问所述有向带权图中的起始顶点;
305、以起始顶点为基点,随机选择一个方向搜索起始顶点的第一邻接顶点;
306、若搜索第一邻接顶点存在,则以第一邻接顶点更新所述基点,继续搜索第一邻接顶点的第二邻接顶点;
307、若搜第一邻接顶点不存在,则重新确定搜索方向搜索起始顶点的邻接顶点或者重新选择起始顶点继续搜索;
308、直到所有顶点搜索完成后,基于起始顶点、第一邻接顶点和第二邻接顶点,以及搜索方向,生成测试用例。
在本实施例中,以图4中V0→1→V1→4→V4为例,该V0→1→V1→4→V4为一条完整路径,因此采用深度优先遍历方式,实现步骤如下:
1)访问根顶点V;
2)查找根顶点V的第一个邻接顶点Vi;
3)判断顶点Vi存在,则继续执行,否则回溯到V,然后查找V的另外一个邻接顶点;
4)继续查找顶点Vi的下一个邻接顶点Vii,转到步骤(3),直到根顶点V的所有邻接点被回溯完毕为止;
在实际应用中,常规的DFS遍历方法采用顶点染色方式标记已被访问过的顶点,确保所有顶点都被遍历到,值得注意的是,如果构建的图存在多条不同的边连到同一个叶子节点,为保证每一条边都被遍历到,同一个顶点可能会被遍历多次,就不能使用顶点染色,否则生成的测试用例不完整。
在本实施例中,在生成测试用例后,还包括将其转换为满足对话机器人调用协议的用例数据,具体是:
对于测试用例其实际上是包括逻辑图和内容映射关系表,而上图中的有向带权图中的叶子节点用字符串表示,在测试用户中其替换为具体的机器人回答话术,然后,将测试用例字符串转化为机器人回答和用户回答的列表,方便后续利用接口自动化测试框架直接读取测试用例进行测试。其具体转换实现步骤如下:
1)解析上述生成的测试用例.txt文件,读所有数据到字符串,并根据“→”拆分成列表listA,并定义一个新的列表listB,
2)遍历listA元素,如果包含字符串‘leaf32’,则将对应元素替换为‘leaf32_reply’的值,以此类推,包含’leaf17’或‘unify’等类似,记录当前元素的索引i,将listA的前i个元素追加的listB,并删除listA的前i个元素,将i清零
3)重复(2)直到listA为空列表
4)最终的listB中的每个列表元素为一条测试用例数据
最终经过上述步骤后,生成的每一条测试用例都是一个用户问-机器人回答的问答对列表,方便后续设计接口自动化测试框架,自动读取列表中的用户问构造测试请求,读取机器人回答与接口响应进行断言。
通过对上述提供的方案的实施例,实现了利用程序自动生成测试用例数据,解决手工构造测试数据费时费力且容易遗漏测试点的问题,以及能确保自动生成的用例能覆盖多轮任务型对话的所有分支。
进一步的,采用了YML文件转换,将需求流程图转化为结构化的yml文件,方便程序解析,同时利用构建图结构来存储yml文件数据以及引入图深度优先遍历算法,通过遍历图来进行节点路径覆盖,每一条路径就是一条测试用例,进一步保证了图的路径全覆盖,不仅节省了手工构造测试用例的时间。
上面对本发明实施例中的对话机器人测试用例生成方法进行了描述,下面对本发明实施例中的对话机器人测试用例生成装置进行描述,请参照图6,本发明实施例中的对话机器人测试用例生成装置的一个实施例包括:
获取模块601,用于获取训练对话机器人的需求流程图,其中所述需求流程图为基于所述对话机器人的测试需求构建的多轮对话训练的训练流程图;
转换模块602,用于提取所述需求流程图中的训练内容以及各所述训练内容之间的逻辑关系,并基于所述训练内容和所述逻辑关系将所述需求流程图转换为结构化数据;
解析模块603,用于解析所述结构化数据,并将解析后的结构化数据转换为有向带权图;
用例生成模块604,用于利用图遍历算法遍历所述有向带权图中的各路径和路径上的节点,生成测试用例。
通过对上述方法的实施,基于产品需求流程图转化为结构化数据,具体是以YML文件的形式,主要是利用该YML文件容易被程序识别和解析的特点,然后解析YML文件得到有向带权图,基于有向带权图利用图遍历算法,将其转化为路径测试实例,从而生成可以覆盖所有需求的测试用例,解决手工构造测试数据费时费力且容易遗漏测试点的问题,以及能确保自动生成的用例能覆盖多轮任务型对话的所有分支。
请参阅图7,本发明实施例中的对话机器人测试用例生成装置的另一个实施例包括:
获取模块601,用于获取训练对话机器人的需求流程图,其中所述需求流程图为基于所述对话机器人的测试需求构建的多轮对话训练的训练流程图;
转换模块602,用于提取所述需求流程图中的训练内容以及各所述训练内容之间的逻辑关系,并基于所述训练内容和所述逻辑关系将所述需求流程图转换为结构化数据;
解析模块603,用于解析所述结构化数据,并将解析后的结构化数据转换为有向带权图;
用例生成模块604,用于利用图遍历算法遍历所述有向带权图中的各路径和路径上的节点,生成测试用例。
其中,所述转转换模块602包括:
提取单元6021,用于利用边缘识别算法提取所述需求流程图中的图形组件,以及所述图形组件的连接边;
匹配单元6022,用于将所述图形组件与预设的内容图形组件进行匹配,基于匹配的结果筛选出所述需求流程图中记载训练内容的节点图形,并调用文字识别工具提取所述节点图形中的文字,得到训练内容,其中,所述训练内容包括用户问题和对应的答案;
组合单元6023,用于基于所述用户问题和所述答案定义节点字段,并将所述用户问题和所述答案添加到所述节点字段中,得到完整节点;
排序单元6024,用于基于所述连接边对各所述完整节点进行关联排序,形成问题跳转序列;
转换单元6025,用于基于所述问题跳转序列进行结构化转换,得到数据序列化格式的YML文件。
其中,所述解析模块603包括:
解析单元6031,用于解析所述YML文件中的所有节点字段、各节点字段跳转关系和各节点字段跳转至下一节点字段的权重值;
构建单元6032,用于根据所述节点字段和所述下一跳转节点字段创建流程节点,基于所述流程节点构建有向带权图框架;
填充单元6033,用于提取各节点字段下的内容,并将所述内容填充至所述有向带权图框架中的流程节点中,以及根据各节点跳转关系添加流程节点之间的边的方向和权重值,得到有向带权图。
在本实施例中,所述填充单元6033具体用于:
将各所述节点字段、所述跳转关系和所述节点字段对应的内容构建映射关系字典,其中,所述映射关系字包括节点字段-内容字典、节点字段-跳转关系字典和内容字典-跳转关系字典;
根据所述节点字段-内容字典配置所述流程节点的参数,利用所述内容字典-跳转关系字典创建所述流程节点之间的方向边和权重值,得到有向带权图。
其中,所述对话机器人测试用例生成装置还包括:配置模块605,用于获取用于配置所述有向带权图的邻接表结构,并提取所述邻接表结构中定义的图Graph类和顶点Vertex类;按照所述图Graph类和所述顶点Vertex类将所述映射关系字典转换为图结构;
所述填充单元6033,用于基于所述图结构,调整所述有向带权图框架中各所述流程节点的参数以及所述流程节点之间的边的方向和权重值,得到有向带权图。
在本实施例中,所述配置模块605具体用于:
基于所述节点字段-内容字典字典创建对应的顶点Vertex类实例和图Graph类实例;
基于所述节点字段-跳转关系字典和内容字典-跳转关系字典对所述顶点类实例中顶点添加方向边,并将所述方向边配置所述顶点Vertex类实例和所述图Graph类实例之间的连接关系,得到图结构。
其中,所述用例生成模块604包括:
遍历单元6041,用于利用图遍历算法访问所述有向带权图中的起始顶点;
选择单元6042,用于以所述起始顶点为基点,随机选择一个方向搜索所述起始顶点的第一邻接顶点;
搜索单元6043,用于在搜索所述第一邻接顶点存在时,以所述第一邻接顶点更新所述基点,继续搜索所述第一邻接顶点的第二邻接顶点;以及在搜索所述第一邻接顶点不存在时,重新确定搜索方向搜索所述起始顶点的邻接顶点或者重新选择起始顶点继续搜索;
用例生成单元6044,用于直到所有顶点搜索完成后,基于所述起始顶点、第一邻接顶点和第二邻接顶点,以及搜索方向,生成测试用例。
通过上述方法的实施,实现了利用程序自动生成测试用例数据,解决手工构造测试数据费时费力且容易遗漏测试点的问题,以及能确保自动生成的用例能覆盖多轮任务型对话的所有分支。
进一步的,采用了YML文件转换,将需求流程图转化为结构化的yml文件,方便程序解析,同时利用构建图结构来存储yml文件数据以及引入图深度优先遍历算法,通过遍历图来进行节点路径覆盖,每一条路径就是一条测试用例,进一步保证了图的路径全覆盖,不仅节省了手工构造测试用例的时间。
请参阅图8,下面从硬件处理的角度对本发明实施例中的电子设备的一个实施例进行详细描述。
图8是本发明实施例提供的一种电子设备的结构示意图,该电子设备800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processingunits,CPU)810(例如,一个或一个以上处理器)和存储器820,一个或一个以上存储应用程序833或数据832的存储介质830(例如一个或一个以上海量存储设备)。其中,存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对电子设备800中的一系列指令操作。更进一步地,处理器810可以设置为与存储介质830通信,在电子设备800上执行存储介质830中的一系列指令操作。
电子设备800还可以包括一个或一个以上电源840,一个或一个以上有线或无线网络接口850,一个或一个以上输入输出接口860,和/或,一个或一个以上操作系统831,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图8示出的电子设备结构并不构成对本申请提供的电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述对话机器人测试用例生成方法的各个步骤。
在实际应用中,上述提供的方法可以基于人工智能技术对目标病案数据进行获取,并对获取到的数据进行层次分析、构建层次结构图等处理。其中,人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。其具体可以是基于服务器来执行,服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种对话机器人测试用例生成方法,其特征在于,所述对话机器人测试用例生成方法包括:
获取训练对话机器人的需求流程图,其中所述需求流程图为基于所述对话机器人的测试需求构建的多轮对话训练的训练流程图;
提取所述需求流程图中的训练内容以及各所述训练内容之间的逻辑关系,并基于所述训练内容和所述逻辑关系将所述需求流程图转换为结构化数据;
解析所述结构化数据,并将解析后的结构化数据转换为有向带权图;
利用图遍历算法遍历所述有向带权图中的各路径和路径上的节点,生成测试用例;
其中,所述提取所述需求流程图中的训练内容以及各所述训练内容之间的逻辑关系,并基于所述训练内容和所述逻辑关系将所述需求流程图转换为结构化数据包括:利用边缘识别算法提取所述需求流程图中的图形组件,以及所述图形组件的连接边;将所述图形组件与预设的内容图形组件进行匹配,基于匹配的结果筛选出所述需求流程图中记载训练内容的节点图形,并调用文字识别工具提取所述节点图形中的文字,得到训练内容,其中,所述训练内容包括用户问题和对应的答案;基于所述用户问题和所述答案定义节点字段,并将所述用户问题和所述答案添加到所述节点字段中,得到完整节点;基于所述连接边对各所述完整节点进行关联排序,形成问题跳转序列;基于所述问题跳转序列进行结构化转换,得到数据序列化格式的YML文件;
所述解析所述结构化数据,并利用邻接表结构将解析后的结构化数据转换为有向带权图包括:解析所述YML文件中的所有节点字段、各节点字段跳转关系和各节点字段跳转至下一节点字段的权重值;根据所述节点字段和所述下一节点字段创建流程节点,基于所述流程节点构建有向带权图框架;提取各节点字段下的内容,并将所述内容填充至所述有向带权图框架中的流程节点中,以及根据各节点跳转关系添加流程节点之间的边的方向和权重值,得到有向带权图。
2.根据权利要求1所述的对话机器人测试用例生成方法,其特征在于,所述将所述内容填充至所述有向带权图框架中的流程节点中,以及根据各节点跳转关系添加流程节点之间的边的方向和权重值,得到有向带权图包括:
将各所述节点字段、所述跳转关系和所述节点字段对应的内容构建映射关系字典,其中,所述映射关系字典包括节点字段-内容字典、节点字段-跳转关系字典和内容字典-跳转关系字典;
根据所述节点字段-内容字典配置所述流程节点的参数,利用所述内容字典-跳转关系字典创建所述流程节点之间的方向边和权重值,得到有向带权图。
3.根据权利要求2所述的对话机器人测试用例生成方法,其特征在于,在所述将各所述节点字段、所述跳转关系和所述节点字段对应的内容构建映射关系字典之后,还包括:
获取用于配置所述有向带权图的邻接表结构,并提取所述邻接表结构中定义的图Graph类和顶点Vertex类;
按照所述图Graph类和所述顶点Vertex类将所述映射关系字典转换为图结构;
所述根据所述节点字段-内容字典配置所述流程节点的参数,利用所述内容字典-跳转关系字典创建所述流程节点之间的方向边和权重值,得到有向带权图包括:基于所述图结构,调整所述有向带权图框架中各所述流程节点的参数以及所述流程节点之间的边的方向和权重值,得到有向带权图。
4.根据权利要求3所述的对话机器人测试用例生成方法,其特征在于,所述按照所述图Graph类和所述顶点Vertex类将所述映射关系字典转换为图结构包括:
基于所述节点字段-内容字典创建对应的顶点Vertex类实例和图Graph类实例;
基于所述节点字段-跳转关系字典和内容字典-跳转关系字典对所述顶点类实例中顶点添加方向边,并将所述方向边配置所述顶点Vertex类实例和所述图Graph类实例之间的连接关系,得到图结构。
5.根据权利要求3所述的对话机器人测试用例生成方法,其特征在于,所述利用图遍历算法遍历所述有向带权图中的各路径和路径上的节点,生成测试用例包括:
利用图遍历算法访问所述有向带权图中的起始顶点;
以所述起始顶点为基点,随机选择一个方向搜索所述起始顶点的第一邻接顶点;
若搜索所述第一邻接顶点存在,则以所述第一邻接顶点更新所述基点,继续搜索所述第一邻接顶点的第二邻接顶点;
若搜索所述第一邻接顶点不存在,则重新确定搜索方向搜索所述起始顶点的邻接顶点或者重新选择起始顶点继续搜索;
直到所有顶点搜索完成后,基于所述起始顶点、第一邻接顶点和第二邻接顶点,以及搜索方向,生成测试用例。
6.一种对话机器人测试用例生成装置,其特征在于,所述对话机器人测试用例生成装置包括:
获取模块,用于获取训练对话机器人的需求流程图,其中所述需求流程图为基于所述对话机器人的测试需求构建的多轮对话训练的训练流程图;
转换模块,用于提取所述需求流程图中的训练内容以及各所述训练内容之间的逻辑关系,并基于所述训练内容和所述逻辑关系将所述需求流程图转换为结构化数据;
解析模块,用于解析所述结构化数据,并将解析后的结构化数据转换为有向带权图;
用例生成模块,用于利用图遍历算法遍历所述有向带权图中的各路径和路径上的节点,生成测试用例;
其中,所述提取所述需求流程图中的训练内容以及各所述训练内容之间的逻辑关系,并基于所述训练内容和所述逻辑关系将所述需求流程图转换为结构化数据包括:利用边缘识别算法提取所述需求流程图中的图形组件,以及所述图形组件的连接边;将所述图形组件与预设的内容图形组件进行匹配,基于匹配的结果筛选出所述需求流程图中记载训练内容的节点图形,并调用文字识别工具提取所述节点图形中的文字,得到训练内容,其中,所述训练内容包括用户问题和对应的答案;基于所述用户问题和所述答案定义节点字段,并将所述用户问题和所述答案添加到所述节点字段中,得到完整节点;基于所述连接边对各所述完整节点进行关联排序,形成问题跳转序列;基于所述问题跳转序列进行结构化转换,得到数据序列化格式的YML文件;
所述解析所述结构化数据,并利用邻接表结构将解析后的结构化数据转换为有向带权图包括:解析所述YML文件中的所有节点字段、各节点字段跳转关系和各节点字段跳转至下一节点字段的权重值;根据所述节点字段和所述下一节点字段创建流程节点,基于所述流程节点构建有向带权图框架;提取各节点字段下的内容,并将所述内容填充至所述有向带权图框架中的流程节点中,以及根据各节点跳转关系添加流程节点之间的边的方向和权重值,得到有向带权图。
7.一种电子设备,其特征在于,所述电子设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述电子设备执行如权利要求1-5中任一项所述的对话机器人测试用例生成方法的各个步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的对话机器人测试用例生成方法的各个步骤。
CN202111095881.6A 2021-09-18 2021-09-18 对话机器人测试用例生成方法、装置、设备及存储介质 Active CN113778893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111095881.6A CN113778893B (zh) 2021-09-18 2021-09-18 对话机器人测试用例生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111095881.6A CN113778893B (zh) 2021-09-18 2021-09-18 对话机器人测试用例生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113778893A CN113778893A (zh) 2021-12-10
CN113778893B true CN113778893B (zh) 2024-03-15

Family

ID=78852039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111095881.6A Active CN113778893B (zh) 2021-09-18 2021-09-18 对话机器人测试用例生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113778893B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590074A (zh) * 2017-09-05 2018-01-16 郑州云海信息技术有限公司 一种测试用例的生成方法及装置
CN113238932A (zh) * 2021-04-30 2021-08-10 西南电子技术研究所(中国电子科技集团公司第十研究所) 测试用例自动生成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10313521B2 (en) * 2017-08-15 2019-06-04 Genesyc Telecommunications Laboratories, Inc Automatic quality management of chat agents via chat bots
US11301747B2 (en) * 2018-01-29 2022-04-12 EmergeX, LLC System and method for facilitating affective-state-based artificial intelligence
US20200401503A1 (en) * 2019-06-24 2020-12-24 Zeyu GAO System and Method for Testing Artificial Intelligence Systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590074A (zh) * 2017-09-05 2018-01-16 郑州云海信息技术有限公司 一种测试用例的生成方法及装置
CN113238932A (zh) * 2021-04-30 2021-08-10 西南电子技术研究所(中国电子科技集团公司第十研究所) 测试用例自动生成方法

Also Published As

Publication number Publication date
CN113778893A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
US11915104B2 (en) Normalizing text attributes for machine learning models
CN113360616A (zh) 自动问答处理方法、装置、设备及存储介质
Lin et al. Deep structured scene parsing by learning with image descriptions
CN113657087B (zh) 信息的匹配方法及装置
CN112149642A (zh) 一种文本图像识别方法和装置
CN113778871A (zh) Mock测试方法、装置、设备及存储介质
CN115114421A (zh) 一种问答模型训练方法
CN111680506A (zh) 数据库表的外键映射方法、装置、电子设备和存储介质
CN112735564A (zh) 心理健康状态预测方法、设备、介质及计算机程序产品
CN112966076A (zh) 智能问答问题的生成方法、装置、计算机设备及存储介质
CN113778893B (zh) 对话机器人测试用例生成方法、装置、设备及存储介质
CN112036843A (zh) 基于rpa及ai的流程元素定位方法、装置、设备和介质
CN115170575B (zh) 遥感影像变化检测及模型训练的方法及设备
CN116777692A (zh) 基于数据分析的在线学习方法、装置、设备及存储介质
CN115658845A (zh) 一种适用于开源软件供应链的智能问答方法及装置
CN115374940A (zh) 基于知识图谱的风险标签确定方法以及装置
CN114449342A (zh) 视频推荐方法、装置、计算机可读存储介质和计算机设备
CN113535946A (zh) 基于深度学习的文本鉴别方法、装置、设备及存储介质
CN113822521A (zh) 题库题目的质量检测方法、装置及存储介质
CN105930453A (zh) 重复性分析方法及装置
US20230237341A1 (en) Systems and methods for weak supervision classification with probabilistic generative latent variable models
CN115442229B (zh) 通信核心网组网方法、设备、存储介质及装置
CN116662563A (zh) 技能培养知识图谱生成方法、装置、设备和介质
CN114328803A (zh) 问答库构建方法、问答方法、装置、电子设备及存储介质
CN115438745A (zh) 一种基于半监督学习的元数据智能标识方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant