CN114416533A - 基于人工智能的车载电子产品的用例生成方法和系统 - Google Patents

Abstract

本发明涉及一种基于人工智能的车载电子产品的用例生成方法，包括如下步骤：通过PyTorch的yolo模型来识别页面全部元素；通过Siamese的双子模型来判别页面是否出现；记录页面间的跳转关键和跳转需要点击的元素；以及根据欧拉回路和迪杰斯特拉算法思路，将页面跳转关系动态规划成可以连续执行的逻辑序列。本发明的用例生成的效率提升，自动生成基于页面覆盖性的测试用例，较之前需要投入多名自动化脚本开发工程师进行用例编写，缩短人力，用例运行的智能化提升，避免植入的测试软件对被测系统产生影响，通过纯黑盒的方法进行测试，更加能够模拟用户实际操作的情况，避免植入的测试软件存在的期间，对被测系统的性能造成的干扰，影响对产品质量的判断。

Description

基于人工智能的车载电子产品的用例生成方法和系统

技术领域

本发明涉及计算机软硬件测试技术领域，尤其涉及一种基于人工智能的车载电子产品的用例生成方法和系统。

背景技术

在自动化测试领域，测试用例均以脚本形式进行创建，而脚本的创建需要专业的人员或者专业的工具并且有专门的维护才行。目前带触摸屏的测试设备，在对其应用层进行软硬件测试时，业界常见测试用例执行异常后的逻辑单一，需要脚本开发工程师经验丰富才能保证后续脚本继续执行。目前常用自动化测试脚本的生产方式有3种：1.纯手工编写；2.基于录制回放；3.模块化编写(类似少儿编程中的模块拖拽方式)。而这3种方式，生成的用例很大程度依赖自动化脚本开发人员的能力，脚本的重复利用率也不高，因此自动化测试用例脚本生成的投入产出比较低。

另一方面，生成后的测试脚本的执行，如何有效处理异常，完全依赖于脚本开发工程师的个人经验和能力的。处理方式不正确，通常会导致后续用例无法进行，产生无效自动化测试工时，造成资源浪费.

此外，近年来人工智能技术飞速发展，尤其是深度学习技术，使得计算机视觉处理在语义理解上有很大突破，在有的任务上甚至达到了工业级别的性能要求，如图像分类、目标检测、关键点检测等任务。更高的识别精度使得在用例生成结果更加可靠。

发明内容

本发明的目的在于克服现有技术存在的以上问题，提供一种基于人工智能的车载电子产品的用例生成方法和系统。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种基于人工智能的车载电子产品的用例生成方法，包括如下步骤：

通过PyTorch的yolo模型来识别页面全部元素；

通过Siamese的双子模型来判别页面是否出现；

记录页面间的跳转关键和跳转需要点击的元素；以及

根据欧拉回路和迪杰斯特拉算法思路，将页面跳转关系动态规划成可以连续执行的逻辑序列。

在本发明的一个实施例中，所述PyTorch的yolo模型包括如下步骤：

使用多层卷积、一次上采样和多层所述yolo层的模型，加深对小目标元素信息的识别能力；

着重寻找所述元素中的按钮和文字信息；以及

将识别到的所述信息记录到缓存。

在本发明的一个实施例中，所述Siamese的双子模型包括如下步骤：

使用多层卷积、多次激活和多层归一化的双子模型，将送进去的两张图片，分别经过模型提取特征，进行图片是否存在相似性的比较。

在本发明的一个实施例中，所述记录页面包括如下步骤：

将页面A与页面B所需要点击的所述元素的编号记录下来；以及

将从所述页面A跳转到所述页面B所述需要点击的所述元素的编号记录下来。

在本发明的一个实施例中，所述逻辑序列通过如下步骤生成：

提供一个序列化的队列；以及

将记录的所述信息串联起来，形成一个覆盖所有可能路径的测试用例队列。

一种基于人工智能的车载电子产品用例生成系统，包括：

用例生成模块，以生成案例并导出Excel表单；

动态路径规划模块，基于所述欧拉回路和所述迪杰斯特拉算法；

用例执行模块，根据Excel表单序列，执行用例；以及

异常判断模块，判断用例执行是否存在异常，标记并调用所述动态路径规划模块。

在本发明的一个实施例中，所述用例生成模块实现用户在线选择对应项目的AI模型以及配置基础信息的前端UI模块；

其中，在用例生成中，采用Monkey随机的策略，优先选择页面中从未被点击过的元素进行点击，以确保所有的路径都被覆盖到；以及

利用用例生成模块进行具体用例序列生成，并导出成Excel表单。

在本发明的一个实施例中，所述动态路径规划模块，以实现用例序列的生成。

在本发明的一个实施例中，所述用例执行模块用以加载测试用例序列Excel表单，根据所述表单中的用例序列，依次执行用例。

在本发明的一个实施例中，所述异常判断模块根据生成的所述用例序列，判断当前页面是否是序列中要求的页面，如果不是，则利用动态路径规划模块重新规划测试用例序列；如果是，则继续运行。

综上所述，本发明的用例生成的效率提升，自动生成基于页面覆盖性的测试用例，较之前需要投入多名自动化脚本开发工程师进行用例编写，缩短人力，用例运行的智能化提升，避免植入的测试软件对被测系统产生影响，通过纯黑盒的方法进行测试，更加能够模拟用户实际操作的情况，避免植入的测试软件存在的期间，对被测系统的性能造成的干扰，影响对产品质量的判断，避免植入的测试软件控制权遗留到用户手中，造成用户信息泄露的非常深远的影响。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明YOLO模型设计的结构示意图；

图2是本发明用例生成逻辑的结构示意图；

图3是本发明用例执行逻辑的结构示意图；

图4是本发明用例生成的页面逻辑关系图。

图5是本发明nodes形成关系树图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

本发明的基于人工智能的车载电子产品的用例生成方法，通过Monkey的策略，在待测设备上进行随机点击，并将点击过程中的路径记录。随后采用欧拉回路等方式生成测试用例序列，并在序列执行过程出现异常时，重新规划测试序列。

实施例1

如图2所示，用例生成具体地包括步骤S1至S5：

S1：搭建执行机运行环境，调整被测设备位置，以使摄像头能够拍摄到全部屏幕。如图1所示，具体地，可以基于PyTorch的yolo模型，即可使用多层卷积、多次上采样和多层YOLO层的模型，例如可以使用十三层卷积、一次上采样和两层YOLO层的模型加深对小目标元素信息的识别能力，着重寻找元素中的按钮和文字信息，并将识别到的信息记录到缓存。

S2：选取合适的元素识别模型，例如可以选择Siamese的双子模型，并加载到GPU。

具体地，可以使用多层卷积、多次激活和多层归一化的双子模型，例如可以为五层卷积、五次激活和多五层归一化的双子模型，将送进去的两张图片，分别经过模型提取特征，进行图片是否存在相似性的比较。避免采用像素级对比，使得对页面元素小变化的低容忍性，产生过多的不一致图片，影响序列正常的生成。

S3：开始随机性点击，此时系统自动记录点击过程中的跳转逻辑关系。

具体地，将页面A与页面B，以及从A跳转到B所需要点击的元素编号记录下来，同一个页面可以有多个跳转子页面。并且记录的内容信息有两个数据结构，页面数据和元素数据，页面数据包括页面编号、所有可跳转的页面编号以及页面信息，元素数据包括页面编号、元素编号、元素大小、元素中心点坐标以及元素可跳转到的页面编号。可以在七十二小时能够完全遍历UE，此时可以生成如图4所示的页面关系。

S4：利用欧拉回路进行测试用例序列生成，并导出成Excel。

具体地，可以提供一个序列化的队列，根据欧拉回路和欧拉回路和迪杰斯特拉算法思路，将步骤S3中所记录的信息串联起来，形成一个覆盖所有可能路径的测试用例队列。

进一步地，通过欧拉回路和迪杰斯特拉算法，生成用例时，保证能够将全部用例串联起来，又保证选择的路径是最短路径。

如图5所示，有虚线可以看出，所有页面都有快速返回主页的方法。具体地，例如可以默认页面编号为1的页面为根页面，包括如下步骤：

a.识别所有页面的编号和其子页面编号，得到节点信息nodes，例如p1的页面的可跳转页面[p2,p3…]，p2可跳转页面[p3,p4…]，记为nodes＝{p1:[p2，p3…]，p2:[p3，p4…]}；

b.根据nodes形成关系树，设p1为树的根节点，[p2，p3]为两个子节点；可以得到图4；

c.测试序列的实现，是“一笔画”的方式，将所有的用例连接起来，同时，这个连接起来的路径是最短的；

d.利用深度遍历，得到从根节点到所有页面的路径，即最基础的用例；P1->P2；P1->P2->P4；P1->P2->P4->P7…

e.因为较长序列会包含一个或多个基础用例，所以利用较长序列替代基础用例，并利用软件产品特性，将较长序列组合成完整序列，即P1->P2->P4->P7->P1->P2->P3->P5->P1->P3->P6->P8->P1->P3->P6->P7。

S5：用户可以根据规则，对Excel中的测试用例序列进行调整。

实施例2

如图3所示，用例执行和异常处理，具体包括步骤F1至F4：

F1：导入Excel，并进行规则格式校验；实现用户在线选择对应项目的AI模型以及配置基础信息的前端UI模块，是整个系统的操作入口。在用例生成中，采用Monkey随机的策略，优先选择页面中从未被点击过的元素进行点击，确保所有的路径都被覆盖到。同时利用动态路径规划模块进行具体用例序列生成，并导出成Excel表单。

F2：加载测试用例序列和Siamese模型；先标记需要跳过的页面和元素，将剩余的页面节点串联起来，形成一个由用例组成的测试序列，在被测系统无异常的情况下，这些序列将依次有效的覆盖所有页面。

F3：顺序执行用例；具体地，可以加载测试用例序列Excel表单，根据表单中的用例序列，依次执行用例，执行过程可以理解成，从页面A点击元素E跳转到页面B的过程。

F4：若用例A是从P1点击元素E1转到页面P2，那么在E1点击动作完成后，进行图片拍摄得到TempPic，将TempPic与P2进行Siamese相似度检测，若相似，则进入步骤F3，若不相似，标记这个P1通过E1至P2为不可达路径，并回到步骤F2。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (10)

1.一种基于人工智能的车载电子产品的用例生成方法，其特征在于，包括如下步骤：

通过PyTorch的yolo模型来识别页面全部元素；

通过Siamese的双子模型来判别页面是否出现；

记录页面间的跳转关键和跳转需要点击的元素；以及

根据欧拉回路和迪杰斯特拉算法思路，将页面跳转关系动态规划成可以连续执行的逻辑序列。

2.根据权利要求1所述的用例生成方法，其特征在于：所述PyTorch的yolo模型包括如下步骤：

使用多层卷积、一次上采样和多层所述yolo层的模型，加深对小目标元素信息的识别能力；

着重寻找所述元素中的按钮和文字信息；以及

将识别到的所述信息记录到缓存。

3.根据权利要求1所述的用例生成方法，其特征在于：所述Siamese的双子模型包括如下步骤：

使用多层卷积、多次激活和多层归一化的双子模型，将送进去的两张图片，分别经过模型提取特征，进行图片是否存在相似性的比较。

4.根据权利要求1所述的用例生成方法，其特征在于：所述记录页面包括如下步骤：

将页面A与页面B所需要点击的所述元素的编号记录下来；以及

将从所述页面A跳转到所述页面B所述需要点击的所述元素的编号记录下来。

5.根据权利要求1所述的用例生成方法，其特征在于：所述逻辑序列通过如下步骤生成：

提供一个序列化的队列；以及

将记录的所述信息串联起来，形成一个覆盖所有可能路径的测试用例队列。

6.一种基于人工智能的车载电子产品用例生成系统，其特征在于，包括：

用例生成模块，以生成案例并导出Excel表单；

动态路径规划模块，基于所述欧拉回路和所述迪杰斯特拉算法；

用例执行模块，根据Excel表单序列，执行用例；以及

异常判断模块，判断用例执行是否存在异常，标记并调用所述动态路径规划模块。

7.根据权利要求6所述的用例生成系统，其特征在于：所述用例生成模块实现用户在线选择对应项目的AI模型以及配置基础信息的前端UI模块；

其中，在用例生成中，采用Monkey随机的策略，优先选择页面中从未被点击过的元素进行点击，以确保所有的路径都被覆盖到；以及

利用用例生成模块进行具体用例序列生成，并导出成Excel表单。

8.根据权利要求6所述的用例生成系统，其特征在于：所述动态路径规划模块，以实现用例序列的生成。

9.根据权利要求6所述的用例生成系统，其特征在于：所述用例执行模块用以加载测试用例序列Excel表单，根据所述表单中的用例序列，依次执行用例。

10.根据权利要求6所述的用例生成系统，其特征在于：所述异常判断模块根据生成的所述用例序列，判断当前页面是否是序列中要求的页面，如果不是，则利用动态路径规划模块重新规划测试用例序列；如果是，则继续运行。

Images