CN111767228B - 基于人工智能的界面测试方法、装置、设备和介质 - Google Patents

Abstract

本申请涉及人工智能，提供一种基于人工智能的界面测试方法、装置、设备和介质。方法包括：接收针对待测试界面的界面测试请求；根据界面测试请求获取待测试界面对应的待测试界面图像；对待测试界面图像进行分割得到待测试元素；识别各待测试元素的元素类别，并从预设数据库中查找各元素类别对应的操作动作；对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果；根据操作结果生成待测试界面对应的测试报告。采用本方法能够提高界面测试的效率。此外，本发明还涉及区块链技术，隐私信息如测试报告可存储于区块链节点中。

Description

基于人工智能的界面测试方法、装置、设备和介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种基于人工智能的界面测试方法、装置、设备和介质。

背景技术

用户界面测试是指测试用户界面的功能模块是否满足要求，目的是确保用户界面上的功能模块能够为用户提供相应的访问或者浏览功能。

但是，基于现在互联网行业产品迭代比较频繁，并且随着待测试产品的测试要求越来越高，对测试人员编写测试代码的要求越来越高。测试人员在编写代码的时候不仅需要人工识别待测试界面中的待测试元素，还需要人工识别待测试元素的类别以及对应的操作动作，使得测试人员利用编码对界面测试的效率低下。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高界面测试效率的基于人工智能的界面测试方法、装置、设备和介质。

一种基于人工智能的界面测试方法，方法包括：

接收针对待测试界面的界面测试请求；

根据界面测试请求获取待测试界面对应的待测试界面图像；

对待测试界面图像进行分割得到待测试元素；

识别各待测试元素的元素类别，并从预设数据库中查找各元素类别对应的操作动作；

对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果；

根据操作结果生成待测试界面对应的测试报告。

在其中一个实施例中，对待测试界面图像进行分割得到待测试元素，包括：

获取待测试界面图像对应的待测试界面特征图；

对待测试界面特征图进行上采样得到上采样特征图，上采样特征图与待测试界面图像的尺寸一致；

利用预先训练的分类算法对上采样特征图的像素进行分类；

根据分类后的像素对待测试界面图像进行分割得到与待测试界面图像中的元素尺寸一致的待测试元素。

在其中一个实施例中，对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果，包括：

对待测试界面上的对应的待测试元素执行操作动作得到反馈页面；

对反馈页面进行内容识别得到操作动作对应的操作结果。

在其中一个实施例中，对反馈页面进行内容识别得到操作动作对应的操作结果，包括：

利用预先训练的文字识别模型识别反馈页面中的反馈文字；

获取操作动作对应的预设文字；

将反馈文字与预设文字进行文字匹配；

根据文字匹配的结果得到操作动作对应的操作结果。

在其中一个实施例中，对反馈页面进行内容识别得到操作动作对应的操作结果，包括：

获取操作动作对应的预设界面；

获取反馈页面对应的反馈页面图像指纹，以及预设界面对应的预设界面图像指纹；

计算反馈页面图像指纹与预设界面图像指纹之间的相似度；

根据相似度得到操作动作对应的操作结果。

在其中一个实施例中，对待测试界面上的对应的待测试元素执行操作动作得到反馈页面，包括：

当待测试元素的操作动作对应为输入动作时，接收针对待测试元素的输入信息；

当待测试元素的操作动作对应为点击动作时，接收针对待测试元素的点击操作；

根据各输入信息以及各点击操作得到反馈页面。

在其中一个实施例中，根据操作结果生成待测试界面对应的测试报告，包括：

在预设的测试框架中根据各待测试元素、各待测试元素对应的操作动作以及各待测试元素对应的测试结果生成待测试界面对应的测试报告，将测试报告存储于区块链中。

一种基于人工智能的界面测试装置，装置包括：

请求接收模块，用于接收针对待测试界面的界面测试请求；

界面图像获取模块，用于根据界面测试请求获取待测试界面对应的待测试界面图像；

分割模块，用于对待测试界面图像进行分割得到待测试元素；

动作查找模块，用于识别各待测试元素的元素类别，并从预设数据库中查找各元素类别对应的操作动作；

结果获取模块，用于对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果；

报告生成模块，用于根据操作结果生成待测试界面对应的测试报告。

一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。

上述基于人工智能的界面测试方法、装置、计算机设备和存储介质，接收针对待测试界面的界面测试请求；根据界面测试请求获取待测试界面对应的待测试界面图像；然后利用预先训练的分割算法对待测试界面图像进行分割得到待测试元素；以及利用预设识别算法识别各待测试元素的元素类别，并从预设数据库中查找各元素类别对应的操作动作，实现了对待测试界面中的待测试元素的自动分割以及识别，提高了对待测试元素的识别效率，然后对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果；根据操作结果生成待测试界面对应的测试报告，在对界面测试的过程中完全由计算机自动执行，不需要人工参与，提高了对界面测试的效率。

附图说明

图1为一个实施例中基于人工智能的界面测试方法的应用环境图；

图2为一个实施例中基于人工智能的界面测试方法的流程示意图；

图3为一个实施例中提供的一种图像类别识别模型的原理示意图；

图4为一个实施例中提供的一种图像分割模型的原理示意图；

图5为另一个实施例中提供的一种界面测试方法的流程示意图；

图6为一个实施例中提供的一种基于人工智能的界面测试装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的基于人工智能的界面测试方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。服务器104接收终端102针对待测试界面的界面测试请求；根据界面测试请求获取待测试界面对应的待测试界面图像；对待测试界面图像进行分割得到待测试元素；识别各待测试元素的元素类别，并从预设数据库中查找各元素类别对应的操作动作；对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果；根据操作结果生成待测试界面对应的测试报告，进一步地服务器104还可以将测试报告推送至终端102。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种基于人工智能的界面测试方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤210，接收针对待测试界面的界面测试请求。

具体地，服务器接收终端发送的界面测试请求，其中界面测试区请求可以是对终端上的某一个APP的登录界面进行测试的请求。在具体实施中可以将终端连接到电脑设备上并在电脑设备上进行投影，以通过投影在电脑设备上显示终端的界面信息，在电脑设备上完成终端设备中的界面功能的测试。

步骤220，根据界面测试请求获取待测试界面对应的待测试界面图像。

待测试界面图像可以是对待测试界面执行图像抓取得到的。如可以利用图像快照功能将需要测试的页面保存为一张快照，该快照对应为待测试界面图像。进一步地，抓取到的待测试界面图像中可以保留待测试页面的所有信息，如可包括元素定位和结构树等信息，其中元素定位可以为待测试界面中的各元素对应的坐标信息，结构树可以为待测试界面中各元素之间的结构关系等。

步骤230，对待测试界面图像进行分割得到待测试元素。

待测试元素可以是待测试界面中的需要进行测试的功能模块，并且待测试界面中可包含至少一个待测试元素。具体地，可以利用预先训练的人工智能算法如神经网络模型对待测试图像进行图像分割得到多个待测试元素。如利用神经网络模型对待测试图像进行图像分割得到的待测试元素可包含用户名输入框、密码输入框、登录按钮等不同的区域对应的元素。

步骤240，识别各待测试元素的元素类别，并从预设数据库中查找各元素类别对应的操作动作。

操作动作是待测试元素实现其功能需要执行的动作。比如利用人工智能技术中的图像识别算法识别待测试元素的类别为输入框时，那么在做用户界面(User Interface，UI)自动化测试时对应的操作动作是点击这个输入框，然后在输入框中输入内容，如当待测试元素对应为搜索图标或者购物车图标时，此时对应的操作动作为点击操作动作。具体地，可以预先将多种类型的待测试元素与操作动作进行关联绑定并存储至数据库中，然后可以从关联存储的数据库中查找各类别的待测试元素对应的操作动作。

进一步地，利用预设算法识别各待测试元素对应的元素类别，包括：根据预先训练的类别识别模型对各待测试元素进行类别识别，得到各待测试元素对应的元素类别。

具体地，在服务器中将分割得到的待测试元素输入至预训练的图像类别识别模型中，在图像类别识别模型中进行若干次的线程或者非线性的操作，最后得到各待测试元素的元素类别，然后根据各元素类别从预设的数据库中查找对应的操作动作。这样在以后切换到不同类型的输入框、勾选框等常用系统组件时，甚至是切换被测系统时，都可以很好地根据各元素类别在数据库中匹配到对应的操作动作，以根据对应的操作动作实现将待测试元素进行对应的处理。

如在一个实施例中图像识别算法可以为深度学习框架TensorFlow，具体地如图3所示，图3提供了一种图像类别识别模型的原理示意图，具体地，图3中的框架可以为Inception v3模型对应的框架，其中图3中最底面一层为输入层310，倒数第二层为第一隐藏层320、倒数第三层为第二隐藏层330以及最上面一层为输出层340，具体地，在该网络结构中通过输入层310激活信号，再通过第一隐藏层320以及第二隐藏层330提取特征，最后通过输出层330输出结果。更进一步地，该模型可以是Google发布的一个深层次的网络模型，谷歌的Inception v3给出了保存好的模型和训练的代码，可以用来进行模型训练，如可以采用迁移学习的方法进行模型训练，具体地在迁移学习过程中保证前面层的参数不变，只训练最后一层的参数，其中最后一层是一个softmax分类器，分类器在原来的网络上是1000个输出节点(ImageNet有1000个类)，故而需要删除网络的最后的一层，变为所需要的输出节点数量，然后再进行训练。在具体实施中，可以使用脚本对其模型进行一个迁移学习，如数据集采用开源的数据集以及实际需求被测系统中采集的数据集。其中数据集分为训练集、验证集和测试集，其中训练集用来训练模型，验证集用来验证模型是否进行了过拟合，测试集用来测试模型的准确程度。具体地，训练模型使用Training_set.py脚本，入参主要有训练集的文件位置、生成的各类文件存放路径、训练的步数和学习速率、测试集比例、验证集比例等。测试模型使用Test_set.py脚本来测试模型，通过不断的训练、测试以及调整参数，当验证比例达到稳定且在90％以上，此时认为模型训练的比较完善。进一步地，训练集是由多种APP中的界面元素如登录框、搜索框等图像组成，选择不同APP对应的图像元素是可以扩展待测试元素的形状，增加训练模型的识别能力。

在本实施例中，利用计算机自动识别待测试元素的类别，进而自动匹配对应的操作动作，不需要人工参与提高了界面的测试效率。

步骤250，对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果。

操作结果是在操作动作的触发下返回的结果。具体地，用户可以对待测试界面中的待测试元素执行对应的操作动作，如当待测试元素对应为登录选项时，用户对该登录选项对应的按钮进行点击操作，服务器接收用户的点击操作后，反馈对应的操作结果。具体地，操作结果可以对应一个反馈页面，反馈页面可为登录成功的页面，此时该页面中具有登录成功的文字，或者反馈结果可以为登录失败的页面，此时该页面中具有登录失败的文字，或者反馈结果中可以为一个具体地网站首页，并且当为网站首页时可以判定登录成功。

步骤260，根据操作结果生成待测试界面对应的测试报告。

具体地，对分割的区域如待测试元素的操作可以依赖传统的测试框架，如sikuli框架，以利用sikuli框架完成对图片或分割后待测试元素的操作。具体地，根据sikuli框架执行待测试界面对应的脚本文件，根据识别到的待测试元素以及脚本文件生成待测试界面对应的测试报告。进一步地，服务器可以对操作结果的合格性进行识别判别，当操作结果满足预设条件时说明待测试元素根据其对应的操作动作能够实现对应的操作功能，判定待测试元素通过测试，当操作结果不满足预设条件时说明待测试元素根据对应的操作动作不能实现对应的操作动作，判定待测试元素测试失败。测试报告中可包含测试的过程以及测试结果等，以及当测试结果为失败时对应的失败原因等信息。

在本实施例中，利用计算机自动从待测试界面中提取待测试元素，并且利用人工智能技术中的图像识别算法自动识别待测试元素的类别，进而根据类别自动匹配对应的操作动作，整个过程都是计算机自动执行，不需要人工去识别与判断，极大地提高了对待测试界面的测试效率。并且利用计算机自动识别与判断不受人的主观判断的影响，也不会由于人工失误造成错误，也提高了对待测试元素的测试准确率。进一步地，利用图像识别算法以及预设的测试框架获取对应的测试编码，而不需要用户一行行写代码，极大地提高了测试编码的获取效率，降低了工作人员的工作强度。

在其中一个实施例中，对待测试界面图像进行分割得到待测试元素，包括：获取待测试界面图像对应的待测试界面特征图；对待测试界面特征图进行上采样得到上采样特征图，上采样特征图与待测试界面图像的尺寸一致；利用预先训练的分类算法对上采样特征图的像素进行分类；根据分类后的像素对待测试界面图像进行分割得到与待测试界面图像中的元素尺寸一致的待测试元素。

进一步地，提取待测试界面图像中的待测试元素，包括：根据预设的分割算法对待测试界面图像进行图像分割得到待测试元素。具体地，将测试需要用到的待测试界面进行快照后得到待测试界面图像，然后利用预设的分割算法将待测试界面图像切割成不同的待测试元素对应的区域，比如模拟APP的登陆，将登陆页快照后可以切割成用户名输入框、密码输入框、登录按钮等不同的区域。具体地，预设的分割算法可以为全卷积神经网络模型，如通过截屏得到的待测试界面图像为图像I，然后使用函数Mask＝Function(I)，从图像I映射到掩膜Mask得到分割结果。

在其中一个实施例中，分割得到的待测试元素的尺寸大小应该与待测试界面中的各元素的尺寸大小相同，但是在具体实施中，利用卷积神经网络(Convolutional NeuralNetwork，CNN)提取的特征的尺度是变小的，为了让CNN提取出来的尺度能到原图大小，全卷积神经网络(Fully Convolutional Networks for Semantic Segmentation，FCN)利用上采样和反卷积得到原图像大小，然后再做像素级的分类，以使得分割得到的待测试元素的尺寸大小与待测试界面图像中的元素的尺寸相同。具体地可以参考图4，图4提供了一种图像分割模型的原理示意图，包括：输入待测试界面图像image，然后在网络中对输入的图像进行多层的卷积层以及池化层等操作得到输出图像，并且通过残差层以及差值等操作最终实现最右边的输出图像的尺寸与最左边的输入图像的尺寸一致。

具体地，在图4中输入待测试界面对应的原图，将原图输入至VGG16网络得到待测试界面特征图map，然后将待测试界面特征图map进行上采样操作得到上采样特征图，再将预测结果和ground truth每个像素一一对应分类，做像素级别分类。在本实施例中将图像分割问题变成分类问题，而分类问题正好是深度学习的强项，故而大大提高了图像分割的准确率。

在本实施例中，利用预先训练的深度学习模型自动对待测试界面对应的图像进行图像分割，提高了获取待测试元素的效率，并且还能保证分割得到的待测试元素的大小尺寸与输入的尺寸是相同的，可以防止大小不一致出现测试错误的情况，通过保证输出大小是实现了能够更加精准的测试每一个案例的效果。

在其中一个实施例中，对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果，包括：对待测试界面上的对应的待测试元素执行操作动作得到反馈页面；对反馈页面进行内容识别得到操作动作对应的操作结果。

在一个实施例中操作结果为操作动作对应的反馈页面，反馈页面中可包含判断操作结果是否合格的信息，如当待测试元素的操作动作对应登录按钮时，对应的操作动作为点击登录按钮，此时点击登录按钮返回的的操作结果可以为包含“登录成功”或者“登录失败”的反馈页面。具体地，服务器可以对反馈页面中的信息进行内容识别得到操作结果是否合格的结果，进而根据操作结果是否合格的结果得到待测试元素是否合格的结果。

具体地，当对待测试元素执行对应的操作动作后产生的操作结果满足预设条件时，判断待测试元素为合格。反之，当对待测试元素执行对应的操作动作后产生的操作结果不满足预设条件时，判断待测试元素为不合格。

进一步地，根据反馈页面判断待测试元素是否满足预设条件，包括：获取各操作动作对应的预设操作结果；将反馈页面与预设操作结果进行比对，当比对通过时判定待测试元素为测试合格。具体地，预设操作结果可以为预先设定的执行操作动作产生的期望的操作结果，如执行点击登录按钮对应的操作动作时，预设操作结果可以为返回一个包含“登陆成功”的提示页面。当服务器检测到操作结果与预设操作结果一致时，如预设操作结果与操作结果都对应“登录成功”时，判断待测试元素为测试合格，当服务器检测到操作结果与预设操作结果不一致时，如预设操作结果对应为“登陆成功”，操作结果对应“登录失败”时，判断待测试元素为测试失败。

在其中一个实施例中，对反馈页面进行内容识别得到操作动作对应的操作结果，包括：利用预先训练的文字识别模型识别反馈页面中的反馈文字；获取操作动作对应的预设文字；将反馈文字与预设文字进行文字匹配；根据文字匹配的结果得到操作动作对应的操作结果。

进一步地可以利用断言检查点来判断，比如登陆成功后判断用户名是否符合你的预期等。具体地，可以利用预设的文字识别算法对操作结果进行合格性校验，需要说明的是预设的文字识别算法中用到了OCR的技术并且是预先训练得到的，通过利用OCR的文字识别能力，可以将对应的操作结果区域中的文字进行识别。

在本实施例中，当操作结果中包含对该操作结果的文字反馈信息时，可以利用文字识别算法对操作结果的合格性进行判断，进而得到待测试元素的测试是否合格的结果，如登录之后弹出带有登陆成功字样的页面，那么可以利用断言检查算法将登陆成功字样与登录框对应的预期操作进行匹配。

在其中一个实施例中，对反馈页面进行内容识别得到操作动作对应的操作结果，包括：获取操作动作对应的预设界面；获取反馈页面对应的反馈页面图像指纹，以及预设界面对应的预设界面图像指纹；计算反馈页面图像指纹与预设界面图像指纹之间的相似度；根据相似度得到操作动作对应的操作结果。

具体地，还可以利用图片相似度判断算法对操作结果进行合格性校验，具体地，图片相似度判断算法可以为感知hash算法，感知hash算法对操作结果对应的额每一张图片按照某种规律生成一个对应的指纹字符串，通过比较不同图片之间的指纹字符串，结果越相近就代表图片越相似。

在本实施例中，当操作结果中未包含对操作结果的直接反馈信息时，如直接跳转至对下一个节点对应的页面时，此时可以利用图像识别算法对待测试元素的测试是否合格的结果进行判别，对应于登录之后不出现登录成功等字段提示的场景，如可以直接出现登录界面的场景，此时可以与出现的登录页面与预期的登录界面进行图像相似度识别，或者账号A与账号B的登录页面进行匹配。

进一步地，当判断所有的待测试元素均为测试合格时，判定待测试界面为测试合格。进一步地，当判断待测试元素为测试不合格时，输出待测试元素测试失败提示。

在其中一个实施例中，对待测试界面上对应的待测试元素执行操作动作得到反馈页面，包括：当待测试元素的操作动作对应为输入动作时，接收针对待测试元素的输入信息；当待测试元素的操作动作对应为点击动作时，接收针对待测试元素的点击操作；根据各输入信息以及各点击操作得到反馈页面。

如图5所示，图5为另一个实施例中提供的一种界面测试方法的流程示意图，包括：

步骤510，测试开始。

步骤520，设计测试用例。

具体地，终端在向服务器发送界面测试请求之前还包括：根据待测试界面设计测试用例。测试用例可以是指导对软件如待测试界面的执行操作，帮助证明软件功能或发现软件缺陷的一种说明。然后测试人员可以根据测试用例中的步骤指导执行对应的界面测试。

步骤530，录制生成脚本。具体地可以在预设的测试框架中录制生成脚本。

步骤540，截屏保存快照生成待测试界面图像。

步骤550，将待测试界面图像切割成不同的区域对应的待测试元素。

步骤560，对待测试元素进行分类识别，并从预设数据库中提取各类别的待测试元素对应的操作动作。

步骤570，断言检查生成对应的操作结果。

步骤580，测试结束。

在本实施例中，待测试页面图像经过图像快照后分割成待测试元素对应的区域，然后利用人工智能领域中的图像识别以及图像分割算法对图像识别和文字识别得到测试结果，利用人工智能技术进行图像处理准确率比通过传统技术中的对待测试元素进行手写定位更加稳定和方便，并且当标题或者文字中如果出现了错误或者显示异常，利用预设的人工智能算法还可以精准地发现问题，故而通过这种方式也能够帮助我们测试到一些比较难以发现的界面问题，稳定性更高。

在一个具体的实施例中，在被测应用上，比如模拟一个app的登陆，打开登陆页后用户手动输入用户名、手动密码、点击登陆，然后基于以上的实施例对应的程序进行执行，就可以自动生成三行代码：

Click(“账号输入框”).input(“test001”)

Click(“密码输入框”).input(“abc12345”)

Click(“登陆”)

在本实施例中，利用图像识别算法可以自动生成更容易理解的自然语言，使得工作人员对编码的维护也会变得更加简单。

在其中一个实施例中，根据操作结果生成待测试界面对应的测试报告，包括：在预设的测试框架中根据各待测试元素、各待测试元素对应的操作动作以及各待测试元素对应的测试结果生成待测试界面对应的测试报告，将测试报告存储于区块链中。需要强调的是，为进一步保证上述测试报告的私密和安全性，上述测试报告信息还可以存储于一区块链的节点中。

以上，本申请提供的基于人工智能的界面测试方法，首先获取待测试界面对应的待测试界面图像，然后利用预先训练的算法对图像中的待测试元素进行分割以及类别识别，并且匹配对应的操作动作，进一步地还包括对操作动作对应的操作结果进行合格性校验，整个过程不需要人工参与，利用计算机算法自动实现对界面的测试，极大地提高了测试效率，特别是当随着待测试产品越来越多，产品更新较快的时候，利用本方法更能适应大规模的界面测试。进一步地，图像识别算法可以适用于多种平台，也提高了本方法的使用范围。

进一步地，本申请提供的界面测试方法维护成本更低，相较于传统的UI自动化需要人工编写大量的程序开发和维护工作，本申请可以自动产生代码，相较于目前开源的selenium录制组件，脚本使用自然语言，让我们更容易理解和维护。并且录制的页面都经过快照后分割成区域，通过图像识别和文字识别，准确率比通过手写定位更加稳定和方便，稳定性更高。并且录制可以支持PCweb、android、ios等多种操作，实现了系统一次录制，多处实现了跨平台操作。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种基于人工智能的界面测试装置，装置包括：请求接收模块610、界面图像获取模块620、分割模块630、动作查找模块640、结果获取模块650以及报告生成模块660。

请求接收模块610，用于接收针对待测试界面的界面测试请求；

界面图像获取模块620，用于根据界面测试请求获取待测试界面对应的待测试界面图像；

分割模块630，用于对待测试界面图像进行分割得到待测试元素；

动作查找模块640，用于识别各待测试元素的元素类别，并从预设数据库中查找各元素类别对应的操作动作；

结果获取模块650，用于对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果；

报告生成模块660，用于根据操作结果生成待测试界面对应的测试报告。

在其中一个实施例中，分割模块630，包括：

特征图获取单元，用于界面图像对应的待测试界面特征图。

上采样单元，用于特征图进行上采样得到上采样特征图，上采样特征图与待测试界面图像的尺寸一致。

分类单元，用于分类算法对上采样特征图的像素进行分类。

元素获取单元，用于待测试界面图像进行分割得到与待测试界面图像中的元素尺寸一致的待测试元素。

在其中一个实施例中，结果获取模块650，包括：

反馈页面获取单元，用于对待测试界面上的对应的待测试元素执行操作动作得到反馈页面。

内容识别单元，用于对反馈页面进行内容识别得到操作动作对应的操作结果。

在其中一个实施例中，内容识别单元，包括：

文字识别子单元，用于利用预先训练的文字识别模型识别反馈页面中的反馈文字。

预设文字获取子单元，用于获取操作动作对应的预设文字。

文字匹配子单元，用于将反馈文字与预设文字进行文字匹配。

第一操作结果子单元，用于根据文字匹配的结果得到操作动作对应的操作结果。

在其中一个实施例中，内容识别单元，包括：

预设界面获取子单元，用于获取操作动作对应的预设界面。

指纹获取子单元，用于获取反馈页面对应的反馈页面图像指纹，以及预设界面对应的预设界面图像指纹。

相似度计算子单元，用于计算反馈页面图像指纹与预设界面图像指纹之间的相似度。

第二操作结果子单元，用于根据相似度得到操作动作对应的操作结果。

在其中一个实施例中，反馈页面获取单元，包括：

输入信息获取子单元，用于当待测试元素的操作动作对应为输入动作时，接收针对待测试元素的输入信息。

点击操作获取子单元，用于当待测试元素的操作动作对应为点击动作时，接收针对待测试元素的点击操作。

反馈页面获取子单元，用于根据各输入信息以及各点击操作得到反馈页面。

在其中一个实施例中，报告生成模块660，包括：

报告生成子单元，用于在预设的测试框架中根据各待测试元素、各待测试元素对应的操作动作以及各待测试元素对应的测试结果生成待测试界面对应的测试报告，将测试报告存储于区块链中。

关于基于人工智能的界面测试装置的具体限定可以参见上文中对于基于人工智能的界面测试方法的限定，在此不再赘述。上述基于人工智能的界面测试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于人工智能的界面测试的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人工智能的界面测试方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：接收针对待测试界面的界面测试请求；根据界面测试请求获取待测试界面对应的待测试界面图像；对待测试界面图像进行分割得到待测试元素；识别各待测试元素的元素类别，并从预设数据库中查找各元素类别对应的操作动作；对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果；根据操作结果生成待测试界面对应的测试报告。

在其中一个实施例中，处理器执行计算机程序时实现对待测试界面图像进行分割得到待测试元素的步骤时还用于：获取待测试界面图像对应的待测试界面特征图；对待测试界面特征图进行上采样得到上采样特征图，上采样特征图与待测试界面图像的尺寸一致；利用预先训练的分类算法对上采样特征图的像素进行分类；根据分类后的像素对待测试界面图像进行分割得到与待测试界面图像中的元素尺寸一致的待测试元素。

在其中一个实施例中，处理器执行计算机程序时实现对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果的步骤时还用于：对待测试界面上的对应的待测试元素执行操作动作得到反馈页面；对反馈页面进行内容识别得到操作动作对应的操作结果。

在其中一个实施例中，处理器执行计算机程序时实现对反馈页面进行内容识别得到操作动作对应的操作结果的步骤时还用于：利用预先训练的文字识别模型识别反馈页面中的反馈文字；获取操作动作对应的预设文字；将反馈文字与预设文字进行文字匹配；根据文字匹配的结果得到操作动作对应的操作结果。

在其中一个实施例中，处理器执行计算机程序时实现对反馈页面进行内容识别得到操作动作对应的操作结果的步骤时还用于：获取操作动作对应的预设界面；获取反馈页面对应的反馈页面图像指纹，以及预设界面对应的预设界面图像指纹；计算反馈页面图像指纹与预设界面图像指纹之间的相似度；根据相似度得到操作动作对应的操作结果。

在其中一个实施例中，处理器执行计算机程序时实现对待测试界面上的对应的待测试元素执行操作动作得到反馈页面的步骤时还用于：当待测试元素的操作动作对应为输入动作时，接收针对待测试元素的输入信息；当待测试元素的操作动作对应为点击动作时，接收针对待测试元素的点击操作；根据各输入信息以及各点击操作得到反馈页面。

在其中一个实施例中，处理器执行计算机程序时实现根据操作结果生成待测试界面对应的测试报告的步骤时还用于：在预设的测试框架中根据各待测试元素、各待测试元素对应的操作动作以及各待测试元素对应的测试结果生成待测试界面对应的测试报告，将测试报告存储于区块链中。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：接收针对待测试界面的界面测试请求；根据界面测试请求获取待测试界面对应的待测试界面图像；对待测试界面图像进行分割得到待测试元素；识别各待测试元素的元素类别，并从预设数据库中查找各元素类别对应的操作动作；对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果；根据操作结果生成待测试界面对应的测试报告。

在其中一个实施例中，计算机程序被处理器执行时实现对待测试界面图像进行分割得到待测试元素的步骤时还用于：获取待测试界面图像对应的待测试界面特征图；对待测试界面特征图进行上采样得到上采样特征图，上采样特征图与待测试界面图像的尺寸一致；利用预先训练的分类算法对上采样特征图的像素进行分类；根据分类后的像素对待测试界面图像进行分割得到与待测试界面图像中的元素尺寸一致的待测试元素。

在其中一个实施例中，计算机程序被处理器执行时实现对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果的步骤时还用于：对待测试界面上的对应的待测试元素执行操作动作得到反馈页面；对反馈页面进行内容识别得到操作动作对应的操作结果。

在其中一个实施例中，计算机程序被处理器执行时实现对反馈页面进行内容识别得到操作动作对应的操作结果的步骤时还用于：利用预先训练的文字识别模型识别反馈页面中的反馈文字；获取操作动作对应的预设文字；将反馈文字与预设文字进行文字匹配；根据文字匹配的结果得到操作动作对应的操作结果。

在其中一个实施例中，计算机程序被处理器执行时实现对反馈页面进行内容识别得到操作动作对应的操作结果的步骤时还用于：获取操作动作对应的预设界面；获取反馈页面对应的反馈页面图像指纹，以及预设界面对应的预设界面图像指纹；计算反馈页面图像指纹与预设界面图像指纹之间的相似度；根据相似度得到操作动作对应的操作结果。

在其中一个实施例中，计算机程序被处理器执行时实现对待测试界面上的对应的待测试元素执行操作动作得到反馈页面的步骤时还用于：当待测试元素的操作动作对应为输入动作时，接收针对待测试元素的输入信息；当待测试元素的操作动作对应为点击动作时，接收针对待测试元素的点击操作；根据各输入信息以及各点击操作得到反馈页面。

在其中一个实施例中，计算机程序被处理器执行时实现根据操作结果生成待测试界面对应的测试报告的步骤时还用于：在预设的测试框架中根据各待测试元素、各待测试元素对应的操作动作以及各待测试元素对应的测试结果生成待测试界面对应的测试报告，将测试报告存储于区块链中。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于人工智能的界面测试方法，其特征在于，所述方法包括：

接收针对待测试界面的界面测试请求；

根据所述界面测试请求利用图像快照功能获取所述待测试界面对应的待测试界面图像；所述待测试界面图像包括所述待测试界面的元素定位信息和结构树信息；所述元素定位信息用于表征所述待测试界面中的各元素对应的坐标信息，所述结构树用于表征所述待测试界面中各元素之间的结构关系；

获取所述待测试界面图像对应的待测试界面特征图；

对所述待测试界面特征图进行上采样得到上采样特征图，所述上采样特征图与所述待测试界面图像的尺寸一致；

利用预先训练的分类算法对所述上采样特征图的像素进行分类；

根据分类后的像素对所述待测试界面图像进行分割得到与所述待测试界面图像中的元素尺寸一致的待测试元素；

根据预先训练的类别识别模型识别各所述待测试元素的元素类别，并从预设数据库中查找各所述元素类别对应的操作动作；

对所述待测试界面上的对应的所述待测试元素执行所述操作动作得到对应的操作结果；

根据所述操作结果生成所述待测试界面对应的测试报告。

2.根据权利要求1所述的方法，其特征在于，所述对所述待测试界面上的对应的所述待测试元素执行所述操作动作得到对应的操作结果，包括：

对所述待测试界面上的对应的所述待测试元素执行所述操作动作得到反馈页面；

对所述反馈页面进行内容识别得到所述操作动作对应的操作结果。

3.根据权利要求2所述的方法，其特征在于，所述对所述反馈页面进行内容识别得到所述操作动作对应的操作结果，包括：

利用预先训练的文字识别模型识别所述反馈页面中的反馈文字；

获取所述操作动作对应的预设文字；

将所述反馈文字与所述预设文字进行文字匹配；

根据所述文字匹配的结果得到所述操作动作对应的操作结果。

4.根据权利要求2所述的方法，其特征在于，所述对所述反馈页面进行内容识别得到所述操作动作对应的操作结果，包括：

获取所述操作动作对应的预设界面；

获取所述反馈页面对应的反馈页面图像指纹，以及所述预设界面对应的预设界面图像指纹；

计算所述反馈页面图像指纹与所述预设界面图像指纹之间的相似度；

根据所述相似度得到所述操作动作对应的操作结果。

5.根据权利要求2至4任意一项所述的方法，其特征在于，所述对所述待测试界面上的对应的所述待测试元素执行所述操作动作得到反馈页面，包括：

当所述待测试元素的操作动作对应为输入动作时，接收针对所述待测试元素的输入信息；

当所述待测试元素的操作动作对应为点击动作时，接收针对所述待测试元素的点击操作；

根据各所述输入信息以及各所述点击操作得到反馈页面。

6.根据权利要求1所述的方法，其特征在于，所述根据所述操作结果生成所述待测试界面对应的测试报告，包括：

在预设的测试框架中根据各所述待测试元素、各所述待测试元素对应的操作动作以及各所述待测试元素对应的测试结果生成所述待测试界面对应的测试报告，将所述测试报告存储于区块链中。

7.一种基于人工智能的界面测试装置，其特征在于，所述装置包括：

请求接收模块，用于接收针对待测试界面的界面测试请求；

界面图像获取模块，用于根据所述界面测试请求利用图像快照功能获取所述待测试界面对应的待测试界面图像；所述待测试界面图像包括所述待测试界面的元素定位信息和结构树信息；所述元素定位信息用于表征所述待测试界面中的各元素对应的坐标信息，所述结构树用于表征所述待测试界面中各元素之间的结构关系；

分割模块，用于获取所述待测试界面图像对应的待测试界面特征图；对所述待测试界面特征图进行上采样得到上采样特征图，所述上采样特征图与所述待测试界面图像的尺寸一致；利用预先训练的分类算法对所述上采样特征图的像素进行分类；根据分类后的像素对所述待测试界面图像进行分割得到与所述待测试界面图像中的元素尺寸一致的待测试元素；

动作查找模块，用于根据预先训练的类别识别模型识别各所述待测试元素的元素类别，并从预设数据库中查找各所述元素类别对应的操作动作；

结果获取模块，用于对所述待测试界面上的对应的所述待测试元素执行所述操作动作得到对应的操作结果；

报告生成模块，用于根据所述操作结果生成所述待测试界面对应的测试报告。

8.根据权利要求7所述的装置，其特征在于，

所述结果获取模块，还用于对所述待测试界面上的对应的所述待测试元素执行所述操作动作得到反馈页面；对所述反馈页面进行内容识别得到所述操作动作对应的操作结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。