CN115168193B - 软件性能测试和调优系统及其控制方法 - Google Patents

Abstract

本发明公开了一种软件性能测试和调优系统及其控制方法，包括：框架学习模块，用于加载所述待测软件，对所述待测软件进行模拟操作，记录各软件页面，识别各页面的独立组成元素和独立组成元素的分布关系，记录点击各独立组成元素所跳转的页面，根据各页面的独立组成元素和独立组成元素的分布关系对页面归类不同页面框架，根据归类结果确定页面框架之间的框架关系；脚本生成模块，用于获取目标软件图像，确定所述目标软件图像所述的页面框架，根据所述框架关系得到若干个访问所述目标软件图像对应的页面框架的途经，根据各所述途经生成脚本；测试调优模块，用于根据脚本生成模块生成的脚本对软件进行测试调优。通过上述方案可以改善测试效率。

Description

软件性能测试和调优系统及其控制方法

技术领域

本发明涉及图像识别技术和软件测试技术，尤其是一种软件性能测试和调优系统及其控制方法。

背景技术

在实现性能测试的时候，往往需要大量的脚本，因此需要通过人工方式编辑脚本任务来模拟用户的行为，在AI技术发展的同时可以训练AI来自动生成或者辅助生成脚本。但是这要求AI可以学习到一定软件框架，例如，知道页面之间的跳转关系。

可以基于图像识别的技术来分辨页面，从而梳理跳转关系，但是目前的软件大量的显示内容都从后台进行加载，内容对于前端而言相当于是不可预测的。因此，无法采用比较图像是否一样的方式来分辨是否相同的页面。

这样致使AI模型无法学习到软件的框架和跳转关系。从而难以完成下游任务。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种软件性能测试和调优系统及其控制方法，使得AI模型可以学习到软件框架，从而实现脚本的自动或者辅助生成。

一方面，本发明实施例提供了一种软件性能测试和调优系统，包括：

框架学习模块，用于加载所述待测软件，对所述待测软件进行模拟操作，记录各软件页面，识别各页面的独立组成元素和独立组成元素的分布关系，记录点击各独立组成元素所跳转的页面，根据各页面的独立组成元素和独立组成元素的分布关系对页面归类不同页面框架，根据归类结果确定页面框架之间的框架关系；

脚本生成模块，用于获取目标软件图像，确定所述目标软件图像所述的页面框架，根据所述框架关系得到若干个访问所述目标软件图像对应的页面框架的途经，根据各所述途经生成脚本；

测试调优模块，用于根据脚本生成模块生成的脚本对软件进行测试调优。

在一些实施例中，所述根据归类结果确定页面框架之间的框架关系，具体是：

建立各页面框架的元素集合，其中元素集合中每个元素对应该页面框架独立组成元素，元素集合中每个元素记录点击对应独立组成元素所跳转的页面框架信息。

在一些实施例中，所述识别各页面的独立组成元素和独立组成元素的分布关系，具体包括：

对各页面进行以下处理：

识别页面中的分块，得到分块区域；

识别各分块区域中的各元素，根据元素的尺寸和元素之间的位置关系确定分块中的元素是否为独立组成元素；

对页面进行上划加载，识别新加载的画面中的元素；

当新加载画面中的独立组成元素与未加载前页面底部的独立组成元素相同时，判定未加载前页面底部的独立组成元素为重复元素；

对页面中独立组成元素进行编码，所述编码中包含元素类型、元素位置信息；其中，只对未加载前页面底部的重复元素或者只对第一个出现的重复元素进行编码；

通过所述编码集合表示页面的独立组成元素和独立组成元素的分布关系。

在一些实施例中，所述识别各分块区域中的各元素，根据元素的尺寸和元素之间的位置关系确定分块中的元素是否为独立组成元素，具体包括：

识别分块区域中的文字元素和图片元素；

将处于图片元素下方或者图片元素内的文字元素和该图片元素归为一个候选组成元素；

当分块内各候选组成元素相互间的尺寸差均小于第一阈值，且各候选组成元素的分布位置满足预设的分布方式时，判定各候选组成元素均为独立组成元素。

在一些实施例中，包括以下步骤：所述脚本生成模块还用于根据多个所述途经生成对应的访问节点图，所述访问节点图中包括多个节点，每个节点对应从访问起点到目标访问页面的节点界面示意图或者页面框架。

在一些实施例中，所述脚本生成模块还包括生成条件获取单元，所述生成条件获取单元包括节点数量选项、排除页面选项以及排列方式选项；

其中，所述节点数量选项用于限制生成的脚本中涉及软件页面的数量；所述脚本生成模块生成满足节点数量选项选中的节点数量的脚本；

所述排除页面选项用于选择需要排除的页面框架；所述脚本生成模块在生成脚本时，排除包含被排除的页面框架的节点的脚本；

所述排列方式选项用于选择已经生成的脚本的排序方式；所述脚本生成模块根据所述排列方式选项生成脚本排序列表，以供用户选择用于测试阶段的脚本。

在一些实施例中，当分块内各候选组成元素相互间的尺寸差均小于第一阈值，具体是指：

各候选组成元素两两之间的面积差占面积较大的候选元素面积的比例小于第一阈值。

在一些实施例中，所述识别各分块区域中的各元素，根据元素的尺寸和元素之间的位置关系确定分块中的元素是否为独立组成元素，还包括：

校验边缘距离小于第二阈值的两个独立组成元素在点击后跳转的页面是否相同，若是，则将两个独立组成元素合并为一个独立组成元素。

在一些实施例中，所述编码具体包含元素类型信息、元素所在行信息和元素所在列信息；

其中，所述元素类型信息包括图像、文字及其组合；所述元素所在行信息和元素所在列信息取值可以是多个。

另一方面，本发明实施例提供了一种所述的软件性能测试和调优系统的控制方法，包括以下步骤：

加载所述待测软件；

对所述待测软件进行模拟操作；

记录各软件页面，识别各页面的独立组成元素和独立组成元素的分布关系；

记录点击各独立组成元素所跳转的页面；

根据各页面的独立组成元素和独立组成元素的分布关系对页面归类不同页面框架；

根据归类结果确定页面框架之间的框架关系。

本发明实施例的有益效果是：本发明包括框架学习模块、脚本生成模块和测试调优模块，通过框架学习模块加载所述待测软件，对所述待测软件进行模拟操作，记录各软件页面，识别各页面的独立组成元素和独立组成元素的分布关系，记录点击各独立组成元素所跳转的页面，根据各页面的独立组成元素和独立组成元素的分布关系对页面归类不同页面框架，根据归类结果确定页面框架之间的框架关系；其中，框架学习模块通过分析各页面的独立组成元素和他们的分布关系来学习页面框架，从而抽取出与页面内容无关的信息，这样即便在待测软件的生产环境中，也可以通过点击页面学习到待测软件的相关信息，从而可以基于学习到的框架信息执行下游的任务；本发明还配置有脚本生成模块，器可以获取目标软件图像，确定所述目标软件图像所述的页面框架，根据所述框架关系得到若干个访问所述目标软件图像对应的页面框架的途经，根据各所述途经生成脚本；那么意味着，用户只需要指定某个目标的页面，系统可以识别出该页面对应的页面框架，并以首页作为起点，确定从起点到对应页面框架的途径，并基于这些途径生成测试脚本来模拟人的操作行为，这样可以节省测试人员手动编写或者录制测试脚本的时间，根据脚本生成模块生成的脚本测试人员可以对软件进行测试调优；通过本发明实施例可以减轻测试人员的工作。

附图说明

下面结合附图和实施例对本发明做进一步的说明，其中：

图1为软件性能测试和调优系统的模块框图；

图2为待测软件的框架关系示意图；

图3为待测软件的一种界面示意图；

图4为待测软件的另一种界面示意图；

图5为软件性能测试和调优系统的界面示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

参照图1，本实施例公开了一种软件性能测试和调优系统，包括：

框架学习模块，用于加载所述待测软件，对所述待测软件进行模拟操作，记录各软件页面，识别各页面的独立组成元素和独立组成元素的分布关系，记录点击各独立组成元素所跳转的页面，根据各页面的独立组成元素和独立组成元素的分布关系对页面归类不同页面框架，根据归类结果确定页面框架之间的框架关系。

可以理解的是，在本实施例中，待测软件是指将要接受诸如压力测试等目标软件，可以是APP等，在本实施例中，框架学习模块会识别图中的元素，然后点击这些元素，记录相关的页面和跳转关系，从而学习其中的页面之间的关系。在本方案中，考虑到相同页面在不同时候内容可以不同，例如，购物软件的首页，每次打开内容都存在差异。如果直接学习页面中的内容，根本无法使模型学习到任何内容，因为每次图片文字都不一样。因此，在本方案中学习的不是具体的图片或者问题，而是页面的框架。例如，在页面的何种位置放置了图片，在何种位置放置了文字。通过这一方式，可以将相同框架的页面进行归类，从而发现页面之间跳转关系。只需要学习到，在某个页面框架中的某个元素在点击之后，分跳转到另一种页面框架。这样就可以通过机器学习的方式学习到软件之间的跳转关系。而在这过程中，需要识别一些图像模型对软件界面进行分割、元素(图片、文字)识别。

如图2所示，在图2中示出了某种软件界面的示意图，如图所示，系统可以记录界面，然后学习其中的页面框架，从而分析出页面框架之间的跳转关系。例如，图中包括界面(即页面框架)a～e，在界面a中，包括元素1～3，元素1可以跳转到页面c，元素2和元素3可以跳转到页面b(当然，这里的页面是指框架，意味着元素2和元素3实际跳转的页面内容不同，但是属于同类页面)，页面b中元素5可以跳转到页面d，页面c的元素4和页面d中的元素6可以跳转到页面e，页面d中的元素7可以跳转到页面c。页面c的元素8可以跳转到页面a。可见，如果需要生成脚本来访问页面e，可以由多个途径，例如，(页面a，元素1)——(页面c，元素4)——(页面e)；(页面a，元素1)——(页面c，元素8)——(页面1，元素2)——(页面b，元素5)——(页面d，元素6)——(页面e)。从图中可以看出还有多种路径可以实现页面e的访问。通过记录元素类型来分辨页面框架，并通过点击对应的元素位置来实现页面之间的跳转，从而模仿人工生成对应的剧本。这样的方式，用户只需要输入需要访问的页面类型的截图，就可以实现自动或者半自动的剧本生成。

具体地，所述根据归类结果确定页面框架之间的框架关系，具体是：

建立各页面框架的元素集合，其中元素集合中每个元素对应该页面框架独立组成元素，元素集合中每个元素记录点击对应独立组成元素所跳转的页面框架信息。

在本实施例中的元素是指诸如图片、文字等基础元素，而独立组成元素是指作为一个功能单元的至少一个元素的集合。例如，常见的UI设计中，会在图片(图标)下方设置文字指引用户，如图3的元素(1)所示，文字和图片属于一个独立组成元素。元素之间是否属于同一元素，可以基于元素之间的位置关系确定。如元素图，图片中设置有文字，文字和图片也属于同一个独立元素，而区域(3)中有多个规则排列图图案，这些图案保持一定的间距，且按照一定规律排列，各自属于独立元素。

具体地，所述识别各页面的独立组成元素和独立组成元素的分布关系，具体包括：

对各页面进行以下处理：

识别页面中的分块，得到分块区域。可以通过阈值分割的方式识别出前景和背景，在现在的UI设计中，UI组件通常会分块，同一个分块承载至少一个独立组成元素。通常一个分块会和背景底色区分，或者设置有边框线。通过识别颜色差别和线框，可以比较容易地分割出页面中的分块。

识别各分块区域中的各元素，根据元素的尺寸和元素之间的位置关系确定分块中的元素是否为独立组成元素。一般情况下，先将常见属于同一独立组成元素的元素进行合并，然后在根据各候选的独立组成元素之间的位置和尺寸关系来确定这些候选的独立组成元素之间是否真的独立。例如，按照目前主流的UI设计方式，一般同类独立组成元素的尺寸是相同的，并且按照一定的行列方式排布，最典型的是APP的主页，通常主题第一区域会放入主要功能入口。

对页面进行上划加载，识别新加载的画面中的元素。在目前UI设计中，对识别页面造成最大的影响的是“瀑布流”页面，因为其页面元素是无限加载的。如果将这些重复的，无限加载的元素加入到页面的框架特征中，会导致页面的特征描述出现问题。因此，需要进行加载页面，并对新出现的元素进行识别，判断是否为相同的独立组成元素。

当新加载画面中的独立组成元素与未加载前页面底部的独立组成元素相同时，判定未加载前页面底部的独立组成元素为重复元素。在本步骤中，只要将新加载的独立组成元素和底部的独立组成元素进行比较。如果发现两者相同，只需要描述若干个底部的独立组成元素即可以将页面框架特征描述完整。

对页面中独立组成元素进行编码，所述编码中包含元素类型、元素位置信息；其中，只对未加载前页面底部的重复元素或者只对第一个出现的重复元素进行编码；最简单的编码方式，可以构建编码集合，例如，可以设置字段中的元素为：类型-行信息-列信息，可以基于需要添加更多的描述编码。类型可以是文字、图片或者其集合，行信息记录该元素所处的行，列信息描述该元素的列。所述编码具体包含元素类型信息、元素所在行信息和元素所在列信息；其中，所述元素类型信息包括图像、文字及其组合；所述元素所在行信息和元素所在列信息取值可以是多个。如图4所示，元素行数按最大行数进行描述，元素列数也按最大列数描述，因此UI中有4行4列。元素(4)位于第2和3行，第1列，类型是图片，元素(5)位于第2行，第2、3列，类型是文字。

通过所述编码集合表示页面的独立组成元素和独立组成元素的分布关系。当然，上述内容可以用代码表示，从而形成一定长度的向量。

脚本生成模块，用于获取目标软件图像，确定所述目标软件图像所述的页面框架，根据所述框架关系得到若干个访问所述目标软件图像对应的页面框架的途经，根据各所述途经生成脚本。从上面的实施例可知，通过学习软件的框架，可以确定通往某个框架页面的途径。在需要测试某类页面的时候，可以通过上述方案生成各类型的测试脚本供用户选择。也可以基于用户的需求调整脚本的数量，访问途径的节点数量等。

测试调优模块，用于根据脚本生成模块生成的脚本对软件进行测试调优。测试调优时，测试人员可以根据测试工具抓取软件的数据，然后对软件参数进行调整，从而达到调优的目的。

在一些实施例中，所述识别各分块区域中的各元素，根据元素的尺寸和元素之间的位置关系确定分块中的元素是否为独立组成元素，具体包括：

识别分块区域中的文字元素和图片元素。

将处于图片元素下方或者图片元素内的文字元素和该图片元素归为一个候选组成元素。

当分块内各候选组成元素相互间的尺寸差均小于第一阈值，且各候选组成元素的分布位置满足预设的分布方式时，判定各候选组成元素均为独立组成元素。尺寸差均小于第一阈值，具体是指：各候选组成元素两两之间的面积差占面积较大的候选元素面积的比例小于第一阈值。分布位置可以分析元素中心点是否满足行列排布或者矩阵排除。可以基于这些特点，判断处于一个方块中的多个元素是否互为独立组成元素。

校验边缘距离小于第二阈值的两个独立组成元素在点击后跳转的页面是否相同，若是，则将两个独立组成元素合并为一个独立组成元素。通过访问邻近元素的跳转页面，可以基于页面是否相同(是指相同的页面)来判定邻近元素是否属于同一个独立元素组件。

在一些实施例中，包括以下步骤：所述脚本生成模块还用于根据多个所述途经生成对应的访问节点图，所述访问节点图中包括多个节点，每个节点对应从访问起点到目标访问页面的节点界面示意图或者页面框架。如图5所示，在生成脚本的过程中，可以显示节点图供用户观察，并配置节点对应的框架图或者样图供用户参考。

在一些实施例中，如图5所示，为了辅助用户更好地设置相关的脚本，所述脚本生成模块还包括生成条件获取单元，所述生成条件获取单元包括节点数量选项、排除页面选项以及排列方式选项；

其中，所述节点数量选项用于限制生成的脚本中涉及软件页面的数量；所述脚本生成模块生成满足节点数量选项选中的节点数量的脚本。可以理解的是，根据测试的需要，可以限制脚本中访问页面的数量，例如，要求脚本都执行从起点页面开始，五步之内要到达目标页面的。这样只需要设置节点书是1～5即可。

所述排除页面选项用于选择需要排除的页面框架；所述脚本生成模块在生成脚本时，排除包含被排除的页面框架的节点的脚本。在部分测试中，希望进行测试的时候绕开某些特定的页面，可以通过该选项选择对应页面框架，从而在选择访问途径的时候选择不涉及该类型的页面。

所述排列方式选项用于选择已经生成的脚本的排序方式；所述脚本生成模块根据所述排列方式选项生成脚本排序列表，以供用户选择用于测试阶段的脚本。从图5中可知，用户可以勾选相关类型的访问途径，因此通过某种排序方式，例如按照节点数量排序，可以让用户更加便捷地选择相关的脚本。

本实施例提供了一种所述的软件性能测试和调优系统的控制方法，包括以下步骤：

S1、加载所述待测软件；

S2、对所述待测软件进行模拟操作；

S3、记录各软件页面，识别各页面的独立组成元素和独立组成元素的分布关系；

S4、记录点击各独立组成元素所跳转的页面；

S5、根据各页面的独立组成元素和独立组成元素的分布关系对页面归类不同页面框架；

S6、根据归类结果确定页面框架之间的框架关系。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

Claims (8)

1.一种软件性能测试和调优系统，包括：

框架学习模块，用于加载待测软件，对所述待测软件进行模拟操作，记录各软件页面，识别各页面的独立组成元素和独立组成元素的分布关系，记录点击各独立组成元素所跳转的页面，根据各页面的独立组成元素和独立组成元素的分布关系对页面归类不同页面框架，根据归类结果确定页面框架之间的框架关系；

脚本生成模块，用于获取目标软件图像，确定所述目标软件图像所述的页面框架，根据所述框架关系得到若干个访问所述目标软件图像对应的页面框架的途径，根据各所述途径生成脚本；

测试调优模块，用于根据脚本生成模块生成的脚本对软件进行测试调优；

所述根据归类结果确定页面框架之间的框架关系，具体是：

建立各页面框架的元素集合，其中元素集合中每个元素对应该页面框架独立组成元素，元素集合中每个元素记录点击对应独立组成元素所跳转的页面框架信息；

所述识别各页面的独立组成元素和独立组成元素的分布关系，具体包括：

对各页面进行以下处理：

识别页面中的分块，得到分块区域；

识别各分块区域中的各元素，根据元素的尺寸和元素之间的位置关系确定分块中的元素是否为独立组成元素；

对页面进行上划加载，识别新加载的画面中的元素；

当新加载画面中的独立组成元素与未加载前页面底部的独立组成元素相同时，判定未加载前页面底部的独立组成元素为重复元素；

对页面中独立组成元素进行编码，所述编码中包含元素类型、元素位置信息；其中，只对未加载前页面底部的重复元素或者只对第一个出现的重复元素进行编码；

通过所述编码集合表示页面的独立组成元素和独立组成元素的分布关系。

2.根据权利要求1所述的软件性能测试和调优系统，其特征在于，所述识别各分块区域中的各元素，根据元素的尺寸和元素之间的位置关系确定分块中的元素是否为独立组成元素，具体包括：

识别分块区域中的文字元素和图片元素；

将处于图片元素下方或者图片元素内的文字元素和该图片元素归为一个候选组成元素；

当分块内各候选组成元素相互间的尺寸差均小于第一阈值，且各候选组成元素的分布位置满足预设的分布方式时，判定各候选组成元素均为独立组成元素。

3.根据权利要求2所述的软件性能测试和调优系统，其特征在于，包括以下步骤：所述脚本生成模块还用于根据多个所述途径生成对应的访问节点图，所述访问节点图中包括多个节点，每个节点对应从访问起点到目标访问页面的节点界面示意图或者页面框架。

4.根据权利要求3所述的软件性能测试和调优系统，其特征在于，所述脚本生成模块还包括生成条件获取单元，所述生成条件获取单元包括节点数量选项、排除页面选项以及排列方式选项；

其中，所述节点数量选项用于限制生成的脚本中涉及软件页面的数量；所述脚本生成模块生成满足节点数量选项选中的节点数量的脚本；

所述排除页面选项用于选择需要排除的页面框架；所述脚本生成模块在生成脚本时，排除包含被排除的页面框架的节点的脚本；

所述排列方式选项用于选择已经生成的脚本的排序方式；所述脚本生成模块根据所述排列方式选项生成脚本排序列表，以供用户选择用于测试阶段的脚本。

5.根据权利要求2所述的软件性能测试和调优系统，其特征在于，当分块内各候选组成元素相互间的尺寸差均小于第一阈值，具体是指：

各候选组成元素两两之间的面积差占面积较大的候选元素面积的比例小于第一阈值。

6.根据权利要求2所述的软件性能测试和调优系统，其特征在于，所述识别各分块区域中的各元素，根据元素的尺寸和元素之间的位置关系确定分块中的元素是否为独立组成元素，还包括：

校验边缘距离小于第二阈值的两个独立组成元素在点击后跳转的页面是否相同，若是，则将两个独立组成元素合并为一个独立组成元素。

7.根据权利要求1所述的软件性能测试和调优系统，其特征在于，所述编码具体包含元素类型信息、元素所在行信息和元素所在列信息；

其中，所述元素类型信息包括图像、文字及其组合；所述元素所在行信息和元素所在列信息取值可以是多个。

8.一种如权利要求1所述的软件性能测试和调优系统的控制方法，包括以下步骤：

加载所述待测软件；

对所述待测软件进行模拟操作；

记录各软件页面，识别各页面的独立组成元素和独立组成元素的分布关系；

记录点击各独立组成元素所跳转的页面；

根据各页面的独立组成元素和独立组成元素的分布关系对页面归类不同页面框架；

根据归类结果确定页面框架之间的框架关系；

所述根据归类结果确定页面框架之间的框架关系，具体是：

建立各页面框架的元素集合，其中元素集合中每个元素对应该页面框架独立组成元素，元素集合中每个元素记录点击对应独立组成元素所跳转的页面框架信息；

所述识别各页面的独立组成元素和独立组成元素的分布关系，具体包括：

对各页面进行以下处理：

识别页面中的分块，得到分块区域；

识别各分块区域中的各元素，根据元素的尺寸和元素之间的位置关系确定分块中的元素是否为独立组成元素；

对页面进行上划加载，识别新加载的画面中的元素；

当新加载画面中的独立组成元素与未加载前页面底部的独立组成元素相同时，判定未加载前页面底部的独立组成元素为重复元素；

对页面中独立组成元素进行编码，所述编码中包含元素类型、元素位置信息；其中，只对未加载前页面底部的重复元素或者只对第一个出现的重复元素进行编码；

通过所述编码集合表示页面的独立组成元素和独立组成元素的分布关系。

Images