CN104951393A - 测试方法和测试装置 - Google Patents

Abstract

本发明公开了一种适用于桌面云环境的测试方法和测试装置，涉及测试领域。本发明通过获取用户实际操作界面的屏幕图像，并从中获取用户操作的界面元素以及操作来录制脚本，然后在回放脚本时通过图像匹配来找到用户操作在屏幕中的坐标点，并在该坐标点执行脚本记录的用户对界面元素的操作，整个测试过程不需要记录用户的协议级操作，录制/回放的脚本仅与图像、键鼠等用户操作有关，适用于桌面云环境的自动化测试，能够实现对终端和桌面云的自动化测试。

Description

测试方法和测试装置

技术领域

本发明涉及测试领域，特别涉及一种适用于桌面云环境的测试方法和测试装置。

背景技术

目前终端产品的开发阶段测试工作，尤其是移动终端和瘦终端产品的开发阶段测试工作，对于产品的质量控制起着重要作用。终端产品测试点多，测试案例繁琐重复，人工手动测试工作量大，工作效率低，速度慢，测试人员容易疲劳，难以完成终端产品长时间大负载的可靠性测试。

目前的自动化测试软件如Loadrunner主要基于Windows平台或Linux平台，实现对C/S（客户端/服务器端）、B/S（浏览器/服务器端）及WEB（互联网）等架构下的自动化测试。这些软件需要记录用户的每个协议级操作，并以API（应用程序接口）函数方式记录在脚本里。回放脚本的时候，通过在自动化测试工具中执行API函数来模拟最初用户的操作动作。

然而，在桌面云环境中，通过远程桌面传输协议在终端和云平台间传输的主要是图像和键鼠坐标等信息，现有的自动化测试软件不支持这些远程桌面传输协议，如PCoIP、ICA、RDP等，无法记录用户协议级操作，因此无法实现脚本录制和回放。因此，需要提出一种适用于桌面云环境，能够对终端和桌面云进行自动化测试的技术。

发明内容

本发明实施例所要解决的一个技术问题是：解决桌面云环境下的自动化测试问题。

根据本发明实施例的一个方面，提出一种测试方法，包括：根据屏幕获取参数获取用户实际操作界面的屏幕图像；根据界面元素获取方式参数从屏幕图像中获取用户操作的界面元素；记录用户对界面元素的操作；保存用户操作的界面元素以及用户对界面元素的操作形成脚本；在回放脚本时截取当前整个屏幕图像；在当前整个屏幕图像中搜索与脚本记录的界面元素相匹配的区域；如果搜索到匹配的区域，输出该匹配区域的坐标值，并在该坐标值的位置执行脚本记录的用户对界面元素的操作；如果没有搜索到匹配的区域，输出错误报告。

在一个实施例中，屏幕获取参数例如可以为：用户操作点周围预设区域内的图像、全屏或者手工截取。

在一个实施例中，根据界面元素获取方式参数从屏幕图像中获取用户操作的界面元素包括：在界面元素自动获取方式下，从屏幕图像中自动对用户操作点预设范围内的区域进行截图，根据背景提取参数获取背景图像，从截图中过滤背景图像得到用户操作的界面元素；或，在界面元素手动获取方式下，从屏幕图像中手动对用户操作的界面元素所在区域进行截图，从截图中去掉背景得到用户操作的界面元素。

在一个实施例中，背景提取参数例如可以为用户自定义背景，或，根据图像特征自动抽取背景。

在一个实施例中，用户对界面元素的操作例如包括鼠标操作、键盘操作和触控操作。

在一个实施例中，在当前整个屏幕图像中搜索与脚本记录的界面元素相匹配的区域包括：根据图像匹配算法在当前整个屏幕图像中搜索与脚本记录的界面元素相匹配的区域；其中，图像匹配算法包括：基于图像灰度的配准方法、基于图像特征的配准方法、基于模型的匹配算法、以及基于变换域的匹配方法。

根据本发明实施例的再一个方面，提出一种测试装置，包括：屏幕图像获取模块，用于在录制脚本时根据屏幕获取参数获取用户实际操作界面的屏幕图像，或者，用于在回放脚本时截取当前整个屏幕图像；界面元素获取模块，用于根据界面元素获取方式参数从屏幕图像中获取用户操作的界面元素；操作录制模块，用于记录用户对界面元素的操作，保存用户操作的界面元素以及用户对界面元素的操作形成脚本；图像搜索模块，用于在屏幕图像获取模块截取的当前整个屏幕图像中搜索与界面元素获取模块获取的界面元素相匹配的区域，如果搜索到匹配的区域，输出该匹配区域的坐标值给操作回放模块，如果没有搜索到匹配的区域，输出错误报告；操作回放模块，用于在该匹配区域的坐标值的位置执行脚本记录的用户对界面元素的操作。

在一个实施例中，界面元素获取模块，具体用于：在界面元素自动获取方式下，从屏幕图像中自动对用户操作点预设范围内的区域进行截图，根据背景提取参数获取背景图像，从截图中过滤背景图像得到用户操作的界面元素；或者，在界面元素手动获取方式下，从屏幕图像中手动对用户操作的界面元素所在区域进行截图，从截图中去掉背景得到用户操作的界面元素。

在一个实施例中，图像搜索模块，具体用于：根据图像匹配算法在当前整个屏幕图像中搜索与脚本记录的界面元素相匹配的区域；其中，图像匹配算法包括：基于图像灰度的配准方法、基于图像特征的配准方法、基于模型的匹配算法、以及基于变换域的匹配方法。

本发明实施例通过获取用户实际操作界面的屏幕图像，并从中获取用户操作的界面元素以及操作来录制脚本，然后在回放脚本时通过图像匹配来找到用户操作在屏幕中的坐标点，并在该坐标点执行脚本记录的用户对界面元素的操作，整个测试过程不需要记录用户的协议级操作，录制/回放的脚本仅与图像、键鼠等用户操作有关，适用于桌面云环境的自动化测试，能够实现对终端和桌面云的自动化测试。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出本发明测试方法一个实施例的流程示意图。

图2示出本发明测试方法一个应用实例的流程示意图。

图3示出本发明测试装置一个实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为了解决桌面云环境下的自动化测试问题，本发明提出一种基于图像匹配的测试技术，该测试技术不需要记录用户的协议级操作，录制/回放的脚本仅与图像、键鼠等用户操作有关，适用于桌面云环境的自动化测试，能够实现对终端和桌面云的自动化测试。

图1为本发明测试方法一个实施例的流程示意图。本实施例的测试方法包括录制脚本和回放脚本两个部分，其中，录制脚本部分参见步骤S101～S104，回放脚本部分参见步骤S105～S107。如图1所示，本实施例的方法包括以下步骤：

首先，开始录制脚本，参见步骤S101～S104：

步骤S101，根据屏幕获取参数获取用户实际操作界面的屏幕图像。

其中，屏幕获取参数可以预先设置，也可以根据需要改变参数设置。屏幕获取参数例如可以为：用户操作点周围预设区域内的图像、全屏或者手工截取。其中，用户操作点周围预设区域内的图像以及全屏属于自动截取方式。用户操作也称用户动作，包括鼠标操作、键盘操作和触控操作等，相应的，用户操作点包括鼠标操作点、键盘操作点和触控操作点等。用户操作点周围预设区域可以为用户操作点周围指定长度和宽度的区域。

如果屏幕获取参数为“用户操作点周围预设区域内的图像”，则会自动检测用户操作点的位置，并以该用户操作点为中心，获取其周围指定长度和宽度的区域内的屏幕图像。

如果屏幕获取参数为“全屏”，则获取当前用户实际操作界面的整个屏幕图像。

如果屏幕获取参数为“手工截取”，则检测用户截取的屏幕图像的范围，并获取该范围内的屏幕图像。

步骤S102，根据界面元素获取方式参数从屏幕图像中获取用户操作的界面元素。

其中，界面元素例如包括按钮、图标、菜单等，但不限于此。举例来说，打开一个word文档，可以在该文档所在文件夹中点这个word文档的图形标志，也可以双击这个word文档的文字名称，这个图形标志和文字名称就是界面元素。

其中，界面元素获取方式参数包括界面元素自动获取方式和界面元素手动获取方式。在一个实施例中，根据界面元素获取方式参数从屏幕图像中获取用户操作的界面元素包括：

在界面元素手动获取方式下，从屏幕图像中手动对用户操作的界面元素所在区域进行截图，从截图中去掉背景即可得到用户操作的界面元素。其中一种方法，可以调用图像处理工具去掉背景。

在界面元素自动获取方式下，从屏幕图像中自动对用户操作点预设范围内的区域进行截图（具体可以参考步骤S101中屏幕获取参数为“用户操作点周围预设区域内的图像”的屏幕图像获取方式），根据背景提取参数获取背景图像，从截图中过滤背景图像得到用户操作的界面元素。在一个实施例中，背景提取参数例如可以为用户自定义背景，或，根据图像特征自动抽取背景。

步骤S103，记录用户对界面元素的操作。

在一个实施例中，用户对界面元素的操作例如包括鼠标操作、键盘操作和触控操作等，但不限于此。鼠标操作例如包括双击、单击等。键盘操作例如包括输入、回车等。触控操作例如包括点击、滑动、多点触控等。本领域技术人员可以理解用户对界面元素的操作方式不限于前述所举示例。

步骤S104，保存用户操作的界面元素以及用户对界面元素的操作形成脚本，结束脚本录制。一般情况下，可以按照用户的操作顺序，保存用户操作的界面元素以及用户对界面元素的操作形成脚本。

然后，回放脚本，参见步骤S105～S107：

步骤S105，在回放脚本时截取当前整个屏幕图像。后续将基于整个屏幕图像进行匹配和测试，提高测试过程的容错性，防止由于图像截取的误差影响测试结果的准确性。

步骤S106，在当前整个屏幕图像中搜索与脚本记录的界面元素相匹配的区域；如果搜索到匹配的区域，输出该匹配区域的坐标值，然后执行步骤S107；如果没有搜索到匹配的区域，输出错误报告。

在一个实施例中，在当前整个屏幕图像中搜索与脚本记录的界面元素相匹配的区域包括：根据图像匹配算法在当前整个屏幕图像中搜索与脚本记录的界面元素相匹配的区域；其中，图像匹配算法包括：基于图像灰度的配准方法、基于图像特征的配准方法、基于模型的匹配算法、以及基于变换域的匹配方法等，但不限于所举示例，算法的具体实现可以参考现有的一些方法。

以基于灰度特征的ABSOLUTE BLANCE SEARCH算法为例，利用模板图像和待匹配图像上的搜索窗口之间的像素差别来表示二者的相关性，大小等于模板图像的搜索窗口在待匹配图像上按某一顺序滑动，每滑动一次就进行一次模板图像和搜索窗口之间的相关性计算，以此来判断当前的搜索窗口与模板图像是否匹配。如果差别小于预定的阈值，则认为匹配成功，否则，认为匹配失败。

基于变换域的匹配方法例如可以是基于傅式变换的匹配方法，傅式变换有比较成熟的快速算法，且易于用硬件实现，匹配速度比较快。

步骤S107，在该坐标值的位置执行脚本记录的用户对界面元素的操作，结束脚本回放。

在脚本回放过程中，如果所有步骤均可顺利执行，则测试结果为通过测试；回放过程中如果出现要操作的界面元素在当前截屏中找不到匹配的区域，也就是图像匹配不成功，则出现错误，测试结果为未通过测试。

上述实施例的测试方法，通过获取用户实际操作界面的屏幕图像，并从中获取用户操作的界面元素以及操作来录制脚本，然后在回放脚本时通过图像匹配来找到用户操作在屏幕中的坐标点，并在该坐标点执行脚本记录的用户对界面元素的操作，整个测试过程不需要记录用户的协议级操作，录制/回放的脚本仅与图像、键鼠等用户操作有关，适用于桌面云环境的自动化测试，能够实现对终端和桌面云的自动化测试。

下面列举一个本发明测试方法的应用示例，即，从终端对桌面云的一个名为"测试.doc"的word文档进行打开、关闭操作的自动化测试过程。如图2所示，本实施例的测试方法包括以下步骤：

步骤S201，开始录制脚本。

步骤S202，设置屏幕获取参数为鼠标周围区域的图像。

步骤S203，设置界面元素获取方式参数为根据鼠标动作点坐标和背景提取参数自动抽取界面元素，且由用户自定义背景图像，并导入“测试.doc”所在的文件夹的背景图像。

步骤S204，用户在桌面云中鼠标左键双击"测试.doc"的图标，在检测到用户的鼠标操作后，截取鼠标点击时鼠标周围预设区域内的屏幕图像，将所截取的屏幕图像与背景图像对比，过滤背景，生成“测试.doc”图标的界面元素，并记录鼠标动作为双击。在“测试.doc”打开后，鼠标左键单击文档右上角的关闭按钮“X”来关闭文档，在检测到用户的鼠标操作后，截取鼠标点击时鼠标周围预设区域的屏幕图像，生成关闭按钮“X”的界面元素，并记录鼠标动作为单击。

步骤S205，结束脚本录制，保存脚本文件。

步骤S206，回放脚本。

步骤S207，截取当前整个屏幕图像。

步骤S208，通过图像匹配算法，在当前屏幕图像中搜索与“测试.doc”图标的界面元素相匹配的区域，如果搜索到匹配区域，则输出该匹配区域的坐标值，如果没有搜索到匹配区域，则报错。

步骤S209，对步骤S208输出的坐标位置回放鼠标左键双击操作。

步骤S210，截取当前整个屏幕图像，此时的屏幕图像与步骤S207的屏幕图像不同。

步骤S211，通过图像匹配算法，在当前屏幕图像中搜索与关闭按钮“X”的界面元素匹配的区域，如果搜索到匹配区域，则输出该匹配区域的坐标值，如果没有搜索到匹配区域，则报错。

步骤S212，对步骤S211输出的坐标位置回放鼠标左键单击动作。

步骤S213，结束脚本回放。

图3为本发明测试装置一个实施例的结构示意图。如图3所示，本实施例的测试装置包括：

屏幕图像获取模块301，用于在录制脚本时根据屏幕获取参数获取用户实际操作界面的屏幕图像，或者，用于在回放脚本时截取当前整个屏幕图像；

界面元素获取模块302，用于根据界面元素获取方式参数从屏幕图像中获取用户操作的界面元素；

操作录制模块303，用于记录用户对界面元素的操作，保存用户操作的界面元素以及用户对界面元素的操作形成脚本；

图像搜索模块304，用于在屏幕图像获取模块301截取的当前整个屏幕图像中搜索与界面元素获取模块302获取的界面元素相匹配的区域，如果搜索到匹配的区域，输出该匹配区域的坐标值给操作回放模块，如果没有搜索到匹配的区域，输出错误报告；以及

操作回放模块305，用于在该匹配区域的坐标值的位置执行脚本记录的用户对界面元素的操作。

在一个实施例中，屏幕获取参数为：用户操作点周围预设区域内的图像、全屏或者手工截取。屏幕图像获取模块301具体用于：

如果屏幕获取参数为“用户操作点周围预设区域内的图像”，则自动检测用户操作点的位置，并以该用户操作点为中心，获取其周围指定长度和宽度的区域内的屏幕图像；

如果屏幕获取参数为“全屏”，则获取当前用户实际操作界面的整个屏幕图像；

如果屏幕获取参数为“手工截取”，则检测用户截取的屏幕图像的范围，并获取该范围内的屏幕图像。

在一个实施例中，界面元素获取模块302具体用于：在界面元素自动获取方式下，从屏幕图像中自动对用户操作点预设范围内的区域进行截图，根据背景提取参数获取背景图像，从截图中过滤背景图像得到用户操作的界面元素；或者，在界面元素手动获取方式下，从屏幕图像中手动对用户操作的界面元素所在区域进行截图，从截图中去掉背景得到用户操作的界面元素。

在一个实施例中，背景提取参数例如可以为用户自定义背景，或，根据图像特征自动抽取背景。

在一个实施例中，图像搜索模块304具体用于：根据图像匹配算法在当前整个屏幕图像中搜索与脚本记录的界面元素相匹配的区域；其中，图像匹配算法包括：基于图像灰度的配准方法、基于图像特征的配准方法、基于模型的匹配算法、以及基于变换域的匹配方法。

在一个实施例中，用户对界面元素的操作例如包括鼠标操作、键盘操作和触控操作等，但不限于此。

上述实施例的测试装置，通过获取用户实际操作界面的屏幕图像，并从中获取用户操作的界面元素以及操作来录制脚本，然后在回放脚本时通过图像匹配来找到用户操作在屏幕中的坐标点，并在该坐标点执行脚本记录的用户对界面元素的操作，整个测试过程不需要记录用户的协议级操作，录制/回放的脚本仅与图像、键鼠等用户操作有关，适用于桌面云环境的自动化测试，能够实现对终端和桌面云的自动化测试。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种测试方法，包括：

根据屏幕获取参数获取用户实际操作界面的屏幕图像；

根据界面元素获取方式参数从所述屏幕图像中获取用户操作的界面元素；

记录用户对界面元素的操作；

保存用户操作的界面元素以及用户对界面元素的操作形成脚本；

在回放所述脚本时截取当前整个屏幕图像；

在所述当前整个屏幕图像中搜索与所述脚本记录的界面元素相匹配的区域；

如果搜索到匹配的区域，输出该匹配区域的坐标值，并在该坐标值的位置执行所述脚本记录的用户对界面元素的操作；

如果没有搜索到匹配的区域，输出错误报告。

2.根据权利要求1所述的方法，其特征在于，所述屏幕获取参数为：用户操作点周围预设区域内的图像、全屏或者手工截取。

3.根据权利要求1所述的方法，其特征在于，所述根据界面元素获取方式参数从所述屏幕图像中获取用户操作的界面元素包括：

在界面元素自动获取方式下，从所述屏幕图像中自动对用户操作点预设范围内的区域进行截图，根据背景提取参数获取背景图像，从截图中过滤背景图像得到用户操作的界面元素；或者，

在界面元素手动获取方式下，从所述屏幕图像中手动对用户操作的界面元素所在区域进行截图，从截图中去掉背景得到用户操作的界面元素。

4.根据权利要求3所述的方法，其特征在于，所述背景提取参数为用户自定义背景，或者，根据图像特征自动抽取背景。

5.根据权利要求1所述的方法，其特征在于，所述用户对界面元素的操作包括鼠标操作、键盘操作和触控操作。

6.根据权利要求1所述的方法，其特征在于，在所述当前整个屏幕图像中搜索与所述脚本记录的界面元素相匹配的区域包括：

根据图像匹配算法在所述当前整个屏幕图像中搜索与所述脚本记录的界面元素相匹配的区域；其中，所述图像匹配算法包括：基于图像灰度的配准方法、基于图像特征的配准方法、基于模型的匹配算法、以及基于变换域的匹配方法。

7.一种测试装置，包括：

屏幕图像获取模块，用于在录制脚本时根据屏幕获取参数获取用户实际操作界面的屏幕图像，或者，用于在回放脚本时截取当前整个屏幕图像；

界面元素获取模块，用于根据界面元素获取方式参数从所述屏幕图像中获取用户操作的界面元素；

操作录制模块，用于记录用户对界面元素的操作，保存用户操作的界面元素以及用户对界面元素的操作形成脚本；

图像搜索模块，用于在所述屏幕图像获取模块截取的当前整个屏幕图像中搜索与所述界面元素获取模块获取的界面元素相匹配的区域，如果搜索到匹配的区域，输出该匹配区域的坐标值给操作回放模块，如果没有搜索到匹配的区域，输出错误报告；

操作回放模块，用于在该匹配区域的坐标值的位置执行所述脚本记录的用户对界面元素的操作。

8.根据权利要求7所述的装置，其特征在于，所述屏幕获取参数为：用户操作点周围预设区域内的图像、全屏或者手工截取。

9.根据权利要求7所述的装置，其特征在于，所述界面元素获取模块，具体用于：

在界面元素自动获取方式下，从所述屏幕图像中自动对用户操作点预设范围内的区域进行截图，根据背景提取参数获取背景图像，从截图中过滤背景图像得到用户操作的界面元素；或者，

在界面元素手动获取方式下，从所述屏幕图像中手动对用户操作的界面元素所在区域进行截图，从截图中去掉背景得到用户操作的界面元素。

10.根据权利要求9所述的装置，其特征在于，所述背景提取参数为用户自定义背景，或者，根据图像特征自动抽取背景。

11.根据权利要求7所述的装置，其特征在于，所述用户对界面元素的操作包括鼠标操作、键盘操作和触控操作。

12.根据权利要求7所述的装置，其特征在于，图像搜索模块，具体用于：

根据图像匹配算法在所述当前整个屏幕图像中搜索与所述脚本记录的界面元素相匹配的区域；其中，所述图像匹配算法包括：基于图像灰度的配准方法、基于图像特征的配准方法、基于模型的匹配算法、以及基于变换域的匹配方法。