CN104252410B - 一种对页面中的控件进行测试的方法和设备 - Google Patents

Abstract

本申请公开了一种对页面中的控件进行测试的方法和设备，内容包括：扫描测试页面，得到所述测试页面的多个图像区域，以及根据存储的控件的属性与图像标识之间的对应关系，查找与待测试控件的属性相同的图像标识，将扫描得到的每一个图像区域分别与查找到的图像标识对应的图像区域进行相似度比较，并对相似度大于设定阈值的扫描得到的图像区域的属性进行测试，这样在扫描测试页面时，不用考虑显示屏的大小和分辨率，将查找到的图像标识对应的图像区域与扫描得到的图像区域进行相似度比较，就能快速地找到待测试控件的位置区域，对找到的位置区域进行测试，既保证了确定待测试控件位置的准确性，还提高了控件的测试效率。

Description

一种对页面中的控件进行测试的方法和设备

技术领域

本申请涉及互联网信息处理领域，尤其涉及一种对页面中的控件进行测试的方法和设备。

背景技术

随着互联网技术的不断发展，互联网中各个网站的内容丰富多彩，每个网站的内容在加载显示时，需要大量的后台脚本支撑，但是脚本在运行时，由于硬件或者软件等方面的情况，可能导致网站的网页在显示时出现错误，因此，网站运营商需要实时对发布的网站进行测试，以确保运行的网站正常运行。

目前主流的网站自动化测试方法主要包括两类：

第一类方法是：通过被测对象在屏幕中的位置坐标进行自动化检测。例如：代表方法为：autoit方法。

具体地，以网站中的登录控件为例进行说明。在网页显示时，记录登录控件在网页显示屏幕上的坐标位置，通过控制鼠标到记录的坐标位置处执行操作来进行测试。

但是，这种方式记录的坐标位置受到显示屏大小以及显示分辨率的限制，一旦网页显示屏发生改变，将导致无法通过控制鼠标到记录的坐标位置处执行操作。例如：当网页全屏显示在显示屏中，此时记录登录控件的坐标位置（x，y）；针对同样的网页，当网页的显示方式变更为二分之一显示在显示屏中，那么登录控件的坐标位置因为显示方式的不同而发生改变，再通过控制鼠标到记录的坐标位置（x，y）处将无法找到登录控件，也将不能执行测试操作，这样降低了网页测试效率。

第二种方法是：通过脚本信息对网页进行测试。例如：通过DOM tree方式对网页中的控件进行测试。

具体地，仍以网站中的登录控件为例进行说明。当在对网页进行测试时，遍历网页的运行程序信息，测试网页中控件是否显示正常。例如：web driver 对登录控件的测试是通过类似text_box（：id，“login”）的语句进行的。

但是，这种方式虽然避免了第一种方法受到显示屏限制的问题，但是需要依赖大量的程序信息，并且依赖程序的内部实现，当程序内部实现发生改变时，相应的自动化脚本也需要进行改变，这样在进行脚本测试时，将增加大量的工作量，使得测试效率降低。

由此可见，在对网页显示的控件进行测试时存在测试效率低的问题。

发明内容

本申请实施例提供了一种对页面中的控件进行测试的方法和设备，用于解决在对网页显示的控件进行测试时存在测试效率低的问题。

一种对页面中的控件进行测试的方法，包括：

扫描测试页面，得到所述测试页面的多个图像区域，其中，每一个图像区域对应一个控件和/或该控件的组件；

以及根据存储的控件的属性与图像标识之间的对应关系，查找与待测试控件的属性相同的图像标识；

将扫描得到的每一个图像区域分别与查找到的图像标识对应的图像区域进行相似度比较；

在扫描得到的一个图像区域与查找到的图像标识对应的图像区域的相似度大于设定阈值时，对相似度大于设定阈值的扫描得到的该图像区域的属性进行测试。

一种对页面中的控件进行测试的设备，包括：

扫描模块，用于扫描测试页面，得到所述测试页面的多个图像区域，其中，每一个图像区域对应一个控件和/或该控件的组件；

查找模块，用于根据存储的控件的属性与图像标识之间的对应关系，查找与待测试控件的属性相同的图像标识；

比较模块，用于将扫描得到的每一个图像区域分别与查找到的图像标识对应的图像区域进行相似度比较；

测试模块，用于在扫描得到的一个图像区域与查找到的图像标识对应的图像区域的相似度大于设定阈值时，对相似度大于设定阈值的扫描得到的该图像区域的属性进行测试。

本申请有益效果如下：

本申请实施例通过扫描测试页面，得到所述测试页面的多个图像区域，其中，每一个图像区域对应一个控件和/或该控件的组件，以及根据存储的控件的属性与图像标识之间的对应关系，查找与待测试控件的属性相同的图像标识，将扫描得到的每一个图像区域分别与查找到的图像标识对应的图像区域进行相似度比较，在扫描得到的一个图像区域与查找到的图像标识对应的图像区域的相似度大于设定阈值时，对相似度大于设定阈值的扫描得到的该图像区域的属性进行测试，这样在扫描测试页面时，不用考虑显示屏的大小和分辨率，只需要得到每一个控件或者控件的组件对应的图像区域即可，之后利用训练得到的控件属性和图像标识的对应关系，得到与待测试控件的属性相同的图像标识，并将得到的图像标识对应的图像区域与扫描得到的图像区域进行相似度比较，就能快速地找到待测试控件的位置区域，对找到的位置区域进行测试，既保证了确定待测试控件位置的准确性，还提高了控件的测试效率。

附图说明

图1为本申请实施例一的一种对页面中的控件进行测试的方法的流程示意图；

图2为扫描测试页面得到的图像区域的结构示意图；

图3为本申请实施例二的一种对页面中的控件进行测试的方法的流程示意图；

图4为本申请实施例三的一种对页面中的控件进行测试的设备的结构示意图。

具体实施方式

为了实现本申请的目的，本申请实施例提供了一种对页面中的控件进行测试的方法和设备，通过在扫描测试页面时，不用考虑显示屏的大小和分辨率，只需要得到每一个控件或者控件的组件对应的图像区域即可，之后利用训练得到的控件属性和图像标识的对应关系，得到与待测试控件的属性相同的图像标识，并将得到的图像标识对应的图像区域与扫描得到的图像区域进行相似度比较，就能快速地找到待测试控件的位置区域，对找到的位置区域进行测试，既保证了确定待测试控件位置的准确性，还提高了控件的测试效率。

下面结合说明书附图对本申请各个实施例进行详细描述。

实施例一：

如图1所示，为本申请实施例一的一种对页面中的控件进行测试的方法的流程示意图。所述方法包括：

步骤101：扫描测试页面，得到所述测试页面的多个图像区域。

其中，每一个图像区域对应一个控件和/或该控件的组件。

具体地，在步骤101中，首先，获取测试页面。

在任一显示屏中显示待测试页面。此时对显示屏没有要求，可以是知道显示屏大小和显示分辨率的，还可以是不知道显示屏大小和显示分辨率的。

需要说明的是，待测试页面在显示屏中显示的方式也不限定，可以是全屏显示，最大化显示，最小化显示等等。

需要说明的是，在显示屏中显示待测试页面的全部内容即可。

其次，对显示屏中的测试页面进行扫描。

其中，扫描的方式也不限定，可以是遍历式扫描，即从测试页面的开始部分扫描至结束部分，还可以是部分式扫描，即将测试页面划分成为不同区域，分别对不同区域进行扫描，这比较适合于测试页面内容较多的时候。

第三，记录扫描过程中扫描到的所述测试页面中的多个图像区域。

其中，每一个图像区域对应一个控件，和/或每一个图像区域对应一个控件以及控件组件。

具体地，在扫描测试页面过程中，每扫描到一个控件，判断该控件是否还存在组件，若没有，则生成该控件的一个图像区域；当确定该控件还存在组件时，将该控件以及组件所在区域生成一个图像区域。

例如：在扫描测试页面过程中，扫描到一个控件“Sign In”，属于单一的文字标识的控件，则在“Sign In”所在区域生成一个图像区域；扫描到一个控件“登录”，包含了组件“用户名输入框”和“密码输入框”，则控件“登录”属于包含组件的控件，在“登录”、用户名输入框”和“密码输入框”联合所在区域生成一个图像区域，如图2所示，为扫描测试页面得到的图像区域的结构示意图。

具体地，由于待测试页面中包含文字、图像、声音、控件等信息。其中，所述文字分为静态显示文字和动态可操作的文字，所谓静态显示文字是指在测试页面中只是用来显示，供其他人查阅的文字，例如：新闻网页中，一篇新闻的内容；所谓动态可操作的文字是指在测试页面中该文字部分的功能类似按钮，除了显示内容之外，通过对动态可操作的文字进行操作，例如：新闻网页首页中，一篇新闻的标题，它不仅显示内容，对其进行点击操作后，还可以启动进入下一页，查看标题对应的内容。

所述控件是用来对所述测试页面进行操作的“开关”。控件的形状有很多：例如：长形框、圆形框、具有下拉功能的框等等；控件的功能也不同，例如：有些控件的功能是用于链接下一层页面的，有些控件的功能是用于单击登陆其他页面的，有些控件的功能是用于输入信息的，还有些控件的功能是用于选择需要的信息的，等等；控件的功能不同，则为控件设置的属性也不同。

因此，在对测试页面进行扫描时，需要判断出扫描到的区域中哪些是静态的文字信息或者图像信息或者声音信息，哪些是控件信息，并且对判断出的控件信息所在区域进行定位，截取控件所在区域，形成所述控件的图像区域。

需要说明的是，在截取控件所在区域时，尽可能排除不是控件的区域，也就是说，截取的区域要适合控件，不能过大，也不能过小。

例如：在对测试页面进行扫描时，扫描到一句话“需要提供法律援助的，请到XXXX来”，在这句话中“XXXX”再被扫描时显示其他颜色，一般网页中出现这种情况，视为可被操作的文字，属于链接控件，因此，在截取链接控件所在区域时，不是将“需要提供法律援助的，请到XXXX来”全部截取作为链接控件的图像区域，而是仅仅截取“XXXX”，生成链接控件的图像区域。

步骤102：根据存储的控件的属性与图像标识之间的对应关系，查找与待测试控件的属性相同的图像标识。

具体地，在步骤102中，针对待测试页面，需要测试控件的属性比较多，因此，首先，确定待测试控件的属性，即选择一种控件，例如：对控件的链接属性进行测试。

其次，根据存储的控件的属性与图像标识之间的对应关系，查找与确定的待测试控件的属性相同的图像标识。

具体地，存储的控件的属性与图像标识之间的对应关系可以通过训练的方法获取，具体包括：

第一，遍历待测试页面的Dom Tree，从所述Dom Tree中获取不同控件的控件信息。

其中，所述控件信息包括控件类型以及控件的组件。

由于页面中的控件通过不同的形式表现，人眼观察很容易对控件进行区分，但是机器或者机器人对控件进行识别，则需要经过大量的训练。

例如：遍历待测试页面的Dom Tree，所述Dom Tree中包含了大量的控件信息，通过对所述Dom Tree的遍历，不仅能够确定测试页面中包含的控件，还能确定每一个控件信息，例如：控件类型以及控件的组件等。

第二，针对每一控件，根据获取的所述控件的组件，计算所述控件在待测试页面当前显示屏中的坐标区间，并利用计算得到的坐标区间，在所述当前显示屏中截取所述控件的图像标识。

具体地，从所述Dom Tree中获取的多个控件中，选择一个控件，根据选择的控件的组件，计算所述控件在待测试页面当前显示屏中的坐标区间。

例如：text_box(:id,”login”)表示登录控件，“"style="padding-right:10px;margin-left:5px”表示形状位置以及大小，“font-size:12px”表示登录控件中字体大小，“color:Blue”表示登录控件字体颜色，因此，可以通过“"style="padding-right:10px;margin-left:5px”的语句计算得到所述登录控件在在待测试页面当前显示屏中的坐标区间。

并根据计算得到的坐标区间，到当前显示屏中截取该坐标区间内的图像，将截取到的图像作为所述控件的图像标识。

第三，根据所述控件类型确定所述控件的属性，建立所述控件的属性与所述控件的图像标识之间的对应关系。

具体地，从所述Dom Tree中获取的多个控件中，选择一个控件，根据选择的控件的类型，确定所述控件的属性，由于控件类型不同，控件的功能也就不同，因此，根据控件类型，得到控件的功能；针对控件的不同功能，为控件设置不同的属性。

例如：对于按钮控件，其功能类似于“开关”，那么对应的属性就是单击和/或双击启动新的页面；对于链接控件，其功能类似于“引线”，那么对应的属性就是单击和/或双击跳转至链接地址对应的页面；对于输入控件，其功能类似于“写板”，那么对应的属性就是单击和/或双击使光标到达指定的输入区域，利用输入控件键入字符。

这样，为获取的多个控件进行图像标识采集和属性确定，并建立每一个控件的属性与图像标识的对应关系。

需要说明的是，控件的属性只有一个，但是该空间的图像标识可以不止一个，例如：登录控件可以是一个按钮、可以是一个由至少一个输入框和一个按钮组成的组合体，还可以是Sign In字符组合，因此，建立每一个控件的属性与图像标识的对应关系不限于一对一的关系，还可以是一对多的关系。

较优地，在建立所述控件的属性与所述控件的图像标识之间的对应关系之后，所述方法还包括：

第一，利用文字识别算法，识别所述控件的图像标识中的文字信息。

具体地，为了保证控件的图像标识与控件属性之间的准确性，一些控件的图像标识中包含了一些文字信息，这些文字信息是开发者进一步精确地表明了该控件的功能，因此，获取控件的图像标识中的文字信息将提高确定控件功能的精度，为后续提高对控件进行测试的效率是特别有益的。

利用文字识别算法，读取所述控件的图像标识中的文字信息，例如：登录控件中包含了“Sign In”的文字信息以及“Join free now！”的文字信息，说明了登录控件是在注册之后使用的，若没有注册，可以点击“Join free now！”进行注册，注册成功之后点击“SignIn”进行登录。

第二，根据识别出的文字信息，确定所述控件的功能，建立所述控件的属性、图像标识和功能至少两者之间的关系。

具体地，根据识别出的文字信息，扩展了建立所述控件的属性、图像标识和功能至少两者之间的对应关系，这样既可以根据所述控件的属性，确定所述控件的图像标识，还能知道控件的功能，也就是说，知道了属性、图像标识或者功能其一，都可以获取剩余两者，增加了灵活性。

需要说明的是，步骤101和步骤102没有执行的先后顺序，可以按照本发明实施例的步骤执行，还可以步骤102再执行步骤101，还可以是步骤101和步骤102同步执行，这里不做限制。

步骤103：将扫描得到的每一个图像区域分别与查找到的图像标识对应的图像区域进行相似度比较。

具体地，在步骤103中，从步骤101中扫描得到的图像区域中选择一个图像区域，利用图像比对算法，计算选择的一个图像区域与步骤102查找到的图像标识对应的图像区域之间的相似度，进一步判断选择的图像区域是否是与待测控件的属性相同的图像区域。

当选择的图像区域与步骤102查找到的图像标识对应的图像区域之间的相似度大于设定阈值时，确定该选择的图像区域是与待测控件的属性相同的图像区域。

当选择的图像区域与步骤102查找到的图像标识对应的图像区域之间的相似度不大于设定阈值时，确定该选择的图像区域不是与待测控件的属性相同的图像区域。

需要说明的是，所述图像比对算法可以是OCR图片相似度比对算法，还可以是其他比对算法，这里不做限定。

较优地，在确定该选择的图像区域是与待测控件的属性相同的图像区域之后，所述方法还包括：

第一，针对确定的与待测控件的属性相同的选择的图像区域，读取所述选择的图像区域内记载的文字信息。

具体地，针对确定的与待测控件的属性相同的选择的图像区域，利用文字识别算法，读取所述选择的图像区域内记载的文字信息。

第二，根据读取的文字信息，得到所述选择的图像区域的属性。

具体地，根据读取的文字信息，确定所述选择的图像区域的功能，并根据建立的控件的属性、图像标识和功能至少两者之间的关系，得到所述选择的图像区域的属性。

第三，将得到的所述选择的图像区域的属性与待测试控件的属性进行比较，确定出与待测试控件的属性一致的图像区域。

具体地，将得到的所述选择的图像区域的属性与待测试控件的属性进行匹配，当得到的所述选择的图像区域的属性与待测试控件的属性一致时，确定得到的所述选择的图像区域属于与待测试控件的属性一致的图像区域；当得到的所述选择的图像区域的属性与待测试控件的属性不一致时，确定得到的所述选择的图像区域不属于与待测试控件的属性一致的图像区域。

步骤104：在扫描得到的一个图像区域与查找到的图像标识对应的图像区域的相似度大于设定阈值时，对相似度大于设定阈值的扫描得到的该图像区域的属性进行测试。

其中，所述属性至少包括：链接操作、按钮操作、输入操作和下拉操作中的一种或者多种。

具体地，在步骤104中，对相似度大于设定阈值的扫描得到的该图像区域的属性进行测试，具体包括：

当相似度大于设定阈值的扫描得到的该图像区域的属性是链接操作时，通过鼠标或者键盘控制相似度大于设定阈值的扫描得到的该图像区域执行链接操作；

当相似度大于设定阈值的扫描得到的该图像区域的属性是按钮操作时，通过鼠标或者键盘控制相似度大于设定阈值的扫描得到的该图像区域进行单击和/或双击操作；

当相似度大于设定阈值的扫描得到的该图像区域的属性是输入操作时，通过鼠标或者键盘控制相似度大于设定阈值的扫描得到的该图像区域进行输入操作；

当相似度大于设定阈值的扫描得到的该图像区域的属性是下拉操作时，通过鼠标或者键盘控制相似度大于设定阈值的扫描得到的该图像区域进行下拉操作。

较优地，在步骤103中，进一步确定出的与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域，因此在步骤104中，还可以对确定出的与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域进行测试，具体测试方式与上述方式相同，这里不再赘述。

通过本发明实施例一的方案，扫描测试页面，得到所述测试页面的多个图像区域，其中，每一个图像区域对应一个控件和/或该控件的组件，以及根据存储的控件的属性与图像标识之间的对应关系，查找与待测试控件的属性相同的图像标识，将扫描得到的每一个图像区域分别与查找到的图像标识对应的图像区域进行相似度比较，在扫描得到的一个图像区域与查找到的图像标识对应的图像区域的相似度大于设定阈值时，对相似度大于设定阈值的扫描得到的该图像区域的属性进行测试，这样在扫描测试页面时，不用考虑显示屏的大小和分辨率，只需要得到每一个控件或者控件的组件对应的图像区域即可，之后利用训练得到的控件属性和图像标识的对应关系，得到与待测试控件的属性相同的图像标识，并将得到的图像标识对应的图像区域与扫描得到的图像区域进行相似度比较，就能快速地找到待测试控件的位置区域，对找到的位置区域进行测试，既保证了确定待测试控件位置的准确性，还提高了控件的测试效率。

实施例二：

如图3所示，为本发明实施例二的一种对页面中的控件进行测试的方法的流程示意图，本发明实施例二是与本发明实施例一在同一发明构思下的发明，本发明实施例二是以对登录控件进行测试为例进行说明，所述方法包括：

步骤201：训练得到控件的属性与图像标识之间的对应关系。

具体地，在步骤201中，通过训练的方式建立页面中控件的属性与图像标识之间的对应关系，具体包括：

第一，遍历测试页面的Dom Tree，从所述Dom Tree中获取不同控件的控件信息。

其中，所述控件信息包括控件类型以及控件的组件。

具体地，由于测试页面中的控件通过不同的形式表现，人眼观察很容易对控件进行区分，但是机器或者机器人对控件进行识别，则需要经过大量的训练。

例如：遍历待测试页面的Dom Tree，所述Dom Tree中包含了大量的控件信息，通过对所述Dom Tree的遍历，不仅能够确定测试页面中包含的控件，还能确定每一个控件信息，例如：控件类型（href链接，button按钮等）以及控件的组件等。

第二，针对每一控件，根据获取的所述控件的组件，计算所述控件在待测试页面当前显示屏中的坐标区间，并利用计算得到的坐标区间，在所述当前显示屏中截取所述控件的图像标识。

具体地，从所述Dom Tree中获取的多个控件中，选择一个控件，根据选择的控件的组件，计算所述控件在待测试页面当前显示屏中的坐标区间。

例如：通过程序语句中描述的信息，计算得到所述登录控件在在待测试页面当前显示屏中的坐标区间。

并根据计算得到的坐标区间，到当前显示屏中截取该坐标区间内的图像区域，将截取到的图像区域作为所述控件的图像标识。

第三，根据所述控件类型确定所述控件的属性，建立所述控件的属性与所述控件的图像标识之间的对应关系。

具体地，从所述Dom Tree中获取的多个控件中，选择一个控件，根据选择的控件的类型，确定所述控件的属性，由于控件类型不同，控件的功能也就不同，因此，根据控件类型，得到控件的功能；针对控件的不同功能，为控件设置不同的属性。

需要说明的是，控件的属性只有一个，但是该空间的图像标识可以不止一个，例如：登录控件可以是一个按钮、可以是一个由至少一个字符输入框和一个按钮组成的组合体，还可以是Sign In字符组合，因此，建立每一个控件的属性与图像标识的对应关系不限于一对一的关系，还可以是一对多的关系。

步骤202：利用文字识别算法，识别所述控件的图像标识中的文字信息，确定所述控件的功能，并建立所述控件的属性、图像标识和功能至少两者之间的关系。

例如：利用文字识别算法，读取所述控件的图像标识中的文字信息，例如：登录控件中包含了“Sign In”的文字信息以及“Join free now！”的文字信息，说明了登录控件是在注册之后使用的，若没有注册，可以点击“Join free now！”进行注册，注册成功之后点击“Sign In”进行登录。

并根据识别出的文字信息，确定所述控件的功能，建立所述控件的属性、图像标识和功能至少两者之间的关系。

例如：根据识别出的文字信息“Sign In”，确定该控件的功能是登录下一个页面，建立“Sign In”的登录属性、“Sign In”图像标识和登录下一个页面的功能至少两者之间的关系；

根据识别出的文字信息“Join free now！”，确定该控件的功能是在网站中进行注册，建立“Join free now！”的注册属性、“Join free now！”图像标识和在网站中进行注册的功能至少两者之间的关系。

步骤203：扫描测试页面，得到所述测试页面的多个图像区域。

其中，每一个图像区域对应一个控件和/或该控件的组件。

具体地，在步骤203中，首先，获取测试页面。

具体地，在任一显示屏中显示待测试页面。

其次，对显示屏中的测试页面进行扫描。

第三，记录扫描过程中扫描到的所述测试页面中的多个图像区域。

其中，每一个图像区域对应一个控件，和/或每一个图像区域对应一个控件以及控件组件。

步骤204：根据存储的控件的属性与图像标识之间的对应关系，查找与待测试控件的属性相同的图像标识。

具体地，在步骤204中，首先，选择待测试控件的类型，确定待测试控件的属性。

其次，根据存储的控件的属性与图像标识之间的对应关系，查找与确定的待测试控件的属性相同的图像标识。

需要说明的是，步骤203和步骤204没有执行的先后顺序，可以按照本发明实施例的步骤执行，还可以步骤204再执行步骤203，还可以是步骤203和步骤204同步执行，这里不做限制。

步骤205：将扫描得到的每一个图像区域分别与查找到的图像标识对应的图像区域进行相似度比较。

具体地，在步骤205中，从步骤203中扫描得到的图像区域中选择一个图像区域，利用图像比对算法，计算选择的一个图像区域与查找到的图像标识对应的图像区域之间的相似度，进一步判断选择的图像区域是否是与待测控件的属性相同的图像区域。

当计算得到的选择的图像区域与查找到的图像标识对应的图像区域之间的相似度大于设定阈值时，确定所述选择的图像区域是与待测控件的属性相同的图像区域。

当计算得到的选择的图像区域与查找到的图像标识对应的图像区域之间的相似度不大于设定阈值时，确定所述选择的图像区域不是与待测控件的属性相同的图像区域。

需要说明的是，所述图像比对算法可以是OCR图片相似度比对算法，还可以是其他比对算法，这里不做限定。

步骤206：读取与待测控件的属性相同的选择的图像区域内记载的文字信息，并根据读取的文字信息，得到所述选择的图像区域的属性。

具体地，在步骤206中，根据读取的文字信息，确定所述选择的图像区域的功能，并根据建立的控件的属性、图像标识和功能至少两者之间的关系，得到所述选择的图像区域的属性。

步骤207：将得到的所述选择的图像区域的属性与待测试控件的属性进行比较，判断是否属于与待测试控件的属性一致的图像区域。

具体地，在步骤207中，将得到的所述选择的图像区域的属性与待测试控件的属性进行匹配，当得到的所述选择的图像区域的属性与待测试控件的属性一致时，确定得到的所述选择的图像区域属于与待测试控件的属性一致的图像区域；当得到的所述选择的图像区域的属性与待测试控件的属性不一致时，确定得到的所述选择的图像区域不属于与待测试控件的属性一致的图像区域。

步骤208：对确定出的与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域进行测试。

具体地，在步骤208中，所述属性至少包括：链接操作、按钮操作、输入操作和下拉操作中的一种或者多种。

当确定出的与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域的属性是链接操作时，通过鼠标或者键盘控制确定出的与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域执行链接操作；

当确定出的与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域的属性是按钮操作时，通过鼠标或者键盘控制确定出的与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域进行单击和/或双击操作；

当确定出的与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域的属性是输入操作时，通过鼠标或者键盘控制确定出的与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域进行输入操作；

当确定出的与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域的属性是下拉操作时，通过鼠标或者键盘控制确定出的与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域进行下拉操作。

实施例三：

如图4所示，为本发明实施例三的一种对页面中的控件进行测试的设备的结构示意图，本发明实施例三是与本发明实施例一和本发明实施例二在同一发明构思下的设备，所述设备包括：扫描模块11、查找模块12、比较模块13和测试模块14，其中：

扫描模块11，用于扫描测试页面，得到所述测试页面的多个图像区域，其中，每一个图像区域对应一个控件和/或该控件的组件。

查找模块12，用于根据存储的控件的属性与图像标识之间的对应关系，查找与待测试控件的属性相同的图像标识。

比较模块13，用于将扫描得到的每一个图像区域分别与查找到的图像标识对应的图像区域进行相似度比较。

测试模块14，用于在扫描得到的一个图像区域与查找到的图像标识对应的图像区域的相似度大于设定阈值时，对相似度大于设定阈值的扫描得到的该图像区域的属性进行测试。

较优地，所述设备还包括：属性检测模块15，其中：

属性检测模块15，用于在扫描得到的一个图像区域与查找到的图像标识对应的图像区域的相似度大于设定阈值之后，并对相似度大于设定阈值的扫描得到的该图像区域的属性进行测试之前，针对每一个相似度大于设定阈值的扫描得到的图像区域，读取每一个相似度大于设定阈值的扫描得到的图像区域内记载的文字信息；根据读取的文字信息，得到每一个相似度大于设定阈值的扫描得到的图像区域的属性；将得到的每一个相似度大于设定阈值的扫描得到的图像区域的属性与待测试控件的属性进行比较，确定出与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域。

所述测试模块14，具体用于对确定出与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域的属性进行测试。

具体地，所述查找模块12，具体用于遍历待测试页面的Dom Tree，从所述Dom Tree中获取不同控件的控件信息，其中，所述控件信息包括控件类型以及控件的组件；针对每一控件，根据获取的所述控件的组件，计算所述控件在待测试页面当前显示屏中的坐标区间，并利用计算得到的坐标区间，在所述当前显示屏中截取所述控件的图像标识；根据所述控件类型确定所述控件的属性，建立所述控件的属性与所述控件的图像标识之间的对应关系。

具体地，所述设备还包括：关系建立模块16，其中：

关系建立模块16，用于在建立所述控件的属性与所述控件的图像标识之间的对应关系之后，利用文字识别算法，识别所述控件的图像标识中的文字信息；根据识别出的文字信息，确定所述控件的功能，建立所述控件的属性、图像标识和功能至少两者之间的关系。

所述查找模块12，具体用于根据读取的文字信息，确定每一个相似度大于设定阈值的扫描得到的图像区域的功能；并根据建立的功能与属性的对应关系，确定每一个相似度大于设定阈值的扫描得到的图像区域的属性。

具体地，所述属性至少包括：链接操作、按钮操作、输入操作和下拉操作中的一种或者多种。

所述测试模块14，具体用于当相似度大于设定阈值的扫描得到的该图像区域的属性是链接操作时，通过鼠标或者键盘控制相似度大于设定阈值的扫描得到的该图像区域执行链接操作；

当相似度大于设定阈值的扫描得到的该图像区域的属性是按钮操作时，通过鼠标或者键盘控制相似度大于设定阈值的扫描得到的该图像区域进行单击和/或双击操作；

当相似度大于设定阈值的扫描得到的该图像区域的属性是输入操作时，通过鼠标或者键盘控制相似度大于设定阈值的扫描得到的该图像区域进行输入操作；

当相似度大于设定阈值的扫描得到的该图像区域的属性是下拉操作时，通过鼠标或者键盘控制相似度大于设定阈值的扫描得到的该图像区域进行下拉操作。

需要说明的是，本发明实施例三中所述的设备可以是硬件设备，还可以是集成在后台服务器中的逻辑部件，这里不做具体限定。

本领域的技术人员应明白，本申请的实施例可提供为方法、装置（设备）、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置（设备）和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种对页面中的控件进行测试的方法，其特征在于，包括：

扫描测试页面，得到所述测试页面的多个图像区域，其中，每一个图像区域对应一个控件和/或该控件的组件；

以及根据存储的控件的属性与图像标识之间的对应关系，查找与待测试控件的属性相同的图像标识；

将扫描得到的每一个图像区域分别与查找到的图像标识对应的图像区域进行相似度比较；

在扫描得到的一个图像区域与查找到的图像标识对应的图像区域的相似度大于设定阈值时，对相似度大于设定阈值的扫描得到的该图像区域的属性进行测试。

2.如权利要求1所述的方法，其特征在于，在扫描得到的一个图像区域与查找到的图像标识对应的图像区域的相似度大于设定阈值之后，并对相似度大于设定阈值的扫描得到的该图像区域的属性进行测试之前，所述方法还包括：

针对每一个相似度大于设定阈值的扫描得到的图像区域，读取每一个相似度大于设定阈值的扫描得到的图像区域内记载的文字信息；

根据读取的文字信息，得到每一个相似度大于设定阈值的扫描得到的图像区域的属性；

将得到的每一个相似度大于设定阈值的扫描得到的图像区域的属性与待测试控件的属性进行比较，确定出与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域；

对相似度大于设定阈值的扫描得到的该图像区域的属性进行测试，具体包括：

对确定出与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域的属性进行测试。

3.如权利要求1所述的方法，其特征在于，所述存储的控件的属性与图像标识之间的对应关系，具体包括：

遍历待测试页面的Dom Tree，从所述Dom Tree中获取不同控件的控件信息，其中，所述控件信息包括控件类型以及控件的组件；

针对每一控件，根据获取的所述控件的组件，计算所述控件在待测试页面当前显示屏中的坐标区间，并利用计算得到的坐标区间，在所述当前显示屏中截取所述控件的图像标识；

根据所述控件类型确定所述控件的属性，建立所述控件的属性与所述控件的图像标识之间的对应关系。

4.如权利要求3所述的方法，其特征在于，在建立所述控件的属性与所述控件的图像标识之间的对应关系之后，所述方法还包括：

利用文字识别算法，识别所述控件的图像标识中的文字信息；

根据识别出的文字信息，确定所述控件的功能，建立所述控件的属性、图像标识和功能至少两者之间的关系；

根据读取的文字信息，得到每一个相似度大于设定阈值的扫描得到的图像区域的属性，具体包括：

根据读取的文字信息，确定每一个相似度大于设定阈值的扫描得到的图像区域的功能；

根据建立的功能与属性的对应关系，确定每一个相似度大于设定阈值的扫描得到的图像区域的属性。

5.如权利要求1所述的方法，其特征在于，所述属性至少包括：链接操作、按钮操作、输入操作和下拉操作中的一种或者多种；

对相似度大于设定阈值的扫描得到的该图像区域的属性进行测试，具体包括：

当相似度大于设定阈值的扫描得到的该图像区域的属性是链接操作时，通过鼠标或者键盘控制相似度大于设定阈值的扫描得到的该图像区域执行链接操作；

当相似度大于设定阈值的扫描得到的该图像区域的属性是按钮操作时，通过鼠标或者键盘控制相似度大于设定阈值的扫描得到的该图像区域进行单击和/或双击操作；

当相似度大于设定阈值的扫描得到的该图像区域的属性是输入操作时，通过鼠标或者键盘控制相似度大于设定阈值的扫描得到的该图像区域进行输入操作；

当相似度大于设定阈值的扫描得到的该图像区域的属性是下拉操作时，通过鼠标或者键盘控制相似度大于设定阈值的扫描得到的该图像区域进行下拉操作。

6.一种对页面中的控件进行测试的设备，其特征在于，包括：

扫描模块，用于扫描测试页面，得到所述测试页面的多个图像区域，其中，每一个图像区域对应一个控件和/或该控件的组件；

查找模块，用于根据存储的控件的属性与图像标识之间的对应关系，查找与待测试控件的属性相同的图像标识；

比较模块，用于将扫描得到的每一个图像区域分别与查找到的图像标识对应的图像区域进行相似度比较；

测试模块，用于在扫描得到的一个图像区域与查找到的图像标识对应的图像区域的相似度大于设定阈值时，对相似度大于设定阈值的扫描得到的该图像区域的属性进行测试。

7.如权利要求6所述的设备，其特征在于，所述设备还包括：

属性检测模块，用于在扫描得到的一个图像区域与查找到的图像标识对应的图像区域的相似度大于设定阈值之后，并对相似度大于设定阈值的扫描得到的该图像区域的属性进行测试之前，针对每一个相似度大于设定阈值的扫描得到的图像区域，读取每一个相似度大于设定阈值的扫描得到的图像区域内记载的文字信息；根据读取的文字信息，得到每一个相似度大于设定阈值的扫描得到的图像区域的属性；将得到的每一个相似度大于设定阈值的扫描得到的图像区域的属性与待测试控件的属性进行比较，确定出与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域；

所述测试模块，具体用于对确定出与待测试控件的属性一致的、且相似度大于设定阈值的扫描得到的图像区域的属性进行测试。

8.如权利要求6所述的设备，其特征在于，

所述查找模块，具体用于遍历待测试页面的Dom Tree，从所述Dom Tree中获取不同控件的控件信息，其中，所述控件信息包括控件类型以及控件的组件；针对每一控件，根据获取的所述控件的组件，计算所述控件在待测试页面当前显示屏中的坐标区间，并利用计算得到的坐标区间，在所述当前显示屏中截取所述控件的图像标识；根据所述控件类型确定所述控件的属性，建立所述控件的属性与所述控件的图像标识之间的对应关系。

9.如权利要求8所述的设备，其特征在于，所述设备还包括：

关系建立模块，用于在建立所述控件的属性与所述控件的图像标识之间的对应关系之后，利用文字识别算法，识别所述控件的图像标识中的文字信息；根据识别出的文字信息，确定所述控件的功能，建立所述控件的属性、图像标识和功能至少两者之间的关系；

所述查找模块，具体用于根据读取的文字信息，确定每一个相似度大于设定阈值的扫描得到的图像区域的功能；并根据建立的功能与属性的对应关系，确定每一个相似度大于设定阈值的扫描得到的图像区域的属性。

10.如权利要求6所述的设备，其特征在于，所述属性至少包括：链接操作、按钮操作、输入操作和下拉操作中的一种或者多种；

所述测试模块，具体用于当相似度大于设定阈值的扫描得到的该图像区域的属性是链接操作时，通过鼠标或者键盘控制相似度大于设定阈值的扫描得到的该图像区域执行链接操作；

当相似度大于设定阈值的扫描得到的该图像区域的属性是按钮操作时，通过鼠标或者键盘控制相似度大于设定阈值的扫描得到的该图像区域进行单击和/或双击操作；

当相似度大于设定阈值的扫描得到的该图像区域的属性是输入操作时，通过鼠标或者键盘控制相似度大于设定阈值的扫描得到的该图像区域进行输入操作；

当相似度大于设定阈值的扫描得到的该图像区域的属性是下拉操作时，通过鼠标或者键盘控制相似度大于设定阈值的扫描得到的该图像区域进行下拉操作。