CN104679017A - 移动终端应用程序的自动化测试装置以及测试方法 - Google Patents

Abstract

本发明涉及移动终端应用程序的自动化测试装置以及自动化测试方法。该自动化测试装置具备：用于放置待测试的移动终端的工作台；用于根据来自下述的控制装置的指令模拟人的手指动作的机械手；用于以模拟人的眼睛的方式对待测试移动终端的屏幕进行摄像并且将摄像到图像传送到下述的控制装置的摄像头；用于承载所述机械手和摄像头并且能够在X轴、Y轴、Z轴方向上移动，根据来自下述的控制装置的指令移动到特定位置的机械臂；以及用于根据应用程序产生控制所述机械臂的移动和所述机械手的动作的指令，以实现对应用程序进行仿真操作进而实现自动化测试的控制装置。本发明的自动化测试装置以及自动化测试方法具有自动化程度高、模拟准确度高的特点。

Description

移动终端应用程序的自动化测试装置以及测试方法

技术领域

本发明涉及移动终端的测试领域，具体地涉及一种用于测试移动终端中安装的应用程序的自动化测试装置以及自动化测试方法。

背景技术

目前的移动终端应用领域，自动化测试领域主要有两种方法，一种是在宿主机中通过软件模拟一个移动终端设备，通过应用程序与这个模拟出的移动终端进行交互来实现自动化测试；另一种是宿主机通过数据线连接移动终端设备，并通过软件模拟各类操作来实现自动化测试。

前一种方法由于是软件模拟的设备，对设备的仿真度较低，测试可信度也相应较低；后一种方法是用软件方法来模拟各类操作，对文字输入等仿真度较好，但对新型移动终端上主要以触摸操作为主的仿真度较低。

 

发明内容

鉴于上述问题，本发明旨在提供一种自动化程度高且模拟准确度高的用于测试移动终端应用程序的自动化测试装置以及自动化测试方法。

本发明的移动终端应用程序的自动化测试装置，其特征在于，具备：

工作台，用于放置待测试的移动终端；

机械手，用于根据来自下述的控制装置的指令模拟人的手指动作；

摄像头，用于以模拟人的眼睛的方式对待测试移动终端的屏幕进行摄像并且将摄像到图像传送到下述的控制装置；

机械臂，用于承载所述机械手和摄像头并且能够在X轴、Y轴、Z轴方向上移动，根据来自下述的控制装置的指令移动到特定位置；以及

控制装置，用于根据应用程序产生控制所述机械臂的移动和所述机械手的动作的指令，以实现对应用程序进行仿真操作进而实现自动化测试。

优选地，所述摄像头还用于对测试过程进行摄像。

优选地，所述机械臂在X轴和Y轴方向上移动以使得机械臂的中心点与待测移动终端的中心点重合并且在Z轴方向上运动使得摄像头覆盖区域为移动终端设备的可视区域。

优选地，所述机械手能够模拟进行点击、平移、旋转、放大、缩小、单点、多点操作。

优选地，所述控制装置对从所述摄像头传送来的图像进行图像识别和匹配后控制所述机械臂进行定位。

本发明的移动终端应用程序的自动化测试方法，其特征在于，包括下述步骤：

移动终端定位步骤，将移动终端传送到工作台上，利用机械臂将移动终端移动、定位到第一规定位置；

应用程序定位步骤，读入待测试应用程序的图标，并利用摄像头采集当前屏幕上所有应用程序的截图，进行计算并判断待测试应用程序是否在当前屏幕上，如果判断为是的情况下，则表示找到待测试应用程序的图标并继续后述步骤，否则的话，使得机械手模拟滑屏动作并重复进行上述判断动作直到找到待测试应用程序；

应用程序选择步骤，使得机械手移动到基于上述计算结果的第二规定位置，并触发点击动作以选择应用程序；

应用程序加载步骤，等待应用程序加载直到应用程序加载完毕；

应用程序加载成功判断步骤，读入表示应用程序加载成功的字符串或图片，并利用摄像头采集当前屏幕上的截图，进行计算并判断应用程序是否加载成功，仅在判断加载成功的情况下继续后述步骤；

应用程序测试步骤，读入用于控制机械手进行动作的动作指令，根据该动作指令机械手操作应用程序并且获得测试数据。

优选地，在所述移动终端定位步骤包括下述子步骤：

将移动终端传送到工作台上并进行固定；

移动终端上电；

利用机械臂将移动终端在X轴、Y轴向移动使得机械臂的中心点与待测试移动终端的中心点重合，并且在Z轴向移动使得摄像头覆盖移动终端的可视区域。

优选地，所述应用程序定位步骤包括下述子步骤：

读入待测试应用程序并储存为图片A；

利用摄像头采集当前屏幕上所有应用程序的截图并存为图片B；

判断图片A是否为图片B的子集；

在判断图片A是图片B的子集的情况下则表示找到待测试应用程序的图标并继续后述步骤，否则的话，使得机械手模拟滑屏动作并重复进行上述判断动作直到找到待测试应用程序，并且若遍历所有可访问窗口均无法匹配的情况下，则报错、退出测试方法。

优选地，在判断图片A是图片B的子集的情况下，设从第一坐标（M1，N1）到第二坐标（M2，N2）为图片A在图片B中的相对位置的情况下，在所述应用程序选择步骤中，使得机械手从坐标（0，0）移动到第三坐标（（M1+M2）/2,（N1+N2）/2）并触发点击动作以选择应用程序。

优选地，所述应用程序加载成功判断步骤包括下述子步骤：

读入表示应用程序加载成功图片C；

利用摄像头采集当前屏幕上的截图作为图片D；

判断图片C是否为图片D的子集，若图片C是图片D的子集则判断应用程序加载成功；

在判断加载成功的情况下继续后述步骤，否则报错、退出测试方法。

优选地，所述应用程序加载成功判断步骤包括下述子步骤：

读入表示应用程序加载成功的第一字符串；

利用摄像头采集当前屏幕上的截图作为图片D；

对图片D进行OCR操作提取其中的第二字符串；

判断所述第一字符串和所述第二字符串是否相同，若相同则判断应用程序加载成功；

在判断加载成功的情况下继续后述步骤，否则报错、退出测试方法。

优选地，所述应用程序测试步骤包括下述子步骤：

读入用于控制机械手进行动作的动作指令，所述指令为三元指令包括三个元素：对象、动作、值；

使用摄像头定位所述对象；

使用机械手移动到对象位置；

使用机械手触发所述动作；

根据所述值确定所述动作持续的时间或位移。

优选地，所述对象为图像的情况下，使用摄像头定位所述对象的步骤包括下述子步骤：

读入该图像作为图片E；

利用摄像头采集当前屏幕上的截图作为图片F；

判断图片E是否为图片F的子集，若图片E是图片F的子集则判断对象定位成功；

在判断对象定位成功的情况下继续后述步骤，否则报错、退出测试方法。

优选地，所述对象为文字的情况下

使用摄像头定位所述对象的步骤包括下述子步骤：

读入表示该对象的第三字符串；

利用摄像头采集当前屏幕上的截图作为图片E；

对图片E进行OCR操作提取其中的第四字符串；

判断所述第三字符串和所述第四字符串是否相同，若相同则判断对象定位成功；

在判断对象定位成功的情况下继续后述步骤，否则报错、退出测试方法。

本发明的本发明的用于测试移动终端应用程序的自动化测试装置以及用于测试移动终端应用程序的自动化测试方法使用真实的移动终端设备进行测试，因此，测试准确性高，而且，使用机械臂、机械手模拟人类的上肢和手指，摄像头模拟人类的视觉系统，控制装置模拟人类的操作序列，能够使得对移动终端设备的测试工作尽可能地接近真实，因此模拟准确度高。

附图说明

图1是表示本发明的用于测试移动终端应用程序的自动化测试装置的构造示意图。

图2是表示本发明的用于测试移动终端应用程序的自动化测试方法的概要流程图。

具体实施方式

下面介绍的是本发明的多个实施例中的一些，旨在提供对本发明的基本了解。并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。

图1是表示本发明的用于测试移动终端应用程序的自动化测试装置的构造示意图。

首先，参照图1对于本发明的用于测试移动终端应用程序的自动化测试装置进行说明。

如图1所示，本发明的移动终端应用程序的自动化测试装置具备：工作台100、机械手200、摄像头300、机械臂400、控制装置500。

其中，工作台100用于放置待测试的移动终端600。

机械手200用于根据来自下述的控制装置的指令模拟人的手指动作。机械手200能够模拟进行点击、平移、旋转、放大、缩小、单点、多点操作等各种操作。

摄像头300用于以模拟人的眼睛的方式对待测试移动终端的屏幕进行摄像并且将摄像到图像传送到控制装置500，而且，摄像头300还用于对整个测试过程进行摄像。

机械臂400用于承载机械手200和摄像头300并且能够在X轴、Y轴、Z轴方向上移动，根据来自控制装置500的指令移动到特定位置。具体地，机械臂400在X轴和Y轴方向上移动以使得机械臂的中心点与待测移动终端的中心点重合并且在Z轴方向上运动使得摄像头覆盖区域为移动终端设备的可视区域。

控制装置500用于根据应用程序产生控制机械臂400的移动和机械手200的动作的指令，以实现对应用程序进行仿真操作进而实现自动化测试。

如上所述，本发明提出了一种使用机械设备与软件相结合的自动化测试方法及装置，旨在通过机械臂、摄像头和应用软件的结合，实现对移动终端上的各类应用的自动化测试。本发明的自动化测试装置包括五个部分：用于置放待测试的移动终端的工作台100；可在三个轴向上移动并且用于置放机械手和摄像头的机械臂400；用于模拟人类对移动终端的各类触摸操作的机械手200；对待测移动终端进行摄像，结合应用软件辅助进行定位及记录测试过程的摄像头300；用于控制机械臂的运作及机械手的操作，通过对移动终端的操作来实现自动化的控制装置500，其中，控制装置500可以由硬件实现也可以由软件实现。

下面，对于利用上述本发明的自动化测试装置实现的测试方法进行说明。

图2是表示本发明的用于测试移动终端应用程序的自动化测试方法的概要流程图。

如图2所示，步骤S100开始测试方法。在步骤S101，从控制装置中读取一条指令，对目标图形（应用程序）进行操作。在步骤S102，移动机械臂使得机械臂的中心点与待测移动设备的中心点重合并且使得摄像头能够覆盖移动终端的可视区域。在步骤S103，摄像头对当前的移动终端的进行摄像，并且判断摄像头区域图像是否与预期目标图形匹配，如果不匹配，则返回步骤S102，如果匹配则继续步骤S104。在步骤S104，控制机械手，模拟触控操作，以触发点击应用程序。在步骤S105，判断指令是否完全执行完毕，若没有执行完毕，则返回步骤S101，否则的话继续步骤S106。在步骤S106，将摄像头记录信息作为测试过程加以存储。步骤S107结束测试方法。

下面，对于上述本发明的用于测试移动终端应用程序的自动化测试方法的一实施方式进行说明。

本发明的用于测试移动终端应用程序的自动化测试方法一实施方式包括下述主要步骤：

移动终端定位步骤：将移动终端600传送到工作台100上，利用机械臂400将移动终端600移动、定位到规定位置；

应用程序定位步骤：读入待测试应用程序的图标，并利用摄像头300采集当前屏幕上所有应用程序的截图，进行计算并判断待测试应用程序是否在当前屏幕上，如果判断为是的情况下，则表示找到待测试应用程序的图标并继续后述步骤，否则的话，使得机械手200模拟滑屏动作并重复进行上述判断动作直到找到待测试应用程序；

应用程序选择步骤：使得机械手200移动到基于上述计算结果的规定位置，并触发点击动作以选择应用程序；

应用程序加载步骤：等待应用程序加载直到应用程序加载完毕；

应用程序加载成功判断步骤：读入表示应用程序加载成功的字符串或图片，并利用摄像头300采集当前屏幕上的截图，进行计算并判断应用程序是否加载成功，仅在判断加载成功的情况下继续后述步骤；

应用程序测试步骤：读入用于控制机械手200进行动作的动作指令，根据该动作指令机械手200操作应用程序并且获得测试数据。

下面对于上述各主要步骤进行具体描述。

上述移动终端定位步骤具体地包括下述子步骤：

将移动终端600传送到工作台100上并进行固定；

移动终端600上电；

利用机械臂400将移动终端600在X轴、Y轴向移动使得机械臂400的中心点与待测试移动终端600的中心点重合，并且在Z轴向移动使得摄像头300覆盖移动终端的可视区域。

上述应用程序定位步骤包括下述子步骤：

读入待测试应用程序并储存为图片A；

利用摄像头300采集当前屏幕上所有应用程序的截图并存为图片B；

判断图片A是否为图片B的子集；

在判断图片A是图片B的子集的情况下则表示找到待测试应用程序的图标并继续后述步骤，否则的话，使得机械手200模拟滑屏动作并重复进行上述判断动作直到找到待测试应用程序，并且若遍历所有可访问窗口均无法匹配的情况下，则报错、退出测试方法。

其中，判断图片A是否为图片B的子集是基于，图片B是对当前屏幕上所有应用程序的一个截图，若被测应用程序在当前屏幕操作范围内，则必然满足条件：图片B的一个从坐标（M1,N1）到（M2,N2）的一个矩形子集，与图片A是完全相同的。

在判断图片A是图片B的子集的情况下，设从一个坐标（M1，N1）到另一个坐标（M2，N2）为图片A在图片B中的相对位置的情况下，故可以取这个矩形的中心点位置，即坐标（（M1+M2）/2,（N1+N2）/2）作为机械手200的移动目标，从左上角坐标（0，0）处并触发点击动作以选择应用程序。

上述应用程序加载成功判断步骤包括下述子步骤：

读入表示应用程序加载成功的字符串或图片（这里称作图片C）；

利用摄像头采集当前屏幕上的截图作为图片D；

如果读入的是图片的情况下，判断图片C是否为图片D的子集，若图片C是图片D的子集则判断应用程序加载成功，若读入的是字符串的情况下，对图片D进行OCR（光学字符识别）操作提取其中的字符串，判断读入的字符串和经过OCR操作的字符串是否相同，若相同则判断应用程序加载成功；

在判断加载成功的情况下继续后述步骤，否则报错、退出测试方法。

上述应用程序测试步骤包括下述子步骤：

读入用于控制机械手进行动作的动作指令，所述指令为三元指令包括三个元素：对象、动作、值；

使用摄像头定位所述对象；

使用机械手移动到对象位置；

使用机械手触发所述动作；

根据所述值确定所述动作持续的时间或位移。

其中，若所述对象为图像的情况下，使用摄像头定位所述对象的步骤又包括下述子步骤：

读入该图像作为图片E；

利用摄像头采集当前屏幕上的截图作为图片F；

判断图片E是否为图片F的子集，若图片E是图片F的子集则判断对象定位成功；

在判断对象定位成功的情况下继续后述步骤，否则报错、退出测试方法。

另一方面，所述对象为文字的情况下，使用摄像头定位所述对象的步骤又包括下述子步骤：

读入表示该对象的字符串；

利用摄像头采集当前屏幕上的截图作为图片E；

对图片E进行OCR操作提取其中的字符串；

判断读入的字符串和经过OCR操作的字符串是否相同，若相同则判断对象定位成功；

在判断对象定位成功的情况下继续后述步骤，否则报错、退出测试方法。

本发明的本发明的用于测试移动终端应用程序的自动化测试装置以及用于测试移动终端应用程序的自动化测试方法与背景技术的区别在于，一是使用真实的移动终端设备而非软件模拟出来的虚拟设备，二是使用机械臂、机械手模拟人类的上肢和手指，摄像头模拟人类的视觉系统，控制装置模拟人类的操作序列，使得对移动终端设备的测试工作尽可能地接近真实。

因此，与现有技术对比，本发明的用于测试移动终端应用程序的自动化测试装置以及用于测试移动终端应用程序的自动化测试方法具有下述优势：一是自动化程度高，在模拟过程中完全无需人工干预；二是模拟准确度高，通过本方法和装置可以较高程度地模拟人类的视觉、操作行为，较纯软件模拟方式更为真实；三是模拟覆盖度能接近100%，特别是对于纯软件无法模拟或难以模拟的，如密码键盘输入、手势密码、摇一摇等功能均能较好地实现；四是测试过程通过摄像头进行了记录，从测试过程的回放过程中可以清晰直接地观察到应用软件的表现。

以上例子主要说明了本发明的用于测试移动终端应用程序的自动化测试装置以及用于测试移动终端应用程序的自动化测试方法。尽管只对其中一些本发明的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。 

Claims (14)

1.一种移动终端应用程序的自动化测试装置，其特征在于，具备：

工作台，用于放置待测试的移动终端；

机械手，用于根据来自下述的控制装置的指令模拟人的手指动作；

摄像头，用于以模拟人的眼睛的方式对待测试移动终端的屏幕进行摄像并且将摄像到图像传送到下述的控制装置；

机械臂，用于承载所述机械手和摄像头并且能够在X轴、Y轴、Z轴方向上移动，根据来自下述的控制装置的指令移动到特定位置；以及

控制装置，用于根据应用程序产生控制所述机械臂的移动和所述机械手的动作的指令，以实现对应用程序进行仿真操作进而实现自动化测试。

2.如权利要求1所述的移动终端应用程序的自动化测试装置，其特征在于，

所述摄像头还用于对测试过程进行摄像。

3.如权利要求1所述的移动终端应用程序的自动化测试装置，其特征在于，

所述机械臂在X轴和Y轴方向上移动以使得机械臂的中心点与待测移动终端的中心点重合并且在Z轴方向上运动使得摄像头覆盖区域为移动终端设备的可视区域。

4.如权利要求1所述的移动终端应用程序的自动化测试装置，其特征在于，

所述机械手能够模拟进行点击、平移、旋转、放大、缩小、单点、多点操作。

5.如权利要求1所述的移动终端应用程序的自动化测试装置，其特征在于，

所述控制装置对从所述摄像头传送来的图像进行图像识别和匹配后控制所述机械臂进行定位。

6.一种移动终端应用程序的自动化测试方法，其特征在于，包括下述步骤：

移动终端定位步骤，将移动终端传送到工作台上，利用机械臂将移动终端移动、定位到第一规定位置；

应用程序定位步骤，读入待测试应用程序的图标，并利用摄像头采集当前屏幕上所有应用程序的截图，进行计算并判断待测试应用程序是否在当前屏幕上，如果判断为是的情况下，则表示找到待测试应用程序的图标并继续后述步骤，否则的话，使得机械手模拟滑屏动作并重复进行上述判断动作直到找到待测试应用程序；

应用程序选择步骤，使得机械手移动到基于上述计算结果的第二规定位置，并触发点击动作以选择应用程序；

应用程序加载步骤，等待应用程序加载直到应用程序加载完毕；

应用程序加载成功判断步骤，读入表示应用程序加载成功的字符串或图片，并利用摄像头采集当前屏幕上的截图，进行计算并判断应用程序是否加载成功，仅在判断加载成功的情况下继续后述步骤；

应用程序测试步骤，读入用于控制机械手进行动作的动作指令，根据该动作指令机械手操作应用程序并且获得测试数据。

7.如权利要求6所述的移动终端应用程序的自动化测试方法，其特征在于，在所述移动终端定位步骤包括下述子步骤：

将移动终端传送到工作台上并进行固定；

移动终端上电；

利用机械臂将移动终端在X轴、Y轴向移动使得机械臂的中心点与待测试移动终端的中心点重合，并且在Z轴向移动使得摄像头覆盖移动终端的可视区域。

8.如权利要求7所述的移动终端应用程序的自动化测试方法，其特征在于，

所述应用程序定位步骤包括下述子步骤：

读入待测试应用程序并储存为图片A；

利用摄像头采集当前屏幕上所有应用程序的截图并存为图片B；

判断图片A是否为图片B的子集；

在判断图片A是图片B的子集的情况下则表示找到待测试应用程序的图标并继续后述步骤，否则的话，使得机械手模拟滑屏动作并重复进行上述判断动作直到找到待测试应用程序，并且若遍历所有可访问窗口均无法匹配的情况下，则报错、退出测试方法。

9.如权利要求8所述的移动终端应用程序的自动化测试方法，其特征在于，

在判断图片A是图片B的子集的情况下，设从第一坐标（M1，N1）到第二坐标（M2，N2）为图片A在图片B中的相对位置的情况下，在所述应用程序选择步骤中，使得机械手从坐标（0，0）移动到第三坐标（（M1+M2）/2,（N1+N2）/2）并触发点击动作以选择应用程序。

10.如权利要求9所述的移动终端应用程序的自动化测试方法，其特征在于，

所述应用程序加载成功判断步骤包括下述子步骤：

读入表示应用程序加载成功图片C；

利用摄像头采集当前屏幕上的截图作为图片D；

判断图片C是否为图片D的子集，若图片C是图片D的子集则判断应用程序加载成功；

在判断加载成功的情况下继续后述步骤，否则报错、退出测试方法。

11.如权利要求9所述的移动终端应用程序的自动化测试方法，其特征在于，

所述应用程序加载成功判断步骤包括下述子步骤：

读入表示应用程序加载成功的第一字符串；

利用摄像头采集当前屏幕上的截图作为图片D；

对图片D进行OCR操作提取其中的第二字符串；

判断所述第一字符串和所述第二字符串是否相同，若相同则判断应用程序加载成功；

在判断加载成功的情况下继续后述步骤，否则报错、退出测试方法。

12.如权利要求1～11任意一项所述的移动终端应用程序的自动化测试方法，其特征在于，

所述应用程序测试步骤包括下述子步骤：

读入用于控制机械手进行动作的动作指令，所述指令为三元指令包括三个元素：对象、动作、值；

使用摄像头定位所述对象；

使用机械手移动到对象位置；

使用机械手触发所述动作；

根据所述值确定所述动作持续的时间或位移。

13.如权利要求12所述的移动终端应用程序的自动化测试方法，其特征在于，

所述对象为图像的情况下，

使用摄像头定位所述对象的步骤包括下述子步骤：

读入该图像作为图片E；

利用摄像头采集当前屏幕上的截图作为图片F；

判断图片E是否为图片F的子集，若图片E是图片F的子集则判断对象定位成功；

在判断对象定位成功的情况下继续后述步骤，否则报错、退出测试方法。

14.如权利要求12所述的移动终端应用程序的自动化测试方法，其特征在于，

所述对象为文字的情况下，

使用摄像头定位所述对象的步骤包括下述子步骤：

读入表示该对象的第三字符串；

利用摄像头采集当前屏幕上的截图作为图片E；

对图片E进行OCR操作提取其中的第四字符串；

判断所述第三字符串和所述第四字符串是否相同，若相同则判断对象定位成功；

在判断对象定位成功的情况下继续后述步骤，否则报错、退出测试方法。