CN103164310B - 一种用于测试移动设备的方法、设备和系统 - Google Patents

Abstract

本发明的目的是提供一种用于测试移动设备的方法、设备与系统。其中，首先移动设备获取其操作界面图像；接着向测试控制设备发送所述操作界面图像；测试控制设备获取该操作界面图像；随后检测测试者在所述操作界面图像上进行的测试操作，以获得所述测试操作相对应的测试操作信息；随后根据所述测试操作信息，生成供所述移动设备执行的测试指令；随后将所述测试指令发送至所述移动设备；移动设备接收该测试指令；执行所述测试指令，以获得与所述测试指令相对应的执行结果。与现有技术相比，本发明使得测试人员通过便于操作的测试控制设备对不同的移动设备进行测试，从而提高测试效率，降低测试成本。

Description

一种用于测试移动设备的方法、设备和系统

技术领域

本发明涉及领域计算机领域，尤其涉及一种测试移动设备的技术。

背景技术

随着移动互联网的快速发展，新型移动设备设备层出不穷。在新产品推出的过程中，目前测试人员在对同一软件在不同的移动设备上进行用户界面(UI)测试时，需分别在每个移动设备上进行测试，由于移动设备的操作界面的尺寸受限，与台式计算机、笔记本等较大计算机设备相比操作较为不便，从而影响测试人员的测试效率，增加测试成本。

因此，如何高效地实现移动设备测试以提高测试效率，成为目前亟待解决的问题之一。

发明内容

本发明的目的是提供一种用于测试移动设备的方法与设备。

根据本发明的一个方面，提供了一种在测试控制设备中实现的用于测试移动设备的方法，该方法包括以下步骤：

a获取来自待测的移动设备的操作界面图像；

b检测测试者在所述操作界面图像上进行的测试操作，以获得所述测试操作相对应的测试操作信息；

c根据所述测试操作信息，生成所述测试操作信息相对应的供所述移动设备执行的测试指令；

d将所述测试指令发送至所述移动设备。

根据本发明的一个方面，还提供了一种在移动设备中实现的用于辅助测试该移动设备的方法，该方法包括以下步骤：

A获取所述移动设备的操作界面图像；

B向测试控制设备发送所述操作界面图像；

C接收来自所述测试控制设备的基于所述操作界面图像的测试指令；

D执行所述测试指令，以获得与所述测试指令相对应的执行结果。

根据本发明的另一方面，还提供了一种用于测试移动设备的测试控制设备，该设备包括：

第一图像获取装置，用于获取来自待测的移动设备的操作界面图像；

操作信息获取装置，用于检测测试者在所述操作界面图像上进行的测试操作，以获得所述测试操作相对应的测试操作信息；

指令生成装置，用于根据所述测试操作信息，生成所述测试操作信息相对应的供所述移动设备执行的测试指令；

指令发送装置，用于将所述测试指令发送至所述移动设备。

根据本发明的另一方面，还提供了一种用于辅助测试该移动设备的移动设备，该设备包括：

第二图像获取装置，用于获取所述移动设备的操作界面图像；

图像发送装置，用于向测试控制设备发送所述操作界面图像；

指令接收装置，用于接收来自所述测试控制设备的基于所述操作界面图像的测试指令；

执行装置，用于执行所述测试指令，以获得与所述测试指令相对应的执行结果。

根据本发明的又一方面，还提供了一种用于测试移动设备的系统，包括上述测试控制设备及移动设备。

与现有技术相比，本发明通过如台式计算机的测试控制设备对移动设备的操作界面图像进行操作，以生成相应的测试指令，并发送至该移动设备处执行，由此使得测试人员通过便于操作的测试控制设备对不同的移动设备进行测试，从而提高测试效率，降低测试成本。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本发明一个方面的用于测试移动设备的设备示意图；

图2示出根据本发明一个优选实施例的用于测试移动设备的设备示意图；

图3示出根据本发明另一个优选实施例的用于测试移动设备的设备示意图；

图4示出根据本发明又一个优选实施例的用于测试移动设备的设备示意图；

图5示出根据本发明另一个方面的用于测试移动设备的方法流程图；

图6示出根据本发明一个优选实施例的用于测试移动设备的方法流程图；

图7示出根据本发明另一个优选实施例的用于测试移动设备的方法流程图；

图8示出根据本发明又一个优选实施例的用于测试移动设备的方法流程图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

图1示出根据本发明一个方面的用于测试移动设备的设备示意图。其中，测试控制设备1包括第一图像获取装置11、操作信息获取装置12、指令生成装置13和指令发送装置14；移动设备2包括第二图像获取装置21、图像发送装置22、指令接收装置23和执行装置24。

在此，所述测试控制设备为用户设备，其包括但不限于台式机、笔记本电脑、上网本等任何具有桌面操作功能的设备。

在此，所述移动设备意指可以在移动中使用的计算机设备，包括但不限于智能手机、PDA、POS机、车载电脑、导航仪等，其显示屏尺寸通常远远小于台式电脑的显示器尺寸。

在此，测试控制设备1与移动设备2之间可通过任何通信方式实现通信，包括但不限于，基于3GPP、LTE、WIMAX的移动通信、基于TCP/IP、UDP协议的计算机网络通信以及基于蓝牙、红外传输标准的近距无线传输方式。

如图1所示，测试控制设备1和移动设备2的各个装置之间互相配合，以实现在测试控制设备1中测试移动设备2。

以下参照图1来对测试控制设备1测试移动设备2的过程进行详细描述：

具体地，首先，移动设备2的第二图像获取装置21获取移动设备2的操作界面图像。在此，所述操作界面图像包括但不限于：

1)移动设备的屏幕图像；

2)移动设备的物理按键图像。

本领域技术人员应能理解上述操作界面图像仅为举例，其他现有的或今后可能出现的操作界面图像如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

在此，所述获取操作界面图像的方式包括但不限于以下情形：

1)第二图像获取装置21的定期地通过移动设备2所提供的应用编程接口(API)，从移动设备2的显存中读取当前在其显示屏幕上显示的图像。在此，所述显存执行存储的功能，其用于存储移动设备2的显卡输出到显示屏幕上的每个像素的信息。

2)第二图像获取装置21通过约定的通信方式发送操作界面拍照请求至第三方拍照设备，该第三方拍照设备根据该请求对移动设备2的屏幕或物理键盘进行拍照，并将拍照获得拍照图像信息返回至移动设备2，第二图像获取装置21接收该拍照图像信息作为操作界面图像。其中，所述第三方拍照设备包括但不限于照相机、摄像机、摄像头等。其中，所述约定的通信方式包括但不限于串口通信、USB通信等。

本领域技术人员应能理解上述获取操作界面图像的方式仅为举例，其他现有的或今后可能出现的获取操作界面图像的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

接着，移动设备2的图像发送装置22通过预定的通信方式，向测试控制设备1发送第二图像获取装置21获取的操作界面图像。

随后，测试控制设备1的第一图像获取装置11例如通过实时监听的方式获取来自待测的移动设备2的操作界面图像。

本领域技术人员应能理解上述发送操作界面图像的方式和/或获取操作界面图像的方式仅为举例，其他现有的或今后可能出现的发送操作界面图像的方式和/或获取操作界面图像的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

接着，测试控制设备1通过调用其显卡所提供的应用编程接口(API)，将该操作界面图像显示在测试控制设备1的显示屏幕上；在此，所述显卡即显示接口卡，其用于将计算机所需要的显示信息进行转换驱动，并向该计算机的屏幕提供诸如行扫描信号等显示信号，控制其正确显示；然后，操作信息获取装置12检测测试者在该操作界面图像上进行的测试操作，例如在屏幕图像上的点击、拖曳等测试操作，或对物理按键图像中按键的点击操作，以获得该测试操作相对应的测试操作信息。例如，测试者借助测试控制设备1的交互装置，包括但不限于键盘、触摸屏、鼠标、或手写设备等，与测试控制设备1进行交互；以鼠标为例，测试者在该借助测试控制设备1的显示屏幕所显示的操作界面图像中点击某游戏的应用图标以启动该游戏，操作信息获取装置12通过实时监听的方式获取相应的测试操作信息，其中，该测试操作信息中包括该点击操作的标识信息以及在该操作界面图像中点击的位置坐标。在此，所述测试操作的类型包括但不限于对移动设备的屏幕图像中的元素进行单击、双击、拖曳等操作。

本领域技术人员应能理解上述获取测试操作信息的方式仅为举例，其他现有的或今后可能出现的获取测试操作信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

指令生成装置13根据操作信息获取装置12获取的测试操作信息，生成所述测试操作信息相对应的供所述移动设备执行的测试指令。在此，生成所述测试指令的方式包括但不限于：

-当操作界面图像为移动设备的屏幕图像时，指令生成装置13根据测试操作信息，生成供该移动设备执行的触摸屏测试指令。

具体地，当操作界面图像为移动设备2的屏幕图像时，则指令生成装置13根据测试操作信息，并结合移动设备2的型号信息，生成与移动设备2相匹配的在其触摸屏的相应位置执行相应测试操作的触摸屏测试指令。

在一示例中，当操作界面图像为移动设备2的屏幕图像时，测试操作信息包括对屏幕图像进行点击操作，且该点击在屏幕图像中的坐标位置为(40，210)(例如，以像素为单位)；指令生成装置13通过调用移动设备2提供的应用编程接口(API)，从其设备信息库中查询以获取移动设备2的型号信息为iphone4，则根据该操作信息包括的点击操作的标识信息以及该型号信息，在本地或第三方设备的指令库中进行匹配查询，以获取与该点击操作的标识信息在iphone4中所对应的测试指令，并将上述坐标信息坐标为测试指令的执行参数，以作为供移动设备2执行的触摸屏测试指令。在此，所述指令库包括各个操作的标识信息及其在各个不同型号的移动设备中所对应的测试指令，其包括但不限于关系数据库、Key-Value存储系统、文件系统等。

-当操作界面图像为移动设备的物理按键图像时，指令生成装置13根据测试操作信息，生成供该移动设备执行的物理按键测试指令。该生成方式将在下文的优选实施例中予以详细阐述。

本领域技术人员应能理解上述生成触摸屏测试指令的方式仅为举例，其他现有的或今后可能出现的生成触摸屏测试指令的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

本领域技术人员还应能理解上述生成测试指令的方式仅为举例，其他现有的或今后可能出现的生成测试指令的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

随后，指令发送装置14将指令生成装置13生成的测试指令，例如，可将其封装为一请求消息，如http请求消息，并通过相应的通信协议，如http、https通信协议，发送至移动设备2。

接着，移动设备2的指令接收装置23实时地接收并解析来自测试控制设备1的基于该操作界面图像的测试指令。

本领域技术人员应能理解上述发送测试指令的方式和/或接收测试指令的方式仅为举例，其他现有的或今后可能出现的发送测试指令的方式和/或接收测试指令的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

随后，执行装置24执行指令接收装置23接收到的测试指令，根据该测试指令对移动设备2执行相应的测试，进而获得执行结果。例如，测试指令为在移动设备2屏幕中坐标位置为(40，210)的像素点执行点击操作，则根据该测试指令，执行装置24通过调用移动设备2提供的应用编程接口(API)，在移动设备2屏幕坐标位置(40，210)执行点击测试，以获得执行结果。在此，所述执行结果包括但不限于移动设备2的屏幕上的执行结果图像、测试指令执行成功与否的执行结果信息、执行日志信息。

本领域技术人员应能理解上述执行测试指令的方式仅为举例，其他现有的或今后可能出现的执行测试指令的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

优选地，测试控制设备1的第一图像获取装置11、操作信息获取装置12、指令生成装置13和指令发送装置14以及移动设备2的第二图像获取装置21、图像发送装置22、指令接收装置23和执行装置24之间是持续不断地工作。具体地，第二图像获取装置21持续地获取所述移动设备的操作界面图像；图像发送装置22也持续地向测试控制设备发送所述操作界面图像；测试控制设备的第一图像获取装置11也持续地获取来自待测的移动设备的操作界面图像；操作信息获取装置12也持续地检测测试者在所述操作界面图像上进行的测试操作，以获得所述测试操作相对应的测试操作信息；指令生成装置13也持续地根据所述测试操作信息，生成所述测试操作信息相对应的供所述移动设备执行的测试指令；指令发送装置14也持续地将所述测试指令发送至所述移动设备；移动设备2的指令接收装置23也持续地接收来自所述测试控制设备的基于所述操作界面图像的测试指令；执行装置24也持续地执行所述测试指令，以获得与所述测试指令相对应的执行结果。在此，本领域技术人员应理解“持续”是指各装置不断进行上述操作界面图像的获取、操作界面图像的发送、操作界面图像的获取、测试操作信息的获取、测试指令的生成及测试指令的执行，直至满足预定停止条件，例如第一图像获取装置11在较长时间内停止操作界面图像的获取。

优选地(参照图1)，移动设备2还包括结果发送装置(未示出)，测试控制设备1还包括结果接收装置(未示出)。

具体地，移动设备2的结果发送装置将执行装置24获得的执行结果，通过预定的通信方式发送至测试控制设备1；例如，可将其封装为http请求消息并通过诸如http、https通信协议发送至测试控制设备1，接着，测试控制设备1的结果接收装置实时监听并接收该请求消息，并提取其中的执行结果。

本领域技术人员应能理解上述发送执行结果的方式和/或接收执行结果的方式仅为举例，其他现有的或今后可能出现的发送执行结果的方式和/或接收执行结果的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

更优选地，测试控制设备1还包括更新装置(未示出)。该更新装置根据执行装置24执行测试指令以获得的执行结果，更新操作界面图像。

具体地，当操作界面图像为移动设备的屏幕图像时，更新装置可通过调用测试控制设备1的显卡所提供的应用编程接口(API)，将当前的操作界面图像替换为移动设备2屏幕上显示的执行结果图像以作为新的操作界面图像，进而供测试者在该新的操作界面图像上进行测试操作。

本领域技术人员应能理解上述更新操作界面图像的方式仅为举例，其他现有的或今后可能出现的更新操作界面图像的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

图2示出根据本发明一个优选实施例的用于测试移动设备的设备示意图。测试控制设备1的第一图像获取装置11’还包括请求发送单元111’和图像接收单元112’；移动设备2的第二图像获取装置还包括请求接收单元211’和第三图像获取单元212’。

在此，图2中所示装置12’、13’、14’、22’、23’和24’的功能与前面参照图1所描述的装置12、13、14、22、23和24的内容相同，为简明起见，将其以引用方式包含于此，而不做赘述。

以下参照图2来对该优选实施例进行详细描述：

具体地，首先，测试控制设备1的请求发送单元111’通过预定的通信方式，应事件触发实时地、或周期性地向移动设备2发送获取操作界面图像的图像获取请求；

接着，移动设备2的请求接收单元211’实时地接收来自测试控制设备1的图像获取请求；

随后，第三图像获取单元212’根据请求接收单元211’接收的图像获取请求，例如通过移动设备2的显存所提供的应用编程接口(API)，从中读取当前移动设备2显示的屏幕图像，以获取操作界面图像；

接着，图像发送装置22’通过预定的通信方式，向测试控制设备1发送第三图像获取单元212’获取的操作界面图像；

随后，图像接收单元212’通过实时监听的方式接收移动设备2响应于该图像获取请求反馈的该操作界面图像。

本领域技术人员应能理解上述发送图像获取请求的方式和/或接收图像获取请求的方式和/或获取操作界面图像的方式和/或接收操作界面图像的方式仅为举例，其他现有的或今后可能出现的发送图像获取请求的方式和/或接收图像获取请求的方式和/或获取操作界面图像的方式和/或接收操作界面图像的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

图3示出根据本发明另一个优选实施例的用于测试移动设备的设备示意图。其中，测试控制设备1还包括放大装置15”，操作信息获取装置12”还包括原始信息获取单元121”和操作信息转换单元122”。

在此，图3中所示装置11”、13”、14”、21”、22”、23”和24”的功能与前面参照图1所描述的装置11、13、14、21、22、23和24的内容相同，为简明起见，将其以引用方式包含于此，而不做赘述。

具体地，首先，放大装置15”根据第一图像获取装置11”获取的操作界面图像，利用如最邻近插值(近邻取样法)、双线性内插值、三次卷积法等插值算法，对该操作界面图像进行缩放处理，以获得预定尺寸的放大图像。

接着，测试控制设备1通过调用其显卡所提供的应用编程接口(API)，将该放大图像显示在测试控制设备1的显示屏幕上；操作信息获取装置12”的原始信息获取单元121”检测测试者在该放大图像上进行的测试操作，以获得基于该放大图像的原始测试操作信息；在此，所述原始测试操作信息包括但不限于：测试操作的类型以及该测试操作对应的放大图像像素点位置坐标。在此，该测试操作的类型包括在放大图像上进行单击、双击、拖曳等操作。

随后，操作信息转换单元122”根据预定放大比例信息，将基于该放大图像的原始测试操作信息中包含的测试操作对应的放大图像像素点位置坐标反向转换为该测试操作所对应的操作界面图像的像素点位置坐标，以获得基于该操作界面图像的测试操作信息。

在一示例中，放大装置15”利用双线性内插值算法，对已获得的操作界面图像进行放大处理，以获得与该操作界面图像相比放大三倍的放大图像；测试控制设备1通过调用其显卡所提供的应用编程接口(API)，将该放大图像显示在测试控制设备1的显示屏幕上；测试者在该放大图像上进行点击操作，且该点击在该放大图像的像素点位置坐标为(90，180)，原始信息获取单元121”对该测试者在该放大图像上的点击操作进行检测，以获得基于该放大图像的原始测试操作信息；随后，操作信息转换单元212”将该原始测试操作信息中包含的点击操作对应的放大图像像素点位置坐标(90，180)，按照缩小三倍的比例转换为该点击操作所对应的原始操作界面图像的像素点位置坐标(30，60)(30＝90/3，60＝180/3)，并据此获得基于该操作界面图像的测试操作信息。

本领域技术人员应能理解上述放大操作界面图像的方式和/或获取原始测试操作信息的方式和/或转换测试操作信息的方式仅为举例，其他现有的或今后可能出现的放大操作界面图像的方式和/或获取原始测试操作信息的方式和/或转换测试操作信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

在此，由于移动设备的原始操作界面图像尺寸有限，为便于用户进行测试操作，对该原始操作界面图像进行成比例放大处理，以获得相对较大尺寸的放大图像，并使用户通过该放大后的图像进行测试操作，并获得基于放大后的图像的原始测试操作信息，然后，再根据放大的比例信息，将该原始测试操作信息转换为基于原始操作界面图像的测试操作信息，以用于生成测试指令。

图4示出根据本发明又一个优选实施例的用于测试移动设备的设备示意图。当操作界面图像为移动设备的物理按键图像时，指令生成装置13”’还包括按键确定单元131”’和第一生成单元132”’。

具体地，当操作界面图像为移动设备2的物理按键图像时，则首先，按键确定单元131”’例如根据操作信息获取装置12”’获取的测试操作信息中的测试操作在物理按键图像上的像素位置信息，以及预置的各物理按键在操作界面图像中像素位置信息，确定本次测试被操作的物理按键；接着，第一生成单元132”’根据按键确定单元131”’确定的被操作的物理按键，并结合从移动设备2的设备信息库中查询获取的该移动设备的型号信息，生成供移动设备2执行的物理按键测试指令。

在一示例中，当操作界面图像为移动设备2的物理按键图像时，测试操作信息中示出本次测试为点击操作，且该点击在该物理按键图像上的像素位置坐标为(480，680)，首先，按键确定单元131”’根据该测试操作信息，在按键位置信息库中进行匹配查询，以获取在坐标(480，680)处的按键为“菜单”键；接着，第一生成单元132”’根据已确定的“菜单”键，并结合从移动设备2的设备信息库中查询获取的该移动设备的型号信息，生成供移动设备2执行的点击“菜单”键的物理按键测试指令。在此，所述按键位置信息库中包含各物理按键及其在操作界面图像中的预置位置信息，其包括但不限于关系数据库、Key-Value存储系统、文件系统等。

本领域技术人员应能理解上述确定物理按键的方式和/或生成物理按键测试指令的方式仅为举例，其他现有的或今后可能出现的确定物理按键的方式和/或生成物理按键测试指令的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

图5示出根据本发明一个方面的用于测试移动设备的方法流程图。

在此，所述测试控制设备为用户设备，其包括但不限于台式机、笔记本电脑、上网本等任何具有桌面操作功能的设备。

在此，所述移动设备意指可以在移动中使用的计算机设备，包括但不限于智能手机、PDA、POS机、车载电脑、导航仪等，其显示屏尺寸通常远远小于台式电脑的显示器尺寸。

在此，测试控制设备1与移动设备2之间可通过任何通信方式实现通信，包括但不限于，基于3GPP、LTE、WIMAX的移动通信、基于TCP/IP、UDP协议的计算机网络通信以及基于蓝牙、红外传输标准的近距无线传输方式。

如图5所示，测试控制设备1和移动设备2在各步骤中互相配合，以实现在测试控制设备1中测试移动设备2。

以下参照图5来对测试控制设备1测试移动设备2的过程进行详细描述：

具体地，首先，在步骤S 1中，移动设备2获取其操作界面图像。在此，所述操作界面图像包括但不限于：

1)移动设备的屏幕图像；

2)移动设备的物理按键图像。

本领域技术人员应能理解上述操作界面图像仅为举例，其他现有的或今后可能出现的操作界面图像如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

在此，所述获取操作界面图像的方式包括但不限于以下情形：

1)在步骤S1中，移动设备2的定期地通过其提供的应用编程接口(API)，从移动设备2的显存中读取当前在其显示屏幕上显示的图像。在此，所述显存执行存储的功能，其用于存储移动设备2的显卡输出到显示屏幕上的每个像素的信息。

2)在步骤S1中，移动设备2通过约定的通信方式发送操作界面拍照请求至第三方拍照设备，该第三方拍照设备根据该请求对移动设备2的屏幕或物理键盘进行拍照，并将拍照获得拍照图像信息返回至移动设备2，移动设备2接收该拍照图像信息作为操作界面图像。其中，所述第三方拍照设备包括但不限于照相机、摄像机、摄像头等。其中，所述约定的通信方式包括但不限于串口通信、USB通信等。

本领域技术人员应能理解上述获取操作界面图像的方式仅为举例，其他现有的或今后可能出现的获取操作界面图像的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

接着，在步骤S2中，移动设备2通过预定的通信方式，向测试控制设备1发送其在步骤S1中获取的操作界面图像。

随后，在步骤S3中，测试控制设备1例如通过实时监听的方式获取来自待测的移动设备2的操作界面图像。

本领域技术人员应能理解上述发送操作界面图像的方式和/或获取操作界面图像的方式仅为举例，其他现有的或今后可能出现的发送操作界面图像的方式和/或获取操作界面图像的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

接着，测试控制设备1通过调用其显卡所提供的应用编程接口(API)，将该操作界面图像显示在测试控制设备1的显示屏幕上；在此，所述显卡即显示接口卡，其用于将计算机所需要的显示信息进行转换驱动，并向该计算机的屏幕提供诸如行扫描信号等显示信号，控制其正确显示；然后，在步骤S4中，测试控制设备1检测测试者在该操作界面图像上进行的测试操作，例如在屏幕图像上的点击、拖曳等测试操作，或对物理按键图像中按键的点击操作，以获得该测试操作相对应的测试操作信息。例如，测试者借助测试控制设备1的交互装置，包括但不限于键盘、触摸屏、鼠标、或手写设备等，与测试控制设备1进行交互；以鼠标为例，测试者在该借助测试控制设备1的显示屏幕所显示的操作界面图像中点击某游戏的应用图标以启动该游戏，在步骤S4中，测试控制设备1通过实时监听的方式获取相应的测试操作信息，其中，该测试操作信息中包括该点击操作的标识信息以及在该操作界面图像中点击的位置坐标。在此，所述测试操作的类型包括但不限于对移动设备的屏幕图像中的元素进行单击、双击、拖曳等操作。

本领域技术人员应能理解上述获取测试操作信息的方式仅为举例，其他现有的或今后可能出现的获取测试操作信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

在步骤S5中，测试控制设备1根据其在步骤S4中获取的测试操作信息，生成所述测试操作信息相对应的供所述移动设备执行的测试指令。在此，生成所述测试指令的方式包括但不限于：

-当操作界面图像为移动设备的屏幕图像时，在步骤S5中，测试控制设备1根据测试操作信息，生成供该移动设备执行的触摸屏测试指令。

具体地，当操作界面图像为移动设备2的屏幕图像时，则在步骤S5中，测试控制设备1根据测试操作信息，并结合移动设备2的型号信息，生成与移动设备2相匹配的在其触摸屏的相应位置执行相应测试操作的触摸屏测试指令。

在一示例中，当操作界面图像为移动设备2的屏幕图像时，测试操作信息包括对屏幕图像进行点击操作，且该点击在屏幕图像中的坐标位置为(40，210)(例如，以像素为单位)；在步骤S5中，测试控制设备1通过调用移动设备2提供的应用编程接口(API)，从其设备信息库中查询以获取移动设备2的型号信息为iphone4，则根据该操作信息包括的点击操作的标识信息以及该型号信息，在本地或第三方设备的指令库中进行匹配查询，以获取与该点击操作的标识信息在iphone4中所对应的测试指令，并将上述坐标信息坐标为测试指令的执行参数，以作为供移动设备2执行的触摸屏测试指令。在此，所述指令库包括各个操作的标识信息及其在各个不同型号的移动设备中所对应的测试指令，其包括但不限于关系数据库、Key-Value存储系统、文件系统等。

-当操作界面图像为移动设备的物理按键图像时，在步骤S5中，测试控制设备1根据测试操作信息，生成供该移动设备执行的物理按键测试指令。该生成方式将在下文的优选实施例中予以详细阐述。

本领域技术人员应能理解上述生成触摸屏测试指令的方式仅为举例，其他现有的或今后可能出现的生成触摸屏测试指令的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

本领域技术人员还应能理解上述生成测试指令的方式仅为举例，其他现有的或今后可能出现的生成测试指令的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

随后，在步骤S6中，测试控制设备1将其在步骤S5中生成的测试指令，例如，可将其封装为一请求消息，如http请求消息，并通过相应的通信协议，如http、https通信协议，发送至移动设备2。

接着，在步骤S7中，移动设备2实时地接收并解析来自测试控制设备1的基于该操作界面图像的测试指令。

本领域技术人员应能理解上述发送测试指令的方式和/或接收测试指令的方式仅为举例，其他现有的或今后可能出现的发送测试指令的方式和/或接收测试指令的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

随后，在步骤S8中，移动设备2执行其在步骤S7中接收到的测试指令，根据该测试指令对移动设备2执行相应的测试，进而获得执行结果。例如，测试指令为在移动设备2屏幕中坐标位置为(40，210)的像素点执行点击操作，则根据该测试指令，在步骤S8中，移动设备2通过调用其提供的应用编程接口(API)，在移动设备2屏幕坐标位置(40，210)执行点击测试，以获得执行结果。在此，所述执行结果包括但不限于移动设备2的屏幕上的执行结果图像、测试指令执行成功与否的执行结果信息、执行日志信息。

本领域技术人员应能理解上述执行测试指令的方式仅为举例，其他现有的或今后可能出现的执行测试指令的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

优选地，移动设备2在步骤S1、步骤S2、步骤S7、步骤S8和测试控制设备1在步骤S3、步骤S4、步骤S5、步骤S6中是持续不断地工作。具体地，在步骤S1中，移动设备2持续地获取所述移动设备的操作界面图像；在步骤S2中，移动设备2也持续地向测试控制设备发送所述操作界面图像；在步骤S3中，测试控制设备1也持续地获取来自待测的移动设备的操作界面图像；在步骤S4中，测试控制设备1也持续地检测测试者在所述操作界面图像上进行的测试操作，以获得所述测试操作相对应的测试操作信息；在步骤S5中，测试控制设备1也持续地根据所述测试操作信息，生成所述测试操作信息相对应的供所述移动设备执行的测试指令；在步骤S6中，测试控制设备1也持续地将所述测试指令发送至所述移动设备；在步骤S7中，移动设备2也持续地接收来自所述测试控制设备的基于所述操作界面图像的测试指令；在步骤S8中，移动设备2也持续地执行所述测试指令，以获得与所述测试指令相对应的执行结果。在此，本领域技术人员应理解“持续”是指测试控制设备1和移动设备2在各步骤中不断进行上述操作界面图像的获取、操作界面图像的发送、操作界面图像的获取、测试操作信息的获取、测试指令的生成及测试指令的执行，直至满足预定停止条件，例如移动设备2在较长时间内停止操作界面图像的获取。

优选地(参照图5)，该过程还包括步骤S9(未示出)和步骤S10(未示出)。

具体地，在步骤S9中，移动设备2获得的执行结果，通过预定的通信方式发送至测试控制设备1；例如，可将其封装为http请求消息并通过诸如http、https通信协议发送至测试控制设备1，接着，在步骤S10中，测试控制设备1实时监听并接收该请求消息，并提取其中的执行结果。

本领域技术人员应能理解上述发送执行结果的方式和/或接收执行结果的方式仅为举例，其他现有的或今后可能出现的发送执行结果的方式和/或接收执行结果的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

更优选地，该过程还包括步骤S11(未示出)。在步骤S11中，测试控制设备1根据其执行测试指令以获得的执行结果，更新操作界面图像。

具体地，当操作界面图像为移动设备的屏幕图像时，在步骤S11中，测试控制设备1可通过调用其显卡所提供的应用编程接口(API)，将当前的操作界面图像替换为移动设备2屏幕上显示的执行结果图像以作为新的操作界面图像，进而供测试者在该新的操作界面图像上进行测试操作。

本领域技术人员应能理解上述更新操作界面图像的方式仅为举例，其他现有的或今后可能出现的更新操作界面图像的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

图6示出根据本发明一个优选实施例的用于测试移动设备的方法流程图。该过程还包括步骤S101’、步骤S102’和步骤S301’、步骤S302’。

在此，图6中所示移动设备2在步骤S2’、步骤S7’、步骤S8’中和测试控制设备1在步骤S4’、步骤S5’、步骤S6’中的功能与前面参照图5所描述的移动设备2在步骤S2、步骤S7、步骤S8中和测试控制设备1在步骤S4、步骤S5、步骤S6中的内容相同，为简明起见，将其以引用方式包含于此，而不做赘述。

以下参照图6来对该优选实施例进行详细描述：

具体地，首先，在步骤S301’中，测试控制设备1通过预定的通信方式，应事件触发实时地、或周期性地向移动设备2发送获取操作界面图像的图像获取请求；

接着，在步骤S101’中，移动设备2实时地接收来自测试控制设备1的图像获取请求；

随后，在步骤S102’中，移动设备2根据其在步骤S11’中接收的图像获取请求，例如通过移动设备2的显存所提供的应用编程接口(API)，从中读取当前移动设备2显示的屏幕图像，以获取操作界面图像；

接着，在步骤S2’中，移动设备2通过预定的通信方式，向测试控制设备1发送其在步骤S12’中获取的操作界面图像；

随后，在步骤S302’中，测试控制设备1通过实时监听的方式接收移动设备2响应于该图像获取请求反馈的该操作界面图像。

本领域技术人员应能理解上述发送图像获取请求的方式和/或接收图像获取请求的方式和/或获取操作界面图像的方式和/或接收操作界面图像的方式仅为举例，其他现有的或今后可能出现的发送图像获取请求的方式和/或接收图像获取请求的方式和/或获取操作界面图像的方式和/或接收操作界面图像的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

图7示出根据本发明另一个优选实施例的用于测试移动设备的方法流程图。其中，该过程还包括步骤S12”、步骤S401”和步骤S402”。

在此，图7中所示移动设备2在步骤S1”、步骤S2”、步骤S7”、步骤S8”中和测试控制设备1在步骤S3”、步骤S5”、步骤S6”中的功能与前面参照图5所描述的移动设备2在步骤S1、步骤S2、步骤S7、步骤S8中和测试控制设备1在步骤S3、步骤S5、步骤S6中的内容相同，为简明起见，将其以引用方式包含于此，而不做赘述。

具体地，首先，在步骤S12”中，测试控制设备1根据其在步骤S3”中获取的操作界面图像，利用如最邻近插值(近邻取样法)、双线性内插值、三次卷积法等插值算法，对该操作界面图像进行缩放处理，以获得预定尺寸的放大图像。

接着，测试控制设备1通过调用其显卡所提供的应用编程接口(API)，将该放大图像显示在测试控制设备1的显示屏幕上；在步骤S401”中，测试控制设备1检测测试者在该放大图像上进行的测试操作，以获得基于该放大图像的原始测试操作信息；在此，所述原始测试操作信息包括但不限于：测试操作的类型以及该测试操作对应的放大图像像素点位置坐标。在此，该测试操作的类型包括在放大图像上进行单击、双击、拖曳等操作。

随后，在步骤S402”中，测试控制设备1根据预定放大比例信息，将基于该放大图像的原始测试操作信息中包含的测试操作对应的放大图像像素点位置坐标反向转换为该测试操作所对应的操作界面图像的像素点位置坐标，以获得基于该操作界面图像的测试操作信息。

在一示例中，在步骤S12”中，测试控制设备1利用双线性内插值算法，对已获得的操作界面图像进行放大处理，以获得与该操作界面图像相比放大三倍的放大图像；测试控制设备1通过调用其显卡所提供的应用编程接口(API)，将该放大图像显示在测试控制设备1的显示屏幕上；测试者在该放大图像上进行点击操作，且该点击在该放大图像的像素点位置坐标为(90，180)，在步骤S401”中，测试控制设备1对该测试者在该放大图像上的点击操作进行检测，以获得基于该放大图像的原始测试操作信息；随后，在步骤S402”中，测试控制设备1将该原始测试操作信息中包含的点击操作对应的放大图像像素点位置坐标(90，180)，按照缩小三倍的比例转换为该点击操作所对应的原始操作界面图像的像素点位置坐标(30，60)(30＝90/3，60＝180/3)，并据此获得基于该操作界面图像的测试操作信息。

本领域技术人员应能理解上述放大操作界面图像的方式和/或获取原始测试操作信息的方式和/或转换测试操作信息的方式仅为举例，其他现有的或今后可能出现的放大操作界面图像的方式和/或获取原始测试操作信息的方式和/或转换测试操作信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

在此，由于移动设备的原始操作界面图像尺寸有限，为便于用户进行测试操作，对该原始操作界面图像进行成比例放大处理，以获得相对较大尺寸的放大图像，并使用户通过该放大后的图像进行测试操作，并获得基于放大后的图像的原始测试操作信息，然后，再根据放大的比例信息，将该原始测试操作信息转换为基于原始操作界面图像的测试操作信息，以用于生成测试指令。

图8示出根据本发明又一个优选实施例的用于测试移动设备的方法流程图。当操作界面图像为移动设备的物理按键图像时，该过程还包括步骤S501”和步骤S502”。

具体地，当操作界面图像为移动设备2的物理按键图像时，则首先，在步骤S501”’中，测试控制设备1例如根据其在步骤S4”’获取的测试操作信息中的测试操作在物理按键图像上的像素位置信息，以及预置的各物理按键在操作界面图像中像素位置信息，确定本次测试被操作的物理按键；接着，在步骤S502”’中，测试控制设备1根据其在步骤S501”’中确定的被操作的物理按键，并结合从移动设备2的设备信息库中查询获取的该移动设备的型号信息，生成供移动设备2执行的物理按键测试指令。

在一示例中，当操作界面图像为移动设备2的物理按键图像时，测试操作信息中示出本次测试为点击操作，且该点击在该物理按键图像上的像素位置坐标为(480，680)，首先，在步骤S501”’中，测试控制设备1根据该测试操作信息，在按键位置信息库中进行匹配查询，以获取在坐标(480，680)处的按键为“菜单”键；接着，在步骤S502”’中，测试控制设备1根据已确定的“菜单”键，并结合从移动设备2的设备信息库中查询获取的该移动设备的型号信息，生成供移动设备2执行的点击“菜单”键的物理按键测试指令。在此，所述按键位置信息库中包含各物理按键及其在操作界面图像中的预置位置信息，其包括但不限于关系数据库、Key-Value存储系统、文件系统等。

本领域技术人员应能理解上述确定物理按键的方式和/或生成物理按键测试指令的方式仅为举例，其他现有的或今后可能出现的确定物理按键的方式和/或生成物理按键测试指令的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (17)

1.一种在测试控制设备中实现的用于测试移动设备的方法，其中，该方法包括以下步骤：

a获取来自待测的移动设备的操作界面图像；

-对所述操作界面图像进行放大处理，以获得预定尺寸的放大图像；

b检测测试者在所述放大图像上进行的测试操作，以获得基于所述放大图像的原始测试操作信息；将基于所述放大图像的原始测试操作信息转换为基于所述操作界面图像的测试操作信息；

c根据所述测试操作信息，生成所述测试操作信息相对应的供所述移动设备执行的测试指令；

d将所述测试指令发送至所述移动设备。

2.根据权利要求1所述的方法，其中，所述步骤a包括：

a1向所述移动设备发送获取所述操作界面图像的图像获取请求；

a2接收所述移动设备响应于所述图像获取请求反馈的所述操作界面图像。

3.根据权利要求1或2所述的方法，其中，该方法还包括：

-接收所述移动设备执行所述测试指令后返回的执行结果。

4.根据权利要求1或2所述的方法，其中，所述操作界面图像包括以下至少任一项：

-所述移动设备的屏幕图像；

-所述移动设备的物理按键图像。

5.根据权利要求4所述的方法，其中，所述操作界面图像包括所述移动设备的屏幕图像，其中，所述步骤c包括：

-根据所述测试操作信息，生成供所述移动设备执行的触摸屏测试指令。

6.根据权利要求5所述的方法，其中，该方法还包括：

-根据所述移动设备执行所述测试指令后返回的执行结果，更新所述操作界面图像。

7.根据权利要求4所述的方法，其中，所述操作界面图像包括所述移动设备的物理按键图像，其中，所述步骤c包括：

-根据所述测试操作信息，确定被操作的物理按键；

-根据所述物理按键，生成供所述移动设备执行的物理按键测试指令。

8.一种用于测试移动设备的测试控制设备，其中，该设备包括：

第一图像获取装置，用于获取来自待测的移动设备的操作界面图像；

放大装置，用于对所述操作界面图像进行放大处理，以获得预定尺寸的放大图像；

操作信息获取装置，包括原始信息获取单元以及操作信息转换单元；所述原始信息获取单元，用于检测所述测试者在所述放大图像上进行的测试操作，以获得基于所述放大图像的原始测试操作信息；所述操作信息转换单元，用于将基于所述放大图像的原始测试操作信息转换为基于所述操作界面图像的测试操作信息；

指令生成装置，用于根据所述测试操作信息，生成所述测试操作信息相对应的供所述移动设备执行的测试指令；

指令发送装置，用于将所述测试指令发送至所述移动设备。

9.根据权利要求8所述的设备，其中，所述第一图像获取装置包括：

请求发送单元，用于向所述移动设备发送获取所述操作界面图像的图像获取请求；

图像接收单元，用于接收所述移动设备响应于所述图像获取请求反馈的所述操作界面图像。

10.根据权利要求8或9所述的设备，其中，该设备还包括：

结果接收装置，用于接收所述移动设备执行所述测试指令后返回的执行结果。

11.根据权利要求8或9所述的设备，其中，所述操作界面图像包括以下至少任一项：

-所述移动设备的屏幕图像；

-所述移动设备的物理按键图像。

12.根据权利要求11所述的设备，其中，所述操作界面图像包括所述移动设备的屏幕图像，其中，所述指令生成装置用于根据所述测试操作信息，生成供所述移动设备执行的触摸屏测试指令。

13.根据权利要求12所述的设备，其中，该设备还包括：

更新装置，用于根据所述移动设备执行所述测试指令后返回的执行结果，更新所述操作界面图像。

14.根据权利要求11所述的设备，其中，所述操作界面图像包括所述移动设备的物理按键图像，其中，所述指令生成装置包括：

按键确定单元，用于根据所述测试操作信息，确定被操作的物理按键；

第一生成单元，用于根据所述物理按键，生成供所述移动设备执行的物理按键测试指令。

15.一种用于测试移动设备的系统，包括如权利要求8至14中任一项所述的测试控制设备及一种待测的移动设备，所述测试控制设备对所述移动设备进行测试；

所述移动设备包括：

第二图像获取装置，用于获取所述移动设备的操作界面图像；

图像发送装置，用于向测试控制设备发送所述操作界面图像；

指令接收装置，用于接收来自所述测试控制设备的基于所述操作界面图像的测试指令；

执行装置，用于执行所述测试指令，以获得与所述测试指令相对应的执行结果。

16.根据权利要求15所述的系统，其中，所述移动设备的所述第二图像获取装置包括：

请求接收单元，用于接收来自所述测试控制设备的图像获取请求；

第三图像获取单元，用于根据所述图像获取请求，获取相应的操作界面图像。

17.根据权利要求15或16所述的系统，其中，所述移动设备还包括：

结果发送装置，用于将所述执行结果发送至所述测试控制设备。