CN105718363A - 手机响应启动时间点获取方法和装置 - Google Patents

Abstract

本发明公开了一种手机响应启动时间点获取方法和装置，解决现有手机响应性能测试中存在的误差较大的技术问题。方法包括：启动手机的指针功能，以使手机屏幕显示指针功能的参数；接收手机屏幕的图像信息；执行对手机设定应用的模拟点击操作；基于图像信息，识别设定区域内的数字信息是否产生变化；若是，记录变化的时刻为手机响应性能测试启动的时间点。手机开启指针功能后，会在屏幕上显示触控的响应参数，且参数仅为数字变化，基于图像处理和识别的方式，通过识别数字的变化来确定的应用启动时间点，由于数字信息的变化与指令操作手机是完全同步的，则确定的启动时间点也是精确的。

Description

手机响应启动时间点获取方法和装置

技术领域

本发明属于手机测试技术领域，具体地说，是涉及一种手机响应启动时间点获取方法和装置。

背景技术

智能手机的使用范围已经布满全世界，其具有独立的操作系统，独立的运行空间，并可以由用户自行安装诸如导航、游戏、金融支付等应用软件。

智能手机的响应性能是手机应用设计者应注意的一个重要问题，在用户体验的各方面中，手机系统和应用的响应性能直接决定着手机的品质。因此，在手机应用测试中，响应性能的测试非常重要，在软件研发中通过对响应性能的测试以及反馈，可以不断改进系统和应用的用户体验，从而提高手机的品质。

现有技术中，对手机应用的响应性能测试大多数使用自动化性能测试工具实现，例如，使用机械手点击手机屏幕来模拟用户操作，手机与重力传感器相连，通过机械手点击屏幕时重力传感器接收到的信号来记录应用的启动时间，进而根据启动时间来计算响应时间，响应时间越短说明手机或者应用的响应性能越好。但诸如机械手的自动化性能测试工具的费用成本高，需要设计软件来控制机械手，还需要设置重力传感器，使得响应性能测试的硬件成本和开发费用较大。针对于此，目前有出现一种通过比较手机屏幕上连续图像差异的方式，来判断应用的启动时间点的性能测试方法，但其缺点是在点击应用延迟响应、响应过程中界面卡顿场景中的误判率较高，使得性能测试的结果出现较大的误差。

发明内容

本申请提供了一种手机响应启动时间点获取方法和装置，解决现有手机响应性能测试中存在的误差较大的技术问题。

为解决上述技术问题，本申请采用以下技术方案予以实现：

提出一种手机响应启动时间点获取方法，包括：启动手机的指针功能，以使手机屏幕显示指针功能的参数；接收手机屏幕的图像信息；执行对手机设定应用的模拟点击操作；基于图像信息，识别设定区域内的数字信息是否产生变化；若是，记录变化的时刻为手机响应性能测试启动的时间点。

提出一种手机响应启动时间点获取装置，包括模拟点击单元、图像识别单元、手机屏幕图像获取单元和记录单元；所述手机屏幕图像获取单元，用于获取手机屏幕的图像信息；所述模拟点击单元，用于执行对手机设定应用的模拟点击操作；所述图像识别单元，用于从所述手机屏幕图像获取单元接收手机屏幕的图像信息，并基于图像信息识别设定区域内的数字信息是否产生变化，若是，则所述记录单元记录变化的时刻为手机响应性能测试启动的时间点；其中，所述手机需启动指针功能，以使手机屏幕显示指针功能的参数。

与现有技术相比，本申请的优点和积极效果是：本申请提供的手机响应启动时间点获取方法和装置中，将手机启动至指针功能模式，使得手机屏幕显示指针功能的响应参数，指针功能的响应参数与指令操作是完全同步的，能够实时反映手机屏幕被点击的点数变化以及被点击的坐标值等信息，也即，在开启指针功能后，每次启动手机应用时，触控的参数会发生变化，由于是指令操作，只会存在数字的变化，因此，在模拟点击单元使用设计的软件来执行模拟用户对手机应用的点击操作后，根据手机屏幕图像获取单元获取手机屏幕的图像信息，图像识别单元可以基于从手机屏幕图像获取单元接收获取的图像信息，从图像的设定区域内识别出是否存在数字信息的变化，若存在变化，则说明手机屏幕被触碰，该时刻即为应用被启动的启动时间点，记录该启动时间点后即可以根据应用的响应时间来判断响应性能，实现对手机响应性能的测试。由于指针功能中，显示参数的变化与指令操作手机是完全同步的，该特性保证了应用启动时间点的精确性，也就解决了现有手机响应性能测试中存在的误差较大的技术问题。并且，本申请提出的方法与装置，不依靠机械设备，节省了硬件开支，从而也降低了响应性能测试成本。

结合附图阅读本申请实施方式的详细描述后，本申请的其他特点和优点将变得更加清楚。

附图说明

图1为本申请提出的手机响应启动时间点获取方法的流程图；

图2为本申请提出的手机响应启动时间点获取装置的装置框图。

具体实施方式

下面结合附图对本申请的具体实施方式作进一步详细地说明。

如图1所示，本申请提出的手机响应启动时间点获取方法，包括以下步骤：

步骤S11：启动手机的指针功能，以使手机屏幕显示指针功能的参数。

智能手机，尤其android手机，的指针功能在开启后，会在手机屏幕上显示多点触控的响应参数，包括被触控的点数以及触控的坐标数值等数字信息，且数字信息的变化与指令操作手机是完全同步的，也即，在手机的某一应用被触摸启动的同时，手机屏幕上的响应参数就会同步发生变化，由于是指令操作，响应参数只会在0/1间变化，即指令不操作手机时参数显示为0，而指令操作时参数同步显示为1；例如，若是单点触控，则表征触控点数的数字会同步由0显示为1；若是二点触控，则表征触控点数的数字会同步由0显示为2等。指针功能的这种特性，能够实时反映手机应用启动时间点的精确性。

通常，指针功能的开启是通过设置手机至开发人员选项模式来实现。

步骤S12：接收手机屏幕的图像信息。

采用摄像设备来获取手机屏幕的图像，可以是实时的视频数据流，也可以是按照设定频率获取的图像帧序列。

步骤S13：执行对手机设定应用的模拟点击操作。

可以设计软件来实施对手机的模拟点击操作，相比于使用机械手模拟用户操作，以及使用重力传感器来感应点击操作，使用软件模拟用户点击操作的方式，能够节省测试使用的硬件开支，降低测试成本。

本申请中，使用UIAutomator应用，通过软件方式模拟用户的点击操作，实现应用的启动。在测试之前，将需要测试的应用名称保存到一个数组里面，需要启动应用时，使用该名称产生对应的UiObject对象，使用UiObject对象进行点击操作。

步骤S14：基于图像信息，识别设定区域内的数字信息是否产生变化。

在接收对设定应用的模拟点击操作之前，摄像设备已经开始获取手机屏幕的图像信息，并且基于获取的图像信息，选定设定区域，该设定区域为指针功能中显示点击信息的区域，可以通过处理手机屏幕的第一帧图像来实现。

如前所述，手机开启指针功能后，会在手机屏幕上显示多点触控的响应参数，这其中包括有被触控的点数以及触控的坐标数值等数字信息，这些数字信息即为指针功能中显示的点击信息，在获取的第一帧手机屏幕图像上，使用鼠标选取一个矩形，该矩形需选定显示点击信息的区域，例如，选定表征被触控的点数的区域，进而可以根据该区域内数字的变化来判断手机屏幕是否被模拟点击。该操作只需在测试开始之前执行一次即可。

为了进一步降低处理的数据量，以及提高识别精度，可以对选定区域内的图像进行灰度转换，并经过黑帽处理后，进一步缩小选定区域的轮廓；还可以用现行的其他能够降低图像处理数据和提高识别精度的图像处理方法进行处理，本实施例不予限制。

更优选的，还可以在选定区域划分九宫格，选取九宫格中间的一格作为最终的设定区域，因为对于表征屏幕被单点触控点击的参数，由于执行的是指令操作，该参数只会在0/1之间变化，即指令不操作手机时数字显示为0，在指令操作手机时数字变化显示为1，而数字0在九宫格中多占用周边格，而数字1主要占用中间格，因此当数字从0变为1时，中间格的像素值会发生明显的变化，进而能够提高识别的精度，保证启动时间点判断的精准。

当执行对手机设定应用的模拟点击操作时，获取到的手机屏幕图像的设定区域必然发生变化，表征屏幕被单点触控点击的参数从0变为1，在与第一帧屏幕图像或者上一帧屏幕图像进行对比后，能够识别出设定区域内数字信息发生了变化，则执行步骤S15：记录变化的时刻为手机响应性能测试启动的时间点。若没有执行模拟点击操作，则数字信息不会发生变化，也就无需记录。数字变化的识别方法此处不予赘述。

一种识别的优选方式是，尤其对于使用九宫格中间格作为设定区域的实施例中，可以计算设定区域内像素的变化率，并判断变化率是否超过设定阈值，例如50%，若超过设定阈值，则说明设定区域内的数字由0变为1，也即软件模拟点击了手机屏幕上的设定应用。

上述手机响应启动时间点获取方法中，基于指针功能中参数的变化与指令操作是完全同步的，则基于此特性，通过软件实施对应用的模拟点击操作时，通过图像处理和图像识别的方式，识别出表征触控的数字信息的变化，从而根据数字变化的时刻确定应用启动的时间点，实现启动时间点的精准性，进而根据应用响应的时间计算出的响应时间也是精准的，由此测试出的响应性能也是精准的，解决了现有手机响应性能测试中存在的误差较大的技术问题。

基于上述手机响应启动时间点获取方法，如图2所示，本申请提出一种手机响应启动时间点获取装置，该装置包括模拟点击单元22、图像识别单元23、手机屏幕图像获取单元24和记录单元25。

手机需启动指针功能，以使手机屏幕显示指针功能的参数；手机屏幕图像获取单元24用于获取手机屏幕的图像信息；模拟点击单元22用于执行对手机设定应用的模拟点击操作；图像识别单元23用于从手机屏幕图像获取单元24接收手机屏幕的图像信息，并基于图像信息识别设定区域内的数字信息是否产生变化，若是，则记录单元25记录变化的时刻为手机响应性能测试启动的时间点。模拟点击单元22可以是与手机连接的一部控制装置。手机屏幕图像获取单元24可以与一部摄像机或相机连接，从摄像机或者相机获取手机屏幕的摄影图像，也可以与手机连接，基于手机自身的截屏功能模块，从手机获取手机截屏图像并发送至图像识别单元即可。

该装置还包括识别区域确定单元26；在模拟点击单元22执行对手机设定应用的模拟电机操作之前，识别区域确定单元26用于从手机屏幕图像获取单元24接收获取的手机屏幕的图像信息，并基于获取的图像信息，选定设定区域；其中，设定区域为指针功能中显示点击信息的区域。

优选的，识别区域确定单元26包括区域选定模块261、图像处理模块262和设定区域选定模块263。区域选定模块261用于在获取的图像上选定包含显示点击信息的区域；图像处理模块262用于对选定区域内的图像进行灰度转换和黑帽运算，以缩小选定区域的轮廓；从而降低图像处理数据量，以及提高识别的精度；设定区域选定模块263用于对选定区域划分九宫格，并选取九宫格中间的一格作为设定区域。对于表征屏幕被单点触控点击的参数，由于执行的指令操作，该参数只会在0/1之间变化，而数字0在九宫格中多占用周边格，而数字1主要占用中间格，因此当数字从0变为1时，中间格的像素值会发生明显的变化，进而能够提高识别的精度，保证启动时间点判断的精准。

图像识别单元23包括计算模块231和判断模块232；计算模块231用于计算设定区域内像素的变化率；判断模块232用于判断变化率是否超过设定阈值；若是，则记录单元25记录变化的时刻为手机响应性能测试启动的时间点。尤其适用于使用九宫格中间格作为设定区域的实施例中。

具体的装置工作方法已经在上述手机响应启动时间点获取方法中详述，此处不予赘述。

上述本申请提供的手机响应启动时间点获取方法和装置中，将手机启动至指针功能模式，使得手机屏幕显示指针功能的响应参数，指针功能的响应参数与指令操作是完全同步的，能够实时反映手机屏幕被点击的点数变化以及被点击的坐标值等信息，也即，在开启指针功能后，每次启动手机应用时，触控的参数会发生变化，由于是指令操作，参数只会存在数字的变化，因此，在模拟点击单元使用设计的软件来执行模拟用户对手机应用的点击操作后，根据手机屏幕图像获取单元获取手机屏幕的图像信息，图像识别单元可以基于从手机屏幕图像获取单元接收获取的图像信息，从图像的设定区域内识别出是否存在数字信息的变化，若存在变化，则说明手机屏幕被触碰，该时刻即为应用被启动的启动时间点，记录该启动时间点后即可以根据应用的响应时间来判断响应性能，实现对手机响应性能的测试。由于指针功能中，显示参数的变化与指令操作手机是完全同步的，该特性保证了应用启动时间点的精确性，也就解决了现有手机响应性能测试中存在的误差较大的技术问题。并且，本申请提出的方法与装置，不依靠机械设备，节省了硬件开支，从而也降低了响应性能测试成本。

应该指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (8)

1.手机响应启动时间点获取方法，其特征在于，包括：

启动手机的指针功能，以使手机屏幕显示指针功能的参数；

接收手机屏幕的图像信息；

执行对手机设定应用的模拟点击操作；

基于图像信息，识别设定区域内的数字信息是否产生变化；

若是，记录变化的时刻为手机响应性能测试启动的时间点。

2.根据权利要求1所述的手机响应启动时间点获取方法，其特征在于，在接收对设定应用的模拟点击操作之前，所述方法还包括：

获取手机屏幕的图像信息；

基于获取的图像信息，选定设定区域；其中，所述设定区域为指针功能中显示点击信息的区域。

3.根据权利要求2所述的手机响应启动时间点获取方法，其特征在于，所述选定设定区域，具体为：

在获取的图像上选定包含所述显示点击信息的区域；

对选定区域内的图像进行灰度转换和黑帽运算，以缩小选定区域的轮廓；

对选定区域划分九宫格；

选取九宫格中间的一格作为设定区域。

4.根据权利要求2或3所述的手机响应启动时间点获取方法，其特征在于，所述识别设定区域内的数字信息是否产生变化，具体为：

计算设定区域内像素的变化率；

并判断变化率是否超过设定阈值。

5.手机响应启动时间点获取装置，其特征在于，包括模拟点击单元、图像识别单元、手机屏幕图像获取单元和记录单元；

所述手机屏幕图像获取单元，用于获取手机屏幕的图像信息；

所述模拟点击单元，用于执行对手机设定应用的模拟点击操作；

所述图像识别单元，用于从所述手机屏幕图像获取单元接收手机屏幕的图像信息，并基于图像信息识别设定区域内的数字信息是否产生变化，若是，则所述记录单元记录变化的时刻为手机响应性能测试启动的时间点；

其中，所述手机需启动指针功能，以使手机屏幕显示指针功能的参数。

6.根据权利要求5所述的手机响应启动时间点获取装置，其特征在于，所述装置还包括识别区域确定单元；

在所述模拟点击单元执行对手机设定应用的模拟电机操作之前，所述识别区域确定单元用于，从所述手机屏幕图像获取单元接收获取的手机屏幕的图像信息，并基于获取的图像信息，选定设定区域；

其中，所述设定区域为指针功能中显示点击信息的区域。

7.根据权利要求6所述的手机响应启动时间点获取装置，其特征在于，所述识别区域确定单元包括区域选定模块、图像处理模块和设定区域选定模块；

所述区域选定模块，用于在获取的图像上选定包含所述显示点击信息的区域；

所述图像处理模块，用于对选定区域内的图像进行灰度转换和黑帽运算，以缩小选定区域的轮廓；

所述设定区域选定模块，用于对选定区域划分九宫格，并选取九宫格中间的一格作为设定区域。

8.根据权利要求6或7所述的手机响应启动时间点获取装置，其特征在于，所述图像识别单元包括计算模块和判断模块；

所述计算模块，用于计算设定区域内像素的变化率；

所述判断模块，用于判断变化率是否超过设定阈值；

若是，则所述记录单元记录变化的时刻为手机响应性能测试启动的时间点。