CN105094952A - 一种模拟用户操作的方法和装置 - Google Patents

Abstract

本发明公开了一种模拟用户操作的方法和装置，通过将待模拟的用户操作事件根据系统的底层事件协议转换成所述系统可识别的事件数据流，并将所述事件数据流注入到所述系统中以实现用户操作事件的模拟，可实现跨进程的事件注入，适用于系统中的所用软件和游戏，可实现准确快速的用户操作事件模拟，避免了现有技术中采用adb等工具在发送事件命令上的延迟，尤其适合在需要精确时间计算的测试场景中使用。

Description

一种模拟用户操作的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种模拟用户操作的方法和装置。

背景技术

在手机应用软件或游戏的测试过程中，经常需要模拟用户的操作事件，以验证用户操作过程中应用软件是否正常运行，例如对手机按键的按键事件和对手机屏幕的触摸事件。现有的实现方法主要如下：

方法一、通过ADB、MonkeyRunner等测试工具发送事件命令进行用户操作事件的模拟。手机打开调试模式并通过数据线连接电脑，电脑端通过ADB、MonkeyRunner等测试工具向手机发送ADB命令或者其他事件命令。然而由于电脑和手机通过数据线进行通信，再加上ADB、MonkeyRunner启动运行需要的时间，无法做到发送命令给手机，手机立刻执行，其间存在较长的时间延迟，大约为几百毫秒，无法满足对时间精度要求较高的测试需要。

方法二、通过Robotium、ActivityInstrumentation、Robolectric等测试框架对测试程序进行操作模拟。然而上述测试框架依赖程序的源代码且只能实现应用程序内部的事件模拟，无法实现跨进程的事件注入，需要针对不同测试程序编写不同的测试脚本，通用性较差。

发明内容

本发明实施例的目的在于提供了一种模拟用户操作的方法和装置，实现跨进程的事件注入，降低模拟用户操作的时间延迟。

为了实现上述目的，本发明实施例提供了一种模拟用户操作的方法，包括：

根据系统的底层事件协议，将待模拟的用户操作事件转换成所述系统可识别的事件数据流；

将所述事件数据流注入到所述系统中。

优选地，所述将所述事件数据流注入到所述系统中，具体为：

通过Java本地接口将所述事件数据流注入到所述系统中。

优选地，所述通过Java本地接口将所述事件数据流注入到所述系统中，包括：

通过所述Java本地接口调用注入线程；

利用所述注入线程按照预设的时间间隔将所述事件数据流注入到所述系统中。

优选地，所述根据系统的底层事件协议，将待模拟的用户操作事件转换成所述系统可识别的事件数据流，具体为：

根据系统的底层事件协议，将所述待模拟的用户操作事件转换成相应的事件类型、键码类别和操作数值，生成所述系统可识别的事件数据流。

优选地，所述用户操作事件为用户屏幕操作事件。

优选地，所述用户屏幕操作事件包括屏幕点击和屏幕滑动中的一种或两种组合。

优选地，所述系统为安卓系统。

本发明实施例还提供了一种模拟用户操作的装置，包括：

转换模块，根据系统的底层事件协议，将待模拟的用户操作事件转换成所述系统可识别的事件数据流。

注入模块，将所述事件数据流注入到所述系统中。

优选地，所述注入模块包括：

数据流注入子模块，用于通过Java本地接口将所述事件数据流注入到所述系统中。

优选地，所述数据流注入子模块包括：

JNI调用单元，通过所述Java本地接口调用注入线程；

注入控制单元，利用所述注入线程按照预设的时间间隔将所述事件数据流注入到所述系统中。

优选地，所述转换模块包括：

数据流转换子模块，用于根据系统的底层事件协议，将所述待模拟的用户操作事件转换成相应的事件类型、键码类别和操作数值，生成所述系统可识别的事件数据流。

优选地，所述用户操作事件为用户屏幕操作事件。

优选地，所述用户屏幕操作事件包括屏幕点击和屏幕滑动中的一种或两种组合。

优选地，所述系统为安卓系统。

本发明通过将待模拟的用户操作事件根据系统的底层事件协议转换成所述系统可识别的事件数据流，并将所述事件数据流注入到所述系统中以实现用户操作事件的模拟，可实现跨进程的事件注入，适用于系统中的所用软件和游戏，可实现准确快速的用户操作事件模拟，避免了现有技术中采用adb等工具在发送事件命令上的延迟，尤其适合在某些需要精确时间计算的测试场景中使用。

进一步地，本发明通过JNI接口调用注入线程，对注入所述事件数据流的时间间隔进行控制，可实现速度可控的用户操作事件，如匀速滑动事件、变速滑动事件以及周期性的按键操作等，满足不同的测试需求。

附图说明

图1是本发明提供的模拟用户操作的方法的一个实施例的流程图；

图2是图1所示实施例提供的步骤S02的流程图；

图3是本发明提供的模拟用户操作的装置的一个实施例的结构示意图；

图4是图3所示实施例提供的数据流注入子模块的结构示意图；

图5是本发明提供的模拟用户操作的方法一个应用示例的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明提供的模拟用户操作的方法的一个实施例的流程图。

所述模拟用户操作的方法，包括步骤S01～S02：

S01，根据系统的底层事件协议，将待模拟的用户操作事件转换成所述系统可识别的事件数据流。

在具体实施当中，所述步骤S01具体为：

根据系统的底层事件协议，将所述待模拟的用户操作事件转换成相应的事件类型(Type)、键码类别(Code)和操作数值(Value)，生成所述系统可识别的事件数据流。

所述系统优选为安卓系统，安卓系统基于linux内核，linux内核的输入(input)子系统将设备抽象成了文件，屏幕设备和按键设备均对应着系统上的一个事件文件，所述事件文件用于记录用户操作事件对应的事件数据流，所述事件数据流包含事件协议数据和用户的操作数据，一个触摸事件的事件数据流示例如下：

000300390000d276(用于区分本次触摸事件的一个ID)

00030035000001ba(当前触摸点的X坐标)

0003003600000234(当前触摸点的Y坐标)

0003003a00000047(当前触摸点的压力值)

0000000000000000(结束本次触摸事件)

上述事件数据流的第一列数据代表事件类型，第二列数据代表键码类别，第三列数据代表用户操作的具体数值，如上述示例第一列数据中的0003代表本次事件的事件类型为触摸事件，第二列数据中的0035为本次触摸事件触摸点的X坐标，0036为本次触摸事件的Y坐标，而第三列数据即为本次触摸事件的具体操作数值，如示例中的000001ba为当前触摸点的X坐标的具体数值。由此可见，待模拟的用户操作事件均可根据系统的底层事件协议转换成所述系统可识别的事件数据流，通过模拟设备产生的事件数据流即可实现对用户操作事件的模拟。

S02，将所述事件数据流注入到所述系统中。

在具体实施当中，所述步骤S02具体为，通过Java本地接口(JNI，JavaNativeInterface)将所述事件数据流注入到所述系统中。所述用户操作事件优选为用户屏幕操作事件。所述用户屏幕操作事件包括屏幕点击和屏幕滑动中的一种或两种组合。

本实施例通过根据linux的输入子系统的事件协议，将某个事件(如屏幕点击和屏幕滑动等)转换成手机可以识别的事件数据流，然后通过JNI调用完成对数据流的注入，实现了安卓系统上所有应用通用的自动化操作，提高了数据注入的效率，有效缩短了数据注入的时间。避免了现有技术中通过adb等工具在发送事件数据上的延迟，尤其适合在某些需要精确时间计算的测试场景中使用。

如图2所示，在实际应用当中，可通过步骤S021～S022将所述事件数据流注入到所述系统中。

S021，通过所述Java本地接口调用注入线程。

S022，利用所述注入线程按照预设的时间间隔将所述事件数据流注入到所述系统中。

进一步地，本实施例中事件数据流注入的过程通过JNI接口调用注入线程实现，通过所述注入线程对事件数据流注入的节奏进行控制，可实现调节屏幕滑动事件的滑动速度等功能，以满足不同测试需求。

参见图3，是本发明提供的模拟用户操作的装置的一个实施例的结构示意图，本实施例的基本原理与图1所示实施例的基本原理一致，本实施例中未详述之处，可参见图1所示实施例中的相关描述。

如图3所示，所述模拟用户操作的装置包括转换模块31和注入模块32：

所述转换模块31，根据系统的底层事件协议，将待模拟的用户操作事件转换成所述系统可识别的事件数据流。

其中，所述转换模块31包括：

数据流转换子模块311，用于根据系统的底层事件协议，将所述待模拟的用户操作事件转换成相应的事件类型、键码类别和操作数值，生成所述系统可识别的事件数据流。

所述系统优选为安卓系统。所述用户操作事件优选为用户屏幕操作事件。所述用户屏幕操作事件包括屏幕点击和屏幕滑动中的一种或两种组合。

所述注入模块32，将所述事件数据流注入到所述系统中。

其中，所述注入模块32包括：

数据流注入子模块321，用于通过Java本地接口将所述事件数据流注入到所述系统中。

如图4所示，在具体实施当中，所述数据流注入子模块包括：

JNI调用单元3211，通过所述Java本地接口调用注入线程。

注入控制单元3212，利用所述注入线程按照预设的时间间隔将所述事件数据流注入到所述系统中。

综上所述，本发明实施例提供的模拟用户操作的方法和装置，通过将待模拟的用户操作事件根据系统的底层事件协议转换成所述系统可识别的事件数据流，并将所述事件数据流注入到所述系统中以实现用户操作事件的模拟，可实现跨进程的事件注入，适用于被测系统中的所用软件和游戏，可实现准确快速的用户操作事件模拟，避免了现有技术中采用adb等工具在发送事件上的延迟，尤其适合在某些需要精确时间计算的测试场景中使用。

下面通过一个采用本发明的提供的模拟用户操作的方法的应用示例，对本发明进行进一步说明。

参见图5，是本发明提供的模拟用户操作的方法的一个应用示例的流程图。所述示例为一种屏幕滑动灵敏度的测试方法。

如图5所示，所述屏幕滑动灵敏度的测试方法包括步骤S1～S4：

S1，采用如上所述的模拟用户操作的方法向被测系统注入与匀速直线滑动屏幕事件对应的事件数据流，记录所述事件数据流与注入时间之间的对应关系。

步骤S1的基本原理与图1所示模拟用户操作的方法一致，其区别仅在于，本示例中待模拟的用户操作事件为匀速直线滑动屏幕事件。

在具体实施当中可通过步骤S11～S12向被测系统注入所述事件数据流。

S11，根据所述被测系统的底层事件协议，将所述匀速直线滑动屏幕事件转换成所述被测系统可识别的事件数据流。

在具体实施当中，可根据所述被测系统的底层事件协议，将所述匀速直线滑动屏幕事件转换成相应的事件类型、键码类别和操作数值，生成所述系统可识别的事件数据流。

S12，通过Java本地接口将所述事件数据流注入到所述被测系统中。

在具体实施当中，可通过所述Java本地接口调用注入线程，利用所述注入线程按照预设的时间间隔将所述事件数据流注入到所述被测系统中。通过设置不同的时间间隔，以实现对所述匀速直线滑动屏幕事件的滑动速度的控制。在实际应用当中，所述匀速直线滑动屏幕事件的滑动速度的大小可根据测试需要进行调整，速度的大小应尽可能的和用户实际操作时的速度相当，例如，在对系统中的游戏进行测试时，由于打斗类型的游戏节奏较快，所以速度可设定得快一些，即可相对减小注入所述事件数据流的时间间隔。塔防类型的游戏节奏相对较慢所以速度可设定得慢一些，即可相对增大注入所述事件数据流的时间间隔。

进一步地，所述被测系统优选为安卓系统，可通过安卓系统所基于的linux内核的底层事件协议向系统注入匀速滑动直线滑动屏幕事件对应的事件数据流，以模拟对屏幕进行的匀速直线滑动操作。由于事件数据流是在根据本实施例原理实现的测试程序中产生，所以通过测试程序可以轻易获取在任意一个时间点滑动事件的触摸点当前的具体位置，并记录所述事件数据流与注入时间之间的对应关系。例如，假设匀速直线滑动的起始点到结束点之间所经过的触摸点为P，经过P点时对应的时间为T，可以抽象出事件数据流和时间的对应关系如下：

{(P1，T1)，(P2，T2)，(P3，T3)，(P4，T4)，(P5，T5)，(P6，T6)…}

通过JNI接口注入所述事件数据流，无需借助测试工具可实现快速高效的用户操作模拟，有助于提高测试的精度。但应当说明的是，上述实施方式仅仅为本发明的一种优选的实施方式，本发明还可以通过其他方式将所述事件数据流注入到被测系统中，例如还可以通过adbshell下的sendevent指令注入事件数据流，或者利用其他具有注入事件数据流功能的测试工具向系统注入事件数据流。

S2，获取由注入所述事件数据流引起屏幕数据发生变化的时间。

在具体实施当中，可通过监控所述被测系统中的帧缓冲文件(Framebuffer)，获取由注入所述事件数据流引起屏幕数据发生变化的时间，所述帧缓冲文件Framebuffer是linux内核下的显示设备文件，该文件内包含有当前屏幕所有像素点的颜色和亮度等数据，由于所述匀速直线滑动屏幕事件引起的屏幕显示数据的变化最先显现在所述帧缓冲文件上，通过对所述帧缓冲文件进行监控，可及时获取屏幕数据变化的时间，有助于进一步提高测试的精度。

S21，每隔预设的时间间隔，从所述帧缓冲文件中读取与监控区域对应的屏幕数据。其中，所述监控区域为在屏幕上预先选取的一个或多个像素点。所述屏幕数据包括颜色数据和亮度数据，所述预设的时间间隔优选为2毫秒。

S22，将本次读取的屏幕数据与上一次读取的屏幕数据进行对比。

S23，当本次读取的屏幕数据与上一次读取的屏幕数据存在不同时，将当前的时间作为屏幕数据发生变化的时间。

监控区域可优先选取与邻近像素点颜色差别较大的一个或多个像素点，以便于在屏幕数据响应滑动操作发生变化时可及时准确地被检测到。所述帧缓冲文件可通过内存映射文件的方式读取，通过内存映射的方式可以实现对屏幕数据的快速读取，读取的速度在毫秒级别，可实现对屏幕数据进行实时高效的监控。在具体实施当中，可通过C语言编写的代码将所述帧缓冲文件以内存映射文件的方式打开在监控进程的地址空间内，然后根据需要监控的屏幕像素点的坐标，每隔2ms读取一次监控区域所对应的屏幕数据的变化。

应当说明的是通过监控所述被测系统中的帧缓冲文件来获取屏幕数据发生变化的时间仅仅为本发明的一种优选的实施方式，本发明还可以通过其他方式获取屏幕数据发生变化的时间，例如还可以通过高速摄像机等监控设备监控屏幕数据，通过比对前后图像的是否发生变化，以获取屏幕数据发生变化的时间。

S3，根据所述屏幕数据发生变化的时间，从所述事件数据流与注入时间之间的对应关系中获取屏幕数据发生变化时触摸点的当前位置。

由于在步骤S1中已记录所述事件数据流与注入时间之间的对应关系，通过所述事件数据流与注入时间之间的对应关系，可轻易的获知在每一时刻触摸点的所处的位置，因此，在获取屏幕数据发生变化的时间之后，可根据屏幕数据发生变化的时间获取与其对应的事件数据流，从所述事件数据流中获取触摸点的当前位置P_current。

S4，计算预设的所述匀速直线滑动屏幕事件开始时触摸点的起始位置和所述当前位置之间的距离。其中，所述距离为反映屏幕滑动灵敏度的延迟距离。

触摸点的起始位置P_start在设定所述匀速直线滑动屏幕事件时已预先设置，所述起始位置P_start的位置坐标可在开始注入所述匀速直线滑动屏幕事件的事件数据流时即获取，也可以在获得屏幕数据发生变化时触摸点的当前位置P_current之后再获取，本发明对此不作限定，本领域技术人员可根据实际需要进行选择。延迟距离S可通过如下公式进行计算：

$S=\sqrt{{(P_{current}.X-P_{start}.X)}^2+{(P_{current}.Y-P_{start}.Y)}^2}$

其中，P_start.X和P_start.Y分别为起始位置P_start的X坐标和Y坐标，P_current.X和P_current.Y分别为当前位置P_current的X坐标和Y坐标。

在具体实施当中，为了检测被测系统上某个游戏或者应用程序对屏幕滑动灵敏度的影响，在测试的过程中所述被测系统应当处于游戏或者应用程序正在运行的状态，测试结果可作为游戏或软件的可靠的性能指标，通过对测试结果的分析可以有效的发现操作系统上游戏或软件的灵敏度问题，从而进行针对性的改进，提高游戏或软件的用户体验。

本应用示例通过图1所示实施例提供的模拟用户操作的方法模拟匀速直线滑动屏幕事件，减少了屏幕滑动灵敏度测试过程的手动操作，避免了现有技术中采用adb等工具在发送事件上的延迟，可实现对匀速直线滑动屏幕事件的精确控制，有利于提高测试的可靠性和可复用性。

由此可见，本发明提供的本发明实施例提供的模拟用户操作的方法和装置，通过将待模拟的用户操作事件根据系统的底层事件协议转换成所述系统可识别的事件数据流，并将所述事件数据流注入到所述系统中以实现用户操作事件的模拟，可实现跨进程的事件注入，适用于被测系统中的所用软件和游戏，可实现准确快速的用户操作事件模拟，避免了现有技术中采用adb等工具在发送事件上的延迟，尤其适合在某些需要精确时间计算的测试场景中使用。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种模拟用户操作的方法，其特征在于，包括：

根据系统的底层事件协议，将待模拟的用户操作事件转换成所述系统可识别的事件数据流；

将所述事件数据流注入到所述系统中。

2.如权利要求1所述的模拟用户操作的方法，其特征在于，所述将所述事件数据流注入到所述系统中，具体为：

通过Java本地接口将所述事件数据流注入到所述系统中。

3.如权利要求2所述的模拟用户操作的方法，其特征在于，所述通过Java本地接口将所述事件数据流注入到所述系统中，包括：

通过所述Java本地接口调用注入线程；

利用所述注入线程按照预设的时间间隔将所述事件数据流注入到所述系统中。

4.如权利要求1所述的模拟用户操作的方法，其特征在于，所述根据系统的底层事件协议，将待模拟的用户操作事件转换成所述系统可识别的事件数据流，具体为：

根据系统的底层事件协议，将所述待模拟的用户操作事件转换成相应的事件类型、键码类别和操作数值，生成所述系统可识别的事件数据流。

5.如权利要求1～4任一项所述的模拟用户操作的方法，其特征在于，所述用户操作事件为用户屏幕操作事件。

6.如权利要求5所述的模拟用户操作的方法，其特征在于，所述用户屏幕操作事件包括屏幕点击和屏幕滑动中的一种或两种组合。

7.如权利要求1～4、6中任一项所述的模拟用户操作的方法，其特征在于，所述系统为安卓系统。

8.一种模拟用户操作的装置，其特征在于，包括：

转换模块，根据系统的底层事件协议，将待模拟的用户操作事件转换成所述系统可识别的事件数据流。

注入模块，将所述事件数据流注入到所述系统中。

9.如权利要求8所述的模拟用户操作的装置，其特征在于，所述注入模块包括：

数据流注入子模块，用于通过Java本地接口将所述事件数据流注入到所述系统中。

10.如权利要求9所述的模拟用户操作的装置，其特征在于，所述数据流注入子模块包括：

JNI调用单元，通过所述Java本地接口调用注入线程；

注入控制单元，利用所述注入线程按照预设的时间间隔将所述事件数据流注入到所述系统中。

11.如权利要求8所述的模拟用户操作的装置，其特征在于，所述转换模块包括：

数据流转换子模块，用于根据系统的底层事件协议，将所述待模拟的用户操作事件转换成相应的事件类型、键码类别和操作数值，生成所述系统可识别的事件数据流。

12.如权利要求8～11任一项所述的模拟用户操作的装置，其特征在于，所述用户操作事件为用户屏幕操作事件。

13.如权利要求12所述的模拟用户操作的装置，其特征在于，所述用户屏幕操作事件包括屏幕点击和屏幕滑动中的一种或两种组合。

14.如权利要求8～11、13中任一项所述的模拟用户操作的装置，其特征在于，所述系统为安卓系统。