CN112817790A

CN112817790A - 模拟用户行为的方法

Info

Publication number: CN112817790A
Application number: CN202110230654.3A
Authority: CN
Inventors: 许圣霖
Original assignee: Tencent Music Entertainment Technology Shenzhen Co Ltd
Current assignee: Tencent Music Entertainment Technology Shenzhen Co Ltd
Priority date: 2021-03-02
Filing date: 2021-03-02
Publication date: 2021-05-18

Abstract

本申请公开一种模拟用户行为的方法，其包括：检测用户访问第一设备中的应用程序的业务场景的一个或多个页面，提取业务场景页面访问数据；检测用户在所述第一设备中的应用程序的业务场景的所述一个或多个页面中的触摸操作，提取触摸事件数据，所述触摸事件数据包括触摸事件类型和触摸坐标；基于所述业务场景页面访问数据和所述触摸事件数据生成针对业务场景的触摸事件序列文件；获取所述触摸事件序列文件；使用第二设备执行所述触摸事件序列文件，以在所述第二设备中的所述应用程序的所述业务场景的所述一个或多个页面中模拟所述触摸操作。本申请还公开一种模拟用户行为的装置、计算机系统和存储介质。

Description

模拟用户行为的方法

技术领域

本申请涉及计算机技术领域，具体地涉及一种模拟用户行为的方法和装置。本申请还涉及相关的计算机系统及存储介质。

背景技术

当前，以智能手机为代表的触控式终端得到了广泛使用。在这些终端设备中，用户往往通过在终端的应用程序(APP)的界面进行触控操作来使用应用程序。

在使用应用程序的过程中，用户不可避免地会遇到各种问题，这会影响用户的使用体验。在此，应用程序发布者或开发者希望能够精准获知这些问题的原因并有效解决这些问题，以提升用户体验和使用满意度。

通常，应用程序发布者或开发者通过反馈功能来收集用户的反馈。但是，用户经常无法提供精确全面的描述，导致无法准确定位问题及诱因。有时，用户会因为种种原因放弃问题反馈，这导致用户体验的降低，甚至导致用户直接弃用应用程序。

另外，发明人所知的一些技术还提出通过在应用程序的相关页面埋点来跟踪用户的业务问题点。但是，埋点方法仅能跟踪用户点击了被埋点的特定按钮或控件，无法复现用户在相关业务场景下的执行路径。尤其在某些偶发性异常中，导致异常的原因往往不是用户点击特定按钮或空间，有可能与用户的一系列触控操作相关，也有可能触控操作的顺序、位置、持续时间等都有关联。因此，应用程序开发者往往无法通过埋点方法所获取的数据有效确认这些偶发性异常的原因。

因此，当前存在着以较高的准确度复现用户在终端设备中的有效触控操作的需求，以便应用程序发布者或开发者能够克服应用程序的异常或优化应用程序。

本背景技术描述的内容仅为了便于了解本领域的相关技术，不视作对现有技术的承认。

发明内容

因此，本发明实施例意图提供一种模拟用户行为的方法和装置以及相关的电子设备和存储介质，其能够准确复现用户在终端设备中的有效触控操作，以便应用程序发布者或开发者能够克服应用程序的异常或优化应用程序。

在第一方面，提供一种模拟用户行为的方法，优选为模拟触屏终端设备用户行为的方法，其包括：

检测用户访问第一设备中的应用程序的业务场景的一个或多个页面，提取业务场景页面访问数据；

检测用户在所述第一设备中的应用程序的业务场景的所述一个或多个页面中的触摸操作，提取触摸事件数据，所述触摸事件数据包括触摸事件类型和触摸坐标；

基于所述业务场景页面访问数据和所述触摸事件数据生成针对业务场景的触摸事件序列文件；

获取所述触摸事件序列文件；

使用第二设备执行所述触摸事件序列文件，以在所述第二设备中的所述应用程序的所述业务场景的所述一个或多个页面中模拟所述触摸操作。

在第二方面，提供一种用户行为模拟装置，其包括：

业务提取单元，检测用户访问第一设备中的应用程序的业务场景的一个或多个页面，提取业务场景页面访问数据；

触摸事件提取单元，检测用户在所述第一设备中的应用程序的业务场景的所述一个或多个页面中的触摸操作，提取触摸事件数据，所述触摸事件数据包括触摸事件类型和触摸坐标；

生成单元，基于所述业务场景页面访问数据和所述触摸事件数据生成针对业务场景的触摸事件序列文件；

获取单元，获取所述触摸事件序列文件；

模拟单元，使用第二设备执行所述触摸事件序列文件，以在所述第二设备中的所述应用程序的所述业务场景的所述一个或多个页面中模拟所述触摸操作。

在第三方面，提供一种计算机系统，其包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行任一本发明实施例的模拟用户行为的方法。

在第四方面，提供一种存储介质，存储有计算机程序，所述计算机程序配置成被运行时执行任一本发明实施例的模拟用户行为的方法。

在本发明的实施例中，可以通过记录触屏终端设备的与业务场景相关的用户操作路径，在用户反馈问题时，自动化回传执行过程来模拟重放异常点时的业务场景下的触控操作，由此能实现对于异常状况的自动化模拟，有利于触屏终端设备的应用程序的完善。

在本发明的实施例中，也可以通过记录并模拟触屏终端设备的与业务场景相关的大量用户操作路径，优化触屏终端设备的应用程序的优化。

本发明实施例的其他可选特征和技术效果一部分在下文描述，一部分可通过阅读本文而明白。

附图说明

以下，结合附图来详细说明本发明的实施例，所示出的元件不受附图所显示的比例限制，附图中相同或相似的附图标记表示相同或类似的元件，其中：

图1示出了根据本发明实施例的模拟用户行为的方法的第一示意性流程图；

图2示出了根据本发明实施例的模拟用户行为的方法的第二示意性流程图；

图3示出了根据本发明实施例的模拟用户行为的方法的第三示意性流程图；

图4示出了根据本发明实施例的模拟用户行为的方法的第四示意性流程图；

图5示出了根据本发明实施例的模拟用户行为的方法的第五示意性流程图；

图6A至图6D示出了实施根据本发明实施例的模拟用户行为的方法的示例图，其中示出了在“首页”业务场景下的触控操作；

图7A至图7C示出了实施根据本发明实施例的模拟用户行为的方法的示例图，其中示出了在“听歌”业务场景下的多页面触控操作；

图8A至图8C示出了实施根据本发明实施例的模拟用户行为的方法的示例图，其中示出了在“充值”业务场景下的多页面触控操作；

图9示出了实施根据本发明实施例的模拟用户行为的方法的示例图，其中示出了在“直播”业务场景下的多个触控操作；

图10示出了根据本发明实施例的用户行为模拟装置的结构示意图；

图11示出了根据本发明实施例的可用于第一设备的硬件结构示意图；

图12A示出了根据本发明实施例的可用于第一设备的操作系统示意图；

图12B示出了根据本发明实施例的可用于第一设备的操作系统示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

本发明实施例提供一种模拟用户行为的方法。具体而言，该方法时模拟触屏终端设备的用户的触摸行为的方法。此外，本发明实施例还相应地涉及对应的装置以及实施上述方法的计算机系统和存储有可执行上述方法的程序的存储介质。在一些实施例中，装置、部件、单元或模型可以由软件、硬件或软硬件结合实现。

具体参考图1，示出一种模拟用户行为的方法，例如为模拟触屏终端设备的用户触摸行为的方法。在所述方法中，可以记录用户使用的第一设备的应用程序中与业务场景相关的用户操作路径，例如在用户反馈问题时，借助于第二设备自动化回传执行过程来模拟重放异常点时的业务场景下的触控操作，由此能实现对于异常状况的自动化模拟，有利于应用程序的完善。在此，第一设备例如为用户侧的触屏终端设备，例如移动终端、如智能手机；第二设备可以为后台或服务端设备，例如位于应用程序发布者或开发者一侧的触屏设备或者具有模拟触屏设备功能的电子设备。

在本发明的一些实施例中，所述应用程序(APP)可以为不同类型的APP，包括但不限于：音乐APP、社交APP、直播APP、购物APP、视频APP等。

继续参考图1，所述方法可包括：

S101：检测用户访问第一设备中的应用程序的业务场景的一个或多个页面，提取业务场景页面访问数据；

在本发明实施例中，应用程序可以具有众多的业务或场景模块，这可以是由应用程序发布者或开发者所定义的。针对每个业务场景，可能会设有一个或多个页面。这种基于业务或场景模块所构建的应用程序以场景化、模块化的方式提供更为便利的构建条件，便于开发者很容易地增加、修改或删除相关的业务或场景。

在本文描述了多个示例性的业务场景。例如，在图6A至图6D中示出了在应用程序、例如音乐APP中的“首页”业务场景的多个页面；在图7A至图7C中示出了“听歌”业务场景的多个页面；在图8A至图8C中示出了“充值”业务场景下的多个页面；在图9中示出了在“直播”业务场景，其中仅显示一个页面。

但是，本领域技术人员可以想到，本发明实施例的业务场景不限于此。

在一些实施例中，所述检测可以通过应用程序的开发框架自带的功能模块实现，例如通过监听功能实现。

在如图2所示的一些实施例中，所述检测用户访问第一设备中的应用程序的业务场景的一个或多个页面，提取业务场景页面访问数据，可包括：

S201：监听用户访问或离开所述第一设备中的应用程序的页面；

在一些实施例中，可以通过跟踪页面的切换或跳转来监听用户访问或离开应用程序的页面。例如，每次页面的切换或跳转意味着离开上一页面且访问下一页面。

S202：响应于用户访问所述业务场景的所述一个或多个页面，记录所述业务场景的每个被访问页面的业务场景标签和页面标签；

在一些实施例中，可以记录相应的被访问页面的本地页面文件路径，并由此获得其中的业务场景标签和页面标签，以便用于后续的操作事件序列文件的生成。例如可以通过本地页面文件路径名可以确定该页面所属的业务场景，并确定该页面名。

在一些实施例中，可以通过其他方式确定业务场景标签或页面标签。

S203：响应于用户访问所述业务场景的所述一个或多个页面，记录所述业务场景的每个被访问页面的访问时间；

S204：响应于用户离开所述业务场景的所述一个或多个页面，记录所述业务场景的每个被访问页面的离开时间。

在一些实施例中，所述访问和离开时间可以是由跳转或切换操作的时间戳确定的。

在一些实施例中，可以采用获取访问和离开时间的等同方案，例如可以获取访问事件和访问时长。

S102：检测用户在所述第一设备中的应用程序的业务场景的所述一个或多个页面中的触摸操作，提取触摸事件数据；

在一些实施例中，所述触摸事件数据包括触摸事件类型(即触摸手势)和触摸坐标。在一些实施例中，所述触摸事件数据还包括触摸时间特征，例如触摸起始时间、触摸时长和/或触摸终止时间。

在本发明的实施例中，所述触摸事件数据可以为应用程序从第一设备的操作系统层面直接获得的数据。

例如，在一些实施例中，例如在iOS操作系统平台下的第一设备中，应用程序可以通过iOS的触摸层的UIKit框架获取所述触摸事件数据。图12A示出了示例性的iOS操作系统平台的示意图，这将在下文进一步描述。在一些实施例中，例如在安卓(Android)操作系统平台下的第一设备中，应用程序可以通过安卓的框架层中的视图系统(Views System)框架获取所述触摸事件数据。图12B示出了示例性的安卓操作系统平台的示意图，这将在下文进一步描述。

在本发明的实施例中，例如从操作系统直接获得的触摸事件数据可包括直接获得的触摸事件类型，例如触摸或手势。相应地，从操作系统直接获得的触摸事件数据还可包括相应触摸或手势的坐标。

在一些实施例中，例如在iOS操作系统或其他操作系统平台下，触摸事件类型可包括总体可包括触摸(Touch)类型或手势(Gesture)类型。

在一些实施例中，触摸事件类型、如手势可包括点击(Tap)(包括单次点击、双击(Double Tap))、拖动(Pan)、滑动(Swipe)、缩放(Pinch)(包括放大(Pinch open)、缩小(Pinch close))、旋转(Rotate)、长按(Long Press)，并可以具有相应的坐标。

例如，在单次点击(Tap)中，触摸事件数据可以包括[Tap,(X₀,Y₀)]，其中(X₀,Y₀)为单次点击的坐标；在滑动(Swipe)中，触摸事件数据可以包括[Swipe,(X₀,Y₀)···(X₁,Y₁)],其中(X₀,Y₀)为起点坐标，(X₁,Y₁)为终点的坐标，以及可选地可包括多个中间坐标；在放大(Pinch open)中，触摸事件数据可以包括[Pinch open,(X_0,0,Y_0,0)···(X_0,1,Y_0,1)；(X_1,0,Y_1,0)···(X_1,1,Y_1,1)],其中(X_0,0,Y_0,0)为第一指的起点坐标，(X_0,1,Y_0,1)为第一指的终点坐标，(X_1,0,Y_1,0)为第二指的起点坐标，(X_1,1,Y_1,1)为第二指的终点坐标，以及可选地可包括多个中间坐标。

在本发明的一些实施例中，触摸事件数据还可以包括其他特征，例如时间特征、压力特征等。例如，可以借助时间特征区分拖动和滑动；可以基于时间特征和/或压力特征区分长按和点击。

在本发明的一些实施例中，触摸事件数据可以涉及单点和/或多点触摸特征；在进一步的实施例中，根据本发明方法所述的触摸事件数据的单点和多点触摸特征可以独立于或联动于应用程序的功能模块的定义。例如，当应用程序在某个页面中的多点触摸特征是关闭的，即只识别单点触摸；此时在根据本发明实施例的方法中，可以从操作系统接口获取所有触摸点的触摸事件数据；或者在根据本发明实施例的方法中，可以从操作系统接口获取有效的触摸点的触摸事件数据。

在另一些实施例中，从操作系统直接获取的触摸事件类型，即触摸/手势可以包括更多或更少的类型。例如，在一些实施例中，触摸事件类型可以仅包括触摸(触摸点/Touch)类型的，此时例如可以为多点或单点触摸；而无需识别其手势。在此，相应地，触摸事件数据可以包括各触摸点、如单点触摸或多点触摸，以及所述对应的轨迹坐标以及可能的有的其他特征，如时间特征、压力特征等。例如，类似于上述放大(Pinch open)的手势中，仅以触摸点表示的触摸事件数据可以为[Touch 1,(X_0,0,Y_0,0)···(X_0,1,Y_0,1)]，这可以表示第一个触摸点及其轨迹坐标；[Touch 2,(X_1,0,Y_1,0)···(X_1,1,Y_1,1)]，这可以表示第二个触摸点及其轨迹坐标。

在本发明的一些实施例中，还可以想到从操作系统接口获取的其他的触摸事件类型的形式或上述形式的结合以及其他的坐标形式或其他特征或者，这落入发明的范围内，只要所述触摸事件数据能允许另外的设备用于模拟并重现用户在页面内的触摸操作。

例如在iOS操作系统下，尤其是在UIKit框架下，例如可以使用多种指令实现触摸事件数据的获取。例如，在一些实施例中可以利用命令获取手势形式的触摸事件数据。例如，可以使用UIKit下的类UIGestureRecognizer及其子类UITapGestureRecognizer(点击)、UIPinchGestureRecognizer(缩放)、UIPanGestureRecognizer(拖动)、UISwipeGestureRecognizer(滑动)、UIRotationGestureRecognizer(旋转)、UILongPressGestureRecognizer(长按)等。例如，在另一些实施例中，可以利用命令获取上述触摸形式的触摸事件数据。例如可以使用UIKit下的属性UITouch及子属性UITouchPhaseBegan(触摸开始)、UITouchPhaseMoved(触摸点移动)、UITouchPhaseStationary(触摸点无移动)、UITouchPhaseEnded(触摸结束)、UITouchPhaseCancelled(触摸取消)tapCount(点击屏幕的次数)timeStamp(触摸开始时间)。

本领域技术人员将明白，在iOS或安卓或其他操作系统下，可以采用其他的命令指令提取触摸事件数据。

此外，作为解释地，例如在iOS操作系统中，当应用程序发生事件响应时，由响应者链来对事件进行响应，所有事件响应的类都是UIResponder的子类(如前所述的UIGestureRecognizer)，响应者链是一个由不同对象组成的层次结构，其中的每个对象将依次获得响应事件消息的机会。当发生事件时，事件首先被发送给第一响应者，第一响应者往往是事件发生的视图，也就是用户触摸屏幕的地方。事件将沿着响应者链一直向下传递，直到被接受并做出处理。

一个典型的相应路线图如：

First Responser-->The Window-->The Application-->App Delegate

本领域技术人员将明白，在所述应用程序的功能性使用中，例如用户通过触摸访问应用程序的页面时，可以基于类似的响应链进行处理，并且可以使用类似上述的触摸响应指令从操作系统获取触摸事件数据，并且应用程序的功能模块、如页面及其元素相应地响应。在本发明的教导下，本领域技术人员将明白，根据本发明实施例的方法可以独立于功能模块的触摸响应指令检测触摸事件并提取触摸事件数据，或者共享功能模块的触摸响应指令来检测触摸事件并提取触摸事件数据以用于根据本发明实施例的方法，但是该检测和提取不影响功能模块对触摸事件的响应以及正常的功能性使用。

S103：基于所述业务场景页面访问数据和所述触摸事件数据生成针对业务场景的触摸事件序列文件；

在本发明实施例中，生成针对业务场景的触摸事件序列文件指将在指定业务场景的各被访问页面中的触摸操作与该业务场景的相应的被访问页面相关联。

在一些实施例中，可以基于业务场景的各被访问页面的访问时间和离开时间来生成针对业务场景的触摸事件序列文件。

在另一些实施例中，可以基于被访问页面的切换来实现所述生成，例如在切换到新页面时将触摸事件数据按顺序写入新存储位置或新文件中。

在一些实施例中，所述针对业务场景的触摸事件序列文件可以是单个序列或单个序列文件，虽然在该业务场景有可能中具有多个页面。

结合参考图6A至图6D所示的“首页”业务场景，并参考下表1，描述根据本发明实施例所述的生成针对业务场景的触控事件序列文件的示例。

例如在图6A所示，用户点击(Tap)第一设备600的应用程序、如音乐APP的“首页”业务场景下的主页面(Page_1)中的歌手按钮，坐标为(X0,Y0)，在该业务场景下的触摸操作序号为0001，由此，进入如图6B所示的“歌手”页面(Page_2)。在该Page_2页面，用户从下向上滑动(Swipe)，起点坐标为(X₁,Y₁)，终点坐标为(X₂,Y₂)，在该业务场景下的触摸操作序号为0002，实现向上翻动页面；随后用户从左侧边缘向内部滑动(Swipe)，起点坐标为(X₃,Y₃)，终点坐标为(X₄,Y₄)，在该业务场景下的触摸操作序号为0003，实现返回之前的页面Page_1，如图6C所示。在Page_1中，用户点击分类歌单按钮，坐标为(X₅,Y₅)，在该业务场景下的触摸操作序号为0004，由此，进入如图6D所示的分类歌单页面(Page_3)。在该Page_3，用户分别从左向右滑动(Swipe)、再从右向左滑动(Swipe)展示歌单封面，相应的起末点坐标分别为(X₆,Y₆)、(X₇,Y₇)，(X₈,Y₈)、(X₉,Y₉)，在该业务场景下的触摸操作分别序号为0005和0006。最后，用户从左侧边缘向内部滑动(Swipe)，起点坐标为(X₁₀,Y₁₀)，终点坐标为(X₁₀,Y₁₀)，实现返回之前的页面Page_1(未示出)，最终的操作序号为0007。在一些实施例中，例如当执行该触摸操作后出现了异常、如闪退，而例如开发者可以在接收到用户的异常反馈时，由第二设备执行针对所述“首页”业务场景的触摸事件序列文件，其中从序号0001-0007的操作均被执行，如下文进一步描述。

业务场景

页面名称

序号

触控类型

起点坐标

终点坐标

起始时间

持续时长

设备信息

版本信息

首页

Page_1

0001

点击

(X0,Y0)

-

t0

Δt0

IMEI0000

Ver 10.9

首页

Page_2

0002

滑动

(X1,Y1)

(X2,Y2)

t1

Δt1

IMEI0000

Ver 10.9

首页

Page_2

0003

滑动

(X3,Y3)

(X4,Y4)

t2

Δt2

IMEI0000

Ver 10.9

首页

Page_1

0004

点击

(X5,Y5)

-

t3

Δt3

IMEI0000

Ver 10.9

首页

Page_3

0005

滑动

(X6,Y6)

(X7,Y7)

t4

Δt4

IMEI0000

Ver 10.9

首页

Page_3

0006

滑动

(X8,Y8)

(X9,Y9)

t5

Δt5

IMEI0000

Ver 10.9

首页

Page_3

0007

滑动

(X10,Y10)

(X11,Y11)

t6

Δt6

IMEI0000

Ver 10.9

表1示例性的针对“首页”场景的用户触控事件序列记录表

在一些实施例中，所述触摸事件序列文件还可包括时间特征，例如触摸操作的起始时间和持续时长。

在该实施例中，针对业务场景的序列是集体编号的，但是可以想到分级编号，例如针对访问页面和在访问页面中的操作分别编号，这落入发明的范围内。

类似地，参考图7A和图7B，示出了在第一设备700的应用程序、如音乐APP的“听歌”业务场景的触摸事件。例如，如7A中所示，在“听歌”业务场景的“歌曲播放”页面(Page_1)具有第一触摸操作，即从右侧边缘向内部滑动(Swipe)进入歌词页面；在图7B中示出了在“听歌”业务场景的“歌词”页面(Page_2)具有第二触摸操作和第三触摸操作，即从下向上滑动、从上向下滑动来滚动歌词；在图7C示出了在“听歌”业务场景的“歌词”页面(Page_2)具有第四触摸操作，即长按(Long Press)歌词以分享。

而在另一些实施例中，所述针对业务场景的触摸事件序列文件可以是一个多个序列或一个或多个序列文件，每个序列或序列文件可以对应业务场景的一个被访问页面，且所述序列或序列文件本身还具有指代页面的被访问次序的访问顺序信息。

例如，所述基于所述业务场景页面访问数据和所述触摸事件数据生成针对业务场景的触摸事件序列文件，可包括：

A1：基于所述业务场景的每个被访问页面的访问时间和离开时间，确定在所述业务场景的每个所述被访问页面中的所有触摸操作，并生成针对所述业务场景的多个触摸事件序列文件，每个触摸序列文件对应一个被访问页面并且具有访问顺序信息。

例如，针对业务场景的第一被访问页面生成第一触摸事件序列文件，针对业务场景的第二被访问页面生成第二触摸事件序列文件，每个触摸事件序列文件中具有体现在相应页面中的所有触摸操作的触摸事件序列。

本领域技术人员还可以想到其他的能够允许第二设备按照对应的触摸事件顺序执行用户在第一设备的应用程序中的触摸操作的其他序列文件形式，这落入本发明的范围中。

S104：获取所述触摸事件序列文件；

在本发明的一些实施例中，所述获取是由服务端获取的，即由开发者或发布者侧获取的，例如可以由第二设备获取。

在一些实施例中，所述获取是响应于第一设备的反馈或者上报信息而获取的。

例如根据进一步的实施例，如图3所示，所述获取所述触摸事件序列文件，可包括：

S301：接收第一设备的上报信息，所述上报信息包括指定业务场景和触发时间点；

S302：获取第一设备中的针对所述指定业务场景且临近所述触发时间点的触摸事件序列文件。

在一些实施例中，所述上报信息为用户反馈的异常状态信息。在此，所述指定业务场景为出现异常的业务场景。例如，在图6A至图6D的实施例的“首页”业务场景或如图7A至图7C的“听歌”业务场景出现闪退；图8A至图8C的“充值”业务场景出现充值失败。

在本发明的一些实施例中，所述用户反馈的异常状态信息可以是完全由用户主动生成(如主动填写)、半自动或自动反馈的。

如图8A至图8C所示，示出了在第一设备800的应用程序的“充值”业务场景的触摸操作。在例如在图8A和图8B中所示的多次用户触摸操作，如点击操作情况下，例如产生了未能成功充值金币的异常情况。如图8C所示，例如可以由第一设备的应用程序检测到出现该异常时可以自动发送异常状态信息。

在某些情况下，还可以想到是半自动的上报异常状态。例如跳出提示框，提示用户可能出现了异常，询问是否发送。此时，用户可以只需确认发送和/或例如选择、输入或确认异常的业务场景和/或其页面和/或其他描述等，即可上报异常状态信息。

由此，在一些优选实施例中，触发时间点可以是例如异常状态下自动记录的时间点。

在本发明的另一些实施例中，获取触摸事件序列文件可以是非基于反馈或响应的。例如，可以基于应用程序改进的目的，由应用开发者主动获取第一设备的针对特定业务场景的触摸事件序列文件。这样例如可以通过大数据统计的方式优化应用程序的业务场景及其用户界面。

例如图9示出了第一设备900的应用程序的“直播”业务场景的单一页面中的触摸操作。例如，通过大量模拟并重现在该业务场景下的触摸操作时，可以发现滑动(Swipe)左下对话框的触摸操作可能造成整个页面的下翻或上翻。为此，应用程序开发者可以优化对话框的界面以获得更加优良的用户体验。

在一些实施例中，所述指定业务场景且临近所述触发时间点可能涉及一个或多个相同的业务场景。在优选实施例中，可以选择触发时间点之前最近的单个指定业务场景所对应的触摸操作序列文件。但可以想到，可以根据需要或规定，选择临近多个指定业务场景对应的触摸操作序列文件。例如，在触发时间点、如用户上报时间点之前紧挨着有多次连续的“充值”业务场景，那么可以选择这些临近触发事件点的多次指定业务场景、在此为“充值”各自对应的触摸操作序列文件，以便用于后续分别模拟；这例如可以是考虑到用户在上报之前已经尝试多次充值，可能均未成功才上报。另外，在这些实施例中，所述指定业务场景且临近所述触发时间点是并存的。例如，当最邻近触发时间点的业务场景并非是指定业务场景、如“充值”时，则获取离触发时间点最近的指定业务场景。

S105：使用第二设备执行所述触摸事件序列文件，以在所述第二设备中的所述应用程序的所述业务场景的所述一个或多个页面中模拟所述触摸操作。

在本发明实施例中，所述执行所述触摸事件序列文件可以是利用脚本自动化处理完成。

在某些情况下，用户上报的异常状态可能是偶发性的，例如用户反馈充值后金币没有到账或者在直播页面出现不正常退出等。

在此，可能需要大量重复运行才能重现该异常状态。在一些实施例中，可以采用自动化重复模拟触摸的手段来重现该异常状态。

例如，在一些实施例中，所述使用第二设备执行所述触摸事件序列文件，以在所述第二设备中的所述应用程序的所述业务场景的所述一个或多个页面中模拟所述触摸操作，可包括：

B1：以自动化脚本形式多次重复执行所述触摸事件序列文件，从而多次模拟所述触摸操作；

B2：检测多次模拟所述触摸操作时出现的所述异常状态。

在一些实施例中，所述模拟所述触摸操作还可以包括：在相应页面中可视化地呈现触摸操作的轨迹。

可选地，在执行触摸事件序列文件之前，还包括将触摸事件序列文件或第二设备进行预处理的步骤。

例如，在一个具体实施例中，所述方法还可包括：

C1：将所述第二设备中的所述应用程序与所获取的触摸事件序列文件进行显示匹配处理。

在一些实施例中，第二设备可以不同于第一设备，例如是不同的设备类型或不同的设备型号。例如，在一些实施例中，第一设备为触屏终端设备，例如移动终端设备，例如智能手机，第二设备可以为安装有模拟器的设备，其可以是触屏或非触屏的，且类型或型号与第一设备不同。但可以想到，在另一些实施例中，第一设备和第二设备可以相同。例如，第一设备或第二设备可以为相同型号的iPhone，或具有相同型号的安卓手机。由此，可能需要对第一和第二设备中显示的应用程序界面进行显示匹配。

在一些实施例中，所述显示匹配处理可以是对第二设备进行设置。

在如图4所示的实施例中，所述将所述第二设备中的所述应用程序与所获取的触摸事件序列文件进行显示匹配处理，可包括：

S401：获取所述第一设备的设备信息和应用程序的版本信息；

S402：基于所述设备信息和版本信息设定所述第二设备中的所述应用程序的显示界面，以对应于第一设备中的所述应用程序的显示界面。

在一些实施例中，所述设备信息可以包括产品型号信息，例如IMEI号；还可以包括操作系统版本号，例如iOS14.3等。例如，在第二设备使用模拟器的实施例中，设定所述第二设备中的所述应用程序的显示界面例如可以将设置模拟器设为模拟所述第一设备的产品及其产品型号的设备。或者，可以选择与第一设备相同的产品。在另一些实施例中，可以是由设备信息和版本信息获得第一设备中的所述应用程序的显示信息，尤其是显示分辨率，从而选择或设置第二设备中应用程序的显示界面的显示分辨率。

在一些实施例中，所述设备信息可以包括显示信息、如显示分辨率。

在一些实施例中，所述显示匹配处理可以是对触摸事件序列文件进行调整。

在如图5所示的实施例中，所述将所述第二设备中的所述应用程序与所获取的触摸事件序列文件进行显示匹配处理，可包括：

S501：获取所述第一设备的设备信息和应用程序的版本信息；

S502：基于所述设备信息和版本信息确定所述第一设备中的所述应用程序的第一显示分辨率；

S503：确定所述第二设备中的所述应用程序的第二显示分辨率；

S504：基于所述第一和第二显示分辨率之间的差异，调整所述触摸事件序列文件中的触摸坐标。

在一些实施例中，例如可以基于第二和第一显示分辨率的比例调整触摸坐标。

例如，在一些实施例中，调整的触摸坐标可以按照下述公式1：

(X_a，Y_a)＝(RX₂/RX₁*X_o，RY₂/RY₁*Y_o) 1

其中，(X_a，Y_a)指代经调整的触摸坐标，(X_o，Y_o)指代原触摸坐标，RX₁指代第一分辨率的横值，RX₂指代第二分辨率的横值，RY₁指代第一分辨率的纵值，RY₂指代第二分辨率的纵值。

例如，当第一设备的第一显示分辨率为2K分辨率(3200×1440WQHD)，而第二设备的第二显示分辨率为全高清(1920×1080FHD)时，上述公式1可以为：

(X_a，Y_a)＝(1920/3200*X_o，1080/1440*Y_o)

在本发明的一些实施例中，如图10所示，还提供一种用户行为模拟装置1000，其例如可以是用于触屏终端设备。所述用户行为模拟装置1000可包括业务提取单元1001、触摸事件提取单元1002、生成单元1003、获取单元1004、模拟单元1005。

在所示的实施例中，业务提取单元1001可配置成检测用户访问第一设备中的应用程序的业务场景的一个或多个页面，提取业务场景页面访问数据。在所示的实施例中，触摸事件提取单元1002可配置成检测用户在所述第一设备中的应用程序的业务场景的所述一个或多个页面中的触摸操作，提取触摸事件数据，其中所述触摸事件数据包括触摸事件类型(即触摸手势)和触摸坐标。在所示的实施例中，生成单元1003可配置成基于所述业务场景页面访问数据和所述触摸事件数据生成针对业务场景的触摸事件序列文件。在所示的实施例中，获取单元1004可配置成获取所述触摸事件序列文件。在所示的实施例中，模拟单元1005可配置成使用第二设备执行所述触摸事件序列文件，以在所述第二设备中的所述应用程序的所述业务场景的所述一个或多个页面中模拟所述触摸操作。

本领域技术人员将明白，在不引起矛盾的情况下，本实施例的装置可以结合其他实施例所述的方法特征，反之则反。

在本发明的实施例中提供了一种触屏设备终端，其例如可以作为第一设备。在本发明的一个优选实施例中，所述设备为移动终端，优选可以为手机。仅作为示例性的实现方案，图11示出了触屏设备、如移动终端1100的一个具体实施例的硬件结构示意图；而图12A和图12B示出了触屏设备、如移动终端的一个具体实施例的系统结构示意图。

在所示出的实施例中，移动终端1100可以包括处理器1101、外部存储器接口1112、内部存储器1110、通用串行总线(USB)接口1113、充电管理模块1114、电源管理模块1115、电池1116、移动通信模块1140、无线通信模块1142、天线1139和1141、音频模块1134、扬声器1135、受话器1136、麦克风1137、耳机接口1138、按键1109、马达11011、指示器1107、用户标识模块(SIM)卡接口1111、显示屏1105、摄像装置1106，以及传感器模块1120等。

可以理解的是，本申请实施例示意的结构并不构成对移动终端1100的具体限定。在本申请另一些实施例中，移动终端1100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

在一些实施例中，处理器1101可以包括一个或一个以上处理单元。在一些实施例中，处理器1101可以包括以下之一或以下至少两种的组合：应用处理器(AP)、调制解调处理器、基带处理器、图形处理器(GPU)、图像信号处理器(ISP)、控制器、存储器、视频编解码器、数字信号处理器(DSP)、基带处理器、神经网络处理器(NPU)等。不同的处理单元可以是独立的器件，也可以集成在一个或一个以上处理器中。

控制器可以是移动终端1100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器中的存储器为高速缓冲存储器。该存储器可以保存处理器刚用过或循环使用的指令或数据。如果处理器需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器1101的等待时间，因而提高了系统的效率。

NPU为神经网络(NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断地自学习。

GPU为图像处理的微处理器，连接显示屏和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

数字信号处理器(ISP)用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。

在一些实施例中，处理器1101可以包括一个或一个接口。接口可以包括集成电路(I2C)接口、集成电路内置音频(I2S)接口、脉冲编码调制(PCM)接口、通用异步收发传输器(UART)接口、移动产业处理器接口(MIPI)、通用输入输出(GPIO)接口、用户标识模块(SIM)接口、通用串行总线(USB)接口等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对移动终端的结构限定。在本申请另一些实施例中，移动终端也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

移动终端1100的无线通信功能可以通过天线1139和1141、移动通信模块1140、无线通信模块1142、调制解调处理器或基带处理器等实现。

移动终端1100可以通过音频模块、扬声器、受话器、麦克风、耳机接口，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。

麦克风用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风发声，将声音信号输入到麦克风。

传感器模块1120可包括下述传感器中的一个或多个：

压力传感器1123配置为感受压力信号，将压力信号转换成电信号。

气压传感器1124用于测量气压。

磁传感器1125包括霍尔传感器。

陀螺仪传感器1127可以用于确定移动终端1100的运动姿态。

加速度传感器1128可检测移动终端1100在各个方向上加速度的大小。

距离传感器1129可配置为测量距离。

接近光传感器1121可以包括例如发光二极管(LED)和光检测器，例如光电二极管。

环境光传感器1122用于感知环境光亮度。

指纹传感器1131可配置为采集指纹。

触摸传感器1132可以设置于显示屏，由触摸传感器与显示屏组成触摸屏，也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定根据本发明实施例所述的触摸事件类型，例如单击、双击、长按、旋转、滑动、缩放等等。

骨传导传感器1133可以获取振动信号。

电子设备(计算机)、如移动终端的软件操作系统可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构。

本文所示的实施例以分层架构的分别以iOS和安卓操作系统平台为例，示例性说明移动终端的软件结构。但可以想到，本文的实施例可以在不同的软件操作系统中实施。

在图12A所示的实施例中，本发明实施例的方案可以采用iOS操作系统。iOS操作系统采用四层架构，由上到下依次为可触摸层(Cocoa Touch layer)1210、媒体层(Medialayer)1220、核心服务层(Core Services layer)1230以及核心操作系统层(Core OSlayer)1240。触摸层1210为应用程序开发提供了各种常用的框架并且大部分框架与界面有关，其负责用户在iOS设备上的触摸交互操作。媒体层提供应用中视听方面的技术，如图形图像、声音技术、视频以及音视频传输相关的框架等。核心服务层提供给应用所需要的基础的系统服务。核心操作系统层包含大多数低级别接近硬件的功能。

在本发明实施例中，UIKit是可触摸层1210的用户界面框架。

图12B是安卓操作系统结构示意图，本发明实施例的方案可以采用安卓操作系统。分层架构将软件分成若干个层，层间通过软件接口通信。在一些实施例中，将安卓系统分为四层，从上至下分别为应用程序层1210’、应用程序框架层1220’、安卓运行时(Runtime)和系统库1230’、以及内核层1240’。

应用程序层1210’可以包括一系列应用程序包。

应用程序框架层1220’为应用程序层的应用程序提供应用编程接口(API)和编程框架。应用程序框架层包括一些预先定义的函数。

窗口管理器用于管理窗口程序。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供移动终端的通信功能。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。

安卓Runtime(运行时)包括核心库和虚拟机，安卓Runtime负责安卓系统的调度和管理。核心库包含两部分：一部分是java语言要调用的功能函数，另一部分是安卓的核心库。应用程序层和框架层运行在虚拟机中。

系统库可以包括多个功能模块。表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。

内核层1240’是硬件和软件之间的层。内核层可包含显示驱动、摄像头驱动、音频接口、传感器驱动、电源管理和GPS接口。在本发明的一些实施例中，帧动画的显示可以调用显示驱动。

在一些实施例中，图11和图12A和图12B所示实施例中的设备也可以作为第二设备；但也可以想到提供另外的计算机设备作为第二设备，其例如可以模拟第一设备的操作系统并可在模拟器中安装所述应用程序，这落入发明的范围内。所述计算机设备可以包括处理器和至少一个存储器。

在本发明的一些实施例中，还可以提供一种计算机系统，其包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行任一本发明实施例的模拟用户行为的方法。在一些实施例中，所述计算机系统可以包括第一设备和第二设备，其中第一设备是触屏设备并包括处理器和存储器；第二设备可包括处理器和存储器，并例如是触屏设备或安装有模拟器，其例如可以模拟第一设备的操作系统并在该操作系统中安装应用程序。

在本发明上述或下述实施例阐明的系统、装置、模块或单元，可以由计算机或其关联部件实现。根据具体情况，计算机例如可以为移动终端、智能电话、个人计算机(PC)、膝上型计算机、车载人机交互设备、个人数字助理、媒体播放器、导航设备、游戏控制台、平板电脑、可穿戴设备、智能电视、物联网系统、智能家居、工业计算机、服务器或者其组合。

在本发明的一些实施例中，还可以提供一种存储介质。在一些实施例中，所述存储介质存储有计算机程序，所述计算机程序配置成被运行时执行任一本发明实施例所述的方法。

在本发明的实施例的存储介质包括永久性和非永久性、可移动和非可移动的可以由任何方法或技术来实现信息存储的物品。存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

在本发明的实施例的方法、程序、系统、装置等，可以在单个或多个连网的计算机中执行或实现，也可以在分布式计算环境中实践。在本说明书实施例中，在这些分布式计算环境中，可以由通过通信网络而被连接的远程处理设备来执行任务。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本领域技术人员可想到，上述实施例阐明的功能模块/单元或控制器以及相关方法步骤的实现，可以用软件、硬件和软/硬件结合的方式实现。

除非明确指出，根据本发明实施例记载的方法、程序的动作或步骤并不必须按照特定的顺序来执行并且仍然可以实现期望的结果。在某些实施方式中，各步骤的多任务处理和并行/合并处理也是可以的或者可能是有利的。

在本文中，“第一”、“第二”是用于在同一实施例中区分不同的元件，不指代顺序或相对重要性。

在本文中，针对本发明的多个实施例进行了描述，但为简明起见，各实施例的描述并不是详尽的，各个实施例之间相同或相似的特征或部分可能会被省略。在本文中，“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”意指适用于根据本发明的至少一个实施例或示例中，而非所有实施例。上述术语并不必然意味着指代相同的实施例或示例。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

已参考上述实施例具体示出并描述了本发明的示例性系统及方法，其仅为实施本系统及方法的最佳模式的示例。本领域的技术人员可以理解的是可以在实施本系统及/或方法时对这里描述的系统及方法的实施例做各种改变而不脱离界定在所附权利要求中的本发明的精神及范围。

Claims

1.一种模拟用户行为的方法，其特征在于，包括：

获取所述触摸事件序列文件；

2.根据权利要求1所述的方法，其特征在于，所述获取所述触摸事件序列文件，包括：

接收第一设备的上报信息，所述上报信息包括指定业务场景和触发时间点；

获取第一设备中的针对所述指定业务场景且临近所述触发时间点的触摸事件序列文件。

3.根据权利要求2所述的方法，其特征在于，所述上报信息为用户反馈的异常状态信息；

所述使用第二设备执行所述触摸事件序列文件，以在所述第二设备中的所述应用程序的所述业务场景的所述一个或多个页面中模拟所述触摸操作，包括：

以自动化脚本形式多次重复执行所述触摸事件序列文件，从而多次模拟所述触摸操作；

检测多次模拟所述触摸操作时出现的所述异常状态。

4.根据权利要求1所述的方法，其特征在于，所述检测用户访问第一设备中的应用程序的业务场景的一个或多个页面，提取业务场景页面访问数据，包括：

监听用户访问或离开所述第一设备中的应用程序的页面；

响应于用户访问所述业务场景的所述一个或多个页面，记录所述业务场景的每个被访问页面的业务场景标签和页面标签；

响应于用户访问所述业务场景的所述一个或多个页面，记录所述业务场景的每个被访问页面的访问时间；

响应于用户离开所述业务场景的所述一个或多个页面，记录所述业务场景的每个被访问页面的离开时间。

5.根据权利要求4所述的方法，其特征在于，所述基于所述业务场景页面访问数据和所述触摸事件数据生成针对业务场景的触摸事件序列文件，包括：

基于所述业务场景的每个被访问页面的访问时间和离开时间，确定在所述业务场景的每个所述被访问页面中的所有触摸操作，并生成针对所述业务场景的多个触摸事件序列文件，每个触摸序列文件对应一个所述被访问页面并且具有访问顺序信息。

6.根据权利要求1所述的方法，其特征在于，还包括：

将所述第二设备中的所述应用程序与所获取的触摸事件序列文件进行显示匹配处理。

7.根据权利要求6所述的方法，其特征在于，所述将所述第二设备中的所述应用程序与所获取的触摸事件序列文件进行显示匹配处理，包括：

获取所述第一设备的设备信息和应用程序的版本信息；

基于所述设备信息和版本信息设定所述第二设备中的所述应用程序的显示界面，以对应于第一设备中的所述应用程序的显示界面。

8.根据权利要求6所述的方法，其特征在于，所述将所述第二设备中的所述应用程序与所获取的触摸事件序列文件进行显示匹配处理，包括：

获取所述第一设备的设备信息和应用程序的版本信息；

基于所述设备信息和版本信息确定所述第一设备中的所述应用程序的第一显示分辨率；

确定所述第二设备中的所述应用程序的第二显示分辨率；

基于所述第一和第二显示分辨率之间的差异，调整所述触摸事件序列文件中的触摸坐标。

9.一种用户行为模拟装置，其特征在于，包括：

业务提取单元，配置成检测用户访问第一设备中的应用程序的业务场景的一个或多个页面，提取业务场景页面访问数据；

触摸事件提取单元，配置成检测用户在所述第一设备中的应用程序的业务场景的所述一个或多个页面中的触摸操作，提取触摸事件数据，所述触摸事件数据包括触摸事件类型和触摸坐标；

生成单元，配置成基于所述业务场景页面访问数据和所述触摸事件数据生成针对业务场景的触摸事件序列文件；

获取单元，配置成获取所述触摸事件序列文件；

模拟单元，配置成使用第二设备执行所述触摸事件序列文件，以在所述第二设备中的所述应用程序的所述业务场景的所述一个或多个页面中模拟所述触摸操作。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序配置成被运行时执行权利要求1至8中任一项所述的方法。