CN114115563A - 操作轨迹的采集方法、回放方法以及装置 - Google Patents

Abstract

本发明涉及一种操作轨迹的采集方法、回放方法以及装置，其中采集方法包括：采集用户在当前页面内的操作轨迹的起始点的起始点坐标以及后续点的后续点坐标；根据起始点坐标确定操作轨迹的起始组件以及起始点在起始组件中的相对位置；根据起始点坐标以及后续点坐标确定后续点相对于起始点的偏移量；根据起始组件，相对位置以及偏移量构建操作轨迹的轨迹数据，避免采集端与回放端的机型，屏幕尺寸以及操作系统等差异导致的回放准确性较低的问题，从而能够在轨迹回放过程中更加准确回放用户的操作过程。

Description

操作轨迹的采集方法、回放方法以及装置

技术领域

本发明涉及计算机技术领域，特别涉及一种操作轨迹的采集方法、回放方法以及装置。

背景技术

长久以来都是通过传统纯手工观察的方式进行，对终端应用在不同品牌、分辨率、尺寸、系统版本的终端上交互界面展示进行测试，这样不仅项目成本和周期的考量，而且存在机型覆盖不足的风险，因此引入了一套快速监测和采集界面操作轨迹、回放轨迹的方式，来实现功能测试的同时，同步观察其他设备同场景下动作效果与展示是否正确。

目前，对于操作轨迹的采集，一般只采集在当前终端上的坐标或坐标比，然而由于不同终端可能存在不同的尺寸，因此，将采集到的坐标或坐标比在另一终端回放时，相同的坐标可能确定的组件不同，从而导致回放的准确性低。

发明内容

为解决上述技术问题，本发明提供了一种操作轨迹的采集方法、回放方法以及装置，能够实现快速、精准的生成当前操作轨迹，且可适用于不同的型号、系统、屏幕的设备，具体方案如下：

第一方面，提供一种操作轨迹的采集方法，应用操作轨迹的采集端，所述方法包括：

采集用户在当前页面内的操作轨迹的起始点的起始点坐标以及后续点的后续点坐标；

根据所述起始点坐标确定所述操作轨迹的起始组件以及所述起始点在所述起始组件中的相对位置；

根据所述起始点坐标以及所述后续点坐标确定所述后续点相对于所述起始点的偏移量；

根据所述起始组件，所述相对位置以及所述偏移量构建所述操作轨迹的轨迹数据。

在一个较佳的实施方式中，所述根据所述起始点坐标以及所述后续点坐标确定所述后续点相对于所述起始点的偏移量包括：

根据所述起始点坐标中的起始横坐标，所述后续点坐标中的后续横坐标以及当前页面横向分辨率确定后续点的横向偏移量；

根据所述起始点坐标中的起始纵坐标，所述后续点坐标中的后续纵坐标以及当前页面纵向分辨率确定后续点的纵向偏移量。

在一个较佳的实施方式中，根据所述起始点坐标确定所述起始点在所述起始组件中的相对位置确定包括：

获取所述起始组件的顶点坐标；

根据所述起始横坐标以及所述顶点坐标中的顶点横坐标确定所述起始点的横向相对位置；

根据所述起始纵坐标以及所述顶点坐标中的顶点纵坐标确定所述起始点的纵向相对位置。

在一个较佳的实施方式中，所述采集用户在当前页面内的操作轨迹的起始点的起始点坐标以及后续点的后续点坐标之前还包括：

采集所述当前页面的当前组件坐标集合；

所述根据所述起始点坐标确定所述操作轨迹的起始组件包括：

遍历所述当前组件坐标集合；

将与所述起始点坐标对应的最小组件作为所述起始组件。

在一个较佳的实施方式中，所述方法还包括：

采集所述当前页面的当前组件标识集合；

根据所述当前组件标识集合确定所述起始组件的起始组件标识；

所述根据所述起始组件，所述相对位置以及所述偏移量构建所述操作轨迹的轨迹数据还包括：

根据所述起始组件标识，所述相对位置以及所述偏移量构建轨迹数据。

在一个较佳的实施方式中，所述方法还包括：

采集用户操作在后续点的持续时间；

所述根据所述起始组件，所述相对位置以及所述偏移量构建所述操作轨迹的轨迹数据还包括：

根据所述起始组件，所述相对位置，所述偏移量以及所述持续时间构建用户操作的轨迹数据。

第二方面，提供一种操作轨迹的回放方法，应用于操作轨迹的回放端，所述方法包括：

接收操作轨迹的轨迹数据，所述轨迹数据包括起始组件，所述操作轨迹的起始点在用户操作的起始组件中的相对位置以及所述操作轨迹的后续点相对于所述起始点的偏移量；

确定在回放页面内所述起始组件的回放组件坐标；

根据所述回放组件坐标，所述相对位置以及所述偏移量确定所述起始点的回放起始点坐标以及所述后续点的回放后续点坐标；

根据所述回放起始点坐标以及所述回放后续点坐标在所述回放页面内回放操作轨迹。

在一个较佳的实施方式中，所述根据所述回放组件坐标，所述相对位置以及所述偏移量确定所述起始点的回放起始点坐标以及所述后续点的回放后续点坐标包括：

根据所述回放组件坐标以及所述相对位置确定所述起始点的回放起始横坐标以及回放起始纵坐标；

根据所述回放页面的回放页面横向分辨率，横向偏移量以及所述回放起始横坐标确定回放后续横坐标；

根据所述回放页面的回放页面纵向分辨率，纵向偏移量以及所述回放起始纵坐标确定回放后续纵坐标。

在一个较佳的实施方式中，所述轨迹数据还包括所述起始组件的起始组件标识；

所述确定在回放页面内所述起始组件的回放组件坐标还包括：

遍历所述回放页面内回放组件坐标集合确定所述起始组件标识的所述回放组件坐标。

第三方面，提供一种操作轨迹的采集装置，应用操作轨迹的采集端，所述装置包括：

采集模块，用于采集用户在当前页面内的操作轨迹的起始点的起始点坐标以及后续点的后续点坐标；

第一确定模块，用于根据所述起始点坐标确定所述操作轨迹的起始组件以及所述起始点在所述起始组件中的相对位置；

第二确定模块，用于根据所述起始点坐标以及所述后续点坐标确定所述后续点相对于所述起始点的偏移量；

构建模块，用于根据所述起始组件，所述相对位置以及所述偏移量构建所述操作轨迹的轨迹数据。

在本发明中，在采集用户在当前页面内的操作轨迹的起始点的起始点坐标以及后续点的后续点坐标后，根据起始点坐标确定操作轨迹的起始组件以及起始点在起始组件中的相对位置，根据起始点坐标以及后续点坐标确定后续点相对于起始点的偏移量，在不同的终端中，可能由于机型，尺寸，或者系统的不同，起始点坐标以及后续点的坐标不同，但是在采集端以及回放端中，起始点与起始组件的相对位置是确定的并且可以根据回放页面与当前页面的差异，将确定在回放页面中的偏移量，从而能够在轨迹回放过程中更加准确回放用户的操作过程。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中操作轨迹的采集方法的流程图；

图2为本发明实施例中起始点以及后续点的示意图；

图3为本发明实施例中起始组件的示意图；

图4为本发明实施例中操作轨迹的回放方法的流程图；

图5为本发明实施例中操作轨迹的采集装置的示意图；

图6为本发明实施例中操作轨迹的回放装置的示意图；

图7为本发明实施例中电子设备的架构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如背景技术中介绍的，在对用户的操作轨迹进行采集时，常规的方法只采集操作轨迹的坐标点或者坐标比，这种方法通常只适用于相同机型，形同屏幕尺寸或者相同操作系统的终端，而对于不同机型的终端，可能存在不同的屏幕尺寸，若只是采集用户在当前终端中的坐标点或者坐标比，那么，在另一终端回访时会导致准确性下降的情况，因此，本发明提供了一种操作轨迹的采集方法、回放方法以及装置，在对用户的操作轨迹采集时，在采集用户在当前页面内的操作轨迹的起始点的起始点坐标以及后续点的后续点坐标后，根据起始点坐标确定用户操作的起始组件以及起始点在起始组件中的相对位置，并且根据起始点坐标以及后续点坐标确定后续点相对于起始点的偏移量，根据起始组件，相对位置以及偏移量构建用户操作的轨迹数据，那么在操作轨迹回放时，对于不同尺寸，不同机型或者不同操作系统的终端，只需要找到相应的起始组件，而后根据相对位置以及偏移量即可还原出在回放终端上起始点以及后续点的相应坐标，具有较高的准确性。

下面将结合具体的附图对本发明中操作轨迹的采集方法、回放方法以及装置做详细的阐述。

如图1所示，本发明提供了一种操作轨迹的采集方法，应用操作轨迹的采集端，所述方法包括：

S101、采集用户在当前页面内的操作轨迹的起始点的起始点坐标以及后续点的后续点坐标。

在本步骤中，采集端封装writeCommand(写入命令)方法，执行getevent(采集事件)命令，实现持续获取事件数据流，也即是，持续获取操作轨迹。用户的操作事件的类型可以为点击，滑动，文字输入等等。

操作轨迹的起始点即为用户开始按压当前页面时的点，采集端检测到用户的按压即为起始点，持续检测用户的按压操作，中间过程为中间点，当检测到用户的按压结束时，即为结束点，上述步骤中的后续点包括中间点以及结束点。通常情况下，以终端中屏幕的左上角为原点，横向为x轴，纵向为y轴建立坐标系，在确定起始点以及结束点后，即可确定起始点坐标以及后续点坐标。

S102、根据起始点坐标确定操作轨迹的起始组件以及起始点在起始组件中的相对位置。

在本步骤中，当前页面内可能存在多个组件，由此构成对于组件树，不同的组件具有不同的坐标，用户在对当前页面操作时，起始点对应于起始组件，因此，可以根据起始点坐标确定起始组件，并且根据起始点坐标以及起始组件的坐标确定出起始点在起始组件中的相对位置，在本步骤中不仅仅是只对起始点坐标采集，而是将其转化为相对位置，在不同的终端中，可能由于机型，尺寸，或者系统的不同，起始点坐标不同，但是在采集端以及回放端中，起始点与起始组件的相对位置是确定的，因此，通过相对位置构建轨迹数据，能够在轨迹回放过程中更加准确回放用户的操作过程。

S103、根据起始点坐标以及后续点坐标确定后续点相对于起始点的偏移量。

在本步骤中，用户对当前页面操作时，比如，用户对当前页面进行滑动操作，那么滑动操作的起始点为用户对当前页面起始触摸的位置，用户后续滑动过程中的后续点，相较于起始点都存在一定的偏移，在本步骤中不仅仅是对后续坐标的采集，而是将其转化为相较于起始点的偏移量，在不同的终端中，可能由于机型，尺寸，或者系统的不同，后续点坐标不同，但是在偏移量确定的情况下，可以根据回放页面与当前页面的差异，将确定在回放页面中的偏移量，从而能够准确还原出回放页面中的回放后续点坐标。

以上步骤中S102和S103没有明显的先后顺序，对于上述步骤的编号只是为了便于阐述整个过程，不能理解为对上述两个步骤的先后顺序的限定。

S104、根据起始组件，相对位置以及偏移量构建操作轨迹的轨迹数据。

在本步骤中，轨迹数据中包括起始组件，在回放过程中根据起始组件可以快速定位到用户操作时起始操作的组件，而后根据起始组件，相对位置以及偏移量准确还原出用户在采集端中的操作轨迹。

在本发明中，在采集用户在当前页面内的操作轨迹的起始点的起始点坐标以及后续点的后续点坐标后，根据起始点坐标确定操作轨迹的起始组件以及起始点在起始组件中的相对位置，根据起始点坐标以及后续点坐标确定后续点相对于起始点的偏移量，在不同的终端中，可能由于机型，尺寸，或者系统的不同，起始点坐标以及后续点的坐标不同，但是在采集端以及回放端中，起始点与起始组件的相对位置是确定的并且可以根据回放页面与当前页面的差异，将确定在回放页面中的偏移量，从而能够在轨迹回放过程中更加准确回放用户的操作过程，进一步地，根据起始点坐标以及后续点坐标确定后续点相对于起始点的偏移量，能够在后续回放过程中，准确定位出用户起始操作的组件，实现精准定位以及准确回放，定位准确率100％，回放轨迹的匹配度95％以上。

本发明中操作轨迹的采集的是相对位置以及偏移量，因此，适用于多种场景，可以为点击，滑动，文字输入等等，不再仅仅适用于单纯的点击或者滑动。

本发明中对于起始点以及后续点坐标的采集以及对于轨迹数据的生成做到了毫秒级响应，可以在200ms内完成。

在一个较佳的实施方式中，根据起始点坐标以及后续点坐标确定后续点相对于起始点的偏移量包括：

根据起始点坐标中的起始横坐标，后续点坐标中的后续横坐标以及当前页面横向分辨率确定后续点的横向偏移量；

根据起始点坐标中的起始纵坐标，后续点坐标中的后续纵坐标以及当前页面纵向分辨率确定后续点的纵向偏移量。

在本实施例中，偏移量相较于当前页面的分辨率而言偏移的比例，后续点采用相对于起始点的位置来计算偏移量，使用偏移量作为轨迹中后续点的标记，如图2所示，偏移量的计算方法为，起始点A的起始点坐标为(a₀,b₀)，后续点B的后续点坐标为(a₁,b₁)，屏幕分辨率为L*H，其中L为当前横向分辨率，H为当前纵向分辨率，那么，后续点B相对于起始点A的横向偏移量为(a₀-a₁)/L，后续点B相对于起始点A的纵向偏移量为(b₀-b₁)/H，由此可以计算出操作轨迹中后续所有点相对于起始点的偏移量。

在本发明中，根据起始点坐标，后续点坐标以及当前页面分辨率确定后续点的横向偏移量以及纵向偏移量，为后续中准确还原出后续点的坐标提供依据。

在一个较佳的实施方式中，根据起始点坐标确定起始点在所述起始组件中的相对位置确定包括：：

获取起始组件的顶点坐标；

根据起始横坐标以及顶点坐标中的顶点横坐标确定起始点的横向相对位置；

根据起始纵坐标以及顶点坐标中的顶点纵坐标确定起始点的纵向相对位置。

在本步骤中，页面组件通常为矩形的，因此，如图3所示，起始组件的顶点包括四个顶点，相应的顶点坐标为顶点1(x₁,y₁)，顶点2(x₂,y₂)，顶点3(x₃,y₃)，顶点4(x₄,y₄)，起始点在起始组件内，因此可以根据起始点坐标(a₀,b₀)以及顶点坐标确定相对位置，具体计算方法为，横向相对位置为(a₀-x₁)/(x₂-x₁)，纵向相对位置为(b₀-y₁)/(y₃-y₁)，也即是，确定出起始点在横向上相对于矩形的横向边长的位置以及起始点在纵向上相对于矩形的纵向边长的位置。

在本发明中，通过上述方法准确确定出起始点在起始组件中的相对位置，因此，在回放过程中，通过起始组件的确定，能够准确确定出起始点位置，能够在轨迹回放过程中更加准确回放用户的操作过程。

在一个较佳的实施方式中，在采集用户在当前页面内的操作轨迹的起始点的起始点坐标以及后续点的后续点坐标之前还包括：

采集当前页面的当前组件坐标集合；

根据起始点坐标确定用户操作的起始组件包括：

遍历当前组件坐标集合；

将与起始点坐标对应的最小组件作为起始组件。

在本步骤中，采集端在对用户的操作轨迹进行采集之前，先采集当前页面的当前组件坐标集合，具体是实现过程为：采集端通过封装accessibilityservice(无障碍服务)getwindows(获取窗口)方法，启动子线程实时循环获取当前页面内的组件，根据终端运行展示不同应用进行区分不同的窗口，在对操作轨迹采集时，对于当前操作页面，获取当前操作页面的组件树，进一步获取当前组件坐标集合，并缓存当前页面组件树以及当前组件坐标集合，并实时刷新此数据，同步记录多个时刻缓存。

在确定起始点坐标后，遍历当前组件坐标集合，由于不同的组件可能具有不同的大小，大组件可能会包括小组件，将起始点横坐标以及起始点纵坐标在当前组件坐标集合中遍历，将包括起始点的最小组件作为起始组件，精准定位到用户起始操作的组件。

在一个较佳的实施方式中，该方法还包括：

采集当前页面的当前组件标识集合；

根据当前组件标识集合确定起始组件的起始组件标识；

根据起始组件，相对位置以及偏移量构建用户操作的轨迹数据还包括：

根据起始组件标识，相对位置以及偏移量构建轨迹数据。

在本实施例中，在组织树中，每一组件具有相应的组件标识，组件标识可以为组件ID，组件标识具有唯一性，指向唯一的组件，对于采集当前页面的当前组件标识集合，在确定起始组件后，从当前组件标识集合中确定起始组件标识，因此，轨迹数据中包括起始组件标识，相对位置以及偏移量，在轨迹回放过程中，可以根据起始组件标识更加准确确定出起始组件。

在一个较佳的实施方式中，上述方法还包括：

采集用户操作在后续点的持续时间；

根据起始组件，相对位置以及偏移量构建用户操作的轨迹数据还包括：

根据起始组件，相对位置，偏移量以及持续时间构建用户操作的轨迹数据。

在本实施例中，后续点还包括后续点的持续时间，因此，在对后续点坐标采集时后续点的持续时间，持续时间获取方式为当前后续点至下一个后续点的两点时间标志之差，通过对持续时间的采集，能够更加准确反映出用户的整个操作过程。

在一个优选的实施例中，轨迹数据包括起始组件对象，起始点在起始组件中的相对位置，后续点相较于起始点的偏移量以及后续点的持续时间，起始组件对象包括起始组件标识，属性，text文本，定位以及表达式，能够快速检索在在组织树中的位置，从而实现快速遍历。

如图4所示，本发明还提供了一种操作轨迹的回放方法，应用于操作轨迹的回放端，所述方法包括：

S401、接收操作轨迹的轨迹数据，轨迹数据包括起始组件，操作轨迹的起始点在用户操作的起始组件中的相对位置以及操作轨迹的后续点相对于起始点的偏移量；

S402、确定在回放页面内起始组件的回放组件坐标；

S403、根据回放组件坐标，相对位置以及偏移量确定起始点的回放起始点坐标以及后续点的回放后续点坐标；

S404、根据回放起始点坐标以及回放后续点坐标在回放页面内回放操作轨迹。

在本实施例中，采集端采集到轨迹数据后，由服务器发送给回放端，回放端在接收到轨迹数据后，确定在回放页面内起始组件的回放组件坐标，在回放组件坐标确定后，根据相对位置可以确定起始点以及后续点在回放页面内的回放起始点坐标，回放后续点坐标，在坐标确定之后，即可在回放页面内回放用户的操作轨迹，从而将用户轨迹完整准确地回放。

在一个较佳的实施方式中，根据回放组件坐标，相对位置以及偏移量确定起始点的回放起始点坐标以及后续点的回放后续点坐标包括：

根据回放组件坐标以及相对位置确定起始点的回放起始横坐标以及回放起始纵坐标；

根据回放页面的回放页面横向分辨率，横向偏移量以及回放起始横坐标确定回放后续横坐标；

根据回放页面的回放页面纵向分辨率，纵向偏移量以及回放起始纵坐标确定回放后续纵坐标。

在本实施例中，回放起始点坐标以及回放后续点坐标的确定是操作轨迹采集过程中相对位置确定的逆向过程，回放组件坐标确定之后，根据相对位置中的横向相对位置以及纵向相对位置即可确定回放起始横坐标以及回放起始纵坐标，具体的，回放组件坐标为顶点1’(x₁’,y₁’)，顶点2’(x₂’,y₂’)，顶点3’(x₃’,y₃’)，顶点4’(x₄’,y₄’)，前述已经计算过横向相对位置为(a₀-x₁)/(x₂-x₁)，纵向相对位置为(b₀-y₁)/(y₃-y₁)，也即是，那么回放起始横坐标a₀’为((a₀-x₁)/(x₂-x₁))*(x₂’-x₁’)+x₁’，回放起始纵坐标b₀’为((b₀-y₁)/(y₃-y₁))*(y₃’-y₁’)+y₁’。

回放页面分辨率为L’*H’，其中L’为回放横向分辨率，H’为回放纵向分辨率，前述已经计算过横向偏移量为(a₀-a₁)/L，纵向偏移量为(b₀-b₁)/H，那么回放后续横坐标为((a₀-a₁)/L)*L’+a₀’，回放后续纵坐标为((b₀-b₁)/H)*L’+b₀’。

在一个较佳的实施方式中，轨迹数据还包括起始组件的起始组件标识；

确定回放页面内起始组件的组件坐标还包括：

遍历回放页面内回放组件坐标集合确定起始组件标识的回放组件坐标。

在本实施例中，回放页面内的组件树具有相应的回放组件坐标集合，在回放端接收到轨迹数据后，遍历回放组件坐标集合，能够快速准确确定与起始组件标识对应的回放组件坐标。

在一个较佳的实施方式中，轨迹数据还包括用户操作在后续点的持续时间；

根据回放起始点坐标以及回放后续点坐标在回放页面内回放操作轨迹还包括：根据回放起始点坐标，回放后续点坐标以及持续时间在回放页面内回放操作轨迹，能够更加完整展现出用户整个操作过程。

如图5所示，本发明还提供了一种操作轨迹的采集装置，应用操作轨迹的采集端，该装置包括：

采集模块501，用于采集用户在当前页面内的操作轨迹的起始点的起始点坐标以及后续点的后续点坐标；

第一确定模块502，用于根据起始点坐标确定操作轨迹的起始组件以及起始点在起始组件中的相对位置；

第二确定模块503，用于根据起始点坐标以及后续点坐标确定后续点相对于起始点的偏移量；

构建模块504，用于根据起始组件，相对位置以及偏移量构建操作轨迹的轨迹数据。

在一个较佳的实施方式中，第二确定模块503包括横向偏移量确定单元，用于根据起始点坐标中的起始横坐标，后续点坐标中的后续横坐标以及当前页面横向分辨率确定后续点的横向偏移量；

纵向偏移量确定单元，用于根据起始点坐标中的起始纵坐标，后续点坐标中的后续纵坐标以及当前页面纵向分辨率确定后续点的纵向偏移量。

在一个较佳的实施方式中，第一确定模块502还包括顶点坐标确定单元，用于获取起始组件的顶点坐标；

横向相对位置确定单元，用于根据起始横坐标以及顶点坐标中的顶点横坐标确定起始点的横向相对位置；

纵向相对位置确定单元，用于根据起始纵坐标以及顶点坐标中的顶点纵坐标确定起始点的纵向相对位置。

在一个较佳的实施方式中，采集模块501还用于采集当前页面的当前组件坐标集合；

第一确定模块502还包括第一遍历单元，用于遍历当前组件坐标集合；起始组件确定单元，用于将与起始点坐标对应的最小组件作为起始组件。

在一个较佳的实施方式中，采集模块501还用于采集当前页面的当前组件标识集合；第一确定模块还包括起始组件标识确定单元用于根据当前组件标识集合确定起始组件的起始组件标识；

构建模块504还用于根据起始组件标识，相对位置以及偏移量构建轨迹数据。

在一个较佳的实施方式中，采集模块501还用于采集用户操作在后续点的持续时间；

构建模块504还用于根据起始组件，相对位置，偏移量以及持续时间构建用户操作的轨迹数据。

如图6所示，本发明还提供了一种操作轨迹的回放装置，应用于操作轨迹的回放端，该装置包括：

接收模块601，用于接收操作轨迹的轨迹数据，轨迹数据包括起始组件，操作轨迹的起始点在用户操作的起始组件中的相对位置以及操作轨迹的后续点相对于起始点的偏移量；

第三确定模块602，用于确定在回放页面内起始组件的回放组件坐标；

第四确定模块603，用于根据回放组件坐标，相对位置以及偏移量确定起始点的回放起始点坐标以及后续点的回放后续点坐标；

回放模块604，用于根据回放起始点坐标以及回放后续点坐标在回放页面内回放操作轨迹。

在一个较佳的实施方式中，第四确定模块603包括起回放始坐标确定单元用于根据回放组件坐标以及相对位置确定起始点的回放起始横坐标以及回放起始纵坐标；

回放后续坐标确定单元，用于根据回放页面的回放页面横向分辨率，横向偏移量以及回放起始横坐标确定回放后续横坐标；根据回放页面的回放页面纵向分辨率，纵向偏移量以及回放起始纵坐标确定回放后续纵坐标。

在一个较佳的实施方式中，轨迹数据还包括起始组件的起始组件标识；

第三确定模块602还用于遍历回放页面内回放组件坐标集合确定起始组件标识的回放组件坐标。

本发明还提供了一种电子设备，其特征在于，包括：

一个或多个处理器；以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如前所述的操作轨迹的采集方法，所能实现的技术效果请参照如前的描述，此处不再赘述。

本发明还提供了一种电子设备，其特征在于，包括：

一个或多个处理器；以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如前所述的操作轨迹的回放方法，所能实现的技术效果请参照如前的描述，此处不再赘述。

本发明还保护一种计算机存储介质，用于执行如前所述的操作轨迹的采集方法。

本发明还保护一种计算机存储介质，用于执行如前所述的操作轨迹的回放方法。

其中，图7示例性的展示出了电子设备的系架构，具体可以包括处理器710，视频显示适配器711，磁盘驱动器712，输入/输出接口713，网络接口714，以及存储器720。上述处理器710、视频显示适配器711、磁盘驱动器712、输入/输出接口713、网络接口714，与存储器720之间可以通过通信总线730进行通信连接。

其中，处理器710可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本发明所提供的技术方案。

存储器720可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器720可以存储用于控制计算机系统700运行的操作系统721，用于控制计算机系统700的低级别操作的基本输入输出系统(BIOS)。另外，还可以存储网页浏览器723，数据存储管理系统724，以及设备标识信息处理系统725等等。上述设备标识信息处理系统725就可以是本发明实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本发明所提供的技术方案时，相关的程序代码保存在存储器720中，并由处理器710来调用执行。

输入/输出接口713用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

网络接口714用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线730包括一通路，在设备的各个组件(例如处理器710、视频显示适配器711、磁盘驱动器712、输入/输出接口713、网络接口714，与存储器720)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器710、视频显示适配器711、磁盘驱动器712、输入/输出接口713、网络接口714，存储器720，总线730等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本发明方案所必需的组件，而不必包含图中所示的全部组件。

本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储器被安装，或者从ROM被安装。在该计算机程序被处理器执行时，执行本发明的实施例的方法中限定的上述功能。

需要说明的是，本发明的实施例的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(Radio Frequency，射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述服务器中所包含的；也可以是单独存在，而未装配入该服务器中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该服务器执行时，使得该服务器：响应于检测到终端的外设模式未激活时，获取终端上应用的帧率；在帧率满足息屏条件时，判断用户是否正在获取终端的屏幕信息；响应于判断结果为用户未获取终端的屏幕信息，控制屏幕进入立即暗淡模式。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明所提供的操作轨迹的采集方法、回放方法以及装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种操作轨迹的采集方法，其特征在于，应用操作轨迹的采集端，所述方法包括：

采集用户在当前页面内的操作轨迹的起始点的起始点坐标以及后续点的后续点坐标；

根据所述起始点坐标确定所述操作轨迹的起始组件以及所述起始点在所述起始组件中的相对位置；

根据所述起始点坐标以及所述后续点坐标确定所述后续点相对于所述起始点的偏移量；

根据所述起始组件，所述相对位置以及所述偏移量构建所述操作轨迹的轨迹数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述起始点坐标以及所述后续点坐标确定所述后续点相对于所述起始点的偏移量包括：

根据所述起始点坐标中的起始横坐标，所述后续点坐标中的后续横坐标以及当前页面横向分辨率确定后续点的横向偏移量；

根据所述起始点坐标中的起始纵坐标，所述后续点坐标中的后续纵坐标以及当前页面纵向分辨率确定后续点的纵向偏移量。

3.根据权利要求2所述的方法，其特征在于，根据所述起始点坐标确定所述起始点在所述起始组件中的相对位置确定包括：

获取所述起始组件的顶点坐标；

根据所述起始横坐标以及所述顶点坐标中的顶点横坐标确定所述起始点的横向相对位置；

根据所述起始纵坐标以及所述顶点坐标中的顶点纵坐标确定所述起始点的纵向相对位置。

4.根据权利要求1所述的方法去，其特征在于，所述采集用户在当前页面内的操作轨迹的起始点的起始点坐标以及后续点的后续点坐标之前还包括：

采集所述当前页面的当前组件坐标集合；

所述根据所述起始点坐标确定所述操作轨迹的起始组件包括：

遍历所述当前组件坐标集合；

将与所述起始点坐标对应的最小组件作为所述起始组件。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

采集所述当前页面的当前组件标识集合；

根据所述当前组件标识集合确定所述起始组件的起始组件标识；

所述根据所述起始组件，所述相对位置以及所述偏移量构建所述操作轨迹的轨迹数据还包括：

根据所述起始组件标识，所述相对位置以及所述偏移量构建轨迹数据。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

采集用户操作在后续点的持续时间；

所述根据所述起始组件，所述相对位置以及所述偏移量构建所述操作轨迹的轨迹数据还包括：

根据所述起始组件，所述相对位置，所述偏移量以及所述持续时间构建用户操作的轨迹数据。

7.一种操作轨迹的回放方法，其特征在于，应用于操作轨迹的回放端，所述方法包括：

接收操作轨迹的轨迹数据，所述轨迹数据包括起始组件，所述操作轨迹的起始点在用户操作的起始组件中的相对位置以及所述操作轨迹的后续点相对于所述起始点的偏移量；

确定在回放页面内所述起始组件的回放组件坐标；

根据所述回放组件坐标，所述相对位置以及所述偏移量确定所述起始点的回放起始点坐标以及所述后续点的回放后续点坐标；

根据所述回放起始点坐标以及所述回放后续点坐标在所述回放页面内回放操作轨迹。

8.根据权利要求7所述的方法，其特征在于，所述根据所述回放组件坐标，所述相对位置以及所述偏移量确定所述起始点的回放起始点坐标以及所述后续点的回放后续点坐标包括：

根据所述回放组件坐标以及所述相对位置确定所述起始点的回放起始横坐标以及回放起始纵坐标；

根据所述回放页面的回放页面横向分辨率，横向偏移量以及所述回放起始横坐标确定回放后续横坐标；

根据所述回放页面的回放页面纵向分辨率，纵向偏移量以及所述回放起始纵坐标确定回放后续纵坐标。

9.根据权利要求7所述的方法，其特征在于，所述轨迹数据还包括所述起始组件的起始组件标识；

所述确定在回放页面内所述起始组件的回放组件坐标还包括：

遍历所述回放页面内回放组件坐标集合确定所述起始组件标识的所述回放组件坐标。

10.一种操作轨迹的采集装置，其特征在于，应用操作轨迹的采集端，所述装置包括：

采集模块，用于采集用户在当前页面内的操作轨迹的起始点的起始点坐标以及后续点的后续点坐标；

第一确定模块，用于根据所述起始点坐标确定所述操作轨迹的起始组件以及所述起始点在所述起始组件中的相对位置；

第二确定模块，用于根据所述起始点坐标以及所述后续点坐标确定所述后续点相对于所述起始点的偏移量；

构建模块，用于根据所述起始组件，所述相对位置以及所述偏移量构建所述操作轨迹的轨迹数据。

Images