CN109213668B - 操作记录方法、装置及终端 - Google Patents

Abstract

一种操作记录方法、装置及终端。所述方法包括：当检测到预设操作事件时，获取界面帧；根据界面帧和预设操作事件，生成操作信息，操作信息包括：操作类型和位置信息，位置信息用于指示执行预设操作事件对应操作的操作位置；对应存储界面帧和操作信息。本申请提供的方案，通过检测到预设操作事件时获取界面帧，并根据界面帧和预设操作事件生成操作信息，最终对应存储界面帧和操作信息来记录用户的操作。终端不仅存储了界面帧，还对应存储了操作信息。即使因系统或应用的更新导致操作界面变化，操作信息仍然能够准确地指示出操作类型和操作位置。因此，用户操作记录不会出现误差，适用于各个版本的系统或应用，从而提高了操作记录的准确性和适用性。

Description

操作记录方法、装置及终端

技术领域

本申请涉及计算机技术领域，特别涉及一种操作记录方法、装置及终端。

背景技术

随着科技的不断发展，生活中人们使用的终端设备越来越多，例如手机、平板电脑、电子书阅读器和个人电脑(Personal Computer，PC)等。此外，终端具备的功能也越来越多。其中，部分功能需要用户进行繁琐、重复的操作，例如在企业资源计划(EnterpriseResource Planning，ERP)系统中录入多组同类型的数据。因此，用户希望终端可以模拟用户的操作，代替用户。为了模拟用户的操作，首先需要准确记录用户的操作。

在相关技术中，用户进行操作时，终端将用户的操作过程录制为视频，通过视频来记录用户的操作。后续模拟用户操作时，终端根据视频记录的画面执行相应的操作。但是，由于终端的系统或应用会进行更新，终端显示的画面会发生变化，导致记录操作的视频不再适用于当前的版本的系统或应用。例如，视频记录了用户点击开始菜单的操作，但当电脑系统更新后，开始菜单的图标发生了变化，导致电脑根据视频记录的画面无法确定当前系统的开始菜单，进而无法执行相应的操作。

上述相关技术中，通过录制视频记录用户操作的方式，由于系统或应用的更新，导致对用户操作的记录出现误差，不再适用于当前的版本的系统或应用，从而降低了操作记录的准确性和适用性。

发明内容

本申请提供一种操作记录方法、装置及终端，可用于解决在现有技术中通过视频记录用户操作的方式因系统或应用的更新，导致对用户操作的记录出现误差，不再适用于当前的版本的系统或应用，从而降低了操作记录的准确性和适用性的问题。

第一方面，本申请提供一种操作记录方法，所述方法包括：

当检测到预设操作事件时，获取界面帧，所述界面帧为终端显示的操作界面；

根据所述界面帧和所述预设操作事件，生成操作信息，所述操作信息包括：操作类型和位置信息，所述位置信息用于指示执行所述预设操作事件对应操作的操作位置；

对应存储所述界面帧和所述操作信息。

可选地，所述位置信息包括：标识图像和所述标识图像对应的指向信息，所述标识图像为所述界面帧中的局部画面；

所述根据所述界面帧和所述预设操作事件，生成操作信息，包括：

确定所述预设操作事件对应操作的操作类型；

根据所述预设操作事件和所述界面帧确定关键位置，所述关键位置是指所述预设操作事件在所述界面帧中的位置；

根据所述关键位置，在所述界面帧中截取所述标识图像；

确定所述指向信息，所述指向信息用于指示所述标识图像的位置和所述关键位置之间的位置关系。

可选地，所述根据所述关键位置，在所述界面帧中截取所述标识图像，包括：

在所述关键位置的预设距离内截取至少一个待选标识图像；

若所述待选标识图像的画面内容与所述界面帧中的其它画面内容不同，则确定所述待选标识图像为所述标识图像。

可选地，所述标识图像的形状为矩形；

所述确定所述指向信息，包括：

获取所述标识图像任一顶点的位置；

将所述标识图像任一顶点的位置与所述关键位置之间的位置关系作为所述标识图像的位置和所述关键位置之间的位置关系，得到所述指向信息。

可选地，所述获取界面帧，包括：

获取所述终端在当前时刻显示的操作界面的前一帧画面作为所述界面帧。

第二方面，本申请提供一种操作记录装置，所述装置包括：

画面获取模块，用于当检测到预设操作事件时，获取界面帧，所述界面帧为终端显示的操作界面；

信息生成模块，用于根据所述界面帧和所述预设操作事件，生成操作信息，所述操作信息包括：操作类型和位置信息，所述位置信息用于指示执行所述预设操作事件对应操作的操作位置；

存储模块，用于对应存储所述界面帧和所述操作信息。

第三方面，本申请提供一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上述第一方面所述的操作记录方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述第一方面所述的操作记录方法。

本申请提供的方案中，通过在检测到预设操作事件时获取界面帧，并根据界面帧和预设操作事件生成操作信息，最终对应存储界面帧和操作信息来记录用户的操作。终端不仅存储了记录用户操作界面的界面帧，还对应存储了操作类型和指示操作位置的位置信息。即使因系统或应用的更新导致操作界面变化，操作信息仍然能够准确地指示出操作类型和操作位置。因此，终端对用户操作的记录不会出现误差，适用于各个版本的系统或应用，从而提高了操作记录的准确性和适用性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种操作记录方法的流程图；

图2是根据一示例性实施例示出的获取界面帧的示意图；

图3是根据另一示例性实施例示出的获取界面帧的示意图；

图4是根据一示例性实施例示出的截取标识图像的示意图；

图5是根据一示例性实施例示出的确定指向信息的示意图；

图6是根据一示例性实施例示出的一种操作记录装置的框图；

图7是根据一示例性实施例示出的一种终端的结构方框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请实施例提供的方法，各步骤的执行主体可以是终端。终端记录用户在该终端或在其它终端上的操作。可选地，各步骤的执行主体可以是终端中运行的记录进程，该记录进程是指记录操作的应用程序的进程。上述终端可以是手机、平板电脑、PC、电子书阅读器、多媒体播放设备、可穿戴设备、膝上型便携计算机等电子设备。为了便于说明，在下述方法实施例中，仅以各步骤的执行主体为终端进行介绍说明，但对此不构成限定。

请参考图1，其示出了本申请一个实施例提供的操作记录方法的流程图。该方法可以包括如下几个步骤。

步骤101，当检测到预设操作事件时，获取界面帧。

当需要对用户的操作进行记录时，终端检测是否发生预设操作事件。预设操作事件对应的操作即为终端所要记录的操作。预设操作事件可以根据实际经验预先设定，或者，根据所要记录的操作预先设定。其中，预设操作事件包括：鼠标右键单击事件，鼠标左键单击事件，鼠标左键双击事件，鼠标滚轮滑动事件和键盘录入事件等。每种预摄操作事件都对应着一种操作类型。用户执行所要记录的操作，相应地，终端检测到对应预设操作事件，获取界面帧。其中，界面帧是终端显示的操作界面。该操作界面是用户执行操作时终端显示的画面。例如，用户在执行点击桌面图标的操作，则终端获取的界面帧为桌面界面。

需要说明的是，上述预设操作事件针对的是操作在电脑上执行的情况。当所要记录的操作在不同的设备上执行时，预设操作事件也会发生变化，例如，当所要记录的操作在手机上执行时，预设操作事件包括：点击事件，长按事件，向上滑动事件和向下滑动事件等。

可选地，若终端记录的是用户在其它终端上执行的操作，则界面帧是其它终端显示的操作界面。

在一种可能的实施方式中，当检测到预设操作事件时，终端获取在当前时刻显示的操作界面为界面帧。

示例性地，如图2所示，用户通过光标201单击应用图标202，终端检测到鼠标左键单击事件。鼠标左键单击事件为预设操作事件，则终端获取当前的操作界面203为界面帧。

在另一种可能的实施方式中，当检测到预设操作事件时，终端获取在当前时刻显示的操作界面的前一帧画面作为界面帧。当用户进行部分操作时，例如点击下拉菜单，终端的显示的操作界面会发生变化，出现下拉菜单。若终端将当前时刻显示的操作界面作为界面帧，则通过界面帧记录的画面并不是用户将要进行操作时的画面，而是用户操作后的画面，导致对用户操作的记录的准确性下降。因此，获取在当前时刻显示的操作界面的前一帧画面作为界面帧，即将用户将要进行操作时的显示画面作为界面帧，以提高对用户操作进行记录的准确性。

示例性地，如图3所示，用户通过光标301单击开始按钮302。当终端检测到鼠标左键单击事件时，终端显示的操作界面已由界面303变为界面304，而在界面304中弹出了开始菜单。终端获取当前时刻的界面304的前一帧画面即界面303为界面帧。

步骤102，根据界面帧和预设操作事件，生成操作信息。

操作信息包括操作类型和位置信息。操作类型表示了预设操作事件对应的操作。例如，预设操作事件为鼠标右键单击事件，该鼠标右键单击事件对应的操作类型为单击鼠标右键。位置信息用于指示执行预设操作事件对应操作的操作位置。当终端需要模拟预设操作事件对应操作时，根据位置信息指示的操作位置，能够确定在何处执行操作。终端根据预设操作事件确定对应的操作类型，再结合界面帧生成上述位置信息，最终得到操作信息。

可选地，位置信息包括：标识图像和该标识图像对应的指向信息，上述步骤102包括如下子步骤。

步骤102a、确定预设操作事件对应操作的操作类型。

终端存储有预设操作事件与操作类型的对应关系。在检测到预设操作事件后，终端根据该对应关系和预设操作事件确定对应的操作类型。其中，预设操作事件对应的操作类型即为终端所要记录的操作的操作类型。当预设操作事件发生时，终端接收到该预设操作事件触发的信号。不同的操作触发的信号也不同。例如，键盘录入触发的信号是输入/输出(Input/Out，I/O)端的输出信号，与鼠标左键单击触发的信号不同。终端能够根据上述信号确定预设操作事件，进而确定对应的操作和操作类型。

步骤102b，根据预设操作事件和界面帧确定关键位置。

关键位置是指预设操作事件在界面帧中的位置，即预设操作事件在界面帧表示的操作界面中发生的位置。终端根据预设操作事件触发的信号，确定该信号在界面帧中的坐标，再将该坐标确定为关键位置。

步骤102c，根据关键位置，在界面帧中截取标识图像。

标识图像是指界面帧中的局部画面，即界面帧的部分图像。首先，终端在关键位置的预设距离内截取至少一个待选标识图像。其中，预设距离可以根据实际经验进行设定。位置信息用于指示执行预设操作事件对应操作的操作位置，因此位置信息中的一个标识图像需要唯一指示一位置。若一个标识图像指示的位置不唯一，则位置信息将无法准确指示上述操作位置。因此，对于截取的任一待选标识图像，终端检测该待选标识图像的画面内容与界面帧中除该待选标识图像外其它部分的画面内容是否相同；若不同，则终端确定该待选标识图像为标识图像；若相同，则不将该待选标识图像作为标识图像。终端最终获取至少一个标识图像。其中，标识图像的大小和形状可以根据实际经验预先设定。

示例性地，如图4所示，用户点击了音量图标401，则终端确定关键位置为位置402。终端在位置402的预设距离内截取了3个待选标识图像：待选标识图像403，待选标识图像404和待选标识图像405。由图4所示可知，待选标识图像403的画面内容为空白桌面。在界面帧406中存在与待选标识图像403的画面内容相同的画面内容，而待选标识图像404和待选标识图像405中的画面内容在界面帧406中没有相同的画面内容。因此，终端确定待选标识图像404和待选标识图像405为标识图像。

可选地，标识图像可以由用户手动截取。终端将用户在界面帧中截取的图像作为标识图像。

步骤102d、确定指向信息。

指向信息用于指示标识图像的位置和关键位置之间的位置关系。终端可以根据标识图像在界面帧中的坐标和关键位置的坐标，计算两者之间的位置关系，得到指向信息。终端在生成至少一个标识图像后，对于每一个标识图像，都需要确定该标识图像的位置与关键位置之间的位置关系。因此，每一个标识图像都唯一对应着一个指向信息。位置信息中包括至少一组标识图像和指向信息。每一组标识图像和指向信息都指向了同一个位置，即执行预设操作事件对应操作的操作位置。即使因系统或应用的更新导致操作界面发生了变化，由于存在多组标识图像和指向信息，终端仍然可以根据画面内容没有发生变化的标识图像进行定位。因此，标识图像和指向信息的组数越多，定位就越准确。

可选地，标识图像的形状为矩形。在确定指向信息时，终端先获取标识图像任一顶点的位置，计算该顶点的位置与关键位置之间的位置关系，得到指向信息。其中，指向信息包括上述顶点的顶点类型，以及该顶点的位置与关键位置之间的位置关系。顶点类型包括：右上顶点，右下顶点，左上顶点和左下顶点。

示例性地，如图5所示，用户点击了音量图标401，则终端确定关键位置为位置402。终端生成一个标识图像405。位置402的坐标为(10,10)，标识图像405的左上顶点407坐标为(11，11)。终端将顶点407的坐标减去位置402的坐标，得到两者之间的位置关系：(1,1)。终端最终确定标识图像405对应的指向信息为：左上顶点、(1，1)。

需要说明的是，若操作界面不随系统或应用的更新发生变化，则操作信息中的位置信息指示的操作位置为上述关键位置。

步骤103，对应存储界面帧和操作信息。

终端在生成操作信息后，对应存储界面帧和操作信息，即存储界面帧、操作信息以及两者之间的对应关系。从而，终端完成对用户操作的记录。

在本申请实施例提供的方案中，通过在检测到预设操作事件时获取界面帧，并根据界面帧和预设操作事件生成操作信息，最终对应存储界面帧和操作信息来记录用户的操作。终端不仅存储了用户操作时的界面帧，还对应存储了操作类型和指示操作位置的位置信息。即使因系统或应用的更新导致操作界面变化，操作信息仍然能够准确地指示出操作类型和操作位置。因此，终端对用户操作的记录不会出现误差，适用于各个版本的系统或应用，从而提高了操作记录的准确性和适用性。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图6是根据一示例性实施例示出的一种操作记录装置的框图。该装置具有实现上述图1方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以包括：画面获取模块601，信息生成模块602和存储模块603。

画面获取模块601，用于当检测到预设操作事件时，获取界面帧，所述界面帧为终端显示的操作界面。

信息生成模块602，用于根据所述界面帧和所述预设操作事件，生成操作信息，所述操作信息包括：操作类型和位置信息，所述位置信息用于指示执行所述预设操作事件对应操作的操作位置。

存储模块603，用于对应存储所述界面帧和所述操作信息。

本申请实施例提供的装置通过在检测到预设操作事件时获取界面帧，并根据界面帧和预设操作事件生成操作信息，最终对应存储界面帧和操作信息来记录用户的操作。终端不仅存储了用户操作时的界面帧，还对应存储了操作类型和指示操作位置的位置信息。即使因系统或应用的更新导致操作界面变化，操作信息仍然能够准确地指示出操作类型和操作位置。因此，终端对用户操作的记录不会出现误差，适用于各个版本的系统或应用，从而提高了操作记录的准确性和适用性。

可选地，所述位置信息包括：标识图像和所述标识图像对应的指向信息，所述标识图像为所述界面帧中的局部画面。

所述信息生成模块602，包括：

操作确定单元，用于确定所述预设操作事件对应操作的操作类型。

位置确定单元，用于根据所述预设操作事件和所述界面帧确定关键位置，所述关键位置是指所述预设操作事件在所述界面帧中的位置。

标识截取单元，用于根据所述关键位置，在所述界面帧中截取所述标识图像。

信息确定单元，用于确定所述指向信息，所述指向信息用于指示所述标识图像的位置和所述关键位置之间的位置关系。

可选地，所述标识截取单元，具体用于：

在所述关键位置的预设距离内截取至少一个待选标识图像。

当所述待选标识图像的画面内容与所述界面帧中的其它画面内容不同时，确定所述待选标识图像为所述标识图像。

可选地，所述标识图像的形状为矩形；

所述信息确定单元，具体用于：

获取所述标识图像任一顶点的位置。

将所述标识图像任一顶点的位置与所述关键位置之间的位置关系作为所述标识图像的位置和所述关键位置之间的位置关系，得到所述指向信息。

可选地，所述画面获取模块，具体用于：

获取所述终端在当前时刻显示的操作界面的前一帧画面作为所述界面帧。

需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各个功能模块的划分进行举例说明，实际应用中，可以根据实际需要而将上述功能分配由不同的功能模块完成，即将设备的内容结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

请参考图7，其示出了本申请一个示例性实施例提供的终端的结构方框图。该终端可以包括一个或多个如下部件：处理器701和存储器702。存储器702存储有计算机程序，该计算机程序由处理器701加载并执行以实现如上述实施例提供的操作记录方法。

在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序在被终端的处理器执行时以实现上述实施例提供的操作记录方法。可选地，上述计算机可读存储介质可以是ROM、随机存储记忆体(Random AccessMemory，RAM)、只读存储记忆体(Read-Only Memory，ROM)、磁带、软盘和光数据存储设备等。

本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (9)

1.一种操作记录方法，其特征在于，所述方法包括：

当检测到预设操作事件时，获取界面帧，所述界面帧为终端显示的操作界面；

根据所述界面帧和所述预设操作事件，生成操作信息，所述操作信息包括：操作类型和位置信息，所述位置信息用于指示执行所述预设操作事件对应操作的操作位置；

对应存储所述界面帧和所述操作信息；其中：

所述位置信息包括：标识图像和所述标识图像对应的指向信息，所述标识图像为所述界面帧中的局部画面；

所述根据所述界面帧和所述预设操作事件，生成操作信息，包括：

确定所述预设操作事件对应操作的操作类型；

根据所述预设操作事件和所述界面帧确定关键位置，所述关键位置是指所述预设操作事件在所述界面帧中的位置；

根据所述关键位置，在所述界面帧中截取所述标识图像；

确定所述指向信息，所述指向信息用于指示所述标识图像的位置和所述关键位置之间的位置关系。

2.根据权利要求1所述的方法，其特征在于，所述根据所述关键位置，在所述界面帧中截取所述标识图像，包括：

在所述关键位置的预设距离内截取至少一个待选标识图像；

若所述待选标识图像的画面内容与所述界面帧中的其它画面内容不同，则确定所述待选标识图像为所述标识图像。

3.根据权利要求1所述的方法，其特征在于，所述标识图像的形状为矩形；

所述确定所述指向信息，包括：

获取所述标识图像任一顶点的位置；

将所述标识图像任一顶点的位置与所述关键位置之间的位置关系作为所述标识图像的位置和所述关键位置之间的位置关系，得到所述指向信息。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述获取界面帧，包括：

获取所述终端在当前时刻显示的操作界面的前一帧画面作为所述界面帧。

5.一种操作记录装置，其特征在于，所述装置包括：

画面获取模块，用于当检测到预设操作事件时，获取界面帧，所述界面帧为终端显示的操作界面；

信息生成模块，用于根据所述界面帧和所述预设操作事件，生成操作信息，所述操作信息包括：操作类型和位置信息，所述位置信息用于指示执行所述预设操作事件对应操作的操作位置；

存储模块，用于对应存储所述界面帧和所述操作信息；其中：

所述位置信息包括：标识图像和所述标识图像对应的指向信息，所述标识图像为所述界面帧中的局部画面；

所述信息生成模块，包括：

操作确定单元，用于确定所述预设操作事件对应操作的操作类型；

位置确定单元，用于根据所述预设操作事件和所述界面帧确定关键位置，所述关键位置是指所述预设操作事件在所述界面帧中的位置；

标识截取单元，用于根据所述关键位置，在所述界面帧中截取所述标识图像；

信息确定单元，用于确定所述指向信息，所述指向信息用于指示所述标识图像的位置和所述关键位置之间的位置关系。

6.根据权利要求5所述的装置，其特征在于，所述标识截取单元，具体用于：

在所述关键位置的预设距离内截取至少一个待选标识图像；

当所述待选标识图像的画面内容与所述界面帧中的其它画面内容不同时，确定所述待选标识图像为所述标识图像。

7.根据权利要求5所述的装置，其特征在于，所述标识图像的形状为矩形；

所述信息确定单元，具体用于：

获取所述标识图像任一顶点的位置；

将所述标识图像任一顶点的位置与所述关键位置之间的位置关系作为所述标识图像的位置和所述关键位置之间的位置关系，得到所述指向信息。

8.根据权利要求5至7任一项所述的装置，其特征在于，所述画面获取模块，具体用于：

获取所述终端在当前时刻显示的操作界面的前一帧画面作为所述界面帧。

9.一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至4任一项所述的操作记录方法。

Images