CN111158842A - 操作流程检测方法、设备及存储介质 - Google Patents

Abstract

本发明涉及金融科技(Fintech)技术领域，公开了一种操作流程检测方法、设备及存储介质，该方法通过自动获取对象信息与操作参数，实现无间断地对用户全流程操作进行检测和记录，避免了人工记录因中断用户操作导致的操作细节和步骤遗漏的问题；通过自动生成整个用户操作流程的全操作流程信息，节省了流程梳理的成本，减少了人为梳理过程中因无法完全考虑到所有的逻辑分支和异常而导致的漏洞，同时还提升了用户体验。本发明可结合机器与人工双重检测方式对操作流程进行检测并记录，较之人为梳理方法更加准确高效。

Description

操作流程检测方法、设备及存储介质

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及操作流程检测方法、设备及计算机可读存储介质。

背景技术

随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。目前，用户若想将日常工作中某一使用频率高的任务例如发票审计功能，通过搭建一套相应的自动化软件来执行，需要先结合实际业务需求人为梳理出发票审计的步骤流程图、操作文档等，再根据步骤流程图与操作文档等内容进行开发、测试，在测试完成后往往会因为先前缺乏对某些异常情况的考虑，再次对步骤流程图进行补充。

上述的整个人为梳理操作流程的过程很大程度上依赖于用户自身对整个流程的判断能力，而用户往往很难完全考虑到所有的逻辑分支和异常情况，因而需要多次重复进行流程梳理与检测；依赖于人为梳理的文档开发所得软件的稳定性与执行效果也会因信息传递过程中的失真情况而受到影响；且在整个操作流程中，若系统发生变更，则原先人为梳理的操作流程便不再适应于更新后的系统，需要再次人工进行流程梳理检测。即工作任务在自动化实现过程中，工作任务流程需依赖于人为主观上判断和梳理，从而导致了获取工作任务流程效率低的技术问题。

发明内容

本发明的主要目的在于提出一种操作流程检测方法、设备及计算机可读存储介质，旨在解决了获取工作任务流程效率低的技术问题。

为实现上述目的，本发明提供一种操作流程检测方法，所述操作流程检测方法包括：

获取当前页面中用户操作的对象信息和操作参数；

基于所述对象信息和操作参数，生成所述用户操作的全流程信息。

可选地，所述基于所述对象信息和操作参数，生成所述用户操作的全流程信息的步骤包括：

分别基于相同时间单元中所述对象信息和操作参数，生成所述用户操作的目标流程节点；

按照所述时间单元的时序信息，对各所述目标流程节点进行排序，生成所述全流程信息。

可选地，所述分别基于相同时间单元中所述对象信息和操作参数，生成所述用户操作的目标流程节点的步骤包括：

每间隔所述时间单元，基于当前时间单元内所述对象信息和操作参数，生成所述用户操作的初始流程节点；

确定所述初始流程节点中的待修正流程节点，将除所述待修正流程节点之外的初始流程节点作为所述目标流程节点；

接受基于外部设备确定的反馈信息，更新所述待修正流程节点，将更新后的待修正流程节点作为所述目标流程节点。

可选地，所述接受基于外部设备确定的反馈信息，更新所述待修正流程节点，将更新后的待修正流程节点作为所述目标流程节点的步骤包括：

生成反馈信息输入框；

在接收到用户基于所述反馈信息输入框输入的所述反馈信息时，根据所述反馈信息更新所述待修正流程节点，并将更新后的待修正流程节点作为所述目标流程节点。

可选地，所述确定所述初始流程节点中的待修正流程节点的步骤包括：

生成所述初始流程节点对应的用户编辑界面；

在接收到用户基于所述用户编辑界面发送的编辑选定信息时，将所述编辑选定信息对应的初始流程节点作为所述待修正流程节点。

可选地，所述基于所述对象信息和操作参数，生成所述用户操作的全流程信息的步骤之后，还包括：

在接收到用户基于所述全流程信息发送的重新检测指令时，根据所述重新检测指令确定再修改流程节点；

接收用户基于预设流程节点修改输入框输入的修改信息，并基于所述修改信息更新所述再修改流程节点。

可选地，所述获取当前页面中用户操作的对象信息和操作参数的步骤之前，还包括：

在接收到操作流程检测开启指令时，开启录屏模式。

可选地，所述获取当前页面中用户操作的对象信息和操作参数的步骤包括：

基于录屏模式下的预设视觉图像识别模型，检测所述用户操作；

接收所述预设视觉图像识别模型输出的所述对象信息和操作参数。

此外，为实现上述目的，本发明还提供一种操作流程检测设备，所述操作流程检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的操作流程检测程序，所述操作流程检测程序被所述处理器执行时实现如上所述的操作流程检测方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有操作流程检测程序，所述操作流程检测程序被处理器执行时实现如上所述的操作流程检测方法的步骤。

本发明提供一种操作流程检测方法、设备及计算机可读存储介质。所述操作流程检测方法通过获取当前页面中用户操作的对象信息和操作参数；基于所述对象信息和操作参数，生成所述用户操作的全流程信息。通过上述方式，本发明通过自动获取对象信息与操作参数，实现无间断地对用户全流程操作进行检测和记录，避免了人工记录因中断用户操作导致的操作细节和步骤遗漏的问题；通过自动生成整个用户操作流程的全操作流程信息，节省了流程梳理的成本，减少了人为梳理过程中因无法完全考虑到所有的逻辑分支和异常而导致的漏洞，同时还提升了用户体验。本发明可结合机器与人工双重检测方式对操作流程进行检测并记录，较之人为梳理方法更加准确高效，从而解决了获取工作任务流程效率低的技术问题。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；

图2为本发明操作流程检测方法第一实施例的流程示意图；

图3为本发明操作流程测试方法中全操作流程图的示例图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

本发明实施例操作流程检测装置可以是PC机或服务器设备，其上运行有Java虚拟机。

如图1所示，该操作流程检测装置可以包括：处理器1001，例如CPU，网络接口1004，程序员接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。程序员接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选程序员接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、程序员接口模块以及操作流程检测程序。

在图1所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；程序员接口1003主要用于连接客户端(程序员端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的操作流程检测程序，并执行下述操作流程检测方法中的操作：

获取当前页面中用户操作的对象信息和操作参数；

基于所述对象信息和操作参数，生成所述用户操作的全流程信息。

进一步地，处理器1001可以调用存储器1005中存储的操作流程检测程序，还执行以下操作：

分别基于相同时间单元中所述对象信息和操作参数，生成所述用户操作的目标流程节点；

按照所述时间单元的时序信息，对各所述目标流程节点进行排序，生成所述全流程信息。

进一步地，处理器1001可以调用存储器1005中存储的操作流程检测程序，还执行以下操作：

每间隔所述时间单元，基于当前时间单元内所述对象信息和操作参数，生成所述用户操作的初始流程节点；

确定所述初始流程节点中的待修正流程节点，将除所述待修正流程节点之外的初始流程节点作为所述目标流程节点；

接受基于外部设备确定的反馈信息，更新所述待修正流程节点，将更新后的待修正流程节点作为所述目标流程节点。

进一步地，处理器1001可以调用存储器1005中存储的操作流程检测程序，还执行以下操作：

生成反馈信息输入框；

在接收到用户基于所述反馈信息输入框输入的所述反馈信息时，根据所述反馈信息更新所述待修正流程节点，并将更新后的待修正流程节点作为所述目标流程节点。

进一步地，处理器1001可以调用存储器1005中存储的操作流程检测程序，还执行以下操作：

生成所述初始流程节点对应的用户编辑界面；

在接收到用户基于所述用户编辑界面发送的编辑选定信息时，将所述编辑选定信息对应的初始流程节点作为所述待修正流程节点。

进一步地，处理器1001可以调用存储器1005中存储的操作流程检测程序，还执行以下操作：

在接收到用户基于所述全流程信息发送的重新检测指令时，根据所述重新检测指令确定再修改流程节点；

接收用户基于预设流程节点修改输入框输入的修改信息，并基于所述修改信息更新所述再修改流程节点。

进一步地，处理器1001可以调用存储器1005中存储的操作流程检测程序，还执行以下操作：

在接收到操作流程检测开启指令时，开启录屏模式。

进一步地，处理器1001可以调用存储器1005中存储的操作流程检测程序，还执行以下操作：

基于录屏模式下的预设视觉图像识别模型，检测所述用户操作；

接收所述预设视觉图像识别模型输出的所述对象信息和操作参数。

基于上述硬件结构，提出本发明操作流程检测方法实施例。

参照图2，图2为本发明操作流程检测方法第一实施例的流程示意图，所述操作流程检测方法包括；

目前，用户若想将日常工作中某一使用频率高的任务例如发票审计功能，通过搭建一套相应的自动化软件来执行，需要先结合实际业务需求人为梳理出发票审计的步骤流程图、操作文档等，再根据步骤流程图与操作文档等内容进行开发、测试，在测试完成后往往会因为先前缺乏对某些异常情况的考虑，再次对步骤流程图进行补充。上述的整个人为梳理操作流程的过程很大程度上依赖于用户自身对整个流程的判断能力，而用户往往很难完全考虑到所有的逻辑分支和异常情况，因而需要多次重复进行流程梳理与检测；依赖于人为梳理的文档开发所得软件的稳定性与执行效果也会因信息传递过程中的失真情况而受到影响；且在整个操作流程中，若系统发生变更，则原先人为梳理的操作流程便不再适应于更新后的系统，需要再次人工进行流程梳理检测。即工作任务在自动化实现过程中，工作任务流程需依赖于人为主观上判断和梳理，从而导致了获取工作任务流程效率低的技术问题。例如要对于发票审计功能设计一个自动化软件，首先需要业务人员自行梳理出发票审计的步骤流程图、操作文档与操作分支，开发人员再根据业务人员梳理出的步骤流程图、操作文档与操作分支进行发票审计自动化软件的开发与测试。在测试完成后，业务人员因先前缺乏对某些异常情况的考虑，再次与开发人员统统对发票审计这个流程的步骤流程图进行补充，就造成了获取工作任务流程效率低的问题。

为解决上述问题，本发明提供一种操作流程检测方法，即通过自动生成用户当前操作的原始操作记录，实现无间断地对用户全流程操作进行检测和记录，避免了人工记录中因中断用户操作导致的操作细节和步骤遗漏的问题；通过对原始操作记录进行判断，并在判定原始操作记录错误时对其进行修正，提升了目标操作记录的准确性；通过在流程结束时自动生成全操作流程图，节省了流程梳理的成本，减少了人为梳理过程中因无法完全考虑到所有的逻辑分支和异常而导致的漏洞，同时还提升了用户体验。本发明基于纯视觉方案，结合机器与人工双重检测方式对操作流程进行检测并记录，较之人为梳理方法具有更高的准确性、适配性与扩展性，从而解决了获取工作任务流程效率低的技术问题。所述操作流程检测方法应用于装有操作流程检测程序的终端。

步骤S10，获取当前页面中用户操作的对象信息和操作参数；

其中，对象信息至少包括操作界面、操作界面各控件元素的逻辑层级关系、控件元素位置、控件元素图像信息。操作参数至少包括操作类型、操作顺序信息等。

在本实施例中，对象信息与操作参数的获取方式可为终端基于检测到的用户操作通过预设的视觉图像识别方案识别得出。具体地，终端基于预设的视觉图像模型，识别出当前的操作对象与操作类别，如操作界面信息、操作界面中各控件元素的逻辑层级关系、控件元素的位置信息、控件元素的图像信息与操作类型信息。更多实施例中，当前页面A中有ABC三个查询框，这三个查询框分别对应ABC三个查询按钮。用户在当前页面的C查询框中输入若干字符并获得查询结果。终端通过预设视觉图像识别模型，将录屏内容中用户的这一操作识别记录为打开操作，具体为打开页面A，输入操作，具体为在页面A中的C查询框中输入，点击操作，具体为点击C查询按钮。

可以理解的是，本发明操作流程检测方法基于预设视觉算法来对用户在页面上的操作进行识别，故需通过录屏操作或在用户操作的终端上外接摄像头等方式记录用户在当前页面上的操作。

步骤S20，基于所述对象信息和操作参数，生成所述用户操作的全流程信息。

其中，全流程信息为按照用户操作顺序记录的包含有整个流程操作的对象信息与操作参数的数据汇总。表现形式可为流程图、流程表格等。

在本实施例中，全流程信息可由终端根据整个流程的全部对象信息与操作参数按照操作顺序直接生成，也可为用户对自动生成的对象信息对象信息与操作记录进行修改后生成。流程结束的发起方式可为预设程序自动发起，也可为用户通过点击用于结束流程的预设按键发起。具体实施例中，用户点击当前页面中的录屏结束按键，终端接收到这一操作流程检测停止指令时，关闭当前的录屏模式，停止对用户操作的检测。终端将录屏过程中所有的目标流程节点整合汇总，按照用户操作时的顺序和逻辑关系转化为全操作流程图。终端整合生成全操作流程图如图3所示。整个流程共四个步骤，第一个步骤为打开操作；第二个步骤为复制操作，具体操作过程为从打开某一软件；复制A1:A6至var1；打开另一软件，循环遍历var1，粘贴复制内容，并点击某一图标。

本发明提供一种操作流程检测方法。所述操作流程检测方法通过获取当前页面中用户操作的对象信息和操作参数；基于所述对象信息和操作参数，生成所述用户操作的全流程信息。通过上述方式，本发明通过自动获取对象信息与操作参数，实现无间断地对用户全流程操作进行检测和记录，避免了人工记录因中断用户操作导致的操作细节和步骤遗漏的问题；通过自动生成整个用户操作流程的全操作流程信息，节省了流程梳理的成本，减少了人为梳理过程中因无法完全考虑到所有的逻辑分支和异常而导致的漏洞，同时还提升了用户体验。本发明可结合机器与人工双重检测方式对操作流程进行检测并记录，较之人为梳理方法更加准确高效，从而解决了获取工作任务流程效率低的技术问题。

进一步地，图中未示的，基于上述图2所示的第一实施例，提出本发明操作流程检测方法的第二实施例。

在本实施例中，步骤S20包括：

步骤a，分别基于相同时间单元中所述对象信息和操作参数，生成所述用户操作的目标流程节点；

其中，时间单元为整个操作流程中每一操作步骤对应的时间段。目标流程节点为最终确定的包含用户当前操作步骤内容与顺序的操作记录。

在本实施例中，终端基于整个流程中的每一用户操作步骤的对象信息与操作参数，生成每一操作步骤对应的目标流程节点。其中，目标流程节点可由终端自动生成，也可为终端自动生成并显示原始流程节点，行业人员结合经验对此进行修改后生成。

步骤b，按照所述时间单元的时序信息，对各所述目标流程节点进行排序，生成所述全流程信息。

其中，时序信息为终端基于用户操作顺序生成的对应的时间信息。

在本实施例中，终端获取到整个操作流程的每一步骤的时间先后顺序，并根据这一时间先后顺序对整个操作流程的所有目标流程节点进行排序，整合后生成整个操作流程的全操作信息。

进一步地，在本实施例中，步骤a包括：

步骤c，每间隔所述时间单元，基于当前时间单元内所述对象信息和操作参数，生成所述用户操作的初始流程节点；

其中，初始流程节点为终端基于预设视觉图像方案获取到的对象信息和操作参数对应生成的原始操作记录。

在本实施例中，在每一操作步骤结束时，终端基于预设视觉图像识别方案获取到的对象信息与操作参数，生成对应的初始流程节点。

步骤d，确定所述初始流程节点中的待修正流程节点，将除所述待修正流程节点之外的初始流程节点作为所述目标流程节点；

在本实施例中，终端通过基于预设视觉图像识别模型等识别方式识别用户的当前操作界面、界面各控件元素的逻辑层级关系、具体控件元素的位置信息、具体控件元素的图像信息以及用户当前操作的类别。例如用户此时双击桌面上某个软件图标，终端基于预设视觉图像识别模型检测到用户的这一操作，将这一操作记录为打开操作，并将这一软件图标的图像以及位置信息添加至此条记录中。终端显示包含有多个初始流程节点的全流程信息，同时可输出用于标记初始流程节点为待修正流程节点的编辑界面。用户获取到当前显示的全流程信息，基于外部设备例如键盘、鼠标等对认为需要进行修正的初始流程节点进行标记。。

步骤e，接受基于外部设备确定的反馈信息，更新所述待修正流程节点，将更新后的待修正流程节点作为所述目标流程节点。

其中，外部设备可为鼠标、键盘、显示设备等。

在本实施例中，以外部设备为键盘为例。若终端接收到用户发送的标记信息，可输出对应的反馈信息输入框，以供用户对待修正流程节点进行修正。用户可通过键盘，基于当前页面中的反馈信息输入框向终端输入对于待修正流程节点的反馈信息。在用户基于键盘输入当前的待修正流程节点对应的反馈信息时，终端接收到这一反馈信息，根据这一反馈信息对自动检测生成的待修正流程节点进行修正，并将修正后的待修正流程节点作为目标流程节点。在本实施例中对待修正流程节点的修改次数不做限定，用户可多次对同一待修正流程节点进行修改，终端将最近一次的修改记录作为目标流程节点并进行保存。

进一步地，在本实施例中，步骤e包括：

步骤f，生成反馈信息输入框；

在本实施例中，若终端在接收到用户发送的标记信息时，可生成可供用户修改待修正流程节点的反馈信息输入框。用户可在这一反馈信息输入框中输入对于待修正流程节点的反馈信息。

步骤g，在接收到用户基于所述反馈信息输入框输入的所述反馈信息时，根据所述反馈信息更新所述待修正流程节点，并将更新后的待修正流程节点作为所述目标流程节点。

在本实施例中，在步骤g之前，用户在这一操作反馈信息输入框中输入对于待修正流程节点的反馈信息。终端接收到这一反馈信息，根据这一反馈信息更新对应的待修正流程节点，将更新后的待修正流程节点作为目标流程节点。

进一步地，在本实施例中，步骤d包括：

步骤h，生成所述初始流程节点对应的用户编辑界面；

在本实施例中，需要说明的是，用户在当前操作流程中无需对用户在当前页面的所有操作进行判断，例如开始结束时简单的开启关闭操作就可不经判断直接记录。终端对应生成包含有每一初始流程节点与可供用户编辑的编辑界面，并显示这一编辑界面，以供用户根据这一编辑界面确定当前操作初始流程节点中的待修正节点。

步骤i，在接收到用户基于所述用户编辑界面发送的编辑选定信息时，将所述编辑选定信息对应的初始流程节点作为所述待修正流程节点。

在本实施例中，用户根据这一编辑界面确定当前操作初始流程节点中的待修正节点，例如可点击该编辑界面中的编辑按键。终端在接收到用户当前确定的编辑选定信息时，将编辑选定信息所对应的初始流程节点作为待修改流程节点。

本发明提供一种操作流程检测方法。所述操作流程检测方法进一步通过自动生成按照用户操作顺序排列的全流程信息，极大提高了流程梳理的效率与准确性；通过确定初始流程节点中的待修正流程节点，并对待修正流程节点进行修改，进一步提高了流程步骤记录的准确性；通过显示反馈信息输入框，使得在自动生成初始流程节点的基础上，还接收外界对初始流程节点的反馈信息，使得最终获取到的目标流程节点能够结合智能识别与专家经验两种方式，具有更高的准确性；通过生成用户编辑界面，使得用户能够直接对待修正流程节点进行编辑，提高了用户体验。

进一步地，图中未示的，基于上述图2所示的第一实施例，提出本发明操作流程检测方法的第三实施例。

在本实施例中，步骤S20包括：

步骤j，在接收到用户基于所述全流程信息发送的重新检测指令时，根据所述重新检测指令确定再修改流程节点；

其中，本实施例对待修改操作步骤的个数不做限定，可以为一个也可为多个。

在本实施例中，可以理解的是，本方案在生成任一完整操作流程的全操作流程信息之后，还向用户提供了更改其中任一步骤的流程节点的功能。在显示全操作流程信息的页面中，对其中的每一流程节点都设有用于重新检测记录的按键，并在用户点击这一按键后生成可供用户输入修改信息的流程节点修改输入框。在步骤j之前，用户点击某一步骤的重新检测按键，终端接收到用户通过点击这一重新检测按键发送的重新检测指令，并根据这一重新检测指令确定整个操作流程中的再修改流程节点。

步骤k，接收用户基于预设流程节点修改输入框输入的修改信息，并基于所述修改信息更新所述再修改流程节点。

在本实施例中，用户在判断当前步骤的流程节点错误时，在预设的操作记录修改输入框中输入对上述原始操作记录的修改信息。终端在接收到用户输入的修改信息时，根据这一修改信息更新原先的目标操作记录。更多实施例中，还可无需再次检测，直接在预设的操作记录修改输入框中对再修改操作步骤的目标操作步骤进行修改并保存。

进一步地，步骤S10之前，还包括：

步骤l，在接收到操作流程检测开启指令时，开启录屏模式。

其中，操作流程检测开启指令为控制当前检测流程开始的指令，发起方式可为用户基于预设录屏页面的相应按键发起，也可为预设程序自动发起。

在本实施例中，终端的页面中包含有控制录屏模式开启的按键。用户鼠标点击这一按键，终端接收到用户发送的这一操作流程检测开启指令，随即开启录屏模式。

进一步地，步骤S10包括：

步骤m，基于录屏模式下的预设视觉图像识别模型，检测所述用户操作；

在本实施例中，在此录屏模式下，终端获取用户在当前页面中的操作，例如，用户在当前页面中的当前操作为：用鼠标双击桌面上的某个软件图标。终端通过预设的视觉图像算法构建的模型，对这一当前操作进行检测。

步骤n，接收所述预设视觉图像识别模型输出的所述对象信息和操作参数。

在本实施例中，预设视觉图像识别模型对录屏所得的用户在当前页面上的操作的视觉图像进行自动识别，并输出对应的对象信息与操作参数。可以理解的是，终端还可将获取到的用户输入的流程节点的相关修改信息作为训练数据集，对这一预设视觉图像识别模型进行训练。

本发明提供一种操作流程检测方法。所述操作流程检测方法进一步通过在生成整个流程的全操作流程信息后，若用户还需对已完成的目标操作记录进行修改，本发明提供给用户单独修改流程中每一步骤对应目标操作记录的功能，使得用户能够继续对目标操作记录进行修改进一步提升了本发明得出的用户操作记录的准确性；开启录屏模式记录用户在当前页面上的操作，为预设视觉图像识别模型提供了识别基础，而无需额外操作，提高了系统的处理效率；基于预设模型识别用户在当前页面上的操作，使得对象信息与操作参数的获取能够更加方便快捷。

上述各程序模块所执行的方法可参照本发明操作流程检测方法各个实施例，此处不再赘述。

本发明还提供一种操作流程检测设备。

所述操作流程检测设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的操作流程检测程序，其中所述操作流程检测程序被所述处理器执行时，实现如上所述的操作流程检测方法的步骤。

其中，所述操作流程检测程序被执行时所实现的方法可参照本发明操作流程检测方法的各个实施例，此处不再赘述。

本发明还提供一种计算机可读存储介质。

本发明计算机可读存储介质上存储有操作流程检测程序，所述操作流程检测程序被处理器执行时实现如上所述的操作流程检测方法的步骤。

其中，所述操作流程检测程序被执行时所实现的方法可参照本发明操作流程检测方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种操作流程检测方法，其特征在于，所述操作流程检测方法包括：

获取当前页面中用户操作的对象信息和操作参数；

基于所述对象信息和操作参数，生成所述用户操作的全流程信息。

2.如权利要求1所述的操作流程检测方法，其特征在于，所述基于所述对象信息和操作参数，生成所述用户操作的全流程信息的步骤包括：

分别基于相同时间单元中所述对象信息和操作参数，生成所述用户操作的目标流程节点；

按照所述时间单元的时序信息，对各所述目标流程节点进行排序，生成所述全流程信息。

3.如权利要求2所述的操作流程检测方法，其特征在于，所述分别基于相同时间单元中所述对象信息和操作参数，生成所述用户操作的目标流程节点的步骤包括：

每间隔所述时间单元，基于当前时间单元内所述对象信息和操作参数，生成所述用户操作的初始流程节点；

确定所述初始流程节点中的待修正流程节点，将除所述待修正流程节点之外的初始流程节点作为所述目标流程节点；

接受基于外部设备确定的反馈信息，更新所述待修正流程节点，将更新后的待修正流程节点作为所述目标流程节点。

4.如权利要求3所述的操作流程检测方法，其特征在于，所述接受基于外部设备确定的反馈信息，更新所述待修正流程节点，将更新后的待修正流程节点作为所述目标流程节点的步骤包括：

生成反馈信息输入框；

在接收到用户基于所述反馈信息输入框输入的所述反馈信息时，根据所述反馈信息更新所述待修正流程节点，并将更新后的待修正流程节点作为所述目标流程节点。

5.如权利要求3所述的操作流程检测方法，其特征在于，所述确定所述初始流程节点中的待修正流程节点的步骤包括：

生成所述初始流程节点对应的用户编辑界面；

在接收到用户基于所述用户编辑界面发送的编辑选定信息时，将所述编辑选定信息对应的初始流程节点作为所述待修正流程节点。

6.如权利要求1所述的操作流程检测方法，其特征在于，所述基于所述对象信息和操作参数，生成所述用户操作的全流程信息的步骤之后，还包括：

在接收到用户基于所述全流程信息发送的重新检测指令时，根据所述重新检测指令确定再修改流程节点；

接收用户基于预设流程节点修改输入框输入的修改信息，并基于所述修改信息更新所述再修改流程节点。

7.如权利要求1所述的操作流程检测方法，其特征在于，所述获取当前页面中用户操作的对象信息和操作参数的步骤之前，还包括：

在接收到操作流程检测开启指令时，开启录屏模式。

8.如权利要求7所述的操作流程检测方法，其特征在于，所述获取当前页面中用户操作的对象信息和操作参数的步骤包括：

基于录屏模式下的预设视觉图像识别模型，检测所述用户操作；

接收所述预设视觉图像识别模型输出的所述对象信息和操作参数。

9.一种操作流程检测设备，其特征在于，所述操作流程检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的操作流程检测程序，所述操作流程检测程序被所述处理器执行时实现如权利要求1至8中任一项所述的操作流程检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有操作流程检测程序，所述操作流程检测程序被处理器执行时实现如权利要求1至8中任一项所述的操作流程检测方法的步骤。

Images