CN112581444A - 一种异常检测方法、装置及设备 - Google Patents

Abstract

本说明书提供了一种异常检测方法、装置及设备。所述方法包括获取图形化系统中同一自动化流程的多组点击间隔数据集；其中，每组点击间隔数据集中包括预设数量个元素，每个元素表示相邻点击操作对应的时间间隔；基于所述多组点击间隔数据集中相同顺位的元素，确定每次点击操作后的屏幕截取时间间隔；根据每次点击操作后的屏幕截取时间间隔依次对所述图形化系统的屏幕进行截图，获得不同屏幕截取时间对应的屏幕截图；根据所述屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度；基于所述相似度，确定所述自动化流程在所述图形化系统中运行时的状态。利用本说明书实施例可以使屏幕截取时间更准确，从而使后续异常检测结果更准确。

Description

一种异常检测方法、装置及设备

技术领域

本申请涉及自动化测试领域，特别涉及一种异常检测方法、装置及设备。

背景技术

随着RPA(Robotic Process Automation，机器人流程自动化)技术的快速发展，在很多场景下，人们的工作被基于RPA技术的数字化劳动力替代。由于图形化系统的稳定性对于用户来说是比较重要的，图形化系统的快速响应是保证用户友好性的一个重要的前提，所以在使用RPA技术代替人们进行一些工作时，需要考虑到技术本身所应用的场景下，图形化系统的稳定性。然而，由于图形化系统与客户端通信、网路波动等原因，不能完全保证系统的稳定，比如点击按钮出现应答超时，页面卡死等不稳定的因素。因此，对图形化系统开发的RPA流程的异常检测变得越来越重要。

现有技术中，主要通过人为设定一个固定的时间间隔对图形化系统进行截图，然后通过比对截取图片的相似度，判断图像化系统是否出现未应答异常。然而，根据人为经验设置截取时间容易与实际场景产生很大误差，从而使得对图像化系统进行异常检测结果不准确。

因此，业内亟需一种可以解决上述问题的技术方案。

发明内容

本说明书实施例提供了一种异常检测方法、装置及设备，可以使屏幕截取时间更准确，从而使后续异常检测结果更准确。

本说明书提供的异常检测方法、装置及设备是包括以下方式实现的。

一种异常检测方法，包括：获取图形化系统中同一自动化流程的多组点击间隔数据集；其中，每组点击间隔数据集中包括预设数量个元素，每个元素表示相邻点击操作对应的时间间隔；基于所述多组点击间隔数据集中相同顺位的元素，确定每次点击操作后的屏幕截取时间间隔；根据每次点击操作后的屏幕截取时间间隔依次对所述图形化系统的屏幕进行截图，获得不同屏幕截取时间对应的屏幕截图；根据所述屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度；基于所述相似度，确定所述自动化流程在所述图形化系统中运行时的状态。

一种异常检测装置，包括：点击间隔数据获取模块，用于获取图形化系统中同一自动化流程的多组点击间隔数据集；其中，每组点击间隔数据集中包括预设数量个元素，每个元素表示相邻点击操作对应的时间间隔；截取时间间隔确定模块，用于基于所述多组点击间隔数据集中相同顺位的元素，确定每次点击操作后的屏幕截取时间间隔；屏幕截图获得模块，用于根据每次点击操作后的屏幕截取时间间隔依次对所述图形化系统的屏幕进行截图，获得不同屏幕截取时间对应的屏幕截图；相似度计算模块，用于根据所述屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度；运行状态确定模块，用于基于所述相似度，确定所述自动化流程在所述图形化系统中运行时的状态。

一种异常检测设备，包括处理器及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现本说明书实施例中任意一个方法实施例的步骤。

一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现本说明书实施例中任意一个方法实施例的步骤。

本说明书提供的一种异常检测方法、装置及设备。一些实施例中可以获取图形化系统中同一自动化流程的多组点击间隔数据集；其中，每组点击间隔数据集中包括预设数量个元素，每个元素表示相邻点击操作对应的时间间隔；基于多组点击间隔数据集中相同顺位的元素，确定每次点击操作后的屏幕截取时间间隔。进一步，根据每次点击操作后的屏幕截取时间间隔依次对图形化系统的屏幕进行截图，获得不同屏幕截取时间对应的屏幕截图。进一步，根据屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度，基于相似度，确定自动化流程在图形化系统中运行时的状态。由于本申请实施例中以时间间隔的方式定位截取屏幕的时间，相比现有技术中根据人为经验设置屏幕截取时间的方式更准确，从而可以使后续异常检测结果更准确。由于本申请实施例可以根据屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度，进而基于相似度，确定自动化流程在所述图形化系统中运行时的状态，相比现有技术中不断截图，不断进行相似度的计算，计算量更少，效率更高。采用本说明书提供的实施方案，可以使屏幕截取时间更准确，从而使后续异常检测结果更准确。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，并不构成对本说明书的限定。在附图中：

图1是本说明书提供的一种异常检测方法的一个实施例的流程示意图；

图2是本说明书提供的一种从屏幕截图中提取对应的特征图的示意图；

图3是本说明书提供的一种异常检测装置的一个实施例的模块结构示意图；

图4是本说明书提供的一种异常检测服务器的一个实施例的硬件结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书中的一部分实施例，而不是全部的实施例。基于本说明书中的一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书实施例保护的范围。

下面以一个具体的应用场景为例对本说明书实施方案进行说明。具体的，图1是本说明书提供的一种异常检测方法的一个实施例的流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。

本说明书提供的一种实施方案可以应用到客户端、服务器等中。所述客户端可以包括终端设备，如智能手机、平板电脑等。所述服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式系统的服务器结构等。

需要说明的是，下述实施例描述并不对基于本说明书的其他可扩展到的应用场景中的技术方案构成限制。具体的一种实施例如图1所示，本说明书提供的一种异常检测方法的一种实施例中，所述方法可以包括以下步骤。

S0：获取图形化系统中同一自动化流程的多组点击间隔数据集；其中，每组点击间隔数据集中包括预设数量个元素，每个元素表示相邻点击操作对应的时间间隔。

其中，自动化流程也可以称为机器人流程自动化，其能够代替或者协助人类在计算机、RPA手机等数字化设备中完成重复性工作与任务。一些实施例中，通常RPA是基于图形化系统进行的，基于界面进行操作的，所以图形化系统的稳定性对于RPA是非常重要的。

本说明书一些实施例中，可以获取图形化系统中同一自动化流程的多组点击间隔数据集，为后续确定RPA在图形化系统中运行时的状态提供基础。其中，每组点击间隔数据集中可以包括预设数量个元素，每个元素可以用于表示相邻点击操作对应的时间间隔。

一些实施例中，上述每组点击间隔数据集中的元素可以以序列的形式展示，也可以以表格等其他形式展示，本说明书对此不作限定。上述点击间隔数据集的数量可以根据实际场景进行设定，例如可以是100、120等。上述预设数量可以根据实际场景进行设定，例如可以是10、15等，本说明书对此不作限定。其中，每组点击间隔数据集中包括的元素数量相同。每组点击间隔数据集中相同顺位的元素表示的含义相同。例如，每组点击间隔数据集中包括的第一个元素都可以表示第一次点击操作与启动图形化系统(或检测到图形化系统进程时)的时间间隔，每组点击间隔数据集中包括的第二个元素都可以表示第二次点击操作与第一次点击操作的时间间隔等。上述点击操作可以是鼠标点击图形化系统的操作。

一些实施例中，所述获取图形化系统中同一自动化流程的多组点击间隔数据集，可以包括：获取图形化系统中同一自动化流程的多个点击事件数据集；计算每个点击事件数据集中相邻数据的差，获得多组点击间隔数据集。其中，每个点击事件数据集中包括检测到图形化系统进程时，依次对所述图形化系统进行点击操作对应的时间。

一些实施例中，上述每个点击事件数据集中的数据可以以序列的形式展示，也可以以表格等其他形式展示，本说明书对此不作限定。上述点击事件数据集的数量可以根据实际场景进行设定，例如可以是100、120等。通常点击事件数据集的数量与点击事件数据集的数量相同。上述每个点击事件数据集中包括时间点的数量相同。每个点击事件数据集中相同顺位的时间点表示的含义相同。例如，每个点击事件数据集中包括的第一个时间点都可以表示启动图形化系统(或检测到图形化系统进程时)的时间，每个点击事件数据集中包括的第二个时间点都可以表示第一次点击操作的时间，每个点击事件数据集中包括的第三个时间点都可以表示第二次点击操作的时间等。

一些实施例中，可以从检测到图形化系统进程或启动图形化系统开始，记录每一次点击操作对应的时间点，然后将记录下来的时间点依次存储，进而获得点击事件数据集。

例如一些实施场景中，可以将启动图形化系统的时间(或检测到图形化系统进程的时间)记录为time_0，将第一次鼠标点击图形化系统的时间点记录为time_1，将第二次鼠标点击图形化系统的时间点记录为time_2，…，将最后一次鼠标点击图形化系统的时间点记录为time_m，这样，就可以获得一个点击事件数据集。重复上述步骤n次，可以获得n个点击事件数据集。其中，n>1，其可以根据实际场景进行设定。通常，n可以设置为100以上。

进一步，在获得n个点击事件数据集后，可以计算第一个点击事件数据集中相邻点击操作的时间间隔，如，计算第一次点击操作和启动图形化系统(或检测到图形化系统进程)的时间间隔，第二次点击操作和第一次点击操作之间的时间间隔，…，最后一次点击操作和倒数一次点击操作的时间间隔，从而获得第一组点击间隔数据集。其中，第一组点击间隔数据集中的元素可以依次记为：interv_11，interv_12，…，interv_1m。相应的，可以计算第2到第n-1个点击事件数据集中数据的时间间隔，并记录，从而获得n组点击间隔数据集。其中，第n组点击间隔数据集中的元素可以依次记录为：interv_n1，interv_n2，…，interv_nm。其它组点击间隔数据集中的元素可以类似进行记录，对此不作赘述。

S2：基于所述多组点击间隔数据集中相同顺位的元素，确定每次点击操作后的屏幕截取时间间隔。

本说明书实施例中，在获取图形化系统中同一自动化流程的多组点击间隔数据集后，可以基于多组点击间隔数据集中相同顺位的元素，确定每次点击操作后的屏幕截取时间间隔。其中，屏幕是指图形化系统对应的屏幕，在整个过程中截取的屏幕大小相同。屏幕截取时间间隔为距离点击操作的时间间隔，例如，屏幕截取时间间隔可以为2秒、0.5秒等。需要说明的是，由于每组点击间隔数据集中包括的元素数量相同，且不同点击间隔数据集中相同顺位的元素表示的含义相同，所以，通过多组点击间隔数据集中相同顺位的元素，确定每次点击操作后的屏幕截取时间间隔可以更准确。

一些实施例中，所述基于所述多组点击间隔数据集中相同顺位的元素，确定每次点击操作后的屏幕截取时间间隔，可以包括：计算所述多组点击间隔数据集中相同顺位的元素的均值和标准差；基于所述相同顺位的元素的均值和标准差，确定每次点击操作后的屏幕截取时间间隔。

一些实施例中，可以根据下述方式确定每次点击操作后的屏幕截取时间间隔：

T＝ave-3×std

其中，T表示屏幕截取时间间隔，ave表示均值，std表示标准差。

基于步骤S0中例举的具体实施场景，此处可以计算interv_11，interv_21，…，interv_n1这组数据的均值ave_1和标准差std_1，并保存ave_1-3×std_1，ave_1和ave_1+3×std_1；计算interv_12，interv_22，…，interv_n2这组数据的均值ave_2和标准差std_2，并保存ave_2-3×std_2，ave_2和ave_2+3×std_2；…；计算interv_1m，interv_2m，…，interv_nm这组数据的均值ave_m和标准差std_m，并保存ave_m-3×std_m，ave_m和ave_m+3×std_m。

进一步，可以分别将ave_1-3×std_1、ave_2-3×std_2、……、ave_m-3×std_m作为每次点击操作后的屏幕截取时间间隔。一些实施场景中，还可以将ave_1、ave_2、……、ave_m作为每次点击操作后的屏幕截取时间间隔。需要说明的是，根据统计学知识可知，在统计学的正态分布中，数值分布在(均值-3倍标准差，均值+3倍标准差)这个范围的概率为99.74，该概率可以很大程度上保证鼠标点击后数据的稳定性，所以上述实施例中屏幕截取时间间隔优选(均值-3倍标准差)，这样可以在很大程度上保屏幕证截取时间点选择的准确性。

当然，上述只是进行示例性说明，确定屏幕截取时间间隔的方式不限于上述举例，所属领域技术人员在本申请技术精髓的启示下，还可能做出其它变更，但只要其实现的功能和效果与本申请相同或相似，均应涵盖于本申请保护范围内。

S4：根据每次点击操作后的屏幕截取时间间隔依次对所述图形化系统的屏幕进行截图，获得不同屏幕截取时间对应的屏幕截图。

本说明书实施例中，在确定每次点击操作后的屏幕截取时间间隔后，可以根据每次点击操作后的屏幕截取时间间隔依次对图形化系统的屏幕进行截图，获得不同屏幕截取时间对应的屏幕截图。其中，屏幕截取时间可以理解为截图时所对应的时间。

一些实施例中，根据每次点击操作后的屏幕截取时间间隔依次对所述图形化系统的屏幕进行截图，获得不同屏幕截取时间对应的屏幕截图，可以包括：获取每次点击图形化系统的时间；基于每次点击操作对应的时间和每次点击操作后的屏幕截取时间间隔，确定每次点击操作后的屏幕截取时间，基于每次点击操作后的屏幕截取时间依次对图形化系统的屏幕进行截图，获得不同屏幕截取时间对应的屏幕截图。其中，在获取每次点击图形化系统的时间时，可以统计该点击操作是从启动图形化系统(或检测到图形化系统进程)起第几次点击操作，以便确定相应点击操作后的屏幕截取时间间隔。

一些实施例中，可以将每次点击操作对应的时间和每次点击操作后的屏幕截取时间间隔进行相加，从而确定每次点击操作后的屏幕截取时间。

一些实施例中，在确定每次点击操作后的屏幕截取时间后，可以将每次点击操作后的屏幕截取时间依次进行记录，然后按照记录时间依次进行截图。例如，对图形化系统只进行了一次点击操作，且第一次点击操作的时间是16点15分23秒，第一次点击操作后的屏幕截取时间间隔为2秒，则屏幕截取时间为16点15分25秒，即在16点15分25秒对图形化系统的屏幕进行截图。

基于上述实施例中分别将ave_1-3×std_1、ave_2-3×std_2、…、ave_m-3×std_m作为每次点击操作后的屏幕截取时间间隔为例，则可以将在后台捕捉到图形化系统进程的时间记为T_0，将T_0后再过ave_1-3×std_1时长的时间点记录为T_1，将第一次点击操作后再过ave_2-3×std_2时长的时间点记录为T_2，…，将第m次点击操作后再过ave_m-3×std_m时长的时间点记录为T_m。此时，T_0，T_1，...，T_m依次为某一个RPA流程在运行过程中的屏幕截取时间点，进而可以按照T_0，T_1，...，T_m对图形化系统的屏幕进行截图，获得不同屏幕截取时间对应的屏幕截图，即启动图形化系统(或检测到图形化系统进程)后，过(ave_1-3×std_1)时间进行截图，第一次点击操作后，过(ave_2-3×std_2)时间进行截图，……，第m次点击操作后，过(ave_m-3×std_m)时间进行截图。需要说明的是，由于启动图形化系统的时间可能是不一样的，所以同一个自动化流程在每次运行时对应的上述m+1个值的大小可能相同，也可能不同，这样就可以根据实际场景动态确定屏幕截取时间。当然，上述只是进行示例性说明，对本说明书其它实施例并不构成限定。

S6：根据所述屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度。

本说明书实施例中，在获得不同屏幕截取时间对应的屏幕截图后，可以根据屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度。其中，相邻屏幕截取时间是指步骤S4中确定的所有屏幕截取时间中位置相邻的时间。例如，第一次点击操作后的屏幕截取时间与第二次点击操作后的屏幕截取时间相邻，第二次点击操作后的屏幕截取时间与第三次点击操作后的屏幕截取时间相邻等。

一些实施例中，所述根据所述屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度前，可以包括：从所述屏幕截图中提取对应的特征图。其中，屏幕截图中可以包括一个或多个特征图。特征图可以用于表征屏幕截图。特征图可以理解为从屏幕截图中提取出的能够表示屏幕截图大部分属性的区域图。

一些实施例中，所述从所述屏幕截图中提取对应的特征图，可以包括：将所述屏幕截图划分为多个大小相同的区域；从所述多个大小相同的区域中选择预设区域对应的截图作为特征图；其中，从不同屏幕截图中提取对应的特征图时，选择的预设区域相同。

如图2所述，图2是本说明书提供的一种从屏幕截图中提取对应的特征图的示意图。其中，整个区域可以理解为是屏幕截图，将该屏幕截图横向和纵向都均分为5个部分，可以获得25个大小相同的区域，然后根据预设规则从25个区域中选择预设数量的区域作为从该屏幕截图中提取的特征图。预设规则可以用于确定屏幕截图中哪些区域可以更好的表征该屏幕截图，其具体实现方式可以根据实际场景确定，例如可以是因素分析法、灰色关联度分析法等。预设数量可以根据实际场景确定，本说明书对此不作限定，如图2中预设数量为4，则对每个屏幕截图中均选择图中4个深色区域作为从该屏幕截图中提取的特征图。当然，上述只是进行示例性说明，将屏幕截图横向和纵向划分方式不限于上述举例，所属领域技术人员在本申请技术精髓的启示下，还可能做出其它变更，但只要其实现的功能和效果与本申请相同或相似，均应涵盖于本申请保护范围内。

本说明书实施例中，通过提取屏幕截图的特征图，可以降低后续计算相似度时的计算复杂度和计算成本，从而提高处理效率。

本说明书实施例中，在从屏幕截图中提取出对应的特征图后，进一步可以根据屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度。

一些实施例中，所述根据所述屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度，可以包括：将所述特征图进行归一化处理，获得归一化特征图；所述归一化处理用于将所述特征图归一化到预设尺寸；基于所述归一化特征图的尺寸，调整所述归一化特征图中每个像素点的颜色值，获得调整特征图；计算所述调整特征图中所有像素点的颜色值的平均值；将所述调整特征图中每个像素点的颜色值与所述平均值进行比较，生成所述特征图对应的指纹图；根据相邻屏幕截取时间的特征图对应的指纹图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度。其中，预设尺寸可以根据实际场景进行设定，例如可以是10、20等。

一些实施例中，所述基于所述归一化特征图的尺寸，调整所述归一化特征图中每个像素点的颜色值，获得调整特征图，可以包括：获取所述归一化特征图的颜色范围；基于所述归一化特征图的尺寸，确定颜色调整规则；利用所述颜色调整规则对所述颜色范围进行划分；根据划分结果，调整所述归一化特征图中每个像素点的颜色值，获得调整特征图。其中，归一化特征图的颜色范围可以是该归一化特征图中所有像素点对应的颜色值中最小值和最大值组成的范围，也可以是预设颜色范围，如[0，255]等。颜色调整规则可以用于确定将颜色范围划分为几个区域。例如，归一化特征图的尺寸为2×2像素，则基于归一化特征图的尺寸，确定的颜色调整规则为将颜色范围划分为4个区域。再如，归一化特征图的尺寸为10×10像素，则基于归一化特征图的尺寸，确定的颜色调整规则为将颜色范围划分为100个区域。

一些实施场景中，在确定颜色调整规则后，可以利用颜色调整规则对颜色范围进行划分。例如，归一化特征图的颜色范围为[0，255]，归一化特征图的尺寸为2×2像素，则利用颜色调整规则对颜色范围进行划分的结果为[0，63)，[64，127)，[128，191)，[191，255]。进一步，可以利用划分结果调整归一化特征图中每个像素点的颜色值，获得调整特征图。例如，将归一化特征图中颜色值在[0，63)范围的像素点的颜色值调整为R1，将归一化特征图中颜色值在[64，127)范围的像素点的颜色值调整为R2，将归一化特征图中颜色值在[128，191)范围的像素点的颜色值调整为R3，将归一化特征图中颜色值在[191，255]范围的像素点的颜色值调整为R4，从而可以获得调整特征图，此时，调整特征图中包括4中颜色值，分别是R1、R2、R3、R4。当然，上述只是进行示例性说明，获得调整特征图的方式不限于上述举例，所属领域技术人员在本申请技术精髓的启示下，还可能做出其它变更，但只要其实现的功能和效果与本申请相同或相似，均应涵盖于本申请保护范围内。

一些实施例中，所述将所述调整特征图中每个像素点的颜色值与所述平均值进行比较，生成所述特征图对应的指纹图，可以包括：为所述调整特征图中颜色值大于等于所述平均值的像素点标记第一标识，为所述调整特征图中颜色值小于所述平均值的像素点标记第二标识；按照预设顺序对所述调整特征图中像素点的标识进行排序，生成所述特征图对应的指纹图；其中，每个指纹图中包括所述第一标识和所述第二标识。其中，第一标识、第二标识可以是数值、字母等一种或多种组合。例如一些实施场景中，为调整特征图中颜色值大于等于平均值的像素点标记1，为调整特征图中颜色值小于平均值的像素点标记0，然后按照预设顺序将调整特征图中所有像素点对应的标记值(0或1)排序，组成一个向量，该向量可以理解为指纹图。预设顺序可以是每一列从上到下依次进行排序，也可以是每一行从左到右依次排序，还可以是其它，本说明书对此不做限定。

一些实施例中，在生成特征图对应的指纹图后，可以根据相邻屏幕截取时间的特征图对应的指纹图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度。由于屏幕截图中可以包括一个或多个特征图，所以，在生成特征图对应的指纹图后，可以基于相邻屏幕截图中对应位置的特征图对应的指纹图分别计算相似度。这样，相邻屏幕截取时间对应的屏幕截图之间的相似度可以包括一个或多个相似度。其中，每个相似度是基于相邻屏幕截取时间对应的屏幕截图中相同顺位的特征图计算获得的，如均以图2中左侧深色区域计算该特征图之间的相似度。

一些实施例中，所述根据相邻屏幕截取时间的特征图对应的指纹图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度，可以包括：获取第一指纹图和第二指纹图；所述第一指纹图和所述第二指纹图为相邻屏幕截取时间对应的屏幕截图中相同顺位区域的特征图对应的指纹图；统计所述第一指纹图和所述第二指纹图中相同顺位处标识相同的像素点数量；将统计结果作为所述相邻屏幕截取时间对应的屏幕截图之间的相似度。

具体的，以步骤S4中T_0，T_1，......，T_m对图形化系统的屏幕进行截图，且按照图2中深色区域提取每个截图的特征图为例，则计算相邻屏幕截取时间对应的屏幕截图之间的相似度是对每一个T_0，T_1，...，T_m时间点屏幕截图中4个特征图进行计算的，如分别计算T_0中第一个特征图和T_1中第一个特征图的相似度，T_0中第二个特征图和T_1中第二个特征图的相似度，T_0中第三个特征图和T_1中第三个特征图的相似度，T_0中第四个特征图和T_1中第四个特征图的相似度，分别计算T_1中第一个特征图和T_2中第一个特征图的相似度，T_1中第二个特征图和T_2中第二个特征图的相似度，T_1中第三个特征图和T_2中第三个特征图的相似度，T_1中第四个特征图和T_2中第四个特征图的相似度，分别计算T_m-1中第一个特征图和T_m中第一个特征图的相似度，T_m-1中第二个特征图和T_m中第二个特征图的相似度，T_m-1中第三个特征图和T_m中第三个特征图的相似度，T_m-1中第四个特征图和T_m中第四个特征图的相似度。

下面以计算T_0中第一个特征图(假设为图2中左侧深色区域)和T_1中第一个特征图(假设为图2中左侧深色区域)的相似度为例进行示例性说明，其它对应特征图的相似度计算方式类似，对此不作赘述。具体的，首先分别将T_0中第一个特征图和T_1中第一个特征图归一化到M像素×M像素大小(如M＝10)，然后基于归一化后特征图的尺寸，使用M×M种(如M＝10，则用100种)颜色值来简化归一化后特征图的色彩。进一步，计算色彩简化后特征图中所有像素点的平均值，将色彩简化后特征图中每个像素点的颜色值与该平均值进行比较，大于等于平均值的像素点记为1，小于平均值的像素点记为0，然后将每个特征图中像素点按照每列从上到下依次排列，获得T_0中第一个特征图对应的指纹图和T_1中第一个特征图对应的指纹图。其中，每个指纹图可以表示为由0和1组成的向量。进一步，可以依次比较T_0中第一个特征图对应的指纹图和T_1中第一个特征图对应的指纹图中的标记信息，统计指纹图中相同顺位标记相同的数量，将该统计结果作为T_0中第一个特征图和T_1中第一个特征图的相似度。

当然，上述只是进行示例性说明，计算特征图之间相似度的方式不限于上述举例，例如，在获得每个特征图的指纹图后，可以通过计算两个指纹图的夹角余弦值作为对应的相似度，也可以通过计算二者的欧几里得距离等方式确定相似度。所属领域技术人员在本申请技术精髓的启示下，还可能做出其它变更，但只要其实现的功能和效果与本申请相同或相似，均应涵盖于本申请保护范围内。

一些实施场景中，也可以不提取特征图，直接基于不同屏幕截取时间对应的屏幕截图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度，具体实现方式与上述实方式类似，对此不作赘述。

S8：基于所述相似度，确定所述自动化流程在所述图形化系统中运行时的状态。

本说明书实施例中，在获得相邻屏幕截取时间对应的屏幕截图之间的相似度后，可以基于相似度，确定自动化流程在图形化系统中运行时的状态。其中，运行时的状态可以包括正常和异常。

一些实施例中，所述基于所述相似度，确定所述自动化流程在所述图形化系统中运行时的状态，可以包括：依次比较所述相邻屏幕截取时间对应的屏幕截图之间的相似度与预设阈值的关系；当存在相邻屏幕截取时间对应的屏幕截图之间的相似度小于所述预设阈值时，确定所述自动化流程在所述图形化系统中运行时的状态为异常。其中，预设阈值可以根据实际场景进行设定，例如，可以是85、90等。

一些实施场景中，由于屏幕截图中可以包括一个或多个特征图，所以相邻屏幕截取时间对应的屏幕截图之间的相似度可以包括一个或多个。

一些实施场景中，当相邻屏幕截取时间对应的屏幕截图之间的相似度包括一个时，可以将该相似度与预设阈值进行比较，如果小于预设阈值时，则可以说明点击操作前后的屏幕截取时间对应的屏幕截图发生了变化，即对图形化系统进行点击操作后，图形化系统有应答，从而可以确定自动化流程在图形化系统中运行时的状态为正常。如果大于等于预设阈值时，则可以说明点击操作前后的屏幕截取时间对应的屏幕截图未发生变化，即对图形化系统进行点击操作后，图形化系统未应答，从而可以确定自动化流程在图形化系统中运行时的状态为异常。

一些实施场景中，当相邻屏幕截取时间对应的屏幕截图之间的相似度包括多个时，可以将多个相似度分别与预设阈值进行比较，如果存在一个小于预设阈值时，则可以说明点击操作前后的屏幕截取时间对应的屏幕截图发生了变化，即对图形化系统进行点击操作后，图形化系统有应答，从而可以确定自动化流程在图形化系统中运行时的状态为正常。如果都大于等于预设阈值时，则可以说明点击操作前后的屏幕截取时间对应的屏幕截图未发生变化，即对图形化系统进行点击操作后，图形化系统未应答，从而可以确定自动化流程在图形化系统中运行时的状态为异常。

一些实施例中，确定自动化流程在图形化系统中运行时的状态为异常时，可以获取小于预设阈值的相似度所对应的两个屏幕截图对应的时间，进而基于两个屏幕截图对应的时间确定异常位置。

一些实施场景中，可以获取小于所述预设阈值的相似度所对应的相邻屏幕截取时间，然后将所述相邻屏幕截取时间对应的区间作为所述自动化流程在所述图形化系统中运行时的异常位置。例如一些实施场景中，当相邻屏幕截取时间对应的屏幕截图之间的相似度小于预设阈值或者存在一个相似度小于预设阈值时，可以获取小于预设阈值的相似度所对应的两个屏幕截图的截取时间，然后将这两个屏幕截图的截取时间之间的区间标记为异常位置。

一些实施场景中，获取小于预设阈值的相似度所对应的两个屏幕截图的截取时间后，可以基于两个屏幕截图的截取时间的相关值确定异常时间点。例如上述步骤S2中确定每次点击操作后的屏幕截取时间间隔时，计算了多组点击间隔数据集中相同顺位的元素的均值和标准差，然后将均值-3倍标准差作为屏幕截取时间间隔，此时，在确定异常时间点时，可以将均值作为屏幕截取时间间隔然后计算出屏幕截取时间，进而将该屏幕截取时间之间的区间标记为异常位置。当然，上述只是进行示例性说明，异常位置的确定方式不限于上述举例，所属领域技术人员在本申请技术精髓的启示下，还可能做出其它变更，但只要其实现的功能和效果与本申请相同或相似，均应涵盖于本申请保护范围内。

本说明书实施例，可以减少计算量的同时，精准定位RPA流程在图形化系统中运行时未响应的异常时间点。

一些实施例中，在确定异常位置后，可以将该异常位置反馈给系统开发人员，以便进一步对异常进行处理。其中，异常位置也可以称为异常时间点。一些实施场景中，可以将异常位置进行可视化显示，以便开发人员可以直观了解到自动化流程在图形化系统中运行时的异常区域。

本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参加即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。

从以上的描述中，可以看出，本申请实施例可以获取图形化系统中同一自动化流程的多组点击间隔数据集；其中，每组点击间隔数据集中包括预设数量个元素，每个元素表示相邻点击操作对应的时间间隔；基于多组点击间隔数据集中相同顺位的元素，确定每次点击操作后的屏幕截取时间间隔。进一步，根据每次点击操作后的屏幕截取时间间隔依次对图形化系统的屏幕进行截图，获得不同屏幕截取时间对应的屏幕截图。进一步，根据屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度，基于相似度，确定自动化流程在图形化系统中运行时的状态。由于本申请实施例中以时间间隔的方式定位截取屏幕的时间，相比现有技术中根据人为经验设置屏幕截取时间的方式更准确，从而可以使后续异常检测结果更准确。由于本申请实施例可以根据屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度，进而基于相似度，确定自动化流程在所述图形化系统中运行时的状态，相比现有技术中不断截图，不断进行相似度的计算，计算量更少，效率更高。

基于上述所述一种异常检测方法，本说明书一个或多个实施例还提供一种异常检测装置。所述的装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

具体地，图3是本说明书提供的一种异常检测装置的一个实施例的模块结构示意图，如图3所示，本说明书提供的一种异常检测装置可以包括：点击间隔数据获取模块120，截取时间间隔确定模块122，屏幕截图获得模块124，相似度计算模块126，运行状态确定模块128。

点击间隔数据获取模块120，可以用于获取图形化系统中同一自动化流程的多组点击间隔数据集；其中，每组点击间隔数据集中包括预设数量个元素，每个元素表示相邻点击操作对应的时间间隔；

截取时间间隔确定模块122，可以用于基于所述多组点击间隔数据集中相同顺位的元素，确定每次点击操作后的屏幕截取时间间隔；

屏幕截图获得模块124，可以用于根据每次点击操作后的屏幕截取时间间隔依次对所述图形化系统的屏幕进行截图，获得不同屏幕截取时间对应的屏幕截图；

相似度计算模块126，可以用于根据所述屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度；

运行状态确定模块128，可以用于基于所述相似度，确定所述自动化流程在所述图形化系统中运行时的状态。

需要说明的，上述所述的装置根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

本说明书还提供一种异常检测设备的实施例，包括处理器及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时可以实现上述任意一项方法实施例。例如，所述指令被所述处理器执行时实现包括以下步骤：获取图形化系统中同一自动化流程的多组点击间隔数据集；其中，每组点击间隔数据集中包括预设数量个元素，每个元素表示相邻点击操作对应的时间间隔；基于所述多组点击间隔数据集中相同顺位的元素，确定每次点击操作后的屏幕截取时间间隔；根据每次点击操作后的屏幕截取时间间隔依次对所述图形化系统的屏幕进行截图，获得不同屏幕截取时间对应的屏幕截图；根据所述屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度；基于所述相似度，确定所述自动化流程在所述图形化系统中运行时的状态。

需要说明的，上述所述的设备根据方法或装置实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

本说明书所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图4是本说明书提供的一种异常检测服务器的一个实施例的硬件结构框图，该服务器可以是上述实施例中的异常检测装置或异常检测设备。如图4所示，服务器10可以包括一个或多个(图中仅示出一个)处理器100(处理器100可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器200、以及用于通信功能的传输模块300。本领域普通技术人员可以理解，图4所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器10还可包括比图4中所示更多或者更少的组件，例如还可以包括其他的处理硬件，如数据库或多级缓存、GPU，或者具有与图4所示不同的配置。

存储器200可用于存储应用软件的软件程序以及模块，如本说明书实施例中的异常检测方法对应的程序指令/模块，处理器100通过运行存储在存储器200内的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器200可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器200可进一步包括相对于处理器100远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输模块300包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块300可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例所描述方案的效果。所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

本说明书提供的上述异常检测方法或装置实施例可以在计算机中由处理器执行相应的程序指令来实现，如使用windows操作系统的c++语言在PC端实现、linux系统实现，或其他例如使用android、iOS系统程序设计语言在智能终端实现，以及基于量子计算机的处理逻辑实现等。

需要说明的是说明书上述所述的装置、设备根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照对应方法实施例的描述，在此不作一一赘述。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把部分模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。

本发明是参照根据本发明实施例的方法、装置、设备的流程图和/或方框图来描述的。应理解可由计算机程序指令实现，可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。

以上所述仅为本说明书一个或多个实施例的实施例而已，并不用于限制本本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在权利要求范围之内。

Claims (15)

1.一种异常检测方法，其特征在于，所述方法包括：

获取图形化系统中同一自动化流程的多组点击间隔数据集；其中，每组点击间隔数据集中包括预设数量个元素，每个元素表示相邻点击操作对应的时间间隔；

基于所述多组点击间隔数据集中相同顺位的元素，确定每次点击操作后的屏幕截取时间间隔；

根据每次点击操作后的屏幕截取时间间隔依次对所述图形化系统的屏幕进行截图，获得不同屏幕截取时间对应的屏幕截图；

根据所述屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度；

基于所述相似度，确定所述自动化流程在所述图形化系统中运行时的状态。

2.根据权利要求1所述的方法，其特征在于，所述获取图形化系统中同一自动化流程的多组点击间隔数据集，包括：

获取图形化系统中同一自动化流程的多个点击事件数据集；其中，每个点击事件数据集中包括检测到图形化系统进程时，依次对所述图形化系统进行点击操作对应的时间；

计算每个点击事件数据集中相邻数据的差，获得多组点击间隔数据集。

3.根据权利要求1所述的方法，其特征在于，所述基于所述多组点击间隔数据集中相同顺位的元素，确定每次点击操作后的屏幕截取时间间隔，包括：

计算所述多组点击间隔数据集中相同顺位的元素的均值和标准差；

基于所述相同顺位的元素的均值和标准差，确定每次点击操作后的屏幕截取时间间隔。

4.根据权利要求3所述的方法，其特征在于，根据下述方式确定每次点击操作后的屏幕截取时间间隔：

T＝ave-3×std

其中，T表示屏幕截取时间间隔，ave表示均值，std表示标准差。

5.根据权利要求1所述的方法，其特征在于，所述根据所述屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度前，包括：

从所述屏幕截图中提取对应的特征图。

6.根据权利要求5所述的方法，其特征在于，所述从所述屏幕截图中提取对应的特征图，包括：

将所述屏幕截图划分为多个大小相同的区域；

从所述多个大小相同的区域中选择预设区域对应的截图作为特征图；其中，从不同屏幕截图中提取对应的特征图时，选择的预设区域相同。

7.根据权利要求1所述的方法，其特征在于，所述根据所述屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度，包括：

将所述特征图进行归一化处理，获得归一化特征图；所述归一化处理用于将所述特征图归一化到预设尺寸；

基于所述归一化特征图的尺寸，调整所述归一化特征图中每个像素点的颜色值，获得调整特征图；

计算所述调整特征图中所有像素点的颜色值的平均值；

将所述调整特征图中每个像素点的颜色值与所述平均值进行比较，生成所述特征图对应的指纹图；

根据相邻屏幕截取时间的特征图对应的指纹图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度。

8.根据权利要求7所述的方法，其特征在于，所述基于所述归一化特征图的尺寸，调整所述归一化特征图中每个像素点的颜色值，获得调整特征图，包括：

获取所述归一化特征图的颜色范围；

基于所述归一化特征图的尺寸，确定颜色调整规则；

利用所述颜色调整规则对所述颜色范围进行划分；

根据划分结果，调整所述归一化特征图中每个像素点的颜色值，获得调整特征图。

9.根据权利要求7所述的方法，其特征在于，所述将所述调整特征图中每个像素点的颜色值与所述平均值进行比较，生成所述特征图对应的指纹图，包括：

为所述调整特征图中颜色值大于等于所述平均值的像素点标记第一标识，为所述调整特征图中颜色值小于所述平均值的像素点标记第二标识；

按照预设顺序对所述调整特征图中像素点的标识进行排序，生成所述特征图对应的指纹图；其中，每个指纹图中包括所述第一标识和所述第二标识。

10.根据权利要求9所述的方法，其特征在于，所述根据相邻屏幕截取时间的特征图对应的指纹图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度，包括：

获取第一指纹图和第二指纹图；所述第一指纹图和所述第二指纹图为相邻屏幕截取时间对应的屏幕截图中相同顺位区域的特征图对应的指纹图；

统计所述第一指纹图和所述第二指纹图中相同顺位处标识相同的像素点数量；

将统计结果作为所述相邻屏幕截取时间对应的屏幕截图之间的相似度。

11.根据权利要求1所述的方法，其特征在于，所述基于所述相似度，确定所述自动化流程在所述图形化系统中运行时的状态，包括：

依次比较所述相邻屏幕截取时间对应的屏幕截图之间的相似度与预设阈值的关系；

当存在相邻屏幕截取时间对应的屏幕截图之间的相似度小于所述预设阈值时，确定所述自动化流程在所述图形化系统中运行时的状态为异常。

12.根据权利要求11所述的方法，其特征在于，所述确定所述自动化流程在所述图形化系统中运行时的状态为异常时，包括：

获取小于所述预设阈值的相似度所对应的相邻屏幕截取时间；

将所述相邻屏幕截取时间对应的区间作为所述自动化流程在所述图形化系统中运行时的异常位置。

13.一种异常检测装置，其特征在于，包括：

点击间隔数据获取模块，用于获取图形化系统中同一自动化流程的多组点击间隔数据集；其中，每组点击间隔数据集中包括预设数量个元素，每个元素表示相邻点击操作对应的时间间隔；

截取时间间隔确定模块，用于基于所述多组点击间隔数据集中相同顺位的元素，确定每次点击操作后的屏幕截取时间间隔；

屏幕截图获得模块，用于根据每次点击操作后的屏幕截取时间间隔依次对所述图形化系统的屏幕进行截图，获得不同屏幕截取时间对应的屏幕截图；

相似度计算模块，用于根据所述屏幕截图的特征图，计算相邻屏幕截取时间对应的屏幕截图之间的相似度；

运行状态确定模块，用于基于所述相似度，确定所述自动化流程在所述图形化系统中运行时的状态。

14.一种异常检测设备，其特征在于，包括处理器及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-12中任意一项所述方法的步骤。

15.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被执行时实现权利要求1至12中任一项所述方法的步骤。

Images