CN114218574A - 一种数据检测方法、装置、电子设备以及存储介质 - Google Patents
一种数据检测方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN114218574A CN114218574A CN202111527451.7A CN202111527451A CN114218574A CN 114218574 A CN114218574 A CN 114218574A CN 202111527451 A CN202111527451 A CN 202111527451A CN 114218574 A CN114218574 A CN 114218574A
- Authority
- CN
- China
- Prior art keywords
- target
- behavior
- data
- time
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
- G06F21/566—Dynamic detection, i.e. detection performed at run-time, e.g. emulation, suspicious activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本申请实施例公开了一种数据检测方法、装置、电子设备以及存储介质,应用于人工智能技术领域。该方法可以包括:获取目标用户的目标行为数据,根据各个操作行为数据中的操作时间分别确定出针对K个目标操作接口的M个目标时间段内的第一统计维度数值,进而确定出K个目标操作接口分别对应的第一行为图层,得到行为图层集合;根据行为图层集合对初始异常检测模型进行训练,得到异常检测模型;当检测到针对目标用户的行为检测指令时,调用异常检测模型对目标用户的待检测行为数据进行检测,得到行为检测结果。通过本方法实施例有助于提高对异常操作的检测的准确性。本申请实施例还可以应用于区块链领域,如将每次的行为检测结果存储至区块链中。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种数据检测方法、装置、电子设备以及存储介质。
背景技术
当前已处于互联网创新和大数据时代,大量个人隐私、财产信息和行为轨迹的数据在互联网上存储和传输,一些人员可能会通过恶意软件(如爬虫软件)访问企业或公司的系统以获取数据,给公司带来重大损失。目前,为了能够识别具有系统访问权限的用户是否被恶意软件盗用以用于获取系统数据,通常是基于统计学来统计用户在各个时间段内执行的操作之间的规律,如计算同一个用户某个时间段内相邻的两个请求之间的时间差的方差和均值,若检测到不符合用户的正常规律的操作时,即检测用户存在异常操作时,则确定该用户可能被恶意软件盗用来访问系统。然后发明人在实践过程中发现,对用户操作的异常操作的识别仅能通过针对单一维度的规律进行分析,不能发现用户潜在的行为规律,导致对用户的异常操作的识别的准确度较低。
发明内容
本申请实施例提供了一种数据检测方法、装置、电子设备以及存储介质,有助于提高对异常操作的检测的准确性。
一方面,本申请实施例公开了一种数据检测方法,所述方法包括:
获取目标用户的目标行为数据,所述目标行为数据用于描述所述目标用户在第一时间范围内针对K个目标操作接口的L个操作行为数据;每个目标操作接口对应一个或多个操作行为数据,所述操作行为数据包括对目标操作接口执行操作的操作时间,K、L为正整数,L大于或等于K;
根据各个操作行为数据中的操作时间分别确定出针对所述K个目标操作接口的所述M个目标时间段内的第一统计维度数值,所述M个目标时间段为所述第一时间范围内连续的M个时间段;
根据针对所述K个目标操作接口的所述M个目标时间段内的第一统计维度数值,确定出所述K个目标操作接口分别对应的第一行为图层,并根据所述K个目标操作接口分别对应的第一行为图层得到行为图层集合;所述第一行为图层描述了所述目标用户在所述第一时间范围内针对对应的目标操作接口的行为;
根据所述行为图层集合对初始异常检测模型进行训练,得到异常检测模型;
当检测到针对所述目标用户的行为检测指令时,获取所述目标用户对应的待检测行为数据,并调用所述异常检测模型对目标用户的待检测行为数据进行检测,得到行为检测结果。
另一方面,本申请实施例公开了一种数据检测装置,所述装置包括:
获取单元,用于获取目标用户的目标行为数据,所述目标行为数据用于描述所述目标用户在第一时间范围内针对K个目标操作接口的L个操作行为数据;每个目标操作接口对应一个或多个操作行为数据,所述操作行为数据包括对目标操作接口执行操作的操作时间,K、L为正整数,L大于或等于K;
处理单元,用于根据各个操作行为数据中的操作时间分别确定出针对所述K个目标操作接口的所述M个目标时间段内的第一统计维度数值,所述M个目标时间段为所述第一时间范围内连续的M个时间段;
所述处理单元,还用于根据针对所述K个目标操作接口的所述M个目标时间段内的第一统计维度数值,确定出所述K个目标操作接口分别对应的第一行为图层,并根据所述K个目标操作接口分别对应的第一行为图层得到行为图层集合;所述第一行为图层描述了所述目标用户在所述第一时间范围内针对对应的目标操作接口的行为;
所述处理单元,还用于根据所述行为图层集合对初始异常检测模型进行训练,得到异常检测模型;
所述处理单元,还用于当检测到针对所述目标用户的行为检测指令时,获取所述目标用户对应的待检测行为数据,并调用所述异常检测模型对目标用户的待检测行为数据进行检测,得到行为检测结果。
又一方面,本申请实施例提供了一种电子设备,电子设备包括处理器、存储器,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于执行如下步骤:
获取目标用户的目标行为数据,所述目标行为数据用于描述所述目标用户在第一时间范围内针对K个目标操作接口的L个操作行为数据;每个目标操作接口对应一个或多个操作行为数据,所述操作行为数据包括对目标操作接口执行操作的操作时间,K、L为正整数,L大于或等于K;
根据各个操作行为数据中的操作时间分别确定出针对所述K个目标操作接口的所述M个目标时间段内的第一统计维度数值,所述M个目标时间段为所述第一时间范围内连续的M个时间段;
根据针对所述K个目标操作接口的所述M个目标时间段内的第一统计维度数值,确定出所述K个目标操作接口分别对应的第一行为图层,并根据所述K个目标操作接口分别对应的第一行为图层得到行为图层集合;所述第一行为图层描述了所述目标用户在所述第一时间范围内针对对应的目标操作接口的行为;
根据所述行为图层集合对初始异常检测模型进行训练,得到异常检测模型;
当检测到针对所述目标用户的行为检测指令时,获取所述目标用户对应的待检测行为数据,并调用所述异常检测模型对目标用户的待检测行为数据进行检测,得到行为检测结果。
又一方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序指令,计算机程序指令被处理器执行时,用于执行如下步骤:
获取目标用户的目标行为数据,所述目标行为数据用于描述所述目标用户在第一时间范围内针对K个目标操作接口的L个操作行为数据;每个目标操作接口对应一个或多个操作行为数据,所述操作行为数据包括对目标操作接口执行操作的操作时间,K、L为正整数,L大于或等于K;
根据各个操作行为数据中的操作时间分别确定出针对所述K个目标操作接口的所述M个目标时间段内的第一统计维度数值,所述M个目标时间段为所述第一时间范围内连续的M个时间段;
根据针对所述K个目标操作接口的所述M个目标时间段内的第一统计维度数值,确定出所述K个目标操作接口分别对应的第一行为图层,并根据所述K个目标操作接口分别对应的第一行为图层得到行为图层集合;所述第一行为图层描述了所述目标用户在所述第一时间范围内针对对应的目标操作接口的行为;
根据所述行为图层集合对初始异常检测模型进行训练,得到异常检测模型;
当检测到针对所述目标用户的行为检测指令时,获取所述目标用户对应的待检测行为数据,并调用所述异常检测模型对目标用户的待检测行为数据进行检测,得到行为检测结果。
又一方面,本申请实施例公开了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备执行上述数据检测方法。
本申请提供一种数据检测方案,能够获取目标用户的目标行为数据,并根据目标行为数据中针对各个目标操作接口执行操作时的操作时间确定出多个目标时间段内的第一统计维度数值,进而根据针对各个目标操作接口的多个目标时间段内的第一统计维度数值生成第一行为图层,由此可以根据目标用户执行的各个操作的操作行为数据生成对应的行为图层,以便于后续根据行为图层集合训练异常检测模型,进而在检测到行为检测指令时,调用异常检测模型对目标用户的行为进行检测,以确定目标用户是否存在异常操作。通过上述方法可以实现将用户行为数据转换为图层数据,进而通过对图层的检测,发现用户的异常操作,从而能够发现用户行为的潜在规律,提高对异常操作的检测的准确性。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据检测系统的结构示意图;
图2是本申请实施例提供的一种数据检测方法的流程示意图;
图3是本申请实施例提供的一种第一行为图层的效果示意图;
图4是本申请实施例提供的一种数据检测方法的流程示意图;
图5是本申请实施例提供的一种异常检测模型的模型训练的流程示意图;
图6是本申请实施例提供的一种数据检测装置的结构示意图;
图7是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供一种数据检测方案,能够获取目标用户的目标行为数据,并根据目标行为数据中针对各个目标操作接口执行操作时的操作时间确定出多个目标时间段内的第一统计维度数值,进而根据针对各个目标操作接口的多个目标时间段内的第一统计维度数值生成第一行为图层,由此可以根据目标用户执行的各个操作的操作行为数据生成对应的行为图层,以便于后续根据行为图层集合训练异常检测模型,进而在检测到行为检测指令时,调用异常检测模型对目标用户的行为进行检测,以确定目标用户是否存在异常操作。通过上述方法可以实现将用户行为数据转换为图层数据,进而通过对图层的检测,发现用户的异常操作,从而能够发现用户行为的潜在规律,提高对异常操作的检测的准确性。
在一种可能的实施方式中,本申请可以应用于一种数据检测系统中,请参见图1,图1是本申请实施例提供的一种数据检测系统的结构示意图,该数据检测系统可以包括数据检测设备以及日志平台。其中,该数据检测设备可以用于执行上述数据检测方案。该日志平台可以用于存储各个用户执行操作时对应的操作行为数据,用户执行的每个操作可以对应一条操作行为数据。该日志平台可以为用于存储日志数据的数据库、日志云服务器等等,此处不做限制。在一种可能的实施方式中,数据检测设备在获取目标用户的待检测行为数据时,则可以从日志平台中获取。例如,在一些场景中,日志平台中的各个操作行为数据中均可以包括用于执行操作的用户的用户名、执行的操作所对应的操作系统信息、操作接口信息以及操作时间等信息,当检测到用于检测目标用户是否存在异常操作的行为检测指令时,如检测到管理人员针对系统的全部用户的行为检测指令;又如,检测到定时生成的针对目标用户的行为检测指令,此处不做限制。进而可以响应于该行为检测指令,基于操作行为数据所包括的操作时间、用户名、操作接口信息筛选出目标用户在第二时间范围内针对K个目标操作接口的操作行为数据以作为待检测行为数据。例如,根据目标用户的用户名从日志平台中获取除目标用户所对应的G个操作行为数据,然后根据操作时间从G个操作行为数据中确定出操作时间在第一时间范围内的H个操作行为数据,再根据操作接口信息对该H个操作行为数据进行分类以确定描述目标用户在第二时间范围内针对K个目标操作接口的H个操作行为数据为待检测行为数据,该K个目标操作接口可以为上述H个操作行为数据中的接口信息所指示的操作接口。由此可以通过从日志平台中快速获取到目标用户的待检测行为数据,进而数据检测设备可以对通过将待检测行为数据转换为行为图层,并调用异常检测模型对待检测行为数据进行检测以确定目标用户是否存在异常操作,以及存在异常操作的操作时间,其中,该异常检测模型为根据第一时间范围内的操作行为数据转换为的行为图层集合对初始异常检测模型进行训练得到的,该异常检测模型可以为人工智能领域的目标检测模型,目标检测模型可以用于检测多通道或单通道图像中的目标,此处根据操作行为数据转换为的行为图层集合即相当于多通道或单通道图像(行为图层集合中的每个行为图层相当于图像的一个通道),目标即相当于行为图层集合中的异常操作所在的位置,由此能够通过异常检测模型准确地实现对异常操作的检出。
需要特别说明的是,由于获取的目标行为数据等用于记录用户的操作行为数据,为了保护对象的信息隐私性和安全性,本申请实施例均会提交给对象进行授权,在获得对象的授权之后才会执行后续的获取操作记录数据的流程;除特别说明外,在本申请的具体实施方式中,涉及到用户信息、操作行为数据等相关的数据,当本申请以上实施例运用到具体产品或技术中时,均需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
在一种可能的实施方式中,该本申请的技术方案可运用在电子设备中,该电子设备也可称为上述的数据检测设备。该电子设备可以是终端,也可以是服务器,或者也可以是用于进行数据检测的其他设备,本申请不做限定。可选的。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云存储、网络服务、中间件服务、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此。
在一种可能的实施方式中,本申请实施例可应用于人工智能领域。人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。具体的,本申请实施例可以通过人工智能技术对操作行为数据生成的行为图层集合进行检测,以确定用户是否存在异常操作,具体描述可以参照图2或图4所示的实施例的相关描述。
基于上述的描述,本申请实施例提出一种数据检测方法。请参见图2,图2是本申请实施例提供的一种数据检测方法的流程示意图。该方法可以由上述所提及的电子设备执行。该方法可以包括以下步骤。
S201、获取目标用户的目标行为数据。
其中,目标行为数据用于描述目标用户在第一时间范围内针对K个目标操作接口的L个操作行为数据,K、L为正整数,L大于或等于K。每个目标操作接口对应一个或多个操作行为数据,这是由于针对每个目标操作接口,用户可能执行了一次或多次操作。如上述,操作行为数据可以包括对目标操作接口执行操作的操作时间。
S202、根据各个操作行为数据中的操作时间分别确定出针对K个目标操作接口的M个目标时间段内的第一统计维度数值。
其中,M个目标时间段为第一时间范围内连续的M个时间段。可以理解的是,该M个目标时间段中的每个目标时间段的时间长度相同,并且第一时间范围的时间起点与第一个目标时间段的时间起点相同。例如,第一时间范围为t1-tn,则该第一时间范围内包括的M个目标时间段可以为{t1-t2,t2-t3........t(n-1)-tn},其中的t1-t2、t2-t3以及t(n-1)-tn均可以表示一个目标时间段,第一个目标时间段t1-t2的时间起点t1与第一时间范围的时间起点t1相同。在一种具体的场景中,该第一时间范围可以为一年,上述M个目标时间段可以为一年内的每分钟时间,即一年可以有24×60×365分钟,每一分钟均可以为一个目标时间段,则一年内可以有24×60×365个连续的相同时间长度的目标时间段。
该第一统计维度数值可以用于表示对每个目标时间段内执行的操作进行统计后得到的第一统计维度的数值。在一种可能的实施方式中,该第一统计维度数值可以为每个目标时间段内执行的操作的操作次数,该第一统计维度数值也可以为每个目标时间段内执行的操作的操作时间的时间差的标准值,该第一统计维度数值也可以为每个目标时间段内执行的操作的操作时间的时间差的平均值,该第一统计维度数值也可以为每个目标时间段内执行的操作的操作时间的时间差的方差,此处不做限制。例如,在第一时间范围内,经过统计计算之后发现,针对接口A在第一个目标时间段的第一统计维度数值为10,针对接口B在第一个目标时间段的第一统计维度数值为20;针对接口A在第二个目标时间段的第一统计维度数值为15,针对接口B在第一个目标时间段的第一统计维度数值为25,以此类推,可以得到针对接口A和接口B在每个目标时间段的第一统计维度数值。可以理解的是,若针对K个接口在M个目标时间段内的第一统计维度数值,可以得到K×M个第一统计维度数值。
例如,在一种可能的场景中,该第一统计维度数值可以为操作次数,则步骤S202的可以具体包括以下步骤:针对K个目标操作接口中的每个目标操作接口,根据各个操作行为数据中的操作时间分别确定操作时间在各个目标时间段内的操作的操作次数;将各个目标时间段内的操作的操作次数确定为第一统计维度数值。例如,在第一时间范围内,针对接口A在第一个目标时间段执行了10次操作,针对接口B在第一个目标时间段执行了12次操作;针对接口A在第二个目标时间段执行了11次操作,针对接口B在第二个目标时间段执行了14次操作,以此类推,可以得到针对每个目标操作接口在每个时间段内执行的操作次数,以作为第一统计维度数值。
例如,在一种可能的场景中,该第一统计维度数值可以为每个目标时间段内执行的操作的操作时间的时间差的标准值,则步骤S202的可以具体包括以下步骤:针对K个目标操作接口中的每个目标操作接口,根据各个操作行为数据中的操作时间分别确定操作时间在各个目标时间段内的操作与前一操作的操作时间的时间差;根据每个目标时间段内的操作的操作时间差计算时间差的平均值,以计算得到每个目标时间段内的操作的操作时间差的方差以及标准差。其中,一个操作的前一操作可以为操作时间在该操作之前且与该操作相邻的操作,例如,操作A在。为了方便处理,第一时间范围内的第一个操作的时间差可以记为0。
此处以一个示例来阐述如何获取目标时间段内执行的操作的操作时间差的平均值、方差或标准差作为第一统计维度数值,针对K个目标操作接口中的目标操作接口A,在第一时间范围内执行操作的操作时间为{1,5,14,16,19,23,36,45},在第一时间范围内执行的操作与前一操作的操作时间的时间差可以通过5-1、14-5、16-2...以此类推进行计算,得到每个操作的操作时间的时间差{0,4,9,2,3,4,13,9},第一时间范围内中的每个目标时间段的时间长度为10,则可以理解的是,第一个目标时间段中的操作的时间差分别为0和4,第二个目标时间段中的操作的时间差分别为9、2和3,第三个目标时间段中的操作的时间差为4,第四个目标时间段中的操作的时间差为14,第五个目标时间段中的操作的时间差分别为9。经过计算可以得到,第二个目标时间段的操作的时间差的平均值为2,第二个目标段中的操作的时间差的平均值为4.66,第三个目标段中的操作的时间差的平均值为4,以此类推,若目标时间段中没有操作,则将该目标时间段中的操作的时间差的平均值记为0。进而可以根据每个目标时间段内的操作的时间差的平均值计算出每个目标时间段的操作的时间差的方差,如可以根据公式进行计算,其中,s2表示一个目标时间段内的操作的操作时间的标准差,n表示一个目标时间段内的操作的数量,i可以取1-n之间的值,xi表示目标时间段内第i个操作的时间差,表示目标时间段内的n个操作的时间差的平均值。通过时间差的方差可以衡量一个目标时间段内的操作的时间差的波动大小。进而,在得到每个目标时间段内的时间差的方差后,可以对每个目标时间段内的时间差的方差开平方,即可以每个目标时间段内的时间差的标准差。在一种可能的实施方式中,若第一统计维度数值为方差或标准差,为了区别于目标时间段内的多个操作的时间差之间的波动很小,还是目标时间段内仅有一个操作或无操作,则可以将目标时间段内仅有一个操作或无操作的情况下的目标时间段对应的方差或标准差确定为预设值,该预设值可以为预设的通过第一时间范围内的操作之间的计算很难得到的一个方差或标准差,此处不做限制。例如,可以通过假设第一时间范围的起始点执行操作的时间差与结束点执行操作的时间差进行计算,则可以得到相当于第一时间范围内波动最大的两个时间差的方差s2或标准差a,进而可以确定一个大于方差s2或大于标准差a的数值作为上述预设值。
S203、根据针对K个目标操作接口的M个目标时间段内的第一统计维度数值,确定出K个目标操作接口分别对应的第一行为图层,并根据K个目标操作接口分别对应的第一行为图层得到行为图层集合。
其中,第一行为图层描述了目标用户在第一时间范围内针对对应的目标操作接口的行为,该第一行为图层相当于将针对K个目标操作接口的M个目标时间段内的第一统计维度数值转换为一个图像中的像素值,进而可以通过对图像的检测方法来检测用户的操作是否异常,以便于检测到用户的操作行为数据中更潜在的规律,能准确地识别用户行为操作中的异常操作。
在一种可能的实施方式中,第一时间范围内包括N个时间周期,N个时间周期中的每个时间周期均包括P个目标时间段,N、P为正整数,P小于或等于M。例如,第一时间范围为t1-tn,则该第一时间范围内包括的M个目标时间段可以为{t1-t2,t2-t3........t(n-1)-tn},其中的t1-t2、t2-t3以及t(n-1)-tn均可以表示一个目标时间段,若一个时间周期可以包括3个目标时间段(即P=3),则t1-t2、t2-t3和t3-t4可以为一个时间周期,即第一时间范围的第一个时间周期,第一个时间周期的时间起点t1与第一时间范围的时间起点t1相同,同理t4-t5、t5-t6和t6-t7为一个时间周期,t(n-3)-t(n-2)、t(n-2)-t(n-1)、t(n-1)-tn也可以称为一个时间周期。在一种具体的场景中,该第一时间范围可以为一年,上述M个目标时间段可以为一年内的每分钟时间,即一年可以有24×60×365分钟,每一分钟均可以为一个目标时间段,则一年内可以有24×60×365个连续的相同时间长度的目标时间段,每一天可以为一个时间周期,一个时间周期内可以有24×60分钟。
那么,K个目标操作接口中的每个目标操作接口对应的第一行为图层均包括N行数据和P列数据,N行数据中的第i行数据对应N个时间周期中第i个时间周期内的第一统计维度数值,P列数据中的第j列数据对应每个时间周期中第j个目标时间段的第一统计维度数值,i和j为正整数。可以理解的是,每个时间周期中的P个目标时间段的第一统计维度数值可以按照时间先后顺序排列作为第一行为图层中的一行数据,每个时间周期内的具有相同时间段次序的目标时间段的第一统计维度数值可以排列为一列数据,该时间段次序即可以指示一个目标时间段在时间周期中的第几个目标时间段。
此处以针对一个具体目标操作接口A的第一行为图层对第一行为图层的获取生成方式进行阐述,例如,第一时间范围可以为一年,每一分钟均可以为一个目标时间段,每一天可以为一个时间周期。若一年内的每分钟对应的第一维度数值(此处以第一维度数值为操作此处为例)可以为{3,5,4,6,1......5},一共24×60×365分钟(24×60×365个目标时间段),则将每天对应的24×60个目标时间段作为一个时间周期下的第一统计维度数值,进而在生成第一行为图层时,将第一天的24×60分钟分别对应的第一统计维度数值作为第一行为图层的第一行像素值,将第二天的24×60分钟分别对应的第一统计维度数值作为第一行为图层的第二行像素值,以此类推,直至将一年内最后一天的24×60分钟分别对应的第一统计维度数值作为第一行为图层的最后一行像素值,由此得到的第一行为图层,一共有365行以及24×60列,如图3所示,图3是本申请实施例提供的一种第一行为图层的效果示意图,301所示区域可以表示第2个时间周期以及该时间周期内的第3个目标时间段的第一统计维度数值,也就是一年内的第三天的第4分钟内的操作次数;302所示区域即为第4个时间周期内的每个目标时间段的第一统计维度数值,也就是第4天内的每分钟的操作次数;303所示区域即为每个时间周期内第5个目标时间段的第一统计维度,也就是说每天的第5分钟内的操作次数。
该行为图层集合可以为每个目标操作接口分别对应的第一行为图层的构成的,可以理解的是,每个目标操作接口对应一个第一行为图层,则行为图层集合中可以包括K个第一行为图层。每个目标操作接口对应的第一行为图层的维度相同(即均包括N行数据和P列数据),则得到的行为图层集合相当于通过一个具有K个通道的图像。
S204、根据行为图层集合对初始异常检测模型进行训练,得到异常检测模型。
其中,该初始异常检测模型可以为未经过训练的模型,该异常检测模型即可以为通过行为图层集合对初始异常检测模型进行训练后得到的异常检测模型。如上述,该初始异常检测模型可以为用于进行目标检测的模型,如Faster-RCNN模型、R-CNN检测模型等等,此处不做限制。进而该异常检测模型能够识别出输入的图像(本申请中为行为图层集合)中的目标(本申请中为存在异常操作所在的目标时间段的区域)。
S205、当检测到针对目标用户的行为检测指令时,获取目标用户对应的待检测行为数据,并调用异常检测模型对目标用户的待检测行为数据进行检测,得到行为检测结果。
其中,如上述,该行为检测指令用于指示对目标用户的行为进行检测的指令。
该待检测行为数据可以为从日志平台中获取的待检测的操作行为数据,该待检测行为数据用于描述目标用户在第二时间范围内针对K个目标操作接口的操作行为数据,该第二时间范围内包括S个目标时间段。可以理解的是,该S个目标时间段中的每个目标时间段与上述M个目标时间段中的每个目标时间段的时间长度相同。
行为检测结果可以用于指示目标用户是否存在异常操作以及存在异常操作的时间段。在一种可能的实施方式中,在调用异常检测模型对目标用户的待检测行为数据进行检测时,可以将待检测行为数据转换为对应的检测行为图层集合,进而将检测行为图层集合输入所述异常检测模型,得到行为检测结果。可以理解的是,在通过异常检测模型对待检测行为数据进行检测时能够确定出待检测行为数据所对应的检测行为图层集合中是否存在异常区域,以及异常区域所在位置,若检测到检测行为图层集合存在异常区域,则可以将异常区域所在位置的数值对应的目标时间段确定为存在异常操作的时间段。
本申请提供一种数据检测方案,能够获取目标用户的目标行为数据,并根据目标行为数据中针对各个目标操作接口执行操作时的操作时间确定出多个目标时间段内的第一统计维度数值,进而根据针对各个目标操作接口的多个目标时间段内的第一统计维度数值生成第一行为图层,由此可以根据目标用户执行的各个操作的操作行为数据生成对应的行为图层,以便于后续根据行为图层集合训练异常检测模型,进而在检测到行为检测指令时,调用异常检测模型对目标用户的行为进行检测,以确定目标用户是否存在异常操作。通过上述方法可以实现将用户行为数据转换为图层数据,进而通过对图层的检测,发现用户的异常操作,从而能够发现用户行为的潜在规律,提高对异常操作的检测的准确性。
请参见图4,图4是本申请实施例提供的一种数据检测方法的流程示意图,该方法可以由上述的电子设备执行。该数据检测方法可以包括以下步骤。
S401、获取目标用户的目标行为数据。
S402、根据各个操作行为数据中的操作时间分别确定出针对K个目标操作接口的M个目标时间段内的第一统计维度数值。
S403、根据针对K个目标操作接口的M个目标时间段内的第一统计维度数值,确定出K个目标操作接口分别对应的第一行为图层,并根据K个目标操作接口分别对应的第一行为图层得到行为图层集合。
其中,步骤S401-S403可以参照步骤S201-S203的相关描述,此处不做赘述。
在一种可能的实施方式中,本申请实施例生成行为图层集合时,还可以根据每个目标操作接口对应的根据更多统计维度的数值生成的行为图层构建行为图层集合,由此可以发掘用户在更多维度的潜在规律,提升异常操作检测的准确性。具体的,可以包括以下步骤:①根据各个操作行为数据中的操作时间分别确定出针对K个目标操作接口的M个目标时间段内的第二统计维度数值。其中,该第二统计维度数值可以为上述与第一统计维度不同的统计维度对应的数值。例如,第一统计维度为操作次数,则第二统计维度可以为与操作次数不同的任意统计维度,如为每个目标时间段内执行的操作的操作时间的时间差的平均值、方差或标准值等等。②根据针对K个目标操作接口的M个目标时间段内的第二统计维度数值,确定出K个目标操作接口分别对应的第二行为图层。其中,第二行为图层描述了目标用户在第一时间范围内针对对应的目标操作接口的行为,第二行为图层与第一行为图层均可以包括N行数据以及P列数据。生成第二行为图层的方法与生成第一行为图层的方法相同,只是行为图层中的数值的统计维度不同,此处不做赘述。③根据K个目标操作接口分别对应的第一行为图层以及第二行为图层得到行为图层集合。其中,根据第一行为图层与第二行为图层得到的行为图层集合中,每个目标操作接口可以分别对应两个行为图层(即第一行为图层与第二行为图层),则行为图层集合中可以包括2×K个行为图层,相当于通过一个具有2×K个通道的图像。
S404、根据行为图层集合对初始异常检测模型进行训练,得到异常检测模型。
在一种可能的实施方式中,在根据行为图层集合对初始异常检测模型进行训练之前,可以根据行为图层集合生成样本数据。具体的,在行为图层集合中标注存在异常操作的目标时间段对应的区域或为正常操作的目标时间段对应的区域,得到样本数据;将样本数据输入初始异常检测模型中进行训练,得到异常检测模型。其中,该样本数据可以包括对行为图层集合进行标注后的行为图层集合。在一种可能的实施方式中,标注后的行为图层集合中可以包括标注的一个或多个存在异常操作的目标时间段对应的区域,或者,也可以包括标注的一个或多个为正常操作的目标时间段对应的区域,以便于后续通过样本数据进行训练时,能够通过标注的目标时间段的区域对初始检测模型的模型参数进行调整,使得能够得到最终的异常检测模型。
在一种可能的实施方式中,本申请实施例可以采用Faster-RCNN模型作为初始检测模型,Faster-RCNN模型是一种识别目标图像并自动框选目标所在位置的图像检测模型,Faster-RCNN能自动产生复选框检测的优越性,能够有效提升对异常操作的检测的准确性。具体的,采用Faster-RCNN模型作为初始检测模型进行训练可以包括以下步骤:①将样本数据输入初始异常检测模型,调用初始异常检测模型对样本数据进行特征提取,得到第一图层特征。其中,该第一图层特征可以样本数据对应的特征图(feature maps),对样本数据进行特征提取可以通过卷积神经网络进行,如通过VGG16网络进行特征提取。②调用初始异常检测模型在样本行为图层中确定出多个候选区域,并基于第一图层特征确定出每个候选区域分别对应的第二图层特征。其中,该候选区域也可以称为检测框、基础框等等,该多个候选区域可以通过RPN网络(Region Proposal Network)生成。该第二图层特征可以为通过RoI pooling将候选区域所在的第一图层特征中的数据转化为固定长度的输出。③根据每个第二图层特征分别确定对应的预测分类结果以及预测目标位置。其中预测分类结果用于指示预测的第二图层特征所对应的候选区域的操作是否存在异常操作,也就是是否存在目标。可以理解的是,若预测分类结果指示候选区域存在异常操作,则可以通过回归器具体确定出存在异常操作的具体位置(即预测目标位置)。④根据每个预测分类结果、每个异常操作位置以及预测分类结果分别对应的候选区域中标注存在异常操作的目标时间段对应的区域,对初始异常检测模型的模型参数进行调整,得到异常检测模型。其中,可以调用第一损失函数对每个预测分类结果以及样本数据中标注的目标时间段的区域计算第一损失值,并根据该第一损失值对初始异常检测模型的模型参数进行调整,以使得异常检测模型对生成的候选区域正确识别其中是否存在异常操作。可以调用第二损失函数对预测目标位置与标注的目标时间段的区域极端第二损失值,并根据该第二损失值对初始异常检测模型的模型参数进行调整,以使得异常检测模型能够在确定候选区域中存在异常操作后准确定位异常操作所在的位置。在一种可能的实施方式中,上述训练过程可以全部运行在图形处理器(GPU)上,大大提升了运行效率。
例如,请参见图5,图5是本申请实施例提供的一种异常检测模型的模型训练的流程示意图。具体的,将样本数据输入初始异常检测模型,如该样本数据可以为一个具有K个行为图层的行为图层集合(如图5中的501所示)。可以通过一个卷积神经网络获取第一图层特征(如图5中的502所示),例如,该卷积神经网络可以包括13个卷积层,13个激活层,4个池化层。然后生成多个候选区域(如图5中的503所示),如可以通过RPN网络生成多个候选区域。进而基于第一图层特征与候选区域,获取每个候选区域对应的第二图层特征(如图5中的504所示),相当于将每个候选区域所映射的第一图层特征转换为同一长度的输出。进而通过分类和回归的方式预测出每个候选区域中是否存在异常操作以及存在异常操作的目标时间段的区域,即得到预测分类结果和预测目标位置(如图5中的505所示)。然后可以通过得到在样本数据中标注的目标时间段的区域与预测分类结果与预测目标位置对初始异常检测模型的模型参数进行调整。
S405、当检测到针对目标用户的行为检测指令时,获取目标用户对应的待检测行为数据,并根据待检测行为数据中的各个操作行为数据中的操作时间分别确定出针对K个目标操作接口的S个目标时间段内的第一统计维度数值。
其中,确定针对K个目标操作接口的S个目标时间段内的第一统计维度数值的方式可以参照步骤S201的相关描述,即将步骤S201中的目标行为数据中的各个操作行为数据替换为该待检测行为数据中的各个操作行为数据。可以理解的是,参照步骤S201中的第一统计维度与本步骤中获取的第一统计维度相同,例如,若参照步骤S201中的第一统计维度为操作次数,则本步骤中获取的第一统计维度也为操作次数。
S406、根据针对K个目标操作接口的S个目标时间段内的第一统计维度数值,分别确定出K个目标操作接口对应的检测行为图层,并根据K个目标操作接口分别对应的检测行为图层得到检测行为图层集合。
其中,步骤S406的相关描述可以参照步骤S203的相关描述,也就是说,针对K个目标操作接口的每个目标操作接口来说,对应的检测行为图层可以包括Q行数据和P列数据,其中的Q表示第二时间范围内包括Q个时间周期,每个时间周期内包括P个目标时间段,相当于Q×P等于S。
S407、将检测行为图层集合输入异常检测模型,得到行为检测结果。
在一种可能的实施方式中,将检测行为图层集合输入异常检测模型后,可以通过卷积神经网络对检测行为图层进行特征提取得到第一图层特征,然后生成多个候选区域,并根据第一图层特征确定出每个候选区域对应的第二图层特征,从而识别出存在异常操作的候选区域,并确定存在异常操作的目标时间段的区域,得到行为检测结果。
在一种可能的实施方式中,本申请在输出行为检测结果后,可以接收结果反馈,该结果反馈可以用于指示输出的行为检测结果是否准确。若输出的行为检测结果不准确,则可以根据待检测行为数据对应的检测行为图层集合生成样本数据对异常检测模型再次进行训练,该新生成的样本数据中在进行标注时,可以对行为检测结果中指示存在异常操作的目标时间段标注为正常操作的目标时间段。
在一种可能的实施方式中,本申请还可以定时获取最新一段时间范围内的操作行为数据作为上述目标行为数据,并基于该最新一段时间范围内的操作行为数据生成对应的样本数据以对异常检测模型再次进行训练。例如,每间隔1个月,获取最近一年的操作行为数据作为上述目标行为数据。由此可以保证异常检测模型能够掌握目标用户最新的操作规律,提升异常检测模型对异常操作的检测的准确度。
在一种可能的实施方式中,在获取到行为检测结果时,可以将行为检测结果发送至目标客户端,该目标客户端可以为用于接收目标用户的行为检测结果的客户端。在一种场景中,该目标客户端可以为发起针对目标用户的行为检测指令的客户端,也可以为预设专门用于接收目标用户的行为检测结果的客户端。例如,在一个企业的内部系统中,系统可以定时发起针对企业内的人员的异常行为检测请求,进而在电子设备生成针对目标用户的行为检测指令后,可以向企业内部的管理员对应的客户端发送进行检测的人员的行为检测结果,此处不做限制。
本申请提供一种数据检测方案,能够获取目标用户的目标行为数据,并根据目标行为数据中针对各个目标操作接口执行操作时的操作时间确定出多个目标时间段内的第一统计维度数值,进而根据针对各个目标操作接口的多个目标时间段内的第一统计维度数值生成第一行为图层,由此可以根据目标用户执行的各个操作的操作行为数据生成对应的行为图层,以便于后续根据行为图层集合训练异常检测模型,进而在检测到行为检测指令时,调用异常检测模型对目标用户的行为进行检测,以确定目标用户是否存在异常操作。通过上述方法可以实现将用户行为数据转换为图层数据,进而通过对图层的检测,发现用户的异常操作,从而能够发现用户行为的潜在规律,提高对异常操作的检测的准确性。
请参见图6,图6是本申请实施例提供的一种数据检测装置的结构示意图。可选的,该数据检测装置可以设置于上述电子设备中。如图6所示,本实施例中所描述的数据检测装置可以包括:
获取单元601,用于获取目标用户的目标行为数据,所述目标行为数据用于描述所述目标用户在第一时间范围内针对K个目标操作接口的L个操作行为数据;每个目标操作接口对应一个或多个操作行为数据,所述操作行为数据包括对目标操作接口执行操作的操作时间,K、L为正整数,L大于或等于K;
处理单元602,用于根据各个操作行为数据中的操作时间分别确定出针对所述K个目标操作接口的所述M个目标时间段内的第一统计维度数值,所述M个目标时间段为所述第一时间范围内连续的M个时间段;
所述处理单元602,还用于根据针对所述K个目标操作接口的所述M个目标时间段内的第一统计维度数值,确定出所述K个目标操作接口分别对应的第一行为图层,并根据所述K个目标操作接口分别对应的第一行为图层得到行为图层集合;所述第一行为图层描述了所述目标用户在所述第一时间范围内针对对应的目标操作接口的行为;
所述处理单元602,还用于根据所述行为图层集合对初始异常检测模型进行训练,得到异常检测模型;
所述处理单元602,还用于当检测到针对所述目标用户的行为检测指令时,获取所述目标用户对应的待检测行为数据,并调用所述异常检测模型对目标用户的待检测行为数据进行检测,得到行为检测结果。
在一种实现方式中,所述第一时间范围内包括N个时间周期,所述N个时间周期中的每个时间周期均包括P个目标时间段,N、P为正整数,P小于或等于M;
所述K个目标操作接口中的每个目标操作接口对应的第一行为图层均包括N行数据和P列数据,所述N行数据中的第i行数据对应所述N个时间周期中第i个时间周期内的第一统计维度数值,所述P列数据中的第j列数据对应每个时间周期中第j个目标时间段的第一统计维度数值,i和j为正整数。
在一种实现方式中,所述处理单元602,具体用于:
针对所述K个目标操作接口中的每个目标操作接口,根据各个操作行为数据中的操作时间分别确定操作时间在各个目标时间段内的操作的操作次数;
将所述各个目标时间段内的操作的操作次数确定为第一统计维度数值。
在一种实现方式中,所述处理单元602,还用于:
根据各个操作行为数据中的操作时间分别确定出针对所述K个目标操作接口的M个目标时间段内的第二统计维度数值;
根据针对所述K个目标操作接口的所述M个目标时间段内的第二统计维度数值,确定出所述K个目标操作接口分别对应的第二行为图层;所述第二行为图层描述了所述目标用户在所述第一时间范围内针对对应的目标操作接口的行为;
所述处理单元602,具体用于:
根据所述K个目标操作接口分别对应的第一行为图层以及第二行为图层得到行为图层集合。
在一种实现方式中,所述处理单元602,具体用于:
在所述行为图层集合中标注存在异常操作的目标时间段对应的区域以及为正常操作的目标时间段对应的区域,得到样本数据;
将所述样本数据输入所述初始异常检测模型中进行训练,得到异常检测模型。
在一种实现方式中,所述处理单元602,具体用于:
将所述样本数据输入初始异常检测模型,调用所述初始异常检测模型对所述样本数据进行特征提取,得到第一图层特征;
调用所述初始异常检测模型在所述样本行为图层中确定出多个候选区域,并基于所述第一图层确定出每个候选区域分别对应的第二图层特征;
根据每个第二图层特征分别确定对应的预测分类结果以及预测目标位置,所述预测分类结果用于指示预测的所述第二图层特征所对应的区域的操作是否存在异常操作;
根据每个预测分类结果、每个预测目标位置以及样本数据中标注的目标时间段对应的区域,对所述初始异常检测模型的模型参数进行调整,得到异常检测模型。
在一种实现方式中,所述待检测行为数据用于描述所述目标用户在第二时间范围内针对K个目标操作接口的操作行为数据;所述第二时间范围内包括S个目标时间段;所述处理单元602,具体用于:
根据所述待检测行为数据中的各个操作行为数据中的操作时间分别确定出针对所述K个目标操作接口的所述S个目标时间段内的第一统计维度数值;
根据针对所述K个目标操作接口的所述S个目标时间段内的第一统计维度数值,分别确定出所述K个目标操作接口对应的检测行为图层,并根据所述K个目标操作接口分别对应的检测行为图层得到检测行为图层集合;
将所述检测行为图层集合输入所述异常检测模型,得到所述行为检测结果,所述行为检测结果用于指示所述目标用户是否存在异常操作以及存在异常操作的时间段。
请参见图7,图7是本申请实施例提供的一种电子设备的结构示意图。本实施例中所描述的电子设备,包括:处理器701、存储器702。可选的,该电子设备还可包括网络接口703或供电模块等结构。上述处理器701、存储器702以及网络接口703之间可以交互数据。
上述处理器701可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述网络接口703可以包括输入设备和/或输出设备,例如该输入设备是可以是控制面板、麦克风、接收器等,输出设备可以是显示屏、发送器等,此处不一一列举。例如,在申请实施例中,该网络接口可包括接收器和发送器。
上述存储器702可以包括只读存储器和随机存取存储器,并向处理器701提供程序指令和数据。存储器702的一部分还可以包括非易失性随机存取存储器。其中,所述处理器701调用所述程序指令时用于执行:
获取目标用户的目标行为数据,所述目标行为数据用于描述所述目标用户在第一时间范围内针对K个目标操作接口的L个操作行为数据;每个目标操作接口对应一个或多个操作行为数据,所述操作行为数据包括对目标操作接口执行操作的操作时间,K、L为正整数,L大于或等于K;
根据各个操作行为数据中的操作时间分别确定出针对所述K个目标操作接口的所述M个目标时间段内的第一统计维度数值,所述M个目标时间段为所述第一时间范围内连续的M个时间段;
根据针对所述K个目标操作接口的所述M个目标时间段内的第一统计维度数值,确定出所述K个目标操作接口分别对应的第一行为图层,并根据所述K个目标操作接口分别对应的第一行为图层得到行为图层集合;所述第一行为图层描述了所述目标用户在所述第一时间范围内针对对应的目标操作接口的行为;
根据所述行为图层集合对初始异常检测模型进行训练,得到异常检测模型;
当检测到针对所述目标用户的行为检测指令时,获取所述目标用户对应的待检测行为数据,并调用所述异常检测模型对目标用户的待检测行为数据进行检测,得到行为检测结果。
在一种实现方式中,所述第一时间范围内包括N个时间周期,所述N个时间周期中的每个时间周期均包括P个目标时间段,N、P为正整数,P小于或等于M;
所述K个目标操作接口中的每个目标操作接口对应的第一行为图层均包括N行数据和P列数据,所述N行数据中的第i行数据对应所述N个时间周期中第i个时间周期内的第一统计维度数值,所述P列数据中的第j列数据对应每个时间周期中第j个目标时间段的第一统计维度数值,i和j为正整数。
在一种实现方式中,所述处理器701,具体用于:
针对所述K个目标操作接口中的每个目标操作接口,根据各个操作行为数据中的操作时间分别确定操作时间在各个目标时间段内的操作的操作次数;
将所述各个目标时间段内的操作的操作次数确定为第一统计维度数值。
在一种实现方式中,所述处理器701,还用于:
根据各个操作行为数据中的操作时间分别确定出针对所述K个目标操作接口的M个目标时间段内的第二统计维度数值;
根据针对所述K个目标操作接口的所述M个目标时间段内的第二统计维度数值,确定出所述K个目标操作接口分别对应的第二行为图层;所述第二行为图层描述了所述目标用户在所述第一时间范围内针对对应的目标操作接口的行为;
所述处理器701,具体用于:
根据所述K个目标操作接口分别对应的第一行为图层以及第二行为图层得到行为图层集合。
在一种实现方式中,所述处理器701,具体用于:
在所述行为图层集合中标注存在异常操作的目标时间段对应的区域以及为正常操作的目标时间段对应的区域,得到样本数据;
将所述样本数据输入所述初始异常检测模型中进行训练,得到异常检测模型。
在一种实现方式中,所述处理器701,具体用于:
将所述样本数据输入初始异常检测模型,调用所述初始异常检测模型对所述样本数据进行特征提取,得到第一图层特征;
调用所述初始异常检测模型在所述样本行为图层中确定出多个候选区域,并基于所述第一图层确定出每个候选区域分别对应的第二图层特征;
根据每个第二图层特征分别确定对应的预测分类结果以及预测目标位置,所述预测分类结果用于指示预测的所述第二图层特征所对应的区域的操作是否存在异常操作;
根据每个预测分类结果、每个预测目标位置以及样本数据中标注的目标时间段对应的区域,对所述初始异常检测模型的模型参数进行调整,得到异常检测模型。
在一种实现方式中,所述待检测行为数据用于描述所述目标用户在第二时间范围内针对K个目标操作接口的操作行为数据;所述第二时间范围内包括S个目标时间段;所述处理器701,具体用于:
根据所述待检测行为数据中的各个操作行为数据中的操作时间分别确定出针对所述K个目标操作接口的所述S个目标时间段内的第一统计维度数值;
根据针对所述K个目标操作接口的所述S个目标时间段内的第一统计维度数值,分别确定出所述K个目标操作接口对应的检测行为图层,并根据所述K个目标操作接口分别对应的检测行为图层得到检测行为图层集合;
将所述检测行为图层集合输入所述异常检测模型,得到所述行为检测结果,所述行为检测结果用于指示所述目标用户是否存在异常操作以及存在异常操作的时间段。
可选的,该程序指令被处理器执行时还可实现上述实施例中方法的其他步骤,这里不再赘述。
本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述方法,比如执行上述电子设备执行的方法,此处不赘述。
可选的,本申请涉及的存储介质如计算机可读存储介质可以是非易失性的,也可以是易失性的。
可选的,该计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。其中,本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法的实施例中所执行的步骤。例如,该计算机设备可以为终端,或者可以为服务器。
以上对本申请实施例所提供的一种数据检测方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据检测方法,其特征在于,所述方法包括:
获取目标用户的目标行为数据,所述目标行为数据用于描述所述目标用户在第一时间范围内针对K个目标操作接口的L个操作行为数据;每个目标操作接口对应一个或多个操作行为数据,所述操作行为数据包括对目标操作接口执行操作的操作时间,K、L为正整数,L大于或等于K;
根据各个操作行为数据中的操作时间分别确定出针对所述K个目标操作接口的M个目标时间段内的第一统计维度数值,所述M个目标时间段为所述第一时间范围内连续的M个时间段;
根据针对所述K个目标操作接口的所述M个目标时间段内的第一统计维度数值,确定出所述K个目标操作接口分别对应的第一行为图层,并根据所述K个目标操作接口分别对应的第一行为图层得到行为图层集合;所述第一行为图层描述了所述目标用户在所述第一时间范围内针对对应的目标操作接口的行为;
根据所述行为图层集合对初始异常检测模型进行训练,得到异常检测模型;
当检测到针对所述目标用户的行为检测指令时,获取所述目标用户对应的待检测行为数据,并调用所述异常检测模型对目标用户的待检测行为数据进行检测,得到行为检测结果。
2.根据权利要求1所述方法,其特征在于,所述第一时间范围内包括N个时间周期,所述N个时间周期中的每个时间周期均包括P个目标时间段,N、P为正整数,P小于或等于M;
所述K个目标操作接口中的每个目标操作接口对应的第一行为图层均包括N行数据和P列数据,所述N行数据中的第i行数据对应所述N个时间周期中第i个时间周期内的第一统计维度数值,所述P列数据中的第j列数据对应每个时间周期中第j个目标时间段的第一统计维度数值,i和j为正整数。
3.根据权利要求1或2所述方法,其特征在于,所述根据各个操作行为数据中的操作时间分别确定出针对所述K个目标操作接口的M个目标时间段内的第一统计维度数值,包括:
针对所述K个目标操作接口中的每个目标操作接口,根据各个操作行为数据中的操作时间分别确定操作时间在各个目标时间段内的操作的操作次数;
将所述各个目标时间段内的操作的操作次数确定为第一统计维度数值。
4.根据权利要求1所述方法,其特征在于,所述方法还包括:
根据各个操作行为数据中的操作时间分别确定出针对所述K个目标操作接口的M个目标时间段内的第二统计维度数值;
根据针对所述K个目标操作接口的所述M个目标时间段内的第二统计维度数值,确定出所述K个目标操作接口分别对应的第二行为图层;所述第二行为图层描述了所述目标用户在所述第一时间范围内针对对应的目标操作接口的行为;
所述根据所述K个目标操作接口分别对应的第一行为图层得到行为图层集合,包括:
根据所述K个目标操作接口分别对应的第一行为图层以及第二行为图层得到行为图层集合。
5.根据权利要求1所述方法,其特征在于,所述根据所述行为图层集合对初始异常检测模型进行训练,得到异常检测模型,包括:
在所述行为图层集合中标注存在异常操作的目标时间段对应的区域或为正常操作的目标时间段对应的区域,得到样本数据;
将所述样本数据输入所述初始异常检测模型中进行训练,得到异常检测模型。
6.根据权利要求5所述方法,其特征在于,所述将所述样本数据输入所述初始异常检测模型中进行训练,得到异常检测模型,包括:
将所述样本数据输入初始异常检测模型,调用所述初始异常检测模型对所述样本数据进行特征提取,得到第一图层特征;
调用所述初始异常检测模型在所述样本行为图层中确定出多个候选区域,并基于所述第一图层确定出每个候选区域分别对应的第二图层特征;
根据每个第二图层特征分别确定对应的预测分类结果以及预测目标位置,所述预测分类结果用于指示预测的所述第二图层特征所对应的区域的操作是否存在异常操作;
根据每个预测分类结果、每个预测目标位置以及样本数据中标注的目标时间段对应的区域,对所述初始异常检测模型的模型参数进行调整,得到异常检测模型。
7.根据权利要求1所述方法,其特征在于,所述待检测行为数据用于描述所述目标用户在第二时间范围内针对K个目标操作接口的操作行为数据;所述第二时间范围内包括S个目标时间段;
所述调用所述异常检测模型对目标用户的待检测行为数据进行检测,得到行为检测结果,包括:
根据所述待检测行为数据中的各个操作行为数据中的操作时间分别确定出针对所述K个目标操作接口的所述S个目标时间段内的第一统计维度数值;
根据针对所述K个目标操作接口的所述S个目标时间段内的第一统计维度数值,分别确定出所述K个目标操作接口对应的检测行为图层,并根据所述K个目标操作接口分别对应的检测行为图层得到检测行为图层集合;
将所述检测行为图层集合输入所述异常检测模型,得到所述行为检测结果,所述行为检测结果用于指示所述目标用户是否存在异常操作以及存在异常操作的时间段。
8.一种数据检测装置,其特征在于,包括:
获取单元,用于获取目标用户的目标行为数据,所述目标行为数据用于描述所述目标用户在第一时间范围内针对K个目标操作接口的L个操作行为数据;每个目标操作接口对应一个或多个操作行为数据,所述操作行为数据包括对目标操作接口执行操作的操作时间,K、L为正整数,L大于或等于K;
处理单元,用于根据各个操作行为数据中的操作时间分别确定出针对所述K个目标操作接口的所述M个目标时间段内的第一统计维度数值,所述M个目标时间段为所述第一时间范围内连续的M个时间段;
所述处理单元,还用于根据针对所述K个目标操作接口的所述M个目标时间段内的第一统计维度数值,确定出所述K个目标操作接口分别对应的第一行为图层,并根据所述K个目标操作接口分别对应的第一行为图层得到行为图层集合;所述第一行为图层描述了所述目标用户在所述第一时间范围内针对对应的目标操作接口的行为;
所述处理单元,还用于根据所述行为图层集合对初始异常检测模型进行训练,得到异常检测模型;
所述处理单元,还用于当检测到针对所述目标用户的行为检测指令时,获取所述目标用户对应的待检测行为数据,并调用所述异常检测模型对目标用户的待检测行为数据进行检测,得到行为检测结果。
9.一种电子设备,其特征在于,包括处理器、存储器,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111527451.7A CN114218574A (zh) | 2021-12-14 | 2021-12-14 | 一种数据检测方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111527451.7A CN114218574A (zh) | 2021-12-14 | 2021-12-14 | 一种数据检测方法、装置、电子设备以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114218574A true CN114218574A (zh) | 2022-03-22 |
Family
ID=80701828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111527451.7A Pending CN114218574A (zh) | 2021-12-14 | 2021-12-14 | 一种数据检测方法、装置、电子设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114218574A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115134164A (zh) * | 2022-07-18 | 2022-09-30 | 深信服科技股份有限公司 | 一种上传行为检测方法、系统、设备及计算机存储介质 |
-
2021
- 2021-12-14 CN CN202111527451.7A patent/CN114218574A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115134164A (zh) * | 2022-07-18 | 2022-09-30 | 深信服科技股份有限公司 | 一种上传行为检测方法、系统、设备及计算机存储介质 |
CN115134164B (zh) * | 2022-07-18 | 2024-02-23 | 深信服科技股份有限公司 | 一种上传行为检测方法、系统、设备及计算机存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11163991B2 (en) | Method and apparatus for detecting body | |
CN110275958B (zh) | 网站信息识别方法、装置和电子设备 | |
US20160282124A1 (en) | System and method for monitoring driving behavior of a driver | |
US11620474B2 (en) | Model reselection for accommodating unsatisfactory training data | |
US20220189008A1 (en) | Method for detecting data defects and computing device utilizing method | |
CN110968689A (zh) | 罪名及法条预测模型的训练方法以及罪名及法条预测方法 | |
CN111507483A (zh) | 返修板检测装置、方法及计算机可读存储介质 | |
CN113536770B (zh) | 基于人工智能的文本解析方法、装置、设备及存储介质 | |
CN115222443A (zh) | 客户群体划分方法、装置、设备及存储介质 | |
CN114218574A (zh) | 一种数据检测方法、装置、电子设备以及存储介质 | |
US11762730B2 (en) | Selection of outlier-detection programs specific to dataset meta-features | |
CN115037790B (zh) | 异常注册识别方法、装置、设备及存储介质 | |
CN116580702A (zh) | 基于人工智能的语音识别方法、装置、计算机设备及介质 | |
CN114416417A (zh) | 系统异常监测方法、装置、设备及存储介质 | |
CN115314239A (zh) | 基于多模型融合的隐匿恶意行为的分析方法和相关设备 | |
CN114490262A (zh) | 数据库监控方法、装置、设备及存储介质 | |
CN111582404B (zh) | 内容分类方法、装置及可读存储介质 | |
CN110827144B (zh) | 用户的申请风险评估方法、申请风险评估装置及电子设备 | |
CN113850632A (zh) | 用户类别确定方法、装置、设备及存储介质 | |
CN113515771A (zh) | 数据敏感度判定方法、电子设备及计算机可读存储介质 | |
CN115022014A (zh) | 登录风险识别方法、装置、设备及存储介质 | |
CN113343970B (zh) | 文本图像检测方法、装置、设备及存储介质 | |
CN113688319B (zh) | 医疗产品推荐方法及相关设备 | |
CN115359272A (zh) | 理赔检测方法、装置、设备及存储介质 | |
US20210248206A1 (en) | Systems and methods for generating data retrieval steps |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |