CN113312239A - 一种数据检测方法、装置、电子设备及介质 - Google Patents

一种数据检测方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN113312239A
CN113312239A CN202110658225.6A CN202110658225A CN113312239A CN 113312239 A CN113312239 A CN 113312239A CN 202110658225 A CN202110658225 A CN 202110658225A CN 113312239 A CN113312239 A CN 113312239A
Authority
CN
China
Prior art keywords
login
time
time difference
detection
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110658225.6A
Other languages
English (en)
Other versions
CN113312239B (zh
Inventor
周菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Cloud Computing Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Cloud Computing Beijing Co Ltd filed Critical Tencent Cloud Computing Beijing Co Ltd
Priority to CN202110658225.6A priority Critical patent/CN113312239B/zh
Publication of CN113312239A publication Critical patent/CN113312239A/zh
Application granted granted Critical
Publication of CN113312239B publication Critical patent/CN113312239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例公开了一种数据检测方法、装置、电子设备及介质,可应用于计算机技术领域。其中方法包括:从历史登录时间点中确定待检测登录时间点;根据历史登录时间点中任意相邻两个历史登录时间点之间的时间差,生成时间差序列;根据时间差序列中时间差之间的数值分布规律,对待检测登录时间点进行异常登录检测,得到针对待检测登录时间点的登录检测结果;采用本申请实施例,有助于可提高对待检测登录时间点进行异常登录检测的准确性。该数据检测方法可以应用于区块链领域,比如将获取的历史登录时间点存储至区块链;该数据检测方法还可以应用于云计算领域,比如可以通过云计算服务器对待检测登录时间点进行异常登录检测。

Description

一种数据检测方法、装置、电子设备及介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据检测方法、装置、电子设备及介质。
背景技术
随着计算机技术的高速发展,针对计算机产品的用户行为的异常情况检测得到大量应用。在监测计算机产品的用户登录情况时,可以进行登录时间异常检测,目前,针对登录时间点进行异常检测通常是通过判断待检测登录时间点是在一组指定的时间点中,若待检测登录时间点在这组登录时间中,则判定待检测登录时间点为异常登录时间点。然而,发明人在实践中发现:目前采用判定待检测登录时间点是否在执行的登录时间点中来进行登录时间异常检测的判断逻辑较为简单,无法准确判断复杂场景的登录时间异常情况。因此如何提高异常登录检测的准确性一个亟待解决的问题。
发明内容
本申请实施例提供了一种数据检测方法、装置、电子设备及介质,有助于提高对待检测登录时间点进行异常登录检测的准确性。
一方面,本申请实施例提供了一种数据检测方法,该方法包括:
获取在客户端的M个历史登录时间点,并从M个历史登录时间点中确定待检测登录时间点;M为正整数;
根据M个历史登录时间点中任意相邻两个历史登录时间点之间的时间差,生成时间差序列;时间差序列包含N个时间差,N为正整数;
根据时间差序列中N个时间差之间的数值分布规律,对待检测登录时间点进行异常登录检测,得到针对待检测登录时间点的登录检测结果;登录检测结果为异常登录检测结果或正常登录检测结果。
一方面,本申请实施例提供了一种数据检测装置,该装置包括:
获取模块,用于获取在客户端的M个历史登录时间点,并从M个历史登录时间点中确定待检测登录时间点;M为正整数;
处理模块,用于根据M个历史登录时间点中任意相邻两个历史登录时间点之间的时间差,生成时间差序列;时间差序列包含N个时间差,N为正整数;
处理模块,还用于根据时间差序列中N个时间差之间的数值分布规律,对待检测登录时间点进行异常登录检测,得到针对待检测登录时间点的登录检测结果;登录检测结果为异常登录检测结果或正常登录检测结果。
再一方面,本申请实施例提供了一种电子设备,电子设备包括处理器和存储器,处理器与存储器相互连接,其中,存储器用于存储计算机程序指令,处理器被配置用于执行如下步骤:
获取在客户端的M个历史登录时间点,并从M个历史登录时间点中确定待检测登录时间点;M为正整数;
根据M个历史登录时间点中任意相邻两个历史登录时间点之间的时间差,生成时间差序列;时间差序列包含N个时间差,N为正整数;
根据时间差序列中N个时间差之间的数值分布规律,对待检测登录时间点进行异常登录检测,得到针对待检测登录时间点的登录检测结果;登录检测结果为异常登录检测结果或正常登录检测结果。
又一方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序指令,计算机程序指令被处理器执行时,用于执行如下步骤:
获取在客户端的M个历史登录时间点,并从M个历史登录时间点中确定待检测登录时间点;M为正整数;
根据M个历史登录时间点中任意相邻两个历史登录时间点之间的时间差,生成时间差序列;时间差序列包含N个时间差,N为正整数;
根据时间差序列中N个时间差之间的数值分布规律,对待检测登录时间点进行异常登录检测,得到针对待检测登录时间点的登录检测结果;登录检测结果为异常登录检测结果或正常登录检测结果。
一方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述一方面等各种可选方式中提供的方法。
本申请实施例提出一种数据检测方案,可以获取在客户端的历史登录时间点,并历史登录时间点中确定待检测登录时间点,从而根据历史登录时间点中任意相邻两个历史登录时间点之间的时间差,生成时间差序列,以便于根据时间差序列的数值分布规律,对待检测登录时间点进行异常登录检测,得到针对待检测登录时间点的登录检测结果,由此可以根据时间差序列的数值分布规律进行登录异常检测,有助于可提高对待检测登录时间点进行异常登录检测的准确性。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据检测系统的结构示意图;
图2是本申请实施例提供的一种数据检测方法的流程示意图;
图3是本申请实施例提供的一种时间差序列生成方法的流程示意图;
图4是本申请实施例提供的一种数据检测方法的流程示意图;
图5是本申请实施例提供的一种异常检测算法的流程示意图;
图6是本申请实施例提供的一种正态分布曲线的示意图;
图7是本申请实施例提供的一种数据检测方法的流程示意图;
图8是本申请实施例提供的一种安全检测页面的效果示意图;
图9是本申请实施例提供的一种数据检测装置的结构示意图;
图10是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
本申请的技术方案可运用在电子设备中,该电子设备可以是终端,也可以是服务器,或者也可以是用于进行数据检测的其他设备,本申请不做限定。可选的。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
在一种可能的实施方式中,本申请的技术方案可以应用于一个数据检测系统中,请参见图1,图1是本申请实施例提供的一种数据检测系统的结构示意图,该数据检测系统可以包括客户端和异常登录检测服务器。该异常登录检测服务器可以为应用本申请的技术方案的服务器,该遗产刚登录检测服务器可以获取在客户端的M个历史登录时间点,并从M个历史登录时间点中确定待检测登录时间点,还可以根据M个历史登录时间点中任意相邻两个历史登录时间点之间的时间差,生成时间差序列;还可以根据时间差序列中N个时间差之间的数值分布规律,对待检测登录时间点进行异常登录检测,得到针对待检测登录时间点的登录检测结果。该客户端可以用于检测用户的登录情况,并生成日志数据,以便于服务器从该日志数据中获取历史登录时间点。
在一种可能的实施方式中,本申请的技术方案可以应用于进行异常登录检测的检测应用(如安全检测软件、安全检测应用系统等)中,电子设备通过该检测应用在得到目标客户端的授权后,获取登录客户端的用户的日志数据,进而从日志数据中获取登录客户端的一个或多个目标用户的登录数据,例如,每个目标用户的历史登录时间点,进而根据该历史登录时间点进行异常登录检测,得到每个目标用户的登录检测结果。本申请的技术方案,还可以应用于用户登录的客户端(如企业的操作平台,管理系统等等)中,即获取客户端中登录的账号对应的登录数据,例如,用户的历史登录时间点,进而根据该历史登录时间点进行异常登录检测,得到每个目标用户的登录检测结果。上述应用过程中的具体异常登录检测过程可以参见图2和图4对应实施例中的具体描述。
本申请的技术方案可以应用于区块链领域,区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。例如,可以将获取的M个历史登录时间点存储至区块链中,还可以将针对每个目标账号的异常登录检测结果存储至区块链中。
本申请的技术方案可以应用于云计算领域,云计算(cloud computing)是一种计算模式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。作为云计算的基础能力提供商,会建立云计算资源池(简称云平台,一般称为IaaS(Infrastructure as aService,基础设施即服务)平台,在资源池中部署多种类型的虚拟资源,供外部客户选择使用。云计算资源池中主要包括:计算设备(为虚拟化机器,包含操作系统)、存储设备、网络设备。按照逻辑功能划分,在IaaS(Infrastructure as a Service,基础设施即服务)层上可以部署PaaS(Platform as a Service,平台即服务)层,PaaS层之上再部署SaaS(Softwareas a Service,软件即服务)层,也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台,如数据库、web容器等。SaaS为各式各样的业务软件,如web门户网站、短信群发器等。一般来说,SaaS和PaaS相对于IaaS是上层。例如,本申请方案可以基于选取的目标计算资源构建目标任务执行容器,从而基于目标任务执行容器执行目标任务。例如,可以通过云计算服务器获取M个历史登录时间点,计算M个历史登录时间点对应的时间差序列,对待检测登录时间点进行异常登录检测等等,具体步骤可以参照以下实施例的描述,此处不做赘述。
可以理解,上述场景仅是作为示例,并不构成对于本申请实施例提供的技术方案的应用场景的限定,本申请的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
基于上述的描述,本申请实施例提出一种数据检测方法。该方法可以由电子设备执行。请参见图2,图2是本申请实施例提供的一种数据检测方法的流程示意图,该方法可以包括步骤S201-S203。
S201、获取在客户端的M个历史登录时间点,并从M个历史登录时间点中确定待检测登录时间点;M为正整数。
其中,客户端可以是电子设备中任意的应用客户端或者网页客户端。该历史登录时间点可以为当前时间点之前登录客户端的登录时间点,该当前时间点可以为获取该M个历史登录时间点时对应的时间点,该登录时间点可以为登录客户端的时间点,登录客户端可以指在客户端中登录用户账号,该用户账号可以是任意一个用户的账号,可以将客户端中所登录的用户账号称之为目标账号。该待检测登录时间点可以为M个历史登录时间点中,需要进行异常登录检测的任意时间点,该待检测登录时间点可以为M个历史登录时间点中,除距当前时间点最远的历史登录时间点之外的全部历史登录时间点,该待检测登录时间点还可以为M个历史登录时间点中的任意部分登录时间点,如,距离当前时间点最近的几个历史登录时间点。该历史登录时间点可以精确到天、小时、分、秒等,此处不做限制。
在一种可能的实施方式中,获取在客户端的M个历史登录时间点,还可以包括以下步骤:获取在客户端的M个登录时间段对应的M个登录时间集合;一个登录时间段对应一个登录时间集合;一个登录时间集合包含在客户端的对应登录时间段内的一个或多个登录时间点;分别从每个登录时间集合中选取目标登录时间点,并将每个登录时间集合中的目标登录时间点作为M个历史登录时间点。该M个登录时间段可以为当前时间点之前M个登录时间段,该M个登录时间段之间可以连续,也可以不连续,例如,将一长段时间分为5个时间段,按时间从远到近可以为时间段1、时间段2、时间段3,若确定的登录时间段为时间段1和时间段3,则表示该两个登录时间段不连续,若确定的登录时间段为时间段2和时间段3,则表示该两个时间段连续,并且,该M个登录时间段的长度可以相同也可以不同。该M个登录时间集合可以为M个登录时间段中,每个登录时间段中对应的登录时间点的集合,也就是说,一个登录时间段对应一个登录时间集合,从而可以获取M个登录时间段对应的M个登录时间集合。该M个登录时间集合中的登录时间点的数量可以为一个或多个,每个登录时间集合中的登录时间点的数量可以相同也可以不同。该目标登录时间点可以为登录时间集合中的任一登录时间点,可以理解的是,若该登录时间集合中仅有一个登录时间点,则将该登录时间点确定为该登录时间集合中的目标登录时间点。可选的,从每个登录时间集合中选取目标登录时间点时,可以从登录时间集合中随机选取一个登录时间点作为目标登录时间点,也可以为通过目标选取规则选取一个登录时间点作为目标登录时间点,如目标选取规则可以是选取每个登录时间集合中登录时间点距当前时间点最远的登录时间点为目标登录时间点,或者选取每个登录时间集合中登录时间点距当前时间点最近的登录时间点为目标登录时间点,等等。从而可以将每个登录时间集合中的目标登录时间点作为M个历史登录时间点,由此可以减少短时间内频繁登录客户端对异常登录检测的结果带来的干扰,提高异常登录检测的准确性。
例如,获取到客户端的目标用户在1000个登录时间段中对应的1000个登录时间集合为{T1,T2,T3…T1000},则分别从该1000个登录时间集合中选取每个登录时间集合对应的目标登录时间点,如从T1登录时间集合中选择目标登录时间点S1,从T2登录时间集合中选择目标登录时间点S3,以此类推,从从T1000登录时间集合中选择目标登录时间点S2000,从而得到的多个目标登录时间点为{S1,S2,S3…S2000},进而可以将该目标登录时间点{S1,S2,S3…S2000}作为历史登录时间点。
在一种可能的实施方式钟,从M个历史登录时间点中确定待检测登录时间点时,可以根据历史登录时间点距离当前时间点的时间长度进行确定,例如,可以将距离当前时间点的时间长度小于预设值的历史登录时间点确定为待检测登录时间点,该预设值用于表示预先设置的能够作为待检测登录时间点的历史登录时间点距离当前时间点的最大时间长度,例如,该预设值可以是1小时,则可以将M个历史登录时间点中,距离当前时间点的时间长度小于1小时(即距离当前时间点1小时内)的历史时间点作为待检测登录时间点。可选的,该待检测登录时间点还可以根据历史登录时间点是否已经进行过异常登录检测进行确定,如,可以将M个历史登录时间点中未进行过异常登录检测的历史登录时间点作为待检测登录时间点。
在一种可能的实施方式中,若检测到针对同一账号的登录时间点的数量小于预设时间点数量P,则不对该账号的登录时间点进行异常登录检测,该预设时间点数量用于表示预先设置的针对同一账号能够进行异常登录检测的登录时间点的数量的最小值,例如,该预设时间点数量可以为500个,当账号A的登录时间点的数量小于500,则不对账号A的登录时间点进行异常登录检测,若账号B的登录时间点的数量大于500,则对该账号B的登录时间点进行异常登录检测。也就是说针对同一账号的登录时间点对应的时间差的数量小于P-1(可称为预设时间差数量),则不获取针对该账号的M个历史登录时间点,进而不对该账号的M个历史登录时间点进行异常登录检测。这是因为如果统一账号的登录时间点的数量较小,那么对应的时间差序列长度也较小,时间差序列中数值的随机性误差就比较高,检测得到的异常登录检测结果并不一定是真正的异常登录检测结果。而且在后续通过时间差序列进行异常登录检测时的异常检测算法对该时间差序列的长度也有一定的要求,因为异常检测算法在时间差序列的数值数据服从正态分布时检测效果最好,而一般序列需要达到一定长度时序列的分布才会趋于正态分布。
可选的,还可以根据目标账号的登录时间点与当前时间点的时间距离对登录时间点进行过滤,从而得到M个历史登录时间点,比如,若检测到目标账号的登录时间点距离当前时间点的时间距离大于预设时间距离,则在确定M个历史登录时间点时,去除该登录时间点,该预设时间距离用于指示预先设置的可以获取的历史登录时间点距离当前时间点的时间距离的最大值,例如,该预设时间距离可以为100天,当检测到目标账号中的登录时间点距离当前时间点的时间距离大于100天,则不获取该大于100天的登录时间点作为M个历史登录时间点中的登录时间点。这是由于如果进行异常登录检测时时间差序列的时间跨度太长,太久远的登录时间点难以代表用户的登录变化,影响登录检测结果。可以理解的是,上述历史登录时间点的过滤方法仅为示例,还可以通过其他方法进行过滤,由此使得最终得到的登录检测结果更加准确。
S202、根据M个历史登录时间点中任意相邻两个历史登录时间点之间的时间差,生成时间差序列。
其中,时间差序列包含N个时间差,N为正整数。该时间差可以为任意相邻两个历史登录时间点之间的差值,该差值可以通过正数进行表示,该时间差的单位可以为天、小时、分、秒等,此处不做限制。例如,历史登录时间2020010111(即2020年1月1日11时),2020010212(即2020年1月2日12时)之间的时间差为25小时。该时间差序列可以是根据上述的所有时间差生成,也可以是根据上述时间差中的部分时间差生成。可以理解的是,用于生成同一时间差序列的时间差的单位应该相同,如可以均以小时为单位,或均以天为单位等等,此处不做赘述。又如,请参见图3,图3是本申请实施例提供的一种时间差序列生成方法的流程示意图,如图所示,若有10(M=10)个时间点,按照时间顺序从原到近分别为{T1、T2·······T9、T10},则根据T2-T1、T3-T2······T10-T9,可以得到如图3中的301所示的时间差序列为{S1、S2······S9}。
在一种可能的实施方式中,本申请实施例可以每间隔一定时间段进行一次登录时间点的异常登录检测,后一次异常登录检测时的时间差序列可以通过前一次异常登录检测时的时间差序列得到。其中,该时间段的长度可以自行定义,如可以定义为1个小时、5个小时、1天等等,此处不做限制。在根据前一次异常登录检测时的时间差序列得到后一次异常登录检测时的时间差序列时,可以将距当前时间点最近的一个时间段的历史登录时间点确定为待检测登录时间点,并确定根据该待检测登录时间点确定对应的时间差(即目标检测时间差),并将该待检测登录时间点确定对应的时间差加入上一次进行异常登录检测时的时间差序列。
可选的,若根据在上一次进行异常登录检测时的时间差序列中加入时间差后,时间差序列的长度与上一次进行异常登录检测时的时间差序列的长度不同,因此可能造成每次进行异常登录检测时的登录检测结果不稳定的情况。进而,可以对后一次的时间差序列中的时间差进行过滤。如,若后一次进行异常登录检测时的待检测登录时间点对应w个时间差,将上一次时间差序列中时间差对应的历史登录时间点距当前时间点最远的w个时间差删除,从而根据删除后上一次时间差序列与w个时间差生成后一次的时间差序列。
S203、根据时间差序列中N个时间差之间的数值分布规律,对待检测登录时间点进行异常登录检测,得到针对待检测登录时间点的登录检测结果。
其中,该登录检测结果为异常登录检测结果或正常登录检测结果。异常登录检测结果指示该待检测登录时间点为异常登录时间点,该正常登录检测结果指示该待检测登录时间点为正常登录时间点,该时间差序列中的数值分布规律用于指示该时间差序列中的数值在数学领域的数值分布情况,如可以通过数值的集中趋势进行表征(如中位数、平均值、几何平均数等),也可以通过数值的离散程度进行表征(如方差、标准差、离散系数等等)。可选的,对待检测登录时间点进行异常登录检测可以通过异常检测算法进行检测,在后续实施例中详细介绍,此处不做赘述。
在一种可能的实施方式中,对待检测登录时间点进行异常登录检测,得到针对待检测登录时间点的登录检测结果,还可以包括以下步骤:采用第一异常检测算法根据N个时间差之间的数值分布规律,对待检测登录时间点进行异常登录检测,得到第一登录检测结果;采用第二异常检测算法根据N个时间差之间的数值分布规律,对待检测登录时间点进行异常登录检测,得到第二登录检测结果;若第一登录检测结果或第二登录检测结果指示待检测登录时间点为异常登录时间点,则确定登录检测结果为异常登录检测结果;若第一登录检测结果和第二登录检测结果均指示待检测登录时间点为正常登录时间点,则确定检测结果为正常登录检测结果。其中,该第一异常检测算法与第二异常检测算法的检测方式不同,如可以是异常检测算法的算法参数不同,也可以是异常检测算法的判断逻辑不同,此处不做限制。可以理解的是,该第一异常检测算法与第二异常检测算法均可以为任意进行异常登录检测的算法,第一异常检测算法和第二异常检测算法可以是不同的算法。
该第一登录检测结果用于指示根据第一异常检测算法对待检测登录时间点进行异常登录检测所得到的检测结果,该第一登录检测结果可以指示待检测登录时间点为异常登录时间点或正常登录时间点,同理,该第二登录检测结果用于指示根据第二异常检测算法进行异常登录检测所得到的检测结果,该第二登录检测结果指示待检测登录时间点为异常登录时间点或正常登录时间点。可选的,可以将第一登录检测结果与第二登录检测结果之间的并集作为针对待检测登录时间点最终的登录检测结果,即若第一登录检测结果和第二登录检测结果中任意一个指示待检测登录时间点为异常登录时间点,则可以认为针对待检测登录时间点最终的登录检测结果为异常登录检测结果,那么,对应的,第一登录检测结果和第二登录检测结果均指示待检测登录时间点为正常登录时间点时,则可以认为针对待检测登录时间点最终的登录检测结果为正常登录检测结果。可选的,还可以将第一登录检测结果与第二登录检测结果之间的交集作为针对待检测登录时间点最终的检测结果,即若第一登录检测结果和第二登录检测结果均指示待检测登录时间点为异常登录时间点,则可以认为针对待检测登录时间点最终的登录检测结果为异常登录检测结果,那么,对应的,第一登录检测结果和第二登录检测结果中任意一个指示待检测登录时间点为正常登录时间点时,则可以认为针对待检测登录时间点最终的登录检测结果为正常登录检测结果。可选的,还可以利用其他策略对第一登录检测结果与第二登录检测结果金慈宁宫处理,进而得到待检测登录时间点最终的登录检测结果,此处不做赘述。
可选的,本申请还可以采用更多异常检测算法根据N个时间差之间的数值分布规律,对待检测登录时间点进行异常登录检测,从而得到更多候选登录检测结果(如上述第一登录检测结果或第二登录检测结果),再利用结果计算策略根据该多个候选登录检测结果确定最终的登录检测结果。该结果计算策略可以为将多个候选登录检测结果中的占大部分(即超过1/2)的候选登录检测结果确认为最终的登录检测结果,也可以为将该多个候选登录检测结果的交集确认为最终的登录检测结果,还可以为取将多个候选登录检测结果的并确认为最终的登录检测结果集,还可以为当该多个候选登录检测结果中指示待检测登录时间点为异常时间点的候选登录检测结果的数量大于异常数量预设值时,则确认最终的登录检测结果为异常登录检测结果,此处不做赘述。例如,通过异常检测算法A得到的检测结果指示待检测登录时间点为异常登录时间点,通过异常检测算法B得到的检测结果指示待检测登录时间点为正常登录时间点,通过异常检测算法C得到的检测结果指示待检测登录时间点为正常登录时间点,通过异常检测算法D得到的检测结果指示待检测登录时间点为正常登录时间点,若该登录检测结果确定策略为所有异常检测算法的检测结果中超过一半指示待检测登录时间点为异常登录时间点,则确认针对待检测登录时间点最终的登录检测结果为异常登录检测结果。
在一种可能的实施方式中,当确定针对待检测登录时间点的登录检测结果为异常登录检测结果时,可以向客户端发送提示信息以提示用户该待检测登录时间点为异常登录时间点。
本申请实施例提出一种数据检测方案,可以获取在客户端的历史登录时间点,并历史登录时间点中确定待检测登录时间点,从而根据历史登录时间点中任意相邻两个历史登录时间点之间的时间差,生成时间差序列,以便于根据时间差序列的数值分布规律,对待检测登录时间点进行异常登录检测,得到针对待检测登录时间点的登录检测结果,由此可以根据时间差序列的数值分布规律进行登录异常检测,有助于可提高对待检测登录时间点进行异常登录检测的准确性。
基于上述的描述,本申请实施例提出一种数据检测方法。该方法可以由电子设备执行。请参见图4,图4是本申请实施例提供的一种数据检测方法的流程示意图,该方法可以包括步骤S401-S406。
S401、获取在客户端的M个历史登录时间点,并从M个历史登录时间点中确定待检测登录时间点;M为正整数。
S402、根据M个历史登录时间点中任意相邻两个历史登录时间点之间的时间差,生成时间差序列;时间差序列包含N个时间差,N为正整数。
其中,步骤S401-S402可以参照步骤S201-S202的相关描述,此处不做赘述。
S403、从N个时间差中选取目标检测时间差。
其中,该目标检测时间差可以为待检测登录时间点与前驱相邻的历史登录时间点之间的时间差。例如,获取一系列历史登录时间点,按照时间从远到近可以得到{2020010111(时间点1),2020010212(时间点2)…202001130(时间点r),2020011409(时间点r+1),2020011512(时间点r+2),2020011611(时间点r+3)},从而可以得到对应的时间差序列{25…24,27,23},若时间点2020011512(时间点r+2),2020011611(时间点r+3)为待检测登录时间点,则可以通过计算2020011512(时间点r+2)与前驱相邻的历史登录时间点2020011409(时间点r+1)之间的时间差,即上述时间差序列中的倒数第二个时间差(27),计算2020011611(时间点r+3)与前驱相邻的历史登录时间点2020011512(时间点r+2)之间的时间差,即上述时间差序列中的倒数第一个时间差(23),由此可以得到N个时间差中的目标时间差为27小时和23小时。
可以理解的是,根据目标检测时间差的与待检测登录时间点之间的对应关系可以得到,若待检测登录时间点可以为除距当前时间点最远的历史登录时间点之外的全部历史登录时间点,该目标检测时间差可以该N个时间差中的全部时间差(即需要对时间差序列中的所有时间差进行检测),若该待检测登录时间点还可以为M个历史登录时间点中的任意部分登录时间点,该目标检测时间差可以为该N个时间差中的部分时间差(即只需要对时间差序列中的部分时间差进行检测),显然,该目标检测时间差可以为一个也可以为多个,从而可以分别针对每个目标检测时间差进行检测。
S404、根据N个时间差之间的数值分布规律,对目标检测时间差进行检测。
其中,根据时间差之间的数值分布规律对目标检测时间差进行检测指示对目标检测时间差在对应的时间差序列中为异常时间差或正常时间差。可选的,对目标检测时间差进行检测通常可以通过一些序列异常值检测方法进行确定,如可以通过时间差序列中的所有异常值,若该所有异常值中包含目标检测时间差,则确定该目标检测时间差为异常时间差,如调用ESD算法(Extreme Studentized Deviate test,一种序列异常值检测算法)来进行检测;又如,可以通过时间差序列的数值分布规律确定一个异常检测阈值,若该目标检测时间差大于异常检测阈值,则确定该目标检测时间差为异常时间差,如利用k-sigma算法(一种异常值检测算法)来进行检测。又如,还可以采用其他序列异常检测方法来对目标检测时间差进行检测,如神经网络,整合移动平均自回归模型(ARIMA),等等,此处不做限制。
在一种可能的实施方式中,根据N个时间差之间的数值分布规律,对目标检测时间差进行检测,可以包括以下步骤:在针对N个时间差的第i次检测过程中,从N个时间差中确定待检测的N-i+1个时间差;i为正整数;计算N-i+1个时间差之间的第一平均值和第一标准差;第一平均值和第一标准差表征N-i+1个时间差之间的数值分布规律;获取N-i+1个时间差中与第一平均值之间的差值绝对值最大的时间差作为目标时间差,并根据目标时间差对应的差值绝对值以及第一标准差确定针对目标时间差的时间差校验值;根据时间差数量N-i+1和检测次数i确定针对目标时间差的时间差校验阈值;当时间差校验值大于时间差校验阈值时,确认目标时间差为第i次检测过程中的异常时间差;在针对N个时间差的第i+1次检测过程中,将N-i+1个时间差中过滤目标时间差后所得到的时间差确定为待检测的N-(i+1)+1个时间差;若从N-(i+1)+1个时间差中未获取到第i+1次检测过程中的异常时间差,则根据针对N个时间差的第i+1次检测过程之前的检测过程中所获取到的异常时间差生成异常时间差集合;若异常时间差集合包含目标检测时间差,则确定目标检测时间差为异常时间差。
其中,i表示进行对N个时间差进行检测的次数,可以理解的是,i小于或等于N,且在针对目标时间差进行检测的全过程中,i从1开始往上递增,每次增加1。如,i等于1时,从N个时间差中确定待检测的N(即N-1+1)个时间差。该第一平均值用于指示第i次检测过程中,N-i+1个时间差之间的平均值,该第一标准差用于指示第i词检测过程中,N-i+1个时间差之间的标准差,该平均值及标准差均可以通过简单的数学公式计算得到,此处不做赘述。该时间差校验值可以根据公式(1)计算得到:
Figure BDA0003112714960000141
其中,Gi表示在第i次检测中的针对目标时间差的时间差校验值,该
Figure BDA0003112714960000142
表示n个(即N-i+1)时间差中与第一平均值
Figure BDA0003112714960000143
之间的差值绝对值
Figure BDA0003112714960000144
最大,s表示第一标准差。
该时间差校验阈值可以根据公式(2)计算得到:
Figure BDA0003112714960000145
其中,λi表示第i次检测中的针对目标时间差的时间差校验阈值,n表示待检测的时间差的数量(及即N-i+1),tp,n-i-1表示自由度为n-i-1的t分布临界值,p表示置信概率。可以理解的是,i可以从1开始取值,依次对N个时间差进行第1次检测过程、第2次检测过程···第i次检测过程。
进而,对时间差校验值与时间差校验阈值进行比较,当时间差校验值大于时间差校验阈值时,则确认目标时间差为第i次检测过程中的异常时间差,进而在删除目标时间差后,通过公式(1)和(2)计算新的时间差校验值与时间差校验阈值。当时间差校验值小于或等于时间差校验阈值时则确认目标时间差为第i次检测过程中的异常时间差或正常时间差,即未获取到异常时间差,进而停止计算时间差校验值与时间差校验阈值的过程。由此可以通过上述过程的迭代计算,得到异常时间差集合,该异常时间差集合为上述N个时间差(即时间差序列)中的异常时间差。在得到异常时间差集合后,判断该异常时间差集合中是否包含目标检测时间差,若包含,则将被包含的目标检测时间差确定为异常时间差,若不包含,则将不被包含的目标检测时间差确定为正常时间差。可以理解的是,i可以从1开始取值,依次对N个时间差进行第1次检测过程、第2次检测过程···第i次检测过程,若在一次检测过程中检测到异常时间差,则可以继续进行下一次检测过程,下一次检测过程中的待检测的时间差就包括在上一次检测过程中的待检测的时间差中去掉上一次检测过程检测到的异常时间差后所得到的时间差,直到在某个检测过程中未检测到异常时间差,则可以不再进行下一次检测过程,以此可以通过上述过程中得到N个时间差中的异常时间差集合,若该异常时间差中包含目标检测时间差,则该目标检测时间差为异常时间差。
例如,请参见图5,图5是本申请实施例提供的一种异常检测算法的流程示意图。如图4所示,当i=1(第1次检测过程)时,时间差数量为10个(N=10),即{S1、S2······S20},检测到S8为异常时间差,则从该10个时间差中去掉S8,得到剩余的9个时间差,进而根据该9个时间差进行第2次检测过程,检测到S6为异常时间差,则从9个时间差中取出S6,进而得到8个时间差,然后对该8个时间差进行第3次检测,第三次检测过程中为检测出异常时间差,则可以得到上述10个时间差中的异常时间差为S8和S6,若目标检测时间差为S9和S20,显然,S8和S6不包含S9和S20,则可以确认目标检测时间差S9和S20不为异常时间差。
进一步可选的,可以对上述检测过程的异常时间差数量的检出最大占比(即检测出的异常时间差的数量在N个时间差中的占比)进行调整,如果实际异常时间差的占比大于该检出最大占比,则多余的异常时间差不会被检测出来,因此该异常数量检出最大占比不能设置过小。可选的,还可以对确定的目标时间差为最大值或最小值进行选择,即只从最大时间差中确定目标时间差,或从最小时间差中确定目标时间差,或者从最大时间差、最小时间差中均可确定目标时间差。可选的,还可以对时间差序列的显著性水平(也可称显著度,用α表示)进行调整,若需要检测出更多的异常时间差(即异常检测过程的要求更严格),可以将显著度调得更小,那么置信概率p就更大,如定α=0.01,那么置信概率p=1-α=0.99,进而时间差校验阈值更小,检测出的异常时间差更多;若需要检测出更少的异常时间差(即异常检测过程的要求更宽松),可以将显著度调得更搞,那么置信概率p就更小,如α=0.10,即p=0.90;进而时间差校验阈值更大,检测出的异常时间差更小,通常可以将显著度确定为0.05,即α=0.05,p=0.95。
在一种可能的实施方式中,根据N个时间差之间的数值分布规律,对目标检测时间差进行检测,还可以包括以下步骤:计算N个时间差之间的第二平均值以及第二标准差,并根据第二平均值以及第二标准差生成异常检测阈值;若目标检测时间差大于异常检测阈值,则确定目标检测时间差为异常时间差。其中,第二平均值和第二标准差表征N个时间差之间的数值分布规律。
其中,该第二平均值及第二标准差的计算与第一平均值及第一标准差的计算方式相同,此处不做赘述。该异常检测阈值可以根据公式(3)进行计算得到:
Q=k*σ+μ (3)
其中,Q表示异常检测阈值,k表示一个自定义常数,σ第二标准差,该μ表示第二平均值。
进而,当检测到目标检测时间差大于异常检测时间阈值时,确定目标检测时间差为异常时间差,若检测到目标检测时间差小于或异常检测时间阈值时,确定目标检测时间差为正常时间差,也可以说是目标检测时间差远离平均值的k倍标准差越多,则该目标检测时间差的异常程度越高。可选的,该k值可以自行调整,这里的k值设置得越大,检测出异常时间差的要求越严格,异常时间差的检出率越低;反之,k值越小,检测出异常时间差的要求越宽松,异常时间差的检出率越高。
例如,在一个场景中,上述方法可以均可应用于时间差序列服从正态分布的情况,这是由于vpn登录等登录行为是较为有规律的登录行为,因此在历史登录数据足够多的情况下,即得到的时间差序列长度大于一定值时,该时间差序列数据可近似认为服从正态分布,正态分布曲线呈钟型,两头低,中间高,左右对称,请参见图6,图6是一种正态分布曲线的示意图,图中601表示服从该正态分布的数据的平均值。在一般情况下,目标检测时间差超过一个阈值就可以粗略认为是异常数据,而对于近似服从正态分布的时间差序列来说,如果目标检测时间差与平均值的之间差值大于3倍标准差,则可将该目标检测时间差视为异常时间差。目标检测时间差与平均值的之间差值大于3倍标准差的概率约为99.7%,该理论又称为拉依达准则。
在一种可能的实施方式中,待检测登录时间点的个数和目标检测时间差的个数均为S个,S为正整数,进而根据N个时间差之间的数值分布规律,对目标检测时间差进行检测,还可以包括以下步骤:对时间差序列进行分段,得到时间差序列所包含的Z个时间差子序列,Z为正整数;S个目标检测时间差分布在Z个时间差子序列中;分别根据Z个时间差子序列所包含的时间差之间的数值分布规律,对S个待检测登录时间点进行检测。
其中,对时间差序列进行分段从而得到Z个子序列,该Z个子序列之间的时间差可以重复,也可以不重复。可选的,对时间差序列进行分段的依据可以为根据时间差对应的历史登录时间点进行分段,如将一定时间段内的时间差分割为一个时间差子序列。
可选的,S个目标检测时间差分布在Z个时间差子序列中,可以为在Z个时间差子序列中均包含相同的S个目标检测时间差,进而可以根据Z个时间差子序列计算得到每个目标检测时间差对应的Z个检测结果,并对每个目标检测时间差的Z个检测结果进行计算,得到目标检测时间差最终的的检测结果,如对针对每个目标检测时间差的Z个检测结果取交集、并集或其他更复杂的计算方法,从而得到每个目标检测时间差最终的的检测结果,进而根据该目标检测时间差最终的的检测结果确定对应的待检测登录时间点的登录检测结果。进一步可选的,在该Z个时间差子序列中,每个时间差子序列可以包含部分目标检测时间差,但所有时间差子序列中的目标检测时间差的并集应为上述S个目标检测时间差,也就是说,每个时间差子序列中具有部分重复的目标检测时间差,进而根据时间差子序列对目标检测时间差进行检测后,每个目标检测时间差可以具有一个或多个检测结果,从而可以根据该一个或多个检测结果得到最终的检测结果,进而根据该最终的目标检测时间差的检测结果确定对应的待检测登录时间点的登录检测结果。可选的,若该目标检测时间差的数量S大于时间差子序列的数量Z时,可以将S个目标检测时间差不重复地分布至Z个时间差子序列中,每个子序列中的目标检测时间差的数量可以不同,从而根据该Z个时间差子序列对S个目标时间差进行检测,将每个时间差子序列中的目标检测时间差的检测结果确定为每个目标检测时间差最终的检测结果,进而根据该目标检测时间差最终的检测结果确定对应的待检测登录时间点的的登录检测结果。可选的,还可以从Z个时间差子序列选择部分时间差子序列,然后根据该部分时间差子序列的数值分布规律得到目标检测时间差的检测结果,进而得到针对待检测登录时间点的登录检测结果。由此可见,通过对时间差序列进行分段,并根据分段得到的每个时间差序列对待检测登录时间点进行检测,可以使得本申请提供的方案能适应更多的场景,例如,节假日与工作日时,用户登录客户端的频率可能存在不同,当待检测登录时间点为节假日中的登录时间点时,若获取的M个历史登录时间中存在大量工作日时的时间差,那么检测到的针对节假日中的待检测登录时间点可能不够准确,那么可以对得到的时间差序列进行分段,进而将同样为节假日内的历史登录时间点对应的时间差与目标检测时间差确定为一个时间差子序列,进而根据时间差子序列对待检测时间差点进行检测,得到待检测登录时间点的登录检测结果,大大提高了登录检测结果的准确性。
S405、若检测到目标检测时间差为异常时间差,则确定针对待检测登录时间点的登录检测结果为异常登录检测结果。
其中,该目标检测时间差为异常时间差可以通过步骤S404进行确定,若该目标检测时间差为异常时间差时,对应的待检测登录时间点的登录检测结果为异常登录检测结果。例如,获取一系列历史登录时间点,按照时间从远到近可以得到{2020010111(时间点1),2020010212(时间点2)…202001130(时间点r),2020011409(时间点r+1),2020011512(时间点r+2),2020011801(时间点r+3)},待检测登录时间点为2020011512(时间点r+2),2020011801(时间点r+3),从而可以得到对应的时间差序列{25…24,27,50},目标检测时间差为27和50,若检测到目标检测时间差50为异常时间差,则确定2020011801(时间点r+3)的登录检测结果为异常登录检测结果。
S406、若检测到目标检测时间差为正常时间差,则确定针对待检测登录时间点的登录检测结果为正常登录检测结果。
其中,该目标检测时间差为异常时间差可以通过步骤S404进行确定,若该目标检测时间差为异常时间差时,对应的待检测登录时间点的登录检测结果为异常登录检测结果。例如,获取一系列历史登录时间点,按照时间从远到近可以得到{2020010111(时间点1),2020010212(时间点2)…202001130(时间点r),2020011409(时间点r+1),2020011512(时间点r+2),2020011801(时间点r+3)},待检测登录时间点为2020011512(时间点r+2),2020011801(时间点r+3),从而可以得到对应的时间差序列{25…24,27,50},目标检测时间差为27和50,若检测到目标检测时间差27为正常时间差,则确定2020011512(时间点r+2),的登录检测结果为正常登录检测结果。
可以理解的是,针对待检测登录时间点的登录检测结果的确定可以从步骤S405与步骤S406可以任选一个步骤进行执行。
例如,本申请实施例可以应用于一个安全检测应用进行异常登录检测的场景,请参见图7,图7是本申请实施例提供的一种数据检测方法的流程示意图。该安全检测应用可以获取登录目标客户端的一个或多个目标用户的登录数据(即步骤S701),该登录数据包括每个目标用户的历史登录时间点。然后根据获取的历史登录时间点生成时间差序列(即步骤S702),也可以称为数据提取,即将用户的登录数据(如历史登录时间点)提取为登录时间差序列;安全检测应用可以定时获取每个目标用户的新的登录数据,如每隔1小时获取一次登录数据,当最近一次获取登录数据后,根据最新获取的登录数据更新时间差序列(即步骤S703),最新获取的登录时间点即为待检测登录时间点,然后对更新后的时间差序列进行数据过滤,具体可以包括,过滤掉时间差序列的长度小于预设值a的时间差序列(即步骤S704),过滤掉时间差序列中按时间顺序时排序为预设值b之前的时间差(即步骤S705),过滤掉时间差序列中时间差对应的历史登录时间点与当前时间点之间的差值大于预设值c的时间差(即步骤S706);进而可以对过滤后的时间差序列进行检测,如,可以调用ESD算法和k-sigma算法对过滤后的时间差序列进行异常登录检测(即步骤S707和步骤S708),确定待检测登录时间点是否异常,最终根据该两种异常检测算法的并集或交集得到该待检测登录时间点的登录检测结果(即步骤S709),实现结果集成,以便于生成提示信息进行显示以提示对应的目标用户在待检测登录时间点存在异常登录时间(即步骤S710),结束本次定时调度。进一步的,在生成提示信息后,可以通过安全检测页面进行显示,例如,请参见图8,图8是本申请实施例提供的一种安全检测页面的效果示意图,该安全检测页面中可以包括异常信息提示区域,该异常信息提示区域可以用于提示该待检测登录时间点的异常登录检测结果,如图中801所示,该异常提示消息可以显示为一个异常项。
本申请实施例提出一种数据检测方案,可以获取在客户端的历史登录时间点,并历史登录时间点中确定待检测登录时间点,从而根据历史登录时间点中任意相邻两个历史登录时间点之间的时间差,生成时间差序列,以便于根据时间差序列的数值分布规律,对待检测登录时间点进行异常登录检测,得到针对待检测登录时间点的登录检测结果,由此可以根据时间差序列的数值分布规律进行登录异常检测,有助于可提高对待检测登录时间点进行异常登录检测的准确性。
基于上述数据检测方法实施例的描述,本申请实施例还公开了一种数据检测装置,该装置可以配置于上述的电子设备中,例如装置可以是运行于电子设备中的一个计算机程序(包括程序代码)。该装置可以执行图9所示的方法。请参见图9,该装置可以运行如下模块:
获取模块901,用于获取在客户端的M个历史登录时间点,并从M个历史登录时间点中确定待检测登录时间点;M为正整数;
处理模块902,用于根据M个历史登录时间点中任意相邻两个历史登录时间点之间的时间差,生成时间差序列;时间差序列包含N个时间差,N为正整数;
处理模块902,还用于根据时间差序列中N个时间差之间的数值分布规律,对待检测登录时间点进行异常登录检测,得到针对待检测登录时间点的登录检测结果;登录检测结果为异常登录检测结果或正常登录检测结果。
在一种实施方式中,处理模块902,具体用于:
从N个时间差中选取目标检测时间差,目标检测时间差为待检测登录时间点与前驱相邻的历史登录时间点之间的时间差;
根据N个时间差之间的数值分布规律,对目标检测时间差进行检测;
若检测到目标检测时间差为异常时间差,则确定针对待检测登录时间点的登录检测结果为异常登录检测结果;
若检测到目标检测时间差为正常时间差,则确定针对待检测登录时间点的登录检测结果为正常登录检测结果。
在一种实施方式中,处理模块902,具体用于:
在针对N个时间差的第i次检测过程中,从N个时间差中确定待检测的N-i+1个时间差;i为正整数;
计算N-i+1个时间差之间的第一平均值和第一标准差;第一平均值和第一标准差表征N-i+1个时间差之间的数值分布规律;
获取N-i+1个时间差中与第一平均值之间的差值绝对值最大的时间差作为目标时间差,并根据目标时间差对应的差值绝对值以及第一标准差确定针对目标时间差的时间差校验值;
根据时间差数量N-i+1和检测次数i确定针对目标时间差的时间差校验阈值;
当时间差校验值大于时间差校验阈值时,确认目标时间差为第i次检测过程中的异常时间差;
在针对N个时间差的第i+1次检测过程中,将N-i+1个时间差中过滤目标时间差后所得到的时间差确定为待检测的N-(i+1)+1个时间差;
若从N-(i+1)+1个时间差中未获取到第i+1次检测过程中的异常时间差,则根据针对N个时间差的第i+1次检测过程之前的检测过程中所获取到的异常时间差生成异常时间差集合;
若异常时间差集合包含目标检测时间差,则确定目标检测时间差为异常时间差。
在一种实施方式中,处理模块902,具体用于:
计算N个时间差之间的第二平均值以及第二标准差,并根据第二平均值以及第二标准差生成异常检测阈值;
若目标检测时间差大于异常检测阈值,则确定目标检测时间差为异常时间差。
其中,第二平均值和第二标准差表征N个时间差之间的数值分布规律。
在一种实施方式中,待检测登录时间点的个数和目标检测时间差的个数均为S个,S为正整数;处理模块902,具体用于:
对时间差序列进行分段,得到时间差序列所包含的Z个时间差子序列,Z为正整数;一个时间差子序列包含S个目标检测时间差中的一个或多个时间差;
分别根据Z个时间差子序列所包含的时间差之间的数值分布规律,对S个待检测登录时间点进行检测。
在一种实施方式中,处理模块902,具体用于:
采用第一异常检测算法根据N个时间差之间的数值分布规律,对待检测登录时间点进行异常登录检测,得到第一登录检测结果;
采用第二异常检测算法根据N个时间差之间的数值分布规律,对待检测登录时间点进行异常登录检测,得到第二登录检测结果;
若第一登录检测结果或第二登录检测结果指示待检测登录时间点为异常登录时间点,则确定登录检测结果为异常登录检测结果;
若第一登录检测结果和第二登录检测结果均指示待检测登录时间点为正常登录时间点,则确定检测结果为正常登录检测结果。
在一种实施方式中,处理模块902,具体用于:
获取在客户端的M个登录时间段对应的M个登录时间集合;一个登录时间段对应一个登录时间集合;一个登录时间集合包含在客户端的对应登录时间段内的一个或多个登录时间点;
分别从每个登录时间集合中选取目标登录时间点,并将每个登录时间集合中的目标登录时间点作为M个历史登录时间点。
在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以是两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现,本申请不做限定。
再请参见图10,是本申请实施例的一种电子设备的结构示意图,本申请实施例的电子设备包括处理器1001以及存储器1002。可选的,该电子设备还可包括网络接口1003或供电模块等结构。其中,处理器1001、存储器1002以及网络接口1003之间可以交互数据,网络接口1003受处理器的控制用于收发消息,存储器1002用于存储计算机程序,计算机程序包括程序指令,处理器1001用于执行存储器1002存储的程序指令。其中,处理器1001被配置用于调用程序指令执行上述方法。
存储器1002可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器1002也可以包括非易失性存储器(non-volatilememory),例如快闪存储器(flash memory),固态硬盘(solid-state drive,SSD)等;存储器1002还可以包括上述种类的存储器的组合。
处理器1001可以是中央处理器1001(central processing unit,CPU)。在一个实施例中,处理器1001还可以是图形处理器1001(Graphics Processing Unit,GPU)。处理器1001也可以是由CPU和GPU的组合。
在一个实施例中,存储器1002用于存储程序指令。处理器1001可以调用程序指令,执行以下步骤:
获取在客户端的M个历史登录时间点,并从M个历史登录时间点中确定待检测登录时间点;M为正整数;
根据M个历史登录时间点中任意相邻两个历史登录时间点之间的时间差,生成时间差序列;时间差序列包含N个时间差,N为正整数;
根据时间差序列中N个时间差之间的数值分布规律,对待检测登录时间点进行异常登录检测,得到针对待检测登录时间点的登录检测结果;登录检测结果为异常登录检测结果或正常登录检测结果。
在一种实施方式中,处理器1001具体用于执行:
从N个时间差中选取目标检测时间差,目标检测时间差为待检测登录时间点与前驱相邻的历史登录时间点之间的时间差;
根据N个时间差之间的数值分布规律,对目标检测时间差进行检测;
若检测到目标检测时间差为异常时间差,则确定针对待检测登录时间点的登录检测结果为异常登录检测结果;
若检测到目标检测时间差为正常时间差,则确定针对待检测登录时间点的登录检测结果为正常登录检测结果。
在一种实施方式中,处理器1001具体用于执行:
在针对N个时间差的第i次检测过程中,从N个时间差中确定待检测的N-i+1个时间差;i为正整数;
计算N-i+1个时间差之间的第一平均值和第一标准差;第一平均值和第一标准差表征N-i+1个时间差之间的数值分布规律;
获取N-i+1个时间差中与第一平均值之间的差值绝对值最大的时间差作为目标时间差,并根据目标时间差对应的差值绝对值以及第一标准差确定针对目标时间差的时间差校验值;
根据时间差数量N-i+1和检测次数i确定针对目标时间差的时间差校验阈值;
当时间差校验值大于时间差校验阈值时,确认目标时间差为第i次检测过程中的异常时间差;
在针对N个时间差的第i+1次检测过程中,将N-i+1个时间差中过滤目标时间差后所得到的时间差确定为待检测的N-(i+1)+1个时间差;
若从N-(i+1)+1个时间差中未获取到第i+1次检测过程中的异常时间差,则根据针对N个时间差的第i+1次检测过程之前的检测过程中所获取到的异常时间差生成异常时间差集合;
若异常时间差集合包含目标检测时间差,则确定目标检测时间差为异常时间差。
在一种实施方式中,处理器1001具体用于执行:
计算N个时间差之间的第二平均值以及第二标准差,并根据第二平均值以及第二标准差生成异常检测阈值;
若目标检测时间差大于异常检测阈值,则确定目标检测时间差为异常时间差。
其中,第二平均值和第二标准差表征N个时间差之间的数值分布规律。
在一种实施方式中,待检测登录时间点的个数和目标检测时间差的个数均为S个,S为正整数;处理器1001具体用于执行:
对时间差序列进行分段,得到时间差序列所包含的Z个时间差子序列,Z为正整数;一个时间差子序列包含S个目标检测时间差中的一个或多个时间差;
分别根据Z个时间差子序列所包含的时间差之间的数值分布规律,对S个待检测登录时间点进行检测。
在一种实施方式中,处理器1001具体用于执行:
采用第一异常检测算法根据N个时间差之间的数值分布规律,对待检测登录时间点进行异常登录检测,得到第一登录检测结果;
采用第二异常检测算法根据N个时间差之间的数值分布规律,对待检测登录时间点进行异常登录检测,得到第二登录检测结果;
若第一登录检测结果或第二登录检测结果指示待检测登录时间点为异常登录时间点,则确定登录检测结果为异常登录检测结果;
若第一登录检测结果和第二登录检测结果均指示待检测登录时间点为正常登录时间点,则确定检测结果为正常登录检测结果。
在一种实施方式中,处理器1001具体用于执行:
获取在客户端的M个登录时间段对应的M个登录时间集合;一个登录时间段对应一个登录时间集合;一个登录时间集合包含在客户端的对应登录时间段内的一个或多个登录时间点;
分别从每个登录时间集合中选取目标登录时间点,并将每个登录时间集合中的目标登录时间点作为M个历史登录时间点。
具体实现中,本申请实施例中所描述的装置、处理器1001、存储器1002等可执行上述方法实施例所描述的实现方式,也可执行本申请实施例所描述的实现方式,在此不再赘述。
本申请实施例中还提供一种计算机(可读)存储介质,计算机存储介质存储有计算机程序,计算机程序包括程序指令,程序指令被处理器执行时,可执行上述方法实施例中所执行的部分或全部步骤。可选的,该计算机存储介质可以是易失性的,也可以是非易失性的。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括程序指令,该程序指令可存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该程序指令,处理器执行该程序指令,使得该计算机执行上述方法中所执行的部分或全部步骤,这里不再赘述。
在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于计算机存储介质中,该计算机存储介质可以为计算机可读存储介质,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所揭露的仅为本申请的部分实施例而已,当然不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本申请权利要求所作的等同变化,仍属于本申请所涵盖的范围。

Claims (10)

1.一种数据检测方法,其特征在于,所述方法包括:
获取在客户端的M个历史登录时间点,并从所述M个历史登录时间点中确定待检测登录时间点;M为正整数;
根据所述M个历史登录时间点中任意相邻两个历史登录时间点之间的时间差,生成时间差序列;所述时间差序列包含N个时间差,N为正整数;
根据所述时间差序列中所述N个时间差之间的数值分布规律,对所述待检测登录时间点进行异常登录检测,得到针对所述待检测登录时间点的登录检测结果;所述登录检测结果为异常登录检测结果或正常登录检测结果。
2.根据权利要求1所述方法,其特征在于,所述根据所述时间差序列中所述N个时间差之间的数值分布规律,对所述待检测登录时间点进行异常登录检测,得到针对所述待检测登录时间点的登录检测结果,包括:
从所述N个时间差中选取目标检测时间差,所述目标检测时间差为所述待检测登录时间点与前驱相邻的历史登录时间点之间的时间差;
根据所述N个时间差之间的数值分布规律,对所述目标检测时间差进行检测;
若检测到所述目标检测时间差为异常时间差,则确定针对所述待检测登录时间点的所述登录检测结果为所述异常登录检测结果;
若检测到所述目标检测时间差为正常时间差,则确定针对所述待检测登录时间点的所述登录检测结果为所述正常登录检测结果。
3.根据权利要求2所述方法,其特征在于,所述根据所述N个时间差之间的数值分布规律,对所述目标检测时间差进行检测,包括:
在针对所述N个时间差的第i次检测过程中,从所述N个时间差中确定待检测的N-i+1个时间差;i为正整数;
计算所述N-i+1个时间差之间的第一平均值和第一标准差;所述第一平均值和所述第一标准差表征所述N-i+1个时间差之间的数值分布规律;
获取所述N-i+1个时间差中与所述第一平均值之间的差值绝对值最大的时间差作为目标时间差,并根据所述目标时间差对应的所述差值绝对值以及所述第一标准差确定针对所述目标时间差的时间差校验值;
根据时间差数量N-i+1和检测次数i确定针对所述目标时间差的时间差校验阈值;
当所述时间差校验值大于所述时间差校验阈值时,确认所述目标时间差为所述第i次检测过程中的异常时间差;
在针对所述N个时间差的第i+1次检测过程中,将所述N-i+1个时间差中过滤所述目标时间差后所得到的时间差确定为待检测的N-(i+1)+1个时间差;
若从所述N-(i+1)+1个时间差中未获取到所述第i+1次检测过程中的异常时间差,则根据针对所述N个时间差的所述第i+1次检测过程之前的检测过程中所获取到的异常时间差生成异常时间差集合;
若所述异常时间差集合包含所述目标检测时间差,则确定所述目标检测时间差为异常时间差。
4.根据权利要求2所述方法,其特征在于,所述根据所述N个时间差之间的数值分布规律,对所述目标检测时间差进行检测,包括:
计算所述N个时间差之间的第二平均值以及第二标准差,并根据所述第二平均值以及所述第二标准差生成异常检测阈值;
若所述目标检测时间差大于所述异常检测阈值,则确定所述目标检测时间差为异常时间差;
其中,所述第二平均值和所述第二标准差表征所述N个时间差之间的数值分布规律。
5.根据权利要求2所述方法,其特征在于,所述待检测登录时间点的个数和所述目标检测时间差的个数均为S个,S为正整数;
根据所述N个时间差之间的数值分布规律,对所述目标检测时间差进行检测,包括:
对所述时间差序列进行分段,得到所述时间差序列所包含的Z个时间差子序列,Z为正整数;一个时间差子序列包含所述S个目标检测时间差中的一个或多个时间差;
分别根据所述Z个时间差子序列所包含的时间差之间的数值分布规律,对所述S个待检测登录时间点进行检测。
6.根据权利要求1所述方法,其特征在于,所述根据所述时间差序列中所述N个时间差之间的数值分布规律,对所述待检测登录时间点进行异常登录检测,得到针对所述待检测登录时间点的登录检测结果,包括:
采用第一异常检测算法根据所述N个时间差之间的数值分布规律,对所述待检测登录时间点进行异常登录检测,得到第一登录检测结果;
采用第二异常检测算法根据所述N个时间差之间的数值分布规律,对所述待检测登录时间点进行异常登录检测,得到第二登录检测结果;
若所述第一登录检测结果或所述第二登录检测结果指示所述待检测登录时间点为异常登录时间点,则确定所述登录检测结果为所述异常登录检测结果;
若所述第一登录检测结果和所述第二登录检测结果均指示所述待检测登录时间点为正常登录时间点,则确定所述检测结果为所述正常登录检测结果。
7.根据权利要求1所述方法,其特征在于,所述获取在客户端的M个历史登录时间点,包括:
获取在客户端的M个登录时间段对应的M个登录时间集合;一个登录时间段对应一个登录时间集合;一个登录时间集合包含在所述客户端的对应登录时间段内的一个或多个登录时间点;
分别从每个登录时间集合中选取目标登录时间点,并将所述每个登录时间集合中的目标登录时间点作为所述M个历史登录时间点。
8.一种数据检测装置,其特征在于,包括:
获取模块,用于获取在客户端的M个历史登录时间点,并从所述M个历史登录时间点中确定待检测登录时间点;M为正整数;
处理模块,用于根据所述M个历史登录时间点中任意相邻两个历史登录时间点之间的时间差,生成时间差序列;所述时间差序列包含N个时间差,N为正整数;
所述处理模块,还用于根据所述时间差序列中所述N个时间差之间的数值分布规律,对所述待检测登录时间点进行异常登录检测,得到针对所述待检测登录时间点的登录检测结果;所述登录检测结果为异常登录检测结果或正常登录检测结果。
9.一种电子设备,其特征在于,包括处理器和存储器所述处理器与所述存储器相互连接,其中,所述存储器用于存储计算机程序指令,所述处理器被配置用于执行所述程序指令,实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序指令,所述计算机程序指令被处理器执行时,用于执行如权利要求1-7任一项所述的方法。
CN202110658225.6A 2021-06-11 2021-06-11 一种数据检测方法、装置、电子设备及介质 Active CN113312239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110658225.6A CN113312239B (zh) 2021-06-11 2021-06-11 一种数据检测方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110658225.6A CN113312239B (zh) 2021-06-11 2021-06-11 一种数据检测方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN113312239A true CN113312239A (zh) 2021-08-27
CN113312239B CN113312239B (zh) 2024-03-15

Family

ID=77378851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110658225.6A Active CN113312239B (zh) 2021-06-11 2021-06-11 一种数据检测方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113312239B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113778832A (zh) * 2021-09-28 2021-12-10 京东方科技集团股份有限公司 设备信息处理方法及装置、可读存储介质、电子设备
CN114243867A (zh) * 2022-01-20 2022-03-25 上海玫克生智能科技有限公司 电池均衡优化容量估计方法、系统、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2013136682A (ru) * 2013-08-05 2015-02-10 Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) Способ анализа информационного потока и определения состояния защищенности сети на основе адаптивного прогнозирования и устройство для его осуществления
CN106933843A (zh) * 2015-12-29 2017-07-07 阿里巴巴集团控股有限公司 数据库心跳检测方法以及装置
CN108028776A (zh) * 2015-09-24 2018-05-11 华为技术有限公司 用于多视图学习式异常检测及根本原因分析的系统和方法
CN109951449A (zh) * 2019-02-01 2019-06-28 国美网安科技有限公司 一种异常登录检测方法、装置、电子设备及存储介质
WO2020006841A1 (zh) * 2018-07-06 2020-01-09 平安科技(深圳)有限公司 用电量异常检测方法、装置、终端及计算机可读存储介质
CN110888788A (zh) * 2019-10-16 2020-03-17 平安科技(深圳)有限公司 异常检测方法、装置、计算机设备及存储介质
CN111061620A (zh) * 2019-12-27 2020-04-24 福州林科斯拉信息技术有限公司 一种混合策略的服务器异常智能检测方法及检测系统
CN111310139A (zh) * 2020-01-21 2020-06-19 腾讯科技(深圳)有限公司 行为数据识别方法、装置及存储介质
CN111818066A (zh) * 2020-07-14 2020-10-23 腾讯科技(深圳)有限公司 一种风险检测方法及装置
CN112380044A (zh) * 2020-12-04 2021-02-19 腾讯科技(深圳)有限公司 数据异常检测方法、装置、计算机设备和存储介质
CN112905370A (zh) * 2019-12-03 2021-06-04 中兴通讯股份有限公司 拓扑图生成方法、异常检测方法、装置、设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2013136682A (ru) * 2013-08-05 2015-02-10 Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) Способ анализа информационного потока и определения состояния защищенности сети на основе адаптивного прогнозирования и устройство для его осуществления
CN108028776A (zh) * 2015-09-24 2018-05-11 华为技术有限公司 用于多视图学习式异常检测及根本原因分析的系统和方法
CN106933843A (zh) * 2015-12-29 2017-07-07 阿里巴巴集团控股有限公司 数据库心跳检测方法以及装置
WO2020006841A1 (zh) * 2018-07-06 2020-01-09 平安科技(深圳)有限公司 用电量异常检测方法、装置、终端及计算机可读存储介质
CN109951449A (zh) * 2019-02-01 2019-06-28 国美网安科技有限公司 一种异常登录检测方法、装置、电子设备及存储介质
CN110888788A (zh) * 2019-10-16 2020-03-17 平安科技(深圳)有限公司 异常检测方法、装置、计算机设备及存储介质
CN112905370A (zh) * 2019-12-03 2021-06-04 中兴通讯股份有限公司 拓扑图生成方法、异常检测方法、装置、设备及存储介质
CN111061620A (zh) * 2019-12-27 2020-04-24 福州林科斯拉信息技术有限公司 一种混合策略的服务器异常智能检测方法及检测系统
CN111310139A (zh) * 2020-01-21 2020-06-19 腾讯科技(深圳)有限公司 行为数据识别方法、装置及存储介质
CN111818066A (zh) * 2020-07-14 2020-10-23 腾讯科技(深圳)有限公司 一种风险检测方法及装置
CN112380044A (zh) * 2020-12-04 2021-02-19 腾讯科技(深圳)有限公司 数据异常检测方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
饶爱水;何剑伟;李永刚;李清梅;汪毅;张龙;: "接收机钟差估计的伪距异常值检测方法", 中国惯性技术学报, no. 06 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113778832A (zh) * 2021-09-28 2021-12-10 京东方科技集团股份有限公司 设备信息处理方法及装置、可读存储介质、电子设备
CN113778832B (zh) * 2021-09-28 2024-05-14 京东方科技集团股份有限公司 设备信息处理方法及装置、可读存储介质、电子设备
CN114243867A (zh) * 2022-01-20 2022-03-25 上海玫克生智能科技有限公司 电池均衡优化容量估计方法、系统、电子设备及存储介质
CN114243867B (zh) * 2022-01-20 2022-10-11 上海玫克生智能科技有限公司 电池均衡优化容量估计方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN113312239B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
KR102485652B1 (ko) 그래프 데이터 처리 방법, 그래프 데이터 계산 태스크들을 공개하는 방법 및 디바이스, 저장 매체 및 컴퓨터 장치
EP3373543B1 (en) Service processing method and apparatus
CA3060877C (en) Automated identification of device status and resulting dynamic modification of device operations
CN109614238B (zh) 一种目标对象识别方法、装置、系统及可读存储介质
US20170061322A1 (en) Automatic generation of training data for anomaly detection using other user's data samples
CN113312239B (zh) 一种数据检测方法、装置、电子设备及介质
CN110109750B (zh) 虚拟资源获取方法、装置、计算机设备和存储介质
CN108805174B (zh) 聚类方法及装置
US10789146B2 (en) Forecasting resource utilization
US20150172096A1 (en) System alert correlation via deltas
CN111783982A (zh) 攻击样本的获取方法、装置、设备及介质
CN112131274A (zh) 时间序列异常点的检测方法、装置、设备及可读存储介质
EP3742322A1 (en) Operational policies or industrial field devices and distributed databases
CN116645132A (zh) 基于多因子变量的时序预测方法、装置、电子设备及介质
CN105323145A (zh) 恶意信息识别方法、恶意信息识别装置及系统
CN111258854B (zh) 模型训练方法、基于预测模型的报警方法和相关装置
US9560027B1 (en) User authentication
CN114710397B (zh) 服务链路的故障根因定位方法、装置、电子设备及介质
CN116361153A (zh) 固件代码的测试方法、装置、电子设备、存储介质
US11599793B2 (en) Data integration demand management using artificial intelligence
US11664129B2 (en) Mini-batch top-k-medoids for extracting specific patterns from CGM data
WO2021011103A1 (en) Smoothed seasonality-based dynamic thresholds for anomalous computing resource usage detection
CN116755866B (zh) 一种资源调度方法、装置、电子设备及可读存储介质
CN111783486A (zh) 一种读卡器设备的维护预警方法及装置
WO2020043897A1 (en) Method and system for managing operation associated with an object on iot enabled devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40050654

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant