CN110830448A - 目标事件的流量异常检测方法、装置、电子设备及介质 - Google Patents
目标事件的流量异常检测方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN110830448A CN110830448A CN201910981372.XA CN201910981372A CN110830448A CN 110830448 A CN110830448 A CN 110830448A CN 201910981372 A CN201910981372 A CN 201910981372A CN 110830448 A CN110830448 A CN 110830448A
- Authority
- CN
- China
- Prior art keywords
- time point
- target event
- target
- current time
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本说明书实施例提供了一种目标事件的流量异常检测方法、装置、电子设备及介质,通过预先设置流量预测模型,结合目标事件当前时间点的前k个时间点的真实流量数据,得到当前时间点的预测流量数据,进而通过预设的概率分布模型得到当前时间点的真实流量数据与预测流量数据之间的差异值出现的概率值,通过该概率值确定目标事件在当前时间点的真实流量数据是否存在异常。
Description
技术领域
本说明书实施例涉及互联网技术领域,尤其涉及一种目标事件的流量异常检测方法、装置、电子设备及介质。
背景技术
随着互联网技术的发展,网络业务平台承载的网络业务如支付、购物、转账等逐渐增多。网络业务平台的业务运营风险分析与控制成为网络业务平台越来越重视的问题。网络业务平台的流量异常监控对于风险分析有着关键的作用。但传统的流量异常报警方法一般需要人工根据专家经验设置报警阈值,需要结合大量低效的人力资源,且异常检测结果的准确性较低,容易出现误报或者是漏报的情况,不仅导致系统资源的浪费,还会严重影响风险分析结果的准确性。
发明内容
本说明书实施例提供了一种目标事件的流量异常检测方法、装置、电子设备及介质。
第一方面,本说明书实施例提供了一种目标事件的流量异常检测方法,包括:获取目标事件在当前时间点的真实流量数据以及所述目标事件在当前时间点的前k个时间点的真实流量数据,其中,k为大于或等于1的整数,所述当前时间点的真实流量数据为所述目标事件在前一个时间点到所述当前时间点之间的时间段内的流量数据统计值;将所述目标事件在当前时间点的前k个时间点的真实流量数据输入预设的流量预测模型,得到所述目标事件在当前时间点的预测流量数据,其中,所述流量预测模型为根据所述目标事件的历史流量数据训练得到的机器学习模型;获取所述目标事件在当前时间点的真实流量数据与所述预测流量数据之间的差异值,并将所述差异值输入预设的概率分布模型,得到所述差异值出现的概率值;基于所述概率值,确定所述目标事件在当前时间点的真实流量数据是否存在异常。
第二方面,本说明书实施例提供了一种目标事件的流量异常检测装置,包括:流量获取模块,用于获取目标事件在当前时间点的真实流量数据以及所述目标事件在当前时间点的前k个时间点的真实流量数据,其中,k为大于或等于1的整数,所述当前时间点的真实流量数据为所述目标事件在前一个时间点到所述当前时间点之间的时间段内的流量数据统计值;流量预测模块,用于将所述目标事件在当前时间点的前k个时间点的真实流量数据输入预设的流量预测模型,得到所述目标事件在当前时间点的预测流量数据,其中,所述流量预测模型为根据所述目标事件的历史流量数据训练得到的机器学习模型;概率获取模块,用于获取所述目标事件在当前时间点的真实流量数据与所述预测流量数据之间的差异值,并将所述差异值输入预设的概率分布模型,得到所述差异值出现的概率值;检测模块,用于基于所述概率值,确定所述目标事件在当前时间点的真实流量数据是否存在异常。
第三方面,本说明书实施例提供了一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述第一方面提供的目标事件的流量异常检测方法的步骤。
第四方面,本说明书实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一方面提供的目标事件的流量异常检测方法的步骤。
本说明书一个实施例提供的目标事件的流量异常检测方法,通过预先设置流量预测模型,用目标事件的当前时间点的前k个时间点的真实流量数据,来预测当前时间点的流量数据,得到当前时间点的预测流量数据,然后通过预设的概率分布模型得到当前时间点的真实流量数据与预测流量数据的差异值出现的概率值,进而基于该概率值确定目标事件在当前时间点的真实流量数据是否存在异常。通过上述差异值出现的概率值能够有效地衡量当前时间点真实流量数据的异常程度,出现的概率越大,表示这种差异在历史流量预测过程中出现的越多,即当前时间点的真实流量数据符合历史流量数据的变化规律,则存在异常的可能性越小,反之,存在异常的可能性越大。通过上述差异值在历史预测结果中出现的概率来得到当前时间点真实流量数据是否异常,能够充分结合历史流量数据的发展趋势,不仅有利于提高异常检测结果的准确性,降低误报或者是漏报导致的系统资源的浪费,还有利于实现目标事件流量的实时异常告警,从而有利于保证网络业务平台的正常运行。
附图说明
图1为一种适用于本说明书实施例的一种运行环境示意图;
图2为本说明书实施例第一方面提供的一种目标事件的流量异常检测方法的流程图;
图3为本说明书实施例第二方面提供的一种目标事件的流量异常检测装置的模块框图;
图4为本说明书实施例第三方面提供的一种电子设备的结构示意图。
具体实施方式
请参见图1,为适用于本说明书实施例的一种运行环境示意图。如图1所示,一个或多个用户终端100可通过网络200与一个或多个服务器300(图1中仅示出一个)相连,以进行数据通信或交互。其中,用户终端100可以是个人电脑(Personal Computer,PC)、笔记本电脑、平板电脑、智能手机、电子阅读器、车载设备、网络电视或可穿戴设备等具有网络连接功能的智能设备。
用户终端100中安装有客户端,与服务器端相对应,用于为用户展示网络业务平台中承载的业务。用户终端100上安装的客户端可以是浏览器或应用程序。用户可以通过客户端触发目标事件例如商户签约事件、交易事件或注册事件等,使得客户端向网络业务平台的服务器侧发起目标事件的处理请求。本说明书实施例提供的目标事件的流量异常检测方法用于对目标事件的流量数据进行异常检测,可以由上述服务器执行,或者,也可以由能够对网络业务平台中目标事件的流量数据进行监控的监控服务器执行。
为了更好的理解本说明书实施例提供的技术方案,下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明,应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明,而不是对本说明书技术方案的限定,在不冲突的情况下,本说明书实施例以及实施例中的技术特征可以相互组合。本说明书实施例中,术语“多个”表示“两个以上”,即包括两个或大于两个的情况。术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本说明书实施例提供的目标事件的流量异常检测方法可以应用于多种场景下的流量异常检测,例如,可以应用于对网络业务平台的商户签约事件的流量异常检测,可以应用于个人账户资金流入和/或流出事件的流量异常检测,或者还可以应用于对网络业务平台的注册事件的流量异常检测等。
为了方便描述,本说明书实施例主要以应用于对商户签约事件进行流量异常检测为例对本技术方案进行说明。本说明书实施例中,商户签约事件可以是商户在申请准入网络业务平台的场景中在线向平台提交签约请求,并完成签约的事件;或者是商户需要授权网络业务平台提供的某一项业务或功能的场景下,向所接入的网络业务平台进行签约授权,例如,授权目标小程序的服务提供方访问各类隐私数据、开通部分重要权限或者授权资金流转等;又或者还可以是其他场景下的签约事件,本说明书不作限制。在提供商户接入的网络业务平台如支付平台中,商户签约准入管理和风险识别对于网络业务平台的正常运行尤为重要。而在商户签约准入管理和风险识别的过程中,对平台中商户签约量进行异常监控对分析和监控平台商户的准入风险有着关键的作用。由此,异常监控结果的准确性严重影响着网络业务平台的风险分析结果的可靠性,需要一种较准确的流量异常检测方法。
需要说明的是,本说明书实施例中所述的商户是指广义上的商户,具体是指与网络业务平台签约的用户,可以包括个人用户、个体工商户以及企业等。
第一方面,本说明书实施例提供了一种目标事件的流量异常检测方法,如图2所示,所述方法至少可以包括以下步骤S200-步骤S206。
步骤S200,获取目标事件在当前时间点的真实流量数据以及所述目标事件在当前时间点的前k个时间点的真实流量数据。
目标事件即为需要进行流量异常检测的事件,例如,可以为商户签约事件、账户资金交易事件、或账户注册事件等。以目标事件为商户签约事件为例,网络支付平台提供多种支付业务例如收钱码、当面付、APP支付或手机网站支付等,商户可以针对某一项或多项支付业务与网络支付平台签约,在被准入后,实现对相应支付业务的使用。
本说明书实施例中,获取目标事件真实流量数据的时间点根据实际应用场景确定,且相邻两个时间点之间的时间间隔相同。需要说明的是,本实施例中,目标事件在当前时间点的真实流量数据为:目标事件在前一个时间点到当前时间点之间的时间段内的流量数据统计值,也就是说,在当前时间点统计的从前一个时间点到当前时间点之间的时间段内,实际发生的目标事件的流量统计值。例如,当前时间点为t时刻,相邻两个时间点之间的时间间隔为Δt,目标事件在当前时间点t的真实流量数据为从t-Δt时刻至t时刻之间实际发生的目标事件的流量统计值。具体地,Δt可以根据实际需要设置,例如,可以设置为一天或7天等。
上述步骤S200中,当前时间点的前k个时间点为与当前时间点相邻的前k个时间点,例如,可以分别表示为:t-Δt,t-2Δt,…,t-kΔt。其中,k为大于或等于1的整数。需要说明的是,与当前时间点的真实流量数据的获取方式类似,目标事件在t-Δt时刻的真实流量数据为:t-2Δt到t-Δt之间的时间段内实际发生的目标事件的流量统计值,以此类推。在本说明书一种可选的实施例中,可以将历史得到的目标事件在每个时间点的真实流量数据按照时间先后顺序排序,构成历史时间序列,这样,就可以从历史时间序列中得到与当前时间点相邻的前k个时间点的真实流量数据。
在本实施例的一种实施方式中,真实流量数据为目标事件的数量,即在相应时间段内发生的目标事件的数量统计值。以商户签约事件为例,商户签约事件在当前时间点t的真实流量数据即为在t-Δt时刻至t时刻之间的时间段内发生的商户签约事件的数量统计值,也就是这段时间内的商户签约量。
在本实施例的另一种实施方式中,目标事件的真实流量数据可以基于相应时间段内发生的目标事件的数量,以及该时间段内每个目标事件对应的属性数据得到。以当前时间点为例,上述获取目标事件在当前时间点的真实流量数据的实施过程可以包括:获取当前时间点与前一个时间点之间的时间段内,发生的目标事件的数量,以及该时间段内发生的每个目标事件对应的属性数据;基于该时间段内发生的目标事件的数量与每个目标事件对应的属性数据,得到目标事件在当前时间点的真实流量数据。其中,前一个时间点是指与当前时间点相邻的前一个时间点,例如,当前时间点为t时刻,相邻两个时间点之间的时间间隔为Δt,则前一个时间点为t-Δt时刻。
目标事件对应的属性数据可以根据实际应用场景确定。例如,在一种应用场景中,目标事件对应的属性数据可以包括以下几个维度中一种或多个维度的数据:设备维度、网络环境维度以及风险行为维度。其中,设备维度数据用于表征目标事件对应的设备属性,网络环境维度数据用于表征目标事件对应的网络环境属性,风险行为维度用于表征目标事件对应的用户行为属性。
以目标事件为商户签约事件为例,设备维度数据可以包括商户签约前指定时间段内登录账号更换过的设备数量等;网络环境维度数据可以包括签约前指定时间段内IP跳转次数或者是在商户签约事件对应的网络环境下触发的异常签约事件的数量等;风险行为维度数据可以包括签约前指定时间段内用户执行修改账号密码等高危操作的次数。其中,指定时间段具体可以根据实际需要设置,例如,可以设置为3天、7天或30天等。
在一种实施方式中,上述基于该时间段内发生的目标事件的数量与每个目标事件对应的属性数据,得到目标事件在当前时间点的真实流量数据的实施过程可以包括:基于预设的加权系数,将目标事件的数量与每个目标事件对应的属性数据进行加权求和,得到目标事件在当前时间点的真实流量数据。
其中,预设的加权系数可以根据实际经验设置,或者,也可以通过机器学习得到。具体来讲,假设t时刻,目标事件的数量统计值为m,m为大于或等于0的整数,且目标事件对应的属性数据有三种,第一种属性数据表示为a,第二种属性数据表示b,第三种属性数据表示c,且目标事件的数量对应的加权系数为w0,第一种属性数据对应的加权系数为w1,第二种属性数据对应的加权系数为w2,第三种属性数据对应的加权系数为w3。此时,目标事件在t时刻的真实流量数据qt为:
其中,ai、bi、ci分别表示t时刻统计的m个目标事件中第i个目标事件的第一属性数据、第二属性数据以及第三属性数据。可以理解的是,当m=0时,qt=0。
在另一种实施方式中,也可以将该时间段内发生的目标事件的数量与每个目标事件对应的属性数据进行累加,将累加和作为目标事件在当前时间点的真实流量数据。
步骤S202,将所述目标事件在当前时间点的前k个时间点的真实流量数据输入预设的流量预测模型,得到所述目标事件在当前时间点的预测流量数据。
本实施例中,通过目标事件在当前时间点的前k个时间中每个时间点的真实流量数据,预测当前时间点的流量数据。k的具体取值可以根据实际场景设置,例如,在对商户签约事件进行流量异常检测时,k可以取5-7之间的整数。
在步骤S202中,预设的流量预测模型为根据目标事件的历史流量数据训练得到的机器学习模型。其中,历史流量数据为历史采集的各个时间点的真实流量数据。具体来讲,本说明书实施例中的流量预测模型为自回归模型,例如,可以采用神经网络(包括深度学习)、支持向量机,岭回归等。在一种实施方式中,流量预测模型可以采用长短期记忆网络(Long Short-Term Memory,LSTM)模型。
例如,构建的流量预测模型中,第一层可以由64个LSTM单元组成,第二层由32个LSTM单元组成,第一和第二层的神经元采用全连接的方式进行连接,最后一层为一个全连接层。通过LSTM模型就可以实现利用序列的前N项的值,预测第N+1项的值。
在本说明书一实施例中,可以将目标事件在当前时间点的前k个时间点中每个时间点的真实流量数据输入流量预测模型,从而输出目标事件在当前时间点的预测流量数据。
另外,需要说明的是,在初始阶段,可以在能够得到前k个时间点的真实流量数据的情况下,再针对当前时间点执行本说明书实施例提供的流量异常检测方法。或者,当k大于或等于2时,若只能够得到前g个时间点的真实流量数据,且g大于或等于1且小于k时,前k个时间点中缺失的时间点的真实流量数据,可以用预先配置的时间窗口中所有时间点的真实流量数据的中位数进行补全。例如,k=5,若只能够得到当前时间点t的前4个时间点的真实流量数据,分别表示为:qt-4,qt-3,qt-2和qt-1。此时,当前时间点的前5个时间点的真实流量数据表示为pt=(x,qt-4,qt-3,qt-2,qt-1),假设预先配置的时间窗口包含时间点:qt-4,qt-3以及qt-2,则x为qt-4,qt-3以及qt-2的中位数。
在本说明书另一实施例中,除了通过目标事件在前k个时间点中每个时间点的真实流量数据,来预测当前时间点的流量数据以外,还可以引入与目标事件的真实流量数据之间存在内在关联关系,能够影响当前时间点的流量数据的指标数据,以丰富流量预测模型的表达。这样就可以通过指标数据与目标事件的真实流量数据之间的内在关联关系,预测目标事件在当前时间点的流量数据,有利于进一步提高预测结果的准确性,从而提高流量异常检测结果的准确性。
此时,上述将目标事件在当前时间点的前k个时间点的真实流量数据输入预设的流量预测模型,得到目标事件在当前时间点的预测流量数据的实施过程可以包括:针对所述前k个时间点中每个时间点,获取相应目标事件的指标数据,指标数据用于衡量所述相应目标事件的发起方的异常程度;将上述目标事件在当前时间点的前k个时间点的真实流量数据以及上述前k个时间点中每个时间点的指标数据,均输入预设的流量预测模型,得到目标事件在当前时间点的预测流量数据。需要说明的是,以上述前k个时间点中某一时间点te为例,相应目标事件为在时间点te与时间点te的相邻前一个时间点之间的时间段内,发生的所有目标事件。此外,目标事件是由发起方发起的,例如发起方可以是用户。
以商户签约事件为例,指标数据可以为用于衡量触发相应商户签约事件的签约商户的异常程度的数据,例如可以包括但不限于相应时间段内签约商户的真实性评估结果、风险表现性评估结果、证件真实性评估结果、地理位置分布统计结果等。其中,签约商户的真实性评估结果可以通过对签约商户的注册名称、注册地址、联系人、联系方式以及绑定银行卡账号等身份信息进行验证后得到,或者,也可以用签约商户对应的账号的信用分值表征;签约商户可能存在着不同类型的风险,如批量风险、团体风险、伪冒风险以及欺诈风险等,风险表现性评估结果可以是对这段时间的签约商户进行风险评估后得到的风险评估值;证件真实性评估结果可以通过对签约商户的相关证件如营业执照、负责人身份证等进行验证后得到。地理位置分布统计结果可以对相应时间段内签约商户所在地理位置进行统计后得到,若该时间段内位于同一预设区域范围内的签约商户占比越大,则该时间段内发生的签约事件对应的签约商户存在异常的概率也就越大。
步骤S204,获取所述目标事件在当前时间点的真实流量数据与所述预测流量数据之间的差异值,并将所述差异值输入预设的概率分布模型,得到所述差异值出现的概率值。
在本实施例的一种实施方式中,可以将流量预测模型输出的目标事件在当前时间点的预测流量数据,与步骤S200获取的当前时间点的真实流量数据进行差值计算,得到二者之间的差值,作为上述差异值。例如,可以用步骤S200获取的当前时间点的真实流量数据减去上述预测流量数据得到上述差异值。或者,在另一种实施方式中,也可以用步骤S200获取的当前时间点的真实流量数据减去预测流量数据,并取绝对值,作为二者之间的差异值。
当然,在本说明书其他实施例中,也可以采用其他获取二者之间差异值的方式,例如,也可以将真实流量数据与预测流量数据的比值或者是将二者之间差值的绝对值除以真实流量数据作为二者之间差异值。
可以理解的是,差异值的绝对值越大,通过流量预测模型输出的当前时间点的预测流量数据与所获取的真实流量数据之间的差异也就越大,则目标事件在当前时间点的真实流量数据存在异常的可能性就越大,反之,存在异常的可能性就越小。在本说明书一实施例中,可以通过上述差异值来得到流量数据的异常检测结果,能够充分结合历史流量数据的发展趋势,有利于提高异常检测结果的准确性,降低误报或者是漏报导致的系统资源的浪费,从而有利于保证网络业务平台的正常运行。并且,大多网络业务平台都有着巨大规模的用户量,对数据处理和风险监控都有着较高的实时性要求,本说明书实施例提供的流量异常检测方法能够实时地得到目标事件在当前时间点的真实流量数据的异常检测结果,以便及时对异常点进行报警,保证网络业务平台的正常运行。
具体来讲,基于上述差异值,得到目标事件在当前时间点的真实流量数据的异常检测结果的实施方式可以有多种。
例如,可以预先根据实际场景设置一个差异值阈值,当差异值大于该差异值阈值时,则判定目标事件在当前时间点的真实流量数据存在异常,反之,则判定目标事件在当前时间点的真实流量数据不存在异常。
又例如,可以基于目标事件在预设时间段内每个时间点的真实流量数据对应的差异值,得到目标事件在当前时间点的真实流量数据的异常检测结果,其中,预设时间段为预先设置的当前时间点之前且包含所述当前时间点的时间段。
本实施例中,预设时间段可以通过预先设置的滑动窗口确定,滑动窗口的步长可以根据实际应用场景的需要设置,例如可以设置为一个时间点。例如,当前时间点为t时刻,相邻时间点之间的预设时间间隔为Δt,则预设时间段内的时间点由小到大包括:t-hΔt,……,t-Δt以及t,其中,t-hΔt为预设时间段内的第一个时间点,h为大于或等于1的整数。可以理解的是,随着时间点的逐渐增加以及窗口的滑动,在对当前时间点t执行上述步骤S200至步骤S206之前,t-hΔt,……,t-Δt已分别先后作为当前时间点,执行过上述步骤S200至步骤S206,得到相应时间点处真实流量数据与预测流量数据的差异值。因此,在得到当前时间点t处的差异值后,可以结合预先得到的预设时间段内其他时间点t-hΔt,……,t-Δt处的差异值,确定目标事件在当前时间点的真实流量数据是否存在异常。例如,可以基于预设时间段内所有时间点处的差异值的平均值设置,如可以设置为平均值减去3倍标准差,或者,平均值的一半等。
在本说明书一实施例中,可以将所得到的上述差异值输入预设的概率分布模型,得到该差异值出现的概率值,以确定目标事件在当前时间点的真实流量数据是否存在异常。本实施例中,在预先设置概率分布模型时,可以根据实际应用场景中相关数据的历史表现选择分布函数,能够表征目标事件的历史流量数据中,各时间点处真实流量数据与预测流量数据之间差异值的分布情况。需要说明的是,概率分布模型可以采用的分布函数有很多种,例如正态分布、柯西分布等,具体对分布函数的选择应该按照实际使用情况而定,可以通过选择分布函数,容忍不同差异的噪声,提高系统的鲁棒性。
将步骤S204得到的差异值输入上述概率分布模型,即可输出该差异值出现的概率值,也就是该差异值在历史预测结果中出现的概率。该概率值能够用于衡量目标事件在当前时间点的真实流量数据的异常程度,概率值越低,也就是说该差异值在历史预测结果中出现的概率较低,则认为目标事件在当前时间点的真实流量数据存在异常的可能性就越大,反之,存在异常的可能性就越小。
步骤S206,基于所述概率值,确定所述目标事件在当前时间点的真实流量数据是否存在异常。
此时,根据上述步骤S204得到的概率值就可以进一步确定目标事件在当前时间点的真实流量数据是否存在异常。例如,可以预先设置一概率阈值,当步骤S204得到的概率值低于该概率阈值时,则认为目标事件在当前时间点的真实流量数据存在异常。
通过上述步骤S204得到差异值出现的概率值,以该概率值来衡量目标事件在当前时间点的真实流量数据的异常程度,有利于让流量预测模型得到的预测值与真实值的差异更有统计的意义,将每一个时间点被视为异常的程度具象化为一个有界的值(在0到1的闭区间中)。
本说明书实施例中,基于上述概率值,确定目标事件在当前时间点的真实流量数据是否存在异常的实施方式可以有多种。例如,可以预先根据实际应用场景设置一个概率阈值,当概率值小于该概率阈值时,则判定目标事件在当前时间点的真实流量数据存在异常,反之,则不存在异常。又例如,可以基于预设时间段内每个时间点处得到的概率值,确定目标事件在当前时间点的真实流量数据是否存在异常,其中,预设时间段为预先设置的当前时间点之前且包含当前时间点的时间段,具体实施过程可以参照上述基于差异值得到目标事件在当前时间点的真实流量数据的异常检测结果的相应实施过程,此处不再赘述。
在本说明书一可选的实施例中,基于当前时间点处的上述概率值,确定目标事件在当前时间点的真实流量数据是否存在异常的实施过程可以包括:将上述概率值输入预设的分值转化算法,将所述概率值转化为目标事件在当前时间点的真实流量数据的异常分值,将该异常分值作为目标异常分值;基于目标异常分值,确定目标事件在当前时间点的真实流量数据是否存在异常。
本实施例中,概率值越小,异常分值就越高,目标事件在该时间点的真实流量数据存在异常的可能性也就越大,反之,概率值越大,异常分值就越低,目标事件在该时间点的真实流量数据存在异常的可能性也就越小。将差异值出现的概率值转化为异常分值,有利于方便记录和业务解释。举例来讲,可以通过分值转化算法将概率值转化为一个0-100之间的异常分值,当然,也可以采用其他分值区间,此处不作限制。
具体来讲,分值转化算法可以采用能够实现上述概率值与异常分值之间关系的算法,例如,可以先将概率值与1做差,再将概率值与1之间的差值求倒数等,即假设概率值为η,则分值转化算法可以为:1/(1-η)。
相应地,上述基于目标事件在当前时间点的真实流量数据的异常分值即目标异常分值,得到目标事件在当前时间点的真实流量数据的异常检测结果的实施方式也可以有多种。例如,可以预先根据实际应用场景设置一个分值阈值如分值区间为0-100分时,分值阈值可以设置为90分,当目标异常分值大于该分值阈值时,则判定目标事件在当前时间点的真实流量数据存在异常,反之,则判定目标事件在当前时间点的真实流量数据不存在异常。
又例如,可以基于目标事件在预设时间段内每个时间点的真实流量数据的异常分值,得到该预设时间段对应的分值阈值,其中,预设时间段为预先设置的当前时间点之前且包含所述当前时间点的时间段。若上述目标异常分值超过该分值阈值,则判定目标事件在当前时间点的真实流量数据存在异常,反之,则不存在异常。具体来讲,该分值阈值可以基于预设时间段内所有时间点处真实流量数据的异常分值的平均值设置,如可以设置为平均值减去3倍标准差,或者,平均值的一半等。
在一种实施方式中,在得到目标事件在当前时间点的真实流量数据的异常分值之后,可以将该异常分值作为目标异常分值,实时地将目标异常分值传递到运营数据可视化设备,可视化设备向相关人员展示目标事件在预设时间段内每个时间点的真实流量数据的异常分值,并基于该预设时间段内每个时间点的异常分值确定一分值阈值,若该目标异常分值高于该分值阈值,则判定目标事件在当前时间点的流量存在异常,实时发出警报向相关人员进行报警,以便于相关人员及时对当前时间点的流量进行监控,例如,可以调高当前时间点统计的目标事件对应用户的风险等级,进一步确定这些用户中是否存在风险用户,从而采取相应的措施如对于商户签约来讲,可以向该商户发起用于警告的提示信息、禁止该商户准入或者是提高商户准入的风险等级等,有利于实现对目标事件流量的实时风险控制,保证网络业务平台的正常运行。
其中,基于预设时间段内每个时间点的异常分值确定一分值阈值有利于减小异常不确定性,具体实施方式可以根据实际需要设置。例如,预设阈值可以基于预设时间段内所有时间点处的异常分值的平均值设置,如可以设置为平均值减去3倍标准差,或者,平均值的一半等。通过滑动平均的方式减小异常不确定性。
另外,可以理解的是,为了保证预设的流量预测模型以及概率分布模型的可靠性,需要对流量预测模型以及概率分布模型进行训练。
在本说明书一可选的实施例中,可以采用自适应的学习过程,利用用户的最新数据继续训练已有的流量预测模型以及概率分布模型,对新数据自适应。在一种实施方式中,可以在得到目标事件在当前时间点的真实流量数据的异常分值即目标异常分值后,以最小化当前时间点处的异常分值为目标,对流量预测模型以及概率分布模型进行训练,从而对预设的流量预测模型以及概率分布模型进行更新。这样就可以融合训练和使用模型的两个过程,经过足够长的时间,模型就能够收敛到与真实数据一样的分布,并且能使模型学习到真实数据的潜在特征,达到自适应的效果。另外,可以使得流量预测模型具有无监督性,即训练模型时输入给流量预测模型的流量数据并不需要标签。
此时,上述基于目标异常分值,得到目标事件在当前时间点的真实流量数据的异常检测结果之前,还可以包括自适应学习过程:分别对上述流量预测模型中的第一待学习参数和概率分布模型中的第二待学习参数进行调节,直至得到的所述目标异常分值满足预设训练条件,以对预设的流量预测模型和概率分布模型进行更新,实现模型的自适应性。本实施例中,预设的训练条件可以基于最小化每个时间点处的异常分值的目标来设置,从而最小化预测值和真实值之间的误差,用于拟合模型。
具体来讲,上述分别对所述流量预测模型中的第一待学习参数和所述概率分布模型中的第二待学习参数进行调节,直至得到的目标异常分值满足预设训练条件的实施过程可以包括:获取流量预测模型的第一参数梯度以及概率分布模型的第二参数梯度,将当前第一待学习参数作为第一备选参数值,将当前第二待学习参数作为第二备选参数值,并执行以下训练步骤:
步骤F1:根据第一参数梯度对第一备选参数值进行调节,根据第二参数梯度对第二备选参数值进行调节;
步骤F2:根据目标事件在当前时间点的前k个时间点的真实流量数据、调节参数后的流量预测模型、调节参数后的概率分布模型以及分值转化算法,得到目标事件在当前时间点的真实流量数据的异常分值,作为待选异常分值;
步骤F3:判断待选异常分值是否小于目标异常分值,若是,则用待选异常分值更新目标异常分值,并重复执行训练步骤即步骤F1至步骤F3,直至得到的待选异常分值大于更新后的目标异常分值,用得到更新后的目标异常分值的第一备选参数值和第二备选参数值对第一待学习参数以及第二待学习参数进行更新。
可以理解的是,若在本次训练过程中,首次调节第一备选参数值和第二备选参数值后得到的待选异常分值大于或等于目标异常分值,则认为当前目标异常分值已经达到最小,无需对流量预测模型中的第一待学习参数、所述概率分布模型中的第二待学习参数以及目标异常分值进行更新。若调节第一备选参数值和第二备选参数值后得到的待选异常分值小于目标异常分值,则认为此时的目标异常分值没有达到最小,需要更新流量预测模型以及概率分布模型,即更新流量预测模型中的第一待学习参数以及概率分布模型中的第二待学习参数,重复迭代,直至得到最小目标异常分值的第一备选参数值和第二备选参数值,用该第一备选参数值更新上述流量预测模型的第一待学习参数,用该第二备选参数值更新上述概率分布模型的第二待学习参数。
进一步地,基于更新后的目标异常分值,确定当前时间点处的真实流量数据是否存在异常。
在本实施例的一种实施方式中,可以采用极大似然估计法获取流量预测模型的第一参数梯度以及概率分布模型的第二参数梯度,进而采用梯度下降法分别对上述第一备选参数值和第二备选参数值进行调节。梯度下降法是机器学习中一种常用的优化器,在求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值。当然,本说明书实施例中,除了采用梯度下降法进行优化以外,还可以采用其他优化方法,例如,可以采用Adam优化器。
需要说明的是,在本说明书其他实施例中,也可以预先获取训练样本数据,对初始设置的流量预测模型和概率分布模型进行训练,得到训练好的流量预测模型和概率分布模型,再通过训练好的流量预测模型和概率分布模型,实时对待检测的每个时间点处的真实流量数据进行检测,确定目标事件在该时间点的真实流量数据是否存在异常。
为了更清楚地说明本说明书实施例提供的技术方案,下面以一具体实施例为例,对本说明书实施提供的流量异常检测方法的具体实施流程进行详述。
假设qt代表目标事件在t时刻的真实流量数据,st代表t时刻相应目标事件的指标数据,R(·,·,θ)代表带第一待学习参数θ的流量预测模型。R(pt,vt,θ)则代表利用流量预测模型R得到的t时刻的预测流量数据,其中,pt代表时刻t的前k个时刻的真实流量数据,有pt=(qt-k,qt-k+1,…,qt-1);vt代表t时刻的前k个时刻相应目标事件的指标数据,有vt=(st-k,st-k+1,…,st-1);θ为流量预测模型的第一待学习参数。
另外,假设et代表t时刻真实流量数据与预测流量数据的差值,则有et=qt-R(pt,vt,θ)。而差值et服从一预设的概率分布,记作et~P(e;δ),δ为概率分布模型P的第二待学习参数。
具体来讲,处理流程可以包括以下步骤:
S1:将上游设备采集的目标事件在t时刻的前k个时刻的真实流量数据pt和指标数据vt按对应的时间点进行融合;
S2:利用流量预测模型R(·,·,θ)对S2.1中得到的pt和vt进行计算,计算得到的t时刻的预测流量数据R(pt,vt,θ);
S3:从S2中得到预测流量数据R(pt,vt,θ)后,求与真实流量数据的差异值et=qt-R(pt,vt,θ);
S4:利用概率分布模型P(e;δ),以S3中计算得到的差异值作为输入,得到这个差异值出现的概率值P(et;δ)。概率值越低,则认为真实值qt为异常值的可能性就越大;
S5:预先设置一个分值转化算法,以S4中计算得到的概率值作为输入,把概率值转换成异常分值,异常分值越高,t时刻的真实流量数据存在异常的可能性就越大。
利用极大似然估计法计算流量预测模型R(·,·,θ)的第一待学习参数和概率分布模型P(·;δ)的第二待学习参数的更新梯度,然后利用梯度法或其变例更新上述第一待学习参数和第二待学习参数,基本公式可以表示如下:
假设目前已经拥有n个差异值et,分别记作利用最大似然法,计算第一待学习参数和第二待学习参数的梯度,分别为:
然后,利用梯度法就可以更新第一待学习参数θ和第二待学习参数δ,有:
δ=δ+α·Δδ
θ=θ+α·Δθ
其中,α为根据实际需要预先设置的步长。
本说明书实施例提供的目标事件的流量异常检测方法,通过目标事件在当前时间点的真实流量数据与预测流量数据之间的差异值在历史预测结果中出现的概率,确定目标事件在当前时间点的真实流量数据是否存在异常,能够充分结合目标事件的历史流量数据的发展趋势,不仅有利于提高异常检测结果的准确性,降低误报或者是漏报导致的系统资源的浪费,还有利于实现目标事件流量的实时异常告警,以及时对当前时间点的流量异常进行处理如可以调高当前时间点统计的目标事件对应用户的风险等级,进一步确定这些用户中是否存在风险用户等,有利于实现对目标事件流量的实时风险控制,从而保证网络业务平台的正常运行。
进一步地,通过预先设置概率分布模型,统计基于流量预测模型得到的预测流量数据与真实流量数据之间差异值的分布,也就是预测流量数据对于真实流量数据序列相应的噪声分布,用当前时间点处的上述差异值出现的概率值来衡量目标事件在当前时间点的真实流量数据的异常程度,使得预测流量数据与真实流量数据的差异更有统计的意义,有利于进一步提高异常检测结果的准确性。
另外,流量预测模型采用自回归神经网络模型,能够融合自回归神经网络模型和带估计概率分布函数,提供一种实时、结果具有统计意义的目标事件的流量异常检测的技术方案。并且,由于模型的结构和异常点的随机性,流量预测模型不会太过容易陷入过拟合,例如,采用LSTM搭建模型,可以每一层通过batch norm进行正则化(regularization);同时也在每层通过随机失活(dropout)的方式,降低上一层信息传播的通道数,从而达到避免过拟合的目的。
第二方面,基于与前述第一方面实施例提供的目标事件的流量异常检测方法同样的发明构思,本说明书实施例还提供了一种目标事件的流量异常检测装置。如图3所示,该流量异常检测装置30包括:
流量获取模块31,用于获取目标事件在当前时间点的真实流量数据以及所述目标事件在当前时间点的前k个时间点的真实流量数据,其中,k为大于或等于1的整数,所述当前时间点的真实流量数据为所述目标事件在前一个时间点到所述当前时间点之间的时间段内的流量数据统计值;
流量预测模块32,用于将所述目标事件在当前时间点的前k个时间点的真实流量数据输入预设的流量预测模型,得到所述目标事件在当前时间点的预测流量数据,其中,所述流量预测模型为根据所述目标事件的历史流量数据训练得到的机器学习模型;
概率获取模块33,用于获取所述目标事件在当前时间点的真实流量数据与所述预测流量数据之间的差异值,并将所述差异值输入预设的概率分布模型,得到所述差异值出现的概率值;
检测模块34,用于基于所述概率值,确定所述目标事件在当前时间点的真实流量数据是否存在异常。
在一种可选的实施例中,上述检测模块34包括:
分值转化子模块341,用于将所述概率值输入预设的分值转化算法,将所述概率值转化为所述目标事件在当前时间点的真实流量数据的异常分值,将所述异常分值作为目标异常分值;
检测子模块343,用于基于所述目标异常分值,确定所述目标事件在当前时间点的真实流量数据是否存在异常。
在一种可选的实施例中,上述检测子模块343用于:基于所述目标事件在预设时间段内每个时间点的真实流量数据的异常分值,得到所述预设时间段对应的分值阈值,其中,所述预设时间段为预先设置的所述当前时间点之前且包含所述当前时间点的时间段;若所述目标异常分值超过所述分值阈值,则判定所述目标事件在当前时间点的真实流量数据存在异常。
在一种可选的实施例中,上述检测模块34还包括:
模型更新子模块342,用于分别对所述流量预测模型中的第一待学习参数和所述概率分布模型中的第二待学习参数进行调节,直至得到的所述目标异常分值满足预设训练条件。
在一种可选的实施例中,上述模型更新子模块342用于:
获取所述流量预测模型的第一参数梯度以及所述概率分布模型的第二参数梯度,将当前所述第一待学习参数作为第一备选参数值,将当前所述第二待学习参数作为第二备选参数值,并执行以下训练步骤:
根据所述第一参数梯度对所述第一备选参数值进行调节,根据所述第二参数梯度对所述第二备选参数值进行调节;
根据所述目标事件在当前时间点的前k个时间点的真实流量数据、调节参数后的流量预测模型、调节参数后的概率分布模型以及所述分值转化算法,得到所述目标事件在当前时间点的真实流量数据的异常分值,作为待选异常分值;
判断所述待选异常分值是否小于所述目标异常分值,若是,则用所述待选异常分值更新所述目标异常分值,并重复执行所述训练步骤,直至得到的待选异常分值大于更新后的目标异常分值,用得到所述更新后的目标异常分值的第一备选参数值和第二备选参数值对所述第一待学习参数以及所述第二待学习参数进行更新。
在一种可选的实施例中,上述流量获取模块31包括:
第一获取子模块311,用于获取所述当前时间点与前一个时间点之间的时间段内,发生的目标事件的数量,以及该时间段内发生的每个目标事件对应的属性数据;
第二获取子模块312,用于基于所述目标事件的数量与所述每个目标事件对应的属性数据,得到所述目标事件在当前时间点的真实流量数据。
在一种可选的实施例中,上述第二获取子模块312用于:
基于预设的加权系数,将所述目标事件的数量与所述每个目标事件对应的属性数据进行加权求和,得到所述目标事件在当前时间点的真实流量数据。
在一种可选的实施例中,上述属性数据包括以下几个维度中一种或多个维度的数据:设备维度、网络环境维度以及风险行为维度。
在一种可选的实施例中,上述流量预测模块32包括:
指标获取子模块321,用于针对所述前k个时间点中每个时间点,获取相应目标事件的指标数据,所述指标数据用于衡量所述相应目标事件的发起方的异常程度;
预测子模块322,用于将所述目标事件在当前时间点的前k个时间点的真实流量数据,以及所述前k个时间点中每个时间点的所述指标数据,均输入预设的流量预测模型,得到所述目标事件在当前时间点的预测流量数据。
在一种可选的实施例中,上述目标事件为商户签约事件。
需要说明的是,本说明书实施例所提供的流量异常检测装置30,其中各个模块执行操作的具体方式已经在上述第一方面提供的方法实施例中进行了详细描述,具体可以参照上述第一方面提供的方法实施例中的实施过程,此处将不做详细阐述说明。
第三方面,基于与前述实施例提供的目标事件的流量异常检测方法同样的发明构思,本说明书实施例还提供了一种电子设备,如图4所示,包括存储器404、一个或多个处理器402及存储在存储器404上并可在处理器402上运行的计算机程序,所述处理器402执行所述程序时实现前文第一方面提供的目标事件的流量异常检测方法的任一实施方式的步骤。
其中,在图4中,总线架构(用总线400来代表),总线400可以包括任意数量的互联的总线和桥,总线400将包括由处理器402代表的一个或多个处理器和存储器404代表的存储器的各种电路链接在一起。总线400还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口405在总线400和接收器401和发送器403之间提供接口。接收器401和发送器403可以是同一个元件,即收发机,提供用于在传输介质上与各种其他装置通信的单元。处理器402负责管理总线400和通常的处理,而存储器404可以被用于存储处理器402在执行操作时所使用的数据。
可以理解的是,图4所示的结构仅为示意,本说明书实施例提供的电子设备还可包括比图4中所示更多或者更少的组件,或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。
第四方面,基于与前述实施例中提供的目标事件的流量异常检测方法同样的发明构思,本说明书实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前文第一方面提供的目标事件的流量异常检测方法的任一实施方式的步骤。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品,该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本说明书的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。
显然,本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样,倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内,则本说明书也意图包含这些改动和变型在内。
Claims (22)
1.一种目标事件的流量异常检测方法,包括:
获取目标事件在当前时间点的真实流量数据以及所述目标事件在当前时间点的前k个时间点的真实流量数据,其中,k为大于或等于1的整数,所述当前时间点的真实流量数据为所述目标事件在前一个时间点到所述当前时间点之间的时间段内的流量数据统计值;
将所述目标事件在当前时间点的前k个时间点的真实流量数据输入预设的流量预测模型,得到所述目标事件在当前时间点的预测流量数据,其中,所述流量预测模型为根据所述目标事件的历史流量数据训练得到的机器学习模型;
获取所述目标事件在当前时间点的真实流量数据与所述预测流量数据之间的差异值,并将所述差异值输入预设的概率分布模型,得到所述差异值出现的概率值;
基于所述概率值,确定所述目标事件在当前时间点的真实流量数据是否存在异常。
2.根据权利要求1所述的方法,所述基于所述概率值,确定所述目标事件在当前时间点的真实流量数据是否存在异常,包括:
将所述概率值输入预设的分值转化算法,将所述概率值转化为所述目标事件在当前时间点的真实流量数据的异常分值,将所述异常分值作为目标异常分值;
基于所述目标异常分值,确定所述目标事件在当前时间点的真实流量数据是否存在异常。
3.根据权利要求2所述的方法,所述基于所述目标异常分值,确定所述目标事件在当前时间点的真实流量数据是否存在异常,包括:
基于所述目标事件在预设时间段内每个时间点的真实流量数据的异常分值,得到所述预设时间段对应的分值阈值,其中,所述预设时间段为预先设置的所述当前时间点之前且包含所述当前时间点的时间段;
若所述目标异常分值超过所述分值阈值,则判定所述目标事件在当前时间点的真实流量数据存在异常。
4.根据权利要求2所述的方法,所述基于所述目标异常分值,确定所述目标事件在当前时间点的真实流量数据是否存在异常之前,还包括:
分别对所述流量预测模型中的第一待学习参数和所述概率分布模型中的第二待学习参数进行调节,直至得到的所述目标异常分值满足预设训练条件。
5.根据权利要求4所述的方法,所述分别对所述流量预测模型中的第一待学习参数和所述概率分布模型中的第二待学习参数进行调节,包括:
获取所述流量预测模型的第一参数梯度以及所述概率分布模型的第二参数梯度,将当前所述第一待学习参数作为第一备选参数值,将当前所述第二待学习参数作为第二备选参数值,并执行以下训练步骤:
根据所述第一参数梯度对所述第一备选参数值进行调节,根据所述第二参数梯度对所述第二备选参数值进行调节;
根据所述目标事件在当前时间点的前k个时间点的真实流量数据、调节参数后的流量预测模型、调节参数后的概率分布模型以及所述分值转化算法,得到所述目标事件在当前时间点的真实流量数据的异常分值,作为待选异常分值;
判断所述待选异常分值是否小于所述目标异常分值,若是,则用所述待选异常分值更新所述目标异常分值,并重复执行所述训练步骤,直至得到的待选异常分值大于更新后的目标异常分值,用得到所述更新后的目标异常分值的第一备选参数值和第二备选参数值对所述第一待学习参数以及所述第二待学习参数进行更新。
6.根据权利要求1所述的方法,所述获取目标事件在当前时间点的真实流量数据,包括:
获取所述当前时间点与前一个时间点之间的时间段内,发生的目标事件的数量,以及该时间段内发生的每个目标事件对应的属性数据;
基于所述目标事件的数量与所述每个目标事件对应的属性数据,得到所述目标事件在当前时间点的真实流量数据。
7.根据权利要求6所述的方法,所述基于所述目标事件的数量与所述每个目标事件对应的属性数据,得到所述目标事件在当前时间点的真实流量数据,包括:
基于预设的加权系数,将所述目标事件的数量与所述每个目标事件对应的属性数据进行加权求和,得到所述目标事件在当前时间点的真实流量数据。
8.根据权利要求6所述的方法,所述属性数据包括以下几个维度中一种或多个维度的数据:
设备维度、网络环境维度以及风险行为维度。
9.根据权利要求1所述的方法,所述将所述目标事件在当前时间点的前k个时间点的真实流量数据输入预设的流量预测模型,得到所述目标事件在当前时间点的预测流量数据,包括:
针对所述前k个时间点中每个时间点,获取相应目标事件的指标数据,所述指标数据用于衡量所述相应目标事件的发起方的异常程度;
将所述目标事件在当前时间点的前k个时间点的真实流量数据,以及所述前k个时间点中每个时间点的所述指标数据,均输入预设的流量预测模型,得到所述目标事件在当前时间点的预测流量数据。
10.根据权利要求1所述的方法,所述目标事件为商户签约事件。
11.一种目标事件的流量异常检测装置,包括:
流量获取模块,用于获取目标事件在当前时间点的真实流量数据以及所述目标事件在当前时间点的前k个时间点的真实流量数据,其中,k为大于或等于1的整数,所述当前时间点的真实流量数据为所述目标事件在前一个时间点到所述当前时间点之间的时间段内的流量数据统计值;
流量预测模块,用于将所述目标事件在当前时间点的前k个时间点的真实流量数据输入预设的流量预测模型,得到所述目标事件在当前时间点的预测流量数据,其中,所述流量预测模型为根据所述目标事件的历史流量数据训练得到的机器学习模型;
概率获取模块,用于获取所述目标事件在当前时间点的真实流量数据与所述预测流量数据之间的差异值,并将所述差异值输入预设的概率分布模型,得到所述差异值出现的概率值;
检测模块,用于基于所述概率值,确定所述目标事件在当前时间点的真实流量数据是否存在异常。
12.根据权利要求11所述的装置,所述检测模块包括:
分值转化子模块,用于将所述概率值输入预设的分值转化算法,将所述概率值转化为所述目标事件在当前时间点的真实流量数据的异常分值,将所述异常分值作为目标异常分值;
检测子模块,用于基于所述目标异常分值,确定所述目标事件在当前时间点的真实流量数据是否存在异常。
13.根据权利要求12所述的装置,所述检测子模块用于:
基于所述目标事件在预设时间段内每个时间点的真实流量数据的异常分值,得到所述预设时间段对应的分值阈值,其中,所述预设时间段为预先设置的所述当前时间点之前且包含所述当前时间点的时间段;
若所述目标异常分值超过所述分值阈值,则判定所述目标事件在当前时间点的真实流量数据存在异常。
14.根据权利要求12所述的装置,所述检测模块还包括:
模型更新子模块,用于分别对所述流量预测模型中的第一待学习参数和所述概率分布模型中的第二待学习参数进行调节,直至得到的所述目标异常分值满足预设训练条件。
15.根据权利要求14所述的装置,所述模型更新子模块用于:
获取所述流量预测模型的第一参数梯度以及所述概率分布模型的第二参数梯度,将当前所述第一待学习参数作为第一备选参数值,将当前所述第二待学习参数作为第二备选参数值,并执行以下训练步骤:
根据所述第一参数梯度对所述第一备选参数值进行调节,根据所述第二参数梯度对所述第二备选参数值进行调节;
根据所述目标事件在当前时间点的前k个时间点的真实流量数据、调节参数后的流量预测模型、调节参数后的概率分布模型以及所述分值转化算法,得到所述目标事件在当前时间点的真实流量数据的异常分值,作为待选异常分值;
判断所述待选异常分值是否小于所述目标异常分值,若是,则用所述待选异常分值更新所述目标异常分值,并重复执行所述训练步骤,直至得到的待选异常分值大于更新后的目标异常分值,用得到所述更新后的目标异常分值的第一备选参数值和第二备选参数值对所述第一待学习参数以及所述第二待学习参数进行更新。
16.根据权利要求11所述的装置,所述流量获取模块包括:
第一获取子模块,用于获取所述当前时间点与前一个时间点之间的时间段内,发生的目标事件的数量,以及该时间段内发生的每个目标事件对应的属性数据;
第二获取子模块,用于基于所述目标事件的数量与所述每个目标事件对应的属性数据,得到所述目标事件在当前时间点的真实流量数据。
17.根据权利要求16所述的装置,所述第二获取子模块用于:
基于预设的加权系数,将所述目标事件的数量与所述每个目标事件对应的属性数据进行加权求和,得到所述目标事件在当前时间点的真实流量数据。
18.根据权利要求16所述的装置,所述属性数据包括以下几个维度中一种或多个维度的数据:
设备维度、网络环境维度以及风险行为维度。
19.根据权利要求11所述的装置,所述流量预测模块包括:
指标获取子模块,用于针对所述前k个时间点中每个时间点,获取相应目标事件的指标数据,所述指标数据用于衡量所述相应目标事件的发起方的异常程度;
预测子模块,用于将所述目标事件在当前时间点的前k个时间点的真实流量数据,以及所述前k个时间点中每个时间点的所述指标数据,均输入预设的流量预测模型,得到所述目标事件在当前时间点的预测流量数据。
20.根据权利要求11所述的装置,所述目标事件为商户签约事件。
21.一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1-10中任一项所述方法的步骤。
22.一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现权利要求1-10中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910981372.XA CN110830448B (zh) | 2019-10-16 | 2019-10-16 | 目标事件的流量异常检测方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910981372.XA CN110830448B (zh) | 2019-10-16 | 2019-10-16 | 目标事件的流量异常检测方法、装置、电子设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110830448A true CN110830448A (zh) | 2020-02-21 |
CN110830448B CN110830448B (zh) | 2022-09-13 |
Family
ID=69549516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910981372.XA Active CN110830448B (zh) | 2019-10-16 | 2019-10-16 | 目标事件的流量异常检测方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110830448B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111538897A (zh) * | 2020-03-16 | 2020-08-14 | 北京三快在线科技有限公司 | 推荐的异常检测方法、装置、电子设备及可读存储介质 |
CN111740865A (zh) * | 2020-06-23 | 2020-10-02 | 北京奇艺世纪科技有限公司 | 一种流量波动趋势预测方法、装置及电子设备 |
CN111860644A (zh) * | 2020-07-20 | 2020-10-30 | 北京百度网讯科技有限公司 | 一种异常账号的识别方法、装置、设备和存储介质 |
CN112241351A (zh) * | 2020-09-30 | 2021-01-19 | 中国银联股份有限公司 | 数据处理方法、装置、设备和介质 |
CN112291276A (zh) * | 2020-12-28 | 2021-01-29 | 金锐同创(北京)科技股份有限公司 | 流量报警方法、装置及电子设备 |
CN113344376A (zh) * | 2021-06-02 | 2021-09-03 | 南京星云数字技术有限公司 | 商户风险监测方法、装置、计算机设备和存储介质 |
CN113691529A (zh) * | 2021-08-24 | 2021-11-23 | 珠海市鸿瑞信息技术股份有限公司 | 一种基于电力行业网络安全的工业控制系统及方法 |
CN114039745A (zh) * | 2021-10-08 | 2022-02-11 | 中移(杭州)信息技术有限公司 | 网站异常流量的识别方法、设备及介质 |
CN114490302A (zh) * | 2022-03-04 | 2022-05-13 | 大庆火兔网络科技有限公司 | 一种基于大数据分析的威胁行为分析方法及服务器 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170353477A1 (en) * | 2016-06-06 | 2017-12-07 | Netskope, Inc. | Machine learning based anomaly detection |
CN108089962A (zh) * | 2017-11-13 | 2018-05-29 | 北京奇艺世纪科技有限公司 | 一种异常检测方法、装置及电子设备 |
US20180275642A1 (en) * | 2017-03-23 | 2018-09-27 | Hitachi, Ltd. | Anomaly detection system and anomaly detection method |
CN109902832A (zh) * | 2018-11-28 | 2019-06-18 | 华为技术有限公司 | 机器学习模型的训练方法、异常预测方法及相关装置 |
CN109960631A (zh) * | 2019-03-19 | 2019-07-02 | 山东九州信泰信息科技股份有限公司 | 一种安全事件异常的实时侦测方法 |
CN110008979A (zh) * | 2018-12-13 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 异常数据预测方法、装置、电子设备及计算机存储介质 |
-
2019
- 2019-10-16 CN CN201910981372.XA patent/CN110830448B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170353477A1 (en) * | 2016-06-06 | 2017-12-07 | Netskope, Inc. | Machine learning based anomaly detection |
US20180275642A1 (en) * | 2017-03-23 | 2018-09-27 | Hitachi, Ltd. | Anomaly detection system and anomaly detection method |
CN108089962A (zh) * | 2017-11-13 | 2018-05-29 | 北京奇艺世纪科技有限公司 | 一种异常检测方法、装置及电子设备 |
CN109902832A (zh) * | 2018-11-28 | 2019-06-18 | 华为技术有限公司 | 机器学习模型的训练方法、异常预测方法及相关装置 |
CN110008979A (zh) * | 2018-12-13 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 异常数据预测方法、装置、电子设备及计算机存储介质 |
CN109960631A (zh) * | 2019-03-19 | 2019-07-02 | 山东九州信泰信息科技股份有限公司 | 一种安全事件异常的实时侦测方法 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111538897A (zh) * | 2020-03-16 | 2020-08-14 | 北京三快在线科技有限公司 | 推荐的异常检测方法、装置、电子设备及可读存储介质 |
CN111538897B (zh) * | 2020-03-16 | 2023-06-02 | 北京三快在线科技有限公司 | 推荐的异常检测方法、装置、电子设备及可读存储介质 |
CN111740865B (zh) * | 2020-06-23 | 2022-09-02 | 北京奇艺世纪科技有限公司 | 一种流量波动趋势预测方法、装置及电子设备 |
CN111740865A (zh) * | 2020-06-23 | 2020-10-02 | 北京奇艺世纪科技有限公司 | 一种流量波动趋势预测方法、装置及电子设备 |
CN111860644A (zh) * | 2020-07-20 | 2020-10-30 | 北京百度网讯科技有限公司 | 一种异常账号的识别方法、装置、设备和存储介质 |
CN112241351A (zh) * | 2020-09-30 | 2021-01-19 | 中国银联股份有限公司 | 数据处理方法、装置、设备和介质 |
CN112241351B (zh) * | 2020-09-30 | 2023-12-22 | 中国银联股份有限公司 | 数据处理方法、装置、设备和介质 |
CN112291276A (zh) * | 2020-12-28 | 2021-01-29 | 金锐同创(北京)科技股份有限公司 | 流量报警方法、装置及电子设备 |
CN112291276B (zh) * | 2020-12-28 | 2021-03-23 | 金锐同创(北京)科技股份有限公司 | 流量报警方法、装置及电子设备 |
CN113344376A (zh) * | 2021-06-02 | 2021-09-03 | 南京星云数字技术有限公司 | 商户风险监测方法、装置、计算机设备和存储介质 |
CN113691529B (zh) * | 2021-08-24 | 2022-03-11 | 珠海市鸿瑞信息技术股份有限公司 | 一种基于电力行业网络安全的工业控制系统及方法 |
CN113691529A (zh) * | 2021-08-24 | 2021-11-23 | 珠海市鸿瑞信息技术股份有限公司 | 一种基于电力行业网络安全的工业控制系统及方法 |
CN114039745A (zh) * | 2021-10-08 | 2022-02-11 | 中移(杭州)信息技术有限公司 | 网站异常流量的识别方法、设备及介质 |
CN114039745B (zh) * | 2021-10-08 | 2024-06-04 | 中移(杭州)信息技术有限公司 | 网站异常流量的识别方法、设备及介质 |
CN114490302A (zh) * | 2022-03-04 | 2022-05-13 | 大庆火兔网络科技有限公司 | 一种基于大数据分析的威胁行为分析方法及服务器 |
Also Published As
Publication number | Publication date |
---|---|
CN110830448B (zh) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110830448B (zh) | 目标事件的流量异常检测方法、装置、电子设备及介质 | |
US9516035B1 (en) | Behavioral profiling method and system to authenticate a user | |
US10616256B2 (en) | Cross-channel detection system with real-time dynamic notification processing | |
Reuter et al. | Artificial neural networks for forecasting of fuzzy time series | |
CN111340244B (zh) | 预测方法、训练方法、装置、服务器及介质 | |
CN112580952A (zh) | 用户行为风险预测方法、装置、电子设备及存储介质 | |
CN112733995B (zh) | 训练神经网络的方法、行为检测方法及行为检测装置 | |
CN112163963B (zh) | 业务推荐方法、装置、计算机设备和存储介质 | |
US20230111785A1 (en) | Machine-learning techniques to generate recommendations for risk mitigation | |
CN112528110A (zh) | 确定实体业务属性的方法及装置 | |
CN111818093A (zh) | 用于进行风险评估的神经网络系统、方法及装置 | |
CN112801670A (zh) | 针对支付操作的风险评估方法及装置 | |
CN114092097B (zh) | 风险识别模型的训练方法、交易风险确定方法及装置 | |
US11663662B2 (en) | Automatic adjustment of limits based on machine learning forecasting | |
Cheng et al. | Dynamic games for social model training service market via federated learning approach | |
CN115935265B (zh) | 训练风险识别模型的方法、风险识别方法及对应装置 | |
CN113269259B (zh) | 一种目标信息的预测方法及装置 | |
CN110362981B (zh) | 基于可信设备指纹判断异常行为的方法及系统 | |
EP3882795A1 (en) | Fraud detection system, fraud detection method, and program | |
KR20200027084A (ko) | 자영업자 매출액 마일리지 제공 시스템 및 방법 | |
US20240062218A1 (en) | IoT BASED AUTHENTICATION | |
US20240064140A1 (en) | IoT BASED AUTHENTICATION | |
CN117350461B (zh) | 企业异常行为预警方法、系统、计算机设备及存储介质 | |
US20230377004A1 (en) | Systems and methods for request validation | |
US20220351318A1 (en) | User behavior-based risk profile rating system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |