CN110991241A - 异常识别方法、设备及计算机可读介质 - Google Patents
异常识别方法、设备及计算机可读介质 Download PDFInfo
- Publication number
- CN110991241A CN110991241A CN201911056854.0A CN201911056854A CN110991241A CN 110991241 A CN110991241 A CN 110991241A CN 201911056854 A CN201911056854 A CN 201911056854A CN 110991241 A CN110991241 A CN 110991241A
- Authority
- CN
- China
- Prior art keywords
- scene
- monitoring
- field
- abnormal
- scenes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Alarm Systems (AREA)
Abstract
本申请提供了一种异常识别方案,该方案首先获取场景码字段范围配置信息,所述场景码字段范围配置信息中包括了场景字段和监控字段,其中场景字段用于作为过滤条件,而监控字段用于标识需要监控的数据,通过组合所述场景字段和监控字段,并结合所述场景字段的字段值来获得监控场景,而后在各个监控场景下,以所述监控场景的场景字段作为过滤条件,获取对应监控字段的实际数据,进而计算各个监控场景下的统计指标,并根据所述统计指标识别出异常的监控场景。由于监控场景是通过组合场景字段和监控字段,并结合字段值来获得的,不需要依赖专家的专业知识进行人工配置,即可组合出任意可能的监控场景,不会遗漏隐藏的业务场景。
Description
技术领域
本申请涉及信息技术领域,尤其涉及一种异常识别方法、设备及计算机可读介质。
背景技术
由于业务数据的规模越来越大,不可避免地会导致数据管理的难度提升。在业务平台中,随着数据迁移、新增业务越来越多,数据异常也会随之时有发生。
传统的异常监控方案依赖人工配置数据监控策略,实现对有限场景的异常监控,该方案的处理过程如图1所示,包括以下主要步骤:
步骤S101,依赖专家的业务知识,人工配置需要的监控场景。
步骤S102,获取该监控场景下的实际数据,在单个场景范围内计算出该监控场景下的单个统计指标。
步骤S103,根据计算出的统计指标和历史统计指标,计算出该监控场景下的单个异常指标。
步骤S104,根据异常指标判定该监控场景是否异常,并在异常时进行告警。
步骤S105,通过人工的方式进行归因分析,确定告警原因。
上述方案的主要缺点在于:由于监控场景需要依赖于专家的业务知识进行人工配置,能够监控的场景有限,无法覆盖一些隐藏业务场景。
申请内容
本申请的一个目的是提供一种监控场景异常识别的方案,用以解决现有方案中监控场景需要依赖于人工配置,无法覆盖一些隐藏的业务场景的问题。
本申请实施例提供了一种异常识别方法,该方法包括:
获取场景码字段范围配置信息,其中,所述场景码字段范围配置信息包括场景字段和监控字段;
组合所述场景字段和监控字段,并结合所述场景字段的字段值,生成至少一个监控场景;
在各个监控场景下,以所述监控场景的场景字段作为过滤条件,获取对应监控字段的实际数据;
根据所述实际数据,计算各个监控场景下的统计指标,并根据所述统计指标识别出异常的监控场景。
本申请实施例还提供了一种异常识别设备,该设备包括:
配置模块,用于获取场景码字段范围配置信息,其中,所述场景码字段范围配置信息包括场景字段和监控字段;
场景获取模块,用于组合所述场景字段和监控字段,并结合所述场景字段的字段值,生成至少一个监控场景;
数据监控模块,用于在各个监控场景下,以所述监控场景的场景字段作为过滤条件,获取对应监控字段的实际数据;
识别模块,用于根据所述实际数据,计算各个监控场景下的统计指标,并根据所述统计指标识别出异常的监控场景。
此外,本申请的一些实施例还提供了一种计算设备,该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发所述设备执行所述异常识别方法。
本申请的另一些实施例还提供了一种计算机可读介质,其上存储有计算机程序指令,所述计算机可读指令可被处理器执行以实现所述异常识别方法。
本申请实施例提供的异常识别方案中,首先获取场景码字段范围配置信息,所述场景码字段范围配置信息中包括了场景字段和监控字段,其中场景字段用于作为过滤条件,而监控字段用于标识需要监控的数据,通过组合所述场景字段和监控字段,并结合所述场景字段的字段值来获得监控场景,而后在各个监控场景下,以所述监控场景的场景字段作为过滤条件,获取对应监控字段的实际数据,进而计算各个监控场景下的统计指标,并根据所述统计指标识别出异常的监控场景。由于监控场景是通过组合场景字段和监控字段,并结合字段值来获得的,不需要依赖专家的专业知识进行人工配置,即可组合出任意可能的监控场景,不会遗漏隐藏的业务场景。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为传统的异常监控方案的处理过程示意图;
图2为本申请实施例提供的一种异常识别方法的处理流程图;
图3为一种基于本申请实施例提供的异常识别方案实现异常监控的处理过程示意图;
图4为本申请实施例提供的一种异常识别设备的结构示意图;
图5为本申请实施例提供的一种用于实现异常识别的计算设备的结构示意图;
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的装置或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
本申请实施例提供了一种异常识别方法,该方法是在获取包括了场景字段和监控字段的场景码字段范围配置信息之后,通过组合场景字段和监控字段,并结合字段值来获得监控场景,不需要依赖专家的专业知识进行人工配置,即可组合出任意可能的监控场景,不会遗漏隐藏的业务场景。
在实际场景中,该方法的执行主体可以是用户设备、网络设备或者用户设备与网络设备通过网络相集成所构成的设备,此外也可以是运行于上述设备中的程序。所述用户设备包括但不限于计算机、手机、平板电脑等各类终端设备;所述网络设备包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现。在此,云由基于云计算(Cloud Computing)的大量主机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟计算机。
图2示出了本申请实施例提供的一种异常识别方法的处理流程,至少包括以下处理步骤:
步骤S101,获取场景码字段范围配置信息。
所述场景码字段范围配置信息包括场景字段和监控字段,例如,在本申请的一些实施例中,场景码字段范围配置信息可以采用(A,B,C|D,E)的形式表示,“|”标记之前的部分为场景字段,即A、B和C三个场景字段,“|”标记之后的部分为监控字段,即D和E两个监控字段。在实际场景中,所述场景字段和监控字段的数量可以根据实际需求由用户设置,而不限定于本实施例中的三个和两个。
步骤S102,组合所述场景字段和监控字段,并结合所述场景字段的字段值,生成至少一个监控场景。其中,场景字段用于作为数据的过滤条件,所述场景字段的字段值为场景字段的实际取值,监控字段用于标记在过滤条件下实际需要监控的内容,基于上述内容所确定的监控场景即为需要进行监控的业务场景。
在生成监控场景时,可以先选取至少一个场景字段以及至少一个监控字段,将其进行组合。由此组合生成的监控场景,以前述的场景码字段范围配置信息(A,B,C|D,E)为例,可以从A、B和C三个场景字段中选取一个A,而后从D和E两个监控字段中选取一个D,即可组成一个组合场景码(A|D)。或者,也可以从A、B和C三个场景字段中选取两个,如A和B,并且从D和E两个监控字段中选取一个D,即可组成一个组合场景码(A,B|D)。
对于组合场景码,结合所述场景字段的字段值之后,即可生成具体的监控场景。例如,本实施例中,场景字段A的字段值有两种实际取值,分别为a1和a2,场景字段B的字段值有一种实际取值b1,由此可以获得两个具体的监控场景,即(A=a1,B=b1|D)和(A=a2,B=b1|D)。
在实际场景中,假设场景字段A为支付方式,场景字段B为业务类型,D为支付金额,且支付方式的具体字段值a1为余额支付,a2为银行卡支付,字段场景B的具体字段值b1为扫码骑车。此时,前述的两个监控场景分别用于监控用户扫码骑车时通过余额支付的方式所支付的金额和用户扫码骑车时通过银行卡支付的方式所支付的金额。
为了确保可以覆盖一些隐藏的场景,组合所述场景字段和监控字段时,可以将所有的可能性进行组合。例如,可以枚举所述场景字段和监控字段的组合,获取组合场景码。以前述场景码字段范围配置信息(A,B,C|D,E)为例,可以枚举所述场景字段和监控字段的组合,从而获取如下的组合场景码的集合:(A|D)、(B|D)、(C|D)、(A|E)、(B|E)、(C|E)、(A,B|D)、(B,C|D)、(A,C|D)、(A,B|E)、(B,C|E)、(A,C|E)、(A,B,C|D)、(A,B,C|E)、(A|D,E)、(B|D,E)、(C|D,E)、(A,B|D,E)、(B,C|D,E)、(A,C|D,E)、(A,B,C|D,E)。而后将所述场景字段的字段值代入所述组合场景码中的场景字段,即可获得所有可能的监控场景,以实现全场景监控,避免遗漏人工配置时难以发现的隐藏业务场景。
由于通过枚举的方式实现全场景的监控时,会得到大量的监控场景,在这些监控场景中会存在一些没有实际意义的场景,为了减少不必要的计算量,可以根据预设的过滤规则,对监控场景进行过滤,获取至少一个监控场景。例如,在有些监控场景中,场景字段的字段值可能是空值,由此可以预先设定一条过滤规则为:过滤X=null的场景,其中X表示任意的场景字段,由此可以将场景字段取值为空的监控场景过滤。在实际场景中,设置过滤规则时,可以预先定义过滤协议,当需要进行场景过滤时,用户只需按照过滤协议修改配置文件,即可设定不同的过滤规则。或者,也可以定制多种可选的过滤规则,在程序运行时向用户提供选择过滤规则的交互界面,由用户选取需要的过滤规则。
在此,本领域技术人员应当理解,上述具体的过滤规则以及过滤规则的设定方式仅为举例,现有或今后出现的基于类似原理的其它形式如果能够适用于本申请,也应该包含在本申请的保护范围内,并以引用的形式包含于此。
此外,在生成组合场景码时,也可以设置额外的配置信息,对生成监控场景进行一定的控制。例如,可以设置组合时的字段数量限制,以前述场景码字段范围配置信息(A,B,C|D,E)为例,设置组合时的场景字段数量最多为2,扫描字段数量最多为1,由此最终获得的任意一个组合长兴吗中,场景字段的数量不能超过2,而监控字段的数量不能超过1,由此获取的组合场景码的集合如下:(A|D)、(B|D)、(C|D)、(A|E)、(B|E)、(C|E)、(A,B|D)、(B,C|D)、(A,C|D)、(A,B|E)、(B,C|E)、(A,C|E)。
步骤S203,在各个监控场景下,以所述监控场景的场景字段作为过滤条件,获取对应监控字段的实际数据。
由于通过组合场景字段和监控字段,并集合场景字段的字段值可以获取多个监控场景,对于每个监控场景可以独立进行后续的处理。以前述的监控场景(A=a1,B=b1|D)为例,若字段值a1为余额支付,字段值b1为扫码骑车,监控字段D为支付金额,对于该监控场景的处理即为:以余额支付和扫码骑车作为过滤条件,在数据库中查询支付金额,由此获取到的对应监控字段的实际数据是用户扫码骑车时通过余额支付的方式所支付的实际金额。由此,对于每个监控场景,均可以采集到识别异常所需的实际数据。
步骤S204,根据所述实际数据,计算各个监控场景下的统计指标,并根据所述统计指标识别出异常的监控场景。
所述统计指标是指基于实际数确定的,能够用于判断场景是否异常的指标,在本实施例的方案中,支持多个统计指标的同时计算。例如,可以基于获取的实际数据,统计N天内监控字段D的各个数值分别出现的次数,确定监控字段D的数值分布情况,而后基于该分布情况计算熵值、JS距离、最大值,均值、最小值和方差等各项统计指标。
在根据所述统计指标识别出异常的监控场景时,可以根据所述统计指标,计算对应监控场景下的异常指标。其中,所述异常指标用于描述当前统计周期内的统计指标与基准指标之间的差异,所述基准指标可以是该监控场景下预先设定的一个标准统计指标,或者也可以是基于历史数据确定的历史同期的统计指标。
在计算异常指标时,可以将本次计算得到的各个统计指标,分别与对应的各个基准指标进行比较,例如,本实施例中,基于本次计算得到的熵值、JS距离、最大值,均值、最小值和方差,分别与同场景下历史同期的熵值、JS距离、最大值,均值、最小值和方差进行比较,计算出熵值波动率、JS距离波动率、最大值波动率、均值波动率、最小值波动率、方差波动率,将这些波动率作为异常指标。在本申请实施例的方案中,也可以支持多个统计指标的同时计算,在获得各个异常指标之后,即可根据所述异常指标识别出异常的监控场景。
在本申请的一些实施例中,若根据所述统计指标计算出了对应监控场景下的多个异常指标,则可以根据所述多个异常指标计算对应场景下的综合异常分值,然后将所述综合异常分值与判定阈值进行比较,根据所述比较结果识别出异常的监控场景。
在计算综合异常分值时,可以根据预设的打分模型进行计算,计算获得的综合异常分值越高,表示该监控场景的异常程度越高。为了使得计算更加准确,对于各个监控场景,可以分别单独设置各自的打分公式。例如,对于一个具体的监控场景,获得了三个异常指标,分别为x、y、z,输入打分模型RiskFunc,该打分模型可以是基于规则集、决策树、逻辑回归、神经网络等算法的、任意可以用作评分的模型。由此,可以输出该监控场景的综合异常分值risk_score=RiskFunc(x,y,z)。
若一个监控场景中设定的判定阈值为R0,将监控场景的综合异常分值risk_score与R0进行比较,若risk_score>R0,则可以判定该监控场景异常,反之,若risk_score≤R0,则可以判定该监控场景正常。由于本实施例的方案是合并了具体监控场景下多个异常指标,综合计算出了一个综合异常分值,而传统方案只对单一异常指标给出风险预测,相较而言本实施例的方案具有更高的准确性。
在此,本领域技术人员应当理解,上述计算综合异常分值的方式以及综合异常分值与判定阈值的比较方式仅为举例,现有或今后出现的基于类似原理的其它形式如果能够适用于本申请,也应该包含在本申请的保护范围内,并以引用的形式包含于此。例如,计算综合异常分值时,可以采用加权计算的方式,为各个异常指标设定权重,而后基于权重加权计算获得综合异常分值。
由于本申请实施例的方案中,会单独计算每个监控场景的综合异常分值,并进行异常识别,因此在处理过程中可以获得所有监控场景的综合异常分值。对于这些综合异常分值,可以对其进行排序,例如按照数值的从高至低进行排序之后,向用户提供所述排序结果。由于异常程度越高,该场景存在风险的可能性也就越高,因此,综合异常分值的排序结果表示了各个监控场景的风险排序。用户通过查看排序结果,即可快速了解当前异常风险最高的几个业务场景,以便于优先处理这些风险最高的业务场景。
此外,在完成识别之后,还可以根据识别的结果,对所述异常的监控场景进行告警。例如,告警的方式可以是采用任意的形式向用户发送关于异常的监控场景的相关信息,从而通知用户监控的监控场景存在异常。结合前述综合异常分值的排序结果,可以进一步根据排序结果,对不同的异常监控场景采用不同的告警方式,对于异常程度较低的场景,可以采用打扰度较小的告警方式,而对于异常程度较高的场景,则可以采用更加能够引起用户注意的告警方式,使得用户能够及时进行处理。
在本申请的另一些实施例中,该方法还可以根据所述异常的监控场景所对应的场景字段和监控字段,确定导致异常的原因。由于通过枚举的方式能够覆盖所有具有实际意义的监控场景,并且可以从中识别出所有异常的监控场景,由此可以统计出某个监控字段有多少个异常的监控场景,或者是某个监控场景中有多少个监控字段等。例如,当某个监控字段有多个异常监控场景时,可以认为该监控字段是导致异常的原因。由此,可以向用户给出关于异常原因的参考信息,帮助用户实现归因追查。
以前述的监控字段D为例,与其监控字段D相关的异常监控场景包括:(A=a1,B=b1|D)、(A=a2,B=b1|D)、(A=a3,B=b1|D)、(A=a4,B=b1|D),若D为支付金额,a1为余额支付、a2为银行卡支付、a3为app1支付、a4为app2支付,b1为扫码骑车。由于与扫描骑车的支付金额相关的异常监控场景有4个,有4种支付方式下扫码骑车的支付金额存在异常,此时可以认为是支付金额的问题导致了异常发生,例如具体原因很有可能是支付金额的设置错误,从而导致了多种支付方式下的支付金额都出现了异常。
图3示出了一种基于本申请实施例提供的异常识别方案实现业务场景异常监控的处理过程,包括以下主要步骤:
步骤S301,根据场景码字段范围配置信息,全场景枚举的方式生成所有可能的监控场景。
步骤S302,过滤监控场景。
步骤S303,获取各个监控场景下的实际数据,在全场景范围内计算出每个监控场景中各类统计指标。
步骤S304,根据计算出的统计指标和历史统计指标,在全场景范围内计算每个监控场景下多个异常指标。
步骤S305,合并每个监控场景的异常指标,生成综合异常分值,并进行风险排序。
步骤S306,根据综合异常分值判定各个监控场景是否异常,并对异常的监控场景进行告警。
步骤S307,根据所述异常的监控场景所对应的场景字段和监控字段,进行归因追查,确定导致异常的原因。
基于同一发明构思,本申请实施例中还提供了一种异常识别设备,所述设备对应的方法是前述实施例中的异常识别方法,并且其解决问题的原理与该方法相似。
本申请实施例提供了一种异常识别设备,该设备在获取包括了场景字段和监控字段的场景码字段范围配置信息之后,通过组合场景字段和监控字段,并结合字段值来获得监控场景,不需要依赖专家的专业知识进行人工配置,即可组合出任意可能的监控场景,不会遗漏隐藏的业务场景。
在实际场景中,该设备可以是用户设备、网络设备或者用户设备与网络设备通过网络相集成所构成的设备,此外也可以是运行于上述设备中的程序。所述用户设备包括但不限于计算机、手机、平板电脑等各类终端设备;所述网络设备包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现。在此,云由基于云计算(Cloud Computing)的大量主机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟计算机。
图4示出了本申请实施例提供的一种异常识别设备的结构,该设备至少包括配置模块410、场景获取模块420、数据监控模块430和识别模块440。其中,所述配置模块410用于获取场景码字段范围配置信息;场景获取模块420用于组合所述场景字段和监控字段,并结合所述场景字段的字段值,生成至少一个监控场景;数据监控模块430用于在各个监控场景下,以所述监控场景的场景字段作为过滤条件,获取对应监控字段的实际数据;识别模块440用于根据所述实际数据,计算各个监控场景下的统计指标,并根据所述统计指标识别出异常的监控场景。
所述场景码字段范围配置信息包括场景字段和监控字段,例如,在本申请的一些实施例中,场景码字段范围配置信息可以采用(A,B,C|D,E)的形式表示,“|”标记之前的部分为场景字段,即A、B和C三个场景字段,“|”标记之后的部分为监控字段,即D和E两个监控字段。在实际场景中,所述场景字段和监控字段的数量可以根据实际需求由用户设置,而不限定于本实施例中的三个和两个。
场景字段用于作为数据的过滤条件,所述场景字段的字段值为场景字段的实际取值,监控字段用于标记在过滤条件下实际需要监控的内容,基于上述内容所确定的监控场景即为需要进行监控的业务场景。
在生成监控场景时,场景获取模块可以先选取至少一个场景字段以及至少一个监控字段,将其进行组合。由此组合生成的监控场景,以前述的场景码字段范围配置信息(A,B,C|D,E)为例,可以从A、B和C三个场景字段中选取一个A,而后从D和E两个监控字段中选取一个D,即可组成一个组合场景码(A|D)。或者,也可以从A、B和C三个场景字段中选取两个,如A和B,并且从D和E两个监控字段中选取一个D,即可组成一个组合场景码(A,B|D)。
对于组合场景码,结合所述场景字段的字段值之后,即可生成具体的监控场景。例如,本实施例中,场景字段A的字段值有两种实际取值,分别为a1和a2,场景字段B的字段值有一种实际取值b1,由此可以获得两个具体的监控场景,即(A=a1,B=b1|D)和(A=a2,B=b1|D)。
在实际场景中,假设场景字段A为支付方式,场景字段B为业务类型,D为支付金额,且支付方式的具体字段值a1为余额支付,a2为银行卡支付,字段场景B的具体字段值b1为扫码骑车。此时,前述的两个监控场景分别用于监控用户扫码骑车时通过余额支付的方式所支付的金额和用户扫码骑车时通过银行卡支付的方式所支付的金额。
为了确保可以覆盖一些隐藏的场景,组合所述场景字段和监控字段时,场景获取模块可以将所有的可能性进行组合。例如,场景获取模块可以枚举所述场景字段和监控字段的组合,获取组合场景码。以前述场景码字段范围配置信息(A,B,C|D,E)为例,可以枚举所述场景字段和监控字段的组合,从而获取如下的组合场景码的集合:(A|D)、(B|D)、(C|D)、(A|E)、(B|E)、(C|E)、(A,B|D)、(B,C|D)、(A,C|D)、(A,B|E)、(B,C|E)、(A,C|E)、(A,B,C|D)、(A,B,C|E)、(A|D,E)、(B|D,E)、(C|D,E)、(A,B|D,E)、(B,C|D,E)、(A,C|D,E)、(A,B,C|D,E)。而后将所述场景字段的字段值代入所述组合场景码中的场景字段,即可获得所有可能的监控场景,以实现全场景监控,避免遗漏人工配置时难以发现的隐藏业务场景。
由于通过枚举的方式实现全场景的监控时,会得到大量的监控场景,在这些监控场景中会存在一些没有实际意义的场景,为了减少不必要的计算量,场景获取模块可以根据预设的过滤规则,对监控场景进行过滤,获取至少一个监控场景。例如,在有些监控场景中,场景字段的字段值可能是空值,由此可以预先设定一条过滤规则为:过滤X=null的场景,其中X表示任意的场景字段,由此可以将场景字段取值为空的监控场景过滤。在实际场景中,设置过滤规则时,可以预先定义过滤协议,当需要进行场景过滤时,用户只需按照过滤协议修改配置文件,即可设定不同的过滤规则。或者,也可以定制多种可选的过滤规则,在程序运行时向用户提供选择过滤规则的交互界面,由用户选取需要的过滤规则。
在此,本领域技术人员应当理解,上述具体的过滤规则以及过滤规则的设定方式仅为举例,现有或今后出现的基于类似原理的其它形式如果能够适用于本申请,也应该包含在本申请的保护范围内,并以引用的形式包含于此。
此外,在生成组合场景码时,也可以设置额外的配置信息,对生成监控场景进行一定的控制。例如,可以设置组合时的字段数量限制,以前述场景码字段范围配置信息(A,B,C|D,E)为例,设置组合时的场景字段数量最多为2,扫描字段数量最多为1,由此最终获得的任意一个组合长兴吗中,场景字段的数量不能超过2,而监控字段的数量不能超过1,由此获取的组合场景码的集合如下:(A|D)、(B|D)、(C|D)、(A|E)、(B|E)、(C|E)、(A,B|D)、(B,C|D)、(A,C|D)、(A,B|E)、(B,C|E)、(A,C|E)。
由于通过组合场景字段和监控字段,并集合场景字段的字段值可以获取多个监控场景,对于每个监控场景可以独立进行后续的处理。以前述的监控场景(A=a1,B=b1|D)为例,若字段值a1为余额支付,字段值b1为扫码骑车,监控字段D为支付金额,对于该监控场景的处理即为:以余额支付和扫码骑车作为过滤条件,在数据库中查询支付金额,由此获取到的对应监控字段的实际数据是用户扫码骑车时通过余额支付的方式所支付的实际金额。由此,对于每个监控场景,均可以采集到识别异常所需的实际数据。
所述统计指标是指基于实际数确定的,能够用于判断场景是否异常的指标,在本实施例的方案中,支持多个统计指标的同时计算。例如,可以基于获取的实际数据,统计N天内监控字段D的各个数值分别出现的次数,确定监控字段D的数值分布情况,而后基于该分布情况计算熵值、JS距离、最大值,均值、最小值和方差等各项统计指标。
在根据所述统计指标识别出异常的监控场景时,所述识别模块可以根据所述统计指标,计算对应监控场景下的异常指标。其中,所述异常指标用于描述当前统计周期内的统计指标与基准指标之间的差异,所述基准指标可以是该监控场景下预先设定的一个标准统计指标,或者也可以是基于历史数据确定的历史同期的统计指标。
在计算异常指标时,所述识别模块可以将本次计算得到的各个统计指标,分别与对应的各个基准指标进行比较,例如,本实施例中,基于本次计算得到的熵值、JS距离、最大值,均值、最小值和方差,分别与同场景下历史同期的熵值、JS距离、最大值,均值、最小值和方差进行比较,计算出熵值波动率、JS距离波动率、最大值波动率、均值波动率、最小值波动率、方差波动率,将这些波动率作为异常指标。在本申请实施例的方案中,也可以支持多个统计指标的同时计算,在获得各个异常指标之后,即可根据所述异常指标识别出异常的监控场景。
在本申请的一些实施例中,若根据所述统计指标计算出了对应监控场景下的多个异常指标,则所述识别模块可以根据所述多个异常指标计算对应场景下的综合异常分值,然后将所述综合异常分值与判定阈值进行比较,根据所述比较结果识别出异常的监控场景。
在计算综合异常分值时,所述识别模块可以根据预设的打分模型进行计算,计算获得的综合异常分值越高,表示该监控场景的异常程度越高。为了使得计算更加准确,对于各个监控场景,可以分别单独设置各自的打分公式。例如,对于一个具体的监控场景,获得了三个异常指标,分别为x、y、z,输入打分模型RiskFunc,该打分模型可以是基于规则集、决策树、逻辑回归、神经网络等算法的、任意可以用作评分的模型。由此,可以输出该监控场景的综合异常分值risk_score=RiskFunc(x,y,z)。
若一个监控场景中设定的判定阈值为R0,将监控场景的综合异常分值risk_score与R0进行比较,若risk_score>R0,则可以判定该监控场景异常,反之,若risk_score≤R0,则可以判定该监控场景正常。由于本实施例的方案是合并了具体监控场景下多个异常指标,综合计算出了一个综合异常分值,而传统方案只对单一异常指标给出风险预测,相较而言本实施例的方案具有更高的准确性。
在此,本领域技术人员应当理解,上述计算综合异常分值的方式以及综合异常分值与判定阈值的比较方式仅为举例,现有或今后出现的基于类似原理的其它形式如果能够适用于本申请,也应该包含在本申请的保护范围内,并以引用的形式包含于此。例如,计算综合异常分值时,可以采用加权计算的方式,为各个异常指标设定权重,而后基于权重加权计算获得综合异常分值。
由于本申请实施例的方案中,会单独计算每个监控场景的综合异常分值,并进行异常识别,因此在处理过程中可以获得所有监控场景的综合异常分值。对于这些综合异常分值,所述识别模块可以对其进行排序,例如按照数值的从高至低进行排序之后,向用户提供所述排序结果。由于异常程度越高,该场景存在风险的可能性也就越高,因此,综合异常分值的排序结果表示了各个监控场景的风险排序。用户通过查看排序结果,即可快速了解当前异常风险最高的几个业务场景,以便于优先处理这些风险最高的业务场景。
此外,本申请实施提供的异常识别设备还可以包括一告警模块,以用于在完成识别之后,还可以根据识别的结果,对所述异常的监控场景进行告警。例如,告警的方式可以是采用任意的形式向用户发送关于异常的监控场景的相关信息,从而通知用户监控的监控场景存在异常。结合前述综合异常分值的排序结果,可以进一步根据排序结果,对不同的异常监控场景采用不同的告警方式,对于异常程度较低的场景,可以采用打扰度较小的告警方式,而对于异常程度较高的场景,则可以采用更加能够引起用户注意的告警方式,使得用户能够及时进行处理。
在本申请的另一些实施例中,所述识别模块还可以根据所述异常的监控场景所对应的场景字段和监控字段,确定导致异常的原因。由于通过枚举的方式能够覆盖所有具有实际意义的监控场景,并且可以从中识别出所有异常的监控场景,由此可以统计出某个监控字段有多少个异常的监控场景,或者是某个监控场景中有多少个监控字段等。例如,当某个监控字段有多个异常监控场景时,可以认为该监控字段是导致异常的原因。由此,可以向用户给出关于异常原因的参考信息,帮助用户实现归因追查。
以前述的监控字段D为例,与其监控字段D相关的异常监控场景包括:(A=a1,B=b1|D)、(A=a2,B=b1|D)、(A=a3,B=b1|D)、(A=a4,B=b1|D),若D为支付金额,a1为余额支付、a2为银行卡支付、a3为app1支付、a4为app2支付,b1为扫码骑车。由于与扫描骑车的支付金额相关的异常监控场景有4个,有4种支付方式下扫码骑车的支付金额存在异常,此时可以认为是支付金额的问题导致了异常发生,例如具体原因很有可能是支付金额的设置错误,从而导致了多种支付方式下的支付金额都出现了异常。
综上所述,本申请实施例提供的异常识别方案中,首先获取场景码字段范围配置信息,所述场景码字段范围配置信息中包括了场景字段和监控字段,其中场景字段用于作为过滤条件,而监控字段用于标识需要监控的数据,通过组合所述场景字段和监控字段,并结合所述场景字段的字段值来获得监控场景,而后在各个监控场景下,以所述监控场景的场景字段作为过滤条件,获取对应监控字段的实际数据,进而计算各个监控场景下的统计指标,并根据所述统计指标识别出异常的监控场景。由于监控场景是通过组合场景字段和监控字段,并结合字段值来获得的,不需要依赖专家的专业知识进行人工配置,即可组合出任意可能的监控场景,不会遗漏隐藏的业务场景。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据程序指令运行的计算机设备的工作存储器中。在此,根据本申请的一些实施例包括一个如图5所示的计算设备,该设备包括存储有计算机可读指令的一个或多个存储器510和用于执行计算机可读指令的处理器520,其中,当该计算机可读指令被该处理器执行时,使得所述设备执行基于前述本申请的多个实施例的方法和/或技术方案。
此外,本申请的一些实施例还提供了一种计算机可读介质,其上存储有计算机程序指令,所述计算机可读指令可被处理器执行以实现前述本申请的多个实施例的方法和/或技术方案。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中,本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
Claims (16)
1.一种异常识别方法,其中,该方法包括:
获取场景码字段范围配置信息,其中,所述场景码字段范围配置信息包括场景字段和监控字段;
组合所述场景字段和监控字段,并结合所述场景字段的字段值,生成至少一个监控场景;
在各个监控场景下,以所述监控场景的场景字段作为过滤条件,获取对应监控字段的实际数据;
根据所述实际数据,计算各个监控场景下的统计指标,并根据所述统计指标识别出异常的监控场景。
2.根据权利要求1所述的方法,其中,组合所述场景字段和监控字段,并结合所述场景字段的字段值,生成至少一个监控场景,包括:
枚举所述场景字段和监控字段的组合,获取组合场景码;
将所述场景字段的字段值代入所述组合场景码中的场景字段,生成多个监控场景;
根据预设的过滤规则,对所述多个监控场景进行过滤,获取至少一个监控场景。
3.根据权利要求1所述的方法,其中,根据所述实际数据,计算各个监控场景下的统计指标,并根据所述统计指标识别出异常的监控场景,包括:
根据所述实际数据,计算各个监控场景下的统计指标;
根据所述统计指标,计算对应监控场景下的异常指标,并根据所述异常指标识别出异常的监控场景。
4.根据权利要求3所述的方法,其中,根据所述统计指标,计算对应监控场景下的异常指标,并根据所述异常指标识别出异常的监控场景,包括:
根据所述统计指标,计算对应监控场景下的多个异常指标;
根据所述多个异常指标计算对应场景下的综合异常分值;
将所述综合异常分值与判定阈值进行比较,根据所述比较结果识别出异常的监控场景。
5.根据权利要求4所述的方法,其中,该方法还包括:
根据所述异常的监控场景的综合异常分值,对所述异常的监控场景进行排序,并向用户提供所述排序结果。
6.根据权利要求1至5中任一项所述的方法,其中,该方法还包括:
对所述异常的监控场景进行告警。
7.根据权利要求1至5中任一项所述的方法,其中,该方法还包括:
根据所述异常的监控场景所对应的场景字段和监控字段,确定导致异常的原因。
8.一种异常识别设备,其中,该设备包括:
配置模块,用于获取场景码字段范围配置信息,其中,所述场景码字段范围配置信息包括场景字段和监控字段;
场景获取模块,用于组合所述场景字段和监控字段,并结合所述场景字段的字段值,生成至少一个监控场景;
数据监控模块,用于在各个监控场景下,以所述监控场景的场景字段作为过滤条件,获取对应监控字段的实际数据;
识别模块,用于根据所述实际数据,计算各个监控场景下的统计指标,并根据所述统计指标识别出异常的监控场景。
9.根据权利要求8所述的设备,其中,所述场景获取模块,用于枚举所述场景字段和监控字段的组合,获取组合场景码;将所述场景字段的字段值代入所述组合场景码中的场景字段,生成多个监控场景;以及根据预设的过滤规则,对所述多个监控场景进行过滤,获取至少一个监控场景。
10.根据权利要求9所述的设备,其中,所述识别模块,用于根据所述实际数据,计算各个监控场景下的统计指标;以及根据所述统计指标,计算对应监控场景下的异常指标,并根据所述异常指标识别出异常的监控场景。
11.根据权利要求10所述的设备,其中,所述识别模块,用于根据所述统计指标,计算对应监控场景下的多个异常指标;根据所述多个异常指标计算对应场景下的综合异常分值;将所述综合异常分值与判定阈值进行比较,根据所述比较结果识别出异常的监控场景。
12.根据权利要求11所述的设备,其中,所述识别模块,还用于根据所述异常的监控场景的综合异常分值,对所述异常的监控场景进行排序,并向用户提供所述排序结果。
13.根据权利要求8至12中任一项所述的设备,其中,该设备还包括:
告警模块,用于对所述异常的监控场景进行告警。
14.根据权利要求8至12中任一项所述的设备,其中,所述识别模块,还用于根据所述异常的监控场景所对应的场景字段和监控字段,确定导致异常的原因。
15.一种计算设备,其中,该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发所述设备执行权利要求1至7中任一项所述的方法。
16.一种计算机可读介质,其上存储有计算机程序指令,所述计算机可读指令可被处理器执行以实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911056854.0A CN110991241B (zh) | 2019-10-31 | 2019-10-31 | 异常识别方法、设备及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911056854.0A CN110991241B (zh) | 2019-10-31 | 2019-10-31 | 异常识别方法、设备及计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110991241A true CN110991241A (zh) | 2020-04-10 |
CN110991241B CN110991241B (zh) | 2022-06-03 |
Family
ID=70082756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911056854.0A Active CN110991241B (zh) | 2019-10-31 | 2019-10-31 | 异常识别方法、设备及计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110991241B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112286761A (zh) * | 2020-10-29 | 2021-01-29 | 山东中创软件商用中间件股份有限公司 | 一种数据库状态检测方法、装置、电子设备及存储介质 |
CN114596014A (zh) * | 2022-05-10 | 2022-06-07 | 智昌科技集团股份有限公司 | 工业运输机器人权限管理方法、系统、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107093085A (zh) * | 2016-08-19 | 2017-08-25 | 北京小度信息科技有限公司 | 异常用户识别方法及装置 |
CN108959493A (zh) * | 2018-06-25 | 2018-12-07 | 阿里巴巴集团控股有限公司 | 指标异常波动的检测方法、装置及设备 |
CN109656986A (zh) * | 2018-10-09 | 2019-04-19 | 阿里巴巴集团控股有限公司 | 一种业务数据汇总的辅助方法、装置及电子设备 |
CN109902564A (zh) * | 2019-01-17 | 2019-06-18 | 杭州电子科技大学 | 一种基于结构相似性稀疏自编码网络的异常事件检测方法 |
CN110324168A (zh) * | 2018-03-30 | 2019-10-11 | 阿里巴巴集团控股有限公司 | 异常事件监控方法和装置及电子设备 |
-
2019
- 2019-10-31 CN CN201911056854.0A patent/CN110991241B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107093085A (zh) * | 2016-08-19 | 2017-08-25 | 北京小度信息科技有限公司 | 异常用户识别方法及装置 |
CN110324168A (zh) * | 2018-03-30 | 2019-10-11 | 阿里巴巴集团控股有限公司 | 异常事件监控方法和装置及电子设备 |
CN108959493A (zh) * | 2018-06-25 | 2018-12-07 | 阿里巴巴集团控股有限公司 | 指标异常波动的检测方法、装置及设备 |
CN109656986A (zh) * | 2018-10-09 | 2019-04-19 | 阿里巴巴集团控股有限公司 | 一种业务数据汇总的辅助方法、装置及电子设备 |
CN109902564A (zh) * | 2019-01-17 | 2019-06-18 | 杭州电子科技大学 | 一种基于结构相似性稀疏自编码网络的异常事件检测方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112286761A (zh) * | 2020-10-29 | 2021-01-29 | 山东中创软件商用中间件股份有限公司 | 一种数据库状态检测方法、装置、电子设备及存储介质 |
CN114596014A (zh) * | 2022-05-10 | 2022-06-07 | 智昌科技集团股份有限公司 | 工业运输机器人权限管理方法、系统、设备及存储介质 |
CN114596014B (zh) * | 2022-05-10 | 2022-09-16 | 智昌科技集团股份有限公司 | 工业运输机器人权限管理方法、系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110991241B (zh) | 2022-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018171412A1 (zh) | 一种行人检索方法及装置 | |
CN107423613A (zh) | 依据相似度确定设备指纹的方法、装置及服务器 | |
CN110991241B (zh) | 异常识别方法、设备及计算机可读介质 | |
CN112463859B (zh) | 基于大数据和业务分析的用户数据处理方法及服务器 | |
US20190080248A1 (en) | System and method for facilitating model-based classification of transactions | |
CN114270391A (zh) | 量化隐私影响 | |
CN112818162A (zh) | 图像检索方法、装置、存储介质和电子设备 | |
CN111680085A (zh) | 数据处理任务分析方法、装置、电子设备和可读存储介质 | |
CN111338888A (zh) | 一种数据统计方法、装置、电子设备及存储介质 | |
CN111414410A (zh) | 数据处理方法、装置、设备和存储介质 | |
CN116661954B (zh) | 虚拟机异常预测方法、装置、通信设备及存储介质 | |
CN107145421A (zh) | 一种异常信息获取方法和装置 | |
CN111144987A (zh) | 异常购物行为的限制方法、限制组件及购物系统 | |
CN108763253B (zh) | 一种投资组合的大数据可视化系统与方法 | |
CN110717653A (zh) | 风险识别方法及装置和电子设备 | |
CN114466214B (zh) | 直播间人数统计方法及装置 | |
CN108429632B (zh) | 一种业务监控方法和装置 | |
CN115641198A (zh) | 用户运营方法、装置、电子设备和存储介质 | |
CN112882854B (zh) | 一种请求异常的处理方法及装置 | |
CN115438244A (zh) | 一种数据库健康度评估方法及装置 | |
CN114547406A (zh) | 数据监控方法、系统、存储介质及电子装置 | |
US20190238400A1 (en) | Network element operational status ranking | |
EP3828712A1 (en) | Data parsing method and device | |
CN117333006B (zh) | 一种进出口工业产品风险信息监测系统及方法 | |
CN112749724B (zh) | 训练分类器、预测应用性能扩展性的方法、设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |