CN115221011A - 一种数据元件流通调用异常监控方法及装置 - Google Patents
一种数据元件流通调用异常监控方法及装置 Download PDFInfo
- Publication number
- CN115221011A CN115221011A CN202211146641.9A CN202211146641A CN115221011A CN 115221011 A CN115221011 A CN 115221011A CN 202211146641 A CN202211146641 A CN 202211146641A CN 115221011 A CN115221011 A CN 115221011A
- Authority
- CN
- China
- Prior art keywords
- data element
- data
- abnormal
- calling
- isolated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012544 monitoring process Methods 0.000 title claims abstract description 25
- 230000002159 abnormal effect Effects 0.000 claims abstract description 30
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 13
- 230000006399 behavior Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000000586 desensitisation Methods 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 101100382122 Homo sapiens CIITA gene Proteins 0.000 description 1
- 102100026371 MHC class II transactivator Human genes 0.000 description 1
- 108700002010 MHC class II transactivator Proteins 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种数据元件流通调用异常监控方法及装置,包括如下步骤:利用孤立森林模型,从提取到的特征数据中,随机选择多个数据点作为子样本,放入一棵孤立树的根节点;随机指定一个数据元件的特征维度,基于切割点生成的超平面,将当前数据空间切割为两个子空间;基于切割点,将各数据点分别放入两个子空间对应的分支,由此构造叶子节点;基于形成的任一棵孤立树,计算数据元件调用异常分数;对于特征数据的各子样本,基于各孤立树的异常分数,计算综合分数;在综合分数超过预预设阈值的情况下,确定数据元件的行为存在异常。本申请实现了自动发现数据元件调用方的异常行为,自动预警,并且无需管理员配置各种复杂的异常行为的策略。
Description
技术领域
本申请涉及数据元件技术领域,尤其涉及一种数据元件流通调用异常监控方法及装置。
背景技术
数据元件:是通过对数据脱敏处理后,根据需要由若干相关字段形成的数据集或由数据的关联字段通过建模形成的数据特征(参见数据元件团标T/CIITA 406-2022)。
同领域没有对数据元件API调用异常的检测;通常是对普通API的检测,并且异常情况的种类比较固定,不能自动发现未配置的异常事件类型,对于复杂的异常情况不能自动识别;另外不能根据用户不同进行判断,例如某个用户数据元件调用,大多数都是白天调用,突然出现了晚间调用的异常情况;另外的用户大部分是晚间调用,突然出现了白天调用。
大多数基于模型的异常检测算法会先“规定”正常点的范围或阈值,如果这个点不在正常范围内,那么模型会将其判定为异常点。
发明内容
本申请实施例提供一种数据元件流通调用异常监控方法及装置,用以对数据元件的调用行为进行监控,自动检测其中异常调用行为。
本申请实施例提供一种数据元件流通调用异常监控方法,包括如下步骤:
基于数据元件的行为提取特征数据;
利用孤立森林模型,从提取到的特征数据中,随机选择多个数据点作为子样本,放入一棵孤立树的根节点;
随机指定一个数据元件的特征维度,在当前节点数据范围内,随机产生一个切割点;
基于所述切割点生成的超平面,将当前数据空间切割为两个子空间;
在所述特征维度下,基于所述切割点,将各数据点分别放入两个子空间对应的分支,由此构造叶子节点;
基于构造的叶子节点,重复产生切割点并构造叶子节点,直至满足预设条件,或者,任一叶子节点上只有一个数据;
基于形成的任一棵孤立树,计算数据元件调用异常分数;
对于特征数据的各子样本,基于各孤立树的异常分数,计算综合分数;
在综合分数超过预设阈值的情况下,确定数据元件的行为存在异常。
可选的,所提取的特征数据包括:数据元件的调用时间段信息、调用频率信息、调用数据量、调用IP信息、调用地区信息、数据元件应用端信息以及鉴权日志信息。
可选的,随机产生的切割点产生于当前节点数据中指定维度的最大值与最小值之间。
可选的,基于形成的任一棵孤立树,计算数据元件调用异常分数包括:
对于任一子样本x,综合其各棵孤立树的结果,来计算数据元件调用异常分数,满足:
可选的,在确定数据元件的行为存在异常之后,还包括:
基于异常的数据元件的行为调用数据元件的异常事件分级模型,以利用所述异常事件分级模型对不同的事件类型、数据元件级别、数据元件类型给出对应的事件等级以及处理措施。
可选的,所述异常事件分级模型被配置为根据预设的映射关系,确定出对应的事件等级以及处理措施。
本申请实施例还提出一种数据元件流通调用异常监控装置,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序被处理器执行时实现前述的数据元件流通调用异常监控方法的步骤。
本申请实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现前述的数据元件流通调用异常监控方法的步骤。
本申请实施例通过基于孤立森林模型对数据元件的特征数据进行分析,由此实现了自动发现数据元件调用方的异常行为,自动预警,并且无需管理员配置各种复杂的异常行为的策略。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本申请实施例的数据元件流通调用异常监控方法的基本流程图;
图2为本申请实施例的数据元件流通调用示意图;
图3为本申请实施例的建立数据元件分支的流程示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本申请实施例提供一种数据元件流通调用异常监控方法,如图1所示,包括如下步骤:
在步骤S101中,基于数据元件的行为提取特征数据。在一些实施例中,所提取的特征数据包括:数据元件的调用时间段信息、调用频率信息、调用数据量、调用IP信息、调用地区信息、数据元件应用端信息以及鉴权日志信息。本申请中所指的数据元件,是通过对数据脱敏处理后,根据需要由若干相关字段形成的数据集或由数据的关联字段通过建模形成的数据特征。如图2所示,包括如下步骤a、用户调用数据元件的API;b、信息经过网关鉴权,流入异常检测引擎;c、在引擎中进行异常行为分析;d、如果数据元件的调用行为属于正常调用,则返回元件结果;e、如果数据元件的调用行为异常,则数据流入事件分级处理模型进行判断和处理,根据相应的级别做出相应的处理措施。
在步骤S102中,利用孤立森林模型,从提取到的特征数据中,随机选择多个数据点作为子样本,放入一棵孤立树的根节点。
在步骤S103中,随机指定一个数据元件的特征维度,在当前节点数据范围内,随机产生一个切割点p。在一些实施例中,随机产生的切割点产生于当前节点数据中指定维度的最大值与最小值之间。
在步骤S104中,基于所述切割点生成的超平面,将当前数据空间(包括元件特征在内的样本集)切割为两个子空间。
在步骤S105中,在所述特征维度下,基于所述切割点,将各数据点分别放入两个子空间对应的分支,由此构造叶子节点。具体的切割点p的选取生成了一个超平面,将当前节点数据空间切分为2个子空间,本实例中进一步把当前所选维度下小于p的点放在当前节点的左分支,把大于等于p的点放在当前节点的右分支。
在步骤S106中,基于构造的叶子节点,重复产生切割点并构造叶子节点,直至满足预设条件,或者,任一叶子节点上只有一个数据。如图3所示,在当前节点的左分支和右分支节点递归执行步骤S103-S105,不断构造新的叶子节点,直到叶子节点上只有一个数据(无法再继续切割)或树已经生长到了所设定的高度。
在步骤S107中,基于形成的任一棵孤立树,计算数据元件调用异常分数。在一些实施例中,基于形成的任一棵孤立树,计算数据元件调用异常分数具体包括:
对于任一子样本x,综合其各棵孤立树的结果,来计算数据元件调用异常分数,满足:
在步骤S108中,对于特征数据的各子样本,基于各孤立树的异常分数,计算综合分数。
在步骤S109中,在综合分数超过预设阈值的情况下,确定数据元件的行为存在异常。在数据元件应用场景中,如果异常得分接近1,那么一定是异常点;如果异常得分远小于0.5,那么一定不是异常点。
本申请实施例通过基于孤立森林模型对数据元件的特征数据进行分析,由此实现了自动发现数据元件调用方的异常行为,自动预警,并且无需管理员配置各种复杂的异常行为的策略。
在一些实施例中,在确定数据元件的行为存在异常之后,还包括:
基于异常的数据元件的行为调用数据元件的异常事件分级模型,以利用所述异常事件分级模型对不同的事件类型、数据元件级别、数据元件类型给出对应的事件等级以及处理措施。
在一些实施例中,所述异常事件分级模型被配置为根据预设的映射关系,确定出对应的事件等级以及处理措施。
具体的,在被确定为元件调用的异常事件后,本示例中进一步调用数据元件的异常事件分级模型进行处置判断;模型中对不同事件的类型、元件的级别,元件类型、给出对应事件等级,自动对不同等级的事件给出措施,例如给出预警、对高频访问进行限流、熔断、对用户直接冻结、对自动识别出的非典型异常进行人工审核等。
事件分级模型部分映射关系如表1所示:
表1
事件类型 | 数据元件类型 | 数据元件级别 | 事件等级 | 处置措施 |
高频访问 | 综合政务 | 指定流通(Ⅲ级) | 3级 | 限流 |
暴力破解 | 科技教育 | 受限流通(Ⅱ级) | 1级 | 熔断 |
未知异常 | 工业交通 | 非受限流通(Ⅰ级) | 4级 | 需人工审核 |
利用本申请的方案,无需管理员配置各种复杂的异常行为的策略,可以实现自动发现数据元件调用方的异常行为,自动预警。还可以根据异常等级事件类型级别的不同,进而自动触发措施,模型中各异常行为的参数会会随着日志的不断增加,日趋准确,自动调节,节省了大量的人工审核步骤,提高了对数据元件的监控效率。
本申请实施例还提出一种数据元件流通调用异常监控装置,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序被处理器执行时实现前述的数据元件流通调用异常监控方法的步骤。
本申请实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现前述的数据元件流通调用异常监控方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本申请的保护之内。
Claims (8)
1.一种数据元件流通调用异常监控方法,其特征在于,包括如下步骤:
基于数据元件的行为提取特征数据;
利用孤立森林模型,从提取到的特征数据中,随机选择多个数据点作为子样本,放入一棵孤立树的根节点;
随机指定一个数据元件的特征维度,在当前节点数据范围内,随机产生一个切割点;
基于所述切割点生成的超平面,将当前数据空间切割为两个子空间;
在所述特征维度下,基于所述切割点,将各数据点分别放入两个子空间对应的分支,由此构造叶子节点;
基于构造的叶子节点,重复产生切割点并构造叶子节点,直至满足预设条件,或者,任一叶子节点上只有一个数据;
基于形成的任一棵孤立树,计算数据元件调用异常分数;
对于特征数据的各子样本,基于各孤立树的异常分数,计算综合分数;
在综合分数超过预设阈值的情况下,确定数据元件的行为存在异常。
2.如权利要求1所述的数据元件流通调用异常监控方法,其特征在于,所提取的特征数据包括:数据元件的调用时间段信息、调用频率信息、调用数据量、调用IP信息、调用地区信息、数据元件应用端信息以及鉴权日志信息。
3.如权利要求1所述的数据元件流通调用异常监控方法,其特征在于,随机产生的切割点产生于当前节点数据中指定维度的最大值与最小值之间。
5.如权利要求1所述的数据元件流通调用异常监控方法,其特征在于,在确定数据元件的行为存在异常之后,还包括:
基于异常的数据元件的行为调用数据元件的异常事件分级模型,以利用所述异常事件分级模型对不同的事件类型、数据元件级别、数据元件类型给出对应的事件等级以及处理措施。
6.如权利要求5所述的数据元件流通调用异常监控方法,其特征在于,所述异常事件分级模型被配置为根据预设的映射关系,确定出对应的事件等级以及处理措施。
7.一种数据元件流通调用异常监控装置,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据元件流通调用异常监控方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据元件流通调用异常监控方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211146641.9A CN115221011A (zh) | 2022-09-21 | 2022-09-21 | 一种数据元件流通调用异常监控方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211146641.9A CN115221011A (zh) | 2022-09-21 | 2022-09-21 | 一种数据元件流通调用异常监控方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115221011A true CN115221011A (zh) | 2022-10-21 |
Family
ID=83617292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211146641.9A Pending CN115221011A (zh) | 2022-09-21 | 2022-09-21 | 一种数据元件流通调用异常监控方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115221011A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110149258A (zh) * | 2019-04-12 | 2019-08-20 | 北京航空航天大学 | 一种基于孤立森林的汽车can总线网络数据异常检测方法 |
CN113949652A (zh) * | 2021-10-12 | 2022-01-18 | 平安普惠企业管理有限公司 | 基于人工智能的用户异常行为检测方法、装置及相关设备 |
CN114298176A (zh) * | 2021-12-16 | 2022-04-08 | 重庆大学 | 一种欺诈用户检测方法、装置、介质及电子设备 |
WO2022142042A1 (zh) * | 2020-12-29 | 2022-07-07 | 平安科技(深圳)有限公司 | 异常数据的检测方法、装置、计算机设备和存储介质 |
CN114756866A (zh) * | 2021-01-08 | 2022-07-15 | 腾讯科技(深圳)有限公司 | 动态安全防护的方法、装置、存储介质及电子设备 |
-
2022
- 2022-09-21 CN CN202211146641.9A patent/CN115221011A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110149258A (zh) * | 2019-04-12 | 2019-08-20 | 北京航空航天大学 | 一种基于孤立森林的汽车can总线网络数据异常检测方法 |
WO2022142042A1 (zh) * | 2020-12-29 | 2022-07-07 | 平安科技(深圳)有限公司 | 异常数据的检测方法、装置、计算机设备和存储介质 |
CN114756866A (zh) * | 2021-01-08 | 2022-07-15 | 腾讯科技(深圳)有限公司 | 动态安全防护的方法、装置、存储介质及电子设备 |
CN113949652A (zh) * | 2021-10-12 | 2022-01-18 | 平安普惠企业管理有限公司 | 基于人工智能的用户异常行为检测方法、装置及相关设备 |
CN114298176A (zh) * | 2021-12-16 | 2022-04-08 | 重庆大学 | 一种欺诈用户检测方法、装置、介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111355697B (zh) | 僵尸网络域名家族的检测方法、装置、设备及存储介质 | |
CN108874927B (zh) | 基于超图和随机森林的入侵检测方法 | |
Aiello et al. | Random evolution in massive graphs | |
CN111325463A (zh) | 数据质量检测方法、装置、设备及计算机可读存储介质 | |
CN108509424B (zh) | 制度信息处理方法、装置、计算机设备和存储介质 | |
CN110457175B (zh) | 业务数据处理方法、装置、电子设备及介质 | |
CN112511561A (zh) | 网络攻击路径确定方法、设备、存储介质及装置 | |
CN110648172B (zh) | 一种融合多种移动设备的身份识别方法和系统 | |
CN109088903A (zh) | 一种基于流式的网络异常流量检测方法 | |
CN111652661B (zh) | 一种手机客户端用户流失预警处理方法 | |
CN113672939A (zh) | 一种终端行为告警溯源分析的方法、装置、设备及介质 | |
EP3009942A1 (en) | Social contact message monitoring method and device | |
CN110719278A (zh) | 一种网络入侵数据的检测方法、装置、设备及介质 | |
CN107870913B (zh) | 有效时间的高期望权重项集挖掘方法、装置及处理设备 | |
CN115208938B (zh) | 用户行为管控方法及装置、计算机可读存储介质 | |
CN112199388A (zh) | 陌电识别方法、装置、电子设备及存储介质 | |
CN115221011A (zh) | 一种数据元件流通调用异常监控方法及装置 | |
CN111737102A (zh) | 一种安全预警方法及计算机可读存储介质 | |
CN110781410A (zh) | 一种社群检测方法及装置 | |
CN111224890A (zh) | 一种云平台的流量分类方法、系统及相关设备 | |
CN116502234A (zh) | 一种基于决策树的漏洞价值动态评估方法和装置 | |
CN113254672B (zh) | 异常账号的识别方法、系统、设备及可读存储介质 | |
CN109409127B (zh) | 网络数据安全策略的生成方法、装置及存储介质 | |
CN113688240A (zh) | 威胁要素提取方法、装置、设备及存储介质 | |
US20080052360A1 (en) | Rules Profiler |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221021 |