CN111967003A - 基于黑盒模型与决策树的风控规则自动生成系统及方法 - Google Patents
基于黑盒模型与决策树的风控规则自动生成系统及方法 Download PDFInfo
- Publication number
- CN111967003A CN111967003A CN202010715462.7A CN202010715462A CN111967003A CN 111967003 A CN111967003 A CN 111967003A CN 202010715462 A CN202010715462 A CN 202010715462A CN 111967003 A CN111967003 A CN 111967003A
- Authority
- CN
- China
- Prior art keywords
- rule
- black box
- box model
- wind control
- decision tree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003066 decision tree Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000007405 data analysis Methods 0.000 claims abstract description 40
- 238000000605 extraction Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000002159 abnormal effect Effects 0.000 claims abstract description 19
- 238000011156 evaluation Methods 0.000 claims abstract description 13
- 230000000694 effects Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 18
- 238000009825 accumulation Methods 0.000 claims description 9
- 238000012800 visualization Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 235000000332 black box Nutrition 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 230000002238 attenuated effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Feedback Control In General (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于黑盒模型与决策树的风控规则自动生成系统及方法。该风控规则自动生成系统包括依次连接的数据分析样本标记模块、黑盒模型训练更新模块、黑盒模型标记模块、规则提取模块、规则更新模块，以及与所述规则提取模块连接的特征库模块。基于该风控规则自动生成系统，本发明利用黑盒模型对未知数据进行标记，并使黑盒模型发现的异常模式不断通过决策树转化成可解释的规则，经评估后更新至规则库中。通过上述方式，本发明能够很好的解决现有技术中策略风控体系存在的时效性和解释性差的问题，并持续不断地生成风控规则，以便准确、及时地发现数据异常，从而满足实际应用的需求，具有较高的应用价值。
Description
技术领域
本发明涉及互联网安全技术领域，特别是涉及基于黑盒模型与决策树的风控规则自动生成系统及方法。
背景技术
互联网技术及其应用的快速发展，使其逐渐成为人们生活中不可或缺的部分。然而，互联网在给人们带来大量便利的同时，也催生了以互联网为媒介、以网络技术为主要手段的网络黑产，给计算机信息系统安全、网络空间管理秩序，甚至国家安全、社会政治稳定都带来了潜在威胁及重大安全隐患。因此，有必要对互联网面临的风险进行控制，避免其遭到黑产攻击，维护互联网安全。
目前，通用的互联网策略风控体系中对攻击行为的检测手段主要包括两个方面。
第一方面是策略规则，通常是使数据流进入策略引擎，策略引擎中包含有覆盖各种黑产攻击模式的策略，这些策略标记数据流中的每个样本，输出样本的风险水平。但这类策略系统最关键的问题是，策略引擎中的策略具有时效性，当黑产转变攻击方式或者攻击模式后，原有的策略规则可能就无法发现这些攻击数据了。尽管通过数据分析人员的数据分析能够重新找到黑产的攻击方式或模式，但人工分析的周期较长，对黑产攻击模式的切换无法快速响应，等新的规则上线，黑产攻击导致的损失已然产生。
第二方面则是异常检测黑盒模型，为了提高模型检测异常攻击模式的效果，这类模型通常是非常复杂的深度学习模型，比如图卷积神经网络，卷积神经网络等。它们复杂度够高，能够学习到数据中更复杂的攻击模式，但正因为复杂度太高，可解释性很差，导致模型标记出的异常数据缺少合理的解释。因此，需要对复杂模型逻辑进行简化，以便生成人能够理解的策略规则。
公开号为CN109800885A的专利提供了针对黑盒机器学习模型的规则确定，该专利提供的系统包括代理模型生成模块、模型操纵模块、条件标识模块和条件组合模块，能够将模型的输入与模型观察到的输出相关联，并且不需要知道模型在操作中进行这些关联的逻辑。但该专利中缺乏黑盒模型及代理黑盒模型的特征库，难以对黑盒模型及其规则进行有效的训练；并且，在系统持续工作的过程中，由于数据分布发生变化，黑盒模型的效果可能会衰减，而该专利不能对数据进行相应修正，导致模型的精度较低。同时，该专利中需要使用代理黑盒模型来模仿黑盒模型的判断，输出规则与阈值，并使用遗传算法组合规则，整体计算过程非常复杂。此外，由于提取到的规则并非对正负样本效果都好，有些可能会与已有的规则效果发生重合，从而产生重复计算，增加系统的计算压力。
有鉴于此，当前仍有必要提供一种风控规则自动生成系统及方法，通过对复杂模型逻辑进行简化，自动化地生成易于理解的互联网风控安全策略规则，以解决上述问题。
发明内容
针对上述现有技术存在的缺陷，本发明的目的在于提供一种基于黑盒模型与决策树的风控规则自动生成系统及方法。通过将复杂深度学习的黑盒模型与简单的决策树模型相结合，既利用复杂黑盒模型在未知数据上泛化性能强的特点，使其作为未知数据的标记器，取代工作量大的人工样本标记；又利用决策树模型的树形结构，将其作为规则生成器，取代人工数据分析进行规则提取，有效提高规则生成效率；并使黑盒模型发现的异常模式通过规则提取器转化成规则，提高其可解释性，以满足实际应用的需求。
为实现上述目的，本发明提供了一种基于黑盒模型与决策树的风控规则自动生成系统，包括依次连接的数据分析样本标记模块、黑盒模型训练更新模块、黑盒模型标记模块、规则提取模块、规则更新模块，以及与所述规则提取模块连接的特征库模块；所述数据分析样本标记模块通过数据分析标记数据，用于黑盒模型的训练；所述黑盒模型训练更新模块用于训练黑盒模型，并对黑盒模型进行更新；所述黑盒模型标记模块用于通过训练好的黑盒模型在未知的数据上标记正负样本；所述规则提取模块用于通过决策树模型拆分出规则链；所述规则更新模块用于提取规则并将其更新至规则库；所述特征库模块用于存储决策树规则生成特征。
进一步地，所述黑盒模型训练更新模块包括数据分析标签积累单元和模型特征可视化单元；所述数据分析标签积累单元用于积累日常数据分析时人工标记的黑白样本，并将其写入Hadoop分布式文件系统中备用；所述数据分析标签积累单元中积累的黑白样本输入黑盒模型后，输出的特征由所述模型特征可视化单元进行可视化呈现。
进一步地，所述规则提取模块中包括依次连接的输入单元、决策树规则提取单元和规则链生成单元；所述输入单元用于将所述黑盒模型标记模块输出的被标记为正负样本的数据和所述特征库模块中的决策树规则生成特征输入所述决策树规则提取单元；所述决策树规则提取单元用于通过决策树模型从所述决策树规则生成特征中自动选择可用特征，并对所述可用特征切分数据的阈值进行划分；所述规则链生成单元用于根据所述决策树规则提取单元选择的可用特征及其阈值生成树状规则链。
进一步地，所述规则更新模块包括风控规则提取单元、规则效果评估单元和更新单元；所述风控规则提取单元用于从所述规则链中找到异常样本占比大于阈值的路径，并提取出该路径对应的风控规则；所述规则效果评估单元用于将所述风控规则提取单元提取的所述风控规则与策略引擎中已存在的规则进行比对，评估所述风控规则是否与所述策略引擎中已有的规则效果发生重合；所述更新单元用于将被所述规则效果评估单元评估为否的风控规则更新至规则库中，形成新的风控规则库。
进一步地，所述特征库模块中的决策树规则生成特征可以通过新增或减少进行更新；所述决策树规则生成特征包括网络资源特征和统计特征。
为实现上述目的，本发明还提供了一种基于黑盒模型与决策树的风控规则自动生成方法，包括如下步骤：
S1、利用标记的黑白样本对黑盒模型进行训练；
S2、利用步骤S1得到的训练好的黑盒模型对数据流进行标记，得到正负样本；
S3、将步骤S2得到的所述正负样本和决策树规则生成特征输入决策树模型，进行规则链提取；
S4、对步骤S3得到的规则链进行分析，从异常样本占比大于阈值的路径中提取出风控规则，并评估所述风控规则的效果是否与存在于策略引擎中的规则效果相重合；若评估结果为否，则将所述风控规则更新至规则库，生成新的风控规则库。
进一步地，在步骤S1中，所述黑白样本通过数据分析进行标记。
进一步地，在步骤S1中，对黑盒模型的训练包括黑盒模型不存在时的初始训练和黑盒模型存在时的更新训练。
更进一步地，所述更新训练时使用的黑白样本为日常数据分析过程中积累的黑白样本；将所述积累的黑白样本输入黑盒模型后，通过对输出的特征进行可视化分析即可判断是否需要进行更新训练。
进一步地，在步骤S3中，所述规则链提取是通过决策树模型自动选择可用的特征并划分特征切分数据阈值来实现的；提取到的规则链为树状规则链。
与现有技术相比，本发明的有益效果是：
1、本发明通过将复杂深度学习的黑盒模型与简单的决策树模型相结合，构建了基于黑盒模型与决策树的风控规则自动生成系统。该系统既能够利用复杂黑盒模型在未知数据上泛化性能强的特点，使其作为未知数据的标记器，取代工作量大的人工样本标记；又能够利用决策树模型的树形结构，将其作为规则生成器，取代人工数据分析进行规则提取，有效提高规则生成效率。同时，该系统还能够使黑盒模型发现的异常模式通过规则提取器转化成规则，提高其可解释性。因此，本发明提供的基于黑盒模型与决策树的风控规则自动生成系统能够很好的解决现有技术中策略风控体系存在的时效性和解释性差的问题，并持续不断地生成风控规则，以便准确、及时地发现数据异常，从而满足实际应用的需求，具有较高的应用价值。
2、本发明通过使用黑盒模型作为未知数据的标记器，能够利用其泛化性强的特点，高效完成对数据的标记过程。同时，本发明通过构建黑盒模型训练更新模块，将平时数据分析过程积累的样本导入黑盒模型中，根据其输出特征可视化地判断黑盒模型是否需要更新，从而在黑盒模型效果开始衰减的时候对其进行更新。对黑盒模型的更新解决了现有技术中系统持续工作过程时数据分布变化易于导致黑盒模型效果衰减、模型精度降低的问题，从而使黑盒模型具有持续高精度地标记黑白样本的性能；进而使后续提取的规则能够真实的反映数据的异常趋势；并使基于本发明生成的风控规则运行的互联网风控策略引擎具有持续的发现异常的准确度。
3、本发明通过使用决策树作为规则的生成模型，能够利用决策树与黑盒模型间的协同作用，使黑盒模型发现的异常模式不断通过决策树转化成可解释的规则，解决了现有技术中黑盒模型不可解释的问题，也降低了规则链被黑产破解的可能性。同时，决策树模型的树形结构更方便规则的提取，与其他类型的规则提取器相比流程更短，不仅能够降低系统负荷，还能够提高整个风控规则自动生成系统的响应性，使生成的规则及时更新至互联网风控策略引擎中，解决了现有技术中需通过人工数据分析进行规则更新时耗时较长、难以及时响应的问题。此外，本发明通过在进行规则更新前先对规则进行评估，判定其效果并未与策略引擎中已有的规则效果相重合后才进行更新，能够避免重复计算的情况，从而降低系统的计算压力，提高系统的运行效率。
附图说明
图1是本发明提供的基于黑盒模型与决策树的风控规则自动生成系统的结构示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
实施例
本实施例提供了一种基于黑盒模型与决策树的风控规则自动生成系统，包括依次连接的数据分析样本标记模块、黑盒模型训练更新模块、黑盒模型标记模块、规则提取模块、规则更新模块，以及与所述规则提取模块连接的特征库模块；所述数据分析样本标记模块通过数据分析标记数据，用于黑盒模型的训练；所述黑盒模型训练更新模块用于训练黑盒模型，并对黑盒模型进行更新；所述黑盒模型标记模块用于通过训练好的黑盒模型在未知的数据上标记正负样本；所述规则提取模块用于通过决策树模型拆分出规则链；所述规则更新模块用于提取规则并将其更新至规则库；所述特征库模块用于存储决策树规则生成特征。
其中，所述黑盒模型训练更新模块包括数据分析标签积累单元和模型特征可视化单元，各单元具体作用如下：
所述数据分析标签积累单元用于积累日常数据分析时人工标记的黑白样本，并将其写入Hadoop分布式文件系统中备用。这样既能够避免频繁的进行数据分析来标记数据，又能够使日常数据分析过程中积累的已被标记的黑白样本得到充分利用。
将所述数据分析标签积累单元中积累的黑白样本输入黑盒模型后，所述模型特征可视化单元能够对其输出的特征进行可视化呈现。在本实施例中，该可视化呈现是将输出特征以数值、表格或图形的形式进行呈现，以便及时观察到输出特征的变化情况，在黑盒模型的标记精度开始下降时及时对黑盒模型进行训练与更新，从而避免持续工作过程中数据分布变化导致的黑盒模型效果衰减、模型精度降低的问题，使黑盒模型具有持续高精度地标记黑白样本的性能。
所述规则提取模块中包括依次连接的输入单元、决策树规则提取单元和规则链生成单元，各单元具体作用如下：
所述输入单元用于将所述黑盒模型标记模块输出的被标记为正负样本的数据和所述特征库模块中的决策树规则生成特征输入所述决策树规则提取单元，以便决策树规则提取单元进行规则提取。在本实施例中，所述决策树规则生成特征包括网络资源特征和统计特征，后续可以不断向特征库模块中添加新的特征。
所述决策树规则提取单元用于通过决策树模型从所述决策树规则生成特征中自动选择可用特征，并对所述可用特征切分数据的阈值进行划分。其中，所述可用特征为基于黑盒模型标记的数据能够计算得到的特征，能够充分反映黑盒模型标记后数据的特点，以便更加准确地进行特征提取。
所述规则链生成单元用于根据所述决策树规则提取单元选择的可用特征及其阈值生成树状规则链。由于决策树模型的树形结构更方便规则地提取，该规则链生成过程流程较短，能够有效降低系统负荷，提高系统运行速率及风控规则的生成效率。
所述规则更新模块包括风控规则提取单元、规则效果评估单元和更新单元，各单元具体作用如下：
所述风控规则提取单元用于从所述规则链中找到异常样本占比大于阈值的路径，并提取出该路径对应的风控规则，从而迅速发现异常情况及其对应的规则，便于及时进行处理。
所述规则效果评估单元用于将所述风控规则提取单元提取的所述风控规则与策略引擎中已存在的规则进行比对，评估所述风控规则是否与所述策略引擎中已有的规则效果发生重合，从而避免重复计算的情况，降低系统的计算压力，提高系统的运行效率。
所述更新单元用于将被所述规则效果评估单元评估为否的风控规则更新至规则库中，形成新的风控规则库，以便在黑产转变攻击方式或者攻击模式后能够用新的规则及时发现相应攻击数据并进行处理。
基于本实施例提供的基于黑盒模型与决策树的风控规则自动生成系统，本实施例还一种基于黑盒模型与决策树的风控规则自动生成方法，包括如下步骤：
S1、对黑盒模型进行训练
在首次使用时，由于黑盒模型还不存在，需要先通过数据分析对数据进行标记，得到被标记的黑白样本；再利用这些被标记的黑白样本进行初始训练，得到黑盒模型，并通过F1-score对黑盒模型的泛化性进行评估，得到初始的训练好的黑盒模型。
由于黑盒模型在持续工作过程时易于因数据分布变化产生黑盒模型效果衰减、模型精度降低的问题，本实施例中还能够对黑盒模型进行更新。通过将日常数据分析过程中积累的已被标记的黑白样本作为训练样本输入黑盒模型，并对输出的特征进行可视化呈现，即可直观地观察到输出特征的变化情况，在黑盒模型的标记精度开始下降时及时对黑盒模型进行训练与更新，避免其发生衰减，从而使黑盒模型具有持续高精度地标记黑白样本的性能。
S2、利用黑盒模型进行数据标记
步骤S1得到的训练好的黑盒模型在未知数据上具有泛化性能强的特点，本实施例利用该黑盒模型对数据流进行标记，能够快速得到正负样本，有效取代了工作量大的人工样本标记过程，提高系统的整体效率。
S3、利用决策树模型进行规则链提取
将步骤S2得到的所述正负样本和决策树规则生成特征全部输入决策树模型，利用决策树模型的树形结构，将其作为规则生成器，取代人工数据分析进行规则提取。
其中，利用决策树模型进行规则链提取具体包括如下步骤：
先从决策树规则生成特征中自动选择可用特征，再对所述可用特征切分数据的阈值进行划分，最后根据所述可用特征及其阈值生成树状规则链。
在这一过程中，由于决策树模型的树形结构更方便规则地提取，该规则链生成过程流程较短，能够有效降低系统负荷，提高系统运行速率及风控规则的生成效率。
S4、规则评估及更新
对步骤S3得到的规则链进行分析，从异常样本占比大于阈值的路径中提取出风控规则，并评估所述风控规则的效果是否与存在于策略引擎中的规则效果相重合。
若评估结果为是，则不进行更新，从而避免重复计算的情况，降低系统的计算压力，提高系统的运行效率；
若评估结果为否，则将所述风控规则更新至规则库，生成新的风控规则库，以便在黑产转变攻击方式或者攻击模式后能够用新的规则及时发现相应攻击数据并进行处理，从而实现风控规则的自动生成。
综上所述，本发明提供的基于黑盒模型与决策树的风控规则自动生成系统包括依次连接的数据分析样本标记模块、黑盒模型训练更新模块、黑盒模型标记模块、规则提取模块、规则更新模块，以及与所述规则提取模块连接的特征库模块。基于该风控规则自动生成系统，本发明提供的基于黑盒模型与决策树的风控规则自动生成方法能够利用黑盒模型对未知数据进行标记，并使黑盒模型发现的异常模式不断通过决策树转化成可解释的规则，经评估后更新至规则库中。通过上述方式，本发明能够很好的解决现有技术中策略风控体系存在的时效性和解释性差的问题，并持续不断地生成风控规则，以便准确、及时地发现数据异常，从而满足实际应用的需求，具有较高的应用价值。
以上所述仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于黑盒模型与决策树的风控规则自动生成系统，其特征在于，包括依次连接的数据分析样本标记模块、黑盒模型训练更新模块、黑盒模型标记模块、规则提取模块、规则更新模块，以及与所述规则提取模块连接的特征库模块；所述数据分析样本标记模块通过数据分析标记数据，用于黑盒模型的训练；所述黑盒模型训练更新模块用于训练黑盒模型，并对黑盒模型进行更新；所述黑盒模型标记模块用于通过训练好的黑盒模型在未知的数据上标记正负样本；所述规则提取模块用于通过决策树模型拆分出规则链；所述规则更新模块用于提取规则并将其更新至规则库；所述特征库模块用于存储决策树规则生成特征。
2.根据权利要求1所述的基于黑盒模型与决策树的风控规则自动生成系统，其特征在于：所述黑盒模型训练更新模块包括数据分析标签积累单元和模型特征可视化单元；所述数据分析标签积累单元用于积累日常数据分析时人工标记的黑白样本，并将其写入Hadoop分布式文件系统中备用；所述数据分析标签积累单元中积累的黑白样本输入黑盒模型后，输出的特征由所述模型特征可视化单元进行可视化呈现。
3.根据权利要求1或2所述的基于黑盒模型与决策树的风控规则自动生成系统，其特征在于：所述规则提取模块中包括依次连接的输入单元、决策树规则提取单元和规则链生成单元；所述输入单元用于将所述黑盒模型标记模块输出的被标记为正负样本的数据和所述特征库模块中的决策树规则生成特征输入所述决策树规则提取单元；所述决策树规则提取单元用于通过决策树模型从所述决策树规则生成特征中自动选择可用特征，并对所述可用特征切分数据的阈值进行划分；所述规则链生成单元用于根据所述决策树规则提取单元选择的可用特征及其阈值生成树状规则链。
4.根据权利要求1或3所述的基于黑盒模型与决策树的风控规则自动生成系统，其特征在于：所述规则更新模块包括风控规则提取单元、规则效果评估单元和更新单元；所述风控规则提取单元用于从所述规则链中找到异常样本占比大于阈值的路径，并提取出该路径对应的风控规则；所述规则效果评估单元用于将所述风控规则提取单元提取的所述风控规则与策略引擎中已存在的规则进行比对，评估所述风控规则是否与所述策略引擎中已有的规则效果发生重合；所述更新单元用于将被所述规则效果评估单元评估为否的风控规则更新至规则库中，形成新的风控规则库。
5.根据权利要求1所述的基于黑盒模型与决策树的风控规则自动生成系统，其特征在于：所述特征库模块中的决策树规则生成特征可以通过新增或减少进行更新；所述决策树规则生成特征包括网络资源特征和统计特征。
6.一种基于黑盒模型与决策树的风控规则自动生成方法，其特征在于，包括如下步骤：
S1、利用标记的黑白样本对黑盒模型进行训练；
S2、利用步骤S1得到的训练好的黑盒模型对数据流进行标记，得到正负样本；
S3、将步骤S2得到的所述正负样本和决策树规则生成特征输入决策树模型，进行规则链提取；
S4、对步骤S3得到的规则链进行分析，从异常样本占比大于阈值的路径中提取出风控规则，并评估所述风控规则的效果是否与存在于策略引擎中的规则效果相重合；若评估结果为否，则将所述风控规则更新至规则库，生成新的风控规则库。
7.根据权利要求6所述的基于黑盒模型与决策树的风控规则自动生成方法，其特征在于：在步骤S1中，所述黑白样本通过数据分析进行标记。
8.根据权利要求7所述的基于黑盒模型与决策树的风控规则自动生成方法，其特征在于：在步骤S1中，对黑盒模型的训练包括黑盒模型不存在时的初始训练和黑盒模型存在时的更新训练。
9.根据权利要求8所述的基于黑盒模型与决策树的风控规则自动生成方法，其特征在于：所述更新训练时使用的黑白样本为日常数据分析过程中积累的黑白样本；将所述积累的黑白样本输入黑盒模型后，通过对输出的特征进行可视化分析即可判断是否需要进行更新训练。
10.根据权利要求6所述的基于黑盒模型与决策树的风控规则自动生成方法，其特征在于：在步骤S3中，所述规则链提取是通过决策树模型自动选择可用的特征并划分特征切分数据阈值来实现的；提取到的规则链为树状规则链。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010715462.7A CN111967003B (zh) | 2020-07-22 | 2020-07-22 | 基于黑盒模型与决策树的风控规则自动生成系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010715462.7A CN111967003B (zh) | 2020-07-22 | 2020-07-22 | 基于黑盒模型与决策树的风控规则自动生成系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111967003A true CN111967003A (zh) | 2020-11-20 |
| CN111967003B CN111967003B (zh) | 2023-11-28 |
Family
ID=73362311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010715462.7A Active CN111967003B (zh) | 2020-07-22 | 2020-07-22 | 基于黑盒模型与决策树的风控规则自动生成系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111967003B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365352A (zh) * | 2020-11-30 | 2021-02-12 | 西安四叶草信息技术有限公司 | 一种基于图神经网络的反套现方法及装置 |
| CN113792019A (zh) * | 2021-08-03 | 2021-12-14 | RealMe重庆移动通信有限公司 | 一种分析方法、电子设备及计算机存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140279760A1 (en) * | 2013-03-15 | 2014-09-18 | Konstantinos (Constantin) F. Aliferis | Data Analysis Computer System and Method For Conversion Of Predictive Models To Equivalent Ones |
| CN107545360A (zh) * | 2017-07-28 | 2018-01-05 | 浙江邦盛科技有限公司 | 一种基于决策树的风控智能规则导出方法及系统 |
| CN107993139A (zh) * | 2017-11-15 | 2018-05-04 | 华融融通（北京）科技有限公司 | 一种基于动态规则库的消费金融反欺诈系统与方法 |
| CN108596434A (zh) * | 2018-03-23 | 2018-09-28 | 卫盈联信息技术（深圳）有限公司 | 欺诈检测和风险评估方法、系统、设备及存储介质 |
| CN108805416A (zh) * | 2018-05-22 | 2018-11-13 | 阿里巴巴集团控股有限公司 | 一种风险防控处理方法、装置及设备 |
| CN109768985A (zh) * | 2019-01-30 | 2019-05-17 | 电子科技大学 | 一种基于流量可视化与机器学习算法的入侵检测方法 |
| CN109800885A (zh) * | 2017-11-14 | 2019-05-24 | 奥多比公司 | 针对黑盒机器学习模型的规则确定 |
| KR20190061431A (ko) * | 2017-11-28 | 2019-06-05 | 동국대학교 산학협력단 | 설명력이 있는 딥 러닝 방법 및 시스템 |
| CN111967575A (zh) * | 2020-07-22 | 2020-11-20 | 武汉极意网络科技有限公司 | 一种半自动化模型更新系统及模型更新方法 |
-
2020
- 2020-07-22 CN CN202010715462.7A patent/CN111967003B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140279760A1 (en) * | 2013-03-15 | 2014-09-18 | Konstantinos (Constantin) F. Aliferis | Data Analysis Computer System and Method For Conversion Of Predictive Models To Equivalent Ones |
| CN107545360A (zh) * | 2017-07-28 | 2018-01-05 | 浙江邦盛科技有限公司 | 一种基于决策树的风控智能规则导出方法及系统 |
| CN109800885A (zh) * | 2017-11-14 | 2019-05-24 | 奥多比公司 | 针对黑盒机器学习模型的规则确定 |
| CN107993139A (zh) * | 2017-11-15 | 2018-05-04 | 华融融通（北京）科技有限公司 | 一种基于动态规则库的消费金融反欺诈系统与方法 |
| KR20190061431A (ko) * | 2017-11-28 | 2019-06-05 | 동국대학교 산학협력단 | 설명력이 있는 딥 러닝 방법 및 시스템 |
| CN108596434A (zh) * | 2018-03-23 | 2018-09-28 | 卫盈联信息技术（深圳）有限公司 | 欺诈检测和风险评估方法、系统、设备及存储介质 |
| WO2019178914A1 (zh) * | 2018-03-23 | 2019-09-26 | 卫盈联信息技术（深圳）有限公司 | 欺诈检测和风险评估方法、系统、设备及存储介质 |
| CN108805416A (zh) * | 2018-05-22 | 2018-11-13 | 阿里巴巴集团控股有限公司 | 一种风险防控处理方法、装置及设备 |
| CN109768985A (zh) * | 2019-01-30 | 2019-05-17 | 电子科技大学 | 一种基于流量可视化与机器学习算法的入侵检测方法 |
| CN111967575A (zh) * | 2020-07-22 | 2020-11-20 | 武汉极意网络科技有限公司 | 一种半自动化模型更新系统及模型更新方法 |
Non-Patent Citations (1)
| Title |
|---|
| 付子爔，徐洋，吴招娣，许丹丹，谢晓尧: "基于增量学习的SVM-KNN网络入侵检测方法", 《计算机工程》, vol. 46, no. 04, pages 115 - 122 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365352A (zh) * | 2020-11-30 | 2021-02-12 | 西安四叶草信息技术有限公司 | 一种基于图神经网络的反套现方法及装置 |
| CN112365352B (zh) * | 2020-11-30 | 2023-07-04 | 西安四叶草信息技术有限公司 | 一种基于图神经网络的反套现方法及装置 |
| CN113792019A (zh) * | 2021-08-03 | 2021-12-14 | RealMe重庆移动通信有限公司 | 一种分析方法、电子设备及计算机存储介质 |
| CN113792019B (zh) * | 2021-08-03 | 2023-08-18 | RealMe重庆移动通信有限公司 | 一种分析方法、电子设备及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111967003B (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021184630A1 (zh) | 基于知识图谱定位排污对象的方法及相关设备 | |
| CN111459799A (zh) | 一种基于Github的软件缺陷检测模型建立、检测方法及系统 | |
| CN111538842A (zh) | 网络空间态势的智能感知和预测方法、装置和计算机设备 | |
| CN109344258A (zh) | 一种智能化自适应敏感数据识别系统及方法 | |
| CN108229170B (zh) | 利用大数据和神经网络的软件分析方法和装置 | |
| CN114090406A (zh) | 电力物联网设备行为安全检测方法、系统、设备及存储介质 | |
| CN111967003A (zh) | 基于黑盒模型与决策树的风控规则自动生成系统及方法 | |
| CN114338188B (zh) | 一种基于进程行为序列分片的恶意软件智能云检测系统 | |
| CN114757468B (zh) | 一种面向流程挖掘中流程执行异常的根源分析方法 | |
| Zeng et al. | EtherGIS: a vulnerability detection framework for Ethereum smart contracts based on graph learning features | |
| Liu et al. | Functions-based CFG embedding for malware homology analysis | |
| CN106529283A (zh) | 一种面向软件定义网络的控制器安全性定量分析方法 | |
| CN112685738A (zh) | 一种基于多级投票机制的恶意混淆脚本静态检测方法 | |
| Seng et al. | Why anomaly-based intrusion detection systems have not yet conquered the industrial market? | |
| CN114139604A (zh) | 基于在线学习的电力工控攻击监测方法和装置 | |
| Qu et al. | Instruction detection in scada/modbus network based on machine learning | |
| CN116302984A (zh) | 一种测试任务的根因分析方法、装置及相关设备 | |
| CN111680572B (zh) | 一种电网运行场景动态判定方法及系统 | |
| JPWO2018235841A1 (ja) | グラフ構造解析装置、グラフ構造解析方法、及びプログラム | |
| CN111221704B (zh) | 一种确定办公管理应用系统运行状态的方法及系统 | |
| KR20210142443A (ko) | 사이버 공간에서 실시간 공격 탐지를 위한 시간에 따른 지속적인 적응형 학습을 제공하는 방법 및 시스템 | |
| CN111475380A (zh) | 一种日志分析方法和装置 | |
| CN117592114B (zh) | 面向网络平行仿真的数据脱敏方法、系统和可读存储介质 | |
| CN118093981B (zh) | 基于人工智能的云数据可视化分析系统和方法 | |
| Yotova | Conceptual Model of an Automated System for Processing Information From Open Sources and Detecting Information Deviations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |