CN111967003B - 基于黑盒模型与决策树的风控规则自动生成系统及方法 - Google Patents
基于黑盒模型与决策树的风控规则自动生成系统及方法 Download PDFInfo
- Publication number
- CN111967003B CN111967003B CN202010715462.7A CN202010715462A CN111967003B CN 111967003 B CN111967003 B CN 111967003B CN 202010715462 A CN202010715462 A CN 202010715462A CN 111967003 B CN111967003 B CN 111967003B
- Authority
- CN
- China
- Prior art keywords
- rule
- black box
- box model
- decision tree
- wind control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003066 decision tree Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000007405 data analysis Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 34
- 230000002159 abnormal effect Effects 0.000 claims abstract description 17
- 238000011156 evaluation Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims description 36
- 230000000694 effects Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 13
- 238000009825 accumulation Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 208000003443 Unconsciousness Diseases 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000011217 control strategy Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了基于黑盒模型与决策树的风控规则自动生成系统及方法。该风控规则自动生成系统包括依次连接的数据分析样本标记模块、黑盒模型训练更新模块、黑盒模型标记模块、规则提取模块、规则更新模块，以及与所述规则提取模块连接的特征库模块。基于该风控规则自动生成系统，本发明利用黑盒模型对未知数据进行标记，并使黑盒模型发现的异常模式不断通过决策树转化成可解释的规则，经评估后更新至规则库中。通过上述方式，本发明能够很好的解决现有技术中策略风控体系存在的时效性和解释性差的问题，并持续不断地生成风控规则，以便准确、及时地发现数据异常，从而满足实际应用的需求，具有较高的应用价值。
Description
技术领域
本发明涉及互联网安全技术领域，特别是涉及基于黑盒模型与决策树的风控规则自动生成系统及方法。
背景技术
互联网技术及其应用的快速发展，使其逐渐成为人们生活中不可或缺的部分。然而，互联网在给人们带来大量便利的同时，也催生了以互联网为媒介、以网络技术为主要手段的网络黑产，给计算机信息系统安全、网络空间管理秩序，甚至国家安全、社会政治稳定都带来了潜在威胁及重大安全隐患。因此，有必要对互联网面临的风险进行控制，避免其遭到黑产攻击，维护互联网安全。
目前，通用的互联网策略风控体系中对攻击行为的检测手段主要包括两个方面。
第一方面是策略规则，通常是使数据流进入策略引擎，策略引擎中包含有覆盖各种黑产攻击模式的策略，这些策略标记数据流中的每个样本，输出样本的风险水平。但这类策略系统最关键的问题是，策略引擎中的策略具有时效性，当黑产转变攻击方式或者攻击模式后，原有的策略规则可能就无法发现这些攻击数据了。尽管通过数据分析人员的数据分析能够重新找到黑产的攻击方式或模式，但人工分析的周期较长，对黑产攻击模式的切换无法快速响应，等新的规则上线，黑产攻击导致的损失已然产生。
第二方面则是异常检测黑盒模型，为了提高模型检测异常攻击模式的效果，这类模型通常是非常复杂的深度学习模型，比如图卷积神经网络，卷积神经网络等。它们复杂度够高，能够学习到数据中更复杂的攻击模式，但正因为复杂度太高，可解释性很差，导致模型标记出的异常数据缺少合理的解释。因此，需要对复杂模型逻辑进行简化，以便生成人能够理解的策略规则。
公开号为CN109800885A的专利提供了针对黑盒机器学习模型的规则确定，该专利提供的系统包括代理模型生成模块、模型操纵模块、条件标识模块和条件组合模块，能够将模型的输入与模型观察到的输出相关联，并且不需要知道模型在操作中进行这些关联的逻辑。但该专利中缺乏黑盒模型及代理黑盒模型的特征库，难以对黑盒模型及其规则进行有效的训练；并且，在系统持续工作的过程中，由于数据分布发生变化，黑盒模型的效果可能会衰减，而该专利不能对数据进行相应修正，导致模型的精度较低。同时，该专利中需要使用代理黑盒模型来模仿黑盒模型的判断，输出规则与阈值，并使用遗传算法组合规则，整体计算过程非常复杂。此外，由于提取到的规则并非对正负样本效果都好，有些可能会与已有的规则效果发生重合，从而产生重复计算，增加系统的计算压力。
有鉴于此，当前仍有必要提供一种风控规则自动生成系统及方法，通过对复杂模型逻辑进行简化，自动化地生成易于理解的互联网风控安全策略规则，以解决上述问题。
发明内容
针对上述现有技术存在的缺陷，本发明的目的在于提供一种基于黑盒模型与决策树的风控规则自动生成系统及方法。通过将复杂深度学习的黑盒模型与简单的决策树模型相结合，既利用复杂黑盒模型在未知数据上泛化性能强的特点，使其作为未知数据的标记器，取代工作量大的人工样本标记；又利用决策树模型的树形结构，将其作为规则生成器，取代人工数据分析进行规则提取，有效提高规则生成效率；并使黑盒模型发现的异常模式通过规则提取器转化成规则，提高其可解释性，以满足实际应用的需求。
为实现上述目的，本发明提供了一种基于黑盒模型与决策树的风控规则自动生成系统，包括依次连接的数据分析样本标记模块、黑盒模型训练更新模块、黑盒模型标记模块、规则提取模块、规则更新模块，以及与所述规则提取模块连接的特征库模块；所述数据分析样本标记模块通过数据分析标记数据，用于黑盒模型的训练；所述黑盒模型训练更新模块用于训练黑盒模型，并对黑盒模型进行更新；所述黑盒模型标记模块用于通过训练好的黑盒模型在未知的数据上标记正负样本；所述规则提取模块用于通过决策树模型拆分出规则链；所述规则更新模块用于提取规则并将其更新至规则库；所述特征库模块用于存储决策树规则生成特征。
进一步地，所述黑盒模型训练更新模块包括数据分析标签积累单元和模型特征可视化单元；所述数据分析标签积累单元用于积累日常数据分析时人工标记的黑白样本，并将其写入Hadoop分布式文件系统中备用；所述数据分析标签积累单元中积累的黑白样本输入黑盒模型后，输出的特征由所述模型特征可视化单元进行可视化呈现。
进一步地，所述规则提取模块中包括依次连接的输入单元、决策树规则提取单元和规则链生成单元；所述输入单元用于将所述黑盒模型标记模块输出的被标记为正负样本的数据和所述特征库模块中的决策树规则生成特征输入所述决策树规则提取单元；所述决策树规则提取单元用于通过决策树模型从所述决策树规则生成特征中自动选择可用特征，并对所述可用特征切分数据的阈值进行划分；所述规则链生成单元用于根据所述决策树规则提取单元选择的可用特征及其阈值生成树状规则链。
进一步地，所述规则更新模块包括风控规则提取单元、规则效果评估单元和更新单元；所述风控规则提取单元用于从所述规则链中找到异常样本占比大于阈值的路径，并提取出该路径对应的风控规则；所述规则效果评估单元用于将所述风控规则提取单元提取的所述风控规则与策略引擎中已存在的规则进行比对，评估所述风控规则是否与所述策略引擎中已有的规则效果发生重合；所述更新单元用于将被所述规则效果评估单元评估为否的风控规则更新至规则库中，形成新的风控规则库。
进一步地，所述特征库模块中的决策树规则生成特征可以通过新增或减少进行更新；所述决策树规则生成特征包括网络资源特征和统计特征。
为实现上述目的，本发明还提供了一种基于黑盒模型与决策树的风控规则自动生成方法，包括如下步骤：
S1、利用标记的黑白样本对黑盒模型进行训练；
S2、利用步骤S1得到的训练好的黑盒模型对数据流进行标记，得到正负样本；
S3、将步骤S2得到的所述正负样本和决策树规则生成特征输入决策树模型，进行规则链提取；
S4、对步骤S3得到的规则链进行分析，从异常样本占比大于阈值的路径中提取出风控规则，并评估所述风控规则的效果是否与存在于策略引擎中的规则效果相重合；若评估结果为否，则将所述风控规则更新至规则库，生成新的风控规则库。
进一步地，在步骤S1中，所述黑白样本通过数据分析进行标记。
进一步地，在步骤S1中，对黑盒模型的训练包括黑盒模型不存在时的初始训练和黑盒模型存在时的更新训练。
更进一步地，所述更新训练时使用的黑白样本为日常数据分析过程中积累的黑白样本；将所述积累的黑白样本输入黑盒模型后，通过对输出的特征进行可视化分析即可判断是否需要进行更新训练。
进一步地，在步骤S3中，所述规则链提取是通过决策树模型自动选择可用的特征并划分特征切分数据阈值来实现的；提取到的规则链为树状规则链。
与现有技术相比，本发明的有益效果是：
1、本发明通过将复杂深度学习的黑盒模型与简单的决策树模型相结合，构建了基于黑盒模型与决策树的风控规则自动生成系统。该系统既能够利用复杂黑盒模型在未知数据上泛化性能强的特点，使其作为未知数据的标记器，取代工作量大的人工样本标记；又能够利用决策树模型的树形结构，将其作为规则生成器，取代人工数据分析进行规则提取，有效提高规则生成效率。同时，该系统还能够使黑盒模型发现的异常模式通过规则提取器转化成规则，提高其可解释性。因此，本发明提供的基于黑盒模型与决策树的风控规则自动生成系统能够很好的解决现有技术中策略风控体系存在的时效性和解释性差的问题，并持续不断地生成风控规则，以便准确、及时地发现数据异常，从而满足实际应用的需求，具有较高的应用价值。
2、本发明通过使用黑盒模型作为未知数据的标记器，能够利用其泛化性强的特点，高效完成对数据的标记过程。同时，本发明通过构建黑盒模型训练更新模块，将平时数据分析过程积累的样本导入黑盒模型中，根据其输出特征可视化地判断黑盒模型是否需要更新，从而在黑盒模型效果开始衰减的时候对其进行更新。对黑盒模型的更新解决了现有技术中系统持续工作过程时数据分布变化易于导致黑盒模型效果衰减、模型精度降低的问题，从而使黑盒模型具有持续高精度地标记黑白样本的性能；进而使后续提取的规则能够真实的反映数据的异常趋势；并使基于本发明生成的风控规则运行的互联网风控策略引擎具有持续的发现异常的准确度。
3、本发明通过使用决策树作为规则的生成模型，能够利用决策树与黑盒模型间的协同作用，使黑盒模型发现的异常模式不断通过决策树转化成可解释的规则，解决了现有技术中黑盒模型不可解释的问题，也降低了规则链被黑产破解的可能性。同时，决策树模型的树形结构更方便规则的提取，与其他类型的规则提取器相比流程更短，不仅能够降低系统负荷，还能够提高整个风控规则自动生成系统的响应性，使生成的规则及时更新至互联网风控策略引擎中，解决了现有技术中需通过人工数据分析进行规则更新时耗时较长、难以及时响应的问题。此外，本发明通过在进行规则更新前先对规则进行评估，判定其效果并未与策略引擎中已有的规则效果相重合后才进行更新，能够避免重复计算的情况，从而降低系统的计算压力，提高系统的运行效率。
附图说明
图1是本发明提供的基于黑盒模型与决策树的风控规则自动生成系统的结构示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
实施例
本实施例提供了一种基于黑盒模型与决策树的风控规则自动生成系统，包括依次连接的数据分析样本标记模块、黑盒模型训练更新模块、黑盒模型标记模块、规则提取模块、规则更新模块，以及与所述规则提取模块连接的特征库模块；所述数据分析样本标记模块通过数据分析标记数据，用于黑盒模型的训练；所述黑盒模型训练更新模块用于训练黑盒模型，并对黑盒模型进行更新；所述黑盒模型标记模块用于通过训练好的黑盒模型在未知的数据上标记正负样本；所述规则提取模块用于通过决策树模型拆分出规则链；所述规则更新模块用于提取规则并将其更新至规则库；所述特征库模块用于存储决策树规则生成特征。
其中，所述黑盒模型训练更新模块包括数据分析标签积累单元和模型特征可视化单元，各单元具体作用如下：
所述数据分析标签积累单元用于积累日常数据分析时人工标记的黑白样本，并将其写入Hadoop分布式文件系统中备用。这样既能够避免频繁的进行数据分析来标记数据，又能够使日常数据分析过程中积累的已被标记的黑白样本得到充分利用。
将所述数据分析标签积累单元中积累的黑白样本输入黑盒模型后，所述模型特征可视化单元能够对其输出的特征进行可视化呈现。在本实施例中，该可视化呈现是将输出特征以数值、表格或图形的形式进行呈现，以便及时观察到输出特征的变化情况，在黑盒模型的标记精度开始下降时及时对黑盒模型进行训练与更新，从而避免持续工作过程中数据分布变化导致的黑盒模型效果衰减、模型精度降低的问题，使黑盒模型具有持续高精度地标记黑白样本的性能。
所述规则提取模块中包括依次连接的输入单元、决策树规则提取单元和规则链生成单元，各单元具体作用如下：
所述输入单元用于将所述黑盒模型标记模块输出的被标记为正负样本的数据和所述特征库模块中的决策树规则生成特征输入所述决策树规则提取单元，以便决策树规则提取单元进行规则提取。在本实施例中，所述决策树规则生成特征包括网络资源特征和统计特征，后续可以不断向特征库模块中添加新的特征。
所述决策树规则提取单元用于通过决策树模型从所述决策树规则生成特征中自动选择可用特征，并对所述可用特征切分数据的阈值进行划分。其中，所述可用特征为基于黑盒模型标记的数据能够计算得到的特征，能够充分反映黑盒模型标记后数据的特点，以便更加准确地进行特征提取。
所述规则链生成单元用于根据所述决策树规则提取单元选择的可用特征及其阈值生成树状规则链。由于决策树模型的树形结构更方便规则地提取，该规则链生成过程流程较短，能够有效降低系统负荷，提高系统运行速率及风控规则的生成效率。
所述规则更新模块包括风控规则提取单元、规则效果评估单元和更新单元，各单元具体作用如下：
所述风控规则提取单元用于从所述规则链中找到异常样本占比大于阈值的路径，并提取出该路径对应的风控规则，从而迅速发现异常情况及其对应的规则，便于及时进行处理。
所述规则效果评估单元用于将所述风控规则提取单元提取的所述风控规则与策略引擎中已存在的规则进行比对，评估所述风控规则是否与所述策略引擎中已有的规则效果发生重合，从而避免重复计算的情况，降低系统的计算压力，提高系统的运行效率。
所述更新单元用于将被所述规则效果评估单元评估为否的风控规则更新至规则库中，形成新的风控规则库，以便在黑产转变攻击方式或者攻击模式后能够用新的规则及时发现相应攻击数据并进行处理。
基于本实施例提供的基于黑盒模型与决策树的风控规则自动生成系统，本实施例还一种基于黑盒模型与决策树的风控规则自动生成方法，包括如下步骤：
S1、对黑盒模型进行训练
在首次使用时，由于黑盒模型还不存在，需要先通过数据分析对数据进行标记，得到被标记的黑白样本；再利用这些被标记的黑白样本进行初始训练，得到黑盒模型，并通过F1-score对黑盒模型的泛化性进行评估，得到初始的训练好的黑盒模型。
由于黑盒模型在持续工作过程时易于因数据分布变化产生黑盒模型效果衰减、模型精度降低的问题，本实施例中还能够对黑盒模型进行更新。通过将日常数据分析过程中积累的已被标记的黑白样本作为训练样本输入黑盒模型，并对输出的特征进行可视化呈现，即可直观地观察到输出特征的变化情况，在黑盒模型的标记精度开始下降时及时对黑盒模型进行训练与更新，避免其发生衰减，从而使黑盒模型具有持续高精度地标记黑白样本的性能。
S2、利用黑盒模型进行数据标记
步骤S1得到的训练好的黑盒模型在未知数据上具有泛化性能强的特点，本实施例利用该黑盒模型对数据流进行标记，能够快速得到正负样本，有效取代了工作量大的人工样本标记过程，提高系统的整体效率。
S3、利用决策树模型进行规则链提取
将步骤S2得到的所述正负样本和决策树规则生成特征全部输入决策树模型，利用决策树模型的树形结构，将其作为规则生成器，取代人工数据分析进行规则提取。
其中，利用决策树模型进行规则链提取具体包括如下步骤：
先从决策树规则生成特征中自动选择可用特征，再对所述可用特征切分数据的阈值进行划分，最后根据所述可用特征及其阈值生成树状规则链。
在这一过程中，由于决策树模型的树形结构更方便规则地提取，该规则链生成过程流程较短，能够有效降低系统负荷，提高系统运行速率及风控规则的生成效率。
S4、规则评估及更新
对步骤S3得到的规则链进行分析，从异常样本占比大于阈值的路径中提取出风控规则，并评估所述风控规则的效果是否与存在于策略引擎中的规则效果相重合。
若评估结果为是，则不进行更新，从而避免重复计算的情况，降低系统的计算压力，提高系统的运行效率；
若评估结果为否，则将所述风控规则更新至规则库，生成新的风控规则库，以便在黑产转变攻击方式或者攻击模式后能够用新的规则及时发现相应攻击数据并进行处理，从而实现风控规则的自动生成。
综上所述，本发明提供的基于黑盒模型与决策树的风控规则自动生成系统包括依次连接的数据分析样本标记模块、黑盒模型训练更新模块、黑盒模型标记模块、规则提取模块、规则更新模块，以及与所述规则提取模块连接的特征库模块。基于该风控规则自动生成系统，本发明提供的基于黑盒模型与决策树的风控规则自动生成方法能够利用黑盒模型对未知数据进行标记，并使黑盒模型发现的异常模式不断通过决策树转化成可解释的规则，经评估后更新至规则库中。通过上述方式，本发明能够很好的解决现有技术中策略风控体系存在的时效性和解释性差的问题，并持续不断地生成风控规则，以便准确、及时地发现数据异常，从而满足实际应用的需求，具有较高的应用价值。
以上所述仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种基于黑盒模型与决策树的风控规则自动生成系统，其特征在于，包括依次连接的数据分析样本标记模块、黑盒模型训练更新模块、黑盒模型标记模块、规则提取模块、规则更新模块，以及与所述规则提取模块连接的特征库模块；所述数据分析样本标记模块通过数据分析标记数据，用于黑盒模型的训练；所述黑盒模型训练更新模块用于训练黑盒模型，并对黑盒模型进行更新；所述黑盒模型标记模块用于通过训练好的黑盒模型在未知的数据上标记正负样本；所述规则提取模块用于通过决策树模型拆分出规则链；所述规则更新模块用于提取规则并将其更新至规则库；所述特征库模块用于存储决策树规则生成特征；
所述规则提取模块中包括依次连接的输入单元、决策树规则提取单元和规则链生成单元；所述输入单元用于将所述黑盒模型标记模块输出的被标记为正负样本的数据和所述特征库模块中的决策树规则生成特征输入所述决策树规则提取单元；所述决策树规则提取单元用于通过决策树模型从所述决策树规则生成特征中自动选择可用特征，并对所述可用特征切分数据的阈值进行划分；所述规则链生成单元用于根据所述决策树规则提取单元选择的可用特征及其阈值生成树状规则链；
所述规则更新模块包括风控规则提取单元、规则效果评估单元和更新单元；所述风控规则提取单元用于从所述规则链中找到异常样本占比大于阈值的路径，并提取出该路径对应的风控规则；所述规则效果评估单元用于将所述风控规则提取单元提取的所述风控规则与策略引擎中已存在的规则进行比对，评估所述风控规则是否与所述策略引擎中已有的规则效果发生重合；所述更新单元用于将被所述规则效果评估单元评估为否的风控规则更新至规则库中，形成新的风控规则库。
2.根据权利要求1所述的基于黑盒模型与决策树的风控规则自动生成系统，其特征在于：所述黑盒模型训练更新模块包括数据分析标签积累单元和模型特征可视化单元；所述数据分析标签积累单元用于积累日常数据分析时人工标记的黑白样本，并将其写入Hadoop分布式文件系统中备用；所述数据分析标签积累单元中积累的黑白样本输入黑盒模型后，输出的特征由所述模型特征可视化单元进行可视化呈现。
3.根据权利要求1所述的基于黑盒模型与决策树的风控规则自动生成系统，其特征在于：所述特征库模块中的决策树规则生成特征可以通过新增或减少进行更新；所述决策树规则生成特征包括网络资源特征和统计特征。
4.一种基于黑盒模型与决策树的风控规则自动生成方法，其特征在于，应用于权利要求1~3中任一权利要求所述的风控规则自动生成系统，包括如下步骤：
S1、利用标记的黑白样本对黑盒模型进行训练；
S2、利用步骤S1得到的训练好的黑盒模型对数据流进行标记，得到正负样本；
S3、将步骤S2得到的所述正负样本和所述特征库模块中的决策树规则生成特征输入决策树模型，进行规则链提取；
S4、对步骤S3得到的规则链进行分析，从异常样本占比大于阈值的路径中提取出风控规则，并评估所述风控规则的效果是否与存在于策略引擎中的规则效果相重合；若评估结果为否，则将所述风控规则更新至规则库，生成新的风控规则库。
5.根据权利要求4所述的基于黑盒模型与决策树的风控规则自动生成方法，其特征在于：在步骤S1中，所述黑白样本通过数据分析进行标记。
6.根据权利要求5所述的基于黑盒模型与决策树的风控规则自动生成方法，其特征在于：在步骤S1中，对黑盒模型的训练包括黑盒模型不存在时的初始训练和黑盒模型存在时的更新训练。
7.根据权利要求6所述的基于黑盒模型与决策树的风控规则自动生成方法，其特征在于：所述更新训练时使用的黑白样本为日常数据分析过程中积累的黑白样本；将所述积累的黑白样本输入黑盒模型后，通过对输出的特征进行可视化分析即可判断是否需要进行更新训练。
8.根据权利要求4所述的基于黑盒模型与决策树的风控规则自动生成方法，其特征在于：在步骤S3中，所述规则链提取是通过决策树模型自动选择可用的特征并划分特征切分数据阈值来实现的；提取到的规则链为树状规则链。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010715462.7A CN111967003B (zh) | 2020-07-22 | 2020-07-22 | 基于黑盒模型与决策树的风控规则自动生成系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010715462.7A CN111967003B (zh) | 2020-07-22 | 2020-07-22 | 基于黑盒模型与决策树的风控规则自动生成系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111967003A CN111967003A (zh) | 2020-11-20 |
| CN111967003B true CN111967003B (zh) | 2023-11-28 |
Family
ID=73362311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010715462.7A Active CN111967003B (zh) | 2020-07-22 | 2020-07-22 | 基于黑盒模型与决策树的风控规则自动生成系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111967003B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365352B (zh) * | 2020-11-30 | 2023-07-04 | 西安四叶草信息技术有限公司 | 一种基于图神经网络的反套现方法及装置 |
| CN113792019B (zh) * | 2021-08-03 | 2023-08-18 | RealMe重庆移动通信有限公司 | 一种分析方法、电子设备及计算机存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107545360A (zh) * | 2017-07-28 | 2018-01-05 | 浙江邦盛科技有限公司 | 一种基于决策树的风控智能规则导出方法及系统 |
| CN107993139A (zh) * | 2017-11-15 | 2018-05-04 | 华融融通（北京）科技有限公司 | 一种基于动态规则库的消费金融反欺诈系统与方法 |
| CN108596434A (zh) * | 2018-03-23 | 2018-09-28 | 卫盈联信息技术（深圳）有限公司 | 欺诈检测和风险评估方法、系统、设备及存储介质 |
| CN108805416A (zh) * | 2018-05-22 | 2018-11-13 | 阿里巴巴集团控股有限公司 | 一种风险防控处理方法、装置及设备 |
| CN109768985A (zh) * | 2019-01-30 | 2019-05-17 | 电子科技大学 | 一种基于流量可视化与机器学习算法的入侵检测方法 |
| KR20190061431A (ko) * | 2017-11-28 | 2019-06-05 | 동국대학교 산학협력단 | 설명력이 있는 딥 러닝 방법 및 시스템 |
| CN111967575A (zh) * | 2020-07-22 | 2020-11-20 | 武汉极意网络科技有限公司 | 一种半自动化模型更新系统及模型更新方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9858533B2 (en) * | 2013-03-15 | 2018-01-02 | Konstantinos (Constantin) F. Aliferis | Data analysis computer system and method for conversion of predictive models to equivalent ones |
| US11354590B2 (en) * | 2017-11-14 | 2022-06-07 | Adobe Inc. | Rule determination for black-box machine-learning models |
-
2020
- 2020-07-22 CN CN202010715462.7A patent/CN111967003B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107545360A (zh) * | 2017-07-28 | 2018-01-05 | 浙江邦盛科技有限公司 | 一种基于决策树的风控智能规则导出方法及系统 |
| CN107993139A (zh) * | 2017-11-15 | 2018-05-04 | 华融融通（北京）科技有限公司 | 一种基于动态规则库的消费金融反欺诈系统与方法 |
| KR20190061431A (ko) * | 2017-11-28 | 2019-06-05 | 동국대학교 산학협력단 | 설명력이 있는 딥 러닝 방법 및 시스템 |
| CN108596434A (zh) * | 2018-03-23 | 2018-09-28 | 卫盈联信息技术（深圳）有限公司 | 欺诈检测和风险评估方法、系统、设备及存储介质 |
| WO2019178914A1 (zh) * | 2018-03-23 | 2019-09-26 | 卫盈联信息技术（深圳）有限公司 | 欺诈检测和风险评估方法、系统、设备及存储介质 |
| CN108805416A (zh) * | 2018-05-22 | 2018-11-13 | 阿里巴巴集团控股有限公司 | 一种风险防控处理方法、装置及设备 |
| CN109768985A (zh) * | 2019-01-30 | 2019-05-17 | 电子科技大学 | 一种基于流量可视化与机器学习算法的入侵检测方法 |
| CN111967575A (zh) * | 2020-07-22 | 2020-11-20 | 武汉极意网络科技有限公司 | 一种半自动化模型更新系统及模型更新方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于增量学习的SVM-KNN网络入侵检测方法;付子爔，徐洋，吴招娣，许丹丹，谢晓尧;《计算机工程》;第46卷(第04期);115-122 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111967003A (zh) | 2020-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021184630A1 (zh) | 基于知识图谱定位排污对象的方法及相关设备 | |
| CN108763931A (zh) | 基于Bi-LSTM和文本相似性的漏洞检测方法 | |
| CN111459700A (zh) | 设备故障的诊断方法、诊断装置、诊断设备及存储介质 | |
| CN111967003B (zh) | 基于黑盒模型与决策树的风控规则自动生成系统及方法 | |
| CN112528519A (zh) | 发动机质量预警服务的方法、系统、可读介质和电子设备 | |
| CN103597417A (zh) | 状态监测方法及装置 | |
| CN102881125A (zh) | 基于多信息融合集中处理平台的报警监控系统 | |
| CN112738014A (zh) | 一种基于卷积时序网络的工控流量异常检测方法及系统 | |
| CN110636066A (zh) | 基于无监督生成推理的网络安全威胁态势评估方法 | |
| Tripathy et al. | Explaining Anomalies in Industrial Multivariate Time-series Data with the help of eXplainable AI | |
| CN113269327A (zh) | 一种基于机器学习的流量异常预测方法 | |
| CN118013439A (zh) | 一种用于风机故障侦查的预警方法及系统 | |
| CN116596301A (zh) | 基于零次学习法的电缆多状态变量评估模型设计方法及装置 | |
| CN118278620A (zh) | 基础设施电能消耗监测与管理系统 | |
| CN114139604A (zh) | 基于在线学习的电力工控攻击监测方法和装置 | |
| Qu et al. | Instruction detection in scada/modbus network based on machine learning | |
| CN112039907A (zh) | 一种基于物联网终端评测平台的自动测试方法及系统 | |
| CN117034149A (zh) | 故障处理策略确定方法、装置、电子设备和存储介质 | |
| CN114881154A (zh) | 一种基于pca和深度森林的天然气场站故障检测方法及系统 | |
| Zhang et al. | Anomaly Detection Model of Power Grid Data Based on STL Decomposition | |
| CN111680572A (zh) | 一种电网运行场景动态判定方法及系统 | |
| Zhang et al. | Research on Early Warning of Hoist Failure based on Big Data and Parallel Simulation | |
| CN111221704A (zh) | 一种确定办公管理应用系统运行状态的方法及系统 | |
| Ma et al. | A Novel Hybrid Feature Importance and Feature Interaction Detection Framework for Predictive Optimization in Industry 4.0 Applications | |
| CN110596586B (zh) | 一种基于Alexnet算法的电机电流波形分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |