CN112437051A - 网络风险检测模型负反馈训练方法、装置及计算机设备 - Google Patents
网络风险检测模型负反馈训练方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN112437051A CN112437051A CN202011246192.6A CN202011246192A CN112437051A CN 112437051 A CN112437051 A CN 112437051A CN 202011246192 A CN202011246192 A CN 202011246192A CN 112437051 A CN112437051 A CN 112437051A
- Authority
- CN
- China
- Prior art keywords
- information
- sample
- detection model
- access
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 360
- 238000012549 training Methods 0.000 title claims abstract description 173
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000006243 chemical reaction Methods 0.000 claims abstract description 59
- 238000013139 quantization Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 8
- 239000013589 supplement Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000001172 regenerating effect Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 6
- 230000000153 supplemental effect Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了网络风险检测模型负反馈训练方法、装置及计算机设备,方法包括:对样本访问信息进行扩展统计得到样本访问数据集并进行转换得到样本特征信息,根据样本特征信息及检测模板生成网络风险检测模型并进行训练,对访问请求记录进行风险检测以得到访问请求检测信息并从中截取目标检测信息,获取所反馈的风险标签信息并判断目标检测信息是否满足预设训练条件,若满足则重新生成及训练网络风险检测模型。本发明基于模型托管技术,属于人工智能领域,可针对不断变化的网络安全威胁对所构建的网络风险检测模型进行负反馈训练,使网络风险检测模型能够适应不断变化的网络安全威胁,提高网络风险检测模型对网络安全威胁进行检测的效率及准确率。
Description
技术领域
本发明涉及人工智能技术领域,属于智慧城市中对网络风险检测模型进行负反馈训练的应用场景,尤其涉及一种网络风险检测模型负反馈训练方法、装置及计算机设备。
背景技术
大型企业为了对业务请求进行处理,通常会设置管理服务器对业务请求进行处理以及对数据信息进行存储,为实现对来自用户终端的业务请求进行处理,管理服务器需要接入广域互联网,然而此时管理服务器需面对来自广域互联网的各种网络安全威胁,金融企业则需要更加注重对网络安全威胁进行防范,常规技术方法中可在管理服务器中设置风险监测模型以对网络安全威胁进行监测甄别。在使用风险检测模型之前通常会对模型进行训练,然而,网络环境变化多端,随着时间的推移,已完成训练的风险检测模型由于无法适应新的网络安全威胁,而导致对安全威胁进行监控的效率逐渐降低。因此传统技术方法的网络风险检测模型存在难以适应不断变化的网络安全威胁的问题。
发明内容
本发明实施例提供了一种网络风险检测模型负反馈训练方法、装置、计算机设备及存储介质,旨在解决现有技术方法所构建得到的网络风险检测模型存在难以适应不断变化的网络安全威胁的问题。
第一方面,本发明实施例提供了一种网络风险检测模型负反馈训练方法,其包括:
若接收到来自所述用户终端的样本访问信息,根据预置的统计处理规则对所述样本访问信息进行扩展统计以获取对应的样本访问数据集;
根据预置的转换规则对所述样本访问数据集所包含的样本访问数据进行转换得到每一所述样本访问数据的样本特征信息;
对所述样本特征信息进行统计得到特征统计信息;
根据所述特征统计信息对预存的检测模板进行配置以生成网络风险检测模型;
根据预置的模型训练规则及所述样本特征信息对预存的网络风险检测模型进行训练,以获取训练后的网络风险检测模型;
若接收到来自所述客户端的访问请求,记录所述访问请求得到访问请求记录并根据所述转换规则及训练后的所述网络风险检测模型对所述访问请求记录进行风险检测以获取访问请求检测信息;
若到达预设时间点,根据预置的截取规则从所述访问请求检测信息中截取得到目标检测信息并发送至所述用户终端;
若接收到所述用户终端根据所述目标检测信息所反馈的风险标签信息,根据所述风险标签信息判断所述目标检测信息是否满足预设训练条件;
若所述目标检测信息满足预设训练条件,根据所述目标检测信息及所述风险标签信息更新所述样本特征信息,并返回执行所述对所述样本特征信息进行统计得到特征统计信息的步骤。
第二方面,本发明实施例提供了一种网络风险检测模型负反馈训练装置,其包括:
样本访问数据集获取单元,用于若接收到来自所述用户终端的样本访问信息,根据预置的统计处理规则对所述样本访问信息进行扩展统计以获取对应的样本访问数据集;
样本特征信息获取单元,用于根据预置的转换规则对所述样本访问数据集所包含的样本访问数据进行转换得到每一所述样本访问数据的样本特征信息;
特征统计信息获取单元,用于对所述样本特征信息进行统计得到特征统计信息;
网络风险检测模型生成单元,用于根据所述特征统计信息对预存的检测模板进行配置以生成网络风险检测模型;
网络风险检测模型训练单元,用于根据预置的模型训练规则及所述样本特征信息对预存的网络风险检测模型进行训练,以获取训练后的网络风险检测模型;
访问请求检测信息获取单元,用于若接收到来自所述客户端的访问请求,记录所述访问请求得到访问请求记录并根据所述转换规则及训练后的所述网络风险检测模型对所述访问请求记录进行风险检测以获取访问请求检测信息;
目标检测信息发送单元,用于若到达预设时间点,根据预置的截取规则从所述访问请求检测信息中截取得到目标检测信息并发送至所述用户终端;
目标检测信息判断单元,用于若接收到所述用户终端根据所述目标检测信息所反馈的风险标签信息,根据所述风险标签信息判断所述目标检测信息是否满足预设训练条件;
返回执行单元,用于若所述目标检测信息满足预设训练条件,根据所述目标检测信息及所述风险标签信息更新所述样本特征信息,并返回执行所述对所述样本特征信息进行统计得到特征统计信息的步骤。
第三方面,本发明实施例又提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的网络风险检测模型负反馈训练方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其中所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的网络风险检测模型负反馈训练方法。
本发明实施例提供了一种网络风险检测模型负反馈训练方法、装置、计算机设备及存储介质。对样本访问信息进行扩展统计得到样本访问数据集并进行转换得到样本特征信息,根据样本特征信息及检测模板生成网络风险检测模型并进行训练,对访问请求记录进行风险检测以得到访问请求检测信息并从中截取目标检测信息,获取所反馈的风险标签信息并判断目标检测信息是否满足预设训练条件,若满足则将目标检测信息及风险标签信息添加至样本特征信息中并重新生成及训练网络风险检测模型。通过上述方法,可针对不断变化更新的网络安全威胁对所构建的网络风险检测模型进行负反馈训练,使网络风险检测模型能够适应不断变化的网络安全威胁,不断提高网络风险检测模型对网络安全威胁进行检测的效率及准确率。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的网络风险检测模型负反馈训练方法的流程示意图;
图2为本发明实施例提供的网络风险检测模型负反馈训练方法的应用场景示意图;
图3为本发明实施例提供的网络风险检测模型负反馈训练方法的子流程示意图;
图4为本发明实施例提供的网络风险检测模型负反馈训练方法的另一子流程示意图;
图5为本发明实施例提供的网络风险检测模型负反馈训练方法的另一子流程示意图;
图6为本发明实施例提供的网络风险检测模型负反馈训练方法的另一子流程示意图;
图7为本发明实施例提供的网络风险检测模型负反馈训练方法的另一子流程示意图;
图8为本发明实施例提供的网络风险检测模型负反馈训练方法的另一子流程示意图;
图9为本发明实施例提供的网络风险检测模型负反馈训练装置的示意性框图;
图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1及图2,图1是本发明实施例提供的网络风险检测模型负反馈训练方法的流程示意图,图2为本发明实施例提供的网络风险检测模型负反馈训练方法的应用场景示意图,该网络风险检测模型负反馈训练方法应用于管理服务器10中,该方法通过安装于管理服务器10中的应用软件进行执行,管理服务器10即是用于执行网络风险检测模型负反馈训练方法以构建网络风险检测模型并进行负反馈训练的服务器端,管理服务器10与一台用户终端20及至少一台客户端30进行网络连接以实现数据信息的传输,客户端30即是与管理服务器10进行网络连接以发送访问请求的终端设备,例如台式电脑、笔记本电脑、平板电脑或手机等,用户终端20即是与管理服务器10进行网络连接以对管理服务器10进行管理的终端设备,例如台式电脑、笔记本电脑、平板电脑或手机等,用户终端20的使用者可以是企业的管理员。图2中仅仅示意出管理服务器10与一台用户终端20进行信息传输,在实际应用中,该管理服务器10也可同时与多台用户终端20建立通信连接以实现数据信息的传输。如图1所示,该方法包括步骤S110~S190。
S110、若接收到来自所述用户终端的样本访问信息,根据预置的统计处理规则对所述样本访问信息进行扩展统计以获取对应的样本访问数据集。
若接收到来自所述用户终端的样本访问信息,根据预置的统计处理规则对所述样本访问信息进行扩展统计以获取对应的样本访问数据集。样本访问信息中包含多条访问记录,每一条访问记录均包含多项记录信息及一项分类信息,客户端对管理服务器进行一次访问即可对应形成一条访问记录,分类信息即为对该条访问记录进行分类所得到的具体类型,可通过统计处理规则对每一条访问记录进行统计处理,以实现对访问记录的多项记录信息进行纠错、补全及扩展,得到样本访问数据。分类信息可以是正常、拒绝服务供给、监视及其他探测活动、远程机器的非法访问、普通用户本地超用户特权的非法访问五种类型;样本访问信息中每一访问记录可对应23项记录信息,如访问时间、持续时间、协议类型、目标主机的网络服务类型、连接状态信息、客户端到目标主机的数据字节数、目标主机到客户端的数据字节数、目标主机端口信息、错误分段数量、加急包数量、敏感目录访问次数、登录失败尝试次数、是否登录成功、违规操作次数、是否获得超级用户权限、超级用户权限命令次数、用户访问次数、文件创建操作次数、使用shell命令次数、访问控制文件次数、出站连接次数、是否为白名单用户、是否为未登录用户。其中,记录信息可分为连续型记录信息和离散型记录信息,如访问持续时间为连续型记录信息,范围区间为[0,58329],单位为秒;协议类型为离散型记录信息,协议类型可分为三种,分别是TCP,UDP,ICMP。其中,统计处理规则中包括预设范围、映射信息表及项目统计规则。
在一实施例中,如图3所示,步骤S110包括子步骤S111、S112、S113、S114、S115和S116。
S111、判断所述样本访问信息中每一项记录信息是否超出所述预设范围,若超出则删除该项记录信息。
统计处理规则中包含与每一项记录信息对应的范围区间,每一项记录信息的范围区间即组合成为上述预设范围,可根据相应的范围区间判断样本访问信息中每一项记录信息是否超出预设范围,若某一项记录信息超出预设范围,则将该项记录信息进行删除。
例如,使用shell命令次数的范围区间为[0,5],若某一访问记录与使用shell命令次数对应的记录信息为6,则将该项记录信息删除。
S112、判断所述样本访问信息中每一项记录信息是否为空,根据判断结果获取空缺的记录信息并判断所述空缺的记录信息的类型,所述类型包括连续型和离散型;S113、若所述空缺的记录信息为连续型记录信息,采用拉格朗日插值法计算得到所述连续型记录信息的补充信息补充至所述样本访问信息中;S114、若所述空缺的记录信息为离散型记录信息,获取所有访问记录中与所述离散型记录信息的平均概率值对应离散值作为补充信息至所述样本访问信息中。
获取样本访问信息中空缺的记录信息,若空缺的记录信息为连续型记录信息,则可采用拉尔朗日插值法计算该连续型记录信息的补充信息,具体的,拉格朗日插值法可以给出一个恰好穿过二维平面上若干个已知点的多项式函数,基于该多项式函数及与该项记录信息对应的范围区间即可计算得到该项记录信息的补充信息,将该补充信息填充至对应空缺的连续型记录信息的位置;若空缺的记录信息为为离散型记录信息,可对所有访问记录中与该项离散型记录信息进行统计,以获取该项离散型记录信息中每一离散值出现的次数,计算得到每一离散值出现的概率值,获取概率值与平均概率值最接近的一个离散值作为补充信息,将该补充信息填充至对应空缺的离散型记录信息的位置。
例如,协议类型可分为三种,分别是TCP,UDP,ICMP,对所有访问记录中与协议类型对应的离散值进行统计,得到TCP出现的概率值为0.27,UDP出现的概率值为0.16,ICMP出现的概率值为0.57,平均概率值为1/3=0.3333,则选择TC作为与协议类型相匹配的补充信息。
S115、根据所述映射信息表对所述样本访问信息中的离散型记录信息进行映射替换以更新所述样本访问信息。
具体的,映射信息表中包含与每一项离散型记录信息中离散值对应的编码值,通过映射信息表获取与每一离散值对应的编码值,即可对每一项离散型记录信息进行映射替换并对样本访问信息中的部分信息进行替换更新,在此过程中,同样需要对分类信息进行映射替换得到一项与分类信息对应的属性信息。
S116、根据所述项目统计规则对更新后的所述样本访问信息进行统计,以对所述样本访问信息中每一访问记录包含的记录信息进行扩展得到样本访问数据集。
通过统计处理规则对上述更新后的样本访问信息进行统计,可对其中每一访问记录的多项记录信息进行扩展,得到包含更多项属性信息的样本访问数据,则每一条访问记录均可以相同方式对该访问记录所包含的记录信息进行扩展,经扩展后的样本访问数据组合为样本访问数据集。具体的,可基于访问时间及目标主机端口信息进行统计得到过去两秒内与当前访问记录相同的目标主机的连接数,基于访问时间及目标主机的网络服务类型统计得到过去两秒内与当前连接具有相同服务的连接数;连接状态信息中可包括“ERJ”、“SYN”等,可基于访问时间及连接状态信息统计得到过去两秒内与当前访问记录具有相同目标主机的连接中出现“SYN”错误的百分比、过去两秒内与当前访问记录具有相同目标主机的连接中出现“ERJ”错误的百分比。从而将包含23项记录信息扩展为包含更多项属性信息的样本访问数据。
S120、根据预置的转换规则对所述样本访问数据集所包含的样本访问数据进行转换得到每一所述样本访问数据的样本特征信息。
根据预置的转换规则对所述样本访问数据集所包含的样本访问数据进行转换得到每一所述样本访问数据的样本特征信息。其中,所述转换规则中包括多个转换项目,样本访问数据集中的样本访问数据均包含多项属性信息,转换规则即为对样本访问数据集中每一样本访问数据的多项属性信息进行转换的具体规则,转换规则中的转换项目可等于或少于样本访问数据的属性信息项数,样本特征信息即可用于对每一样本访问数据中的多项属性信息进行量化表示,样本特征信息可表示为一个多维特征向量,多维特征向量的维度数与转换项目的数量相等。
例如,某一样本访问数据集中的样本访问数据包含42项属性信息,转换规则中包含对应的42个转换项目,则对其中一条样本访问数据进行转换后,可得到包含42个维度的多维特征向量。
在一实施例中,如图4所示,步骤S120包括子步骤S121、S122和S123。
S121、判断所述样本访问数据中与所述转换规则的每一转换项目对应的属性信息是否为百分比;S122、若所述转换项目对应的属性信息不为百分比,根据所述转换项目的激活函数对所述属性信息进行计算得到所述属性信息的量化值;S123、若所述转换项目对应的属性信息为百分比,将所述百分比转换为小数数值以得到所述属性信息的量化值。
样本访问数据集中的样本访问数据均包含多项属性信息,转换规则中每一转换项目均与一项属性信息相匹配,每一转换项目均可将对应的一项属性信息转换为一个量化值进行表示,每一条样本数据对应的多个量化值即可组合为该样本数据的样本特征信息,样本特征信息可表示为一个多维特征向量,也即是每一量化值即对应样本特征信息中一个维度的向量值,对每一转换项目对应的一项属性信息进行量化所得到量化值的范围均为[0,1]。具体的,可对属性信息是否为百分比数值进行判断,若属性信息不为百分比数值则通过转换规则中与该属性信息相匹配的激活函数计算得到属性信息的量化值,若属性信息为百分比数值,则直接将百分比数值转换为小数数值作为该属性信息的量化值。
对于与转换项目对应的属性信息以非百分比数值方式表示的情况,转换规则中对应的量化规则为一个激活函数及一个中间值,根据激活函数对中间值及该转换项目的一个属性信息进行计算,即可得到对应的量化值。
例如,激活函数可表示为:其中,x为与转换项目对应的一项信息,v为与该转换项目对应的中间值。与使用shell命令次数这一转换项目对应的中间值为v=2.5,样本访问数据集中某一样本访问数据的使用shell命令次数为x=4,则根据上述激活函数计算得到对应的量化值为0.9168。样本访问数据集中某一样本访问数据的过去两秒内与当前访问记录具有相同目标主机的连接中出现“SYN”错误的百分比为40%,则对应转换得到“0.4”作为该属性信息的量化值。
S130、对所述样本特征信息进行统计得到特征统计信息。
具体的,可对每一样本访问数据的样本特征信息进行统计以得到特征统计信息,具体的,样本特征信息中包含由每一属性信息的特征值所组成的多维特征向量,样本特征信息中包括基础特征量化信息以及分类特征量化信息,特征统计信息中包括维度统计信息及分类统计信息,对样本访问数据的基础特征量化信息的维度数量进行统计得到维度统计信息,对所有样本特征数据的分类特征量化信息所包含的类型数量进行统计得到分类统计信息。
例如,上述样本特征信息中包含的基础特征量化信息的维度数量为41,则将统计得到维度统计信息为41,对分类特征量化信息的类型数量为5,则将统计得到分类统计信息为5。
S140、根据所述特征统计信息对预存的检测模板进行配置以生成网络风险检测模型。
可根据特征统计信息对预存的检测模板中对应的参数值进行配置,以生成网络风险检测模型。具体的,检测模板中可以包括全连接层,可基于特征统计信息中的维度统计信息构建得到输入节点,则输入节点的数量与维度统计信息中的数值相等,基于特征统计信息中的分类统计信息构建得到输出节点,则输出节点的数量与分类统计信息中的数值相等,将输入节点、输出节点及全连接层进行组合即可生成基于神经网络的网络风险检测模型,其中,每一输入节点均对应基础特征量化信息中一个维度的量化值,每一输出节点均对应分类特征量化信息中的一种类型。输入节点与输出节点之间通过全连接层进行连接,全连接层可包含一个或多个特征单元层,每一特征单元层中包含多个特征单元,输入节点与全连接层之间设置有第一公式组,上一特征单元层与下一特征单元层之间设置有全连接层公式组,输出节点与全连接层之间设置有第二公式组。其中,第一公式组包含所有输入节点至所有特征单元的公式,第一公式组中的公式均以输入节点值作为输入值、特征单元值作为输出值,第二公式组包含所有输出节点至所有特征单元的公式,第二公式组中的公式均以特征单元值作为输入值、输出节点值作为输出值,所得到的网络风险检测模型中所包含的每一公式中均拥有对应的参数值,输出节点值也即是样本特征信息与该输出节点对应的类型之间的匹配概率。
S150、根据预置的模型训练规则及所述样本特征信息对预存的网络风险检测模型进行训练,以获取训练后的网络风险检测模型。
根据预置的模型训练规则及所述样本特征信息对预存的网络风险检测模型进行训练,以获取训练后的网络风险检测模型。其中,所述模型训练规则包括分组数量信息及参数值调整规则。在使用网络风险检测模型对来自客户端的访问请求进行分析检测之前,还需根据所得到的样本特征信息对网络风险检测模型进行训练,以提高网络风险检测模型的精确度。
在一实施例中,如图5所示,步骤S150包括子步骤S151、S152和S153。
S151、根据所述分组数量信息对所述样本特征信息进行随机分组得到多个特征量化数据集。
分组数量信息即为对样本特征信息进行随机分组的具体数量,可根据分组数量信息对所有样本特征信息进行随机分组,得到多个特征量化数据集,每一特征量化数据集中所包含的样本特征信息基本相等。
例如,样本特征信息的数量为1000份,拆分信息为8,则将1000份样本特征信息随机分组至8个特征量化数据集中,每一特征量化数据集中包含125份样本特征信息。
S152、根据所述参数值调整规则及多个所述特征量化数据集对所述网络风险检测模型进行多轮训练以得到所述网络风险检测模型的训练结果,所述训练结果包含每一轮训练中所述网络风险检测模型对应的准确率及覆盖率。
这一训练过程也即是网格搜索法,依次选择多个特征量化数据集中的一个特征量化数据集作为训练数据集、其余特征量化数据集作为测试数据集并结合参数调整规则对所得到的网络风险检测模型进行多轮训练,得到网络风险检测模型的训练结果,其中,训练结果包含每一轮训练中网络风险检测模型对应的准确率及覆盖率。具体的,特征量化数据集总数为k=8,则对网络风险检测模型均进行k轮交叉训练,对网络风险检测模型进行第一轮训练时,将第一个特征量化数据集作为测试数据集,其余的k-1个特征量化数据集作为训练数据集,将第一个训练数据集中每一样本特征信息的基础特征量化信息依次输入该网络风险检测模型,以获取得到每一样本特征信息的模型输出信息,根据参数值调整规则及一条样本特征信息的模型输出信息对网络风险检测模型中的参数值进行一次调整,即可完成对网络风险检测模型的一次训练。通过所有训练数据集对网络风险检测模型进行多次迭代训练即可得到一轮交叉训练后的网络风险检测模型,则每一轮交叉训练均可得到一个训练后的网络风险检测模型。
一个训练数据集中的一条样本特征信息即可对网络风险检测模型中的参数值进行一次调整,通过k-1个训练数据集对网络风险检测模型进行训练后得到第一轮训练过后的网络风险检测模型,将测试数据集输入第一轮训练过后的网络风险检测模型即可计算得到对应的准确率及覆盖率,也即是完成对该网络风险检测模型的一轮训练。具体的,获取测试数据集中每一条样本特征信息的检测结果与该条样本特征信息的分类特征量化信息是否相匹配,若相匹配,则将该条样本特征信息的检测结果作为正相结果进行统计,否则作为负相结果进行统计,统计正向结果与测试数据集中样本特征信息数量的比值即可得到准确率,将分类特征量化信息与“正常”这一类型相匹配的样本特征信息作为正样本进行统计,计算正向结果中与正样本相匹配的数量占所有正样本的比值即可得到覆盖率。
具体的,参数值调整规则包括损失值计算公式及梯度计算公式,通过一个训练数据集对网络风险检测模型中的参数值进行调整的步骤包括:a、根据所述损失值计算公式及一条所述样本特征信息的检测结果计算得到所述样本特征信息的损失值;b、根据所述梯度计算公式及所述损失值计算得到所述网络风险检测模型中每一参数的更新值并对每一所述参数的参数值进行更新。
例如,损失值计算公式可表示为其中,fp为检测结果中与该样本特征信息的分类特征量化信息相匹配的一个输出节点的匹配概率,fn为检测结果中第n个输出节点的匹配概率,其中,n=5,fp及fn的取值范围均为[0,1]。
根据所述梯度计算公式、所述损失值及所述网络风险检测模型的计算值计算得到所述网络风险检测模型中每一参数的更新值。具体的,将网络风险检测模型中一个参数对一条样本特征信息进行计算所得到的计算值输入梯度计算公式,并结合上述损失值,即可计算得到与该参数对应的更新值,这一计算过程也即为梯度下降计算。
具体的,梯度计算公式可表示为:
基于所计算得到更新值对网络风险检测模型中每一参数的参数值对应更新,即完成对网络风险检测模型的一次训练过程。基于一次训练后所得到的网络风险检测模型对训练数据集中另一条样本特征信息再次进行计算处理,并重复上述训练过程,即可实现对网络风险检测模型进行迭代训练,直至当前训练数据集中每一条样本特征信息均被用于训练。
S153、根据所述训练结果选择所述网络风险检测模型对应准确率及覆盖率相加最高的一轮训练对应的参数值作为所述网络风险检测模型中的参数值,以得到训练后的网络风险检测模型。
根据所述训练结果选择所述网络风险检测模型对应准确率及覆盖率相加最高的一轮训练对应的参数值作为所述网络风险检测模型中的参数值。初始网络风险检测模型均进行多轮交叉训练,则每一轮训练后均可对应获取所得该轮训练过程中网络风险检测模型的准确率及覆盖率,将准确率及覆盖率相加最高的一轮训练对应的参数值作为该网络风险检测模型中的最优参数值,也即是获取包含最优参数值的网络风险检测模型作为训练后的网络风险检测模型。
S160、若接收到来自所述客户端的访问请求,记录所述访问请求得到访问请求记录并根据所述转换规则及训练后的所述网络风险检测模型对所述访问请求记录进行风险检测以获取访问请求检测信息。
客户端可对管理服务器进行访问,这一访问过程也即是管理服务器为客户端提供服务的过程,则每一次访问均以客户端发送访问请求至管理服务器的方式进行实现,对访问请求进行记录即可得到访问请求记录,可根据转换规则及训练后的网络风险检测模型对所得到的每一条访问请求记录进行风险检测,以获取每一访问请求记录的访问请求检测信息。
在一实施例中,如图6所示,步骤S160可以包括子步骤S161、S162和S163。
S161、根据所述转换规则对所述访问请求记录进行转换得到所述访问请求记录的请求特征信息。
可根据转换规则对记录得到的访问请求记录进行转换,得到对应的请求特征信息,这一转换过程与对样本访问数据集所包含的样本访问数据进行转换的过程类似,访问请求记录中不包含分类信息,因此转换后所得到的请求特征信息中不包含分类特征量化信息。
S162、将所述请求特征信息输入所述网络风险检测模型以得到所述网络风险检测模型的检测结果;S163、根据所述检测结果获取匹配概率最高的一个检测类型作为所述访问请求记录的访问请求检测信息。
具体的,通过网络风险检测模型对请求特征信息进行处理的具体步骤与通过网络风险模型对样本特征信息中的基础特征量化信息进行处理的具体步骤相同,所得到的检测结果中包含请求特征信息与分类信息中每一类型之间的匹配概率,获取其中匹配概率最高的一个类型作为与该访问请求记录对应的检测类型,则访问请求检测信息中包含检测类型。
S170、若到达预设时间点,根据预置的截取规则从所述访问请求检测信息中截取得到目标检测信息并发送至所述用户终端。
可根据截取规则从访问请求检测信息中截取得到相应数量的目标检测信息,并发送至用户终端。具体的,在对访问请求记录进行检测时,访问请求检测信息为非“正常”类别的访问请求记录的数量较少,“正常”类别对应的访问请求记录的数量较多,“正常”类别则表明相应的访问请求记录无风险,非“正常”类别则表明相应的访问请求记录存在风险。截取规则中包含截取比例,可根据截取比例及非“正常”类别的访问请求记录的数量计算得到“正常”类别的访问请求记录的截取数量,可将非“正常”类别的访问请求记录及与截取数量相等的“正常”类别的访问请求记录所对应的检测结果及请求特征信息作为目标检测信息。
例如,非“正常”类别的访问请求记录的数量为45,截取比例为1:1,则对应截取45个“正常”类别的访问请求记录的检测结果及请求特征信息与45个非“正常”类别的访问请求记录的检测结果及请求特征信息进行组合,得到目标检测信息。
S180、若接收到所述用户终端根据所述目标检测信息所反馈的风险标签信息,根据所述风险标签信息判断所述目标检测信息是否满足预设训练条件。
用户终端接收到目标检测信息后,基于与目标检测信息相匹配的访问请求记录进行人工分类并为每一访问请求记录添加相应风险标签,则风险标签信息中包含每一目标检测信息对应的风险标签,获取风险标签信息并反馈至管理服务器,则管理服务器接收到风险分类标签后,可基于风险分类标签对目标检测信息是否满足预设训练条件进行判断,具体的,预设训练条件中包括差错数量。
在一实施例中,如图7所示,步骤S180可以包括子步骤S181、S182和S183。
S181、判断所述目标检测信息中每一访问请求记录的检测类型是否与所述风险标签信息中相应风险标签相匹配;S182、获取所述检测类型不与相应风险标签相匹配的所述访问请求记录并统计得到差错数量;S183、判断所述差错数量是否不小于所述预设训练条件中的数量阈值,以获取所述目标检测信息是否满足预设训练条件的判断结果。
具体的,统计目标检测信息中检测类型不与相应风险标签相匹配的访问请求记录的数量,得到差错数量,并判断差错数量是否不小于数量阈值,若不小于则判定目标检测信息满足预设训练条件;否则判定不满足预设训练条件,等待下一次到达预设时间点时,再次重复执行步骤S170和S180。
此外,预设训练条件中还包括差错率阈值。则步骤S180中还可以包括子步骤:获取所述检测类型不与相应风险标签相匹配的所述访问请求记录并统计得到差错数量及差错率;判断所述差错数量是否不小于所述数量阈值及所述差错率是否不小于所述预设训练条件中的差错率阈值;若所述差错数量不小于所述数量阈值或所述差错率不小于所述差错率阈值,判定所述目标检测信息满足所述预设训练条件。
统计目标检测信息中检测类型不与相应风险标签相匹配的访问请求记录的数量,得到差错数量,并进一步计算差错数量占总数的比值得到差错率。可综合判断差错数量及差错率,若差错数量或差错率任一项不小于相应阈值,则判定目标检测信息满足预设训练条件;若差错数量及差错率均小于相应阈值,则判定目标检测信息不满足预设训练条件,等待下一次到达预设时间点时,再次重复执行步骤S170和S180。
S190、若所述目标检测信息满足预设训练条件,根据所述目标检测信息及所述风险标签信息更新所述样本特征信息,并返回执行所述对所述样本特征信息进行统计得到特征统计信息的步骤。
若目标检测信息满足预设训练条件,则可根据目标检测信息及风险标签信息生成新增样本特征信息,并基于新增样本特征信息与原有的样本特征信息进行组合并再次对网络风险检测模型进行训练,也即是返回执行步骤S130,通过返回执行步骤S130,可基于新增样本特征信息对网络风险检测模型中的输出节点数量进行调整,并通过差错访问请求记录生成新增样本特征信息进行针对性训练,可进一步提高网络风险检测模型进行检测的准确率,提高网络风险检测模型对不断变化的网络安全威胁的适应能力。基于这一负反馈训练的方式,可针对不断变化更新的网络安全威胁对所构建的网络风险检测模型进行负反馈训练,使网络风险检测模型能够适应不断变化的网络安全威胁,提高网络风险检测模型对网络安全威胁进行检测的效率及准确率。
在一实施例中,如图8所示,步骤S190包括子步骤S191、S192和S193。
S191、获取所述检测类型不与相应风险标签相匹配的所述访问请求记录作为差错访问请求记录;S192、获取所述差错访问请求记录的请求特征信息及相应风险标签进行组合得到新增样本特征信息;S193、将所述新增样本特征信息添加至所述样本特征信息中得到更新后的所述样本特征信息。
具体的,可获取检测类别不与风险标签相匹配的访问请求记录,作为差错访问请求记录,将差值访问请求记录的的请求特征信息与每一差值访问请求记录相匹配的风险标签进行组合,得到新增样本特征信息并添加至原有样本特征信息中。
本申请中的技术方法可应用于智慧政务/智慧城管/智慧社区/智慧安防/智慧物流/智慧医疗/智慧教育/智慧环保/智慧交通等包含对网络风险检测模型进行负反馈训练的应用场景中,从而推动智慧城市的建设。
在本发明实施例所提供的网络风险检测模型负反馈训练方法中,对样本访问信息进行扩展统计得到样本访问数据集并进行转换得到样本特征信息,根据样本特征信息及检测模板生成网络风险检测模型并进行训练,对访问请求记录进行风险检测以得到访问请求检测信息并从中截取目标检测信息,获取所反馈的风险标签信息并判断目标检测信息是否满足预设训练条件,若满足则将目标检测信息及风险标签信息添加至样本特征信息中并重新生成及训练网络风险检测模型。通过上述方法,可针对不断变化更新的网络安全威胁对所构建的网络风险检测模型进行负反馈训练,使网络风险检测模型能够适应不断变化的网络安全威胁,不断提高网络风险检测模型对网络安全威胁进行检测的效率及准确率。
本发明实施例还提供一种网络风险检测模型负反馈训练装置,该网络风险检测模型负反馈训练装置用于执行前述网络风险检测模型负反馈训练方法的任一实施例。具体地,请参阅图9,图9是本发明实施例提供的网络风险检测模型负反馈训练装置的示意性框图。该网络风险检测模型负反馈训练装置可以配置于管理服务器中。
如图9所示,网络风险检测模型负反馈训练装置100包括样本访问数据集获取单元110、样本特征信息获取单元120、特征统计信息获取单元130、网络风险检测模型生成单元140、网络风险检测模型训练单元150、访问请求检测信息获取单元160、目标检测信息发送单元170、目标检测信息判断单元180和返回执行单元190。
样本访问数据集获取单元110,用于若接收到来自所述用户终端的样本访问信息,根据预置的统计处理规则对所述样本访问信息进行扩展统计以获取对应的样本访问数据集。
在一实施例中,所述样本访问数据集获取单元110包括子单元:范围判断单元、判断单元、第一补充信息获取单元、第二补充信息获取单元、映射替换处理单元和扩展统计单元。
范围判断单元,用于判断所述样本访问信息中每一项记录信息是否超出所述预设范围,若超出则删除该项记录信息;判断单元,用于判断所述样本访问信息中每一项记录信息是否为空,根据判断结果获取空缺的记录信息并判断所述空缺的记录信息的类型,所述类型包括连续型和离散型;第一补充信息获取单元,用于若所述空缺的记录信息为连续型记录信息,采用拉格朗日插值法计算得到所述连续型记录信息的补充信息补充至所述样本访问信息中;第二补充信息获取单元,用于若所述空缺的记录信息为离散型记录信息,获取所有访问记录中与所述离散型记录信息的平均概率值对应离散值作为补充信息至所述样本访问信息中;映射替换处理单元,用于根据所述映射信息表对所述样本访问信息中的离散型记录信息进行映射替换以更新所述样本访问信息;扩展统计单元,用于根据所述项目统计规则对更新后的所述样本访问信息进行统计,以对所述样本访问信息中每一访问记录包含的记录信息进行扩展得到样本访问数据集。
样本特征信息获取单元120,用于根据预置的转换规则对所述样本访问数据集所包含的样本访问数据进行转换得到每一所述样本访问数据的样本特征信息。
在一实施例中,所述样本特征信息获取单元120包括子单元:属性信息判断单元、第一量化值获取单元和第二量化值获取单元。
属性信息判断单元,用于判断所述样本访问数据中与所述转换规则的每一转换项目对应的属性信息是否为百分比;第一量化值获取单元,用于若所述转换项目对应的属性信息不为百分比,根据所述转换项目的激活函数对所述属性信息进行计算得到所述属性信息的量化值;第二量化值获取单元,用于若所述转换项目对应的属性信息为百分比,将所述百分比转换为小数数值以得到所述属性信息的量化值。
特征统计信息获取单元130,用于对所述样本特征信息进行统计得到特征统计信息;网络风险检测模型生成单元140,用于根据所述特征统计信息对预存的检测模板进行配置以生成网络风险检测模型。
网络风险检测模型训练单元150,用于根据预置的模型训练规则及所述样本特征信息对预存的网络风险检测模型进行训练,以获取训练后的网络风险检测模型。
在一实施例中,所述网络风险检测模型训练单元150包括子单元:数据集分组单元、训练结果获取单元和选择单元。
数据集分组单元,用于根据所述分组数量信息对所述样本特征信息进行随机分组得到多个特征量化数据集;训练结果获取单元,用于根据所述参数值调整规则及多个所述特征量化数据集对所述网络风险检测模型进行多轮训练以得到所述网络风险检测模型的训练结果,所述训练结果包含每一轮训练中所述网络风险检测模型对应的准确率及覆盖率;参数值选择单元,用于根据所述训练结果选择所述网络风险检测模型对应准确率及覆盖率相加最高的一轮训练对应的参数值作为所述网络风险检测模型中的参数值,以得到训练后的网络风险检测模型。
访问请求检测信息获取单元160,用于若接收到来自所述客户端的访问请求,记录所述访问请求得到访问请求记录并根据所述转换规则及训练后的所述网络风险检测模型对所述访问请求记录进行风险检测以获取访问请求检测信息。
在一实施例中,所述访问请求检测信息获取单元160包括子单元:请求特征信息获取单元、检测结果获取单元和检测类型选择单元。
请求特征信息获取单元,用于根据所述转换规则对所述访问请求记录进行转换得到所述访问请求记录的请求特征信息;检测结果获取单元,用于将所述请求特征信息输入所述网络风险检测模型以得到所述网络风险检测模型的检测结果;检测类型选择单元,用于根据所述检测结果获取匹配概率最高的一个检测类型作为所述访问请求记录的访问请求检测信息。
目标检测信息发送单元170,用于若到达预设时间点,根据预置的截取规则从所述访问请求检测信息中截取得到目标检测信息并发送至所述用户终端。
目标检测信息判断单元180,用于若接收到所述用户终端根据所述目标检测信息所反馈的风险标签信息,根据所述风险标签信息判断所述目标检测信息是否满足预设训练条件。
在一实施例中,所述目标检测信息判断单元180包括子单元:匹配判断单元、差错数量统计单元和差错数量判断单元。
匹配判断单元,用于判断所述目标检测信息中每一访问请求记录的检测类型是否与所述风险标签信息中相应风险标签相匹配;差错数量统计单元,用于获取所述检测类型不与相应风险标签相匹配的所述访问请求记录并统计得到差错数量;差错数量判断单元,用于判断所述差错数量是否不小于所述预设训练条件中的数量阈值,以获取所述目标检测信息是否满足预设训练条件的判断结果。
返回执行单元190,用于若所述目标检测信息满足预设训练条件,根据所述目标检测信息及所述风险标签信息更新所述样本特征信息,并返回执行所述对所述样本特征信息进行统计得到特征统计信息的步骤。
在一实施例中,所述返回执行单元190包括子单元:差错访问请求记录获取单元、新增样本特征信息获取单元和新增样本特征信息添加单元。
差错访问请求记录获取单元,用于获取所述检测类型不与相应风险标签相匹配的所述访问请求记录作为差错访问请求记录;新增样本特征信息获取单元,用于获取所述差错访问请求记录的请求特征信息及相应风险标签进行组合得到新增样本特征信息;新增样本特征信息添加单元,用于将所述新增样本特征信息添加至所述样本特征信息中得到更新后的所述样本特征信息。
在本发明实施例所提供的网络风险检测模型负反馈训练装置应用上述网络风险检测模型负反馈训练方法,对样本访问信息进行扩展统计得到样本访问数据集并进行转换得到样本特征信息,根据样本特征信息及检测模板生成网络风险检测模型并进行训练,对访问请求记录进行风险检测以得到访问请求检测信息并从中截取目标检测信息,获取所反馈的风险标签信息并判断目标检测信息是否满足预设训练条件,若满足则将目标检测信息及风险标签信息添加至样本特征信息中并重新生成及训练网络风险检测模型。通过上述方法,可针对不断变化更新的网络安全威胁对所构建的网络风险检测模型进行负反馈训练,使网络风险检测模型能够适应不断变化的网络安全威胁,不断提高网络风险检测模型对网络安全威胁进行检测的效率及准确率。
上述网络风险检测模型负反馈训练装置可以实现为计算机程序的形式,该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10,图10是本发明实施例提供的计算机设备的示意性框图。该计算机设备可以是用于执行网络风险检测模型负反馈训练方法对网络风险检测模型进行负反馈训练的管理服务器。
参阅图10,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时,可使得处理器502执行网络风险检测模型负反馈训练方法。
该处理器502用于提供计算和控制能力,支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行网络风险检测模型负反馈训练方法。
该网络接口505用于进行网络通信,如提供数据信息的传输等。本领域技术人员可以理解,图10中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现上述的网络风险检测模型负反馈训练方法中对应的功能。
本领域技术人员可以理解,图10中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定,在其他实施例中,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图10所示实施例一致,在此不再赘述。
应当理解,在本发明实施例中,处理器502可以是中央处理单元(CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序,其中计算机程序被处理器执行时实现上述的网络风险检测模型负反馈训练方法中所包含的步骤。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为逻辑功能划分,实际实现时可以有另外的划分方式,也可以将具有相同功能的单元集合成一个单元,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个计算机可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种网络风险检测模型负反馈训练方法,应用于管理服务器中,所述管理服务器与一台用户终端及至少一台客户端进行网络连接,其特征在于,所述方法包括:
若接收到来自所述用户终端的样本访问信息,根据预置的统计处理规则对所述样本访问信息进行扩展统计以获取对应的样本访问数据集;
根据预置的转换规则对所述样本访问数据集所包含的样本访问数据进行转换得到每一所述样本访问数据的样本特征信息;
对所述样本特征信息进行统计得到特征统计信息;
根据所述特征统计信息对预存的检测模板进行配置以生成网络风险检测模型;
根据预置的模型训练规则及所述样本特征信息对预存的网络风险检测模型进行训练,以获取训练后的网络风险检测模型;
若接收到来自所述客户端的访问请求,记录所述访问请求得到访问请求记录并根据所述转换规则及训练后的所述网络风险检测模型对所述访问请求记录进行风险检测以获取访问请求检测信息;
若到达预设时间点,根据预置的截取规则从所述访问请求检测信息中截取得到目标检测信息并发送至所述用户终端;
若接收到所述用户终端根据所述目标检测信息所反馈的风险标签信息,根据所述风险标签信息判断所述目标检测信息是否满足预设训练条件;
若所述目标检测信息满足预设训练条件,根据所述目标检测信息及所述风险标签信息更新所述样本特征信息,并返回执行所述对所述样本特征信息进行统计得到特征统计信息的步骤。
2.根据权利要求1所述的网络风险检测模型负反馈训练方法,其特征在于,所述统计处理规则包括预设范围、映射信息表及项目统计规则,所述根据预置的统计处理规则对所述样本访问信息进行扩展统计以获取对应的样本访问数据集,包括:
判断所述样本访问信息中每一项记录信息是否超出所述预设范围,若超出则删除该项记录信息;
判断所述样本访问信息中每一项记录信息是否为空,根据判断结果获取空缺的记录信息并判断所述空缺的记录信息的类型,所述类型包括连续型和离散型;
若所述空缺的记录信息为连续型记录信息,采用拉格朗日插值法计算得到所述连续型记录信息的补充信息补充至所述样本访问信息中;
若所述空缺的记录信息为离散型记录信息,获取所有访问记录中与所述离散型记录信息的平均概率值对应离散值作为补充信息至所述样本访问信息中;
根据所述映射信息表对所述样本访问信息中的离散型记录信息进行映射替换以更新所述样本访问信息;
根据所述项目统计规则对更新后的所述样本访问信息进行统计,以对所述样本访问信息中每一访问记录包含的记录信息进行扩展得到样本访问数据集。
3.根据权利要求1所述的网络风险检测模型负反馈训练方法,其特征在于,所述根据预置的转换规则对所述样本访问数据集所包含的样本访问数据进行转换得到每一所述样本访问数据的样本特征信息,包括:
判断所述样本访问数据中与所述转换规则的每一转换项目对应的属性信息是否为百分比;
若所述转换项目对应的属性信息不为百分比,根据所述转换项目的激活函数对所述属性信息进行计算得到所述属性信息的量化值;
若所述转换项目对应的属性信息为百分比,将所述百分比转换为小数数值以得到所述属性信息的量化值。
4.根据权利要求1所述的网络风险检测模型负反馈训练方法,其特征在于,所述模型训练规则包括分组数量信息及参数值调整规则,所述根据预置的模型训练规则及所述样本特征信息对预存的网络风险检测模型进行训练,包括:
根据所述分组数量信息对所述样本特征信息进行随机分组得到多个特征量化数据集;
根据所述参数值调整规则及多个所述特征量化数据集对所述网络风险检测模型进行多轮训练以得到所述网络风险检测模型的训练结果,所述训练结果包含每一轮训练中所述网络风险检测模型对应的准确率及覆盖率;
根据所述训练结果选择所述网络风险检测模型对应准确率及覆盖率相加最高的一轮训练对应的参数值作为所述网络风险检测模型中的参数值,以得到训练后的网络风险检测模型。
5.根据权利要求1所述的网络风险检测模型负反馈训练方法,其特征在于,所述记录所述访问请求得到访问请求记录并根据所述转换规则及训练后的所述网络风险检测模型对所述访问请求记录进行风险检测以获取访问请求检测信息,包括:
根据所述转换规则对所述访问请求记录进行转换得到所述访问请求记录的请求特征信息;
将所述请求特征信息输入所述网络风险检测模型以得到所述网络风险检测模型的检测结果;
根据所述检测结果获取匹配概率最高的一个检测类型作为所述访问请求记录的访问请求检测信息。
6.根据权利要求1所述的网络风险检测模型负反馈训练方法,其特征在于,所述预设训练条件包括差错数量,所述根据所述风险标签信息判断所述目标检测信息是否满足预设训练条件,包括:
判断所述目标检测信息中每一访问请求记录的检测类型是否与所述风险标签信息中相应风险标签相匹配;
获取所述检测类型不与相应风险标签相匹配的所述访问请求记录并统计得到差错数量;
判断所述差错数量是否不小于所述预设训练条件中的数量阈值,以获取所述目标检测信息是否满足预设训练条件的判断结果。
7.根据权利要求6所述的网络风险检测模型负反馈训练方法,其特征在于,所述根据所述目标检测信息及所述风险标签信息更新所述样本特征信息,包括:
获取所述检测类型不与相应风险标签相匹配的所述访问请求记录作为差错访问请求记录;
获取所述差错访问请求记录的请求特征信息及相应风险标签进行组合得到新增样本特征信息;
将所述新增样本特征信息添加至所述样本特征信息中得到更新后的所述样本特征信息。
8.一种网络风险检测模型负反馈训练装置,其特征在于,包括:
样本访问数据集获取单元,用于若接收到来自所述用户终端的样本访问信息,根据预置的统计处理规则对所述样本访问信息进行扩展统计以获取对应的样本访问数据集;
样本特征信息获取单元,用于根据预置的转换规则对所述样本访问数据集所包含的样本访问数据进行转换得到每一所述样本访问数据的样本特征信息;
特征统计信息获取单元,用于对所述样本特征信息进行统计得到特征统计信息;
网络风险检测模型生成单元,用于根据所述特征统计信息对预存的检测模板进行配置以生成网络风险检测模型;
网络风险检测模型训练单元,用于根据预置的模型训练规则及所述样本特征信息对预存的网络风险检测模型进行训练,以获取训练后的网络风险检测模型;
访问请求检测信息获取单元,用于若接收到来自所述客户端的访问请求,记录所述访问请求得到访问请求记录并根据所述转换规则及训练后的所述网络风险检测模型对所述访问请求记录进行风险检测以获取访问请求检测信息;
目标检测信息发送单元,用于若到达预设时间点,根据预置的截取规则从所述访问请求检测信息中截取得到目标检测信息并发送至所述用户终端;
目标检测信息判断单元,用于若接收到所述用户终端根据所述目标检测信息所反馈的风险标签信息,根据所述风险标签信息判断所述目标检测信息是否满足预设训练条件;
返回执行单元,用于若所述目标检测信息满足预设训练条件,根据所述目标检测信息及所述风险标签信息更新所述样本特征信息,并返回执行所述对所述样本特征信息进行统计得到特征统计信息的步骤。
9.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的网络风险检测模型负反馈训练方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的网络风险检测模型负反馈训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011246192.6A CN112437051B (zh) | 2020-11-10 | 2020-11-10 | 网络风险检测模型负反馈训练方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011246192.6A CN112437051B (zh) | 2020-11-10 | 2020-11-10 | 网络风险检测模型负反馈训练方法、装置及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112437051A true CN112437051A (zh) | 2021-03-02 |
CN112437051B CN112437051B (zh) | 2022-11-15 |
Family
ID=74699575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011246192.6A Active CN112437051B (zh) | 2020-11-10 | 2020-11-10 | 网络风险检测模型负反馈训练方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112437051B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116668120A (zh) * | 2023-06-01 | 2023-08-29 | 泰州市野徐太丰防护用品厂 | 基于访问习性分析的网络安全防护系统 |
CN118264456A (zh) * | 2024-03-26 | 2024-06-28 | 北京安胜华信科技有限公司 | 一种基于大数据统计分析的访问控制方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170103674A1 (en) * | 2011-04-08 | 2017-04-13 | Wombat Security Technologies, Inc. | Mock Attack Cybersecurity Training System and Methods |
CN107392015A (zh) * | 2017-07-06 | 2017-11-24 | 长沙学院 | 一种基于半监督学习的入侵检测方法 |
CN110162621A (zh) * | 2019-02-22 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 分类模型训练方法、异常评论检测方法、装置及设备 |
CN110224987A (zh) * | 2019-05-08 | 2019-09-10 | 西安电子科技大学 | 基于迁移学习的网络入侵检测模型的构建方法、检测系统 |
CN111652496A (zh) * | 2020-05-28 | 2020-09-11 | 中国能源建设集团广东省电力设计研究院有限公司 | 基于网络安全态势感知系统的运行风险评估方法及装置 |
-
2020
- 2020-11-10 CN CN202011246192.6A patent/CN112437051B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170103674A1 (en) * | 2011-04-08 | 2017-04-13 | Wombat Security Technologies, Inc. | Mock Attack Cybersecurity Training System and Methods |
CN107392015A (zh) * | 2017-07-06 | 2017-11-24 | 长沙学院 | 一种基于半监督学习的入侵检测方法 |
CN110162621A (zh) * | 2019-02-22 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 分类模型训练方法、异常评论检测方法、装置及设备 |
CN110224987A (zh) * | 2019-05-08 | 2019-09-10 | 西安电子科技大学 | 基于迁移学习的网络入侵检测模型的构建方法、检测系统 |
CN111652496A (zh) * | 2020-05-28 | 2020-09-11 | 中国能源建设集团广东省电力设计研究院有限公司 | 基于网络安全态势感知系统的运行风险评估方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116668120A (zh) * | 2023-06-01 | 2023-08-29 | 泰州市野徐太丰防护用品厂 | 基于访问习性分析的网络安全防护系统 |
CN118264456A (zh) * | 2024-03-26 | 2024-06-28 | 北京安胜华信科技有限公司 | 一种基于大数据统计分析的访问控制方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112437051B (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108494810B (zh) | 面向攻击的网络安全态势预测方法、装置及系统 | |
JP6876143B2 (ja) | システムアーキテクチャの一貫性の定量化 | |
US20170230392A1 (en) | Anomaly alert system for cyber threat detection | |
CN112437051B (zh) | 网络风险检测模型负反馈训练方法、装置及计算机设备 | |
CN107305611B (zh) | 恶意账号对应的模型建立方法和装置、恶意账号识别的方法和装置 | |
Zhang et al. | Federated feature selection for horizontal federated learning in iot networks | |
US12107883B2 (en) | Multimodal modelling for systems using distance metric learning | |
KR102285862B1 (ko) | 시스템 아키텍처를 표현하는 속성 그래프 데이터 모델 | |
CN112181832B (zh) | 测试数据生成方法、装置、计算机设备及存储介质 | |
KR20190121844A (ko) | 속성 그래프 데이터 모델 분석에 의한 견고성 정량화 | |
CN110679114A (zh) | 一种估计数据对象可删除性的方法 | |
KR20190121373A (ko) | 시스템 아키텍처를 표현하는 가중 속성 그래프 데이터 모델 | |
CN111953665B (zh) | 服务器攻击访问识别方法及系统、计算机设备、存储介质 | |
CN112364351A (zh) | 设备威胁发现方法、装置、计算设备及存储介质 | |
CN113590603A (zh) | 基于数据源智能选择的数据处理方法、装置、设备及介质 | |
CN114185860B (zh) | 抗合谋攻击的数据共享方法、装置和电子设备 | |
US10037417B1 (en) | Transformation of network activity data for user identification | |
CN117391214A (zh) | 模型训练方法、装置及相关设备 | |
CN113468604A (zh) | 基于人工智能的大数据隐私信息解析方法及系统 | |
CN115484624A (zh) | 数据处理方法、架构、电子设备及存储介质 | |
CN110995722B (zh) | 基于免疫策略的流量数据最优特征子集获取方法及装置 | |
US20240202370A1 (en) | Telemetry data protection for software applications | |
US20240320587A1 (en) | System for quantitative software risk determination and visualization | |
US12126636B2 (en) | Anomaly alert system for cyber threat detection | |
CN113098867B (zh) | 基于人工智能的网络安全大数据处理方法及大数据云系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |