CN116455642B - 一种基于日志分析的访问风险实时审计方法与系统 - Google Patents
一种基于日志分析的访问风险实时审计方法与系统 Download PDFInfo
- Publication number
- CN116455642B CN116455642B CN202310433583.6A CN202310433583A CN116455642B CN 116455642 B CN116455642 B CN 116455642B CN 202310433583 A CN202310433583 A CN 202310433583A CN 116455642 B CN116455642 B CN 116455642B
- Authority
- CN
- China
- Prior art keywords
- risk
- access
- analyzed
- detected
- ips
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000002245 particle Substances 0.000 claims description 39
- 238000011156 evaluation Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 11
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 230000035772 mutation Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims 1
- 238000012550 audit Methods 0.000 abstract description 6
- 238000012502 risk assessment Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013178 mathematical model Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 230000002028 premature Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种基于日志分析的访问风险实时审计方法与系统，属于网络安全技术领域，具体包括：对网络日志进行解析得到解析结果，并基于解析结果确定存在IP黑名单的待检测IP、得到不在IP白名单和IP黑名单的待分析IP，并基于待分析IP的属地得到高风险IP，通过高风险IP的访问频率、数据流量、数量进行访问风险的确定，将IP白名单的IP地址作为待解析IP，并分别基于待解析IP、高风险IP、待分析IP、待检测IP的访问频率、数据流量、数量得到不同类型的IP的访问风险值，并结合不同类型的IP的访问风险权值得到访问风险类型，并基于访问风险类型确定是否需要输出预警信号，从而进一步提升了访问风险审计的实时性和准确性。
Description
技术领域
本发明属于网络安全技术领域，尤其涉及一种基于日志分析的访问风险实时审计方法与系统。
背景技术
为了实现对网络访问风险的实时审计，在发明专利公告号CN109831465B《一种基于大数据日志分析的网站入侵检测方法》中通过采集预设时间段内的web日志,将其按照访问者IP进行聚合；将访问者IP与IP白名单进行匹配，筛选出未在IP白名单内的待检测IP；分析待检测IP对应的web日志，使用自定义的风险模型分别计算各项请求参数的风险值，本发明通过风险模型综合访问者IP及其访问请求信息，多方面计算访问者的入侵风险值，相比传统WAF技术对网站入侵更加准确全面，能够减少漏检或误检，但是却存在以下技术问题：
忽视了对IP白名单内的待检测IP的分析，对于处于IP白名单内的待检测IP，当其访问的流量数据过多或者访问频率过于频繁时，仍可能会造成一定的数据泄露或者网络安全风险；
忽视了结合IP白名单、IP黑名单、未在名单内的待检测IP的综合分析生成分析结果，由于用户的IP地址可以通过代理等方式进行隐藏或者替换，若仅仅考虑某一种类型的分析结果，则有可能无法准确全面的实现对网络风险以及安全隐患的评估。
针对上述技术问题，本发明提供了一种基于日志分析的访问风险实时审计方法与系统。
发明内容
根据本发明的一个方面，提供了一种基于日志分析的访问风险实时审计方法。
一种基于日志分析的访问风险实时审计方法，其特征在于，具体包括：
S11对网络日志进行解析得到解析结果，并基于解析结果确定是否存在IP黑名单的待检测IP，若是，则进入步骤S12，若否，则进入步骤S13；
S12基于所述待检测IP的访问频率、数据流量、数量确定是否存在访问风险，若是，则输出预警信号，若否，则进入步骤S13；
S13基于所述解析结果得到不在IP白名单和IP黑名单的待分析IP，并基于所述待分析IP的IP地址确定所述待分析IP的属地，并基于待分析IP的属地得到高风险IP，通过高风险IP的访问频率、数据流量、数量确定是否存在访问风险，若是，则输出预警信号，若否，则进入步骤S14；
S14将IP白名单的IP地址作为待解析IP，并分别基于待解析IP、高风险IP、待分析IP、待检测IP的访问频率、数据流量、数量得到不同类型的IP的访问风险值，并结合不同类型的IP的访问风险权值得到访问风险类型，并基于所述访问风险类型确定是否需要输出预警信号。
通过对待检测IP的解析，从而实现了对黑名单中的待检测IP的确认，并在具有待检测IP的基础上，通过待检测IP的访问频率、数据流量、数量进行访问风险的确定，使得整体的访问风险的评估效率得到进一步提升，同时也避免了潜在的安全风险。
通过结合待分析IP的属地得到高风险IP，通过高风险IP的访问频率、数据流量、数量确定是否存在访问风险，从而实现了从另一角度对访问风险的评估，减少了由于白名单或者黑名单的数量有限导致的评估结果不够准确的问题的出现，进一步提升了访问风险评估的全面性、及时性和准确性。
通过分别基于待解析IP、高风险IP、待分析IP、待检测IP的访问频率、数据流量、数量得到不同类型的IP的访问风险值，并结合不同类型的IP的访问风险权值得到访问风险类型，从而实现了从更加全面的角度对访问风险的评估，保证了访问风险评估的准确性和全面性，也为进一步减少访问风险奠定了基础。
另一方面，本申请实施例中提供一种计算机系统，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时执行上述的一种基于日志分析的访问风险实时审计方法。
另一方面，本发明提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的一种基于日志分析的访问风险实时审计方法。
其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显；
图1是一种基于日志分析的访问风险实时审计方法的流程图；
图2是基于所述待检测IP确定是否存在访问风险的具体步骤的流程图；
图3是一种基于日志分析的访问风险实时审计系统的结构图；
图4是基于所述高风险IP确定是否存在访问风险的具体步骤的流程图；
图5是访问风险类型确定的具体步骤的流程图；
图6是一种计算机系统的结构图；
图7是一种计算机存储介质的结构图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。
用语“一个”、“一”、“该”、“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。
为解决上述问题，根据本发明的一个方面，如图1所示，提供了根据本发明的一种基于日志分析的访问风险实时审计方法，其特征在于，具体包括：
S11对网络日志进行解析得到解析结果，并基于解析结果确定是否存在IP黑名单的待检测IP，若是，则进入步骤S12，若否，则进入步骤S13；
需要说明的是，所述解析结果包括网络访问的IP地址、访问的时间、访问的目标数据、访问者所使用的客户端信息。
具体的举个例子，解析结果的提取与分析任务从本质上说是将存储在SOLite数据库中的数据以人类容易理解的方式展现出来，在具体的实施过程中，提出的基于域名聚合及频繁项集挖掘的历史记录提取与分析框架主要包括以下4个步骤：
1)历史记录提取。利用SOLite数据库的标准接口sqlite3将Chrome历史记录导出为.CSV文件。
2)域名聚合。将上一步骤中提取出的访问记录按有效二级域名聚合获取用户访问的数据类型。
3)频繁项集挖掘。基于SaM算法挖掘出TOP-K个用户频繁访问的数据类型。
4)关键词关联分析。按时间窗口展示用户检索的关键词并将这些关键词与其访问的数据类型相关联。
S12基于所述待检测IP的访问频率、数据流量、数量确定是否存在访问风险，若是，则输出预警信号，若否，则进入步骤S13；
在实际的操作过程中，待检测IP的访问频率可以结合一定的时间段内的访问情况进行确定，
需要说明的是，如图2所示，基于所述待检测IP确定是否存在访问风险的具体步骤为：
S21基于所述待检测IP的访问频率、数据流量确定所述待检测IP中的待检测问题IP，并基于所述待检测问题IP的数量确定是否存在访问风险，若是，则输出预警信号，若否，则进入步骤S22；
具体的举例说明，待检测IP中的待检测问题IP一般将待检测IP中的访问频率极高或者数据流量较大的进行筛选，具体的也可以根据层次分析法的数学模型得到。
具体的举例说明，若待检测问题IP的数量大于一定的值以后，则确定其存在访问风险。
S22基于所述待检测IP的数量确定是否存在潜在访问风险，若是，则进入步骤S22，若否，则进入步骤S24；
具体的举个例子说明，当待检测IP的数量大于一定的量以后，说明黑名单中的IP数量较多，因此此时时存在潜在访问风险，可以通过简单的判断进行潜在访问风险的确定。
S23基于所述待检测问题IP与所述待检测IP的数量的比值确定是否存在安全风险，若是，则输出预警信号，若否，则进入步骤S24；
S24基于所述待检测IP的访问频率、数据流量、数量、待检测问题IP的数量确定黑名单IP的访问风险值，并基于所述黑名单IP的访问风险值确定是否存在访问风险。
需要说明的是，所述黑名单IP的访问风险值大于一定量的时候，确定存在访问风险。
在另外一种具体的实施例中，所述黑名单IP的访问风险值的构建采用基于IPSO-BP预测模型，其中所述预测模型的具体步骤为：
步骤1数据的预处理.对选取的样本数据进行补全和修正，对样本数据进行归一化处理。
步骤2模型参数的设置.对粒子群优化算法中的参数进行设置，并初始化粒子的位置和速度，确定粒子各维度上的数值与神经网络中输入层、隐含层、输出层之间的权重相对应。
步骤3建立BP神经网络，采用单隐层结构，输入层神经元8个，输出层神经元1个，隐含层神经的个数h可通过试凑法或经验公式确定，即
h＝2a+1
式中：a，b分别为输入层、输出层的个数；c为常数。
步骤4采用均方误差函数，计算出各粒子的适应度值fi。
步骤5将粒子的适应度值f与该粒子目前搜索到最优位置时的适应度值f(pbest)进行比较，若fi>f(pbest)，则更新pbest；否则，保持不变；同时，将各粒子的适应度值fi与全部粒子搜索到最优位置时的适应度值f(pbest)进行比较，若fi>f(gbest)，则更新gbest；否则，保持不变；
步骤6对粒子的位置、速度和惯性权重系数进行更新，并假设变异概率q0＝0.95，若r<q0，则对粒子进行变异操作。
实际问题大多数是复杂、非线性的，选择合适的惯性权重系数可以均衡粒子的全局搜索和局部搜索能力，使粒子摆脱早熟.传统的惯性权重系数对非线性问题的处理能力有限，故引入自适应惯性权重系数，以避免粒子陷入局部最优，即
式中：α分布于[15,30]；ωmax，ωmin分别为自适应惯性权重系数值的上、下限；M为当前迭代次数，Mmax为最大迭代次数，为取值在之间服从Gauss(0,1)分布的随机变量。
为避免粒子早熟收敛，并提高种群的多样性，引入变异思想对粒子进行扰动.当粒子一直陷入局部最优，停止向新的方向搜索时，引入变异扰动，迫使粒子进入其他区域继续搜索.假设1个变异概率为q0，若r<q0，r为[0,1]的随机数，则对粒子进行变异操作，有
式中：为全局粒子第M+1次迭代后的历史最优位置；δ为服从Gauss(0,1)分布的随机变量。
需要说明的是，所述待检测问题IP根据所述待检测IP的访问频率的大小、数据流量的大小以及基于访问频率和数据流量构建得到的综合值的大小进行确定。
在本实施例中，通过对待检测IP的解析，从而实现了对黑名单中的待检测IP的确认，并在具有待检测IP的基础上，通过待检测IP的访问频率、数据流量、数量进行访问风险的确定，使得整体的访问风险的评估效率得到进一步提升，同时也避免了潜在的安全风险。
S13基于所述解析结果得到不在IP白名单和IP黑名单的待分析IP，并基于所述待分析IP的IP地址确定所述待分析IP的属地，并基于待分析IP的属地得到高风险IP，通过高风险IP的访问频率、数据流量、数量确定是否存在访问风险，若是，则输出预警信号，若否，则进入步骤S14；
具体的举个例子，所述待分析IP的属地根据所述待分析IP的IP地址进行解析得到，并当所述待分析IP的属地不属于特定的属地时，则确定所述待分析IP属于高风险IP。
需要说明的是，不管是网页或者是数据，其访问用户的IP地址一般都固定在特定的区域，也即是一般固定的属地的人群进行访问，当某一待分析IP的属地不属于上述地址时，则很有可能属于风险IP，因此将其作为高风险IP。
具体的，如图4所示，基于所述高风险IP确定是否存在访问风险的具体步骤为：
S31基于所述高风险IP的数量确定是否存在访问风险，若是，则输出预警信号，若否，则进入步骤S32；
S32基于所述高风险IP的数量确定是否存在潜在访问风险，若是，则进入步骤S33，若否，则进入步骤S34；
S33基于所述高风险IP的访问频率、数据流量确定高风险问题IP，饼基于所述高风险问题IP的数量确定是否存在访问风险、若是，则输出预警信号，若否，则进入步骤S34；
S34通过高风险IP的访问频率、数据流量、数量、高风险问题IP的数量得到所述高风险IP的访问风险评估值，并基于所述高风险IP的访问风险评估值确定是否存在访问风险。
在本实施例中，通过结合待分析IP的属地得到高风险IP，通过高风险IP的访问频率、数据流量、数量确定是否存在访问风险，从而实现了从另一角度对访问风险的评估，减少了由于白名单或者黑名单的数量有限导致的评估结果不够准确的问题的出现，进一步提升了访问风险评估的全面性、及时性和准确性。
S14将IP白名单的IP地址作为待解析IP，并分别基于待解析IP、高风险IP、待分析IP、待检测IP的访问频率、数据流量、数量得到不同类型的IP的访问风险值，并结合不同类型的IP的访问风险权值得到访问风险类型，并基于所述访问风险类型确定是否需要输出预警信号。
具体的，所述不同类型的IP的访问风险权值根据不同类型的IP的基础权值以及不同类型的IP的数量比进行确定，其中所述基础权值采用专家打分的方式进行确定，所述不同类型的IP的数量比根据该类型的IP的数量与该类型的设定数量的比值进行确定。
具体的，如图5所示，所述访问风险类型确定的具体步骤为：
S41基于待检测IP的访问频率、数据流量确定待检测问题IP，基于所述待检测IP的访问频率、数据流量、数量、待检测问题IP的数量确定待检测IP的访问风险值；
S42基于高风险IP的访问频率、数据流量确定高风险问题IP，基于所述高风险IP的访问频率、数据流量、数量、高风险问题IP的数量确定高风险IP的访问风险值；
S43基于所述高风险IP的访问风险值与访问风险权值，所述待检测IP的访问风险值与风险权值得到综合评估值，并基于所述综合评估值确定是否存在访问风险，若是，则输出预警信号，若否，则进入步骤S44；
需要说明的是，访问风险权值可以根据待检测问题IP以及高风险问题IP的比例以及基础权值进行确定，一般来说比例越高，权值越大，且待检测IP的基础权值大于高风险IP的权值。
具体的，所述访问风险值的计算公式为：
W＝T1W1+T2W2
其中W1、W2分别为检测IP的访问风险值、高风险IP的访问风险值，T1、T2分别为待检测IP的访问风险值，高风险IP的访问风险值。
S44基于待解析IP的访问频率、数据流量确定待解析问题IP，基于所述带解析IP的访问频率、数据流量、数量、待解析问题IP的数量确定待解析IP的访问风险值；基于待分析IP的访问频率、数据流量确定待分析问题IP，基于所述待分析IP的访问频率、数据流量、数量、待分析问题IP的数量确定待分析IP的访问风险值；
S45基于所述待分析IP的访问风险值与访问风险权值，所述待解析IP的访问风险值与风险权值得到低风险综合评估值，并基于所述低风险综合评估值、综合评估值确定访问风险类型。
需要说明的是，访问风险类型可以通过分类模型等多种形式进行确定。
具体的，所述访问风险类型包括高风险、低风险，并当所述访问风险类型为高风险时，确定需要输出预警信号。
在本实施例中，通过分别基于待解析IP、高风险IP、待分析IP、待检测IP的访问频率、数据流量、数量得到不同类型的IP的访问风险值，并结合不同类型的IP的访问风险权值得到访问风险类型，从而实现了从更加全面的角度对访问风险的评估，保证了访问风险评估的准确性和全面性，也为进一步减少访问风险奠定了基础。
为了便于理解本发明的方案，下面给出一最优的实施例：
对网络日志进行解析得到解析结果，并基于解析结果确定存在IP黑名单的待检测IP；
基于所述待检测IP的访问频率、数据流量、数量确定不存在访问风险时，基于所述解析结果得到不在IP白名单和IP黑名单的待分析IP，并基于所述待分析IP的IP地址确定所述待分析IP的属地，将不属于特定属地的作为高风险IP，通过高风险IP的访问频率、数据流量、数量确定不存在访问风险时，进入下一步：
基于所述待检测IP、高风险IP的访问频率、数据流量、数量确定得到待检测IP以及高风险IP的访问风险评估值，并结合两者的访问风险权值，得到最终的一个综合的访问风险值，具体的采用基于层次分析法的数学模型，当确定不存在访问风险时进入下一步；
将IP白名单的IP地址作为待解析IP，并分别基于待解析IP、高风险IP、待分析IP、待检测IP的访问频率、数据流量、数量得到不同类型的IP的访问风险值，并结合不同类型的IP的访问风险权值得到一个完整的访问风险评估值，并根据其确定访问风险类型，所述访问风险类型包括高风险、低风险，并当所述访问风险类型为高风险时，确定需要输出预警信号。
在另外一种可能的实施例中，如图3所示，本发明提供了一种基于日志分析的访问风险实时审计系统，具体包括：
日志解析模块；IP地址区分模块；风险评估模块；风险类型确定模块；
其中所述日志解析模块负责对网络日志进行解析得到解析结果；
所述IP地址区分模块负责基于解析结果确定是否存在IP黑名单的待检测IP、于所述解析结果得到不在IP白名单和IP黑名单的待分析IP，并基于所述待分析IP的IP地址确定所述待分析IP的属地，并基于待分析IP的属地得到高风险IP、将IP白名单的IP地址作为待解析IP；
所述风险评估模块负责基于所述待检测IP的访问频率、数据流量、数量确定是否存在访问风险；通过高风险IP的访问频率、数据流量、数量确定是否存在访问风险；基于所述待检测IP、高风险IP的访问频率、数据流量、数量确定得到待检测IP以及高风险IP的访问风险评估值，并结合两者的访问风险权值确定是否存在访问风险；
其中所述风险类型确定模块负责分别基于待解析IP、高风险IP、待分析IP、待检测IP的访问频率、数据流量、数量得到不同类型的IP的访问风险值，并结合不同类型的IP的访问风险权值得到访问风险类型，并基于所述访问风险类型确定是否需要输出预警信号。
需要说明的是，基于所述待检测IP的访问频率、数据流量、数量确定是否存在访问风险的具体步骤为：
如图2所示，基于所述待检测IP确定是否存在访问风险的具体步骤为：
S21基于所述待检测IP的访问频率、数据流量确定所述待检测IP中的待检测问题IP，并基于所述待检测问题IP的数量确定是否存在访问风险，若是，则输出预警信号，若否，则进入步骤S22；
具体的举例说明，待检测IP中的待检测问题IP一般将待检测IP中的访问频率极高或者数据流量较大的进行筛选，具体的也可以根据层次分析法的数学模型得到。
具体的举例说明，若待检测问题IP的数量大于一定的值以后，则确定其存在访问风险。
S22基于所述待检测IP的数量确定是否存在潜在访问风险，若是，则进入步骤S22，若否，则进入步骤S24；
具体的举个例子说明，当待检测IP的数量大于一定的量以后，说明黑名单中的IP数量较多，因此此时时存在潜在访问风险，可以通过简单的判断进行潜在访问风险的确定。
S23基于所述待检测问题IP与所述待检测IP的数量的比值确定是否存在安全风险，若是，则输出预警信号，若否，则进入步骤S24；
S24基于所述待检测IP的访问频率、数据流量、数量、待检测问题IP的数量确定黑名单IP的访问风险值，并基于所述黑名单IP的访问风险值确定是否存在访问风险。
需要说明的是，所述黑名单IP的访问风险值大于一定量的时候，确定存在访问风险。
在另外一种具体的实施例中，所述黑名单IP的访问风险值的构建采用基于IPSO-BP预测模型，其中所述预测模型的具体步骤为：
步骤1数据的预处理.对选取的样本数据进行补全和修正，对样本数据进行归一化处理。
步骤2模型参数的设置.对粒子群优化算法中的参数进行设置，并初始化粒子的位置和速度，确定粒子各维度上的数值与神经网络中输入层、隐含层、输出层之间的权重相对应。
步骤3建立BP神经网络，采用单隐层结构，输入层神经元8个，输出层神经元1个，隐含层神经的个数h可通过试凑法或经验公式确定，即
h＝2a+1
式中：a，b分别为输入层、输出层的个数；c为常数。
步骤4采用均方误差函数，计算出各粒子的适应度值fi。
步骤5将粒子的适应度值f与该粒子目前搜索到最优位置时的适应度值f(pbest)进行比较，若fi>f(pbest)，则更新pbest；否则，保持不变；同时，将各粒子的适应度值fi与全部粒子搜索到最优位置时的适应度值f(pbest)进行比较，若fi>f(gbest)，则更新gbest；否则，保持不变；
步骤6对粒子的位置、速度和惯性权重系数进行更新，并假设变异概率q0＝0.95，若r<q0，则对粒子进行变异操作。
实际问题大多数是复杂、非线性的，选择合适的惯性权重系数可以均衡粒子的全局搜索和局部搜索能力，使粒子摆脱早熟.传统的惯性权重系数对非线性问题的处理能力有限，故引入自适应惯性权重系数，以避免粒子陷入局部最优，即
式中：α分布于[15,30]；ωmax，ωmin分别为自适应惯性权重系数值的上、下限；M为当前迭代次数，Mmax为最大迭代次数，为取值在之间服从Gauss(0,1)分布的随机变量。
为避免粒子早熟收敛，并提高种群的多样性，引入变异思想对粒子进行扰动.当粒子一直陷入局部最优，停止向新的方向搜索时，引入变异扰动，迫使粒子进入其他区域继续搜索.假设1个变异概率为q0，若r<q0，r为[0,1]的随机数，则对粒子进行变异操作，有
式中：为全局粒子第M+1次迭代后的历史最优位置；δ为服从Gauss(0,1)分布的随机变量。
另一方面，如图6所示，本申请实施例中提供一种计算机系统，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时执行上述的一种基于日志分析的访问风险实时审计方法。
其中所述一种基于日志分析的访问风险实时审计方法具体包括：
对网络日志进行解析得到解析结果，并基于解析结果确定存在IP黑名单的待检测IP；
基于所述待检测IP的访问频率、数据流量、数量确定不存在访问风险时，基于所述解析结果得到不在IP白名单和IP黑名单的待分析IP，并基于所述待分析IP的IP地址确定所述待分析IP的属地，将不属于特定属地的作为高风险IP，通过高风险IP的访问频率、数据流量、数量确定不存在访问风险时，进入下一步：
基于所述待检测IP、高风险IP的访问频率、数据流量、数量确定得到待检测IP以及高风险IP的访问风险评估值，并结合两者的访问风险权值，得到最终的一个综合的访问风险值，具体的采用基于层次分析法的数学模型，当确定不存在访问风险时进入下一步；
将IP白名单的IP地址作为待解析IP，并分别基于待解析IP、高风险IP、待分析IP、待检测IP的访问频率、数据流量、数量得到不同类型的IP的访问风险值，并结合不同类型的IP的访问风险权值得到一个完整的访问风险评估值，并根据其确定访问风险类型，所述访问风险类型包括高风险、低风险，并当所述访问风险类型为高风险时，确定需要输出预警信号。
另一方面，如图7所示，本发明提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的一种基于日志分析的访问风险实时审计方法。
具体的，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (9)
1.一种基于日志分析的访问风险实时审计方法，其特征在于，具体包括：
S11对网络日志进行解析得到解析结果，并基于解析结果确定是否存在IP黑名单的待检测IP，若是，则进入步骤S12，若否，则进入步骤S13;
S12基于所述待检测IP的访问频率、数据流量、数量确定是否存在访问风险，若是，则输出预警信号，若否，则进入步骤S13；
基于所述待检测IP确定是否存在访问风险的具体步骤为：
S21基于所述待检测IP的访问频率、数据流量确定所述待检测IP中的待检测问题IP，并基于所述待检测问题IP的数量确定是否存在访问风险，若是，则输出预警信号，若否，则进入步骤S22；
S22基于所述待检测IP的数量确定是否存在潜在访问风险，若是，则进入步骤S23，若否，则进入步骤S24；
S23基于所述待检测问题IP与所述待检测IP的数量的比值确定是否存在安全风险，若是，则输出预警信号，若否，则进入步骤S24；
S24基于所述待检测IP的访问频率、数据流量、数量、待检测问题IP的数量确定黑名单IP的访问风险值，并基于所述黑名单IP的访问风险值确定是否存在访问风险；
所述黑名单IP的访问风险值的构建采用基于IPSO-BP预测模型，其中所述预测模型的具体步骤为：
步骤1数据的预处理，对选取的样本数据进行补全和修正，对样本数据进行归一化处理；
步骤2模型参数的设置，对粒子群优化算法中的参数进行设置，并初始化粒子的位置和速度，确定粒子各维度上的数值与神经网络中输入层、隐含层、输出层之间的权重相对应；
步骤3建立BP神经网络，采用单隐层结构，输入层神经元8个，输出层神经元1个，隐含层神经的个数h可通过试凑法或经验公式确定，即式中：a，b分别为输入层、输出层的个数；c为常数；
步骤4采用均方误差函数，计算出各粒子的适应度值f i ；
步骤5将粒子的适应度值f与该粒子目前搜索到最优位置时的适应度值f（pbest）进行比较，若f i >f（pbest），则更新pbest；否则，保持不变；同时，将各粒子的适应度值f i 与全部粒子搜索到最优位置时的适应度值f（pbest）进行比较，若f i >f（gbest），则更新gbest;否则，保持不变；
步骤6对粒子的位置、速度和惯性权重系数进行更新，并假设变异概率q0=0.95，若r<q0，则对粒子进行变异操作；
引入自适应惯性权重系数，以避免粒子陷入局部最优，即式中：/>分布于[15,30]；，/>分别为自适应惯性权重系数值的上、下限；M为当前迭代次数，/>为最大迭代次数，/>为取值在/>之间服从Gauss(0,1)分布的随机变量；
S13基于所述解析结果得到不在IP白名单和IP黑名单的待分析IP，并基于所述待分析IP的IP地址确定所述待分析IP的属地，并基于待分析IP的属地得到高风险IP，通过高风险IP的访问频率、数据流量、数量确定是否存在访问风险，若是，则输出预警信号，若否，则进入步骤S14；
S14将IP白名单的IP地址作为待解析IP，并分别基于待解析IP、高风险IP、待分析IP、待检测IP的访问频率、数据流量、数量得到不同类型的IP的访问风险值，并结合不同类型的IP的访问风险权值得到访问风险类型，并基于所述访问风险类型确定是否需要输出预警信号；
所述访问风险类型确定的具体步骤为：
基于待检测IP的访问频率、数据流量确定待检测问题IP，基于所述待检测IP的访问频率、数据流量、数量、待检测问题IP的数量确定待检测IP的访问风险值；
基于高风险IP的访问频率、数据流量确定高风险问题IP，基于所述高风险IP的访问频率、数据流量、数量、高风险问题IP的数量确定高风险IP的访问风险值；
基于所述高风险IP的访问风险值与访问风险权值，所述待检测IP的访问风险值与风险权值得到综合评估值，并基于所述综合评估值确定是否存在访问风险，若是，则输出预警信号，若否，则进入下一步骤；
基于待解析IP的访问频率、数据流量确定待解析问题IP，基于所述待解析IP的访问频率、数据流量、数量、待解析问题IP的数量确定待解析IP的访问风险值；基于待分析IP的访问频率、数据流量确定待分析问题IP，基于所述待分析IP的访问频率、数据流量、数量、待分析问题IP的数量确定待分析IP的访问风险值；
基于所述待分析IP的访问风险值与访问风险权值，所述待解析IP的访问风险值与风险权值得到低风险综合评估值，并基于所述低风险综合评估值、综合评估值确定访问风险类型。
2.如权利要求1所述的访问风险实时审计方法，其特征在于，所述解析结果包括网络访问的IP地址、访问的时间、访问的目标数据、访问者所使用的客户端信息。
3.如权利要求1所述的访问风险实时审计方法，其特征在于，所述待检测问题IP根据所述待检测IP的访问频率的大小、数据流量的大小以及基于访问频率和数据流量构建得到的综合值的大小进行确定。
4.如权利要求1所述的访问风险实时审计方法，其特征在于，所述待分析IP的属地根据所述待分析IP的IP地址进行解析得到，并当所述待分析IP的属地不属于特定的属地时，则确定所述待分析IP属于高风险IP。
5.如权利要求1所述的访问风险实时审计方法，其特征在于，基于所述高风险IP确定是否存在访问风险的具体步骤为：
S31基于所述高风险IP的数量确定是否存在访问风险，若是，则输出预警信号，若否，则进入步骤S32；
S32基于所述高风险IP的数量确定是否存在潜在访问风险，若是，则进入步骤S33，若否，则进入步骤S34；
S33基于所述高风险IP的访问频率、数据流量确定高风险问题IP，饼基于所述高风险问题IP的数量确定是否存在访问风险、若是，则输出预警信号，若否，则进入步骤S34；
S34通过高风险IP的访问频率、数据流量、数量、高风险问题IP的数量得到所述高风险IP的访问风险评估值，并基于所述高风险IP的访问风险评估值确定是否存在访问风险。
6.如权利要求1所述的访问风险实时审计方法，其特征在于，所述不同类型的IP的访问风险权值根据不同类型的IP的基础权值以及不同类型的IP的数量比进行确定，其中所述基础权值采用专家打分的方式进行确定，所述不同类型的IP的数量比根据该类型的IP的数量与该类型的设定数量的比值进行确定。
7.如权利要求1所述的访问风险实时审计方法，其特征在于，所述访问风险类型包括高风险、低风险，并当所述访问风险类型为高风险时，确定需要输出预警信号。
8.一种计算机系统，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时执行权利要求1-7任一项所述的一种基于日志分析的访问风险实时审计方法。
9.一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7任一项所述的一种基于日志分析的访问风险实时审计方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310433583.6A CN116455642B (zh) | 2023-04-21 | 2023-04-21 | 一种基于日志分析的访问风险实时审计方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310433583.6A CN116455642B (zh) | 2023-04-21 | 2023-04-21 | 一种基于日志分析的访问风险实时审计方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116455642A CN116455642A (zh) | 2023-07-18 |
| CN116455642B true CN116455642B (zh) | 2023-11-21 |
Family
ID=87123501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310433583.6A Active CN116455642B (zh) | 2023-04-21 | 2023-04-21 | 一种基于日志分析的访问风险实时审计方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116455642B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109831465A (zh) * | 2019-04-12 | 2019-05-31 | 重庆天蓬网络有限公司 | 一种基于大数据日志分析的网站入侵检测方法 |
| CN111131221A (zh) * | 2019-12-19 | 2020-05-08 | 中国平安财产保险股份有限公司 | 接口校验的装置、方法及存储介质 |
| CN112153062A (zh) * | 2020-09-27 | 2020-12-29 | 北京北信源软件股份有限公司 | 基于多维度的可疑终端设备检测方法及系统 |
| CN112822143A (zh) * | 2019-11-15 | 2021-05-18 | 网宿科技股份有限公司 | 一种ip地址的评估方法、系统及设备 |
| CN114124587A (zh) * | 2022-01-29 | 2022-03-01 | 北京安帝科技有限公司 | 一种攻击链的处理方法、系统及电子设备 |
| CN114338233A (zh) * | 2022-02-28 | 2022-04-12 | 北京安帝科技有限公司 | 基于流量解析的网络攻击检测方法和系统 |
| CN114598525A (zh) * | 2022-03-09 | 2022-06-07 | 中国医学科学院阜外医院 | 一种针对网络攻击的ip自动封禁的方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11159539B2 (en) * | 2018-04-13 | 2021-10-26 | International Business Machines Corporation | Man-in-the-middle (MITM) checkpoint in a cloud database service environment |
| US20230013356A1 (en) * | 2021-07-19 | 2023-01-19 | Tracfone Wireless, Inc. | System and process implementing a secure network |
-
2023
- 2023-04-21 CN CN202310433583.6A patent/CN116455642B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109831465A (zh) * | 2019-04-12 | 2019-05-31 | 重庆天蓬网络有限公司 | 一种基于大数据日志分析的网站入侵检测方法 |
| CN112822143A (zh) * | 2019-11-15 | 2021-05-18 | 网宿科技股份有限公司 | 一种ip地址的评估方法、系统及设备 |
| CN111131221A (zh) * | 2019-12-19 | 2020-05-08 | 中国平安财产保险股份有限公司 | 接口校验的装置、方法及存储介质 |
| CN112153062A (zh) * | 2020-09-27 | 2020-12-29 | 北京北信源软件股份有限公司 | 基于多维度的可疑终端设备检测方法及系统 |
| CN114124587A (zh) * | 2022-01-29 | 2022-03-01 | 北京安帝科技有限公司 | 一种攻击链的处理方法、系统及电子设备 |
| CN114338233A (zh) * | 2022-02-28 | 2022-04-12 | 北京安帝科技有限公司 | 基于流量解析的网络攻击检测方法和系统 |
| CN114598525A (zh) * | 2022-03-09 | 2022-06-07 | 中国医学科学院阜外医院 | 一种针对网络攻击的ip自动封禁的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| "基于ELK的WEB日志安全分析平台实现及分析";高伟伟;《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116455642A (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107888571B (zh) | 一种基于HTTP日志的多维度webshell入侵检测方法及检测系统 | |
| Wang | A multinomial logistic regression modeling approach for anomaly intrusion detection | |
| CN107493277B (zh) | 基于最大信息系数的大数据平台在线异常检测方法 | |
| CN117220978B (zh) | 一种网络安全运营模型量化评估系统及评估方法 | |
| CN116257884B (zh) | 一种基于流量分析的电商平台客户数据处理方法与系统 | |
| Wang et al. | ALSR: an adaptive label screening and relearning approach for interval-oriented anomaly detection | |
| Chen et al. | DDoS attack detection method based on network abnormal behaviour in big data environment | |
| CN115643193A (zh) | 一种网络流量异常检测方法、装置、设备及介质 | |
| CN114037145B (zh) | 一种网络安全态势预测方法及系统 | |
| CN116455642B (zh) | 一种基于日志分析的访问风险实时审计方法与系统 | |
| Singh et al. | An ensemble hyper-tuned model for IoT sensors attacks and anomaly detection | |
| CN117527401A (zh) | 用于流量日志的网络攻击识别方法及其装置、电子设备 | |
| Palomares et al. | A fuzzy multicriteria aggregation method for data analytics: Application to insider threat monitoring | |
| CN116389108B (zh) | Ab实验方法、系统与存储介质 | |
| Cheng et al. | A DDoS Attack Information Fusion Method Based on CNN for Multi-Element Data. | |
| CN116886400A (zh) | 一种恶意域名检测方法、系统及介质 | |
| CN111066562A (zh) | 一种葡萄霜霉病预测方法及系统 | |
| CN115604032A (zh) | 一种电力系统复杂多步攻击检测方法及系统 | |
| Nocera et al. | A user behavior analytics (uba)-based solution using lstm neural network to mitigate ddos attack in fog and cloud environment | |
| Tong et al. | Application of a fractional grey prediction model based on a filtering algorithm in image processing | |
| Parhizkari | Anomaly detection in intrusion detection systems | |
| CN114039837A (zh) | 告警数据处理方法、装置、系统、设备和存储介质 | |
| Wan et al. | An attack behaviors prediction model based on bag representation in time series | |
| Gouveia et al. | Deep Learning for Network Intrusion Detection: An Empirical Assessment | |
| Al-Nafjan et al. | Intrusion detection using PCA based modular neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |