CN116318907A - 基于大数据和神经网络分析计算机网络态势的方法及系统 - Google Patents
基于大数据和神经网络分析计算机网络态势的方法及系统 Download PDFInfo
- Publication number
- CN116318907A CN116318907A CN202310177234.2A CN202310177234A CN116318907A CN 116318907 A CN116318907 A CN 116318907A CN 202310177234 A CN202310177234 A CN 202310177234A CN 116318907 A CN116318907 A CN 116318907A
- Authority
- CN
- China
- Prior art keywords
- network
- module
- distributed data
- data
- analysis model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 61
- 230000006870 function Effects 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 230000007787 long-term memory Effects 0.000 claims abstract description 12
- 230000006403 short-term memory Effects 0.000 claims abstract description 9
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 238000005065 mining Methods 0.000 claims abstract description 6
- 238000012098 association analyses Methods 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000007405 data analysis Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 238000007418 data mining Methods 0.000 claims description 6
- 238000013079 data visualisation Methods 0.000 claims description 6
- 238000013501 data transformation Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002155 anti-virotic effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请实施例涉及大数据处理技术领域，公开了一种基于大数据和神经网络分析计算机网络态势的方法，包括：步骤S1，采集分布式数据，对分布式数据进行预处理生并存储；步骤S2，构建基于长短期记忆网络的网络态势分析模型；步骤S3，使用网络态势分析模型对分布式数据进行关联分析和深度学习，将分布式数据集输入网络态势分析模型中进行训练，生成训练好的网络态势分析模型，并利用分类损失函数和定位回归损失函数计算预测值和真实值之间的损失值；步骤S4，再次采集分布式数据，将分布式数据集输入进训练好的网络态势分析模型中，通过深度挖掘分析对网络态势进行评估，并进行可视化展示。
Description
技术领域
本申请实施例涉及大数据处理技术领域，具体地说，是一种基于大数据和神经网络分析计算机网络态势的方法，用于通过构建多层次的网络态势分析模型，实时对当前网络安全状态进行感知、抽取特征并融合，最终通过网络态势分析模型进行安全态势预测。
背景技术
随着计算机网络的快速发展，各种新型的网络攻击事件层出不穷，网络安全问题成为计算机网络使用者和管理员关注的焦点。由于各行各业的业务活动都开始线上线下共同发展，网络作为现代人们活动的主要场所，其安全性也成为了现代社会高度关注和重视的热点问题之一。
防火墙、入侵检测系统、防病毒系统、补丁分发系统等安全设备每天都会产生海量的告警信息，且这些信息多源异构。网络管理员面对如此庞大的告警信息很难全面系统地了解安全状况，不能及时地采取有效的措施。此外，传统的单一的安全防护设备或者检测设备，如：查看安全日志、添加和配置网路安全设备等无法全局地分析网络安全状况和预测网络安全的趋势发展。网络安全技术从传统的入侵检测、入侵防御到入侵容忍到可生存性研究等也在不断地发展变革。
神经网络可以从态势评估和态势预测两方面更高效的分析计算机网络态势，来提升网络安全态势的感知和预测能力，同时结合大数据采集、大数据预处理、大数据存储、大数据分析与发掘、大数据可视化等大数据方法，对网络告警信息进行态势要素获取、评估、预测和可视化，从整体上反应当前网络的安全状况，对未来的网络发展趋势预测预警。为网络管理员提供可靠的操作依据和更加有力的信息支持，避免即将到来的不安全网络因素和风险，将损失降低到最低。
发明内容
本申请实施例的目的在于提供一种基于大数据和神经网络分析计算机网络态势的方法，通过构建多层次的网络态势分析模型，实时对当前网络安全状态进行感知、抽取特征并融合，最终通过网络态势分析模型进行安全态势预测。
本申请实施例通过下述技术方案实现：一种基于大数据和神经网络分析计算机网络态势的方法，包括以下步骤：
步骤S1，采集分布式数据，对分布式数据进行预处理生成模型训练集，并存储至NoSQL数据库；
步骤S2，构建基于长短期记忆网络的网络态势分析模型，用模型训练集训练网络态势分析模型，并将迭代次数和学习率预设完整；
所述网络态势分析模型由依次连接的卷积模块、批归一化模块、参数修正模块、全局池化模块、长短期记忆网络模块、第一全连接模块、第二全连接模块、类别损失函数模块和定位回归损失函数模块构成；
步骤S3，使用网络态势分析模型对分布式数据进行关联分析和深度学习，将分布式数据集输入网络态势分析模型中进行训练，生成训练好的网络态势分析模型，并利用分类损失函数和定位回归损失函数计算预测值和真实值之间的损失值；
步骤S4，再次采集分布式数据，将分布式数据集输入进训练好的网络态势分析模型中，通过深度挖掘分析对网络态势进行评估，并进行可视化展示。
为了更好地实现本申请实施例，进一步地，所述步骤S1中采集分布式数据的方法包括：
使用系统日志采集工具采集分布式数据、使用互联网数据采集方式采集分布式数据、使用ETL工具采集分布式数据。
为了更好地实现本申请实施例，进一步地，所述步骤S1中对分布式数据进行预处理的方法具体包括：
对分布式数据依次进行数据清洗、数据集成、数据变换和数据规约。
为了更好地实现本申请实施例，进一步地，设计所述步骤S2中网络态势分析模型的具体方法包括：
依次将卷积模块、批归一化模块、参数修正模块、全局池化模块、长短期记忆网络模块串联连接；
将长短期记忆网络模块分别和第一全连接模块、第二全连接模块连接；
将第一全连接模块和类别损失函数模块连接，将第二全连接模块和定位回归损失函数模块连接。
为了更好地实现本申请实施例，进一步地，所述卷积模块、批归一化模块和参数修正模块通过串联组合连接解决分布式数据集的无序性，增加分布式数据集的局部特征。
为了更好地实现本申请实施例，进一步地，所述类别损失函数模块采用改进之后的二元交叉熵损失函数，用于计算预测类别值与预测概率值之间的损失值；
所述定位回归损失函数模块采用改进之后的平滑L1损失函数，计算候选区域与真实边界框之间的损失值。
为了更好地实现本申请实施例，进一步地，所述步骤S3包括：
将分布式数据集输入进网络态势分析模型后利用卷积模块、批归一化模块和参数修正模块提取分布式数据集的局部信息，与此同时卷积模块对分布式数据进行上采样，再深度挖掘分布式数据集，最后由全局池化模块、长短期记忆网络模块和全连接模块将分布式数据集的特征信息聚合之后使用类别损失函数模块和定位回归损失函数模块中的二元交叉熵损失函数和平滑L1损失函数计算分布式数据集预测点与真实点的损失值，利用学习率下降法不断迭代衰减损失值，优化网络态势分析模型的权重参数，直到迭代次数等于最大迭代次数，中止训练，生成训练好的网络态势分析模型。
为了更好地实现本申请实施例，进一步地，所述步骤S4中进行可视化展示的方法包括：
使用标签云的方法、使用流式地图的方法、使用聚类图的方法、使用空间信息流的方法、使用热图的方法进行可视化展示。
为了更好地实现本申请实施例，进一步地，本申请实施例还提供了一种基于大数据和神经网络分析计算机网络态势的系统，包括大数据采集单元、大数据预处理单元、大数据存储单元、大数据分析与挖掘单元、大数据可视化单元，其中：
大数据采集单元，用于采集分布式数据；
大数据预处理单元，用于对分布式数据进行预处理生成模型训练集；
大数据存储单元，用于将预处理侯的分布式数据存储至NoSQL数据库；
大数据分析与挖掘单元，用于构建基于长短期记忆网络的网络态势分析模型，用模型训练集训练网络态势分析模型，并将迭代次数和学习率预设完整；
用于使用网络态势分析模型对分布式数据进行关联分析和深度学习，利用分类损失函数和定位回归损失函数指导网络态势分析模型并优化权重参数，将分布式数据集以数据输入网络态势分析模型中进行训练，生成训练好的网络态势分析模型，并计算预测值和真实值之间的损失值；
用于再次采集分布式数据，将分布式数据集输入进训练好的网络态势分析模型中，通过深度挖掘分析对网络态势进行评估；
大数据可视化单元，用于对网络态势的评估结果进行可视化展示。
本申请实施例与现有技术相比，具有以下优点及有益效果：
（1）本申请实施例通过构建多层次的网络态势分析模型，实时对当前网络安全状态进行感知、抽取特征并融合，最终通过网络态势分析模型进行安全态势预测；
（2）本申请实施例提供的基于大数据和神经网络分析计算机网络态势方法能够更加准确有效地预测网络安全，能够对网络安全问题主动采取措施，将信息安全的管理从被动的一方变为主动的一方。可使网络管理人员了解网络当前的状态并预知网络未来的发展趋势，因此当网络受到大规模攻击时，能够提前采取措施，不至于造成更为严重的损失。同时通过提升网络设备和安全设备的安全策略，达到网络安全主动防御的目的。
附图说明
本申请实施例结合下面附图和实施例做进一步说明，本申请实施例所有构思创新应视为所公开内容和本申请实施例保护范围。
图1为本申请实施例提供的基于长短期记忆网络的网络态势分析模型的结构示意图。
图2为本申请实施例提供的基于大数据和神经网络分析计算机网络态势的系统的结构示意图。
实施方式
为了更清楚地说明本申请实施例的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本申请实施例的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本申请实施例中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。
在本申请实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请实施例中的具体含义。
实施例
本实施例的一种基于大数据和神经网络分析计算机网络态势的方法，如图1所示，针对网络入侵检测模型特征提取算法复杂、训练参数过多、检测结果不理想等问题，构建基于长短期记忆网络的网络态势分析模型。首先，使用卷积神经网络对分布式大数据做特征选择，并选择全局池化层代替其中的前置全连接层；其次，结合长短期记忆网络（LSTM）的时间序列学习能力对改进卷积神经网络选择后的特征进行学习分类，以期在网络异常数据检测方面获得更好的效率和准确率。 该模型采用全局池化层代替前置全连接层的方式，并使用并列的两个后置全连接层；再结合长短期记忆网络的时间序列学习能力对特征选择后的数据进行训练；最后采用类别损失函数和定位回归损失函数计算预测值和真实值之间的损失值。
传统的入侵检测方法主要包括统计分析方法、阈值分析方法、特征分析方法等，这些方法，能够对恶意流量进行识别，但只是对已经发现的恶意流量行为的总结，并不能适应当前互联网的海量数据和多变的网络攻击方式。深度学习能够直接从原始数据中提取特征，已逐渐被用于网络流量分类任务中。LSTM作为一种深度学习方法，由于具有保持长期记忆的能力，也逐渐被应用到各种网络入侵检测模型中，本申请基于长短期记忆网络构造了一个网络态势分析模型，依据网络安全在发展中变化的实际数据和历史资料，运用科学的理论和方法、各种经验和知识去分析、推测、估计网络安全在未来一定时期内可能的变化趋势。
网络态势预测是信息安全管理的最高表现形式，基于大数据和神经网络分析计算机网络态势能够更加准确有效地预测网络安全，能够对网络安全问题主动采取措施，将信息安全的管理从被动的一方变为主动的一方。可使网络管理人员了解网络当前的状态并预知网络未来的发展趋势，因此当网络受到大规模攻击时，能够提前采取措施，不至于造成更为严重的损失。同时通过提升网络设备和安全设备的安全策略，达到网络安全主动防御的目的。
实施例
本实施例在实施例1的基础上做进一步优化，如图1所示，C表示卷积模块，BN表示批归一化模块，PR表示参数修正模块，GAP表示全局池化模块，LSTM表示长短期记忆网络，FC1表示第一全连接模块，FC2表示第二全连接模块，CLS表示类别损失函数模块，REF表示定位回归损失函数模块。
网络态势分析模型由依次连接的卷积模块、批归一化模块、参数修正模块、全局池化模块、长短期记忆网络模块、第一全连接模块、第二全连接模块、类别损失函数模块和定位回归损失函数模块。其中，依次连接的卷积模块、批归一化模块、参数修正模块组成一个卷积组合模块，用于解决分布式数据集的无序性，增加分布式数据集的局部特征。
依次将卷积模块、批归一化模块、参数修正模块、全局池化模块、长短期记忆网络模块串联连接；
将长短期记忆网络模块分别和第一全连接模块、第二全连接模块连接；
将第一全连接模块和类别损失函数模块连接，将第二全连接模块和定位回归损失函数模块连接。类别损失函数模块采用改进之后的二元交叉熵损失函数，用于计算预测类别值与预测概率值之间的损失值，定位回归损失函数模块采用改进之后的平滑L1损失函数，计算候选区域与真实边界框之间的损失值。
将分布式数据集输入进网络态势分析模型后利用卷积模块、批归一化模块和参数修正模块提取分布式数据集的局部信息，与此同时卷积模块对分布式数据进行采样，再深度挖掘分布式数据集，最后由全局池化模块、长短期记忆网络模块和全连接模块将分布式数据集的特征信息聚合之后使用类别损失函数模块和定位回归损失函数模块中的二元交叉熵损失函数和平滑L1损失函数计算分布式数据集预测点与真实点的损失值，利用学习率下降法不断迭代衰减损失值，优化网络态势分析模型的权重参数，直到迭代次数等于最大迭代次数，中止训练，生成训练好的网络态势分析模型。
其中，全局池化模块代替全连接层后，减少参数量，将最后一层的特征图进行整张图的一个均值池化，形成一个特征点，将这些特征点组成最后的特征向量，在使用softmax激活函数进行计算优化。
本实施例的其他部分与实施例1相同，故不再赘述。
实施例
本实施例在上述实施例1或2的基础上做进一步优化，步骤S1中采集分布式数据的方法包括：使用系统日志采集工具采集分布式数据、使用互联网数据采集方式采集分布式数据、使用ETL工具采集分布式数据。
其中，使用系统日志采集工具采集分布式数据，如WebAPI方式、Service Proxy方式、LCClient方式。
WebAPI方式：基于http协议采集日志数据，并发送至消息队列。主要用于提供移动端、微信公众号及小量日志采集使用，在NET分布式系统上可结合“API网关”使用。
Service Proxy方式：基于日志组件和消息队列客户端驱动，为日志记录服务代理，提供便捷、统一的接口供应用进行使用。支持将日志记录到应用本地和在线实时发送至消息队列。
LCClient方式：实现客户端批量抓取日志数据的功能，可支持高并发处理能力。LCServer再将日志数据写入消息队列。
使用互联网数据采集方式采集分布式数据，如搭建网络爬虫的方式。
使用ETL工具采集分布式数据，如Kettle、DataCleaner、canal、DataX。
本实施例的其他部分与上述实施例1或2相同，故不再赘述。
实施例
本实施例在上述实施例1-3任一项的基础上做进一步优化，步骤S1中对分布式数据进行预处理的方法具体包括：
对分布式数据依次进行数据清洗、数据集成、数据变换和数据规约，其中：
数据清洗，主要是删除原始数据集中的无关数据、重复数据，平滑噪声数据，筛选掉与目的无关的数据，处理缺失值、异常值等。
数据集成，将多个不同的数据源合并存放在一个一致的数据存储（如数据仓库）中的过程。因为数据往往分布在不同的数据源中， 来自多个数据源的现实世界实体的表达形式不一样，有可能不匹配，所以要考虑实体识别问题和属性冗余问题，从而将源数据在最底层上加以转换、提炼和集成。
数据变换，一般用来将不具有正态分布的数据变换成具有正态分布的数据，还有就是将非平稳时间序列转换为平稳的时间序列。常见的数据变换方式包括取对数、差分、归一化等。
数据规约，用于在尽可能保持数据完整性的基础上得到数据的归约表示。也就是说，在归约后的数据集上挖掘将更有效，而且仍会产生相同或相似的分析结果。数据归约包括维归约、数量归约和数据压缩。
本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。
实施例
本实施例在上述实施例1-4任一项基础上做进一步优化，步骤S4中进行可视化展示的方法包括：
使用标签云的方法、使用流式地图的方法、使用聚类图的方法、使用空间信息流的方法、使用热图的方法进行可视化展示。
一般使用 Wordle、tagul、tagxedo等网站进行编程，再进行标签云展示。
使用流式地图的方法在某些空间区域的多个地点取得观测，如果同时获得了这些地点的位置，并且位置与观测相关联，则称之为空间数据，探索空间数据最简单的方法就是用地图，把数据放在地理坐标系中，以经纬度表示位置。
数据可视化利用散点图，树图，曲线，曲面等图形图像来显示多维的非空间数据，用形象直观的图像来指引数据挖掘的过程，使用户加深对数据含义的理解，加快获取知识的速度. 聚类分析是数据挖掘的一项重要功能，特别对高维数据分析具有很大优势，使用聚类图的方法可以对散点图，树图，曲线，曲面等图形图像进一步的深化。
使用空间信息流的方法以可视化的方式显示输出空间信息，通过视觉传输和空间认知活动，去探索空间事物的分布及其相互关系，以获取有用的知识，并进而发现规律。
最后，也可以使用R语言绘制热图的方法进行可视化展示。
本实施例的其他部分与上述实施例1-4任一项相同，故不再赘述。
实施例
本实施例在上述实施例1-5任一项的基础上做进一步优化，如图2所示，本申请实施例还提供了一种基于大数据和神经网络分析计算机网络态势的系统，包括大数据采集单元、大数据预处理单元、大数据存储单元、大数据分析与挖掘单元、大数据可视化单元。
本实施例的其他部分与上述实施例1-5任一项相同，故不再赘述。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个设备，或者也可以分布到多个设备上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个设备中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个设备中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线（例如同轴电缆、光纤、数字用户线（Digital Subscriber Line，DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带），光介质（例如，DVD）、或者半导体介质（例如固态硬盘（Solid State Disk，SSD））等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种基于大数据和神经网络分析计算机网络态势的方法，其特征在于，包括以下步骤：
步骤S1，采集分布式数据，对分布式数据进行预处理生成模型训练集，并存储至NoSQL数据库；
步骤S2，构建基于长短期记忆网络的网络态势分析模型，用模型训练集训练网络态势分析模型，并将迭代次数和学习率预设完整；
所述网络态势分析模型由依次连接的卷积模块、批归一化模块、参数修正模块、全局池化模块、长短期记忆网络模块、第一全连接模块、第二全连接模块、类别损失函数模块和定位回归损失函数模块构成；
步骤S3，使用网络态势分析模型对分布式数据进行关联分析和深度学习，将分布式数据集输入网络态势分析模型中进行训练，生成训练好的网络态势分析模型，并利用分类损失函数和定位回归损失函数计算预测值和真实值之间的损失值；
步骤S4，再次采集分布式数据，将分布式数据集输入进训练好的网络态势分析模型中，通过深度挖掘分析对网络态势进行评估，并进行可视化展示。
2.根据权利要求1所述的一种基于大数据和神经网络分析计算机网络态势的方法，其特征在于，所述步骤S1中采集分布式数据的方法包括：
使用系统日志采集工具采集分布式数据、使用互联网数据采集方式采集分布式数据、使用ETL工具采集分布式数据。
3.根据权利要求1所述的一种基于大数据和神经网络分析计算机网络态势的方法，其特征在于，所述步骤S1中对分布式数据进行预处理的方法具体包括：
对分布式数据依次进行数据清洗、数据集成、数据变换和数据规约。
4.根据权利要求1所述的一种基于大数据和神经网络分析计算机网络态势的方法，其特征在于，设计所述步骤S2中网络态势分析模型的具体方法包括：
依次将卷积模块、批归一化模块、参数修正模块、全局池化模块、长短期记忆网络模块串联连接；
将长短期记忆网络模块分别和第一全连接模块、第二全连接模块连接；
将第一全连接模块和类别损失函数模块连接，将第二全连接模块和定位回归损失函数模块连接。
5.根据权利要求3所述的一种基于大数据和神经网络分析计算机网络态势的方法，其特征在于，包括：
所述卷积模块、批归一化模块和参数修正模块通过串联组合连接，用于解决分布式数据集的无序性，增加分布式数据集的局部特征。
6.根据权利要求4所述的一种基于大数据和神经网络分析计算机网络态势的方法，其特征在于，包括：
所述类别损失函数模块采用改进之后的二元交叉熵损失函数，用于计算预测类别值与预测概率值之间的损失值；
所述定位回归损失函数模块采用改进之后的平滑L1损失函数，计算候选区域与真实边界框之间的损失值。
7.根据权利要求1所述的一种基于大数据和神经网络分析计算机网络态势的方法，其特征在于，所述步骤S3包括：
将分布式数据集输入进网络态势分析模型后利用卷积模块、批归一化模块和参数修正模块提取分布式数据集的局部信息，与此同时卷积模块对分布式数据进行采样，再深度挖掘分布式数据集，最后由全局池化模块、长短期记忆网络模块和全连接模块将分布式数据集的特征信息聚合之后，使用类别损失函数模块和定位回归损失函数模块中的二元交叉熵损失函数和平滑L1损失函数计算分布式数据集预测点与真实点的损失值，利用学习率下降法不断迭代衰减损失值，优化网络态势分析模型的权重参数，直到迭代次数等于最大迭代次数，中止训练，生成训练好的网络态势分析模型。
8.根据权利要求1所述的一种基于大数据和神经网络分析计算机网络态势的方法，其特征在于，所述步骤S4中进行可视化展示的方法包括：
使用标签云的方法、使用流式地图的方法、使用聚类图的方法、使用空间信息流的方法、使用热图的方法进行可视化展示。
9.一种基于大数据和神经网络分析计算机网络态势的系统，其特征在于，包括大数据采集单元、大数据预处理单元、大数据存储单元、大数据分析与挖掘单元、大数据可视化单元，其中：
大数据采集单元，用于采集分布式数据；
大数据预处理单元，用于对分布式数据进行预处理生成模型训练集；
大数据存储单元，用于将预处理侯的分布式数据存储至NoSQL数据库；
大数据分析与挖掘单元，用于构建基于长短期记忆网络的网络态势分析模型，用模型训练集训练网络态势分析模型，并将迭代次数和学习率预设完整；
用于使用网络态势分析模型对分布式数据进行关联分析和深度学习，利用分类损失函数和定位回归损失函数指导网络态势分析模型并优化权重参数，将分布式数据集以数据输入网络态势分析模型中进行训练，生成训练好的网络态势分析模型，并计算预测值和真实值之间的损失值；
用于再次采集分布式数据，将分布式数据集输入进训练好的网络态势分析模型中，通过深度挖掘分析对网络态势进行评估；
大数据可视化单元，用于对网络态势的评估结果进行可视化展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310177234.2A CN116318907B (zh) | 2023-02-28 | 2023-02-28 | 基于大数据和神经网络分析计算机网络态势的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310177234.2A CN116318907B (zh) | 2023-02-28 | 2023-02-28 | 基于大数据和神经网络分析计算机网络态势的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116318907A true CN116318907A (zh) | 2023-06-23 |
| CN116318907B CN116318907B (zh) | 2023-12-08 |
Family
ID=86825064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310177234.2A Active CN116318907B (zh) | 2023-02-28 | 2023-02-28 | 基于大数据和神经网络分析计算机网络态势的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116318907B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117620345A (zh) * | 2023-12-28 | 2024-03-01 | 诚联恺达科技有限公司 | 一种真空回流焊炉的数据记录系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180091540A1 (en) * | 2016-09-27 | 2018-03-29 | Cisco Technology, Inc. | Security posture scoring |
| CN113205134A (zh) * | 2021-04-30 | 2021-08-03 | 中国烟草总公司郑州烟草研究院 | 一种网络安全态势预测方法及系统 |
| CN114118361A (zh) * | 2021-10-29 | 2022-03-01 | 北京宇航系统工程研究所 | 一种基于深度学习参数锚定的态势评估方法 |
| CN114970694A (zh) * | 2022-05-12 | 2022-08-30 | 河北师范大学 | 一种网络安全态势评估方法及其模型训练方法 |
| CN115242544A (zh) * | 2022-08-05 | 2022-10-25 | 河北师范大学 | 基于改进Res2net的网络安全态势感知方法及系统 |
| CN115695025A (zh) * | 2022-11-04 | 2023-02-03 | 中国电信股份有限公司 | 网络安全态势预测模型的训练方法及装置 |
-
2023
- 2023-02-28 CN CN202310177234.2A patent/CN116318907B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180091540A1 (en) * | 2016-09-27 | 2018-03-29 | Cisco Technology, Inc. | Security posture scoring |
| CN113205134A (zh) * | 2021-04-30 | 2021-08-03 | 中国烟草总公司郑州烟草研究院 | 一种网络安全态势预测方法及系统 |
| CN114118361A (zh) * | 2021-10-29 | 2022-03-01 | 北京宇航系统工程研究所 | 一种基于深度学习参数锚定的态势评估方法 |
| CN114970694A (zh) * | 2022-05-12 | 2022-08-30 | 河北师范大学 | 一种网络安全态势评估方法及其模型训练方法 |
| CN115242544A (zh) * | 2022-08-05 | 2022-10-25 | 河北师范大学 | 基于改进Res2net的网络安全态势感知方法及系统 |
| CN115695025A (zh) * | 2022-11-04 | 2023-02-03 | 中国电信股份有限公司 | 网络安全态势预测模型的训练方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117620345A (zh) * | 2023-12-28 | 2024-03-01 | 诚联恺达科技有限公司 | 一种真空回流焊炉的数据记录系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116318907B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108494810B (zh) | 面向攻击的网络安全态势预测方法、装置及系统 | |
| WO2021042843A1 (zh) | 告警信息的决策方法、装置、计算机设备及存储介质 | |
| US11709855B2 (en) | Graph embedding already-collected but not yet connected data | |
| CN107949840B (zh) | 用于检测和表征季节的系统 | |
| US10706377B2 (en) | Communication data analysis and processing system and method | |
| US20200160230A1 (en) | Tool-specific alerting rules based on abnormal and normal patterns obtained from history logs | |
| EP2487860B1 (en) | Method and system for improving security threats detection in communication networks | |
| US11258814B2 (en) | Methods and systems for using embedding from Natural Language Processing (NLP) for enhanced network analytics | |
| WO2021011105A1 (en) | Modeling higher-level metrics from graph data derived from already-collected but not yet connected data | |
| US10476753B2 (en) | Behavior-based host modeling | |
| US10142363B2 (en) | System for monitoring and addressing events based on triplet metric analysis | |
| CN116662989B (zh) | 一种安全数据解析方法及系统 | |
| CN116318907B (zh) | 基于大数据和神经网络分析计算机网络态势的方法及系统 | |
| US20180183824A1 (en) | Peer-based abnormal host detection for enterprise security systems | |
| Fan et al. | An interactive visual analytics approach for network anomaly detection through smart labeling | |
| US20220201008A1 (en) | Multimodal modelling for systems using distance metric learning | |
| US10476754B2 (en) | Behavior-based community detection in enterprise information networks | |
| CN117352188B (zh) | 一种基于大数据分析的临床信息共享方法及系统 | |
| CN115795330A (zh) | 一种基于ai算法的医疗信息异常检测方法及系统 | |
| Sisiaridis et al. | Feature extraction and feature selection: Reducing data complexity with apache spark | |
| US20230396641A1 (en) | Adaptive system for network and security management | |
| CN114143015A (zh) | 异常访问行为检测方法和电子设备 | |
| US20220086183A1 (en) | Enhanced network security based on inter-application data flow diagrams | |
| CN114510708A (zh) | 实时数据仓库构建、异常检测方法、装置、设备及产品 | |
| RU133632U1 (ru) | Автоматизированная система "монитор руководителя" информационной и аналитической поддержки принятия решений в сфере авиаперевозок |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231113 Address after: Room 1077E, Building 3, No. 1150 Lanfeng Road, Fengxian District, Shanghai, 200000 Applicant after: SHANGHAI XIYOU INFORMATION TECHNOLOGY CO.,LTD. Address before: 235200 New Farmers'market Community, Longhu Road, Xiaoxian County, Suzhou City, Anhui Province Applicant before: Suzhou Yaocang E-commerce Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |