CN117792933B - 一种基于深度学习的网络流量优化方法及系统 - Google Patents
一种基于深度学习的网络流量优化方法及系统 Download PDFInfo
- Publication number
- CN117792933B CN117792933B CN202410212280.6A CN202410212280A CN117792933B CN 117792933 B CN117792933 B CN 117792933B CN 202410212280 A CN202410212280 A CN 202410212280A CN 117792933 B CN117792933 B CN 117792933B
- Authority
- CN
- China
- Prior art keywords
- network traffic
- data
- network
- model
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 72
- 238000013136 deep learning model Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 35
- 210000002569 neuron Anatomy 0.000 claims abstract description 16
- 230000002159 abnormal effect Effects 0.000 claims description 53
- 238000012360 testing method Methods 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 24
- 238000012795 verification Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
Abstract
本发明属于网络流量优化技术领域，具体涉及一种基于深度学习的网络流量优化方法及系统，包括获取原始网络流量数据，其中，所述原始网络流量数据包括多个时间段下的网络流量样本；依据深度学习模型，结合所述网络流量样本进行训练，得到网络流量预测模型，其中，所述深度学习模型包括多个隐藏层，且每个所述隐藏层的神经元数量均为若干个；获取新增网络流量数据，并利用所述网络流量预测模型，对所述新增网络流量数据执行预测处理，得到预测网络状态。该发明能够实时监测网络状态，针对不同状态采取相应措施，从而提高网络流量的传输效率和稳定性。
Description
技术领域
本发明属于网络流量优化技术领域，具体涉及一种基于深度学习的网络流量优化方法及系统。
背景技术
随着互联网技术的迅猛发展，网络流量的规模和复杂性也在持续增加，网络流量优化已成为确保网络服务质量、提高用户体验和有效管理网络资源的关键任务，传统的网络流量优化方法通常依赖于人工规则设置和启发式算法，这些方法在处理动态变化的网络环境和复杂的流量模式时显得力不从心，因此，需要一种更智能、自适应且高效的流量优化方法来应对当前和未来的挑战。
在网络流量管理领域，深度学习可以用来识别网络流量的模式，但其仍然面临一些挑战，如网络环境和用户行为的变化要求流量管理系统必须具备自适应调整的能力，以便及时响应网络状态的变化，网络安全问题日益突出，恶意流量、DDoS攻击等安全威胁对网络运营构成严重挑战，实时检测并防范这些异常流量是流量优化中的一个重要环节，基于此，本方案提供了一种基于深度学习的网络流量优化方法。
发明内容
本发明的目的是提供一种基于深度学习的网络流量优化方法及系统，能够实时监测网络状态，针对不同状态采取相应措施，从而提高网络流量的传输效率和稳定性。
本发明采取的技术方案具体如下：
一种基于深度学习的网络流量优化方法，包括：
获取原始网络流量数据，其中，所述原始网络流量数据包括多个时间段下的网络流量样本；
依据深度学习模型，结合所述网络流量样本进行训练，得到网络流量预测模型，其中，所述深度学习模型包括多个隐藏层，且每个所述隐藏层的神经元数量均为若干个；
获取新增网络流量数据，并利用所述网络流量预测模型，对所述新增网络流量数据执行预测处理，得到预测网络状态，其中，所述预测网络状态包括异常状态和正常状态；
所述正常状态下，将所述新增网络流量数据标定为正常数据，并汇总为正常数据库；
所述异常状态下，将所述新增网络流量数据标定为异常数据，并导出异常特征，再依据所述异常特征匹配优化策略。
在一种优选方案中，所述深度学习模型为卷积神经网络。
在一种优选方案中，所述原始网络流量数据输出后，对其执行预处理，其具体过程如下：
获取所述原始网络流量数据，并进行去重处理，得到多个并列样本；
对所述并列样本执行去噪和填充缺失值处理，得到网络流量样本，再对所述网络流量样本进行汇总处理，得到基准数据集。
在一种优选方案中，所述依据深度学习模型，结合所述网络流量样本进行训练，得到网络流量预测模型的步骤，包括：
初始化所述深度学习模型；
将所述基准数据集分类为训练子集和验证子集，其中，所述训练子集设置有多个，且多个所述训练子集中数据项的数量相等；
依据多个所述训练子集，对深度学习模型进行训练处理，得到网络流量预测模型。
在一种优选方案中，每个所述训练子集训练结束后，将其训练的深度学习模型标定为待评估模型；
将所述验证子集中的数据项作为验证数据，并输入至待评估模型中，再统计其输出结果的准确率，且标定为待评价参数；
获取评价阈值，并与所述待评价参数进行比较；
若所述待评价参数首次大于或等于评价阈值，则所述训练子集停止对深度学习模型进行训练；
若所述待评价参数连续小于评价阈值，则所述训练子集继续对深度学习模型进行训练。
在一种优选方案中，所述待评价参数首次大于或等于评价阈值后，将其对应的待评估模型标定为待输出模型；
从未对所述深度学习模型进行训练的训练子集中随机选取若干个数据项，并汇总为测试子集；
依据所述测试子集对待输出模型进行测试处理，并统计其测试准确率，且标定为待校验参数；
将所述待校验参数与首次大于或等于评价阈值的待评价参数进行作差处理，且将其输出结果的绝对值标定为偏离参数；
获取偏离阈值，并与所述偏离参数进行比较；
若所述偏离参数大于或等于偏离阈值，则表明所述待输出模型无效，并继续对所述深度学习模型进行训练；
若所述偏离参数小于偏离阈值，则表明所述待输出模型有效，并将其标定为网络流量预测模型。
在一种优选方案中，所述获取新增网络流量数据，并利用所述网络流量预测模型，对所述新增网络流量数据执行预测处理，得到预测网络状态的步骤，包括：
将所述新增网络流量数据划分为特征矩阵和目标矩阵；
利用所述网络流量预测模型，对特征矩阵进行预测处理，得到预测参数；
获取额定参数，并与所述预测参数进行比较；
若所述额定参数大于或等于预测参数，则表明所述预测网络状态为正常状态；
若所述额定参数小于预测参数，则表明所述预测网络状态为异常状态，并同步发出告警信号。
在一种优选方案中，所述优化策略设置有多个，每个所述优化策略均对应一个异常特征；
其中，所述异常特征包括网络流量异常的频率、幅度，以及流量速率和流量峰值。
本发明还提供了，一种基于深度学习的网络流量优化系统，应用于上述的基于深度学习的网络流量优化方法，包括：
样本采集模块，所述样本采集模块用于获取原始网络流量数据，其中，所述原始网络流量数据包括多个时间段下的网络流量样本；
模型构建模块，所述模型构建模块用于依据深度学习模型，结合所述网络流量样本进行训练，得到网络流量预测模型，其中，所述深度学习模型包括多个隐藏层，且每个所述隐藏层的神经元数量均为若干个；
状态预测模块，所述状态预测模块用于获取新增网络流量数据，并利用所述网络流量预测模型，对所述新增网络流量数据执行预测处理，得到预测网络状态，其中，所述预测网络状态包括异常状态和正常状态；
第一执行模块，所述第一执行模块用于在所述正常状态下，将所述新增网络流量数据标定为正常数据，并汇总为正常数据库；
第二执行模块，所述第二执行模块用于在所述异常状态下，将所述新增网络流量数据标定为异常数据，并导出异常特征，再依据所述异常特征匹配优化策略。
以及，一种基于深度学习的网络流量优化装置，包括：
至少一个处理器；
以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于深度学习的网络流量优化方法。
本发明取得的技术效果为：
本发明通过构建高性能的网络流量预测模型，能够实时识别并处理异常网络流量，同时在网络流量预测模型的构建过程中，利用验证子集和测试子集的结合，不仅可以提高其输出结果的准确性，还能够提高该模型的稳定性，从而为实现对网络资源的合理调配和优化起到一个稳定的支持作用，为网络管理者提供有力的工具，有利于网络设施的建设和维护。
附图说明
图1是本发明实施例1所提供的方法流程图；
图2是本发明实施例2所提供的系统模块图；
图3是本发明实施例3所提供的装置结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个较佳的实施方式中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1：
请参阅图1所示，为本发明的第一个实施例，该实施例提供了一种基于深度学习的网络流量优化方法，包括：
S1、获取原始网络流量数据，其中，原始网络流量数据包括多个时间段下的网络流量样本；
S2、依据深度学习模型，结合网络流量样本进行训练，得到网络流量预测模型，其中，深度学习模型包括多个隐藏层，且每个隐藏层的神经元数量均为若干个；
S3、获取新增网络流量数据，并利用网络流量预测模型，对新增网络流量数据执行预测处理，得到预测网络状态，其中，预测网络状态包括异常状态和正常状态；
S4、正常状态下，将新增网络流量数据标定为正常数据，并汇总为正常数据库；
S5、异常状态下，将新增网络流量数据标定为异常数据，并导出异常特征，再依据异常特征匹配优化策略。
如上述步骤S1-S5所述，网络流量优化是当前网络管理领域的一项重要任务，它旨在提高网络资源的利用率，降低网络拥堵程度，提升用户体验，本实施例中，首先获取原始网络流量数据，这些数据包括多个时间段下的网络流量样本，每个样本都记录了某一时间段内的网络流量状况，接下来，将利用这些原始数据进行深度学习模型的训练，深度学习模型为卷积神经网络，在训练阶段，采用具有多个隐藏层的深度学习模型，每个隐藏层都包含若干个神经元，这种结构可以有效地捕捉网络流量的复杂特征，通过结合网络流量样本进行训练，能够得到一个性能优越的网络流量预测模型，当获得预测模型后，可以对新增的网络流量数据进行预测处理，并根据预测结果确定预测网络状态，这里的预测网络状态分类为正常状态和异常状态，在正常状态下，将新增网络流量数据标定为正常数据，并将其汇总到正常数据库中，而在异常状态下，需要对新增网络流量数据进行异常标注，并提取出异常特征，最后，根据提取的异常特征，将同步匹配相应的优化策略，优化策略设置有多个，每个优化策略均对应一个异常特征，其中，异常特征包括网络流量异常的频率、幅度，以及流量速率和流量峰值，这些优化策略可能包括调整网络资源的分配、优化网络设备的配置等，通过实施这些优化策略，可以有效地降低网络异常状况的发生概率，提高网络运行的正常率，从而提升整体网络性能。
在一个较佳的实施方式中，原始网络流量数据输出后，对其执行预处理，其具体过程如下：
获取原始网络流量数据，并进行去重处理，得到多个并列样本；
对并列样本执行去噪和填充缺失值处理，得到网络流量样本，再对网络流量样本进行汇总处理，得到基准数据集。
上述中，原始网络流量数据被采集时，通常涉及从网络设备、服务器日志等来源收集数据，这些数据可能包括用户行为、访问量、请求类型等信息，接下来，对原始网络流量数据进行去重处理，去重是为了确保样本之间的独立性，避免重复数据对分析结果产生干扰，去重处理后，就可以得到多个并列样本，然后，对并列样本执行去噪和填充缺失值处理，去噪是指从数据中剔除异常值和噪声，使数据更加干净，填充缺失值则是针对数据中存在的缺失值进行处理，常用的方法有插值、均值填充等，去噪和填充缺失值的处理有助于提高数据的质量，为后续分析奠定基础，完成去噪和填充缺失值处理后，就可以得到网络流量样本，接下来，对网络流量样本进行汇总处理，汇总的目的是将各个样本的数据整合到一个统一的数据集中，以便进行进一步分析，最后，经过汇总处理后的网络流量样本形成了基准数据集。这个数据集为优化网络性能、提高安全性等提供有力支持。
在一个较佳的实施方式中，依据深度学习模型，结合网络流量样本进行训练，得到网络流量预测模型的步骤，包括：
S201、初始化深度学习模型；
S202、将基准数据集分类为训练子集和验证子集，其中，训练子集设置有多个，且多个训练子集中数据项的数量相等；
S203、依据多个训练子集，对深度学习模型进行训练处理，得到网络流量预测模型。
如上述步骤S201-S203所述，在对深度学习模型进行训练时，首先对深度学习模型进行初始化，这一步是为了确保模型能够正确地理解和学习网络流量的特征，初始化包括为模型选择合适的架构，如卷积神经网络（CNN），以及设置模型的超参数，如学习率、批次大小等，接下来将网络流量数据集分为训练子集和验证子集，这一步骤的目的是为了避免过拟合现象，通过将数据集划分为多个训练子集，并在每个子集上进行训练，可以有效地检验模型的泛化能力，为了确保公平性，训练子集和验证子集中的数据项数量应保持一致，然后，对深度学习模型进行训练处理，直至输出所需的网络流量预测模型。
在一个较佳的实施方式中，每个训练子集训练结束后，将其训练的深度学习模型标定为待评估模型；
将验证子集中的数据项作为验证数据，并输入至待评估模型中，再统计其输出结果的准确率，且标定为待评价参数；
获取评价阈值，并与待评价参数进行比较；
若待评价参数首次大于或等于评价阈值，则训练子集停止对深度学习模型进行训练；
若待评价参数连续小于评价阈值，则训练子集继续对深度学习模型进行训练。
在该实施方式中，在深度学习模型的训练过程中，通常会将数据集划分为训练子集和验证子集，训练子集用于训练深度学习模型，而验证子集则用于评估模型的性能，为了确保模型的泛化能力，需要对模型进行不断的优化和调整，首先将每个训练子集训练结束后得到的深度学习模型标定为待评估模型，接下来，将验证子集中的数据项作为验证数据，输入到待评估模型中，通过对验证数据进行预测，可以得到模型输出结果的准确率，将这个准确率作为待评价参数，用于衡量模型的性能，然后确定一个评价阈值，用于判断待评价参数是否达到预期性能，获取评价阈值后，将其与待评价参数进行比较，如果待评价参数首次大于或等于评价阈值，说明模型已经达到了预期的性能，此时可以停止对该训练子集的深度学习模型进行训练，然而，如果待评价参数连续小于评价阈值，说明模型性能尚未达到预期，需要继续优化，此时，需要继续对深度学习模型进行训练，以提高模型性能，在训练过程中，从而加速模型的收敛，另外，在整个过程中，需要密切关注待评价参数的变化，以判断模型在验证子集上的性能，当模型性能达到预期时，及时调整训练策略，如减小学习率，以防止过拟合现象的发生。
在一个较佳的实施方式中，待评价参数首次大于或等于评价阈值后，将其对应的待评估模型标定为待输出模型；
从未对深度学习模型进行训练的训练子集中随机选取若干个数据项，并汇总为测试子集；
依据测试子集对待输出模型进行测试处理，并统计其测试准确率，且标定为待校验参数；
将待校验参数与首次大于或等于评价阈值的待评价参数进行作差处理，且将其输出结果的绝对值标定为偏离参数；
获取偏离阈值，并与偏离参数进行比较；
若偏离参数大于或等于偏离阈值，则表明待输出模型无效，并继续对深度学习模型进行训练；
若偏离参数小于偏离阈值，则表明待输出模型有效，并将其标定为网络流量预测模型。
在该实施方式中，在网络流量预测模型输出前，首先将待评价参数首次大于或等于评价阈值时，其对应的待评估模型标定为待输出模型，然后从未对深度学习模型进行训练的训练子集中随机选取若干个数据项，并汇总为测试子集，这个测试子集的作用是用来评估待输出模型的性能，以便于了解模型在未知数据上的表现，然后，依据测试子集对待输出模型进行测试处理，并统计其测试准确率，这个测试准确率是评估模型性能的重要指标，它可以帮助我们了解模型的预测能力，也能够避免验证子集中数据项的偶然性，本实施方式将这个测试准确率作为待校验参数，以评估模型的有效性，接着，将待校验参数与首次大于或等于评价阈值的待评价参数进行做差处理，并将其输出结果的绝对值标定为偏离参数，这个偏离参数反映了模型在训练过程中的波动情况，它可以帮助我们了解模型是否稳定，在此基础上，需要获取偏离阈值，并与偏离参数进行比较，偏离阈值是一个预先设定的值，它表示模型在训练过程中可以接受的波动范围，如果偏离阈值大于偏离参数，说明模型的波动在可接受范围内，可以认为待输出模型是有效的，然而，如果偏离阈值小于偏离参数，说明模型的波动超出了可接受范围，认为待输出模型是无效的，在这种情况下，需要继续对深度学习模型进行训练，以提高模型的性能和稳定性。
在一个较佳的实施方式中，获取新增网络流量数据，并利用网络流量预测模型，对新增网络流量数据执行预测处理，得到预测网络状态的步骤，包括：
S301、将新增网络流量数据划分为特征矩阵和目标矩阵；
S302、利用网络流量预测模型，对特征矩阵进行预测处理，得到预测参数；
S303、获取额定参数，并与预测参数进行比较；
若额定参数大于或等于预测参数，则表明预测网络状态为正常状态；
若额定参数小于预测参数，则表明预测网络状态为异常状态，并同步发出告警信号。
如上述步骤S301-S303所述，首先将新增网络流量数据划分为特征矩阵和目标矩阵，以便更好地进行后续的预测处理，特征矩阵主要包括网络流量的一些关键指标，如流量速率、连接数、数据包大小等，而目标矩阵则反映了网络流量的目标地址、源地址等信息，接下来，利用网络流量预测模型对特征矩阵进行预测处理，这一步是为了挖掘网络流量数据的潜在规律，从而得到预测参数，获得预测参数后，需要获取额定参数，并与预测参数进行比较，额定参数是对网络正常状态的一种刻画，它可以反映网络的承载能力，例如，我们可以设定一个阈值，当实际网络流量超过这个阈值时，认为网络处于异常状态，最后，根据比较结果判断网络状态，如果额定参数大于或等于预测参数，说明预测网络状态为正常状态，这意味着网络流量在可承受范围内，可以继续稳定运行，反之，如果额定参数小于预测参数，表明预测网络状态为异常状态，这种情况下，需要及时采取措施，如增加带宽、优化网络结构等，以保证网络的正常运行，同时，为了提醒相关人员关注这个问题，还需要同步发出告警信号。
实施例2：
请参阅图2，为本发明的第二个实施例，该实施例基于上一个实施例，还提供了一种基于深度学习的网络流量优化系统，应用于上述的基于深度学习的网络流量优化方法，包括：
样本采集模块，样本采集模块用于获取原始网络流量数据，其中，原始网络流量数据包括多个时间段下的网络流量样本；
模型构建模块，模型构建模块用于依据深度学习模型，结合网络流量样本进行训练，得到网络流量预测模型，其中，深度学习模型包括多个隐藏层，且每个隐藏层的神经元数量均为若干个；
状态预测模块，状态预测模块用于获取新增网络流量数据，并利用网络流量预测模型，对新增网络流量数据执行预测处理，得到预测网络状态，其中，预测网络状态包括异常状态和正常状态；
第一执行模块，第一执行模块用于在正常状态下，将新增网络流量数据标定为正常数据，并汇总为正常数据库；
第二执行模块，第二执行模块用于在异常状态下，将新增网络流量数据标定为异常数据，并导出异常特征，再依据异常特征匹配优化策略。
如上述，该系统主要包括五个模块：样本采集模块、模型构建模块、状态预测模块、第一执行模块和第二执行模块，首先，样本采集模块负责收集多个时间段下的网络流量数据，作为深度学习模型的训练样本，这些样本涵盖了各种网络状况，有助于构建具有泛化能力的预测模型，接下来，模型构建模块采用深度学习模型，结合训练样本对模型进行训练，该深度学习模型包含多个隐藏层，每个隐藏层的神经元数量均为若干个，这种结构可以有效地捕捉网络流量的复杂特征，提高预测准确性，状态预测模块负责获取新增网络流量数据，并利用训练好的网络流量预测模型对其进行预测，预测结果包括正常状态和异常状态，以便针对不同状态采取相应的处理措施，在正常状态下，第一执行模块将新增网络流量数据标定为正常数据，并将其汇总到正常数据库中，这样，系统可以学习正常网络流量的特征，为后续预测和处理提供依据，在异常状态下，第二执行模块将新增网络流量数据标定为异常数据，并提取异常特征，然后，根据异常特征匹配优化策略，以恢复正常网络状态或降低异常流量对网络性能的影响。
实施例3：
请参阅图3，为本发明的第三个实施例，该实施例基于前两个实施例，还提供了一种基于深度学习的网络流量优化装置，包括：
至少一个处理器；
以及与至少一个处理器通信连接的存储器；
其中，存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行上述的基于深度学习的网络流量优化方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本发明中未具体描述和解释说明的结构、装置以及操作方法，如无特别说明和限定，均按照本领域的常规手段进行实施。
Claims (6)
1.一种基于深度学习的网络流量优化方法，其特征在于：包括：
获取原始网络流量数据，其中，所述原始网络流量数据包括多个时间段下的网络流量样本；
依据深度学习模型，结合所述网络流量样本进行训练，得到网络流量预测模型，其中，所述深度学习模型包括多个隐藏层，且每个所述隐藏层的神经元数量均为若干个；
获取新增网络流量数据，并利用所述网络流量预测模型，对所述新增网络流量数据执行预测处理，得到预测网络状态，其中，所述预测网络状态包括异常状态和正常状态；
所述正常状态下，将所述新增网络流量数据标定为正常数据，并汇总为正常数据库；
所述异常状态下，将所述新增网络流量数据标定为异常数据，并导出异常特征，再依据所述异常特征匹配优化策略；
其中，所述原始网络流量数据输出后，对其执行预处理，其具体过程如下：
获取所述原始网络流量数据，并进行去重处理，得到多个并列样本；
对所述并列样本执行去噪和填充缺失值处理，得到网络流量样本，再对所述网络流量样本进行汇总处理，得到基准数据集；
所述依据深度学习模型，结合所述网络流量样本进行训练，得到网络流量预测模型的步骤，包括：
初始化所述深度学习模型；
将所述基准数据集分类为训练子集和验证子集，其中，所述训练子集设置有多个，且多个所述训练子集中数据项的数量相等；
依据多个所述训练子集，对深度学习模型进行训练处理，得到网络流量预测模型；
每个所述训练子集训练结束后，将其训练的深度学习模型标定为待评估模型；
将所述验证子集中的数据项作为验证数据，并输入至待评估模型中，再统计其输出结果的准确率，且标定为待评价参数；
获取评价阈值，并与所述待评价参数进行比较；
若所述待评价参数首次大于或等于评价阈值，则所述训练子集停止对深度学习模型进行训练；
若所述待评价参数连续小于评价阈值，则所述训练子集继续对深度学习模型进行训练；
所述待评价参数首次大于或等于评价阈值后，将其对应的待评估模型标定为待输出模型；
从未对所述深度学习模型进行训练的训练子集中随机选取若干个数据项，并汇总为测试子集；
依据所述测试子集对待输出模型进行测试处理，并统计其测试准确率，且标定为待校验参数；
将所述待校验参数与首次大于或等于评价阈值的待评价参数进行作差处理，且将其输出结果的绝对值标定为偏离参数；
获取偏离阈值，并与所述偏离参数进行比较；
若所述偏离参数大于或等于偏离阈值，则表明所述待输出模型无效，并继续对所述深度学习模型进行训练；
若所述偏离参数小于偏离阈值，则表明所述待输出模型有效，并将其标定为网络流量预测模型。
2.根据权利要求1所述的一种基于深度学习的网络流量优化方法，其特征在于：所述深度学习模型为卷积神经网络。
3.根据权利要求1所述的一种基于深度学习的网络流量优化方法，其特征在于：所述获取新增网络流量数据，并利用所述网络流量预测模型，对所述新增网络流量数据执行预测处理，得到预测网络状态的步骤，包括：
将所述新增网络流量数据划分为特征矩阵和目标矩阵；
利用所述网络流量预测模型，对特征矩阵进行预测处理，得到预测参数；
获取额定参数，并与所述预测参数进行比较；
若所述额定参数大于或等于预测参数，则表明所述预测网络状态为正常状态；
若所述额定参数小于预测参数，则表明所述预测网络状态为异常状态，并同步发出告警信号。
4.根据权利要求1所述的一种基于深度学习的网络流量优化方法，其特征在于：所述优化策略设置有多个，每个所述优化策略均对应一个异常特征；
其中，所述异常特征包括网络流量异常的频率、幅度，以及流量速率和流量峰值。
5.一种基于深度学习的网络流量优化系统，应用于权利要求1至4中任意一项所述的基于深度学习的网络流量优化方法，其特征在于：包括：
样本采集模块，所述样本采集模块用于获取原始网络流量数据，其中，所述原始网络流量数据包括多个时间段下的网络流量样本；
模型构建模块，所述模型构建模块用于依据深度学习模型，结合所述网络流量样本进行训练，得到网络流量预测模型，其中，所述深度学习模型包括多个隐藏层，且每个所述隐藏层的神经元数量均为若干个；
状态预测模块，所述状态预测模块用于获取新增网络流量数据，并利用所述网络流量预测模型，对所述新增网络流量数据执行预测处理，得到预测网络状态，其中，所述预测网络状态包括异常状态和正常状态；
第一执行模块，所述第一执行模块用于在所述正常状态下，将所述新增网络流量数据标定为正常数据，并汇总为正常数据库；
第二执行模块，所述第二执行模块用于在所述异常状态下，将所述新增网络流量数据标定为异常数据，并导出异常特征，再依据所述异常特征匹配优化策略。
6.一种基于深度学习的网络流量优化装置，其特征在于：包括：
至少一个处理器；
以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至4中任意一项所述的基于深度学习的网络流量优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410212280.6A CN117792933B (zh) | 2024-02-27 | 2024-02-27 | 一种基于深度学习的网络流量优化方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410212280.6A CN117792933B (zh) | 2024-02-27 | 2024-02-27 | 一种基于深度学习的网络流量优化方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117792933A CN117792933A (zh) | 2024-03-29 |
| CN117792933B true CN117792933B (zh) | 2024-05-03 |
Family
ID=90394914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410212280.6A Active CN117792933B (zh) | 2024-02-27 | 2024-02-27 | 一种基于深度学习的网络流量优化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117792933B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647732A (zh) * | 2018-05-14 | 2018-10-12 | 北京邮电大学 | 一种基于深度神经网络的病理图像分类方法及装置 |
| CN110851782A (zh) * | 2019-11-12 | 2020-02-28 | 南京邮电大学 | 一种基于轻量级时空深度学习模型的网络流量预测方法 |
| CN114677353A (zh) * | 2022-03-28 | 2022-06-28 | 中国能源建设集团安徽省电力设计院有限公司 | 一种基于深度学习和bp神经网络的柱承载力预测方法 |
| CN114760339A (zh) * | 2022-04-24 | 2022-07-15 | 中国工商银行股份有限公司 | 故障预测方法、装置、设备、介质及产品 |
| CN116248392A (zh) * | 2023-03-07 | 2023-06-09 | 广西民族大学 | 一种基于多头注意力机制的网络恶意流量检测系统及方法 |
| CN116597350A (zh) * | 2023-05-16 | 2023-08-15 | 福州大学 | 基于BiLSTM预测偏离度的浮选过程故障早期预警方法 |
| CN116757534A (zh) * | 2023-06-15 | 2023-09-15 | 中国标准化研究院 | 一种基于神经训练网络的智能冰箱可靠性分析方法 |
| CN117349618A (zh) * | 2023-10-11 | 2024-01-05 | 国家电网有限公司华中分部 | 网络信息系统的恶意加密流量检测模型的构建方法及介质 |
-
2024
- 2024-02-27 CN CN202410212280.6A patent/CN117792933B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647732A (zh) * | 2018-05-14 | 2018-10-12 | 北京邮电大学 | 一种基于深度神经网络的病理图像分类方法及装置 |
| CN110851782A (zh) * | 2019-11-12 | 2020-02-28 | 南京邮电大学 | 一种基于轻量级时空深度学习模型的网络流量预测方法 |
| CN114677353A (zh) * | 2022-03-28 | 2022-06-28 | 中国能源建设集团安徽省电力设计院有限公司 | 一种基于深度学习和bp神经网络的柱承载力预测方法 |
| CN114760339A (zh) * | 2022-04-24 | 2022-07-15 | 中国工商银行股份有限公司 | 故障预测方法、装置、设备、介质及产品 |
| CN116248392A (zh) * | 2023-03-07 | 2023-06-09 | 广西民族大学 | 一种基于多头注意力机制的网络恶意流量检测系统及方法 |
| CN116597350A (zh) * | 2023-05-16 | 2023-08-15 | 福州大学 | 基于BiLSTM预测偏离度的浮选过程故障早期预警方法 |
| CN116757534A (zh) * | 2023-06-15 | 2023-09-15 | 中国标准化研究院 | 一种基于神经训练网络的智能冰箱可靠性分析方法 |
| CN117349618A (zh) * | 2023-10-11 | 2024-01-05 | 国家电网有限公司华中分部 | 网络信息系统的恶意加密流量检测模型的构建方法及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117792933A (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111475804B (zh) | 一种告警预测方法及系统 | |
| Seo et al. | Machine-learning approach to optimize smote ratio in class imbalance dataset for intrusion detection | |
| CN112257063A (zh) | 一种基于合作博弈论的联邦学习中后门攻击的检测方法 | |
| CN113780443B (zh) | 一种面向威胁检测的网络安全态势评估方法 | |
| CN111478904A (zh) | 一种基于概念漂移的物联网设备通信异常检测方法及装置 | |
| CN113269389A (zh) | 基于深度信念网的网络安全态势评估和态势预测建模方法 | |
| CN112738014A (zh) | 一种基于卷积时序网络的工控流量异常检测方法及系统 | |
| CN112087442A (zh) | 基于注意力机制的时序相关网络入侵检测方法 | |
| CN117041019B (zh) | 内容分发网络cdn的日志分析方法、装置及存储介质 | |
| CN115086089A (zh) | 一种用于网络安全评估预测的方法及系统 | |
| CN111600878A (zh) | 一种基于maf-adm的低速率拒绝服务攻击检测方法 | |
| CN111865899B (zh) | 威胁驱动的协同采集方法及装置 | |
| CN117278314A (zh) | 一种DDoS攻击检测方法 | |
| CN111444233B (zh) | 基于复制器神经网络模型发现环境监测异常数据的方法 | |
| CN117792933B (zh) | 一种基于深度学习的网络流量优化方法及系统 | |
| CN110650145A (zh) | 一种基于sa-dbscan算法的低速率拒绝服务攻击检测方法 | |
| CN110348481B (zh) | 一种基于近邻样本万有引力的网络入侵检测方法 | |
| CN114553468A (zh) | 一种基于特征交叉与集成学习的三级网络入侵检测方法 | |
| CN114692683A (zh) | 一种基于csi的跌倒检测方法、装置及存储介质 | |
| CN110708296B (zh) | 一种基于长时间行为分析的vpn账号失陷智能检测模型 | |
| Tan et al. | Research on Fault Prediction Model Based on 5G Data Center | |
| CN115856204B (zh) | 基于三维回声状态网络的掘进工作面瓦斯浓度预测方法 | |
| Hairuman et al. | Evaluation of machine learning techniques for anomaly detection on hourly basis kpi | |
| CN115996135B (zh) | 一种基于特征组合优化的工业互联网恶意行为实时检测方法 | |
| Meng et al. | Computer Network Security Evaluation Method Based on GABP Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |