CN116781546B - 基于深度合成数据的异常检测方法和系统 - Google Patents
基于深度合成数据的异常检测方法和系统 Download PDFInfo
- Publication number
- CN116781546B CN116781546B CN202310761030.3A CN202310761030A CN116781546B CN 116781546 B CN116781546 B CN 116781546B CN 202310761030 A CN202310761030 A CN 202310761030A CN 116781546 B CN116781546 B CN 116781546B
- Authority
- CN
- China
- Prior art keywords
- sample set
- network
- data
- traffic
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 32
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 18
- 230000003993 interaction Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种基于深度合成数据的异常检测方法和系统，通过检测点采样和构建网络拓扑建模预测流量途径的重要节点采样两种采样方式，得到两个不同的样本集，将两个样本集输入对抗性网络，计算两者之间的差异度，根据差异度调整流量途径的节点的预测，当该差异度小于等于阈值时表示捕获成功，融合得到深度合成样本集，最后通过识别模型分类。
Description
技术领域
本申请涉及网络安全技术领域，尤其涉及一种基于深度合成数据的异常检测方法和系统。
背景技术
现有的网络检测方法经常由于样本不均导致漏检或错检，需要考虑网络拓扑结构进行正向建模，根据流量的动态分布合理采集样本，从而更好地提取特征。
因此，急需一种针对性的基于深度合成数据的异常检测方法和系统。
发明内容
本发明的目的在于提供一种基于深度合成数据的异常检测方法和系统，解决现有样本不均导致漏检或错检的问题。
第一方面，本申请提供一种基于深度合成数据的异常检测方法，所述方法包括：
在检测点采集数据包，提取其中携带的第一数据特征；
根据网络中网元之间的交互和流量的路径，构建网络拓扑关系表；
获知发送流量的网元标识和数量，根据该发送流量的网元在所述网络拓扑关系表中的位置，预测流量途径的重要节点，采集该重要节点的数据包，提取其中携带的第二数据特征；
分别对第一数据特征和第二数据特征进行离散化处理，得到降维后的第一样本集和第二样本集；
将所述第一样本集和第二样本集分别送入对抗性网络的两个输入端，由该对抗性网络计算两者之间的差异度，若该差异度大于阈值，则将差异度反馈给网络拓扑关系表，用于调整预测流量途径的节点的重要程度；若该差异度小于等于阈值，则表示捕获成功，将所述第一样本集和第二样本集融合为深度合成样本集；
将所述深度合成样本集送入识别模型，进行分类操作，得出分类结果；
根据所述分类结果进行管控。
第二方面，本申请提供一种基于深度合成数据的异常检测系统，所述系统包括：
第一采集单元，用于在检测点采集数据包，提取其中携带的第一数据特征；
构建单元，用于根据网络中网元之间的交互和流量的路径，构建网络拓扑关系表；
第二采集单元，用于获知发送流量的网元标识和数量，根据该发送流量的网元在所述网络拓扑关系表中的位置，预测流量途径的重要节点，采集该重要节点的数据包，提取其中携带的第二数据特征；
融合单元，用于分别对第一数据特征和第二数据特征进行离散化处理，得到降维后的第一样本集和第二样本集；
将所述第一样本集和第二样本集分别送入对抗性网络的两个输入端，由该对抗性网络计算两者之间的差异度，若该差异度大于阈值，则将差异度反馈给网络拓扑关系表，用于调整预测流量途径的节点的重要程度；若该差异度小于等于阈值，则表示捕获成功，将所述第一样本集和第二样本集融合为深度合成样本集；
分类单元，用于将所述深度合成样本集送入识别模型，进行分类操作，得出分类结果；
执行单元，用于根据所述分类结果进行管控。
第三方面，本申请提供一种基于深度合成数据的异常检测系统，所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面四种可能中任一项所述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面四种可能中任一项所述的方法。
有益效果
本发明提供一种基于深度合成数据的异常检测方法和系统，通过检测点采样和构建网络拓扑建模预测流量途径的重要节点采样两种采样方式，得到两个不同的样本集，将两个样本集输入对抗性网络，计算两者之间的差异度，根据差异度调整流量途径的节点的预测，当该差异度小于等于阈值时表示捕获成功，融合得到深度合成样本集，最后通过识别模型分类，克服了现有技术由于样本不均导致漏检或错检的不足，实现检测的高效性和自动性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于深度合成数据的异常检测方法的大致流程图；
图2为本发明基于深度合成数据的异常检测系统的架构图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
图1为本申请提供的基于深度合成数据的异常检测方法的大致流程图，所述方法包括：
在检测点采集数据包，提取其中携带的第一数据特征；
根据网络中网元之间的交互和流量的路径，构建网络拓扑关系表；
获知发送流量的网元标识和数量，根据该发送流量的网元在所述网络拓扑关系表中的位置，预测流量途径的重要节点，采集该重要节点的数据包，提取其中携带的第二数据特征；
分别对第一数据特征和第二数据特征进行离散化处理，得到降维后的第一样本集和第二样本集；
将所述第一样本集和第二样本集分别送入对抗性网络的两个输入端，由该对抗性网络计算两者之间的差异度，若该差异度大于阈值，则将差异度反馈给网络拓扑关系表，用于调整预测流量途径的节点的重要程度；若该差异度小于等于阈值，则表示捕获成功，将所述第一样本集和第二样本集融合为深度合成样本集；
将所述深度合成样本集送入识别模型，进行分类操作，得出分类结果；
根据所述分类结果进行管控。
在一些优选实施例中，所述将第一样本集和第二样本集融合包括以下任一种：将两个样本集按照对应项目重组，第二样本集按照项目将数据特征插入补齐到第一样本集中，得到所述深度合成样本集；
或，将两个样本集按前后顺序拼接，得到所述深度合成样本集。
在一些优选实施例中，所述预测流量途径的重要节点包括：根据发送流量的网元在所述网络拓扑关系表中位置，确定流量可能流动的若干方向，再根据发送流量的网元的数量，确定若干流量可能交汇的交叉节点，最后根据发送流量的网元类型，确定流量的权重，最终预测出流量途径的重要节点。
从流量可能交汇的交叉节点中，根据流量的权重大小选出流量途径的重要节点，所述重要节点可以是多个流量都要交汇的节点，也可以是权重值排序前列的流量途径的节点。
在流量途径的重要节点处采集数据包，可以弥补现有技术样本不均的问题。
在一些优选实施例中，所述调整预测流量途径的节点的重要程度包括：接收对抗性网络反馈的所述差异度，利用该差异度修正网元类型与流量权重的对应关系，包括增加或降低权重数值。
所述修正网元类型与流量权重的对应关系，可以是将网元类型与更高或更低的权重数值对应起来，也就是改变对应关系，也可以是增加或降低对应权重的数值，也就是改变数值大小。
图2为本申请提供的基于深度合成数据的异常检测系统的架构图，所述系统包括：
第一采集单元，用于在检测点采集数据包，提取其中携带的第一数据特征；
构建单元，用于根据网络中网元之间的交互和流量的路径，构建网络拓扑关系表；
第二采集单元，用于获知发送流量的网元标识和数量，根据该发送流量的网元在所述网络拓扑关系表中的位置，预测流量途径的重要节点，采集该重要节点的数据包，提取其中携带的第二数据特征；
融合单元，用于分别对第一数据特征和第二数据特征进行离散化处理，得到降维后的第一样本集和第二样本集；
将所述第一样本集和第二样本集分别送入对抗性网络的两个输入端，由该对抗性网络计算两者之间的差异度，若该差异度大于阈值，则将差异度反馈给网络拓扑关系表，用于调整预测流量途径的节点的重要程度；若该差异度小于等于阈值，则表示捕获成功，将所述第一样本集和第二样本集融合为深度合成样本集；
分类单元，用于将所述深度合成样本集送入识别模型，进行分类操作，得出分类结果；
执行单元，用于根据所述分类结果进行管控。
本申请提供一种基于深度合成数据的异常检测系统，所述系统包括：所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面所有实施例中任一项所述的方法。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所有实施例中任一项所述的方法。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可以存储有程序，该程序执行时可包括本发明各个实施例中的部分或全部步骤。所述的存储介质可以为磁碟、光盘、只读存储记忆体(简称：ROM)或随机存储记忆体(简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书各个实施例之间相同相似的部分互相参见即可。尤其，对于实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。
Claims (7)
1.一种基于深度合成数据的异常检测方法，其特征在于，所述方法包括：
在检测点采集数据包，提取其中携带的第一数据特征；
根据网络中网元之间的交互和流量的路径，构建网络拓扑关系表；
获知发送流量的网元标识和数量，根据该发送流量的网元在所述网络拓扑关系表中的位置，预测流量途径的重要节点，采集该重要节点的数据包，提取其中携带的第二数据特征；
分别对第一数据特征和第二数据特征进行离散化处理，得到降维后的第一样本集和第二样本集；
将所述第一样本集和第二样本集分别送入对抗性网络的两个输入端，由该对抗性网络计算两者之间的差异度，若该差异度大于阈值，则将差异度反馈给网络拓扑关系表，用于调整预测流量途径的节点的重要程度；若该差异度小于等于阈值，则表示捕获成功，将所述第一样本集和第二样本集融合为深度合成样本集；
将所述深度合成样本集送入识别模型，进行分类操作，得出分类结果；
根据所述分类结果进行管控。
2.根据权利要求1所述的方法，其特征在于：所述将第一样本集和第二样本集融合包括以下任一种：将两个样本集按照对应项目重组，第二样本集按照项目将数据特征插入补齐到第一样本集中，得到所述深度合成样本集；
或，将两个样本集按前后顺序拼接，得到所述深度合成样本集。
3.根据权利要求1所述的方法，其特征在于：所述预测流量途径的重要节点包括：根据发送流量的网元在所述网络拓扑关系表中位置，确定流量可能流动的若干方向，再根据发送流量的网元的数量，确定若干流量可能交汇的交叉节点，最后根据发送流量的网元类型，确定流量的权重，最终预测出流量途径的重要节点。
4.根据权利要求2或3任一项所述的方法，其特征在于：所述调整预测流量途径的节点的重要程度包括：接收对抗性网络反馈的所述差异度，利用该差异度修正网元类型与流量权重的对应关系，包括增加或降低权重数值。
5.一种基于深度合成数据的异常检测系统，其特征在于，所述系统包括：
第一采集单元，用于在检测点采集数据包，提取其中携带的第一数据特征；
构建单元，用于根据网络中网元之间的交互和流量的路径，构建网络拓扑关系表；
第二采集单元，用于获知发送流量的网元标识和数量，根据该发送流量的网元在所述网络拓扑关系表中的位置，预测流量途径的重要节点，采集该重要节点的数据包，提取其中携带的第二数据特征；
融合单元，用于分别对第一数据特征和第二数据特征进行离散化处理，得到降维后的第一样本集和第二样本集；
将所述第一样本集和第二样本集分别送入对抗性网络的两个输入端，由该对抗性网络计算两者之间的差异度，若该差异度大于阈值，则将差异度反馈给网络拓扑关系表，用于调整预测流量途径的节点的重要程度；若该差异度小于等于阈值，则表示捕获成功，将所述第一样本集和第二样本集融合为深度合成样本集；
分类单元，用于将所述深度合成样本集送入识别模型，进行分类操作，得出分类结果；
执行单元，用于根据所述分类结果进行管控。
6.一种基于深度合成数据的异常检测系统，其特征在于，所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行实现权利要求1-4任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行实现权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310761030.3A CN116781546B (zh) | 2023-06-26 | 2023-06-26 | 基于深度合成数据的异常检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310761030.3A CN116781546B (zh) | 2023-06-26 | 2023-06-26 | 基于深度合成数据的异常检测方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116781546A CN116781546A (zh) | 2023-09-19 |
| CN116781546B true CN116781546B (zh) | 2024-02-13 |
Family
ID=88011169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310761030.3A Active CN116781546B (zh) | 2023-06-26 | 2023-06-26 | 基于深度合成数据的异常检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116781546B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408609A (zh) * | 2021-06-17 | 2021-09-17 | 武汉卓尔信息科技有限公司 | 一种网络攻击检测方法及系统 |
| WO2022083226A1 (zh) * | 2020-10-21 | 2022-04-28 | 中兴通讯股份有限公司 | 异常识别方法和系统、存储介质及电子装置 |
| CN115099366A (zh) * | 2022-07-21 | 2022-09-23 | 北京顶象技术有限公司 | 分类预测方法、装置和电子设备 |
| CN115147891A (zh) * | 2021-03-15 | 2022-10-04 | 爱迪德技术有限公司 | 用于生成合成深度数据的系统、方法和存储介质 |
| CN115460056A (zh) * | 2021-06-08 | 2022-12-09 | 中兴通讯股份有限公司 | 网络检测方法、电子设备、计算机可读介质 |
| CN116170227A (zh) * | 2023-02-24 | 2023-05-26 | 北京邮电大学 | 一种流量异常的检测方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230065385A1 (en) * | 2021-08-26 | 2023-03-02 | Sk Planet Co., Ltd. | Apparatus and method for anomaly detection |
-
2023
- 2023-06-26 CN CN202310761030.3A patent/CN116781546B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022083226A1 (zh) * | 2020-10-21 | 2022-04-28 | 中兴通讯股份有限公司 | 异常识别方法和系统、存储介质及电子装置 |
| CN115147891A (zh) * | 2021-03-15 | 2022-10-04 | 爱迪德技术有限公司 | 用于生成合成深度数据的系统、方法和存储介质 |
| CN115460056A (zh) * | 2021-06-08 | 2022-12-09 | 中兴通讯股份有限公司 | 网络检测方法、电子设备、计算机可读介质 |
| CN113408609A (zh) * | 2021-06-17 | 2021-09-17 | 武汉卓尔信息科技有限公司 | 一种网络攻击检测方法及系统 |
| CN115099366A (zh) * | 2022-07-21 | 2022-09-23 | 北京顶象技术有限公司 | 分类预测方法、装置和电子设备 |
| CN116170227A (zh) * | 2023-02-24 | 2023-05-26 | 北京邮电大学 | 一种流量异常的检测方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于LSTM的动态网络异常行为检测方法;孙先亮，谭小波;沈阳理工大学学报;20211210;第2021，40卷(第6期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116781546A (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103117903B (zh) | 上网流量异常检测方法及装置 | |
| US10361923B2 (en) | Method and device for discovering network topology | |
| US20230146912A1 (en) | Method, Apparatus, and Computing Device for Constructing Prediction Model, and Storage Medium | |
| CN109587000B (zh) | 基于群智网络测量数据的高延迟异常检测方法及系统 | |
| CN111782491A (zh) | 一种磁盘故障预测方法、装置、设备及存储介质 | |
| CN109088903A (zh) | 一种基于流式的网络异常流量检测方法 | |
| CN111181800A (zh) | 测试数据处理方法、装置、电子设备及存储介质 | |
| CN108234452B (zh) | 一种网络数据包多层协议识别的系统和方法 | |
| CN106649344B (zh) | 一种网络日志压缩方法和装置 | |
| US7913209B1 (en) | Determining a cycle basis of a directed graph | |
| CN114785548A (zh) | 基于加权自适应集成学习的虚拟流量异常检测方法、系统及流量智能监测平台 | |
| CN116781546B (zh) | 基于深度合成数据的异常检测方法和系统 | |
| CN112235254B (zh) | 一种高速主干网中Tor网桥的快速识别方法 | |
| US11184282B1 (en) | Packet forwarding in a network device | |
| CN111431872B (zh) | 一种基于tcp/ip协议特征的两阶段物联网设备识别方法 | |
| Mohan et al. | Location based cloud resource management for analyzing real-time videos from globally distributed network cameras | |
| CN109446398A (zh) | 智能检测网络爬虫行为的方法、装置以及电子设备 | |
| KR101535716B1 (ko) | 데이터 마이닝을 이용한 공격 탐지 장치 및 방법 | |
| CN115767601A (zh) | 一种基于多维数据的5gc网元自动化纳管方法及装置 | |
| CN112311679B (zh) | 状态检测方法、装置、电子设备及可读存储介质 | |
| CN113298125B (zh) | 基于特征选择的物联网设备流量异常检测方法、装置及存储介质 | |
| CN114169623A (zh) | 一种电力设备故障分析方法、装置、电子设备及存储介质 | |
| CN114362972B (zh) | 一种基于流量摘要和图采样的僵尸网络混合检测方法及系统 | |
| CN116843907B (zh) | 基于深度学习的增强和目标检测方法和系统 | |
| CN111654413A (zh) | 一种网络流量有效测量点的选取方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |