CN115914022A - 基于网络流量的应用关系分析方法、系统、设备及介质 - Google Patents
基于网络流量的应用关系分析方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN115914022A CN115914022A CN202211466484.XA CN202211466484A CN115914022A CN 115914022 A CN115914022 A CN 115914022A CN 202211466484 A CN202211466484 A CN 202211466484A CN 115914022 A CN115914022 A CN 115914022A
- Authority
- CN
- China
- Prior art keywords
- data
- application
- data packet
- fingerprint
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 37
- 230000002776 aggregation Effects 0.000 claims abstract description 43
- 238000004220 aggregation Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 230000002688 persistence Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 2
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 238000012423 maintenance Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007728 cost analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请实施例提供基于网络流量的应用关系分析方法、系统、设备及介质，包括：S10，监听网络流量信息并采集；S20，对采集的流量数据进行数据包过滤、数据包去重和数据包聚合处理，得到流量聚合数据；S30，将流量聚合数据导入数据库进行持久化，并以此作为应用关系分析的基础数据；S40，对数据库中的数据进行协议类型识别及统计、应用识别及统计，以及未知应用的识别及统计；获取在指定时间范围内，协议类型的流量占比、指定应用名称或应用类型的流量排行以及未知应用的统计及标记；能够有效降低操作难度，适用于计算机领域。
Description
技术领域
本申请涉及计算机领域，具体涉及基于网络流量的应用关系分析方法、系统、设备及介质。
背景技术
随着计算机技术的不断发展，计算机网络已经成为信息时代的重要特征，以计算机和网络通信技术为特征的信息技术在各个领域得到了广泛应用，如：将信息技术与运维工作相结合，能够大大提高设备运维工作的便利性。
相关技术中，计算机网络中的数据传输都是以数据包的形式进行传输，传统网络运维工作中分析流量数据包采用的手段是：使用抓包软件抓包，再将数据包导出通过抓包分析软件分析，操作难度大，对运维人员素质要求较高，只能进行少量的流量抓取，分析，不便于大量数据的分析工作。
发明内容
为了解决上述技术缺陷之一，本申请实施例中提供了基于网络流量的应用关系分析方法、系统、设备及介质，能够降低实时传输数据量大的压力，有效降低操作难度。
根据本申请实施例的第一个方面，提供了基于网络流量的应用关系分析方法，包括以下步骤：
S10，监听网络流量信息并采集；
S20，对采集的流量数据进行数据包过滤、数据包去重和数据包聚合处理，得到流量聚合数据；
S30，将流量聚合数据导入数据库进行持久化，并以此作为应用关系分析的基础数据；
S40，对数据库中的数据进行协议类型识别及统计、应用识别及统计，以及未知应用的识别及统计；获取在指定时间范围内，协议类型的流量占比、指定应用名称或应用类型的流量排行以及未知应用的统计及标记。
根据本申请实施例的第二个方面，提供了基于网络流量的应用关系分析系统，包括：
采集模块，用于监听网络流量信息并采集；
数据处理模块，用于对采集的流量数据进行数据包过滤、数据包去重和数据包聚合处理，得到流量聚合数据；
存储模块，将流量聚合数据导入数据库进行持久化，并以此作为应用关系分析的基础数据；
分析模块，对数据库中的数据进行协议类型识别及统计、应用识别及统计，以及未知应用的识别及统计；获取在指定时间范围内，协议类型的流量占比、指定应用名称或应用类型的流量排行以及未知应用的统计及标记。
根据本申请实施例的第三个方面，提供了一种电子设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如上所述的基于网络流量的应用关系分析方法。
根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行以实现如上所述的基于网络流量的应用关系分析方法。
采用本申请实施例中提供的技术方案，具有以下技术效果：
本申请中，通过对采集的流量数据进行数据包过滤、数据包去重和数据包聚合处理，得到流量聚合数据，降低实时传输数据量大的压力，方便以较低的代价分析数据，实用性极强。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的基于网络流量的应用关系分析方法的流程示意图；
图2为本申请实施例中步骤S20的流程示意图；
图3为本申请实施例中步骤S204的流程示意图；
图4为本申请实施例中步骤S205的流程示意图；
图5为本申请实施例中步骤S40的流程示意图；
图6为本申请实施例中黑/白名单的映射关系示意图；
图7为本申请实施例提供的基于网络流量的应用关系分析系统的结构示意图；
图中：
10为采集模块，20为数据处理模块，30为存储模块，40为分析模块。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在实现本申请的过程中，发明人发现，现有技术中通过抓包分析软件分析，只能进行少量的流量抓取，分析，不便于大量数据的分析工作。
鉴于此，本申请实施例中提供了基于网络流量的应用关系分析方法、系统、设备及介质，能够缓解实时传输数据量大的压力。
以下以通过具体的实施例对本申请的技术方案方案进行说明。
实施例一
如图1所示，基于网络流量的应用关系分析方法，包括以下步骤：
S10，监听网络流量信息并采集；
S20，对采集的流量数据进行数据包过滤、数据包去重和数据包聚合处理，得到流量聚合数据；
S30，将流量聚合数据导入数据库进行持久化，并以此作为应用关系分析的基础数据；
S40，对数据库中的数据进行协议类型识别及统计、应用识别及统计，以及未知应用的识别及统计；获取在指定时间范围内，协议类型的流量占比、指定应用名称或应用类型的流量排行以及未知应用的统计及标记。
本实施例中，所述监听网络流量信息并采集，可通过对网络设备的流量镜像，将流量镜像到采集服务器的指定网卡，具体为：使用pcap4j工具库，基于java语言搭建流量采集探针服务，对服务器网卡进行监听，实现对数据包的捕获，从而采集到流量数据。
本申请中，通过对采集的流量数据进行数据包过滤、数据包去重和数据包聚合处理，得到流量聚合数据，解决实时传输数据量大的压力，方便以较低的代价分析数据，实现了自动化采集、分析流量数据的目的。
如图2所示，所述步骤S20中，对采集的流量数据进行数据包过滤、数据包去重和数据包聚合处理，包括：
S201，判断采集的数据是否为指定协议类型的数据包，如是，则执行步骤S202，否则，过滤掉该数据包；
S202，提取数据包信息，获取待分析字段信息；
S203，将提取的数据包信息放入待处理消息队列中；
S204，在待处理消息队列中拉取数据包信息，通过数据包指纹对数据包进行指定时间范围的去重，过滤掉重复数据包，并将滤重后的数据包加入到去重结果队列；
S205，将去重结果队列中的数据包进行聚合运算，得到流量聚合数据；
其中，所述待分析字段信息包括：数据包去重和数据包聚合所需的字段信息。
本实施例中，所述步骤S201，判断采集的数据是否为指定协议类型的数据包中，所述的指定协议类型可为：TCP协议、UDP协议。
具体地，如图3所示，所述步骤S204，包括：
S2041，初始化全局数据包指纹对象延时队列；
所述的全局数据包指纹对象延时队列用于暂存数据包指纹对，对数据包指纹对象去重时进行过期时间控制；
S2042，初始化清理全局数据包指纹队列任务线程，以清理过期缓存任务。
S2043，初始化全局数据包指纹缓存容器；
其中，所述数据包指纹缓存容器为key-value结构，key为数据包指纹对象，value为固定空值；
S2044，监听数据包指纹队列的数据包，若，未监听到数据包，则继续循环监听；否则，执行步骤S2045；
S2045，拉取数据包指纹队列中的数据包，并包装数据包指纹对象，从数据包中提取指纹对象信息；
其中，所述数据包指纹对象信息包括：源/目的地ip、源/目的地端口号、协议类型、payload hash、ip校验和、UDP数据报文长度、UDP校验和、TCP ACK序号、TCP SEQ序号、TCPFLAG信息、数据包长度；
S2046，检查数据包指纹缓存容器的key集合是否包含当前数据包的指纹对象，若包含，则过滤掉重复的数据包，否则，将数据包指纹缓存对象作为key，value为固定空值存储到指纹缓存容器内；
S2047，设定延时时间，将数据包指纹对象添加到指纹对象延时队列；以及将滤重后的数据包加入到去重结果队列；
所述的延时时间的单位为毫秒，一般设置为200；
S2048，清理全局数据包指纹缓存容器任务运行；包括：
S2048-1，判断指纹对象延时队列中的指纹对象停留时间是否超过设定的延时时间，若超过，则执行步骤S2048-2，否则，继续判断指纹对象延时队列中的指纹对象停留时间是否超过设定的延时时间；
S2048-2，拉取出指纹对象，并以指纹对象为key，从指纹缓存容器中删除与之对应的记录。
数据包指纹缓存容器在任务初始化后，将一直保持运行状态；判定指纹对象延时队列中的指纹对象停留时间是否超过延时时间(delay)，如果没有超过delay时间，继续循环检查指纹对象停留时间是否超过delay，否则拉取出指纹对象；以指纹对象为key从指纹对象缓存容器删除与之对应的记录，达到基于时间范围内数据包去重。
本实施例中，在上述采集网络流量信息的过程中，可能将多个中转设备的流量全部镜像过来，存在数据包重复，需要对重复的数据包进行去重；去重的过程可为：从待处理消息队列主动拉取数据包信息，根据指定时间周期(如200ms)，通过数据包指纹进行时间范围去重；通过使用延时队列和线程安全的哈希表来解决指定时间范围的数据去重。
本实施例中，由于流量数据量大，实时传输流量包数据进行统一的计算对软、硬件要求较高，故而使用本地聚合运算，减少数据传输。
如图4所示，所述步骤S205，包括：
S2051，设定全局变量容器切换开关值；所述全局变量容器切换开关用于控制两个缓存容器的切换使用，以使两个缓存容器交替使用；
S2052，启动定时任务，以使每个定时周期执行一次结果导出任务；
S2053，监听去重结果队列的数据包，若，未监听到数据包，则继续循环监听；否则，执行步骤S2054；
S2054，拉取去重结果队列中的数据包，并提取数据包的分组KEY；
其中，分组KEY通过源/目的地ip、目的地端口号、协议类型的组合作为分组的依据；
S2055，判断全局变量容器切换开关值，若开关值为1，则选择缓存容器A作为当前计算容器，否则，选择缓存容器B作为当前计算容器；
S2056，判断选择的缓存容器中是否存在当前数据包的分组KEY，若存在，则，取出分组key对应的缓存值，所述缓存值包括：数据包个数、数据包长度；并在缓存值对应的数据包个数进行加1操作，以及将缓存值对应的数据包长度与当前数据包的数据包长度进行相加；否则，将数据包个数计数为1，并将数据包长度计数为当前数据包的数据长度；
S2057，将计算后的数据包个数、数据包长度，按照KEY-value结构，保存至当前缓存计算容器内；其中，KEY为分组KEY，value为数据包个数、数据包长度；
S2058，执行定时任务，包括：
S2058-1，判断是否达到预设任务周期，若达到，则执行步骤S2058-2，否则，继续判断是否达到预设任务周期；
S2058-2，判断全局变量容器切换开关值是否为s＝1，若是，则将开关值修改为s＝0，否则，将开关值修改为s＝1；
S2058-3，判断当前的全局容器切换开关值，若S＝1，则，复制缓存容器B数据；否则，复制缓存容器A数据；
S2058-4，清空已复制缓存容器中的数据；
S2058-5，整理复制的缓存数据，得到流量聚合数据。
本实施例中，由于流量数据量大，实时传输流量包数据进行统一的计算对软、硬件要求较高，因此，本申请使用本地分组聚合运算，减少数据传输；通过数据分组，将一段时间内(如：10分钟)的聚合运算结果导出，形成10分钟聚合数据，每隔10分钟汇聚形成流量聚合统计结果。
具体地，可使用源/目的地ip、目的地端口号、协议类型的组合作为分组KEY，对流量数据进行分组，将数据包个数、数据包长度按照分组KEY进行累加操作，并使用定时器每隔10分钟将本地的计算结果导出，定期将聚合结果发送到消息中间件；之后，清空中间计算结果缓存，切换到下一轮的计算流程，循环往复计算。
本申请中，通过定期将聚合结果发送到消息中间件，将流量聚合数据导入数据库进行持久化，并以此作为应用关系分析的基础数据；其中，所述的数据库中可基于时间对聚合后的流量数据进行分区保存。
实施例二
如图5所示，基于网络流量的应用关系分析方法，所述步骤S40，包括：
S401，读取数据库中的一条数据；
S402，判断当前数据是否指定时间范围，如是，则对该数据的指定时间范围赋值，否则，该数据的时间范围为空；
S403，判断对当前数据是否指定应用类型，如是，则获取预先配置的黑白名单信息，否则，无需获取预先配置的黑白名单信息；
S404，根据黑白名单信息，获取当前数据对应的应用信息；
循环执行步骤S401～S404，获取所有数据的应用信息；
S405，响应于用户的协议统计请求，执行所有数据的协议统计，获取协议类型的流量占比；
S406，响应于用户的应用统计请求，执行所有数据的应用统计，获取指定应用名称或应用类型的流量排行；以及获取未知应用的流量占比；
S407，响应于用户的应用数据统计请求，执行所有数据的应用数据统计，根据当前时间范围参数及应用类型参数，对同一端口和同一协议类型的应用进行分组，统计分组内应用的流量大小，并根据流量大小进行排序。
本实施例中，通过执行协议统计，根据协议类型(如：TCP、UDP)获取指定时间范围内且对应的应用名称或类型的TCP/UDP流量数据大小占比，便于过滤筛选正常、异常流量；为后续应用分析提供数据支撑；
通过执行应用统计请求，根据应用名称获取指定时间范围及指定应用类型(黑名单/白名单)的流量排行数据，结合黑白名单映射关系，可对流量进行打应用标签，从而显示应用信息，以及进行标签分类(已知白名单应用、黑名单应用、未知应用Unknown_App)；同时可以展示各应用的流量占比；通过流量排行的展示，有利于运维人员跟进网络流量异常趋势情况；
通过执行应用数据统计，可根据当前时间范围参数及应用类型参数(若应用类型非空，需获取对应应用类型的端口及协议类型数据用于筛选)，对同一端口和同一协议类型的应用分组，统计分组内应用的流量大小，并根据流量大小进行排序；该处的排序与应用统计请求中流量排行与不同之处在于：
应用数据统计中的应用包括未知应用，且未知应用是逐个展示的；而应用统计请求中是将所有未知应用忽聚到了一起；本实施例中，通过应用明细数据的展示，能够发现未知应用对应的ip、协议类型、服务端口号，便于通过标记的方式不断完善未知应用，提升未知应用识别率。
本申请，通过分析不同协议类型(TCP/UDP)的流量占比，感知应用的流量排行占比，分析应用流量的详细数据工作；从而实现感知协议占比、整体应用流量排行，流量异常态势，实现应用数据细化分析，应用流量标记完善。
如图6所示，本实施例中，所述步骤S403中，预先配置的黑白名单信息包括：
将应用名称、端口号、应用协议名称，通过映射关系，分别形成黑名单应用的映射信息及白名单应用的映射信息；
其中，映射关系为：通过端口号及应用协议名称生成唯一标志码，将该唯一标志码作为键值Key，将对应的应用名称作为VALUE信息。
此外，为运维人员提高工作效率，还可定期维护黑、白名单可以识别流量异常态势，方便运维人员感知流量变化。
此外，本申请中，还可通过据黑、白名单应用映射关系，通过设置应用名称检索条件、应用类型(正常、异常ip)筛选等方式，缩小数据查询范围，快速响应，做精细化查询，与传统的全量数据检索；如果设置了应用类型(正常、异常ip)筛选，使用黑白名单映射关系，也可以做精细化查询，提升查询效率。
如图7所示，基于同一构思，本申请实施例还提供了基于网络流量的应用关系分析系统，包括：
采集模块10，用于监听网络流量信息并采集；
数据处理模块20，用于对采集的流量数据进行数据包过滤、数据包去重和数据包聚合处理，得到流量聚合数据；
存储模块30，将流量聚合数据导入数据库进行持久化，并以此作为应用关系分析的基础数据；
分析模块40，对数据库中的数据进行协议类型识别及统计、应用识别及统计，以及未知应用的识别及统计；获取在指定时间范围内，协议类型的流量占比、指定应用名称或应用类型的流量排行以及未知应用的统计及标记。
其中，方法和系统是基于同一发明构思的，由于方法及系统解决问题的原理相似，因此系统与方法的实施可以相互参见，重复之处不再赘述。
本申请实施例还提供了一种电子设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如上所述的基于网络流量的应用关系分析方法。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行以实现如上所述的基于网络流量的应用关系分析方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，C语言、VHDL语言、Verilog语言、面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (9)
1.基于网络流量的应用关系分析方法，其特征在于，包括以下步骤：
S10，监听网络流量信息并采集；
S20，对采集的流量数据进行数据包过滤、数据包去重和数据包聚合处理，得到流量聚合数据；
S30，将流量聚合数据导入数据库进行持久化，并以此作为应用关系分析的基础数据；
S40，对数据库中的数据进行协议类型识别及统计、应用识别及统计，以及未知应用的识别及统计；获取在指定时间范围内，协议类型的流量占比、指定应用名称或应用类型的流量排行以及未知应用的统计及标记。
2.根据权利要求1所述的基于网络流量的应用关系分析方法，其特征在于，所述步骤S20中，对采集的流量数据进行数据包过滤、数据包去重和数据包聚合处理，包括：
S201，判断采集的数据是否为指定协议类型的数据包，如是，则执行步骤S202，否则，过滤掉该数据包；
S202，提取数据包信息，获取待分析字段信息；
S203，将提取的数据包信息放入待处理消息队列中；
S204，在待处理消息队列中拉取数据包信息，通过数据包指纹对数据包进行指定时间范围的去重，过滤掉重复数据包，并将滤重后的数据包加入到去重结果队列；
S205，将去重结果队列中的数据包进行聚合运算，得到流量聚合数据；
其中，所述待分析字段信息包括：数据包去重和数据包聚合所需的字段信息。
3.根据权利要求2所述的基于网络流量的应用关系分析方法，其特征在于，所述步骤S204，包括：
S2041，初始化全局数据包指纹对象延时队列；
S2042，初始化清理全局数据包指纹队列任务线程；
S2043，初始化全局数据包指纹缓存容器；
其中，所述数据包指纹缓存容器为key-value结构，key为数据包指纹对象，value为固定空值；
S2044，监听数据包指纹队列的数据包，若，未监听到数据包，则继续循环监听；否则，执行步骤S2045；
S2045，拉取数据包指纹队列中的数据包，并包装数据包指纹对象，从数据包中提取指纹对象信息；
其中，所述数据包指纹对象信息包括：源/目的地ip、源/目的地端口号、协议类型、payload hash、ip校验和、UDP数据报文长度、UDP校验和、TCP ACK序号、TCP SEQ序号、TCPFLAG信息、数据包长度；
S2046，检查数据包指纹缓存容器的key集合是否包含当前数据包的指纹对象，若包含，则过滤掉重复的数据包，否则，将数据包指纹缓存对象作为key，value为固定空值存储到指纹缓存容器内；
S2047，设定延时时间，将数据包指纹对象添加到指纹对象延时队列；以及将滤重后的数据包加入到去重结果队列；
S2048，清理全局数据包指纹缓存容器任务运行；包括：
S2048-1，判断指纹对象延时队列中的指纹对象停留时间是否超过设定的延时时间，若超过，则执行步骤S2048-2，否则，继续判断指纹对象延时队列中的指纹对象停留时间是否超过设定的延时时间；
S2048-2，拉取出指纹对象，并以指纹对象为key，从指纹缓存容器中删除与之对应的记录。
4.根据权利要求2所述的基于网络流量的应用关系分析方法，其特征在于，所述步骤S205，包括：
S2051，设定全局变量容器切换开关值；所述全局变量容器切换开关用于控制两个缓存容器的切换使用，以使两个缓存容器交替使用；
S2052，启动定时任务，以使每个定时周期执行一次结果导出任务；
S2053，监听去重结果队列的数据包，若，未监听到数据包，则继续循环监听；否则，执行步骤S2054；
S2054，拉取去重结果队列中的数据包，并提取数据包的分组KEY；
其中，分组KEY通过源/目的地ip、目的地端口号、协议类型的组合作为分组的依据；
S2055，判断全局变量容器切换开关值，若开关值为1，则选择缓存容器A作为当前计算容器，否则，选择缓存容器B作为当前计算容器；
S2056，判断选择的缓存容器中是否存在当前数据包的分组KEY，若存在，则，取出分组key对应的缓存值，所述缓存值包括：数据包个数、数据包长度；并在缓存值对应的数据包个数进行加1操作，以及将缓存值对应的数据包长度与当前数据包的数据包长度进行相加；否则，将数据包个数计数为1，并将数据包长度计数为当前数据包的数据长度；
S2057，将计算后的数据包个数、数据包长度，按照KEY-value结构，保存至当前缓存计算容器内；其中，KEY为分组KEY，value为数据包个数、数据包长度；
S2058，执行定时任务，包括：
S2058-1，判断是否达到预设任务周期，若达到，则执行步骤S2058-2，否则，继续判断是否达到预设任务周期；
S2058-2，判断全局变量容器切换开关值是否为s＝1，若是，则将开关值修改为s＝0，否则，将开关值修改为s＝1；
S2058-3，判断当前的全局容器切换开关值，若S＝1，则，复制缓存容器B数据；否则，复制缓存容器A数据；
S2058-4，清空已复制缓存容器中的数据；
S2058-5，整理复制的缓存数据，得到流量聚合数据。
5.根据权利要求1所述的基于网络流量的应用关系分析方法，其特征在于，所述步骤S40，包括：
S401，读取数据库中的一条数据；
S402，判断当前数据是否指定时间范围，如是，则对该数据的指定时间范围赋值，否则，该数据的时间范围为空；
S403，判断对当前数据是否指定应用类型，如是，则获取预先配置的黑白名单信息，否则，无需获取预先配置的黑白名单信息；
S404，根据黑白名单信息，获取当前数据对应的应用信息；
循环执行步骤S401～S404，获取所有数据的应用信息；
S405，响应于用户的协议统计请求，执行所有数据的协议统计，获取协议类型的流量占比；
S406，响应于用户的应用统计请求，执行所有数据的应用统计，获取指定应用名称或应用类型的流量排行；以及获取未知应用的流量占比；
S407，响应于用户的应用数据统计请求，执行所有数据的应用数据统计，根据当前时间范围参数及应用类型参数，对同一端口和同一协议类型的应用进行分组，统计分组内应用的流量大小，并根据流量大小进行排序。
6.根据权利要求5所述的基于网络流量的应用关系分析方法，其特征在于，所述步骤S403中，预先配置的黑白名单信息包括：
将应用名称、端口号、应用协议名称，通过映射关系，分别形成黑名单应用的映射信息及白名单应用的映射信息；
其中，映射关系为：通过端口号及应用协议名称生成唯一标志码，将该唯一标志码作为键值Key，将对应的应用名称作为VALUE信息。
7.基于网络流量的应用关系分析系统，其特征在于，包括：
采集模块(10)，用于监听网络流量信息并采集；
数据处理模块(20)，用于对采集的流量数据进行数据包过滤、数据包去重和数据包聚合处理，得到流量聚合数据；
存储模块(30)，将流量聚合数据导入数据库进行持久化，并以此作为应用关系分析的基础数据；
分析模块(40)，对数据库中的数据进行协议类型识别及统计、应用识别及统计，以及未知应用的识别及统计；获取在指定时间范围内，协议类型的流量占比、指定应用名称或应用类型的流量排行以及未知应用的统计及标记。
8.一种电子设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1至6任一项所述的基于网络流量的应用关系分析方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；所述计算机程序被处理器执行以实现如权利要求1至6任一项所述的基于网络流量的应用关系分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211466484.XA CN115914022B (zh) | 2022-11-22 | 2022-11-22 | 基于网络流量的应用关系分析方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211466484.XA CN115914022B (zh) | 2022-11-22 | 2022-11-22 | 基于网络流量的应用关系分析方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115914022A true CN115914022A (zh) | 2023-04-04 |
| CN115914022B CN115914022B (zh) | 2024-09-20 |
Family
ID=86476280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211466484.XA Active CN115914022B (zh) | 2022-11-22 | 2022-11-22 | 基于网络流量的应用关系分析方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115914022B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116471212A (zh) * | 2023-04-17 | 2023-07-21 | 安芯网盾(北京)科技有限公司 | 一种基于业务类型的网络流量数据处理方法及系统 |
| CN116599865A (zh) * | 2023-05-17 | 2023-08-15 | 广州天懋信息系统股份有限公司 | 分布式流量去重统计方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103580955A (zh) * | 2013-10-31 | 2014-02-12 | 赛尔网络有限公司 | 一种基于多节点流量数据去重的大流量ip分析系统及方法 |
| CN110166418A (zh) * | 2019-03-04 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 攻击检测方法、装置、计算机设备和存储介质 |
| CN111182069A (zh) * | 2019-12-31 | 2020-05-19 | 上海途鸽数据科技有限公司 | 云通信应用场景下通信方法和装置 |
| CN112788062A (zh) * | 2021-01-29 | 2021-05-11 | 湖南大学 | SDN中基于ET-EDR的LDoS攻击检测与缓解方法 |
| CN112953971A (zh) * | 2021-04-01 | 2021-06-11 | 长扬科技（北京）有限公司 | 一种网络安全流量入侵检测方法和系统 |
| CN113055127A (zh) * | 2021-03-17 | 2021-06-29 | 网宿科技股份有限公司 | 数据报文去重与传输方法、电子设备及存储介质 |
| US20210365296A1 (en) * | 2020-05-19 | 2021-11-25 | EMC IP Holding Company LLC | Systems and methods for controller-worker architecture for searching a storage system |
-
2022
- 2022-11-22 CN CN202211466484.XA patent/CN115914022B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103580955A (zh) * | 2013-10-31 | 2014-02-12 | 赛尔网络有限公司 | 一种基于多节点流量数据去重的大流量ip分析系统及方法 |
| CN110166418A (zh) * | 2019-03-04 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 攻击检测方法、装置、计算机设备和存储介质 |
| CN111182069A (zh) * | 2019-12-31 | 2020-05-19 | 上海途鸽数据科技有限公司 | 云通信应用场景下通信方法和装置 |
| US20210365296A1 (en) * | 2020-05-19 | 2021-11-25 | EMC IP Holding Company LLC | Systems and methods for controller-worker architecture for searching a storage system |
| CN112788062A (zh) * | 2021-01-29 | 2021-05-11 | 湖南大学 | SDN中基于ET-EDR的LDoS攻击检测与缓解方法 |
| CN113055127A (zh) * | 2021-03-17 | 2021-06-29 | 网宿科技股份有限公司 | 数据报文去重与传输方法、电子设备及存储介质 |
| CN112953971A (zh) * | 2021-04-01 | 2021-06-11 | 长扬科技（北京）有限公司 | 一种网络安全流量入侵检测方法和系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116471212A (zh) * | 2023-04-17 | 2023-07-21 | 安芯网盾(北京)科技有限公司 | 一种基于业务类型的网络流量数据处理方法及系统 |
| CN116471212B (zh) * | 2023-04-17 | 2023-11-14 | 安芯网盾(北京)科技有限公司 | 一种基于业务类型的网络流量数据处理方法及系统 |
| CN116599865A (zh) * | 2023-05-17 | 2023-08-15 | 广州天懋信息系统股份有限公司 | 分布式流量去重统计方法、装置、设备及存储介质 |
| CN116599865B (zh) * | 2023-05-17 | 2024-05-24 | 广州天懋信息系统股份有限公司 | 分布式流量去重统计方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115914022B (zh) | 2024-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115914022B (zh) | 基于网络流量的应用关系分析方法、系统、设备及介质 | |
| US20140201332A1 (en) | Computer system | |
| CN108521339B (zh) | 一种基于集群日志的反馈式节点故障处理方法及系统 | |
| CN106815125A (zh) | 一种日志审计方法及平台 | |
| CN111538563A (zh) | 一种对Kubernetes的事件分析方法及装置 | |
| CN112446395A (zh) | 网络摄像机、视频监控系统及方法 | |
| CN109033188A (zh) | 一种元数据采集方法、装置、服务器和计算机可读介质 | |
| CN106909492B (zh) | 业务数据的追踪方法及装置 | |
| CN111339052A (zh) | 一种非结构化日志数据处理方法及装置 | |
| CN116755891B (zh) | 基于多线程的事件队列处理方法和系统 | |
| CN108964967A (zh) | 一种对cdn加速服务进行智能监控与分析的方法和系统 | |
| CN111338888B (zh) | 一种数据统计方法、装置、电子设备及存储介质 | |
| CN115269438A (zh) | 针对图像处理算法的自动化测试方法及装置 | |
| EP3511830A1 (en) | Method for monitoring devices in a network, computerized system and application program interface | |
| CN106227644A (zh) | 一种海量信息处理装置 | |
| CN111461630B (zh) | 派送快递包裹的监控方法、装置、设备及存储介质 | |
| CN103530369A (zh) | 一种去重方法及系统 | |
| CN112836124A (zh) | 一种画像数据获取方法、装置、电子设备及存储介质 | |
| CN112822289A (zh) | 数据上传读取方法、系统、设备及存储介质 | |
| CN111651410B (zh) | 一种样本数据的动态平衡方法及系统 | |
| CN111176950A (zh) | 一种监控服务器集群的网卡的方法和设备 | |
| CN109446398A (zh) | 智能检测网络爬虫行为的方法、装置以及电子设备 | |
| CN111258874A (zh) | 一种基于web数据的用户操作轨迹分析方法及装置 | |
| CN110022343A (zh) | 自适应事件聚合 | |
| CN111666428B (zh) | 网络媒体传播力评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |