CN115118632A - 一种基于云网融合的主机丢包自动检测方法 - Google Patents
一种基于云网融合的主机丢包自动检测方法 Download PDFInfo
- Publication number
- CN115118632A CN115118632A CN202210704444.8A CN202210704444A CN115118632A CN 115118632 A CN115118632 A CN 115118632A CN 202210704444 A CN202210704444 A CN 202210704444A CN 115118632 A CN115118632 A CN 115118632A
- Authority
- CN
- China
- Prior art keywords
- data packet
- data
- packet
- packet loss
- collection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 title claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 38
- 230000010354 integration Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000027455 binding Effects 0.000 claims description 4
- 238000009739 binding Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 4
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- OHKOGUYZJXTSFX-KZFFXBSXSA-N ticarcillin Chemical compound C=1([C@@H](C(O)=O)C(=O)N[C@H]2[C@H]3SC([C@@H](N3C2=O)C(O)=O)(C)C)C=CSC=1 OHKOGUYZJXTSFX-KZFFXBSXSA-N 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
- H04L43/0829—Packet loss
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供了一种基于云网融合的主机丢包自动检测方法，所述基于云网融合的主机丢包自动检测方法，包括：数据包特征设置，主机数据包采集，虚拟网络数据包采集，虚拟机数据包采集，数据包采集数据分析，展示丢包分析结果。在云网融合服务器上提供了高效的、自动化的丢包检测方法和工具，能够解决云网融合环境中，由于服务器上承载虚拟网络，虚拟机等多种多样的功能，导致数据包传输路径复杂，问题定位困难的问题。
Description
技术领域
本申请涉及丢包检测技术领域，具体涉及一种基于云网融合的主机丢包自动检测方法。
背景技术
云网融合，是云计算中引入网络的技术，通信网中引入云计算的技术。业务需求和技术创新并行驱动加速网络架构发生深刻变革，云和网高度协同，不再各自独立。云网融合已经成为云计算领域的发展趋势。云计算业务的开展需要强大的网络能力支撑，网络资源的优化同样要借鉴云计算的理念，云网融合的概念应运而生。云网融合是基于业务需求和技术创新并行驱动带来的网络架构深刻变革，使得云和网高度协同，互为支撑，互为借鉴的一种概念模式，同时要求承载网络可根据各类云服务需求按需开放网络能力，实现网络与云的敏捷打通、按需互联，并体现出智能化、自服务、高速、灵活等特性。云网融合的服务能力是基于云专网提供云接入与基础连接能力，通过与云服务商的云平台结合对外提供覆盖不同场景的云网产品，并与其他类型的云服务(如计算、存储、安全类云服务)深度结合，最终延伸至具体的行业应用场景，并形成复合型的云网融合解决方案。
云网融合不仅能应用于数据中心，也可以应用于5G核心网，移动边缘计算(MobileEdge Computing，MEC)，从而创造出一个具备高性能、低延迟与高带宽的电信级服务环境，加速网络中各项内容、服务及应用的快速下载，让消费者享有不间断的高质量网络体验。
现有技术中存在以下问题：云网融合服务器既包含的传统的操作系统，又要支持虚拟化技术，包括网络虚拟化，计算虚拟化等。在如此复杂的服务器上经常发生网络丢包的现象，传统的人工使用不同工具排查问题的方式非常困难，非常耗时。
发明内容
为了解决上述技术问题，本申请提供了一种基于云网融合的主机丢包自动检测方法，该方法包括数据包特征设置，主机数据包采集，虚拟网络数据包采集，虚拟机数据包采集，数据包采集数据分析，展示丢包分析结果这几部分。
本申请所采用的技术方案如下：
一种基于云网融合的主机丢包自动检测方法，该方法包括如下步骤：
步骤1、进行数据包特征值设置，并设置采集数据包的关键节点；
步骤2、在云网融合主机的网卡上采集数据包，并存储采集的所述数据包；
步骤3、对所述数据包进行分析，如果没有采集到所述数据包，则标记所述数据包为丢包，分析原因并进行记录，可视化丢包结果展示。
进一步的，所述采集数据包的关键节点包括主机采集关键节点、虚拟网络采集关键节点以及虚拟机采集关键节点。
进一步的，通过如下方式中的任意一种来实现主机采集关键节点的数据采集：使用Linux操作系统自带的抓包工具tcpdump在物理网卡或物理网卡捆绑上抓包，或者自定义其他抓包工具；或者，通过netstat观察丢包计数；或者，使用dropwatch工具进行抓包。
进一步的，所述在物理网卡或物理网卡捆绑上抓包，包括：
分析数据包的结构，并对各层的数据进行解析；
将各层数据包的内容与所设置的所述数据包特征值进行匹配，根据匹配的结果来判断采集的数据包是否满足所设置的所述数据包特征值；
如果满足所设置的所述数据包特征值，则使用hash方法对该数据包进行唯一编号；或者使用其他唯一值算法对该数据包进行唯一编号；对唯一编号的数据包进行保存，保存的内容包括采集位置、唯一编号、数据包内容、采集时间以及关联特征；同时，根据解析的各层数据包的内容，使用hash方法对各层数据包的内容进行唯一编号，并将各层数据包的内容、唯一编号以及各层数据包的内容进行关联存储；
如果不满足所设置的所述数据包特征值，则丢弃该数据包。
进一步的，所述虚拟网络采集关键节点包括虚拟交换机网桥、虚拟交换机端口、虚拟交换机端口捆绑、虚拟交换机流表、OVS-DPDK网桥、OVS-DPDK端口、OVS-DPDK端口捆绑、OVS-DPDK流表。
进一步的，所述虚拟网络采集关键节点的数据采集，包括：
使用hash方法对所述虚拟网络采集关键节点所采集到的数据包进行唯一编号；
所述虚拟网络采集关键节点所采集到的数据包的唯一编号与所述主机采集关键节点所采集到的数据包的唯一编号进行比较；
如果比较结果为相同，则所述主机采集关键节点已经采集到此数据包，将该虚拟网络采集关键节点的信息保存，所保存的信息包括采集时间和采集位置；
如果比较结果为不相同，则所述主机采集关键节点没有采集到此数据包，则没有采集到的此数据包为待确定数据包，需要后期进行人工分析。
进一步的，所述虚拟机采集关键节点包括虚拟网卡、虚拟网卡捆绑、虚拟机操作系统协议栈、以及虚拟机内应用程序，其中所述虚拟机操作系统协议栈包括TCP协议栈和UDP协议栈。
进一步的，对于虚拟机采集关键节点采集到的数据，进行如下处理：
使用hash方法对所述虚拟机采集关键节点所采集到的数据包进行唯一编号；
所述虚拟机采集关键节点所采集到的数据包的唯一编号与所述虚拟网络采集关键节点所采集到的数据包的唯一编号进行比较；
如果比较结果为相同，则所述虚拟机采集关键节点已经采集到此数据包，将该虚拟机采集关键节点的信息保存，所保存的信息包括采集时间和采集位置；
如果比较结果为不相同，则所述虚拟网络采集关键节点没有采集到此数据包，则没有采集到的此数据包为待确定数据包，需要后期进行人工分析。
进一步的，在步骤3，根据数据包的唯一编号，通过数据包的采集位置对比定位出丢包位置。
进一步的，在通过数据包的采集位置对比定位出丢包位置之后，还包括结合各个丢包位置采集点的代码逻辑、日志文件以及缓存错误信息确定丢包原因；所述不同的维度包括以下任意一种：预设时间段内各个采集点的数据包采集数量；预设时间段内各个采集点的丢包数量；预设时间段内不同丢包原因的丢包数量；预设时间段内符合数据包特征的采集数量、丢包位置、丢包数量以及丢包原因。
通过本申请实施例，可以获得如下技术效果：
与现有技术相比，本申请根据云网融合服务器的特性，设计出适合在这中复杂环境中自动检测丢包的方法。在云网融合服务器上，根据服务器上安装的网卡，网卡驱动，部署的操作系统，运用的虚拟化技术，虚拟网络技术，以及虚拟机中部署的操作系统，虚拟机中的应用这些信息，通过在合理的位置采集数据包数据，统一分析，使丢包位置快速定位，丢包原因快速明晰。使用本申请的方案和装置还支持用户自定义定义包的特性。本申请涉及方法具有自动化程序高，简洁易用的特点。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请的方法的流程图；
图2为本申请中数据包的数据结构图；
图3为本申请中可视化丢包结果展示的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。
传统的系统中，网络与主机是分离的。网络中常用的丢包分析方式需要专用的设备进行，如网络测试仪。在主机上，操作系统会提供一定的工具进行数据包抓包和解析，比如tcpdump可以捕捉网卡上的数据包，并具有一些分析能力，但是这种分析能力只能分析出某些书报的格式。操作系统协议栈方面，并没有很好的工具来分析，只能通过命令行查看一些计数器，比如丢包计数器，缓存错误计数器等；在应用层面，只能查看日志文件来发现其中的错误，对于数据包丢包是不能感知到的。
虽然理论上可以按照上述方法对每个关键点，逐次进行抓包分析，似乎可以对数据包的丢失进行定位，但是在实际应用中，主要靠人工操作，不能同时对多个关键点同时进行抓包，更不能精确匹配多个关键点之间数据包的关系，比如是否为同一个数据包，数据包的时序关系等。因此，靠人工的排查数据包的丢包原因非常不准确，并且需要的时间非常长。
随着云网融合的发展，服务器上承载了虚拟网络，虚拟机等多种多样的功能，数据包传输路径比传统服务器要复杂很多，问题定位更是难上加难。在加上云网融合服务器上，包括网络，虚拟机等资源都是动态分配的，这就要求定位的时间必须非常短，必须在下次变化之前找到问题的原因；否则可能由于资源的变化，导致问题的无法重现。在这种情况下，使用传统人工定位的方式，已经变得力不从心。往往由于问题没有及时解决，导致更多的问题出现，随着时间的流逝，累积的问题会严重影响系统的整体的稳定性。
在云网融合的趋势下，在服务器上需要有高效的、自动化的丢包检测方法和工具。在云网融合服务器上，根据服务器上安装的网卡，网卡驱动，部署的操作系统，运用的虚拟化技术，虚拟网络技术，以及虚拟机中部署的操作系统，虚拟机中的应用这些信息，通过在合理的位置采集数据包数据，统一分析，使丢包位置快速定位，丢包原因快速明晰，使用本申请的方案和装置还支持用户自定义定义包的特性，本申请涉及方法具有自动化程序高，简洁易用的特点。
图1为本申请的方法的流程图。该方法包括如下步骤：
步骤1、进行数据包特征值设置，并设置采集数据包的关键节点；
步骤2、在云网融合主机的网卡上采集数据包，并存储采集的所述数据包；
步骤3、对所述数据包进行分析，如果没有采集到所述数据包，则标记所述数据包为丢包，分析原因并进行记录，可视化丢包结果展示；
云网融合服务器包含物理网卡，操作系统，虚拟交换机，以及运行的虚拟机，其中虚拟机又包含了虚拟网卡，虚机操作系统，虚机应用程序。
所述采集数据包的关键节点包括(1)主机采集关键节点、(2)虚拟网络采集关键节点以及(3)虚拟机采集关键节点。
通过数据包特征设置，主机数据包采集，虚拟网络数据包采集，虚拟机数据包采集，数据包采集数据分析，展示丢包分析结果。通过同时采集多个关键节点的数据包，并保存下来，能够很好的解决数据包匹配和时序问题，同时自动分析丢包的位置，能够迅速定位出数据包丢包的原因。
图2为本申请中数据包的数据结构图。在步骤1中，该数据包在网络上传输，需要在各个网络层封装相应的额外数据。根据数据包这种结构特点，在不同的网络层设置采集符合特定条件的数据包，条件包括但不限于源MAC地址，目标MAC地址，VLANID号，ARP协议，ICMP协议，源IPv4地址，目标IPv4地址，源IPv6地址，目标IPv6地址，源UDP端口号，目标UDP端口号，源TCP端口号，目标TCP端口号，TCP序列号，应用层协议类型，SNMP，TIPC，HTTP，HTTPS，FTP；支持自定义协议，如在TCP上自定义协议。
(1)主机采集关键节点
根据云网融合服务器的承载业务特点，选择多个主机上的关键位置进行采集。
所述主机采集关键节点包括物理网卡或物理网卡捆绑(bond)，操作系统网络协议栈(TCP协议栈和UDP协议栈)。
通过如下方式中的任意一种来实现主机采集关键节点的数据采集：
1)使用Linux操作系统自带的抓包工具tcpdump在物理网卡或物理网卡捆绑(bond)上抓包，或者自定义其他抓包工具；
2)通过netstat观察丢包计数；
3)使用dropwatch工具进行抓包。
由于物理网卡，或物理网卡捆绑(bond)是进入主机的必经之路，在物理网卡，或物理网卡捆绑(bond)上采集的数据包，需要进行特别处理。所述在物理网卡或物理网卡捆绑(bond)上抓包，包括：
1)分析数据包的结构，并对各层的数据进行解析；
2)将各层数据包的内容与所设置的所述数据包特征值进行匹配，根据匹配的结果来判断采集的数据包是否满足所设置的所述数据包特征值；
3)如果满足所设置的所述数据包特征值，则使用hash方法对该数据包进行唯一编号；或者使用其他唯一值算法对该数据包进行唯一编号；对唯一编号的数据包进行保存，保存的内容包括采集位置、唯一编号、数据包内容、采集时间以及关联特征；同时，根据解析的各层数据包的内容，使用hash方法对各层数据包的内容进行唯一编号，并将各层数据包的内容、唯一编号以及各层数据包的内容进行关联存储；
4)如果不满足所设置的所述数据包特征值，则丢弃该数据包。
(2)虚拟网络采集关键节点
云网融合服务器包含物理网卡、操作系统、虚拟交换机以及运行的虚拟机。云网融合主机都会运行虚拟网络的功能，如虚拟交换机。
对虚拟网络进行采集，选择多个虚拟网络的关键位置进行采集。
所述虚拟网络采集关键节点包括虚拟交换机网桥、虚拟交换机端口、虚拟交换机端口捆绑(bond)、虚拟交换机流表、OVS-DPDK网桥、OVS-DPDK端口、OVS-DPDK端口捆绑(bond)、OVS-DPDK流表；
所述选择多个虚拟网络的关键位置进行采集，包括：
1)使用hash方法对所述虚拟网络采集关键节点所采集到的数据包进行唯一编号；
2)所述虚拟网络采集关键节点所采集到的数据包的唯一编号与所述主机采集关键节点所采集到的数据包的唯一编号进行比较。
如果比较结果为相同，则所述主机采集关键节点已经采集到此数据包，将该虚拟网络采集关键节点的信息保存，所保存的信息包括采集时间和采集位置；
如果比较结果为不相同，则所述主机采集关键节点没有采集到此数据包，则没有采集到的此数据包为待确定数据包，需要后期进行人工分析。
(3)虚拟机采集关键节点
云网融合主机上主要以运行虚拟机，向用户提供服务；通过采集虚拟机内部的数据包，可以帮助用户快速解决问题。
所述虚拟机采集关键节点包括虚拟网卡、虚拟网卡捆绑(bond)、虚拟机操作系统协议栈(包括TCP协议栈和UDP协议栈)、以及虚拟机内应用程序。
通过如下方式中的任意一种来实现虚拟机采集关键节点的数据采集：1)使用tcpdump在虚拟网卡、虚拟网卡捆绑(bond)上抓包，或者自定义其他抓包工具；
2)通过netstat观察丢包计数；
3)使用dropwatch工具进行抓包。
对于虚拟机应用程序，可以开发模拟接收程序，将数据包采集并存储，也可以分析应用的日志，得到数据包的信息，并存储。
对于虚拟机采集关键节点采集到的数据，进行如下处理：
1)使用hash方法对所述虚拟机采集关键节点所采集到的数据包进行唯一编号；
2)所述虚拟机采集关键节点所采集到的数据包的唯一编号与所述虚拟网络采集关键节点所采集到的数据包的唯一编号进行比较。
如果比较结果为相同，则所述虚拟机采集关键节点已经采集到此数据包，将该虚拟机采集关键节点的信息保存，所保存的信息包括采集时间和采集位置；
如果比较结果为不相同，则所述虚拟网络采集关键节点没有采集到此数据包，则没有采集到的此数据包为待确定数据包，需要后期进行人工分析；
在步骤2中，将采集数据包进行存储，需要持久化数据包信息，包括数据包编码、采集位置、采集时间以及数据包内容，可以使用关系型数据库(比如mysql)，半关系型数据库(比如mongodb)以及其他的存储技术。
在步骤3，根据数据包的唯一编号，通过数据包的采集位置对比定位出丢包位置；
所述通过数据包的采集位置对比定位出丢包位置，例如：
1)设采集的数据包的传输顺序为，采集点1，采集点2，采集点3；
2)采集点1，采集到数据包1；
3)采集点2，如果没有采集到数据包1，则数据包1的丢包位置为采集点2；
4)采集点2，采集到数据包1；
5)采集点3，如果没有采集到数据包1，则数据包1的丢包位置为采集点3。
在通过数据包的采集位置对比定位出丢包位置之后，还包括结合各个丢包位置采集点的代码逻辑、日志文件以及缓存错误信息确定丢包原因。此外，还可以通过不同的维度统计出重要的丢包信息及其相应的丢包原因，所述不同的维度包括：
1)预设时间段内各个采集点的数据包采集数量；
2)预设时间段内各个采集点的丢包数量；
3)预设时间段内不同丢包原因的丢包数量；
4)预设时间段内符合数据包特征的采集数量、丢包位置、丢包数量以及丢包原因。
图3为本申请中可视化丢包结果展示的示意图。可视化丢包结果展示，包括与命令行展示等多种展示形式。通过可视化展示，能够直观的显示丢包数据分析结果。可以根据多种条件对结果进行过滤，包括时间段，丢包位置，丢包原因，vxlanvni，vlanID，源IPv4地址，目的IPv4地址，源IPv6地址，目的IPv6地址，TCP端口号，TCP序列号，UDP端口号，应用层协议类型，如SNMP，TIPC；特征字符串。
与传统方法相比较，本申请根据云网融合服务器的特性，设计出适合在这中复杂环境中自动检测丢包的方法。在云网融合服务器上，根据服务器上安装的网卡，网卡驱动，部署的操作系统，运用的虚拟化技术，虚拟网络技术，以及虚拟机中部署的操作系统，虚拟机中的应用这些信息，通过在合理的位置采集数据包数据，统一分析，使丢包位置快速定位，丢包原因快速明晰。使用本专利的方案和装置还支持用户自定义定义包的特性。本申请涉及方法具有自动化程序高，简洁易用的特点。本申请的主要特点是：
1)本申请是基于云网融合服务器的数据包丢包自动化检测的方法；
2)本申请同时采集云网融合服务器关键数据包流经节点，能够高效稳定的覆盖数据包的丢包可能性。
3)本申请可对数据包单独定制，每一种类数据包支持不同的参数，应用场景广。
本申请的技术方案，在云网融合服务器上，根据服务器上安装的网卡，网卡驱动，部署的操作系统，运用的虚拟化技术，虚拟网络技术，以及虚拟机中部署的操作系统，虚拟机中的应用这些信息，通过在合理的位置采集数据包数据，统一分析，使丢包位置快速定位，丢包原因快速明晰，本涉及方法具有自动化程序高，简洁易用的特点。
本申请中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或装置逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (10)
1.一种基于云网融合的主机丢包自动检测方法，其特征在于，该方法包括如下步骤：
步骤1、进行数据包特征值设置，并设置采集数据包的关键节点；
步骤2、在云网融合主机的网卡上采集数据包，并存储采集的所述数据包；
步骤3、对所述数据包进行分析，如果没有采集到所述数据包，则标记所述数据包为丢包，分析原因并进行记录，可视化丢包结果展示。
2.根据权利要求1所述的方法，其特征在于，所述采集数据包的关键节点包括主机采集关键节点、虚拟网络采集关键节点以及虚拟机采集关键节点。
3.根据权利要求2所述的方法，其特征在于，通过如下方式中的任意一种来实现主机采集关键节点的数据采集：使用Linux操作系统自带的抓包工具tcpdump在物理网卡或物理网卡捆绑上抓包，或者自定义其他抓包工具；或者，通过netstat观察丢包计数；或者，使用dropwatch工具进行抓包。
4.根据权利要求3所述的方法，其特征在于，所述在物理网卡或物理网卡捆绑上抓包，包括：
分析数据包的结构，并对各层的数据进行解析；
将各层数据包的内容与所设置的所述数据包特征值进行匹配，根据匹配的结果来判断采集的数据包是否满足所设置的所述数据包特征值；
如果满足所设置的所述数据包特征值，则使用hash方法对该数据包进行唯一编号；或者使用其他唯一值算法对该数据包进行唯一编号；对唯一编号的数据包进行保存，保存的内容包括采集位置、唯一编号、数据包内容、采集时间以及关联特征；同时，根据解析的各层数据包的内容，使用hash方法对各层数据包的内容进行唯一编号，并将各层数据包的内容、唯一编号以及各层数据包的内容进行关联存储；
如果不满足所设置的所述数据包特征值，则丢弃该数据包。
5.根据权利要求2所述的方法，其特征在于，所述虚拟网络采集关键节点包括虚拟交换机网桥、虚拟交换机端口、虚拟交换机端口捆绑、虚拟交换机流表、OVS-DPDK网桥、OVS-DPDK端口、OVS-DPDK端口捆绑、OVS-DPDK流表。
6.根据权利要求5所述的方法，其特征在于，所述虚拟网络采集关键节点的数据采集，包括：
使用hash方法对所述虚拟网络采集关键节点所采集到的数据包进行唯一编号；
所述虚拟网络采集关键节点所采集到的数据包的唯一编号与所述主机采集关键节点所采集到的数据包的唯一编号进行比较；
如果比较结果为相同，则所述主机采集关键节点已经采集到此数据包，将该虚拟网络采集关键节点的信息保存，所保存的信息包括采集时间和采集位置；
如果比较结果为不相同，则所述主机采集关键节点没有采集到此数据包，则没有采集到的此数据包为待确定数据包，需要后期进行人工分析。
7.根据权利要求2所述的方法，其特征在于，所述虚拟机采集关键节点包括虚拟网卡、虚拟网卡捆绑、虚拟机操作系统协议栈、以及虚拟机内应用程序，其中所述虚拟机操作系统协议栈包括TCP协议栈和UDP协议栈。
8.根据权利要求2或者7所述的方法，其特征在于，对于虚拟机采集关键节点采集到的数据，进行如下处理：
使用hash方法对所述虚拟机采集关键节点所采集到的数据包进行唯一编号；
所述虚拟机采集关键节点所采集到的数据包的唯一编号与所述虚拟网络采集关键节点所采集到的数据包的唯一编号进行比较；
如果比较结果为相同，则所述虚拟机采集关键节点已经采集到此数据包，将该虚拟机采集关键节点的信息保存，所保存的信息包括采集时间和采集位置；
如果比较结果为不相同，则所述虚拟网络采集关键节点没有采集到此数据包，则没有采集到的此数据包为待确定数据包，需要后期进行人工分析。
9.根据权利要求1所述的方法，其特征在于，在步骤3，根据数据包的唯一编号，通过数据包的采集位置对比定位出丢包位置。
10.根据权利要求9所述的方法，其特征在于，在通过数据包的采集位置对比定位出丢包位置之后，还包括结合各个丢包位置采集点的代码逻辑、日志文件以及缓存错误信息确定丢包原因；所述不同的维度包括以下任意一种：预设时间段内各个采集点的数据包采集数量；预设时间段内各个采集点的丢包数量；预设时间段内不同丢包原因的丢包数量；预设时间段内符合数据包特征的采集数量、丢包位置、丢包数量以及丢包原因。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210704444.8A CN115118632B (zh) | 2022-06-21 | 2022-06-21 | 一种基于云网融合的主机丢包自动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210704444.8A CN115118632B (zh) | 2022-06-21 | 2022-06-21 | 一种基于云网融合的主机丢包自动检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115118632A true CN115118632A (zh) | 2022-09-27 |
| CN115118632B CN115118632B (zh) | 2024-02-06 |
Family
ID=83327587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210704444.8A Active CN115118632B (zh) | 2022-06-21 | 2022-06-21 | 一种基于云网融合的主机丢包自动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115118632B (zh) |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101877659A (zh) * | 2010-06-30 | 2010-11-03 | 中兴通讯股份有限公司 | 一种丢包监控的方法、设备和系统 |
| CN104657250A (zh) * | 2014-12-16 | 2015-05-27 | 无锡华云数据技术服务有限公司 | 一种对云主机进行性能监控的监控方法 |
| CN105162639A (zh) * | 2015-10-10 | 2015-12-16 | 上海新炬网络信息技术有限公司 | 一种kvm下的虚拟网络故障定位装置 |
| CN105337789A (zh) * | 2014-08-12 | 2016-02-17 | 北京启明星辰信息安全技术有限公司 | 一种监控虚拟网络流量的方法和装置 |
| CN105763297A (zh) * | 2015-12-25 | 2016-07-13 | 珠海国芯云科技有限公司 | 一种基于云计算系统的远程数据优化传输方法和装置 |
| CN105792261A (zh) * | 2014-12-17 | 2016-07-20 | 中兴通讯股份有限公司 | 丢包位置的辅助定位方法及装置 |
| US20160359917A1 (en) * | 2015-06-05 | 2016-12-08 | Cisco Technology, Inc. | System and method of recommending policies that result in particular reputation scores for hosts |
| CN106330930A (zh) * | 2016-08-29 | 2017-01-11 | 烽火通信科技股份有限公司 | 基于流媒体丢包二次重传系统及其方法 |
| CN106341288A (zh) * | 2016-08-23 | 2017-01-18 | 成都科来软件有限公司 | 一种检验pf_ring抓包模块是否丢包的方法和系统 |
| CN106878191A (zh) * | 2015-12-14 | 2017-06-20 | 华为技术有限公司 | 一种数据传送方法、发送节点、接收节点及数据传送系统 |
| CN109714221A (zh) * | 2017-10-25 | 2019-05-03 | 阿里巴巴集团控股有限公司 | 网络数据包的确定方法、装置及系统 |
| US20200322242A1 (en) * | 2019-04-04 | 2020-10-08 | Microsoft Technology Licensing, Llc | Packet drop detection in local networking stack through packet correlation |
| CN112003747A (zh) * | 2020-08-21 | 2020-11-27 | 中国建设银行股份有限公司 | 云虚拟网关的故障定位方法 |
| US20210019237A1 (en) * | 2019-07-18 | 2021-01-21 | Pure Storage, Inc. | Data recovery in a virtual storage system |
| CN113055251A (zh) * | 2021-04-17 | 2021-06-29 | 东南大学 | 一种面向高速网络的流量丢包状态实时感知方法 |
| CN113438053A (zh) * | 2021-06-23 | 2021-09-24 | 中宇联云计算服务(上海)有限公司 | 基于云网融合技术的丢包补偿方法、系统以及设备 |
| CN113794605A (zh) * | 2021-09-10 | 2021-12-14 | 杭州谐云科技有限公司 | 一种基于eBPF的内核丢包检测方法、系统和装置 |
| CN113810239A (zh) * | 2020-06-15 | 2021-12-17 | 深信服科技股份有限公司 | 数据中心网络故障检测方法、装置、设备及存储介质 |
| CN114465897A (zh) * | 2020-11-06 | 2022-05-10 | 中国电信股份有限公司 | 业务流中数据包的监控方法、装置和系统 |
| CN114598628A (zh) * | 2020-12-04 | 2022-06-07 | 中兴通讯股份有限公司 | 一种网络检测丢包方法、电子设备及计算机可读存储介质 |
-
2022
- 2022-06-21 CN CN202210704444.8A patent/CN115118632B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101877659A (zh) * | 2010-06-30 | 2010-11-03 | 中兴通讯股份有限公司 | 一种丢包监控的方法、设备和系统 |
| CN105337789A (zh) * | 2014-08-12 | 2016-02-17 | 北京启明星辰信息安全技术有限公司 | 一种监控虚拟网络流量的方法和装置 |
| CN104657250A (zh) * | 2014-12-16 | 2015-05-27 | 无锡华云数据技术服务有限公司 | 一种对云主机进行性能监控的监控方法 |
| CN105792261A (zh) * | 2014-12-17 | 2016-07-20 | 中兴通讯股份有限公司 | 丢包位置的辅助定位方法及装置 |
| US20160359917A1 (en) * | 2015-06-05 | 2016-12-08 | Cisco Technology, Inc. | System and method of recommending policies that result in particular reputation scores for hosts |
| CN105162639A (zh) * | 2015-10-10 | 2015-12-16 | 上海新炬网络信息技术有限公司 | 一种kvm下的虚拟网络故障定位装置 |
| CN106878191A (zh) * | 2015-12-14 | 2017-06-20 | 华为技术有限公司 | 一种数据传送方法、发送节点、接收节点及数据传送系统 |
| CN105763297A (zh) * | 2015-12-25 | 2016-07-13 | 珠海国芯云科技有限公司 | 一种基于云计算系统的远程数据优化传输方法和装置 |
| CN106341288A (zh) * | 2016-08-23 | 2017-01-18 | 成都科来软件有限公司 | 一种检验pf_ring抓包模块是否丢包的方法和系统 |
| CN106330930A (zh) * | 2016-08-29 | 2017-01-11 | 烽火通信科技股份有限公司 | 基于流媒体丢包二次重传系统及其方法 |
| CN109714221A (zh) * | 2017-10-25 | 2019-05-03 | 阿里巴巴集团控股有限公司 | 网络数据包的确定方法、装置及系统 |
| US20200322242A1 (en) * | 2019-04-04 | 2020-10-08 | Microsoft Technology Licensing, Llc | Packet drop detection in local networking stack through packet correlation |
| US20210019237A1 (en) * | 2019-07-18 | 2021-01-21 | Pure Storage, Inc. | Data recovery in a virtual storage system |
| CN113810239A (zh) * | 2020-06-15 | 2021-12-17 | 深信服科技股份有限公司 | 数据中心网络故障检测方法、装置、设备及存储介质 |
| CN112003747A (zh) * | 2020-08-21 | 2020-11-27 | 中国建设银行股份有限公司 | 云虚拟网关的故障定位方法 |
| CN114465897A (zh) * | 2020-11-06 | 2022-05-10 | 中国电信股份有限公司 | 业务流中数据包的监控方法、装置和系统 |
| CN114598628A (zh) * | 2020-12-04 | 2022-06-07 | 中兴通讯股份有限公司 | 一种网络检测丢包方法、电子设备及计算机可读存储介质 |
| CN113055251A (zh) * | 2021-04-17 | 2021-06-29 | 东南大学 | 一种面向高速网络的流量丢包状态实时感知方法 |
| CN113438053A (zh) * | 2021-06-23 | 2021-09-24 | 中宇联云计算服务(上海)有限公司 | 基于云网融合技术的丢包补偿方法、系统以及设备 |
| CN114337931A (zh) * | 2021-06-23 | 2022-04-12 | 中宇联云计算服务(上海)有限公司 | 基于云网融合技术的丢包补偿方法、系统以及设备 |
| CN113794605A (zh) * | 2021-09-10 | 2021-12-14 | 杭州谐云科技有限公司 | 一种基于eBPF的内核丢包检测方法、系统和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115118632B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| USRE49126E1 (en) | Real-time adaptive processing of network data packets for analysis | |
| CN111164939B (zh) | 通过网络指定和利用路径 | |
| US10764148B2 (en) | Methods, systems, and computer readable media for network traffic statistics collection | |
| US8073966B2 (en) | Virtual interface | |
| CN102082690B (zh) | 一种网络拓扑的被动发现设备及其发现方法 | |
| CN111095901A (zh) | 服务操作链接方法和计算机程序 | |
| CN108696402A (zh) | 虚拟路由器的基于会话的业务统计记录 | |
| US10348510B2 (en) | Switching device and packet discarding method | |
| CN100512142C (zh) | 一种网络实现采样的方法 | |
| EP3065343B1 (en) | Network monitoring method and apparatus, and packet filtering method and apparatus | |
| CN113364624B (zh) | 基于边缘计算的混合云流量采集方法和系统 | |
| US20130042020A1 (en) | Quick Network Path Discovery | |
| CN112491745B (zh) | 一种流量去重方法和装置 | |
| US8724473B2 (en) | Locating signatures in packets | |
| CN115118632B (zh) | 一种基于云网融合的主机丢包自动检测方法 | |
| CN114095383B (zh) | 网络流量采样方法、系统和电子设备 | |
| EP3013000A1 (en) | Traffic statistics collection method and apparatus | |
| US20050169277A1 (en) | Label switched data unit content evaluation | |
| CN112702236B (zh) | 一种实现丢包检测的方法和处理器 | |
| WO2022262574A1 (zh) | 切片信息的确定方法、装置、存储介质及电子装置 | |
| WO2024199223A1 (zh) | 设备接入位置的获取方法及装置 | |
| CN117478564A (zh) | SRv6网络的业务测量方法以及SRv6网络 | |
| CN114884882A (zh) | 一种流量可视化方法、装置、设备及存储介质 | |
| CN114826646A (zh) | 一种网络异常行为检测方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |