CN113194045B - 数据流量分析方法、装置、存储介质及处理器 - Google Patents
数据流量分析方法、装置、存储介质及处理器 Download PDFInfo
- Publication number
- CN113194045B CN113194045B CN202010036589.6A CN202010036589A CN113194045B CN 113194045 B CN113194045 B CN 113194045B CN 202010036589 A CN202010036589 A CN 202010036589A CN 113194045 B CN113194045 B CN 113194045B
- Authority
- CN
- China
- Prior art keywords
- communication endpoint
- endpoint pair
- pair
- identifier
- ethernet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 52
- 238000004891 communication Methods 0.000 claims abstract description 253
- 238000000034 method Methods 0.000 claims abstract description 139
- 230000008569 process Effects 0.000 claims abstract description 116
- 238000013507 mapping Methods 0.000 claims abstract description 71
- 238000005206 flow analysis Methods 0.000 claims abstract description 58
- 230000005540 biological transmission Effects 0.000 claims abstract description 49
- 238000012546 transfer Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2475—Traffic characterised by specific attributes, e.g. priority or QoS for supporting traffic characterised by the type of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种数据流量分析方法、装置、存储介质及处理器。其中,该方法包括:为本端服务器上的应用进程创建第一通信端点对,并记录第一通信端点对中每个通信端点对的第一标识,其中,第一通信端点对为远程直接内存访问网络中的通信端点对,第一通信端点对包括:发送端点和接收端点;为应用进程创建与第一通信端点对相匹配的第二通信端点对,并记录第二通信端点对中每个通信端点对的第二标识,其中,第二通信端点对为以太网中的通信端点对,第二标识与第一标识为一对一关系;基于第一标识与第二标识之间的映射关系对应用进程的网络数据传输过程进行流量分析。本发明解决了无法对应用进程的网络数据传输进行流量分析的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种数据流量分析方法、装置、存储介质及处理器。
背景技术
RoCE(RDMA over Converged Ethernet)是一种允许通过以太网使用远程直接内存访问(RDMA)的网络协议,提供了在无损以太网络上极低延迟的高效数据传输。
RDMA(Remote Direct Memory Access)技术全称远程直接内存访问,就是为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA通过网络把资料直接传入计算机的存储区,将数据从一个系统快速移动到远程系统存储器中,而不对操作系统造成任何影响,这样就不需要用到多少计算机的处理功能。
基于RoCE网络,在应用方只能看到其基于RDMA的网络通信端点对创建的QP号,在网络侧只能观察到基于以太网络端点创建的Port上的流量。
在现有的驱动中,QP与Port的映射关系不确定,且存在多个QP映射到同一Port的行为,为细粒度的流量分析带来很大困难,因此,只能对RDMA流量进行整体分析,而每个QP所对应的行为将会成为黑盒,无法基于以太网进行分析。
针对上述无法对应用进程的网络数据传输进行流量分析的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据流量分析方法、装置、存储介质及处理器,以至少解决无法对应用进程的网络数据传输进行流量分析的技术问题。
根据本发明实施例的一个方面,提供了一种数据流量分析方法,包括:为本端服务器上的应用进程创建第一通信端点对,并记录第一通信端点对中每个通信端点对的第一标识,其中,第一通信端点对为远程直接内存访问网络中的通信端点对,第一通信端点对包括:发送端点和接收端点;为应用进程创建与第一通信端点对相匹配的第二通信端点对,并记录第二通信端点对中每个通信端点对的第二标识,其中,第二通信端点对为以太网中的通信端点对,第二标识与第一标识为一对一关系;基于第一标识与第二标识之间的映射关系对应用进程的网络数据传输过程进行流量分析。
根据本发明实施例的另一方面,还提供了一种网络数据流量分析装置,包括:第一记录单元,用于为本端服务器上的应用进程创建第一通信端点对,并记录所述第一通信端点对中每个通信端点对的第一标识,其中,所述第一通信端点对为远程直接内存访问网络中的通信端点对,所述第一通信端点对包括:发送端点和接收端点;第二记录单元,用于为所述应用进程创建与所述第一通信端点对相匹配的第二通信端点对,并记录所述第二通信端点对中每个通信端点对的第二标识,其中,所述第二通信端点对为以太网中的通信端点对,所述第二标识与所述第一标识为一对一关系;分析单元,用于基于所述第一标识与所述第二标识之间的映射关系对所述应用进程的网络数据传输过程进行流量分析。
根据本发明实施例的又一方面,还提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述所述的网络数据流量分析方法。
根据本发明实施例的再一方面,还提供了一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行上述所述的网络数据流量分析方法。
在本发明实施例中,第一通信端点对为远程直接内存访问网络中的通信端点对,包括发送端点和接收端点;第二通信端点对为以太网中的通信端点对;通过为本端服务器上的应用进程创建第一通信端点对,为应用进程创建与第一通信端点对相匹配的第二通信端点对,并记录第一通信端点对中每个通信端点对的第一标识,以及第二通信端点对中每个通信端点对的第二标识,使第二标识与第一标识一一对应,然后基于第一标识与第二标识之间一一对应的映射关系,可以对应用进程的网络数据传输过程进行流量分析,从而实现了对应用进程的网络数据传输过程进行流量分析的技术效果,进而解决了无法对应用进程的网络数据传输进行流量分析的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了一种用于实现网络数据流量分析方法的计算机终端的硬件结构框图;
图2是根据本发明实施的一种网络数据流量分析方法的流程图;
图3是根据本发明实施的一种映射表的示意图;
图4是根据本发明实施的一种网络数据流量分析装置的示意图;
图5是根据本发明实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
RDMA:Remote Direct Memory Access,即远程直接内存访问。
QP:Queue Pairs,是RDMA网络通信的端点。
Port:通信端口,在以太网通信中扮演通信的端点。
实施例1
根据本发明实施例,还提供了一种网络数据流量分析方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现网络数据流量分析方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的网络数据流量分析方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的网络数据流量分析方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输模块106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输模块106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
此处需要说明的是,在一些可选实施例中,上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图1仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
在上述运行环境下,本申请提供了如图2所示的网络数据流量分析方法。图2是根据本发明实施的一种网络数据流量分析方法的流程图,如图2所示,该方法包括如下步骤:
步骤S202,为本端服务器上的应用进程创建第一通信端点对,并记录第一通信端点对中每个通信端点对的第一标识,其中,第一通信端点对为远程直接内存访问网络中的通信端点对,第一通信端点对包括:发送端点和接收端点;
步骤S204,为应用进程创建与第一通信端点对相匹配的第二通信端点对,并记录第二通信端点对中每个通信端点对的第二标识,其中,第二通信端点对为以太网中的通信端点对,第二标识与第一标识为一对一关系;
步骤S206,基于第一标识与第二标识之间的映射关系对应用进程的网络数据传输过程进行流量分析。
在本发明实施例中,第一通信端点对为远程直接内存访问网络中的通信端点对,包括发送端点和接收端点;第二通信端点对为以太网中的通信端点对;通过为本端服务器上的应用进程创建第一通信端点对,为应用进程创建与第一通信端点对相匹配的第二通信端点对,并记录第一通信端点对中每个通信端点对的第一标识,以及第二通信端点对中每个通信端点对的第二标识,使第二标识与第一标识一一对应,然后基于第一标识与第二标识之间一一对应的映射关系,可以对应用进程的网络数据传输过程进行流量分析,从而实现了对应用进程的网络数据传输过程进行流量分析的技术效果,进而解决了无法对应用进程的网络数据传输进行流量分析的技术问题。
作为一种可选的实施例,第一通信端点对为远程直接内存访问网络中的队列对,队列对包括发送队列和接收队列,第二通信端点对包括第一以太网端口和第二以太网端口,其中,发送队列和接收队列分别对应不同的以太网端口。
本发明上述实施例,第一通信端点对为QP端点,是RDMA网络通信的端点;第二通信端点对为Port端点,是以太网中扮演通信的端点。
作为一种可选的实施例,本实施例提供的网络数据流量分析方法应用于如下场景:在本端服务器与对端服务器之间通过以太网使用远程直接内存访问的网络协议进行网络数据传输过程中,从队列对级别的粒度进行流量分析。
在本发明实施例中,本端服务器与对端服务器之间,基于RoCE网络协议可以在以太网中使用RDMA技术,进行远程直接内存访问,实现网络数据的传输,并且在传输过程中,根据第一通信端点对与第二通信端点对之间的映射关系,在第一通信端点对为队列对的情况下,可以实现全链路打通,从队列对级别的粒度进行流量分析。
需要说明的是,本端服务器与对端服务器之间传输网络数据的过程可以通过应用进程表示,本端服务器可以基于RoCE网络协议为用于传输网络数据的应用进程创建QP端点,完成第一通信端点对的创建过程,并记录该应用进程对应QP端点的第一标识,使应用进行可以在RoCE网络中看到其创建的QP端点的第一标识。
需要说明的是,在进行流量分析的过程中,从网络侧只能观察到以太网中的通信端点对(即第二通信端点对,也即Port端点),通过记录第二通信端点对的第二标识,并建立第二标识与第一标识之间一对一的映射关系,从而针对每个第二通信端点对的分析结果均可以代表对应的第一通信端点对,因此在网络侧基于第二通信端点对进行流量分析,即可实现基于第一通信端点对的流量分析的结果,达到了基于QP级别粒度的流量分析。
可选地,本端服务器与对端服务器之间可以通过第二通信端点对,建立基于以太网的通信连接,应用进程在第二通信端点对建立的通信网络中运行。
作为一种可选的实施例,创建第二通信端点对,并记录第二标识包括:采用哈希类算法从尚未被其他应用进程占用的多个以太网通信端点对中选取第二通信端点对,并记录第二标识。
在本发明实施例中,每个服务器(即本端服务器,或对端服务器)具有多个以太网通信端点对,在创建第二通信端点对的过程中,可以采用哈希类算法,从尚未被其他应用进程占用的多个以太网通信端点对中选取第二通信端点对,并为该第二通信端点对记录第二标识,从而实现第二端点的创建和第二标识的记录。
作为一种可选的实施例,在基于映射关系对应用进程的网络数据传输过程进行流量分析之前,还包括:在第一标识与第二标识之间建立一对一的映射关系;将映射关系记录至映射表中,其中,映射表用于在建立映射关系的过程中查询已经被其他应用进程占用的以太网通信端点对,以及在流量分析过程中查询与第一标识对应的第二标识。
在本发明实施例中,在创建第一通信端点对和第二通信端点对,并记录第一标识和第二标识之后,在对应用进程的网络数据传输过程进行流量分析之前,可以建立第一标识与第二标识之间一对一的映射关系,并将映射关系记录在映射表中,根据该映射表可以在创建第二通信端点对的过程中,查找已经被其他应用进程占用的以太网通信端点对,进而从未被其他应用进程占用的以太网通信端点对中选取需要创建的第二端点;还可以在流量分析的过程中,查找与第一标识对应的第二标识,从而针对第一标识(即第一通信端点对)的分析过程可以基于第二标识来实现。
图3是根据本发明实施的一种映射表的示意图,如图3所示,以预设进程标识(例如:4760)的应用进程为例,第一通信端点对可以为QP1,其中,该QP1包括:发送队列(SQ)1和接收队列(RQ)1,该SQ1的第一标记可以记录为:10,该RQ1的第一标记可以记录为11。同理,第一通信端点对还可以为QP2,其中,该QP2包括:SQ2和RQ2,该SQ2的第一标记可以记录为:23,该RQ2的第一标记可以记录为24。在QP创建完毕之后,可以继续创建第二通信端点对(即Port)。仍然以预设进程标识(例如:4760)的应用进程为例,Port1的第二标记记录为10001,Port2的第二标记记录为10002,Port3的第二标记记录为20003以及Port4的第二标记记录为20004。然后,在SQ1的第一标记10与Port1的第二标记10001之间建立一一映射关系。在RQ1的第一标记11与Port2的第二标记10002之间建立一一映射关系。在SQ2的第一标记23与Port3的第二标记20003之间建立一一映射关系。在RQ2的第一标记24与Port4的第二标记20004之间建立一一映射关系。
可选地,以预设进程标识(例如:20593)的应用进程为例,第一通信端点对可以为QP1,其中,该QP1包括:发送队列(SQ)1和接收队列(RQ)1,该SQ1的第一标记可以记录为:101,该RQ1的第一标记可以记录为102。同理,第一通信端点对还可以为QP2,其中,该QP2包括:SQ2和RQ2,该SQ2的第一标记可以记录为:235,该RQ2的第一标记可以记录为236。在QP创建完毕之后,可以继续创建第二通信端点对(即Port)。仍然以预设进程标识(例如:20593)的应用进程为例,Port1的第二标记记录为12345,Port2的第二标记记录为12346,Port3的第二标记记录为23456以及Port4的第二标记记录为23457。然后,在SQ1的第一标记101与Port1的第二标记12345之间建立一一映射关系。在RQ1的第一标记102与Port2的第二标记12346之间建立一一映射关系。在SQ2的第一标记235与Port3的第二标记23456之间建立一一映射关系。在RQ2的第一标记236与Port4的第二标记23457之间建立一一映射关系。
作为一种可选的实施例,基于映射关系对应用进程的网络数据传输过程进行流量分析包括:基于映射关系获取与第一标识对应的第二标识;根据第二标识确定第二通信端点对,并采用以太网流量分析工具对通过第二通信端点对进行网络数据传输的过程进行流量分析。
在本发明实施例中,基于映射关系获取与第一标识对应的第二标识,然后确定第二标识对应的第二通信端点对,在进行流量分析的过程中,可以采用以太网流量分析工具根据第二通信端点对进行流量分析,根据第二通信端点对的流量分析结果,可以确定与第二通信端点对应的第一通信端点对的流量分析结果,实现对第一通信端点对的流量分析。
本发明还提供了一种优选实施例,该优选实施例提供了一种RDMA over Ethernet网络的流量追踪方法。
在RoCE网络中,系统服务会记录每一个应用进程创建的QP以及该QP中所包含的SQ与RQ分别对应的Port。并且,在创建QP对应的Port时,使用一种一对一的算法(例如:哈希算法),分别记录QP中所包含的SQ与对应Port之间的映射关系以及RQ与对应Port之间的映射对应关系,且保证不同QP不会重用Port。将每一个QP分别对应到一个特定的Port上,并将这种映射关系暴露给上层应用,在进行网络性能优化或网络流量分析时,就可以将全链路打通,在QP级别细粒度的分析。
本发明提供的技术方案,当使用RoCE网络时,可以获取每一个应用程序创建的QP,并附带QP所对应的Port,从而使得用户可以利用以太网各种流量分析工具,在QP级别的流量分析。
由于Port适用于现有以太网分析工具和方法,具有非常广泛的适用性,在进行网络性能优化或网络流量分析时,可以通过以太网的Port来替代RDMA网络中的QP。
本发明首次提出QP与Port的一对一映射方式,通过分析以太网Port的行为,间接分析RDMA网络中的QP,可以通过Port实现了QP级别的流量分析功能。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
根据本发明实施例,还提供了一种用于实施上述网络数据流量分析方法的网络数据流量分析装置,如图4所示,该装置包括:第一记录单元42,第二记录单元44和分析单元46。
其中,第一记录单元42,用于为本端服务器上的应用进程创建第一通信端点对,并记录第一通信端点对中每个通信端点对的第一标识,其中,第一通信端点对为远程直接内存访问网络中的通信端点对,第一通信端点对包括:发送端点和接收端点;第二记录单元44,用于为应用进程创建与第一通信端点对相匹配的第二通信端点对,并记录第二通信端点对中每个通信端点对的第二标识,其中,第二通信端点对为以太网中的通信端点对,第二标识与第一标识为一对一关系;分析单元46,用于基于第一标识与第二标识之间的映射关系对应用进程的网络数据传输过程进行流量分析。
此处需要说明的是,上述第一记录单元42、第二记录单元44和分析单元46对应于实施例1中的步骤S202、步骤S204和步骤S206,各单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元作为装置的一部分可以运行在实施例1提供的计算机终端10中。
本发明上述实施例,第一通信端点对为远程直接内存访问网络中的通信端点对,包括发送端点和接收端点;第二通信端点对为以太网中的通信端点对;通过为本端服务器上的应用进程创建第一通信端点对,为应用进程创建与第一通信端点对相匹配的第二通信端点对,并记录第一通信端点对中每个通信端点对的第一标识,以及第二通信端点对中每个通信端点对的第二标识,使第二标识与第一标识一一对应,然后基于第一标识与第二标识之间一一对应的映射关系,可以对应用进程的网络数据传输过程进行流量分析,从而实现了对应用进程的网络数据传输过程进行流量分析的技术效果,进而解决了无法对应用进程的网络数据传输进行流量分析的技术问题。
作为一种可选的实施例,第二记录单元包括:记录模块,用于采用哈希类算法从尚未被其他应用进程占用的多个以太网通信端点对中选取第二通信端点对,并记录第二标识。
作为一种可选的实施例,该装置还可以包括:建立单元,用于在基于映射关系对应用进程的网络数据传输过程进行流量分析之前,在第一标识与第二标识之间建立一对一的映射关系;第三记录单元,用于将映射关系记录至映射表中,其中,映射表用于在建立映射关系的过程中查询已经被其他应用进程占用的以太网通信端点对,以及在流量分析过程中查询与第一标识对应的第二标识。
作为一种可选的实施例,分析单元包括:获取模块,用于基于映射关系获取与第一标识对应的第二标识;分析模块,用于根据第二标识确定第二通信端点对,并采用以太网流量分析工具对通过第二通信端点对进行网络数据传输的过程进行流量分析。
作为一种可选的实施例,第一通信端点对为远程直接内存访问网络中的队列对,队列对包括发送队列和接收队列,第二通信端点对包括第一以太网端口和第二以太网端口,其中,发送队列和接收队列分别对应不同的以太网端口。
作为一种可选的实施例,该装置应用于如下场景:在本端服务器与对端服务器之间通过以太网使用远程直接内存访问的网络协议进行网络数据传输过程中,从队列对级别的粒度进行流量分析。
实施例3
本发明的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述计算机终端可以执行网络数据流量分析方法中以下步骤的程序代码:为本端服务器上的应用进程创建第一通信端点对,并记录第一通信端点对中每个通信端点对的第一标识,其中,第一通信端点对为远程直接内存访问网络中的通信端点对,第一通信端点对包括:发送端点和接收端点;为应用进程创建与第一通信端点对相匹配的第二通信端点对,并记录第二通信端点对中每个通信端点对的第二标识,其中,第二通信端点对为以太网中的通信端点对,第二标识与第一标识为一对一关系;基于第一标识与第二标识之间的映射关系对应用进程的网络数据传输过程进行流量分析。
可选地,图5是根据本发明实施例的一种计算机终端的结构框图。如图5所示,该计算机终端10可以包括:一个或多个(图中仅示出一个)处理器、存储器、以及传输模块。
其中,存储器可用于存储软件程序以及模块,如本发明实施例中的网络数据流量分析方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的网络数据流量分析方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输模块调用存储器存储的信息及应用程序,以执行下述步骤:为本端服务器上的应用进程创建第一通信端点对,并记录第一通信端点对中每个通信端点对的第一标识,其中,第一通信端点对为远程直接内存访问网络中的通信端点对,第一通信端点对包括:发送端点和接收端点;为应用进程创建与第一通信端点对相匹配的第二通信端点对,并记录第二通信端点对中每个通信端点对的第二标识,其中,第二通信端点对为以太网中的通信端点对,第二标识与第一标识为一对一关系;基于第一标识与第二标识之间的映射关系对应用进程的网络数据传输过程进行流量分析。
可选的,上述处理器还可以执行如下步骤的程序代码:采用哈希类算法从尚未被其他应用进程占用的多个以太网通信端点对中选取第二通信端点对,并记录第二标识。
可选的,上述处理器还可以执行如下步骤的程序代码:在第一标识与第二标识之间建立一对一的映射关系;将映射关系记录至映射表中,其中,映射表用于在建立映射关系的过程中查询已经被其他应用进程占用的以太网通信端点对,以及在流量分析过程中查询与第一标识对应的第二标识。
可选的,上述处理器还可以执行如下步骤的程序代码:基于映射关系获取与第一标识对应的第二标识;根据第二标识确定第二通信端点对,并采用以太网流量分析工具对通过第二通信端点对进行网络数据传输的过程进行流量分析。
可选的,第一通信端点对为远程直接内存访问网络中的队列对,队列对包括发送队列和接收队列,第二通信端点对包括第一以太网端口和第二以太网端口,其中,发送队列和接收队列分别对应不同的以太网端口。。
可选的,本实施例提供的处理器可以应用于如下场景:在本端服务器与对端服务器之间通过以太网使用远程直接内存访问的网络协议进行网络数据传输过程中,从队列对级别的粒度进行流量分析。
采用本发明实施例,提供了一种网络数据流量分析的方案。第一通信端点对为远程直接内存访问网络中的通信端点对,包括发送端点和接收端点;第二通信端点对为以太网中的通信端点对;通过为本端服务器上的应用进程创建第一通信端点对,为应用进程创建与第一通信端点对相匹配的第二通信端点对,并记录第一通信端点对中每个通信端点对的第一标识,以及第二通信端点对中每个通信端点对的第二标识,使第二标识与第一标识一一对应,然后基于第一标识与第二标识之间一一对应的映射关系,可以对应用进程的网络数据传输过程进行流量分析,从而实现了对应用进程的网络数据传输过程进行流量分析的技术效果,进而解决了无法对应用进程的网络数据传输进行流量分析的技术问题。
本领域普通技术人员可以理解,图5所示的结构仅为示意,计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图5并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图5中所示更多或者更少的组件(如网络接口、显示器等),或者具有与图5所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例4
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例一所提供的网络数据流量分析方法所执行的程序代码。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:为本端服务器上的应用进程创建第一通信端点对,并记录第一通信端点对中每个通信端点对的第一标识,其中,第一通信端点对为远程直接内存访问网络中的通信端点对,第一通信端点对包括:发送端点和接收端点;为应用进程创建与第一通信端点对相匹配的第二通信端点对,并记录第二通信端点对中每个通信端点对的第二标识,其中,第二通信端点对为以太网中的通信端点对,第二标识与第一标识为一对一关系;基于第一标识与第二标识之间的映射关系对应用进程的网络数据传输过程进行流量分析。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:采用哈希类算法从尚未被其他应用进程占用的多个以太网通信端点对中选取第二通信端点对,并记录第二标识。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:在第一标识与第二标识之间建立一对一的映射关系;将映射关系记录至映射表中,其中,映射表用于在建立映射关系的过程中查询已经被其他应用进程占用的以太网通信端点对,以及在流量分析过程中查询与第一标识对应的第二标识。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:基于映射关系获取与第一标识对应的第二标识;根据第二标识确定第二通信端点对,并采用以太网流量分析工具对通过第二通信端点对进行网络数据传输的过程进行流量分析。
可选地,所述第一通信端点对为所述远程直接内存访问网络中的队列对,所述队列对包括发送队列和接收队列,所述第二通信端点对包括第一以太网端口和第二以太网端口,其中,所述发送队列和所述接收队列分别对应不同的以太网端口。
可选地,本实施例提供的存储介质应用于如下场景:在本端服务器与对端服务器之间通过以太网使用远程直接内存访问的网络协议进行网络数据传输过程中,从队列对级别的粒度进行流量分析。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种数据流量分析方法,其特征在于,包括:
为本端服务器上的应用进程创建第一通信端点对,并记录所述第一通信端点对中每个通信端点对的第一标识,其中,所述第一通信端点对为远程直接内存访问网络中的通信端点对,所述第一通信端点对包括:发送端点和接收端点;
为所述应用进程创建与所述第一通信端点对相匹配的第二通信端点对,并记录所述第二通信端点对中每个通信端点对的第二标识,其中,所述第二通信端点对为以太网中的通信端点对,所述第二标识与所述第一标识为一对一关系;
基于所述第一标识与所述第二标识之间的映射关系对所述应用进程的网络数据传输过程进行流量分析。
2.根据权利要求1所述的方法,其特征在于,创建所述第二通信端点对,并记录所述第二标识包括:
采用哈希类算法从尚未被其他应用进程占用的多个以太网通信端点对中选取所述第二通信端点对,并记录所述第二标识。
3.根据权利要求1所述的方法,其特征在于,在基于所述映射关系对所述应用进程的网络数据传输过程进行流量分析之前,还包括:
在所述第一标识与所述第二标识之间建立一对一的所述映射关系;
将所述映射关系记录至映射表中,其中,所述映射表用于在建立所述映射关系的过程中查询已经被其他应用进程占用的以太网通信端点对,以及在流量分析过程中查询与所述第一标识对应的所述第二标识。
4.根据权利要求1所述的方法,其特征在于,基于所述映射关系对所述应用进程的网络数据传输过程进行流量分析包括:
基于所述映射关系获取与所述第一标识对应的所述第二标识;
根据所述第二标识确定所述第二通信端点对,并采用以太网流量分析工具对通过所述第二通信端点对进行网络数据传输的过程进行流量分析。
5.根据权利要求1所述的方法,其特征在于,所述第一通信端点对为所述远程直接内存访问网络中的队列对,所述队列对包括发送队列和接收队列,所述第二通信端点对包括第一以太网端口和第二以太网端口,其中,所述发送队列和所述接收队列分别对应不同的以太网端口。
6.根据权利要求1所述的方法,其特征在于,所述方法应用于如下场景:在所述本端服务器与对端服务器之间通过以太网使用远程直接内存访问的网络协议进行网络数据传输过程中,从队列对级别的粒度进行流量分析。
7.一种数据流量分析装置,其特征在于,包括:
第一记录单元,用于为本端服务器上的应用进程创建第一通信端点对,并记录所述第一通信端点对中每个通信端点对的第一标识,其中,所述第一通信端点对为远程直接内存访问网络中的通信端点对,所述第一通信端点对包括:发送端点和接收端点;
第二记录单元,用于为所述应用进程创建与所述第一通信端点对相匹配的第二通信端点对,并记录所述第二通信端点对中每个通信端点对的第二标识,其中,所述第二通信端点对为以太网中的通信端点对,所述第二标识与所述第一标识为一对一关系;
分析单元,用于基于所述第一标识与所述第二标识之间的映射关系对所述应用进程的网络数据传输过程进行流量分析。
8.根据权利要求7所述的装置,其特征在于,所述第二记录单元包括:
记录模块,用于采用哈希类算法从尚未被其他应用进程占用的多个以太网通信端点对中选取所述第二通信端点对,并记录所述第二标识。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至6中任意一项所述的网络数据流量分析方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至6中任意一项所述的网络数据流量分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010036589.6A CN113194045B (zh) | 2020-01-14 | 2020-01-14 | 数据流量分析方法、装置、存储介质及处理器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010036589.6A CN113194045B (zh) | 2020-01-14 | 2020-01-14 | 数据流量分析方法、装置、存储介质及处理器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113194045A CN113194045A (zh) | 2021-07-30 |
CN113194045B true CN113194045B (zh) | 2023-11-17 |
Family
ID=76972632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010036589.6A Active CN113194045B (zh) | 2020-01-14 | 2020-01-14 | 数据流量分析方法、装置、存储介质及处理器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113194045B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114338549B (zh) * | 2021-12-30 | 2024-02-09 | 南京中孚信息技术有限公司 | 数据流识别处理方法、装置、服务器及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103731316A (zh) * | 2013-07-30 | 2014-04-16 | 天津金栅科技有限公司 | 一种流量监控装置及方法 |
CN104639596A (zh) * | 2013-11-08 | 2015-05-20 | 塔塔咨询服务有限公司 | 用于使用rdma的低等待时间fifo消息收发中支持多个发送器的系统和方法 |
CN107547623A (zh) * | 2017-06-28 | 2018-01-05 | 新华三云计算技术有限公司 | 应用数据传输方法、装置、应用服务器和应用代理服务器 |
CN107665154A (zh) * | 2016-07-27 | 2018-02-06 | 鄞州浙江清华长三角研究院创新中心 | 基于rdma与消息传递的可靠数据分析方法 |
CN109391522A (zh) * | 2017-08-14 | 2019-02-26 | 华为技术有限公司 | 一种基于rdma的网络流量确定方法及装置 |
CN109560988A (zh) * | 2018-12-06 | 2019-04-02 | 河南中烟工业有限责任公司 | 一种以太网流量统计分析方法 |
CN110071900A (zh) * | 2018-01-23 | 2019-07-30 | 华为技术有限公司 | 数据发送的方法及设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060101090A1 (en) * | 2004-11-08 | 2006-05-11 | Eliezer Aloni | Method and system for reliable datagram tunnels for clusters |
US9177774B2 (en) * | 2010-01-15 | 2015-11-03 | California Institute Of Technology | Continuous flow mobility classifier interface with mass spectrometer |
-
2020
- 2020-01-14 CN CN202010036589.6A patent/CN113194045B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103731316A (zh) * | 2013-07-30 | 2014-04-16 | 天津金栅科技有限公司 | 一种流量监控装置及方法 |
CN104639596A (zh) * | 2013-11-08 | 2015-05-20 | 塔塔咨询服务有限公司 | 用于使用rdma的低等待时间fifo消息收发中支持多个发送器的系统和方法 |
CN107665154A (zh) * | 2016-07-27 | 2018-02-06 | 鄞州浙江清华长三角研究院创新中心 | 基于rdma与消息传递的可靠数据分析方法 |
CN107547623A (zh) * | 2017-06-28 | 2018-01-05 | 新华三云计算技术有限公司 | 应用数据传输方法、装置、应用服务器和应用代理服务器 |
CN109391522A (zh) * | 2017-08-14 | 2019-02-26 | 华为技术有限公司 | 一种基于rdma的网络流量确定方法及装置 |
CN110071900A (zh) * | 2018-01-23 | 2019-07-30 | 华为技术有限公司 | 数据发送的方法及设备 |
CN109560988A (zh) * | 2018-12-06 | 2019-04-02 | 河南中烟工业有限责任公司 | 一种以太网流量统计分析方法 |
Non-Patent Citations (1)
Title |
---|
基于天河2高速互连网络实现混合层次文件系统H2FS高速通信;董勇;1-10;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113194045A (zh) | 2021-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111885115B (zh) | 设备绑定变更方法及装置 | |
CN113595961A (zh) | 协议转换方法和系统、网关设备 | |
CN111327758B (zh) | 摄像头共享方法及装置 | |
CN109587719A (zh) | 数据传输方法及相关装置 | |
CN104270204A (zh) | 一种无线通信模块测试方法及测试设备 | |
CN108337739B (zh) | 建立无线调试连接的方法及装置、数据处理方法 | |
CN111182515A (zh) | 一种配网方法、装置、终端及计算机存储介质 | |
CN109862103A (zh) | 基于区块链的文件数据安全共享方法和装置 | |
CN114691390A (zh) | 用户态程序的处理方法和装置、存储介质及处理器 | |
CN113194045B (zh) | 数据流量分析方法、装置、存储介质及处理器 | |
CN105338657A (zh) | eUICC卡与管理平台的连接方法和eUICC卡 | |
CN112637931A (zh) | 建立网络连接的方法及装置 | |
CN110858201B (zh) | 数据处理方法及系统、处理器、存储介质 | |
CN112738785A (zh) | 设备连接方法及装置、存储介质及电子装置 | |
CN110572476B (zh) | 一种远程控制方法、装置及设备 | |
CN105704705A (zh) | 共享eSIM信息的终端切换的方法、终端及服务器 | |
CN115665251A (zh) | 边缘云资源分配方法及系统 | |
CN112969002B (zh) | 基于PCIe协议的图像传输方法和装置、存储介质 | |
CN114301989A (zh) | 信息传递方法、装置和系统 | |
CN104580672A (zh) | 一种信息处理方法及电子设备 | |
EP3331257A1 (en) | Terminal configuration management method and apparatus | |
CN112751706A (zh) | 一种目标数据的传输方法和装置 | |
CN113824753A (zh) | 通信方法及通信系统、存储介质、计算设备 | |
CN111737678A (zh) | 目标设备的绑定方法及装置、存储介质、电子装置 | |
CN110609781A (zh) | 接口测试方法、装置以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40056837 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |