CN114301996A - 传输数据处理方法及装置 - Google Patents

传输数据处理方法及装置 Download PDF

Info

Publication number
CN114301996A
CN114301996A CN202111511060.6A CN202111511060A CN114301996A CN 114301996 A CN114301996 A CN 114301996A CN 202111511060 A CN202111511060 A CN 202111511060A CN 114301996 A CN114301996 A CN 114301996A
Authority
CN
China
Prior art keywords
tcp
message
processor
receiving
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111511060.6A
Other languages
English (en)
Inventor
沈亚琪
李家顺
缪冬宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hillstone Networks Co Ltd
Original Assignee
Hillstone Networks Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hillstone Networks Co Ltd filed Critical Hillstone Networks Co Ltd
Priority to CN202111511060.6A priority Critical patent/CN114301996A/zh
Publication of CN114301996A publication Critical patent/CN114301996A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种传输数据处理方法及装置。其中,该方法包括:通过用户态驱动网卡接收发送端发送的传输控制协议TCP报文,其中,TCP报文包括握手报文或者数据报文;通过处理器对TCP报文进行处理,其中,用户态驱动网卡在接收到TCP报文后,将TCP报文发送给处理器;通过处理器在协议栈中对TCP报文的目标字段直接进行拷贝,根据拷贝的目标字段将TCP报文发送给接收端,其中,处理器包括协议栈,协议栈存储TCP报文的目标字段。本发明解决了相关技术中的传输控制协议TCP数据,在通过TCP代理传输时,效率低的技术问题。

Description

传输数据处理方法及装置
技术领域
本发明涉及数据传输领域,具体而言,涉及一种传输数据处理方法及装置。
背景技术
众所周知,当前大多数应用层协议都是基于TCP协议(Transmission ControlProtocol,传输控制协议)的,如HTTP(Hyper Text Transfer Protocol,超文本传输协议)、FTP(File Transfer Protocol,文本传输协议)、POP3(Post Office Protocol-Version3,邮局协议版本3)、SMTP(Simple Mail Transfer Protocol,简单邮件传输协议)、IMAP(Internet Message Access Protocol,因特网消息访问协议,别名交互邮件访问协议)等等,TCP代理有着广泛的应用,尤其是在网络设备中,如防火墙设备,WAF(Web ApplicationFirewall,Web应用防护系统,别名Web应用防火墙)设备等,需要通过TCP代理获取TCPpayload(TCP有效载荷)数据,以实现对报文的检查,流量监控,防病毒等功能。
下面对常见的TCP代理应用场景做简要介绍:
常见TCP代理应用场景一:图2是现有技术中的TCP简单代理流程的示意图,如图2所示,网络设备通过对TCP连接做简单代理,解析TCP之上承载的应用层协议报文,获取报文内容,并做应用安全检查:如URL过滤,防病毒,IPS,关键字过滤,电子邮件过滤,文件过滤等,实现对流量的监控。该场景下,网络设备通常只能查看报文内容,无法对TCP连接承载的数据做过多修改,仅根据需要修改TCP连接的若干字段,之后直接转发该条连接的报文。
常见TCP代理应用场景二:图3是现有技术中的TCP全代理流程的示意图,如图3所示,网络设备对TCP连接做全代理,打破客户端与服务端的原始TCP连接,实现对复杂应用的审计,如基于TCP全代理的SSL解密功能,可以实现对加密流量的审计。由于打破了原始TCP连接,客户端和服务端之间不再直接通信,往往会因TCP连接不是透明的而引发各种连接问题,比如:应用识别出来某个协议不用代理后,如果没有TCP透明代理,那么无法退出代理模式,也就无法实现应用层筛选;另外,TCP代理普遍都存在性能问题,TCP代理的介入后,往往会造成报文转发速率的降低。
与本申请相关的现有技术有:常见的TCP代理解决方案是基于内核态驱动网卡收发包,和基于内核态TCP/IP协议栈,代理设备与客户端(发起TCP连接的一侧)和服务端(被动接受TCP连接的一侧),分别建立TCP连接,之后获取客户端发送的请求数据,在通过应用层检查之后,再由另一侧的TCP连接发送给服务端。由于涉及到报文在内核态和用户态之间的拷贝,以及一系列的系统调用,TCP代理性能往往受到制约。
与本申请相关的现有技术中为了实现用户态TCP代理,常见的解决方案是基于用户态网卡收发包驱动,和用户态的TCP/IP协议栈,但在用户态下如何实现TCP透明代理,并保证TCP代理的稳定性和高性能,目前业界存在一些方案,但解决问题的角度相对比较单一,具体如下:
图4是现有技术中的现有用户态TCP全代理的示意图,与本申请相关的现有技术方案如图4所示,从图4可以看出目前现有的技术方案存在的主要问题如有:(1).基于用户态TCP/IP协议栈,虽然比基于内核态TCP/IP协议栈转发效率更高,但是代理设备与客户端和服务端分别进行TCP握手,这增加了报文交互次数;(2).通常两侧的TCP连接是互相独立的,分别由用户态的src socket(源套接字)和dst socket(目的套接字)来维护,这就导致两侧的TCP连接信息有区别,如两侧的TCP header、TCP option并不完全一致,并不是完全透明的TCP代理;(3).当进行TCP数据交互时,若两侧的网络速率不匹配,或是代理设备在处理应用层业务耗时较长时,很容易造成报文堆积在中间代理设备上,消耗系统资源(如pak资源,即包资源,内存资源),上述包资源通常可理解为设备专门用于接收网络报文的一种内存资源。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种传输数据处理方法及装置,以至少解决相关技术中的传输控制协议TCP数据,在通过TCP代理传输时,效率低的技术问题。
根据本发明实施例的一个方面,提供了传输数据处理方法,包括:通过用户态驱动网卡接收发送端发送的传输控制协议TCP报文,其中,所述TCP报文包括握手报文或者数据报文;通过处理器对所述TCP报文进行处理,其中,所述用户态驱动网卡在接收到所述TCP报文后,将所述TCP报文发送给所述处理器;通过所述处理器在协议栈中对所述TCP报文的目标字段直接进行拷贝,根据拷贝的所述目标字段将所述TCP报文发送给接收端,其中,所述处理器包括所述协议栈,所述协议栈存储所述TCP报文的目标字段。
可选的,所述处理器的数量为多个,通过所述用户态驱动网卡接收发送端发送的传输控制协议TCP报文之后,所述方法还包括:通过所述用户态驱动网卡,根据所述TCP报文的五元组哈希值,将所述TCP报文分发到对应的收发队列;将所述收发队列按照预设分发方式,分发给所述多个处理器,对所述收发队列的TCP报文进行并发处理。
可选的,所述TCP报文为握手报文的情况下,通过所述处理器在协议栈中对所述TCP报文的目标字段直接进行拷贝,根据拷贝的所述目标字段将所述TCP发送给接收端包括:通过所述处理器在协议栈中对所述握手报文的目标字段直接进行拷贝,其中,所述目标字段包括标头header或选项option,所述握手报文为SYN报文,或ACK报文;根据拷贝的所述目标字段将所述握手报文发送给接收端。
可选的,根据拷贝的所述目标字段将所述握手报文发送给接收端之后,所述方法还包括:在客户端与服务端之间的TCP握手完成的情况下,创建第一TCP连接,以及第二TCP连接,其中,所述第一TCP连接为与所述客户端之间的TCP连接,所述第二TCP连接为与所述服务端之间的TCP连接;并将所述第一TCP连接和所述第二TCP连接的状态设置为已创建状态,其中,在所述已创建状态所述第一TCP连接和所述第二TCP连接能够对数据进行传输;其中,所述发送端为客户端或服务端,所述接收端为服务端或客户端,在所述发送端为客户端的情况下,所述接收端为服务端,在所述发送端为服务端的情况下,所述接收端为客户端。
可选的,通过所述处理器在协议栈中对所述TCP报文的目标字段直接进行拷贝,根据拷贝的所述目标字段将所述TCP报文发送给接收端之后,还包括:根据所述处理器的可用处理资源对接收窗口的大小实时调整,其中,所述接收窗口用于为所述用户态驱动网卡接收所述发送端的所述TCP报文,所述接收窗口越大,接收所述数据报文的速率越快。
可选的,根据所述处理器的可用处理资源对接收窗口的大小实时调整包括:按照预设频率,根据所述处理器的最大处理数据量,与所述处理器正在处理的数据量,确定所述处理器的可用处理资源;将所述接收窗口的大小调整为与所述可用处理资源匹配的目标尺寸。
可选的,根据所述处理器的最大处理数据量,与所述处理器正在处理的数据量,确定所述处理器的可用处理资源包括:根据处理器正在处理的接收报文的数据量以及发送报文的数据量,确定所述处理器正在处理的数据量;将所述最大处理数据量减去所述正在处理的数据量,得到所述可用处理资源的数据量。
根据本发明实施例的另一方面,还提供了一种传输数据处理装置,包括:接收模块,通过用户态驱动网卡接收发送端发送的传输控制协议TCP报文,其中,所述TCP报文包括握手报文或者数据报文;处理模块,通过处理器对所述TCP报文进行处理,其中,所述用户态驱动网卡在接收到所述TCP报文后,将所述TCP报文发送给所述处理器;发送模块,通过所述处理器在协议栈中对所述TCP报文的目标字段直接进行拷贝,根据拷贝的所述目标字段将所述TCP报文发送给接收端,其中,所述处理器包括所述协议栈,所述协议栈存储所述TCP报文的目标字段。
根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的传输数据处理方法。
根据本发明实施例的另一方面,还提供了一种计算机存储介质,所述计算机存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的传输数据处理方法。
在本发明实施例中,通过用户态驱动网卡接收发送端发送的传输控制协议TCP报文,其中,TCP报文包括握手报文或者数据报文;通过处理器对TCP报文进行处理,其中,用户态驱动网卡在接收到TCP报文后,将TCP报文发送给处理器;通过处理器在协议栈中对TCP报文的目标字段直接进行拷贝,根据拷贝的目标字段将TCP报文发送给接收端,其中,处理器包括协议栈,协议栈存储TCP报文的目标字段,通过对目标字段进行直接拷贝转发的方式,达到了对TCP代理进行一定程度的透明化的目的,实现了提高TCP代理的数据传输速率的技术效果,进而解决了相关技术中的传输控制协议TCP数据,在通过TCP代理传输时,效率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种传输数据处理方法的流程图;
图2是现有技术中的TCP简单代理流程的示意图;
图3是现有技术中的TCP全代理流程的示意图;
图4是现有技术中的现有用户态TCP全代理的示意图;
图5是根据本发明实施方式的基于用户态的TCP透明代理方案的示意图;
图6是根据本发明实施方式的多核并发处理报文的示意图;
图7是根据本发明实施方式的TCP透明代理的实现的示意图;
图8是根据本发明实施方式的TCP代理动态调节接收窗口的示意图;
图9是根据本发明实施例的一种传输数据处理装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种传输数据处理方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种传输数据处理方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,通过用户态驱动网卡接收发送端发送的传输控制协议TCP报文,其中,TCP报文包括握手报文或者数据报文;
步骤S104,通过处理器对TCP报文进行处理,其中,用户态驱动网卡在接收到TCP报文后,将TCP报文发送给处理器;
步骤S106,通过处理器在协议栈中对TCP报文的目标字段直接进行拷贝,根据拷贝的目标字段将TCP报文发送给接收端,其中,处理器包括协议栈,协议栈存储TCP报文的目标字段。
通过上述步骤,通过用户态驱动网卡接收发送端发送的传输控制协议TCP报文,其中,TCP报文包括握手报文或者数据报文;通过处理器对TCP报文进行处理,其中,用户态驱动网卡在接收到TCP报文后,将TCP报文发送给处理器;通过处理器在协议栈中对TCP报文的目标字段直接进行拷贝,根据拷贝的目标字段将TCP报文发送给接收端,其中,处理器包括协议栈,协议栈存储TCP报文的目标字段,通过对目标字段进行直接拷贝转发的方式,达到了对TCP代理进行一定程度的透明化的目的,实现了提高TCP代理的数据传输速率的技术效果,进而解决了相关技术中的传输控制协议TCP数据,在通过TCP代理传输时,效率低的技术问题。
上述步骤的执行主体可以为TCP代理设备。如图6所示,TCP代理设备设置在客户端和服务端之间,为客户端和服务端进行TCP报文的转发和处理。
上述用户动态驱动网卡可以分别与进行数据发送的发送端和对发送端进行数据接收的接收端进行连接,上述发送端与接收端可以是客户端或者服务端,客户端与服务端中数据的发出者即可以是发送端,对发送数据进行接收的即可以接收端,上述用户动态驱动网卡可以接收发送端发送的传输控制协议TCP报文,可以将TCP报文通过五元组哈希值,将TCP报文发送到对应的收发队列,上述报文可以是握手报文或者数据报文,如果上述动态驱动网卡接收到的是握手报文,可以对握手报文的目标字段,即标头字段或选项字段,进行直接拷贝转发给接收端,TCP握手后,可以将上述连接的连接状态修改为建立状态,在TCP的连接的建立状态可以进行数据传输,进行数据报文的传输。
上述握手过程不再使用现有技术中增加TCP握手阶段的报文数据的方式实现TCP代理,即可以提高TCP的握手效率,避免额外的TCP握手开销;将TCP的连接状态修改为建立状态,进行TCP数据报文传输,可以减少TCP报文数据传输的握手次数。
上述处理器可以访问处理上述用户动态驱动网卡的收发队列,可以采用多个处理器并发的方式将上述TCP握手报文的目标字段进行直接拷贝转发给接收端,或者将TCP数据报文转发给接收端。如图5所示,上述处理器可以包括协议栈,解析模块,用户态应用层,上述协议栈存储TCP报文的目标字段,在多处理器的场景下,每个处理器都包括协议栈,解析模块和用户态应用层,上述用户态应用层可以为用户态的数据报文提供相应的处理操作,例如加解密,分析等操作。上述通过处理器对TCP报文进行处理,也即是通过上述协议栈和解析模块将TCP报文转发给用户态应用层,经过用户态应用层处理后,将处理后的数据,通过解析模块和协议栈在发送给用户态驱动网卡,转发给接收端。
通过对目标字段进行直接拷贝转发的方式,达到了对TCP代理进行一定程度的透明化的目的,实现了提高TCP代理的数据传输速率的技术效果,进而解决了相关技术中的传输控制协议TCP数据,在通过TCP代理传输时,效率低的技术问题。
上述处理器还可以对TCP报文的数据包的接收的窗口进行调整,可以根据处理器的可用处理资源情况对接收窗口的大小进行动态调整,以此来提升TCP代理的稳定性和吞吐能力。
可选的,处理器的数量为多个,通过用户态驱动网卡接收发送端发送的传输控制协议TCP报文之后,方法还包括:通过用户态驱动网卡,根据TCP报文的五元组哈希值,将TCP报文分发到对应的收发队列;将收发队列按照预设分发方式,分发给多个处理器,对收发队列的TCP报文进行并发处理。
通过用户态驱动网卡,可以将TCP报文的数据流量按照五元组哈希值,将TCP报文发到对应的用户态网卡收发队列,如果存在多个处理器的情况下,每个处理器上运行的进程都可以对用户态网卡的收发队列进行访问连接,通过处理器可以将TCP报文进行报文并发处理,以此可以提升报文转发性能。
例如,实现多核(即上述多个处理器)并发处理流量,基于用户态的驱动网卡收发队列,在网卡收到报文后,按五元组hash哈希,将报文分发到对应的收发队列,在多核场景下,每个CPU上运行的进程都可以尝试将网卡收发队列中的报文进行获取,实现报文并发处理,提升报文转发性能。
通过利用多个处理器对收发队列TCP报文进行并发处理,达到了快速处理TCP报文的目的,实现了提升报文转发性能的技术效果。
可选的,TCP报文为握手报文的情况下,通过处理器在协议栈中对TCP报文的目标字段直接进行拷贝,根据拷贝的目标字段将TCP发送给接收端包括:通过处理器在协议栈中对握手报文的目标字段直接进行拷贝,其中,目标字段包括标头header或选项option,握手报文为SYN报文,或ACK报文;根据拷贝的目标字段将握手报文发送给接收端。
如果TCP报文为握手报文,可以通过处理器在协议栈中对TCP报文中的目标字段直接进行拷贝,上述目标字段可以包括标头header字段或选项option字段,然后可以将拷贝的目标字段直接进行转发。
上述握手报文可以为包含SYN信息的请求建立连接的SYN报文,也可是包含ACK确认信息ACK报文。TCP第一次握手可以由客户端将带有SYN请求握手的SYN报文发送,通过处理器在协议栈中对SYN报文的目标字段进行直接拷贝转发给服务端,服务端收到请求信息后可以进行第二次握手,服务端可以将带有SYN请求握手的SYN报文与ACK确认信息的ACK报文进行发送,再通过处理器在协议栈中对ACK报文中的目标字段进行直接拷贝转发给客户端,客户端接收到ACK报文后可以进行第三次握手,客户端可以将带有ACK确认信息的ACK报文进行发送,再通过处理器在协议栈中对ACK报文中的目标字段进行直接拷贝转发给服务端,服务端接收到来自客户端的ACK报文后,可以确认客户端与服务端可以进行通信。上述为本实施例中三次握手建立TCP连接过程,在TCP四次握手也可以通过将目标字段进行直接拷贝转发。由于直接转发了SYN、SYN/ACK,则可以不再增加TCP握手阶段的报文数量,以此来提高握手效率。
具体的,当收到客户端发来的SYN报文时,在用户态TCP/IP协议栈中直接拷贝记录该SYN报文的TCP header(标头)、TCP option(选项)等目标字段,然后将该SYN报文直接转发给服务端,而不是由代理设备自己回SYN/ACK报文给客户端,当服务端返回SYN/ACK报文时,再拷贝服务器侧的TCP header、TCP option字段。
通过将目标字段进行直接拷贝转发给客户端或服务端,达到了利用目标字段实现TCP握手连接的目的,实现了不再增加TCP握手阶段的报文数量,提高客户端与服务端之间的TCP握手效率。
可选的,根据拷贝的目标字段将握手报文发送给接收端之后,方法还包括:在客户端与服务端之间的TCP握手完成的情况下,创建第一传输控制协议TCP连接,以及第二TCP连接,其中,第一TCP连接为与客户端之间的TCP连接,第二TCP连接为与服务端之间的TCP连接;并将第一TCP连接和第二TCP连接的状态设置为已创建状态,其中,在已创建状态第一TCP连接和第二TCP连接能够对数据进行传输;其中,发送端为客户端或服务端,接收端为服务端或客户端,在发送端为客户端的情况下,接收端为服务端,在发送端为服务端的情况下,接收端为客户端。
在客户端与服务端经过用户态驱动网卡、处理器并发处理,实现客户端与服务端的握手情况下,可以在发送端与用户动态驱动网卡以及用户态驱动网卡与接收端分别建立TCP连接,发送端与用户动态驱动网卡的间可以建立第一传输控制协议TCP连接,用户态驱动网卡与接收端可以建立第二传输控制协议TCP连接,并且,为减少TCP握手的次数,可以在TCP握手完成的情况下,第一TCP连接以及第二TCP连接状态可以切换为建立状态,如果第一TCP连接状态与第二TCP连接状态为建立状态,那么在接收端与发送之间可以将数据通过用户态驱动网卡以及处理器并发处理进行数据传输。
由于客户端与服务端之间可以进行数据的相互发送,因此客户端与服务端均可以作为数据的发送端,同时客户端与服务端也均可以作为数据的接收端,如果发送端为客户端,那么接收端可以为服务端,如果发送端为服务端,那么接收端可以为客户端。
例如,当客户端与服务端TCP三次握手之后,代理设备与客户端和服务端分别建立一条虚拟的TCP连接,TCP代理设备与客户端之间的TCP连接为第一TCP连接,TCP代理设备与服务端之间的TCP连接为第二TCP连接,并将第一TCP连接和第二TCP连接的状态置为Established(创建状态)。
通过发送端与用户动态驱动网卡以及用户态驱动网卡与接收端分别建立TCP连接,并且将连接状态设置为建立状态,达到了利用用户动态驱动网卡建立发送端与接收端的TCP连接的目的,实现了减少数据传输中TCP握手次数,提高数据传输速度的技术效果。
可选的,通过处理器在协议栈中对TCP报文的目标字段直接进行拷贝,根据拷贝的目标字段将TCP报文发送给接收端之后,还包括:根据处理器的可用处理资源对接收窗口的大小实时调整,其中,接收窗口用于为用户态驱动网卡接收发送端的TCP报文,接收窗口越大,接收数据报文的速率越快。
在TCP报文数据的传输过程中,为保证数据传输的稳定性和传输速率,可以根据处理器的可用处理资源情况,对接收TCP报文数据包的接收窗口大小进行实时调整,还可以将接收窗口大小实时反馈给发送端,通知发送端对发送的TCP报文数据包大小或发送速度进行调整,如果处理器的可用处理资源较多,那么接收窗口可以相应扩大,则接收数据报文的速率越快,如果处理器的可用处理资源较少,那么接收窗口可以相应缩小,则接收数据报文的速率越慢,通过对接收窗口的大小进行实施调整,可以以此来防止处理器处理不过来,造成报文堆积,消耗系统报文资源和存储资源的情况发生或者处理器资源存在大部分空闲,报文数据传输速率过低的情况发生。
TCP协议通过通告接收窗口的大小,告知对端,当前还能接收多少数据,如果通知过小,会导致TCP传输速率低,而如果通知的过大,TCP并发连接数过多时,CPU处理不过来,则会造成报文堆积在本地,消耗系统报文资源和内存资源;为了保证TCP代理传输数据的稳定性和传输速率,本实施例兼顾了两侧用户态套接字的接收能力和当前CPU的处理能力,动态调节通告出去的TCP接收窗口大小,使得TCP代理可以自适应网络环境,
通过动态调节窗口进行TCP报文数据的传输,达到了处理器资源的动态调度的目的,实现了提高处理器资源利用率的技术效果。
可选的,根据处理器的可用处理资源对接收窗口的大小实时调整包括:按照预设频率,根据处理器的最大处理数据量,与处理器正在处理的数据量,确定处理器的可用处理资源;将接收窗口的大小调整为与可用处理资源匹配的目标尺寸。
对接收窗口的大小进行实时调整可以按照预设的频率对处理器的可用处理资源进行计算,可以通过处理器的最大处理数据量与处理器正在处理的数据量确定处理器计算处理器的可用处理资源,根据处理器可用的处理资源可以将接收窗口调节成与处理器可用处理资源匹配的窗口大小,也即上述目标尺寸。
可选的,根据处理器的最大处理数据量,与处理器正在处理的数据量,确定处理器的可用处理资源包括:根据处理器正在处理的接收报文的数据量以及发送报文的数据量,确定处理器正在处理的数据量;将最大处理数据量减去正在处理的数据量,得到可用处理资源的数据量。
可以根据处理器正在处理的接收报文的数据量以及发送报文的数据量,确定处理器正在处理的数据量,根据处理器的最大处理数据量和已得到的正在处理数据量,可以确定处理器的可用处理资源的数据量,通过处理器的最大处理数据量减去正在处理的数据量可以得到可用处理资源的数据量。
例如,dst socket通告给服务端的TCP接收窗口,按如下计算:
Window(窗口大小)=MAX_BUFF_SIZE(CPU的最大处理能力)–rcv_q_len(接收数据的数据量)–peer_write_q_len(发送数据的数据量)
需要说明的是,本申请实施例还提供了一种可选的实施方式,下面对该实施方式进行详细说明。
本实施方式提供了一种基于用户状态的高性能TCP透明代理方案,本实施方式主要提出了基于用户态网卡驱动,集成用户态TCP(Transmission Control Protocol,传输控制协议)协议栈,实现的一种高性能TCP透明代理方案,在本实施方式中充分的考虑了TCP代理的性能,通过主动识别,判断流量是否需要TCP代理,灵活控制TCP代理的介入时机,并通过复制TCP header(TCP报文标头字段)、TCP option(TCP选项字段)关键字段,实现透明代理,同时通过动态调节TCP接收窗口,自适应网络环境,避免出现网络拥塞,实现了高性能的用户态TCP代理。
本实施方式为了提升用户态的TCP代理性能,在网络设备或者安全设备上,实现一种流程高效,技术可行的用户态集成的高性能TCP透明代理方案,方案总体思路如下:
(1)集成了用户态网卡驱动报文收发,用户态TCP/IP协议栈,减少了报文在用户态与内核态的任务切换以及报文内存拷贝带来的额外开销,并通过对流量进行hash(哈希)实现多核并发处理。
(2)直接修改并转发SYN(Synchronize Sequence Numbers,同步序列编号,)报文,也即是TCP连接的第一个握手报文、SYN/ACK(ackknowledgement,确认)报文,当原始Client端(即客户端)与Server端(即服务器端)TCP连接建立成功后,直接将TCP代理的连接的状态修改为Establish(建立状态),减少TCP握手次数。
(3)通过拷贝TCP header、TCP option字段实现透明代理。
(4)通过关联两侧的TCP socket,实现对TCP接收窗口的动态调节,自适应网络环境,可以大大提升TCP代理的稳定性和吞吐性能。
图5是根据本发明实施方式的基于用户态的TCP透明代理方案的示意图,如图5所示,实现应用层检查功能的整体框架,主要包含三部分内容,首先是用户态网卡报文收发队列,这部分利用用户态网卡驱动直接从网卡收发报文,并通过流量hash,将流量分发到多个核进行并发处理。其次是经过改造的用户态TCP/IP协议栈,由该协议栈负责TCP连接的代理,并且实现报文重组,ack应答,报文重传等处理。最后是基于TCP代理的应用层处理,负责解析TCP payload(TCP有效载荷)数据,实现SSL(Secure Sockets Layer,安全套接字协议)解密,文件过滤,防病毒等功能。
1.实现多核并发处理流量:
图6是根据本发明实施方式的多核并发处理报文的示意图,如图6所示,基于用户态的驱动网卡收发队列,在网卡收到报文后,按五元组hash,将报文分发到对应的收发队列,在多核场景下,每个CPU(Central Processing Unit,中央处理器)上运行的进程都可以尝试poll(一个动作:进程主动询问收包队列,并获取队列中待取出的报文)对应的网卡收包队列,实现报文并发处理,提升报文转发性能。
2.实现TCP透明代理:
图7是根据本发明实施方式的TCP透明代理的实现的示意图,图7所示,当收到客户端发来的SYN报文时,在用户态TCP/IP协议栈中直接拷贝记录该SYN报文的TCP header(标头)、TCP option(选项)等字段,然后将该SYN报文直接转发给服务端,而不是由代理设备自己回SYN/ACK报文给客户端,当服务端返回SYN/ACK报文时,再拷贝服务器侧的TCP header、TCP option字段,当客户端与服务端TCP三次握手之后,代理设备与客户端和服务端分别建立一条虚拟的TCP连接,并将TCP连接的状态置为Established(创建状态)。
3.减少TCP握手包的数量:
由于直接转发了SYN报文、SYN/ACK报文,TCP全代理时并不会增加TCP握手阶段的报文数量,提高了握手效率,TCP代理协议栈在转发SYN报文、SYN/ACK报文后状态机直接进入Establish状态。
4.实现TCP窗口动态调节:
图8是根据本发明实施方式的TCP代理动态调节接收窗口的示意图,如图8所示,TCP协议通过通告接收窗口的大小,告知对端,当前还能接收多少数据,如果通知过小,会导致TCP传输速率低,而如果通知的过大,TCP并发连接数过多时,CPU处理不过来,则会造成报文堆积在本地,消耗系统报文资源和内存资源;为了保证TCP代理传输数据的稳定性和传输速率,本实施方式兼顾了两侧用户态套接字的接收能力和当前CPU的处理能力,动态调节通告出去的TCP接收窗口大小,使得TCP代理可以自适应网络环境,例如dst socket通告给服务端的TCP接收窗口,按如下计算:
Window(窗口大小)=MAX_BUFF_SIZE(CPU的最大处理能力)–rcv_q_len(接收数据的数据量)–peer_write_q_len(发送数据的数据量)
且当CPU利用率超过某个阈值时,new_wnd(即下一次TCP通告出去的新窗口大小)进行相应的缩减,避免因CPU忙导致在并发TCP连接数多时造成报文堆积。
本实施方式适用于网络设备(包括但不限于网络流量安全设备、网络数据转发设备、网络流量分析设备、网络流量管理设备,如FW/NGFW、IDS/IPS、WAF、ADC、BDS、Router等等),同时适用于虚拟化网络功能或者虚拟化网络设备(包括但不限于虚拟化网络流量安全功能或者设备、虚拟化网络数据转发功能或者设备,虚拟化网络流量分析功能或者设备,虚拟化网络流量管理功能或者设备。
本实施方式可以应用于在网络设备上,基于TCP透明代理,实现对加密流量的审计,URL(Uniform Resource Locator,统一资源定位器)过滤,防病毒,IPS(IntrusionPrevention System,电脑网络安全设施),关键字过滤,电子邮件过滤,文件过滤等功能。
本实施方式集成了用户态网卡驱动报文收发、改造后的用户态TCP/IP协议栈,从架构层面设计了高性能TCP透明代理方案。为用户提供了高性能、稳定的TCP代理方案。
本实施方式适用范围比较广:适用于裸机、虚拟化、容器平台等多种网络设备或者安全设备或者网络功能软件或者网络安全软件;本实施方式可以减少代理时所需TCP握手次数:通过直接修改并转发SYN报文、SYN/ACK报文,避免引入的额外的TCP握手开销;本实施方式可实现TCP透明代理:通过TCP透明代理,使得客户端和服务端感知不到连接被代理,避免出现TCP连接异常;本实施方式采用高性能、稳定的TCP代理框架:本实施方式可以为网络设备提供一套基于用户态的TCP代理方案,并可基于该方案实现各种应用层功能。
本实施方式的关键在于利用用户态网卡驱动报文收发,基于用户态TCP/IP协议栈实现的高性能TCP透明代理技术设计方案。利用上述高性能TCP透明代理的总体架构技术设计方案在各种网络设备或者安全设备,网络功能或者安全功能,网络软件或者安全软件,网络平台或者安全平台上的应用。(备注:这里设备/功能/软件/平台,包括物理环境,虚拟化环境以及容器环境等各种场合的目标主体)
图9是根据本发明实施例的一种传输数据处理装置的示意图,如图9所示,根据本发明实施例的另一方面,还提供了一种传输数据处理装置,包括:接受模块92,生处理模块94和发送模块96,下面对该装置进行详细说明。
接收模块92,通过用户态驱动网卡接收发送端发送的传输控制协议TCP报文,其中,TCP报文包括握手报文或者数据报文;处理模块94,与上述接收模块92相连,通过处理器对TCP报文进行处理,其中,用户态驱动网卡在接收到TCP报文后,将TCP报文发送给处理器;发送模块96,与上述处理模块94相连,通过处理器在协议栈中对TCP报文的目标字段直接进行拷贝,根据拷贝的目标字段将TCP报文发送给接收端,其中,处理器包括协议栈,协议栈存储TCP报文的目标字段。
通过上述装置,通过用户态驱动网卡接收发送端发送的传输控制协议TCP报文,其中,TCP报文包括握手报文或者数据报文;通过处理器对TCP报文进行处理,其中,用户态驱动网卡在接收到TCP报文后,将TCP报文发送给处理器;通过处理器在协议栈中对TCP报文的目标字段直接进行拷贝,根据拷贝的目标字段将TCP报文发送给接收端,其中,处理器包括协议栈,协议栈存储TCP报文的目标字段,通过对目标字段进行直接拷贝转发的方式,达到了对TCP代理进行一定程度的透明化的目的,实现了提高TCP代理的数据传输速率的技术效果,进而解决了相关技术中的传输控制协议TCP数据,在通过TCP代理传输时,效率低的技术问题。
根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的传输数据处理方法。
根据本发明实施例的另一方面,还提供了一种计算机存储介质,所述计算机存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的传输数据处理方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种传输数据处理方法,其特征在于,包括:
通过用户态驱动网卡接收发送端发送的传输控制协议TCP报文,其中,所述TCP报文包括握手报文或者数据报文;
通过处理器对所述TCP报文进行处理,其中,所述用户态驱动网卡在接收到所述TCP报文后,将所述TCP报文发送给所述处理器;
通过所述处理器在协议栈中对所述TCP报文的目标字段直接进行拷贝,根据拷贝的所述目标字段将所述TCP报文发送给接收端,其中,所述处理器包括所述协议栈,所述协议栈存储所述TCP报文的目标字段。
2.根据权利要求1所述的方法,其特征在于,所述处理器的数量为多个,通过所述用户态驱动网卡接收发送端发送的传输控制协议TCP报文之后,所述方法还包括:
通过所述用户态驱动网卡,根据所述TCP报文的五元组哈希值,将所述TCP报文分发到对应的收发队列;
将所述收发队列按照预设分发方式,分发给所述多个处理器,对所述收发队列的TCP报文进行并发处理。
3.根据权利要求1所述的方法,其特征在于,所述TCP报文为握手报文的情况下,通过所述处理器在协议栈中对所述TCP报文的目标字段直接进行拷贝,根据拷贝的所述目标字段将所述TCP发送给接收端包括:
通过所述处理器在协议栈中对所述握手报文的目标字段直接进行拷贝,其中,所述目标字段包括标头header或选项option,所述握手报文为SYN报文,或ACK报文;
根据拷贝的所述目标字段将所述握手报文发送给接收端。
4.根据权利要求3所述的方法,其特征在于,根据拷贝的所述目标字段将所述握手报文发送给接收端之后,所述方法还包括:
在客户端与服务端之间的TCP握手完成的情况下,创建第一TCP连接,以及第二TCP连接,其中,所述第一TCP连接为与所述客户端之间的TCP连接,所述第二TCP连接为与所述服务端之间的TCP连接;
并将所述第一TCP连接和所述第二TCP连接的状态设置为已创建状态,其中,在所述已创建状态所述第一TCP连接和所述第二TCP连接能够对数据进行传输;
其中,所述发送端为客户端或服务端,所述接收端为服务端或客户端,在所述发送端为客户端的情况下,所述接收端为服务端,在所述发送端为服务端的情况下,所述接收端为客户端。
5.根据权利要求1所述的方法,其特征在于,通过所述处理器在协议栈中对所述TCP报文的目标字段直接进行拷贝,根据拷贝的所述目标字段将所述TCP报文发送给接收端之后,还包括:
根据所述处理器的可用处理资源对接收窗口的大小实时调整,其中,所述接收窗口用于为所述用户态驱动网卡接收所述发送端的所述TCP报文,所述接收窗口越大,接收所述数据报文的速率越快。
6.根据权利要求5所述的方法,其特征在于,根据所述处理器的可用处理资源对接收窗口的大小实时调整包括:
按照预设频率,根据所述处理器的最大处理数据量,与所述处理器正在处理的数据量,确定所述处理器的可用处理资源;
将所述接收窗口的大小调整为与所述可用处理资源匹配的目标尺寸。
7.根据权利要求6所述的方法,其特征在于,根据所述处理器的最大处理数据量,与所述处理器正在处理的数据量,确定所述处理器的可用处理资源包括:
根据处理器正在处理的接收报文的数据量以及发送报文的数据量,确定所述处理器正在处理的数据量;
将所述最大处理数据量减去所述正在处理的数据量,得到所述可用处理资源的数据量。
8.一种传输数据处理装置,其特征在于,包括:
接收模块,通过用户态驱动网卡接收发送端发送的传输控制协议TCP报文,其中,所述TCP报文包括握手报文或者数据报文;
处理模块,通过处理器对所述TCP报文进行处理,其中,所述用户态驱动网卡在接收到所述TCP报文后,将所述TCP报文发送给所述处理器;
发送模块,通过所述处理器在协议栈中对所述TCP报文的目标字段直接进行拷贝,根据拷贝的所述目标字段将所述TCP报文发送给接收端,其中,所述处理器包括所述协议栈,所述协议栈存储所述TCP报文的目标字段。
9.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至7中任意一项所述的传输数据处理方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机存储介质所在设备执行权利要求1至7中任意一项所述的传输数据处理方法。
CN202111511060.6A 2021-12-10 2021-12-10 传输数据处理方法及装置 Pending CN114301996A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111511060.6A CN114301996A (zh) 2021-12-10 2021-12-10 传输数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111511060.6A CN114301996A (zh) 2021-12-10 2021-12-10 传输数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN114301996A true CN114301996A (zh) 2022-04-08

Family

ID=80968293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111511060.6A Pending CN114301996A (zh) 2021-12-10 2021-12-10 传输数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN114301996A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114726924A (zh) * 2022-05-17 2022-07-08 北京安盟信息技术股份有限公司 一种基于tcp/ip协议栈特性提高网络带宽利用率方法
CN115361443A (zh) * 2022-08-16 2022-11-18 武汉思普崚技术有限公司 一种报文处理方法及系统
CN115426317A (zh) * 2022-11-03 2022-12-02 新华三信息技术有限公司 数据传输速率控制方法、装置及电子设备
CN116647519A (zh) * 2023-07-26 2023-08-25 苏州浪潮智能科技有限公司 一种报文处理方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140330982A1 (en) * 2013-05-03 2014-11-06 A10 Networks, Inc. Facilitating secure network traffic by an application delivery controller
US20170093699A1 (en) * 2015-09-29 2017-03-30 Mellanox Technologies Ltd. Hardware-based congestion control for TCP traffic
CN108667675A (zh) * 2018-08-14 2018-10-16 浙江亿邦通信科技有限公司 一种通信方法、通信设备及通信专线备网方法
CN108924138A (zh) * 2018-07-05 2018-11-30 成都安恒信息技术有限公司 一种实现tcp代理完全透明的方法
CN112583874A (zh) * 2019-09-30 2021-03-30 中兴通讯股份有限公司 异构网络的报文转发方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140330982A1 (en) * 2013-05-03 2014-11-06 A10 Networks, Inc. Facilitating secure network traffic by an application delivery controller
US20170093699A1 (en) * 2015-09-29 2017-03-30 Mellanox Technologies Ltd. Hardware-based congestion control for TCP traffic
CN108924138A (zh) * 2018-07-05 2018-11-30 成都安恒信息技术有限公司 一种实现tcp代理完全透明的方法
CN108667675A (zh) * 2018-08-14 2018-10-16 浙江亿邦通信科技有限公司 一种通信方法、通信设备及通信专线备网方法
CN112583874A (zh) * 2019-09-30 2021-03-30 中兴通讯股份有限公司 异构网络的报文转发方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114726924A (zh) * 2022-05-17 2022-07-08 北京安盟信息技术股份有限公司 一种基于tcp/ip协议栈特性提高网络带宽利用率方法
CN115361443A (zh) * 2022-08-16 2022-11-18 武汉思普崚技术有限公司 一种报文处理方法及系统
CN115361443B (zh) * 2022-08-16 2023-06-20 武汉思普崚技术有限公司 一种报文处理方法及系统
CN115426317A (zh) * 2022-11-03 2022-12-02 新华三信息技术有限公司 数据传输速率控制方法、装置及电子设备
CN116647519A (zh) * 2023-07-26 2023-08-25 苏州浪潮智能科技有限公司 一种报文处理方法、装置、设备及介质
CN116647519B (zh) * 2023-07-26 2023-10-03 苏州浪潮智能科技有限公司 一种报文处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN114301996A (zh) 传输数据处理方法及装置
US9438702B2 (en) Techniques for protecting against denial of service attacks
Loreto et al. Known issues and best practices for the use of long polling and streaming in bidirectional http
US8856913B2 (en) Method and protection system for mitigating slow HTTP attacks using rate and time monitoring
US9338192B1 (en) Connection management using connection request transfer protocol
US10313247B2 (en) System, method, and device for network load balance processing
US8694651B2 (en) Method and system for implementing network proxy
US10148565B2 (en) OPENFLOW communication method and system, controller, and service gateway
CN110266678B (zh) 安全攻击检测方法、装置、计算机设备及存储介质
AU2007320794B2 (en) Selective session interception method
WO2023151264A1 (zh) 负载均衡方法、装置、节点及存储介质
US20230275924A1 (en) Network security protection method and protection device
US20210243157A1 (en) Maintaining internet protocol security tunnels
CN103685315A (zh) 一种防御拒绝服务攻击的方法及系统
CN113810397A (zh) 协议数据的处理方法及装置
US20160099891A1 (en) Packet processing method, apparatus and system
US20230275874A1 (en) Network security protection method and protection device
JP2005011267A (ja) リアルタイムデータ通信システム、リアルタイムデータ通信装置およびリアルタイムデータ通信方法
CN112565309B (zh) 报文处理方法、装置、设备以及存储介质
Terai et al. Design and implementation experiments of scalable socket buffer tuning
Salsano et al. Internet Engineering Task Force (IETF) S. Loreto Request for Comments: 6202 Ericsson Category: Informational P. Saint-Andre

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination