CN110233880A - Udp数据包的传输方法、系统、介质和电子设备 - Google Patents
Udp数据包的传输方法、系统、介质和电子设备 Download PDFInfo
- Publication number
- CN110233880A CN110233880A CN201910432377.7A CN201910432377A CN110233880A CN 110233880 A CN110233880 A CN 110233880A CN 201910432377 A CN201910432377 A CN 201910432377A CN 110233880 A CN110233880 A CN 110233880A
- Authority
- CN
- China
- Prior art keywords
- udp message
- qcs
- packet
- entry
- message packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/164—Adaptation or special uses of UDP protocol
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
- H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Power Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种UDP数据包的传输方法、系统、介质及电子设备。该方法包括：接收网卡发送的UDP包；通过钩子函数判别所述UDP包是否为特定数据包；当所述UDP包为特定数据包时，读取所述特定数据包的网络连接特征值；对所述网络连接特征值进行哈希运算，生成哈希值；在已存储的哈希表中查找与所述哈希值存在映射关系的结构体qcs_entry；当查找到与所述哈希值存在映射关系的结构体qcs_entry时，指定所述UDP包中的套接字为所述结构体qcs_entry中的目标套接字，以使Nginx服务器中监听所述目标套接字的进程处理所述UDP包。该方法通过网络连接特征值进行多进程网络服务器的包调度，使网络连接不再依赖于网络环境，能够适应客户端上复杂多变的网络环境。
Description
技术领域
本发明涉及计算机网络技术领域，具体而言，涉及一种UDP数据包的传输方法、系统、介质和电子设备。
背景技术
QUIC(Quick UDP Internet Connection)是谷歌提出的基于UDP(User DatagramProtocol，用户数据报协议)的支持多路复用、0-1RTT建联的互联网传输协议。也就是说，QUIC是一个应用层协议，只是在UDP基础上实现了可靠数据传输、拥塞控制、数据多路复用等TCP、HTTP2技术。对于一个QUIC服务，其在Nginx服务器不同进程上都有一个监听在同一服务端IP地址、端口上的套接字(Socket)，从而需要将同一个QUIC连接的包调度到同一个进程处理。
目前，Linux内核会根据套接字四元组调度UDP包，四元组包括源IP地址、源端口、目的IP地址及目的端口。然而，当客户端改变四元组时，如手机切换网络等，此时服务端不知道网络连接已断开，从而会导致同一客户端同一个QUIC连接的数据包无法调度到Nginx服务器中的同一个进程。
因此，在长期的研发当中，发明人对UDP数据包在传输过程中的调度问题进行了大量的研究，提出了一种UDP数据包的传输方法，以解决上述技术问题之一。
发明内容
本发明的目的在于提供一种UDP数据包的传输方法、系统、介质和电子设备，能够解决上述提到的至少一个技术问题。具体方案如下：
根据本发明的具体实施方式，第一方面，本发明提供一种UDP数据包的传输方法，包括：接收网卡驱动发送的UDP数据包；通过注册在内核层的钩子函数判别所述UDP数据包是否为特定数据包；当所述UDP数据包为特定数据包时，读取所述特定数据包的网络连接特征值；对所述网络连接特征值进行哈希运算，生成一哈希值；在当前已存储的哈希表中查找与所述哈希值存在映射关系的结构体qcs_entry；其中，所述结构体qcs_entry中存储有所述网络连接特征值及对应的目标套接字；当查找到与所述哈希值存在映射关系的结构体qcs_entry时，对当前所述UDP数据包进行调度，包括：指定当前所述UDP数据包中的套接字为所述结构体qcs_entry中的目标套接字，以使Nginx服务器中监听所述目标套接字的进程处理所述UDP数据包。
根据本发明的具体实施方式，第二方面，本发明提供一种UDP数据包的传输系统，包括：接收模块，用于接收网卡驱动发送的UDP数据包；判别模块，用于通过注册在内核层的钩子函数判别所述UDP数据包是否为特定数据包；读取模块，用于当所述UDP数据包为特定数据包时，读取所述特定数据包的网络连接特征值；哈希模块，用于对所述网络连接特征值进行哈希运算，生成一哈希值；查找模块，用于在当前已存储的哈希表中查找与所述哈希值存在映射关系的结构体qcs_entry；其中，所述结构体qcs_entry中存储有所述网络连接特征值及对应的目标套接字；调度模块，用于当查找到与所述哈希值存在映射关系的结构体qcs_entry时，指定当前所述UDP数据包中的套接字为所述结构体qcs_entry中的目标套接字，以使Nginx服务器中监听所述目标套接字的进程处理所述UDP数据包。
根据本发明的具体实施方式，第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上任一项所述的UDP数据包的传输方法。
根据本发明的具体实施方式，第四方面，本发明提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上任一项所述的UDP数据包的传输方法。
本发明实施例的上述方案与现有技术相比，至少具有以下有益效果：
第一，对于应用层网络协议的服务端调度，通过网络连接特征值进行多进程网络服务器的包调度，使网络连接不再依赖于网络环境，能够适应客户端上复杂多变的网络环境；同时，也能够支持客户端的连接迁移；
第二，通过建立哈希表，能够提高套接字的查找效率；
第三，通过对网络连接特征值进行哈希的方式，将UDP数据包调度到Nginx服务器的目标进程上，能够提高调度均匀性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了根据本发明实施例的一种UDP数据包的传输方法的流程图；
图2示出了根据本发明实施例的通过注册在内核层的钩子函数判别所述UDP数据包中的特定数据包的方法流程图；
图3示出了根据本发明实施例的当在当前已存储的哈希表中未查找到与所述哈希值存在映射关系的结构体qcs_entry时，对当前所述UDP数据包进行调度的方法流程图；
图4示出了根据本发明实施例的更新所述当前已存储的哈希表的方法流程图；
图5示出了根据本发明实施例的一种UDP数据包的传输系统的结构示意图；
图6示出了根据本发明的实施例的电子设备连接结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述……，但这些……不应限于这些术语。这些术语仅用来将……区分开。例如，在不脱离本发明实施例范围的情况下，第一……也可以被称为第二……，类似地，第二……也可以被称为第一……。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
下面结合附图详细说明本发明的可选实施例。
实施例1
本发明实施例提供一种UDP数据包的传输方法，该方法的执行主体为服务端，所述方法不仅可以应用于服务端的内核层，也可以应用于其它应用层。另外，所述方法不仅适用于QUIC协议，其它具有不依赖于网络设置的连接级的特征值的应用层协议，同样适用于本发明在服务端部署多进程服务并根据所述连接级的特征值进行包调度。
请参阅图1，所述UDP数据包的传输方法包括如下步骤：
S100，接收网卡驱动发送的UDP数据包；
其中，网卡是工作在数据链路层的网络组件，是局域网中连接计算机和传输介质的接口，不仅能实现与局域网传输介质之间的物理连接和电信号匹配，还涉及帧的发送与接收、帧的封装与拆封、介质访问控制、数据的编码与解码以及数据缓存的功能等。本实施例中，所述网卡接收客户端发送的UDP数据包，并将接收到的UDP数据包传输至内核层。
其中，所述UDP数据包的数据结构依次包括UDP包头及包内容。
S110，通过注册在内核层的钩子函数判别所述UDP数据包是否为特定数据包；
该步骤中，可通过在内核层的结构体nf_hook_ops中注册钩子函数qcs_ip_local_in()，该钩子函数用于识别特定数据包。请参阅图2，所述通过注册在内核层的钩子函数判别所述UDP数据包中的特定数据包，具体包括：
S111，读取所述UDP数据包的包头字段和包内容。
S112，判别所述包内容的第一个字节是否为特定字节。具体的，所述特定字节是针对特定数据包确定，不同的特定数据包的包头对应的特定字节不同。具体根据现有技术公开的特定字节判别所述包内容的第一个字节是否为特定字节。
S113，当所述包内容的第一个字节为特定字节时，则确定所述UDP数据包为特定数据包。其中，所述特定数据包包括但不限于QUIC数据包、DNS数据包。本实施例中，所述特定数据包为QUIC数据包。由于QUIC数据包的起始是一个1字节的QUIC包头，紧接着是8字节的网络连接特征值(连接ID)，因此，根据现有技术已公开的一些特定字节确定是否属于QUIC包头，若属于QUIC包头，则所述UDP数据包为QUIC数据包。通过判别特定数据包能够防止将无关的数据包调度到Nginx服务器上，造成错误。
S120，当所述UDP数据包为特定数据包时，读取所述特定数据包的网络连接特征值；
其中，所述网络连接特征值的定义为不依赖于网络设置的连接级的特征值，如请求ID、连接ID、邮箱号、团体名等。由于所述UDP数据包的包内容依次包括所述特定数据包的包头、网络连接特征值，因此当所述UDP数据包为特定数据包时，可从所述UDP数据包的包内容中读取所述网络连接特征值。本实施例中，所述QUIC数据包的网络连接特征值为连接ID(Connection ID)。每个QUIC连接都有一个独特且唯一的连接ID，所述连接ID是随机生成的64位数值。
另一实施例中，所述特定数据包为DNS数据包，该DNS数据包的网络连接特征值为转换ID(Transaction ID)，使得可以在DNS解析节点服务器上支持多进程的DNS解析服务，同一个转换ID的解析将由同一个进程执行；同时每个进程可以单独占用一个CPU核心以提高资源利用率、确保服务性能。
另一实施例中，当所述UDP数据包不是特定数据包时，根据内核方法调度所述UDP数据包，在此不一一赘述。
S130，对所述网络连接特征值进行哈希运算，生成一哈希值；
该步骤中，通过调用Linux系统的jhash函数求取所述网络连接特征值的哈希值，该哈希值是唯一的。本实施例中，调用jhash_1word()函数求取所述QUIC连接ID的哈希值。
S140，在当前已存储的哈希表中查找与所述哈希值存在映射关系的结构体qcs_entry；其中，所述结构体qcs_entry中存储有所述网络连接特征值及对应的目标套接字；
其中，所述当前已存储的哈希表包括多个哈希值与结构体qcs_entry的映射关系。每个结构体qcs_entry中存储有所述网络连接特征值及对应的目标套接字。在知道哈希值的基础上，能够方便、快速地查找到对应的结构体qcs_entry，也就能够知道将所述UDP数据包调度至进程监听的哪个目标套接字上。具体的，通过调用函数qcs_hash_get()在当前已存储的哈希表中查找与所述哈希值存在映射关系的结构体qcs_entry。
进一步，所述结构体qcs_entry中还可存储Linux的超时器timer_list结构体对象以及哈希索引结构体hlist_node对象。
S150，当在所述当前已存储的哈希表中查找到与所述哈希值存在映射关系的结构体qcs_entry时，对当前所述UDP数据包进行调度，包括：指定当前所述UDP数据包中的套接字为所述结构体qcs_entry中的目标套接字，以使Nginx服务器中监听所述目标套接字的进程处理所述UDP数据包。
具体的，若所述哈希表中存在所述哈希值，也就能够查找到与所述哈希值存在映射关系的结构体qcs_entry，从而快速找到目标套接字。由于所述UDP数据包结构中存在一个指针，该指针指向套接字，此时将所述指针指向的套接字指定为所述目标套接字，从而可完成UDP数据包的调度。后续所述Nginx服务器上的进程会自动处理监听的套接字上的UDP数据包。
进一步，所述方法包括定期清理所述哈希表中的结构体qcs_entry。具体的，所述定期清理所述哈希表中的结构体qcs_entry的实现方式包括但不限于设置超时器、通过设置程序定期检测。本实施例中，在所述结构体qcs_entry中创建一设置有超时时间的超时器，当所述超时器到达设置的超时时间且当前网络连接未接收到新的UDP数据包时，删除所述结构体qcs_entry。其中，所述超时时间不短于所述网络连接的保持时间。对于QUIC协议，由于QUIC连接的保持时间是30秒，因此，可将所述超时器的超时时间设置为至少30秒。
在Linux操作系统中，当所述超时器到达所述设置的超时时间时会引发回调。具体的，可在内核层设置一自定义回调函数qcs_entry_flush()，定期执行所述自定义回调函数，执行过程中所述自定义回调函数遍历当前所述哈希表中每个结构体对象qcs_entry，并将所述到达超时时间且该网络连接没有新的数据包到来的结构体对象qcs_entry从当前所述哈希表中删除并销毁，从而有效防止内存泄露。
如果在当前已存储的哈希表中查找到与所述哈希值存在映射关系的结构体qcs_entry，同时所述结构体qcs_entry中已存储有超时器，此时需要将所述超时器的超时时间更新为当前时间，并进行UDP数据包的调度。
另一实施例中，请参阅图3，当在当前已存储的哈希表中未查找到与所述哈希值存在映射关系的结构体qcs_entry时，对当前所述UDP数据包进行调度，包括如下步骤：
S160，将所述网络连接特征值除以所述Nginx服务器中进程的数量并取余数；
本实施例中，先将所述连接ID对应的数值除以所述Nginx服务器中的进程的总数量，得到结果数值；再对所述结果数值取余数。
S161，从监听在当前所述UDP数据包的目的IP地址及目的端口上的多个套接字中，选取所述第余数个套接字作为目标套接字；
具体的，由于所述UDP数据包四元组中包括目的IP地址及目的端口，同一个目的IP地址及目的端口会存在多个套接字，所述多个套接字按一定顺序排列，因此，调用函数qcs_udp4_lib_lookup()选取顺序排列中第余数个套接字作为目标套接字。
S162，更新所述当前已存储的哈希表；
具体的，请参阅图4，所述更新所述当前已存储的哈希表，包括：
S1621，创建结构体qcs_entry。其中，当所述函数qcs_udp4_lib_lookup()返回的目标套接字不为空时，调用函数qcs_make_node()生成结构体对象qcs_entry。
S1622，将所述网络连接特征值及所述目标套接字存储至所述结构体qcs_entry。优选的，同时在所述结构体qcs_entry中存储一设置超时时间为当前时间的超时器。
S1623，建立所述哈希值与所述结构体qcs_entry的映射关系，并存储至所述哈希表。其中，根据哈希值将所述结构体qcs_entry保存至所述哈希表。
S163，指定当前所述UDP数据包的套接字为所述目标套接字，以使所述Nginx服务器中监听所述目标套接字的进程处理所述UDP数据包。
本发明实施例提供的UDP数据包的传输方法针对于应用层网络协议的服务端调度，通过网络连接特征值进行多进程网络服务器的包调度，使网络连接不再依赖于网络环境，能够适应客户端上复杂多变的网络环境；同时，也能够支持客户端的连接迁移；其次，通过建立哈希表，能够提高目标套接字的查找效率；再次，通过对网络连接特征值进行哈希的方式，将UDP数据包调度到Nginx服务器的目标进程上，能够提高调度均匀性；最后，通过使用Linux的超时器对网络连接与套接字的映射设置超时时间，在网络连接断掉后能够及时清除哈希表中的映射结构；进一步能够防止内存泄露。
实施例2
请参阅图5，本发明实施例提供一种UDP数据包的传输系统500，该系统500包括：接收模块510，判别模块520，读取模块530，哈希模块540，查找模块550及调度模块560。
所述接收模块510，用于接收网卡驱动发送的UDP数据包。其中，所述网卡用于接收客户端发送的UDP数据包，所述网卡驱动将接收到的UDP数据包传输至内核层。所述UDP数据包的数据结构依次包括UDP包头及包内容。
所述判别模块520，用于通过注册在内核层的钩子函数判别所述UDP数据包是否为特定数据包。其中，先在内核层的结构体nf_hook_ops中注册钩子函数qcs_ip_local_in()，之后所述判别模块520调用所述钩子函数判别特定数据包。所述判别模块520进一步包括：
读取子模块521，用于读取所述UDP数据包的包头字段和包内容。
判别子模块522，用于判别所述包内容的第一个字节是否为特定字节。具体的，所述特定字节是针对特定数据包确定，不同的特定数据包的包头对应的特定字节不同。具体根据现有技术公开的特定字节判别所述包内容的第一个字节是否为特定字节。
确定子模块523，用于当所述包内容的第一个字节为特定字节时，则确定所述UDP数据包为特定数据包。其中，所述特定数据包包括但不限于QUIC数据包、DNS数据包。本实施例中，所述特定数据包为QUIC数据包。由于QUIC数据包的起始是一个1字节的QUIC包头，紧接着是8字节的网络连接特征值(连接ID)，因此，所述确定子模块523根据现有技术已公开的哪些特定字节判断所述1字节是否属于QUIC包头，若属于QUIC包头，则确定所述UDP数据包为QUIC数据包。通过判别特定数据包能够防止将无关的数据包调度到Nginx服务器上，造成错误。
所述读取模块530，用于当所述UDP数据包为特定数据包时，读取所述特定数据包的网络连接特征值。其中，所述网络连接特征值的定义为不依赖于网络设置的连接级的特征值，如请求ID、连接ID、邮箱号、团体名等。由于所述UDP数据包的包内容依次包括所述特定数据包的包头、网络连接特征值，因此当所述UDP数据包为特定数据包时，可从所述UDP数据包的包内容中读取所述网络连接特征值。本实施例中，所述QUIC数据包的网络连接特征值为连接ID(Connection ID)。每个QUIC连接都有一个独特且唯一的连接ID，所述连接ID是随机生成的64位数值。
另一实施例中，所述特定数据包为DNS数据包，该DNS数据包的网络连接特征值为转换ID(Transaction ID)，使得可以在DNS解析节点服务器上支持多进程的DNS解析服务，同一个转换ID的解析将由同一个进程执行；同时每个进程可以单独占用一个CPU核心以提高资源利用率、确保服务性能。
另一实施例中，当所述UDP数据包不是特定数据包时，可根据内核方法调度所述UDP数据包，在此不一一赘述。
所述哈希模块540，用于对所述网络连接特征值进行哈希运算，生成一哈希值。具体的，所述哈希模块540通过调用Linux系统的jhash函数求取所述网络连接特征值的哈希值，该哈希值是唯一的。本实施例中，所述哈希模块540调用jhash_1word()函数求取所述QUIC连接ID的哈希值。
所述查找模块550，用于在当前已存储的哈希表中查找与所述哈希值存在映射关系的结构体qcs_entry；其中，所述结构体qcs_entry中存储有所述网络连接特征值及对应的目标套接字。其中，所述当前已存储的哈希表包括多个哈希值与结构体qcs_entry的映射关系。每个结构体qcs_entry中存储有所述网络连接特征值及对应的目标套接字。在知道哈希值的基础上，所述查找模块550能够方便、快速地查找到对应的结构体qcs_entry，也就能够知道将所述UDP数据包调度至进程监听的哪个目标套接字上。具体的，所述查找模块550通过调用函数qcs_hash_get()在当前已存储的哈希表中查找与所述哈希值存在映射关系的结构体qcs_entry。
进一步，所述结构体qcs_entry中还可存储Linux的超时器timer_list结构体对象以及哈希索引结构体hlist_node对象。
所述调度模块560，用于当查找到与所述哈希值存在映射关系的结构体qcs_entry时，指定当前所述UDP数据包中的套接字为所述结构体qcs_entry中的目标套接字，以使Nginx服务器中监听所述目标套接字的进程处理所述UDP数据包。具体的，由于所述UDP数据包结构中存在一个指针，该指针指向套接字，此时将所述指针指向的套接字指定为所述目标套接字，从而完成调度。后续所述Nginx服务器上的进程会自动处理监听的套接字对应的UDP数据包。
进一步，所述UDP数据包的传输系统500包括一清理模块570，用于定期清理所述哈希表中的结构体qcs_entry。具体的，所述清理模块570定期清理所述哈希表中的结构体qcs_entry的实现方式包括但不限于设置超时器、通过设置程序定期检测。
本实施例中，所述清理模块570包括一设置有超时时间的超时器，该超时器设置于所述结构体qcs_entry中，当所述超时器到达设置的超时时间且当前网络连接未接收到新的UDP数据包时，所述清理模块570删除所述结构体qcs_entry。其中，所述超时时间不短于所述网络连接的保持时间。对于QUIC协议，由于QUIC连接的保持时间是30秒，因此，可将所述超时器的超时时间设置为至少30秒。
在Linux操作系统中，当所述超时器到达所述设置的超时时间时会引发回调。具体的，在内核层设置自定义回调函数qcs_entry_flush()，所述清理模块570定期执行所述自定义回调函数，执行过程中所述自定义回调函数遍历所述当前哈希表中每个结构体对象qcs_entry，并将所述到达超时时间且该网络连接没有新的数据包到来的结构体对象qcs_entry从所述当前哈希表中删除并销毁，能够有效防止内存泄露。
如果当查找到与所述哈希值存在映射关系的结构体qcs_entry，同时所述结构体qcs_entry中已存储有超时器，此时所述清理模块570将所述超时器的超时时间更新为当前时间。
另一实施例中，所述调度模块560还可用于，当在当前已存储的哈希表中未查找到与所述哈希值存在映射关系的结构体qcs_entry时，对当前所述UDP数据包进行调度。所述调度模块560调用qcs_udp4_lib_lookup()函数查找套接字。具体的，所述调度模块560进一步包括：
计算子模块561，用于将所述网络连接特征值除以所述Nginx服务器中进程的数量并取余数。本实施例中，所述计算模块561先将所述连接ID对应的数值除以所述Nginx服务器中的进程的总数量，得到结果数值；再对所述结果数值取余数。
选取子模块562，用于从监听在当前所述UDP数据包的目的IP地址及目的端口上的多个套接字中，选取所述第余数个套接字作为目标套接字。其中，由于所述UDP数据包四元组中包括目的IP地址及目的端口，同一个目的IP地址及目的端口会存在多个套接字，所述多个套接字按一定顺序排列，因此，所述选取模块562选取按顺序排列中的第余数个套接字作为目标套接字。
更新子模块563，用于更新所述当前已存储的哈希表。具体的，所述更新子模块563进一步包括：
创建子模块5631，用于创建结构体qcs_entry。其中，当所述选取子模块562返回的目标套接字不为空时，所述创建子模块5631调用函数qcs_make_node()生成结构体对象qcs_entry。
存储子模块5632，用于将所述网络连接特征值及所述目标套接字存储至所述结构体qcs_entry。优选的，所述存储子模块5632可同时在所述结构体qcs_entry中存储一设置超时时间为当前时间的超时器。
映射子模块5633，用于建立所述哈希值与所述结构体qcs_entry的映射关系。
所述存储子模块5632还用于将所述哈希值与所述结构体qcs_entry的映射关系存储至所述哈希表。具体的，所述存储子模块5632根据哈希值将所述结构体qcs_entry保存至所述哈希表。
指定子模块564，用于指定当前所述UDP数据包的套接字为所述目标套接字，以使所述Nginx服务器中监听所述目标套接字的进程处理所述UDP数据包。
本发明实施例提供的UDP数据包的传输系统500针对于应用层网络协议的服务端调度，通过网络连接特征值进行多进程网络服务器的包调度，使网络连接不再依赖于网络环境，能够适应客户端上复杂多变的网络环境；同时，也能够支持客户端的连接迁移；其次，通过建立哈希表，能够提高目标套接字的查找效率；再次，通过对网络连接特征值进行哈希的方式，将UDP数据包调度到Nginx服务器的目标进程上，能够提高调度均匀性；最后，通过使用Linux的超时器对网络连接与套接字的映射设置超时时间，在网络连接断掉后能够及时清除哈希表中的映射结构；进一步能够防止内存泄露。
实施例3
本公开实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的UDP数据包的传输方法。
实施例4
本实施例提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
接收网卡驱动发送的UDP数据包；
通过注册在内核层的钩子函数判别所述UDP数据包是否为特定数据包；
当所述UDP数据包为特定数据包时，读取所述特定数据包的网络连接特征值；
对所述网络连接特征值进行哈希运算，生成一哈希值；
在当前已存储的哈希表中查找与所述哈希值存在映射关系的结构体qcs_entry；其中，所述结构体qcs_entry中存储有所述网络连接特征值及对应的目标套接字；
当查找到与所述哈希值存在映射关系的结构体qcs_entry时，对当前所述UDP数据包进行调度，包括：
指定当前所述UDP数据包中的套接字为所述结构体qcs_entry中的目标套接字，以使Nginx服务器中监听所述目标套接字的进程处理所述UDP数据包。
实施例5
下面参考图6，其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
Claims (11)
1.一种UDP数据包的传输方法，其特征在于，包括：
接收网卡驱动发送的UDP数据包；
通过注册在内核层的钩子函数判别所述UDP数据包是否为特定数据包；
当所述UDP数据包为特定数据包时，读取所述特定数据包的网络连接特征值；
对所述网络连接特征值进行哈希运算，生成一哈希值；
在当前已存储的哈希表中查找与所述哈希值存在映射关系的结构体qcs_entry；其中，所述结构体qcs_entry中存储有所述网络连接特征值及对应的目标套接字；
当查找到与所述哈希值存在映射关系的结构体qcs_entry时，对当前所述UDP数据包进行调度，包括：
指定当前所述UDP数据包中的套接字为所述结构体qcs_entry中的目标套接字，以使Nginx服务器中监听所述目标套接字的进程处理所述UDP数据包。
2.根据权利要求1所述的方法，其特征在于，当所述特定数据包为QUIC数据包时，所述网络连接特征值为连接ID。
3.根据权利要求1所述的方法，其特征在于，当所述特定数据包为DNS数据包时，所述网络连接特征值为转换ID。
4.根据权利要求1所述的方法，其特征在于，所述通过注册在内核层的钩子函数判别所述UDP数据包是否为特定数据包，包括：
读取所述UDP数据包的包头字段和包内容；
判别所述包内容的第一个字节是否为特定字节；
当所述包内容的第一个字节为特定字节时，则确定所述UDP数据包为特定数据包。
5.根据权利要求1所述的方法，其特征在于，进一步包括，定期清理所述哈希表中的所述结构体qcs_entry。
6.根据权利要求5所述的方法，其特征在于，所述定期清理所述哈希表中的结构体qcs_entry的方式，包括：在所述结构体qcs_entry中创建一设置有超时时间的超时器，当所述超时器到达设置的超时时间且当前网络连接未接收到新的UDP数据包时，删除所述结构体qcs_entry。
7.根据权利要求1所述的方法，其特征在于，当在所述当前已存储的哈希表中未查找到与所述哈希值存在映射关系的结构体qcs_entry时，对当前所述UDP数据包进行调度，包括：
将所述网络连接特征值除以所述Nginx服务器中进程的数量并取余数；
从监听在当前所述UDP数据包的目的IP地址及目的端口上的多个套接字中，选取所述第余数个套接字作为目标套接字；
更新所述当前已存储的哈希表；
指定当前所述UDP数据包的套接字为所述目标套接字，以使所述Nginx服务器中监听所述目标套接字的进程处理所述UDP数据包。
8.根据权利要求7所述的方法，其特征在于，所述更新所述当前已存储的哈希表，包括：
创建结构体qcs_entry；
将所述网络连接特征值及所述目标套接字存储至所述结构体qcs_entry；
建立所述哈希值与所述结构体qcs_entry的映射关系，并存储至所述哈希表。
9.一种UDP数据包的传输系统，其特征在于，包括：
接收模块，用于接收网卡驱动发送的UDP数据包；
判别模块，用于通过注册在内核层的钩子函数判别所述UDP数据包是否为特定数据包；
读取模块，用于当所述UDP数据包为特定数据包时，读取所述特定数据包的网络连接特征值；
哈希模块，用于对所述网络连接特征值进行哈希运算，生成一哈希值；
查找模块，用于在当前已存储的哈希表中查找与所述哈希值存在映射关系的结构体qcs_entry；其中，所述结构体qcs_entry中存储有所述网络连接特征值及对应的目标套接字；
调度模块，用于当查找到与所述哈希值存在映射关系的结构体qcs_entry时，指定当前所述UDP数据包中的套接字为所述结构体qcs_entry中的目标套接字，以使Nginx服务器中监听所述目标套接字的进程处理所述UDP数据包。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至8中任一项所述的方法。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910432377.7A CN110233880B (zh) | 2019-05-23 | 2019-05-23 | Udp数据包的传输方法、系统、介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910432377.7A CN110233880B (zh) | 2019-05-23 | 2019-05-23 | Udp数据包的传输方法、系统、介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110233880A true CN110233880A (zh) | 2019-09-13 |
| CN110233880B CN110233880B (zh) | 2021-12-07 |
Family
ID=67861536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910432377.7A Active CN110233880B (zh) | 2019-05-23 | 2019-05-23 | Udp数据包的传输方法、系统、介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110233880B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112311774A (zh) * | 2020-10-16 | 2021-02-02 | 北京金山云网络技术有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN112653740A (zh) * | 2020-12-11 | 2021-04-13 | 北京金山云网络技术有限公司 | 支持quic连接迁移的负载均衡方法、装置及计算机产品 |
| CN113132356A (zh) * | 2021-03-23 | 2021-07-16 | 网宿科技股份有限公司 | Udp报文的分发方法、设备及存储介质 |
| CN113672416A (zh) * | 2021-07-27 | 2021-11-19 | 杭州迪普科技股份有限公司 | 内存资源泄漏的原因定位方法及装置 |
| CN114520836A (zh) * | 2022-01-12 | 2022-05-20 | 深圳市微创云启科技有限公司 | 一种可多路复用并防数据篡改的网络通讯协议方法和系统 |
| CN114915669A (zh) * | 2021-02-08 | 2022-08-16 | 北京金山云网络技术有限公司 | 一种基于quic协议的服务升级方法、装置及电子设备 |
| CN115952006A (zh) * | 2023-03-13 | 2023-04-11 | 浪潮电子信息产业股份有限公司 | 资源泄漏的检测方法、系统、装置、服务器及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103139315A (zh) * | 2013-03-26 | 2013-06-05 | 烽火通信科技股份有限公司 | 一种适用于家庭网关的应用层协议解析方法 |
| CN103152268A (zh) * | 2013-02-06 | 2013-06-12 | 北京奇虎科技有限公司 | 数据包处理的方法及装置 |
| US20140064293A1 (en) * | 2012-09-06 | 2014-03-06 | Mark V. Deisinger | Fast data packet transfer operations |
| EP2786539A1 (en) * | 2012-02-03 | 2014-10-08 | Apple Inc. | System and method for scheduling packet transmission on a client device |
| CN108173928A (zh) * | 2017-12-26 | 2018-06-15 | 北京百度网讯科技有限公司 | Udp数据传输的方法、装置、存储介质及终端设备 |
-
2019
- 2019-05-23 CN CN201910432377.7A patent/CN110233880B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2786539A1 (en) * | 2012-02-03 | 2014-10-08 | Apple Inc. | System and method for scheduling packet transmission on a client device |
| US20140064293A1 (en) * | 2012-09-06 | 2014-03-06 | Mark V. Deisinger | Fast data packet transfer operations |
| CN103152268A (zh) * | 2013-02-06 | 2013-06-12 | 北京奇虎科技有限公司 | 数据包处理的方法及装置 |
| CN103139315A (zh) * | 2013-03-26 | 2013-06-05 | 烽火通信科技股份有限公司 | 一种适用于家庭网关的应用层协议解析方法 |
| CN108173928A (zh) * | 2017-12-26 | 2018-06-15 | 北京百度网讯科技有限公司 | Udp数据传输的方法、装置、存储介质及终端设备 |
Non-Patent Citations (2)
| Title |
|---|
| R.K.C. CHANG,K.P. FUNG: ""Transport layer proxy for stateful UDP packet filtering"", 《PROCEEDINGS ISCC 2002 SEVENTH INTERNATIONAL SYMPOSIUM ON COMPUTERS AND COMMUNICATIONS》 * |
| 陈献庆: ""应用层协议过滤系统设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112311774A (zh) * | 2020-10-16 | 2021-02-02 | 北京金山云网络技术有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN112311774B (zh) * | 2020-10-16 | 2023-05-05 | 北京金山云网络技术有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN112653740A (zh) * | 2020-12-11 | 2021-04-13 | 北京金山云网络技术有限公司 | 支持quic连接迁移的负载均衡方法、装置及计算机产品 |
| CN114915669A (zh) * | 2021-02-08 | 2022-08-16 | 北京金山云网络技术有限公司 | 一种基于quic协议的服务升级方法、装置及电子设备 |
| CN113132356A (zh) * | 2021-03-23 | 2021-07-16 | 网宿科技股份有限公司 | Udp报文的分发方法、设备及存储介质 |
| CN113672416A (zh) * | 2021-07-27 | 2021-11-19 | 杭州迪普科技股份有限公司 | 内存资源泄漏的原因定位方法及装置 |
| CN113672416B (zh) * | 2021-07-27 | 2024-03-01 | 杭州迪普科技股份有限公司 | 硬buffer泄漏的原因定位方法及装置 |
| CN114520836A (zh) * | 2022-01-12 | 2022-05-20 | 深圳市微创云启科技有限公司 | 一种可多路复用并防数据篡改的网络通讯协议方法和系统 |
| CN114520836B (zh) * | 2022-01-12 | 2024-04-19 | 深圳市微创云启科技有限公司 | 一种可多路复用并防数据篡改的网络通讯协议方法和系统 |
| CN115952006A (zh) * | 2023-03-13 | 2023-04-11 | 浪潮电子信息产业股份有限公司 | 资源泄漏的检测方法、系统、装置、服务器及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110233880B (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110233880A (zh) | Udp数据包的传输方法、系统、介质和电子设备 | |
| CN110719215B (zh) | 虚拟网络的流信息采集方法及装置 | |
| CN111273999B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN111221638B (zh) | 并发任务的调度处理方法、装置、设备和介质 | |
| CN111427701A (zh) | 一种工作流引擎系统和业务处理方法 | |
| CN112416632B (zh) | 事件通信方法、装置、电子设备和计算机可读介质 | |
| CN113709810B (zh) | 一种网络服务质量的配置方法、设备和介质 | |
| CN112506683A (zh) | 一种数据处理的方法、相关装置、设备以及存储介质 | |
| CN111625422B (zh) | 线程监控方法、装置、电子设备及计算机可读存储介质 | |
| CN113595927A (zh) | 一种旁路模式下镜像流量的处理方法和装置 | |
| CN110489474B (zh) | 一种数据处理的方法、装置、介质和电子设备 | |
| CN110795741A (zh) | 对数据进行安全性处理的方法和装置 | |
| CN108764866B (zh) | 用于分配资源、领取资源的方法和设备 | |
| CN110247963A (zh) | 一种数据推送方法及系统 | |
| WO2024040794A1 (zh) | 一种异常流量检测方法、装置、电子设备及存储介质 | |
| CN113553206B (zh) | 数据事件执行方法、装置、电子设备和计算机可读介质 | |
| CN115291973A (zh) | 云上应用连接数据库的方法、装置、电子设备及存储介质 | |
| CN109614137B (zh) | 软件版本控制方法、装置、设备和介质 | |
| CN109068170B (zh) | 一种弹幕消息的存储方法、装置、终端和存储介质 | |
| CN109426572B (zh) | 任务处理方法、装置及电子设备 | |
| US10516767B2 (en) | Unifying realtime and static data for presenting over a web service | |
| CN115225586B (zh) | 数据包发送方法、装置、设备及计算机可读存储介质 | |
| CN114039770B (zh) | 访问控制方法、装置、存储介质及电子设备 | |
| CN113765692B (zh) | 限流方法、装置、电子设备和计算机可读介质 | |
| WO2023109561A1 (zh) | 模态窗口的控制方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee after: Tiktok vision (Beijing) Co.,Ltd. Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd. Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee after: Douyin Vision Co.,Ltd. Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee before: Tiktok vision (Beijing) Co.,Ltd. |