CN113726723B - 基于udp的数据传输方法、装置及设备 - Google Patents

基于udp的数据传输方法、装置及设备 Download PDF

Info

Publication number
CN113726723B
CN113726723B CN202010455305.7A CN202010455305A CN113726723B CN 113726723 B CN113726723 B CN 113726723B CN 202010455305 A CN202010455305 A CN 202010455305A CN 113726723 B CN113726723 B CN 113726723B
Authority
CN
China
Prior art keywords
socket
thread
client
data packet
epoll
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010455305.7A
Other languages
English (en)
Other versions
CN113726723A (zh
Inventor
付少平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Network Co Ltd
Original Assignee
Hangzhou Ezviz Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Network Co Ltd filed Critical Hangzhou Ezviz Network Co Ltd
Priority to CN202010455305.7A priority Critical patent/CN113726723B/zh
Publication of CN113726723A publication Critical patent/CN113726723A/zh
Application granted granted Critical
Publication of CN113726723B publication Critical patent/CN113726723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/164Adaptation or special uses of UDP protocol

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种基于UDP的数据传输方法、装置及设备,通过第一线程对第一Socket进行监听,获取通过第一Socket接收到的第一数据包,从第一数据包中获取发送该第一数据包的第一客户端的地址信息,创建第二Socket,根据所述地址信息将第二Socket连接至第一客户端,并通过第二线程对第二Socket进行监听,以通过第二Socket与第一客户端进行第二数据包的传输。通过上述过程,实现了每个客户端均对应一个第二Socket,当多个客户端并发式地与服务器进行数据传输时,服务器通过与每个客户端各自对应的第二Socket来传输数据,实现了多个客户端之间的并行处理,因此,可以满足高并发的数据传输需求。

Description

基于UDP的数据传输方法、装置及设备
技术领域
本申请涉及计算机网络技术领域,尤其涉及一种基于UDP的数据传输方法、装置及设备。
背景技术
在媒体数据传输场景中,可能存在多个客户端同时与服务器进行数据传输,因此,具有高并发的数据传输需求。
现有技术中,为了保证媒体数据传输的实时性,通常采用用户数据报协议(UserDatagram Protocol,UDP)进行数据传输。但是,采用UDP协议时,服务端只能通过同一个套接字与所有的客户端进行通信,无法满足高并发的数据传输需求。
发明内容
本申请实施例提供一种基于UDP的数据传输方法、装置及设备,以实现高并发场景的数据传输。
第一方面,本申请实施例提供一种基于UDP的数据传输方法,包括:
通过第一线程对第一套接字Socket进行监听,获取通过所述第一Socket接收到的第一数据包;
从所述第一数据包中获取第一客户端的地址信息,所述第一客户端为发送所述第一数据包的客户端;
创建第二Socket,根据所述地址信息将所述第二Socket连接至所述第一客户端,并通过第二线程对所述第二Socket进行监听,所述第二Socket用于与所述第一客户端进行第二数据包的传输。
一种可能的实现方式中,所述第二线程采用Epoll事件监听机制;所述通过第二线程对所述第二Socket进行监听,包括:
将所述第二Socket加入与所述第二线程对应的Epoll的监听队列。
一种可能的实现方式中,所述将所述第二Socket加入与所述第二线程对应的Epoll的监听队列,包括:
根据预设的哈希规则,从线程池包括的多个第二线程中,确定用于监听所述第二Socket的目标第二线程;
将所述第二Socket加入与所述目标第二线程对应的Epoll的监听队列。
一种可能的实现方式中,所述获取通过所述第一Socket接收到的第一数据包之后,还包括:
从所述第一数据包中获取第二客户端的地址信息,所述第二客户端为需要接收所述第一数据包的客户端;
所述将所述第二Socket加入与所述目标第二线程对应的Epoll的监听队列,包括:
生成与所述第二Socket对应的事件监听信息,所述事件监听信息用于指示对所述第二Socket的预设事件进行监听,所述预设事件的参数包括所述第二客户端的地址信息;
将所述第二Socket以及所述事件监听信息加入与所述目标第二线程对应的Epoll的监听队列。
一种可能的实现方式中,所述方法还包括:
通过所述目标第二线程,获取由所述第二Socket接收到的所述第二数据包;
根据与所述第二Socket对应的事件监听信息,确定所述第二数据包对应的第二客户端的地址信息,并将所述第二数据包发送至所述第二客户端。
一种可能的实现方式中,所述通过第一线程对第一Socket进行监听之前,还包括:
创建所述第一Socket;
创建所述第一线程,以及与所述第一线程对应的Epoll,将所述第一Socket加入与所述第一线程对应的Epoll的监听队列。
一种可能的实现方式中,所述通过第一线程对第一Socket进行监听之前,还包括:
创建所述线程池,所述线程池中包括多个第二线程;
分别创建与每个所述第二线程对应的Epoll。
第二方面,本申请实施例提供一种基于UDP的数据传输装置,包括:
获取模块,用于通过第一线程对第一套接字Socket进行监听,获取通过所述第一Socket接收到的第一数据包;
处理模块,用于从所述第一数据包中获取第一客户端的地址信息,所述第一客户端为发送所述第一数据包的客户端;
所述处理模块,还用于创建第二Socket,根据所述地址信息将所述第二Socket连接至所述第一客户端,并通过第二线程对所述第二Socket进行监听,所述第二Socket用于与所述第一客户端进行第二数据包的传输。
一种可能的实现方式中,所述第二线程采用Epoll事件监听机制;所述处理模块具体用于:
将所述第二Socket加入与所述第二线程对应的Epoll的监听队列。
一种可能的实现方式中,所述处理模块具体用于:
根据预设的哈希规则,从线程池包括的多个第二线程中,确定用于监听所述第二Socket的目标第二线程;
将所述第二Socket加入与所述目标第二线程对应的Epoll的监听队列。
一种可能的实现方式中,所述处理模块还用于:
从所述第一数据包中获取第二客户端的地址信息,所述第二客户端为需要接收所述第一数据包的客户端;
生成与所述第二Socket对应的事件监听信息,所述事件监听信息用于指示对所述第二Socket的预设事件进行监听,所述预设事件的参数包括所述第二客户端的地址信息;
将所述第二Socket以及所述事件监听信息加入与所述目标第二线程对应的Epoll的监听队列。
一种可能的实现方式中,所述获取模块还用于:通过所述目标第二线程,获取由所述第二Socket接收到的所述第二数据包;
所述处理模块还用于:根据与所述第二Socket对应的事件监听信息,确定所述第二数据包对应的第二客户端的地址信息,并将所述第二数据包发送至所述第二客户端。
一种可能的实现方式中,所述装置还包括:创建模块,所述创建模块用于:
创建所述第一Socket;
创建所述第一线程,以及与所述第一线程对应的Epoll,将所述第一Socket加入与所述第一线程对应的Epoll的监听队列。
一种可能的实现方式中,所述创建模块还用于:
创建所述线程池,所述线程池中包括多个第二线程;
分别创建与每个所述第二线程对应的Epoll。
第三方面,本申请实施例提供一种服务器,包括:存储器和处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序执行如第一方面任一项所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。
本申请实施例提供的基于UDP的数据传输方法、装置及设备,通过第一线程对第一Socket进行监听,获取通过第一Socket接收到的第一数据包,从第一数据包中获取发送该第一数据包的第一客户端的地址信息,创建第二Socket,根据所述地址信息将第二Socket连接至第一客户端,并通过第二线程对第二Socket进行监听,以通过第二Socket与第一客户端进行第二数据包的传输。通过上述过程,实现了每个客户端均对应一个第二Socket。当多个客户端并发式地与服务器进行数据传输时,服务器通过与每个客户端各自对应的第二Socket来传输数据,实现了多个客户端之间的并行处理,因此,可以满足高并发的数据传输需求。另外,本实施例通过第一线程对第一Socket进行监听,通过第二线程对第二Socket进行监听,使得根据监听到数据包的线程即可自然区分出接收到的数据包为第一数据包或第二数据包,无需再针对接收到数据包的Socket进行额外判断,能够提高数据传输效率,保证数据传输的实时性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例适用的一种系统架构的示意图;
图2为本申请一个实施例提供的基于UDP的数据传输方法的流程示意图;
图3为本申请另一个实施例提供的基于UDP的数据传输方法的流程示意图;
图4A至图4G为本申请实施例提供的数据传输过程的示意图;
图5为本申请一个实施例提供的基于UDP的数据传输装置的结构示意图;
图6为本申请另一个实施例提供的基于UDP的数据传输装置的结构示意图;
图7为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供的数据传输方法,可应用于媒体数据的传输场景。其中,媒体数据包括但不限于:视频数据、音频数据、图像数据等。以视频数据为例,本实施例的应用场景包括但不限于:视频通话场景、视频会议场景、视频监控场景等。下面结合图1对本申请涉及的系统架构进行介绍。
图1为本申请实施例适用的一种系统架构的示意图。如图1所示,该系统架构包括多个终端设备102和服务器101。终端设备102和服务器101之间通过网络连接。
一些示例中,每个终端设备102可以与服务器101进行数据传输。例如,终端设备将数据发送给服务器,或者,终端设备从服务器接收数据。
另一些示例中,任意两个或者多个终端设备102之间可以进行数据传输,不同终端设备102之间传输的数据需要通过服务器的转发。例如,终端设备A将数据发送给服务器,并指示服务器转发给终端设备B,服务器接收到该数据后,根据指示将该数据转发给终端设备B。
本申请实施例中,终端设备可以称为客户端。终端设备为具有收发功能的电子设备,包括但不限于:智能手机、笔记本电脑、平板电脑、车载终端、智能穿戴设备、会议终端、摄像终端等。服务器可以称为服务端。服务器可以是具有计算能力、存储能力、数据处理能力的电子设备。一些场景中,服务器还可以为转发服务器。
在图1所示的数据传输场景中,可能存在多个客户端同时与服务器进行数据传输,即,这些数据传输场景具有高并发的数据传输需求。在具有高并发需求的场景中,采用传输控制协议(Transmission Control Protocol,TCP)进行数据传输是比较成熟的解决方案。
TCP协议是一种面向连接的、可靠的、基于字节流的传输层通信协议,支持多路复用和异步处理。其中,多路复用是指,从源主机的不同套接字中收集数据块,并为每个数据块封装上首部信息(这将在多路分解时使用)从而生成报文段,然后将报文段传递到网络层。TCP天然的连接性使得服务器可以为每个客户端维护一个TCP连接,并绑定不同的套接字(Socket),这样,TCP服务器可以分别通过不同的套接字与不同的客户端进行数据传输,从而满足多个客户端高并发的数据传输需求。
然而,在一些网络质量较差(例如存在网络丢包或者网络抖动等)的场景中,TCP协议的可靠性会导致数据传输的实时性变差,从而无法保证数据传输的实时性。
为了保证数据传输的实时性,通常采用用户数据报协议(User DatagramProtocol,UDP)进行数据传输。UDP协议是一种支持无连接的传输协议,为应用程序提供了一种无需建立连接就可以发送封装的IP数据报的方法。特别适用于实时数据传输场景,例如,实时视频的传输。
但是,采用UDP协议时,服务器只能通过同一个套接字与所有的客户端进行通信,无法满足高并发的数据传输需求。
一种相关技术中,针对支持多核CPU资源的服务器,可以采用UDP多线程处理。具体的,可以预先创建多个线程,针对每个线程都创建一个或多个UDP Socket。这样利用Linux内核的UDP Socket查找算法来达到UDP的多进程负载均衡。然而,这完全依赖于Linux内核在处理UDP Socket时的查找算法。由于无法获知该查找算法的具体实现,因此该查找算法能否做到不同的UDP Socket之间的负载均衡是一个未知的问题。另外,也无法保证其它的系统或者未来的Linux内核不会对算法处理过程进行改变。因此,上述利用Linux内核的查找算法来实现的UDP多线程处理具有较多的未知性。
为此,本申请实施例提供了一种基于UDP的数据传输方法,无需利用Linux内核的查找算法,实现对UDP的多线程处理,在保证实时传输的情况下,满足高并发的数据传输需求。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本申请一个实施例提供的基于UDP的数据传输方法的流程示意图。本实施例的方法可以由图1中的服务器执行。如图2所示,本实施例的方法,可以包括:
S201:通过第一线程对第一Socket进行监听,获取通过第一Socket接收到的第一数据包。
本实施例中,第一Socket是指服务器创建的用于接收所有客户端发送的第一个数据包的套接字。第一Socket工作在第一线程中,通过第一线程对第一Socket进行监听。第一线程还可以称为网络线程,只用于监听所有客户端发送的第一个数据包。
第一数据包是指由客户端向服务器发送的第一个数据包。在服务器接收到某个客户端发送的第一数据包之后,服务器与该客户端之间传输的后续数据包被称为第二数据包。应理解,第二数据包可以是客户端向服务器发送的除第一数据包之外的后续数据包,还可以是服务器向客户端发送的数据包。
应理解,如无特殊说明,本申请实施例中涉及的Socket均指的是UDP Socket,数据包均指的是UDP数据包。
S202:从第一数据包中获取第一客户端的地址信息,所述第一客户端为发送所述第一数据包的客户端。
基于UDP的数据传输中,客户端向服务器发送数据包时,会在数据包中携带客户端的地址信息。因此,服务器接收到第一数据包后,可以从第一数据包中获取到发送该第一数据包的客户端的地址信息。为了描述方便,本实施例中,将发送第一数据包的客户端称为第一客户端,第一客户端也可以称为源客户端。
S203:创建第二Socket,根据所述地址信息将所述第二Socket连接至所述第一客户端,并通过第二线程对所述第二Socket进行监听,所述第二Socket用于与所述第一客户端进行第二数据包的传输。
本实施例中,服务器每次接收到第一数据包后,都会创建一个新的Socket。为了描述方便,将该新创建的Socket称为第二Socket。根据从第一数据包中获取的第一客户端的地址信息,将第二Socket连接至第一客户端。这样,第二Socket用于在服务器与第一客户端之间进行第二数据包的传输。例如,服务器可以通过该第二Socket接收第一客户端发送的第二数据包,或者,服务器可以通过该第二Socket向第一客户端发送第二数据包。
能够理解,服务器对第一客户端创建第二Socket,并将第二Socket连接至第一客户端之后,通过第二Socket实现与第一客户端之间的后续数据包的传输。这样,第一Socket不会再接收到该第一客户端的其他数据包。因此,第一Socket只用于接收每个客户端发送的第一个数据包。
由于在第一Socket接收到每个客户端发送的第一个数据包之后,服务器为该客户端新创建一个第二Socket,通过该第二Socket来传输该客户端与服务器之间的后续数据包。这样,每个客户端均对应一个第二Socket。当多个客户端并发式地与服务器进行数据传输时,服务器通过与每个客户端各自对应的第二Socket来传输数据,实现了多个客户端之间的并行处理,因此,可以满足高并发的数据传输需求。
进一步的,本实施例中,服务器创建第二Socket后,通过第二线程对第二Socket进行监听。其中,第二线程也可以称为工作线程,用于对客户端发送的除第一数据包之外的后续数据包(即第二数据包)进行监听。示例性的,当通过第二线程监听到第二数据包时,对第二数据包进行处理或者转发。
需要说明的是,本实施例中,第二线程的数量可以有一个或者多个。例如,当第二线程的数量有一个时,通过该第二线程对所有客户端的第二Socket进行监听。当第二线程的数量有多个时,可以使用一个第二线程监听一个客户端的第二Socket,也可以使用一个第二线程监听多个客户端的第二Socket。本实施例对此不作限定。
由于本实施例中第一线程用于对第一Socket进行监听,第二线程用于第二Socket进行监听,因此,通过不同的线程即可自然区分出服务器接收到的数据包为第一数据包或第二数据包。示例性的,当服务器通过第一线程接收到数据包时,则可以直接确定该数据包为某个客户端发送的第一数据包,并执行为该客户端创建第二Socket的步骤。当服务器通过第二线程接收到数据包时,则可以直接确定该数据包为某个客户端发送的第二数据包,执行对该第二数据包进行处理或者转发的步骤。可见,本实施例中,无需再针对接收到数据包的Socket进行额外判断,能够提高数据传输效率。
本实施例提供的基于UDP的数据传输方法,包括:通过第一线程对第一Socket进行监听,获取通过第一Socket接收到的第一数据包,从第一数据包中获取发送该第一数据包的第一客户端的地址信息,创建第二Socket,根据所述地址信息将第二Socket连接至第一客户端,并通过第二线程对第二Socket进行监听,以通过第二Socket与第一客户端进行第二数据包的传输。通过上述过程,实现了每个客户端均对应一个第二Socket。当多个客户端并发式地与服务器进行数据传输时,服务器通过与每个客户端各自对应的第二Socket来传输数据,实现了多个客户端之间的并行处理,因此,可以满足高并发的数据传输需求。另外,本实施例通过第一线程对第一Socket进行监听,通过第二线程对第二Socket进行监听,使得根据监听到数据包的线程即可自然区分出接收到的数据包为第一数据包或第二数据包,无需再针对接收到数据包的Socket进行额外判断,能够提高数据传输效率,保证数据传输的实时性。
在图2所示实施例的基础上,由于服务器为每个客户端均创建了一个第二Socket,即,与TCP协议类似,相当于服务器为每个客户端都创建了一个虚拟的“连接”与之对应,因此,可以借用TCP协议的Epoll事件监听机制。
Epoll使用了内核文件级别的回调机制,可以对多个Socket进行监听,并针对每个Socket设置事件监听信息。Epoll采用事件通知方式,每当Socket被内核IO事件异步唤醒,系统注册的回调函数就会被调用,将被唤醒的Socket放到预设队列(例如Ready队列)中。这样,Epoll获取事件的时候,无须遍历全部被监听的Socket,只要遍历那些被加入预设队列的Socket即可。Epoll机制能够提高并发处理的性能,从而充分利用服务器的CPU资源。
示例性的,本实施例中的第二线程可以采用Epoll事件监听机制。通过第二线程对第二Socket进行监听,可以包括:将第二Socket加入与该第二线程对应的Epoll的监听队列,通过Epoll对第二Socket是否接收到数据进行监听。能够理解,在第二线程负责监听多个客户端的第二Socket的情况下,通过采用Epoll机制,能够显著提高大量并发连接中只有少量活跃的情况下的系统CPU利用率。
可选的,本实施例中的第一线程也可以采用Epoll事件监听机制,从而进一步提高CPU资源的利用率。
下面结合图3所示的实施例进行描述。图3为本申请另一个实施例提供的基于UDP的数据传输方法的流程示意图。如图3所示,本实施例的方法可以包括:
S301:创建第一Socket。
示例性的,服务器创建第一Socket,假设第一Socket的描述符为listenFd。在创建第一Socket时,还可以设置第一Socket的属性为REUSEADDR和REUSEPORT。例如,创建第一Socket可以采用socket()函数实现。
进而,还可以创建套字节地址,该套接字地址绑定服务器的所有网卡,并将第一Socket绑定在该套字节地址上。例如,对第一Socket进行地址绑定可以采用bind()函数实现。
S302:创建第一线程,以及与第一线程对应的Epoll,将第一Socket加入与第一线程对应的Epoll的监听队列,并通过第一线程对应的Epoll对第一Socket进行监听。
示例性的,服务器创建第一线程,并创建一个Epoll的句柄,假设该Epoll的句柄为epollFd。例如,可以通过epoll_create()函数创建epoll句柄,该函数的参数可以指定要监听的Socket描述符的数量,该数量可以根据业务需求设置。epoll_create()函数调用成功时的返回值即为新创建Epoll的句柄epollFd。
进而,可以通过epoll_ctl()函数将第一Socket(即listenFd)加入到第一线程对应的Epoll(即epollFd)的监听队列。在将第一Socket加入监听队列时,还可以设置该第一Socket对应的事件监听信息。示例性的,第一Socket对应的事件监听信息可以包括:可读事件、水平触发(Level Triggered)模式、边缘触发(Edge Triggered)模式等。
然后,可以通过epoll_wait()函数等待事件的产生。本实施例中,可以在第一线程中对epoll_wait()函数进行迭代,从而实现第一线程对第一Socket的监听。
S303:创建线程池,线程池中包括多个第二线程,分别创建与每个第二线程对应的Epoll。
示例性的,服务器创建包括多个第二线程的线程池。其中,第二线程的数量可以根据业务场景进行设置。并针对每个第二线程,创建与其对应的Epoll。
应理解,每个第二线程对应的Epoll的创建过程与第一线程对应的Epoll的创建过程类似,此处不作赘述。进一步的,可以在每个第二线程中对epoll_wait()函数进行迭代,这样,当第二线程对应的Epoll的监听队列中被加入一个或者多个Socket时,第二线程可以实现对这些Socket的监听。
S304:获取通过第一Socket接收到的第一数据包。
本实施例中,第一线程中的epoll_wait()用于等待第一Socket的事件。若第一线程中的epoll_wait()的返回值大于0时,根据epoll_wait()的回调结果获取第一Socket接收到的第一数据包。
例如,可以通过调用recvfrom()函数接收第一数据包。能够理解,该第一数据包为某个客户端发送的第一个数据包。
S305:从第一数据包中获取第一客户端的地址信息,第一客户端为发送第一数据包的客户端。
示例性的,从recvfrom()返回的第一数据包中获取第一客户端的套字节地址。
S306:创建第二Socket,根据所述地址信息将第二Socket连接至第一客户端,第一Socket用于在服务器与第一客户端之间进行第二数据包的传输。
示例性的,服务器创建一个新的第二Socket,假设第二Socket的描述符为clientFd。在创建第二Socket时,还可以设置第二Socket的属性为REUSEADDR和REUSEPORT。进而,还可以创建套字节地址,该套接字地址绑定服务器的所有网卡,并将第二Socket绑定在该套字节地址上。与第一Socket的创建过程类似,上述过程可以采用socket()函数和bind()函数实现。
然后,将第二Socket连接至第一客户端。例如,可以通过connect()函数将第二Socket与第一客户端的地址信息连接。
S307:根据预设的哈希规则,从线程池包括的多个第二线程中,确定用于监听第二Socket的目标第二线程。
由于线程池中包括多个第二线程,可以根据预设的哈希规则,将上述新创建的第二Socket关联至某一个第二线程。其中,哈希规则指示的是第二Socket与第二线程之间的映射关系。哈希规则可以有多种设置方式,本实施例对此不作限定。
可选的,可以通过对第二Socket的描述符clientFd进行哈希计算,确定出用于监听第二Socket的目标第二线程。例如,一种可能的哈希规则可以为:目标第二线程thread_i=第二Socket的描述符clientFd%第二线程的总数。
S308:将第二Socket加入与目标第二线程对应的Epoll的监听队列,通过目标第二线程对第二Socket进行监听。
示例性的,可以生成第二Socket对应的事件监听信息。所述事件监听信息用于指示对第二Socket的预设事件进行监听。例如,第二Socket对应的事件监听信息可以包括:可读事件、水平触发(Level Triggered)模式、边缘触发(Edge Triggered)模式等。进而,将第二Socket以及该事件监听信息加入与目标第二线程对应的Epoll的监听队列。
例如,可以通过epoll_ctl()函数将第二Socket(即clientFd)以及事件监听信息加入到目标第二线程对应的Epoll的监听队列。
能够理解,将第二Socket加入目标第二线程对应的Epoll的监听队列后,目标第二线程通过epoll_wait()函数实现对第二Socket的监听。
本实施例中,第一线程和每个第二线程均采用Epoll机制,在满足高并发数据传输需求的情况下,还最大程度的提升了服务器的CPU利用率。
在上述实施例的基础上,下面结合一个具体的实例对并发场景下的数据传输过程进行描述。
图4A至图4G为本申请实施例提供的数据传输过程的示意图。请参加图4A,假设服务器创建了第一Socket、第一线程以及第一线程对应的Epoll,并且第一Socket被加入第一线程对应的Epoll的监听队列,即,采用Epoll对第一Socket进行监听。另外,服务器还创建了线程池,假设线程池中包括3个第二线程,分别为:第二线程A、第二线程B、第二线程C,并且,还创建了每个第二线程对应的Epoll。如图4A所示,初始状态下,每个第二线程对应的Epoll的监听队列为空。
假设服务器通过第一线程对应的Epoll监听到数据包1(即,第一数据包),该数据包1是由客户端1发送的,则服务器创建客户端1对应的第二Socket,并将客户端1对应的第二Socket加入第二线程A对应的Epoll的监听队列。如图4B所示,第二线程A对应的Epoll的监听队列中包括:客户端1对应的第二Socket。即,采用第二线程A对应的Epoll对客户端1对应的第二Socket进行监听。
进一步的,假设服务器通过第一线程对应的Epoll监听到数据包2(即,第一数据包),该数据包2是由客户端2发送的,则服务器创建客户端2对应的第二Socket,并将客户端2对应的第二Socket加入第二线程B对应的Epoll的监听队列。如图4C所示,第二线程B对应的Epoll的监听队列中包括:客户端2对应的第二Socket。即,采用第二线程B对应的Epoll对客户端2对应的第二Socket进行监听。
进一步的,假设服务器通过第一线程对应的Epoll监听到数据包3(即,第一数据包),该数据包3是由客户端3发送的,则服务器创建客户端3对应的第二Socket,并将客户端3对应的第二Socket加入第二线程C对应的Epoll的监听队列。如图4D所示,第二线程C对应的Epoll的监听队列中包括:客户端3对应的第二Socket。即,采用第二线程C对应的Epoll对客户端3对应的第二Socket进行监听。
进一步的,假设服务器通过第一线程对应的Epoll监听到数据包4(即,第一数据包),该数据包4是由客户端4发送的,则服务器创建客户端4对应的第二Socket,并将客户端4对应的第二Socket加入第二线程A对应的Epoll的监听队列。如图4E所示,第二线程A对应的Epoll的监听队列中包括:客户端1对应的第二Socket、客户端4对应的第二Socket。即,采用第二线程A对应的Epoll对客户端1、客户端4对应的第二Socket进行监听。
进一步的,假设服务器通过第一线程对应的Epoll监听到数据包5(即,第一数据包),该数据包5是由客户端5发送的,则服务器创建客户端5对应的第二Socket,并将客户端5对应的第二Socket加入第二线程B对应的Epoll的监听队列。如图4F所示,第二线程B对应的Epoll的监听队列中包括:客户端2对应的第二Socket、客户端5对应的第二Socket。即,采用第二线程B对应的Epoll对客户端2、客户端5对应的第二Socket进行监听。
一些可能的场景中,当服务器为非转发服务器时,服务器通过某个第二线程接收到客户端发送的第二数据包后,可以对第二数据包进行处理。例如,服务器通过第二线程A接收到客户端1或者客户端4发送的第二数据包后,通过第二线程A对第二数据包进行处理。或者,服务器通过第二线程B接收到客户端2或客户端5发送的第二数据包后,通过第二线程B对第二数据包进行处理。或者,服务器通过第二线程C接收到客户端3发送的第二数据包后,通过第二线程C对第二数据包进行处理。
另一些可能的场景中,当服务器为转发服务器时,服务器还可以实现不同客户端之间的数据转发功能。下面对转发场景的数据传输过程进行描述。
具体的,服务器通过第一Socket接收到第一数据包后,可以从第一数据包中获取第一客户端的地址信息和第二客户端的地址信息,第一客户端为第一数据包对应的源客户端,第二客户端为第一数据包对应的目的客户端。这样,服务器在创建第二Socket后,将第二Socket连接至第一客户端。从线程池中确定一个目标第二线程,将第二Socket加入目标第二线程对应的Epoll的监听队列,并在第二Socket对应的事件监听信息中携带第二客户端的地址信息。这样,目标第二线程通过该第二Sokcet从第一客户端接收到的数据包后,会将数据包转发给第二客户端。
例如,在图4F的基础上,假设服务器通过第一线程对应的Epoll1监听到数据包6(即,第一数据包),该数据包6是由客户端6发送给客户端4的,则服务器接收到数据包6后,创建客户端6对应的第二Socket,并将客户端6对应的第二Socket加入第二线程C对应的Epoll的监听队列。并且,在第二Socket对应的事件监听信息中携带客户端4的地址信息(例如,客户端4的套接字地址)。如图4G所示,第二线程C对应的Epoll的监听队列中包括:客户端3对应的第二Socket、客户端6对应的第二Socket。即,采用第二线程C对应的Epoll对客户端3、客户端6对应的第二Socket进行监听。
进一步的,假设服务器通过第二线程C对应的Epoll从客户端6接收到数据包7(即,第二数据包),服务器通过Epoll回调函数获取到目的客户端的地址信息(即客户端4的套接字地址),并将数据包7发送给客户端4。
应理解,上述转发场景中,是以第二数据包对应一个目的客户端为例进行示意的,实际应用中,第二数据包对应的目的客户端的数量还可以是多个,本实施例对此不作限定。
图5为本申请一个实施例提供的基于UDP的数据传输装置的结构示意图。该装置可以为软件和/或硬件的形式。如图5所示,本实施例提供的基于UDP的数据传输装置10,可以包括:获取模块11和处理模块12。
其中,获取模块11,用于通过第一线程对第一套接字Socket进行监听,获取通过所述第一Socket接收到的第一数据包;
处理模块12,用于从所述第一数据包中获取第一客户端的地址信息,所述第一客户端为发送所述第一数据包的客户端;
所述处理模块12,还用于创建第二Socket,根据所述地址信息将所述第二Socket连接至所述第一客户端,并通过第二线程对所述第二Socket进行监听,所述第二Socket用于与所述第一客户端进行第二数据包的传输。
一种可能的实现方式中,所述第二线程采用Epoll事件监听机制;所述处理模块12具体用于:
将所述第二Socket加入与所述第二线程对应的Epoll的监听队列。
一种可能的实现方式中,所述处理模块12具体用于:
根据预设的哈希规则,从线程池包括的多个第二线程中,确定用于监听所述第二Socket的目标第二线程;
将所述第二Socket加入与所述目标第二线程对应的Epoll的监听队列。
一种可能的实现方式中,所述处理模块12还用于:
从所述第一数据包中获取第二客户端的地址信息,所述第二客户端为需要接收所述第一数据包的客户端;
生成与所述第二Socket对应的事件监听信息,所述事件监听信息用于指示对所述第二Socket的预设事件进行监听,所述预设事件的参数包括所述第二客户端的地址信息;
将所述第二Socket以及所述事件监听信息加入与所述目标第二线程对应的Epoll的监听队列。
一种可能的实现方式中,所述获取模块11还用于:通过所述目标第二线程,获取由所述第二Socket接收到的所述第二数据包;
所述处理模块12还用于:根据与所述第二Socket对应的事件监听信息,确定所述第二数据包对应的第二客户端的地址信息,并将所述第二数据包发送至所述第二客户端。
图6为本申请另一个实施例提供的基于UDP的数据传输装置的结构示意图,在图5所示实施例的基础上,本实施例提供的基于UDP的数据传输装置10还可以包括:创建模块13。
一种可能的实现方式中,所述创建模块13用于:
创建所述第一Socket;
创建所述第一线程,以及与所述第一线程对应的Epoll,将所述第一Socket加入与所述第一线程对应的Epoll的监听队列。
一种可能的实现方式中,所述创建模块13还用于:
创建所述线程池,所述线程池中包括多个第二线程;
分别创建与每个所述第二线程对应的Epoll。
本申请实施例提供的基于UDP的数据传输装置可用于执行上述任一方法实施例中的技术方案,其实现原理和技术效果类似,此处不作赘述。
图7为本申请实施例提供的电子设备的结构示意图。该电子设备可以作为图1中的服务器。如图7所示,本实施例的电子设备70,包括:
处理器71以及存储器72;其中,存储器72,用于存储计算机程序;处理器71,用于执行存储器存储的计算机程序,以实现上述实施例中的基于UDP的数据传输方法。具体可以参见前述方法实施例中的相关描述。可选地,存储器72既可以是独立的,也可以跟处理器71集成在一起。
当所述存储器72是独立于处理器71之外的器件时,所述电子设备70还可以包括:总线73,用于连接所述存储器72和处理器71。
可选的,电子设备70还可以包括通信部件74,用于与客户端进行通信。
本实施例提供的电子设备,可用于执行上述任一方法实施例中的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,所述计算机程序用于实现如上任一方法实施例中的技术方案。
本申请实施例还提供一种芯片,包括:存储器、处理器以及计算机程序,所述计算机程序存储在所述存储器中,所述处理器运行所述计算机程序执行上述任一方法实施例中的技术方案。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本申请各个实施例所述方法的部分步骤。
应理解,上述处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application Specific Integrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits,简称:ASIC)中。当然,处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (7)

1.一种基于用户数据报协议UDP的数据传输方法,其特征在于,包括:
通过第一线程对第一套接字Socket进行监听,获取通过所述第一Socket接收到的第一数据包;
从所述第一数据包中获取第一客户端的地址信息,所述第一客户端为发送所述第一数据包的客户端;
创建第二Socket,根据所述地址信息将所述第二Socket连接至所述第一客户端,并通过第二线程对所述第二Socket进行监听,所述第二Socket用于与所述第一客户端进行第二数据包的传输;
所述第二线程采用Epoll事件监听机制;所述通过第二线程对所述第二Socket进行监听,包括:
根据预设的哈希规则,从预先创建的线程池包括的多个第二线程中,确定用于监听所述第二Socket的目标第二线程;
将所述第二Socket加入与所述目标第二线程对应的Epoll的监听队列;
所述通过第一线程对第一Socket进行监听之前,还包括:
创建所述第一线程,以及与所述第一线程对应的Epoll,将所述第一Socket加入与所述第一线程对应的Epoll的监听队列;
创建所述线程池,所述线程池中包括多个第二线程;
分别创建与每个所述第二线程对应的Epoll。
2.根据权利要求1所述的方法,其特征在于,所述获取通过所述第一Socket接收到的第一数据包之后,还包括:
从所述第一数据包中获取第二客户端的地址信息,所述第二客户端为需要接收所述第一数据包的客户端;
所述将所述第二Socket加入与所述目标第二线程对应的Epoll的监听队列,包括:
生成与所述第二Socket对应的事件监听信息,所述事件监听信息用于指示对所述第二Socket的预设事件进行监听,所述预设事件的参数包括所述第二客户端的地址信息;
将所述第二Socket以及所述事件监听信息加入与所述目标第二线程对应的Epoll的监听队列。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
通过所述目标第二线程,获取由所述第二Socket接收到的所述第二数据包;
根据与所述第二Socket对应的事件监听信息,确定所述第二数据包对应的第二客户端的地址信息,并将所述第二数据包发送至所述第二客户端。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述通过第一线程对第一Socket进行监听之前,还包括:
创建所述第一Socket。
5.一种基于用户数据报协议UDP的数据传输装置,其特征在于,包括:
获取模块,用于通过第一线程对第一套接字Socket进行监听,获取通过所述第一Socket接收到的第一数据包;
处理模块,用于从所述第一数据包中获取第一客户端的地址信息,所述第一客户端为发送所述第一数据包的客户端;
所述处理模块,还用于创建第二Socket,根据所述地址信息将所述第二Socket连接至所述第一客户端,并通过第二线程对所述第二Socket进行监听,所述第二Socket用于与所述第一客户端进行第二数据包的传输;
所述第二线程采用Epoll事件监听机制;所述处理模块具体用于:
根据预设的哈希规则,从预先创建的线程池包括的多个第二线程中,确定用于监听所述第二Socket的目标第二线程;
将所述第二Socket加入与所述目标第二线程对应的Epoll的监听队列;
所述装置还包括:创建模块,所述创建模块用于:
创建所述第一线程,以及与所述第一线程对应的Epoll,将所述第一Socket加入与所述第一线程对应的Epoll的监听队列;
所述创建模块还用于:
创建所述线程池,所述线程池中包括多个第二线程;
分别创建与每个所述第二线程对应的Epoll。
6.一种电子设备,其特征在于,包括:存储器和处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序执行如权利要求1至4任一项所述的方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的方法。
CN202010455305.7A 2020-05-26 2020-05-26 基于udp的数据传输方法、装置及设备 Active CN113726723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010455305.7A CN113726723B (zh) 2020-05-26 2020-05-26 基于udp的数据传输方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010455305.7A CN113726723B (zh) 2020-05-26 2020-05-26 基于udp的数据传输方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113726723A CN113726723A (zh) 2021-11-30
CN113726723B true CN113726723B (zh) 2023-11-03

Family

ID=78671924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010455305.7A Active CN113726723B (zh) 2020-05-26 2020-05-26 基于udp的数据传输方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113726723B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105553977A (zh) * 2015-12-15 2016-05-04 网易(杭州)网络有限公司 请求消息的处理、发送方法及装置
CN109298943A (zh) * 2018-10-11 2019-02-01 四川长虹电器股份有限公司 用于udp服务器的并发处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040003085A1 (en) * 2002-06-26 2004-01-01 Joseph Paul G. Active application socket management

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105553977A (zh) * 2015-12-15 2016-05-04 网易(杭州)网络有限公司 请求消息的处理、发送方法及装置
CN109298943A (zh) * 2018-10-11 2019-02-01 四川长虹电器股份有限公司 用于udp服务器的并发处理方法

Also Published As

Publication number Publication date
CN113726723A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
WO2023005773A1 (zh) 基于远程直接数据存储的报文转发方法、装置、网卡及设备
JP6276273B2 (ja) 分散型データグリッドクラスタにおけるメッセージ前処理をサポートするシステムおよび方法
EP3837604B1 (en) In situ triggered function as a service within a service mesh
US7274706B1 (en) Methods and systems for processing network data
US10826977B2 (en) System and method for supporting asynchronous request/response in a network environment
US9843514B2 (en) Packet processing method and background server
CN114201421B (zh) 一种数据流处理方法、存储控制节点及可读存储介质
WO2024037296A1 (zh) 基于协议族的quic数据传输方法及装置
CN112583618B (zh) 为业务提供网络服务的方法、装置和计算设备
US8539089B2 (en) System and method for vertical perimeter protection
US9967360B2 (en) Method and system for information exchange utilizing an asynchronous persistent store protocol
EP4221233A1 (en) Data download method and apparatus, computer device and storage medium
US20200059427A1 (en) Integrating a communication bridge into a data processing system
CN112631788A (zh) 数据传输方法及数据传输服务器
CN112765119A (zh) Hdfs api的调用方法、装置、设备及存储介质
CN101064715A (zh) 基于嵌入式系统的p2p技术实现
JP2014528611A (ja) トランザクションミドルウェアマシン環境においてシングルポイントボトルネックを防止するためのシステムおよび方法
CN113965628A (zh) 消息调度方法、服务器和存储介质
CN113726723B (zh) 基于udp的数据传输方法、装置及设备
US20050188070A1 (en) Vertical perimeter framework for providing application services
CN115617537A (zh) 一种数据传输方法及装置、存储介质
CN111240845B (zh) 一种数据处理方法、装置和存储介质
Ezzeddine et al. RESTful hardware microservices using reconfigurable networked accelerators in cloud and edge datacenters
US20210168220A1 (en) Hybrid proxying with user space hold
CN111416852A (zh) 在多个负载均衡器之间进行会话同步的方法和负载均衡器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant