CN104735077A - 一种使用环形缓存和环形队列实现udp高效并发的方法 - Google Patents
一种使用环形缓存和环形队列实现udp高效并发的方法 Download PDFInfo
- Publication number
- CN104735077A CN104735077A CN201510150881.XA CN201510150881A CN104735077A CN 104735077 A CN104735077 A CN 104735077A CN 201510150881 A CN201510150881 A CN 201510150881A CN 104735077 A CN104735077 A CN 104735077A
- Authority
- CN
- China
- Prior art keywords
- data
- thread
- sub
- circular buffer
- loop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
Abstract
本发明涉及UDP并发技术领域，尤其涉及一种使用环形缓存和环形队列实现UDP高效并发的方法。特点如下：在数据接收线程中创建环形队列，用于存储待返回数据的客户端标识，并在数据处理子线程创建发送环形缓存和接收环形缓存，用于接收数据和存储待发送数据；数据接收线程接收数据同时查看环形队列中是否有需返回数据的客户端标识，如有相应数据处理子线程发送环形缓存中的数据发送出去。本发明的循环缓冲区可以提供对缓冲区的互斥访问，因而数据接收线程与数据处理子线程之间不需要加互斥保护，可同时进行，从而有了良好的并发性能，循环缓冲区可以更好地利用系统内存资源。
Description
技术领域
本发明涉及UDP并发技术领域，尤其涉及一种使用环形缓存和环形队列实现UDP高效并发的方法。
背景技术
UDP 是用户数据包协议的简称，是OSI（Open System Interconnection，开放式系统互联）参考模型中一种无连接的传输层协议，提供面向事务的简单不可靠信息传送服务。
目前，UDP实现并发有以下三种方法：
一、循环方式：创建一个套接字，将它绑定到一个端口上，并在这个端口上接收请求，进入无限循环，在该循环中服务器接受来自客户的下一个请求，处理这一请求，然后将这个应答发回给客户。这种模式对于处理请求占用时间较长，效率比较低下。我们考虑像文件传送这样的服务，它在处理每一个请求时，要求有相当可观的时间，假设联系该服务器的第一个客户要求传送一个巨大的文件，而联系到该服务器的第二个客户要求传送一个小文件，若服务器一直等到第一个文件传送完毕才考虑传送第二个文件，那么第二个客户将为了一个小文件而等一段不合理的时间。
二、创建主线程接收请求：创建数据处理子线程单独处理接收到的数据，并将处理结果发回给客户端。设计思想，发起一个主线程从指定端口接收数据，当接收到数据时，创建对应的数据处理线程，将该数据交由该线程处理，处理结束后将数据发回客户端，之后数据处理线程退出。线程创建和销毁费时较长，因为创建一个线程要获取内存资源或者其它更多资源, 所以提高服务程序效率的一个手段就是尽可能减少创建和销毁线程的次数。如果数据交互比较频繁，这种方法性能较低。
三、主线程监听客户请求，有请求到来时，记下其IP和端口然后创建一个子线程将IP和端口传给子线程，由子线程负责与该客户端通信。这是目前常用的方法，但此法最大的问题在于：子线程会新建套接字，并绑定一个新端口与客户端通信，如果客户端指定从服务器某一端口接收数据，会造成客户端接收失败。
发明内容
针对上述问题，本发明提供了一种使用环形缓存和环形队列实现UDP高效并发的方法。
本发明的技术方案为：
一种使用环形缓存和环形队列实现UDP高效并发的方法，包括以下步骤：
（1）、发起服务端的数据接收线程，创建环形队列；
（2）、数据接收线程在指定端口接收数据，如果收到合法数据，通过数据中的通信地址来判断是否已经存在相应客户端的数据处理子线程，如果存在，则直接执行步骤（4）；如果不存在，则先执行步骤（3）创建新的数据处理子线程，之后再执行步骤（4）；
（3）、创建与该客户端对应的数据处理子线程，并创建该子线程的发送环形缓存和接收环形缓存；
（4）、数据接收线程将收到的数据复制到相应数据处理子线程的接收环形缓存中；
（5）、数据处理子线程在其接收环形缓存中接收数据，如果接收环形缓存中有数据，数据处理子线程处理数据，处理完后将需要发送的数据复制到其发送环形缓存中，并将其对应的客户端标识存到数据接收线程的环形队列中；
（6）、数据接收线程在接收数据的同时，查看环形队列中是否有需返回数据的客户端标识，如有则将该标识出队列，由该标识索引到相应客户端的数据处理子线程，并将该数据处理子线程发送环形缓存中的数据发送出去。
执行步骤（1）前需先为数据接收线程创建套接字并绑定一端口，固定从服务器的这一个端口接收来自客户端的数据。
所述数据中的通信地址是指数据中包含的源客户端的IP地址或设备的通信地址。通信过程中可以利用这一地址来识别各客户端。
数据合法与否是根据数据的起始字符、结束字符、长度和校验码综合判断。
本发明使用通信程序中经常用到的环形缓存作为数据结构，来存放通信中各客户端发送和接收的数据，环形缓存是一个先进先出的循环缓冲区，可以向通信程序提供对缓存的互斥访问。使用环形队列结构来存储每一个需要在数据处理完后发送返回结果的客户端标识。这两种数据结构的配合使用可以实现高效的UDP并发。
本发明的有益效果如下：
1、循环缓冲区可以提供对缓冲区的互斥访问，因而数据接收线程与数据处理子线程之间不需要加互斥保护，可同时进行，从而有了良好的并发性能，循环缓冲区可以更好地利用系统内存资源。
2、使用环形队列存储需要发送数据的客户端标识，如果有需要发送数据的客户端则可直接从中取出，不需遍历所有客户端，有效减少CPU空转时间，提高CPU利用率。
3、数据的接收与发送使用一个套接字和一个接收线程即可实现，可以大大减少系统频繁创建线程的资源开销，节约套接字（文件描述符）占用，并可有效避免因新建线程重新绑定端口造成的客户端接收失败现象。
4、数据接收和数据处理分离设计，可以使用不同的优先级来确保数据可靠、完整、实时的接收，并符合软件工程中的“高内聚、低耦合”设计思想。
附图说明
图1是本发明数据接收发送主线程的流程图；
图2是本发明数据处理子线程的流程图。
具体实施方式
下面结合附图对本发明的实施过程进行详细说明：
一种使用环形缓存和环形队列实现UDP高效并发的方法，如图所示，包括以下步骤：
（1）、为数据接收线程创建套接字并绑定一端口，发起服务端的数据接收线程，创建环形队列。
（2）、数据接收线程在绑定端口接收数据，如果收到合法数据，通过数据中的通信地址（指数据中包含的源客户端的IP地址或设备的通信地址）来判断是否已经存在相应客户端的数据处理子线程，如果存在，则直接执行步骤（4）；如果不存在，则先执行步骤（3）创建新的数据处理子线程，之后再执行步骤（4）。数据合法性判断是根据数据的起始字符、结束字符、长度和校验码综合判断。
（3）、创建与该客户端对应的数据处理子线程，在子线程的构造函数中实现发送环形缓存的创建和接收环形缓存的创建。
（4）、数据接收线程将收到的数据复制到相应数据处理子线程的接收环形缓存中。
（5）、数据处理子线程在其接收环形缓存中接收数据，如果接收环形缓存中有数据，数据处理子线程处理数据，处理完后将需要发送的数据复制到其发送环形缓存中，并将其对应的客户端标识存到数据接收线程的环形队列中。
（6）、数据接收线程在接收数据的同时，每接收完一帧数据后去环形队列中查看是否有需返回数据的客户端标识，如有则将该标识出队列，由该标识索引到相应客户端的数据处理子线程，并将该数据处理子线程发送环形缓存中的数据发送出去。
Claims (4)
1.一种使用环形缓存和环形队列实现UDP高效并发的方法，其特征在于包括以下步骤：
（1）、发起服务端的数据接收线程，创建环形队列；
（2）、数据接收线程在指定端口接收数据，如果收到合法数据，通过数据中的通信地址来判断是否已经存在相应客户端的数据处理子线程，如果存在，则直接执行步骤（4）；如果不存在，则先执行步骤（3）创建新的数据处理子线程，之后再执行步骤（4）；
（3）、创建与该客户端对应的数据处理子线程，并创建该子线程的发送环形缓存和接收环形缓存；
（4）、数据接收线程将收到的数据复制到相应数据处理子线程的接收环形缓存中；
（5）、数据处理子线程在其接收环形缓存中接收数据，如果接收环形缓存中有数据，数据处理子线程处理数据，处理完后将需要发送的数据复制到其发送环形缓存中，并将其对应的客户端标识存到数据接收线程的环形队列中；
（6）、数据接收线程在接收数据的同时，查看环形队列中是否有需返回数据的客户端标识，如有则将该标识出队列，由该标识索引到相应客户端的数据处理子线程，并将该数据处理子线程发送环形缓存中的数据发送出去。
2.根据权利要求1所述的实现UDP高效并发的方法，其特征在于：执行步骤（1）前需先为数据接收线程创建套接字并绑定一端口。
3.根据根据权利要求1所述的实现UDP高效并发的方法，其特征在于：所述数据中的通信地址是指数据中包含的源客户端的IP地址或设备的通信地址。
4.根据权利要求1所述的实现UDP高效并发的方法，其特征在于：数据合法与否是根据数据的起始字符、结束字符、长度和校验码综合判断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510150881.XA CN104735077B (zh) | 2015-04-01 | 2015-04-01 | 一种使用环形缓存和环形队列实现udp高效并发的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510150881.XA CN104735077B (zh) | 2015-04-01 | 2015-04-01 | 一种使用环形缓存和环形队列实现udp高效并发的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104735077A true CN104735077A (zh) | 2015-06-24 |
| CN104735077B CN104735077B (zh) | 2017-11-24 |
Family
ID=53458512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510150881.XA Expired - Fee Related CN104735077B (zh) | 2015-04-01 | 2015-04-01 | 一种使用环形缓存和环形队列实现udp高效并发的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104735077B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106603685A (zh) * | 2016-12-23 | 2017-04-26 | 深圳市三维通机器人系统有限公司 | 基于大数据高并发通信的agv通信方法及其系统 |
| CN107330064A (zh) * | 2017-06-29 | 2017-11-07 | 郑州云海信息技术有限公司 | 一种基于cifs协议创建小文件的方法及系统 |
| CN107589990A (zh) * | 2017-10-26 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种基于线程池的数据通讯的方法及系统 |
| CN107949017A (zh) * | 2018-01-28 | 2018-04-20 | 厦门四信通信科技有限公司 | 一种提高LoRa基站数据包转发率的方法 |
| CN108694083A (zh) * | 2017-04-07 | 2018-10-23 | 腾讯科技（深圳）有限公司 | 一种服务器的数据处理方法和装置 |
| CN111555800A (zh) * | 2020-05-15 | 2020-08-18 | 北京光润通科技发展有限公司 | 一种千兆双光口服务器适配器 |
| CN111600809A (zh) * | 2020-05-15 | 2020-08-28 | 北京光润通科技发展有限公司 | 一种千兆单光口服务器适配器 |
| CN112598517A (zh) * | 2020-12-24 | 2021-04-02 | 临沂市新商网络技术有限公司 | 面向大规模并发请求的电子商务交易撮合方法及系统 |
| CN112631788A (zh) * | 2021-01-06 | 2021-04-09 | 上海哔哩哔哩科技有限公司 | 数据传输方法及数据传输服务器 |
| CN114500403A (zh) * | 2022-01-24 | 2022-05-13 | 中国联合网络通信集团有限公司 | 一种数据处理方法、装置及计算机可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101753439A (zh) * | 2009-12-18 | 2010-06-23 | 深圳市融创天下科技发展有限公司 | 一种流媒体分发传输方法 |
| CN102546437A (zh) * | 2012-02-20 | 2012-07-04 | 南京邮电大学 | 一种面向物联网平台的套接字实现方法 |
-
2015
- 2015-04-01 CN CN201510150881.XA patent/CN104735077B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101753439A (zh) * | 2009-12-18 | 2010-06-23 | 深圳市融创天下科技发展有限公司 | 一种流媒体分发传输方法 |
| CN102546437A (zh) * | 2012-02-20 | 2012-07-04 | 南京邮电大学 | 一种面向物联网平台的套接字实现方法 |
Non-Patent Citations (1)
| Title |
|---|
| 汤金辉，李磊，赵玉新: ""基于VxWo&s的混合通信模式的UDP并发服务器的设计"", 《应用科技》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106603685A (zh) * | 2016-12-23 | 2017-04-26 | 深圳市三维通机器人系统有限公司 | 基于大数据高并发通信的agv通信方法及其系统 |
| CN108694083A (zh) * | 2017-04-07 | 2018-10-23 | 腾讯科技（深圳）有限公司 | 一种服务器的数据处理方法和装置 |
| CN107330064A (zh) * | 2017-06-29 | 2017-11-07 | 郑州云海信息技术有限公司 | 一种基于cifs协议创建小文件的方法及系统 |
| CN107589990A (zh) * | 2017-10-26 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种基于线程池的数据通讯的方法及系统 |
| CN107589990B (zh) * | 2017-10-26 | 2021-03-26 | 苏州浪潮智能科技有限公司 | 一种基于线程池的数据通讯的方法及系统 |
| CN107949017A (zh) * | 2018-01-28 | 2018-04-20 | 厦门四信通信科技有限公司 | 一种提高LoRa基站数据包转发率的方法 |
| CN111600809A (zh) * | 2020-05-15 | 2020-08-28 | 北京光润通科技发展有限公司 | 一种千兆单光口服务器适配器 |
| CN111555800A (zh) * | 2020-05-15 | 2020-08-18 | 北京光润通科技发展有限公司 | 一种千兆双光口服务器适配器 |
| CN111555800B (zh) * | 2020-05-15 | 2021-07-20 | 北京光润通科技发展有限公司 | 一种千兆双光口服务器适配器 |
| CN111600809B (zh) * | 2020-05-15 | 2023-11-21 | 北京光润通科技发展有限公司 | 一种千兆单光口服务器适配器 |
| CN112598517A (zh) * | 2020-12-24 | 2021-04-02 | 临沂市新商网络技术有限公司 | 面向大规模并发请求的电子商务交易撮合方法及系统 |
| CN112598517B (zh) * | 2020-12-24 | 2022-08-23 | 临沂市新商网络技术有限公司 | 面向大规模并发请求的电子商务交易撮合方法及系统 |
| CN112631788A (zh) * | 2021-01-06 | 2021-04-09 | 上海哔哩哔哩科技有限公司 | 数据传输方法及数据传输服务器 |
| CN112631788B (zh) * | 2021-01-06 | 2023-11-28 | 上海哔哩哔哩科技有限公司 | 数据传输方法及数据传输服务器 |
| CN114500403A (zh) * | 2022-01-24 | 2022-05-13 | 中国联合网络通信集团有限公司 | 一种数据处理方法、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104735077B (zh) | 2017-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104735077A (zh) | 一种使用环形缓存和环形队列实现udp高效并发的方法 | |
| US10027781B2 (en) | TCP link configuration method, apparatus, and device | |
| US20080049617A1 (en) | System for fine grained flow-control concurrency to prevent excessive packet loss | |
| CN103957169A (zh) | 一种基于反向请求的可靠udp的实现方法 | |
| CN106130990B (zh) | 容器访问的控制方法及装置 | |
| CN105376165B (zh) | Udp组播方法、系统、发送装置及接收装置 | |
| CN108270732A (zh) | 一种流媒体处理方法及系统 | |
| CN103051716A (zh) | 一种面向网络的串口设备重定向的方法及系统 | |
| US8539089B2 (en) | System and method for vertical perimeter protection | |
| CN102957627A (zh) | 一种基于tcp长连接的提高数据传输效率的方法 | |
| US8566833B1 (en) | Combined network and application processing in a multiprocessing environment | |
| CN103441937A (zh) | 组播数据的发送方法和接收方法 | |
| CN109587235A (zh) | 一种基于网络库的数据访问方法、客户端、系统及介质 | |
| CN113259415B (zh) | 一种网络报文处理方法、装置及网络服务器 | |
| CN100568830C (zh) | 用于完成处理的方法和系统 | |
| CN105068817B (zh) | 将数据写入存储设备的方法及存储设备 | |
| CN109756475A (zh) | 一种单向网络中数据传输方法及装置 | |
| JP5479710B2 (ja) | データを処理するためのプロセッサ‐サーバ・ハイブリッド・システムおよび方法 | |
| CN111654505B (zh) | Udp数据包可靠传输方法、系统、计算机设备及存储介质 | |
| CN102761608A (zh) | Udp会话复用的方法和负载均衡设备 | |
| CN102025730B (zh) | 基于http协议的数据传输装置及其实现方法 | |
| CN111526137B (zh) | 兼容服务器和客户端模式的网络加速器及数据处理方法 | |
| US9485189B2 (en) | Transfer device, and transfer method | |
| CN113114662B (zh) | 一种单tcp连接处理并发请求的方法及装置 | |
| CN104969533A (zh) | 一种数据包处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171124 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |