CN115378888B - 一种数据处理方法、装置、设备及存储介质 - Google Patents

一种数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115378888B
CN115378888B CN202210988508.1A CN202210988508A CN115378888B CN 115378888 B CN115378888 B CN 115378888B CN 202210988508 A CN202210988508 A CN 202210988508A CN 115378888 B CN115378888 B CN 115378888B
Authority
CN
China
Prior art keywords
data
module
request
dequeue
storage management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210988508.1A
Other languages
English (en)
Other versions
CN115378888A (zh
Inventor
何士浩
梁云
盛曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xingyun Zhilian Technology Co ltd
Original Assignee
Shenzhen Xingyun Zhilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xingyun Zhilian Technology Co ltd filed Critical Shenzhen Xingyun Zhilian Technology Co ltd
Priority to CN202210988508.1A priority Critical patent/CN115378888B/zh
Publication of CN115378888A publication Critical patent/CN115378888A/zh
Application granted granted Critical
Publication of CN115378888B publication Critical patent/CN115378888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9084—Reactions to storage capacity overflow
    • H04L49/9089—Reactions to storage capacity overflow replacing packets in a storage arrangement, e.g. pushout
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据处理方法、装置、设备及存储介质，涉及TCP超时重传和集成电路设计技术领域，包括：通过时间轮定时器向数据查询模块定时发送出队信号；通过所述数据查询模块基于所述出队信号生成对应的查询请求，并将所述查询请求发送至存储管理模块，以获得待出队数据数量；利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求；通过所述存储管理模块基于所述出队请求完成对应的数据出队操作。本申请通过设置时间轮，定时查询待出队的数据数量，并将时间轮与超时重传结合，提高了传输效率并降低了逻辑复杂度。

Description

一种数据处理方法、装置、设备及存储介质
技术领域
本发明涉及TCP超时重传和集成电路设计技术领域，特别涉及一种数据处理方法、装置、设备及存储介质。
背景技术
目前，TCP(Transmission Control Protocol，传输控制协议)对每个连接都会维护一个超时定时器，当TCP发出数据报文时，如果之前没有等待ACK(Acknowledgement，确认字符)的报文则会设置这个连接的定时器，如果之前有等待ACK的报文，则并不会重启RTO(Retransmission Timeout，超时重传时间)定时器。当TCP同时有多个报文发出且没有等到ACK的时候，则会先重传第一个报文，第一个报文重传成功收到ACK后，再设置RTO定时器然后重传第二个报文。由于网络状况可能会受到路由变化、网络负载等因素的影响，因此RTO也必须跟随网络状况动态更新。如果TCP过早重传，则可能会向网络中注入很多重复报文，如果过晚重传，则在丢包时候则会影响滑窗前行可能会降低网络利用率。若RTO发生变化，超时定时器的定时时间也需重新配置，反复配置定时器定时时间会降低TCP工作效率。
发明内容
有鉴于此，本发明的目的在于提供一种数据处理方法、装置、设备和存储介质，能够提高传输效率并降低逻辑复杂度。其具体方案如下：
第一方面，本申请公开了一种数据处理方法，包括：
通过时间轮定时器向数据查询模块定时发送出队信号；
通过所述数据查询模块基于所述出队信号生成对应的查询请求，并将所述查询请求发送至存储管理模块，以获得待出队数据数量；
利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求；
通过所述存储管理模块基于所述出队请求完成对应的数据出队操作。
可选的，所述通过时间轮定时器向数据查询模块定时发送出队信号之前，还包括：
通过传输控制协议向通道ID生成模块发送数据报文；
通过所述通道ID生成模块为所述数据报文分配通道ID，以得到当前通道ID；
基于所述当前通道ID将所述数据报文发送至所述存储管理模块，以便所述存储管理模块将接收到的所述数据报文存储至存储器中对应的存储区域。
可选的，所述通过所述存储管理模块基于所述出队请求完成对应的数据出队操作之后，还包括：
将所述存储管理模块基于所述出队请求从所述存储器中调用得到的目标数据报文存放于输出缓冲模块；
当所述输出缓冲模块中的缓存资源耗尽时，所述输出缓冲模块触发反压机制，向所述数据请求模块发送资源耗尽信息，并停止接收数据报文。
可选的，所述通过所述通道ID生成模块为所述数据报文分配通道ID，以得到当前通道ID，包括：
获取所述数据报文的超时重传时间以及到达时刻；
按照预设分配规则并基于所述超时重传时间以及所述到达时刻，确定与所述数据报文对应的当前通道ID。
可选的，所述利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求之前，还包括：
维护包含全部所述通道ID以及对应的数据报文数量的所述位图表；
将所述位图表中的信息全部初始化；
相应的，利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求，包括：
利用所述待出队数据数量更新所述位图表中对应的数据，以便所述数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送包含数据变化的所述通道ID以及对应的所述待出队数据数量的所述出队请求。
可选的，所述通过所述数据查询模块基于所述出队信号生成对应的查询请求，并将所述查询请求发送至存储管理模块，以获得待出队数据数量，包括：
获取所述出队信号中的目标通道ID；
基于所述目标通道ID生成对应的所述查询请求，并将所述查询请求发送至所述存储管理模块，以便获取所述存储管理模块查找到的与所述目标通道ID对应且符合出队要求的所述待出队数据数量，所述存储管理模块清零当前统计值。
可选的，所述通过时间轮定时器向数据查询模块定时发送出队信号之前，还包括：
基于系统时钟并通过所述时间轮定时器，分频产生各通道的定时入队信号、所述出队信号。
第二方面，本申请公开了一种数据处理装置，包括：
出队信号发送模块，用于通过时间轮定时器向数据查询模块定时发送出队信号；
查询请求生成模块，用于通过所述数据查询模块基于所述出队信号生成对应的查询请求；
数量获取模块，用于将所述查询请求发送至存储管理模块，以获得待出队数据数量；
出队请求发送模块，用于利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求；
出队模块，用于存储管理模块基于所述出队请求完成对应的数据出队操作。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如前述公开的数据处理方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如前述公开的数据处理方法。
可见，本申请提供了一种数据处理方法，包括：通过时间轮定时器向数据查询模块定时发送出队信号；通过所述数据查询模块基于所述出队信号生成对应的查询请求，并将所述查询请求发送至存储管理模块，以获得待出队数据数量；利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求；通过所述存储管理模块基于所述出队请求完成对应的数据出队操作。由此可见，本申请设置时间轮并与超时重传结合，用时间轮替代现有技术中的定时器，当超时重传时间值有变化时无需重置定时器，提高了传输效率，并且通过时间轮定时查询待出队的数据数量，实现报文的批量出队并降低了逻辑复杂度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种数据处理方法流程图；
图2为本申请公开的一种数据处理方法结构示意图；
图3为本申请公开的时间轮示意图；
图4为本申请公开的一种具体的数据处理方法流程图；
图5为本申请公开的时间轮结构图；
图6为本申请公开的入队出队时刻示意图；
图7为本申请提供的数据处理装置结构示意图；
图8为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，TCP对每个连接都会维护一个超时定时器，当TCP发出数据报文时，如果之前没有等待ACK的报文则会设置这个连接的定时器，如果之前有等待ACK的报文，则并不会重启RTO定时器。当TCP同时有多个报文发出且没有等到ACK的时候，则会先重传第一个报文，第一个报文重传成功收到ACK后，再设置RTO定时器然后重传第二个报文。由于网络状况可能会受到路由变化、网络负载等因素的影响，因此RTO也必须跟随网络状况动态更新。如果TCP过早重传，则可能会向网络中注入很多重复报文，如果过晚重传，则在丢包时候则会影响滑窗前行可能会降低网络利用率。若RTO发生变化，超时定时器的定时时间也需重新配置，反复配置定时器定时时间会降低TCP工作效率。为此，本申请提供了一种数据处理方法，能够提高传输效率并降低逻辑复杂度。
本发明实施例公开了一种数据处理方法，参见图1所示，该方法包括：
步骤S11：通过时间轮定时器向数据查询模块定时发送出队信号。
本实施例中，通过时间轮定时器向数据查询模块定时发送出队信号。可以理解的是，设置时间轮定时器，基于系统时钟并通过所述时间轮定时器，分频产生各通道的定时入队信号以及出队信号，即时间轮定时器以系统时钟为基础，分频产生各通道的入队/出队定时激励。如图2所示，时间轮定时器向通道ID生成模块发送入队信号，向数据查询模块发送出队信号。时间轮用作定时器触发任务，具有更高效且时间复杂度小的优点。时间轮也分为多层，同样的，只有第一层在运动，第一层走完后第二层走一格，第二层走完后第三层走一格，依次类推。例如图3所示，层级一有4个刻度，层级二有2个刻度，层级三有1个刻度，若层级1每走一个刻度耗时1毫秒，则层级2每走一个刻度耗时4毫秒，层级3每走一个刻度耗时8毫秒。
步骤S12：通过所述数据查询模块基于所述出队信号生成对应的查询请求，并将所述查询请求发送至存储管理模块，以获得待出队数据数量。
本实施例中，通过时间轮定时器向数据查询模块定时发送出队信号之后，通过所述数据查询模块基于所述出队信号生成对应的查询请求，并将所述查询请求发送至存储管理模块，以获得待出队数据数量。具体的，数据查询模块接收到所述出队信号后，获取所述出队信号中的目标通道ID并基于所述目标通道ID生成对应的查询请求，然后将所述查询请求发送至存储管理模块，所述存储管理模块接收到所述查询请求后，根据所述查询请求中的目标通道ID查找到与所述目标通道ID对应且符合出队要求的所述待出队数据数量，然后所述存储管理模块将所述待出队数据数量返回至所述数据查询模块，并且同时所述存储管理模块清零当前统计值，并在当获取到下一个待出队数据时重新开始计数。例如数据查询模块收到通道出队激励(即出队信号)后，向存储管理模块发送查询请求，查询请求中包含通道ID，存储管理模块根据通道ID返回对应的队列数据个数。
步骤S13：利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求。
本实施例中，通过所述数据查询模块基于所述出队信号生成对应的查询请求，并将所述查询请求发送至存储管理模块，获得待出队数据数量之后，利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求。可以理解的是，预先维护的位图表中每个通道ID对应的待出队数量均为0，当数据查询模块接收到所述待出队数据数量之后，会更新所述位图表中同一通道ID对应的待出队数据数量，因此数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求。
步骤S14：通过所述存储管理模块基于所述出队请求完成对应的数据出队操作。
本实施例中，利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求之后，通过所述存储管理模块基于所述出队请求完成对应的数据出队操作。可以理解的是，所述存储管理模块接收到出队请求后，基于所述出队请求中的通道ID以及待出队数据数量从所述存储器中调用对应的数据报文，完成对应的出队操作。本方案设置通道ID生成模块、时间轮定时器、数据查询模块、数据请求模块、存储管理模块、输出缓冲模块，是基于时间轮的数据处理方法。需要指出的是，在数据出队的过程中，不在同一时刻控制两个或多个通道的数据完成出队操作，即在一个时刻只允许执行一个通道中的数据出队操作，同时一个通道中的数据在出队过程中可以批次出队，并且可以按照数据的优先级完成出队操作。
可见，本申请提供了一种数据处理方法，包括：通过时间轮定时器向数据查询模块定时发送出队信号；通过所述数据查询模块基于所述出队信号生成对应的查询请求，并将所述查询请求发送至存储管理模块，以获得待出队数据数量；利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求；通过所述存储管理模块基于所述出队请求完成对应的数据出队操作。由此可见，本申请设置时间轮并与超时重传结合，用时间轮替代现有技术中的定时器，当超时重传时间值有变化时无需重置定时器，提高了传输效率，并且通过时间轮定时查询待出队的数据数量，实现报文的批量出队并降低了逻辑复杂度。
参见图4所示，本发明实施例公开了一种数据处理方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。
步骤S21：通过传输控制协议向通道ID生成模块发送数据报文。
本实施例中，通过传输控制协议向通道ID生成模块发送数据报文。如图2所示，主机通过传输控制协议向通道ID生成模块发送数据报文。
步骤S22：通过所述通道ID生成模块为所述数据报文分配通道ID，以得到当前通道ID。
本实施例中，通道ID生成模块接收到数据报文之后，为所述数据报文分配通道ID，以得到当前通道ID。具体的，获取所述数据报文的超时重传时间以及到达时刻；按照预设分配规则并基于所述超时重传时间以及所述到达时刻，确定与所述数据报文对应的当前通道ID，即通道ID生成模块根据报文RTO和到达时刻，为报文数据分配通道ID。可以理解的是，超时重传时间表示TCP数据报文段发出后，经过RTO的时间没有收到其确认报文，重新发送该报文的时间段。在RTO刷新时，实现报文重传的流水处理，提高数据处理效率。往返时间(RTT，Resent Timeout Tine)表示TCP数据报文段发出到收到该报文的确认报文所经历的时间。超时重传时间由平滑往返时间RTTS(平滑往返时间)和RTT偏差共同决定；平滑往返时间RTTS由新测得的往返时间样本RTT和上一次的平滑往返时间RTTS加权平均决定；RTT偏差由新测得的往返时间样本RTT和上次的RTT偏差以及上次的平滑往返时间RTTS共同决定。
在一种具体的实施方式中，如图5所示，以4层时间轮为例，设置层级1每走一刻度的时间是8ms，则层级2延时至16ms，层级3延时至32ms，层级4延时64ms。设置两组时间轮，两组时间轮相位差设置为4ms。具体的，如图6所示，通道0、2、4、6入队时刻起点和出队时刻由第一组时间轮给出，入队时刻终点由第二组时间轮给出；通道1、3、5、7入队时刻起点和出队时刻由第二组时间轮给出，入队时刻终点由第一组时间轮给出；报文数据根据RTO和当前时刻值确定通道ID，入队对应定时队列，等待出队激励(即出队信号)到达后出队，并完成超时判断。例如，当RTO为4ms时，报文到达时刻在[2，6)ms间，判定该报文入通道0，10ms时出队；报文到达时刻在[6，10)ms之间，判定该报文入通道1，14ms时出队。
步骤S23：基于所述当前通道ID将所述数据报文发送至所述存储管理模块，以便所述存储管理模块将接收到的所述数据报文存储至存储器中对应的存储区域。
本实施例中，通过所述通道ID生成模块为所述数据报文分配通道ID，以得到当前通道ID之后，基于所述当前通道ID将所述数据报文发送至所述存储管理模块，以便所述存储管理模块将接收到的所述数据报文存储至存储器中对应的存储区域。可以理解的是，在所述存储器中存储每个通道ID对应的数据报文。
步骤S24：通过时间轮定时器向数据查询模块定时发送出队信号。
步骤S25：通过所述数据查询模块基于所述出队信号生成对应的查询请求，并将所述查询请求发送至存储管理模块，以获得待出队数据数量。
步骤S26：利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求。
本实施例中，通过所述数据查询模块基于所述出队信号生成对应的查询请求，并将所述查询请求发送至存储管理模块，获得待出队数据数量之后，利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求。可以理解的是，在利用所述待出队数据数量更新位图表中对应的数据之前，维护包含全部所述通道ID以及对应的数据报文数量的所述位图(bitmap)表，并将所述位图表中的信息全部初始化，然后利用所述待出队数据数量更新所述位图表中对应的数据，即在表中刷新各通道可读报文数据个数，以便所述数据请求模块在实时监控到所述位图表中的数据发生变化时，向所述存储管理模块发送包含数据变化的所述通道ID以及对应的所述待出队数据数量的所述出队请求。
可以理解的是，数据请求模块根据bitmap表判断哪一通道有待出队数据，当发现某个通道存在待出队数据时向存储管理模块发送出队请求，请求包含通道ID和出队数据个数。存储管理模块记录各通道的入队报文个数，收到查询请求时，返回被查询通道队列中的报文个数，并清零统计值。
步骤S27：通过所述存储管理模块基于所述出队请求完成对应的数据出队操作。
步骤S28：将所述存储管理模块基于所述出队请求从所述存储器中调用得到的目标数据报文存放于输出缓冲模块。
本实施例中，通过所述存储管理模块基于所述出队请求完成对应的数据出队操作之后，将所述存储管理模块基于所述出队请求从所述存储器中调用得到的目标数据报文存放于输出缓冲模块。可以理解的是，输出缓存模块用于缓存存储器输出的报文数据。
步骤S29：当所述输出缓冲模块中的缓存资源耗尽时，所述输出缓冲模块触发反压机制，向所述数据请求模块发送资源耗尽信息，并停止接收数据报文。
本实施例中，当缓存资源将耗尽时，向前级反压，停止接收报文。具体的，当所述输出缓冲模块中的缓存资源耗尽时，所述输出缓冲模块触发反压机制，向所述数据请求模块发送资源耗尽信息，并停止接收数据报文。
可以理解的是，本方案考虑到RTO是动态变化的，用时间轮代替定时器，将报文数据写入与RTO时长最相近的延时通道，RTO变化时无需重置定时器，提高数据处理效率；定时查询定时队列中的报文数量，实现报文的批量出队，降低逻辑复杂度；结合时间轮的分时特性，实现多路输入到单路输出的调度功能，即配合时间轮定时激励，分时查询各通道队列中的任务数量，在一个出队通道中调度不同定时时长的任务，实现任务分时出队。通过将时间轮与TCP超时重传结合，提高数据链路的传输效率。
关于上述步骤S24、S25、S27的具体内容可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请实施例通过传输控制协议向通道ID生成模块发送数据报文；通过所述通道ID生成模块为所述数据报文分配通道ID，以得到当前通道ID；基于所述当前通道ID将所述数据报文发送至所述存储管理模块，以便所述存储管理模块将接收到的所述数据报文存储至存储器中对应的存储区域；通过时间轮定时器向数据查询模块定时发送出队信号；通过所述数据查询模块基于所述出队信号生成对应的查询请求，并将所述查询请求发送至存储管理模块，以获得待出队数据数量；利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求；通过所述存储管理模块基于所述出队请求完成对应的数据出队操作；将所述存储管理模块基于所述出队请求从所述存储器中调用得到的目标数据报文存放于输出缓冲模块；当所述输出缓冲模块中的缓存资源耗尽时，所述输出缓冲模块触发反压机制，向所述数据请求模块发送资源耗尽信息，并停止接收数据报文，用时间轮替代现有技术中的定时器，当超时重传时无需重置定时器，提高了传输效率，并且通过时间轮定时查询待出队的数据数量，实现报文的批量出队并降低了逻辑复杂度。
参见图7所示，本申请实施例还相应公开了一种数据处理装置，包括：
出队信号发送模块11，用于通过时间轮定时器向数据查询模块定时发送出队信号；
查询请求生成模块12，用于通过所述数据查询模块基于所述出队信号生成对应的查询请求；
数量获取模块13，用于将所述查询请求发送至存储管理模块，以获得待出队数据数量；
出队请求发送模块14，用于利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求；
出队模块15，用于存储管理模块基于所述出队请求完成对应的数据出队操作。
可见，本申请包括：通过时间轮定时器向数据查询模块定时发送出队信号；通过所述数据查询模块基于所述出队信号生成对应的查询请求，并将所述查询请求发送至存储管理模块，以获得待出队数据数量；利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求；通过所述存储管理模块基于所述出队请求完成对应的数据出队操作。由此可见，本申请设置时间轮并与超时重传结合，用时间轮替代现有技术中的定时器，当超时重传时间值有变化时无需重置定时器，提高了传输效率，并且通过时间轮定时查询待出队的数据数量，实现报文的批量出队并降低了逻辑复杂度。
在一些具体实施例中，所述出队信号发送模块11，具体包括：
第一数据报文发送单元，用于通过传输控制协议向通道ID生成模块发送数据报文；
报文信息获取单元，用于获取所述数据报文的超时重传时间以及到达时刻；
当前通道ID确定单元，用于按照预设分配规则并基于所述超时重传时间以及所述到达时刻，确定与所述数据报文对应的当前通道ID；
第二数据报文发送单元，用于基于所述当前通道ID将所述数据报文发送至所述存储管理模块，以便所述存储管理模块将接收到的所述数据报文存储至存储器中对应的存储区域；
信号产生单元，用于基于系统时钟并通过所述时间轮定时器，分频产生各通道的定时入队信号、所述出队信号；
出队信号发送单元，用于通过时间轮定时器向数据查询模块定时发送出队信号。
在一些具体实施例中，所述查询请求生成模块12，具体包括：
目标通道ID获取单元，用于获取所述出队信号中的目标通道ID；
查询请求生成单元，用于基于所述目标通道ID生成对应的所述查询请求。
在一些具体实施例中，所述数量获取模块13，具体包括：
数量获取单元，用于将所述查询请求发送至所述存储管理模块，以便获取所述存储管理模块查找到的与所述目标通道ID对应且符合出队要求的所述待出队数据数量，所述存储管理模块清零当前统计值。
在一些具体实施例中，所述出队请求发送模块14，具体包括：
位图表维护单元，用于维护包含全部所述通道ID以及对应的数据报文数量的所述位图表；
位图表初始化单元，用于将所述位图表中的信息全部初始化；
位图表更新单元，用于利用所述待出队数据数量更新所述位图表中对应的数据，以便所述数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送包含数据变化的所述通道ID以及对应的所述待出队数据数量的所述出队请求。
在一些具体实施例中，所述出队模块15，具体包括：
数据出队单元，用于通过所述存储管理模块基于所述出队请求完成对应的数据出队操作；
目标数据报文存放单元，用于将所述存储管理模块基于所述出队请求从所述存储器中调用得到的目标数据报文存放于输出缓冲模块；
反压机制触发单元，用于当所述输出缓冲模块中的缓存资源耗尽时，所述输出缓冲模块触发反压机制，向所述数据请求模块发送资源耗尽信息，并停止接收数据报文。
进一步的，本申请实施例还提供了一种电子设备。图8是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图8为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的数据处理方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的数据处理方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的数据处理方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种数据处理方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种数据处理方法，其特征在于，包括：
通过时间轮定时器向数据查询模块定时发送出队信号；
通过所述数据查询模块基于所述出队信号生成对应的查询请求，并将所述查询请求发送至存储管理模块，以获得待出队数据数量；
利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求；
通过所述存储管理模块基于所述出队请求完成对应的数据出队操作；
其中，所述通过所述数据查询模块基于所述出队信号生成对应的查询请求，并将所述查询请求发送至存储管理模块，以获得待出队数据数量，包括：
获取所述出队信号中的目标通道ID；
基于所述目标通道ID生成对应的所述查询请求，并将所述查询请求发送至所述存储管理模块，以便获取所述存储管理模块查找到的与所述目标通道ID对应且符合出队要求的所述待出队数据数量，所述存储管理模块清零当前统计值。
2.根据权利要求1所述的数据处理方法，其特征在于，所述通过时间轮定时器向数据查询模块定时发送出队信号之前，还包括：
通过传输控制协议向通道ID生成模块发送数据报文；
通过所述通道ID生成模块为所述数据报文分配通道ID，以得到当前通道ID；
基于所述当前通道ID将所述数据报文发送至所述存储管理模块，以便所述存储管理模块将接收到的所述数据报文存储至存储器中对应的存储区域。
3.根据权利要求2所述的数据处理方法，其特征在于，还包括：
将所述存储管理模块基于所述出队请求从所述存储器中调用得到的目标数据报文存放于输出缓冲模块；
当所述输出缓冲模块中的缓存资源耗尽时，所述输出缓冲模块触发反压机制，向所述数据请求模块发送资源耗尽信息，并停止接收数据报文。
4.根据权利要求2所述的数据处理方法，其特征在于，所述通过所述通道ID生成模块为所述数据报文分配通道ID，以得到当前通道ID，包括：
获取所述数据报文的超时重传时间以及到达时刻；
按照预设分配规则并基于所述超时重传时间以及所述到达时刻，确定与所述数据报文对应的当前通道ID。
5.根据权利要求2所述的数据处理方法，其特征在于，所述利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求之前，还包括：
维护包含全部所述通道ID以及对应的数据报文数量的所述位图表；
将所述位图表中的信息全部初始化；
相应的，利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求，包括：
利用所述待出队数据数量更新所述位图表中对应的数据，以便所述数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送包含数据变化的所述通道ID以及对应的所述待出队数据数量的所述出队请求。
6.根据权利要求1至5任一项所述的数据处理方法，其特征在于，还包括：
基于系统时钟并通过所述时间轮定时器，分频产生各通道的定时入队信号、所述出队信号。
7.一种数据处理装置，其特征在于，包括：
出队信号发送模块，用于通过时间轮定时器向数据查询模块定时发送出队信号；
查询请求生成模块，用于通过所述数据查询模块基于所述出队信号生成对应的查询请求；
数量获取模块，用于将所述查询请求发送至存储管理模块，以获得待出队数据数量；
出队请求发送模块，用于利用所述待出队数据数量更新位图表中对应的数据，以便数据请求模块在监控到所述位图表中的数据发生变化时，向所述存储管理模块发送出队请求；
出队模块，用于存储管理模块基于所述出队请求完成对应的数据出队操作；
其中，所述数据处理装置，包括：
目标通道ID获取单元，用于获取所述出队信号中的目标通道ID；
查询请求生成单元，用于基于所述目标通道ID生成对应的所述查询请求；
数量获取单元，用于将所述查询请求发送至所述存储管理模块，以便获取所述存储管理模块查找到的与所述目标通道ID对应且符合出队要求的所述待出队数据数量，所述存储管理模块清零当前统计值。
8.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至6任一项所述的数据处理方法的步骤。
9.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的数据处理方法。
CN202210988508.1A 2022-08-17 2022-08-17 一种数据处理方法、装置、设备及存储介质 Active CN115378888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210988508.1A CN115378888B (zh) 2022-08-17 2022-08-17 一种数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210988508.1A CN115378888B (zh) 2022-08-17 2022-08-17 一种数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115378888A CN115378888A (zh) 2022-11-22
CN115378888B true CN115378888B (zh) 2023-08-08

Family

ID=84065816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210988508.1A Active CN115378888B (zh) 2022-08-17 2022-08-17 一种数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115378888B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116302455B (zh) * 2023-05-23 2023-09-01 深圳前海环融联易信息科技服务有限公司 定时任务的处理方法及装置、存储介质、计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718479B1 (en) * 2000-09-08 2004-04-06 International Business Machines Corporation Method, system, program, and data structures for managing hierarchical timing wheels
KR20060064528A (ko) * 2004-12-08 2006-06-13 한국전자통신연구원 Ｔｃｐ 프로토콜의 재전송 및 지연확인 타이머 관리 장치및 방법
EP2887595A1 (en) * 2013-12-23 2015-06-24 Rohde & Schwarz GmbH & Co. KG Method and node for retransmitting data packets in a TCP connection
WO2016201904A1 (zh) * 2015-06-16 2016-12-22 中兴通讯股份有限公司 一种基于tcp的数据传输方法及装置
WO2018232194A1 (en) * 2017-06-15 2018-12-20 Hughes Network Systems, Llc System and method of local retransmission of tcp/ip frames
CN109194452A (zh) * 2018-09-04 2019-01-11 京信通信系统（中国）有限公司 数据重传方法、装置、存储介质及其网络设备
WO2021151279A1 (zh) * 2020-06-17 2021-08-05 平安科技（深圳）有限公司 基于边缘计算的云监控方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7024481B2 (en) * 2001-11-01 2006-04-04 Microsoft Corporation Method and framework for processing network communication protocol timers
US7477675B2 (en) * 2004-09-30 2009-01-13 Kyocera Corporation Data communication apparatus
US9495296B2 (en) * 2013-06-12 2016-11-15 Oracle International Corporation Handling memory pressure in an in-database sharded queue
US9767138B2 (en) * 2013-06-12 2017-09-19 Oracle International Corporation In-database sharded queue for a shared-disk database

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718479B1 (en) * 2000-09-08 2004-04-06 International Business Machines Corporation Method, system, program, and data structures for managing hierarchical timing wheels
KR20060064528A (ko) * 2004-12-08 2006-06-13 한국전자통신연구원 Ｔｃｐ 프로토콜의 재전송 및 지연확인 타이머 관리 장치및 방법
EP2887595A1 (en) * 2013-12-23 2015-06-24 Rohde & Schwarz GmbH & Co. KG Method and node for retransmitting data packets in a TCP connection
WO2016201904A1 (zh) * 2015-06-16 2016-12-22 中兴通讯股份有限公司 一种基于tcp的数据传输方法及装置
WO2018232194A1 (en) * 2017-06-15 2018-12-20 Hughes Network Systems, Llc System and method of local retransmission of tcp/ip frames
CN109194452A (zh) * 2018-09-04 2019-01-11 京信通信系统（中国）有限公司 数据重传方法、装置、存储介质及其网络设备
WO2021151279A1 (zh) * 2020-06-17 2021-08-05 平安科技（深圳）有限公司 基于边缘计算的云监控方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩锋.分布式列式内存数据库事务系统的设计与实现.《 《中国优秀硕士学位论文全文数据库 信息科技辑》 》.2022,全文. *

Also Published As

Publication number Publication date
CN115378888A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN110633320B (zh) 分布式数据服务的处理方法、系统、设备及存储介质
CN107391271B (zh) 一种基于消息队列系统的延时任务触发方法和装置
US8176179B2 (en) Method and system for data-structure management
EP0798638B1 (en) Periodic process scheduling method
EP4047882A1 (en) Operation control method and device, household electrical appliance, and storage medium
CN103297395A (zh) 一种互联网业务的实现方法、系统以及装置
CN115378888B (zh) 一种数据处理方法、装置、设备及存储介质
JPH10307767A (ja) メモリ格納タイマを実行する方法およびコンピュータ
US5768572A (en) Timer state control optimized for frequent cancel and reset operations
JP2001517025A (ja) コンピュータ
CN115314540A (zh) 一种请求应答超时的处理方法、装置、设备及介质
US7836325B2 (en) Power consumption reduction and quicker interruption response in an information processing device utilizing a first timer and a second timer wherein the second timer is only conditionally activated
Stamatakis et al. Optimal policies for status update generation in a wireless system with heterogeneous traffic
CN104159316A (zh) 一种lte基站上层多用户的调度方法
JPH09319597A (ja) 周期的プロセスのスケジューリング方法
CN115756770A (zh) 请求操作调度执行方法和远程过程调用系统
Chen et al. Petri net modeling of the reconfigurable protocol stack for cloud computing control systems
CN113687962A (zh) 一种请求处理方法、装置、设备及存储介质
Balasubramanian et al. Auto-tuned publisher in a pub/sub system: Design and performance evaluation
US8397099B2 (en) Using pulses to control work ingress
US11586632B2 (en) Dynamic transaction coalescing
TWI813482B (zh) 測速方法及測速系統
Baumgartner et al. Implementation ofan efficient load balancing strategy for a local
WO2023123377A1 (zh) 一种调度网络流量的方法、装置以及系统
US6952826B1 (en) Method for implementing a multi-level system model for deterministically handling selected data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant