CN110636013B - 一种消息队列的动态调度方法及装置 - Google Patents

一种消息队列的动态调度方法及装置 Download PDF

Info

Publication number
CN110636013B
CN110636013B CN201910938392.9A CN201910938392A CN110636013B CN 110636013 B CN110636013 B CN 110636013B CN 201910938392 A CN201910938392 A CN 201910938392A CN 110636013 B CN110636013 B CN 110636013B
Authority
CN
China
Prior art keywords
message
messages
groups
module
queues
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910938392.9A
Other languages
English (en)
Other versions
CN110636013A (zh
Inventor
张彩霞
曾平
王向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Internet Service Co ltd
Ourchem Information Consulting Co ltd
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN201910938392.9A priority Critical patent/CN110636013B/zh
Publication of CN110636013A publication Critical patent/CN110636013A/zh
Application granted granted Critical
Publication of CN110636013B publication Critical patent/CN110636013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/58—Changing or combining different scheduling modes, e.g. multimode scheduling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/62—Queue scheduling characterised by scheduling criteria
    • H04L47/6295—Queue scheduling characterised by scheduling criteria using multiple queues, one for each individual QoS, connection, flow or priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)

Abstract

本发明涉及物联网通信技术领域，具体涉及一种消息队列的动态调度方法及装置，首先建立多组消息队列，按QoS级别对所述多组消息队列进行排序，并生成排序列表，接着获取报文的QoS级别，根据所述报文的QoS级别确定其所属的消息队列，进而对同一消息队列中的报文按时间顺序进行排序，并根据剩余空间对多组所述消息队列进行处理，本发明提高了数据处理的时效性。

Description

一种消息队列的动态调度方法及装置
技术领域
本发明涉及物联网通信技术领域，具体涉及一种消息队列的动态调度方法及装置。
背景技术
随着物联网技术在工业生产自动化领域的发展，对工业设备的实时监测变得日益普及，这就需要服务器同时处理大量传感器触发的独立访问请求，而由此产生的大量高并发数据带来了存储和处理上的难题。
在自动化生产领域中，传感器采集的数据作为自动控制的依据，对其数据的服务质量(QoS，Quality of Service)要求越来越高，对QoS需要支持的队列数、带宽和报文存储时间也提出了更高的要求，随着对数据处理的实时性要求越来越高，对队列管理单元(QM，Queue Manager)的性能要求也越来越高。
因此，如何对大量高并发的数据进行合理调度，从而提高数据处理的时效性成为本领域技术人员亟待解决的问题。
发明内容
本发明的目的在于提供一种消息队列的动态调度方法及装置，旨在提高数据处理的时效性。
为了实现上述目的，本发明提供以下技术方案：
一种消息队列的动态调度方法，包括：
建立多组消息队列，按QoS级别对所述多组消息队列进行排序，并生成排序列表；
获取报文的QoS级别，根据所述报文的QoS级别确定其所属的消息队列；
对同一消息队列中的报文按时间顺序进行排序；
根据剩余空间对多组所述消息队列进行处理。
进一步，当剩余空间不足时，按顺序对多组所述消息队列执行处理，直到每组所述消息队列中所有消息被成功处理。
进一步，当剩余空间足够时，对多组所述消息队列进行并行处理，直到每组所述消息队列中所有消息被成功处理。
进一步，所述方法还包括：
根据处理结果记录消息的消息状态和重试次数，所述处理结果包括初始状态、成功、异常；
按排序列表中的顺序识别消息队列的处理结果，将处理结果为异常的消息作为异常消息；
获取所述异常消息的重处理次数，按所述重处理次数降低所述异常消息在排序列表中的排序，并更新排序列表。
进一步，当所述重试次数超过设定阈值时，则丢弃对应的异常消息。
一种消息队列的动态调度装置，所述装置包括：
队列排序模块，用于建立多组消息队列，按QoS级别对所述多组消息队列进行排序，并生成排序列表；
级别确定模块，用于获取报文的QoS级别，根据所述报文的QoS级别确定其所属的消息队列；
报文排序模块，用于对同一消息队列中的报文按时间顺序进行排序；
消息队处理模块，用于根据剩余空间对多组所述消息队列进行处理。
进一步，所述报文排序模块用于：当剩余空间不足时，按顺序对多组所述消息队列执行处理，直到每组所述消息队列中所有消息被成功处理。
进一步，所述报文排序模块用于：当剩余空间足够时，对多组所述消息队列进行并行处理，直到每组所述消息队列中所有消息被成功处理。
进一步，所述装置还包括排序更新模块，所述排序更新模块包括：
记录模块，用于根据处理结果记录消息的消息状态和重试次数，所述处理结果包括初始状态、成功、异常；
识别模块，用于按排序列表中的顺序识别消息队列的处理结果，将处理结果为异常的消息作为异常消息；
重排序模块，用于获取所述异常消息的重处理次数，按所述重处理次数降低所述异常消息在排序列表中的排序。
进一步，所述重排序模块还用于：当所述重试次数超过设定阈值时，则丢弃对应的异常消息。
本发明的有益效果是：本发明公开一种消息队列的动态调度方法及装置，首先建立多组消息队列，按QoS级别对所述多组消息队列进行排序，并生成排序列表，接着获取报文的QoS级别，根据所述报文的QoS级别确定其所属的消息队列，进而对同一消息队列中的报文按时间顺序进行排序，并根据剩余空间对多组所述消息队列进行处理。本发明提高了数据处理的时效性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一种消息队列的动态调度方法的流程示意图；
图2是本发明实施例步骤S400的流程示意图；
图3是本发明实施例步骤S400之后的流程示意图；
图4是本发明实施例一种消息队列的动态调度装置的结构示意图；
图5是本发明实施例排序更新模块的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所以其他实施例，都属于本发明的保护范围。
参考图1，图1为本发明实施例提供的一种消息队列的动态调度方法，包括以下步骤：
步骤S100、建立多组消息队列，按QoS级别对所述多组消息队列进行排序，并生成排序列表；
步骤S200、获取报文的QoS级别，根据所述报文的QoS级别确定其所属的消息队列；
步骤S300、对同一消息队列中的报文按时间顺序进行排序；
步骤S400、根据剩余空间对多组所述消息队列进行处理。
本实施例所述的QoS(Quality of Service，服务质量)指一个网络能够利用各种基础技术，为指定的网络通信提供更好的服务能力，是网络的一种安全机制，是用来解决网络延迟和阻塞等问题的一种技术。QoS的保证对于容量有限的网络来说是十分重要的，例如本公开中的自动化生产领域，因为要实现自动化生产控制常常需要固定的传输率，对延时也比较敏感。
当网络发生拥塞的时候，所有的数据流都有可能被丢弃；为满足用户对不同应用不同服务质量的要求，就需要网络能根据用户的要求分配和调度资源，对不同的数据流提供不同的服务质量；对实时性强且重要的数据报文优先处理，对于实时性不强的普通数据报文，提供较低的处理优先级，网络拥塞时甚至丢弃。QoS应运而生。支持QoS功能的设备，能够提供传输品质服务；针对各种类别的数据流，可以赋予相应级别的传输优先级，来标识各自的相对重要性，并使用设备所提供的各种优先级转发策略、拥塞避免等机制为这些数据流提供特殊的传输服务。配置了QoS的网络环境，增加了网络性能的可预知性，并能够有效地分配网络带宽，更加合理地利用网络资源。在本实施例中提供的QOS服务为三种级别，分别为：尽力转发型、区分服务型、和确认服务型。
本公开提供的实施例首先建立多组消息队列，按QoS级别对所述多组消息队列进行排序，并生成排序列表，初步对消息队列按优先级进行排序，进而获取报文的QoS级别，根据所述报文的QoS级别确定其所属的消息队列，对按QoS级别对报文进行归类，并进一步对同一消息队列中的报文按时间顺序进行排序，从而形成了整个消息队列的调度顺序；最后，根据剩余空间对多组所述消息队列进行处理，本领域技术人员清楚，所述剩余空间，是指空闲的网络容量。将剩余空间作为处理顺序的判断依据，从而在多个流程上提高了数据处理的时效性。
参考图2，作为本实施例的进一步改进，所述步骤S400包括以下步骤：
步骤S410、获取剩余空间。
步骤S420、判断剩余空间是否达到阈值，若是，执行步骤S430，若否，执行步骤S440；
步骤S430、对多组所述消息队列进行并行处理，直到每组所述消息队列中所有消息被成功处理。
通过对多组所述消息队列进行并行处理，有效利用剩余空间的处理能力，提高数据处理的时效性。
步骤S440、按顺序对多组所述消息队列执行处理，直到每组所述消息队列中所有消息被成功处理。
上述技术方案中，调度器按照优先级调度策略决定哪个调度队列中的访问请求得到访问存储空间的访问授权。但是采用该调度方式，当高优先访问请求的数据发生异常的情况下，依然会继续对其进行处理，导致低优先级访问请求的数据因为优先级较低而无法被处理，从而易产生调度原因造成的访问请求阻塞，最终影响存储系统的整体性能。
参考图3，作为上述实施例的进一步改进，所述步骤S400之后，还包括以下步骤：
步骤S510、根据处理结果记录消息的消息状态和重试次数。其中，所述处理结果包括初始状态、成功、异常。
步骤S520、按排序列表中的顺序识别消息队列的处理结果，将处理结果为异常的消息作为异常消息；
步骤S530、获取所述异常消息的重处理次数，按所述重处理次数降低所述异常消息在排序列表中的排序，并更新排序列表。
相应的，在步骤S530之后，跳转到步骤S100。
本实施例可以避免低优先级访问请求的数据因为优先级较低而无法被处理，以及由此产生的访问请求阻塞，最终保证数据处理的时效性。
作为上述实施例的进一步改进，当所述重试次数超过设定阈值时，则丢弃对应的异常消息。
参考图4，本实施例还提供一种消息队列的动态调度装置，所述装置包括：
队列排序模块100，用于建立多组消息队列，按QoS级别对所述多组消息队列进行排序，并生成排序列表；
级别确定模块200，用于获取报文的QoS级别，根据所述报文的QoS级别确定其所属的消息队列；
报文排序模块300，用于对同一消息队列中的报文按时间顺序进行排序；
消息队处理模块400，用于根据剩余空间对多组所述消息队列进行处理。
作为上述实施例的进一步改进，所述消息队处理模块400用于：当剩余空间不足时，按顺序对多组所述消息队列执行处理，直到每组所述消息队列中所有消息被成功处理。
作为上述实施例的进一步改进，所述消息队处理模块400用于：当剩余空间足够时，对多组所述消息队列进行并行处理，直到每组所述消息队列中所有消息被成功处理。
参考图5，作为上述实施例的进一步改进，还包括排序更新模块，所述排序更新模块包括：
记录模块510，用于根据处理结果记录消息的消息状态和重试次数，所述处理结果包括初始状态、成功、异常；
识别模块520，用于按排序列表中的顺序识别消息队列的处理结果，将处理结果为异常的消息作为异常消息；
重排序模块530，用于获取所述异常消息的重处理次数，按所述重处理次数降低所述异常消息在排序列表中的排序。
在一个实施例中，所述重排序模块还用于：当所述重试次数超过设定阈值时，则丢弃对应的异常消息。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是计算机，服务器等)执行本发明各个实施例所述的方法。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本公开的预定范围。

Claims (4)

1.一种消息队列的动态调度方法，其特征在于，包括：
建立多组消息队列，按QoS级别对所述多组消息队列进行排序，并生成排序列表；
获取报文的QoS级别，根据所述报文的QoS级别确定其所属的消息队列；
对同一消息队列中的报文按时间顺序进行排序；
根据剩余空间对多组所述消息队列进行处理；
其中，当剩余空间不足时，按顺序对多组所述消息队列执行处理，直到每组所述消息队列中所有消息被成功处理；
当剩余空间足够时，对多组所述消息队列进行并行处理，直到每组所述消息队列中所有消息被成功处理；
还包括：
根据处理结果记录消息的消息状态和重试次数，所述处理结果包括初始状态、成功、异常；
按排序列表中的顺序识别消息队列的处理结果，将处理结果为异常的消息作为异常消息；
获取所述异常消息的重处理次数，按所述重处理次数降低所述异常消息在排序列表中的排序，并更新排序列表。
2.根据权利要求1所述的一种消息队列的动态调度方法，其特征在于，当所述重试次数超过设定阈值时，则丢弃对应的异常消息。
3.一种消息队列的动态调度装置，其特征在于，所述装置包括：
队列排序模块，用于建立多组消息队列，按QoS级别对所述多组消息队列进行排序，并生成排序列表；
级别确定模块，用于获取报文的QoS级别，根据所述报文的QoS级别确定其所属的消息队列；
报文排序模块，用于对同一消息队列中的报文按时间顺序进行排序；
消息队处理模块，用于根据剩余空间对多组所述消息队列进行处理；
其中，所述报文排序模块用于：当剩余空间不足时，按顺序对多组所述消息队列执行处理，直到每组所述消息队列中所有消息被成功处理；
当剩余空间足够时，对多组所述消息队列进行并行处理，直到每组所述消息队列中所有消息被成功处理；
还包括排序更新模块，所述排序更新模块包括：
记录模块，用于根据处理结果记录消息的消息状态和重试次数，所述处理结果包括初始状态、成功、异常；
识别模块，用于按排序列表中的顺序识别消息队列的处理结果，将处理结果为异常的消息作为异常消息；
重排序模块，用于获取所述异常消息的重处理次数，按所述重处理次数降低所述异常消息在排序列表中的排序。
4.根据权利要求3所述的一种消息队列的动态调度装置，其特征在于，所述重排序模块还用于：当所述重试次数超过设定阈值时，则丢弃对应的异常消息。
CN201910938392.9A 2019-09-30 2019-09-30 一种消息队列的动态调度方法及装置 Active CN110636013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910938392.9A CN110636013B (zh) 2019-09-30 2019-09-30 一种消息队列的动态调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910938392.9A CN110636013B (zh) 2019-09-30 2019-09-30 一种消息队列的动态调度方法及装置

Publications (2)

Publication Number Publication Date
CN110636013A CN110636013A (zh) 2019-12-31
CN110636013B true CN110636013B (zh) 2022-08-16

Family

ID=68973845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910938392.9A Active CN110636013B (zh) 2019-09-30 2019-09-30 一种消息队列的动态调度方法及装置

Country Status (1)

Country Link
CN (1) CN110636013B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117240903B (zh) * 2023-10-17 2024-02-23 苏州庚商教育智能科技有限公司 一种物联网脱机消息动态管理配置系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101014A (zh) * 2016-06-03 2016-11-09 广东睿江云计算股份有限公司 一种基于QoS的云主机通信队列保障方法及系统
CN106941461A (zh) * 2017-02-23 2017-07-11 江苏徐工信息技术股份有限公司 一种利用消息队列优化服务器处理请求的方法
CN110290554A (zh) * 2019-06-28 2019-09-27 京信通信系统（中国）有限公司 数据传输处理方法、装置和通信设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885533B2 (en) * 2011-07-13 2014-11-11 Zte Corporation Enhancement of slotted mode operation for wireless communication
US20160323189A1 (en) * 2013-10-28 2016-11-03 Kt Corporation Method for controlling qos by handling traffic depending on service

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101014A (zh) * 2016-06-03 2016-11-09 广东睿江云计算股份有限公司 一种基于QoS的云主机通信队列保障方法及系统
CN106941461A (zh) * 2017-02-23 2017-07-11 江苏徐工信息技术股份有限公司 一种利用消息队列优化服务器处理请求的方法
CN110290554A (zh) * 2019-06-28 2019-09-27 京信通信系统（中国）有限公司 数据传输处理方法、装置和通信设备

Also Published As

Publication number Publication date
CN110636013A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
JP7060724B2 (ja) タスクスケジューリング方法、リソース共有使用方法、スケジューラ、コンピュータ可読記憶媒体および装置
US8484348B2 (en) Method and apparatus for facilitating fulfillment of web-service requests on a communication network
CN101547159B (zh) 一种避免网络拥塞的方法和设备
EP2234342A1 (en) Method, system and device for transmitting packet messages
CN104426799A (zh) 通信量和负载感知动态队列管理
US10944683B1 (en) Hybrid queue system for request throttling
CN112968845B (zh) 一种带宽管理方法、装置、设备及机器可读存储介质
EP3932025A1 (en) Computing resource scheduling method, scheduler, internet of things system, and computer readable medium
CN118102318B (zh) 一种基于5g技术的数据传输系统
CN113347111A (zh) 基于用户体验的流量调整方法及管理系统
CN108243506B (zh) Lte系统中的业务调度方法及装置
CN110636013B (zh) 一种消息队列的动态调度方法及装置
US12052607B2 (en) Communication apparatus, communication method, and program
CN117499258A (zh) 业务数据网络传输管理方法及dpu
CN106936644A (zh) 一种配电网业务处理方法及系统
US20100218191A1 (en) Apparatus and Method for Processing Management Requests
US10862820B2 (en) Method for prioritizing network packets at high bandwidth speeds
CN115774614A (zh) 资源调控方法、终端及存储介质
CN113596146A (zh) 一种基于大数据的资源调度的方法及装置
CN116095175B (zh) 一种用于电网边缘计算系统的数据流调度方法及装置
EP4068863A1 (en) Method and system for providing an optimal network slice in a 5g core network
US12135996B2 (en) Computing resource scheduling method, scheduler, internet of things system, and computer readable medium
JP7384214B2 (ja) 解析処理装置、システム、方法及びプログラム
WO2024166537A1 (ja) 品質評価プログラム、品質評価方法および品質評価装置
Saibharath et al. QoS driven task offloading and resource allocation at edge servers in RAN slicing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221227

Address after: Room 301, No. 235, Kexue Avenue, Huangpu District, Guangzhou, Guangdong 510000

Patentee after: OURCHEM INFORMATION CONSULTING CO.,LTD.

Address before: No.33 Guangyun Road, Shishan town, Nanhai District, Foshan City, Guangdong Province

Patentee before: FOSHAN University

Effective date of registration: 20221227

Address after: 510000 room 606-609, compound office complex building, No. 757, Dongfeng East Road, Yuexiu District, Guangzhou City, Guangdong Province (not for plant use)

Patentee after: China Southern Power Grid Internet Service Co.,Ltd.

Address before: Room 301, No. 235, Kexue Avenue, Huangpu District, Guangzhou, Guangdong 510000

Patentee before: OURCHEM INFORMATION CONSULTING CO.,LTD.

TR01 Transfer of patent right