CN107766160A - 队列消息处理方法及终端设备 - Google Patents

队列消息处理方法及终端设备 Download PDF

Info

Publication number
CN107766160A
CN107766160A CN201710879900.1A CN201710879900A CN107766160A CN 107766160 A CN107766160 A CN 107766160A CN 201710879900 A CN201710879900 A CN 201710879900A CN 107766160 A CN107766160 A CN 107766160A
Authority
CN
China
Prior art keywords
queue
message
operation queue
untreated
current limit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710879900.1A
Other languages
English (en)
Other versions
CN107766160B (zh
Inventor
李斌
丁明珠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201710879900.1A priority Critical patent/CN107766160B/zh
Priority to PCT/CN2017/108623 priority patent/WO2019061647A1/zh
Publication of CN107766160A publication Critical patent/CN107766160A/zh
Application granted granted Critical
Publication of CN107766160B publication Critical patent/CN107766160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明适用于数据处理技术领域，提供了队列消息处理方法及终端设备。该方法包括：设置运行队列和等待队列；获取运行队列中的未处理消息，根据运行队列中的未处理消息计算运行队列的当前负载度；根据运行队列的当前负载度判断运行队列中的未处理消息是否超过运行队列的当前限度；在运行队列中的未处理消息未超过运行队列的当前限度时，将等待入列的队列消息存储至运行队列中；在运行队列中未处理消息超过运行队列的当前限度时，将等待入列的队列消息存储至等待队列中。上述队列消息处理方法及终端设备，能够提高消息的实时性，淘汰时间较久的数据，提高消息传输的效率。

Description

队列消息处理方法及终端设备
技术领域
本发明属于数据处理技术领域，尤其涉及队列消息处理方法及终端设备。
背景技术
消息队列用于在消息的传输过程中保存消息，传统的消息队列采用“先进先出”或“后进先出”的方式实现消息的入列和出列。而对于大量的消息需要传输处理时，传统的消息队列由于需要周期性等待查询队列的状态，因此导致效率较低，消息转发的实时性较差。
发明内容
有鉴于此，本发明实施例提供了队列消息处理方法及终端设备，以解决现有技术中由于需要周期性等待查询队列的状态导致效率较低、实时性较差的问题。
本发明实施例的第一方面提供了一种队列消息处理方法，包括：
设置运行队列和等待队列，所述运行队列基于分布式文档存储数据库的固定集合构建，所述等待队列基于分布式文档存储数据库的无界集合构建；
获取运行队列中的未处理消息，根据所述运行队列中的未处理消息计算所述运行队列的当前负载度，所述运行队列基于分布式文档存储数据库的固定集合构建；
根据所述运行队列的当前负载度判断所述运行队列中的未处理消息是否超过所述运行队列的当前限度；
在所述运行队列中的未处理消息未超过所述运行队列的当前限度时，将等待入列的队列消息存储至所述运行队列中；其中，将等待入列的队列消息存储至所述运行队列中后，所述运行队列的当前负载度增加；
在所述运行队列中未处理消息超过所述运行队列的当前限度时，将等待入列的队列消息存储至等待队列中；所述等待队列基于分布式文档存储数据库的无界集合构建。
可选的，所述根据所述运行队列中的未处理消息计算运行队列的当前负载度为：
根据预设负载和所述未处理消息占用的负载，计算所述运行队列的当前负载度。
可选的，所述根据所述队列的当前负载度判断所述运行队列中的未处理消息是否超过所述运行队列的当前限度为：
计算其中A为所述运行队列可容纳的消息容量，B为预设的平均消息大小，C为预设的负载度比例阀值
在大于所述运行队列的当前负载度时，判定所述运行队列中的未处理消息超过所述运行队列的当前限度；
在小于等于所述运行队列的当前负载度时，判定所述运行队列中的未处理消息未超过所述运行队列的当前限度。
可选的，所述队列消息处理方法还包括：
在所述运行队列中未处理消息未超过所述运行队列的当前限度且所述等待队列中存在队列消息时，将所述等待队列中的队列消息存储至所述运行队列中。
可选的，所述队列消息处理方法还包括：
监测所述队列消息在所述运行队列中的时间、所述队列消息的入队耗时信息、所述队列消息的出队耗时信息和所述队列消息的大小，并生成日志文件进行存储。
本发明实施例的第二方面提供了一种队列消息处理终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
设置运行队列和等待队列，所述运行队列基于分布式文档存储数据库的固定集合构建，所述等待队列基于分布式文档存储数据库的无界集合构建；
获取运行队列中的未处理消息，根据所述运行队列中的未处理消息计算所述运行队列的当前负载度，所述运行队列基于分布式文档存储数据库的固定集合构建；
根据所述运行队列的当前负载度判断所述运行队列中的未处理消息是否超过所述运行队列的当前限度；
在所述运行队列中的未处理消息未超过所述运行队列的当前限度时，将等待入列的队列消息存储至所述运行队列中；其中，将等待入列的队列消息存储至所述运行队列中后，所述运行队列的当前负载度增加；
在所述运行队列中未处理消息超过所述运行队列的当前限度时，将等待入列的队列消息存储至等待队列中；所述等待队列基于分布式文档存储数据库的无界集合构建。
可选的，所述根据所述运行队列中的未处理消息计算运行队列的当前负载度为：
根据预设负载和所述未处理消息占用的负载，计算所述运行队列的当前负载度。
可选的，所述根据所述队列的当前负载度判断所述运行队列中的未处理消息是否超过所述运行队列的当前限度为：
计算其中A为所述运行队列可容纳的消息容量，B为预设的平均消息大小，C为预设的负载度比例阀值
在大于所述运行队列的当前负载度时，判定所述运行队列中的未处理消息超过所述运行队列的当前限度；
在小于等于所述运行队列的当前负载度时，判定所述运行队列中的未处理消息未超过所述运行队列的当前限度。
可选的，所述处理器执行所述计算机程序时还实现如下步骤：
在所述运行队列中未处理消息未超过所述运行队列的当前限度且所述等待队列中存在队列消息时，将所述等待队列中的队列消息存储至所述运行队列中。
可选的，所述处理器执行所述计算机程序时还实现如下步骤：
监测所述队列消息在所述运行队列中的时间、所述队列消息的入队耗时信息、所述队列消息的出队耗时信息和所述队列消息的大小，并生成日志文件进行存储。
本发明实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述队列消息处理方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例，获取运行队列中的未处理消息，根据所述运行队列中的未处理消息计算所述运行队列的当前负载度，在所述运行队列中的未处理消息未超过所述运行队列的当前限度时，将等待入列的队列消息存储至所述运行队列中，在所述运行队列中未处理消息超过所述运行队列的当前限度时，将等待入列的队列消息存储至等待队列中，通过设置运行队列和等待队列引入“生产者-消费者”模型，当队列消息无法入列时，先暂存至等待队列，而运行队列基于分布式文档存储数据库的固定集合构建，能够实现高效的查询、更新，从而能够提高消息的实时性，淘汰时间最久的数据，提高消息传输的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的队列消息处理方法的实现流程图；
图2是本发明实施例提供的运行队列的结构示意图；
图3是图1中步骤S103的实现流程图；
图4是本发明实施例提供的队列消息处理程序的运行环境示意图；
图5是本发明实施例提供的队列消息处理程序的功能模块图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一
图1示出了本发明实施例一提供的队列消息处理方法的实现流程，详述如下：
步骤S101，设置运行队列和等待队列，所述运行队列基于分布式文档存储数据库的固定集合构建，所述等待队列基于分布式文档存储数据库的无界集合构建。
本实施例中，通过MONGODB(分布式文档存储数据库)的固定集合构建运行队列。如图2所示，所述运行队列为环形队列，当环形队列的空间用完后，再插入的队列消息就会覆盖最初始的队列消息。图2中，所述运行队列的第一个队列消息对应的数值为5，第二个队列消息对应的数值为-3，第三个队列消息对应的数值为17，第四个队列消息对应的数值为-9，第N个队列消息对应的数值为56，N为正整数。另外，对等待队列的结构不做限制。
其中，设置运行队列和等待队列两种队列能够方便对后续信息的处理，具体参照后续步骤的相关内容。
步骤S102，获取运行队列中的未处理消息，根据所述运行队列中的未处理消息计算所述运行队列的当前负载度。
作为一种可实施方式，步骤S102中的所述根据所述运行队列中的未处理消息计算所述运行队列的当前负载度具体可以为：根据预设负载和所述未处理消息占用的负载，计算所述运行队列的当前负载度。
具体的，在队列系统启动阶段，会预先对运行队列的预设负载进行设置，对运行队列的当前负载度进行计算。系统启动阶段或运行阶段预先增加或减少负载度，一方面可用于分布式文档存储数据库的MQ服务启动后的可用性验证，另一方面也可防止不可预知的特殊原因导致的负载度计算异常，因此增加或减少负载度可让系统进行适度的自我微调。
可以理解的，在消息入队时，运行队列的当前负载度会相应的增加，例如，在原值的基础上加1；在消息出队时，运行队列的当前负载度将相应的降低，例如，在原值的基础上减1。在运行队列的当前负载度小于或等于零时，将不会向分布式文档存储数据库提交查询请求，以节约资源。
在步骤S102之前，还可以包括：启动分布式文档存储数据库的MQ服务，包括参数加载、参数刷新和任务重调，其中具体的参数可以包括：队列消息长度上限、队列消息容量、消息出队任务线程数、出队任务首次延迟、出队任务执行周期、悲观出队持续时间、负载度比例阈值、入队时间上限、出队时间上限、是否开启监控等。
本实施例中，参数信息可以存储于关系型数据库ORACLE中，每隔固定时间，根据表中记录的更新时间和更新人字段来计算当前配置信息记录的版本，一旦发现版本发生变化，将会重载参数以保证参数得到线程安全的刷新。
步骤S103，根据所述运行队列的当前负载度判断所述运行队列中的未处理消息是否超过所述运行队列的当前限度。
可以理解的，由于基于分布式文档存储数据库的固定集合构建运行队列，先入列的消息可能会被覆盖，所以为了防止后入列的消息覆盖未被处理的消息，所以在入列前需要判断所述运行队列中是否存在过多的消息未被处理。
参见图3，步骤S103可以通过以下过程实现：
步骤S301，计算其中A为所述运行队列可容纳的消息容量，B为预设的平均消息大小，C为预设的负载度比例阀值。
其中，所述平均消息大小根据mongo的集合的统计信息得出，而在无数据的情况下，所述平均消息大小等于队列消息长度上限。所述预设的负载度比例阀值具体可以根据实际情况或经验或实验数据进行设置，对此不做限定。
步骤S302，判定是否大于所述运行队列的当前负载度。
具体的，若是否大于所述运行队列的当前负载度，则执行步骤S303；若是否大于所述运行队列的当前负载度，则执行步骤S304。
步骤S304，判定所述运行队列中的未处理消息超过所述运行队列的当前限度。
其中，超过所述运行队列的当前限度表示所述运行队列中的未处理消息过多，超出了所述运行队列的可承受限度。
步骤S305，判定所述运行队列中的未处理消息未超过所述运行队列的当前限度。
其中，未超过所述运行队列的当前限度表示所述运行队列中的未处理消息还未达到限度，等待入列的队列消息还可继续存储至所述运行队列中。
步骤S104，在所述运行队列中的未处理消息未超过所述运行队列的当前限度时，将等待入列的队列消息存储至所述运行队列中。
其中，将等待入列的队列消息存储至所述运行队列中后，所述运行队列的当前负载度增加。具体的，可以增加预设数值，例如1；也可以根据入列的队列消息增加对应的数值，例如与队列消息的大小、长度等相关的数值。
步骤S105，在所述运行队列中未处理消息超过所述运行队列的当前限度时，将等待入列的队列消息存储至等待队列中。
其中，通过设置运行队列和等待队列引入“生产者-消费者”模型，当队列消息无法入列时，先将队列消息暂存至等待队列，然后可以在运行队列的负载度较低时，优先将暂存在等待队列中的队列消息入列。
可选的，上述队列消息处理方法还可以包括：
在所述运行队列中未处理消息未超过所述运行队列的当前限度且所述等待队列中存在队列消息时，将所述等待队列中的队列消息存储至所述运行队列中。
具体的，在所述运行队列中未处理消息未超过所述运行队列的当前限度且所述等待队列中存在队列消息时，由于所述等待队列中的队列消息相对等待时间较长，因此可以优先将在所述等待队列中存储的队列信息入列，存储至所述运行队列中进行调用等操作。
可选的，上述队列消息处理方法还可以包括：
监测所述队列消息在所述运行队列中的时间、所述队列消息的入队耗时信息、所述队列消息的出队耗时信息和所述队列消息的大小，并生成日志文件进行存储。
其中，所述日志文件中包括场景/事件ID、业务关联的MQ流水号、主机名、开始时间、结束时间、当前时间以及当前负载度等信息中的一种信息或多种信息，因此根据该日志文件能够及时根据日志文件推断出发生问题的业务场景及评估该问题对目前系统业务功能的影响范围。
对于队列消息大小的监测，主要为防止个别队列消息数据量巨大，造成出入队缓慢。可以预设队列消息的大小上限，对于超出上限的队列消息将拒绝处理，以保障系统的稳定性。对于队列消息在所述运行队列中的时间的监测，能够及时发现位于运行队列中且长期未处理的队列消息，从而对该队列消息进行相应的处理。
另外，采用分布式文档存储数据库的save和findAndModify操作实现队列消息的入列和出列。为了提升系统性能，分布式文档存储数据库的save和findAndModify还可实现批量入队和出队。
以下对队列消息的入列过程进行进一步的说明。
接收队列消息的入列请求。
根据预设负载和运行队列中未处理消息占用的负载，计算运行队列的当前负载度。
根据运行队列的当前负载度判断运行队列中的未处理消息是否超过运行队列的当前限度。
在运行队列中的未处理消息未超过运行队列的当前限度时，对该等待入列的队列消息执行入列操作，存储至运行队列中。将等待入列的队列消息存储至运行队列中后，运行队列的当前负载度增加1。
在运行队列中未处理消息超过运行队列的当前限度时，将等待入列的队列消息存储至等待队列中。
监测队列消息的入队耗时信息和队列消息的大小，并生成日志文件进行存储。
另外，在运行队列中的未处理消息未超过运行队列的当前限度，且等待队列中存在队列消息时，对等待队列中的队列消息执行入列操作，存储至运行队列中。也可以定时批量将等待队列中的队列消息尝试放入运行队列中。
另外，在运行队列的当前负载度大于零时，位于运行队列中的队列即可以出列。同时，监测队列消息的出队耗时信息和队列消息在运行队列中的时间，并生成日志文件进行存储。
上述队列消息处理方法，获取运行队列中的未处理消息，根据所述运行队列中的未处理消息计算所述运行队列的当前负载度，在所述运行队列中的未处理消息未超过所述运行队列的当前限度时，将等待入列的队列消息存储至所述运行队列中，在所述运行队列中未处理消息超过所述运行队列的当前限度时，将等待入列的队列消息存储至等待队列中，通过设置运行队列和等待队列引入“生产者-消费者”模型，当队列消息无法入列时，先暂存至等待队列，而运行队列基于分布式文档存储数据库的固定集合构建，能够实现高效的查询、更新，从而能够提高消息的实时性，淘汰时间最久的数据，提高消息传输的效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
实施例二
对应于上文实施例一所述的队列消息处理方法，图4示出了本发明实施例提供的队列消息处理程序的运行环境示意图。为了便于说明，仅示出了与本实施例相关的部分。
在本实施例中，所述的队列消息处理程序400安装并运行于终端设备40中。该终端设备40可以是移动终端、掌上电脑、服务器等。该终端设备40可包括，但不仅限于，存储器401和处理器402。图4仅示出了具有组件401-402的终端设备40，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器401在一些实施例中可以是所述终端设备40的内部存储单元，例如该终端设备40的硬盘或内存。所述存储器401在另一些实施例中也可以是所述终端设备40的外部存储设备，例如所述终端设备40上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器401还可以既包括所述终端设备40的内部存储单元也包括外部存储设备。所述存储器401用于存储安装于所述终端设备40的应用软件及各类数据，例如所述队列消息处理程序400的程序代码等。所述存储器401还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器402在一些实施例中可以是一中央处理器(Central ProcessingUnit，CPU)，微处理器或其他数据处理芯片，用于运行所述存储器401中存储的程序代码或处理数据，例如执行所述队列消息处理程序400等。
可选的，终端设备40还可以包括显示器。所述显示器在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器用于显示在所述终端设备40中处理的信息以及用于显示可视化的用户界面，例如应用菜单界面、应用图标界面等。所述终端设备40的部件401-402通过系统总线相互通信。
请参阅图5，是本发明实施例提供的队列消息处理程序400的功能模块图。在本实施例中，所述的队列消息处理程序400可以被分割成一个或多个模块，所述一个或者多个模块被存储于所述存储器401中，并由一个或多个处理器(本实施例为所述处理器402)所执行，以完成本发明。例如，在图5中，所述的队列消息处理程序400可以被分割成队列设置模块501、负载度计算模块502、判断模块503和处理模块504。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述队列消息处理程序400在所述终端设备40中的执行过程。以下描述将具体介绍所述模块501-504的功能。
其中，队列设置模块501，用于设置运行队列和等待队列，所述运行队列基于分布式文档存储数据库的固定集合构建，所述等待队列基于分布式文档存储数据库的无界集合构建。
负载度计算模块502，用于获取运行队列中的未处理消息，根据所述运行队列中的未处理消息计算所述运行队列的当前负载度，所述运行队列基于分布式文档存储数据库的固定集合构建。
判断模块503，用于根据所述运行队列的当前负载度判断所述运行队列中的未处理消息是否超过所述运行队列的当前限度。
处理模块504，用于在所述运行队列中的未处理消息未超过所述运行队列的当前限度时，将等待入列的队列消息存储至所述运行队列中；其中，将等待入列的队列消息存储至所述运行队列中后，所述运行队列的当前负载度增加。
处理模块504，还用于在所述运行队列中未处理消息超过所述运行队列的当前限度时，将等待入列的队列消息存储至等待队列中；所述等待队列基于分布式文档存储数据库的无界集合构建。
可选的，负载度计算模块502具体用于：根据预设负载和所述未处理消息占用的负载，计算所述运行队列的当前负载度。
可选的，判断模块503具体用于：
计算其中A为所述运行队列可容纳的消息容量，B为预设的平均消息大小，C为预设的负载度比例阀值
在大于所述运行队列的当前负载度时，判定所述运行队列中的未处理消息超过所述运行队列的当前限度；
在小于等于所述运行队列的当前负载度时，判定所述运行队列中的未处理消息未超过所述运行队列的当前限度。
可选的，所述队列信息处理程序400还可以被分割为监测模块。所述监测模块，用于监测所述队列消息在所述运行队列中的时间、所述队列消息的入队耗时信息、所述队列消息的出队耗时信息和所述队列消息的大小，并生成日志文件进行存储。
可选的，处理模块504，还用于在所述运行队列中未处理消息未超过所述运行队列的当前限度且所述等待队列中存在队列消息时，将所述等待队列中的队列消息存储至所述运行队列中。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种队列消息处理方法，其特征在于，包括：
设置运行队列和等待队列，所述运行队列基于分布式文档存储数据库的固定集合构建，所述等待队列基于分布式文档存储数据库的无界集合构建；
获取运行队列中的未处理消息，根据所述运行队列中的未处理消息计算所述运行队列的当前负载度；
根据所述运行队列的当前负载度判断所述运行队列中的未处理消息是否超过所述运行队列的当前限度；
在所述运行队列中的未处理消息未超过所述运行队列的当前限度时，将等待入列的队列消息存储至所述运行队列中；其中，将等待入列的队列消息存储至所述运行队列中后，所述运行队列的当前负载度增加；
在所述运行队列中未处理消息超过所述运行队列的当前限度时，将等待入列的队列消息存储至等待队列中。
2.如权利要求1所述的队列消息处理方法，其特征在于，所述根据所述运行队列中的未处理消息计算运行队列的当前负载度为：
根据预设负载和所述未处理消息占用的负载，计算所述运行队列的当前负载度。
3.如权利要求1所述的队列消息处理方法，其特征在于，所述根据所述队列的当前负载度判断所述运行队列中的未处理消息是否超过所述运行队列的当前限度为：
计算所述运行队列的当前限度：其中A为所述运行队列可容纳的消息容量，B为预设的平均消息大小，C为预设的负载度比例阀值；
在大于所述运行队列的当前负载度时，判定所述运行队列中的未处理消息超过所述运行队列的当前限度；
在小于等于所述运行队列的当前负载度时，判定所述运行队列中的未处理消息未超过所述运行队列的当前限度。
4.如权利要求1所述的队列消息处理方法，其特征在于，还包括：
在所述运行队列中未处理消息未超过所述运行队列的当前限度且所述等待队列中存在队列消息时，将所述等待队列中的队列消息存储至所述运行队列中。
5.如权利要求1至4任一项所述的队列消息处理方法，其特征在于，还包括：
监测所述队列消息在所述运行队列中的时间、所述队列消息的入队耗时信息、所述队列消息的出队耗时信息和所述队列消息的大小，并生成日志文件进行存储。
6.一种队列消息处理终端设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
设置运行队列和等待队列，所述运行队列基于分布式文档存储数据库的固定集合构建，所述等待队列基于分布式文档存储数据库的无界集合构建；
获取运行队列中的未处理消息，根据所述运行队列中的未处理消息计算所述运行队列的当前负载度，所述运行队列基于分布式文档存储数据库的固定集合构建；
根据所述运行队列的当前负载度判断所述运行队列中的未处理消息是否超过所述运行队列的当前限度；
在所述运行队列中的未处理消息未超过所述运行队列的当前限度时，将等待入列的队列消息存储至所述运行队列中；其中，将等待入列的队列消息存储至所述运行队列中后，所述运行队列的当前负载度增加；
在所述运行队列中未处理消息超过所述运行队列的当前限度时，将等待入列的队列消息存储至等待队列中；所述等待队列基于分布式文档存储数据库的无界集合构建。
7.如权利要求6所述的队列消息处理终端设备，其特征在于，所述根据所述运行队列中的未处理消息计算运行队列的当前负载度为：
根据预设负载和所述未处理消息占用的负载，计算所述运行队列的当前负载度。
8.如权利要求6所述的队列消息处理终端设备，其特征在于，所述根据所述队列的当前负载度判断所述运行队列中的未处理消息是否超过所述运行队列的当前限度为：
计算其中A为所述运行队列可容纳的消息容量，B为预设的平均消息大小，C为预设的负载度比例阀值；
在大于所述运行队列的当前负载度时，判定所述运行队列中的未处理消息超过所述运行队列的当前限度；
在小于等于所述运行队列的当前负载度时，判定所述运行队列中的未处理消息未超过所述运行队列的当前限度。
9.如权利要求6所述的队列消息处理终端设备，其特征在于，所述处理器执行所述计算机程序时还实现如下步骤：
监测所述队列消息在所述运行队列中的时间、所述队列消息的入队耗时信息、所述队列消息的出队耗时信息和所述队列消息的大小，并生成日志文件进行存储。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201710879900.1A 2017-09-26 2017-09-26 队列消息处理方法及终端设备 Active CN107766160B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710879900.1A CN107766160B (zh) 2017-09-26 2017-09-26 队列消息处理方法及终端设备
PCT/CN2017/108623 WO2019061647A1 (zh) 2017-09-26 2017-10-31 队列消息处理方法、装置、终端设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710879900.1A CN107766160B (zh) 2017-09-26 2017-09-26 队列消息处理方法及终端设备

Publications (2)

Publication Number Publication Date
CN107766160A true CN107766160A (zh) 2018-03-06
CN107766160B CN107766160B (zh) 2019-12-13

Family

ID=61266568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710879900.1A Active CN107766160B (zh) 2017-09-26 2017-09-26 队列消息处理方法及终端设备

Country Status (2)

Country Link
CN (1) CN107766160B (zh)
WO (1) WO2019061647A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213583A (zh) * 2018-07-25 2019-01-15 中国科学院计算技术研究所 一种通过软硬件协同支持读写性能隔离的i/o调度器
CN110149392A (zh) * 2019-05-17 2019-08-20 优信拍（北京）信息科技有限公司 一种推送消息的管理方法及装置
CN110333956A (zh) * 2019-05-23 2019-10-15 平安普惠企业管理有限公司 消息队列中消息存储方法、装置、介质及电子设备
CN111385218A (zh) * 2018-12-28 2020-07-07 广州市百果园信息技术有限公司 消息队列过载的丢包、流量控制方法、存储介质及设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111190745B (zh) * 2019-11-05 2024-01-30 腾讯科技（深圳）有限公司 一种数据处理方法、装置及计算机可读存储介质
CN113778321A (zh) * 2021-01-15 2021-12-10 北京沃东天骏信息技术有限公司 消息处理的方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1684042A (zh) * 2004-04-13 2005-10-19 英业达股份有限公司 多种互斥条件下的多模式测试系统及其方法
CN103226467A (zh) * 2013-05-23 2013-07-31 中国人民解放军国防科学技术大学 数据并行处理方法、系统及负载均衡调度器
US20130290513A1 (en) * 2012-04-27 2013-10-31 Xerox Business Services, Llc Intelligent Work Load Manager
CN104102693A (zh) * 2014-06-19 2014-10-15 广州华多网络科技有限公司 对象处理方法和装置
US20160299784A1 (en) * 2012-09-14 2016-10-13 International Business Machines Corporation Preferential cpu utilization for tasks

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414761B (zh) * 2013-07-23 2017-02-08 北京工业大学 一种基于Hadoop架构的移动终端云资源调度方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1684042A (zh) * 2004-04-13 2005-10-19 英业达股份有限公司 多种互斥条件下的多模式测试系统及其方法
US20130290513A1 (en) * 2012-04-27 2013-10-31 Xerox Business Services, Llc Intelligent Work Load Manager
US20160299784A1 (en) * 2012-09-14 2016-10-13 International Business Machines Corporation Preferential cpu utilization for tasks
CN103226467A (zh) * 2013-05-23 2013-07-31 中国人民解放军国防科学技术大学 数据并行处理方法、系统及负载均衡调度器
CN104102693A (zh) * 2014-06-19 2014-10-15 广州华多网络科技有限公司 对象处理方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213583A (zh) * 2018-07-25 2019-01-15 中国科学院计算技术研究所 一种通过软硬件协同支持读写性能隔离的i/o调度器
CN111385218A (zh) * 2018-12-28 2020-07-07 广州市百果园信息技术有限公司 消息队列过载的丢包、流量控制方法、存储介质及设备
CN111385218B (zh) * 2018-12-28 2023-08-15 广州市百果园信息技术有限公司 消息队列过载的丢包、流量控制方法、存储介质及设备
CN110149392A (zh) * 2019-05-17 2019-08-20 优信拍（北京）信息科技有限公司 一种推送消息的管理方法及装置
CN110333956A (zh) * 2019-05-23 2019-10-15 平安普惠企业管理有限公司 消息队列中消息存储方法、装置、介质及电子设备

Also Published As

Publication number Publication date
WO2019061647A1 (zh) 2019-04-04
CN107766160B (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN107766160A (zh) 队列消息处理方法及终端设备
CN108762931A (zh) 基于分布式调度系统的任务调度方法、服务器及存储介质
WO2021159638A1 (zh) 集群队列资源的调度方法、装置、设备及存储介质
CN111858065B (zh) 数据处理方法、设备、存储介质及装置
TW201816692A (zh) 風險識別方法、客戶端設備及風險識別系統
CN104219235B (zh) 一种分布式交易请求方法及装置
CN108052396A (zh) 一种资源分配方法及系统
WO2019062068A1 (zh) 一种坐席任务的分配方法、存储介质和服务器
CN106547612A (zh) 一种多任务处理方法及装置
CN110308980A (zh) 数据的批量处理方法、装置、设备及存储介质
CN104461737B (zh) 一种内存管理方法和装置
CN108255607A (zh) 任务处理方法、装置、电子终端及可读存储介质
CN108733464A (zh) 一种确定计算任务的调度方案的方法及装置
WO2020000668A1 (zh) 一种基于服务器集群的任务执行方法及服务器
CN102629220A (zh) 一种动态任务分配管理方法
CN109343972A (zh) 任务处理方法及终端设备
CN107682391A (zh) 电子装置、服务器分配控制方法和计算机可读存储介质
CN109241099A (zh) 一种数据查询方法及终端设备
CN108334408A (zh) 代码执行方法、装置、终端设备及计算机可读存储介质
CN109842621A (zh) 一种减少token存储数量的方法及终端
CN102457578A (zh) 一种基于事件机制的分布式网络监控方法
CN109308217A (zh) 一种时效任务的数据存储方法及装置
CN109582467A (zh) 一种存储系统中io请求的处理方法、系统及相关装置
CN110413610A (zh) 提高业务数据报表导出效率的方法及系统、数据库服务器
CN108021486B (zh) 电子装置、征信数据处理的方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant