CN112131005B - 一种资源调整策略确定方法和装置 - Google Patents

一种资源调整策略确定方法和装置 Download PDF

Info

Publication number
CN112131005B
CN112131005B CN202011027178.7A CN202011027178A CN112131005B CN 112131005 B CN112131005 B CN 112131005B CN 202011027178 A CN202011027178 A CN 202011027178A CN 112131005 B CN112131005 B CN 112131005B
Authority
CN
China
Prior art keywords
message
target
offset
period
statistical period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011027178.7A
Other languages
English (en)
Other versions
CN112131005A (zh
Inventor
宋尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN202011027178.7A priority Critical patent/CN112131005B/zh
Publication of CN112131005A publication Critical patent/CN112131005A/zh
Application granted granted Critical
Publication of CN112131005B publication Critical patent/CN112131005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供了一种资源调整策略确定方法和装置，方法包括：确定目标消费任务在目标集群中对应的分区，作为目标分区；针对预设的每一统计周期，确定该统计周期内目标分区中目标消费任务最后处理的消息的偏移量，作为处理偏移量；计算该统计周期的处理偏移量与前一统计周期的处理偏移量之间的差值，作为偏移量差值；计算偏移量差值与该统计周期的时长的比值，作为该统计周期内目标消费任务处理消息的消息处理速度；基于消息处理速度，确定用于调整目标消费任务所占用的资源的资源调整策略，进而，能够有效地调整目标消费任务所占用的资源，以提高资源利用率和消息处理效率。

Description

一种资源调整策略确定方法和装置
技术领域
本申请涉及网络技术领域，特别是涉及一种资源调整策略确定方法和装置。
背景技术
消息中间件是基于队列与消息传递，在网络中提供同步或异步、可靠的消息传输的支撑性软件系统。例如，Kafka(卡夫卡)集群是一种支持分区和多副本的消息中间件，且支持基于Zookeeper协调的分布式消息系统，其可以运行在一台或者多台服务器上，并基于主题(Topic)对存储的数据进行分类。
Kafka集群的节点(Broker)可以以消息队列的方式存储消息，一个消息队列对应主题的一个分区(Partition)。生产者可以将消息发送至分区中，相应的，消费者则可以从分区中获取消息进行处理。
在实际应用中，针对Kafka集群，可以开启多个消费任务，并为每一消费任务分配资源(例如，内存，CPU)，每一消费任务对应一个主题的所有分区，也就是说，该消费任务可以基于分配的资源从对应的主题的分区中获取消息，并进行处理。
发明内容
本申请实施例的目的在于提供一种资源调整策略确定方法和装置，能够有效地调整目标消费任务所占用的资源，以提高资源利用率和消息处理效率。具体技术方案如下：
第一方面，为了达到上述目的，本申请实施公开了一种资源调整策略确定方法，所述方法包括：
确定目标消费任务在目标集群中对应的分区，作为目标分区；
针对预设的每一统计周期，确定该统计周期内所述目标分区中所述目标消费任务最后处理的消息的偏移量，作为处理偏移量；
计算该统计周期的处理偏移量与前一统计周期的处理偏移量之间的差值，作为偏移量差值；
计算所述偏移量差值与该统计周期的时长的比值，作为该统计周期内所述目标消费任务处理消息的消息处理速度；
基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略。
可选的，在基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略之前，所述方法还包括：
获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量；
所述基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略，包括：
基于所述处理偏移量、所述写入偏移量和所述消息处理速度，计算当前统计周期内所述目标消费任务的平衡时延，其中，一个统计周期内的平衡时延表示：基于该统计周期内所述目标分区的消息写入速度和消息处理速度，所述目标消费任务达到处理瓶颈的时长；
如果当前统计周期内的平衡时延为0，且当前统计周期之前的第一历史时间段内所述目标消费任务提交的消息的偏移量不变，则确定基于第一资源调整策略调整所述目标消费任务所占用的资源，其中，所述第一资源调整策略包括：按照第一预设比值释放已为所述目标消费任务分配的资源。
可选的，在获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量之后，所述方法还包括：
基于所述处理偏移量、所述写入偏移量和所述消息处理速度，计算当前统计周期内所述目标消费任务的处理时延，其中，一个统计周期内的处理时延表示：所述目标消费任务以该统计周期内的消息处理速度处理完所述目标分区中的待处理消息所需的时长；
如果当前统计周期内的平衡时延与所述目标分区中消息的生命周期的比值，大于第二预设比值，且当前统计周期内的处理时延不大于所述生命周期，则确定基于第二资源调整策略调整所述目标消费任务所占用的资源；其中，所述第二资源调整策略包括：保持已为所述目标消费任务分配的资源不变。
可选的，在基于所述处理偏移量、所述写入偏移量和所述消息处理速度，计算当前统计周期内所述目标消费任务的处理时延之后，所述方法还包括：
基于所述消息处理速度，计算各个统计周期内所述目标消费任务的处理加速比；其中，一个统计周期内的处理加速比表示：该统计周期内所述目标消费任务的消息处理速度，相对于前一统计周期内所述目标消费任务的消息处理速度的变化率；
如果满足第一预设条件，则确定基于第三资源调整策略调整所述目标消费任务所占用的资源；其中，所述第三资源调整策略包括：按照第三预设比值释放已为所述目标消费任务分配的资源；
所述第一预设条件包括以下任一项：
当前统计周期内的平衡时延小于第一时长阈值，且当前统计周期内的处理时延大于第二时长阈值，所述第二时长阈值大于所第一时长阈值；
当前统计周期内的平衡时延小于第一时长阈值、当前统计周期内所述目标消费任务处理的消息的数量小于预设数目，且当前统计周期之前的第二历史时间段内的处理加速比逐渐降低至-1；
当前统计周期内的平衡时延小于第一时长阈值、当前统计周期内所述目标消费任务处理的消息的数量小于预设数目、当前统计周期之前的第二历史时间段内的处理加速比逐渐减小，且当前统计周期之前的第三历史时间段内的处理加速比在[-1，0]的范围内振荡变化，其中，所述第三历史时间段晚于所述第二历史时间段，且与所述第二历史时间段相邻。
可选的，在基于所述消息处理速度，计算各个统计周期内所述目标消费任务的处理加速比之后，所述方法还包括：
判断是否满足第二预设条件，所述第二预设条件包括以下任一项：
当前统计周期之前的第四历史时间段内的处理加速比不小于0；当前统计周期之前的第四历史时间段内的处理加速比在[-M，M]的范围内振荡变化；当前统计周期内的消息处理速度与目标消息处理速度的差值不小于速度阈值，其中，所述目标消息处理速度为：除当前统计周期外的其他统计周期内的消息处理速度的最大值；
如果满足第二预设条件，则在当前统计周期内的处理时延小于第三时长阈值，且在当前统计周期之前的第四历史时间段内的平衡时延与所述生命周期的比值，小于第四预设比值的情况下，确定基于第四资源调整策略调整所述目标消费任务所占用的资源和/或显示第一提醒消息，以提醒用户提高所述目标分区的消息写入速度；其中，所述第四资源调整策略包括：按照第五预设比值释放已为所述目标消费任务分配的资源；所述第四预设比值小于所述第二预设比值；
如果满足第二预设条件，则在当前统计周期内的平衡时延小于0，且在当前统计周期之前的第四历史时间段内，处理时延逐渐增大，且平衡时延逐渐减小的情况下，确定基于第五资源调整策略调整所述目标消费任务所占用的资源；其中，所述第五资源调整策略包括：按照预设倍数增加为所述目标消费任务分配的资源。
可选的，在获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量之后，所述方法还包括：
针对每一统计周期，获取该统计周期内所述目标分区中有效消息的起始偏移量；其中，所述有效消息表示未达到生命周期的消息；
基于所述起始偏移量和所述写入偏移量，计算该统计周期所述目标分区的有效消息量；
在所述目标分区中存储的消息不存在生命周期的情况下，基于各个统计周期的有效消息量的变化情况，确定有效消息量保持不变的第五历史时间段，并显示包含所述第五历史时间段的第二提醒消息；
在所述目标分区中存储的消息存在生命周期的情况下，基于各个统计周期的有效消息量的变化情况，确定有效消息量的变化率大于预设变化率的第六历史时间段，并显示包含所述第六历史时间段的第三提醒消息。
第二方面，为了达到上述目的，本申请实施例公开了一种资源调整策略确定装置，所述装置包括：
目标分区确定模块，用于确定目标消费任务在目标集群中对应的分区，作为目标分区；
处理偏移量确定模块，用于针对预设的每一统计周期，确定该统计周期内所述目标分区中所述目标消费任务最后处理的消息的偏移量，作为处理偏移量；
偏移量差值计算模块，用于计算该统计周期的处理偏移量与前一统计周期的处理偏移量之间的差值，作为偏移量差值；
消息处理速度计算模块，用于计算所述偏移量差值与该统计周期的时长的比值，作为该统计周期内所述目标消费任务处理消息的消息处理速度；
资源调整策略确定模块，用于基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略。
可选的，所述装置还包括：
写入偏移量获取模块，用于在基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略之前，获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量；
所述资源调整策略确定模块，包括：
平衡时延计算子模块，用于基于所述处理偏移量、所述写入偏移量和所述消息处理速度，计算当前统计周期内所述目标消费任务的平衡时延，其中，一个统计周期内的平衡时延表示：基于该统计周期内所述目标分区的消息写入速度和消息处理速度，所述目标消费任务达到处理瓶颈的时长；
资源调整策略确定子模块，用于如果当前统计周期内的平衡时延为0，且当前统计周期之前的第一历史时间段内所述目标消费任务提交的消息的偏移量不变，则确定基于第一资源调整策略调整所述目标消费任务所占用的资源，其中，所述第一资源调整策略包括：按照第一预设比值释放已为所述目标消费任务分配的资源。
可选的，所述装置还包括：
处理时延计算模块，用于在获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量之后，基于所述处理偏移量、所述写入偏移量和所述消息处理速度，计算当前统计周期内所述目标消费任务的处理时延，其中，一个统计周期内的处理时延表示：所述目标消费任务以该统计周期内的消息处理速度处理完所述目标分区中的待处理消息所需的时长；
第一处理模块，用于如果当前统计周期内的平衡时延与所述目标分区中消息的生命周期的比值，大于第二预设比值，且当前统计周期内的处理时延不大于所述生命周期，则确定基于第二资源调整策略调整所述目标消费任务所占用的资源；其中，所述第二资源调整策略包括：保持已为所述目标消费任务分配的资源不变。
可选的，所述装置还包括：
处理加速比计算模块，用于在基于所述处理偏移量、所述写入偏移量和所述消息处理速度，计算当前统计周期内所述目标消费任务的处理时延之后，基于所述消息处理速度，计算各个统计周期内所述目标消费任务的处理加速比；其中，一个统计周期内的处理加速比表示：该统计周期内所述目标消费任务的消息处理速度，相对于前一统计周期内所述目标消费任务的消息处理速度的变化率；
第二处理模块，用于如果满足第一预设条件，则确定基于第三资源调整策略调整所述目标消费任务所占用的资源；其中，所述第三资源调整策略包括：按照第三预设比值释放已为所述目标消费任务分配的资源；
所述第一预设条件包括以下任一项：
当前统计周期内的平衡时延小于第一时长阈值，且当前统计周期内的处理时延大于第二时长阈值，所述第二时长阈值大于所第一时长阈值；
当前统计周期内的平衡时延小于第一时长阈值、当前统计周期内所述目标消费任务处理的消息的数量小于预设数目，且当前统计周期之前的第二历史时间段内的处理加速比逐渐降低至-1；
当前统计周期内的平衡时延小于第一时长阈值、当前统计周期内所述目标消费任务处理的消息的数量小于预设数目、当前统计周期之前的第二历史时间段内的处理加速比逐渐减小，且当前统计周期之前的第三历史时间段内的处理加速比在[-1，0]的范围内振荡变化，其中，所述第三历史时间段晚于所述第二历史时间段，且与所述第二历史时间段相邻。
可选的，所述装置还包括：
判断模块，用于在基于所述消息处理速度，计算各个统计周期内所述目标消费任务的处理加速比之后，判断是否满足第二预设条件，所述第二预设条件包括以下任一项：
当前统计周期之前的第四历史时间段内的处理加速比不小于0；当前统计周期之前的第四历史时间段内的处理加速比在[-M，M]的范围内振荡变化；当前统计周期内的消息处理速度与目标消息处理速度的差值不小于速度阈值，其中，所述目标消息处理速度为：除当前统计周期外的其他统计周期内的消息处理速度的最大值；
第三处理模块，用于如果满足第二预设条件，则在当前统计周期内的处理时延小于第三时长阈值，且在当前统计周期之前的第四历史时间段内的平衡时延与所述生命周期的比值，小于第四预设比值的情况下，确定基于第四资源调整策略调整所述目标消费任务所占用的资源和/或显示第一提醒消息，以提醒用户提高所述目标分区的消息写入速度；其中，所述第四资源调整策略包括：按照第五预设比值释放已为所述目标消费任务分配的资源；所述第四预设比值小于所述第二预设比值；
第四处理模块，用于如果满足第二预设条件，则在当前统计周期内的平衡时延小于0，且在当前统计周期之前的第四历史时间段内，处理时延逐渐增大，且平衡时延逐渐减小的情况下，确定基于第五资源调整策略调整所述目标消费任务所占用的资源；其中，所述第五资源调整策略包括：按照预设倍数增加为所述目标消费任务分配的资源。
可选的，所述装置还包括：
起始偏移量获取模块，用于在获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量之后，针对每一统计周期，获取该统计周期内所述目标分区中有效消息的起始偏移量；其中，所述有效消息表示未达到生命周期的消息；
有效消息量计算模块，用于基于所述起始偏移量和所述写入偏移量，计算该统计周期所述目标分区的有效消息量；
第五处理模块，用于在所述目标分区中存储的消息不存在生命周期的情况下，基于各个统计周期的有效消息量的变化情况，确定有效消息量保持不变的第五历史时间段，并显示包含所述第五历史时间段的第二提醒消息；
第六处理模块，用于在所述目标分区中存储的消息存在生命周期的情况下，基于各个统计周期的有效消息量的变化情况，确定有效消息量的变化率大于预设变化率的第六历史时间段，并显示包含所述第六历史时间段的第三提醒消息。
在本申请实施的另一方面，为了达到上述目的，本申请实施例还公开了一种电子设备，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现如上述第一方面所述的资源调整策略确定方法。
在本申请实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的资源调整策略确定方法。
在本申请实施的又一方面，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的资源调整策略确定方法。
本申请实施例提供了一种资源调整策略确定方法，可以确定目标消费任务在目标集群中对应的分区，作为目标分区；针对预设的每一统计周期，确定该统计周期内目标分区中目标消费任务最后处理的消息的偏移量，作为处理偏移量；计算该统计周期的处理偏移量与前一统计周期的处理偏移量之间的差值，作为偏移量差值；计算偏移量差值与该统计周期的时长的比值，作为该统计周期内目标消费任务处理消息的消息处理速度；基于消息处理速度，确定用于调整目标消费任务所占用的资源的资源调整策略。
基于上述处理，能够基于目标消费任务的消息处理速度，确定对应的资源调整策略，相应的，基于确定出的资源调整策略，能够有效地调整目标消费任务所占用的资源，以提高资源利用率和消息处理效率。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种资源调整策略确定方法的流程图；
图2为本申请实施例提供的一种获取指标数据的流程图；
图3为本申请实施例提供的一种获取待消费消息量的流程图；
图4为本申请实施例提供的另一种资源调整策略确定方法的流程图；
图5为本申请实施例提供的另一种资源调整策略确定方法的流程图；
图6为本申请实施例提供的另一种资源调整策略确定方法的流程图；
图7为本申请实施例提供的一种异常状态下的平衡时延的变化曲线图；
图8为本申请实施例提供的一种异常状态下的处理加速比的变化曲线图；
图9为本申请实施例提供的一种活跃状态下的处理加速比的变化曲线图；
图10为本申请实施例提供的一种活跃状态下平衡时延的变化曲线图；
图11为本申请实施例提供的另一种活跃状态下平衡时延的变化曲线图；
图12为本申请实施例提供的一种基于有效消息量的提醒方法的流程图；
图13为本申请实施例提供的一种有效消息量的变化曲线图；
图14为本申请实施例提供的另一种有效消息量的变化曲线图；
图15为本申请实施例提供的一种资源调整策略确定装置的结构图；
图16为本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1为本申请实施例提供的一种资源调整策略确定方法的流程图，该方法可以包括以下步骤：
S101：确定目标消费任务在目标集群中对应的分区，作为目标分区。
S102：针对预设的每一统计周期，确定该统计周期内目标分区中目标消费任务最后处理的消息的偏移量，作为处理偏移量。
S103：计算该统计周期的处理偏移量与前一统计周期的处理偏移量之间的差值，作为偏移量差值。
S104：计算偏移量差值与该统计周期的时长的比值，作为该统计周期内目标消费任务处理消息的消息处理速度。
S105：基于消息处理速度，确定用于调整目标消费任务所占用的资源的资源调整策略。
本申请实施例提供的资源调整策略确定方法，能够基于目标消费任务的消息处理速度，确定对应的资源调整策略，相应的，基于确定出的资源调整策略，能够有效地调整目标消费任务所占用的资源，以提高资源利用率和消息处理效率。
在一个实施例中，目标消费任务可以为目标集群中开启的消费任务，用于消费目标集群中的消息。例如，目标集群可以为Kafka集群，或者，也可以为Rabbit MQ集群，但并不限于此。
一种实现方式中，本申请实施例的方法可以应用于电子设备，电子设备能够与目标集群进行数据通信，并且能够从目标集群获取本申请实施例中所需要的数据(例如，处理偏移量和写入偏移量等)。
在一个实施例中，电子设备可以从目标集群获取相应的数据，并存入ES(ElasticSearch，弹性搜索)，ES为基于Lucene的分布式多用户能力的全文搜索引擎。后续，当需要确定资源调整策略时，可以从ES中获取相应的数据，并进行处理，进而，能够实现目标集群的历史数据的持久化，且将数据存储在ES，能够提高数据获取的速度，进而，提高确定资源调整策略的效率。
针对步骤S101，用户可以在目标集群中开启多个消费任务，消费任务可以从目标集群的分区中获取消息，并进行处理。例如，消费任务在获取消息后，可以将消息写入数据库。由于不同的消费任务可能会将消息写入不同类型的数据库，也就导致了不同的消费任务对消息进行处理的速度不同。
另外，消费任务可以为单并行度，也可以为多并行度。一个并行度对应一个分区，也就是说，一个消费任务的最大并行度可以为该消费任务对应的主题所包含的分区的数目。消费任务的并行度越大，其所占用的资源也越多。
本申请实施例中的目标消费任务可以为用户在目标集群中开启的任一消费任务。
针对步骤S102，统计周期的时长可以由技术人员根据经验进行设置，例如，可以为3秒，或者，也可以为4秒，但并不限于此。
针对每一统计周期，电子设备从目标集群获取该统计周期内目标分区中目标消费任务最后处理的消息的偏移量(即处理偏移量)，并按照预设索引格式写入ES，以便于后续确定资源调整策略时，从ES中获取该数据进行处理。
例如，参见表(1)，表(1)为本申请实施例提供的一种索引格式。
名称 类型 索引 备注
DATA_SOURCE_NAME string not_analyzed 集群名称
topIC_NAME string not_analyzed 主题名称
topIC_PARTITION string not_analyzed 分区标记
GROUP_ID string not_analyzed 任务标记
LATEST_OFFSET long analyzed 最新偏移量
START_OFFSET long analyzed 可用起始偏移量
EXCEPTION string not_analyzed 备注信息
TIME_STAMP date[long] analyzed 消息时间戳
CURRENT_OFFSET date[long] analyzed 当前偏移量
COMMIT_TIME date[long] analyzed 偏移量提交时间
REPORT_TIME ESConstant.TIME_FORMAT analyzed 录入时间
表(1)中，第二行表示需要获取目标分区所属的集群的集群名称；第三行表示需要获取目标分区所属的主题的主题名称；第四行表示需要记录目标分区的分区标记；第五行表示需要记录目标消费任务的任务标记(可以用该任务所属的消费组表示)；第六行表示需要获取目标分区的最新偏移量(即后续实施例中的写入偏移量)；第七行表示需要获取目标分区的可用起始偏移量(即后续实施例中有效消息的起始偏移量)；第八行表示可以记录备注信息；第九行表示需要获取目标分区的消息时间戳(即目标消费任务最后处理的消息被写入目标分区的时间)；第十行表示需要获取目标分区的当前偏移量(即目标消费任务最后处理的消息的偏移量)；第十一行表示需要获取目标分区的偏移量提交时间(即目标消费任务最后处理的消息的提交时间，也就是当前的统计时刻)；第十一行表示需要获取目标分区的录入时间(即在ES中记录该表(1)的数据的时间)。
基于表(1)中的消息时间戳，可以确定当前统计周期所处理的消息的写入时间，即，能够确定目标消费任务当前处理的消息的进度。
参见图2，图2为本申请实施例提供的一种获取指标数据的流程图。
图2中，获取集群中主题及分区信息，即获取集群的集群名称和分区标记。在ES中创建监控指标索引，即在ES中创建如表(1)所示的索引格式，以确定需要采集的数据。配置文件中设置心跳时间，即设置本申请实施例中的统计周期。按心跳时间获取指标数据，即按照统计周期获取表(1)所示的各数据。对比指标和历史数据，即将获取的数据按照对应的指标存入ES中。
参见图3，图3为本申请实施例提供的一种获取待消费消息量的流程图。
获取集群中主题及分区信息，即，获取集群的集群名称和分区标记。获取分区最末消息偏移量，即，获取本申请实施例中的写入偏移量。利用“__consumer_offsets(消费偏移量)”主题内容获取主题对应分区消费提交偏移量，即，利用__consumer_offsets函数获取本申请实施例中的处理偏移量。计算待消费消息量，即，计算最末消息偏移量与处理偏移量的差值，进而，可以将获取的数据和待消费消息量存入ES中。
在步骤S103和步骤S104中，针对每一统计周期，该统计周期的处理偏移量与前一统计周期的处理偏移量之间的差值(即偏移量差值)，也就是目标消费任务在该统计周期所处理的消息量。进而，计算偏移量差值与统计周期的时长的比值，可以得到该统计周期内的消息处理速度。
由于目标消费任务对应的目标分区可能为多个，因此，针对每一目标分区，可以计算该目标分区对应的偏移量差值，进而，可以计算各目标分区的偏移量差值的和值，作为该目标消费任务在该统计周期所处理的消息量。
在一个实施例中，参见图4，在步骤S105之前，该方法还可以包括以下步骤：
S106：获取该统计周期内目标分区中最后写入的消息的偏移量，作为写入偏移量。
相应的，S105可以包括以下步骤：
S1051：基于处理偏移量、写入偏移量和消息处理速度，计算当前统计周期内目标消费任务的平衡时延。
S1052：如果当前统计周期内的平衡时延为0，且当前统计周期之前的第一历史时间段内目标消费任务提交的消息的偏移量不变，则确定基于第一资源调整策略调整目标消费任务所占用的资源。
其中，一个统计周期内的平衡时延表示：基于该统计周期内目标分区的消息写入速度和消息处理速度，目标消费任务达到处理瓶颈的时长。
第一资源调整策略包括：按照第一预设比值释放已为目标消费任务分配的资源。第一预设比值可以由技术人员根据经验进行设置，例如，第一预设比值可以为20％，或者，也可以为40％，但并不限于此。
第一历史时间段可以由技术人员根据经验进行设置，例如，第一历史时间段可以为当前统计周期之前的100个统计周期，且与当前统计周期相邻；或者，第一历史时间段也可以为当前统计周期之前的200个统计周期，且与当前统计周期相邻，但并不限于此。
在本申请实施例中，可以先计算待消费消息量和消息写入速度，进而，基于公式(1)，计算平衡时延。
Figure BDA0002702467210000131
其中，待消费消息量可以用写入偏移量与处理偏移量的差值表示。
消息写入速度可以通过以下方式计算：计算当前统计周期的写入偏移量与前一统计周期的写入偏移量的差值，进而，计算该差值与当前统计周期的时长的比值，得到当前统计周期的消息写入速度。
由于目标消费任务对应的目标分区可能为多个，因此，针对每一目标分区，可以计算该目标分区中的待消费消息量，进而，可以计算各目标分区的待消费消息量的和值，作为该目标消费任务的待消费消息量。
如果当前统计周期内的平衡时延为0，且当前统计周期之前的第一历史时间段内目标消费任务提交的消息的偏移量不变，表明当前的待消费消息量为0，且目标消费任务一直未处理新的消息，则可以确定当前目标消费任务不存在待处理的消息。
因此，为了避免资源的浪费，可以按照第一预设比值释放已为目标消费任务分配的资源。例如，可以基于目标消费任务的并行度，释放资源。在实际应用中，一个并行度可以对应固定的资源。如果释放资源前目标消费任务的并行度为10，则释放后，目标消费任务的并行度可以为8，也就是，释放20％的资源。或者，释放后，目标消费任务的并行度可以为5，也就是，释放50％的资源。或者，释放后，目标消费任务的并行度可以为0，也就是，释放为目标消费任务分配的所有资源(释放100％的资源)，即，不运行目标消费任务。
另外，在该情况下，可以确定目标消费任务的任务运行状态为怠惰状态。
在一个实施例中，参见图5，在步骤S106之后，该方法还可以包括以下步骤：
S107：基于处理偏移量、写入偏移量和消息处理速度，计算当前统计周期内目标消费任务的处理时延。
S108：如果当前统计周期内的平衡时延与目标分区中消息的生命周期的比值，大于第二预设比值，且当前统计周期内的处理时延不大于生命周期，则确定基于第二资源调整策略调整目标消费任务所占用的资源。
其中，第二资源调整策略包括：保持已为目标消费任务分配的资源不变。一个统计周期内的处理时延表示：目标消费任务以该统计周期内的消息处理速度处理完目标分区中的待处理消息所需的时长。
消息的生命周期表示消息在分区中的有效时长。从消息被写入分区开始，当达到生命周期时，即可确定该消息无效，相应的，则可以从分区中删除该消息。
第二预设比值可以由技术人员根据经验进行设置，例如，第二预设比值可以为10％，或者，也可以为15％，但并不限于此。
在本申请实施例中，可以先计算待消费消息量，进而，基于公式(2)，计算处理时延。
Figure BDA0002702467210000151
如果当前统计周期内的平衡时延与目标分区中消息的生命周期的比值，大于第二预设比值，且当前统计周期内的处理时延不大于生命周期，表明平衡时延较大，且处理时延较小，也就是说，目标消费任务处理消息的速度较高，短时间内并不会达到处理瓶颈。因此，在该情况下，则可以保持已为目标消费任务分配的资源不变。另外，在该情况下，可以确定目标消费任务的任务运行状态为稳定状态。
在一个实施例中，参见图6，在步骤S107之后，该方法还可以包括以下步骤：
S109：基于消息处理速度，计算各个统计周期内目标消费任务的处理加速比。
S1010：如果满足第一预设条件，则确定基于第三资源调整策略调整目标消费任务所占用的资源。
一个统计周期内的处理加速比表示：该统计周期内目标消费任务的消息处理速度，相对于前一统计周期内目标消费任务的消息处理速度的变化率。第三资源调整策略包括：按照第三预设比值释放已为目标消费任务分配的资源。第三预设比值可以由技术人员根据经验进行设置，例如，第三预设比值可以为20％，或者，也可以为40％，但并不限于此。
在本申请实施例中，处理加速比可以通过公式(3)计算。
Figure BDA0002702467210000152
其中，Q表示当前统计周期的处理加速比，V2表示前一统计周期的消息处理速度，V1表示当前统计周期的消息处理速度。
上述第一预设条件可以包括三种情况：
情况一，当前统计周期内的平衡时延小于第一时长阈值，且当前统计周期内的处理时延大于第二时长阈值，第二时长阈值大于第一时长阈值。
其中，第一时长阈值和第二时长阈值可以由技术人员根据经验设置，具体的，第一时长阈值可以为生命周期的N倍，0.1≤N＜1，例如，N可以为0.2，或者，也可以为0.3，但并不限于此。
第二时长阈值可以为生命周期的S倍，1＜S，例如，S可以为3，或者，也可以为4，但并不限于此。
如果当前统计周期内的平衡时延小于第一时长阈值，且当前统计周期内的处理时延大于第二时长阈值，表明目标消费任务有较多的消息需要处理，然而，目标消费任务却无法获取到待消费消息，也就是说，此时，可能是目标集群出现故障，因此，可以按照第三预设比值释放已为目标消费任务分配的资源，以避免资源浪费。
情况二，当前统计周期内的平衡时延小于第一时长阈值、当前统计周期内目标消费任务处理的消息的数量小于预设数目，且当前统计周期之前的第二历史时间段内的处理加速比逐渐降低至-1。
预设数目和第二历史时间段可以由技术人员根据经验进行设置，例如，第二历史时间段可以为当前统计周期之前的100个统计周期，且与当前统计周期相邻；或者，第二历史时间段也可以为当前统计周期之前的200个统计周期，且与当前统计周期相邻，但并不限于此。例如，预设数目可以为50，或者，也可以为60，但并不限于此。
当前统计周期之前的第二历史时间段内的处理加速比逐渐降低至-1，表明当前统计周期的处理速度逐渐降低至0，因此，如果当前统计周期内的平衡时延也小于第一时长阈值，且当前统计周期内目标消费任务处理的消息的数量小于预设数目，也就是说，此时，可能是目标集群出现故障，导致目标消费任务无法获取到消息，因此，可以按照第三预设比值释放已为目标消费任务分配的资源，以避免资源浪费。
情况三，当前统计周期内的平衡时延小于第一时长阈值、当前统计周期内目标消费任务处理的消息的数量小于预设数目、当前统计周期之前的第二历史时间段内的处理加速比逐渐减小，且当前统计周期之前的第三历史时间段内的处理加速比在[-1，0]的范围内振荡变化。
其中，第三历史时间段晚于第二历史时间段，且与第二历史时间段相邻。
当前统计周期之前的第二历史时间段内的处理加速比逐渐减小，且当前统计周期之前的第三历史时间段内的处理加速比在[-1，0]的范围内振荡变化，也就是说，处理加速比逐渐减小，直至减小至[-1，0]的范围内，并在[-1，0]的范围内振荡变化。
因此，如果满足情况三，表明可能是目标集群出现故障，导致目标消费任务无法获取到消息，因此，可以按照第三预设比值释放已为目标消费任务分配的资源，以避免资源浪费。
另外，在上述情况一、情况二和情况三下，可以确定目标消费任务的任务运行状态为异常状态。
参见图7，图7为本申请实施例提供的一种异常状态下的平衡时延的变化曲线图。
图7中，横坐标表示时间，单位可以为天，纵坐标为平衡时延，单位可以为秒。由图7可见，平衡时延随着时间不断降低，在当前统计周期，平衡时延已降至接近于0。
参见图8，图8为本申请实施例提供的一种异常状态下的处理加速比的变化曲线图。
图8中，横坐标表示时间，单位可以为天，纵坐标为处理加速比。由图8可见，在一段时间内处理加速比随着时间不断降低，直至降低为-1，进而，在[-1，0]的范围内振荡变化。
在一个实施例中，在步骤S109之后，该方法还可以包括以下步骤：
步骤一：判断是否满足第二预设条件。
步骤二，如果满足第二预设条件，则在当前统计周期内的处理时延小于第三时长阈值，且在当前统计周期之前的第四历史时间段内的平衡时延与生命周期的比值，小于第四预设比值的情况下，确定基于第四资源调整策略调整目标消费任务所占用的资源和/或显示第一提醒消息，以提醒用户提高目标分区的消息写入速度。
步骤三，如果满足第二预设条件，则在当前统计周期内的平衡时延小于0，且在当前统计周期之前的第四历史时间段内，处理时延逐渐增大，且平衡时延逐渐减小的情况下，确定基于第五资源调整策略调整目标消费任务所占用的资源。
其中，目标消息处理速度为：除当前统计周期外的其他统计周期内的消息处理速度的最大值。第四资源调整策略包括：按照第五预设比值释放已为目标消费任务分配的资源。第四预设比值小于第二预设比值。第五资源调整策略包括：按照预设倍数增加为目标消费任务分配的资源。
上第二预设条件可以包括三种情况：
情况1：当前统计周期之前的第四历史时间段内的处理加速比不小于0。
情况2：当前统计周期之前的第四历史时间段内的处理加速比在[-M，M]的范围内振荡变化。
情况3：当前统计周期内的消息处理速度与目标消息处理速度的差值不小于速度阈值。
情况1表明目标消费任务的消息处理速度一直在增大。
针对情况2，M的具体数值可以由技术人员根据经验设置，例如，M可以为0.04，或者，也可以为0.05，但并不限于此。
处理加速比在[-M，M]的范围内振荡变化，也就是说，目标消费任务的消息处理速度在一段时间内不断增大，然后，在一时间内不断减小，进而，在下一段时间内又不断增大，如此循环，使得消息处理速度基于维持在一定的范围内。
针对情况3，目标消息处理速度也就是历史时间段内消息处理速度的峰值，因此，当前统计周期内的消息处理速度与目标消息处理速度的差值不小于速度阈值，表明当前统计周期内的消息处理速度高于该峰值，或者，虽然低于该峰值，然而与峰值的差距较小，也就是说，当前统计周期内的消息处理速度处于较高的状态。
因此，针对情况1、情况2和情况3，可以确定目标消费任务的任务运行状态为活跃状态。
参见图9，图9为本申请实施例提供的一种活跃状态下的处理加速比的变化曲线图。
图9中，横坐标表示时间，单位可以为天，纵坐标为处理加速比。由图9可见，在历史时间段内处理加速比一直不小于0。
目标消费任务为活跃状态可能是多种原因导致的，因此，在确定目标消费任务为活跃状态后，可以进一步判断。例如，如果在当前统计周期内的处理时延小于第三时长阈值，且在当前统计周期之前的第四历史时间段内的平衡时延与生命周期的比值，小于第四预设比值，表明此时目标消费任务的消息处理速度相对于目标分区的消息写入速度较大，目标消费任务占用的资源未充分利用，因此，可以释放已为目标消费任务分配的一些资源。
在一个实施例中，也可以显示第一提醒消息，以提醒用户提高目标分区的消息写入速度，以提高消息处理效率和资源利用率。
其中，第四预设比值可以为5％，或者，也可以为6％，但并不限于此。
第三时长阈值可以由技术人员根据经验设置，具体的，第三时长阈值可以为生命周期的Q倍，0.1≤Q＜1，例如，Q可以为0.2，或者，也可以为0.3，但并不限于此。
在一个实施例中，当满足情况1、情况2或情况3时，还可以进一步判断。如果在当前统计周期内的平衡时延小于0，且在当前统计周期之前的第四历史时间段内，处理时延逐渐增大，且平衡时延逐渐减小，表明此时目标分区的消息写入速度相对于目标消费任务的消息处理速度较大，目标消费任务的消息处理速度慢于目标分区的消息写入速度，因此，可以按照预设倍数增加为目标消费任务分配的资源。例如，可以增加目标消费任务的并行度。
另外，可以参见图10和11，图10为本申请实施例提供的活跃状态下平衡时延的一种变化曲线图，图11为本申请实施例提供的活跃状态下平衡时延的另一种变化曲线图。
图10和图11中，横坐标表示时间，单位可以为天，纵坐标为平衡时延，单位可以为秒。其中，图10表示正常的活跃状态，图11表示异常的活跃状态。也就是说，在正常情况下，即使平衡时延会突然降低，然而，其在突然降低后，会逐渐升高，并恢复至大于0。而异常的情况下，平衡时延可能会一直降低，并不会再升高。
在一个实施例中，在确定出目标消费任务的任务运行状态后，还可以显示确定出的任务运行状态。
在一个实施例中，在获取写入偏移量之后，还可以基于有效消息量进行提醒，参见图12，图12为本申请实施例提供的一种基于有效消息量的提醒方法的流程图，该方法可以包括以下步骤：
S1201：针对每一统计周期，获取该统计周期内目标分区中有效消息的起始偏移量。
其中，有效消息表示未达到生命周期的消息。
S1202：基于起始偏移量和写入偏移量，计算该统计周期目标分区的有效消息量。
S1203：在目标分区中存储的消息不存在生命周期的情况下，基于各个统计周期的有效消息量的变化情况，确定有效消息量保持不变的第五历史时间段，并显示包含第五历史时间段的第二提醒消息。
S1204：在目标分区中存储的消息存在生命周期的情况下，基于各个统计周期的有效消息量的变化情况，确定有效消息量的变化率大于预设变化率的第六历史时间段，并显示包含第六历史时间段的第三提醒消息。
在本申请实施例中，有效消息的起始偏移量，也就是目标分区中存储的有效消息的最小的偏移量。
可以理解的是，在目标分区中存储的消息不存在生命周期的情况下，目标分区的有效消息的起始偏移量不变；在目标分区中存储的消息存在生命周期的情况下，目标分区的有效消息的起始偏移量会随着消息的过期发生变化。有效消息量可以用写入偏移量于起始偏移量的差值表示。
如果目标分区中存储的消息不存在生命周期的情况，在正常情况下，随着消息的不断写入，有效消息量会不断增大，因此，如果第五历史时间段内有效消息量保持不变，则可以确定第五历史时间段内目标分区出现故障。
参见图13，图13为本申请实施例提供的一种有效消息量的变化曲线图。
图13中，横坐标表示时间，单位可以为天，纵坐标表示有效消息量。图13中，有效消息量保持不变的时间段也就是第五历史时间段。
如果目标分区中存储的消息存在生命周期的情况，在正常情况下，随着消息的不断写入和消费任务不断处理消息，有效消息量不会发生突变，因此，如果第六历史时间段内有效消息量的变化率大于预设变化率，可以确定第六历史时间段内目标分区出现故障。
参见图14，图14为本申请实施例提供的另一种有效消息量的变化曲线图。
图14中，横坐标表示时间，单位可以为天，纵坐标表示有效消息量。图14中，有效消息量发生较大突变的时间段(即第9天)也就是第六历史时间段。
另外，在确定出第五历史时间段和第六历史时间段后，还可以在ES中记录第五历史时间段和第六历史时间段为有效消息量异常的时间段，且记录对应的目标分区。
基于相同的发明构思，本申请实施例还提供了一种资源调整策略确定装置，参见图15，图15为本申请实施例提供的一种资源调整策略确定装置的结构图，装置包括：
目标分区确定模块1501，用于确定目标消费任务在目标集群中对应的分区，作为目标分区；
处理偏移量确定模块1502，用于针对预设的每一统计周期，确定该统计周期内所述目标分区中所述目标消费任务最后处理的消息的偏移量，作为处理偏移量；
偏移量差值计算模块1503，用于计算该统计周期的处理偏移量与前一统计周期的处理偏移量之间的差值，作为偏移量差值；
消息处理速度计算模块1504，用于计算所述偏移量差值与该统计周期的时长的比值，作为该统计周期内所述目标消费任务处理消息的消息处理速度；
资源调整策略确定模块1505，用于基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略。
可选的，所述装置还包括：
写入偏移量获取模块，用于在基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略之前，获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量；
所述资源调整策略确定模块1505，包括：
平衡时延计算子模块，用于基于所述处理偏移量、所述写入偏移量和所述消息处理速度，计算当前统计周期内所述目标消费任务的平衡时延，其中，一个统计周期内的平衡时延表示：基于该统计周期内所述目标分区的消息写入速度和消息处理速度，所述目标消费任务达到处理瓶颈的时长；
资源调整策略确定子模块，用于如果当前统计周期内的平衡时延为0，且当前统计周期之前的第一历史时间段内所述目标消费任务提交的消息的偏移量不变，则确定基于第一资源调整策略调整所述目标消费任务所占用的资源，其中，所述第一资源调整策略包括：按照第一预设比值释放已为所述目标消费任务分配的资源。
可选的，所述装置还包括：
处理时延计算模块，用于在获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量之后，基于所述处理偏移量、所述写入偏移量和所述消息处理速度，计算当前统计周期内所述目标消费任务的处理时延，其中，一个统计周期内的处理时延表示：所述目标消费任务以该统计周期内的消息处理速度处理完所述目标分区中的待处理消息所需的时长；
第一处理模块，用于如果当前统计周期内的平衡时延与所述目标分区中消息的生命周期的比值，大于第二预设比值，且当前统计周期内的处理时延不大于所述生命周期，则确定基于第二资源调整策略调整所述目标消费任务所占用的资源；其中，所述第二资源调整策略包括：保持已为所述目标消费任务分配的资源不变。
可选的，所述装置还包括：
处理加速比计算模块，用于在基于所述处理偏移量、所述写入偏移量和所述消息处理速度，计算当前统计周期内所述目标消费任务的处理时延之后，基于所述消息处理速度，计算各个统计周期内所述目标消费任务的处理加速比；其中，一个统计周期内的处理加速比表示：该统计周期内所述目标消费任务的消息处理速度，相对于前一统计周期内所述目标消费任务的消息处理速度的变化率；
第二处理模块，用于如果满足第一预设条件，则确定基于第三资源调整策略调整所述目标消费任务所占用的资源；其中，所述第三资源调整策略包括：按照第三预设比值释放已为所述目标消费任务分配的资源；
所述第一预设条件包括以下任一项：
当前统计周期内的平衡时延小于第一时长阈值，且当前统计周期内的处理时延大于第二时长阈值，所述第二时长阈值大于所第一时长阈值；
当前统计周期内的平衡时延小于第一时长阈值、当前统计周期内所述目标消费任务处理的消息的数量小于预设数目，且当前统计周期之前的第二历史时间段内的处理加速比逐渐降低至-1；
当前统计周期内的平衡时延小于第一时长阈值、当前统计周期内所述目标消费任务处理的消息的数量小于预设数目、当前统计周期之前的第二历史时间段内的处理加速比逐渐减小，且当前统计周期之前的第三历史时间段内的处理加速比在[-1，0]的范围内振荡变化，其中，所述第三历史时间段晚于所述第二历史时间段，且与所述第二历史时间段相邻。
可选的，所述装置还包括：
判断模块，用于在基于所述消息处理速度，计算各个统计周期内所述目标消费任务的处理加速比之后，判断是否满足第二预设条件，所述第二预设条件包括以下任一项：
当前统计周期之前的第四历史时间段内的处理加速比不小于0；当前统计周期之前的第四历史时间段内的处理加速比在[-M，M]的范围内振荡变化；当前统计周期内的消息处理速度与目标消息处理速度的差值不小于速度阈值，其中，所述目标消息处理速度为：除当前统计周期外的其他统计周期内的消息处理速度的最大值；
第三处理模块，用于如果满足第二预设条件，则在当前统计周期内的处理时延小于第三时长阈值，且在当前统计周期之前的第四历史时间段内的平衡时延与所述生命周期的比值，小于第四预设比值的情况下，确定基于第四资源调整策略调整所述目标消费任务所占用的资源和/或显示第一提醒消息，以提醒用户提高所述目标分区的消息写入速度；其中，所述第四资源调整策略包括：按照第五预设比值释放已为所述目标消费任务分配的资源；所述第四预设比值小于所述第二预设比值；
第四处理模块，用于如果满足第二预设条件，则在当前统计周期内的平衡时延小于0，且在当前统计周期之前的第四历史时间段内，处理时延逐渐增大，且平衡时延逐渐减小的情况下，确定基于第五资源调整策略调整所述目标消费任务所占用的资源；其中，所述第五资源调整策略包括：按照预设倍数增加为所述目标消费任务分配的资源。
可选的，所述装置还包括：
起始偏移量获取模块，用于在获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量之后，针对每一统计周期，获取该统计周期内所述目标分区中有效消息的起始偏移量；其中，所述有效消息表示未达到生命周期的消息；
有效消息量计算模块，用于基于所述起始偏移量和所述写入偏移量，计算该统计周期所述目标分区的有效消息量；
第五处理模块，用于在所述目标分区中存储的消息不存在生命周期的情况下，基于各个统计周期的有效消息量的变化情况，确定有效消息量保持不变的第五历史时间段，并显示包含所述第五历史时间段的第二提醒消息；
第六处理模块，用于在所述目标分区中存储的消息存在生命周期的情况下，基于各个统计周期的有效消息量的变化情况，确定有效消息量的变化率大于预设变化率的第六历史时间段，并显示包含所述第六历史时间段的第三提醒消息。
本申请实施例还提供了一种电子设备，如图16所示，包括处理器1601、通信接口1602、存储器1603和通信总线1604，其中，处理器1601，通信接口1602，存储器1603通过通信总线1604完成相互间的通信，
存储器1603，用于存放计算机程序；
处理器1601，用于执行存储器1603上所存放的程序时，实现如下步骤：
确定目标消费任务在目标集群中对应的分区，作为目标分区；
针对预设的每一统计周期，确定该统计周期内所述目标分区中所述目标消费任务最后处理的消息的偏移量，作为处理偏移量；
计算该统计周期的处理偏移量与前一统计周期的处理偏移量之间的差值，作为偏移量差值；
计算所述偏移量差值与该统计周期的时长的比值，作为该统计周期内所述目标消费任务处理消息的消息处理速度；
基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本申请实施例提供的资源调整策略确定方法。
具体的，上述资源调整策略确定方法，包括：
确定目标消费任务在目标集群中对应的分区，作为目标分区；
针对预设的每一统计周期，确定该统计周期内所述目标分区中所述目标消费任务最后处理的消息的偏移量，作为处理偏移量；
计算该统计周期的处理偏移量与前一统计周期的处理偏移量之间的差值，作为偏移量差值；
计算所述偏移量差值与该统计周期的时长的比值，作为该统计周期内所述目标消费任务处理消息的消息处理速度；
基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略。
需要说明的是，上述资源调整策略确定方法的其他实现方式与前述方法实施例部分相同，这里不再赘述。
本申请实施例还提供了另一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本申请实施例提供的资源调整策略确定方法。
具体的，上述资源调整策略确定方法，包括：
确定目标消费任务在目标集群中对应的分区，作为目标分区；
针对预设的每一统计周期，确定该统计周期内所述目标分区中所述目标消费任务最后处理的消息的偏移量，作为处理偏移量；
计算该统计周期的处理偏移量与前一统计周期的处理偏移量之间的差值，作为偏移量差值；
计算所述偏移量差值与该统计周期的时长的比值，作为该统计周期内所述目标消费任务处理消息的消息处理速度；
基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略。
需要说明的是，上述资源调整策略确定方法的其他实现方式与前述方法实施例部分相同，这里不再赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (12)

1.一种资源调整策略确定方法，其特征在于，所述方法包括：
确定目标消费任务在目标集群中对应的分区，作为目标分区；
针对预设的每一统计周期，确定该统计周期内所述目标分区中所述目标消费任务最后处理的消息的偏移量，作为处理偏移量；
计算该统计周期的处理偏移量与前一统计周期的处理偏移量之间的差值，作为偏移量差值；
计算所述偏移量差值与该统计周期的时长的比值，作为该统计周期内所述目标消费任务处理消息的消息处理速度；
基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略；
在基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略之前，所述方法还包括：
获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量；
所述基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略，包括：
基于所述处理偏移量、所述写入偏移量和所述消息处理速度，计算当前统计周期内所述目标消费任务的平衡时延，其中，一个统计周期内的平衡时延表示：基于该统计周期内所述目标分区的消息写入速度和消息处理速度，所述目标消费任务达到处理瓶颈的时长；
如果当前统计周期内的平衡时延为0，且当前统计周期之前的第一历史时间段内所述目标消费任务提交的消息的偏移量不变，则确定基于第一资源调整策略调整所述目标消费任务所占用的资源，其中，所述第一资源调整策略包括：按照第一预设比值释放已为所述目标消费任务分配的资源。
2.根据权利要求1所述的方法，其特征在于，在获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量之后，所述方法还包括：
基于所述处理偏移量、所述写入偏移量和所述消息处理速度，计算当前统计周期内所述目标消费任务的处理时延，其中，一个统计周期内的处理时延表示：所述目标消费任务以该统计周期内的消息处理速度处理完所述目标分区中的待处理消息所需的时长；
如果当前统计周期内的平衡时延与所述目标分区中消息的生命周期的比值，大于第二预设比值，且当前统计周期内的处理时延不大于所述生命周期，则确定基于第二资源调整策略调整所述目标消费任务所占用的资源；其中，所述第二资源调整策略包括：保持已为所述目标消费任务分配的资源不变。
3.根据权利要求2所述的方法，其特征在于，在基于所述处理偏移量、所述写入偏移量和所述消息处理速度，计算当前统计周期内所述目标消费任务的处理时延之后，所述方法还包括：
基于所述消息处理速度，计算各个统计周期内所述目标消费任务的处理加速比；其中，一个统计周期内的处理加速比表示：该统计周期内所述目标消费任务的消息处理速度，相对于前一统计周期内所述目标消费任务的消息处理速度的变化率；
如果满足第一预设条件，则确定基于第三资源调整策略调整所述目标消费任务所占用的资源；其中，所述第三资源调整策略包括：按照第三预设比值释放已为所述目标消费任务分配的资源；
所述第一预设条件包括以下任一项：
当前统计周期内的平衡时延小于第一时长阈值，且当前统计周期内的处理时延大于第二时长阈值，所述第二时长阈值大于所第一时长阈值；
当前统计周期内的平衡时延小于第一时长阈值、当前统计周期内所述目标消费任务处理的消息的数量小于预设数目，且当前统计周期之前的第二历史时间段内的处理加速比逐渐降低至-1；
当前统计周期内的平衡时延小于第一时长阈值、当前统计周期内所述目标消费任务处理的消息的数量小于预设数目、当前统计周期之前的第二历史时间段内的处理加速比逐渐减小，且当前统计周期之前的第三历史时间段内的处理加速比在[-1，0]的范围内振荡变化，其中，所述第三历史时间段晚于所述第二历史时间段，且与所述第二历史时间段相邻。
4.根据权利要求3所述的方法，其特征在于，在基于所述消息处理速度，计算各个统计周期内所述目标消费任务的处理加速比之后，所述方法还包括：
判断是否满足第二预设条件，所述第二预设条件包括以下任一项：
当前统计周期之前的第四历史时间段内的处理加速比不小于0；当前统计周期之前的第四历史时间段内的处理加速比在[-M，M]的范围内振荡变化；当前统计周期内的消息处理速度与目标消息处理速度的差值不小于速度阈值，其中，所述目标消息处理速度为：除当前统计周期外的其他统计周期内的消息处理速度的最大值；
如果满足第二预设条件，则在当前统计周期内的处理时延小于第三时长阈值，且在当前统计周期之前的第四历史时间段内的平衡时延与所述生命周期的比值，小于第四预设比值的情况下，确定基于第四资源调整策略调整所述目标消费任务所占用的资源和/或显示第一提醒消息，以提醒用户提高所述目标分区的消息写入速度；其中，所述第四资源调整策略包括：按照第五预设比值释放已为所述目标消费任务分配的资源；所述第四预设比值小于所述第二预设比值；
如果满足第二预设条件，则在当前统计周期内的平衡时延小于0，且在当前统计周期之前的第四历史时间段内，处理时延逐渐增大，且平衡时延逐渐减小的情况下，确定基于第五资源调整策略调整所述目标消费任务所占用的资源；其中，所述第五资源调整策略包括：按照预设倍数增加为所述目标消费任务分配的资源。
5.根据权利要求1所述的方法，其特征在于，在获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量之后，所述方法还包括：
针对每一统计周期，获取该统计周期内所述目标分区中有效消息的起始偏移量；其中，所述有效消息表示未达到生命周期的消息；
基于所述起始偏移量和所述写入偏移量，计算该统计周期所述目标分区的有效消息量；
在所述目标分区中存储的消息不存在生命周期的情况下，基于各个统计周期的有效消息量的变化情况，确定有效消息量保持不变的第五历史时间段，并显示包含所述第五历史时间段的第二提醒消息；
在所述目标分区中存储的消息存在生命周期的情况下，基于各个统计周期的有效消息量的变化情况，确定有效消息量的变化率大于预设变化率的第六历史时间段，并显示包含所述第六历史时间段的第三提醒消息。
6.一种资源调整策略确定装置，其特征在于，所述装置包括：
目标分区确定模块，用于确定目标消费任务在目标集群中对应的分区，作为目标分区；
处理偏移量确定模块，用于针对预设的每一统计周期，确定该统计周期内所述目标分区中所述目标消费任务最后处理的消息的偏移量，作为处理偏移量；
偏移量差值计算模块，用于计算该统计周期的处理偏移量与前一统计周期的处理偏移量之间的差值，作为偏移量差值；
消息处理速度计算模块，用于计算所述偏移量差值与该统计周期的时长的比值，作为该统计周期内所述目标消费任务处理消息的消息处理速度；
资源调整策略确定模块，用于基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略；
写入偏移量获取模块，用于在基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略之前，获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量；
所述资源调整策略确定模块，包括：
平衡时延计算子模块，用于基于所述处理偏移量、所述写入偏移量和所述消息处理速度，计算当前统计周期内所述目标消费任务的平衡时延，其中，一个统计周期内的平衡时延表示：基于该统计周期内所述目标分区的消息写入速度和消息处理速度，所述目标消费任务达到处理瓶颈的时长；
资源调整策略确定子模块，用于如果当前统计周期内的平衡时延为0，且当前统计周期之前的第一历史时间段内所述目标消费任务提交的消息的偏移量不变，则确定基于第一资源调整策略调整所述目标消费任务所占用的资源，其中，所述第一资源调整策略包括：按照第一预设比值释放已为所述目标消费任务分配的资源。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
处理时延计算模块，用于在获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量之后，基于所述处理偏移量、所述写入偏移量和所述消息处理速度，计算当前统计周期内所述目标消费任务的处理时延，其中，一个统计周期内的处理时延表示：所述目标消费任务以该统计周期内的消息处理速度处理完所述目标分区中的待处理消息所需的时长；
第一处理模块，用于如果当前统计周期内的平衡时延与所述目标分区中消息的生命周期的比值，大于第二预设比值，且当前统计周期内的处理时延不大于所述生命周期，则确定基于第二资源调整策略调整所述目标消费任务所占用的资源；其中，所述第二资源调整策略包括：保持已为所述目标消费任务分配的资源不变。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
处理加速比计算模块，用于在基于所述处理偏移量、所述写入偏移量和所述消息处理速度，计算当前统计周期内所述目标消费任务的处理时延之后，基于所述消息处理速度，计算各个统计周期内所述目标消费任务的处理加速比；其中，一个统计周期内的处理加速比表示：该统计周期内所述目标消费任务的消息处理速度，相对于前一统计周期内所述目标消费任务的消息处理速度的变化率；
第二处理模块，用于如果满足第一预设条件，则确定基于第三资源调整策略调整所述目标消费任务所占用的资源；其中，所述第三资源调整策略包括：按照第三预设比值释放已为所述目标消费任务分配的资源；
所述第一预设条件包括以下任一项：
当前统计周期内的平衡时延小于第一时长阈值，且当前统计周期内的处理时延大于第二时长阈值，所述第二时长阈值大于所第一时长阈值；
当前统计周期内的平衡时延小于第一时长阈值、当前统计周期内所述目标消费任务处理的消息的数量小于预设数目，且当前统计周期之前的第二历史时间段内的处理加速比逐渐降低至-1；
当前统计周期内的平衡时延小于第一时长阈值、当前统计周期内所述目标消费任务处理的消息的数量小于预设数目、当前统计周期之前的第二历史时间段内的处理加速比逐渐减小，且当前统计周期之前的第三历史时间段内的处理加速比在[-1，0]的范围内振荡变化，其中，所述第三历史时间段晚于所述第二历史时间段，且与所述第二历史时间段相邻。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
判断模块，用于在基于所述消息处理速度，计算各个统计周期内所述目标消费任务的处理加速比之后，判断是否满足第二预设条件，所述第二预设条件包括以下任一项：
当前统计周期之前的第四历史时间段内的处理加速比不小于0；当前统计周期之前的第四历史时间段内的处理加速比在[-M，M]的范围内振荡变化；当前统计周期内的消息处理速度与目标消息处理速度的差值不小于速度阈值，其中，所述目标消息处理速度为：除当前统计周期外的其他统计周期内的消息处理速度的最大值；
第三处理模块，用于如果满足第二预设条件，则在当前统计周期内的处理时延小于第三时长阈值，且在当前统计周期之前的第四历史时间段内的平衡时延与所述生命周期的比值，小于第四预设比值的情况下，确定基于第四资源调整策略调整所述目标消费任务所占用的资源和/或显示第一提醒消息，以提醒用户提高所述目标分区的消息写入速度；其中，所述第四资源调整策略包括：按照第五预设比值释放已为所述目标消费任务分配的资源；所述第四预设比值小于所述第二预设比值；
第四处理模块，用于如果满足第二预设条件，则在当前统计周期内的平衡时延小于0，且在当前统计周期之前的第四历史时间段内，处理时延逐渐增大，且平衡时延逐渐减小的情况下，确定基于第五资源调整策略调整所述目标消费任务所占用的资源；其中，所述第五资源调整策略包括：按照预设倍数增加为所述目标消费任务分配的资源。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
起始偏移量获取模块，用于在获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量之后，针对每一统计周期，获取该统计周期内所述目标分区中有效消息的起始偏移量；其中，所述有效消息表示未达到生命周期的消息；
有效消息量计算模块，用于基于所述起始偏移量和所述写入偏移量，计算该统计周期所述目标分区的有效消息量；
第五处理模块，用于在所述目标分区中存储的消息不存在生命周期的情况下，基于各个统计周期的有效消息量的变化情况，确定有效消息量保持不变的第五历史时间段，并显示包含所述第五历史时间段的第二提醒消息；
第六处理模块，用于在所述目标分区中存储的消息存在生命周期的情况下，基于各个统计周期的有效消息量的变化情况，确定有效消息量的变化率大于预设变化率的第六历史时间段，并显示包含所述第六历史时间段的第三提醒消息。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
CN202011027178.7A 2020-09-25 2020-09-25 一种资源调整策略确定方法和装置 Active CN112131005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011027178.7A CN112131005B (zh) 2020-09-25 2020-09-25 一种资源调整策略确定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011027178.7A CN112131005B (zh) 2020-09-25 2020-09-25 一种资源调整策略确定方法和装置

Publications (2)

Publication Number Publication Date
CN112131005A CN112131005A (zh) 2020-12-25
CN112131005B true CN112131005B (zh) 2022-09-20

Family

ID=73840425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011027178.7A Active CN112131005B (zh) 2020-09-25 2020-09-25 一种资源调整策略确定方法和装置

Country Status (1)

Country Link
CN (1) CN112131005B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113110926A (zh) * 2021-04-19 2021-07-13 上海华兴数字科技有限公司 数据消费线程的动态调整方法、装置、介质及电子设备
CN113590319B (zh) * 2021-07-28 2024-07-19 北京金山云网络技术有限公司 一种消息队列的计算资源负载均衡方法及装置
CN114116214A (zh) * 2021-11-24 2022-03-01 南京苏宁电子信息技术有限公司 Flink任务处理的资源调整方法、装置、设备和存储介质
CN116233017B (zh) * 2022-12-23 2024-06-04 中国联合网络通信集团有限公司 时延保证方法、装置及存储介质
CN117112236B (zh) * 2023-10-23 2024-02-20 山东曙光照信息技术股份有限公司 基于数据涌流及波动性预测的辖区服务器配置方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533362A (zh) * 2009-04-15 2009-09-16 南京联创科技股份有限公司 进程间cpu资源平衡调度方法
CN103810045A (zh) * 2012-11-09 2014-05-21 阿里巴巴集团控股有限公司 资源分配方法、资源管理器、资源服务器及系统
CN110502402A (zh) * 2019-08-28 2019-11-26 中国联合网络通信集团有限公司 消息处理方法、设备及终端设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533362A (zh) * 2009-04-15 2009-09-16 南京联创科技股份有限公司 进程间cpu资源平衡调度方法
CN103810045A (zh) * 2012-11-09 2014-05-21 阿里巴巴集团控股有限公司 资源分配方法、资源管理器、资源服务器及系统
CN110502402A (zh) * 2019-08-28 2019-11-26 中国联合网络通信集团有限公司 消息处理方法、设备及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"一种新的网络负载均衡优化机制";王波;《信息通信技术》;20121015(第5期);全文 *

Also Published As

Publication number Publication date
CN112131005A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112131005B (zh) 一种资源调整策略确定方法和装置
US11734271B2 (en) Data query method, apparatus and device
CN111813513B (zh) 基于分布式的实时任务调度方法、装置、设备及介质
US10459915B2 (en) Managing queries
CN111061758B (zh) 数据存储方法、装置及存储介质
CN108243032B (zh) 一种服务等级信息的获取方法、装置及设备
CN110990138A (zh) 资源调度方法、装置、服务器及存储介质
US10860497B2 (en) Method, apparatus, and system for caching data
CN101197786B (zh) 缓存管理方法和缓存管理系统
CN104102646B (zh) 数据处理的方法、装置及系统
US8082342B1 (en) Discovery of short-term and emerging trends in computer network traffic
CN110750498B (zh) 对象访问方法、装置及存储介质
CN109150819B (zh) 一种攻击识别方法及其识别系统
CN116225651A (zh) 一种处理器调度方法、装置、设备及机器可读存储介质
CN116303604A (zh) 数据分发方法及系统
WO2022266975A1 (zh) 一种毫秒级时序流数据精准切片方法
CN110209645A (zh) 任务处理方法、装置、电子设备及存储介质
JP3688286B2 (ja) 情報記憶制御装置及び情報記憶制御方法及び情報記憶制御プログラム
TW202027480A (zh) 自動調節無伺服器程式之系統與其方法
CN113381941B (zh) 一种任务调度方法、装置、电子设备和计算机存储介质
CN115576969B (zh) 一种并行执行数据库任务的方法、装置、介质及设备
JP2009104373A (ja) 並列計算機システム、情報処理装置、ジョブ管理方法、およびジョブ管理プログラム
CN118626448B (zh) 一种基于定时聚合的大数据日志查询方法及装置
US11954039B2 (en) Caching system and method
CN116708315B (zh) 流量限速方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant