CN113626163A - 一种轻量级分布式增量自调度方法、系统、设备和介质 - Google Patents

一种轻量级分布式增量自调度方法、系统、设备和介质 Download PDF

Info

Publication number
CN113626163A
CN113626163A CN202110816167.5A CN202110816167A CN113626163A CN 113626163 A CN113626163 A CN 113626163A CN 202110816167 A CN202110816167 A CN 202110816167A CN 113626163 A CN113626163 A CN 113626163A
Authority
CN
China
Prior art keywords
message
layer
data
extraction
updated data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110816167.5A
Other languages
English (en)
Inventor
夏红波
郭继菁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Fanyu Information Technology Co ltd
Original Assignee
Shanghai Fanyu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Fanyu Information Technology Co ltd filed Critical Shanghai Fanyu Information Technology Co ltd
Priority to CN202110816167.5A priority Critical patent/CN113626163A/zh
Publication of CN113626163A publication Critical patent/CN113626163A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供的一种轻量级分布式增量自调度方法、系统、设备和介质，通过生产者定时根据相应的任务配置增量轮询数据源的变化，以获取发生更新的数据，并对更新数据分批提取至消息层；消息层中实时更新消息队列；所述消息队列中包含对应不同消费者的消息组，提取至消息层的更新数据被平均分配至各个消息组中；每个消息包含有唯一标识；一或多个消费者根据相应的任务配置，依据各消息的唯一标识从各自指定的消息组中提取消息并进行消费，以供将消息传给下游服务完成业务操作。本申请能够有效的把业务实现和业务系统隔离开来，使得在不影响正常业务逻辑的情况下灵活快速的响应业务需求。

Description

一种轻量级分布式增量自调度方法、系统、设备和介质
技术领域
本发明涉及分布式增量自调度技术领域，特别是涉及一种轻量级分布式增量自调度方法、系统、设备和介质。
背景技术
一般情况下，监听和轮询是常规的2种获取动态/静态数据变化的解决方案，其适用对象大多为对调度时效性要求不太高的中小型公司或部门，在要求能够快速响应业务需求时常采用该方案实现。
对于轮询方案来说，由于无论数据源是否变动，都要周期性定时轮询查看数据源是否变化，因为有周期性存在，所以会导致数据源变化时实时性处理效率不高；当在数据源没有发生改变的情况下，轮询的周期性会导致重复的资源消耗。
因此，亟需解决常规轮询周期性处理任务影响效率和资源分配的问题。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种轻量级分布式增量自调度方法、系统、设备和介质，以解决现有技术常规轮询周期性处理任务影响效率和资源分配的问题。
为实现上述目的及其他相关目的，本申请提供一种轻量级分布式增量自调度方法，所述方法包括：生产者定时根据相应的任务配置增量轮询数据源的变化，以获取发生更新的数据，并对更新数据分批提取至消息层；消息层中实时更新消息队列；所述消息队列中包含对应不同消费者的消息组，提取至消息层的更新数据被平均分配至各个消息组中；每个消息包含有唯一标识；一或多个消费者根据相应的任务配置，依据各消息的唯一标识从各自指定的消息组中提取消息并进行消费，以供将消息传给下游服务完成业务操作。
于本申请的一实施例中，所述方法包括：分批提取更新数据时，记录每次提取操作的提取信息，以供下次提取时从上一提取结束位置继续开始提取；其中，所述提取信息包含：提取位置、提取数量、及提取时间中任意一种或多种。
于本申请的一实施例中，所述对获取的更新数据分批提取的方式包括以下任意一种或多种：按获取的先后顺序依次提取；按生产者或消费者对应的任务配置筛选提取；依据更新数据的优先级高低依次提取；依据更新数据的实时性要求不同分别提取。
于本申请的一实施例中，所述唯一标识是依据各消息对应的更新数据所属的数据源所标记的具有唯一性的标识符。
于本申请的一实施例中，所述消息层中实时更新消息队列，包括：消息层实时判断消息队列中各消息是否被消费成功；若所述消息被消费成功，则将该消息标记为已消费，以供被消息层更新时删除；若所述消息未消费成功，则在消息层更新时保留，直到该消息被正确消费完成。
于本申请的一实施例中，所述方法还包括：所述生产者根据消费者数量，将每批获取的更新数据平均分配至消息层中分别对应不同消费者的消息组中，以供加快消息处理速度。
于本申请的一实施例中，所述数据源包括：搜索引擎、DB、及API中任意一种。
为实现上述目的及其他相关目的，本申请提供一种轻量级分布式增量自调度方法系统，所述系统包括：生产者，用于生产者定时根据相应的任务配置增量轮询数据源的变化，以获取发生更新的数据，并对更新数据分批提取至消息层；消息层，用于消息层中实时更新消息队列；所述消息队列中包含对应不同消费者的消息组，提取至消息层的更新数据被平均分配至各个消息组中；每个消息包含有唯一标识；一或多个消费者，用于根据相应的任务配置，依据各消息的唯一标识从各自指定的消息组中提取消息并进行消费，以供将消息传给下游服务完成业务操作。
为实现上述目的及其他相关目的，本申请提供一种计算机设备，所述设备包括：所述设备包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述的方法；所述通信器与外部设备通信连接，以获取数据源或将消息传给下游服务。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机指令，所述计算机指令被运行时执行如上所述的方法。
综上所述，本申请的一种轻量级分布式增量自调度方法、系统、设备和介质，通过生产者定时根据相应的任务配置增量轮询数据源的变化，以获取发生更新的数据，并对更新数据分批提取至消息层；消息层中实时更新消息队列；所述消息队列中包含对应不同消费者的消息组，提取至消息层的更新数据被平均分配至各个消息组中；每个消息包含有唯一标识；一或多个消费者根据相应的任务配置，依据各消息的唯一标识从各自指定的消息组中提取消息并进行消费，以供将消息传给下游服务完成业务操作。
具有以下有益效果：
本申请能够有效的把业务实现和业务系统隔离开来，使得在不影响正常业务逻辑的情况下灵活快速的响应业务需求。
附图说明
图1显示为本申请于一实施例中轻量级分布式增量自调度方法的流程示意图。
图2显示为本申请于一实施例中轻量级分布式增量自调度系统的框架示意图。
图3显示为本申请于一实施例中计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，虽然图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，但其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在通篇说明书中，当说某部分与另一部分“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部分“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素，排除在外，而是意味着可以还包括其它构成要素。
其中提到的第一、第二及第三等术语是为了说明多样的部分、成分、区域、层及/或段而使用的，但并非限定于此。这些术语只用于把某部分、成分、区域、层或段区别于其它部分、成分、区域、层或段。因此，以下叙述的第一部分、成分、区域、层或段在不超出本申请范围的范围内，可以言及到第二部分、成分、区域、层或段。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
针对常规轮询周期性处理任务影响效率和资源分配的问题，本申请提出了一种轻量级分布式增量自调度方法、系统、设备和介质，该调度方案能够有效的把业务实现和业务系统隔离开来，使得在不影响正常业务逻辑的情况下灵活快速的响应业务需求。
如图1所示，展示为本申请一实施例中的轻量级分布式增量自调度方法的流程示意图。
如图所示，所述方法包括：
步骤S101：生产者定时根据相应的任务配置增量轮询数据源的变化，以获取发生更新的数据，并对更新数据分批提取至消息层。
需要说明的是，本申请增量轮询与常见全量轮询不同的是，本申请只针对变化或更新的增量数据进行轮询。另外，生产者中每个任务都会有自己相应的任务配置，具体如何增量轮询则根据任务配置执行，例如获取数据源A的数据，或者获取价格信息数据等等。
于本实施例中，所述数据源包括但不限于：搜索引擎(ElasticSearch)、DB、及应用程序接口API中任意一种。
举例来说，如酒店服务类的门户网站，每天有上千表，累计十多亿数据更新，每天有将近百万次数据查询请求，用户可以从粗粒度国家省份城市汇总不断下钻到酒店，房型粒度的数据。
而本申请每次轮询获取的更新数据实际上也可能是上亿的，而如此巨量的数据依次性放入消息层构成消息队列显然是很困难或无法实现的。因此，本申请针对每次轮询获取的更新数据采取分批提取。
其中，为了实现连贯准确的分配提取，本申请在分批提取更新数据时，记录每次提取操作的提取信息，以供下次提取时从上一提取结束位置继续开始提取；其中，所述提取信息包含：提取位置、提取数量、及提取时间中任意一种或多种。
举例来说，上次提取的结束位置为A，或者提取了B个数据，或者数据被提取节点时间为C，而依据ABC中一个或多个可准确找到上次提取数据，进而可以找到结束位置，以便下次提取时从该结束位置继续开始提取。
于本实施例中，所述对获取的更新数据分批提取的方式包括以下任意一种或多种：
A、按获取的先后顺序依次提取；
B、按生产者或消费者对应的任务配置筛选提取；
C、依据更新数据的优先级高低依次提取；
D、依据更新数据的实时性要求不同分别提取。
举例来说，当获取的更新数据对于消费者来说区别不大，那么便可以按照正常的获取的先后顺序依次提取，而如果生产者或消费者的任务配置，或者所更新的数据存在不同优先级或者实时性要求时，那么便可以根据特殊需求对更新数据进行对应方式的提取，以便提高消息处理速度。
于本实施例中，所述方法还包括：所述生产者根据消费者数量，将每批获取的更新数据平均分配至消息层中分别对应不同消费者的消息组中，以供加快消息处理速度。
例如，一个A任务，生产者producor生产了10条数据，此时有2个消费者Consumer，则本申请会把10条数据分成两个5条数据，其中5条放到消息层中对应第一个消费者的消息组A，另外5条放到消息层中对应第一个消费者的消息组B，这样每个消费者Consumer各自消费各自对应消息组的数据，可以加快消息处理速度。
步骤S102：消息层中实时更新消息队列；所述消息队列中包含对应不同消费者的消息组，提取至消息层的更新数据被平均分配至各个消息组中；每个消息包含有唯一标识。
于本实施例中，所述唯一标识是依据各消息对应的更新数据所属的数据源所标记的具有唯一性的标识符。例如ItemKey或Row数据等。
于本实施例中，所述消息层中实时更新消息队列，包括：消息层实时判断消息队列中各消息是否被消费成功；若所述消息被消费成功，则将该消息标记为已消费，以供被消息层更新时删除；若所述消息未消费成功，则在消息层更新时保留，会在下次调度中重新消费，直到该消息被正确消费完成。
步骤S103：一或多个消费者根据相应的任务配置，依据各消息的唯一标识从各自指定的消息组中提取消息并进行消费，以供将消息传给下游服务完成业务操作。
举例来说，每个消费者Consumer只消费自己指定的消息Message，根据任务配置，每个消费者Consumer会把消息发送给下游服务(如搜索引擎(ElasticSearch)、API等)完成业务操作。
在常规的业务发展过程中，一般都存在以下场景：监听数据变化，做业务操作；定期执行某些业务操作；到期执行某些业务操作。一般都是将新增业务逻辑写入到业务系统中来实现，还必须要考虑失败后重试机制来解决，这样的话就会导致业务系统越来越臃肿和脆弱。
为解决常规轮询周期性处理任务影响效率和资源分配的问题，本申请提出的一种轻量级分布式增量自调度方法，一方面通过增量轮询来获取更新数据，在通过分批提取以及根据消费者数量平分数据，再由消费者根据唯一标识来消费各自指定消息，从而大大提高了数据处理的灵活性和消息处理速度。本申请能够有效的把业务实现和业务系统隔离开来，使得在不影响正常业务逻辑的情况下灵活快速的响应业务需求。
如图2所示，展示为本申请一实施例中的轻量级分布式增量自调度系统的框架示意图。
如图所示，所述系统包括：
生产者210，用于定时根据相应的任务配置增量轮询数据源的变化，以获取发生更新的数据，并对更新数据分批提取至消息层；
消息层220，用于实时更新消息队列；提取至消息层中每一更新数据构成一消息，每个消息包含有唯一标识；
一或多个消费者230，用于根据相应的任务配置，从消息层中依据各消息的位移标识来提取各自指定的消息并进行消费，以供将消息传给下游服务完成业务操作。
需要说明的是，上述系统各模块/单元之间的信息交互、执行过程等内容，由于与本申请所述方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
还需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，各个模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述系统的存储器中，由上述装置的某一个处理元件调用并执行以上各个模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)；或，一个或多个微处理器(digital signal processor，简称DSP)；或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等；再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器；再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图3所示，展示为本申请于一实施例中的计算机设备的结构示意图。如图所示，所述计算机设备300包括：存储器301、处理器302、及通信器303；所述存储器301用于存储计算机指令；所述处理器302运行计算机指令实现如图1所述的方法。所述通信器303与外部设备通信连接，以获取数据源或将消息传给下游服务。
在一些实施例中，所述计算机设备300中的所述存储器301的数量均可以是一或多个，所述处理器302的数量均可以是一或多个，而图3中均以一个为例。
于本申请一实施例中，所述计算机设备300中的处理器302会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器301中，并由处理器302来运行存储在存储器301中的应用程序，从而实现如图1所述的方法。
所述存储器301可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述存储器301存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
所述处理器302可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
所述通信器303用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信连接。所述通信器303可包含一组或多组不同通信方式的模块，例如，与CAN总线通信连接的CAN通信模块。所述通信连接可以是一个或多个有线/无线通讯方式及其组合。通信方式包括：互联网、CAN、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。例如：WIFI、蓝牙、NFC、GPRS、GSM、及以太网中任意一种及多种组合。
在一些具体的应用中，所述计算机设备300的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见，在图3中将各种总线都成为总线系统。
于本申请的一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
综上所述，本申请提供的一种轻量级分布式增量自调度方法、系统、设备和介质，通过生产者定时根据相应的任务配置增量轮询数据源的变化，以获取发生更新的数据，并对更新数据分批提取至消息层；消息层中实时更新消息队列；所述消息队列中包含对应不同消费者的消息组，提取至消息层的更新数据被平均分配至各个消息组中；每个消息包含有唯一标识；一或多个消费者根据相应的任务配置，依据各消息的唯一标识从各自指定的消息组中提取消息并进行消费，以供将消息传给下游服务完成业务操作。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种轻量级分布式增量自调度方法，其特征在于，所述方法包括：
生产者定时根据相应的任务配置增量轮询数据源的变化，以获取发生更新的数据，并对更新数据分批提取至消息层；
消息层中实时更新消息队列；所述消息队列中包含对应不同消费者的消息组，提取至消息层的更新数据被平均分配至各个消息组中；每个消息包含有唯一标识；
一或多个消费者根据相应的任务配置，依据各消息的唯一标识从各自指定的消息组中提取消息并进行消费，以供将消息传给下游服务完成业务操作。
2.根据权利要求1所述的方法，其特征在于，所述方法包括：
分批提取更新数据时，记录每次提取操作的提取信息，以供下次提取时从上一提取结束位置继续开始提取；其中，所述提取信息包含：提取位置、提取数量、及提取时间中任意一种或多种。
3.根据权利要求1所述的方法，其特征在于，所述对获取的更新数据分批提取的方式包括以下任意一种或多种：
按获取的先后顺序依次提取；
按生产者或消费者对应的任务配置筛选提取；
依据更新数据的优先级高低依次提取；
依据更新数据的实时性要求不同分别提取。
4.根据权利要求1所述的方法，其特征在于，所述唯一标识是依据各消息对应的更新数据所属的数据源所标记的具有唯一性的标识符。
5.根据权利要求1所述的方法，其特征在于，所述消息层中实时更新消息队列，包括：
消息层实时判断消息队列中各消息是否被消费成功；
若所述消息被消费成功，则将该消息标记为已消费，以供被消息层更新时删除；若所述消息未消费成功，则在消息层更新时保留，直到该消息被正确消费完成。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述生产者根据消费者数量，将每批获取的更新数据平均分配至消息层中分别对应不同消费者的消息组中，以供加快消息处理速度。
7.根据权利要求1所述的方法，其特征在于，所述数据源包括：搜索引擎、DB、及API中任意一种。
8.一种轻量级分布式增量自调度系统，其特征在于，所述系统包括：
生产者，用于生产者定时根据相应的任务配置增量轮询数据源的变化，以获取发生更新的数据，并对更新数据分批提取至消息层；
消息层，用于消息层中实时更新消息队列；所述消息队列中包含对应不同消费者的消息组，提取至消息层的更新数据被平均分配至各个消息组中；每个消息包含有唯一标识；
一或多个消费者，用于根据相应的任务配置，依据各消息的唯一标识从各自指定的消息组中提取消息并进行消费，以供将消息传给下游服务完成业务操作。
9.一种计算机设备，其特征在于，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求1至7中任意一项所述的方法；所述通信器与外部设备通信连接，以获取数据源或将消息传给下游服务。
10.一种计算机可读存储介质，其特征在于，存储有计算机指令，所述计算机指令被运行时执行如权利要求1至7中任一项所述的方法。
CN202110816167.5A 2021-07-20 2021-07-20 一种轻量级分布式增量自调度方法、系统、设备和介质 Pending CN113626163A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110816167.5A CN113626163A (zh) 2021-07-20 2021-07-20 一种轻量级分布式增量自调度方法、系统、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110816167.5A CN113626163A (zh) 2021-07-20 2021-07-20 一种轻量级分布式增量自调度方法、系统、设备和介质

Publications (1)

Publication Number Publication Date
CN113626163A true CN113626163A (zh) 2021-11-09

Family

ID=78380224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110816167.5A Pending CN113626163A (zh) 2021-07-20 2021-07-20 一种轻量级分布式增量自调度方法、系统、设备和介质

Country Status (1)

Country Link
CN (1) CN113626163A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114296910A (zh) * 2021-12-02 2022-04-08 武汉物易云通网络科技有限公司 一种多分区队列顺序消费方法和装置
CN117608877A (zh) * 2023-11-29 2024-02-27 广州方舟信息科技有限公司 一种数据传输方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506978A (zh) * 2020-12-15 2021-03-16 中国联合网络通信集团有限公司 大数据实时处理方法、装置和设备
CN112732731A (zh) * 2020-12-29 2021-04-30 京东数字科技控股股份有限公司 业务数据的消费方法、装置、电子设备和可读存储介质
CN113111129A (zh) * 2021-04-16 2021-07-13 挂号网（杭州）科技有限公司 数据同步方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506978A (zh) * 2020-12-15 2021-03-16 中国联合网络通信集团有限公司 大数据实时处理方法、装置和设备
CN112732731A (zh) * 2020-12-29 2021-04-30 京东数字科技控股股份有限公司 业务数据的消费方法、装置、电子设备和可读存储介质
CN113111129A (zh) * 2021-04-16 2021-07-13 挂号网（杭州）科技有限公司 数据同步方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114296910A (zh) * 2021-12-02 2022-04-08 武汉物易云通网络科技有限公司 一种多分区队列顺序消费方法和装置
CN114296910B (zh) * 2021-12-02 2022-11-22 武汉物易云通网络科技有限公司 一种多分区队列顺序消费方法和装置
CN117608877A (zh) * 2023-11-29 2024-02-27 广州方舟信息科技有限公司 一种数据传输方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US10389602B2 (en) Automated feature deployment for active analytics microservices
US10146599B2 (en) System and method for a generic actor system container application
US20220004480A1 (en) Log data collection method, log data collection device, storage medium, and log data collection system
US20180253335A1 (en) Maintaining throughput of a stream processing framework while increasing processing load
US20140358844A1 (en) Workflow controller compatibility
CN111339073A (zh) 实时数据处理方法、装置、电子设备及可读存储介质
CN109831478A (zh) 基于规则及模型的分布式实时处理智能决策系统及方法
CN113626163A (zh) 一种轻量级分布式增量自调度方法、系统、设备和介质
CN112905323B (zh) 数据处理方法、装置、电子设备及存储介质
US20140379632A1 (en) Smarter big data processing using collaborative map reduce frameworks
CN108768790A (zh) 分布式搜索集群监控方法及装置、计算设备、存储介质
CN112817562A (zh) 业务处理的方法和装置
CN111415129A (zh) 工作流平台及具有该工作流平台的终端设备
CN111143408B (zh) 一种基于业务规则的事件处理方法和装置
WO2023207630A1 (zh) 一种任务求解方法及其装置
CN112817992A (zh) 执行更改任务的方法、装置、电子设备以及可读存储介质
CN115378937B (zh) 任务的分布式并发方法、装置、设备和可读存储介质
CN112070452A (zh) 一种分布式工作流管理系统
CN115617480A (zh) 一种任务调度方法、装置、系统及存储介质
CN115829266A (zh) 跨调度系统的作业协同方法、装置、电子设备和存储介质
CN115658248A (zh) 任务调度方法方法、装置、电子设备及存储介质
CN115408407A (zh) 一种业务协同处理方法、系统、终端及计算机存储介质
US11392424B2 (en) Method and device for aiding decision-making for the allocation of computing means on a high performance computing infrastructure
CN114201508A (zh) 数据处理方法、数据处理装置、电子设备和存储介质
CN113296913A (zh) 基于单集群的数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination