CN113703947A - 一种分布式任务处理系统、方法、计算机设备和存储介质 - Google Patents
一种分布式任务处理系统、方法、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113703947A CN113703947A CN202111021524.5A CN202111021524A CN113703947A CN 113703947 A CN113703947 A CN 113703947A CN 202111021524 A CN202111021524 A CN 202111021524A CN 113703947 A CN113703947 A CN 113703947A
- Authority
- CN
- China
- Prior art keywords
- distributed
- task
- message
- tasks
- handle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 65
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 238000004806 packaging method and process Methods 0.000 claims abstract description 13
- 238000003672 processing method Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及分布式计算技术领域，特别是涉及一种分布式任务处理系统、方法、计算机设备和存储介质，所述分布式任务处理系统包括：任务接入层，用于将接收的任务打包并发送给分布式消息队列；所述分布式消息队列，用于接收所述任务接入层发送的任务；消息队列客户端，所述消息队列客户端设置有若干个，用于从所述消息队列中取出任务并运行相应的算法完成该任务的计算，将计算结果传输到分布式数据库；所述分布式数据库用于存放所述消息队列客户端上传的计算结果以供所述任务接入层获取。本发明提供的分布式任务处理系统利用消息队列将不同运行环境下的任务封装成统一格式的消息，形成了支持多运行环境的任务统一处理框架。
Description
技术领域
本发明涉及分布式计算技术领域，特别是涉及一种分布式任务处理系统、方法、计算机设备和存储介质。
背景技术
现有数据(任务)处理技术如Spark，Flink等框架以数据为中心，程序员根据数据来编写对应的数据处理环境，所使用的框架是单一的。而在深度学习领域，不同的算法可能由不同的框架(如pytor，tensorflow)编写而成，算法的运行环境可能不相同，消息队列如Kafka，RabbitMQ则用来作为分布式消息传输的中间件。
在深度学习领，视频是非常常见的一种输入数据。针对视频的深度学习的不同算法通常运行在不同的框架下，如pytorh，tensorflow等。在一些场景下，针对同一个视频，我们期望可以同时运用多种算法进行预测分类等任务，以同时得到多种不同任务的结果。而将不同的算法迁移到统一框架下会耗费比较大的精力。
现有技术未能提供统一的中间层，无法实现不同框架下的算法集成在同一个任务处理系统，更无法将单机算法程序扩展到多机上，需要解决。
发明内容
基于此，有必要针对上述的问题，提供一种分布式任务处理系统、方法、计算机设备和存储介质。
本发明实施例是这样实现的，一种分布式任务处理系统，所述分布式任务处理系统包括：
任务接入层，用于将接收的任务打包并发送给分布式消息队列；
所述分布式消息队列，用于接收所述任务接入层发送的任务；
消息队列客户端，所述消息队列客户端设置有若干个，用于从所述消息队列中取出任务并运行相应的算法完成该任务的计算，将计算结果传输到分布式数据库；
所述分布式数据库用于存放所述消息队列客户端上传的计算结果以供所述任务接入层获取。
在其中一个实施例中，本发明提供了一种分布式任务处理方法，应用于如本发明所述的任务接入层，所述分布式任务处理方法包括以下步骤：
接收任务，将接收到的任务及其ID打包成一条消息并序列化，其中，不同的算法对应的消息的主题不同；
调用分布式队列的接口将打包得到的消息写入分布式队列；
实时监听所述分布式消息队列的通知消息，根据所述通知消息从所述分布式数据库取出计算结果。
在其中一个实施例中，本发明提供了一种分布式任务处理方法，应用于如本发明所述的消息队列客户端，所述分布式任务处理方法包括以下步骤：
从所述分布式消息队列中获取消息；
将获取的消息反序化得到对算法的输入参数，并从算法数据库中调用对应算法对任务进行运算；
将运算结果写入所述分布式数据库。
在其中一个实施例中，本发明提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述分布式任务处理方法的步骤。
在其中一个实施例中，本发明提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述分布式任务处理方法的步骤。
本申请的技术有益效果包括：
本发明提供的分布式任务处理系统利用消息队列将不同运行环境下的任务封装成统一格式的消息，同时将不同任务通过不同进程隔离开，形成了支持多运行环境的任务统一处理框架，可以运行多种在不同框架下运行的算法。
附图说明
图1为本发明实施例提供的一种分布式任务处理系统的结构框图一；
图2为本发明实施例提供的一种分布式任务处理系统的结构框图二；
图3为一个实施例中计算机设备的内部结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
图1-2为本发明实施例提供的一种分布式任务处理系统的结构框图，所述分布式任务处理系统包括：
任务接入层，用于将接收的任务打包并发送给分布式消息队列；
所述分布式消息队列，用于接收所述任务接入层发送的任务；
消息队列客户端，所述消息队列客户端设置有若干个，用于从所述消息队列中取出任务并运行相应的算法完成该任务的计算，将计算结果传输到分布式数据库；
所述分布式数据库用于存放所述消息队列客户端上传的计算结果以供所述任务接入层获取。
在本发明实施例中，任务接入层接收到计算任务后，通过对任务进行预处理，将任务封装成为统一的消息格式并分发，任务接入层开放了算法的输入接口，具体对应为算法A，算法B等的输入参数。
在本发明实施例中，分布式消息队列为一个中转容器，用于暂存消息。
在本发明实施例中，消息队列客户端设置有多个，多个消息队列客户端之间可以共同完成计算任务，消息队列客户端中存放在算法实例，获取任务后运行相应的算法实例可以对计算任务进行处理并生成处理结果。
在本发明实施例中，分布式数据库可以由多个子数据库构成，每个消息队列客户端可以使用一个或者多个分布式数据库，一个分布式数据库可以由一个或者多个分布式客户端使用。
本发明提供的分布式任务处理系统利用消息队列将不同运行环境下的任务封装成统一格式的消息，同时将不同任务通过不同进程隔离开，形成了支持多运行环境的任务统一处理框架，可以运行多种在不同框架下运行的算法。
在本发明一个实施例中，所述任务接入层包括：
打包单元，用于将接收到的任务及其ID打包成一条消息并序列化，其中，不同的算法对应的消息的主题不同；
写入单元，用于调用分布式队列的接口将打包得到的消息写入分布式队列。
在本发明实施例中，任务接入层将输入的数据和任务ID一起打包成一条消息并序列化，不同算法对应的消息的topic不相同(如算法A的消息对应的topic为topicA，算法B的消息对应的topic为topicB)，并调用分布式消息队列的接口，写入消息队列。
在本发明一个实施例中，所述消息队列客户端包括：
本地调度器，用于从所述分布式消息队列中获取消息，将获取的消息反序化得到对算法的输入参数，并从算法数据库中调用对应算法对任务进行运算，将运算结果写入所述分布式数据库；
算法数据库，用于任务算法的存放。
在本发明实施例中，消息队列客户端将对应的算法消息从消息队列中取出(通过分布式消息队列的topic机制，只运行算法A的实例无法读取调用算法B的消息)，本地调度器将消息反序列化后得到算法A的输入参数，运行算法A实例对任务进行计算并得到计算结果。本地调度器将算法A运行的结果收集并写入分布式数据库。
在本发明实施例中，进一步地，客户端被设置为：1.针对注册的topic进行消费,对未注册的topic不进行消费.2.将已经消费但尚未处理完的任务进行缓存.如果任务处理失败,客户端将任务扔回消息队列.本地调度器调用对应的算法实例.在算法实例完成任务时,将打包好的任务写入数据库,同时写入一条特殊的消息到消息队列,用来通知任务接入层任务已经完成。
在本发明一个实施例中，所述本地调度器还用于生成通知消息，并将所述通知消息发送给所述分布式消息队列；
所述任务接入层还用于从所述分布式消息队列获取所述通知消息，根据所述通知消息从所述分布式数据库获取任务计算结果。
在本发明实施例中，本地调度器将算法A运行的结果收集并写入分布式数据库的同时，将运行完成的消息写入一个特殊的消息队列，该特殊消息队列只用于存放任务完成的消息。任务接入层在提交完任务后监听该消息队列。任务接入层获得任务完成消息通知，从分布式数据库中取出对应的结果，并将结果返回给原始客户端。
在本发明一个实施例中，所述任务接入层还包括句柄匹配单元，所述句柄匹配单元包括：
入口句柄子单元，用于查找算法定义的入口句柄，若查找到对应的入口句柄则调用对应入口名柄对任务进行初始化，否则调用默认入口句柄对任务进行初始化；
结果句柄子单元，用于查找结果处理句柄，若查找到了对应结果处理句柄，则调用对应结果处理句柄对运算结果进行处理，否则调用默认结果处理句柄对计算结果进行处理；
错误处理句柄子单元，用于运行错误或者超时时，查找对应的错误处理句柄，若查找到相去错误处理句柄，则调用对应错误处理句柄对错误信息进行处理，否则调用默认错误处理句柄对错误信息进行处理。
在本发明实施例中，任务接入层实现了一个全局的任务ID，任务ID将跟随任务从消息队列一直到消息队列客户端算法实例，最终再到结果数据库。任务接入层需要查找算法A定义的入口句柄，如果找到了入口句柄，就使用入口句柄进行任务的初始化部分。如果未找到，则调用默认的入口句柄进行初始化。返回结果处理句柄或者错误处理句柄。如果找到了结果处理句柄,则在最终收集到任务结果时进行最后处理,否则调用默认的结果处理句柄；当最终获得运行错误或者超时,任务接入层需要调用对应的错误处理句柄,如果未找到,则调用默认的错误处理句柄。实现错误发现和处理过程,调用错误处理句柄,最终通知客户端任务失败.实现超时处理过程.调用错误处理句柄,最终通知客户端任务失败。
在本发明一个实施例中，所述任务接入层还包括监听单元，所述监听单元用于所述分布式消息队列的实时监听以获取对应的通知消息，根据所述通知消息从所述分布式数据库取出计算结果。
在本发明实施例中，实现监听消息队列,获得对应的通知消息,从数据库中取出任务的结果,并调用结果处理句柄,进一步处理生成最终的结果。
本发明实施例还提供了一种分布式任务处理方法，应用于如本发明实施例所述的任务接入层，所述分布式任务处理方法包括以下步骤：
接收任务，将接收到的任务及其ID打包成一条消息并序列化，其中，不同的算法对应的消息的主题不同；
调用分布式队列的接口将打包得到的消息写入分布式队列；
实时监听所述分布式消息队列的通知消息，根据所述通知消息从所述分布式数据库取出计算结果。
在本发明实施例中，上述方法应用于任务接入层，故对于任务应用层的所有限定均可以写入上述方法中用于限定本发明提供的方法。对于各个步骤的具体说明，请参考本发明关于系统部分的说明，本发明实施例在此不再赘述。
本发明实施例还提供了一种分布式任务处理方法，应用于如本发明实施例所述的消息队列客户端，所述分布式任务处理方法包括以下步骤：
从所述分布式消息队列中获取消息；
将获取的消息反序化得到对算法的输入参数，并从算法数据库中调用对应算法对任务进行运算；
将运算结果写入所述分布式数据库。
在本发明实施例中，上述方法应用于消息队列客户端，故对于消息队列客户端的所有限定均可以写入上述方法中用于限定本发明提供的方法。对于各个步骤的具体说明，请参考本发明关于系统部分的说明，本发明实施例在此不再赘述。
图3示出了一个实施例中计算机设备的内部结构图。如图3所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现本发明实施例提供的分布式任务处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行本发明实施例提供的分布式任务处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收任务，将接收到的任务及其ID打包成一条消息并序列化，其中，不同的算法对应的消息的主题不同；
调用分布式队列的接口将打包得到的消息写入分布式队列；
实时监听所述分布式消息队列的通知消息，根据所述通知消息从所述分布式数据库取出计算结果。
或者，
从所述分布式消息队列中获取消息；
将获取的消息反序化得到对算法的输入参数，并从算法数据库中调用对应算法对任务进行运算；
将运算结果写入所述分布式数据库。
在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
接收任务，将接收到的任务及其ID打包成一条消息并序列化，其中，不同的算法对应的消息的主题不同；
调用分布式队列的接口将打包得到的消息写入分布式队列；
实时监听所述分布式消息队列的通知消息，根据所述通知消息从所述分布式数据库取出计算结果。
或者，
从所述分布式消息队列中获取消息；
将获取的消息反序化得到对算法的输入参数，并从算法数据库中调用对应算法对任务进行运算；
将运算结果写入所述分布式数据库。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种分布式任务处理系统，其特征在于，所述分布式任务处理系统包括：
任务接入层，用于将接收的任务打包并发送给分布式消息队列；
所述分布式消息队列，用于接收所述任务接入层发送的任务；
消息队列客户端，所述消息队列客户端设置有若干个，用于从所述消息队列中取出任务并运行相应的算法完成该任务的计算，将计算结果传输到分布式数据库；
所述分布式数据库用于存放所述消息队列客户端上传的计算结果以供所述任务接入层获取。
2.根据权利要求1所述的分布式任务处理系统，其特征在于，所述任务接入层包括：
打包单元，用于将接收到的任务及其ID打包成一条消息并序列化，其中，不同的算法对应的消息的主题不同；
写入单元，用于调用分布式队列的接口将打包得到的消息写入分布式队列。
3.根据权利要求1所述的分布式任务处理系统，其特征在于，所述消息队列客户端包括：
本地调度器，用于从所述分布式消息队列中获取消息，将获取的消息反序化得到对算法的输入参数，并从算法数据库中调用对应算法对任务进行运算，将运算结果写入所述分布式数据库；
算法数据库，用于任务算法的存放。
4.根据权利要求3所述的分布式任务处理系统，其特征在于，所述本地调度器还用于生成通知消息，并将所述通知消息发送给所述分布式消息队列；
所述任务接入层还用于从所述分布式消息队列获取所述通知消息，根据所述通知消息从所述分布式数据库获取任务计算结果。
5.根据权利要求2所述的分布式任务处理系统，其特征在于，所述任务接入层还包括句柄匹配单元，所述句柄匹配单元包括：
入口句柄子单元，用于查找算法定义的入口句柄，若查找到对应的入口句柄则调用对应入口名柄对任务进行初始化，否则调用默认入口句柄对任务进行初始化；
结果句柄子单元，用于查找结果处理句柄，若查找到了对应结果处理句柄，则调用对应结果处理句柄对运算结果进行处理，否则调用默认结果处理句柄对计算结果进行处理；
错误处理句柄子单元，用于运行错误或者超时时，查找对应的错误处理句柄，若查找到相去错误处理句柄，则调用对应错误处理句柄对错误信息进行处理，否则调用默认错误处理句柄对错误信息进行处理。
6.根据权利要求2所述的分布式任务处理系统，其特征在于，所述任务接入层还包括监听单元，所述监听单元用于所述分布式消息队列的实时监听以获取对应的通知消息，根据所述通知消息从所述分布式数据库取出计算结果。
7.一种分布式任务处理方法，应用于如权利要求1所述的任务接入层，其特征在于，所述分布式任务处理方法包括以下步骤：
接收任务，将接收到的任务及其ID打包成一条消息并序列化，其中，不同的算法对应的消息的主题不同；
调用分布式队列的接口将打包得到的消息写入分布式队列；
实时监听所述分布式消息队列的通知消息，根据所述通知消息从所述分布式数据库取出计算结果。
8.一种分布式任务处理方法，应用于如权利要求1所述的消息队列客户端，其特征在于，所述分布式任务处理方法包括以下步骤：
从所述分布式消息队列中获取消息；
将获取的消息反序化得到对算法的输入参数，并从算法数据库中调用对应算法对任务进行运算；
将运算结果写入所述分布式数据库。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求7或8中任一项权利要求所述分布式任务处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求7或8中任一项权利要求所述分布式任务处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111021524.5A CN113703947A (zh) | 2021-09-01 | 2021-09-01 | 一种分布式任务处理系统、方法、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111021524.5A CN113703947A (zh) | 2021-09-01 | 2021-09-01 | 一种分布式任务处理系统、方法、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113703947A true CN113703947A (zh) | 2021-11-26 |
Family
ID=78658815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111021524.5A Pending CN113703947A (zh) | 2021-09-01 | 2021-09-01 | 一种分布式任务处理系统、方法、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113703947A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115037758A (zh) * | 2022-04-27 | 2022-09-09 | 浪潮通信技术有限公司 | 消息同步方法及服务器 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512137A (zh) * | 2014-09-26 | 2016-04-20 | 中国银联股份有限公司 | 一种操作数据库句柄的方法和数据库句柄管理系统 |
| CN108874541A (zh) * | 2018-06-05 | 2018-11-23 | 中国平安人寿保险股份有限公司 | 分布式运算方法、装置、计算机设备及存储介质 |
| WO2019001256A1 (zh) * | 2017-06-25 | 2019-01-03 | 平安科技（深圳）有限公司 | 高并发数据处理方法、装置及计算机可读存储介质 |
| CN111045807A (zh) * | 2019-12-17 | 2020-04-21 | 深圳前海环融联易信息科技服务有限公司 | 基于zookeeper任务处理的方法、装置、计算机设备及存储介质 |
| CN111371892A (zh) * | 2020-03-05 | 2020-07-03 | 中国银行股份有限公司 | 高并发分布式消息推送系统及方法 |
| CN111756811A (zh) * | 2020-05-29 | 2020-10-09 | 苏州浪潮智能科技有限公司 | 一种分布式系统的主动推送的方法、系统、设备及介质 |
| CN112882813A (zh) * | 2021-03-18 | 2021-06-01 | 苏州科达科技股份有限公司 | 任务调度方法、装置、系统及电子设备 |
-
2021
- 2021-09-01 CN CN202111021524.5A patent/CN113703947A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512137A (zh) * | 2014-09-26 | 2016-04-20 | 中国银联股份有限公司 | 一种操作数据库句柄的方法和数据库句柄管理系统 |
| WO2019001256A1 (zh) * | 2017-06-25 | 2019-01-03 | 平安科技（深圳）有限公司 | 高并发数据处理方法、装置及计算机可读存储介质 |
| CN108874541A (zh) * | 2018-06-05 | 2018-11-23 | 中国平安人寿保险股份有限公司 | 分布式运算方法、装置、计算机设备及存储介质 |
| CN111045807A (zh) * | 2019-12-17 | 2020-04-21 | 深圳前海环融联易信息科技服务有限公司 | 基于zookeeper任务处理的方法、装置、计算机设备及存储介质 |
| CN111371892A (zh) * | 2020-03-05 | 2020-07-03 | 中国银行股份有限公司 | 高并发分布式消息推送系统及方法 |
| CN111756811A (zh) * | 2020-05-29 | 2020-10-09 | 苏州浪潮智能科技有限公司 | 一种分布式系统的主动推送的方法、系统、设备及介质 |
| CN112882813A (zh) * | 2021-03-18 | 2021-06-01 | 苏州科达科技股份有限公司 | 任务调度方法、装置、系统及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| 孙良君;袁庆祝;陆佃龙;: "分布式实时抽取计算框架设计与应用", 信息技术, no. 08 * |
| 秦子实: "《企业内部分布式机器学习系统设计与实现》", 《电脑知识与技术》, pages 201 - 202 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115037758A (zh) * | 2022-04-27 | 2022-09-09 | 浪潮通信技术有限公司 | 消息同步方法及服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8595564B2 (en) | Artifact-based software failure detection | |
| CN108834086B (zh) | 短信发送的方法、装置、计算机设备和存储介质 | |
| US20090177914A1 (en) | Clustering Infrastructure System and Method | |
| US10505791B2 (en) | System and method to handle events using historical data in serverless systems | |
| CN111190753B (zh) | 分布式任务处理方法、装置、存储介质和计算机设备 | |
| CN111198769A (zh) | 信息处理方法及其系统、计算机系统及计算机可读介质 | |
| US10613992B2 (en) | Systems and methods for remote procedure call | |
| CN110990132B (zh) | 异步任务处理方法、装置、计算机设备和存储介质 | |
| CN113703947A (zh) | 一种分布式任务处理系统、方法、计算机设备和存储介质 | |
| US9507637B1 (en) | Computer platform where tasks can optionally share per task resources | |
| US20090106280A1 (en) | Semantic-Based Lossy Compression | |
| CN114237892A (zh) | 键值数据的处理方法、装置、电子设备及存储介质 | |
| CN114237510A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN111447136B (zh) | 消息推送方法、装置、计算机设备和存储介质 | |
| US9503351B1 (en) | Deployment feedback for system updates to resources in private networks | |
| US8203937B2 (en) | Global detection of resource leaks in a multi-node computer system | |
| CN114237891A (zh) | 资源调度方法、装置、电子设备及存储介质 | |
| CN115373886A (zh) | 服务群组容器停机方法、装置、计算机设备和存储介质 | |
| CN114329128A (zh) | 标注数据的获取方法、装置、计算机设备和存储介质 | |
| CN115098359A (zh) | 项目研发测试方法、装置、设备、存储介质和程序产品 | |
| CN113918364A (zh) | 一种基于Redis的轻量级消息队列处理方法及装置 | |
| CN113419887A (zh) | 主机联机事务异常的处理方法及装置 | |
| CN115730016B (zh) | 数据同步方法、系统、装置、计算机设备和存储介质 | |
| CN116932779B (zh) | 知识图谱的数据处理方法和装置 | |
| US11677624B2 (en) | Configuration of a server in view of a number of clients connected to the server |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |