CN108958789A - 一种并行流式计算方法、电子设备、存储介质及系统 - Google Patents

一种并行流式计算方法、电子设备、存储介质及系统 Download PDF

Info

Publication number
CN108958789A
CN108958789A CN201810484557.5A CN201810484557A CN108958789A CN 108958789 A CN108958789 A CN 108958789A CN 201810484557 A CN201810484557 A CN 201810484557A CN 108958789 A CN108958789 A CN 108958789A
Authority
CN
China
Prior art keywords
node
data
configuration
parameter
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810484557.5A
Other languages
English (en)
Other versions
CN108958789B (zh
Inventor
张顺
张青松
刘定文
李强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Jiuzhou Cloud Warehouse Technology Development Co Ltd
Original Assignee
Hubei Jiuzhou Cloud Warehouse Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Jiuzhou Cloud Warehouse Technology Development Co Ltd filed Critical Hubei Jiuzhou Cloud Warehouse Technology Development Co Ltd
Priority to CN201810484557.5A priority Critical patent/CN108958789B/zh
Publication of CN108958789A publication Critical patent/CN108958789A/zh
Application granted granted Critical
Publication of CN108958789B publication Critical patent/CN108958789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/35—Creation or generation of source code model driven
    • G06F8/355—Round-trip engineering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Devices For Executing Special Programs (AREA)
  • Multi Processors (AREA)

Abstract

本发明提供一种并行流式计算方法，通过流程接口接收原始数据；将原始数据的数据标识号插入存储系统列表，根据配置的流程图启动第一节点，当执行完后续生成的异步线程时，执行流程的主线程，删除存储系统列表中的数据标识号，生成配置流程；循环执行根据配置流程启动节点，将输入的参数和参数对应的值组装生成参数值，将参数值发送至节点对应的配置服务，将返回的数据写入数据库；根据所有返回的数据进行并行计算，对计算结果进行持久化。本发明还涉及电子设备、存储介质、并行流式计算系统。本发明实现不同业务系统之间的数据访问，减少重复的程序开发，节省资源，开发效率高，系统运行效率高，运算速度快、结构稳定可靠、扩展性强，配置灵活。

Description

一种并行流式计算方法、电子设备、存储介质及系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种并行流式计算方法、电子设备、存储介质及系统。
背景技术
随着互联网的飞速发展，大数据时代已经到来，数据的应用在人们的生活中无处不在，开发出越来越多的系统来满足大数据实时处理的需求。复杂系统之间的交互通常是通过固化的硬代码编写实现，开发效率低，程序维护量大，而且代码重用率低，重复的程序开发造成资源的浪费。现有技术中，业务代码一般采用顺序执行的方式，效率低，系统间的耦合度高。业务代码的流程需要配置，因此需要非常熟悉业务的人员进行流程配置操作，配置项较多造成使用操作不方便，无法进行灵活配置和扩展，无法满足快速计算的需求。
发明内容
本发明正是基于上述技术问题至少之一，提出了一种并行流式计算方法、电子设备、存储介质及系统，解决了当前系统之间的交互程序开发效率低，程序维护量大，重用率低，无法灵活配置和扩展，无法满足快速计算需求的问题。
为达到上述目的，本发明提供一种并行流式计算方法，包括以下步骤：
数据接收，通过并行流式计算系统的流程接口接收原始数据；
流程配置，将所述原始数据的数据标识号插入存储系统列表，根据配置的流程图启动第一节点，当执行完后续生成的异步线程时，执行流程的主线程，删除所述存储系统列表中的所述数据标识号，生成配置流程；
流程调度，当所述原始数据进入调度服务时，根据所述配置流程启动所述第一节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述第一节点对应的配置服务，将返回的数据写入数据库；
并行流式计算，查找所述第一节点的所有后置节点，将所述后置节点生成新线程，循环执行所述步骤流程调度，根据所有返回的数据进行并行计算，对计算结果进行持久化。
进一步地，在所述步骤流程配置和所述步骤流程调度之间还包括步骤流程并发量控制，当所述存储系统列表的长度达到限流阀值时，停止调用所述流程接口。
进一步地，所述流程接口具体为Kafka消息队列，所述存储系统具体为Redis，所述步骤流程并发量控制具体为当所述Redis列表的长度达到限流阀值时，停止调用所述Kafka消息队列。
进一步地，所述步骤并行流式计算还包括根据线程条件选择所述后置节点，获得选择节点，根据所述配置流程启动所述选择节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述选择节点对应的配置服务，将返回的数据写入数据库。
进一步地，所述步骤并行流式计算还包括采用HAProxy进行负载均衡，将所述计算结果持久化至Mysql。
一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述一种并行流式计算方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种并行流式计算方法。
一种并行流式计算系统，包括：
数据接收模块：用于通过并行流式计算系统的流程接口接收原始数据；
流程配置模块：用于将所述原始数据的数据标识号插入存储系统列表，根据配置的流程图启动第一节点，当执行完后续生成的异步线程时，执行流程的主线程，删除所述存储系统列表中的所述数据标识号，生成配置流程；
流程调度模块：用于当所述原始数据进入调度服务时，根据所述配置流程启动所述第一节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述第一节点对应的配置服务，将返回的数据写入数据库；
并行流式计算模块：并行流式计算模块：用于查找所述第一节点的所有后置节点，将所述后置节点生成新线程，调用所述流程调度模块根据所述配置流程启动所述后置节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述后置节点对应的配置服务，将返回的数据写入数据库，根据所有返回的数据进行并行计算；
数据持久化模块：用于对计算结果进行持久化。
进一步地，还包括流程并发量控制模块：用于当所述存储系统列表的长度达到限流阀值时，停止调用所述流程接口；所述流程接口具体为Kafka消息队列，所述存储系统具体为Redis。
进一步地，所述并行流式计算模块还包括根据线程条件选择所述后置节点，获得选择节点，根据所述配置流程启动所述选择节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述选择节点对应的配置服务，将返回的数据写入数据库；所述并行流式计算模块还包括采用HAProxy进行负载均衡：所述数据持久化模块具体为将所述计算结果持久化至Mysql。
与现有技术相比，本发明的优势在于：本发明提供一种并行流式计算方法，包括步骤：数据接收，流程配置，流程调度，并行流式计算，通过并行流式计算系统的流程接口接收原始数据；将原始数据的数据标识号插入存储系统列表，根据配置的流程图启动第一节点，当执行完后续生成的异步线程时，执行流程的主线程，删除存储系统列表中的数据标识号，生成配置流程；当原始数据进入调度服务时，根据配置流程启动第一节点，将输入的参数和参数对应的值组装生成参数值，将参数值发送至第一节点对应的配置服务，将返回的数据写入数据库；查找第一节点的所有后置节点，将后置节点生成新线程，循环调用步骤流程调度，根据所有返回的数据进行并行计算，对计算结果进行持久化。本发明还涉及一种电子设备、计算机可读存储介质、并行流式计算系统。本发明通过采用Kafka消息队列，实现统一数据来源，控制流程并发量，解决了对外接口不统一问题；通过页面拖拽节点配置流程，实现节点重复使用，运营后期变更流程不需要再进行程序开发，解决了流程不可配置化问题；通过并发开启多线程运行，实现减少流程的执行时间，并可控制并发数，解决了流程节点并行化问题；本发明通过系统流程定义，实现不同业务系统之间的数据访问，减少了重复的程序开发，节省资源，提高了开发效率，通过并行节点的定义提高了系统运行效率高，运算速度快、结构稳定可靠、扩展性强，配置灵活。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
下面结合附图和本发明的实施方式作进一步详细说明。
图1为本发明的一种并行流式计算方法流程图；
图2为本发明的一种并行流式计算系统结构示意图；
图3为本发明实施例的并行流式计算系统结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清除明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一种并行流式计算方法，如图1所示，包括以下步骤：
数据接收，通过并行流式计算系统的流程接口接收原始数据；本实施例中，流程接口具体为Kafka消息队列，通过并行流式计算系统的Kafka消息队列接收原始数据。通过采用Kafka消息队列，实现统一数据来源，控制流程并发量，解决了对外接口不统一问题。
在一实施例中，在流程配置之前包括节点服务注册和节点输入源定义。流程配置，将原始数据的数据标识号插入存储系统列表，根据配置的流程图启动第一节点，当执行完后续生成的异步线程时，执行流程的主线程，删除存储系统列表中的数据标识号，生成配置流程，至此标识一个流程完成；本实施例中，存储系统具体为Redis，将原始数据的数据标识号插入Redis列表。流程可配置化
在一实施例中，调用流程接口的服务根据存储系统列表的长度来判断是否达到限流阀值，优选的，在步骤流程配置和步骤流程调度之间还包括步骤流程并发量控制，当存储系统列表的长度达到限流阀值时，停止调用流程接口，当存储系统列表小于限流阀值时，再调用流程接口，本实施例中，流程接口具体为Kafka消息队列，存储系统具体为Redis，步骤流程并发量控制具体为当Redis列表的长度达到限流阀值时，停止调用Kafka消息队列。通过高峰期限流保证服务的高可用性，实现流程并发量控制。
流程调度，当原始数据进入调度服务时，根据配置流程启动第一节点，将输入的参数和参数对应的值组装生成参数值，将参数值发送至第一节点对应的配置服务，正确响应并返回数据后查找其后续的所有节点，将返回的数据写入数据库供查询。
并行流式计算，查找第一节点的所有后置节点，将后置节点生成新线程，循环调用步骤流程调度，所有的子节点在接收到原始数据后进行与第一节点相同的调用流程，直到最后一个节点完成调用时线程结束，至此整个流程结束，根据所有返回的数据进行并行计算，对计算结果进行持久化。通过并发开启多线程运行，实现减少流程的执行时间，并可控制并发数，解决了流程节点并行化问题。
在一实施例中，优选的，步骤并行流式计算还包括根据线程条件选择后置节点，获得选择节点，根据配置流程启动选择节点，将输入的参数和参数对应的值组装生成参数值，将参数值发送至选择节点对应的配置服务，将返回的数据写入数据库。
在一实施例中，优选的，步骤并行流式计算还包括采用HAProxy进行负载均衡，将计算结果持久化至Mysql。通过采用Haproxy进行负载均衡，减小计算引擎的压力和流量。
一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述一种并行流式计算方法。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述一种并行流式计算方法。
一种并行流式计算系统，如图2-图3所示，包括：
数据接收模块通过并行流式计算系统的流程接口接收原始数据；本实施例中，流程接口具体为Kafka消息队列，数据接收模块通过并行流式计算系统的Kafka消息队列接收原始数据。本发明通过采用Kafka消息队列，实现统一数据来源，控制流程并发量，解决了对外接口不统一问题。
在一实施例中，流程配置模块还包括节点服务注册和节点输入源定义。流程配置模块将原始数据的数据标识号插入存储系统列表，根据配置的流程图启动第一节点，当执行完后续生成的异步线程时，执行流程的主线程，删除存储系统列表中的数据标识号，生成配置流程；，至此标识一个流程完成；本实施例中，存储系统具体为Redis，流程配置模块将原始数据的数据标识号插入Redis列表。
在一实施例中，调用流程接口的服务根据存储系统列表的长度来判断是否达到限流阀值，优选的，还包括流程并发量控制模块当存储系统列表的长度达到限流阀值时，停止调用流程接口，当存储系统列表小于限流阀值时，再调用流程接口。本实施例中，流程接口具体为Kafka消息队列，存储系统具体为Redis，流程并发量控制模块具体为当Redis列表的长度达到限流阀值时，停止调用Kafka消息队列。通过高峰期限流保证服务的高可用性，实现流程并发量控制。
流程调度模块根据配置的调度策略进行流程数据调度，当原始数据进入调度服务时，根据配置流程启动第一节点，将输入的参数和参数对应的值组装生成参数值，将参数值发送至第一节点对应的配置服务，正确响应并返回数据后查找其后续的所有节点，将返回的数据写入数据库。
并行流式计算模块查找第一节点的所有后置节点，将后置节点生成新线程，调用流程调度模块根据配置流程启动后置节点，将输入的参数和参数对应的值组装生成参数值，将参数值发送至后置节点对应的配置服务，将返回的数据写入数据库，并行流式计算模块根据所有返回的数据进行并行计算。通过并发开启多线程运行，实现减少流程的执行时间，并可控制并发数，解决了流程节点并行化问题。数据持久化模块对计算结果进行持久化。本实施例中，计算引擎根据已调度的数据进行并行计算，得到的结果保存至Redis，通过Kafka消息队列持久化至Mysql。
在一实施例中，优选的，并行流式计算模块还包括根据线程条件选择后置节点，获得选择节点，根据配置流程启动选择节点，将输入的参数和参数对应的值组装生成参数值，将参数值发送至选择节点对应的配置服务，将返回的数据写入数据库；并行流式计算模块还包括采用HAProxy进行负载均衡：数据持久化模块具体为将计算结果持久化至Mysql。通过采用Haproxy进行负载均衡，减小计算引擎的压力和流量。
本发明提供一种并行流式计算方法，包括步骤：数据接收，流程配置，流程调度，并行流式计算，通过并行流式计算系统的流程接口接收原始数据；将原始数据的数据标识号插入存储系统列表，根据配置的流程图启动第一节点，当执行完后续生成的异步线程时，执行流程的主线程，删除存储系统列表中的数据标识号，生成配置流程；当原始数据进入调度服务时，根据配置流程启动第一节点，将输入的参数和参数对应的值组装生成参数值，将参数值发送至第一节点对应的配置服务，将返回的数据写入数据库；查找第一节点的所有后置节点，将后置节点生成新线程，循环调用步骤流程调度，根据所有返回的数据进行并行计算，对计算结果进行持久化。本发明还涉及一种电子设备、计算机可读存储介质、并行流式计算系统。本发明通过采用Kafka消息队列，实现统一数据来源，控制流程并发量，解决了对外接口不统一问题；通过页面拖拽节点配置流程，实现节点重复使用，运营后期变更流程不需要再进行程序开发，解决了流程不可配置化问题；通过并发开启多线程运行，实现减少流程的执行时间，并可控制并发数，解决了流程节点并行化问题；本发明通过系统流程定义，实现不同业务系统之间的数据访问，减少了重复的程序开发，节省资源，提高了开发效率，通过并行节点的定义提高了系统运行效率高，运算速度快、结构稳定可靠、扩展性强，配置灵活。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种并行流式计算方法，其特征在于包括以下步骤：
数据接收，通过并行流式计算系统的流程接口接收原始数据；
流程配置，将所述原始数据的数据标识号插入存储系统列表，根据配置的流程图启动第一节点，当执行完后续生成的异步线程时，执行流程的主线程，删除所述存储系统列表中的所述数据标识号，生成配置流程；
流程调度，当所述原始数据进入调度服务时，根据所述配置流程启动所述第一节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述第一节点对应的配置服务，将返回的数据写入数据库；
并行流式计算，查找所述第一节点的所有后置节点，将所述后置节点生成新线程，循环调用所述步骤流程调度，根据所有返回的数据进行并行计算，对计算结果进行持久化。
2.如权利要求1所述的一种并行流式计算方法，其特征在于：在所述步骤流程配置和所述步骤流程调度之间还包括步骤流程并发量控制，当所述存储系统列表的长度达到限流阀值时，停止调用所述流程接口。
3.如权利要求2所述的一种并行流式计算方法，其特征在于：所述流程接口具体为Kafka消息队列，所述存储系统具体为Redis，所述步骤流程并发量控制具体为当所述Redis列表的长度达到限流阀值时，停止调用所述Kafka消息队列。
4.如权利要求1所述的一种并行流式计算方法，其特征在于：所述步骤并行流式计算还包括根据线程条件选择所述后置节点，获得选择节点，根据所述配置流程启动所述选择节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述选择节点对应的配置服务，将返回的数据写入数据库。
5.如权利要求1所述的一种并行流式计算方法，其特征在于：所述步骤并行流式计算还包括采用HAProxy进行负载均衡，将所述计算结果持久化至Mysql。
6.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-5任一项方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一项方法的步骤。
8.一种并行流式计算系统，其特征在于包括：
数据接收模块：用于通过并行流式计算系统的流程接口接收原始数据；
流程配置模块：用于将所述原始数据的数据标识号插入存储系统列表，根据配置的流程图启动第一节点，当执行完后续生成的异步线程时，执行流程的主线程，删除所述存储系统列表中的所述数据标识号，生成配置流程；
流程调度模块：用于当所述原始数据进入调度服务时，根据所述配置流程启动所述第一节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述第一节点对应的配置服务，将返回的数据写入数据库；
并行流式计算模块：用于查找所述第一节点的所有后置节点，将所述后置节点生成新线程，调用所述流程调度模块根据所述配置流程启动所述后置节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述后置节点对应的配置服务，将返回的数据写入数据库，根据所有返回的数据进行并行计算；
数据持久化模块：用于对计算结果进行持久化。
9.如权利要求8所述的一种并行流式计算系统，其特征在于：还包括流程并发量控制模块：用于当所述存储系统列表的长度达到限流阀值时，停止调用所述流程接口；所述流程接口具体为Kafka消息队列，所述存储系统具体为Redis。
10.如权利要求8所述的一种并行流式计算系统，其特征在于：所述并行流式计算模块还包括根据线程条件选择所述后置节点，获得选择节点，根据所述配置流程启动所述选择节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述选择节点对应的配置服务，将返回的数据写入数据库；所述并行流式计算模块还包括采用HAProxy进行负载均衡：所述数据持久化模块具体为将所述计算结果持久化至Mysql。
CN201810484557.5A 2018-05-20 2018-05-20 一种并行流式计算方法、电子设备、存储介质及系统 Active CN108958789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810484557.5A CN108958789B (zh) 2018-05-20 2018-05-20 一种并行流式计算方法、电子设备、存储介质及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810484557.5A CN108958789B (zh) 2018-05-20 2018-05-20 一种并行流式计算方法、电子设备、存储介质及系统

Publications (2)

Publication Number Publication Date
CN108958789A true CN108958789A (zh) 2018-12-07
CN108958789B CN108958789B (zh) 2021-07-09

Family

ID=64499295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810484557.5A Active CN108958789B (zh) 2018-05-20 2018-05-20 一种并行流式计算方法、电子设备、存储介质及系统

Country Status (1)

Country Link
CN (1) CN108958789B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109828836A (zh) * 2019-01-20 2019-05-31 北京工业大学 一种批量流式计算系统参数动态配置方法
CN110049084A (zh) * 2018-12-10 2019-07-23 阿里巴巴集团控股有限公司 分布式系统的限流方法、装置及设备
CN110287248A (zh) * 2019-05-24 2019-09-27 视联动力信息技术股份有限公司 一种数据读写方法和系统
CN111258574A (zh) * 2020-01-14 2020-06-09 中科驭数（北京）科技有限公司 加速器体系结构的编程方法和系统
CN114462900A (zh) * 2022-04-13 2022-05-10 云智慧（北京）科技有限公司 一种业务活动节点的拆分方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508704A (zh) * 2011-11-10 2012-06-20 上海市共进通信技术有限公司 计算机软件系统中实现任务分解和并行处理控制的方法
CN105022671A (zh) * 2015-07-20 2015-11-04 中国科学院计算技术研究所 一种用于流式数据并行处理的负载均衡方法
CN105335218A (zh) * 2014-07-03 2016-02-17 北京金山安全软件有限公司 一种基于本地的流式计算方法及流式计算系统
CN107229747A (zh) * 2017-06-26 2017-10-03 湖南星汉数智科技有限公司 一种基于流式处理框架的大规模数据处理装置及方法
US9904585B1 (en) * 2015-10-06 2018-02-27 Amazon Technologies, Inc. Error handling in executing workflow state machines
CN107992367A (zh) * 2017-10-20 2018-05-04 河南平高电气股份有限公司 一种Modbus串口数据处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508704A (zh) * 2011-11-10 2012-06-20 上海市共进通信技术有限公司 计算机软件系统中实现任务分解和并行处理控制的方法
CN105335218A (zh) * 2014-07-03 2016-02-17 北京金山安全软件有限公司 一种基于本地的流式计算方法及流式计算系统
CN105022671A (zh) * 2015-07-20 2015-11-04 中国科学院计算技术研究所 一种用于流式数据并行处理的负载均衡方法
US9904585B1 (en) * 2015-10-06 2018-02-27 Amazon Technologies, Inc. Error handling in executing workflow state machines
CN107229747A (zh) * 2017-06-26 2017-10-03 湖南星汉数智科技有限公司 一种基于流式处理框架的大规模数据处理装置及方法
CN107992367A (zh) * 2017-10-20 2018-05-04 河南平高电气股份有限公司 一种Modbus串口数据处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梁毅 等: "面向大数据流式计算的任务管理技术综述", 《计算机工程与科学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110049084A (zh) * 2018-12-10 2019-07-23 阿里巴巴集团控股有限公司 分布式系统的限流方法、装置及设备
CN109828836A (zh) * 2019-01-20 2019-05-31 北京工业大学 一种批量流式计算系统参数动态配置方法
CN110287248A (zh) * 2019-05-24 2019-09-27 视联动力信息技术股份有限公司 一种数据读写方法和系统
CN111258574A (zh) * 2020-01-14 2020-06-09 中科驭数（北京）科技有限公司 加速器体系结构的编程方法和系统
CN114462900A (zh) * 2022-04-13 2022-05-10 云智慧（北京）科技有限公司 一种业务活动节点的拆分方法、装置及设备
CN114462900B (zh) * 2022-04-13 2022-07-29 云智慧（北京）科技有限公司 一种业务活动节点的拆分方法、装置及设备

Also Published As

Publication number Publication date
CN108958789B (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN108958789A (zh) 一种并行流式计算方法、电子设备、存储介质及系统
CN106802826B (zh) 一种基于线程池的业务处理方法及装置
CN108280150B (zh) 一种分布式异步业务分发方法及系统
CN107391243B (zh) 线程任务处理设备、装置及方法
CN110806923A (zh) 一种区块链任务的并行处理方法、装置、电子设备和介质
CN115759252A (zh) 深度学习推理引擎的调度方法、装置、设备和介质
CN114756629B (zh) 基于sql的多源异构数据交互分析引擎及方法
CN104731645A (zh) 一种任务调度方法和装置及数据下载方法和装置
CN104714838A (zh) 一种任务调度方法及装置
CN113051064A (zh) 任务调度方法、装置、设备及存储介质
CN111291054A (zh) 一种数据处理方法、装置、计算机设备和存储介质
CN102087665A (zh) 支持持续查询的自动服务组合方法与系统
CN110888739B (zh) 延迟任务的分布式处理方法与装置
WO2022253165A1 (zh) 调度方法、系统、服务器和计算机可读存储介质
CN114116015B (zh) 用于管理硬件命令队列的方法及系统
CN111090513B (zh) 车联网平台终端链路健康状态的检测方法及存储介质
CN114281476A (zh) Kubernetes云原生集群资源删除保护方法、装置、设备及存储介质
CN114036250A (zh) 高精地图任务处理方法、装置、电子设备和介质
CN113722141A (zh) 数据任务的延迟原因确定方法、装置、电子设备及介质
CN113010295A (zh) 流式计算方法、装置、设备以及存储介质
CN111752695A (zh) 下线方法、装置、设备以及存储介质
CN117873691B (zh) 数据处理方法、装置、设备及可读存储介质
CN110007899B (zh) 基于storm的通用窗口框架系统
CN110362397B (zh) 一种具有延迟约束功能的气泡执行方法
CN115756768B (zh) 基于saga的分布式事务处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant