CN111209301A - 基于依赖树拆分提高运算性能的方法及系统 - Google Patents

基于依赖树拆分提高运算性能的方法及系统 Download PDF

Info

Publication number
CN111209301A
CN111209301A CN201911386802.XA CN201911386802A CN111209301A CN 111209301 A CN111209301 A CN 111209301A CN 201911386802 A CN201911386802 A CN 201911386802A CN 111209301 A CN111209301 A CN 111209301A
Authority
CN
China
Prior art keywords
formula
module
task
formulas
dependency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911386802.XA
Other languages
English (en)
Inventor
范羊羊
章晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yunzhangfang Network Technology Co ltd
Original Assignee
Nanjing Yunzhangfang Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yunzhangfang Network Technology Co ltd filed Critical Nanjing Yunzhangfang Network Technology Co ltd
Priority to CN201911386802.XA priority Critical patent/CN111209301A/zh
Publication of CN111209301A publication Critical patent/CN111209301A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24532—Query optimisation of parallel queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24537—Query rewriting; Transformation of operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation

Abstract

本发明提供基于依赖树拆分实现的分布式公式运算提高运算性能的方法，包括公式库，所述公式库包含存在依赖关系的公式；依赖分析模块，所述依赖分析模块用于分析公式库中的公式间存在的依赖关系；业务库，大数据框架，所述大数据框架用于联合依赖分析模块和业务库数据运行公式，本发明通过公式依赖分析+大数据框架实现公式库的快速执行，通过公式的依赖分析后，得到可以并发的拓扑结构，将拓扑结构提交到大数据框架，通过该方案的实施，提升了公式库的执行速度，保证了正确结果，可以满足海量的公式库的执行速度的需求。

Description

基于依赖树拆分提高运算性能的方法及系统
技术领域
本发明涉及解决提升海量公式库执行速度、可靠性的技术领域，尤其涉及基于依赖树拆分实现的分布式公式运算，提高运算性能，解决单体服务器运算崩溃死机方法及其系统。
背景技术
公式是“规则”的具体描述，任何一个业务系统都会有无数的规则，它就像一个发动机是为了让我们更好的处理工作。假如在一个媒体发布系统里面，设置发布时间为“2019年10月10号上线”，那么这篇新闻必须等到这个时间点才能发布出去，又比如在一个系统里，输1得2，输2得4。这些就是规则的一种，通过它能够可以实现具体功能，系统里规则可能随时会发生变化，如政策法规、营销套路更新了，如果只是由程序员来修改规则，费时、费力，增加了控制成本。这个时候，如果用公式(表达式)来描述规则，事情就好办了，只需在公式编辑器里面修改公式，系统运行的规则就会跟着变化。
系统中描述规则的公式有很多，称为“公式库”，公式库需要运行来驱动业务，运行的速度、可靠性直接关系到系统能力，目前公式引擎在设计存在一定的局限性：
(1)性能不足：基于单体服务执行公式，受限于单台机器的性能上限，公式的执行速度慢；
(2)可靠性低：服务异常崩溃、机器故障都会导致服务不可用，会有较长停机时间。
(3)公式关联关系复杂：公式间有引用关系，如在一个新闻网页爬虫的业务中，先分析栏目页面中有哪些新增的新闻链接，再由爬虫去下载这些新闻页，“栏目分析”和“爬虫下载”属于两个公式规则，有依赖关系，执行时有先后顺序，在复杂的系统里面分析公式的依赖引用关系是件困难的事情，依赖分析错误会导致错误的执行结果。
发明内容
为了解决公式执行速度、可靠性问题，本发明提出了一种分析公式引用依赖、快速执行公式的方法，其先分析公式依赖关系，构造成带层次的拓扑结构，再由大数据框架并行、批量的运行公式，由此提高运算性能，解决服务器运算崩溃死机的难题。
为实现上述目的，本发明提出一种基于依赖树拆分实现的分布式公式运算提高运算性能的方法，包括
分析公式依赖关系的步骤。业务系统包含的规则库，其中的规则存在相互依赖的关系，执行时必须是被依赖的公式先执行，对公式的依赖关系进行分析，将公式库解析成由单个公式组成的多颗树，将公式库拆解成森林结构；
构造带层次拓扑结构的步骤，按照公式库与单个公式之间相互依赖的关系，将单个公式与公式库组成有引用关系组成的有向图，将公式库构造成带层次拓扑结构的公式库；
大数据框架并行、批量运行公式的步骤，大数据框架由“任务管理”、“协调者”、“agent”、“worker”角色组成：
任务管理：负责接收任务，任务的分配和调度，没有状态，支持热备部署；
协调者：存储任务，维护其他角色的心跳，本身是集群形态，集群内部通过gossip或者p2p协议同步状态数据，使用2pc协议同步数据；
agent：从协调者拉取任务，将任务分配到worker执行；
woker：执行任务，它可以是进程或者线程。
进一步的，所述其他角色包括管理模块和服务器，心跳是为了在运行阶段检测各个模块的健康，由管理模块、服务器定时发送心跳至协调模块，它可以是tcp、http接口的rpc调用；协调模块用于存储任务和维护其他角色的心跳；
拉取任务是指运行公式的任务，一个任务包含一个或多个公式数据，它是执行公式的最小单元；
任务分配是指管理模块监控工作模块的任务执行情况，包括当前正在运行的任务数、任务积压数、机器资源负载情况，向协调者申请新的任务；
并发执行是指公式的并发执行，同一层级中有很多公式，将公式封装到任务中，提交给大数据框架并发执行。
进一步的，所述构造带层次拓扑结构的步骤，将公式依赖关系描述成拓扑图，图中节点为公式，边为公式之间的依赖关系，用有向无环图来表示依赖关系，拓扑排序能根据这些依赖给出公式执行的先后顺序；按排序值来划分层次，同一排序值处在一个层次，一个层次中的公式可以并发执行不存在依赖关系。
进一步的，所述业务库是指实际的业务数据，不限于关系或非关系型的数据库，由多个数据库组成，它包含一个公司或企业所有的信息化的数据。
本发明还提出一种基于依赖树拆分实现的分布式公式运算提高运算性能的系统，包括
公式库，所述公式库包含存在依赖关系的公式。
依赖分析模块，所述依赖分析模块用于分析公式库中的公式间存在的依赖关系。
业务库，为实际的业务数据，不限于关系或非关系型的数据库，由多个数据库组成，它包含一个公司或企业所有的信息化的数据；业务库用户存储实际业务的数据，不限于各种关系(如mysql)、非关系(如redis)型数据库。
大数据框架，所述大数据框架用于联合依赖分析模块和业务库数据运行公式。
作为优化，所述大数据框架包括任务管理模块、协调模块、服务器，所述任务管理模块与依赖分析模块数据连接接收分析后的公式库中公式的依赖关系；所述任务管理模块用于接收任务并且分配和调度任务；所述协调模块用于存储任务和维护其他角色的心跳；所述协调模块与任务管理模块数据连接，所述服务器用于拉取任务和执行任务；所述服务器与协调模块数据连接获取任务，并从业务库中获取公式，进行运算。
作为优化，所述服务器包括管理模块和工作模块，所述管理模块与协调模块数据连接，所述管理模块用于拉取协调模块的任务，所述管理模块与工作模块数据连接，所述管理模块用于分配任务发送到工作模块，所述工作模块用于执行任务。
作为优化，所述业务库与工作模块数据连接，所述工作模块使用业务库数据用于执行公式。
作为优化，所述依赖分析模块提交拓扑结构给任务管理模块，所述依赖分析模块的拓扑结构为层次结构，所述层次结构同一层次中的公式可以并发执行。
作为优化，所述协调模块包括存储模块、维护模块，所述存储模块用于存储任务模块分配的任务和心跳数据，所述维护模块用于维护大数据框架下其他角色的心跳。
作为优化，所述任务管理模块包括接受模块、生成模块和分配调度模块，所述接受模块用于接受依赖分析模块的分析数据和接受任务数据；所述接受模块与生成模块数据连接，所述生成模块用于生成任务和心跳数据；所述生成模块与分配调度模块数据连接，所述分配调度模块用于分配和调度任务和心跳数据；所述分配调度模块与协调模块数据连接。
作为优化，所述协调模块内部使用gossip或者p2p协议同步状态数据，使用2pc协议同步任务数据和心跳数据。
与现有技术相比，本发明的有益效果为：(1)通过公式依赖分析 +大数据框架实现公式库的快速执行；(2)通过公式的依赖分析后，得到可以并发的拓扑结构即层次结构，将拓扑结构提交到大数据框架，通过该方案的实施，提升了公式库的执行速度，保证了正确结果，可以满足海量的公式库的执行速度的需求；(3)可以适应多个服务器，多个服务器可同时运算公式，弥补了性能不足，不再受限于单体服务器，加快了公式的执行速度；(4)大大提高了可靠性，多个服务器同时运算，可以防止单体服务器出现崩溃或机器故障导致不可用的现象，避免出现较长时间的停机；(5)预先进行公式的依赖分析，可以降低在公式关联复杂的情况下出现依赖分析错误的现象。
附图说明
图1为一个求值计算的公式库示例；
图2为公式库被解析成多颗树的森林结构示例；
图3为重新构造后拓扑层次结构示例；
图4为在大数据框架下并行运行公式的框架结构图。
具体实施方式
实施例1：为使对本发明的目的、构造、特征、及其功能有进一步的了解，兹配合实施例详细说明如下。
本发明的技术方案如下：
公式依赖分析：业务系统包含的规则库，其中的规则存在相互依赖的关系，执行时必须是被依赖的公式先执行。如一个求值计算的公式库(如图1所示)，公式间的依赖关系可以表示为“UDEF_ZB(11101,2019,7)+[A1]+[A2]”，“UDEF_ZB”为自定义函数，“[...]”表示被引用的公式，即该公式依赖公式“A1”、“A2”，公式库的依赖关系有两种表示结构：
A、森林结构：公式库被解析成多颗树，“A1”、“B1”两个公式在两颗树里面，按树的粒度并发执行公式，“A1”、“B1”公式会被执行两遍。(如图2所示)
B、层次结构：由引用关系组成的一张有向图，一种拓扑结构，有向边“(A3,A1)”表示A3公式的计算依赖A1，同一层次中的公式可以并发执行。(如图3所示)
通过比较两种结构，“层次结构”较优，它里面公式只会被运行一遍，不存在冗余计算的问题，在大多数业务里面都不会有较多层次，这样每个层次中会有比较多的节点，这些节点都可以并发执行。预先进行公式的依赖分析，可以降低在公式关联复杂的情况下出现依赖分析错误的现象。
本发明通过公式依赖分析+大数据框架实现了公式库的快速执行。
预先进行公式库依赖关系的解析，在大数据框架下并行运行公式，框架结构图如图4所示。
大数据框架由“任务管理”、“协调者”、“agent”、“worker1”角色组成：
“任务管理”：负责接收任务，任务的分配和调度，没有状态，支持热备部署；
“协调者”：存储任务，维护其他角色的心跳(正常运行)，本身是集群形态，集群内部通过gossip或者p2p协议同步状态数据，使用 2pc协议同步数据(心跳、任务)；
“agent”：从“协调者”拉取任务，将任务分配到“worker”执行；
“woker”：执行任务，它可以是进程或者线程；
其他角色包括管理模块、服务器；心跳是为了在运行阶段检测各个模块的健康，由管理模块、服务器定时发送心跳至协调模块，它可以是tcp、http接口的rpc调用。
任务是指运行公式的任务，一个任务包含一个或多个公式数据，它是执行公式的最小单元。
任务分配：管理模块监控工作模块的任务执行情况，如当前正在运行的任务数、任务积压数、机器资源负载等情况，向协调者申请新的任务。
本方法使用的是层次机构的依赖关系分析，触发并发执行，在整个大数据框架中，并发执行是指公式的并发执行，同一层级中有很多公式，将公式封装到任务中，提交给大数据框架并发执行。本发明通过公式的依赖分析后，得到可以并发的拓扑结构即层次结构，将拓扑结构提交到大数据框架，通过该方案的实施，提升了公式库的执行速度，保证了正确结果，可以满足海量的公式库的执行速度的需求。
图4中，机器1、机器2代表的是单性的服务器，可以服务多个单体服务公式。
对于公式执行传统方式是边解释边执行(递归的方式)，它是一种顺序执行的逻辑，不能并发执行公式。本发明通过将公式依赖关系描述成拓扑图，图3中节点为公式，边为公式之间的依赖关系，本发明用有向无环图(拓扑结构)来表示依赖关系，拓扑排序就能根据这些依赖给出公式执行的先后顺序。按排序值来划分层次，同一排序值处在一个层次，一个层次中的公式可以并发执行不存在依赖关系；
本发明可以适应多个服务器，多个服务器可同时运算公式，弥补了性能不足，不再受限于单体服务器，加快了公式的执行速度；同时，大大提高了可靠性，多个服务器同时运算，可以防止单体服务器出现崩溃或机器故障导致不可用的现象，避免出现较长时间的停机。
业务库是指实际的业务数据，不限于关系或非关系型的数据库，它通常由多个数据库组成，它包含了一个公司或企业所有的信息化的数据。
本发明主要的涉及的模块、系统包括：公式库、依赖分析模块、大数据框架模块、业务库，其中公式库、业务库属于数据模块，依赖分析模块、大数据框架模块属于运行模块。
本发明已由上述相关实施例加以描述，然而上述实施例仅为实施本发明的范例。必需指出的是，已揭露的实施例并未限制本发明的范围。相反地，在不脱离本发明的精神和范围内所作的更动与润饰，均属本发明的专利保护范围。

Claims (10)

1.基于依赖树拆分实现的分布式公式运算提高运算性能的方法，其特征在于：包括
分析公式依赖关系的步骤，业务系统包含的规则库，其中的规则存在相互依赖的关系，执行时必须是被依赖的公式先执行，对公式的依赖关系进行分析，将公式库解析成由单个公式组成的多颗树，将公式库拆解成森林结构；
构造带层次拓扑结构的步骤，按照公式库与单个公式之间相互依赖的关系，将单个公式与公式库组成有引用关系组成的有向图，将公式库构造成带层次拓扑结构的公式库；
大数据框架并行、批量运行公式的步骤，大数据框架由“任务管理”、“协调者”、“agent”、“worker”角色组成：
任务管理：负责接收任务，任务的分配和调度，没有状态，支持热备部署；
协调者：存储任务，维护其他角色的心跳，本身是集群形态，集群内部通过gossip或者p2p协议同步状态数据，使用2pc协议同步数据；
agent：从协调者拉取任务，将任务分配到worker执行；
woker：执行任务，它可以是进程或者线程。
2.根据权利要求1所述的基于依赖树拆分实现的分布式公式运算提高运算性能的方法，其特征在于：
所述其他角色包括管理模块和服务器，心跳是为了在运行阶段检测各个模块的健康，由管理模块、服务器定时发送心跳至协调模块，它可以是tcp、http接口的rpc调用；协调模块用于存储任务和维护其他角色的心跳；
拉取任务是指运行公式的任务，一个任务包含一个或多个公式数据，它是执行公式的最小单元；
任务分配是指管理模块监控工作模块的任务执行情况，包括当前正在运行的任务数、任务积压数、机器资源负载情况，向协调者申请新的任务；
并发执行是指公式的并发执行，同一层级中有很多公式，将公式封装到任务中，提交给大数据框架并发执行。
3.根据权利要求1所述的基于依赖树拆分实现的分布式公式运算提高运算性能的方法，其特征在于：所述构造带层次拓扑结构的步骤，将公式依赖关系描述成拓扑图，图中节点为公式，边为公式之间的依赖关系，用有向无环图来表示依赖关系，拓扑排序能根据这些依赖给出公式执行的先后顺序；按排序值来划分层次，同一排序值处在一个层次，一个层次中的公式可以并发执行不存在依赖关系。
4.根据权利要求1所述的基于依赖树拆分实现的分布式公式运算提高运算性能的方法，其特征在于：所述业务库是指实际的业务数据，不限于关系或非关系型的数据库，由多个数据库组成，它包含一个公司或企业所有的信息化的数据。
5.一种基于依赖树拆分实现的分布式公式运算提高运算性能的系统，其特征在于：包括
公式库，所述公式库包含存在依赖关系的公式；
依赖分析模块，所述依赖分析模块用于分析公式库中的公式间存在的依赖关系；
业务库，为实际的业务数据，不限于关系或非关系型的数据库，由多个数据库组成，它包含一个公司或企业所有的信息化的数据；
大数据框架，所述大数据框架用于联合依赖分析模块和业务库数据运行公式。
6.根据权利要求4所述的基于依赖树拆分实现的分布式公式运算提高运算性能的系统，其特征在于：
所述大数据框架包括任务管理模块、协调模块、服务器，所述任务管理模块用于接收任务并且分配和调度任务；所述协调模块用于存储任务和维护其他角色的心跳；所述服务器用于拉取任务和执行任务；
所述依赖分析模块用于分析公式库中公式的依赖关系；
所述服务器从协调模块获取任务，从业务库中获取公式，进行运算。
7.根据权利要求5所述的基于依赖树拆分实现的分布式公式运算提高运算性能的系统，其特征在于：所述服务器包括管理模块和工作模块，所述管理模块用于拉取协调模块的任务，所述管理模块用于分配任务发送到工作模块，所述工作模块用于执行任务，所述依赖分析模块提交拓扑结构给任务管理模块，所述依赖分析模块的拓扑结构为层次结构，所述层次结构同一层次中的公式可以并发执行。
8.根据权利要求5所述的基于依赖树拆分实现的分布式公式运算提高运算性能的系统，其特征在于：所述协调模块包括存储模块、维护模块，所述存储模块用于存储任务模块分配的任务和心跳数据，所述维护模块用于维护大数据框架下其他角色的心跳。
9.根据权利要求5所述的基于依赖树拆分实现的分布式公式运算提高运算性能的系统，其特征在于：
所述任务管理模块包括接受模块、生成模块和分配调度模块，所述接受模块用于接受依赖分析模块的分析数据和接受任务数据；所述生成模块用于生成任务和心跳数据；所述分配调度模块用于分配和调度任务和心跳数据。
10.根据权利要求5所述的基于依赖树拆分实现的分布式公式运算提高运算性能的系统，其特征在于：所述协调模块内部使用gossip或者p2p协议同步状态数据，使用2pc协议同步任务数据和心跳数据。
CN201911386802.XA 2019-12-29 2019-12-29 基于依赖树拆分提高运算性能的方法及系统 Pending CN111209301A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911386802.XA CN111209301A (zh) 2019-12-29 2019-12-29 基于依赖树拆分提高运算性能的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911386802.XA CN111209301A (zh) 2019-12-29 2019-12-29 基于依赖树拆分提高运算性能的方法及系统

Publications (1)

Publication Number Publication Date
CN111209301A true CN111209301A (zh) 2020-05-29

Family

ID=70787734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911386802.XA Pending CN111209301A (zh) 2019-12-29 2019-12-29 基于依赖树拆分提高运算性能的方法及系统

Country Status (1)

Country Link
CN (1) CN111209301A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112162841A (zh) * 2020-09-30 2021-01-01 重庆长安汽车股份有限公司 面向大数据处理的分布式调度系统、方法及存储介质
CN112989763A (zh) * 2021-03-16 2021-06-18 平安付科技服务有限公司 数据获取方法、装置、计算机设备及存储介质
CN113569184A (zh) * 2021-07-16 2021-10-29 众安在线财产保险股份有限公司 可配置的数据计算方法、装置、设备及计算机可读介质
CN115061809A (zh) * 2022-08-08 2022-09-16 杭州实在智能科技有限公司 基于安卓的rpa多任务调度方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156782A (zh) * 2011-04-14 2011-08-17 国电南瑞科技股份有限公司 基于图论的电力系统公式并行运算管理方法
WO2014008495A2 (en) * 2012-07-06 2014-01-09 Cornell University Managing dependencies between operations in a distributed system
CN104281636A (zh) * 2014-05-05 2015-01-14 神华集团有限责任公司 海量报表数据并发分布式处理方法
CN106815071A (zh) * 2017-01-12 2017-06-09 上海轻维软件有限公司 基于有向无环图的大数据作业调度系统
CN106874084A (zh) * 2017-01-04 2017-06-20 北京百度网讯科技有限公司 一种分布式工作流调度的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156782A (zh) * 2011-04-14 2011-08-17 国电南瑞科技股份有限公司 基于图论的电力系统公式并行运算管理方法
WO2014008495A2 (en) * 2012-07-06 2014-01-09 Cornell University Managing dependencies between operations in a distributed system
CN104281636A (zh) * 2014-05-05 2015-01-14 神华集团有限责任公司 海量报表数据并发分布式处理方法
CN106874084A (zh) * 2017-01-04 2017-06-20 北京百度网讯科技有限公司 一种分布式工作流调度的方法和装置
CN106815071A (zh) * 2017-01-12 2017-06-09 上海轻维软件有限公司 基于有向无环图的大数据作业调度系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112162841A (zh) * 2020-09-30 2021-01-01 重庆长安汽车股份有限公司 面向大数据处理的分布式调度系统、方法及存储介质
CN112989763A (zh) * 2021-03-16 2021-06-18 平安付科技服务有限公司 数据获取方法、装置、计算机设备及存储介质
CN113569184A (zh) * 2021-07-16 2021-10-29 众安在线财产保险股份有限公司 可配置的数据计算方法、装置、设备及计算机可读介质
CN115061809A (zh) * 2022-08-08 2022-09-16 杭州实在智能科技有限公司 基于安卓的rpa多任务调度方法及系统
CN115061809B (zh) * 2022-08-08 2022-11-11 杭州实在智能科技有限公司 基于安卓的rpa多任务调度方法及系统

Similar Documents

Publication Publication Date Title
CN111209301A (zh) 基于依赖树拆分提高运算性能的方法及系统
EP2831767B1 (en) Method and system for processing data queries
Dai et al. A study of service reliability and availability for distributed systems
Pujol et al. The little engine (s) that could: scaling online social networks
CN112600891B (zh) 一种基于信息物理融合的边云协同系统及工作方法
CN105468720A (zh) 集成分布式数据处理系统的方法、相应系统及其数据处理方法
CN108243012B (zh) 在线计费系统ocs中计费应用处理系统、方法及装置
US11429353B1 (en) Dynamic service provisioning using templatized infrastructure resources
Sun et al. Key Technologies for Big Data Stream Computing.
US10747530B2 (en) Mission-based developer certification system and method
Andreeva et al. Experiment Dashboard for monitoring computing activities of the LHC virtual organizations
Rouzaud-Cornabas A distributed and collaborative dynamic load balancer for virtual machine
Córdova Analysis of real time stream processing systems considering latency
US10664248B2 (en) Systems and methods for comparing computer scripts
CN115115329A (zh) 一种面向智能生产线的制造中间件及云制造架构
Thamsen et al. Ellis: Dynamically scaling distributed dataflows to meet runtime targets
US20220382721A1 (en) Resilience based database placement in clustered environment
Gopalakrishna et al. Untangling cluster management with Helix
Lakshmanan et al. Placement of replicated tasks for distributed stream processing systems
Wei et al. Reliable stream data processing for elastic distributed stream processing systems
Bendjoudi et al. Fth-b&b: A fault-tolerant hierarchicalbranch and bound for large scaleunreliable environments
CN115328626A (zh) 一种支持流批一体的大数据引擎分布式任务调度方法
de Rezende et al. MapReduce with components for processing big graphs
Toure et al. Large scale deployment
Zhou et al. CloudView: Describe and maintain resource view in cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 210000 10 / F, building D-1, Greenland window, Yuhuatai District, Nanjing City, Jiangsu Province

Applicant after: Cloud accounting room network technology Co.,Ltd.

Address before: 210000 10 / F, building D-1, Greenland window, Yuhuatai District, Nanjing City, Jiangsu Province

Applicant before: NANJING YUNZHANGFANG NETWORK TECHNOLOGY Co.,Ltd.