CN110333941A - 一种基于sql的大数据实时计算平台及方法 - Google Patents
一种基于sql的大数据实时计算平台及方法 Download PDFInfo
- Publication number
- CN110333941A CN110333941A CN201910571391.5A CN201910571391A CN110333941A CN 110333941 A CN110333941 A CN 110333941A CN 201910571391 A CN201910571391 A CN 201910571391A CN 110333941 A CN110333941 A CN 110333941A
- Authority
- CN
- China
- Prior art keywords
- real
- time
- task
- manager
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于sql的大数据实时计算平台，包括客户端、资源管理器、计算集群、系统存储介质、共享存储器、程序生成模块、语法解析模块、数据仓库和日志数据库，所述客户端通过和计算集群连接，所述客户端还与系统存储介质连接，所述计算集群分别与资源管理器、日志数据库、数据仓库、系统存储介质、共享存储器和语法解析模块连接，所述程序生成模块分别与系统存储介质、共享存储器和语法解析模块连接。使用本发明可使得熟悉sql语句的数据分析人员可以自行开发实时任务，无需专业开发人员介入，降低了技术门槛，并扩展了用户群体。同时各种资源调度机制也提高了实时任务的硬件资源利用率。
Description
技术领域
本发明涉及实时数据流计算领域，具体涉及一种基于sql的大数据实时计算平台及方法。
背景技术
随着营销、风控等领域对数据的实时性要求越来越高，传统离线数据模式已经难以满足日常的经营需求，而目前主流实时计算引擎在交互性、安全性等方面较为薄弱，要求使用者熟练掌握至少一种编程语言，且需要对实时计算引擎的工作机制有非常深入的了解，这就导致实时程序的开发必须依赖专业的程序开发人员，从而将通常使用sql作为分析方法的业务分析人员隔离在外。
发明内容
本发明所要解决的技术问题是提供一种基于sql的大数据实时计算平台及方法。
为解决以上技术问题，本发明的技术方案为：提供一种基于sql的大数据实时计算平台，其创新点在于：包括客户端、资源管理器、计算集群、系统存储介质、共享存储器、程序生成模块、语法解析模块、数据仓库和日志数据库，所述客户端通过和计算集群连接来创建实时计算任务，所述客户端还与系统存储介质连接来存储在客户端填写的实时计算任务的启动参数，所述计算集群分别与资源管理器、日志数据库、数据仓库、系统存储介质、共享存储器和语法解析模块连接，所述程序生成模块分别与系统存储介质、共享存储器和语法解析模块连接，用于接收语法解析模块解析出来的运行参数以及分别向系统存储介质和共享存储器传递执行参数和程序包。
进一步的，所述计算集群内包括数个服务器，每一个服务器为一个节点，资源管理器和计算集群连接，用于从数个节点中选择一个作为管理实时计算任务的任务管理器所述任务管理器管理数个子任务管理器，每一个子任务管理器可管理一个或多个实时计算任务。
进一步的，每一所述子任务管理器管理实时计算任务的数量根据每一个子任务管理器的内存决定。
为解决以上技术问题，本发明的技术方案还提供了一种基于sql的大数据实时计算方法，其创新点在于：具体包括以下步骤：
（1）通过客户端的web界面，创建计算集群，并将计算集群所需的运行资源参数保存至系统存储介质中，计算集群创建完毕后，启动新建的计算集群，资源管理器按照预先指定的资源队列策略从数个节点中选择一个作为任务管理器；
（2）客户端选择步骤（1）中的计算集群，并基于sql语句创建一个实时计算任务，同时在客户端的web界面填写启动参数，语法解析模块将基于Sql语句的实时计算任务抽象成AST抽象语法树并解析获取实时计算任务的运行参数，所述运行参数包括实时计算任务的源表定义、数据处理逻辑和数据窗口描述，语法解析模块将运行参数传输至程序生成模块，同时将实时计算任务的启动参数和sql语句信息存储至系统存储介质中；
（3）程序生成模块根据步骤（2）中获取的运行参数，按照内部预先设置的计算逻辑生成可执行程序包和版本号信息，并将所述程序包保存在共享存储器中；同时按照计算资源和权限信息生成所述程序包对应的执行参数，所述执行参数连同版本号信息一起保存至系统存储介质中，等待客户端调用；
（4）客户端根据用户需求在web界面选择要运行的实时计算任务，并向平台发送实时计算任务启动指令，接收到指令后，共享存储器和系统存储介质分别将可执行程序包和启动参数提交至步骤（1）中的任务管理器，任务管理器通过解析程序包获取计算逻辑，并以有向无环数据结构的形式规划最优计算路径，同时任务管理器为路径上的每个节点分配子任务管理器，当计算路径规划完成以及对应的子任务管理器启动完毕，实时计算任务开始执行；
(5)执行实时计算任务时，将通过系统存储介质中的源表定义和数据窗口描述从有向无环数据结构的第一个节点获取数据，并将所述数据在有向无环计算路径中的各个节点间传递，每个节点根据用户定义的算子对数据进行过滤、拆分和聚合计算处理后，再传递给下一个节点；当到达有向无环数据结构的最后一个节点，数据落地至数据仓库，实时计算任务完成。
进一步的，所述步骤（1）中的集群所需运行资源参数包括资源队列名称、cpu个数以及所需内存量。
进一步的，所述步骤（2）中的启动参数包括计算资源、资源权限信息、任务名称、日志存储路径和可执行程序包储存路径。
进一步的，所述步骤（5）中在执行实时计算任务过程中，计算集群按照不同的实时计算任务聚合操作日志至给定的日志数据库中，每条日志记录使用任务唯一标识、记录时间和日志级别信息作为唯一标识，同时子任务管理器也会实时上传硬件运行信息以及软件运行信息至日志数据库，若超过用户定义的报警规则，客户端会以短信或者邮件向指定用户告警，其中，告警规则包括告警用户、告警信息模板、告警时间段、告警次数限制、监控指标以及对应阈值。
进一步的，所述步骤（5）中的数据窗口描述表示实时任务获取数据的策略。
进一步的，在实时计算平台运行中，权限控制分为两部分，一部分是针对计算集群以及建立的实时计算任务的权限控制，在客户端受基于OAuth2.0协议的权限管控，另一部分是针对后台硬件资源的权限控制，依赖资源队列以及网络访问限制实现。
本发明和现有技术相比，产生的有益效果为：
（1）通过图形化界面，用户可以直观创建计算集群，配置相应参数，无需直接操作底层硬件；
（2）熟悉sql语句的数据分析人员可以自行开发实时任务，无需专业开发人员介入，降低了技术门槛，并扩展了用户群体。
（3）同一个任务可生成不同版本的可执行程序包，能够方便地切换实时任务，有效降低了测试及发布成本。
（4）实时计算任务的计算规则被分割成有向无环数据结构中的多个节点，系统可以通过计算出图中的最短路径，对程序运行过程进行优化，提高执行效率。
（5）灵活的数据窗口描述规则配置，可以按照不同的计算任务要求，设定不同数据获取策略，提升系统消费数据的效率。
附图说明
为了更清晰地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明的一种基于sql的大数据实时计算平台的系统结构图。
具体实施方式
下面将通过具体实施方式对本发明的技术方案进行清楚、完整地描述。需要说明的是，本发明提到的有向无环数据结构为现有技术，在本申请中不再解释。
本发明提供一种基于sql的大数据实时计算平台，具体系统结构如图1所示，包括客户端、资源管理器、计算集群、系统存储介质、共享存储器、程序生成模块、语法解析模块、数据仓库和日志数据库，所述客户端通过和计算集群连接来创建实时计算任务，所述客户端还与系统存储介质连接来存储在客户端填写的实时计算任务的启动参数，所述计算集群分别与资源管理器、日志数据库、数据仓库、系统存储介质、共享存储器和语法解析模块连接，所述程序生成模块分别与系统存储介质、共享存储器和语法解析模块连接，用于接收语法解析模块解析出来的运行参数以及分别向系统存储介质和共享存储器传递执行参数和程序包。
本发明的计算集群内包括数个服务器，每一个服务器为一个节点，资源管理器和计算集群连接，用于从数个节点中选择一个作为管理实时计算任务的任务管理器所述任务管理器管理数个子任务管理器，每一个子任务管理器可管理一个或多个实时计算任务，其中，每一所述子任务管理器管理实时计算任务的数量根据每一个子任务管理器的内存决定。
本发明的技术方案还提供了一种基于sql的大数据实时计算方法，具体包括以下步骤：
（1）通过客户端的web界面，创建计算集群，并将计算集群所需的运行资源参数保存至系统存储介质中，集群所需运行资源参数包括资源队列名称、cpu个数以及所需内存量。计算集群创建完毕后，启动新建的计算集群，资源管理器按照预先指定的资源队列策略从数个节点中选择一个作为任务管理器；
（2）客户端选择步骤（1）中的计算集群，并基于sql语句创建一个实时计算任务，同时在客户端的web界面填写启动参数，启动参数包括计算资源、资源权限信息、任务名称、日志存储路径和可执行程序包储存路径。语法解析模块将基于Sql语句的实时计算任务抽象成AST抽象语法树并解析获取实时计算任务的运行参数，所述运行参数包括实时计算任务的源表定义、数据处理逻辑和数据窗口描述，语法解析模块将运行参数传输至程序生成模块，同时将实时计算任务的启动参数和sql语句信息存储至系统存储介质中；
（3）程序生成模块根据步骤（2）中获取的运行参数，按照内部预先设置的计算逻辑生成可执行程序包和版本号信息，并将所述程序包保存在共享存储器中；同时按照计算资源和权限信息生成所述程序包对应的执行参数，所述执行参数连同版本号信息一起保存至系统存储介质中，等待客户端调用；
（4）客户端根据用户需求在web界面选择要运行的实时计算任务，并向平台发送实时计算任务启动指令，接收到指令后，共享存储器和系统存储介质分别将可执行程序包和启动参数提交至步骤（1）中的任务管理器，任务管理器通过解析程序包获取计算逻辑，并以有向无环数据结构的形式规划最优计算路径，同时任务管理器为路径上的每个节点分配子任务管理器，当计算路径规划完成以及对应的子任务管理器启动完毕，实时计算任务开始执行；
(5)执行实时计算任务时，将通过系统存储介质中的源表定义和数据窗口描述从有向无环数据结构的第一个节点获取数据，其中，数据窗口描述表示实时任务获取数据的策略。并将所述数据在有向无环计算路径中的各个节点间传递，每个节点根据用户定义的算子对数据进行过滤、拆分和聚合计算处理后，再传递给下一个节点；当到达有向无环数据结构的最后一个节点，数据落地至数据仓库，实时计算任务完成。
本发明在执行实时计算任务过程中，计算集群按照不同的实时计算任务聚合操作日志至给定的日志数据库中，每条日志记录使用任务唯一标识、记录时间和日志级别信息作为唯一标识，同时子任务管理器也会实时上传硬件运行信息以及软件运行信息至日志数据库，若超过用户定义的报警规则，客户端会以短信或者邮件向指定用户告警，其中，告警规则包括告警用户、告警信息模板、告警时间段、告警次数限制、监控指标以及对应阈值。
在本发明的实时计算平台运行中，权限控制分为两部分，一部分是针对计算集群以及建立的实时计算任务的权限控制，在客户端受基于OAuth2.0协议的权限管控，另一部分是针对后台硬件资源的权限控制，依赖资源队列以及网络访问限制实现。
上面所述的实施例仅仅是本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计构思的前提下，本领域中普通工程技术人员对本发明的技术方案作出的各种变型和改进均应落入本发明的保护范围，本发明的请求保护的技术内容，已经全部记载在技术要求书中。
Claims (9)
1.一种基于sql的大数据实时计算平台，其特征在于：包括客户端、资源管理器、计算集群、系统存储介质、共享存储器、程序生成模块、语法解析模块、数据仓库和日志数据库，所述客户端通过和计算集群连接来创建实时计算任务，所述客户端还与系统存储介质连接来存储在客户端填写的实时计算任务的启动参数，所述计算集群分别与资源管理器、日志数据库、数据仓库、系统存储介质、共享存储器和语法解析模块连接，所述程序生成模块分别与系统存储介质、共享存储器和语法解析模块连接，用于接收语法解析模块解析出来的运行参数以及分别向系统存储介质和共享存储器传递执行参数和程序包。
2.根据权利要求1所述的一种基于sql的大数据实时计算平台，其特征在于：所述计算集群内包括数个服务器，每一个服务器为一个节点，资源管理器和计算集群连接，用于从数个节点中选择一个作为管理实时计算任务的任务管理器所述任务管理器管理数个子任务管理器，每一个子任务管理器可管理一个或多个实时计算任务。
3.根据权利要求2所述的一种基于sql的大数据实时计算平台，其特征在于：每一所述子任务管理器管理实时计算任务的数量根据每一个子任务管理器的内存决定。
4.一种基于sql的大数据实时计算方法，其特征在于：具体包括以下步骤：
（1）通过客户端的web界面，创建计算集群，并将计算集群所需的运行资源参数保存至系统存储介质中，计算集群创建完毕后，启动新建的计算集群，资源管理器按照预先指定的资源队列策略从数个节点中选择一个作为任务管理器；
（2）客户端选择步骤（1）中的计算集群，并基于sql语句创建一个实时计算任务，同时在客户端的web界面填写启动参数，语法解析模块将基于Sql语句的实时计算任务抽象成AST抽象语法树并解析获取实时计算任务的运行参数，所述运行参数包括实时计算任务的源表定义、数据处理逻辑和数据窗口描述，语法解析模块将运行参数传输至程序生成模块，同时将实时计算任务的启动参数和sql语句信息存储至系统存储介质中；
（3）程序生成模块根据步骤（2）中获取的运行参数，按照内部预先设置的计算逻辑生成可执行程序包和版本号信息，并将所述程序包保存在共享存储器中；同时按照计算资源和权限信息生成所述程序包对应的执行参数，所述执行参数连同版本号信息一起保存至系统存储介质中，等待客户端调用；
（4）客户端根据用户需求在web界面选择要运行的实时计算任务，并向平台发送实时计算任务启动指令，接收到指令后，共享存储器和系统存储介质分别将可执行程序包和启动参数提交至步骤（1）中的任务管理器，任务管理器通过解析程序包获取计算逻辑，并以有向无环数据结构的形式规划最优计算路径，同时任务管理器为路径上的每个节点分配子任务管理器，当计算路径规划完成以及对应的子任务管理器启动完毕，实时计算任务开始执行；
(5)执行实时计算任务时，将通过系统存储介质中的源表定义和数据窗口描述从有向无环数据结构的第一个节点获取数据，并将所述数据在有向无环计算路径中的各个节点间传递，每个节点根据用户定义的算子对数据进行过滤、拆分和聚合计算处理后，再传递给下一个节点；当到达有向无环数据结构的最后一个节点，数据落地至数据仓库，实时计算任务完成。
5.根据权利要求4所述的一种大数据实时计算方法，其特征在于：所述步骤（1）中的集群所需运行资源参数包括资源队列名称、cpu个数以及所需内存量。
6.根据权利要求4所述的一种大数据实时计算方法，其特征在于：所述步骤（2）中的启动参数包括计算资源、资源权限信息、任务名称、日志存储路径和可执行程序包储存路径。
7.根据权利要求4所述的一种大数据实时计算方法，其特征在于：所述步骤（5）中在执行实时计算任务过程中，计算集群按照不同的实时计算任务聚合操作日志至给定的日志数据库中，每条日志记录使用任务唯一标识、记录时间和日志级别信息作为唯一标识，同时子任务管理器也会实时上传硬件运行信息以及软件运行信息至日志数据库，若超过用户定义的报警规则，客户端会以短信或者邮件向指定用户告警，其中，告警规则包括告警用户、告警信息模板、告警时间段、告警次数限制、监控指标以及对应阈值。
8.根据权利要求4所述的一种大数据实时计算方法，其特征在于：所述步骤（5）中的数据窗口描述表示实时任务获取数据的策略。
9.根据权利要求4所述的一种大数据实时计算方法，其特征在于：在实时计算平台运行中，权限控制分为两部分，一部分是针对计算集群以及建立的实时计算任务的权限控制，在客户端受基于OAuth2.0协议的权限管控，另一部分是针对后台硬件资源的权限控制，依赖资源队列以及网络访问限制实现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910571391.5A CN110333941B (zh) | 2019-06-28 | 2019-06-28 | 一种基于sql的大数据实时计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910571391.5A CN110333941B (zh) | 2019-06-28 | 2019-06-28 | 一种基于sql的大数据实时计算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110333941A true CN110333941A (zh) | 2019-10-15 |
| CN110333941B CN110333941B (zh) | 2021-08-24 |
Family
ID=68144518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910571391.5A Active CN110333941B (zh) | 2019-06-28 | 2019-06-28 | 一种基于sql的大数据实时计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110333941B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112860763A (zh) * | 2021-02-08 | 2021-05-28 | 南京苏宁软件技术有限公司 | 实时流数据处理方法、装置、计算机设备和存储介质 |
| CN112925619A (zh) * | 2021-02-24 | 2021-06-08 | 深圳依时货拉拉科技有限公司 | 大数据实时计算方法及平台 |
| CN113177676A (zh) * | 2020-08-26 | 2021-07-27 | 北京合众伟奇科技有限公司 | 一种基于自然对数函数的运维健康评估系统和评估方法 |
| CN113792066A (zh) * | 2021-09-23 | 2021-12-14 | 中国农业银行股份有限公司 | 一种批量sql的动态解析调度方法及装置 |
| CN115334152A (zh) * | 2022-09-16 | 2022-11-11 | 北京向量栈科技有限公司 | 提交结构化机器学习计算任务到计算集群的方法 |
| CN117573359A (zh) * | 2023-11-28 | 2024-02-20 | 之江实验室 | 一种基于异构集群的计算框架管理系统及方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101957780A (zh) * | 2010-08-17 | 2011-01-26 | 中国电子科技集团公司第二十八研究所 | 一种基于资源状态信息的网格任务调度处理器及方法 |
| CN103944769A (zh) * | 2014-05-05 | 2014-07-23 | 江苏物联网研究发展中心 | 基于rpc协议的集群资源统一管理系统 |
| CN104866378A (zh) * | 2015-05-29 | 2015-08-26 | 北京京东尚科信息技术有限公司 | 一种协调执行任务的系统及方法 |
| US20170053004A1 (en) * | 2014-06-23 | 2017-02-23 | International Business Machines Corporation | Etl tool interface for remote mainframes |
| CN106776639A (zh) * | 2015-11-24 | 2017-05-31 | 腾讯科技（深圳）有限公司 | 基于结构化查询语言的数据处理方法及数据处理装置 |
| CN106991166A (zh) * | 2017-03-31 | 2017-07-28 | 北京奇艺世纪科技有限公司 | 一种大数据处理方法及装置 |
| US20170286526A1 (en) * | 2015-12-22 | 2017-10-05 | Opera Solutions Usa, Llc | System and Method for Optimized Query Execution in Computerized Data Modeling and Analysis |
| CN107943555A (zh) * | 2017-10-17 | 2018-04-20 | 华南理工大学 | 一种云计算环境下的大数据存储和处理平台及处理方法 |
| CN108280367A (zh) * | 2018-01-22 | 2018-07-13 | 腾讯科技（深圳）有限公司 | 数据操作权限的管理方法、装置、计算设备及存储介质 |
| CN108694221A (zh) * | 2017-04-12 | 2018-10-23 | 中国移动通信集团福建有限公司 | 数据实时分析方法、模块、设备和装置 |
| CN109426516A (zh) * | 2017-06-21 | 2019-03-05 | 北京信威通信技术股份有限公司 | 软件版本管理方法及装置 |
| CN109445754A (zh) * | 2018-09-14 | 2019-03-08 | 中国建设银行股份有限公司 | 数据集成访问装置、方法及存储介质 |
| CN109814986A (zh) * | 2017-11-20 | 2019-05-28 | 上海寒武纪信息科技有限公司 | 任务并行处理方法、存储介质、计算机设备、装置和系统 |
-
2019
- 2019-06-28 CN CN201910571391.5A patent/CN110333941B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101957780A (zh) * | 2010-08-17 | 2011-01-26 | 中国电子科技集团公司第二十八研究所 | 一种基于资源状态信息的网格任务调度处理器及方法 |
| CN103944769A (zh) * | 2014-05-05 | 2014-07-23 | 江苏物联网研究发展中心 | 基于rpc协议的集群资源统一管理系统 |
| US20170053004A1 (en) * | 2014-06-23 | 2017-02-23 | International Business Machines Corporation | Etl tool interface for remote mainframes |
| CN104866378A (zh) * | 2015-05-29 | 2015-08-26 | 北京京东尚科信息技术有限公司 | 一种协调执行任务的系统及方法 |
| CN106776639A (zh) * | 2015-11-24 | 2017-05-31 | 腾讯科技（深圳）有限公司 | 基于结构化查询语言的数据处理方法及数据处理装置 |
| US20170286526A1 (en) * | 2015-12-22 | 2017-10-05 | Opera Solutions Usa, Llc | System and Method for Optimized Query Execution in Computerized Data Modeling and Analysis |
| CN106991166A (zh) * | 2017-03-31 | 2017-07-28 | 北京奇艺世纪科技有限公司 | 一种大数据处理方法及装置 |
| CN108694221A (zh) * | 2017-04-12 | 2018-10-23 | 中国移动通信集团福建有限公司 | 数据实时分析方法、模块、设备和装置 |
| CN109426516A (zh) * | 2017-06-21 | 2019-03-05 | 北京信威通信技术股份有限公司 | 软件版本管理方法及装置 |
| CN107943555A (zh) * | 2017-10-17 | 2018-04-20 | 华南理工大学 | 一种云计算环境下的大数据存储和处理平台及处理方法 |
| CN109814986A (zh) * | 2017-11-20 | 2019-05-28 | 上海寒武纪信息科技有限公司 | 任务并行处理方法、存储介质、计算机设备、装置和系统 |
| CN108280367A (zh) * | 2018-01-22 | 2018-07-13 | 腾讯科技（深圳）有限公司 | 数据操作权限的管理方法、装置、计算设备及存储介质 |
| CN109445754A (zh) * | 2018-09-14 | 2019-03-08 | 中国建设银行股份有限公司 | 数据集成访问装置、方法及存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177676A (zh) * | 2020-08-26 | 2021-07-27 | 北京合众伟奇科技有限公司 | 一种基于自然对数函数的运维健康评估系统和评估方法 |
| CN113177676B (zh) * | 2020-08-26 | 2024-02-06 | 北京合众伟奇科技股份有限公司 | 一种基于自然对数函数的运维健康评估系统和评估方法 |
| CN112860763A (zh) * | 2021-02-08 | 2021-05-28 | 南京苏宁软件技术有限公司 | 实时流数据处理方法、装置、计算机设备和存储介质 |
| CN112860763B (zh) * | 2021-02-08 | 2022-12-23 | 南京苏宁软件技术有限公司 | 实时流数据处理方法、装置、计算机设备和存储介质 |
| CN112925619A (zh) * | 2021-02-24 | 2021-06-08 | 深圳依时货拉拉科技有限公司 | 大数据实时计算方法及平台 |
| CN113792066A (zh) * | 2021-09-23 | 2021-12-14 | 中国农业银行股份有限公司 | 一种批量sql的动态解析调度方法及装置 |
| CN115334152A (zh) * | 2022-09-16 | 2022-11-11 | 北京向量栈科技有限公司 | 提交结构化机器学习计算任务到计算集群的方法 |
| CN117573359A (zh) * | 2023-11-28 | 2024-02-20 | 之江实验室 | 一种基于异构集群的计算框架管理系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110333941B (zh) | 2021-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110333941A (zh) | 一种基于sql的大数据实时计算平台及方法 | |
| CN103092698B (zh) | 云计算应用自动部署系统及方法 | |
| Bichier et al. | Service-oriented computing | |
| CN101277304B (zh) | 基于规则的Web服务运行环境管理系统及管理方法 | |
| CN102193832B (zh) | 云端计算资源排程方法与应用的系统 | |
| Jennings et al. | ADEPT: Managing business processes using intelligent agents | |
| CN109783214A (zh) | 任务调度控制系统 | |
| US10521286B2 (en) | System and method for interoperable cloud DSL to orchestrate multiple cloud platforms and services | |
| CN106201754A (zh) | 任务信息分析方法及装置 | |
| Ferguson et al. | Optimizing the IT business supply chain utilizing cloud computing | |
| CN101873334A (zh) | 一种状态驱动的可执行业务流程执行方法 | |
| Zhao et al. | Modeling of service agents for simulation in cloud manufacturing | |
| CN110233802A (zh) | 一种构建一主链多侧链的区块链架构的方法 | |
| CN104679595A (zh) | 一种面向应用的IaaS层动态资源分配方法 | |
| US20120240103A1 (en) | Method and system for implementing self-configurable software components | |
| Li et al. | Topology-aware scheduling framework for microservice applications in cloud | |
| Mousavi et al. | Ontology-driven coordination model for multiagent-based mobile workforce brokering systems | |
| Zhou et al. | AHPA: adaptive horizontal pod autoscaling systems on alibaba cloud container service for kubernetes | |
| Wetzstein | KPI-related monitoring, analysis, and adaptation of business processes | |
| CN115719147A (zh) | 输电线路巡检数据处理方法、装置、平台 | |
| CN113434268A (zh) | 一种工作流分布式调度管理系统和方法 | |
| CN113722141A (zh) | 数据任务的延迟原因确定方法、装置、电子设备及介质 | |
| Shan et al. | Adaptive resource allocation for workflow containerization on Kubernetes | |
| CN112884455A (zh) | 任务计划处理系统、方法和装置 | |
| Heinis et al. | Automatic configuration of an autonomic controller: An experimental study with zero-configuration policies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: No.88, Huaihai Road, Qinhuai District, Nanjing, Jiangsu 210001 Patentee after: Nanyin Faba Consumer Finance Co.,Ltd. Address before: No.88, Huaihai Road, Qinhuai District, Nanjing, Jiangsu 210001 Patentee before: SUNING CONSUMER FINANCE Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |