CN117076508B - 一种流数据处理系统支持批数据处理的方法 - Google Patents
一种流数据处理系统支持批数据处理的方法 Download PDFInfo
- Publication number
- CN117076508B CN117076508B CN202311346147.1A CN202311346147A CN117076508B CN 117076508 B CN117076508 B CN 117076508B CN 202311346147 A CN202311346147 A CN 202311346147A CN 117076508 B CN117076508 B CN 117076508B
- Authority
- CN
- China
- Prior art keywords
- task
- data
- monitoring
- offline
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012544 monitoring process Methods 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 241001481833 Coryphaena hippurus Species 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 241001125840 Coryphaenidae Species 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 2
- 230000010354 integration Effects 0.000 abstract description 8
- 238000013075 data extraction Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000013506 data mapping Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明提供了一种流数据处理系统支持批数据处理的方法，包括：步骤1，配置数据输入节点；步骤2，定义转换规则节点；步骤3，配置输出节点；步骤4，编排任务流程；步骤5，执行任务调度：DolphinScheduler框架根据步骤4中配置好的任务的调度策略，自动触发和执行离线ETL任务；步骤6，离线任务实例停止：通过边界消息的方式，控制数据流的结束；步骤7，监控和管理：提供任务的链路监控、数据监控和告警功能，实时监测任务的执行情况和运行状态。通过本发明，可以让流数处理据框架上拥有运行批数据处理能力，使用统一接口方式来管理数据集成处理任务。
Description
技术领域
本发明属于计算机数据处理领域，尤其涉及一种流数据处理系统支持批数据处理的方法。
背景技术
传统的离线ETL场景中，通常需要使用多个独立的工具和框架进行数据抽取、转换和加载。这些工具之间缺乏紧密的集成和协作，导致数据处理流程复杂、效率低下，并且难以管理和监控。目前，Kafka Connect框架作为一种流数据集成解决方案，提供简单、可扩展和可靠的数据传输能力，广泛应用于实时数据处理场景。然而，对于离线ETL（Extract-Transform-Load，即抽取-转换-加载）场景，传统的Kafka Connect框架存在一些限制，无法满足精确时间范围（T + 1、T - 1等类似场景）下的大规模数据处理和数据转换的要求。
DolphinScheduler是一种开源的分布式任务调度框架，旨在提供高可靠性、高性能和高可扩展性的任务调度和管理解决方案。
因此，需要对Kafka Connect框架进行改造，并集成调度框架DolphinScheduler来简化离线ETL的开发和管理流程。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种流数据处理系统支持批数据处理的方法，包括以下步骤：
步骤1，配置数据输入节点：通过页面方式配置Kafka Connect框架中的输入连接器参数，定义来源数据源、来源字段信息；
步骤2，定义转换规则节点：使用Kafka Connect框架中Transforms组件来定义离线ETL任务的转换规则，例如：添加时间字段、数据过滤、数据映射等操作；
步骤3，配置输出节点：通过页面配置Kafka Connect框架中的输出连接器参数，定义目标数据源、字段映射信息；
步骤4，编排任务流程：以有向无环图DAG的方式在页面上将Kafka Connect节点和转换规则节点连接成完整ETL任务的执行流程图，再以http节点的形式同步到dolphinscheduler中，同时，设置任务实例的执行顺序，对于离线任务，在页面上设置任务的调度策略配置；
步骤5，执行任务调度：DolphinScheduler框架根据步骤4中配置好的任务的调度策略，自动触发和执行离线ETL任务；
步骤6，离线任务实例停止：通过边界消息的方式，控制数据流的结束；
步骤7，监控和管理：提供任务的链路监控、数据监控和告警功能，实时监测任务的执行情况和运行状态。
步骤4中，所述任务实例的执行顺序包含以下四种：
并行：如果对于同一个任务定义，同时有两个以上任务实例，则并行执行任务实例；
串行等待：如果对于同一个任务定义，同时有两个以上任务实例，则后面是实例会等待前面实例执行完成之后再执行；
串行抛弃：如果对于同一个工作流定义，同时有两个以上工作流实例，则抛弃后生成的工作流实例并清除正在跑的实例；
串行优先：如果对于同一个工作流定义，同时有两个以上工作流实例，则按照优先级串行执行工作流实例。
步骤4中，所述调度策略配置是通过CRON表达式的方式来配置，例如：每天中午12点触发，CRON表达式可以设置为：0 0 12 * * ?；
步骤5中，在执行时间增量抽取的相关任务时，使用DolphinScheduler内置参数的方式去解析动态时间表达式。
步骤6包括：
步骤6-1，在输入任务的WorkerSourceTask.poll()方法抽取完所有数据后，在最后一批数据的返回结果集（即：List<SourceRecord>）中加入离线任务抽取结束的消息，并保证消息处于返回结果集中的最后；同时保证Kafka（Kafka和kafka Connect是属于不同的框架，前者是一种消息队列框架，后者是数据集成框架，后者在使用过程中会依赖前者）中每个分区都会有边界消息；
步骤6-2，在经过转换规则节点时，通过过滤识别的方式，放行边界消息；
步骤6-3，在输出节点任务执行数据写入相关方法后，识别到消息流中的边界消息，然后等待所有分区的边界消息都到达后，发送停止任务消息到Kafka的主题topic中；在后端管理系统中监听主题topic，调用实例停止接口来停止离线任务实例。
步骤6-3中，所述相关方法指WorkerSinkTask的deliverMessage()方法。
步骤7中，所述链路的监控是监测任务使用到的数据源的可用情况，所述数据监控是监控任务在一个固定时间段内输入和输出的数据量是否满足预期值，当监控到异常时，通过短信或者邮件的方式发送告警信息到指定用户。
本发明还提供了一种存储介质，存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现所述一种流数据处理系统支持批数据处理的方法。
本发明涉及Kafka、Kafka Connect框架、DolphinScheduler调度系统以及离线ETL使用等技术，旨在提供一种有效的数据集成方案，在支持实时数据流处理引擎的系统上扩展了离线数据处理能力。
有益效果：通过本发明，可以让流数处理据框架上拥有运行批数据处理能力，使用统一接口方式来管理数据集成处理任务。同时在集群部署时，运行批处理任务的时候，借助Kafka Connect框架的重平衡机制，可以保证服务的高可用，单一节点故障时，系统能够自动恢复中断的任务，这个是传统批处理框架无法实现的。对于整个系统，所有服务都是无状态的，可以非常便捷地进行服务扩容与缩容，满足不同资源场景使用。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1是基于Kafka Connect和DolphinScheduler框架的离线ETL场景改造系统交互时序图。
图2是数据抽取和转换过程示意图。
图3是本发明实施例的流程图。
实施方式
如图1、图2所示，本发明提供了一种流数据处理系统支持批数据处理的方法，包括如下步骤：
步骤1，配置数据输入节点：通过页面方式配置Kafka Connect框架中的输入连接器参数，定义来源数据源、来源字段等信息；
步骤2，定义转换规则节点：使用Kafka Connect框架中Transforms组件来定义离线ETL任务的转换规则，例如：添加时间字段、数据过滤、数据映射等操作；
步骤3，配置输出节点：通过页面配置Kafka Connect框架中的输出连接器参数，定义目标数据源、字段映射等信息；
步骤4，编排任务流程：以有向无环图DAG的方式在页面上将Kafka Connect节点和转换规则节点连接成完整ETL任务的执行流程图，再以http节点的形式同步到dolphinscheduler中，同时，设置任务实例的执行顺序，对于离线任务，在页面上设置任务的调度策略配置；
步骤5，执行任务调度：DolphinScheduler框架根据任务的调度策略和依赖关系，自动触发和执行离线ETL任务。在执行时间增量抽取的相关任务时，借助DolphinScheduler内置参数的方式去解析动态时间表达式，例如：任务配置抽取T-1的数据，可以直接配置表达式 ${yyyyMMdd-1}，然后在调度执行时，会将表达式转换为具体日期再传入KafkaConnect的任务配置中。
步骤6，改造Kafka Connect框架：通过边界消息的方式，控制数据流的结束，此步骤是系统自动完成。具体流程如下：
步骤6-1，在输入任务的WorkerSourceTask.poll()方法抽取完所有数据后，在最后一批数据的返回结果集（即：List<SourceRecord>）中加入离线任务抽取结束的消息，并保证消息处于返回结果集中的最后；同时保证Kafka（Kafka和kafka Connect是属于不同的框架，前者是一种消息队列框架，后者是数据集成框架，后者在使用过程中会依赖前者）中每个分区都会有边界消息；
步骤6-2，在经过转换规则节点时，通过过滤识别的方式，放行边界消息；
步骤6-3，在输出节点任务执行数据写入相关方法后，识别到消息流中的边界消息，然后等待所有分区的边界消息都到达后，发送停止任务消息到Kafka的主题topic中；在后端管理系统中监听主题topic，调用实例停止接口来停止离线任务实例。
通过这种方式，可以提供Kafka Connect框架自身“流转批”的数据集成能力，使其能够在数据抽取结束之后能停止相关工作线程。
步骤6-3中，所述相关方法指WorkerSinkTask的deliverMessage()方法。
步骤7，监控和管理：DolphinScheduler框架提供了任务监控和管理功能，实时监测任务的执行情况和运行状态。
本发明通过增加边界消息的方式来改造Kafka Connect组件，使其能够在数据抽取完成之后自动停止运行中的任务线程。
本发明通过结合Kafka Connect和DolphinScheduler框架的方式来做离线实例管理，在实时ETL处理能力基础上额外提供离线ETL处理能力。
根据本发明的一个实施例，如图3所示，假设当前需要每天凌晨1点从某个MSYQL数据源中将前一天的增量数据抽取至HIVE离线数仓中，在抽取过程中对表中字段需要做转换处理，对字段A做字符串截取操作，只取原始数据前6位。
首先，需要在页面配置MYSQL输入节点，其中包含需要抽取的MYSQL数据源信息（数据源用户、密码、地址等）、所需表名称以及需要的字段等信息，此外还需要配置数据抽取范围，相关条件如下: update_time>= ‘$[yyyyMMdd-1]’ and update_time<$[yyyyMMdd]，表示根据字段update_time来抽取前一天的数据。
输入节点配置完成后，添加一个字符串截取的转换节点，然后通过连线将输入节点和转换节点在页面连接起来。在转换节点配置中，选择所需要操作的字段名称，并设置截取范围。
然后，在页面中添加一个HIVE输出节点，将转换节点通过连线指向输出节点，在输出节点中，需要配置好HIVE数据源的一些基础配置以及输出的表、字段信息配置。
最后，在任务的调度策略配置中，配置相应的CRON表达式，每天凌晨1点执行对应参数如下：0 0 1 * * ?，并启用调度配置。
当时间到达凌晨1点之后，DolphinScheduler框架会执行调度任务，通过HTTP请求的方式来执行上面配置好的任务流程。在输入节点数据抽取完成之后，会将边界消息发送到消息流中，边界消息随着消息流会一直到达输出节点中。在输出节点处理到消息流时，表示所有数据都已经处理完成，这个时候通过“停止消息”的形式来触发离线任务实例的停止操作。
具体实现中，本申请提供计算机存储介质以及对应的数据处理单元，其中，该计算机存储介质能够存储计算机程序，所述计算机程序通过数据处理单元执行时可运行本发明提供的一种流数据处理系统支持批数据处理的方法的发明内容以及各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（read-only memory，ROM）或随机存储记忆体（random access memory，RAM）等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术方案可借助计算机程序以及其对应的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序即软件产品的形式体现出来，该计算机程序软件产品可以存储在存储介质中，包括若干指令用以使得一台包含数据处理单元的设备（可以是个人计算机，服务器，单片机，MUU或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。
本发明提供了一种流数据处理系统支持批数据处理的方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (8)
1.一种流数据处理系统支持批数据处理的方法，其特征在于，包括以下步骤：
步骤1，配置数据输入节点：通过页面方式配置Kafka Connect框架中的输入连接器参数，定义来源数据源、来源字段信息；
步骤2，定义转换规则节点：使用Kafka Connect框架中Transforms组件来定义离线ETL任务的转换规则；
步骤3，配置输出节点：通过页面配置Kafka Connect框架中的输出连接器参数，定义目标数据源、字段映射信息；
步骤4，编排任务流程：以有向无环图DAG的方式在页面上将Kafka Connect节点和转换规则节点连接成完整ETL任务的执行流程图，再以http节点的形式同步到dolphinscheduler中，同时，设置任务实例的执行顺序，对于离线任务，在页面上设置任务的调度策略配置；
步骤5，执行任务调度：DolphinScheduler框架根据步骤4中配置好的任务的调度策略，自动触发和执行离线ETL任务；
步骤6，离线任务实例停止：通过边界消息的方式，控制数据流的结束；
步骤7，监控和管理：提供任务的链路监控、数据监控和告警功能，实时监测任务的执行情况和运行状态。
2.根据权利要求1所述的方法，其特征在于，步骤4中，所述任务实例的执行顺序包含以下四种：
并行：如果对于同一个任务定义，同时有两个以上任务实例，则并行执行任务实例；
串行等待：如果对于同一个任务定义，同时有两个以上任务实例，则后面是实例会等待前面实例执行完成之后再执行；
串行抛弃：如果对于同一个工作流定义，同时有两个以上工作流实例，则抛弃后生成的工作流实例并清除正在跑的实例；
串行优先：如果对于同一个工作流定义，同时有两个以上工作流实例，则按照优先级串行执行工作流实例。
3.根据权利要求2所述的方法，其特征在于，步骤4中，所述调度策略配置是通过CRON表达式的方式来配置。
4.根据权利要求3所述的方法，其特征在于，步骤5中，在执行时间增量抽取的相关任务时，使用DolphinScheduler内置参数的方式去解析动态时间表达式。
5.根据权利要求4所述的方法，其特征在于，步骤6包括：
步骤6-1，在输入任务的WorkerSourceTask.poll()方法抽取完所有数据后，在最后一批数据的返回结果集中加入离线任务抽取结束的消息，并保证消息处于返回结果集中的最后；同时保证Kafka中每个分区都会有边界消息；
步骤6-2，在经过转换规则节点时，通过过滤识别的方式，放行边界消息；
步骤6-3，在输出节点任务执行数据写入相关方法后，识别到消息流中的边界消息，然后等待所有分区的边界消息都到达后，发送停止任务消息到Kafka的主题topic中；在后端管理系统中监听主题topic，调用实例停止接口来停止离线任务实例。
6.根据权利要求5所述的方法，其特征在于，步骤6-3中，所述相关方法指WorkerSinkTask的deliverMessage()方法。
7.根据权利要求6所述的方法，其特征在于，步骤7中，所述链路的监控是监测任务使用到的数据源的可用情况，所述数据监控是监控任务在一个固定时间段内输入和输出的数据量是否满足预期值，当监控到异常时，通过短信或者邮件的方式发送告警信息到指定用户。
8.一种存储介质，其特征在于，存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311346147.1A CN117076508B (zh) | 2023-10-18 | 2023-10-18 | 一种流数据处理系统支持批数据处理的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311346147.1A CN117076508B (zh) | 2023-10-18 | 2023-10-18 | 一种流数据处理系统支持批数据处理的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117076508A CN117076508A (zh) | 2023-11-17 |
| CN117076508B true CN117076508B (zh) | 2023-12-29 |
Family
ID=88708456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311346147.1A Active CN117076508B (zh) | 2023-10-18 | 2023-10-18 | 一种流数据处理系统支持批数据处理的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117076508B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111367984A (zh) * | 2020-03-11 | 2020-07-03 | 中国工商银行股份有限公司 | 高时效的数据加载入数据湖的方法及系统 |
| CN112565333A (zh) * | 2020-11-03 | 2021-03-26 | 南方电网数字电网研究院有限公司 | 一种基于kafka-connect的数据传递方法 |
| CN114297189A (zh) * | 2022-01-10 | 2022-04-08 | 成都国铁电气设备有限公司 | 一种基于Flink流处理的地铁轨道几何检测数据清洗方法 |
| CN114428818A (zh) * | 2022-01-28 | 2022-05-03 | 京东方科技集团股份有限公司 | 数据处理系统、数据处理方法、可读存储介质 |
| CN115269921A (zh) * | 2022-08-01 | 2022-11-01 | 西安识庐慧图信息科技有限公司 | 一种图模型批流一体实时预测方法 |
| CN115328626A (zh) * | 2022-07-29 | 2022-11-11 | 浙江网安信创电子技术有限公司 | 一种支持流批一体的大数据引擎分布式任务调度方法 |
| CN116389475A (zh) * | 2023-03-24 | 2023-07-04 | 鞍钢集团信息产业有限公司 | 一种基于Kafka的工业企业实时泛在互联方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8639653B2 (en) * | 2008-12-12 | 2014-01-28 | At&T Intellectual Property I, L.P. | Methods, systems, and computer program products for managing batch operations in an enterprise data integration platform environment |
| US11397744B2 (en) * | 2018-07-19 | 2022-07-26 | Bank Of Montreal | Systems and methods for data storage and processing |
-
2023
- 2023-10-18 CN CN202311346147.1A patent/CN117076508B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111367984A (zh) * | 2020-03-11 | 2020-07-03 | 中国工商银行股份有限公司 | 高时效的数据加载入数据湖的方法及系统 |
| CN112565333A (zh) * | 2020-11-03 | 2021-03-26 | 南方电网数字电网研究院有限公司 | 一种基于kafka-connect的数据传递方法 |
| CN114297189A (zh) * | 2022-01-10 | 2022-04-08 | 成都国铁电气设备有限公司 | 一种基于Flink流处理的地铁轨道几何检测数据清洗方法 |
| CN114428818A (zh) * | 2022-01-28 | 2022-05-03 | 京东方科技集团股份有限公司 | 数据处理系统、数据处理方法、可读存储介质 |
| CN115328626A (zh) * | 2022-07-29 | 2022-11-11 | 浙江网安信创电子技术有限公司 | 一种支持流批一体的大数据引擎分布式任务调度方法 |
| CN115269921A (zh) * | 2022-08-01 | 2022-11-01 | 西安识庐慧图信息科技有限公司 | 一种图模型批流一体实时预测方法 |
| CN116389475A (zh) * | 2023-03-24 | 2023-07-04 | 鞍钢集团信息产业有限公司 | 一种基于Kafka的工业企业实时泛在互联方法 |
Non-Patent Citations (1)
| Title |
|---|
| 面向多场景的大数据集成存储与治理系统的设计与实现;王园;《中国优秀硕士学位论文全文数据库信息科技辑》(第5期);I138-656 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117076508A (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109327509B (zh) | 一种主/从架构的低耦合的分布式流式计算系统 | |
| CN109889575B (zh) | 一种边缘环境下的协同计算平台系统及方法 | |
| CN109582466A (zh) | 一种定时任务执行方法、分布式服务器集群及电子设备 | |
| CN112148455B (zh) | 一种任务处理方法、设备及介质 | |
| CN110286892B (zh) | 一种基于业务流程设计的快速开发引擎系统 | |
| US20080177564A1 (en) | Method and apparatus of supporting business performance management with active shared data spaces | |
| CN111813570A (zh) | 一种电力物联网的事件驱动型消息交互方法 | |
| CN110908641B (zh) | 基于可视化的流计算平台、方法、设备和存储介质 | |
| CN109840144B (zh) | 一种针对跨机构批量服务请求的信息服务调度方法及系统 | |
| CN101834750B (zh) | 一种通用业务监控方法 | |
| WO2019047441A1 (zh) | 一种通信优化方法及系统 | |
| CN108009258A (zh) | 一种可在线配置的数据采集与分析平台 | |
| CN110569113A (zh) | 分布式任务的调度方法及系统、计算机可读存储介质 | |
| CN114756357B (zh) | 一种基于jvm的非阻塞分布式计划任务调度方法 | |
| WO2022134358A1 (zh) | 微服务数据的处理方法、装置、微服务处理平台及介质 | |
| CN116016531A (zh) | 一种批量停复机处理方法及装置 | |
| CN108399095B (zh) | 支持动态管理定时任务的方法、系统、设备和存储介质 | |
| US20220182851A1 (en) | Communication Method and Apparatus for Plurality of Administrative Domains | |
| CN109614241B (zh) | 基于Yarn队列实现多集群多租户资源隔离的方法及系统 | |
| CN114924858A (zh) | 任务调度方法及装置、存储介质及电子设备 | |
| CN114168297A (zh) | 一种归集任务调度方法、装置、设备及介质 | |
| CN114816694A (zh) | 一种多流程协作的rpa任务调度方法及装置 | |
| CN113342826A (zh) | 一种对不同数据采集引擎的数据操作进行统一管理的方法、存储介质及系统 | |
| CN106909368B (zh) | 一种实现快速业务开发的服务端业务层逻辑架构 | |
| CN117076508B (zh) | 一种流数据处理系统支持批数据处理的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |