CN117993695A - 一种工业数据治理下实现流批一体计算的调控方法 - Google Patents

Abstract

本申请提供一种工业数据治理下实现流批一体计算的调控方法，涉及钢铁行业数据治理技术领域，包括获取数据源结构并构建数据计算模型；利用模型对钢铁行业待计算数据进行实时同步数据处理，得到目标计算数据；获取钢铁行业的若干个指标，分别建立钢铁行业待计算数据和目标计算数据对应所有指标的数据查询关系；指标的种类包括处理方式指标和参数指标，处理方式指标包括实时处理指标和离线处理指标，处理方式指标的执行优先级大于参数指标的执行优先级；获取用户查询数据需求，用户查询数据需求对应指标；根据用户查询数据需求获取到目标查询数据。本申请通过调控方法解决了现有钢铁行业数据处理构架复杂，数据时效性差以及数据一致性问题。

Description

一种工业数据治理下实现流批一体计算的调控方法

技术领域

本发明涉及钢铁行业数据治理技术领域，特别涉及一种工业数据治理下实现流批一体计算的调控方法。

背景技术

目前钢铁行业数据治理中由于数据源种类丰富，各种异构数据源场景复杂，业务数据计算链路长，数据计算大都是采用T+1的批处理模式，处理速度较慢，实时性差。

比如计算某高炉当月碳排放量，批处理模式对于大量数据的处理效率相对较低。高炉的碳排放数据量可能非常大，如果采用批处理模式，可能需要较长时间才能完成数据的处理和分析，从而影响工作效率和实时性。

批处理模式通常在一段时间内收集数据后进行批量处理，处理时间相对较长，无法满足实时处理的需求。如果高炉的碳排放数据需要及时获取并分析，批处理模式可能会延误决策时间，影响对碳排放的实时监控和管理。

在批处理过程中，由于数据是分批次处理的，数据计算链路较长。例如，如果高炉在不同时间段内的碳排放数据存在偏差或异常值，批处理模式可能会将这些数据一并纳入处理，导致该数据在整个计算链路中一直存在偏差或异常值。

钢铁行业传统批处理+流处理的模式，批和流的处理运用了两套技术，导致数据治理平台架构复杂，对应的需要开发两套程序计算，开发成本高，效率低，而且由于运用了两套技术，很难验证两套程序产出的数据一致性。

发明内容

本申请提供一种工业数据治理下实现流批一体计算的调控方法，以解决现有钢铁行业数据处理构架复杂，数据时效性差以及数据一致性问题。

所述调控方法包括：

获取钢铁行业待计算数据的数据源结构，根据所述数据源结构构建对应所述钢铁行业待计算数据的数据计算模型；

利用所述数据计算模型对所述钢铁行业待计算数据进行实时同步数据处理，得到目标计算数据；所述目标计算数据包括对应钢铁行业的实时数据和历史数据；所述利用所述数据计算模型对所述钢铁行业待计算数据进行实时同步数据处理的步骤包括判断所述钢铁行业待计算数据中是否包括历史数据；若否，则利用kafka模式接收所述实时数据，并将所述钢铁行业待计算数据标记为所述目标计算数据；若是，则利用FlinkCDC模式生成对应所述钢铁行业待计算数据的历史数据，并将所述历史数据和所述钢铁行业待计算数据中包含的所述实时数据进行集成处理，得到所述目标计算数据；所述FlinkCDC模式内部的历史数据集成和实时数据集成自动切换；

获取对应所述钢铁行业的若干个指标，分别建立所述钢铁行业待计算数据和所述目标计算数据对应所有所述指标的数据查询关系；所述指标的种类包括处理方式指标和参数指标，所述参数指标包括若干个维度的指标，所述处理方式指标包括实时处理指标和离线处理指标，所述处理方式指标的执行优先级大于所述参数指标的执行优先级；

获取用户查询数据需求，所述用户查询数据需求对应所述指标；

根据所述用户查询数据需求获取到目标查询数据。

优选的，所述获取钢铁行业待计算数据的数据源结构的步骤包括：

获取对应所述钢铁行业的所述钢铁行业待计算数据；

对所述钢铁行业待计算数据进行数据结构提取处理，得到所述数据源结构。

优选的，所述根据所述数据源结构构建对应所述钢铁行业待计算数据的数据计算模型的步骤包括：

将所述钢铁行业待计算数据存储进对应的数据库中；

根据所述数据源结构在所述数据库中构建出对应所述钢铁行业待计算数据的映射关系，得到所述数据计算模型。

优选的，所述分别建立所述钢铁行业待计算数据和所述目标计算数据对应所有所述指标的数据查询关系的步骤包括：

当所述钢铁行业待计算数据中不包含所述历史数据时，构建所述参数指标与所述钢铁行业待计算数据的数据查询关系；

依次构建所述处理方式指标和所述参数指标与所述目标计算数据的数据查询关系。

优选的，所述根据所述用户查询数据需求获取到目标查询数据的步骤包括：

当所述用户查询数据需求中不包含查询所述历史数据的需求时，提取所述用户查询数据需求中对应的所述参数指标；

根据所述参数指标查询到对应所述用户查询数据需求的所述目标查询数据。

优选的，所述根据所述用户查询数据需求获取到目标查询数据的步骤包括：

当所述用户查询数据需求中包含查询所述历史数据的需求时，提取所述用户查询数据需求中对应的所述参数指标和所述处理方式指标。

优选的，所述根据所述用户查询数据需求获取到目标查询数据的步骤还包括：

根据所述处理方式指标对所述用户查询数据需求进行实时处理和/或离线处理，并根据所述用户查询数据需求中对应的所述参数指标获取到目标查询数据。

优选的，所述调控方法还包括：

对所有所述钢铁行业待计算数据对应的所有所述指标进行监测；

根据所述目标查询数据和对应其的所有所述指标进行分析，生成行业分析报告。

优选的，所述调控方法还包括：

实时可视化展示所有数据、指标及对所有数据和指标的处理流程。

由上述可知，本申请提供一种工业数据治理下实现流批一体计算的调控方法，所述调控方法包括获取钢铁行业待计算数据的数据源结构，根据所述数据源结构构建对应所述钢铁行业待计算数据的数据计算模型；利用所述数据计算模型对所述钢铁行业待计算数据进行实时同步数据处理，得到目标计算数据；所述目标计算数据包括对应钢铁行业的实时数据和历史数据；获取对应所述钢铁行业的若干个指标，分别建立所述钢铁行业待计算数据和所述目标计算数据对应所有所述指标的数据查询关系；所述指标的种类包括处理方式指标和参数指标，所述参数指标包括若干个维度的指标，所述处理方式指标包括实时处理指标和离线处理指标，所述处理方式指标的执行优先级大于所述参数指标的执行优先级；获取用户查询数据需求，所述用户查询数据需求对应所述指标；根据所述用户查询数据需求获取到目标查询数据。本申请通过上述调控方法简化原有批流分离的计算模式，整体架构设计和开发流程得到极大程度的简化，数据时效性得到大幅度增强，并解决了批流分离导致的数据一致性问题，数据治理过程中的开发成本得到降低，并最终完成批流一体计算提高了数据价值。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一种工业数据治理下实现流批一体计算的调控方法的流程图；

图2为本申请一种工业数据治理下实现流批一体计算的调控方法中获取数据源结构的流程图；

图3为本申请一种工业数据治理下实现流批一体计算的调控方法中获取数据计算模型的流程图；

图4为本申请一种工业数据治理下实现流批一体计算的调控方法中构建数据查询关系的流程图；

图5为本申请一种工业数据治理下实现流批一体计算的调控方法中后续数据调控的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本申请一种工业数据治理下实现流批一体计算的调控方法的流程图。

参见图1可知，本实施例提供一种工业数据治理下实现流批一体计算的调控方法，所述调控方法包括：

S100，获取钢铁行业待计算数据的数据源结构，根据所述数据源结构构建对应所述钢铁行业待计算数据的数据计算模型，具体的，在本实施例中，钢铁行业的数据架构包括关系建模和维度建模，结合钢铁行业数据治理的需求，定义合适的数据模型，包括数据结构、数据类型、数据关系等。针对老工业场景下大量的历史数据源，提供了逆向数据库创建关系模型的能力。维度建模支持通过不同业务维度创建不同的表模型，对接到数据仓库，可支持海量数据写入和秒级查询功能。

图2为本申请一种工业数据治理下实现流批一体计算的调控方法中获取数据源结构的流程图。

参见图2可知，进一步的，在一些实施例中，所述获取钢铁行业待计算数据的数据源结构的步骤包括：

S111，获取对应所述钢铁行业的所述钢铁行业待计算数据；

S112，对所述钢铁行业待计算数据进行数据结构提取处理，得到所述数据源结构。

具体的，在本实施例中，通过调取和分析海量钢铁行业的数据，以此确定并提取出钢铁行业产生数据的特定数据结构，即获取所述数据源结构。

图3为本申请一种工业数据治理下实现流批一体计算的调控方法中获取数据计算模型的流程图。

参见图3可知，进一步的，在一些实施例中，所述根据所述数据源结构构建对应所述钢铁行业待计算数据的数据计算模型的步骤包括：

S121，将所述钢铁行业待计算数据存储进对应的数据库中；

S122，根据所述数据源结构在所述数据库中构建出对应所述钢铁行业待计算数据的映射关系，得到所述数据计算模型。

具体的，在本实施例中，通过数据源结构在数据库中创建好对应的关系模型，以此得到所述数据计算模型，其中，该模型原则上与业务数据源结构一一对应。

所述调控方法还包括：

S200，利用所述数据计算模型对所述钢铁行业待计算数据进行实时同步数据处理，得到目标计算数据；所述目标计算数据包括对应钢铁行业的实时数据和历史数据；所述利用所述数据计算模型对所述钢铁行业待计算数据进行实时同步数据处理的步骤包括判断所述钢铁行业待计算数据中是否包括历史数据；若否，则利用kafka模式接收所述实时数据，并将所述钢铁行业待计算数据标记为所述目标计算数据；若是，则利用FlinkCDC模式生成对应所述钢铁行业待计算数据的历史数据，并将所述历史数据和所述钢铁行业待计算数据中包含的所述实时数据进行集成处理，得到所述目标计算数据；所述FlinkCDC模式内部的历史数据集成和实时数据集成自动切换，具体的，在本实施例中，针对钢铁行业多源异构数据，以及原有模式数据时效性差的问题，我们提供统一的实时数据集成设计，对接大部分钢铁行业常用数据源。具体提供两种模式实时接入钢铁行业数据，第一种模式支持kafka流式数据源接入，以接收现场监测设备采集的实时数据。第二种模式使用FlinkCDC接入数据，可实现批量数据和实时数据集成的无缝转换。对钢铁行业数据集成过程中，历史数据和实时数据的切换对用户无感知，即数据在进行第一次集成时，程序首先全量同步历史数据，历史数据全部集成完成的瞬间，程序将自动转为接收实时数据流。

具体的，在本实施例中，第一种模式支持kafka流式数据源接入，以接收现场监测设备采集的实时数据。第二种模式使用FlinkCDC接入数据，可实现批量数据和实时数据集成的无缝转换。对钢铁行业数据集成过程中，历史数据和实时数据的切换对用户无感知，即数据在进行第一次集成时，程序首先全量同步历史数据，历史数据全部集成完成的瞬间，程序将自动转为接收实时数据流。

其中，不包含历史数据：针对无历史数据的业务源，可以直接使用实时数据流方式集成数据。

其中，包含历史数据：针对有历史数据的业务源，需要同步全量历史数据，并且增量同步新数据，通过数据集成功能，我们可以实现历史数据+全量数据同步的自动转换。

所述调控方法还包括：

S300，获取对应所述钢铁行业的若干个指标，分别建立所述钢铁行业待计算数据和所述目标计算数据对应所有所述指标的数据查询关系；所述指标的种类包括处理方式指标和参数指标，所述参数指标包括若干个维度的指标，所述处理方式指标包括实时处理指标和离线处理指标，所述处理方式指标的执行优先级大于所述参数指标的执行优先级，具体的，在本实施例中，数据集成任务启动后，即可运用平台批流一体计算引擎对数据进行开发与计算，开发人员需要根据钢铁行业的各项指标，开发不同的计算任务进行计算，也可对持久化存储的历史数据进行分析和计算，依靠数据库高性能的计算能力，可实现秒级的查询操作。

图4为本申请一种工业数据治理下实现流批一体计算的调控方法中构建数据查询关系的流程图。

参见图4可知，进一步的，在一些实施例中，所述分别建立所述钢铁行业待计算数据和所述目标计算数据对应所有所述指标的数据查询关系的步骤包括：

S311，当所述钢铁行业待计算数据中不包含所述历史数据时，构建所述参数指标与所述钢铁行业待计算数据的数据查询关系；

S312，依次构建所述处理方式指标和所述参数指标与所述目标计算数据的数据查询关系。

具体的，在本实施例中，通过对包含不同数据的钢铁行业待计算数据构建不同数据查询关系，以此优化数据查询的效率。

其中，在了解数据源的基础上，明确数据治理中关注的指标项，针对每项指标，需要开发人员在数据开发中，实现相关的计算逻辑，Flink计算引擎支持批流一体的逻辑开发，在开发过程中，需要确定指标是否包含离线指标，离线指标需要对接批处理数据，实时指标对接流式数据。开发完成后在系统中统一提交运行和任务维护。

所述调控方法还包括：

S400，获取用户查询数据需求，所述用户查询数据需求对应所述指标；

S500，根据所述用户查询数据需求获取到目标查询数据，具体的，在本实施例中，通过获取用户查询数据需求，以此得到对应的指标，并通过用户查询数据需求中对应的指标查询到相关数据。

其中，当用户查询数据需求不同时，对应的查询方式及指标也不同，可以理解为快速查询不包括历史数据的需要，具体的方式为：根据所述处理方式指标对所述用户查询数据需求进行实时处理和/或离线处理，并根据所述用户查询数据需求中对应的所述参数指标获取到目标查询数据。

Flink的批处理模式，用于处理历史数据或大规模离线数据；Flink流处理模式以实时处理数据，通过数据结构的分析和设计，可以实现一套代码，既可以运行批量计算，又可以实现实时计算，并且可以配合存储数据库的高性能处理能力，实现实时的数据分析能力。

需要说明的是，所述处理方式指标可以为仅实时处理、仅离线处理和实时处理，离线处理同时进行。

对于有查询历史数据需求的数据查询方式，有如下方式：

当所述用户查询数据需求中对应的所述处理方式指标的种类为所述实时处理指标时，对所述用户查询数据需求进行实时处理，并根据所述用户查询数据需求中对应的所述参数指标获取到目标查询数据；当所述用户查询数据需求中对应的所述处理方式指标的种类为所述离线处理指标时，对所述用户查询数据需求进行离线处理，并根据所述用户查询数据需求中对应的所述参数指标获取到目标查询数据，具体的，在本实施例中，当有历史数据查询需求时，需要先判定其处理方式指标，其次再进行判定参数指标，通过以上几个步骤，即可实现钢铁行业数据治理工作，去除了传统数据治理过程中区分批处理逻辑与流处理逻辑，以及传统数据T+1模式的计算方式，极大提升了数据产出指标结果的时间，由于不存在批流分离的计算，并且数据都是一次性通过实时数据流持久化到数据仓库，数据一致性问题得到了很好的解决，整体架构和开发流程得到简化。

需要说明的是，对于上述的调控方法还有如下几个特殊的情况需要特殊处理，具体如下：

1、数据处理链路因故障导致部分节点停机，此场景下当前节点无法继续传输数据，正在传输的数据将出现中断，此时系统需要感知当前节点未完成处理的数据，并自动分配到其他正常节点进行处理，保证数据一致性，从技术角度，系统每个节点处理的数据，需要有一种反馈机制，系统能够感知每个节点准备处理的数据，以及成功处理的数据，并进行登记，一旦出现故障，需要把当前数据分配到其他正常节点继续处理。

2、数据处理链路无故障，但由于网络波动或者地域差异，多个节点传递数据到计算引擎的时间，有不同程度的延时，在运用窗口函数进行数据计算过程中，需要兼容迟到的数据，需要支持设置一个数据最大延迟时间，在这个范围内，迟到的数据依然可以参与当次计算。对于超过范围的迟到数据，系统也需要对它进行登记处理，但可以不参与当次计算。

3、批流一体处理过程中，由于某类业务数据爆发式增长，导致计算引擎压力过大，持续不断的实时计算占用计算资源越来越多，最终导致系统崩溃。针对此场景，需要给出及时的预警，人为在中间设置缓存，对爆发式数据洪峰进行削峰，保证后续计算资源稳定运行。

图5为本申请一种工业数据治理下实现流批一体计算的调控方法中后续数据调控的流程图。

参见图5可知，进一步的，在一些实施例中，所述调控方法还包括：

S600，对所有所述钢铁行业待计算数据对应的所有所述指标进行监测；

S700，根据所述目标查询数据和对应其的所有所述指标进行分析，生成行业分析报告；

S800，实时可视化展示所有数据、指标及对所有数据和指标的处理流程。

具体的，在本实施例中，在计算逻辑运行过程中，即可产出数据结果，结果数据集通过数据服务对外提供，满足钢铁行业各个应用场景的数据展示，包括但不限于实时大屏、指标监测以及数据分析等应用。

本实施例具有如下优点：

解决了传统钢铁行业批处理+流处理导致的架构复杂、多源异构数据集成困难、开发链路长、数据时效性差、数据不一致的缺陷，实现了钢铁行业数据治理下集中存储和统一计算，有效保障了数据一致性与时效性，提高数据质量与价值，与传统设计相比，极大地降低了系统的复杂度以及开发的复杂度。

Claims (9)

1.一种工业数据治理下实现流批一体计算的调控方法，其特征在于，所述调控方法包括：

获取钢铁行业待计算数据的数据源结构，根据所述数据源结构构建对应所述钢铁行业待计算数据的数据计算模型；

利用所述数据计算模型对所述钢铁行业待计算数据进行实时同步数据处理，得到目标计算数据；所述目标计算数据包括对应钢铁行业的实时数据和历史数据；所述利用所述数据计算模型对所述钢铁行业待计算数据进行实时同步数据处理的步骤包括判断所述钢铁行业待计算数据中是否包括历史数据；若否，则利用kafka模式接收所述实时数据，并将所述钢铁行业待计算数据标记为所述目标计算数据；若是，则利用FlinkCDC模式生成对应所述钢铁行业待计算数据的历史数据，并将所述历史数据和所述钢铁行业待计算数据中包含的所述实时数据进行集成处理，得到所述目标计算数据；所述FlinkCDC模式内部的历史数据集成和实时数据集成自动切换；

获取对应所述钢铁行业的若干个指标，分别建立所述钢铁行业待计算数据和所述目标计算数据对应所有所述指标的数据查询关系；所述指标的种类包括处理方式指标和参数指标，所述参数指标包括若干个维度的指标，所述处理方式指标包括实时处理指标和离线处理指标，所述处理方式指标的执行优先级大于所述参数指标的执行优先级；

获取用户查询数据需求，所述用户查询数据需求对应所述指标；

根据所述用户查询数据需求获取到目标查询数据。

2.根据权利要求1所述的一种工业数据治理下实现流批一体计算的调控方法，其特征在于，所述获取钢铁行业待计算数据的数据源结构的步骤包括：

获取对应所述钢铁行业的所述钢铁行业待计算数据；

对所述钢铁行业待计算数据进行数据结构提取处理，得到所述数据源结构。

3.根据权利要求1所述的一种工业数据治理下实现流批一体计算的调控方法，其特征在于，所述根据所述数据源结构构建对应所述钢铁行业待计算数据的数据计算模型的步骤包括：

将所述钢铁行业待计算数据存储进对应的数据库中；

根据所述数据源结构在所述数据库中构建出对应所述钢铁行业待计算数据的映射关系，得到所述数据计算模型。

4.根据权利要求1所述的一种工业数据治理下实现流批一体计算的调控方法，其特征在于，所述分别建立所述钢铁行业待计算数据和所述目标计算数据对应所有所述指标的数据查询关系的步骤包括：

当所述钢铁行业待计算数据中不包含所述历史数据时，构建所述参数指标与所述钢铁行业待计算数据的数据查询关系；

依次构建所述处理方式指标和所述参数指标与所述目标计算数据的数据查询关系。

5.根据权利要求4所述的一种工业数据治理下实现流批一体计算的调控方法，其特征在于，所述根据所述用户查询数据需求获取到目标查询数据的步骤包括：

当所述用户查询数据需求中不包含查询所述历史数据的需求时，提取所述用户查询数据需求中对应的所述参数指标；

根据所述参数指标查询到对应所述用户查询数据需求的所述目标查询数据。

6.根据权利要求5所述的一种工业数据治理下实现流批一体计算的调控方法，其特征在于，所述根据所述用户查询数据需求获取到目标查询数据的步骤包括：

当所述用户查询数据需求中包含查询所述历史数据的需求时，提取所述用户查询数据需求中对应的所述参数指标和所述处理方式指标。

7.根据权利要求6所述的一种工业数据治理下实现流批一体计算的调控方法，其特征在于，所述根据所述用户查询数据需求获取到目标查询数据的步骤还包括：

根据所述处理方式指标对所述用户查询数据需求进行实时处理和/或离线处理，并根据所述用户查询数据需求中对应的所述参数指标获取到目标查询数据。

8.根据权利要求1所述的一种工业数据治理下实现流批一体计算的调控方法，其特征在于，所述调控方法还包括：

对所有所述钢铁行业待计算数据对应的所有所述指标进行监测；

根据所述目标查询数据和对应其的所有所述指标进行分析，生成行业分析报告。

9.根据权利要求1所述的一种工业数据治理下实现流批一体计算的调控方法，其特征在于，所述调控方法还包括：

实时可视化展示所有数据、指标及对所有数据和指标的处理流程。