CN117112697A - 数据管理方法及相关装置 - Google Patents

Abstract

本申请提供了一种数据管理方法及相关装置，应用于电子设备，所述方法包括：接入数据源并同步所述数据源中数据的数据结构；响应于用户指令新建任务流；根据数据管理需求对所述任务流中的每个节点任务进行配置以得到配置好的节点任务，每个配置好的节点任务的数据来源于所述数据源，所述每个配置好的节点任务的数据处理步骤与该节点任务的类型对应；确定所述每个配置好的节点任务的优先级以生成工作流并实时展示。可以实现实时数据的采集处理和任务的灵活安排，最大限度地满足了能源行业对数据处理的需求。

Description

数据管理方法及相关装置

技术领域

本发明涉及信息处理领域，尤其涉及一种数据管理方法及相关装置。

背景技术

随着能源行业快速发展，各能源子领域也快速实现了信息化，数字化管理。能源行业厂站各部门或各项目都具有独立的采集和数据处理工具，数据分散结构复杂、数据源种类多、数据处理实时性要求高，系统间汇接方式复杂等特点。

但由于业务系统的分散和采集工具的不统一，在数据采集和数据处理任务上仍然是分散处理，分散运行。既不利于任务的统一编排管理，也无法进行资源复用。

市面上有一些针对数据汇接任务的编排工具，但其具备系统局限性，对能源的实时电流、电压、功率等设备检测数据转化和实时数据的处理往往无法胜任，难以应对任能源行业的特殊性。

发明内容

本发明实施例所要解决的技术问题在于，提供一种数据管理方法及相关装置，实现了实时数据的采集处理和任务的灵活安排。

第一方面，本发明实施例提供了数据管理方法，所述方法包括：

接入数据源并同步所述数据源中数据的数据结构；

响应于用户指令新建任务流；

根据数据管理需求对所述任务流中的每个节点任务进行配置以得到配置好的节点任务，每个配置好的节点任务的数据来源于所述数据源，所述每个配置好的节点任务的数据处理步骤与该节点任务的类型对应；

确定所述每个配置好的节点任务的优先级以生成工作流并实时展示。

可以看出，本申请实施例中，电子设备进行数据源的接入并完成数据源中数据的数据结构同步，可响应用户新建任务流的指令，根据数据管理需求对任务流中的每个节点任务进行配置，所述每个节点任务都来自于数据源中，且节点任务的数据处理步骤与该节点任务的类型对应，确定节点任务的优先级以生成工作流并实时展示，最大程度满足了能源行业针对不同设备的数据采集和处理要求，以使任务编排可支持丰富的任务节点类型，可将数据采集和数据处理的任务进行串联，可进行节点间任务执行顺序的策略配置。

第二方面，本发明实施例提供了数据管理装置，应用于电子设备，所述装置包括：

数据源管理模块，用于创建所述数据源以及所述数据源的数据库表，并对所述数据源的数据结构进行同步；

任务编排管理模块，用于响应于用户指令新建任务流；根据数据管理需求对所述任务流中的每个节点任务进行配置以得到配置好的节点任务，每个配置好的节点任务的数据来源于所述数据源，所述每个配置好的节点任务的数据处理步骤与该节点任务的类型对应；确定所述每个配置好的节点任务的优先级以生成工作流；

采集结果管理模块，用于实时展示所述工作流。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可见，该数据管理方法及相关装置满足了能源行业中数据实时数据采集处理和任务灵活安排的要求，可统一编排数据采集和数据处理任务，根据需求建立任务工作流。

通过实施本发明实施例，揭示了能源行业数据汇接过程中，采集多源异构数据并进行数据结构同步，灵活编排数据处理任务，生成相应的任务工作流，最终通过任务得到所需数据。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种数据管理方法的系统架构图；

图2是本申请实施例提供的一种电子设备的结构示意图；

图3是本申请实施例提供的一种数据管理方法的流程示意图；

图4是本申请实施例提供的一种节点任务的编排示意图；

图5是本申请实施例提供的一种节点任务的结果查看示意图；

图6是本申请实施例提供的另一种数据管理方法的流程示意图；

图7是本申请实施例提供的一种数据管理装置的功能单元组成框图；

图8是本申请实施例提供的另一种数据管理装置的功能单元组成框图；

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。本申请实施例中出现的“多个”是指两个或两个以上。

本申请实施例中的“至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合，是指一个或多个，多个指的是两个或两个以上。例如，a、b或c中的至少一项(个)，可以表示如下七种情况：a，b，c，a和b，a和c，b和c，a、b和c。其中，a、b、c中的每一个可以是元素，也可以是包含一个或多个元素的集合。

本申请实施例中出现的“连接”是指直接连接或者间接连接等各种连接方式，以实现设备间的通信，本申请实施例对此不做任何限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。但由于业务系统的分散和采集处理工具的不统一，在数据采集，数据处理任务上仍然是分散处理，分散运行。既不利于任务的统一编排管理，也无法进行资源复用，增加了工作量。

下面对本申请实施例所涉及的相关内容、概念、含义、技术问题、技术方案、有益效果等进行说明。

随着能源行业快速发展，各能源子领域也快速实现了信息化，数字化管理。但是，由于能源行业具有数据分散、结构复杂、数据源种类多、数据处理实时性要求高，系统间汇接方式复杂等特点，所以其数据采集处理问题难以解决。而一般综合能源企业会采用市面上常见的连接器，或搭建企业总线，用于数据的同步；使用部分数据开发开源工具，进行数据的处理；采用通用的任务编排工具，进行数据开发任务的编排。但由于业务系统的分散和采集处理工具的不统一，在数据采集处理任务上仍然是分散处理、分散运行。既不利于任务的统一编排管理，也无法进行资源复用，增加了工作量。市面上也有一些针对数据汇接任务的编排工具，但却具备系统局限性，对开发人员代码专业度要求较高，且无法胜任其对能源设备检测数据的转化和实时数据的处理，难以应对任能源行业的特殊性。

为解决上述问题，本申请实施例提供了一种数据管理方法及相关装置，可以通过数据源的接入完成对多源异构数据的采集，进行数据源中数据的数据结构同步便于任务编排，可响应用户新建任务流的指令，根据数据管理需求对任务流中的每个节点任务进行配置，该节点任务都来自于数据源中，且节点任务的数据处理步骤与该节点任务的类型对应，任务编排支持丰富的任务节点类型，可根据节点任务类型进行执行顺序的策略配置，并确定节点任务的优先级以生成工作流并实时展示，实现了能源行业针对不同设备的数据统一采集和处理，满足了实时数据采集处理和任务灵活编排的需求。

下面结合图1对本申请实施例中的一种数据管理方法的系统架构进行说明，图1是本申请实施例提供的一种数据管理方法的系统架构图，该数据管理系统包括数据源管理模块110、数据接口管理模块111、采集任务管理模块112、任务编排管理模块113、采集结果管理模块114这五大模块。

其中，数据源管理模块110，用于执行数据源创建、数据源联通测试、数据模型管理、采集引擎管理以及数据结构同步。

在一个可能的实施例中，在创建数据源时，数据源管理模块110可以根据选择的数据源类型以及填写的数据源信息创建对应的数据源，数据源管理模块110可以对接的数据源包括但不限于文件共享服务器、关系型数据库、非关系型数据库、数据访问接入、分布式文件系统、消息队列、流式数据库、文件数据等，这是由于能源行业涉及的设备数据可能源自流式数据库，涉及的设备台账类数据可能源自关系型数据库，便于统一管理，并且将消息队列和流式数据库等时序数据库创建为数据源可以便于进行实时数据的采集和任务编排，以保证采集数据的实时性要求。

在一个可能的实施例中，在进行数据源联通测试时，数据源管理模块110可以对于选择的数据源进行数据联通测试，该数据源为先前已经创建的数据源，数据源管理模块110也可以对于已完成数据联通测试的数据源进行数据源状态更新，以确保数据源连接状态正常，便于后续的数据采集工作。

在一个可能的实施例中，在进行数据模型管理时，对于各类数据源，数据源管理模块110可以针对不同类型的数据源，通过响应用户操作以可视化的方式对该类型数据源的数据库表进行创建，以便后续的任务编排使用，数据源管理模块110可以响应用户操作对数据库表进行信息录入，该信息包括数据库表的基本信息、字段信息、分区信息、索引信息，便于后续的使用。

在一个可能的实施例中，由于能源行业数据并发量高并且数据量大的特点，往往需要多个分布式采集引擎进行任务工作流的处理和计算，多个采集引擎进行工作时，无法准确地了解各个采集引擎的工作情况及各个任务的运行情况，因此可以通过数据源管理模块110进行采集引擎管理，在进行采集引擎管理时，数据源管理模块110可以显示采集引擎的工作状态和负荷情况，通过显示各个指标信息的具体数值，便于用户从整体上了解采集引擎的占用情况，也可以展示各个采集引擎运行的编排任务工作流情况，便于用户了解采集引擎的工作情况。

在一个可能的实施例中，在进行数据结构同步时，采集引擎响应用户操作对数据源的数据结构进行同步，便于用户了解数据源对应数据库表的元数据，如表基础信息、字段信息等，便于后续任务编排时，进行字段级别的数据采集和处理操作。

其中，数据接口管理模块111，用于执行数据接口创建和数据接口调试。

在一个可能的实施例中，由于部分业务系统可以通过接口调用形式进行数据同步，系统提供数据接口管理模块111，用于系统间对接和数据同步，在进行接口创建时，数据接口管理模块111可以通过响应输入操作获取前端请求参数，根据任意一个数据源下的数据库表获取后端返回参数的对应字段，数据接口管理模块111也可以根据设置的该字段返回权限响应于用户操作对数据接口参数进行设定，响应于用户操作对前端请求参数和后端返回参数进行配置，需要说明的是，在接口调用时，获取前端请求参数后，接口返回的数据信息即为后端返回参数，配置完成时即完成接口创建，便于后续用户对数据进行重复处理。

在一个可能的实施例中，在进行数据接口调试时，数据接口管理模块111可以通过在线调试工具发送获取的请求参数给数据接口，数据接口接收该参数并正确地进行数据返回，或是数据接口接收该参数后无法正确进行数据返回，根据数据返回结果即可获知数据接口是否调试成功。

其中，采集任务管理模块112，用于执行数据同步采集任务创建。

在一个可能的实施例中，在进行数据同步采集任务创建时，采集任务管理模块112可以通过采集引擎配置数据源到数据源的数据同步采集任务，数据同步采集任务包括离线采集任务和实时采集任务，针对实时采集任务和离线采集任务，采集任务管理模块112可以响应于采集任务的详情查看、运行情况查看、启动/暂停、编辑、删除、查看日志、立即执行等操作，以便于对离线和实时采集任务进行管理。

进一步地，若数据同步采集任务为离线采集任务，采集任务管理模块112可响应于针对源端、目的端信息、以及字段的映射信息、采集策略信息的配置操作以完成对离线采集任务的创建，需要说明的是，由于异构数据源离线同步工具DataX支持市面上常见的异构数据源的连接采集，用户无需按照数据源种类以传统方式配置数据连接器，采集任务管理模块112可根据获取的采集策略信息，完成数据库交换任务的创建。

进一步地，若数据同步采集任务为实时采集任务，采集任务管理模块112可根据获取的采集任务信息，完成对实时采集任务的创建，而通过流框架Flink可以实现对于流式数据的采集。

其中，任务编排管理模块113，用于执行汇编任务分类管理、节点管理及节点流程管理。

在一个可能的实施例中，在进行汇编任务分类管理时，任务编排管理模块113可以响应于分类操作以建立汇编任务的分类，便于进行汇编任务的区分以及汇编任务的浏览和查找，任务编排管理模块113也可以响应于针对汇编任务分类目录的创建操作以完成其分类目录的创建，便于用户对汇编任务进行增删改查。

在一个可能的实施例中，在进行节点管理时，任务编排管理模块113可支持多种节点类型，如超文本传输协议(Hyper Text Transfer Protocol，HTTP)节点、采集任务节点、存储过程节点、结构化查询语言(Structured Query Language，SQL)脚本节点、开发语言Flink SQL脚本节点等，根据节点的不同类型响应于对该类型节点的配置操作，完成对节点的配置，便于对节点进行管理和使用。

在一个可能的实施例中，在进行节点流程管理时，任务编排管理模块113响应于拖拽操作将节点拖拽至画布中并在节点之间形成流程指向，后一个任务依赖前一个任务的处理，以此形成工作流程从头向后指向热任务，需要说明的是，若任务编排存在并列关系的节点，则任务编排管理模块113可根据设置的节点优先级，优先执行高优先级的节点。

可见，由于能源行业数据来源较多，任务编排管理模块113可以提供在线任务流程编排工具，帮助用户以可视化的方式进行系统汇接和数据处理的任务编排，将项目中流程化的任务以编排的形式进行固定，方便整个任务流程的串联和执行，并在任务编排过程中，使用装置提供的工具进行数据的映射、过滤、规整等个性化处理，以便满足数据使用需求。

其中，采集结果管理模块114，用于执行采集结果管理。

在一个可能的实施例中，采集结果管理模块114可以显示编排的数据采集和处理任务的执行结果及相关指标，具体的结果有每个节点任务的运行情况和结果，并且可以展示各个节点的处理日志，便于用户了解整体编排任务工作流的执行情况。

可见，通过上述系统架构，可以实现能源行业针对不同设备的数据统一采集和处理，满足了实时数据采集处理和任务灵活编排的需求。

下面结合图2对本申请实施例中的电子设备进行说明，图2为本申请实施例提供的一种电子设备的结构示意图，如图2所示，该电子设备包括一个或多个应用处理器220、存储器230、通信模块240以及一个或多个程序231，该应用处理器220通过内部通信总线与该存储器230、该通信模块240通信连接。

其中，该一个或多个程序231被存储在上述存储器230中，且被配置由上述应用处理器220执行，该一个或多个程序231包括用于执行上述方法实施例中任一步骤的指令。

其中，应用处理器220例如可以是中央处理器(Central Processing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，单元和电路。应用处理器220也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信单元可以是通信模块240、收发器、收发电路等，存储单元可以是存储器230。

存储器230可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，RAM)可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubledata rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。

可以理解的是，电子设备20可包括比上述结构框图中更多或更少的结构元件，例如，包括电源模块、物理按键、Wi-Fi模块、扬声器、蓝牙模块、传感器、显示模块等，在此不进行限定。可以理解，该电子设备20可以搭载如图1所述的系统架构。

在了解本申请的软硬件架构后，下面结合图3对本申请实施例中的一种数据管理方法进行说明，图3为本申请实施例提供的一种数据管理方法的流程示意图，具体包括以下步骤：

步骤S301，接入数据源并同步所述数据源中数据的数据结构。

其中，可以对接入的数据源测试该数据源的数据联通，以使数据源连接状态正常，并创建每个数据源的数据库表，最后，对所述每个数据源的数据结构进行同步以得到所述每个数据源的数据库表的元数据，所述数据源的数据库表的元数据应用于字段级别的数据采集和处理操作。

具体的，进行数据联通测试时，根据新建的已创建数据源的联通测试列表，对其进行连接测试，即可在数据源状态栏显示当前连接状态，若响应于选择刷新数据源状态的操作，即可对数据源的连接状态进行实时更新。可以对编辑后的数据源联通测试项进行数据更新处理，根据用户需求更改数据源信息，不需要再进行联通测试时，可以对需要删除的联通测试项进行数据清空处理。

在一个可能的实施例中，针对各类数据源，系统可以创建该类型数据源的数据库表，以便后续的任务编排使用，响应用户操作可视化方式进行该类型数据源的创建时，需要录入的信息包括数据库表基本信息、字段信息、分区信息、索引信息，以便后续的使用。

在一个可能的实施例中，可以通过采集引擎可对数据源的数据结构进行同步，便于用户了解数据源下数据库表的元数据，如表基础信息、字段信息等，方便后续任务编排时，进行字段级别的数据采集和处理操作，也可以自动同步关系型数据库的数据结构，而对于半结构化数据，如csv、txt格式等，系统可以通过上传的文件以及指定的字段和分隔符，进行数据的结构化采集存储，也可以显示并管理各数据源下的数据库表结构，以便任务编排时进行使用。

其中，由于能源行业的数据并发量高，数据量大，可能需要多个分布式采集引擎进行任务工作流的处理和计算，因此可以通过采集引擎管理模块进行采集引擎管理，实时显示采集引擎的工作状态和负荷情况，以及各个采集引擎运行的编排任务工作流情况，帮助用户整体上了解引擎工作情况。

具体的，创建数据源时，根据数据源类型的不同，获取对应的数据源的连接信息，再根据选择的数据源类型响应于针对数据源的名称、所属的系统、网际协议(InternetProtocol，IP)主机名、端口、用户名和密码等信息的输入操作，以完成数据源的创建。

需要说明的是，可以对接的数据源包括但不限于文件共享服务器、关系型数据库、非关系型数据库、数据访问接入、分布式文件系统、消息队列、流式数据库、文件数据等，通过上述数据源的对接即可全面满足能源行业对于多源异构数据的采集需求，同时，由于能源行业涉及的设备数据可能源自流式数据库，涉及的设备台账类数据可能源自关系型数据库，通过使用相应类型的数据库以便统一管理，并且将消息队列和流式数据库等时序数据库创建为数据源可以便于进行实时数据的采集和任务编排，以保证采集数据的实时性要求。

步骤S302，响应于用户指令新建任务流。

其中，可以响应于用户指令新建任务流。

具体的，进行新建任务流时，可以响应于分类操作对汇编任务进行分类，在不同的分类下完成对任务流的创建，所述任务流为所有用户为实现特定操作所完成的单一流程，新建的内容包括汇编任务的分类及分类目录，可响应于增删改查操作对汇编任务分类进行处理，在特定的分类目录下完成对任务流的创建，多个任务可串联在一起，实现各个任务之间的依赖关系，当上游任务完成同步时可自动开启下游任务。

步骤S303，根据数据管理需求对所述任务流中的每个节点任务进行配置以得到配置好的节点任务。

其中，每个配置好的节点任务的数据来源于所述数据源，所述每个配置好的节点任务的数据处理步骤与该节点任务的类型对应，然后根据所述数据管理需求确定所述每个节点任务的类型，再根据所述每个节点任务的类型对所述每个节点任务进行配置以得到所述每个配置好的节点任务。

具体的，节点包括多种类型，如HTTP节点、采集任务节点、存储过程节点、SQL脚本节点、Flink SQL脚本节点等，同时，系统由于使用提取-转换-加载(Extract-Transform-Load，ETL)工具，所以也支持针对数据进行规整、过滤的节点，如行转列、数据过滤、数据比对等节点，格式转化等节点，节点任务为需要配置及编排的特定节点任务，选择的节点类型应适配于当前任务，选择的节点任务为满足数据管理需求的指定节点任务，响应于拖拽操作将节点任务以拖拽的形式，拖放到画布中。

在一个可能的实施例中，选择节点任务的操作包括但不限于拖拽的形式，可以响应于点击操作通过点击交互选择节点任务，其中点击操作包括双击或者右击，也可以响应于长按拖动选定框的操作进行选择，在此不做具体限定，随后便弹出任务添加栏，可以响应于点击操作进行选择即可将任务添加至工作区，或者每个节点任务旁有一个任务添加选项，可以响应于点击操作直接点击该任务添加选项，即可将节点任务添加至工作区。

具体的，可以根据数据汇聚和处理的实际需求，响应于对节点的任务进行各类参数的设置或脚本撰写的操作，完成对节点任务的参数设置。

在一个可能的实施例中，若节点为HTTP节点，主要以接口形式针对统一资源定位器(Uniform Resource Locator，URL)接口地址的数据进行采集同步，节点配置的信息包括HTTP节点信息，如请求地址、请求类型、校验条件、校验内容，根据配置的节点信息及可添加的请求参数和自定义参数，以完成对节点的配置，已经建立的数据接口可在工作中引用，便于简化工作流程。

在一个可能的实施例中，若节点为采集任务节点，此节点为引用在采集任务管理中所建立的采集任务节点，节点配置的信息包括汇聚作业的选择，源表和目标表的填写，根据配置的节点信息以完成配置，而在工作流中，系统到系统的数据交换采集任务可以作为节点引用到工作流中，以便设置整体的流程任务并进行流程化的数据处理。

在一个可能的实施例中，若节点为存储过程节点，节点配置的信息包括数据源的选择，方法的填写，可添加的自定义参数，根据配置的节点信息以完成配置，该节点支持主流关系型数据库的存储过程，即SQL脚本，可获取自定义的SQL参数，也可以获取填写或上传的SQL存储过程，数据库则根据存储过程的SQL脚本进行数据处理。

在一个可能的实施例中，若节点为SQL脚本节点，节点配置的信息包括数据源及SQL类型的选择，自定义脚本或者资源的选择，可添加的自定义参数，根据配置的节点信息以完成配置，该节点支持响应于用户操作通过SQL脚本形式，进行数据处理，也可以响应于新增SQL脚本节点及针对SQL节点任务进行配置的操作，使用该节点便于对实时性要求不高的数据进行个性化处理。

在一个可能的实施例中，若节点为Flink SQL脚本节点，可根据插入模板的选择以完成配置，该节点支持书写Flink SQL脚本的形式，针对离线数据与实时采集数据，进行实时的数据处理，便于满足能源行业数据实时性处理要求。

步骤S304，确定所述每个配置好的节点任务的优先级以生成工作流并实时展示。

其中，可以响应于用户操作以确定所述每个配置好的节点任务的流程指向，若所述流程指向包括并列关系的节点任务，则根据所述数据管理需求确定所述并列关系的节点任务的优先级，以及，若所述流程指向包括线性关系的节点任务，则根据所述线性关系的节点任务的排列顺序确定所述线性关系的节点任务的优先级，然后，根据所述并列关系的节点任务的优先级和/或所述线性关系的节点任务的优先级生成所述工作流，最后，实时展示所述每个配置好的节点任务的运行数据。

在一个可能的实施例中，可以响应于拖拽的操作将任务节点拖拽至画布中，通过两节点间拖拽的方式形成流程指向，后一个任务依赖前一个任务的处理，若流程指向包括并列关系的节点任务，则根据数据管理需求确定并列关系的节点任务的优先级，若流程指向包括线性关系的节点任务，则根据线性关系的节点任务的排列顺序确定线性关系的节点任务的优先级，根据并列关系的节点任务的优先级和/或线性关系的节点任务的优先级生成工作流。

在一个可能的实施例中，对于任务编排的操作，包括但不限于拖拽的方式，可以将节点的优先级数值化，对于并列关系的节点任务，根据数据管理需求确定其优先级数值小数部分的大小，对于线性关系的节点任务，根据排列顺序确定其优先级数值整数部分的大小，最后将每个节点任务的优先级数值按从大到小排列，即可生成工作流。

便于理解，参见图4，图4为申请实施例提供的一种节点任务的编排示意图，可见，该工作区有任务A、任务B、任务C、任务D这四个节点任务，每个节点任务都有标有优先级的数值，可见，任务A、任务B和任务D具有线性关系，则其优先级整数部分按照排列的顺序从大到小依次分配，即任务A的优先级数值大小为3.0，任务B的优先级数值大小为2.0，任务D的优先级数值大小为1.0，而任务B和任务C具有并列关系，先将任务B的优先级的整数部分数值分配给任务C，完成优先级整数部分数值大小的统一，再将根据数据管理的实际需求对其优先级的小数部分进行分配，最后，任务B的优先级数值大小为2.0，而任务C的数值大小为2.1，在所有任务节点优先级分配完毕后，将节点任务按照优先级的数值大小进行从大到小排列，由于任务A、任务B、任务D、任务C的优先级的数值分别对应为3.0、2.0、1.0、2.1，优先级按从大到小的顺序排列，即为3.0、2.1、2.0、1.0，则节点任务排列顺序为任务A、任务C、任务B、任务D，再根据其排列顺序用实线箭头表示流程指向，即流程指向为任务A指向任务C，任务C指向任务B，任务B指向任务D，最后完成工作流的创建。

具体的，当任务运行后，可以整体显示各节点运行情况和结果，以便用户了解整体编排任务工作流的执行情况，也可以显示编排的数据采集和处理任务的执行结果及相关指标，通过响应于点击任意一个节点任务的操作以弹出该节点任务的具体运行情况和结果，还可以获取各个节点的处理日志。

便于理解，参见图5，图5为申请实施例提供的一种节点任务的结果查看示意图，可见，在结果查看界面显示了每个节点任务的基本信息和执行情况，基本信息有节点任务的类型及作用，如数据汇聚、SQL等为节点任务的类型，报销申请单数据采集、报销申请单数据标准化、付款申请数据采集等为节点任务的作用，执行情况有成功或失败，其中，类型为数据汇聚的报销申请单数据采集节点任务显示运行成功，类型为SQL的报销申请单数据标准节点任务显示运行成功，类型为SQL的报销申请单数据汇总节点任务显示运行成功，类型为SQL的付款报销统计节点任务显示运行成功，类型为数据汇聚的付款申请数据采集节点任务显示运行成功，类型为SQL的付款申请单数据标准化节点任务显示运行成功，类型为数据汇聚的付款申请数据汇总节点任务显示运行成功，便于用户清晰地看出每个节点任务的执行情况，其中的实线箭头指向表示了节点任务的工作流程，便于用户了解整个任务在进行工作时每个任务节点的作用。

在一个可能的实施例中，若响应于点击任意一个节点任务，即弹出该节点任务的具体运行情况和结果，还可以获取各个节点的处理日志，便于理解，参见图5部分，可见，响应于点击付款申请数据汇总节点任务，即弹出该节点任务运行情况的信息窗口，用虚线箭头表示响应过程，该窗口显示了每条付款申请数据的具体信息，如付款申请数据1，显示了其项目名称、时间、金额等信息，还显示了付款数据的总数量和总金额，以及该节点任务的处理日志，并显示该节点任务的运行结果为汇总完成。

可见，通过上述方法，可以采集多源异构数据并进行数据结构同步，统一管理采集数据，最大程度满足了能源行业针对不同设备的数据采集和处理要求，满足了工作人员及业务人员针对能源行业数据采集及处理任务整体流程的编排，满足了其复杂的任务流程设置。通过采用可视化拖拽方式进行任务编排，让业务人员容易理解任务流程的同时，减少了装置的操作和使用门槛。同时，任务编排支持丰富的任务节点类型，即可以将数据采集和数据处理的任务进行串联，还可以进行节点间任务执行顺序的策略配置。同时，可对任务的运行数据和执行结果进行实时查看，用户可以直观地看到每个任务节点的之间的运行过程，便于用户及时获知处理任务的结果和关键指标，实时查看设备的运行状态。

下面结合图6对本申请实施例中的另一种数据管理方法进行说明，图6为本申请实施例提供的另一种数据管理方法的流程示意图，具体包括以下步骤：

步骤S601，接入数据源并同步所述数据源中数据的数据结构。

其中，可以对接入的数据源测试该数据源的数据联通，以使数据源连接状态正常，并创建每个数据源的数据库表，最后，对所述每个数据源的数据结构进行同步以得到所述每个数据源的数据库表的元数据，所述数据源的数据库表的元数据应用于字段级别的数据采集和处理操作。

步骤S602，创建数据接口。

其中，所述数据接口用于所述数据源之间的数据同步。

具体的，创建数据接口时，可以响应于输入操作以获取前端请求参数，而后端返回参数可以通过选取的任意一个数据源下的数据库表进行字段获取，可以响应于设置操作对字段返回权限进行设置且根据设置的字段返回权限对数据接口参数进行设置。对前端请求参数进行配置的信息中，包括参数名称、参数位置等，对后端返回参数进行配置的信息则来自于接口调用时接口返回的数据信息，通过完成对前端请求参数和后端请求参数的配置即可完成对数据接口的创建。数据接口创建后，可进行接口在线调试，获取请求参数，在线调试工具发送该请求参数给接口，测试接口是否能正确进行数据返回，而成功创建的数据接口可在任务编排过程中进行重复使用，极大地提高了资源的利用率，减少了开发人员的重复工作量，便于提高整体任务的运行效率。

步骤S603，创建所述数据源之间的数据交换任务。

其中，若所述节点任务的类型为采集任务节点，则将所述数据交换任务作为所述采集任务节点，而所述数据交换任务包括离线采集任务和实时采集任务，若所述数据交换任务为所述离线采集任务，则响应于针对配置端口信息及字段映射信息、采集策略信息的操作以完成所述离线采集任务的创建，若所述数据交换任务为所述实时采集任务，则响应于针对配置采集任务信息的操作以完成所述实时采集任务的创建。

具体的，数据交换任务包括离线采集任务和实时采集任务，而针对离线采集任务和实时采集任务，都可以进行采集任务管理，可以通过响应于所述数据交换任务的详情查看、运行情况查看、启动/暂停、编辑、删除、查看日志、立即执行等操作以完成所述采集任务管理。

在一个可能的实施例中，若数据交换任务为离线采集任务，则可以响应于针对源端、目的端信息、以及字段的映射信息、采集策略信息的配置操作以创建离线采集任务，可通过选择的源端数据源及数据源表等信息，完成对于源端的配置，可通过选择的目标数据库类型、目标数据源及目标表名等信息，完成对于目的端的配置，之后即可获取字段的映射信息并响应于配置操作对其进行配置，最后根据配置的采集策略信息，任务的作业名称以及选择的对应采集模式、采集引擎、采集频率等，以完成对离线采集任务的创建。

在一个可能的实施例中，若数据交换任务为实时采集任务，则也可以根据其配置的源端及目的端的信息，选择并进行配置的需要解析的字段信息，选择的不同采集范围，如全部、最新偏移量、指定偏移量、按时间数这四个范围，以完成对实时采集任务的创建。

可见，用户可以根据实际需求对任务进行个性化创建，以应对数据采集任务中的各种场景，极大限度满足了其任务的多样性要求，大大提升了工作效率。

步骤S604，响应于用户指令新建任务流。

其中，可以响应于用户指令新建任务流。

步骤S605，根据数据管理需求对所述任务流中的每个节点任务进行配置以得到配置好的节点任务。

其中，每个配置好的节点任务的数据来源于所述数据源，所述每个配置好的节点任务的数据处理步骤与该节点任务的类型对应，然后根据所述数据管理需求确定所述每个节点任务的类型，再根据所述每个节点任务的类型对所述每个节点任务进行配置以得到所述每个配置好的节点任务。

步骤S606，确定所述每个配置好的节点任务的优先级以生成工作流并实时展示。

其中，可以响应于用户操作以确定所述每个配置好的节点任务的流程指向，若所述流程指向包括并列关系的节点任务，则根据所述数据管理需求确定所述并列关系的节点任务的优先级，以及，若所述流程指向包括线性关系的节点任务，则根据所述线性关系的节点任务的排列顺序确定所述线性关系的节点任务的优先级，然后，根据所述并列关系的节点任务的优先级和/或所述线性关系的节点任务的优先级生成所述工作流，最后，实时展示所述每个配置好的节点任务的运行数据。

可见，通过上述方法，可以采集多源异构数据并进行数据结构同步，统一管理采集数据，最大程度满足了能源行业针对不同设备的数据采集和处理要求，满足了工作人员及业务人员针对能源行业数据采集及处理任务整体流程的编排，满足了其复杂的任务流程设置。通过采用可视化拖拽方式进行任务编排，让业务人员容易理解任务流程的同时，减少了装置的操作和使用门槛。同时，任务编排支持丰富的任务节点类型，即可以将数据采集和数据处理的任务进行串联，还可以进行节点间任务执行顺序的策略配置。用户建立的API接口资源等都可以在任务编排过程中进行重复使用，这提高了资源的使用率，减少了开发人员工作量。同时，可对任务的运行数据和执行结果进行实时查看，用户可以直观地看到每个任务节点的之间的运行过程，便于用户及时获知处理任务的结果和关键指标，实时查看设备的运行状态。

上述未详细说明的步骤可以参见图3中方法的步骤的描述，在此不做赘述。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图7为本申请实施例提供的一种数据管理装置的功能单元组成框图，所述数据管理装置700包括：

数据源管理模块710，用于创建所述数据源以及所述数据源的数据库表，并对所述数据源的数据结构进行同步；

任务编排管理模块720，用于响应于用户指令新建任务流；根据数据管理需求对所述任务流中的每个节点任务进行配置以得到配置好的节点任务，每个配置好的节点任务的数据来源于所述数据源，所述每个配置好的节点任务的数据处理步骤与该节点任务的类型对应；确定所述每个配置好的节点任务的优先级以生成工作流；

采集结果管理模块730，用于实时展示所述工作流。

可见，该数据管理方法及相关装置满足了能源行业中数据实时数据采集处理和任务灵活安排的要求，可统一编排数据采集和数据处理任务，根据需求建立任务工作流。

需要说明的是，各个操作的具体实现可以采用上述所示的方法实施例的相应描述，数据管理装置700可以用于执行本申请上述方法实施例，对此不再赘述。

在采用集成的单元的情况下，下面结合图8对本申请实施例中的另一种数据管理装置800进行详细说明，所述数据管理装置800包括处理单元801和通信单元802，其中，所述处理单元801，用于执行如上述方法实施例中的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元802来完成相应操作。

其中，所述数据管理装置800还可以包括存储单元803，用于存储程序代码和数据。所述处理单元801可以是处理器，所述通信单元802可以是无线收发器，存储单元803可以是存储器，所述处理单元801具体用于：

接入数据源并同步所述数据源中数据的数据结构；

响应于用户指令新建任务流；

根据数据管理需求对所述任务流中的每个节点任务进行配置以得到配置好的节点任务，每个配置好的节点任务的数据来源于所述数据源，所述每个配置好的节点任务的数据处理步骤与该节点任务的类型对应；

确定所述每个配置好的节点任务的优先级以生成工作流并实时展示。

可见，该数据管理方法及相关装置满足了能源行业中数据实时数据采集处理和任务灵活安排的要求，可统一编排数据采集和数据处理任务，根据需求建立任务工作流。

需要说明的是，各个操作的具体实现可以采用上述所示的方法实施例的相应描述，数据管理装置800可以用于执行本申请上述方法实施例，对此不再赘述。

本申请实施例还提供了一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供了一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于上述的各个实施例，为了简单描述，将其都表述为一系列的动作组合。本领域技术人员应该知悉，本申请不受所描述的动作顺序的限制，因为本申请实施例中的某些步骤可以采用其他顺序或者同时进行。另外，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作、步骤、模块或单元等并不一定是本申请实施例所必须的。

在上述实施例中，本申请实施例对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

综上所述，通过实施本发明实施例，可以进行多种结构数据的采集，其中包括结构化、半结构化、非结构化数据、实时数据、离线数据等。最大程度满足了能源行业针对不同设备的数据采集和处理要求，满足了工作人员及业务人员针对能源行业数据采集及处理任务整体流程的编排，满足了其复杂的任务流程设置。通过采用可视化拖拽方式进行任务编排，让业务人员容易理解任务流程的同时，减少了装置的操作和使用门槛。同时，任务编排支持丰富的任务节点类型，即可以将数据采集和数据处理的任务进行串联，还可以进行节点间任务执行顺序的策略配置。用户建立的API接口资源等都可以在任务编排过程中进行重复使用，这提高了资源的使用率，减少了开发人员工作量。同时，由于能源行业需要对设备的运行状态数据进行及时查看，对于关键指标需要实时获知，即整体上对数据采集处理的实时性要求很高，所以本装置除了装有传统的离线采集工具外，还集成了实时数据采集和处理引擎，能够最大限度的满足能源行业的数据处理需求。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

本申请实施例所描述的方法或者算法的步骤可以以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM、闪存、ROM、EPROM、电可擦可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于终端设备或管理设备中。当然，处理器和存储介质也可以作为分立组件存在于终端设备或管理设备中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。

上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端设备的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端设备内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端设备内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。

以上所述的具体实施方式，对本申请实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请实施例的具体实施方式而已，并不用于限定本申请实施例的保护范围，凡在本申请实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请实施例的保护范围之内。

Claims (10)

1.一种数据管理方法，其特征在于，包括：

接入数据源并同步所述数据源中数据的数据结构；

响应于用户指令新建任务流；

根据数据管理需求对所述任务流中的每个节点任务进行配置以得到配置好的节点任务，每个配置好的节点任务的数据来源于所述数据源，所述每个配置好的节点任务的数据处理步骤与该节点任务的类型对应；

确定所述每个配置好的节点任务的优先级以生成工作流并实时展示。

2.如权利要求1所述的方法，其特征在于，所述接入数据源并同步所述数据源中数据的数据结构，包括：

测试所述数据源的数据联通，以使数据源连接状态正常；

创建每个数据源的数据库表；

对所述每个数据源的数据结构进行同步以得到所述每个数据源的数据库表的元数据，所述数据源的数据库表的元数据应用于字段级别的数据采集和处理操作。

3.如权利要求1所述的方法，其特征在于，所述根据数据管理需求对所述任务流中的每个节点任务进行配置以得到配置好的节点任务，包括：

根据所述数据管理需求确定所述每个节点任务的类型；

根据所述每个节点任务的类型对所述每个节点任务进行配置以得到所述每个配置好的节点任务。

4.如权利要求1所述的方法，其特征在于，所述响应于用户指令新建任务流之前，所述方法还包括：

创建数据接口，和/或，创建所述数据源之间的数据交换任务，所述数据接口用于所述数据源之间的数据同步。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

若所述节点任务的类型为采集任务节点，则将所述数据交换任务作为所述采集任务节点。

6.如权利4要求所述的方法，其特征在于，所述数据交换任务包括离线采集任务和实时采集任务；所述创建所述数据源之间的数据交换任务，包括：

若所述数据交换任务为所述离线采集任务，则响应于针对配置端口信息及字段映射信息、采集策略信息的操作以完成所述离线采集任务的创建；

若所述数据交换任务为所述实时采集任务，则响应于针对配置采集任务信息的操作以完成所述实时采集任务的创建。

7.如权利要求1所述的方法，其特征在于，所述确定所述每个配置好的节点任务的优先级以生成工作流并实时展示，包括：

响应于用户操作以确定所述每个配置好的节点任务的流程指向；

若所述流程指向包括并列关系的节点任务，则根据所述数据管理需求确定所述并列关系的节点任务的优先级，以及，若所述流程指向包括线性关系的节点任务，则根据所述线性关系的节点任务的排列顺序确定所述线性关系的节点任务的优先级；

根据所述并列关系的节点任务的优先级和/或所述线性关系的节点任务的优先级生成所述工作流；

实时展示所述每个配置好的节点任务的运行数据。

8.一种数据管理装置，其特征在于，包括数据源管理模块、任务编排管理模块以及采集结果管理模块，其中：

所述数据源管理模块，用于创建所述数据源以及所述数据源的数据库表，并对所述数据源的数据结构进行同步；

所述任务编排管理模块，用于响应于用户指令新建任务流；根据数据管理需求对所述任务流中的每个节点任务进行配置以得到配置好的节点任务，每个配置好的节点任务的数据来源于所述数据源，所述每个配置好的节点任务的数据处理步骤与该节点任务的类型对应；确定所述每个配置好的节点任务的优先级以生成工作流；

所述采集结果管理模块，用于实时展示所述工作流。

9.一种电子设备，其特征在于，包括：处理器，存储器，以及一个或多个程序；所述一个或多个程序被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。