CN116257305A - 一种数据治理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请公开一种数据治理方法、装置、计算机设备及存储介质，属于数据处理技术领域。该方法包括：获取待治理数据；根据待治理数据对应的多个任务信息，生成数据映射模板；将数据映射模板中的多个任务信息进行整合，根据整合后任务信息的任务类型，调用任务生成逻辑，生成相应的数据治理脚本；通过运行数据治理脚本，对待治理数据进行治理。这样，通过设计通用的数据映射模板用于表示数据治理各环境任务的生成关系，以便于跨脚本、跨类型、跨产品的任务整合，并且在预先配置任务生成逻辑的前提下，能够生成多种任务的数据治理脚本，从而可以降低数据治理的工作量，提高数据治理效率。

Description

一种数据治理方法、装置、计算机设备及存储介质

技术领域

本申请实施例涉及数据处理技术领域，特别涉及一种数据治理方法、装置、计算机设备及存储介质。

背景技术

数据仓库是出于分析性报告和决策支持目的而创建的，其目的是构建面向分析的集成化数据环境，为企业提供决策支持。现有的数据仓库脚本一般只能支持到数据接入层面，将源业务系统库与数据仓库建立映射关系，而无法支持数据治理场景下多种类型任务(如数据清洗、处理、稽核等)的生成，从而影响数据的治理效率。

发明内容

本申请实施例提供了一种数据治理方法、装置、计算机设备及存储介质，用于解决数据治理难度大、数据整合困难的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种数据治理方法，包括：

获取待治理数据；

根据所述待治理数据对应的多个任务信息，生成数据映射模板；

将所述数据映射模板中的多个任务信息进行整合，根据整合后任务信息的任务类型，调用任务生成逻辑，生成相应的数据治理脚本；

通过运行所述数据治理脚本，对所述待治理数据进行治理。

可选的，所述任务信息包括数据策略、任务详情和映射规则。

可选的，将所述数据映射模板中的多个任务信息进行整合，包括：根据数据策略和映射规则对所述数据映射模板中的多个任务信息进行整合。

可选的，所述任务类型包括接入任务类型和脚本类型，不同的任务类型分别对应不同的任务生成逻辑。

可选的，在根据所述待治理数据对应的多个任务信息，生成数据映射模板之后，还包括：响应于用户对任务生成逻辑的添加操作，获取并存储用户添加的任务生成逻辑。

第二方面，本申请实施例还提供了一种数据治理装置，包括：

数据获取模块，用于获取待治理数据；

模板生成模块，用于根据所述待治理数据对应的多个任务信息，生成数据映射模板；

脚本生成模块，用于将所述数据映射模板中的多个任务信息进行整合，根据整合后任务信息的任务类型，调用任务生成逻辑，生成相应的数据治理脚本；

数据治理模块，用于通过运行所述数据治理脚本，对所述待治理数据进行治理。

可选的，所述任务信息包括数据策略、任务详情和映射规则。

可选的，还包括：添加模块，用于响应于用户对任务生成逻辑的添加操作，获取并存储用户添加的任务生成逻辑。

第三方面，本申请实施例还提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现上述的数据治理方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现上述的数据治理方法。

本申请提供的技术方案可以包括以下有益效果：

本申请实施例通过获取待治理数据；根据待治理数据对应的多个任务信息，生成数据映射模板；将数据映射模板中的多个任务信息进行整合，根据整合后任务信息的任务类型，调用任务生成逻辑，生成相应的数据治理脚本；通过运行数据治理脚本，对待治理数据进行治理，这样，在预先配置任务生成逻辑的前提下，能够生成多种任务的数据治理脚本，并且通过设计通用的数据映射模板用于表示数据治理各环境任务的生成关系，以便于跨脚本、跨类型、跨产品的任务整合。从而可以降低数据治理的工作量，提高数据治理效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1示出了本申请实施例提供的数据治理方法的一种流程示意图；

图2示出了本申请实施例提供的数据治理方法的另一种流程示意图；

图3示出了本申请实施例提供的一种数据治理装置的结构示意图；

图4示出了本申请实施例提供的另一种数据治理装置的结构示意图；

图5示出了本申请实施例提供的计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

图1示出了本申请实施例提供的数据治理方法的一种流程示意图，该方法可以由电子设备执行，例如终端设备或服务端设备。换言之，所述方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。如图所示，该方法100可以包括以下步骤：

S110：获取待治理数据。

在传统数据平台阶段，数据治理的目标主要是做管控，为数据部门建立一个的治理工作环境，包括标准、质量等。在大数据平台阶段，用户对数据的需求持续增长，用户范围从数据部门扩展到全企业，数据治理不再局限于面向数据部门，而是面向全企业用户的工作环境，在管理好数据的同时为用户提供自助获得大数据的能力。本实施例首先获取待治理数据，通过生成相应的数据治理脚本，用以实现对该待治理数据的治理。

S120：根据所述待治理数据对应的多个任务信息，生成数据映射模板。

在具体实施中，待治理数据可能来自于多个平台，其格式多样，并不统一，为了便于跨脚本、跨类型、跨产品的任务整合，本实施例根据待治理数据对应的多个任务信息，生成数据映射模板，具体地，按照数据治理数仓建设核心思想设计该数据映射模板。可选的，所述任务信息包括数据策略、任务详情和映射规则。

这里，数据策略主要用于描述任务类型，如接入任务、稽核任务、工作流任务等，具体包括数据策略编号、数据策略模式、业务表类型和其他描述等内容；任务详情主要是相关任务的设计部分，包括任务编码，数据流编码，加载的数据策略编码，数据操作，执行频率等；映射规则，即Mapping关系，主要为各层级表映射关系以及任务类型映射关系，包括表join、标准关联、字段规则、筛选条件等。

其中，Mapping本意是指两个元素的集之间元素相互“对应”的关系，在本实施例中Mapping指将库表与任务建立的映射关系所生成的模板。

S130：将所述数据映射模板中的多个任务信息进行整合，根据整合后任务信息的任务类型，调用任务生成逻辑，生成相应的数据治理脚本。

在具体实施中，在获取到S120中生成的数据映射模板之后，识别并解析该数据映射模板，对该数据映射模板中的多个任务信息进行整合，在一种可能的实施方式中，将所述数据映射模板中的多个任务信息进行整合，包括：根据数据策略和映射规则对所述数据映射模板中的多个任务信息进行整合，用以统一梳理任务信息，并生成多类型任务。

进一步的，根据整合后任务信息的任务类型，调用任务生成逻辑，生成相应的数据治理脚本。具体如图2所示，将mapping识别解析好的内容进一步按照任务生成逻辑生成相应类型的任务，具体地，本申请实施例以插件化的方式抽象了任务类型实现接口，所述任务类型包括接入任务类型(如Sqoop、Datax等)和脚本类型(如HiveSQL、MySQL等)，不同的任务类型分别对应不同的任务生成逻辑，根据待治理数据关联的任务类型，按照不同的插件调用相应的任务生成逻辑，生成不同的数据治理脚本。

在一种可能的实施方式中，用户可以根据实际需要自行地定义个性化的任务生成逻辑。也即，在根据所述待治理数据对应的多个任务信息，生成数据映射模板之后，还包括：响应于用户对任务生成逻辑的添加操作，获取并存储用户添加的任务生成逻辑。这样，可以支持数据治理场景下多种类型任务的生成。

S140：通过运行所述数据治理脚本，对所述待治理数据进行治理。

在具体实施中，在生成所有的数据治理脚本之后，会将这些数据治理脚本输出到统一脚本包生成器中，进一步的生成执行文件，该文件可以直接地导入到相应的数据治理平台中，供平台进行相应任务的执行调用，从而实现对待治理数据的数据清洗、稽核、增量接入等治理。

图3示出了本申请实施例提供的一种数据治理装置的结构示意图，该装置300包括：数据获取模块310、模板生成模块320、脚本生成模块330和数据治理模块340。

数据获取模块310，用于获取待治理数据；

模板生成模块320，用于根据所述待治理数据对应的多个任务信息，生成数据映射模板；

脚本生成模块330，用于将所述数据映射模板中的多个任务信息进行整合，根据整合后任务信息的任务类型，调用任务生成逻辑，生成相应的数据治理脚本；

数据治理模块340，用于通过运行所述数据治理脚本，对所述待治理数据进行治理。

本申请实施例提供的一种数据治理装置，可执行图1所述的方法，并实现图1所示实施例的功能，在此不再赘述。

在一种可能的实现方式中，所述任务信息包括数据策略、任务详情和映射规则。

在一种可能的实现方式中，脚本生成模块330在用于将所述数据映射模板中的多个任务信息进行整合，包括：根据数据策略和映射规则对所述数据映射模板中的多个任务信息进行整合。

在一种可能的实现方式中，所述任务类型包括接入任务类型和脚本类型，不同的任务类型分别对应不同的任务生成逻辑。

图4示出了本申请实施例提供的另一种数据治理装置的结构示意图，该装置300包括：数据获取模块310、模板生成模块320、添加模块350、脚本生成模块330和数据治理模块340。

数据获取模块310，用于获取待治理数据；

模板生成模块320，用于根据所述待治理数据对应的多个任务信息，生成数据映射模板；

添加模块350，用于响应于用户对任务生成逻辑的添加操作，获取并存储用户添加的任务生成逻辑。

脚本生成模块330，用于将所述数据映射模板中的多个任务信息进行整合，根据整合后任务信息的任务类型，调用任务生成逻辑，生成相应的数据治理脚本；

数据治理模块340，用于通过运行所述数据治理脚本，对所述待治理数据进行治理。

本申请实施例提供的该装置300，可执行前文方法实施例中所述的各方法，并实现前文方法实施例中所述的各方法的功能和有益效果，在此不再赘述。

图5示出执行本申请实施例提供的电子设备的硬件结构示意图，参考该图，在硬件层面，电子设备包括处理器，可选地，包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成定位目标用户的装置。处理器，执行存储器所存放的程序，并具体执行：图1-2所示实施例揭示的方法并实现前文方法实施例中所述的各方法的功能和有益效果，在此不再赘述。

上述如本申请图1-2所示实施例揭示的方法可以应处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行前文方法实施例中所述的各方法，并实现前文方法实施例中所述的各方法的功能和有益效果，在此不再赘述。

当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本申请实施例还提出了一种计算机可读存储介质，所述计算机可读介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行图1-2所示实施例揭示的方法并实现前文方法实施例中所述的各方法的功能和有益效果，在此不再赘述。

其中，所述的计算机可读存储介质包括只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

进一步地，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，实现以下流程：图1-2所示实施例揭示的方法并实现前文方法实施例中所述的各方法的功能和有益效果，在此不再赘述。

总之，以上所述仅为本申请的较佳实施例，并非限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种数据治理方法，其特征在于，包括：

获取待治理数据；

根据所述待治理数据对应的多个任务信息，生成数据映射模板；

将所述数据映射模板中的多个任务信息进行整合，根据整合后任务信息的任务类型，调用任务生成逻辑，生成相应的数据治理脚本；

通过运行所述数据治理脚本，对所述待治理数据进行治理。

2.根据权利要求1所述的方法，其特征在于，所述任务信息包括数据策略、任务详情和映射规则。

3.根据权利要求2所述的方法，其特征在于，将所述数据映射模板中的多个任务信息进行整合，包括：根据数据策略和映射规则对所述数据映射模板中的多个任务信息进行整合。

4.根据权利要求1所述的方法，其特征在于，所述任务类型包括接入任务类型和脚本类型，不同的任务类型分别对应不同的任务生成逻辑。

5.根据权利要求1所述的方法，其特征在于，在根据所述待治理数据对应的多个任务信息，生成数据映射模板之后，还包括：响应于用户对任务生成逻辑的添加操作，获取并存储用户添加的任务生成逻辑。

6.一种数据治理装置，其特征在于，包括：

数据获取模块，用于获取待治理数据；

模板生成模块，用于根据所述待治理数据对应的多个任务信息，生成数据映射模板；

脚本生成模块，用于将所述数据映射模板中的多个任务信息进行整合，根据整合后任务信息的任务类型，调用任务生成逻辑，生成相应的数据治理脚本；

数据治理模块，用于通过运行所述数据治理脚本，对所述待治理数据进行治理。

7.根据权利要求6所述的装置，其特征在于，所述任务信息包括数据策略、任务详情和映射规则。

8.根据权利要求6所述的装置，其特征在于，还包括：

添加模块，用于响应于用户对任务生成逻辑的添加操作，获取并存储用户添加的任务生成逻辑。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至5任一项所述的数据治理方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至5任一项所述的数据治理方法的步骤。

Images