CN113127450A - 数据的维护方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请涉及数据处理技术领域，公开了一种数据的维护方法，包括：记录数据库中每个数据表中的各个数据对应的数据血缘关系，并保存每个数据表对应的数据模型的数据处理逻辑；检测到数据库中有数据修改操作发生时，确定数据修改操作针对的目标数据对应的数据血缘关系，并将数据血缘关系与修改后得到的修改数据进行关联更新；确定修改数据对应的目标下游数据所处的目标数据表，以及确定目标数据表对应的数据模型的数据处理逻辑；根据修改数据和目标数据表对应的数据处理逻辑，对目标下游数据进行更新处理。本申请还应用于区块链技术领域。本申请还公开了一种数据的维护装置、计算机设备以及计算机可读存储介质。本申请提高了数据维护的效率。

Description

数据的维护方法、装置、计算机设备及存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据的维护方法、数据的维护装置、计算机设备以及计算机可读存储介质。

背景技术

数据血缘关系是指数据在产生、处理、流转到消亡过程中，数据之间形成的一种类似于人类社会血缘关系的关系。传统的以数据字典和数据库表的数据血缘关系为主的元数据建设，不仅难以显著的提升数据使用的效率，而且当上游数据发生变更后，需要投入大量的人力成本对与变更的上游数据具有血缘关系的下游数据进行维护，且数据维护效率低下。

上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

发明内容

本申请的主要目的在于提供一种数据的维护方法、数据的维护装置、计算机设备以及计算机可读存储介质，旨在解决如何自动实现维护数据一致性的同时，提高数据维护的效率的问题。

为实现上述目的，本申请提供一种数据的维护方法，包括以下步骤：

检测到数据库中有数据修改操作发生时，确定所述数据修改操作针对的目标数据对应的数据血缘关系；其中，预先记录所述数据库中每个数据表中的各个数据对应的数据血缘关系，并保存每个所述数据表对应的数据模型的数据处理逻辑；各个所述数据对应的数据血缘关系，用于表征各个所述数据与各个所述数据的上游数据和/或下游数据之间的关联关系；

将确定得到的所述数据血缘关系，与基于所述目标数据进行修改后得到的修改数据进行关联更新；

根据所述修改数据对应的数据血缘关系，查询是否存在所述修改数据对应的下游数据；

若是，将所述修改数据对应的下游数据作为目标下游数据，并确定所述目标下游数据所处的目标数据表，以及确定所述目标数据表对应的所述数据模型的所述数据处理逻辑；

根据所述修改数据和所述目标数据表对应的所述数据处理逻辑，对所述目标数据表中的所述目标下游数据进行更新处理。

进一步地，所述根据所述修改数据和所述目标数据表对应的所述数据处理逻辑，对所述目标数据表中的所述目标下游数据进行更新处理的步骤包括：

检测到存在多个所述目标数据表时，根据所述修改数据对应的数据血缘关系，确定各个所述目标数据表的更新顺序；

根据所述修改数据、各个所述目标数据表对应的所述数据模型、各个所述目标数据表对应的所述数据处理逻辑和所述更新顺序，对各个所述目标数据表中的所述目标下游数据进行更新处理。

进一步地，所述根据所述修改数据和所述目标数据表对应的所述数据处理逻辑，对所述目标数据表中的所述目标下游数据进行更新处理的步骤包括：

根据所述修改数据、所述目标数据表对应的所述数据处理逻辑和所述目标下游数据对应的字段，生成数据修改需求；

将所述数据修改需求发送至关联设备；

接收到所述关联设备基于所述数据修改需求反馈的数据修改脚本时，执行所述数据修改脚本，以对所述目标数据表中的所述目标下游数据进行更新处理。

进一步地，所述关联设备部署有神经网络模型；所述神经网络模型基于多个数据修改需求样本，以及所述数据修改需求样本对应的数据修改脚本训练得到；当所述关联设备接收到所述数据修改需求时，利用所述神经网络模型生成所述数据修改需求对应的数据修改脚本。

进一步地，所述根据所述修改数据和所述目标数据表对应的所述数据处理逻辑，对所述目标数据表中的所述目标下游数据进行更新处理的步骤之后，还包括：

将对所述目标下游数据进行更新处理的操作作为所述数据修改操作，以及将所述目标下游数据更新为所述目标数据，以及将更新后的所述目标下游数据更新为新的所述修改数据，并返回执行所述确定所述数据修改操作针对的目标数据对应的所述数据血缘关系的步骤。

进一步地，所述预先记录所述数据库中每个数据表中的各个数据对应的数据血缘关系，并保存每个所述数据表对应的数据模型的数据处理逻辑的步骤之后，还包括：

根据各个所述数据对应的所述数据血缘关系，确定各个所述数据对应的下游数据数量；

根据各个所述数据对应的下游数据数量，确定各个所述数据对应的使用热度，其中，所述下游数据数量越多，所述使用热度越高；

根据各个所述数据对应的所述使用热度，生成数据热力图。

进一步地，所述预先记录所述数据库中每个数据表中的各个数据对应的数据血缘关系，并保存每个所述数据表对应的数据模型的数据处理逻辑的步骤之后，还包括：

将各个所述数据对应的所述数据血缘关系发送至存储服务端以块链式的账本进行存储。

为实现上述目的，本申请还提供一种数据的维护装置，所述数据的维护装置包括：

检测模块，用于检测到数据库中有数据修改操作发生时，确定所述数据修改操作针对的目标数据对应的数据血缘关系；其中，预先记录所述数据库中每个数据表中的各个数据对应的数据血缘关系，并保存每个所述数据表对应的数据模型的数据处理逻辑；各个所述数据对应的数据血缘关系，用于表征各个所述数据与各个所述数据的上游数据和/或下游数据之间的关联关系；

关联模块，用于将确定得到的所述数据血缘关系，与基于所述目标数据进行修改后得到的修改数据进行关联更新；

查询模块，用于根据所述修改数据对应的数据血缘关系，查询是否存在所述修改数据对应的下游数据；

处理模块，用于若是，将所述修改数据对应的下游数据作为目标下游数据，并确定所述目标下游数据所处的目标数据表，以及确定所述目标数据表对应的所述数据模型的所述数据处理逻辑；

更新模块，用于根据所述修改数据和所述目标数据表对应的所述数据处理逻辑，对所述目标数据表中的所述目标下游数据进行更新处理。

为实现上述目的，本申请还提供一种计算机设备，所述计算机设备包括：

所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述数据的维护方法的步骤。

为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述数据的维护方法的步骤。

本申请提供的数据的维护方法、数据的维护装置、计算机设备以及计算机可读存储介质，实现当数据库中的数据发生更改时，自动对与被更改数据具有数据血缘关系的下游数据进行修改更新，在降低了人工维护数据一致性的成本的同时，提高了数据维护的效率。

附图说明

图1为本申请一实施例中数据的维护方法步骤示意图；

图2为本申请一实施例的数据的维护装置示意框图；

图3为本申请一实施例的计算机设备的结构示意框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

参照图1，在一实施例中，所述数据的维护方法包括：

步骤S10、检测到数据库中有数据修改操作发生时，确定所述数据修改操作针对的目标数据对应的数据血缘关系；其中，预先记录所述数据库中每个数据表中的各个数据对应的数据血缘关系，并保存每个所述数据表对应的数据模型的数据处理逻辑；各个所述数据对应的数据血缘关系，用于表征各个所述数据与各个所述数据的上游数据和/或下游数据之间的关联关系；

步骤S20、将确定得到的所述数据血缘关系，与基于所述目标数据进行修改后得到的修改数据进行关联更新；

步骤S30、根据所述修改数据对应的数据血缘关系，查询是否存在所述修改数据对应的下游数据；

步骤S40、若是，将所述修改数据对应的下游数据作为目标下游数据，并确定所述目标下游数据所处的目标数据表，以及确定所述目标数据表对应的所述数据模型的所述数据处理逻辑；

步骤S50、根据所述修改数据和所述目标数据表对应的所述数据处理逻辑，对所述目标数据表中的所述目标下游数据进行更新处理。

本实施例中，实施例终端可以是计算机设备，如一种元数据管理系统；终端可以是一种数据的维护装置。以下以终端为元数据管理系统为例进行说明。

如步骤S10所述：终端所管理的数据库为关系型数据库，数据库中建立有多个数据模型(即数据库表的模型)，且各个数据模型关联的数据存储在各数据模型对应的数据表中。需要说明的是，数据模型描述了在数据库中结构化和操纵数据的方法，模型的结构部分规定了数据如何被描述(例如树、表等)；模型的操纵部分规定了数据的添加、删除、显示、维护、打印、查找、选择、排序和更新等操作。

可选的，每当终端检测到数据库中有新建的数据模型时，则获取新的数据模型针对的上游数据，并根据该数据模型对应的数据处理逻辑对获取到的上游数据进行处理，生成该数据模型关联的数据(记为新建数据)，并基于此创建该数据模型对应的数据表。

同时，建立该数据表中的新建数据与上游数据之间的数据血缘关系(新建数据相对于其上游数据而言则是下游数据)，且若上游数据之前已有与之对应的数据血缘关系(即上游数据存在其对应的上上游数据)，则将新建数据置于上游数据原先对应的数据血缘关系的关系图谱末端，以同时建立新建数据与上上游数据之间的数据血缘关系。需要说明的是，所述上上游数据指的是在上游数据之前的所有上游层级的数据，而非仅指是上游数据之前的上一层级的数据(如A数据的上游数据为B数据，B数据的上游数据为C数据，则当A数据为新建数据的上游数据时，则B数据和C数据均为新建数据的上上游数据)。

可选的，工程师在新建数据模型时，会配置数据模型对应的数据来源表和数据处理逻辑(或称数据加工逻辑)，终端根据数据来源表即可查询并获取当前新建的数据模型针对的上游数据；数据模型对应的数据处理逻辑可以是数据融合(如至少两个上游数据相加、相乘等)、数据修改、数据格式转换等数据处理操作对应的处理逻辑，且每个数据模型设定有至少一种数据处理逻辑，以针对数据模型对应的数据表中各个数据的同一上游数据或不同上游数据进行相应处理。

当然，终端在创建新建的数据模型对应的数据表之前，可以是根据该数据模型对应的数据处理逻辑，以及该数据模型关联的数据对应的数据血缘关系，生成审核信息，然后将审核信息推送至审核端进行审核。其中，所述审核端可以是数据管理专员的关联设备，和/或上游数据对应的数据系统，和/或业务方的关联设备。

可选的，若审核端认为审核信息无误，可以向终端发送所述审核信息对应的审核通过信息，当终端接收到审核通过信息时，再创建新建的数据模型对应的数据表。

可选的，当数据表创建时，终端会更新记录数据表中的数据对应的数据血缘关系，并保存数据表对应的数据模型的数据处理逻辑。

进一步地，当数据库依次新建数据模型时，终端同样也会更新记录新建的数据模型所关联的数据对应的数据血缘关系。此时，对于新建数据而言，终端记录的数据血缘关系描述有新建数据与其之前所有上游层级的数据之间的上下游血缘关系；而对于现有数据而言，则终端记录的数据血缘关系描述有现有数据与其之前所有上游层级的数据，以及现有数据之后所有下游层级的数据之间的上下游血缘关系；当然，若现有数据位于数据血缘关系的关系图谱首端，则终端记录的数据血缘关系描述有该现有数据与其之后的所有下游层级的数据之间的上下游血缘关系。

因此，各个所述数据对应的数据血缘关系，用于表征各个所述数据与各个所述数据的上游数据和/或下游数据之间的关联关系。

应当理解的是，现有数据即为相对于新建的数据模型而言，是在数据库中已先创建的数据模型所关联的数据。

当然，终端可以统一记录数据库中每个数据表中的各个数据对应的数据血缘关系，并保存每个所述数据表对应的数据模型的数据处理逻辑。并在此之后，若检测到有新的数据表生成，则将新的数据表中的各个数据对应的数据血缘关系保存到原有记录中，并保存新增的数据表对应的数据模型的数据处理逻辑。

可选的，当终端检测到数据库中有数据修改操作发生时，则确定数据修改操作所针对的目标数据，以及确定所述目标数据所处的数据表，然后基于数据修改操作对该数据表中的目标数据进行修改，得到修改数据(即目标数据进行修改后得到的数据)。需要说明的是，所述数据修改操作可以是基于数据模型对应的数据处理逻辑的变更而触发的，也可以是基于用户发出的数据修改指令而触发的，也可以是因目标数据对应的上游数据的变更而触发的。

同时，终端还从之前记录的各个数据对应的数据血缘关系中，获取目标数据对应的数据血缘关系。

如步骤S20所述：可选的当终端得到目标数据对应的数据血缘关系时，则确定目标数据在该数据血缘关系中位置，并基于此将修改数据关联到该数据血缘关系中，以及将目标数据与其上游数据和/或下游数据之间的上下游血缘关系，进行关系转移，以将目标数据对应的数据血缘关系赋予修改数据，这样目标数据在数据血缘关系中的位置即替换为修改数据，即由该修改数据继承原目标数据的数据血缘关系，并基于此对相应的数据血缘关系进行更新保存。

如步骤S30所述：终端在得到修改数据，以及更新修改数据对应的数据血缘关系后，则在修改数据对应的数据血缘关系所描述的关系图谱中，查询修改数据是否存在与之具有数据血缘关系的下游数据。

可选的，当查询得到修改数据存在与之具有数据血缘关系的下游数据时，则该下游数据即为修改数据对应目标下游数据，并转入执行步骤S40；当查询得到修改数据不存在与之具有数据血缘关系的下游数据时，说明该修改数据在数据血缘关系中处于关系图谱末端，则终端不作处理，无需执行步骤S40。

如步骤S40所述：当终端查询到修改数据存在与之对应的下游数据时(即该下游数据与修改数据存在上下游血缘关系)，则将修改数据对应的所有下游数据作为目标下游数据。

进一步地，确定每个目标下游数据所处的数据表，并将确定得到的数据表作为目标数据表(或称下游数据表)。然后，终端进一步确定所有目标数据表对应的数据模型，并将确定得到的数据模型记为下游数据模型，以及从之前保存的数据处理逻辑中，获取下游数据模型对应的数据处理逻辑。

可选的，当下游数据模型中包括多个数据处理逻辑时，则终端执行获取其中与目标下游数据对应的数据处理逻辑即可，并在后续步骤S50中使用获取到的数据处理逻辑。

如步骤S50所述：终端基于目标数据表对应的数据处理逻辑(即目标数据表对应的下游数据模型的数据处理逻辑)，对修改数据进行数据处理，得到新的下游数据。然后将目标数据表中的目标下游数据(即与目标数据具有上下游血缘关系的目标下游数据)，替换为新的下游数据，以更新目标数据表。当然，在所述修改数据所处的数据表中，该修改数据依然维持不变，即对修改数据进行数据处理的过程，实质上是从修改数据所处的数据表获取修改数据，并对获取得到的修改数据进行数据处理，得到新的下游数据用于替换目标下游数据，而修改数据所处的数据表中的修改数据并未被修改替换。

进一步地，终端还获取之前记录的目标下游数据对应的数据血缘关系，然后确定目标下游数据在该数据血缘关系中位置，并基于此将新的下游数据关联到数据血缘关系中，以及将目标下游数据与其上游数据和/或下游数据之间的上下游血缘关系，进行关系转移并赋予新的下游数据，这样目标下游数据在数据血缘关系中的位置即替换为新的下游数据，即新的下游数据继承了目标下游数据对应的数据血缘关系。

在一实施例中，实现当数据库中的数据发生更改时，自动对与被更改数据具有数据血缘关系的下游数据进行修改更新，在降低了人工维护数据一致性的成本的同时，提高了数据维护的效率。

在一实施例中，在上述实施例基础上，所述根据所述修改数据和所述目标数据表对应的所述数据处理逻辑，对所述目标数据表中的所述目标下游数据进行更新处理的步骤包括：

步骤S60、检测到存在多个所述目标数据表时，根据所述修改数据对应的数据血缘关系，确定各个所述目标数据表的更新顺序；

步骤S61、根据所述修改数据、各个所述目标数据表对应的所述数据模型、各个所述目标数据表对应的所述数据处理逻辑和所述更新顺序，对各个所述目标数据表中的所述目标下游数据进行更新处理。

本实施例中，所述修改数据的所有下游层级的下游数据，均属于修改数据对应的下游数据。

可选的，当终端确定得到所述修改数据对应的所有的目标下游数据，以及各目标下游数据所处的目标数据表后，则检测目标数据表的数量是否有多个。

可选的，当终端检测到只有一个目标数据表时，则直接基于目标数据表对应的数据处理逻辑，对修改数据进行数据处理，得到新的下游数据。然后将目标数据表中的目标下游数据，替换为新的下游数据，以更新目标数据表，并让新的下游数据继承目标下游数据对应的数据血缘关系。

可选的，当终端检测到有多个目标数据表时，则根据各个目标数据对应的目标下游数据在所述修改数据对应的数据血缘关系的位置，确定各个目标数据的更新顺序，其中，目标下游数据在所述修改数据对应的数据血缘关系的位置越靠前，则该目标下游数据对应的目标数据在更新顺序的排列越靠前。

应当理解的是，所述修改数据的下一层级的下游数据，比下下层级的下游数据的位置靠前，相应地，下一层级的目标下游数据对应的目标数据表，其排列比下下一层级的目标下游数据对应的目标数据表靠前。

当前，所述更新顺序中，允许出现目标数据表并列排序的情况，即当这些目标数据表对应的目标下游数据在所述修改数据的数据血缘关系中，位置次序相同时，则这些目标数据表在更新顺序中的排序并列相同的次序。

进一步地，在确定得到更新顺序后，则终端从排序第一的目标数据表开始，依次获取目标数据表，且每次获取更新顺序中的相应位次上的所有数据。例如若更新顺序中排序第一的目标数据表有两个，则同时获取这两个目标数据表；若更新顺序中排序第一的目标数据表只有一个，则只获取该目标数据表。

当终端第一次获取得到各个目标数据表时，则调用获取得到的各个目标数据表对应的数据模型，执行在该数据模型中描述的所述修改数据的数据处理逻辑，获取修改数据进行数据处理(原数据表中的修改数据维持不变)，得到各个目标数据表对应的新的下游数据，并将各个目标数据表对应的目标下游数据，替换为各个目标数据表对应的新的下游数据，而且将被替换的目标下游数据对应的数据血缘关系，转移给用于替换该目标下游数据的所述新的下游数据。

在第一次获取目标数据表之后，当终端再一次获取目标数据表时，则调用获取得到的各个目标数据表对应的数据模型，执行在该数据模型中描述的所述上游数据(上一次所修改的目标下游数据，即为当次所修改的目标下游数据对应的上游数据)的数据处理逻辑，获取上一次修改得到的所述新的下游数据进行数据处理(上一次更新的目标数据表中的新的下游数据依然维持不变)，得到各个目标数据表对应的新的下游数据，并将各个目标数据表对应的目标下游数据，替换为各个目标数据表对应的新的下游数据，而且将被替换的目标下游数据对应的数据血缘关系，转移给用于替换该目标下游数据的所述新的下游数据。

以此类推，直至所有目标数据表获取并更新完毕。

这样，实现当数据库中的数据发生更改时，自动对与被更改数据具有数据血缘关系的所有下游层级的数据进行统一修改更新，在降低了人工维护数据一致性的成本的同时，提高了数据维护的效率。

在一实施例中，在上述实施例基础上，所述根据所述修改数据和所述目标数据表对应的所述数据处理逻辑，对所述目标数据表中的所述目标下游数据进行更新处理的步骤包括：

步骤S70、根据所述修改数据、所述目标数据表对应的所述数据处理逻辑和所述目标下游数据对应的字段，生成数据修改需求；

步骤S71、将所述数据修改需求发送至关联设备；

步骤S72、接收到所述关联设备基于所述数据修改需求反馈的数据修改脚本时，执行所述数据修改脚本，以对所述目标数据表中的所述目标下游数据进行更新处理。

本实施例中，所述修改数据的所有下游层级的下游数据，均属于修改数据对应的下游数据(即目标下游数据)。

可选的，终端获取修改数据，以及下游数据模型对应的所述数据处理逻辑时，还获取所有目标下游数据对应的字段，并根据获取修改数据、所述修改数据对应的数据血缘关系、所有所述目标数据表对应的所述数据处理逻辑和所有所述目标下游数据对应的字段，生成数据修改需求。

其中，目标下游数据对应的字段可以是基于下游数据模型的相关配置信息获取的；且在数据模型构建时，终端需判定模型描述的字段是否为枚举字段，并上传相应的枚举字典，当数据仓库内出现非字典范围内的异常数据时，终端会自动发送报警消息至相关开发人员、数仓管理人员及使用者。

当然，在生成数据修改需求之前，终端可以先上报修改项，通知数仓管理员进行审批，在审批通过后，则终端再生成数据修改需求。

可选的，终端在生成数据修改需求之后，则将数据修改需求发送至相关工程师的关联设备，以供工程师提取数据修改需求中的相关数据信息，并基于此生成所有目标下游数据对应的数据修改脚本。当然一个数据修改脚本可用于统一修改所有的目标下游数据，而数据修改脚本的运行逻辑可参照步骤S60-S61。

可选的，工程师在生成数据修改脚本后，可以将数据修改脚本作为数据修改需求对应的反馈信息，并将数据修改脚本反馈至终端。当终端接收到数据修改脚本时，则执行数据修改脚本，以利用数据修改脚本生成新的下游数据，并将目标数据表中的目标下游数据替换为新的下游数据，以更新目标数据表。

应当理解的是，当各目标下游数据之间也存在上下游血缘关系时，则基于修改数据对应的数据血缘更新，即可得到各目标下游数据的更新次序。

可选的，在终端修改并更新下游数据时，可以将所有下游数据的修改记录进行打标记录，这样用户通过元数据管理系统可查询各版本上游数据变更及数据血缘关系中链路上被影响到的下游数据模型和/或目标数据表，且数据应用方会收到自动的字段级别的下游数据更新的消息。

这样，确保在数据发生变更时，整个数据血缘关系的链路上的相关人员都能收到更新消息，以及时发现数据变更可能带来指标波动或错误的问题。

或者，所述关联设备上还可以是部署有神经网络模型。

可选的，关联设备预先基于人工智能技术部署有神经网络模型，并基于多个数据修改需求样本，以及所述数据修改需求样本对应的数据修改脚本对神经网络模型进行多次迭代训练，以使神经网络模型可以学习得到数据修改需求样本与数据修改脚本之间的关联特征。而且当神经网络模型经多个迭代训练达到模型收敛后，则神经网络模型训练完成。

可选的，当所述关联设备接收到所述数据修改需求时，则将数据修改需求输入到训练完成的神经网络模型中进行分析，由神经网络模型基于之前学习得到的关联特征，生成该数据修改需求对应的数据修改脚本，然后将数据修改脚本进行输出。

进一步地，关联设备之间将神经网络模型输出的数据修改样本，发送至终端，由终端执行数据修改样本，以对目标数据表中的目标下游数据进行更新，并更新相应的数据血缘关系。

这样，可以降低人工生成数据修改脚本的成本，并提高生成数据修改脚本的效率，进而提高维护数据一致性的效率。

在一实施例中，实现当数据库中的数据发生更改时，可以辅助工程师快速生成与被更改数据具有数据血缘关系的所有下游层级的数据的数据修改脚本，从而保证了数据修改及维护的准确率，并使得工程师可以高效地维护数据库数据的一致性，在一定程度上节约了人工维护数据的成本。

在一实施例中，在上述实施例基础上，所述根据所述修改数据和所述目标数据表对应的所述数据处理逻辑，对所述目标数据表中的所述目标下游数据进行更新处理的步骤之后，还包括：

步骤S80、将对所述目标下游数据进行更新处理的操作作为所述数据修改操作，以及将所述目标下游数据更新为所述目标数据，以及将更新后的所述目标下游数据更新为新的所述修改数据，并返回执行所述确定所述数据修改操作针对的目标数据对应的所述数据血缘关系的步骤。

本实施例中，所述修改数据的下一层级的下游数据，即为修改数据对应的下游数据(即目标下游数据)。

可选的，在终端执行步骤S50，对目标数据表中的目标下游数据进行更新处理后，则检测新的下游数据是否还存在与之具有上下游血缘关系的下下游数据(即所述修改数据的下下一层的下游数据)。

可选的，若检测到新的下游数据不存在之具有上下游血缘关系的下下游数据，则终端只需将目标下游数据对应的数据血缘关系，直接转移给新的下游数据即可。

可选的，若检测到新的下游数据还存在与之具有上下游血缘关系的下下游数据，则终端将对所述目标下游数据进行更新处理的操作作为所述数据修改操作，以及将所述目标下游数据更新为所述目标数据，以及将更新后的所述目标下游数据(即新的下游数据)更新为新的所述修改数据，然后再此基础上，返回执行所述确定所述数据修改操作针对的目标数据对应的所述数据血缘关系的步骤，并通过依次所述步骤S20-S50，实现对下下游数据(下下游数据亦更新为新的目标下游数据)对应数据表进行更新，从而实现对该数据表中的所述下下游数据进行修改，并更新相应的数据血缘关系。如此循环往复，直至目标数据对应的原数据血缘关系中的所有下游层级的数据均相应修改完毕，并相应更新这些数据对应的数据血缘关系。

这样，实现当数据库中的数据发生更改时，自动对与被更改数据具有数据血缘关系的所有下游层级的数据进行修改更新，在降低了人工维护数据一致性的成本的同时，提高了数据维护的效率。

在一实施例中，在上述实施例基础上，所述预先记录所述数据库中每个数据表中的各个数据对应的数据血缘关系，并保存每个所述数据表对应的数据模型的数据处理逻辑的步骤之后，还包括：

步骤S90、根据各个所述数据对应的所述数据血缘关系，确定各个所述数据对应的下游数据数量；

步骤S91、根据各个所述数据对应的下游数据数量，确定各个所述数据对应的使用热度，其中，所述下游数据数量越多，所述使用热度越高；

步骤S92、根据各个所述数据对应的所述使用热度，生成数据热力图。

本实施例中，终端在生成并记录数据库中各个数据表中的各个数据与上游数据和/或下游数据之间的数据血缘关系后，还可以根据各个数据对应的数据血缘关系，统计各个数据在数据血缘关系对应的血缘链路中的下游节点，以得到各个数据对应的下游数据的数量(即下游数据数量)。然后终端根据各个数据对应的下游数据的数量，确定各个数据对应的使用热度，其中，每个数据对应的下游数据数量越多，则该数据对应的使用热度越高。

进一步地，在终端得到各个数据对应的使用热度后，可以根据各个所述数据对应的使用热度，生成数据热力图，且每个数据对应的使用热度越高，则该数据在数据热力图中显示得越明显(即在图中越醒目)。

这样，用户通过元数据管理系统，即可查看从上游至数据应用的数据血缘关系，并可以选择通过数据热力图展示每一个数据的使用热度，同时每个数据有详情提示可点击，可查看该数据的业务描述、存储占用、详细访问数据等。

应当理解的是，数据血缘关系可能会出现非常复杂的关系，用户可以在系统对数据血缘关系进行过滤或剪枝，筛选数据层级或过滤掉不想查看的上游系统或直接过滤掉某些数据域或数仓层级。

当然，终端还可以提供更细化的数据查询服务，因为数据库建设时分成了多个层级，用户查询时可以选择查看数据主题、指标、事实、维度、原始字段等，通过分类或下钻逐步清楚的找到需要的数据描述。同时用户在找到事实、维度或底层原始数据时可以看到该数据相关上层应用指标，可以让用户迅速知道自己想要的指标是否已被实现。

进一步地，元数据管理系统内各层数据查询处都配置有评论及问答功能，并被推送给相关负责人进行解答，高频问题其他用户可以直接看到，需要对数仓改造的问题会被沉淀到系统优化需求中进行排期修复。

这样，实现元数据管理系统的建设打通了从数据源头到应用的整条链路并补充整条链路上的详细信息，同时为数据使用人员提供了清晰的元数据可视化界面，帮助用户更快速高效的找到自己想要的数据，同时帮助数据管理者评估上游数据变更对整个数仓的影响，元数据管理系统内还建立了使用者的问题反馈通道，将不断沉淀数据口径清晰的释义和优化方向，最终提升整体数据资产的质量和用户使用数据的效率及体验。

在一实施例中，在上述实施例基础上，所述记预先记录所述数据库中每个数据表中的各个数据对应的数据血缘关系，并保存每个所述数据表对应的数据模型的数据处理逻辑的步骤之后，还包括：

步骤S100、将各个所述数据对应的所述数据血缘关系发送至存储服务端以块链式的账本进行存储。

本实施例中，终端与基于区块链技术构建的存储服务端建立有通信连接。

可选的，当终端记录得到各个数据表中的各个数据对应的数据血缘关系后，则可以将各个数据对应的数据血缘关系，发送至存储服务端。当存储服务端接收到终端发送的各个数据对应的数据血缘关系后，则将这些数据血缘关系以块链式的账本进行存储。账本(Ledger)，是区块链(也称为账本数据)和与区块链同步的状态数据库的统称。其中，区块链是以文件系统中的文件的形式来记录交易；状态数据库是以不同类型的键(Key)值(Value)对的形式来记录区块链中的交易，用于支持对区块链中交易的快速查询。

需要说明的是，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。

可选的，当终端需要确定目标数据对应的所述数据血缘关系时，只需将向存储服务端发送相应的查询指令，由存储服务端基于查询指令查询目标数据对应的所述数据血缘关系，并将查询得到的数据血缘关系返回至终端即可。

当然，当终端检测到有任一数据关联的数据血缘关系更新时，也会将更新后的数据血缘关系发送至存储服务端，由存储服务端基于此更新本端存储的数据血缘关系。

这样，提高了数据血缘关系存储的安全性。

参照图2，本申请实施例中还提供一种数据的维护装置10，包括：

检测模块11，用于检测到数据库中有数据修改操作发生时，确定所述数据修改操作针对的目标数据对应的数据血缘关系；其中，预先记录所述数据库中每个数据表中的各个数据对应的数据血缘关系，并保存每个所述数据表对应的数据模型的数据处理逻辑；各个所述数据对应的数据血缘关系，用于表征各个所述数据与各个所述数据的上游数据和/或下游数据之间的关联关系；

关联模块12，用于将确定得到的所述数据血缘关系，与基于所述目标数据进行修改后得到的修改数据进行关联更新；

查询模块13，用于根据所述修改数据对应的数据血缘关系，查询是否存在所述修改数据对应的下游数据；

处理模块14，用于若是，将所述修改数据对应的下游数据作为目标下游数据，并确定所述目标下游数据所处的目标数据表，以及确定所述目标数据表对应的所述数据模型的所述数据处理逻辑；

更新模块15，用于根据所述修改数据和所述目标数据表对应的所述数据处理逻辑，对所述目标数据表中的所述目标下游数据进行更新处理。

参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据的维护方法的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据的维护方法。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。

此外，本申请还提出一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的数据的维护方法的步骤。可以理解的是，本实施例中的计算机可读存储介质可以是易失性可读存储介质，也可以为非易失性可读存储介质。

综上所述，为本申请实施例中提供的数据的维护方法、数据的维护装置、计算机设备和存储介质，实现当数据库中的数据发生更改时，自动对与被更改数据具有数据血缘关系的下游数据进行修改更新，在降低了人工维护数据一致性的成本的同时，提高了数据维护的效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种数据的维护方法，其特征在于，包括：

检测到数据库中有数据修改操作发生时，确定所述数据修改操作针对的目标数据对应的数据血缘关系；其中，预先记录所述数据库中每个数据表中的各个数据对应的数据血缘关系，并保存每个所述数据表对应的数据模型的数据处理逻辑；各个所述数据对应的数据血缘关系，用于表征各个所述数据与各个所述数据的上游数据和/或下游数据之间的关联关系；

将确定得到的所述数据血缘关系，与基于所述目标数据进行修改后得到的修改数据进行关联更新；

根据所述修改数据对应的数据血缘关系，查询是否存在所述修改数据对应的下游数据；

若是，将所述修改数据对应的下游数据作为目标下游数据，并确定所述目标下游数据所处的目标数据表，以及确定所述目标数据表对应的所述数据模型的所述数据处理逻辑；

根据所述修改数据和所述目标数据表对应的所述数据处理逻辑，对所述目标数据表中的所述目标下游数据进行更新处理。

2.如权利要求1所述的数据的维护方法，其特征在于，所述根据所述修改数据和所述目标数据表对应的所述数据处理逻辑，对所述目标数据表中的所述目标下游数据进行更新处理的步骤包括：

检测到存在多个所述目标数据表时，根据所述修改数据对应的数据血缘关系，确定各个所述目标数据表的更新顺序；

根据所述修改数据、各个所述目标数据表对应的所述数据模型、各个所述目标数据表对应的所述数据处理逻辑和所述更新顺序，对各个所述目标数据表中的所述目标下游数据进行更新处理。

3.如权利要求1所述的数据的维护方法，其特征在于，所述根据所述修改数据和所述目标数据表对应的所述数据处理逻辑，对所述目标数据表中的所述目标下游数据进行更新处理的步骤包括：

根据所述修改数据、所述目标数据表对应的所述数据处理逻辑和所述目标下游数据对应的字段，生成数据修改需求；

将所述数据修改需求发送至关联设备；

接收到所述关联设备基于所述数据修改需求反馈的数据修改脚本时，执行所述数据修改脚本，以对所述目标数据表中的所述目标下游数据进行更新处理。

4.如权利要求3所述的数据的维护方法，其特征在于，所述关联设备部署有神经网络模型；所述神经网络模型基于多个数据修改需求样本，以及所述数据修改需求样本对应的数据修改脚本训练得到；当所述关联设备接收到所述数据修改需求时，利用所述神经网络模型生成所述数据修改需求对应的数据修改脚本。

5.如权利要求1所述的数据的维护方法，其特征在于，所述根据所述修改数据和所述目标数据表对应的所述数据处理逻辑，对所述目标数据表中的所述目标下游数据进行更新处理的步骤之后，还包括：

将对所述目标下游数据进行更新处理的操作作为所述数据修改操作，以及将所述目标下游数据更新为所述目标数据，以及将更新后的所述目标下游数据更新为新的所述修改数据，并返回执行所述确定所述数据修改操作针对的目标数据对应的所述数据血缘关系的步骤。

6.如权利要求1-5中任一项所述的数据的维护方法，其特征在于，所述预先记录所述数据库中每个数据表中的各个数据对应的数据血缘关系，并保存每个所述数据表对应的数据模型的数据处理逻辑的步骤之后，还包括：

根据各个所述数据对应的所述数据血缘关系，确定各个所述数据对应的下游数据数量；

根据各个所述数据对应的下游数据数量，确定各个所述数据对应的使用热度，其中，所述下游数据数量越多，所述使用热度越高；

根据各个所述数据对应的所述使用热度，生成数据热力图。

7.如权利要求1-5中任一项所述的数据的维护方法，其特征在于，所述预先记录所述数据库中每个数据表中的各个数据对应的数据血缘关系，并保存每个所述数据表对应的数据模型的数据处理逻辑的步骤之后，还包括：

将各个所述数据对应的所述数据血缘关系发送至存储服务端以块链式的账本进行存储。

8.一种数据的维护装置，其特征在于，包括：

检测模块，用于检测到数据库中有数据修改操作发生时，确定所述数据修改操作针对的目标数据对应的数据血缘关系；其中，预先记录所述数据库中每个数据表中的各个数据对应的数据血缘关系，并保存每个所述数据表对应的数据模型的数据处理逻辑；各个所述数据对应的数据血缘关系，用于表征各个所述数据与各个所述数据的上游数据和/或下游数据之间的关联关系；

关联模块，用于将确定得到的所述数据血缘关系，与基于所述目标数据进行修改后得到的修改数据进行关联更新；

查询模块，用于根据所述修改数据对应的数据血缘关系，查询是否存在所述修改数据对应的下游数据；

处理模块，用于若是，将所述修改数据对应的下游数据作为目标下游数据，并确定所述目标下游数据所处的目标数据表，以及确定所述目标数据表对应的所述数据模型的所述数据处理逻辑；

更新模块，用于根据所述修改数据和所述目标数据表对应的所述数据处理逻辑，对所述目标数据表中的所述目标下游数据进行更新处理。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据的维护方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据的维护方法的步骤。

Images