CN112860662A - 数据血缘关系建立方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例属于大数据领域，涉及一种数据血缘关系建立方法，包括获取当前数据连接系统的系统类别，根据所述系统类别选取预设处理工具；在所述数据连接系统中包括多个目标数据库时，基于所述预设处理工具获取所述数据连接系统中源数据表和目标数据表；根据所述源数据表和所述目标数据表建立所述数据连接系统的血缘关系映射表，并存储所述血缘关系映射表至预设数据库中。本申请还提供一种数据血缘关系建立装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，血缘关系映射表可存储于区块链中。本申请实现了对数据血缘关系的统一高效管理。

Description

数据血缘关系建立方法、装置、计算机设备及存储介质

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据血缘关系建立方法、装置、计算机设备及存储介质。

背景技术

随着信息技术的高速发展和各个领域业务规模的不断增大，累积的数据越来越多，大数据被应用地越来越广泛，高效地数据处理已成为当前迫切的需求。

高效地数据处理往往离不开对数据血缘关系的高效管理和维护。当前在数据处理过程中，对数据和数据之间的血缘关系的管理，基本上都依赖于开发人员手工文档维护。然而，在人工维护过程中，由于数据处理工作量大，往往会存在数据处理效率低下和处理不及时的问题，还容易跟真实生产系统产生数据误差；而且，当数据之间的关系越来越复杂时，亦容易产生因关联影响评估不到位的生产事故。

发明内容

本申请实施例的目的在于提出一种数据血缘关系建立方法、装置、计算机设备及存储介质，以解决当前无法对数据血缘关系实现高效地自动化管理的技术问题。

为了解决上述技术问题，本申请实施例提供一种数据血缘关系建立方法，采用了如下所述的技术方案：

获取当前数据连接系统的系统类别，根据所述系统类别选取预设处理工具；

在所述数据连接系统中包括多个目标数据库时，基于所述预设处理工具获取所述数据连接系统中源数据表和目标数据表；

根据所述源数据表和所述目标数据表建立所述数据连接系统的血缘关系映射表，并存储所述血缘关系映射表至预设数据库中。

进一步的，所述系统类别包括标准类别、多关系类别和实时推送类别，所述根据所述系统类别选取预设处理工具包括：

在所述系统类别为所述标准类别时，确定所述预设处理工具为第一类处理工具；

在所述系统类别为所述多关系类别时，确定所述预设处理工具为第二类处理工具；

在所述系统类别为所述实时推送类别时，确定所述预设处理工具为第三类处理工具。

进一步的，所述基于所述预设处理工具获取所述数据连接系统中源数据表和目标数据表包括：

在所述预设处理工具为第一类处理工具时，获取第一解析脚本，根据所述第一解析脚本读取所述数据连接系统中源数据表和目标数据表；

在所述预设处理工具为第二类处理工具时，获取第二解析脚本，根据所述第二解析脚本读取数据链路配置文件，基于所述数据链路配置文件获取所述数据连接系统的源数据表和目标数据表；

在所述预设处理工具为第三类处理工具时，获取所述数据连接系统中各个所述目标数据库的身份信息，根据所述身份信息确定所述数据连接系统的源数据表和目标数据表。

进一步的，所述获取所述数据连接系统中各个所述目标数据库的身份信息包括：

在所述预设处理工具为所述第三类处理工具时，获取识别程序；

根据所述识别程序识别所述数据连接系统中各个所述目标数据库的身份信息，其中，所述身份信息包括供数者和消费者。

进一步的，所述根据所述识别程序识别所述数据连接系统中各个所述目标数据库的身份信息包括：

根据所述识别程序识别所述数据连接系统中的消息中间件，并抓取所述消息中间件中传输报文的报文格式；

根据所述报文格式定位上游目标数据库和下游目标数据库，确定所述上游目标数据库为所述供数者，确定所述下游目标数据库为所述消费者。

进一步的，在所述根据所述系统类别选取预设处理工具的步骤之后还包括：

在所述数据连接系统中只包括一个目标数据库时，获取定时任务，根据所述定时任务读取所述目标数据库中源程序的解析指令；

通过所述解析指令解析所述目标数据库中字段之间的映射关系；

根据所述映射关系建立所述数据连接系统的血缘关系映射表，存储所述血缘关系映射表至预设数据库中。

进一步的，在所述获取当前数据连接系统的系统类别的步骤之前还包括：

获取预设部署工具，基于所述预设部署工具将所述预设处理工具部署在目标平台上，以使所述目标平台在接收到数据血缘关系的获取指令时，根据所述预设处理工具追踪所述数据血缘关系。

为了解决上述技术问题，本申请实施例还提供一种数据血缘关系建立装置，采用了如下所述的技术方案：

第一获取模块，用于获取当前数据连接系统的系统类别，根据所述系统类别选取预设处理工具；

第二获取模块，用于在所述数据连接系统中包括多个目标数据库时，基于所述预设处理工具获取所述数据连接系统中源数据表和目标数据表；

建立模块，用于根据所述源数据表和所述目标数据表建立所述数据连接系统的血缘关系映射表，并存储所述血缘关系映射表至预设数据库中。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器和处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述数据血缘关系建立方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述数据血缘关系建立方法的步骤。

上述数据血缘关系建立方法，通过获取当前数据连接系统的系统类别，根据系统类别选取预设处理工具，通过不同的预设处理工具可以对不同系统类别的数据连接系统进行统一地管理；之后，在数据连接系统中包括多个目标数据库时，基于预设处理工具获取数据连接系统中源数据表和目标数据表，使得通过源数据表和目标数据表可以对数据血缘关系进行精确获取；而后，根据源数据表和目标数据表建立数据连接系统的血缘关系映射表，并存储血缘关系映射表至预设数据库中，由此实现了对不同系统类别的数据库的数据血缘关系的统一地高效自动化管理，并且节省了数据血缘关系的建立时长，进一步提高了数据处理的效率。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2根据本申请的数据血缘关系建立方法的一个实施例的流程图；

图3是根据本申请的数据血缘关系建立装置的一个实施例的结构示意图；

图4是根据本申请的计算机设备的一个实施例的结构示意图。

附图标记：数据血缘关系建立装置300、第一获取模块301、第二获取模块302和建立模块303。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的数据血缘关系建立方法一般由服务器/终端设备执行，相应地，数据血缘关系建立装置一般设置于服务器/终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的数据血缘关系建立的方法的一个实施例的流程图。所述的数据血缘关系建立方法，包括以下步骤：

步骤S201，获取当前数据连接系统的系统类别，根据所述系统类别选取预设处理工具；

在本实施例中，数据连接系统为当前需要建立数据血缘关系的数据应用系统，该数据连接系统中包括至少一个目标数据库。获取当前数据连接系统的系统类别，根据数据连接系统的功能标识可以确定该系统类别。具体地，系统类别包括标准类别、多关系类别和实时推送类别，其中，标准类别的数据连接系统中主要包括oracle数据库，oracle数据库为一种面向互联网计算环境的数据库；多关系类别的数据连接系统中主要包括数据关系多类型的主流数据库；实时推送类别的数据连接系统中则主要包括用于消息实时推送的数据库。不同系统类别关联不同的预设处理工具，根据当前数据连接系统的系统类别即可确定对应的预设处理工具，该预设处理工具可分为第一类处理工具、第二类处理工具和第三类处理工具。第一类处理工具用于处理标准类别的数据连接系统，第二类处理工具用于处理多关系类别的数据连接系统，第三类处理工具用于处理实时推送类别的数据连接系统，通过该预设处理工具可以对当前数据连接系统的数据血缘关系进行获取建立。

步骤S202，在所述数据连接系统中包括多个目标数据库时，基于所述预设处理工具获取所述数据连接系统中源数据表和目标数据表；

在本实施例中，数据连接系统中包括至少一个目标数据库，在数据连接系统中包括多个目标数据库时，则根据预设处理工具获取数据连接系统中的源数据表和目标数据表。具体地，目标数据库为建立数据血缘关系的目标数据获取的数据库，不同的目标数据库对应不同类型的数据表。按照目标数据库之间数据的传递方向可以确定当前目标数据库对应的数据表的类型，传递数据的目标数据库对应源数据表，接收数据的目标数据库对应目标数据表。目标数据库中的数据被存储各自对应的数据表上。

步骤S203，根据所述源数据表和所述目标数据表建立所述数据连接系统的血缘关系映射表，并存储所述血缘关系映射表至预设数据库中。

在本实施例中，在得到源数据表和目标数据表时，根据该源数据表和目标数据表确定各自表中数据之间的映射关系，并根据该映射关系建立当前数据连接系统的血缘关系映射表。在得到该血缘关系映射表时，则存储该血缘关系映射表至预设数据库中。

具体地，对于第一类处理工具和第二类处理工具处理的数据连接系统，在得到源数据表和目标数据表时，则解析该源数据表和目标数据表得到数据之间的流动关系和加工关系，根据该流动关系和加工关系建立血缘关系映射表。对于第三类处理工具处理的数据连接系统，在得到源数据表和目标数据表时，扫描源数据表对应的目标数据库的源码，得到该源数据表与该数据连接系统中传输报文的第一关系，扫描目标数据表对应的目标数据库的源码，得到该目标数据表与该数据连接系统中传输报文的第二关系。在得到该第一关系和第二关系时，根据该第一关系和第二关系即得到源数据表中数据和目标数据表中数据的映射关系，通过该映射关系建立得到血缘关系映射表。

需要强调的是，为进一步保证上述血缘关系映射表的私密和安全性，上述血缘关系映射表还可以存储于一区块链的节点中。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本实施例实现了对不同系统类别的数据库的数据血缘关系的统一地高效自动化管理，并且节省了数据血缘关系的建立时长，进一步提高了数据处理的效率。

在本申请的一些实施例中，上述系统类别包括标准类别、多关系类别和实时推送类别，所述根据所述系统类别选取预设处理工具包括：

在所述系统类别为所述标准类别时，确定所述预设处理工具为第一类处理工具；

在所述系统类别为所述多关系类别时，确定所述预设处理工具为第二类处理工具；

在所述系统类别为所述实时推送类别时，确定所述预设处理工具为第三类处理工具。

在本实施例中，预设处理工具包括第一类处理工具、第二类处理工具和第三类处理工具。标准类别的数据连接系统中主要包括oracle数据库，该类数据连接系统关联的预设处理工具为第一类处理工具；多关系类别的数据连接系统中主要包括数据关系多类型的主流数据库，该类数据连接系统关联的预设处理工具为第二类处理工具；实时推送类别的数据连接系统中则主要包括用于消息实时推送的数据库，该类数据连接系统关联的预设处理工具为第三类处理工具。

本实施例通过获取不同系统类别的数据连接系统对应的预设处理工具，实现了根据不同预设处理工具对不同数据连接系统的不同处理及统一管理，进一步提高了数据血缘关系的获取效率。

在本申请的一些实施例中，上述基于所述预设处理工具获取所述数据连接系统中源数据表和目标数据表包括：

在所述预设处理工具为第一类处理工具时，获取第一解析脚本，根据所述第一解析脚本读取所述数据连接系统中源数据表和目标数据表；

在所述预设处理工具为第二类处理工具时，获取第二解析脚本，根据所述第二解析脚本读取数据链路配置文件，基于所述数据链路配置文件获取所述数据连接系统的源数据表和目标数据表；

在所述预设处理工具为第三类处理工具时，获取所述数据连接系统中各个所述目标数据库的身份信息，根据所述身份信息确定所述数据连接系统的源数据表和目标数据表。

在本实施例中，在预设处理工具为第一类处理工具时，获取第一解析脚本，如OS脚本，根据该第一解析脚本即可读取到当前数据连接系统中源数据表和目标数据表。在预设处理工具为第二类处理工具时，则获取第二解析脚本，如java解析程序，该第一解析脚本与第二解析脚本不同，根据该第二解析脚本读取数据链路配置文件，之后根据该数据链路配置文件即可确定数据连接系统中的源数据表和目标数据表。在预设处理工具为第三类处理工具时，则获取当前数据连接系统中各个目标数据库的身份信息，根据该身份信息对数据连接系统的源数据表和目标数据表进行确定。

本实施例通过在不同的处理工具下对不同的类别的数据连接系统中的源数据表和目标数据表进行确定，使得通过该数据表能够对数据的血缘关系进行精确地获取，提高了数据血缘关系获取的准确性。

在本申请的一些实施例中，上述获取所述数据连接系统中各个所述目标数据库的身份信息的包括：

在所述预设处理工具为所述第三类处理工具时，获取识别程序；

根据所述识别程序识别所述数据连接系统中各个所述目标数据库的身份信息，其中，所述身份信息包括供数者和消费者。

在本实施例中，在预设处理工具为第三类处理工具时，获取识别程序，根据该识别程序识别数据连接系统中各个目标数据库的身份信息。其中，该数据连接系统中包括多个目标数据库以及消息中间件，该消息中间件用于对数据连接系统中目标数据库之间的消息进行传递。将目标数据库按照功能可以分为消息队列、供数者和消费者，该身份信息即包括该消息队列、供数者和消费者。根据识别程序识别当前数据连接系统中目标数据库的身份信息，在得到各个目标数据库的身份信息时，供数者对应的数据表即确定为源数据表，消费者对应的数据表即确定为目标数据表。

本实施例通过识别程序对数据连接系统中各个目标数据库的身份信息进行确定，提高了对源数据表和目标数据表的获取效率及准确性。

在本申请的一些实施例中，上述根据所述识别程序识别所述数据连接系统中各个所述目标数据库的身份信息包括：

根据所述识别程序识别所述数据连接系统中的消息中间件，并抓取所述消息中间件中传输报文的报文格式；

根据所述报文格式定位上游目标数据库和下游目标数据库，确定所述上游目标数据库为所述供数者，确定所述下游目标数据库为所述消费者。

在本实施例中，身份信息包括供数者和消费者，供数者为数据提供方，消费者为数据需求方。根据识别程序识别数据连接系统中的消息中间件，抓取该消息中间件中传输报文的报文格式，根据该报文格式定位上游目标数据库和下游目标数据库，上游目标数据库和下游目标数据库的报文格式不同。在确定上游目标数据库和下游目标数据库时，确定该上游目标数据库为供数者，该下游目标数据库则为消费者。

本实施例通过对数据连接系统中身份信息的确定，实现了对源数据表和目标数据表的准确获取，进一步提高了数据血缘关系建立的准确率。

在本申请的一些实施例中，在上述根据所述系统类别选取预设处理工具之后还包括：

在所述数据连接系统中只包括一个目标数据库时，获取定时任务，根据所述定时任务读取所述目标数据库中源程序的解析指令；

通过所述解析指令解析所述目标数据库中字段之间的映射关系；

根据所述映射关系建立所述数据连接系统的血缘关系映射表，存储所述血缘关系映射表至预设数据库中。

在本实施例中，在数据连接系统中只包括一个目标数据库时，获取定时任务，该定时任务为数据库脚本定时任务，根据该定时任务定时读取目标数据库中源程序的解析指令，如insert和update指令。在得到该解析指令时，则根据该解析指令解析目标数据库中字段之间的映射关系，根据该映射关系即建立得到当前数据连接系统的血缘关系映射表。在得到该血缘关系映射表时，存储该血缘关系映射表至预设数据库中。

本实施例通过在数据连接系统中只包括一个目标数据库时，对目标数据库中字段之间映射关系的获取，实现了对当前数据连接系统血缘关系映射表的高效建立，进一步提高了数据处理的效率。

在本申请的一些实施例中，在上述获取当前数据连接系统的系统类别之前还包括：

获取预设部署工具，基于所述预设部署工具将所述预设处理工具部署在目标平台上，以使所述目标平台在接收到数据血缘关系的获取指令时，根据所述预设处理工具追踪所述数据血缘关系。

在本实施例中，在选取预设处理工具之前，还需要将该预设处理工具部署在目标平台上。具体地，获取预设部署工具，通过该预设部署工具将预设处理工具部署在目标平台上，在目标平台接收到数据血缘关系的获取指令时，则根据该预设处理工具追踪该获取指令对应的数据连接系统的数据血缘关系。

本实施例通过预先将预设处理工具部署在目标平台上，实现了对不同系统类别的数据库的数据血缘关系的统一地高效自动化管理。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种数据血缘关系建立装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图3所示，本实施例所述的数据血缘关系建立装置300、第一获取模块301、第二获取模块302和建立模块303。其中：

第一获取模块301，用于获取当前数据连接系统的系统类别，根据所述系统类别选取预设处理工具；

其中，第一获取模块301包括：

第一确认单元，用于在所述系统类别为所述标准类别时，确定所述预设处理工具为第一类处理工具；

第二确认单元，用于在所述系统类别为所述多关系类别时，确定所述预设处理工具为第二类处理工具；

第三确认单元，用于在所述系统类别为所述实时推送类别时，确定所述预设处理工具为第三类处理工具。

在本实施例中，数据连接系统为当前需要建立数据血缘关系的数据应用系统，该数据连接系统中包括至少一个目标数据库。获取当前数据连接系统的系统类别，根据数据连接系统的功能标识可以确定该系统类别。具体地，系统类别包括标准类别、多关系类别和实时推送类别，其中，标准类别的数据连接系统中主要包括oracle数据库，oracle数据库为一种面向互联网计算环境的数据库；多关系类别的数据连接系统中主要包括数据关系多类型的主流数据库；实时推送类别的数据连接系统中则主要包括用于消息实时推送的数据库。不同系统类别关联不同的预设处理工具，根据当前数据连接系统的系统类别即可确定对应的预设处理工具，该预设处理工具可分为第一类处理工具、第二类处理工具和第三类处理工具。第一类处理工具用于处理标准类别的数据连接系统，第二类处理工具用于处理多关系类别的数据连接系统，第三类处理工具用于处理实时推送类别的数据连接系统，通过该预设处理工具可以对当前数据连接系统的数据血缘关系进行获取建立。

第二获取模块302，用于在所述数据连接系统中包括多个目标数据库时，基于所述预设处理工具获取所述数据连接系统中源数据表和目标数据表；

其中，第二获取模块302包括：

第一获取单元，用于在所述预设处理工具为第一类处理工具时，获取第一解析脚本，根据所述第一解析脚本读取所述数据连接系统中源数据表和目标数据表；

第二获取单元，用于在所述预设处理工具为第二类处理工具时，获取第二解析脚本，根据所述第二解析脚本读取数据链路配置文件，基于所述数据链路配置文件获取所述数据连接系统的源数据表和目标数据表；

第三获取单元，用于在所述预设处理工具为第三类处理工具时，获取所述数据连接系统中各个所述目标数据库的身份信息，根据所述身份信息确定所述数据连接系统的源数据表和目标数据表。

其中，第三获取单元包括：

第一获取子单元，用于在所述预设处理工具为所述第三类处理工具时，获取识别程序；

识别子单元，用于根据所述识别程序识别所述数据连接系统中各个所述目标数据库的身份信息，其中，所述身份信息包括供数者和消费者。

其中，识别子单元包括：

第二获取子单元，用于根据所述识别程序识别所述数据连接系统中的消息中间件，并抓取所述消息中间件中传输报文的报文格式；

定位子单元，用于根据所述报文格式定位上游目标数据库和下游目标数据库，确定所述上游目标数据库为所述供数者，确定所述下游目标数据库为所述消费者。

在本实施例中，数据连接系统中包括至少一个目标数据库，在数据连接系统中包括多个目标数据库时，则根据预设处理工具获取数据连接系统中的源数据表和目标数据表。具体地，目标数据库为建立数据血缘关系的目标数据获取的数据库，不同的目标数据库对应不同类型的数据表。按照目标数据库之间数据的传递方向可以确定当前目标数据库对应的数据表的类型，传递数据的目标数据库对应源数据表，接收数据的目标数据库对应目标数据表。目标数据库中的数据被存储各自对应的数据表上。

建立模块303，用于根据所述源数据表和所述目标数据表建立所述数据连接系统的血缘关系映射表，并存储所述血缘关系映射表至预设数据库中。

在本实施例中，在得到源数据表和目标数据表时，根据该源数据表和目标数据表确定各自表中数据之间的映射关系，并根据该映射关系建立当前数据连接系统的血缘关系映射表。在得到该血缘关系映射表时，则存储该血缘关系映射表至预设数据库中。

具体地，对于第一类处理工具和第二类处理工具处理的数据连接系统，在得到源数据表和目标数据表时，则解析该源数据表和目标数据表得到数据之间的流动关系和加工关系，根据该流动关系和加工关系建立血缘关系映射表。对于第三类处理工具处理的数据连接系统，在得到源数据表和目标数据表时，扫描源数据表对应的目标数据库的源码，得到该源数据表与该数据连接系统中传输报文的第一关系，扫描目标数据表对应的目标数据库的源码，得到该目标数据表与该数据连接系统中传输报文的第二关系。在得到该第一关系和第二关系时，根据该第一关系和第二关系即得到源数据表中数据和目标数据表中数据的映射关系，通过该映射关系建立得到血缘关系映射表。

需要强调的是，为进一步保证上述血缘关系映射表的私密和安全性，上述血缘关系映射表还可以存储于一区块链的节点中。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本实施例中提出的数据血缘关系建立装置还包括：

第三获取模块，用于在所述数据连接系统中只包括一个目标数据库时，获取定时任务，根据所述定时任务读取所述目标数据库中源程序的解析指令；

解析模块，用于通过所述解析指令解析所述目标数据库中字段之间的映射关系；

存储模块，用于根据所述映射关系建立所述数据连接系统的血缘关系映射表，存储所述血缘关系映射表至预设数据库中。

在本实施例中，在数据连接系统中只包括一个目标数据库时，获取定时任务，该定时任务为数据库脚本定时任务，根据该定时任务定时读取目标数据库中源程序的解析指令，如insert和update指令。在得到该解析指令时，则根据该解析指令解析目标数据库中字段之间的映射关系，根据该映射关系即建立得到当前数据连接系统的血缘关系映射表。在得到该血缘关系映射表时，存储该血缘关系映射表至预设数据库中。

部署模块，用于获取预设部署工具，基于所述预设部署工具将所述预设处理工具部署在目标平台上，以使所述目标平台在接收到数据血缘关系的获取指令时，根据所述预设处理工具追踪所述数据血缘关系。

在本实施例中，在选取预设处理工具之前，还需要将该预设处理工具部署在目标平台上。具体地，获取预设部署工具，通过该预设部署工具将预设处理工具部署在目标平台上，在目标平台接收到数据血缘关系的获取指令时，则根据该预设处理工具追踪该获取指令对应的数据连接系统的数据血缘关系。

本实施例提出的数据血缘关系建立装置，实现了对不同系统类别的数据库的数据血缘关系的统一地高效自动化管理，并且节省了数据血缘关系的建立时长，进一步提高了数据处理的效率。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件61-63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件，例如数据血缘关系建立方法的计算机可读指令等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的计算机可读指令或者处理数据，例如运行所述数据血缘关系建立方法的计算机可读指令。

所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。

本实施例提出的计算机设备，实现了对不同系统类别的数据库的数据血缘关系的统一地高效自动化管理，并且节省了数据血缘关系的建立时长，进一步提高了数据处理的效率。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的数据血缘关系建立方法的步骤。

本实施例提出的计算机可读存储介质，实现了对不同系统类别的数据库的数据血缘关系的统一地高效自动化管理，并且节省了数据血缘关系的建立时长，进一步提高了数据处理的效率。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种数据血缘关系建立方法，其特征在于，包括下述步骤：

获取数据连接系统的系统类别，根据所述系统类别选取预设处理工具；

在所述数据连接系统中包括多个目标数据库时，基于所述预设处理工具获取所述数据连接系统中源数据表和目标数据表；

根据所述源数据表和所述目标数据表建立所述数据连接系统的血缘关系映射表，并存储所述血缘关系映射表至预设数据库中。

2.根据权利要求1所述的数据血缘关系建立方法，其特征在于，所述系统类别包括标准类别、多关系类别和实时推送类别，所述根据所述系统类别选取预设处理工具包括：

在所述系统类别为所述标准类别时，确定所述预设处理工具为第一类处理工具；

在所述系统类别为所述多关系类别时，确定所述预设处理工具为第二类处理工具；

在所述系统类别为所述实时推送类别时，确定所述预设处理工具为第三类处理工具。

3.根据权利要求1所述的数据血缘关系建立方法，其特征在于，所述基于所述预设处理工具获取所述数据连接系统中源数据表和目标数据表包括：

在所述预设处理工具为第一类处理工具时，获取第一解析脚本，根据所述第一解析脚本读取所述数据连接系统中源数据表和目标数据表；

在所述预设处理工具为第二类处理工具时，获取第二解析脚本，根据所述第二解析脚本读取数据链路配置文件，基于所述数据链路配置文件获取所述数据连接系统的源数据表和目标数据表；

在所述预设处理工具为第三类处理工具时，获取所述数据连接系统中各个所述目标数据库的身份信息，根据所述身份信息确定所述数据连接系统的源数据表和目标数据表。

4.根据权利要求3所述的数据血缘关系建立方法，其特征在于，所述获取所述数据连接系统中各个所述目标数据库的身份信息包括：

在所述预设处理工具为所述第三类处理工具时，获取识别程序；

根据所述识别程序识别所述数据连接系统中各个所述目标数据库的身份信息，其中，所述身份信息包括供数者和消费者。

5.根据权利要求4所述的数据血缘关系建立方法，其特征在于，所述根据所述识别程序识别所述数据连接系统中各个所述目标数据库的身份信息包括：

根据所述识别程序识别所述数据连接系统中的消息中间件，并抓取所述消息中间件中传输报文的报文格式；

根据所述报文格式定位上游目标数据库和下游目标数据库，确定所述上游目标数据库为所述供数者，确定所述下游目标数据库为所述消费者。

6.根据权利要求1所述的数据血缘关系建立方法，其特征在于，在所述根据所述系统类别选取预设处理工具的步骤之后还包括：

在所述数据连接系统中只包括一个目标数据库时，获取定时任务，根据所述定时任务读取所述目标数据库中源程序的解析指令；

通过所述解析指令解析所述目标数据库中字段之间的映射关系；

根据所述映射关系建立所述数据连接系统的血缘关系映射表，存储所述血缘关系映射表至预设数据库中。

7.根据权利要求1所述的数据血缘关系建立方法，其特征在于，在所述获取当前数据连接系统的系统类别的步骤之前还包括：

获取预设部署工具，基于所述预设部署工具将所述预设处理工具部署在目标平台上，以使所述目标平台在接收到数据血缘关系的获取指令时，根据所述预设处理工具追踪所述数据血缘关系。

8.一种数据血缘关系建立装置，其特征在于，包括：

第一获取模块，用于获取当前数据连接系统的系统类别，根据所述系统类别选取预设处理工具；

第二获取模块，用于在所述数据连接系统中包括多个目标数据库时，基于所述预设处理工具获取所述数据连接系统中源数据表和目标数据表；

建立模块，用于根据所述源数据表和所述目标数据表建立所述数据连接系统的血缘关系映射表，并存储所述血缘关系映射表至预设数据库中。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的数据血缘关系建立方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的数据血缘关系建立方法的步骤。

Images