CN114218249A - 数据血缘分析方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明实施例公开了数据血缘分析方法、装置、计算机设备及存储介质。所述方法包括：获取待分析数据源；根据所述待分析数据源配置数据处理过程的相关信息；创建作业级线程以及字段级线程；利用所述作业级线程结合所述相关信息进行血缘消息的分析，以得到字段血缘消息，并存储所述字段血缘消息至消息列队；利用所述字段级线程从所述消息列队内获取所述字段血缘消息；根据所述字段血缘消息进行字段血缘和字段处理过程的分析，以得到分析结果；存储所述分析结果以及所述相关信息至数据库内。通过实施本发明实施例的方法可解决无法统一解析不同引擎血缘关系、解析血缘关系的准确率不高且复杂程度高的问题，可分析出数据的处理过程，实时得到分析结果。

Description

数据血缘分析方法、装置、计算机设备及存储介质

技术领域

本发明涉及数据分析方法，更具体地说是指数据血缘分析方法、装置、计算机设备及存储介质。

背景技术

上世纪90年代起，数字技术发展迅速，以计算机为代表的现代信息技术为数据处理提供方法和手段，数字技术从助力经济发展的工具转变为引领经济发展的核心，“数字经济”由此诞生。

针对企事业单位的迫切需求，经过多年的发展，目前业界提供了一些成熟的数据中台解决方案，帮助企业向数字化转型。数据中台核心功能之一就是数据处理，数据处理过程主要是写HIVE、SPARK、FLINK引擎支持的SQL、代码、JAR包等。在此基础上做的数据血缘解析就需要依赖特定的SQL解析器或者引擎，提高了技术门槛，而且解析准确度很难达到商用级别，尤其是字段级别的血缘。数据处理过程链路都比较长，处理的方式多种多样，SQL也比较复杂，在此基础上想要解析某个字段的处理链路和处理过程非常困难，尤其是如果有多种引擎，每种引擎的解析方式相差很大，复杂度会随着引擎数量的增加线性递增，而且解析的性能指标和准确度也无法保证。

因此，有必要设计一种新的方法，以解决无法统一解析不同引擎血缘关系、解析血缘关系的准确率不高且复杂程度高的问题，并且可分析出数据的处理过程，实时得到分析结果。

发明内容

本发明的目的在于克服现有技术的缺陷，提供数据血缘分析方法、装置、计算机设备及存储介质。

为实现上述目的，本发明采用以下技术方案：数据血缘分析方法，包括：

获取待分析数据源；

根据所述待分析数据源配置数据处理过程的相关信息；

创建作业级线程以及字段级线程；

利用所述作业级线程结合所述相关信息进行血缘消息的分析，以得到字段血缘消息，并存储所述字段血缘消息至消息列队；

利用所述字段级线程从所述消息列队内获取所述字段血缘消息；

根据所述字段血缘消息进行字段血缘和字段处理过程的分析，以得到分析结果；

存储所述分析结果以及所述相关信息至数据库内。

其进一步技术方案为：所述相关信息包括数据源信息、表信息、表级别配置是否改动信息、字段级数据处理信息以及字段级输出字段映射信息。

其进一步技术方案为：所述创建作业级线程以及字段级线程，包括：

利用主线程以配置为单位开启多个作业级线程和字段级线程。

其进一步技术方案为：所述利用所述作业级线程结合所述相关信息进行血缘消息的分析，以得到字段血缘消息，并存储所述字段血缘消息至消息列队，包括：

根据所述相关信息过滤未改动的表级别配置信息，以得到改动的表级别配置信息；

将改动的表级别配置信息进行组装，以得到字段血缘消息；

将所述字段血缘消息存放至消息列队内；

分析数据源血缘以及有改动的数据表血缘；

获取字段级线程存放的缓存数据；

轮训判断所述字段级线程对应的任务是否完成；

若确定所述字段级线程对应的任务完成，则响应所述字段级线程的分析结果；

若确定所述字段级线程对应的任务未完成，则执行所述轮训判断所述字段级线程对应的任务是否完成。

其进一步技术方案为：所述轮训判断所述字段级线程对应的任务是否完成，包括：

判断缓存数据中已完成的字段级任务数量是否等于消息队列的大小；

若缓存数据中已完成的字段级任务数量等于消息队列的大小，则确定所述字段级线程对应的任务完成；

若缓存数据中已完成的字段级任务数量不等于消息队列的大小，则确定所述字段级线程对应的任务未完成。

其进一步技术方案为：所述根据所述字段血缘消息进行字段血缘和字段处理过程的分析，以得到分析结果，包括：

对所述血缘消息中输出字段的血缘和字段处理过程进行分析，以得到血缘分析结果以及字段处理过程的分析结果；

利用血缘分析结果以及字段处理过程的分析结果进行相互校验是否正确，当校验正确时，将血缘分析结果以及字段处理过程的分析结果存放至缓存内，以得到所述分析结果，其中，所述分析结果包括所述缓存数据。

其进一步技术方案为：所述存储所述分析结果以及所述相关信息至数据库内，包括：

将所述分析结果、数据源血缘以及有改动的数据表血缘以及所述相关信息存储至数据库内。

本发明还提供了数据血缘分析装置，其特征在于，包括：

数据源获取单元，用于获取待分析数据源；

配置单元，用于根据所述待分析数据源配置数据处理过程的相关信息；

创建单元，用于创建作业级线程以及字段级线程；

作业级分析单元，用于利用所述作业级线程结合所述相关信息进行血缘消息的分析，以得到字段血缘消息，并存储所述字段血缘消息至消息列队；

消息获取单元，用于利用所述字段级线程从所述消息列队内获取所述字段血缘消息；

字段级分析单元，用于根据所述字段血缘消息进行字段血缘和字段处理过程的分析，以得到分析结果；

存储单元，用于存储所述分析结果以及所述相关信息至数据库内。

本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。

本发明与现有技术相比的有益效果是：本发明通过进行配置数据处理过程的相关信息，构建作业级线程以及字段级线程，利用作业级线程进行血缘消息的分析，利用所述字段级线程进行字段血缘和字段处理过程的分析，并将结果存储在数据库内，以解决无法统一解析不同引擎血缘关系、解析血缘关系的准确率不高且复杂程度高的问题，并且可分析出数据的处理过程，实时得到分析结果。

下面结合附图和具体实施例对本发明作进一步描述。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的数据血缘分析方法的应用场景示意图；

图2为本发明实施例提供的数据血缘分析方法的流程示意图；

图3为本发明实施例提供的数据血缘分析方法的子流程示意图；

图4为本发明实施例提供的数据血缘分析方法的子流程示意图；

图5为本发明实施例提供的数据血缘分析方法的子流程示意图；

图6为本发明实施例提供的数据血缘分析装置的示意性框图；

图7为本发明实施例提供的数据血缘分析装置的作业级分析单元的示意性框图；

图8为本发明实施例提供的数据血缘分析装置的任务判断子单元的示意性框图；

图9为本发明实施例提供的数据血缘分析装置的字段级分析单元的示意性框图；

图10为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1和图2，图1为本发明实施例提供的数据血缘分析方法的应用场景示意图。图2为本发明实施例提供的数据血缘分析方法的示意性流程图。该数据血缘分析方法应用于服务器中。该服务器与终端进行数据交互，从终端获取待分析数据源，通过配置信息、数据血缘分析以及配置数据和分析结果存入数据库，进行数据血缘的处理。

图2是本发明实施例提供的数据血缘分析方法的流程示意图。如图2所示，该方法包括以下步骤S110至S170。

S110、获取待分析数据源。

在本实施例中，待分析数据源是指从终端输入的需要进行数据血缘关系分析的数据源。

S120、根据所述待分析数据源配置数据处理过程的相关信息。

在本实施例中，所述相关信息包括数据源信息、表信息、表级别配置是否改动信息、字段级数据处理信息以及字段级输出字段映射信息。

所述数据源信息包括输入数据源和输出数据源的数据源类型、IP地址、端口号、实例名、数据库名称、用户名和密码；所述表信息包括输入表名称和输出表名称；所述表级别配置是否改动信息是指表级别的配置信息是否有改动可以选择是或者否；所述字段级数据处理信息包括字段的处理过程和处理过程中字段的血缘信息，用于快速、准确、统一分析字段处理过程和血缘信息，处理过程中输入字段名称，多个用逗号隔开，处理过程中的输出字段名称；所述字段级输出字段映射信息包含映射输入字段名称，映射输出字段名称，此信息结合字段级处理过程信息可用于快速、准确、统一分析字段血缘信息；其中，上述的输入即数据来源端；上述的输出即数据目标端。表级别配置是否改动信息，用于增量分析数据血缘和处理过程信息。

S130、创建作业级线程以及字段级线程。

在本实施例中，利用主线程以配置为单位开启多个作业级线程和字段级线程。作业级线程和字段级线程并行分析，以实现数据源、表血缘和字段血缘并行分析。作业级线程的并发分析是将作业线程的个数设置成可配置，多个配置信息同时分析，根据服务器性能动态调整；字段线程的个数设置成可配置，多个字段同时分析，根据服务器性能动态调整。

S140、利用所述作业级线程结合所述相关信息进行血缘消息的分析，以得到字段血缘消息，并存储所述字段血缘消息至消息列队。

在本实施例中，字段血缘消息是指作业级线程遍历输出字段集合，每个字段都从字段级数据处理信息和字段级输出字段映射信息中提取出当前字段相关的血缘和处理过程信息，由当前字段相关的血缘和处理过程信息构成的内容。

在一实施例中，请参阅图3，上述的步骤S140可包括步骤S141～S147。

S141、根据所述相关信息过滤未改动的表级别配置信息，以得到改动的表级别配置信息；

S142、将改动的表级别配置信息进行组装，以得到字段血缘消息；

S143、将所述字段血缘消息存放至消息列队内。

在本实施例中，把组合成的每条字段血缘和处理信息放入内存中的集合，以实现存放到消息列队的目的。

S144、分析数据源血缘以及有改动的数据表血缘。

具体地，分析数据源血缘即遍历输出数据源集合，每个输出数据源都分析出和它在数据处理过程中有关系的输入数据源集合；分析有改动的数据表血缘即遍历输出数据表集合，每个输出数据表先判断配置是否有改动，有改动的分析出和它在数据处理过程中有关系的输入数据表集合。

S145、获取字段级线程存放的缓存数据。

在本实施例中，缓存数据是指血缘分析结果以及字段处理过程的分析结果。

S146、轮训判断所述字段级线程对应的任务是否完成。

在一实施例中，请参阅图4，上述的步骤S146可包括步骤S1461～S1463。

S1461、判断缓存数据中已完成的字段级任务数量是否等于消息队列的大小；

S1462、若缓存数据中已完成的字段级任务数量等于消息队列的大小，则确定所述字段级线程对应的任务完成；

S1463、若缓存数据中已完成的字段级任务数量不等于消息队列的大小，则确定所述字段级线程对应的任务未完成。

把已完成的字段数据存入缓存，用于作业级线程轮训时和待分析字段集合大小进行比较，判断字段级任务是否完成，待分析字段集合大小则是消息列队的大小。

S147、若确定所述字段级线程对应的任务完成，则响应所述字段级线程的分析结果。

在本实施例中，实时响应分析结果即将分析结果实时响应给请求方，即终端。

若确定所述字段级线程对应的任务未完成，则执行所述步骤S146。

在另一实施例中，在3次轮训判断字段级线程对应的任务是否完成之后，该间隔时间可根据实际情况配置，也就是可配置轮训间隔，如果字段级线程未完成，开启一次轮训检查字段级线程分析是否有错误。判断error_queue[T]集合的大小，如果大于零，表示有配置错误，则响应error_queue中的消息内容，提示用户重新配置这个输出字段的血缘和处理过程信息，如果集合大小为空，表示没有配置错误，继续轮训判断字段级线程任务是否完成。如果字段级线程已完成，则响应所述字段级线程的分析结果。轮训检查字段级线程分析是否有错误，提高准确率，作业快速失败，提示用户配置错误的字段和原因。

S150、利用所述字段级线程从所述消息列队内获取所述字段血缘消息；

S160、根据所述字段血缘消息进行字段血缘和字段处理过程的分析，以得到分析结果。

在本实施例中，分析结果是指当校验正确时，将血缘分析结果以及字段处理过程的分析结果存放至缓存内所形成的内容。

在一实施例中，请参阅图5，上述的步骤S160可包括步骤S161～S162。

S161、对所述血缘消息中输出字段的血缘和字段处理过程进行分析，以得到血缘分析结果以及字段处理过程的分析结果；

S162、利用血缘分析结果以及字段处理过程的分析结果进行相互校验是否正确，当校验正确时，将血缘分析结果以及字段处理过程的分析结果存放至缓存内，以得到所述分析结果，其中，所述分析结果包括所述缓存数据。

分析字段的血缘即分析出和输出字段在数据处理过程中有关系的输入字段集合；分析字段处理过程即分析出输出字段的处理过程。校验字段血缘和字段处理过程即校验血缘分析结果以及字段处理过程的分析结果，实则判断分析出的字段血缘输入字段和字段处理过程的输入字段是否相同，以此来判断分析结果的是否正确，用于提高分析结果的准确性。

S170、存储所述分析结果以及所述相关信息至数据库内。

在本实施例中，将所述分析结果、数据源血缘以及有改动的数据表血缘以及所述相关信息存储至数据库内。

存储到数据库内的有数据源血缘、有改动的数据表血缘、字段血缘、字段处理过程、相关信息。

举个例子：数据源：source_input下有一张学生成绩表ods_student_score，包含字段id-学生成绩表主键，student_id-学生主键，student_name-学生姓名，student_age-学生年龄，course_id-课程主键，score-分数。通过学生成绩表ods_student_score需要在数据源source_output下加工出一张学生成绩汇总表(dwd_student_score)包含字段id-学生主键，name-姓名，age-年龄，total-所有课程总分。

首先，根据上述步骤配置数据处理过程：按表为维度配置table_config[K]，对于输出表dwd_student_score，分别配置配置输入数据源信息source_input和输出数据源source_output的信息包括数据源类型，IP地址，端口号，实例名，数据库名称，用户名和密码；配置表信息包括输入表名称ods_student_score和输出表名称dwd_student_score；配置表级别配置是否改动信息table_config_edit选择是；配置字段级数据处理信息包括字段的处理过程sum(score)，处理过程中输入字段名称score，处理过程中的输出字段名称total；配置字段级输出字段映射信息，映射输入字段名称student_id，映射输出字段名称id，映射输入字段名称student_name，映射输出字段名称name，映射输入字段名称student_age，映射输出字段名称age，映射输入字段名称total，映射输出字段名称total；如果有多张表配置完都放到一个配置信息job_config里面。

主线程创建出N个作业级线程job1-N和M个字段级线程task1-M，放到对应的线程池中，作业级线程最多5个并发处理，字段级线程最多10个并发处理。job线程和task线程并行开始分析。job线程获取job_config配置下的表维度的配置信息table_config[K]，先过滤掉table_config_edit为否的表，剩余L个配置信息table_config[L]；把表里面的字段处理过程信息和输出字段映射信息，按输出字段包装成一条血缘消息，消息需要包含输出数据源名称，输出表名称，输出字段名称，输入数据源名称，输入表名称，输入字段名称，处理过程，处理过程输入字段名称，处理过程输出字段名称；没有处理过程的消息以输出字段id为例，解析后的消息为输出数据源名称source_output，输出表名称dwd_student_score，输出字段名称id，输入数据源名称source_input，输入表名称ods_student_score，输入字段名称student_id，处理过程为空，处理过程输入字段名称为空，处理过程输出字段名称为空；有处理过程的消息以输出字段total为例，解析后的消息为输出数据源名称source_output，输出表名称dwd_student_score，输出字段名称total，输入数据源名称source_input，输入表名称ods_student_score，输入字段名称total，处理过程为sum(score)，处理过程输入字段名称为score，处理过程输出字段名称为total，然后把血缘消息放入消息队列message_queue[P]中。job线程分析有改动的表级别配置table_config[L]，分析数据源血缘，将分析到的结果输入数据源source_input，输出数据源source_output，放入内存集合source_blood[R]中；分析表级别血缘，将分析得到的结果输入数据源source_input，输入数据表ods_student_score，输出数据源source_output，输出数据表dwd_student_score，放入内存集合table_blood[S]中。然后job线程轮训获取task线程放入的缓存数据field_blood[Q]，判断缓存中已完成的字段级任务数量是否等于消息队列message_queue[P]的大小，如果相等表示完成，完成后实时响应分析结果。

task线程并发的从消息队列message_queue[P]中获取血缘消息分析字段血缘，有处理过程的需要分析字段处理过程，分析后的血缘信息以total输出字段为例需要包含输出数据源名称source_output，输出表名称dwd_student_score，输出字段名称total，输入数据源名称source_input，输入表名称ods_student_score，数据处理过程sum(score)，输入字段名称score，同时校验数据处理过程信息中是否包含输入字段名称，如果不包含表示分析信息有误，把字段血缘消息以及错误描述信息，即数据处理过程信息中不包含输入字段名称，放入错误集合error_queue[T]中，提示用户重新配置这个输出字段的血缘和处理过程信息。此时停止所有此作业下的字段级处理线程。

最后将包含表级别记录是否改动的配置信息job_config存入数据库，用于增量分析；将分析数据source_outputlood[R]、table_blood[S]、field_blood[Q]存入数据库。

上述的数据血缘分析方法能够快速、准确、实时的分析数据血缘关系和处理过程，尤其是在大数据平台上，需要兼容多种计算引擎的情况下，能够实现统一的解析；同时实现难度小，节省团队研发成本，避免较大的技术风险；不仅提供多维度的血缘关系，而且提供准确的数据处理过程。

上述的数据血缘分析方法，通过进行配置数据处理过程的相关信息，构建作业级线程以及字段级线程，利用作业级线程进行血缘消息的分析，利用所述字段级线程进行字段血缘和字段处理过程的分析，并将结果存储在数据库内，以解决无法统一解析不同引擎血缘关系、解析血缘关系的准确率不高且复杂程度高的问题，，并且可分析出数据的处理过程，实时得到分析结果。

图6是本发明实施例提供的一种数据血缘分析装置300的示意性框图。如图6所示，对应于以上数据血缘分析方法，本发明还提供一种数据血缘分析装置300。该数据血缘分析装置300包括用于执行上述数据血缘分析方法的单元，该装置可以被配置于服务器中。具体地，请参阅图6，该数据血缘分析装置300包括数据源获取单元301、配置单元302、创建单元303、作业级分析单元304、消息获取单元305、字段级分析单元306以及存储单元307。

数据源获取单元301，用于获取待分析数据源；配置单元302，用于根据所述待分析数据源配置数据处理过程的相关信息；创建单元303，用于创建作业级线程以及字段级线程；作业级分析单元304，用于利用所述作业级线程结合所述相关信息进行血缘消息的分析，以得到字段血缘消息，并存储所述字段血缘消息至消息列队；消息获取单元305，用于利用所述字段级线程从所述消息列队内获取所述字段血缘消息；字段级分析单元306，用于根据所述字段血缘消息进行字段血缘和字段处理过程的分析，以得到分析结果；存储单元307，用于存储所述分析结果以及所述相关信息至数据库内。

在一实施例中，所述创建单元303，用于利用主线程以配置为单位开启多个作业级线程和字段级线程。

在一实施例中，如图7所示，所述作业级分析单元304包括过滤子单元3041、组装子单元3042、存放子单元3043、血缘分析子单元3044、缓存数据获取子单元3045、任务判断子单元3046以及响应子单元3047。

过滤子单元3041，用于根据所述相关信息过滤未改动的表级别配置信息，以得到改动的表级别配置信息；组装子单元3042，用于将改动的表级别配置信息进行组装，以得到字段血缘消息；存放子单元3043，用于将所述字段血缘消息存放至消息列队内；血缘分析子单元3044，用于分析数据源血缘以及有改动的数据表血缘；缓存数据获取子单元3045，用于获取字段级线程存放的缓存数据；任务判断子单元3046，用于轮训判断所述字段级线程对应的任务是否完成；若确定所述字段级线程对应的任务未完成，则执行所述轮训判断所述字段级线程对应的任务是否完成；响应子单元3047，用于若确定所述字段级线程对应的任务完成，则响应所述字段级线程的分析结果。

在一实施例中，如图8所示，所述任务判断子单元3046包括数量判断模块30461、第一确定模块30462以及第二确定模块30463。

数量判断模块30461，用于判断缓存数据中已完成的字段级任务数量是否等于消息队列的大小；第一确定模块30462，用于若缓存数据中已完成的字段级任务数量等于消息队列的大小，则确定所述字段级线程对应的任务完成；第二确定模块30463，用于若缓存数据中已完成的字段级任务数量不等于消息队列的大小，则确定所述字段级线程对应的任务未完成。

在一实施例中，如图9所示，所述字段级分析单元306包括过程分析子单元3061以及校验子单元3062。

过程分析子单元3061，用于对所述血缘消息中输出字段的血缘和字段处理过程进行分析，以得到血缘分析结果以及字段处理过程的分析结果；校验子单元3062，用于利用血缘分析结果以及字段处理过程的分析结果进行相互校验是否正确，当校验正确时，将血缘分析结果以及字段处理过程的分析结果存放至缓存内，以得到所述分析结果，其中，所述分析结果包括所述缓存数据。

在一实施例中，所述存储单元307，用于将所述分析结果、数据源血缘以及有改动的数据表血缘以及所述相关信息存储至数据库内。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述数据血缘分析装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

上述数据血缘分析装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。

请参阅图10，图10是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备50可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图10，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种数据血缘分析方法。

该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种数据血缘分析方法。

该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：

获取待分析数据源；根据所述待分析数据源配置数据处理过程的相关信息；创建作业级线程以及字段级线程；利用所述作业级线程结合所述相关信息进行血缘消息的分析，以得到字段血缘消息，并存储所述字段血缘消息至消息列队；利用所述字段级线程从所述消息列队内获取所述字段血缘消息；根据所述字段血缘消息进行字段血缘和字段处理过程的分析，以得到分析结果；存储所述分析结果以及所述相关信息至数据库内。

其中，所述相关信息包括数据源信息、表信息、表级别配置是否改动信息、字段级数据处理信息以及字段级输出字段映射信息。

在一实施例中，处理器502在实现所述创建作业级线程以及字段级线程步骤时，具体实现如下步骤：

利用主线程以配置为单位开启多个作业级线程和字段级线程。

在一实施例中，处理器502在实现所述利用所述作业级线程结合所述相关信息进行血缘消息的分析，以得到字段血缘消息，并存储所述字段血缘消息至消息列队步骤时，具体实现如下步骤：

根据所述相关信息过滤未改动的表级别配置信息，以得到改动的表级别配置信息；将改动的表级别配置信息进行组装，以得到字段血缘消息；将所述字段血缘消息存放至消息列队内；分析数据源血缘以及有改动的数据表血缘；获取字段级线程存放的缓存数据；轮训判断所述字段级线程对应的任务是否完成；若确定所述字段级线程对应的任务完成，则响应所述字段级线程的分析结果；若确定所述字段级线程对应的任务未完成，则执行所述轮训判断所述字段级线程对应的任务是否完成。

在一实施例中，处理器502在实现所述轮训判断所述字段级线程对应的任务是否完成步骤时，具体实现如下步骤：

判断缓存数据中已完成的字段级任务数量是否等于消息队列的大小；若缓存数据中已完成的字段级任务数量等于消息队列的大小，则确定所述字段级线程对应的任务完成；若缓存数据中已完成的字段级任务数量不等于消息队列的大小，则确定所述字段级线程对应的任务未完成。

在一实施例中，处理器502在实现所述根据所述字段血缘消息进行字段血缘和字段处理过程的分析，以得到分析结果步骤时，具体实现如下步骤：

对所述血缘消息中输出字段的血缘和字段处理过程进行分析，以得到血缘分析结果以及字段处理过程的分析结果；利用血缘分析结果以及字段处理过程的分析结果进行相互校验是否正确，当校验正确时，将血缘分析结果以及字段处理过程的分析结果存放至缓存内，以得到所述分析结果，其中，所述分析结果包括所述缓存数据。

在一实施例中，处理器502在实现所述存储所述分析结果以及所述相关信息至数据库内步骤时，具体实现如下步骤：

将所述分析结果、数据源血缘以及有改动的数据表血缘以及所述相关信息存储至数据库内。

应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：

获取待分析数据源；根据所述待分析数据源配置数据处理过程的相关信息；创建作业级线程以及字段级线程；利用所述作业级线程结合所述相关信息进行血缘消息的分析，以得到字段血缘消息，并存储所述字段血缘消息至消息列队；利用所述字段级线程从所述消息列队内获取所述字段血缘消息；根据所述字段血缘消息进行字段血缘和字段处理过程的分析，以得到分析结果；存储所述分析结果以及所述相关信息至数据库内。

其中，所述相关信息包括数据源信息、表信息、表级别配置是否改动信息、字段级数据处理信息以及字段级输出字段映射信息。

在一实施例中，所述处理器在执行所述计算机程序而实现所述创建作业级线程以及字段级线程步骤时，具体实现如下步骤：

利用主线程以配置为单位开启多个作业级线程和字段级线程。

在一实施例中，所述处理器在执行所述计算机程序而实现所述利用所述作业级线程结合所述相关信息进行血缘消息的分析，以得到字段血缘消息，并存储所述字段血缘消息至消息列队步骤时，具体实现如下步骤：

根据所述相关信息过滤未改动的表级别配置信息，以得到改动的表级别配置信息；

将改动的表级别配置信息进行组装，以得到字段血缘消息；将所述字段血缘消息存放至消息列队内；分析数据源血缘以及有改动的数据表血缘；获取字段级线程存放的缓存数据；轮训判断所述字段级线程对应的任务是否完成；若确定所述字段级线程对应的任务完成，则响应所述字段级线程的分析结果；若确定所述字段级线程对应的任务未完成，则执行所述轮训判断所述字段级线程对应的任务是否完成。

在一实施例中，所述处理器在执行所述计算机程序而实现所述轮训判断所述字段级线程对应的任务是否完成步骤时，具体实现如下步骤：

判断缓存数据中已完成的字段级任务数量是否等于消息队列的大小；若缓存数据中已完成的字段级任务数量等于消息队列的大小，则确定所述字段级线程对应的任务完成；若缓存数据中已完成的字段级任务数量不等于消息队列的大小，则确定所述字段级线程对应的任务未完成。

在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述字段血缘消息进行字段血缘和字段处理过程的分析，以得到分析结果步骤时，具体实现如下步骤：

对所述血缘消息中输出字段的血缘和字段处理过程进行分析，以得到血缘分析结果以及字段处理过程的分析结果；利用血缘分析结果以及字段处理过程的分析结果进行相互校验是否正确，当校验正确时，将血缘分析结果以及字段处理过程的分析结果存放至缓存内，以得到所述分析结果，其中，所述分析结果包括所述缓存数据。

在一实施例中，所述处理器在执行所述计算机程序而实现所述存储所述分析结果以及所述相关信息至数据库内步骤时，具体实现如下步骤：

将所述分析结果、数据源血缘以及有改动的数据表血缘以及所述相关信息存储至数据库内。

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.数据血缘分析方法，其特征在于，包括：

获取待分析数据源；

根据所述待分析数据源配置数据处理过程的相关信息；

创建作业级线程以及字段级线程；

利用所述作业级线程结合所述相关信息进行血缘消息的分析，以得到字段血缘消息，并存储所述字段血缘消息至消息列队；

利用所述字段级线程从所述消息列队内获取所述字段血缘消息；

根据所述字段血缘消息进行字段血缘和字段处理过程的分析，以得到分析结果；

存储所述分析结果以及所述相关信息至数据库内。

2.根据权利要求1所述的数据血缘分析方法，其特征在于，所述相关信息包括数据源信息、表信息、表级别配置是否改动信息、字段级数据处理信息以及字段级输出字段映射信息。

3.根据权利要求1所述的数据血缘分析方法，其特征在于，所述创建作业级线程以及字段级线程，包括：

利用主线程以配置为单位开启多个作业级线程和字段级线程。

4.根据权利要求1所述的数据血缘分析方法，其特征在于，所述利用所述作业级线程结合所述相关信息进行血缘消息的分析，以得到字段血缘消息，并存储所述字段血缘消息至消息列队，包括：

根据所述相关信息过滤未改动的表级别配置信息，以得到改动的表级别配置信息；

将改动的表级别配置信息进行组装，以得到字段血缘消息；

将所述字段血缘消息存放至消息列队内；

分析数据源血缘以及有改动的数据表血缘；

获取字段级线程存放的缓存数据；

轮训判断所述字段级线程对应的任务是否完成；

若确定所述字段级线程对应的任务完成，则响应所述字段级线程的分析结果；

若确定所述字段级线程对应的任务未完成，则执行所述轮训判断所述字段级线程对应的任务是否完成。

5.根据权利要求4所述的数据血缘分析方法，其特征在于，所述轮训判断所述字段级线程对应的任务是否完成，包括：

判断缓存数据中已完成的字段级任务数量是否等于消息队列的大小；

若缓存数据中已完成的字段级任务数量等于消息队列的大小，则确定所述字段级线程对应的任务完成；

若缓存数据中已完成的字段级任务数量不等于消息队列的大小，则确定所述字段级线程对应的任务未完成。

6.根据权利要求5所述的数据血缘分析方法，其特征在于，所述根据所述字段血缘消息进行字段血缘和字段处理过程的分析，以得到分析结果，包括：

对所述血缘消息中输出字段的血缘和字段处理过程进行分析，以得到血缘分析结果以及字段处理过程的分析结果；

利用血缘分析结果以及字段处理过程的分析结果进行相互校验是否正确，当校验正确时，将血缘分析结果以及字段处理过程的分析结果存放至缓存内，以得到所述分析结果，其中，所述分析结果包括所述缓存数据。

7.根据权利要求6所述的数据血缘分析方法，其特征在于，所述存储所述分析结果以及所述相关信息至数据库内，包括：

将所述分析结果、数据源血缘以及有改动的数据表血缘以及所述相关信息存储至数据库内。

8.数据血缘分析装置，其特征在于，包括：

数据源获取单元，用于获取待分析数据源；

配置单元，用于根据所述待分析数据源配置数据处理过程的相关信息；

创建单元，用于创建作业级线程以及字段级线程；

作业级分析单元，用于利用所述作业级线程结合所述相关信息进行血缘消息的分析，以得到字段血缘消息，并存储所述字段血缘消息至消息列队；

消息获取单元，用于利用所述字段级线程从所述消息列队内获取所述字段血缘消息；

字段级分析单元，用于根据所述字段血缘消息进行字段血缘和字段处理过程的分析，以得到分析结果；

存储单元，用于存储所述分析结果以及所述相关信息至数据库内。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至7中任一项所述的方法。

Images