CN116861040A - 生成脚本间血缘关系图的方法、装置、设备及存储介质 - Google Patents

生成脚本间血缘关系图的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116861040A
CN116861040A CN202310955260.3A CN202310955260A CN116861040A CN 116861040 A CN116861040 A CN 116861040A CN 202310955260 A CN202310955260 A CN 202310955260A CN 116861040 A CN116861040 A CN 116861040A
Authority
CN
China
Prior art keywords
blood
time information
edge
data set
dependency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310955260.3A
Other languages
English (en)
Inventor
刘明锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202310955260.3A priority Critical patent/CN116861040A/zh
Publication of CN116861040A publication Critical patent/CN116861040A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供一种生成脚本间血缘关系图的方法、装置、设备及存储介质，涉及数据管理及处理、大数据等技术领域。该方法包括：首先确定脚本数据集对应的血缘数据集，根据血缘数据集，确定脚本数据集中各脚本间的参考血缘关系图，在参考血缘关系图中包含至少一个闭环路径的情况下，确定至少一个闭环路径中每个依赖关系对应的时间信息，之后根据对应不同时间信息的依赖关系的总数量，将参考血缘关系图中的部分边进行更新，以获取脚本数据集对应的目标血缘关系图。由此，基于处于闭环路径中的依赖关系的时间信息，对血缘关系图中的部分边进行更新，最终生成目标血缘关系图，从而避免了血缘关系图中依赖关系的自循环，直观地展示了全局脚本血缘关系。

Description

生成脚本间血缘关系图的方法、装置、设备及存储介质
技术领域
本公开涉及到数据管理、数据处理、大数据等技术领域，尤其涉及一种生成脚本间血缘关系图的方法、装置、设备及存储介质。
背景技术
随着计算机技术及数据处理技术的发展，基于数据血缘关系，来判断系统上下游脚本关系的应用范围日趋广泛。但是，现有的数据血缘关系梳理方法是基于正则匹配脚本语句段落去梳理脚本血缘，这种方法需要对脚本语句进行深度解析，带入大量专家规则，易出错，同时提高了开发复杂度，降低了运行效率。
发明内容
本公开提供了一种生成脚本间血缘关系图的方法、装置、设备及存储介质，用以解决如何降低数据血缘梳理时规则的复杂度以及提高运行效率的问题。
根据本公开的一方面，提供了一种生成脚本间血缘关系图的方法，包括：
确定脚本数据集对应的血缘数据集，其中，每个所述血缘数据中包含一个目标表及所述目标表依赖的至少一个来源表；
根据所述血缘数据集，确定所述脚本数据集中各脚本间的参考血缘关系图，其中，所述血缘关系图中的节点用于表征数据表，节点间的边表征节点间具有依赖关系；
在所述参考血缘关系图中包含至少一个闭环路径的情况下，确定所述至少一个闭环路径中每个依赖关系对应的时间信息；
根据对应不同时间信息的依赖关系的总数量，将所述参考血缘关系图中的部分边进行更新，以获取所述脚本数据集对应的目标血缘关系图。
根据本公开的另一方面，提供了一种生成脚本间血缘关系图的装置，包括：
第一确定模块，用于确定脚本数据集对应的血缘数据集，其中，每个所述血缘数据中包含一个目标表及所述目标表依赖的至少一个来源表；
第二确定模块，用于根据所述血缘数据集，确定所述脚本数据集中各脚本间的参考血缘关系图，其中，所述血缘关系图中的节点用于表征数据表，节点间的边表征节点间具有依赖关系；
第三确定模块，用于在所述参考血缘关系图中包含至少一个闭环路径的情况下，确定所述至少一个闭环路径中每个依赖关系对应的时间信息；
更新模块，用于根据对应不同时间信息的依赖关系的总数量，将所述参考血缘关系图中的部分边进行更新，以获取所述脚本数据集对应的目标血缘关系图。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；
以及，与至少一个处理器通信连接的存储器；
其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据上述实施例的方法。
本公开提供的一种生成脚本间血缘关系图的方法、装置、设备及存储介质。首先确定脚本数据集对应的血缘数据集，根据血缘数据集，确定脚本数据集中各脚本间的参考血缘关系图，在参考血缘关系图中包含至少一个闭环路径的情况下，确定至少一个闭环路径中每个依赖关系对应的时间信息，之后根据对应不同时间信息的依赖关系的总数量，将参考血缘关系图中的部分边进行更新，以获取脚本数据集对应的目标血缘关系图。由此，基于处于闭环路径中的依赖关系的时间信息，对血缘关系图中的部分边进行更新，最终生成目标血缘关系图，从而避免了血缘关系图中依赖关系的自循环，直观地展示了全局脚本血缘关系。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本公开实施例提供的一种生成脚本间血缘关系图的方法的流程示意图；
图2为本公开提出的一种具有闭环路径的血缘关系示意图；
图3为本公开提供的更新后的血缘关系示意图；
图4为本公开实施例提供的一种生成脚本间血缘关系图的方法的流程示意图；
图5为本公开实施例提供的一种生成脚本间血缘关系图的装置的结构示意图；
图6为本公开实施例提供的一种电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
下面参考附图，对本公开实施例的生成脚本间血缘关系图的方法进行详细说明。
需要说明的是，本公开实施的生成脚本间血缘关系图的方法可由任意电子设备执行。
其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(PersonalComputer，简称PC)、移动终端等，移动终端例如可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
图1为本公开实施例提供的一种生成脚本间血缘关系图的方法的流程示意图。如图1所示，该方法包括：
步骤101，确定脚本数据集对应的血缘数据集，其中，每个血缘数据中包含一个目标表及目标表依赖的至少一个来源表。
在一些可能的实现形式中，可以通过对脚本数据集中的每个脚本数据的名称进行解析，以获取每个脚本数据对应的血缘数据。
本公开中，可以首先规定脚本命名规则并形成规范，之后，就可以通过对每个脚本数据的名称进行解析，来获取每个脚本对应的血缘数据。比如，通过后缀匹配的方式扫描脚本数据集中的每个脚本数据的名称，结合实际情况，找出符合后缀规则的脚本，例如使用Python进行开发时，则扫描脚本名称为*.py文件。然后对扫描出来的文件进行解析，通过正则语句对脚本中的血缘数据进行匹配，得到每个血缘数据对应的一个目标表及目标表依赖的至少一个来源表，形成来源表列表与目标表列表，并处理成<来源表，目标表>的键值对格式的血缘数据。以此，对每个扫描出来的脚本数据的名称进行解析，就可以确定脚本数据集对应的血缘数据集。
步骤102，根据血缘数据集，确定脚本数据集中各脚本间的参考血缘关系图，其中，血缘关系图中的节点用于表征数据表，节点间的边表征节点间具有依赖关系。
其中，参考血缘关系图，为基于血缘数据集生成的，用来表示脚本数据集中各脚本间的血缘关系的图谱。
其中，节点间的边，可以为无方向的线条，或者也可以为有方向的线条，用以表示数据表间的依赖关系，比如，由来源表对应的节点指向目标表对应的节点，本公开对此不做限定。
需要说明的是，血缘关系图中，每个节点可以对应两种类型的连接边，一个边用于连接该节点与其关联的来源表对应的节点(可以称为输入边)，另一个边用于连接由该节点作为来源表的目标表对应的节点(可以称为输出边)。
在一些可能的实现形式中，本公开中，还可以通过不同的连接边宽度，更直观的表征各个表作为来源表或者目标表的次数。例如，第一数据表作为来源表的第一次数，大于第二数据表作为来源表的第二次数，则由第一数据表输出的边的宽度，大于由第二数据表输出的边的宽度。
举例来说，有十个节点，其中第四节点为所有节点的来源表，即与所有节点均有依赖关系，而第五节点只作为第一节点的来源表，即只与第一节点有依赖关系，则第四节点的输出边的宽度，大于第五节点的输出边的宽度。
步骤103，在参考血缘关系图中包含至少一个闭环路径的情况下，确定至少一个闭环路径中每个依赖关系对应的时间信息。
需要说明的是，在参考血缘关系图中包含至少一个闭环路径的情况下，可以认为该闭环路径中的节点之间存在至少一个循环关系，此时为了更清楚的显示各节点间的依赖关系，可以对该闭环路径进行解环处理。
在一些可能的实现形式中，可以首先确定至少一个闭环路径中每个依赖关系对应的血缘数据，然后根据血缘数据中目标表及来源表分别对应的时间标签，确定依赖关系对应的时间信息。
举例来说，如图2所示，图2为本公开提出的一种具有闭环路径的血缘关系示意图。由图2可知，表A依赖表B，表B依赖表C，表C依赖表A，在表A、B、C之间存在闭环路径，因此需要根据表A、B、C分别对应的时间标签，确定依赖关系的时间信息，例如当天的表A依赖当天的表B，当天的表B依赖当天的表C，当天的表C依赖昨天的表A。
步骤104，根据对应不同时间信息的依赖关系的总数量，将参考血缘关系图中的部分边进行更新，以获取脚本数据集对应的目标血缘关系图。
在一些可能的实现形式中，在至少一个闭环路径对应的不同时间信息的数量为2的情况下，可以确定对应时间信息的依赖关系的数量，然后再确定边的更新模式。比如，在对应第一时间信息的第一依赖关系的第一数量，小于对应第二时间信息的第二依赖关系的第二数量的情况下，断开第一依赖关系，并在第一依赖关系指示的目标表处增加目标表依赖的来源表标识及第一时间信息，以获取脚本数据集对应的目标血缘关系图。
以上述示例为例，第一时间信息为昨天(用L表示)，第二时间信息为当天(用N表示)，则表A、B、C间的依赖关系可以表示为表AN依赖表BN，表BN依赖表CN，表CN依赖表AL。在图2所示的闭环路径中，对应第一时间信息的第一依赖关系为表CN依赖表AL，第一数量为1，对应第二时间信息的第二依赖关系为表AN依赖表BN、表BN依赖表CN，第二数量为2，第一数量小于第二数量，因此断开第一依赖关系，并在目标表表C处增加其第一依赖的来源表标识表A，及第一时间信息L，则更新后的血缘关系图如图3所示，图3为本公开提供的更新后的血缘关系示意图。
在一些可能的实现形式中，在至少一个闭环路径对应的不同时间信息的数量大于2的情况下，首先获取参考血缘关系图除至少一个闭环路径外的其他依赖关系对应的第三时间信息，将参考血缘关系图对应不同时间信息的边以不同的显示模式进行显示，且对应相同时间信息的边的显示模式相同。
其中，边的显示模式，可以包括边的线条粗细，边的线条类型，边的线条颜色等等中的至少一项，本公开对此不做限定。
以上述示例为例，除闭环路径中的表A、B、C之外，血缘关系图中还有表D、E，且当天的表D依赖前天的表E，可知第三时间信息为前天(用P表示)，即表DN依赖表EP，同时表EN依赖表CN。根据不同时间信息对应的依赖关系的显示模式不同，血缘关系图中对应第一时间信息的边使用红色线条显示，对应第二时间信息的边使用绿色线条显示，对应第三时间信息的边使用蓝色线条显示，也就是说，表CN依赖表AL的边使用红色显示，表AN依赖表BN、表BN依赖表CN、表EN依赖表CN对应的边使用绿色线条显示，表DN依赖表EP的边使用蓝色线条显示。
本公开实施例中，首先确定脚本数据集对应的血缘数据集，根据血缘数据集，确定脚本数据集中各脚本间的参考血缘关系图，在参考血缘关系图中包含至少一个闭环路径的情况下，确定至少一个闭环路径中每个依赖关系对应的时间信息，之后根据对应不同时间信息的依赖关系的总数量，将参考血缘关系图中的部分边进行更新，以获取脚本数据集对应的目标血缘关系图。由此，基于处于闭环路径中的依赖关系的时间信息，对血缘关系图中的部分边进行更新，最终生成目标血缘关系图，从而避免了血缘关系图中依赖关系的自循环，直观地展示了全局脚本血缘关系。
图4为本公开实施例提供的一种生成脚本间血缘关系图的方法的流程示意
如图4所示，该方法包括：
步骤401，确定脚本数据集对应的血缘数据集，其中，每个血缘数据中包含一个目标表及目标表依赖的至少一个来源表。
步骤402，根据血缘数据集，确定脚本数据集中各脚本间的参考血缘关系图，其中，血缘关系图中的节点用于表征数据表，节点间的边表征节点间具有依赖关系。
步骤403，在参考血缘关系图中包含至少一个闭环路径的情况下，确定至少一个闭环路径中每个依赖关系对应的时间信息。
其中，步骤401至步骤403的具体实现形式，可参照本公开中其他各实施例中的详细描述，此处不再具体赘述。
步骤404，确定对应第一时间信息的第一依赖关系的第一数量小于第一阈值。
其中，第一阈值，为用来对第一依赖关系选择不同处理方式的第一依赖关系的数量临界值，其与血缘关系图中节点数量有关，本公开对此不做限定。
举例来说，血缘关系图中共有100条边，第一阈值为10。若第一数量为3，3小于10，则可以选择断开第一依赖关系对应的3条边，对第一依赖关系指示的节点进行特殊标注。若第一数量为50，50大于10，此时可以选择使用不同线条标注不同时间信息对应的依赖关系。
步骤405，在对应第一时间信息的第一依赖关系的第一数量，小于对应第二时间信息的第二依赖关系的第二数量的情况下，断开第一依赖关系，并在第一依赖关系指示的目标表处增加目标表依赖的来源表标识及第一时间信息，以获取脚本数据集对应的目标血缘关系图。
本公开中，当对应第一时间关系信息的第一依赖关系的第一数量，小于对应第二时间信息的第二依赖关系的第二数量时，可以认为在闭环路径中第二依赖关系占多数，此时可以断开第一依赖关系，在第一依赖关系指示的目标表处增加目标表依赖的来源表标识及第一时间信息，从而使得血缘关系图更加清楚明了。
在一些可能的实现形式中，在第一数量与第二数量间的差值小于第二阈值的情况下，获取参考血缘关系图除至少一个闭环路径外的其他依赖关系对应的第三时间信息，之后在第三时间信息，与第一时间信息及第二时间信息中的一项相同的情况下，将另一项对应的依赖关系的边的显示模式进行更新，以获取脚本数据集对应的目标血缘关系图。
其中，第二阈值，为第一数量与第二数量的差值临界值，其可以为根据需要预先设置的，或者还可以为根据历史数据设置的，本公开对此不做限定。
需要说明的是，当第一数量与第二数量间的差值小于第二阈值时，可以认为闭环路径中对应第一时间信息的第一依赖关系的数量，与对应第二时间信息的第二依赖关系的数量相近，此时可以获取血缘关系图中除闭环路径外的其他依赖关系对应的第三时间信息。若第三时间信息与第一时间信息相同，则对闭环路径中对应第二时间信息的第二依赖关系的边的显示模式进行更新，使用与第一依赖关系的边不同的线条，来表示第二依赖关系。若第三时间信息与第二时间信息相同，则对闭环路径中对应第一时间信息的第一依赖关系的边的显示模式进行更新，使用与第二依赖关系的边不同的线条，来表示第二依赖关系。
本公开实施例中，首先确定脚本数据集对应的血缘数据集，根据血缘数据集，确定脚本数据集中各脚本间的参考血缘关系图，在参考血缘关系图中包含至少一个闭环路径的情况下，确定至少一个闭环路径中每个依赖关系对应的时间信息，然后在确定对应第一时间信息的第一依赖关系的第一数量小于第一阈值，且对应第一时间信息的第一依赖关系的第一数量，小于对应第二时间信息的第二依赖关系的第二数量的情况下，断开第一依赖关系，并在第一依赖关系指示的目标表处增加目标表依赖的来源表标识及第一时间信息，以获取脚本数据集对应的目标血缘关系图。由此，通过对闭环路径中部分依赖关系的边的显示模式进行更新，以此获得血缘关系图，从而避免了血缘关系图中出现自循环的情况，使得血缘关系图进一步直观地展示数据血缘关系。
为了实现上述实施例，本公开实施例还提出一种生成脚本间血缘关系图的装置。
图5为本公开实施例提供的一种生成脚本间血缘关系图的装置的结构示意图。
如图5所示，该生成脚本间血缘关系图的装置500可以包括：
第一确定模块501，用于确定脚本数据集对应的血缘数据集，其中，每个血缘数据中包含一个目标表及目标表依赖的至少一个来源表；
第二确定模块502，用于根据血缘数据集，确定脚本数据集中各脚本间的参考血缘关系图，其中，血缘关系图中的节点用于表征数据表，节点间的边表征节点间具有依赖关系；
第三确定模块503，用于在参考血缘关系图中包含至少一个闭环路径的情况下，确定至少一个闭环路径中每个依赖关系对应的时间信息；
更新模块504，用于根据对应不同时间信息的依赖关系的总数量，将参考血缘关系图中的部分边进行更新，以获取脚本数据集对应的目标血缘关系图。
可选地，上述第一确定模块501，还用于：
对脚本数据集中的每个脚本数据的名称进行解析，以获取每个脚本数据对应的血缘数据。
可选地，上述第三确定模块503，还用于：
确定至少一个闭环路径中每个依赖关系对应的血缘数据；
根据血缘数据中目标表及来源表分别对应的时间标签，确定依赖关系对应的时间信息。
可选地，上述更新模块504，还用于：
在对应第一时间信息的第一依赖关系的第一数量，小于对应第二时间信息的第二依赖关系的第二数量的情况下，断开第一依赖关系，并在第一依赖关系指示的目标表处增加目标表依赖的来源表标识及第一时间信息，以获取脚本数据集对应的目标血缘关系图。
可选地，上述更新模块504，还用于：
确定第一数量小于第一阈值。
可选地，上述更新模块504，还用于：
在第一数量与第二数量间的差值小于第二阈值的情况下，获取参考血缘关系图除至少一个闭环路径外的其他依赖关系对应的第三时间信息；
在第三时间信息，与第一时间信息及第二时间信息中的一项相同的情况下，将另一项对应的依赖关系的边的显示模式进行更新，以获取脚本数据集对应的目标血缘关系图。
可选地，上述更新模块504，还用于：
在至少一个闭环路径对应的不同时间信息的数量大于2的情况下，获取参考血缘关系图除至少一个闭环路径外的其他依赖关系对应的第三时间信息；
将参考血缘关系图对应不同时间信息的边以不同的显示模式进行显示，且对应相同时间信息的边的显示模式相同。
本公开实施例中的上述各模块的功能及具体实现原理，可参照上述各方法实施例，此处不再赘述。
本公开中，首先确定脚本数据集对应的血缘数据集，根据血缘数据集，确定脚本数据集中各脚本间的参考血缘关系图，在参考血缘关系图中包含至少一个闭环路径的情况下，确定至少一个闭环路径中每个依赖关系对应的时间信息，之后根据对应不同时间信息的依赖关系的总数量，将参考血缘关系图中的部分边进行更新，以获取脚本数据集对应的目标血缘关系图。由此，基于处于闭环路径中的依赖关系的时间信息，对血缘关系图中的部分边进行更新，最终生成目标血缘关系图，从而避免了血缘关系图中依赖关系的自循环，直观地展示了全局脚本血缘关系。
根据本公开的实施例，本公开还提供了一种电子设备。
图6为本申请实施例提供的电子设备600的结构示意图。
如图6所示，该电子设备可以包括：收发器601、处理器602、存储器603。
收发器601可以用于获取待运行任务和待运行任务的配置信息。
处理器602执行存储器存储的计算机执行指令，使得处理器602执行上述实施例中的方案。处理器602可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(network processor，简称NP)等；还可以是数字信号处理器(Digitalsignal processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器603通过系统总线与处理器602连接并完成相互间的通信，存储器603用于存储计算机程序指令。
系统总线可以是外设部件互连标准(Peripheral component interconnect，简称PCI)总线或扩展工业标准结构(Extended industry standard architecture，简称EISA)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。收发器用于实现数据库访问装置与其他计算机(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random access memory，简称RAM)，也可能还包括非易失性存储器(Non-volatilememory)。
本申请实施例提供的电子设备，可以是上述实施例的终端设备。
本申请实施例还提供一种运行指令的芯片，该芯片用于执行上述实施例中任务调度方法的技术方案。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述实施例任务调度方法的技术方案。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，其存储在计算机可读存储介质中，至少一个处理器可以从计算机可读存储介质读取计算机程序，至少一个处理器执行计算机程序时可实现上述实施例中任务调度方法的技术方案。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (11)

1.一种生成脚本间血缘关系图的方法，其特征在于，包括：
确定脚本数据集对应的血缘数据集，其中，每个所述血缘数据中包含一个目标表及所述目标表依赖的至少一个来源表；
根据所述血缘数据集，确定所述脚本数据集中各脚本间的参考血缘关系图，其中，所述血缘关系图中的节点用于表征数据表，节点间的边表征节点间具有依赖关系；
在所述参考血缘关系图中包含至少一个闭环路径的情况下，确定所述至少一个闭环路径中每个依赖关系对应的时间信息；
根据对应不同时间信息的依赖关系的总数量，将所述参考血缘关系图中的部分边进行更新，以获取所述脚本数据集对应的目标血缘关系图。
2.如权利要求1所述的方法，其特征在于，所述确定脚本数据集对应的血缘数据集，包括：
对所述脚本数据集中的每个脚本数据的名称进行解析，以获取每个所述脚本数据对应的血缘数据。
3.如权利要求1所述的方法，其特征在于，所述确定所述至少一个闭环路径中每个依赖关系对应的时间信息，包括：
确定所述至少一个闭环路径中每个依赖关系对应的血缘数据；
根据所述血缘数据中目标表及来源表分别对应的时间标签，确定所述依赖关系对应的时间信息。
4.如权利要求1-3任一所述的方法，其特征在于，所述根据对应不同时间信息的依赖关系的总数量，将所述参考血缘关系图中的部分边进行更新，包括：
在对应第一时间信息的第一依赖关系的第一数量，小于对应第二时间信息的第二依赖关系的第二数量的情况下，断开所述第一依赖关系，并在所述第一依赖关系指示的目标表处增加所述目标表依赖的来源表标识及所述第一时间信息，以获取所述脚本数据集对应的目标血缘关系图。
5.如权利要求4所述的方法，其特征在于，在所述断开所述第一依赖关系之前，还包括：
确定所述第一数量小于第一阈值。
6.如权利要求4所述的方法，其特征在于，所述根据对应不同时间信息的依赖关系的总数量，将所述参考血缘关系图中的部分边进行更新，包括：
在所述第一数量与所述第二数量间的差值小于第二阈值的情况下，获取所述参考血缘关系图除所述至少一个闭环路径外的其他依赖关系对应的第三时间信息；
在所述第三时间信息，与所述第一时间信息及所述第二时间信息中的一项相同的情况下，将另一项对应的依赖关系的边的显示模式进行更新，以获取所述脚本数据集对应的目标血缘关系图。
7.如权利要求1-3任一所述的方法，其特征在于，所述根据对应不同时间信息的依赖关系的总数量，将所述参考血缘关系图中的部分边进行更新，包括：
在所述至少一个闭环路径对应的不同时间信息的数量大于2的情况下，获取所述参考血缘关系图除所述至少一个闭环路径外的其他依赖关系对应的第三时间信息；
将所述参考血缘关系图对应不同时间信息的边以不同的显示模式进行显示，且对应相同时间信息的边的显示模式相同。
8.一种生成脚本间血缘关系图的装置，其特征在于，包括：
第一确定模块，用于确定脚本数据集对应的血缘数据集，其中，每个所述血缘数据中包含一个目标表及所述目标表依赖的至少一个来源表；
第二确定模块，用于根据所述血缘数据集，确定所述脚本数据集中各脚本间的参考血缘关系图，其中，所述血缘关系图中的节点用于表征数据表，节点间的边表征节点间具有依赖关系；
第三确定模块，用于在所述参考血缘关系图中包含至少一个闭环路径的情况下，确定所述至少一个闭环路径中每个依赖关系对应的时间信息；
更新模块，用于根据对应不同时间信息的依赖关系的总数量，将所述参考血缘关系图中的部分边进行更新，以获取所述脚本数据集对应的目标血缘关系图。
9.一种电子设备，其特征在于，包括：
至少一个处理器；
以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可能被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
11.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
CN202310955260.3A 2023-07-31 2023-07-31 生成脚本间血缘关系图的方法、装置、设备及存储介质 Pending CN116861040A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310955260.3A CN116861040A (zh) 2023-07-31 2023-07-31 生成脚本间血缘关系图的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310955260.3A CN116861040A (zh) 2023-07-31 2023-07-31 生成脚本间血缘关系图的方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116861040A true CN116861040A (zh) 2023-10-10

Family

ID=88219132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310955260.3A Pending CN116861040A (zh) 2023-07-31 2023-07-31 生成脚本间血缘关系图的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116861040A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117874686A (zh) * 2024-03-11 2024-04-12 中信证券股份有限公司 异常数据定位方法、装置、电子设备和计算机可读介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117874686A (zh) * 2024-03-11 2024-04-12 中信证券股份有限公司 异常数据定位方法、装置、电子设备和计算机可读介质
CN117874686B (zh) * 2024-03-11 2024-05-10 中信证券股份有限公司 异常数据定位方法、装置、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
US9152731B2 (en) Detecting a broken point in a web application automatic test case
CN116861040A (zh) 生成脚本间血缘关系图的方法、装置、设备及存储介质
CN114860699A (zh) 数据质量检测方法、装置、设备和存储介质
CN108694172B (zh) 信息输出方法和装置
CN113031963A (zh) 条件编译的实现方法、装置、设备及存储介质
CN111914517A (zh) 文档超链接创建方法、装置、电子设备和可读存储介质
CN111651488A (zh) 数据库的业务处理方法、装置、介质及电子设备
CN113760237A (zh) 编译地址的更新方法、装置、终端设备及可读存储介质
CN113377648B (zh) 软件系统诊断方法、装置、电子设备及计算机可读介质
CN112068895B (zh) 代码配置方法、装置、视频播放设备及存储介质
CN115756452A (zh) 目标页面代码的生成方法、设备、存储介质及程序产品
CN113885996A (zh) 用户界面的生成方法及装置
CN113609128A (zh) 生成数据库实体类的方法、装置、终端设备及存储介质
CN113760969A (zh) 一种基于ElasticSearch的数据查询方法和装置
US20210049008A1 (en) Identifying implicit dependencies between code artifacts
CN111258628A (zh) 一种规则文件比对方法、装置、可读存储介质及终端设备
CN115729560B (zh) 程序代码处理方法及装置
Kochol Three colorability characterized by shrinking of locally connected subgraphs into triangles
CN112256252A (zh) 接口生成方法、装置、存储介质及电子设备
TWI730384B (zh) 影像測試方法、裝置、電腦裝置及可讀存儲介質
CN112181837A (zh) 一种信息处理方法、信息处理装置及终端设备
CN110795076B (zh) 用于实现基础逻辑算法的数据处理方法及装置
CN116795371A (zh) 条件编译方法、装置、设备及介质
CN108958718B (zh) 一种纹理图像绑定方法、装置及可读存储介质
CN117215942A (zh) 基于Excel的压力测试方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination