CN115481147A - 驱动关系查找方法、装置、电子设备和存储介质 - Google Patents

驱动关系查找方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115481147A
CN115481147A CN202211009159.0A CN202211009159A CN115481147A CN 115481147 A CN115481147 A CN 115481147A CN 202211009159 A CN202211009159 A CN 202211009159A CN 115481147 A CN115481147 A CN 115481147A
Authority
CN
China
Prior art keywords
job
subsequent
current
searched
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211009159.0A
Other languages
English (en)
Inventor
刘霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Financial Technology Co Ltd
Original Assignee
Bank of China Financial Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Financial Technology Co Ltd filed Critical Bank of China Financial Technology Co Ltd
Priority to CN202211009159.0A priority Critical patent/CN115481147A/zh
Publication of CN115481147A publication Critical patent/CN115481147A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种驱动关系查找方法、装置、电子设备和存储介质,其中方法包括:确定待查找作业,并将所述待查找作业确定为当前作业;基于作业驱动关系配置信息,从各作业中查找得到所述当前作业的后继作业,并将所述当前作业的后继作业更新为所述当前作业以查找得到所述当前作业的后继作业,直至所述当前作业没有后继作业;基于各个所述当前作业的后继作业,确定所述待查找作业的后继作业。本发明提供的驱动关系查找方法、装置、电子设备和存储介质,根据驱动关系采用逐层级查找的方式,相比于现有技术中手工在数据库中查询表名或字段名的方式,不容易出错,且省时省力,实现了自动化快速全面查找数据流向关系。

Description

驱动关系查找方法、装置、电子设备和存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种驱动关系查找方法、装置、电子设备和存储介质。
背景技术
对于数据分析类的系统,整理清楚数据的加工非常重要,数据驱动关系的准确性和完整性对应用结果来说至关重要。在系统开发和维护过程中,经常需要快速、全面的了解某部分的数据流向关系。
目前,通常采用在数据库中直接查找表或字段的方式查找数据流向,由于系统中作业众多,且各个作业之间的依赖关系呈网状结构,在数据库中查找的方式不光费时费力,还经常有分析遗漏的情况。
发明内容
本发明提供一种驱动关系查找方法、装置、电子设备和存储介质,用以解决现有技术中在数据库中直接查找表或字段的方式费时费力,且存在遗漏的缺陷。
本发明提供一种驱动关系查找方法,包括:
确定待查找作业,并将所述待查找作业确定为当前作业;
基于作业驱动关系配置信息,从各作业中查找得到所述当前作业的后继作业,并将所述当前作业的后继作业更新为所述当前作业以查找得到所述当前作业的后继作业,直至所述当前作业没有后继作业;
基于各个所述当前作业的后继作业,确定所述待查找作业的后继作业。
根据本发明提供的驱动关系查找方法,所述基于各个所述当前作业的后继作业,确定所述待查找作业的后继作业,包括:
基于各个所述当前作业的后继作业,对所述后继作业进行层级划分,得到所述后继作业的层级;
基于所述后继作业的层级,确定所述待查找作业的各个层级的后继作业,以及任意相邻两层级的后继作业之间的驱动关系。
根据本发明提供的驱动关系查找方法,所述基于所述后继作业的层级,确定所述待查找作业的各个层级的后继作业,以及任意相邻两层级的后继作业之间的驱动关系,之后还包括:
提供用于展示所述待查找作业的各个层级的后继作业的可视化界面;
基于所述待查找作业,确定并展示所述待查找作业的首层级后继作业;
响应于对所述首层级后继作业的任一后继作业的钻取选取操作,基于所述任一后继作业的层级,以及任意相邻两层级的后继作业之间的驱动关系,对所述任一后继作业进行逐层级下钻处理。
根据本发明提供的驱动关系查找方法,所述基于作业驱动关系配置信息,从各作业中查找得到所述当前作业的后继作业,包括:
对所述各作业进行作业去重和/或批量筛选处理,得到处理作业;
基于作业驱动关系配置信息,从所述处理作业中查找得到所述当前作业的后继作业。
根据本发明提供的驱动关系查找方法,所述对所述各作业进行作业去重和/或批量筛选处理,得到处理作业,包括:
基于各作业中分区作业的作业标识和作业数量,对所述分区作业进行作业去重处理,得到处理作业;和/或,
基于所述各作业的所属批量和/或批量时间,对所述各作业进行批量筛选处理,得到处理作业。
根据本发明提供的驱动关系查找方法,还包括:
基于作业驱动关系配置信息,从各作业中查找得到所述当前作业的前驱作业,并将所述当前作业的前驱作业更新为所述当前作业以查找得到所述当前作业的前驱作业,直至所述当前作业没有前驱作业;
基于所述当前作业的前驱作业,确定所述待查找作业的前驱作业。
根据本发明提供的驱动关系查找方法,所述基于所述当前作业的前驱作业,确定所述待查找作业的前驱作业,之后还包括:
基于所述待查找作业的前驱作业和所述待查找作业的后继作业,构建数据加工链路。
本发明还提供一种驱动关系查找装置,包括:
作业确定单元,用于确定待查找作业,并将所述待查找作业确定为当前作业;
作业查找单元,用于基于作业驱动关系配置信息,从各作业中查找得到所述当前作业的后继作业,并将所述当前作业的后继作业更新为所述当前作业以查找得到所述当前作业的后继作业,直至所述当前作业没有后继作业;
后继作业确定单元,用于基于各个所述当前作业的后继作业,确定所述待查找作业的后继作业。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述驱动关系查找方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述驱动关系查找方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述驱动关系查找方法。
本发明提供的驱动关系查找方法、装置、电子设备和存储介质,通过基于作业驱动关系配置信息,从各作业中查找得到当前作业的后继作业,并将当前作业的后继作业更新为当前作业以查找得到当前作业的后继作业,直至当前作业没有后继作业。根据驱动关系采用逐层级查找的方式,能够快速的理清待查找作业的后继作业,相比于现有技术中手工在数据库中查询表名或字段名的方式,不容易出错,且省时省力,实现了自动化快速全面查找数据流向关系。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的驱动关系查找方法的流程示意图;
图2是本发明提供的驱动关系查找装置的结构示意图;
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了便于理解,首先介绍本发明实施例涉及的术语。
WWSF是一个轻量级分布式任务调度平台,可提供多产品同平台调度,以插件开发的方式提供不同作业类型的扩展。
数据抽取、转换、加载(Extraction Transformation Loading,ETL) 在分析类系统中属于核心的数据处理转换部分,源数据(业务系统的生产数据)经过ETL过程加工后、生产成(根据分析模型)分析系统所需的分析数据。ETL数据加工过程的准确性、完整性和执行效率是分析类系统实施成败的关键。
考虑到将来ETL处理的多样性和复杂性,引入了作业的概念,将ETL处理过程分为一个一个的作业,作业可能是清洗、加载文本的shell文件,也可能是一个加工数据的存储过程。为了对复杂的ETL 处理过程更好的调度和监控,使用了WWSF批量调度系统。通过WWSF批量调度系统的开发使用,将清晰、高效地通过作业调度的方式处理数据集市的ETL过程。
系统中数据的加工基本分为数据文件加载、全量数据加工、模型层数据加工、应用层数据加工、文件生成和下传等部分。在系统开发和维护过程中,经常需要快速、全面的了解某部分的数据流向关系,主要有以下场景:
1)上游源系统有接口变化,需要分析该接口变化对系统的影响;
2)生产环境批量报错,需分析出某种临时处理方式对系统中所涉及功能的影响;
3)上游系统数据异常,采用某种错误数据处理方式对系统中所涉及功能的影响。
因此,在系统开发和维护过程中,经常需要快速、全面的了解某部分的数据流向关系。
目前,通常采用在数据库中直接查找表或字段的方式查找数据流向,由于系统中作业众多,且各个作业之间的依赖关系呈网状结构,在数据库中查找的方式不光费时费力,还经常有分析遗漏的情况。
基于此,本发明实施例提供一种驱动关系查找方法,能够实现自动化的驱动关系查找,提高查找效率。
图1是本发明提供的驱动关系查找方法的流程示意图,该方法各步骤的执行主体可以是驱动关系查找装置,该装置可以通过软件和/ 或硬件实现,该装置可以集成在电子设备中,电子设备包括但不限于个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。如图1所示,本发明实施例提供的驱动关系查找方法可以包括如下步骤:
步骤110,确定待查找作业,并将待查找作业确定为当前作业。
具体地,待查找作业即需要分析前驱和后继的影响的作业,待查找作业可以是ETL处理过程中的任一作业,例如可以是清洗、加载文本的shell文件,也可以是加工数据的存储过程。其中,作业(task) 可以是一组程序的集合,通常根据业务模型或业务逻辑运用python、 perl等编程语言进行实现,并把开发好的脚本部署在生产服务器中,同时将该组程序集合定义成一个作业,并定义该作业在固定的时间段或频率自动调度执行,通常大数据中的作业主要用于对数据库中的数据进行加工、分析。
需要说明的是,待查找作业具有唯一的作业标识,作业标识例如可以是作业名称和/或作业ID等,本发明实施例对此不作具体限定。待查找作业还可以包括所属批量、批量时间等其他与待查找作业相关的属性。
确定了待查找作业之后,即可将待查找作业确定为当前作业。当前作业即当前需要进行驱动关系查找的作业。
步骤120,基于作业驱动关系配置信息,从各作业中查找得到当前作业的后继作业,并将当前作业的后继作业更新为当前作业以查找得到当前作业的后继作业,直至当前作业没有后继作业。
具体地,作业驱动关系配置信息可以是预先配置好存储在驱动关系查找装置里的,也可以是预先配置好在作业查找请求中携带的,本发明实施例对此不作具体限定。作业驱动关系配置信息包括ETL处理过程中各个作业的驱动配置信息,驱动关系又称依赖关系。其中,每个作业的驱动配置信息用于指示该作业的依赖作业的作业标识。在一个实施例中,作业驱动关系配置信息可以以表格的形式展示。
例如,针对作业A,A的依赖作业是B和C,则只有当A的依赖作业B和C运行完毕的情况下,才会触发作业A的运行。相应地,可称为作业B和C是作业A的被依赖作业。
需要说明的是,通常情况下每个作业既可以是一个或多个作业的依赖作业,也可以是另一个或多个作业的被依赖作业,在作业众多的情况下,各个作业之间的依赖关系呈网状结构,采用在数据库中直接查找表或字段的方式,不光费时费力,还会出现遗漏。
因此,可以根据驱动关系逐层进行查找,首先从各作业中查找得到当前作业的后继作业。在作业驱动关系配置信息表中,将当前作业的作业标识与被依赖作业的作业标识进行匹配,匹配得到的作业即为当前作业的后继作业。
可理解的是,当前作业的后继作业可以是一个,也可以是多个,当然也存在当前作业没有后继作业的情况。
得到当前作业的后继作业的基础上,即可将当前作业的后继作业更新为当前作业继续查找当前作业的后继作业,直至当前作业没有后继作业。在当前作业的后继作业包括多个的情况下,将其中每一个后继作业都更新为当前作业,也就说,针对每一个后继作业均需查询其后续作业。
步骤130,基于各个当前作业的后继作业,确定待查找作业的后继作业。
具体地,考虑到当前作业在不断更新,则当前作业的后继作业也在不断更新,此处的各个当前作业是指每一次更新得到的当前作业的集合,各个当前作业的后继作业即按照该方法查找得到的所有后继作业,并基于得到的所有后继作业,确定待查找作业的后继作业。
比如,可以将得到的所有后继作业直接确定为待查找作业的后继作业,还可以对得到的所有后继作业按照用户需要的筛选规则进行筛选,并将筛选后的作业确定为待查找作业的后继作业,本发明实施例对此不作具体限定。
本发明实施例提供的驱动关系查找方法,基于作业驱动关系配置信息,从各作业中查找得到当前作业的后继作业,并将当前作业的后继作业更新为当前作业以查找得到当前作业的后继作业,直至当前作业没有后继作业。根据驱动关系采用逐层级查找的方式,能够快速的理清待查找作业的后继作业,相比于现有技术中手工在数据库中查询表名或字段名的方式,不容易出错,且省时省力,实现了自动化快速全面查找数据流向关系。
基于上述实施例,步骤130具体包括:
步骤131,基于各个当前作业的后继作业,对后继作业进行层级划分,得到后继作业的层级;
步骤132,基于后继作业的层级,确定待查找作业的各个层级的后继作业,以及任意相邻两层级的后继作业之间的驱动关系。
具体地,得到了各个当前作业的后继作业之后,即可对后继作业进行层级划分,得到后继作业的层级。比如,待查找作业的直接后继可定义为第一层级,则将该第一层级中的各个后继作业作为当前作业,继续查找得到的后继作业可定义为第二层级,以此类推。
在此基础上,可得到待查找作业的各个层级的后继作业,以及任意相邻两层级的后继作业之间的驱动关系。例如,待查找作业的各个层级的后继作业可展示为表1所示的形式,如表1所示,待查找作业有6个层级的后继作业,其中A1表示第一层级的后继作业,A2表示第二层级的后继作业,以此类推。
表1
Figure BDA0003810166430000091
此外,还可以确定任意相邻两层级的后继作业之间的驱动关系,如表2所示,A1和A2层级为相邻两层级,共包含作业2、3、4、5 和6。其中,作业4和5是作业2的后继作业,作业6是作业3的后继作业;再比如,A4和A5层级为相邻两层级,共包含作业10、11、 12、13和14。其中,作业13是作业10的后继作业,作业14是作业 12的后继作业,作业11没有后继作业。
本发明实施例提供的方法,基于后继作业的层级,确定待查找作业的各个层级的后继作业,以及任意相邻两层级的后继作业之间的驱动关系,能清晰全面的获取数据加工流向。
基于上述任一实施例,步骤132之后还包括:
提供用于展示待查找作业的各个层级的后继作业的可视化界面;
基于待查找作业,确定并展示待查找作业的首层级后继作业;
响应于对首层级后继作业的任一后继作业的钻取选取操作,基于任一后继作业的层级,以及任意相邻两层级的后继作业之间的驱动关系,对任一后继作业进行逐层级下钻处理。
具体地,获得待查找作业的各个层级的后继作业,以及任意相邻两层级的后继作业之间的驱动关系的基础上,还可以提供用于展示待查找作业的各个层级的后继作业的可视化界面,实现页面的钻取功能。
首先,针对待查找作业,根据上述实施例介绍的方法得到待查找作业所有的后继作业,基于后继作业的层级进行页面钻取。
在前端可视化界面中输入待查找作业,可以查询并展示待查找作业的所有直接后继,即首层级后继作业。
在此基础上,响应于对首层级后继作业的任一后继作业的钻取选取操作,可以是点击其中任意一个后继,会基于该后继作业的层级,以及任意相邻两层级的后继作业之间的驱动关系,对该后继作业进行逐层级下钻处理。
如表1所示,点击A1层级中的作业2,首先判断得到作业2存在后继,则展示作业2的后继作业4和作业5,再点击作业4和作业 5中的任意一个作业,继续往下钻取。在点击作业11的情况下,会提示无后继存在。
本发明实施例提供的方法,在获取得到各个层级的后继作业的基础上,支持在页面钻取,采用可视化的界面更加清晰快速的获取待查找作业的数据流向。
基于上述任一实施例,步骤120中基于作业驱动关系配置信息,从各作业中查找得到当前作业的后继作业,包括:
对各作业进行作业去重和/或批量筛选处理,得到处理作业;
基于作业驱动关系配置信息,从处理作业中查找得到当前作业的后继作业。
具体地,考虑到ETL加工过程中作业众多,但有些作业属于同一类作业,数据流向是相同的;而针对不同的应用场景,通常只需要分析相应场景的作业。因此,为了减少数据量,提高数据处理效率,可针对性进行数据预处理。其中,数据预处理可以对各作业进行作业去重处理,还可以是批量筛选处理,当然还可以是同时进行作业去重和批量筛选处理,本发明实施例对此不作具体限定。
经过预处理后得到处理作业,随即基于作业驱动关系配置信息,从处理作业中查找得到当前作业的后继作业。
本发明实施例提供的方法,对各作业进行作业去重和/或批量筛选处理,并基于处理后的作业进行查找,减少了数据量,提高了数据处理效率。
基于上述任一实施例,对各作业进行作业去重和/或批量筛选处理,得到处理作业,包括:
基于各作业中分区作业的作业标识和作业数量,对分区作业进行作业去重处理,得到处理作业;和/或,
基于各作业的所属批量和/或批量时间,对各作业进行批量筛选处理,得到处理作业。
具体地,分区作业通常是以2的n次方为数量,对作业进行分区,特别是针对FTP和GEN类型的作业。例如,分区作业可包括64个作业,而该64个作业的数据流向是可以相互参考和借鉴的,因此,针对该64个作业,只需分析其中的任意一个即可。通常情况下,分区作业的作业标识能够标识该作业所在分区及序号,因此可基于分区作业的作业标识和作业数量,选取其中一个(首个或末个)作业,去掉其他的作业,得到需要处理的作业。
各作业的所属批量通常与应用场景相关。可预先根据不同的应用主题划分多个批量,比如8-10个不同主题的批量,例如个人信用卡、个人贷款、对公贷款、支付结算、网络金融等。
因此,可根据实际的场景需要,对各作业所属的批量进行筛选。此外,批量时间可分为月批、非月批、所有等,还可根据需要的批量时间进行筛选。
基于上述任一实施例,驱动关系查找方法还包括:
基于作业驱动关系配置信息,从各作业中查找得到当前作业的前驱作业,并将当前作业的前驱作业更新为当前作业以查找得到当前作业的前驱作业,直至当前作业没有前驱作业;
基于当前作业的前驱作业,确定待查找作业的前驱作业。
具体地,通过上述实施例的描述可知,针对待查找作业,可查询到各个层级的所有后继作业,按照相同的方法,也可查询到各个层级的所有前驱作业。
需要说明的是,在作业驱动关系配置信息表中,将当前作业的作业标识与依赖作业的作业标识进行匹配,匹配得到的作业即为当前作业的前驱作业。
基于上述任一实施例,基于当前作业的前驱作业,确定待查找作业的前驱作业,之后还包括:
基于待查找作业的前驱作业和待查找作业的后继作业,构建数据加工链路。
具体地,针对任一待查找作业,得到该待查找作业的前驱作业和后继作业之后,还可根据待查找作业的前驱作业和待查找作业的后继作业,构建数据加工链路。可理解的是,每条数据加工链路至少包括源端作业和末端作业。
针对每条数据链路,待查找作业之前的节点即为该待查找作业的前驱节点,待查找作业之后的节点即为该待查找作业的后继节点,从而将网状的作业依赖关系转化成清晰的数据链路,实现了自动化快速的数据流向分析。
基于上述任一实施例,提供一种驱动关系查找方法,包括:
S1,有已经配置好的作业驱动关系,这是前驱后继自动查找能够实现的提前,如果驱动关系表中配置的前后依赖关系不正确,则无法找出所有的前后驱动或者说找出的前后驱动不准确。
S2,作业数据预处理。如对于分区的task进行去重处理,对于 FTP和GEN的task只保留一个,通过去重可以减少task的数量,便于后续的处理。同时支持批量筛选,查询条件为全选或某个或某几个批量,如BAT_R_APP_PLM、BAT_P_MAIN_CHN。对于批量依赖关系集合,可以根据不同场景的需要用所属批量进行筛选。
S3,从某个作业出发的所有后继作业的查找(直至无后继),可以根据驱动关系逐层查找,如还有后继,则以此后继为作业继续找后继,直至没有后继为止。处理完的结果需要有如下几个关键因素:层级,所属批量,作业名和被依赖作业名。
S4,对于数据加工重点关注为前二层的作业,可以只得到前二层的后继作业。同时可以根据需要筛选,查询条件分为月批、非月批、所有。
S5,从某个作业出发的所有前驱作业的查找(直至无前驱),可以根据驱动关系逐层查找,如还有前驱,则以此前驱为作业继续找前驱,直至没有前驱为止。前驱的处理步骤跟后继类似。
S6,对查找的结果,按条线生成加工路径图,如某个作业a有n 个直接后继,后继中每个作业也有不同的后继,则可以得到不同的数据加工线,前驱也是一样。
S7,支持在页面钻取,输入某个作业的作业标识,可以一直钻取找到没有后继,前驱同理。
根据起点task(也就是需要查后继的task),拉取所有的前驱和后继关系,根据每层的前驱和后继关系钻取,在前端页面输入起点 task,可以查询出该task的所有直接后继task,点击其中的1个后继,会判断点击的task是否有后继,有的话会展示,否则会提示无后继存在,按照上述方法,可以找到某条数据加工流程中所有的后继。
下面对本发明提供的驱动关系查找装置进行描述,下文描述的驱动关系查找装置与上文描述的驱动关系查找方法可相互对应参照。
基于上述任一实施例,图2是本发明提供的驱动关系查找装置的结构示意图,如图所示,驱动关系查找装置包括作业确定单元210、作业查找单元220和后继作业确定单元230,其中:
作业确定单元210,用于确定待查找作业,并将所述待查找作业确定为当前作业;
作业查找单元220,用于基于作业驱动关系配置信息,从各作业中查找得到所述当前作业的后继作业,并将所述当前作业的后继作业更新为所述当前作业以查找得到所述当前作业的后继作业,直至所述当前作业没有后继作业;
后继作业确定单元230,用于基于各个所述当前作业的后继作业,确定所述待查找作业的后继作业。
本发明实施例提供的驱动关系查找装置,基于作业驱动关系配置信息,从各作业中查找得到当前作业的后继作业,并将当前作业的后继作业更新为当前作业以查找得到当前作业的后继作业,直至当前作业没有后继作业。根据驱动关系采用逐层级查找的方式,能够快速的理清待查找作业的后继作业,相比于现有技术中手工在数据库中查询表名或字段名的方式,不容易出错,且省时省力,实现了自动化快速全面查找数据流向关系。
基于上述任一实施例,后继作业确定单元进一步用于:
基于各个所述当前作业的后继作业,对所述后继作业进行层级划分,得到所述后继作业的层级;
基于所述后继作业的层级,确定所述待查找作业的各个层级的后继作业,以及任意相邻两层级的后继作业之间的驱动关系。
基于上述任一实施例,驱动关系查找装置还包括钻取单元,用于:
提供用于展示所述待查找作业的各个层级的后继作业的可视化界面;
基于所述待查找作业,确定并展示所述待查找作业的首层级后继作业;
响应于对所述首层级后继作业的任一后继作业的钻取选取操作,基于所述任一后继作业的层级,以及任意相邻两层级的后继作业之间的驱动关系,对所述任一后继作业进行逐层级下钻处理。
基于上述任一实施例,作业查找单元进一步用于:
对所述各作业进行作业去重和/或批量筛选处理,得到处理作业;
基于作业驱动关系配置信息,从所述处理作业中查找得到所述当前作业的后继作业。
基于上述任一实施例,作业查找单元进一步用于:
基于各作业中分区作业的作业标识和作业数量,对所述分区作业进行作业去重处理,得到处理作业;和/或,
基于所述各作业的所属批量和/或批量时间,对所述各作业进行批量筛选处理,得到处理作业。
基于上述任一实施例,驱动关系查找装置还包括前驱作业确定单元,用于:
基于作业驱动关系配置信息,从各作业中查找得到所述当前作业的前驱作业,并将所述当前作业的前驱作业更新为所述当前作业以查找得到所述当前作业的前驱作业,直至所述当前作业没有前驱作业;
基于所述当前作业的前驱作业,确定所述待查找作业的前驱作业。
基于上述任一实施例,驱动关系查找装置还包括加工链路确定单元,用于:
基于所述待查找作业的前驱作业和所述待查找作业的后继作业,构建数据加工链路。
图3示例了一种电子设备的实体结构示意图,如图3所示,该电子设备可以包括:处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340,其中,处理器310,通信接口320,存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令,以执行驱动关系查找方法,该方法包括:确定待查找作业,并将所述待查找作业确定为当前作业;基于作业驱动关系配置信息,从各作业中查找得到所述当前作业的后继作业,并将所述当前作业的后继作业更新为所述当前作业以查找得到所述当前作业的后继作业,直至所述当前作业没有后继作业;基于各个所述当前作业的后继作业,确定所述待查找作业的后继作业。
此外,上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的驱动关系查找方法,该方法包括:确定待查找作业,并将所述待查找作业确定为当前作业;基于作业驱动关系配置信息,从各作业中查找得到所述当前作业的后继作业,并将所述当前作业的后继作业更新为所述当前作业以查找得到所述当前作业的后继作业,直至所述当前作业没有后继作业;基于各个所述当前作业的后继作业,确定所述待查找作业的后继作业。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的驱动关系查找方法,该方法包括:确定待查找作业,并将所述待查找作业确定为当前作业;基于作业驱动关系配置信息,从各作业中查找得到所述当前作业的后继作业,并将所述当前作业的后继作业更新为所述当前作业以查找得到所述当前作业的后继作业,直至所述当前作业没有后继作业;基于各个所述当前作业的后继作业,确定所述待查找作业的后继作业。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种驱动关系查找方法,其特征在于,包括:
确定待查找作业,并将所述待查找作业确定为当前作业;
基于作业驱动关系配置信息,从各作业中查找得到所述当前作业的后继作业,并将所述当前作业的后继作业更新为所述当前作业以查找得到所述当前作业的后继作业,直至所述当前作业没有后继作业;
基于各个所述当前作业的后继作业,确定所述待查找作业的后继作业。
2.根据权利要求1所述的驱动关系查找方法,其特征在于,所述基于各个所述当前作业的后继作业,确定所述待查找作业的后继作业,包括:
基于各个所述当前作业的后继作业,对所述后继作业进行层级划分,得到所述后继作业的层级;
基于所述后继作业的层级,确定所述待查找作业的各个层级的后继作业,以及任意相邻两层级的后继作业之间的驱动关系。
3.根据权利要求2所述的驱动关系查找方法,其特征在于,所述基于所述后继作业的层级,确定所述待查找作业的各个层级的后继作业,以及任意相邻两层级的后继作业之间的驱动关系,之后还包括:
提供用于展示所述待查找作业的各个层级的后继作业的可视化界面;
基于所述待查找作业,确定并展示所述待查找作业的首层级后继作业;
响应于对所述首层级后继作业的任一后继作业的钻取选取操作,基于所述任一后继作业的层级,以及任意相邻两层级的后继作业之间的驱动关系,对所述任一后继作业进行逐层级下钻处理。
4.根据权利要求1所述的驱动关系查找方法,其特征在于,所述基于作业驱动关系配置信息,从各作业中查找得到所述当前作业的后继作业,包括:
对所述各作业进行作业去重和/或批量筛选处理,得到处理作业;
基于作业驱动关系配置信息,从所述处理作业中查找得到所述当前作业的后继作业。
5.根据权利要求4所述的驱动关系查找方法,其特征在于,所述对所述各作业进行作业去重和/或批量筛选处理,得到处理作业,包括:
基于各作业中分区作业的作业标识和作业数量,对所述分区作业进行作业去重处理,得到处理作业;和/或,
基于所述各作业的所属批量和/或批量时间,对所述各作业进行批量筛选处理,得到处理作业。
6.根据权利要求1-5中任一项所述的驱动关系查找方法,其特征在于,还包括:
基于作业驱动关系配置信息,从各作业中查找得到所述当前作业的前驱作业,并将所述当前作业的前驱作业更新为所述当前作业以查找得到所述当前作业的前驱作业,直至所述当前作业没有前驱作业;
基于所述当前作业的前驱作业,确定所述待查找作业的前驱作业。
7.根据权利要求6所述的驱动关系查找方法,其特征在于,所述基于所述当前作业的前驱作业,确定所述待查找作业的前驱作业,之后还包括:
基于所述待查找作业的前驱作业和所述待查找作业的后继作业,构建数据加工链路。
8.一种驱动关系查找装置,其特征在于,包括:
作业确定单元,用于确定待查找作业,并将所述待查找作业确定为当前作业;
作业查找单元,用于基于作业驱动关系配置信息,从各作业中查找得到所述当前作业的后继作业,并将所述当前作业的后继作业更新为所述当前作业以查找得到所述当前作业的后继作业,直至所述当前作业没有后继作业;
后继作业确定单元,用于基于各个所述当前作业的后继作业,确定所述待查找作业的后继作业。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述驱动关系查找方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述驱动关系查找方法。
CN202211009159.0A 2022-08-22 2022-08-22 驱动关系查找方法、装置、电子设备和存储介质 Pending CN115481147A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211009159.0A CN115481147A (zh) 2022-08-22 2022-08-22 驱动关系查找方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211009159.0A CN115481147A (zh) 2022-08-22 2022-08-22 驱动关系查找方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115481147A true CN115481147A (zh) 2022-12-16

Family

ID=84423058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211009159.0A Pending CN115481147A (zh) 2022-08-22 2022-08-22 驱动关系查找方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115481147A (zh)

Similar Documents

Publication Publication Date Title
CN110292775B (zh) 获取差异数据的方法及装置
CN111639066A (zh) 一种数据清洗的方法和装置
US9424168B2 (en) System and method for automatic generation of software test
US9002836B2 (en) System for managing electronic assets of a software service delivery organization
US9706005B2 (en) Providing automatable units for infrastructure support
US20140298286A1 (en) Systems and Methods for Automatically Associating Software Elements and Automatic Gantt Chart Creation
CN113268500B (zh) 业务处理方法、装置及电子设备
CN114461644A (zh) 一种数据采集方法、装置、电子设备及存储介质
CN114416703A (zh) 数据完整性自动监控方法、装置、设备及介质
CN111061733A (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN110704699A (zh) 数据画像的构建方法、装置、计算机设备及存储介质
CN111858366B (zh) 一种测试用例生成方法、装置、设备及存储介质
CN110765100B (zh) 标签的生成方法、装置、计算机可读存储介质及服务器
CN112685275A (zh) 算法策略搜索方法、装置、电子设备及存储介质
CN114647735A (zh) 关系图谱的展示方法、介质以及显示装置
US20100023147A1 (en) Reconfiguration of assets for reuse during manufacturing
CN115481147A (zh) 驱动关系查找方法、装置、电子设备和存储介质
CN112367205B (zh) 一种对http调度请求的处理方法及调度系统
CN114895997A (zh) 一种关联任务的方法、装置及电子设备
CN110717842B (zh) 团票信息生成方法及装置
CN113127359A (zh) 一种测试数据的获得方法及装置
US11809862B2 (en) Related change analysis of multiple version control systems
CN113177157B (zh) 标签分离方法、装置、设备及存储介质
CN109905475B (zh) 一种基于sql以规定格式输出云计算监控数据的方法
EP4109364B1 (en) Method and device for managing project by using data pointer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination