确定生产关系的方法、装置、存储介质及电子设备
技术领域
本发明涉及数据处理领域,特别涉及一种确定生产关系的方法、装置、存储介质及电子设备。
背景技术
现有在获取生产运营数据时,都是将需要执行的任务写成代码,例如SQL(结构化查询语言,Structured Query Language)代码;通过执行代码获得需要的生产运营数据。代码中虽然记载了各个仓库表的关系,但需要根据标注的说明进行查找,且代码可能托管在不同的调度平台,代码采用的语言也不一样,无法直观的查看各个数据仓库表之间的关系;如果该任务的管理人员更换,则新的管理人员也无法快速确定各个数据仓库表之间的关系,不利于后续对该任务的维护。
发明内容
有鉴于此,本发明实施例提出了一种确定生产关系的方法、装置、存储介质及电子设备,用以解决现有技术的如下问题:代码中虽然记载了各个仓库表的关系,但需要根据标注的说明进行查找,无法直观的查看各个数据仓库表之间的关系。
一方面,本发明实施例提出了一种确定生产关系的方法,包括:获响应于对任务的选择,获取所述任务对应的任务内容数据;通过与所述任务内容数据的语言相匹配的解析模型解析所述任务内容数据,获得所述任务中各个数据仓库表之间的生产关系以及各个所述数据仓库表中记载的各个内容项之间的关系。
在一些实施例中,所述通过与所述任务内容数据的语言相匹配的解析模型解析所述任务内容数据,包括:确定所述任务内容数据包括的一种或多种语言的类型;确定与一种或多种所述语言的类型相匹配的解析模型;通过所述解析模型解析所述任务内容数据。
在一些实施例中,所述获得所述任务中各个数据仓库表之间的生产关系之后,还包括:创建与各个所述数据仓库表分别对应的标记;根据各个所述数据仓库表之间的生产关系和所有所述标记构建生产关系图。
在一些实施例中,所述方法还包括:获取所述任务的实际完成时间;检测所述实际完成时间是否超过预计完成时间;在超过所述预计完成时间的情况下,根据所述生产关系查询所述任务中各个所述数据仓库表的产出时间。
另一方面,本发明实施例提出了一种确定生产关系的装置,包括:第一获取模块,配置为响应于对任务的选择,获取所述任务对应的任务内容数据;解析模块,配置为通过与所述任务内容数据的语言相匹配的解析模型解析所述任务内容数据,获得所述任务中各个数据仓库表之间的生产关系以及各个所述数据仓库表中记载的各个内容项之间的关系。
在一些实施例中,所述解析模块,具体配置为确定所述任务内容数据包括的一种或多种语言的类型;确定与一种或多种所述语言的类型相匹配的解析模型;通过所述解析模型解析所述任务内容数据。
在一些实施例中,还包括:构建模块,配置为创建与各个所述数据仓库表分别对应的标记;根据各个所述数据仓库表之间的所述生产关系和所有所述标记构建生产关系图。
在一些实施例中,还包括:第二获取模块,配置为获取所述任务的实际完成时间;检测模块,配置为检测所述实际完成时间是否超过预计完成时间;查询模块,配置为在超过所述预计完成时间的情况下,根据所述生产关系查询所述任务中各个所述数据仓库表的产出时间。
另一方面,本发明实施例提出了一种存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现本发明任意实施例提供的方法。
另一方面,本发明实施例提出了一种电子设备,至少包括存储器、处理器,所述存储器上存储有计算机程序,所述处理器在执行所述存储器上的计算机程序时实现本发明任意实施例提供的方法。
本发明实施例通过与任务内容数据的语言相匹配的解析模型对任务进行自动解析,进而获获得各个数据仓库表之间的生产关系以及数据仓库表间各个内容项之间的关系,对任务内容数据进行自动解析的方式能够较快的获得准确的生产关系,结果直观,无需用户根据代码内容逐条查找,用户体验较好。
附图说明
图1为本发明第一实施例提供的确定生产关系的方法的流程图;
图2为本发明第二实施例提供的确定生产关系的方法的流程图;
图3为本发明第二实施例提供的生产关系图;
图4为本发明第三实施例提供的一种确定生产关系的装置的结构示意图;
图5为本发明第三实施例提供的另一种确定生产关系的装置的结构示意图;
图6为本发明第五实施例提供的电子设备的结构示意图。
具体实施方式
为了使得本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另外定义,本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
为了保持本发明实施例的以下说明清楚且简明,本发明省略了已知功能和已知部件的详细说明。
本发明第一实施例提供了一种确定生产关系的方法,该方法的流程如图1所示,包括步骤S101至S102:
S101,响应于对任务的选择,获取任务对应的任务内容数据。
通常情况下,该任务内容数据为代码。一个任务会由无数条代码构成,还可能涉及到在其他平台上的任务,例如,目标是获取执行平台1上的任务1的执行结果,该任务1是需要用到平台2上的任务2获得的数据仓库表1和平台3上的任务3获得的数据仓库表2,则该任务1包括了任务2和任务3的代码。上述代码均可以是SQL代码。
S102,通过与任务内容数据的语言相匹配的解析模型解析任务内容数据,获得任务中各个数据仓库表之间的生产关系以及各个数据仓库表中记载的各个内容项之间的关系。
具体实现时,上述的解析模型可以是预先编写好的解析程序,即可以由本领域技术人员根据任务对应代码的语法编写标准预先创建,可以针对不同的语言编写不同的解析程序,在使用时,确定目标代码对应的几种语言进而使用对应的解析程序即可得到各个数据仓库表之间的生产关系。例如,数据仓库表11为数据仓库表21的上游数据仓库表,数据仓库表21和数据仓库表31为数据仓库表41的上游数据仓库表。
由于任务中各个数据仓库表之间的生产关系已经确定,因此,各个数据仓库表中字段与字段之间的关系也是可以确定的,既能够知晓数据仓库表之间的生产关系,还可以知晓各个数据仓库表字段与字段之间的关系。
不管任务内容数据来自哪个平台,都可以通过相匹配的模型进行解析,通过与任务内容数据的语言相匹配的解析模型解析之后,能够得到处于不同调度框架下的某个任务中各个数据仓库表之间的生产关系,以及各个数据仓库表中记载的各个内容项之间的关系,实现了同一任务处于不同调度框架也能够被解析的效果。
本发明实施例通过与任务内容数据的语言相匹配的解析模型对任务进行自动解析,进而获获得各个数据仓库表之间的生产关系以及数据仓库表间各个内容项之间的关系,对任务内容数据进行自动解析的方式能够较快的获得准确的生产关系,结果直观,无需用户根据代码内容逐条查找,用户体验较好。
本发明第二实施例提供了一种确定生产关系的方法,该方法的流程如图2所示,包括步骤S201至S204:
S201,响应于对任务的选择,获取任务对应的任务内容数据。
通常情况下,该任务内容数据为代码。一个任务会由无数条代码构成,还可能涉及到在其他平台上的任务,例如,目标是获取执行平台1上的任务1的执行结果,该任务1是需要用到平台2上的任务2获得的数据仓库表1和平台3上的任务3获得的数据仓库表2,则该任务1包括了任务2和任务3的代码。
S202,通过与任务内容数据的语言相匹配的解析模型解析任务内容数据,获得任务中各个数据仓库表之间的生产关系以及各个数据仓库表中记载的各个内容项之间的关系。
在通过与任务内容数据的语言相匹配的解析模型解析任务内容数据的过程中,具体可以先确定任务内容数据包括的一种或多种语言的类型,再确定与一种或多种语言的类型相匹配的解析模型,最后通过解析模型解析任务内容数据。
实现时,上述的解析模型可以是预先编写好的解析程序,即可以由本领域技术人员根据任务对应代码的语法编写标准预先创建,可以针对不同的语言编写不同的解析程序,在使用时,确定目标代码对应的几种语言进而使用对应的解析程序即可得到各个数据仓库表之间的生产关系。例如,数据仓库表11为数据仓库表21的上游数据仓库表,数据仓库表21和数据仓库表31为数据仓库表41的上游数据仓库表。
由于任务中各个数据仓库表之间的生产关系已经确定,因此,各个数据仓库表中字段与字段之间的关系也是可以确定的,既能够知晓数据仓库表之间的生产关系,还可以知晓各个数据仓库表字段与字段之间的关系。
不管任务内容数据来自哪个平台,都可以通过相匹配的模型进行解析,通过与任务内容数据的语言相匹配的解析模型解析之后,能够得到处于不同调度框架下的某个任务中各个数据仓库表之间的生产关系,以及各个数据仓库表中记载的各个内容项之间的关系,实现了同一任务处于不同调度框架也能够被解析的效果。
S203,创建与各个数据仓库表分别对应的标记。
例如,数据仓库表对应的标记为圆形图案,圆形图案中间的空白处可以填写数据仓库表的表名,则创建了该数据仓库表与标记的对应关系。
S204,根据各个数据仓库表之间的生产关系和所有标记构建生产关系图。
例如,数据仓库表11为数据仓库表21的上游数据仓库表,数据仓库表21和数据仓库表31为数据仓库表41的上游数据仓库表,则其生产关系图可以如图3所示。通过该生产关系图,可以更加直观的看清各个数据仓库表之间的关系,即使任务内容较为复杂,也可以清楚的知晓各个数据仓库表之间的关系。
由于已经获得了生产关系图,因此,各个数据仓库表之间的生产关系已经非常明确,此时,可以将任务的实际完成时间与预计完成时间进行比较,以检测实际完成时间是否超过预计完成时间。在超过预计完成时间的情况下,根据生产关系图查询任务中各个数据仓库表的产出时间,即可以知晓哪个数据仓库表的产出时间较长,进而影响了整个任务的实际完成时间,以便针对对应的问题进行整改。
本发明实施例通过与任务内容数据的语言相匹配的解析模型对任务进行自动解析,进而获获得各个数据仓库表之间的生产关系以及数据仓库表间各个内容项之间的关系,对任务内容数据进行自动解析的方式能够较快的获得准确的生产关系,结果直观,无需用户根据代码内容逐条查找,用户体验较好。
本发明第三实施例提供了一种确定生产关系的装置,该装置的结构示意如图4所示,包括:
第一获取模块10,配置为响应于对任务的选择,获取任务对应的任务内容数据;解析模块20,与第一获取模块10耦合,配置为通过与任务内容数据的语言相匹配的解析模型解析任务内容数据,获得任务中各个数据仓库表之间的生产关系以及各个数据仓库表中记载的各个内容项之间的关系。
通常情况下,该任务内容数据为代码。一个任务会由无数条代码构成,还可能涉及到在其他平台上的任务,例如,目标是获取执行平台1上的任务1的执行结果,该任务1是需要用到平台2上的任务2获得的数据仓库表1和平台3上的任务3获得的数据仓库表2,则该任务1包括了任务2和任务3的代码。
上述解析模块,具体可以配置为确定任务内容数据包括的一种或多种语言的类型;确定与一种或多种语言的类型相匹配的解析模型;通过解析模型解析任务内容数据。
实现时,上述的解析模型可以是预先编写好的解析程序,即可以由本领域技术人员根据任务对应代码的语法编写标准预先创建,可以针对不同的语言编写不同的解析程序,在使用时,确定目标代码对应的几种语言进而使用对应的解析程序即可得到各个数据仓库表之间的生产关系。例如,数据仓库表11为数据仓库表21的上游数据仓库表,数据仓库表21和数据仓库表31为数据仓库表41的上游数据仓库表。
由于任务中各个数据仓库表之间的生产关系已经确定,因此,各个数据仓库表中字段与字段之间的关系也是可以确定的,既能够知晓数据仓库表之间的生产关系,还可以知晓各个数据仓库表字段与字段之间的关系。
不管任务内容数据来自哪个平台,都可以通过相匹配的模型进行解析,通过与任务内容数据的语言相匹配的解析模型解析之后,能够得到处于不同调度框架下的某个任务中各个数据仓库表之间的生产关系,以及各个数据仓库表中记载的各个内容项之间的关系,实现了同一任务处于不同调度框架也能够被解析的效果。
如图5所示,为上述装置的另一种结构示意图,该装置还可以包括:构建模块30,与解析模块20耦合,配置为创建与各个数据仓库表分别对应的标记;根据各个数据仓库表之间的生产关系和所有标记构建生产关系图。例如,数据仓库表对应的标记为圆形图案,圆形图案中间的空白处可以填写数据仓库表的表名,则创建了该数据仓库表与标记的对应关系。
通过该生产关系图,可以更加直观的看清各个数据仓库表之间的关系,即使任务内容较为复杂,也可以清楚的知晓各个数据仓库表之间的关系。
上述装置还可以包括:第二获取模块,配置为获取任务的实际完成时间;检测模块,与第二获取模块耦合,配置为检测实际完成时间是否超过预计完成时间;查询模块,与检测模块和解析模块(或构建模块)耦合,配置为在超过预计完成时间的情况下,根据生产关系查询任务中各个数据仓库表的产出时间。通过该装置即可以知晓哪个数据仓库表的产出时间较长,进而影响了整个任务的实际完成时间,以便针对对应的问题进行整改。
本发明实施例通过与任务内容数据的语言相匹配的解析模型对任务进行自动解析,进而获获得各个数据仓库表之间的生产关系以及数据仓库表间各个内容项之间的关系,对任务内容数据进行自动解析的方式能够较快的获得准确的生产关系,结果直观,无需用户根据代码内容逐条查找,用户体验较好。
本发明第四实施例提供了一种存储介质,存储有计算机程序,该计算机程序被处理器执行时实现本发明任意实施例提供的方法,包括如下步骤S1至S2:
S1,响应于对任务的选择,获取任务对应的任务内容数据;
S2,通过与任务内容数据的语言相匹配的解析模型解析任务内容数据,获得任务中各个数据仓库表之间的生产关系以及各个数据仓库表中记载的各个内容项之间的关系。
计算机程序被处理器执行通过与任务内容数据的语言相匹配的解析模型解析任务内容数据的步骤时,具体被处理器执行如下步骤:确定任务内容数据包括的一种或多种语言的类型;确定与一种或多种语言的类型相匹配的解析模型;通过解析模型解析任务内容数据。
计算机程序被处理器执行获得任务中各个数据仓库表之间的生产关系的步骤之后,还可以被处理器执行如下步骤:创建与各个数据仓库表分别对应的标记;根据各个数据仓库表之间的生产关系和所有标记构建生产关系图。
计算机程序还可以被处理器执行如下步骤:获取任务的实际完成时间;检测实际完成时间是否超过预计完成时间;在超过预计完成时间的情况下,根据生产关系查询任务中各个数据仓库表的产出时间。
本发明实施例通过与任务内容数据的语言相匹配的解析模型对任务进行自动解析,进而获获得各个数据仓库表之间的生产关系以及数据仓库表间各个内容项之间的关系,对任务内容数据进行自动解析的方式能够较快的获得准确的生产关系,结果直观,无需用户根据代码内容逐条查找,用户体验较好。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。可选地,在本实施例中,处理器根据存储介质中已存储的程序代码执行上述实施例记载的方法步骤。可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
本发明第五实施例提供了一种电子设备,如图6所示,该电子设备至少包括存储器901和处理器902,存储器901上存储有计算机程序,处理器902在执行存储器901上的计算机程序时实现本发明任意实施例提供的方法,示例性的,计算机程序步骤如下S11至S12:
S11,响应于对任务的选择,获取任务对应的任务内容数据;
S12,通过与任务内容数据的语言相匹配的解析模型解析任务内容数据,获得任务中各个数据仓库表之间的生产关系以及各个数据仓库表中记载的各个内容项之间的关系。
处理器902在执行存储器901上存储的通过与任务内容数据的语言相匹配的解析模型解析任务内容数据的计算机程序时,具体执行如下计算机程序:确定任务内容数据包括的一种或多种语言的类型;确定与一种或多种语言的类型相匹配的解析模型;通过解析模型解析任务内容数据。
处理器902在执行存储器901上存储的获得任务中各个数据仓库表之间的生产关系的计算机程序之后,还可以执行如下计算机程序:创建与各个数据仓库表分别对应的标记;根据各个数据仓库表之间的生产关系和所有标记构建生产关系图。
处理器902还可以执行存储器901上存储的如下计算机程序:获取任务的实际完成时间;检测实际完成时间是否超过预计完成时间;在超过预计完成时间的情况下,根据生产关系查询任务中各个数据仓库表的产出时间。
本发明实施例通过与任务内容数据的语言相匹配的解析模型对任务进行自动解析,进而获获得各个数据仓库表之间的生产关系以及数据仓库表间各个内容项之间的关系,对任务内容数据进行自动解析的方式能够较快的获得准确的生产关系,结果直观,无需用户根据代码内容逐条查找,用户体验较好。
此外,尽管已经在本文中描述了示例性实施例,其范围包括任何和所有基于本发明的具有等同元件、修改、省略、组合(例如,各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释,并不限于在本说明书中或本申请的实施期间所描述的示例,其示例将被解释为非排他性的。因此,本说明书和示例旨在仅被认为是示例,真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
以上描述旨在是说明性的而不是限制性的。例如,上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外,在上述具体实施方式中,各种特征可以被分组在一起以简单化本发明。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反,本发明的主题可以少于特定的公开的实施例的全部特征。从而,以下权利要求书作为示例或实施例在此并入具体实施方式中,其中每个权利要求独立地作为单独的实施例,并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
以上对本发明多个实施例进行了详细说明,但本发明不限于这些具体的实施例,本领域技术人员在本发明构思的基础上,能够做出多种变型和修改实施例,这些变型和修改都应落入本发明所要求保护的范围之内。