CN111475167A - 一种基于HQL语句的Shell脚本依赖关系抽取方法 - Google Patents

Abstract

本发明公开的基于HQL语句的Shell脚本依赖关系抽取方法，涉及大数据技术领域，通过获取Shell脚本中的HQL语句，解析HQL语句，得到HQL语句的关键词，根据关键词获取HQL语句的输入表和输出表、输出表的Shell脚本路径信息，根据输入表和输出表之间的映射关系、输出表的Shell脚本路径信息，根据输出表和Shell脚本之间的映射关系，得到第一数据表中Shell脚本之间的依赖关系，根据第二数据表中Shell脚本之间的依赖关系，计算与指定Shell脚本具有前后依赖的Shell脚本，得到Shell脚本集合，降低了人力成本及时间成本，提高了效率。

Description

一种基于HQL语句的Shell脚本依赖关系抽取方法

技术领域

本发明涉及大数据技术领域，具体涉及一种基于HQL语句的Shell脚本依赖关系抽取方法。

背景技术

目前，大数据技术已经应用到了各行各业，应用场景非常广泛。在大数据平台上，每天都有海量的数据生成，大量的数据表之间的依赖关系将会给数据计算任务造成不小的影响，特别是问题数据的排查影响更大。通过人工构建数据表、计算脚本之间的依赖关系会非常耗时耗力，所以能够实现自动化构建依赖关系显得非常重要。

目前的解决方案为：面对不同的应用场景，利用HOOK技术获取HQL语句，以开源工具解析HQL语句(即Hive SQL语句)，解析出数据表的血缘关系或者Hive脚本的依赖关系。但是针对这样一种应用场景，在Linux平台上，一个Shell脚本批处理计算任务中包含有大批量的Shell脚本，一个Shell脚本中又包含多个执行HQL语句的命令。当需要抽取数据表依赖关系和Shell脚本执行顺序的信息时，现有的技术方案不能很好地解决。

发明内容

为解决现有技术的不足，本发明实施例提供了一种基于HQL语句的Shell脚本依赖关系抽取方法，该方法包括：

获取Shell脚本中的HQL语句；

解析HQL语句，得到HQL语句的关键词，根据所述关键词获取所述HQL语句的输入表和输出表、所述输出表的Shell脚本路径信息并将所述输入表和所述输出表之间的映射关系、所述输出表的Shell脚本路径信息写入预设的第一数据表中；

根据所述输入表和所述输出表之间的映射关系、所述输出表的Shell脚本路径信息，得到所述输出表和Shell脚本之间的映射关系；

根据所述输出表和Shell脚本之间的映射关系，得到输入表映射的Shell脚本并将所述Shell脚本写入所述第一数据表中；

根据输出表映射的Shell脚本和输入表映射的Shell脚本之间的依赖关系，得到所述第一数据表中Shell脚本之间的依赖关系并将所述依赖关系写入预设的第二数据表；

根据所述第二数据表中Shell脚本之间的依赖关系，计算与指定的Shell脚本具有前后依赖的Shell脚本，得到Shell脚本集合。

优选地，在得到输入表映射的Shell脚本并将所述Shell脚本写入所述第一数据表中之后，所述方法还包括：

根据所述第一数据表中输入表和输出表之间的映射关系，计算与指定的数据表具有前后依赖的数据表，得到数据表集合。

优选地，所述第一数据表的内容包括：

输出表的shell脚本名称、输出表的名称、输入表的名称及输入表的shell脚本名称。

本发明实施例提供的基于HQL语句的Shell脚本依赖关系抽取方法具有以下有益效果：

能够有效地抽取数据表依赖关系和Shell脚本执行顺序，不需要通过人工构建数据表及计算脚本之间的依赖关系，降低了人力成本及时间成本，提高了效率。

具体实施方式

以下结合具体实施例对本发明作具体的介绍。

本发明实施例提供的基于HQL语句的Shell脚本依赖关系抽取方法包括以下步骤：

S101，获取Shell脚本中的HQL语句。

S102，解析HQL语句，得到HQL语句的关键词，根据关键词获取HQL语句的输入表和输出表、输出表的Shell脚本路径信息并将输入表和输出表之间的映射关系、输出表的Shell脚本路径信息写入预设的第一数据表中。

S103，根据输入表和输出表之间的映射关系、输出表的Shell脚本路径信息，得到输出表和Shell脚本之间的映射关系。

S104，根据输出表和Shell脚本之间的映射关系，得到输入表映射的Shell脚本并将Shell脚本写入第一数据表中。

S105，根据输出表映射的Shell脚本和输入表映射的Shell脚本之间的依赖关系，得到第一数据表中Shell脚本之间的依赖关系并将依赖关系写入预设的第二数据表；

S106，根据第二数据表中Shell脚本之间的依赖关系，计算与指定的Shell脚本具有前后依赖的Shell脚本，得到Shell脚本集合。

可选地，在得到输入表映射的Shell脚本并将Shell脚本写入第一数据表中之后，该方法还包括：

根据第一数据表中输入表和输出表之间的映射关系，计算与指定的数据表具有前后依赖的数据表，得到数据表集合。

作为一个具体的实施例，根据数据表的名称，计算与该数据表具有前后依赖的数据表。

可选地，第一数据表的内容包括：

输出表的shell脚本名称、输出表的名称、输入表的名称及输入表的shell脚本名称。

作为一个具体的实施例，根据shell脚本的名称，计算与该shell脚本具有前后依赖的数据表。

本发明实施例提供的基于HQL语句的Shell脚本依赖关系抽取方法，通过获取Shell脚本中的HQL语句，解析HQL语句，得到HQL语句的关键词，根据关键词获取HQL语句的输入表和输出表、输出表的Shell脚本路径信息并将输入表和输出表之间的映射关系、输出表的Shell脚本路径信息写入预设的第一数据表中，根据输入表和输出表之间的映射关系、输出表的Shell脚本路径信息，得到输出表和Shell脚本之间的映射关系，根据输出表和Shell脚本之间的映射关系，得到输入表映射的Shell脚本并将Shell脚本写入第一数据表中，根据输出表映射的Shell脚本和输入表映射的Shell脚本之间的依赖关系，得到第一数据表中Shell脚本之间的依赖关系并将依赖关系写入预设的第二数据表，根据第二数据表中Shell脚本之间的依赖关系，计算与指定的Shell脚本具有前后依赖的Shell脚本，得到Shell脚本集合，降低了人力成本及时间成本，提高了效率。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (3)

1.一种基于HQL语句的Shell脚本依赖关系抽取方法，其特征在于，包括：

获取Shell脚本中的HQL语句；

解析HQL语句，得到HQL语句的关键词，根据所述关键词获取所述HQL语句的输入表和输出表、所述输出表的Shell脚本路径信息并将所述输入表和所述输出表之间的映射关系、所述输出表的Shell脚本路径信息写入预设的第一数据表中；

根据所述输入表和所述输出表之间的映射关系、所述输出表的Shell脚本路径信息，得到所述输出表和Shell脚本之间的映射关系；

根据所述输出表和Shell脚本之间的映射关系，得到输入表映射的Shell脚本并将所述Shell脚本写入所述第一数据表中；

根据输出表映射的Shell脚本和输入表映射的Shell脚本之间的依赖关系，得到所述第一数据表中Shell脚本之间的依赖关系并将所述依赖关系写入预设的第二数据表；

根据所述第二数据表中Shell脚本之间的依赖关系，计算与指定的Shell脚本具有前后依赖的Shell脚本，得到Shell脚本集合。

2.根据权利要求1所述的基于HQL语句的Shell脚本依赖关系抽取方法，其特征在于，在得到输入表映射的Shell脚本并将所述Shell脚本写入所述第一数据表中之后，所述方法还包括：

根据所述第一数据表中输入表和输出表之间的映射关系，计算与指定的数据表具有前后依赖的数据表，得到数据表集合。

3.根据权利要求1所述的基于HQL语句的Shell脚本依赖关系抽取方法，其特征在于，所述第一数据表的内容包括：

输出表的shell脚本名称、输出表的名称、输入表的名称及输入表的shell脚本名称。