CN113961588A - 一种基于可配置参数的大数据sql程序设计方法 - Google Patents

Abstract

本发明公开了一种基于可配置参数的大数据SQL程序设计方法，具体过程为：S1、在参数管理中创建参数，根据参数类型来进行配置参数对应的参数值内容；S2、SQL开发时，在系统开发平台填写SQL语句，支持HIVE、SPARKSQL、IMPALA，SQL语句填写中可引用步骤S1中创建的参数；S3、通过获取SQL语句，解析、校验、转换SQL语句；S4、根据步骤S3转换得到的SQL语句，通过JDBC方式连接HIVE或IMPALA进行执行。本发明通过预先配置各种参数，使得在SQL程序开发时可以直接引用相关参数，从而形成一套配置化、标准版和统一化的体系，实现来简化开发。

Description

一种基于可配置参数的大数据SQL程序设计方法

技术领域

本发明涉及SQL程序开发技术领域，具体涉及一种基于可配置参数的大数据SQL程序设计方法。

背景技术

目前现有大数据产品在执行SQL的过程中，只会对SQL语句进行格式化和校验，最终把SQL语句发送给执行引擎来计算结果。另外，在技术产品的使用过程中，使用者针对重复的参数和变量，需要繁琐、重复去填写，从而带来了不必要的工作量，并且要检查值是否正确。

发明内容

针对现有技术的不足，本发明旨在提供一种基于可配置参数的大数据SQL程序设计方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于可配置参数的大数据SQL程序设计方法，具体过程为：

S1、在参数管理中创建参数，根据参数类型来进行配置参数对应的参数值内容；

S2、SQL开发时，在系统开发平台填写SQL语句，支持HIVE、SPARKSQL、IMPALA，SQL语句填写中可引用步骤S1中创建的参数；

S3、通过获取SQL语句，解析、校验、转换SQL语句；

S4、根据步骤S3转换得到的SQL语句，通过JDBC方式连接HIVE或IMPALA进行执行。

进一步地，步骤S1的具体过程为：

所述参数包括如下字段：参数名、参数类型、参数内容、对应数据源、备注；其中所述参数类型包括普通参数、SQL脚本参数或HTTP地址参数；

针对不同类型的参数有不同解析和配置规则：

(1)普通参数：普通参数包含系统内置的参数、根据参数计算出来的参数以及常量；对于普通参数，配置参数名称、参数类型、参数内容和备注；

(2)SQL脚本参数：对于SQL脚本参数，配置参数名称、参数类型、参数内容、数据源和备注，其中，参数内容为sql脚本，sql脚本可以引用其他类型的参数；

(3)HTTP地址参数：对于HTTP地址参数，配置参数名称、参数类型、参数内容和备注；HTTP地址参数支持通过url动态获取参数值，支持url中引用其他参数。

本发明的有益效果在于：本发明通过预先配置各种参数，使得在SQL程序开发时可以直接引用相关参数，从而形成一套配置化、标准版和统一化的体系，实现来简化开发。

附图说明

图1为本发明实施例的方法流程示意图。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

本实施例提供一种基于可配置参数的大数据SQL程序设计方法，如图1所示，具体过程为：

S1、在参数管理中创建参数，根据参数类型来进行配置参数对应的参数值内容。

S2、SQL开发时，在系统开发平台填写SQL语句，支持HIVE、SPARKSQL、IMPALA，SQL语句填写中可引用步骤S1中创建的参数。

S3、通过获取SQL语句，解析、校验、转换SQL语句；

S4、根据步骤S3转换得到的SQL语句，通过JDBC方式连接HIVE或IMPALA进行执行。

以下进一步对上述方法进行说明。

步骤S1的具体过程为：

所述参数包括如下字段：参数名、参数类型(普通参数、SQL脚本参数或HTTP地址参数)、参数内容、对应数据源、备注；

针对不同类型的参数有不同解析和配置规则：

(1)普通参数：普通参数包含系统内置的参数、根据参数计算出来的参数以及常量，比如调度时间、调度日期、当前任务id、任务名称、调度时间的加减操作；对于普通参数，配置参数名称、参数类型、参数内容和备注。

对于普通参数的配置举例如表1所示：

表1

(2)SQL脚本参数：对于SQL脚本参数，配置参数名称、参数类型、参数内容、数据源和备注，其中，参数内容为sql脚本，sql脚本可以引用其他类型的参数。

SQL脚本参数的配置举例如表2所示：

表2

(3)HTTP地址参数：对于HTTP地址参数，配置参数名称、参数类型、参数内容和备注；HTTP地址参数支持通过url动态获取参数值，支持url中引用其他参数。

HTTP地址参数的配置举例如表3所示：

表3

需要说明的是，在任务配置中，任务参数或者脚本正文中能引用上述参数。

例如，在参数管理中配置了参数,参数名称为lastDay；参数类型为普通参数；参数内容为：${#date(0,0,-1):yyyyMMdd#}，那么在程序脚本中可以直接写为${#lastDay#}进行引用。

需要说明的是，hive程序设计时可以编写公式，以满足执行定时hive任务时设置不同的参数，公式格式为${公式内容}，公式里可以使用时间变量，包括年(year),月(month),日(day),时(hour),分(minute),秒(second)；变量格式为#变量名称#或'#变量名称#'，如#year#,'#month#'。用##括起来的表示数值型变量，用'##'括起来的表示String型变量(长度为2，小于10的时间变量值在前边自动加0)。

如：select*from sample where year＝${#year#-1}

公式里可以进行基本的运算，包括:

1、数值运算：加(+)、减(-)、乘(*)、除(/)；

2、字符串连接："str"+"str2",字符串也可以和数值连接；

3、日期运算：

#date(year+,month+,day+,hour+,minute+,second+):date_for mat_str#。

需要说明的是，date括号内的内容为相对于各时间域的增量值，如date(1)表示当前时间+1年。冒号后边内容为对日期的dateformat格式(用SimpleDateFormat格式化)。

举例：

${#year#+1+'#month#'}，

如果设置year＝2015，month＝5，则解析为2015+1+"05"，值为201605

举例：

${#date(1,2,3):yyyy-MM-dd HH:mm:ss#}，

如果计算时的时间为2015-05-06 17:00:00，则值为2016-07-0917:00:00

将monty,day,hour等变量以各种运算符组合，可以灵活计算复杂日期。

例如：

1、传入日期的上月最后一天：

${#date(0,0,-day):yyyyMMdd#}

2、传入日期所在的季度：

${(#month#-1)/3+1}

3、传入日期的上一天所在季度：

${((#day#＝＝1)&&((#month#-1)％3＝＝0))？(#month#-2)/3+1:(#month#-1)/3+1}

4、传入日期所在季度第一天：

${#date(0,-(month-1)％3,0):yyyyMM01#}

对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims (2)

1.一种基于可配置参数的大数据SQL程序设计方法，其特征在于，具体过程为：

S1、在参数管理中创建参数，根据参数类型来进行配置参数对应的参数值内容；

S2、SQL开发时，在系统开发平台填写SQL语句，支持HIVE、SPARKSQL、IMPALA，SQL语句填写中可引用步骤S1中创建的参数；

S3、通过获取SQL语句，解析、校验、转换SQL语句；

S4、根据步骤S3转换得到的SQL语句，通过JDBC方式连接HIVE或IMPALA进行执行。

2.根据权利要求1所述的方法，其特征在于，步骤S1的具体过程为：

所述参数包括如下字段：参数名、参数类型、参数内容、对应数据源、备注；其中所述参数类型包括普通参数、SQL脚本参数或HTTP地址参数；

针对不同类型的参数有不同解析和配置规则：

(1)普通参数：普通参数包含系统内置的参数、根据参数计算出来的参数以及常量；对于普通参数，配置参数名称、参数类型、参数内容和备注；

(2)SQL脚本参数：对于SQL脚本参数，配置参数名称、参数类型、参数内容、数据源和备注，其中，参数内容为sql脚本，sql脚本可以引用其他类型的参数；

(3)HTTP地址参数：对于HTTP地址参数，配置参数名称、参数类型、参数内容和备注；HTTP地址参数支持通过url动态获取参数值，支持url中引用其他参数。

Images