CN109032578B - 基于数据库sql代码生成方法及系统 - Google Patents

Abstract

本发明公开了一种基于数据库SQL代码生成方法及系统，方法包括以下步骤：设定配置信息；发送配置信息至开发框架；根据配置信息拼装成对应的SQL语句，并生成对应的发布函数。本方案按照配置信息生成对应的执行代码，有效的提升了代码的质量，统一了代码的风格，提升了代码的可维护性，有效降低了对开发人员能力的门槛要求；且通过配置自动实现，保证了源数据与生产流程的一致性，避免了源数据靠人工整理，与实际生产脱节的问题。

Description

基于数据库SQL代码生成方法及系统

技术领域

本发明涉及到电子信息技术领域，特别是涉及到一种基于数据库SQL代码生成方法及系统。

背景技术

当前大量企业的IT系统多，各系统的数据模型、数据标准不统一，而企业各级人员需要快速掌握企业的经营状况，以便进行经营分析和精确营销，这需要企业建设自己的数据中心，统一采集汇聚企业各业务系统的源数据，并进行标签计算、数据整合、汇总等逻辑处理，生成满足应用分析需要的多维查询模型和固定分析报表。

然而，数据中心的搭建需要进行大量的数据库开发工作，目前，基本上是投入大量的开发人员进行存储过程的开发和脚本的开发来实现的。

在实际开发时，企业的各个业务部门都会提出自己的统计分析需求，需求经过分析后，提交给不同的开发人员进行开发，由于不同开发人员的开发经验不一样、开发能力不一样，导致开发的效率也不一样，开发出来的代码质量也不一样。而且，开发人员会根据自己的喜好进行编码，不同开发人员开发出来的程序代码风格不一样，导致后续代码的可维护性较差，每个人只会维护自己写的代码。

针对当前传统数据库开发过程中出现的问题，需要一种能够规范化、高效的基于数据库的SQL代码生成方法。

发明内容

为了解决上述现有技术的缺陷，本发明的目的是提供一种基于数据库SQL代码生成方法及系统，通过简单的配置操作，自动生成规范化便于维护的SQL代码。

为达到上述目的，本发明的技术方案是：

一种基于数据库SQL代码生成方法，包括以下步骤：

设定配置信息；

发送配置信息至开发框架；

根据配置信息拼装成对应的SQL语句，并生成对应的发布函数。

进一步地，所述设定配置信息步骤，包括，

设定数据整合配置信息，所述数据整合配置包含用于采集目标数据的目标字段；

设定标签计算配置信息，所述标签计算配置信息包含用于分类目标数据的标签分类条件；

设定数据汇总配置信息，所述数据汇总配置信息包含用于汇总目标数据的汇总条件；

设定指标计算配置信息，所述指标计算配置信息包含用于输出指标统计数据的指标条件。

进一步地，所述根据配置信息拼装成对应的SQL语句，并生成对应的发布函数步骤之后，还包括，

执行对应的发布函数，并根据发布函数携带的配置信息，对源数据依次进行数据整合、标签计算、数据汇总以及指标计算处理。

进一步地，所述执行对应的发布函数，并根据发布函数携带的配置信息，对源数据依次进行数据整合、标签计算、数据汇总以及指标计算处理步骤，包括以下步骤：

根据所述目标字段从源数据中抽取目标字段对应的数据，并整合成预处理宽表；

根据所述标签分类条件对预处理宽表进行分类，得到标签表；

根据汇总条件，对预处理宽表和标签表进行汇总，得到汇总宽表；

根据指标条件，对预处理宽表和汇总宽表进行处理，得到指标库。

本发明还提出了一种基于数据库SQL代码生成系统，包括，

设定单元，用于设定配置信息；

输入单元，用于发送配置信息至开发框架；

开发单元，用于根据配置信息拼装成对应的SQL语句，并生成对应的发布函数。

进一步地，所述设定单元包括：

第一设定模块，用于设定数据整合配置信息，所述数据整合配置包含用于采集目标数据的目标字段；

第二设定模块，用于设定标签计算配置信息，所述标签计算配置信息包含用于分类目标数据的标签分类条件；

第三设定模块，用于设定数据汇总配置信息，所述数据汇总配置信息包含用于汇总目标数据的汇总条件；

第四设定模块，用于设定指标计算配置信息，所述指标计算配置信息包含用于输出指标统计数据的指标条件。

进一步地，还包括执行单元，用于执行对应的发布函数，并根据发布函数携带的配置信息，对源数据依次进行数据整合、标签计算、数据汇总以及指标计算处理。

进一步地，所述执行单元包括：

第一执行模块，用于根据目标字段从源数据中抽取目标字段对应的数据，并整合成预处理宽表；

第二执行模块，用于根据标签分类条件对预处理宽表进行分类，得到标签表；

第三执行模块，用于根据汇总条件对预处理宽表和标签表进行汇总，得到汇总宽表；

第四执行模块，用于根据指标条件对预处理宽表和汇总宽表进行处理，得到指标库。

本发明的有益效果是：本方案按照配置信息生成对应的执行代码，有效的提升了代码的质量，统一了代码的风格，提升了代码的可维护性，有效降低了对开发人员能力的门槛要求；且通过配置信息自动实现，保证了源数据与生产流程的一致性，避免了源数据靠人工整理，与实际生产脱节的问题。

附图说明

图1为本发明一种基于数据库SQL代码生成方法的方法流程图；

图2为本发明一种设定配置信息的方法流程图；

图3为本发明一种执行对应的发布函数进行处理的方法框图；

图4为本发明一具体实施例根据配置信息生成的执行代码的主流程图；

图5为本发明一具体实施例生成select部分代码的流程图；

图6为本发明一具体实施例生成from部分代码的流程图；

图7为本发明一具体实施例生成where部分代码的流程图；

图8为本发明一具体实施例生成group_by部分代码的流程图；

图9为本发明一种基于数据库SQL代码生成系统的结构框图；

图10为本发明一种设定单元的结构框图；

图11为本发明一种执行单元的结构框图。

具体实施方式

为阐述本发明的思想及目的，下面将结合附图和具体实施例对本发明做进一步的说明。

参照图1-图3，提出本发明一具体实施例，一种基于数据库SQL代码生成方法，包括以下步骤：

S10、设定配置信息。

S20、发送配置信息至开发框架。

S30、根据配置信息拼装成对应的SQL语句，并生成对应的发布函数。

S40、执行对应的发布函数，并根据发布函数携带的配置信息，对源数据依次进行数据整合、标签计算、数据汇总以及指标计算处理。

对于步骤S10，设定配置信息，在配置信息中设定好用于自动生成SQl代码的配置信息，后续算法读取配置信息生成风格统一的SQL语句，便于维护且降低了对于代码开发人员和维护人员的要求。

参考图2，步骤S10包括以下步骤：

S11、设定数据整合配置信息，数据整合配置包含用于采集目标数据的目标字段。

S12、设定标签计算配置信息，标签计算配置信息包含用于分类目标数据的标签分类条件。

S13、设定数据汇总配置信息，数据汇总配置信息包含用于汇总目标数据的汇总条件。

S14、设定指标计算配置信息，指标计算配置信息包含用于输出指标统计数据的指标条件。

对于步骤S11-步骤S14，配置信息包括数据整合配置信息、标签计算配置信息、数据汇总配置信息和指标计算配置信息。配置信息主要包括配置模型的来源字段及字段的转换关系、模型的来源主表及条件、模型的关联从表及条件、模型的从表所关联的从表(简称“从从表”)及条件。根据这些配置信息，匹配对应的算法，生成可执行的SQL语句，存放到“执行语句记录表”。

对于步骤S20，在设定好对应的配置信息之后，将配置信息通过数据接口上传到开发框架中，开发框架通过接口接收对应的配置信息，并根据配置信息调用对应的配置算法，自动生成有效的SQL代码。

对于步骤S30，在开发框架中根据配置信息拼装成对应的SQL语句，并生成对应的发布函数。具体的配置信息包括数据整合配置信息、标签计算配置信息、数据汇总配置信息和指标计算配置信息。

根据数据整合配置信息生成的SQL代码，执行后的SQL代码可以用于采集目标数据的目标字段，也就是根据业务需要从多个源表中抽取部分字段，组合成预处理宽表。

例如，源表为表A、表B和表C，整合后生成预处理宽表D，预处理宽表D共有5个字段，其中：字段1来源于表A的字段1，字段2来源于表A的字段3，字段3来源于表B的字段3，字段4来源于表B的字段4，字段5来源于表C的字段1。预处理宽表D通过关联多个源表来实现，所有字段都取自每个关联的源表的部分字段。

具体的，预处理宽表与源表之间的关联方式可以是内关联、外关联或全关联；表关联的字段名可以不一致，且可满足最多3个字段同时进行关联；结果表的字段名与源表的字段名可以不一致；源表的字段可以进行简单转换。

根据标签计算配置信息生成的SQL代码，执行后的SQL代码可以用于根据设定的条件筛选出预处理宽表符合条件的字段，生成标签表。

例如，将表预处理宽D₁与表预处理宽D₂进行关联，当满足预处理宽D₁的字段1取值为1，2，3且表预处理宽D₂的字段2取值为‘T’时，标签值为1，否则取0，并生成标签表E。

根据数据汇总配置信息生成的SQL代码，执行后的SQL代码可以用于在预处理宽表D、标签表E的基础上，对选择的维度和指标进行汇总运算，生成汇总宽表F。

根据指标计算配置信息生成的SQL代码，执行后的SQL代码可以用于在预处理宽和汇总宽表的基础上，根据指标口径进行数据过滤，生成对应的指标库。

具体的，结果表与源表之间的关联方式可以是内关联、外关联或全关联；表关联的字段名可以不一致，且可满足最多3个字段同时进行关联；结果表的字段名与源表的字段名可以不一致；源表的字段可以进行简单转换。源表指的是作为被处理对象的数据表，结果表指的是有源表进行一定处理得到的数据表，当然结果表也可以作为下一个处理流程的源表。

具体的，上述步骤S30是通过与配置信息对应的实现算法来实现的，通过对应的实现算法可以生成select、from、where、group by四部分编程语句，最后生成对应的执行代码。实现算法循环读取配置信息内包含的目标参数，根据目标参数自动生成执行代码，并保存。

对于步骤S40，生成对应的SQL代码，通过执行代码来实现对于源数据的处理，代码执行效率高，而且生成的语句都是按照一定规则生成，同时所有用到的信息都是配置的形式，增强了对源数据的管理。

参考图3，步骤S40包括：

S41、根据目标字段从源数据中抽取目标字段对应的数据，并整合成预处理宽表。

S42、根据标签分类条件对预处理宽表进行分类，得到标签表。

S43、根据汇总条件对预处理宽表和标签表进行汇总，得到汇总宽表。

S44、根据指标条件对预处理宽表和汇总宽表进行处理，得到指标库。

对于步骤S41-S44，具体的，执行生成后的代码获取到目标数据，完成整个自动开发的流程。

本方案按照配置信息生成对应的执行代码，有效的提升了代码的质量，统一了代码的风格，提升了代码的可维护性，有效降低了对开发人员能力的门槛要求；且通过配置信息自动实现，保证了源数据与生产流程的一致性，避免了源数据靠人工整理，与实际生产脱节的问题。

参考图4-8，在本发明一具体应用实施例中，上述实施例中的步骤S30是实现算法通过循环读取配置信息并生成对应的执行代码来实现的，通过对应的实现算法可以生成select、from、where、group by四部分编程语句，最后生成对应的执行代码。

以根据数据整合配置信息生成执行代码举例，根据数据整合配置信息生成代码的具体实现过程如下：

如图所示4，为主流程算法流程图，该算法接收用户的输入条件，调用相应的算法，计算后将结果输出给用户，算法流程图如下：

S301、读取输入参数(表名，统计日期)。

S302、按照表名参数匹配表表注册表。

S303、表生成方式是否为增量。

S304、若是，按照统计日期删除当天记录。

S305、若否，删除表。

S306、生成编程语句。

S307、保存Str到日志表，并执行Str，将查询出来的数据插入结果表。

生成select部分编程语句的实现算法。该实现算法通过读取配置表(配置信息)，生成SQL语句的“select”部分内容，主要是配置模型的字段来源，算法流程图如图5所示：

S311、读取预处理表配置表，生成查询字段语句，存放在字符串Str_select。

S312、循环读取预处理配置表。

S313、判断是否为最后一条记录。

S314、若是，生成Str_select语句。

生成from部分编程语句的实现算法。该实现算法通过读取配置表(配置信息)，生成SQL语句的“from”部分内容，主要是模型的数据来源表，算法流程图如图6所示：

S321、读取预处理来源表，生成表关联的语句，存放在字符串Str_from。

S322、判断从表是否有非空记录。

S323、若否，生成Str_from语句。

S324、若是，循环读取预处理表来源表直到最后一条记录。

生成where部分编程语句的实现算法。该算法通过读取配置表，生成SQL语句的“where”部分内容，主要是模型的限制条件，算法流程图如图7所示：

S331、读取数据源限制条件表，生成条件字段的语句，存放在字符串Str_where。

S332、判断数据源限制条件表是否无记录。

S333、若是，生成Str_where部分语句。

S334、若否，循环读取数据源限制条件表，直到最后一条记录。

生成group by部分编程语句的实现算法。该算法通过读取配置表，生成SQL语句的“where”部分内容，该算主要是再说汇总时使用，无需进行数据汇总时，不需要调用。算法流程图如图8所示：

S341、读取预处理配置表，生成查询字段的语句，存放在字符串Str_group by。

S342、Distinct是否汇总字段是否有0或1两个取值。

S343、若否，Str_group by置为空字符串。

S344、若是，循环读取预处理配置表。

S345、判断是否为最后一条记录。

S346、若是，生成Str_group by编程语句。

根据标签计算配置信息生成代码的具体流程如下：

标签计算配置信息设计，配置信息也就是配置模型主要包括标签的定义，标签值的统计口径、标签的来源主表及条件、标签的关联从表及条件，根据这些配置模型，匹配对应的算法，生成可执行的SQL语句，存放到“标签函数执行语句记录数”。

根据数据汇总配置信息生成执行代码的算法与根据数据整合配置信息生成执行代码的算法一致，只是其中的“group by”算法不是可选项，而是必选项。

根据指标计算配置信息生成执行代码的算法包括生成指标宽表和宽表转竖表这两个。生成指标宽表的实现算法，按批次循环读取指标配置表的内容，将同一批次的指标编码和统计口径进行对应的语名拼装。宽表转竖表的实现算法，将生成的指标宽表(temp表)转为竖表(指标结果表)。通过上述两个算法的配合，即可根据配置信息自动生成指标体系的执行代码。

参考图9-11，本发明另一实施例中还提出了一种基于数据库SQL代码生成系统，包括，

设定单元10，用于设定配置信息。

输入单元20，用于发送配置信息至开发框架。

开发单元30，用于根据配置信息拼装成对应的SQL语句，并生成对应的发布函数。

执行单元40，用于执行对应的发布函数，并根据发布函数携带的配置信息，对源数据依次进行数据整合、标签计算、数据汇总以及指标计算处理。

对于设定单元10，设定配置信息，在配置信息中设定好用于自动生成SQL代码的配置信息，后续算法读取配置信息生成风格统一的SQL语句，便于维护且降低了对于代码开发人员和维护人员的要求。

具体的，设定单元10包括：

第一设定模块11，用于设定数据整合配置信息，数据整合配置包含用于采集目标数据的目标字段；

第二设定模块12，用于设定标签计算配置信息，标签计算配置信息包含用于分类目标数据的标签分类条件；

第三设定模块13，用于设定数据汇总配置信息，数据汇总配置信息包含用于汇总目标数据的汇总条件；

第四设定模块14，用于设定指标计算配置信息，指标计算配置信息包含用于输出指标统计数据的指标条件。

对于第一设定模块11、第二设定模块12、第三设定模块13和第四设定模块14，通过上述的配置模块可以设定对应的配置信息，配置信息包括数据整合配置信息、标签计算配置信息、数据汇总配置信息和指标计算配置信息。配置信息主要包括配置模型的来源字段及字段的转换关系、模型的来源主表及条件、模型的关联从表及条件、模型的从表所关联的从表(简称“从从表”)及条件。根据这些配置信息，匹配对应的算法，生成可执行的SQL语句，存放到“执行语句记录表”。

对于输入单元20，在设定好对应的配置信息之后，将配置信息通过数据接口上传到开发框架中，开发框架通过接口接收对应的配置信息，并根据配置信息调用对应的配置算法，自动生成有效的SQL代码。

对于开发单元30，也就是开发框架，可以在开发框架中根据配置信息拼装成对应的SQL语句，并生成对应的发布函数。具体的配置信息包括数据整合配置信息、标签计算配置信息、数据汇总配置信息和指标计算配置信息。

根据数据整合配置信息生成的SQL代码，执行后的SQL代码可以用于采集目标数据的目标字段，也就是根据业务需要从多个源表中抽取部分字段，组合成预处理宽表。

例如，源表为表A、表B和表C，整合后生成预处理宽表D，预处理宽表D共有5个字段，其中：字段1来源于表A的字段1，字段2来源于表A的字段3，字段3来源于表B的字段3，字段4来源于表B的字段4，字段5来源于表C的字段1。预处理宽表D通过关联多个源表来实现，所有字段都取自每个关联的源表的部分字段。

具体的，预处理宽表与源表之间的关联方式可以是内关联、外关联或全关联；表关联的字段名可以不一致，且可满足最多3个字段同时进行关联；结果表的字段名与源表的字段名可以不一致；源表的字段可以进行简单转换。

根据标签计算配置信息生成的SQL代码，执行后的SQL代码可以用于根据设定的条件筛选出预处理宽表符合条件的字段，生成标签表。

例如，将表预处理宽D₁与表预处理宽D₂进行关联，当满足预处理宽D₁的字段1取值为1，2，3且表预处理宽D₂的字段2取值为‘T’时，标签值为1，否则取0，并生成标签表E。

根据数据汇总配置信息生成的SQL代码，执行后的SQL代码可以用于在预处理宽表D、标签表E的基础上，对选择的维度和指标进行汇总运算，生成汇总宽表F。

根据指标计算配置信息生成的SQL代码，执行后的SQL代码可以用于在预处理宽和汇总宽表的基础上，根据指标口径进行数据过滤，生成对应的指标库。

具体的，结果表与源表之间的关联方式可以是内关联、外关联或全关联；表关联的字段名可以不一致，且可满足最多3个字段同时进行关联；结果表的字段名与源表的字段名可以不一致；源表的字段可以进行简单转换。源表指的是作为被处理对象的数据表，结果表指的是有源表进行一定处理得到的数据表，当然结果表也可以作为下一个处理流程的源表。

对于执行单元，生成对应的SQL代码，通过执行代码来实现对于源数据的处理，代码执行效率高，而且生成的语句都是按照一定规则生成，同时所有用到的信息都是配置的形式，增强了对源数据的管理。

具体的，执行单元包括：

第一执行模块41，用于根据目标字段从源数据中抽取目标字段对应的数据，并整合成预处理宽表；

第二执行模块42，用于根据标签分类条件对预处理宽表进行分类，得到标签表；

第三执行模块43，用于根据汇总条件，对预处理宽表和标签表进行汇总，得到汇总宽表；

第四执行模块44，用于根据指标条件，对预处理宽表和汇总宽表进行处理，得到指标库。

具体的，通过执行第一执行模块41、第二执行模块42、第三执行模块43和第四执行模块44，生成后的代码获取到目标数据，完成整个自动开发的流程。

本方案按照配置信息生成对应的执行代码，有效的提升了代码的质量，统一了代码的风格，提升了代码的可维护性，有效降低了对开发人员能力的门槛要求；且通过配置信息自动实现，保证了源数据与生产流程的一致性，避免了源数据靠人工整理，与实际生产脱节的问题。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于数据库SQL代码生成方法，其特征在于，包括以下步骤：

设定配置信息；

发送配置信息至开发框架；

根据配置信息拼装成对应的SQL语句，并生成对应的发布函数；

所述根据配置信息拼装成对应的SQL语句，并生成对应的发布函数步骤之后，还包括，

执行对应的发布函数，并根据发布函数携带的配置信息，对源数据

依次进行数据整合、标签计算、数据汇总以及指标计算处理；

所述执行对应的发布函数，并根据发布函数携带的配置信息，对源数据依次进行数据整合、标签计算、数据汇总以及指标计算处理步骤，包括以下步骤：

根据目标字段从源数据中抽取目标字段对应的数据，并整合成预处理宽表；

根据标签分类条件对预处理宽表进行分类，得到标签表；

根据汇总条件，对预处理宽表和标签表进行汇总，得到汇总宽表；

根据指标条件，对预处理宽表和汇总宽表进行处理，得到指标库；

根据指标计算配置信息生成执行代码的算法包括生成指标宽表和宽表转竖表这两个。

2.如权利要求1所述的基于数据库SQL代码生成方法，其特征在于，所述设定配置信息步骤，包括，

设定数据整合配置信息，所述数据整合配置包含用于采集目标数据的目标字段；

设定标签计算配置信息，所述标签计算配置信息包含用于分类目标数据的标签分类条件；

设定数据汇总配置信息，所述数据汇总配置信息包含用于汇总目标数据的汇总条件；

设定指标计算配置信息，所述指标计算配置信息包含用于输出指标统计数据的指标条件。

3.一种基于数据库SQL代码生成系统，其特征在于，包括，

设定单元，用于设定配置信息；

输入单元，用于发送配置信息至开发框架；

开发单元，用于根据配置信息拼装成对应的SQL语句，并生成对应的发布函数；

还包括执行单元，用于执行对应的发布函数，并根据发布函数携带的配置信息，对源数据依次进行数据整合、标签计算、数据汇总以及指标计算处理；

所述执行单元包括：

第一执行模块，用于根据目标字段从源数据中抽取目标字段对应的数据，并整合成预处理宽表；

第二执行模块，用于根据标签分类条件对预处理宽表进行分类，得到标签表；

第三执行模块，用于根据汇总条件，对预处理宽表和标签表进行汇总，得到汇总宽表；

第四执行模块，用于根据指标条件，对预处理宽表和汇总宽表进行处理，得到指标库；

根据指标计算配置信息生成执行代码的算法包括生成指标宽表和宽表转竖表这两个。

4.如权利要求3所述的一种基于数据库SQL代码生成系统，其特征在于，所述设定单元包括：

第一设定模块，用于设定数据整合配置信息，所述数据整合配置包含用于采集目标数据的目标字段；

第二设定模块，用于设定标签计算配置信息，所述标签计算配置信息包含用于分类目标数据的标签分类条件；

第三设定模块，用于设定数据汇总配置信息，所述数据汇总配置信息包含用于汇总目标数据的汇总条件；

第四设定模块，用于设定指标计算配置信息，所述指标计算配置信息包含用于输出指标统计数据的指标条件。

Images