CN112732242A - 宽表加工脚本的生成方法及装置 - Google Patents

宽表加工脚本的生成方法及装置 Download PDF

Info

Publication number
CN112732242A
CN112732242A CN202110038597.9A CN202110038597A CN112732242A CN 112732242 A CN112732242 A CN 112732242A CN 202110038597 A CN202110038597 A CN 202110038597A CN 112732242 A CN112732242 A CN 112732242A
Authority
CN
China
Prior art keywords
wide table
generating
wide
source database
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110038597.9A
Other languages
English (en)
Inventor
韩明宵
陈震宇
刘国华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Postal Savings Bank of China Ltd
Original Assignee
Postal Savings Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Postal Savings Bank of China Ltd filed Critical Postal Savings Bank of China Ltd
Priority to CN202110038597.9A priority Critical patent/CN112732242A/zh
Publication of CN112732242A publication Critical patent/CN112732242A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Stored Programmes (AREA)

Abstract

本申请公开了一种宽表加工脚本的生成方法及装置。其中,该方法包括:确定生成宽表加工脚本所需的设置参数,其中,宽表为包括多个字段的数据库表,设置参数至少包括:多个源数据库表之间的关联关系、宽表的目标字段以及宽表的目标字段的统计规则;基于设置参数生成宽表的加工脚本。本申请解决了由于传统的宽表加工方式,需要纯手工sql脚本编写造成的工作效率低、准确率低的技术问题。

Description

宽表加工脚本的生成方法及装置
技术领域
本申请涉及数据库表领域,具体而言,涉及一种宽表加工脚本的生成方法及装置。
背景技术
随着大数据技术的发展,越来越多的经营数据可以被保留到大数据平台中,业务人员通过这些数据可以获得客户特征、行为、业务发展趋势等信息,为生产经营、营销管理、决策分析等提供数据支撑。传统的宽表加工方式,需要纯手工sql脚本编写,效率、规范性、准确率主要依赖各开发人员的水平及习惯。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种宽表加工脚本的生成方法及装置,以至少解决由于传统的宽表加工方式,需要纯手工sql脚本编写造成的工作效率低、准确率低的技术问题。
根据本申请实施例的一个方面,提供了一种宽表加工脚本的生成方法,包括:确定生成宽表加工脚本所需的设置参数,其中,宽表为包括多个字段的数据库表,设置参数至少包括:多个源数据库表之间的关联关系、宽表的目标字段以及宽表的目标字段的统计规则;基于设置参数生成宽表的加工脚本。
可选地,确定多个源数据库表之间的关联关系,包括:通过确定多个源数据库表中的每个源数据库表的字段是否为其他源数据库表的主键确定多个源数据库表之间的关联关系。
可选地,确定宽表的目标字段的统计规则之前,上述方法还包括:分别确定每个源数据库表包括的字段的类型;依据字段的类型确定字段的属性,字段的属性用于表征将字段作为宽表的目标字段时是否可以设置统计规则。
可选地,确定宽表的目标字段的统计规则,包括:调用多个源数据库表的字段的属性设置宽表的目标字段的统计规则。
可选地,确定多个源数据库表之间的关联关系之前,上述方法还包括:从不同的数据库中获取多个源数据库表。
可选地,基于设置参数生成宽表的加工脚本之后,上述方法还包括:依据加工脚本生成宽表。
根据本申请实施例的另一方面,还提供了一种宽表加工脚本的生成装置,包括:确定模块,用于确定生成宽表加工脚本所需的设置参数,其中,宽表为包括多个字段的数据库表,设置参数至少包括:多个源数据库表之间的关联关系、宽表的目标字段以及宽表的目标字段的统计规则;生成模块,用于基于设置参数生成宽表的加工脚本。
可选地,确定模块还用于通过确定多个源数据库表中的每个源数据库表的字段是否为其他源数据库表的主键确定多个源数据库表之间的关联关系。
根据本申请实施例的再一方面,还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行以上的宽表加工脚本的生成方法。
根据本申请实施例的再一方面,还提供了一种处理器,处理器用于运行存储在存储器中的程序,其中,程序运行时执行以上的宽表加工脚本的生成方法。
在本申请实施例中,采用确定生成宽表加工脚本所需的设置参数,其中,宽表为包括多个字段的数据库表,设置参数至少包括:多个源数据库表之间的关联关系、宽表的目标字段以及宽表的目标字段的统计规则;基于设置参数生成宽表的加工脚本的方式,通过将多张源表按照参数设置自动生成包含所需字段信息的宽表,从而实现了宽表加工脚本的自动生成,简化工作人员的工作量,提高工作效率、降低人员差异的影响的技术效果,进而解决了由于传统的宽表加工方式,需要纯手工sql脚本编写造成的工作效率低、准确率低技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种宽表加工脚本的生成方法的流程图;
图2是根据本申请实施例的另一种宽表加工脚本的生成方法的流程图;
图3是根据本申请实施例的一种宽表加工脚本的生成装置的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例,提供了一种宽表加工脚本的生成方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的一种宽表加工脚本的生成方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,确定生成宽表加工脚本所需的设置参数,其中,宽表为包括多个字段的数据库表,设置参数至少包括:多个源数据库表之间的关联关系、宽表的目标字段以及宽表的目标字段的统计规则;
步骤S104,基于设置参数生成宽表的加工脚本。
通过上述步骤,通过将多张源表按照参数设置自动生成包含所需字段信息的宽表,从而实现了宽表加工脚本的自动生成,简化工作人员的工作量,提高工作效率、降低人员差异的影响的技术效果。
根据本申请的一个可选地实施例,执行步骤S102时通过以下方法确定多个源数据库表之间的关联关系:通过确定多个源数据库表中的每个源数据库表的字段是否为其他源数据库表的主键确定多个源数据库表之间的关联关系。
针对每张源表,梳理表间关联关系,字段是否是其他表的主键及其与其他表的对照关系是1:1、1:n或者是n:1。
表1表间关联关系
Figure BDA0002894493780000041
根据本申请的另一个可选的实施例,在执行步骤S102确定宽表的目标字段的统计规则之前,还需要分别确定每个源数据库表包括的字段的类型;依据字段的类型确定字段的属性,字段的属性用于表征将字段作为宽表的目标字段时是否可以设置统计规则。
在本步骤中,维护表的字段属性信息,这些属性信息,会在设置统计规则时进行调用检查。如对一个字符串格式的字段是不能设置sum统计的。
表2表的字段属性信息
Figure BDA0002894493780000042
在本申请的一些可选的实施例中,在执行步骤S102时通过以下方式确定宽表的目标字段的统计规则:调用多个源数据库表的字段的属性设置宽表的目标字段的统计规则。
根据需要选定表及对应的字段,表1(字段1、字段2、字段4),表2(字段5、字段6),对需要的度量字段设置统计规则,如表1.字段4的统计规则设置为取最大值max,不设置时,默认求和sum。并将这些设置落地为目标宽表设置。
根据本申请的一个可选的实施例,在确定多个源数据库表之间的关联关系之前,还需要从不同的数据库中获取多个源数据库表。
将存储在不同系统不同数据库中的数据,统一接收到大数据平台数据库中,进行结构化存储,并且留存历史数据。
根据本申请的另一个可选的实施例,步骤S104执行完成之后,依据加工脚本生成宽表。
图2是根据本申请实施例的另一种宽表加工脚本的生成方法的流程图,如图2所示,本发明以数据库为基础环境,将所需源表进行集中存储,然后将表关系、目标输出、筛选条件等作为参数进行设置,并落地存储到数据库中。脚本生成功能通过数据库操作语句,根据这些设置表生成宽表加工SQL脚本。
下面以一个具体实施例对上述方法进行说明:
1.首先从目标宽表设置表中获取目标字段:
Figure BDA0002894493780000051
2.从源表属性设置表中获取表间关联关系:
Figure BDA0002894493780000052
3.目标宽表设置表中获取筛选条件:
Select‘where’||”||a.来源表||’.’||a.目标字段||’,’||”
||a.限制条件||”||‘and’
From target_property a
4.最后将上面的结果,进行格式处理,去掉最后一个字段后面的逗号,最后一条关联条件的and等处理,生产可执行的脚本。
本申请实施例提供的上述方法,将宽表加工的脚本实现自动化生成,首先提高工作效率,脚本自动生成,工作人员不需要逐个代码的输入,只需要在最后进行核验微调,减少了机械性的工作量,进而提高工作效率;脚本更加规范,减少开发人员习惯不同导致的脚本的差异;降低操作风险,人工参与的少,操作风险自然降低。
图3是根据本申请实施例的一种宽表加工脚本的生成装置的结构图,如图3所示,该装置包括:
确定模块30,用于确定生成宽表加工脚本所需的设置参数,其中,宽表为包括多个字段的数据库表,设置参数至少包括:多个源数据库表之间的关联关系、宽表的目标字段以及宽表的目标字段的统计规则;
生成模块32,用于基于设置参数生成宽表的加工脚本。
根据本申请的一个可选的实施例,确定模块30还用于通过确定多个源数据库表中的每个源数据库表的字段是否为其他源数据库表的主键确定多个源数据库表之间的关联关系。
需要说明的是,图3所示实施例的优选实施方式可以参见图1所示实施例的相关描述,此处不再赘述。
本申请实施例还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行以上的宽表加工脚本的生成方法。
上述非易失性存储介质用于存储执行以下功能的程序:确定生成宽表加工脚本所需的设置参数,其中,宽表为包括多个字段的数据库表,设置参数至少包括:多个源数据库表之间的关联关系、宽表的目标字段以及宽表的目标字段的统计规则;基于设置参数生成宽表的加工脚本。
本申请实施例还提供了一种处理器,处理器用于运行存储在存储器中的程序,其中,程序运行时执行以上的宽表加工脚本的生成方法。
处理器用于运行执行以下功能的程序:确定生成宽表加工脚本所需的设置参数,其中,宽表为包括多个字段的数据库表,设置参数至少包括:多个源数据库表之间的关联关系、宽表的目标字段以及宽表的目标字段的统计规则;基于设置参数生成宽表的加工脚本。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,ReYZCXd-Only Memory)、随机存取存储器(RYZCXM,RYZCXndom YZCXccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种宽表加工脚本的生成方法,其特征在于,包括:
确定生成宽表加工脚本所需的设置参数,其中,所述宽表为包括多个字段的数据库表,所述设置参数至少包括:多个源数据库表之间的关联关系、所述宽表的目标字段以及所述宽表的目标字段的统计规则;
基于所述设置参数生成所述宽表的加工脚本。
2.根据权利要求1所述的方法,其特征在于,确定多个源数据库表之间的关联关系,包括:
通过确定所述多个源数据库表中的每个源数据库表的字段是否为其他源数据库表的主键确定所述多个源数据库表之间的关联关系。
3.根据权利要求1所述的方法,其特征在于,确定所述宽表的目标字段的统计规则之前,所述方法还包括:
分别确定每个所述源数据库表包括的字段的类型;
依据所述字段的类型确定所述字段的属性,所述字段的属性用于表征将所述字段作为所述宽表的目标字段时是否可以设置所述统计规则。
4.根据权利要求3所述的方法,其特征在于,确定所述宽表的目标字段的统计规则,包括:
调用所述多个源数据库表的字段的属性设置所述宽表的目标字段的统计规则。
5.根据权利要求2所述的方法,其特征在于,确定多个源数据库表之间的关联关系之前,所述方法还包括:
从不同的数据库中获取所述多个源数据库表。
6.根据权利要求1所述的方法,其特征在于,基于所述设置参数生成所述宽表的加工脚本之后,所述方法还包括:
依据所述加工脚本生成所述宽表。
7.一种宽表加工脚本的生成装置,其特征在于,包括:
确定模块,用于确定生成宽表加工脚本所需的设置参数,其中,所述宽表为包括多个字段的数据库表,所述设置参数至少包括:多个源数据库表之间的关联关系、所述宽表的目标字段以及所述宽表的目标字段的统计规则;
生成模块,用于基于所述设置参数生成所述宽表的加工脚本。
8.根据权利要求7所述的装置,其特征在于,所述确定模块还用于通过确定所述多个源数据库表中的每个源数据库表的字段是否为其他源数据库表的主键确定所述多个源数据库表之间的关联关系。
9.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至6中任意一项所述的宽表加工脚本的生成方法。
10.一种处理器,其特征在于,所述处理器用于运行存储在存储器中的程序,其中,所述程序运行时执行权利要求1至6中任意一项所述的宽表加工脚本的生成方法。
CN202110038597.9A 2021-01-12 2021-01-12 宽表加工脚本的生成方法及装置 Pending CN112732242A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110038597.9A CN112732242A (zh) 2021-01-12 2021-01-12 宽表加工脚本的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110038597.9A CN112732242A (zh) 2021-01-12 2021-01-12 宽表加工脚本的生成方法及装置

Publications (1)

Publication Number Publication Date
CN112732242A true CN112732242A (zh) 2021-04-30

Family

ID=75591462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110038597.9A Pending CN112732242A (zh) 2021-01-12 2021-01-12 宽表加工脚本的生成方法及装置

Country Status (1)

Country Link
CN (1) CN112732242A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535817A (zh) * 2021-07-13 2021-10-22 浙江网商银行股份有限公司 特征宽表生成及业务处理模型的训练方法和装置
CN114003230A (zh) * 2021-09-28 2022-02-01 厦门国际银行股份有限公司 一种sql脚本快速编写方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038207A (zh) * 2017-02-20 2017-08-11 阿里巴巴集团控股有限公司 一种数据查询方法、数据处理方法及装置
CN109684332A (zh) * 2018-12-20 2019-04-26 贵州工程应用技术学院 一种数据宽表生成方法、装置及系统
CN110909016A (zh) * 2019-10-12 2020-03-24 中国平安财产保险股份有限公司 基于数据库的重复关联检测方法、装置、设备及存储介质
CN111008521A (zh) * 2019-12-06 2020-04-14 北京三快在线科技有限公司 生成宽表的方法、装置及计算机存储介质
CN111291049A (zh) * 2020-01-19 2020-06-16 软通动力信息技术有限公司 一种创建表的方法、装置、设备和存储介质
CN111324610A (zh) * 2020-02-19 2020-06-23 深圳市融壹买信息科技有限公司 一种数据同步的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038207A (zh) * 2017-02-20 2017-08-11 阿里巴巴集团控股有限公司 一种数据查询方法、数据处理方法及装置
CN109684332A (zh) * 2018-12-20 2019-04-26 贵州工程应用技术学院 一种数据宽表生成方法、装置及系统
CN110909016A (zh) * 2019-10-12 2020-03-24 中国平安财产保险股份有限公司 基于数据库的重复关联检测方法、装置、设备及存储介质
CN111008521A (zh) * 2019-12-06 2020-04-14 北京三快在线科技有限公司 生成宽表的方法、装置及计算机存储介质
CN111291049A (zh) * 2020-01-19 2020-06-16 软通动力信息技术有限公司 一种创建表的方法、装置、设备和存储介质
CN111324610A (zh) * 2020-02-19 2020-06-23 深圳市融壹买信息科技有限公司 一种数据同步的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535817A (zh) * 2021-07-13 2021-10-22 浙江网商银行股份有限公司 特征宽表生成及业务处理模型的训练方法和装置
CN113535817B (zh) * 2021-07-13 2024-05-14 浙江网商银行股份有限公司 特征宽表生成及业务处理模型的训练方法和装置
CN114003230A (zh) * 2021-09-28 2022-02-01 厦门国际银行股份有限公司 一种sql脚本快速编写方法及系统
CN114003230B (zh) * 2021-09-28 2022-08-09 厦门国际银行股份有限公司 一种sql脚本快速编写方法及系统

Similar Documents

Publication Publication Date Title
CN110795455B (zh) 依赖关系解析方法、电子装置、计算机设备及可读存储介质
CN112732242A (zh) 宽表加工脚本的生成方法及装置
CN109918678B (zh) 一种字段含义识别方法和装置
CN108875048B (zh) 报表生成方法、装置、电子设备及可读存储介质
CN111382182A (zh) 数据处理方法、装置、电子设备及存储介质
CN112612813A (zh) 一种测试数据的生成方法和装置
CN114490375A (zh) 应用程序的性能测试方法、装置、设备及存储介质
CN110633078B (zh) 一种实现自动生成特征计算代码的方法及装置
CN116957813B (zh) 风控策略测试方法、装置、电子设备及可读存储介质
CN110362540B (zh) 一种数据存储、访客数获取方法及装置
CN115130959B (zh) 生成备件bom的方法、系统、终端及存储介质
CN109840213B (zh) 一种gui测试的测试数据创建方法、装置、终端及存储介质
CN114860819A (zh) 商业智能系统的构建方法、装置、设备和存储介质
CN110941608B (zh) 一种埋点分析和漏斗分析报表生成方法、装置及设备
CN110597572B (zh) 一种服务调用关系分析方法和计算机系统
CN110414813B (zh) 指标曲线的构建方法、装置及设备
KR101866826B1 (ko) 게임 서버의 운용 에스펙트 호출 방법
CN113377604A (zh) 一种数据处理方法、装置、设备和存储介质
CN114237600B (zh) 前端页面的代码生成方法、装置、设备以及存储介质
CN117850764B (zh) 基于集成式模型驱动架构的设计建模方法及装置
CN112700328B (zh) 一种指标自动分析方法、装置、设备及存储介质
CN113760489B (zh) 一种资源配置方法和装置
KR101866822B1 (ko) 게임 서버의 운용 에스펙트 생성 방법
CN114721945A (zh) 基于图数据库的分配方法及其装置、电子设备及存储介质
CN116304211A (zh) 基于图计算的信息拦截方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination