CN109542875B - 一种配置文件的生成方法及装置 - Google Patents
一种配置文件的生成方法及装置 Download PDFInfo
- Publication number
- CN109542875B CN109542875B CN201811382237.5A CN201811382237A CN109542875B CN 109542875 B CN109542875 B CN 109542875B CN 201811382237 A CN201811382237 A CN 201811382237A CN 109542875 B CN109542875 B CN 109542875B
- Authority
- CN
- China
- Prior art keywords
- information
- file
- data dictionary
- version identification
- configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种配置文件生成方法及装置,该方法包括:接收配置文件生成请求,配置文件生成请求包括指定数据字典的版本标识:第一版本标识和第二版本标识;其中,数据字典是基于源系统中的数据建立的,在源系统中的数据发生变化时,对其进行更新,并分配新的版本标识;分配第二版本标识的时间晚于分配第一版本标识的时间;确定第一版本标识对应的数据字典和第二版本标识对应的数据字典,并对第一版本标识对应的数据字典中的信息,和第二版本标识对应的数据字典中的信息进行差异分析,获得差异信息;根据差异信息和第二版本标识对应的数据字典中的信息,生成源系统中发生变化的数据对应的配置文件,该生成配置文件的方法处理效率较高。
Description
技术领域
本申请涉及数据库数据处理技术领域,更具体地说,涉及一种配置文件的生成方法及装置。
背景技术
ETL(Extract-Transform-Load)过程是将源系统的数据经过抽取和转换后,加载到数据库的过程。要实现ETL过程,需要设置很多配置文件,以根据设置的配置文件进行源系统数据的抽取、清洗以及加载。
源系统中的数据会随着源系统的改造优化而发生变化,相应的,需要操作员对配置文件进行更新以及建立针对数据库表更新的配置文件以获得新的配置文件。
然而,源系统中具有海量的数据,当大量数据发生变化时,当前获得新的配置文件的方式存在处理效率低的问题。
发明内容
有鉴于此,本申请提供一种配置文件生成方法及装置,以解决现有技术获得新的配置文件存在的处理效率低的问题。
为了实现上述目的,现提出的方案如下:
一种配置文件的生成方法,所述方法包括:
接收配置文件生成请求,所述配置文件生成请求包括指定数据字典的版本标识:第一版本标识和第二版本标识;其中,所述数据字典是基于源系统中的数据建立的,在源系统中的数据发生变化时,对其进行更新,并分配新的版本标识;分配所述第二版本标识的时间晚于分配所述第一版本标识的时间;
确定所述第一版本标识对应的数据字典和所述第二版本标识对应的数据字典,并对所述第一版本标识对应的数据字典中的信息,和所述第二版本标识对应的数据字典中的信息进行差异分析,获得差异信息;
根据所述差异信息和所述第二版本标识对应的数据字典中的信息,生成所述源系统中发生变化的数据对应的配置文件。
一种配置文件生成装置,该装置包括:
接收模块,用于接收配置文件生成请求,所述配置文件生成请求包括指定数据字典的版本标识:第一版本标识和第二版本标识;其中,所述数据字典是基于源系统中的数据建立的,在源系统中的数据发生变化时,对其进行更新,并分配新的版本标识;分配所述第二版本标识的时间晚于分配所述第一版本标识的时间;
差异分析模块,用于确定所述第一版本标识对应的数据字典和所述第二版本标识对应的数据字典,并对所述第一版本标识对应的数据字典中的信息,和所述第二版本标识对应的数据字典中的信息进行差异分析,获得差异信息;
生成模块,用于根据所述差异信息和所述第二版本标识对应的数据字典中的信息,生成所述源系统中发生变化的数据对应的配置文件。
从上述的技术方案可以看出,本申请预先建立数据字典,且基于源系统中数据的变数,维护数据字典,得到各历史版本的数据字典和当前最新版本的数据字典。接收配置文件生成请求,该请求中包括指定数据字典的版本标识:第一版本标识和第二版本标识,分配所述第二版本标识的时间晚于分配第一版本标识的时间,也即第二版本标识对应的数据字典是较新版本的数据字典。对这两个版本的数据字典中的信息进行差异分析,获得差异信息,进而根据差异信息和较新版本数据字典中的信息,生成源系统中发生变化的数据对应的配置文件。可见,本申请通过对两个不同版本的数据字典中的信息差异分析,自动生成源系统中发生变化的数据对应的配置文件,配置文件生成速度较快,提高了数据处理的效率。
且,由于是对任意两个版本的数据字典进行差异分析,所以,可以灵活的生成不同数据环境下的配置文件,如针对初始版本数据字典对应的数据环境,其想要对最新版本数据字典对应的源系统数据进行加载,则通过本申请可直接生成针对初始版本数据字典和最新版本数据字典的配置文件,从而直接将该配置文件应用于初始版本数据字典对应的数据环境中,以实现对最新版本数据字典对应的源系统数据的加载。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种配置文件生成方法流程图;
图2为本申请另一实施例公开的一种配置文件生成方法流程图;
图3为本申请实施例公开的一种配置文件生成装置框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例公开一种配置文件的生成方法,如图1所示,该方法包括:
S100、接收配置文件生成请求,配置文件生成请求包括指定数据字典的版本标识:第一版本标识和第二版本标识。
其中,数据字典是基于源系统中的数据建立的,具体根据源系统提供的描述数据表结构的接口文档建立的,该接口文档描述了数据的表信息和字段级信息。在源系统中的数据发生变化时,对数据字典进行更新,并分配新的版本标识,分配第二版本标识的时间晚于分配第一版本标识的时间。
其中,源系统中的数据以表的形式存储,数据的表信息和字段级信息包括表名、字段名、数据类型、字段长度等信息。
其中,在一数据库系统中,根据源系统中的初始数据,建立初始版本的数据字典,并为该初始版本的数据字典分配版本标识;在源系统中的初始数据发生变化时,对初始版本的数据字典进行更新,并对更新后的数据字典分配新的版本标识,该分配了新的版本标识的数据字典即为当前最新版本的数据字典;后续,若源系统中的数据再次发生了变化,则对当前最新版本的数据字典进行更新,并对更新后的数据字典分配新的版本标识。针对配置文件生成请求中包括的第一版本标识和第二版本标识来说,分配第二版本标识的时间晚于分配第一版本标识的时间,即第二版本标识对应的数据字典的版本新于第一版本标识对应的数据字典的版本。
具体的,通过操作员输入初始数据建立起初始版本的数据字典,后续,可通过操作员输入相关信息更新数据字典并为修改的数据字典分配新的版本标识,或在数据发生变化时,自动更新数据字典以获得新的版本标识的数据字典。
可见,上述过程是维护数据字典的过程,只要源系统中的数据发生变化,就获得一个新的数据字典,如此数据库系统中存储了各历史版本的数据字典,以及当前最新版本的数据字典。
在实际应用中,设定一独立的维护数据字典的环境X。不同的应用环境可能加载有不同的源系统数据,例如A应用环境中加载的是源系统中的初始数据,该应用环境对应的数据字典即为初始版本1.0的数据字典,B应用环境中加载的是源系统中经过修改的数据,该应用环境对应的数据字典为2.0版本的数据字典,C应用环境中加载的是源系统再次经过修改的数据,该应用环境对应的数据字典为3.0版本的数据字典。分配该3.0版本标识的时间是晚于分配2.0版本标识的时间的,3.0版本的数据字典是最新版本的数据字典。此时,X环境中维护有1.0版本的数据字典、2.0版本的数据字典和3.0版本的数据字典。若,A应用环境想将相关配置文件更新到与C环境相同,则接收到的配置文件生成请求中包括1.0版本标识和3.0版本标识。
S101、确定第一版本标识对应的数据字典和第二版本标识对应的数据字典,对第一版本标识对应的数据字典中的信息和第二版本标识对应的数据字典中的信息进行差异分析,获得差异信息。
S102、根据差异信息和第二版本标识对应的数据字典中的信息,生成源系统中发生变化的数据对应的配置文件。
后续,将生成的配置文件发送给A应用环境,在A应用环境中,确定A应用环境中配置文件标识与生成的配置文件标识相同的目标配置文件,然后将生成的配置文件与目标配置文件的内容进行合并,所谓合并是将生成的配置文件的内容添加到目标配置文件中,对其中内容进行替换或补充,获得A应用环境中更新后的配置文件。
具体的,根据差异信息和第二版本标识对应的数据字典中的信息,生成源系统中发生变化的数据对应的配置文件的过程,包括:
1)根据差异信息和第二指定版本标识对应的数据字典中的信息,生成源系统中发生变化的数据对应的清洗规则配置表、文件与表关联关系配置表、加载规则配置表、数据库表更新语句表和创建存储过程语句表;
具体的,根据差异信息和第二指定版本标识对应的数据字典中的信息,获得清洗规则并将清洗规则存储到清洗规则配置表,获得文件与表关联关系并将文件与表关联关系存储到文件与表关联关系配置表,获得加载规则并将加载规则存储到加载规则配置表,获得数据库表的更新语句和创建存储过程的语句,并分别存储到数据库表更新语句表和创建存储过程语句表,上述清洗规则配置表、文件与表关联关系配置表、加载规则配置表、数据库表更新语句表和创建存储过程语句表都是临时数据表。
2)对所述清洗规则配置表、关联关系配置表、数据库表更新语句表和创建存储过程语句表进行处理,生成与所述清洗规则配置表、表关联关系配置表、数据库表更新语句表和创建存储过程语句表分别对应的清洗规则配置文件、文件与表关联关系配置文件、数据库表更新语句的文件和创建存储过程语句的文件。
具体的,将各个临时数据表中的数据导出到各自对应的文件中,即可得到各配置文件。其中,清洗规则配置表存储清洗规则信息,文件与表关联关系配置表存储源系统中文件名与数据库中表名的对应关系信息,加载规则配置表存储加载文件的规则信息,数据库表更新语句表存储更新数据库中表结构的语句信息,创建存储过程语句表存储将接收到的源系统传送文件中的数据存储到数据库中的存储过程的语句信息。
本申请上述实施例建立数据字典,且基于源系统中的数据变数,维护数据字典,得到各历史版本的数据字典和当前最新版本的数据字典。在接收配置文件生成请求后,该请求中包括是对数据字典的版本标识:第一版本标识和第二版本标识,分配所述第二版本标识的时间晚于分配第一版本标识的时间,也即第二版本标识对应的数据字典是较新版本的数据字典。对这两个版本的数据字典中的信息进行差异分析,获得差异信息,进而根据差异信息和较新版本的数据字典中的信息,生成所述源系统中发生变化的数据对应的配置文件。可见,本申请通过维护数据字典,并对两个不同版本的数据字典中的信息差异分析,自动生成源系统中发生变化的数据对应的配置文件,配置文件生成速度较快,提高了数据处理的效率。且由于避免了手动修改大量配置文件可能导致的错误,极大降低了出错概率,提高了工作效率。
且,由于是对任意两个版本的数据字典进行差异分析,所以,可以灵活的生成不同数据环境下的配置文件,如针对初始版本数据字典对应的数据环境,其想要对最新版本数据字典对应的源系统数据进行加载,则通过本申请可直接生成针对初始版本和最新版本的配置文件,从而直接将该配置文件应用于初始版本数据字典对应的数据环境中,以实现对最新版本数据字典对应的源系统数据的加载。
在本申请另一实施例中提供一种配置文件生成方法,如图2所示,该方法包括:
S200、接收配置文件生成请求,所述配置文件生成请求包括指定数据字典的版本标识:第一版本标识和第二版本标识;其中,数据字典是基于源系统中的数据建立的,在源系统中的数据发生变化时,对其进行更新,并分配新的版本标识;分配所述第二版本标识的时间晚于分配所述第一版本标识的时间;
其中,数据字典包括:表级信息表和表字段级信息表。表级信息包括表名,对应的文件名、源系统名、文件码制、字段分隔符等信息;表字段级信息包括表名、表中字段名、字段位置、字段类型、字段长度、主键等信息。
S201、确定第一版本标识对应的数据字典和第二版本标识对应的数据字典,并对所述第一版本标识对应的数据字典中的信息,和所述第二版本标识对应的数据字典中的信息进行差异分析,获得差异信息;
其中,差异信息包括表级差异信息和表字段级信息。表级差异信息包括新增表信息、删除表信息和表属性修改信息,表属性修改信息包括表英文名修改、中文描述修改、表对应文件名修改等修改信息。表字段级差异信息包括表中新增字段信息、删除字段信息和字段属性修改信息,字段属性修改信息包括修改字段在表中的位置、字段类型、字段长度、修改字段是否为主键等信息。
S202、根据表级差异信息和第二版本标识对应的数据字典的表级信息表中的信息,生成文件与表关联关系配置表、表级清洗规则配置表和加载规则配置表;
具体的,根据表级差异信息和第二版本标识对应的数据字典中的表级信息表中的信息,生成文件与表关联关系配置表、表级清洗规则配置表和加载规则配置表;具体的,根据表级差异信息确定新增表,以及属性信息发生变化了表,再从数据字典的表级信息表中找到确定的新增表和属性信息变化的表的相关表信息,进而针对这些相关表信息生成文件与表关联关系配置表、表级清洗规则表和加载规则配置表。
其中,在应用环境中对源系统中的数据实现ETL过程时,源系统中的数据是以文件形式下发到应用环境中的,即应用环境接收到的源系统数据是文件形式的,所以,需要设置文件与表关联关系配置文件,以根据接收到的文件的文件名确定与其对应的数据库数据表。
加载规则配置表中的信息包括作业id、调用存储过程的名字、作业依赖等信息。例如表BOCS_INVM,其对应两个文件,名称为01A101.id1和01A101.id2,需配置两个加载规则:作业A和B,作业A会调用规则指定的存储过程a,将文件01A101.id1的内容加载到数据库表BOCS_INVM中,作业B会调用规则指定的存储过程b,将文件01A101.id2的内容加载到数据库表BOCS_INVM中,并且作业B依赖作业A,即文件01A101.id1加载完后才能加载文件01A101.id2。针对删除表的信息,可以在加载规则配置表中,将被删除表对应的加载作业修改为虚作业,如此,在加载源系统下传的文件时,虚作用是不会加载的。
S203、根据表级差异信息和第二版本标识对应的数据字典的表字段级信息表中的信息,生成字段级清洗规则配置表;
具体的,根据表级差异信息确定新增表,以及属性信息发生变化了表,再从数据字典的表字段级信息表中找到确定的表的相关字段级信息,针对这些相关字段级信息,生成字段级清洗规则配置表。
S204、根据表级差异信息和表字段级差异信息,及第二版本标识对应的数据字典的表字段级信息表和表级信息表中的信息,生成数据库表更新语句表和创建存储过程语句表。
具体的,分析以下情况生成数据库表的更新语句和创建存储过程的语句,情况不同更新语句不同。具体的情况有:字段类型变化、字段长度变化和字段重命名,以及删除字段,删除字段又包括:删除字段为主键,删除字段为主键需重建主键约束,删除字段且中间无新增字段等情况;新增字段,新增字段又包括:末尾新增字段,中间新增字段,有主键变化或新增字段为主键;字段位置修改;新增表等。此外,针对删除表的信息,相较于在加载规则配置表进行配置,也可以生成一个单独配置文件,该配置文件中记录中删除要删除表对应的所有配置信息语句。
S205、对清洗规则配置表、文件与表关联关系配置表、数据库表更新语句表和创建存储过程语句表进行处理,生成与所述清洗规则配置表、文件与表关联关系配置表、数据库表更新语句表和创建存储过程语句表分别对应的配置文件。配置文件包括有清洗规则配置文件、文件与表关联关系配置文件、数据库表更新语句的文件和创建存储过程语句的文件。
上述实施例中,最终生成的配置文件是根据源系统中数据变化的具体情况的,例如新增字段是中间新增字段,则生成的数据库表更新语句的文件是针对整个表的,而若新增字段是末尾新增字段,则生成的更新语句的文件中只包括了针对该末尾新增字段的配置语句,而无需再生成针对整个表的配置文件。后续将生成的配置文件下发到应用环境中时,只需将针对该末尾新增字段的配置文件与已存在的针对原有字段的配置文件进行合并即可,如在原有字段的配置文件中添加该针对该末尾新增字段的配置信息。可见,本申请生成配置文件的过程中处理数据量较小。
本申请实施例还提供一种配置文件的生成装置,如图3所示,该装置包括:
接收模块300,用于接收配置文件生成请求,所述配置文件生成请求包括指定数据字典的版本标识:第一版本标识和第二版本标识;其中,所述数据字典是基于源系统中的数据建立的,在源系统中的数据发生变化时,对其进行更新,并分配新的版本标识;分配所述第二版本标识的时间晚于分配所述第一版本标识的时间;
差异分析模块301,用于确定所述第一版本标识对应的数据字典和所述第二版本标识对应的数据字典,并对所述第一版本标识对应的数据字典中的信息,和所述第二版本标识对应的数据字典中的信息进行差异分析,获得差异信息;
生成模块302,用于根据所述差异信息和所述第二版本标识对应的数据字典中的信息,生成所述源系统中发生变化的数据对应的配置文件。
其中,生成模块302包括:
配置表生成模块,用于根据所述差异信息和所述第二指定版本标识对应的数据字典中的信息,生成所述源系统中发生变化的数据对应的清洗规则配置表、文件与表关联关系配置表、加载规则配置表、数据库表更新语句表和创建存储过程语句表;
处理模块,用于对所述清洗规则配置表、文件与表关联关系配置表、数据库表更新语句表和创建存储过程语句表进行处理,生成与所述清洗规则配置表、文件与表关联关系配置表、数据库表更新语句表和创建存储过程语句表分别对应的清洗规则配置文件、文件与表关联关系配置文件、数据库表更新语句的文件和创建存储过程语句的文件;
其中,所述清洗规则配置表存储清洗规则信息,所述文件与表关联关系配置表存储所述源系统中文件名与数据库中表名的对应关系信息,所述加载规则配置表存储加载文件的规则信息,所述数据库表更新语句表存储更新数据库中表结构的语句信息,所述创建存储过程语句表存储将接收到的源系统传送文件中的数据存储到数据库中的存储过程的语句信息。
具体的,数据字典包括:表级信息表和表字段级信息表;差异信息包括:表级差异信息和表字段级差异信息;所述表级差异信息包括新增表信息、删除表信息和表属性修改信息;所述表字段级差异信息包括表中新增字段信息、删除字段信息和字段属性修改信息。
配置表生成模块包括:
第一生成子模块,用于根据所述表级差异信息和所述第二版本标识对应的数据字典的表级信息表中的信息,生成所述文件与表关联关系配置表、表级清洗规则配置表和加载规则配置表;
第二生成子模块,用于根据所述表级差异信息和所述第二版本标识对应的数据字典的表字段级信息表中的信息,生成字段级清洗规则配置表;
第三生成子模块,根据所述表级差异信息和表字段级差异信息,及第二版本标识对应的数据字典的表字段级信息表和表级信息表中的信息,生成数据库表更新语句表和创建存储过程语句表。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (4)
1.一种配置文件的生成方法,其特征在于,所述方法包括:
接收配置文件生成请求,所述配置文件生成请求包括指定数据字典的版本标识:第一版本标识和第二版本标识;其中,所述数据字典是基于源系统中的数据建立的,在源系统中的数据发生变化时,对其进行更新,并分配新的版本标识;分配所述第二版本标识的时间晚于分配所述第一版本标识的时间;
确定所述第一版本标识对应的数据字典和所述第二版本标识对应的数据字典,并对所述第一版本标识对应的数据字典中的信息,和所述第二版本标识对应的数据字典中的信息进行差异分析,获得差异信息;
根据所述差异信息和所述第二版本标识对应的数据字典中的信息,生成所述源系统中发生变化的数据对应的配置文件;
所述根据所述差异信息和所述第二版本标识对应的数据字典中的信息,生成所述源系统中发生变化的数据对应的配置文件包括:
根据所述差异信息和所述第二版本标识对应的数据字典中的信息,生成所述源系统中发生变化的数据对应的清洗规则配置表、文件与表关联关系配置表、加载规则配置表、数据库表更新语句表和创建存储过程语句表;
对所述清洗规则配置表、文件与表关联关系配置表、数据库表更新语句表和创建存储过程语句表进行处理,生成与所述清洗规则配置表、文件与表关联关系配置表、数据库表更新语句表和创建存储过程语句表分别对应的清洗规则配置文件、文件与表关联关系配置文件、数据库表更新语句的文件和创建存储过程语句的文件;
其中,所述清洗规则配置表存储清洗规则信息,所述文件与表关联关系配置表存储所述源系统中文件名与数据库中表名的对应关系信息,所述加载规则配置表存储加载文件的规则信息,所述数据库表更新语句表存储更新数据库中表结构的语句信息,所述创建存储过程语句表存储将接收到的源系统传送文件中的数据存储到数据库中的存储过程的语句信息;
所述数据字典包括:表级信息表和表字段级信息表;
所述差异信息包括:表级差异信息和表字段级差异信息;所述表级差异信息包括新增表信息、删除表信息和表属性修改信息;所述表字段级差异信息包括表中新增字段信息、删除字段信息和字段属性修改信息。
2.如权利要求1所述方法,其特征在于,所述根据所述差异信息和所述第二版本标识对应的数据字典中的信息,生成清洗规则配置表、文件与表关联关系配置表、加载规则配置表、数据库表更新语句表和创建存储过程语句表包括:
根据所述表级差异信息和所述第二版本标识对应的数据字典的表级信息表中的信息,生成所述文件与表关联关系配置表、表级清洗规则配置表和加载规则配置表;
根据所述表级差异信息和所述第二版本标识对应的数据字典的表字段级信息表中的信息,生成字段级清洗规则配置表;
根据所述表级差异信息和表字段级差异信息,及第二版本标识对应的数据字典的表字段级信息表和表级信息表中的信息,生成数据库表更新语句表和创建存储过程语句表。
3.一种配置文件生成装置,其特征在于,所述装置包括:
接收模块,用于接收配置文件生成请求,所述配置文件生成请求包括指定数据字典的版本标识:第一版本标识和第二版本标识;其中,所述数据字典是基于源系统中的数据建立的,在源系统中的数据发生变化时,对其进行更新,并分配新的版本标识;分配所述第二版本标识的时间晚于分配所述第一版本标识的时间;
差异分析模块,用于确定所述第一版本标识对应的数据字典和所述第二版本标识对应的数据字典,并对所述第一版本标识对应的数据字典中的信息,和所述第二版本标识对应的数据字典中的信息进行差异分析,获得差异信息;
生成模块,用于根据所述差异信息和所述第二版本标识对应的数据字典中的信息,生成所述源系统中发生变化的数据对应的配置文件;
所述生成模块包括:
配置表生成模块,用于根据所述差异信息和所述第二版本标识对应的数据字典中的信息,生成所述源系统中发生变化的数据对应的清洗规则配置表、文件与表关联关系配置表、加载规则配置表、数据库表更新语句表和创建存储过程语句表;
处理模块,用于对所述清洗规则配置表、文件与表关联关系配置表、数据库表更新语句表和创建存储过程语句表进行处理,生成与所述清洗规则配置表、文件与表关联关系配置表、数据库表更新语句表和创建存储过程语句表分别对应的清洗规则配置文件、文件与表关联关系配置文件、数据库表更新语句的文件和创建存储过程语句的文件;
其中,所述清洗规则配置表存储清洗规则信息,所述文件与表关联关系配置表存储所述源系统中文件名与数据库中表名的对应关系信息,所述加载规则配置表存储加载文件的规则信息,所述数据库表更新语句表存储更新数据库中表结构的语句信息,所述创建存储过程语句表存储将接收到的源系统传送文件中的数据存储到数据库中的存储过程的语句信息;
所述数据字典包括:表级信息表和表字段级信息表;
所述差异信息包括:表级差异信息和表字段级差异信息;所述表级差异信息包括新增表信息、删除表信息和表属性修改信息;所述表字段级差异信息包括表中新增字段信息、删除字段信息和字段属性修改信息。
4.如权利要求3所述装置,其特征在于,所述配置表生成模块包括:
第一生成子模块,用于根据所述表级差异信息和所述第二版本标识对应的数据字典的表级信息表中的信息,生成所述文件与表关联关系配置表、表级清洗规则配置表和加载规则配置表;
第二生成子模块,用于根据所述表级差异信息和所述第二版本标识对应的数据字典的表字段级信息表中的信息,生成字段级清洗规则配置表;
第三生成子模块,根据所述表级差异信息和表字段级差异信息,及第二版本标识对应的数据字典的表字段级信息表和表级信息表中的信息,生成数据库表更新语句表和创建存储过程语句表。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811382237.5A CN109542875B (zh) | 2018-11-20 | 2018-11-20 | 一种配置文件的生成方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811382237.5A CN109542875B (zh) | 2018-11-20 | 2018-11-20 | 一种配置文件的生成方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109542875A CN109542875A (zh) | 2019-03-29 |
CN109542875B true CN109542875B (zh) | 2021-09-24 |
Family
ID=65848452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811382237.5A Active CN109542875B (zh) | 2018-11-20 | 2018-11-20 | 一种配置文件的生成方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109542875B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110175020B (zh) * | 2019-04-10 | 2023-08-22 | 创新先进技术有限公司 | 框架属性信息扩展方法和装置、框架加载方法和装置 |
WO2021051341A1 (zh) * | 2019-09-19 | 2021-03-25 | 深圳市大疆创新科技有限公司 | 系统运行方法、系统、可移动平台及存储介质 |
CN111563090B (zh) * | 2020-05-09 | 2023-11-21 | 中国银行股份有限公司 | 多批量系统加载同源数据的方法及装置 |
CN112069773A (zh) * | 2020-07-23 | 2020-12-11 | 北京三快在线科技有限公司 | 数据处理系统、方法、装置、电子设备和计算机可读介质 |
CN112130924B (zh) * | 2020-08-18 | 2022-08-12 | 贝壳技术有限公司 | 应用系统数据解析方法及装置 |
CN112037074B (zh) * | 2020-09-11 | 2024-04-19 | 中国银行股份有限公司 | 基于可视化的数据文件解析方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104133829A (zh) * | 2013-12-18 | 2014-11-05 | 腾讯科技(深圳)有限公司 | 监控业务运行数据入库的方法和相关设备及系统 |
CN105808778A (zh) * | 2016-03-30 | 2016-07-27 | 中国银行股份有限公司 | 一种海量数据抽取、转换、加载方法及装置 |
CN106326128A (zh) * | 2016-09-06 | 2017-01-11 | 网易(杭州)网络有限公司 | 配置文件的检测方法及装置 |
CN106844772A (zh) * | 2017-02-28 | 2017-06-13 | 东软集团股份有限公司 | 应用数据库的更新方法及装置 |
CN108376082A (zh) * | 2018-01-10 | 2018-08-07 | 链家网(北京)科技有限公司 | 一种引用库版本更新方法和系统 |
-
2018
- 2018-11-20 CN CN201811382237.5A patent/CN109542875B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104133829A (zh) * | 2013-12-18 | 2014-11-05 | 腾讯科技(深圳)有限公司 | 监控业务运行数据入库的方法和相关设备及系统 |
CN105808778A (zh) * | 2016-03-30 | 2016-07-27 | 中国银行股份有限公司 | 一种海量数据抽取、转换、加载方法及装置 |
CN106326128A (zh) * | 2016-09-06 | 2017-01-11 | 网易(杭州)网络有限公司 | 配置文件的检测方法及装置 |
CN106844772A (zh) * | 2017-02-28 | 2017-06-13 | 东软集团股份有限公司 | 应用数据库的更新方法及装置 |
CN108376082A (zh) * | 2018-01-10 | 2018-08-07 | 链家网(北京)科技有限公司 | 一种引用库版本更新方法和系统 |
Non-Patent Citations (1)
Title |
---|
"水文领域通用数据访问模式的研究和实现";黄晓云;《中国优秀硕士学位论文全文数据库 信息科技辑》;20040915;论文正文第3-5章 * |
Also Published As
Publication number | Publication date |
---|---|
CN109542875A (zh) | 2019-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109542875B (zh) | 一种配置文件的生成方法及装置 | |
US9646030B2 (en) | Computer-readable medium storing program and version control method | |
CN113760971B (zh) | 用于检索图数据库的数据的方法、计算设备和存储介质 | |
US20070078909A1 (en) | Database System | |
JP2015064876A (ja) | 二分木を用いてモデル化される工業製品を設計するためのコンピュータ実装方法 | |
EP3646133B1 (en) | Systems and methods of creation and deletion of tenants within a database | |
US11675743B2 (en) | Web-scale distributed deduplication | |
CN110502317B (zh) | 一种事务管理的方法和装置 | |
CN114579561A (zh) | 数据处理方法和装置、存储介质 | |
CN115470191A (zh) | 数据库更新系统、方法及相应计算机设备和存储介质 | |
CN101661516A (zh) | 用于cad的零件序号及明细表处理方法 | |
US20220222146A1 (en) | Versioned backup on an object addressable storage system | |
US10534708B1 (en) | Shallow cache for content replication | |
CN113641686B (zh) | 数据处理方法、装置、电子设备、存储介质及程序产品 | |
CN115525655A (zh) | 一种数据查询切片的方法和系统 | |
CN114461454A (zh) | 数据恢复方法、装置、存储介质及电子设备 | |
JPH07210435A (ja) | データベース管理装置 | |
CN113448980A (zh) | 用于生成sql语句的方法及装置、电子设备 | |
JP6729742B1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
CN112711627B (zh) | 一种Greenplum数据库的数据导入方法、装置及设备 | |
CN113094069B (zh) | 镜像仓库升级的方法及装置 | |
JP4106601B2 (ja) | ディレクトリ情報への更新情報生成システム、更新情報生成プログラム | |
CN110019212B (zh) | 一种数据处理方法、装置及数据库服务器 | |
CN108334316B (zh) | 应用开发实现方法和装置 | |
CN115757378A (zh) | 数据表的数据删除方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |