CN115794827B - 一种数据表结构管理系统和方法 - Google Patents
一种数据表结构管理系统和方法 Download PDFInfo
- Publication number
- CN115794827B CN115794827B CN202211526047.2A CN202211526047A CN115794827B CN 115794827 B CN115794827 B CN 115794827B CN 202211526047 A CN202211526047 A CN 202211526047A CN 115794827 B CN115794827 B CN 115794827B
- Authority
- CN
- China
- Prior art keywords
- data
- data table
- version
- table structure
- changed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据表结构管理系统和方法,所述系统包括:依次相连的前端服务器、后端服务器和数据库服务器;前端服务器用于解析并展示表结构、展示数据标准项;后端服务器用于根据表字段对数据表进行数据标准项匹配、对数据表的变更进行评估和审批、以及生成对应数据库的数据定义脚本;数据库服务器用于接收并存储所述数据定义脚本和所述数据表的变更,以及存储对应的数据版本。本发明结合了数据治理主体中的数据管理、数据标准管理,同时将管理规则融入软件开发流程中,保证了管理动作的有效执行,提高了管理效率,统一了各种数据库类型的数据定义脚本发布规范及流程,减轻了开发部署的工作量,提升了工作效率。
Description
技术领域
本发明涉及数据治理技术领域,特别是涉及一种数据表结构管理系统和方法。
背景技术
随着企业信息化程度的不断提高、数据库技术的不断发展,企业内部使用的数据库类型越来越广泛。在缺少统一管控工具的情况下,企业内部数据治理工作将难以开展。目前,企业内部常用的数据管理方案仅仅是从技术手段解决元数据的管理、血缘采集,虽然解决了多数据源的元数据采集、血缘采集,解决血缘采集的准确性和时效性问题,但缺乏从管理角度实现对元数据管理,包括表结构等级、表结构设计规范、数据标准项贯标实施等问题,而这些都是现在的数据表管理方案所无法解决的。
发明内容
为了解决上述技术问题,本发明提供了一种数据表结构管理系统和方法,能够保证管理动作的有效执行,提高管理效率,并且能够减轻开发部署工作量,提升工作效率。
第一方面,本发明提供了一种数据表结构管理系统,所述系统包括:
依次相连的前端服务器、后端服务器和数据库服务器;
所述前端服务器用于解析并展示数据表的表结构、展示所述数据表的数据标准项、以及将所述数据表的表字段发送至所述后端服务器;
所述后端服务器用于根据接收到的所述表字段对所述数据表进行数据标准项匹配、对所述数据表的变更进行评估和审批、以及根据所述数据表的表结构的变更生成对应数据库的数据定义脚本,将所述数据定义脚本发送至所述数据库服务器,并从所述数据库服务器中获取所述数据表的数据信息;
所述数据库服务器用于接收并存储所述数据定义脚本和所述数据表的变更,以及存储对应的数据版本,所述数据版本包括所述数据表的数据信息,所述数据信息包括表结构、血缘关系和数据标准项。
进一步地,所述前端服务器包括:
表结构展示模块,用于从所述后端服务器中获取所述数据表的表结构,并对所述表结构进行解析和展示;
数据标准展示模块,用于从所述数据表的表结构中获取表字段,将所述表字段发送至所述后端服务器,接收并展示所述后端服务器返回的所述数据表对应的所述数据标准项。
进一步地,所述后端服务器包括:
表结构管理模块,用于管理控制所述数据表的审批流程,管理所述数据版本的版本分裂和版本同步,根据数据库类型对所述数据表的变更内容进行校验,并根据所述血缘关系对所述数据表的变更进行变更影响评估;
数据标准管理模块,用于管理所述数据表的数据标准项,并根据接收到的所述表字段,将对应的所述数据标准项发送至所述数据标准展示模块;
NLP能力模块,用于解析接收到的所述表字段,对所述表字段进行分词、解析和实体发现,并将发现的所述实体与所述数据标准管理模块中的所述数据标准项进行匹配;
脚本生成模块,用于根据所述数据表的表结构的变更,生成对应数据库的数据定义脚本,并将所述数据定义脚本发送至所述数据库服务器。
第二方面,本发明提供了一种数据表结构管理方法,所述方法包括:
获取数据表的数据信息,并根据所述数据表的重要程度,对所述数据表的等级进行划分,所述等级包括普通表、重点表和白名单表,所述数据信息包括表结构、血缘关系和数据标准项;
通过NLP技术对变更的所述数据表的表结构进行贯标提醒,并按照对应的数据标准项对所述表结构中的表字段进行贯标,所述贯标包括表结构在线贯标和表结构批量贯标;
根据所述数据表的不同等级,对贯标后的所述数据表按照对应的审批流程进行审批,并根据所述数据表的表结构的变更,生成对应数据库的数据定义脚本,并将所述表结构的变更和所述数据定义脚本发送至数据库进行存储;
所述数据库接收并存储所述数据定义脚本和所述数据表的变更,以及存储对应的数据版本。
进一步地,所述通过NLP技术对变更的所述数据表的表结构进行贯标提醒的步骤包括:
对变更的所述数据表的表结构中表字段的名称进行分词和标准化,得到对应的名称候选集;
将所述表字段的名称与预设的数据标准项进行模糊匹配,得到对应的所述数据标准项;
根据所述名称候选集和所述数据标准项对所述数据表的表结构进行贯标提醒。
进一步地,所述表结构在线贯标的步骤包括:
若在线变更所述数据表的表结构,则根据变更的所述表结构的表字段,得到对应的所述数据标准项;
判断是否对所述数据表的所述表字段进行贯标,若是,则按照对应的所述数据标准项中的贯标规则对所述表字段进行贯标设计,若否,则对所述表字段进行设计;
按照所述数据表的等级,对变更后的所述数据表进行审批。
进一步地,所述表结构批量贯标的步骤包括:
若批量变更所述数据表的表结构,则根据对应的所述数据标准项对所述表结构的表字段进行预先设计;
判断是否对所述数据表的所述表字段进行贯标,若是,则根据所述数据标准项中的贯标规则对预先设计的所述表字段进行检查,若检查通过,则按照所述数据表的等级,对变更后的所述数据表进行审批,若检查不通过,则对预先设计的所述表字段进行修改;
若否,则按照所述数据表的等级,对变更后的所述数据表进行审批。
进一步地,在所述对变更后的所述数据表进行审批之后,还包括:
获取所述数据表的所述血缘关系,根据所述血缘关系判断变更的所述数据表是否为上游数据表,若是,则根据所述血缘关系获取所述数据表对应的下游数据表,并根据变更后的所述数据表对所述下游数据表进行变更影响评估。
进一步地,所述存储对应的数据版本的步骤包括:
将所述数据版本按照时间进行存储;
判断所述数据版本中的所述数据表是否进行了变更,若是,则判断变更的所述数据表对应的所述数据版本是否为高版本;
若是高版本,则对所述数据版本中的所述数据表进行变更;若不是高版本,则判断所述数据表的变更类型;
若所述变更类型为新增,则将新增的所述数据表同步到所有的高版本的所述数据版本中;若所述变更类型为修改,则根据修改的所述数据表,将所述数据版本进行版本分裂,并将修改的所述数据表同步到所有的高版本的所述数据版本中。
进一步地,所述方法还包括:
若废止所述数据标准项,则判断所述数据标准项是否被所述数据表所引用,若是,则通知关联方对引用的所述数据表标准项进行修改。
上述本发明提供了一种数据表结构管理系统和方法。通过所述系统,将企业内部数据表结构的管理规范进行统一,能够实现不同等级表结构的审核流程的制定和管理,实现表字段贯标提醒和表结构变更的自动提醒,能够提高管理效率,并且对各种数据库类型的数据定义脚本发布规范和流程进行了统一,能够减轻开发部署的工作量,提升工作效率。
附图说明
图1是本发明实施例提供的数据表结构管理系统的结构示意图;
图2是本发明实施例提供的数据表结构管理方法的流程示意图;
图3是图2中步骤S20的流程示意图;
图4是图2中步骤S20的另一种流程示意图;
图5是图2中步骤S20的第三种流程示意图;
图6是本发明实施例提供的表结构贯标流程示意图;
图7是本发明实施例提供的表结构审批流程示意图;
图8是图2中步骤S40的流程示意图;
图9是本发明实施例提供的表结构管理流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明第一实施例提出的一种数据表结构管理系统,包括:依次相连的前端服务器10、后端服务器20和数据库服务器30;
其中,前端服务器10用于解析并展示数据表的表结构、展示所述数据表的数据标准项、以及将所述数据表的表字段发送至所述后端服务器;
后端服务器20用于根据接收到的所述表字段对所述数据表进行数据标准项匹配、对所述数据表的变更进行评估和审批、以及根据所述数据表的表结构的变更生成对应数据库的数据定义脚本,将所述数据定义脚本发送至所述数据库服务器,并从所述数据库服务器中获取所述数据表的数据信息;
数据库服务器30用于接收并存储所述数据定义脚本和所述数据表的变更,以及存储对应的数据版本,所述数据版本包括所述数据表的数据信息,所述数据信息包括表结构、血缘关系和数据标准项。
前端服务器10包括表结构展示模块11和数据标准展示模块12,其中表结构展示模块11用于从所述后端服务器中获取所述数据表的表结构,并对所述表结构进行解析和展示;数据标准展示模块12则用于从所述数据表的表结构中获取表字段,将所述表字段发送至所述后端服务器,接收并展示所述后端服务器返回的所述数据表对应的所述数据标准项。
后端服务器20则包括表结构管理模块21、数据标准管理模块22、NLP能力模块23和脚本生成模块24,其中表结构管理模块21用于管理控制所述数据表的审批流程,管理所述数据版本的版本分裂和版本同步,根据数据库类型对所述数据表的变更内容进行校验,并根据所述血缘关系对所述数据表的变更进行变更影响评估;数据标准管理模块22用于管理所述数据表的数据标准项,并根据接收到的所述表字段,将对应的所述数据标准项发送至所述数据标准展示模块;NLP能力模块23用于解析接收到的所述表字段,对所述表字段进行分词、解析和实体发现,并将发现的所述实体与所述数据标准管理模块中的所述数据标准项进行匹配;脚本生成模块24用于根据所述数据表的表结构的变更,生成对应数据库的数据定义脚本,并将所述数据定义脚本发送至所述数据库服务器。
为了更好的说明本发明实施例的数据表结构管理系统可以实现的各种功能,下面结合其对应的管理方法对整个管理系统进行详细解释,请参阅图2,基于同一发明构思,本发明第二实施例提出的一种数据表结构管理方法,包括步骤S10~S40:
步骤S10,获取数据表的数据信息,并根据所述数据表的重要程度,对所述数据表的等级进行划分,所述等级包括普通表、重点表和白名单表,所述数据信息包括表结构、血缘关系和数据标准项。
本发明实施例中的数据表的相关数据信息包括基本信息、数据源、字段信息、索引信息、约束信息、分区信息、生命周期、审批信息、血缘关系等,这些数据信息基本在数据表录入管理系统的时候就已经确定的,很明显的,在实际的使用中,根据数据表的内容,其每种数据表的重要程度必然是有所区别的,因此,本实施例中根据数据表的重要程度,将表划分为了三个等级,即普通表、重点表和白名单表,其中:
1)普通表:普通表是重要程度等级最低的表。
2)重点表:指表涉及的业务应用场景范围广,业务规模大。一旦出现问题,将对金融交易造成较大影响,或对我行的监管评分或评级、监管检查或报送等方面有重大影响的表。
3)白名单表:指重要程度最高的表,一旦出现问题,将对金融交易、系统运行造成严重或不可恢复的影响。
数据表在首次等级时就会录入表等级,当表结构变更时,管理系统就会根据表结构的表等级进行自动判断,首先是对表结构的表字段进行的自动贯标提醒。
步骤S20,通过NLP技术对变更的所述数据表的表结构进行贯标提醒,并按照对应的数据标准项对所述表结构中的表字段进行贯标,所述贯标包括表结构在线贯标和表结构批量贯标。
在进行自动贯标之前,首先对管理系统中的数据标准项进行说明,本实施例中的数据标准项是数据标准项是统一制定和修订的,业务部门可提出数据标准项的新增/变更/废止申请,经数据管控专员开展数据标准项评估制定工作后,发布数据标准项,从而实现统一数据的使用标准,即包括表结构字段名称,长度等内容的统一。数据标准项一般包括编号、名称、归属主题、业务含义、类型、长度等,应当理解的,根据实际情况,数据标准项的内容可以灵活设置,在此并不做过多限制。比如,如下表1所述的数据标准项示例:
编号 | 数据标准版项名称 | 归属主题 | 业务含义 | 类型 | 长度 |
xx | 客户编号 | 客户 | 个人客户的唯一编码 | 编号 | 20 |
表1数据标准项
本实施例中的数据标准项存储于数据标准库中,其中数据标准库中主要包括基础指标项即数据标准项、以及公共代码项即针对数据标准项对应的公共代码。
在规范了数据标准项之后,可以通过NLP技术实现表字段的贯标提醒,具体步骤如图3所示:
步骤S201,对变更的所述数据表的表结构中表字段的名称进行分词和标准化,得到对应的名称候选集。
步骤S202,将所述表字段的名称与预设的数据标准项进行模糊匹配,得到对应的所述数据标准项。
步骤S203,根据所述名称候选集和所述数据标准项对所述数据表的表结构进行贯标提醒。
当在线新增或修改数据表的表结构时,系统可以根据用户填写的字段中文名进行分词和标准化,输出符合监管要求的统一化的中英文名候选集,给用户推荐合适的字段中文名和字段英文名,并根据字段中文名推荐关联的数据标准和公共代码,通过NLP技术实现对表字段贯标的提醒。
在通过NLP技术对表字段贯标提醒后,根据字段中文名,与数据标准项的名称进行模糊匹配,以此推荐关联的数据标准项,在用户选择关联的数据标准项后,就可以按数据标准项的类型和长度等要素对表字段进行贯标,其中,根据适用场景的不同,贯标可以分为表结构在线贯标和表结构批量贯标。其具体步骤分别如图4和图5所示:
表结构在线贯标的具体步骤包括:
步骤S204a,若在线变更所述数据表的表结构,则根据变更的所述表结构的表字段,得到对应的所述数据标准项;
步骤S205a,判断是否对所述数据表的所述表字段进行贯标,若是,则按照对应的所述数据标准项中的贯标规则对所述表字段进行贯标设计,若否,则对所述表字段进行设计;
步骤S206a,按照所述数据表的等级,对变更后的所述数据表进行审批。
表结构批量贯标的具体步骤包括:
步骤S204b,若批量变更所述数据表的表结构,则根据对应的所述数据标准项对所述表结构的表字段进行预先设计;
步骤S205b,判断是否对所述数据表的所述表字段进行贯标,若是,则根据所述数据标准项中的贯标规则对预先设计的所述表字段进行检查,若检查通过,则按照所述数据表的等级,对变更后的所述数据表进行审批,若检查不通过,则对预先设计的所述表字段进行修改;
步骤S206b,若否,则按照所述数据表的等级,对变更后的所述数据表进行审批。
下面结合图6所示的表结构贯标流程对上述两种贯标流程进行说明:
表结构在线贯标是针对在线新增或修改表结构,此时系统会自动根据系统自动根据字段中文名称模糊匹配并列出可关联的数据标准项,当然也可以根据名称使用手动搜索,然后判断该表是否需要贯标,若确定贯标则通过系统页面的“是否贯标”选择为“是”确定贯标,并选择相应的数据标准项,并按照贯标规则设计具体字段;若确定不贯标则在系统页面的“是否贯标”选择为“暂不贯标”,然后自行设计具体字段,比如,数据表中的某一项名称客户编号,若该表需要贯标,则根据对应的数据标准项,该项对应的贯标规则为客户编号的长度为20,则根据贯标规则需要将客户编号的长度字段设计为20,若不需要贯标,则可以根据实际需要设计客户编号的长度字段。在设计字段完成后,进行下一步的数据表审批流程。
表结构批量贯标与表结构在线贯标的区别在于,表结构批量贯标提供了接口可以批量导入多张数据表,同时批量导入的数据表需要提前根据对应的数据标准项对表字段进行预先设计,当批量导入数据表后,系统会根据导入信息读取字段“是否贯标”的标志,依次判断每张数据表是否需要贯标,若确定贯标则通过导入信息中“是否贯标”选择为“是”确定贯标,此时系统会根据表字段名称自动查找对应的数据标准项,并根据数据标准项中的贯标规则对预先设计好的表字段进行检查,检查不通过的则需修改后重新导入,检查通过的则进行下一步的数据表审批流程;若不贯标则标注“暂不贯标”,然后进行数据表的审批。需要注意的是,对于系统之间的接口,也有需要贯标的情况,其接口名称会有对应的贯标规则,对于接口的贯标可以参阅表结构批量贯标的流程,即将接口以数据表的形式批量导入管理系统进行贯标规则检查,在此将不再重复描述。
步骤S30,根据所述数据表的不同等级,对贯标后的所述数据表按照对应的审批流程进行审批,并根据所述数据表的表结构的变更,生成对应数据库的数据定义脚本,并将所述表结构的变更和所述数据定义脚本发送至数据库进行存储。
在完成上述的数据表贯标之后,会对变更后的数据表执行审批流程,具体步骤如图7所示:
本实施例中的数据表的审批是根据数据表的不同等级进行不同的审批流程,管理系统会根据表结构的表等级自动判断其审批流程,自动识别关联系统,并邮件通知关联系统部门领域架构师。本实施例的管理系统中设置了元数据管理员、部门领域架构师、关联系统部门领域架构师、架构办领域架构师、数据架构师等不同等级,其中,元数据管理员在变更数据表的表结构后会提交变更请求,此变更请求在经过部门领域架构师审批之后会通知关联系统部门领域架构师,并由架构办领域架构师对其表等级进行判断,若只是普通表,则该表提交到数据架构师处经过变更处理后该表的审批流程就可以结束了。
若该变更数据表为非普通表,则需要经过数据架构师审批之后提交到中心领导处,由中心领导判断该数据表是否为白名单表,若为重点表,则将该表转回数据架构师处进行变更后就可以结束审批流程,若为白名单表,则需要再经过中心领导的审批,确认是否对该表进行变更,在审批后再转回数据架构师处进行变更。可以很明显的看到,对于不同等级的数据表,其变更审批的流程是层层递进的,这确保了系统运行的安全性和稳定性。
应当注意的是,本实施例中的数据标准项是可以根据实际情况进行灵活设置的,即其有可能会被废止,若数据标准项被废止,那么需要判断该数据标准项是否被数据表所引用,若被引用则邮件提醒通知关联方,关联方是指引用该标准项的表结构或接口的系统部门领域架构师,关联方将配合改造相关表结构或接口,重新引用新的标准项。
另一方面,为了进一步的提升系统数据的安全性,本实施例中还优选的使用了血缘关系进行变更影响的评估,当数据表进行变更审批后,还会对其变更影响进行评估,其中,数据表的血缘关系在表录入的时候就已经确定了,其血缘关系代表了数据之间的关系即资产之间的互相引用关系,根据血缘关系可以将数据表分为上游数据表和下游数据表,很明显的,若上游数据表中发生了变更,那么很有可能会影响到其对应的下游数据表,因此,本实施例中对于变更的数据表对应的下游数据表,会对其进行变更影响的评估,来进一步地的确保数据的安全性和系统运行的稳定性。
在对数据表的变更审批完成之后,管理系统会根据数据表的变更情况自动生成数据定义脚本,即在新增/修改/删除表结构时,管理系统会根据用户填写的字段信息、索引信息、约束信息、分区信息等表结构信息,填写“构建分支名”并选择“是否同步DDL发版”为“是”,管理系统会自动在生成表结构的DDL脚本信息,其中本实施例中的数据库服务器可以包括多种数据库类型,如关系型数据库,管理系统会根据不同类型的数据库生成其对应的脚本,这些脚本会统一存储于数据库中,以供外部应用根据自身所使用的数据库调用对应的数据定义脚本,通过这种方式可以提高其他应用调用本系统时对数据进行处理的效率,进而实现企业内部各应用的统一版本的发布。
步骤S40,所述数据库接收并存储所述数据定义脚本和所述数据表的变更,以及存储对应的数据版本。
数据库会接收并存储对数据表进行的变更和生成的数据定义脚本,并且针对企业内部各应用发布的数据版本也都存储在数据库中,本实施例中优选的使用了关系型数据库来实现数据的存储,并且随着时间的推移数据库中存储的数据版本也会越来越多,而对数据表的变更也不可避免的会影响到数据版本的存储,为此,本发明针对数据版本的存储也设计了相应的流程,具体步骤如图8所示:
步骤S401,将所述数据版本按照时间进行存储。
步骤S402,判断所述数据版本中的所述数据表是否进行了变更,若是,则判断变更的所述数据表对应的所述数据版本是否为高版本。
步骤S403,若是高版本,则对所述数据版本中的所述数据表进行变更;若不是高版本,则判断所述数据表的变更类型。
步骤S404,若所述变更类型为新增,则将新增的所述数据表同步到所有的高版本的所述数据版本中;若所述变更类型为修改,则根据修改的所述数据表,将所述数据版本进行版本分裂,并将修改的所述数据表同步到所有的高版本的所述数据版本中。
请参阅图9,本实施例中的表结构信息是按照时间版本进行管理,比如月度版本,当在一个版本中新增表结构,会自动同步到所有的高版本中,每个版本查询的表结构信息基线是一样的,该方式无需人工在各个版本维护表结构信息,符合研发过程按版本变更表结构的情况。
如果在某一版本做了表结构修改,那么则会发生版本分裂,即将版本A分裂为版本A和版本A`,并将修改的数据表同步到所有高版本中,此时该修改版本(含同步的高版本)与之前的版本分别查询的表结构信息是不一样,相当于表结构信息分裂了两个版本的基线,高版本同步了最新的表结构信息,与最新的生产环境表结构信息保持一致;低版本保持不变,保留历史版本的表结构信息,方便事后查阅历史变更的表结构信息。
本发明实施例提出的数据表结构管理系统的技术特征和技术效果与本发明实施例提出的方法相同,在此不予赘述。上述数据表结构管理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
综上,本发明实施例提供的一种数据表结构管理系统和方法,所述系统通过依次相连的前端服务器、后端服务器和数据库服务器;所述前端服务器用于解析并展示数据表的表结构、展示所述数据表的数据标准项、以及将所述数据表的表字段发送至所述后端服务器;所述后端服务器用于根据接收到的所述表字段对所述数据表进行数据标准项匹配、对所述数据表的变更进行评估和审批、以及根据所述数据表的表结构的变更生成对应数据库的数据定义脚本,将所述数据定义脚本发送至所述数据库服务器,并从所述数据库服务器中获取所述数据表的数据信息;所述数据库服务器用于接收并存储所述数据定义脚本和所述数据表的变更,以及存储对应的数据版本,所述数据版本包括所述数据表的数据信息,所述数据信息包括表结构、血缘关系和数据标准项。本发明将管理规范与技术实施相结合,从技术上保证管理规范,杜绝管理规范与实施“两张皮”现象,本发明结合了数据治理主体中的元数据管理、数据标准管理,同时将管理规则融入软件开发流程中,保证了管理动作的有效执行,提高了管理效率,同时,统一了各种数据库类型的数据定义脚本发布规范及流程,减轻了开发部署的工作量,提升了工作效率。
本说明书中的各个实施例均采用递进的方式描述,各个实施例直接相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。需要说明的是,上述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和替换,这些改进和替换也应视为本申请的保护范围。因此,本申请专利的保护范围应以所述权利要求的保护范围为准。
Claims (7)
1.一种数据表结构管理系统,其特征在于,包括:
依次相连的前端服务器、后端服务器和数据库服务器;
所述前端服务器用于解析并展示数据表的表结构、展示所述数据表的数据标准项、以及将所述数据表的表字段发送至所述后端服务器;
所述后端服务器用于根据接收到的所述表字段对所述数据表进行数据标准项匹配、对所述数据表的变更进行评估和审批、以及根据所述数据表的表结构的变更生成对应数据库的数据定义脚本,将所述数据定义脚本发送至所述数据库服务器,并从所述数据库服务器中获取所述数据表的数据信息;
所述数据库服务器用于接收并存储所述数据定义脚本和所述数据表的变更,以及存储对应的数据版本,所述数据版本包括所述数据表的数据信息,所述数据信息包括表结构、血缘关系和数据标准项;
其中,所述后端服务器包括:
表结构管理模块,用于管理控制所述数据表的审批流程,管理所述数据版本的版本分裂和版本同步,根据数据库类型对所述数据表的变更内容进行校验,并根据所述血缘关系对所述数据表的变更进行变更影响评估;
数据标准管理模块,用于管理所述数据表的数据标准项,并根据接收到的所述表字段,将对应的所述数据标准项发送至所述前端服务器的数据标准展示模块;
NLP能力模块,用于解析接收到的所述表字段,对所述表字段进行分词、解析和实体发现,并将发现的所述实体与所述数据标准管理模块中的所述数据标准项进行匹配;
脚本生成模块,用于根据所述数据表的表结构的变更,生成对应数据库的数据定义脚本,并将所述数据定义脚本发送至所述数据库服务器。
2.根据权利要求1所述的数据表结构管理系统,其特征在于,所述前端服务器包括:
表结构展示模块,用于从所述后端服务器中获取所述数据表的表结构,并对所述表结构进行解析和展示;
数据标准展示模块,用于从所述数据表的表结构中获取表字段,将所述表字段发送至所述后端服务器,接收并展示所述后端服务器返回的所述数据表对应的所述数据标准项。
3.一种数据表结构管理方法,应用于如权利要求1至2任一项所述数据表结构管理系统,其特征在于,包括:
获取数据表的数据信息,并根据所述数据表的重要程度,对所述数据表的等级进行划分,所述等级包括普通表、重点表和白名单表,所述数据信息包括表结构、血缘关系和数据标准项;
通过NLP技术对变更的所述数据表的表结构进行贯标提醒,并按照对应的数据标准项对所述表结构中的表字段进行贯标,所述贯标包括表结构在线贯标和表结构批量贯标;其中,
所述表结构在线贯标的步骤包括:
若在线变更所述数据表的表结构,则根据变更的所述表结构的表字段,得到对应的所述数据标准项;
判断是否对所述数据表的所述表字段进行贯标,若是,则按照对应的所述数据标准项中的贯标规则对所述表字段进行贯标设计,若否,则对所述表字段进行设计;
按照所述数据表的等级,对变更后的所述数据表进行审批;
所述表结构批量贯标的步骤包括:
若批量变更所述数据表的表结构,则根据对应的所述数据标准项对所述表结构的表字段进行预先设计;
判断是否对所述数据表的所述表字段进行贯标,若是,则根据所述数据标准项中的贯标规则对预先设计的所述表字段进行检查,若检查通过,则按照所述数据表的等级,对变更后的所述数据表进行审批,若检查不通过,则对预先设计的所述表字段进行修改;
若否,则按照所述数据表的等级,对变更后的所述数据表进行审批;
根据所述数据表的不同等级,对贯标后的所述数据表按照对应的审批流程进行审批,并根据所述数据表的表结构的变更,生成对应数据库的数据定义脚本,并将所述表结构的变更和所述数据定义脚本发送至数据库进行存储;
所述数据库接收并存储所述数据定义脚本和所述数据表的变更,以及存储对应的数据版本。
4.根据权利要求3所述的数据表结构管理方法,其特征在于,所述通过NLP技术对变更的所述数据表的表结构进行贯标提醒的步骤包括:
对变更的所述数据表的表结构中表字段的名称进行分词和标准化,得到对应的名称候选集;
将所述表字段的名称与预设的数据标准项进行模糊匹配,得到对应的所述数据标准项;
根据所述名称候选集和所述数据标准项对所述数据表的表结构进行贯标提醒。
5.根据权利要求3所述的数据表结构管理方法,其特征在于,在所述对变更后的所述数据表进行审批之后,还包括:
获取所述数据表的所述血缘关系,根据所述血缘关系判断变更的所述数据表是否为上游数据表,若是,则根据所述血缘关系获取所述数据表对应的下游数据表,并根据变更后的所述数据表对所述下游数据表进行变更影响评估。
6.根据权利要求3所述的数据表结构管理方法,其特征在于,所述存储对应的数据版本的步骤包括:
将所述数据版本按照时间进行存储;
判断所述数据版本中的所述数据表是否进行了变更,若是,则判断变更的所述数据表对应的所述数据版本是否为高版本;
若是高版本,则对所述数据版本中的所述数据表进行变更;若不是高版本,则判断所述数据表的变更类型;
若所述变更类型为新增,则将新增的所述数据表同步到所有的高版本的所述数据版本中;若所述变更类型为修改,则根据修改的所述数据表,将所述数据版本进行版本分裂,并将修改的所述数据表同步到所有的高版本的所述数据版本中。
7.根据权利要求3所述的数据表结构管理方法,其特征在于,所述方法还包括:
若废止所述数据标准项,则判断所述数据标准项是否被所述数据表所引用,若是,则通知关联方对引用的所述数据表标准项进行修改。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211526047.2A CN115794827B (zh) | 2022-11-29 | 2022-11-29 | 一种数据表结构管理系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211526047.2A CN115794827B (zh) | 2022-11-29 | 2022-11-29 | 一种数据表结构管理系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115794827A CN115794827A (zh) | 2023-03-14 |
CN115794827B true CN115794827B (zh) | 2023-07-21 |
Family
ID=85444219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211526047.2A Active CN115794827B (zh) | 2022-11-29 | 2022-11-29 | 一种数据表结构管理系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115794827B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007036932A2 (en) * | 2005-09-27 | 2007-04-05 | Zetapoint Ltd. | Data table management system and methods useful therefor |
CN111708779A (zh) * | 2020-06-11 | 2020-09-25 | 中国建设银行股份有限公司 | 一种数据管理方法、系统、管理设备及存储介质 |
CN112286907A (zh) * | 2020-10-26 | 2021-01-29 | 中信百信银行股份有限公司 | 一种数据库配置方法、装置、电子设备和可读存储介质 |
CN112800063A (zh) * | 2021-01-29 | 2021-05-14 | 中国工商银行股份有限公司 | 基于数据结构的自动贯标方法及装置 |
CN113391999A (zh) * | 2021-06-07 | 2021-09-14 | 北京车与车科技有限公司 | 一种批量变更数据库表结构况下的回归测试方法 |
CN114661715A (zh) * | 2022-03-21 | 2022-06-24 | 中国工商银行股份有限公司 | 数据库的数据处理方法及装置、存储介质和电子设备 |
CN115168352A (zh) * | 2022-07-07 | 2022-10-11 | 深圳市布博卡科技有限公司 | 一种数据关联方法、终端及存储介质 |
CN115375380A (zh) * | 2022-10-26 | 2022-11-22 | 南昌惠联网络技术有限公司 | 一种基于属性分类的业务数据处理方法和处理装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108255925B (zh) * | 2017-11-10 | 2021-12-10 | 平安普惠企业管理有限公司 | 一种数据表结构变更情况的显示方法及其终端 |
CN111651431B (zh) * | 2020-06-09 | 2023-06-27 | 中国雄安集团数字城市科技有限公司 | 一种面向数据库服务的管理流程标准化方法 |
CN111737355B (zh) * | 2020-06-29 | 2023-06-23 | 广东粤财金融云科技股份有限公司 | 基于MongoDB元数据管理的异构数据源同步的方法及系统 |
CN113420026B (zh) * | 2021-06-22 | 2023-10-31 | 康键信息技术(深圳)有限公司 | 数据库表结构变更方法、装置、设备及存储介质 |
CN114490594A (zh) * | 2022-02-16 | 2022-05-13 | 中银金融科技有限公司 | 一种数据库管理方法、装置、电子设备及计算机存储介质 |
CN114840576A (zh) * | 2022-04-13 | 2022-08-02 | 中国工商银行股份有限公司 | 数据标准匹配方法及装置 |
CN114969161B (zh) * | 2022-06-23 | 2023-09-08 | 北京百度网讯科技有限公司 | 数据处理方法和装置、数据中台系统 |
-
2022
- 2022-11-29 CN CN202211526047.2A patent/CN115794827B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007036932A2 (en) * | 2005-09-27 | 2007-04-05 | Zetapoint Ltd. | Data table management system and methods useful therefor |
CN111708779A (zh) * | 2020-06-11 | 2020-09-25 | 中国建设银行股份有限公司 | 一种数据管理方法、系统、管理设备及存储介质 |
CN112286907A (zh) * | 2020-10-26 | 2021-01-29 | 中信百信银行股份有限公司 | 一种数据库配置方法、装置、电子设备和可读存储介质 |
CN112800063A (zh) * | 2021-01-29 | 2021-05-14 | 中国工商银行股份有限公司 | 基于数据结构的自动贯标方法及装置 |
CN113391999A (zh) * | 2021-06-07 | 2021-09-14 | 北京车与车科技有限公司 | 一种批量变更数据库表结构况下的回归测试方法 |
CN114661715A (zh) * | 2022-03-21 | 2022-06-24 | 中国工商银行股份有限公司 | 数据库的数据处理方法及装置、存储介质和电子设备 |
CN115168352A (zh) * | 2022-07-07 | 2022-10-11 | 深圳市布博卡科技有限公司 | 一种数据关联方法、终端及存储介质 |
CN115375380A (zh) * | 2022-10-26 | 2022-11-22 | 南昌惠联网络技术有限公司 | 一种基于属性分类的业务数据处理方法和处理装置 |
Non-Patent Citations (2)
Title |
---|
Keyword searching and browsing system over relational databases;Phyo Thu Thu Khine 等;《2011 Sixth International Conference on Digital Information Management》;121-126 * |
管理高校科研工作量应用数据库系统的设计;范嘉;《科技视界》(第15期);82-84 * |
Also Published As
Publication number | Publication date |
---|---|
CN115794827A (zh) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110908997B (zh) | 数据血缘构建方法、装置、服务器及可读存储介质 | |
CN111061833B (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
US7886028B2 (en) | Method and system for system migration | |
US9477786B2 (en) | System for metadata management | |
US9229971B2 (en) | Matching data based on numeric difference | |
US20120246110A1 (en) | Master Data Management in a Data Warehouse/Data Mart | |
CN113076104A (zh) | 页面生成方法、装置、设备及存储介质 | |
CN111401029A (zh) | 一种基于文档分区和协同编辑的文档版本更新系统和方法 | |
US20230195739A1 (en) | Information system with temporal data | |
US9330372B2 (en) | Generating an improved development infrastructure | |
CN106708897B (zh) | 一种数据仓库质量保障方法、装置和系统 | |
CN113378007B (zh) | 数据回溯方法及装置、计算机可读存储介质、电子设备 | |
CN115794827B (zh) | 一种数据表结构管理系统和方法 | |
CN112765169A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN111143390A (zh) | 更新元数据的方法及装置 | |
US20190220531A1 (en) | Consistency check for foreign key definition | |
US20230195792A1 (en) | Database management methods and associated apparatus | |
US11144520B2 (en) | Information system with versioning descending node snapshot | |
CN113111066A (zh) | 一种数据库操作工单自动上线方法、装置、系统和计算机设备 | |
CN112825068A (zh) | 数据血缘生成方法及装置 | |
CN111143322A (zh) | 一种数据标准治理系统及方法 | |
KR20130027767A (ko) | 데이터베이스와 연동되는 프로그램을 제어하는 서비스 제공 방법 및 시스템 | |
CN115981657A (zh) | 代码生成方法、装置、电子设备及可读介质 | |
CN117708112A (zh) | 数据检核方法、装置、电子设备和存储介质 | |
CN117827844A (zh) | 业务数据处理方法、装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |