CN111858584A - 元数据管理方法、系统及存储介质 - Google Patents
元数据管理方法、系统及存储介质 Download PDFInfo
- Publication number
- CN111858584A CN111858584A CN202010575423.1A CN202010575423A CN111858584A CN 111858584 A CN111858584 A CN 111858584A CN 202010575423 A CN202010575423 A CN 202010575423A CN 111858584 A CN111858584 A CN 111858584A
- Authority
- CN
- China
- Prior art keywords
- information
- metadata management
- metadata
- management platform
- field information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及数据处理,具体公开了一种元数据管理方法、系统及存储介质,所述方法包括:元数据管理平台在接收到表基础信息和表字段信息后,分别对所述表基础信息和表字段信息进行检测;在表基础信息和表字段信息均通过检测后,元数据管理平台将表基础信息和表字段信息存储在数据库中;数据平台生产环境基于数据库中存储的表基础信息及所述表字段信息,生成建表脚本;在检测到数据平台生产环境给所述元数据管理平台放开建表权限时,数据平台生产环境基于所述建表脚本进行测试环境建表及生产环境建表。打通元数据管理测试环境或生产环境之间的通道,不但保障元数据的质量,而且能够直接利用元数据,有效提高测试环境或生产环境建表质量。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种元数据管理方法、系统及存储介质。
背景技术
元数据,是指用来描述数据属性的数据,现有的元数据管理平台,有表名规范、字段词规范管理的功能。表名规范是线下有制定表名规范文档,用户根据线下指定的表名规范,在线上进行建表,并且,建表相关的元数据信息通常需要用户人工填写,在填写完成后,也是用户进行人工检查。
现有技术中的自动化建表时,有些建表元数据信息还是依赖用户进行人工填写,比如:需要人为检测输入的表名是否规范,而人工填写的信息质量规范通常很难得到保证,使得建表的数据质量不高。
在元数据信息录入后,线上生成建表脚本,然后,根据建表脚本部署测试环境及生产环境,测试环境或生产环境的建表,均需要人工进行建表。
现有技术中虽然存在线上生成建表脚本,但是,由于相关的元数据在生成时,元数据与测试环境或生产环境相隔离,测试环境或生产环境建表时流程不完整,且不利于元数据的质量监控。
发明内容
本申请提供了一种数据处理的一种元数据管理方法、系统及存储介质,打通元数据管理测试环境或生产环境之间的通道,不但保障元数据的质量,而且能够直接利用元数据,有效提高测试环境或生产环境建表质量。
第一方面,本申请提供了一种元数据管理方法,所述元数据管理方法应用于元数据管理系统;所述元数据管理系统包括元数据管理平台和数据平台生产环境;所述方法包括:
所述元数据管理平台在接收到表基础信息和表字段信息后,分别对所述表基础信息和表字段信息进行检测;
在所述表基础信息和表字段信息均通过检测后,所述元数据管理平台将所述表基础信息和表字段信息存储在数据库中;
所述数据平台生产环境基于所述数据库中存储的表基础信息及所述表字段信息,生成建表脚本;
在检测到所述数据平台生产环境给所述元数据管理平台放开建表权限时,所述数据平台生产环境基于所述建表脚本进行测试环境建表及生产环境建表。
第二方面,本申请还提供了一种元数据管理系统,所述元数据管理系统包括至少两个计算机设备,分别对应运行有元数据管理平台和数据平台生产环境的终端,其中,所述计算机设备包括存储器和处理器;所述存储器用于存储计算机程序;所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如上述的元数据管理方法。
第三方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上述的元数据管理方法。
本申请公开了一种元数据管理方法、系统及存储介质,在建立脚本之前,首先,将元数据管理平台接收用户录入的表基础信息,然后,对表基础信息进行规则检测,在检测成功时,将表基础信息存储到数据库中;接着,对用户录入的表字段信息进行检测。并且,在得到表基础信息及表字段信息后,若数据平台生产环境给元数据管理平台放开建表权限,则可以直接自动通过元数据管理平台基于表基础信息及表字段信息生成测试环境及生产环境需要的建表脚本,通过元数据管理平台,实现对元数据质量全流程的管控,能够在规范化、元数据开发、事前元数据质量检测、事后元数据质量检测、元数据上线等元数据开发各个流程中提升元数据质量。高质量的元数据保证业务元数据的准确,业务指标唯一性,这样有助于开发人员更好、更快的了解业务模型、业务数据,完成开发任务。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请的实施例提供的一种元数据管理方法的应用场景示意图;
图2是本申请的实施例提供的一种元数据管理方法的示意流程图;
图3是本申请的实施例提供的对表基础信息和表字段信息进行检测的步骤示意流程图;
图4是本申请的实施例提供的表基础信息的录入界面的结构示意图;
图5为本申请的实施例提供的一种元数据管理系统的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
本申请的实施例提供了一种元数据管理方法、系统及存储介质。其中,该元数据管理方法可以应用于元数据管理系统(可以包括元数据管理平台和数据平台生产环境),用于打通元数据管理测试环境或生产环境之间的通道,不但保障元数据的质量,而且能够直接利用元数据,有效提高测试环境或生产环境建表质量。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参阅图1,图1是本申请的实施例提供的一种元数据管理方法的应用场景示意图。如图1所示,该应用场景即元数据管理系统,具体包括元数据管理平台和数据平台生产环境。
具体地,元数据管理平台和数据平台生产环境均为Web应用程序,设置在运行Web应用程序的终端;打通元数据管理测试环境或生产环境之间的通道,不但保障元数据的质量,而且能够直接利用元数据,有效提高测试环境或生产环境建表质量。
其中,终端可以包括智能手机、平板电脑、笔记本电脑或者台式电脑等。
请参阅图2,图2是本申请的实施例提供的一种元数据管理方法的示意流程图。该元数据管理方法可应用于图1中的元数据管理系统中,打通元数据管理测试环境或生产环境之间的通道,不但保障元数据的质量,而且能够直接利用元数据,有效提高测试环境或生产环境建表质量。
如图2所示,该元数据管理方法具体包括步骤S101至步骤S104。
S101、所述元数据管理平台在接收到表基础信息和表字段信息后,分别对所述表基础信息和表字段信息进行检测。
现有技术中,开发人员或用户在进行建表前,会进行元数据的录入,而元数据的录入页面,缺少数据库类型、层次、主题、周期、分区信息的输入与信息验证,因此,需要人工填写,而人工填写的信息质量规范很难得到保证。
本申请中,元数据管理平台规划好了之后,表的层级、主题、业务场景、表加工周期、是否分区这些都不会变,表所在数据库及表对应的用户,即只有在公司业务场景变化时,或者架构调整时,主题、业绩场景会有拆分、新增的情况。
在一些实施方式中,如图3所示,元数据管理平台在接收到表基础信息和表字段信息后,分别对所述表基础信息和表字段信息进行检测。对所述表基础信息和表字段信息进行检测,具体包括以下内容:
S101a、在元数据管理平台接收到用户的表基础信息的提交操作指令时,所述元数据管理平台对所述表基础信息进行规范检测,其中,所述规范检测为元数据中表基础信息建立时的质量检测。
针对不同的用户类型,元数据管理平台设置有不同的建表页面筛选输入项。因此,在用户登陆该元数据管理平台后,元数据管理平台获取用户账号信息,根据所述用户账户信息输出建表页面筛选输入项及自定义输入界面;在所述建表页面筛选输入项接收到被触发的表名选择,及所述自定义输入界面接收到对应的的表业务信息内容时,对所述表名和表业务信息进行规范检测,从而实现对元数据中表基础信息建立时的质量检测。
在一些实施方式中,针对不同的用户类型,元数据管理平台设置有不同的建表页面筛选输入项,例如,用户A是数仓开发人员,那么表层级就只能选择:DWD,数据库只能选择cx_dwd_safe。
若用户A转岗为BI开发人员后,那么表层级可以选择:DM、APP,数据库可以选择cx_dm_safe、cx_app_safe。
即,建表页面可以根据不同的团队与人员(用户)显示不同筛选内容,以供不同的用户在录入表基础信息时进行选择,通过元数据管理系统进行配置管理。
具体地,录入的表基础信息包括表名以及表的相关信息。
表的相关信息包括比如表所在数据库、用户、存储格式、分区字段、分区字段数据类型等。表名包含了表的相关信息。
在一些实施方式中,表名为DWD_PARTNER_QUDAO_YEJI_D_P,那么,用户把表的层次作为筛选输入项,录入页面如图4所示,图4是表基础信息的录入界面。
其中,DWD表示表的层级(ODS、DWD、DWF、DM、APP),作为筛选输入项;PARTNER表示该表的一级主题,作为筛选输入项;QUDAO表示该表的二级主题,作为筛选输入项;YEJI表示该表具体业务情况,需要用户,即开发人员自己添加;D表示该表是日表,作为筛选输入项;P表示该表是分区切片表,作为筛选输入项。
整个表名中,除了具体的业务含义(上述表名的业务含义为YEJI,即业绩),其余部分DWD/PARTNER/QUDAO/D/P都通过选择页面的各种筛选输入项自动生成。
在一些实施方式中,对所述表基础信息进行规范检测,包括:通过所述建表页面筛选输入项对所述表名进行预设规范检测,且对所述表业务信息进行对应的预设规范检测。
具体地,由于表基础信息包括了表名和表业务信息,因此,表基础信息的检测为:表名中除了具体的业务含义是用户自己添加的之外,其他部分均为筛选输入项,因此,其他部分在用户录入时已经能够自动检测,具体的业务部分的检测可以是表名规范检测、是否为重复表名检测、字段名是否符合规范,比如不能以数字开头等,在检测表名时,若不规范,均会提示用户提交失败的理由,供用户修订后重新提交。
更具体地,如果元数据管理系统提前定义了具体的业务中英文对应信息,那么可以生成规范表名。
比如,英文YEJI,对应的具体业务是“业绩”,那么,用户在DWD_PARTNER_QUDAO_YEJI_D_P表中文名称输入框中输入“业绩”两字,页面会给弹出“YEJI”提示,给用户选择确认。
通过对不同的用户类型,元数据管理平台设置有不同的建表页面筛选输入项,以实现元数据建立前的事先规范检测,并且,在用户建立元数据的表基础信息时,对表基础信息进行规范检测,实现对元数据的表基础信息建立时的质量检测,在检测通过时,将表基础信息存储,以便于用户继续建立元数据的其他数据,如表字段信息;在检测不通过时,可以输出对应的提示信息,以供用户及时修正。
S101b、在所述表基础信息通过所述规范检测时,若所述元数据管理平台接收到用户的表字段信息的提交操作指令,所述元数据管理平台对所述表字段信息进行数据检测,其中,所述数据检测为元数据中表字段信息建立时的质量检测。
在表基础信息检测通过后,元数据管理平台输出表字段录入界面,以供用户录入表字段,具体地,元数据管理平台对所述表字段信息进行数据检测包括:
在所述元数据管理平台接收到录入表字段信息后,检测元数据字典中是否存在所述录入表字段信息;若所述元数据字典中存在所述录入表字段信息,则存储所述录入表字段信息;若所述元数据字典中不存在所述录入表字段信息,则输出申请字段提示信息;在检测到申请字段请求后,对所述申请字段请求对应的字段信息进行审批;若所述申请字段请求对应的字段信息审批通过,则将所述申请字段请求对应的字段信息维护到所述元数据字典中。
具体地,表字段必须是元数据字典中的字段,如果元数据字典中没有该字段则需要走申请流程,申请流程为新申请的字段必须是元数据字典中不存在的字段,同时新字段必须符合规范,需要系统管理人员审批,在审批通过后,把新增的字段维护到元数据字典中。
在一些实施方式中,表字段信息的检测可以的以下预设规则的检测,预设规则可以包括:
规则一:表名称长度检测,比如表名称长度不超过32位。
规则二:表名称是否与层次一致,比如:表名称:DWD_PARTNER_QUDAO_YEJI_D_P以‘_‘为分隔符,第一位DWD需要与表信息层次DWD一致。
规则三:表名称是否与主题一致,比如:表名称:DWD_PARTNER_QUDAO_YEJI_D_P以‘_‘为分隔符,第一位DWD需要与表信息层次DWD一致,第二个字符串需要一级主题:PARTNER保持一致,第三个字符串需要与二级主题:QUDAO保持一致。
规则四:表名称是否与表刷新周期,比如:表名称:DWD_PARTNER_QUDAO_YEJI_D_P以‘_‘为分隔符,倒数第二个字符D需要与表刷新周期:D(日)保持一致)。
规则五:表名称是否与表切片信息一致,(比如:表名称:DWD_PARTNER_QUDAO_YEJI_D_P以‘_‘为分隔符,如果该表是分区表,该表的倒数第一个字符必须是P)。
规则六:字段的长度检测(字段的长度不超过32位)。
规则七:字段的唯一性(同一数据系统中(hive、oracle、mysql),某项具体业务含义字段的英文名称、中文名称、数据类型是一致的,唯一的。当然不同的数据系统,数据类型可以不一致,hive数据库与oracle数据库的数据类型就是不一致的,比如:实收剔税保费的业务字段在大数据系统任何表中该字段的英文名称为:total_vatexcluded_premium,中文名称为:实收剔税保费,数据类型为:double,不可能有其他的英文名称、中文名称、数据类型。
规则八:注释是否有特殊字符,导致建表语法错误。
规则九:表名是否大写。
规则十:字段的数据类型是否正确。
在上述各项规则均检测通过后,确定表字段信息检测通过,若上述各项检测中,存在某一项检测不通过,则提示用户提交表字段信息失败,且返回步骤S101b。
通过对表基础信息和表字段信息进行逐步检测,能够使得元数据规范化,有效提高元数据质量。
S102、在所述表基础信息和表字段信息均通过检测后,所述元数据管理平台将所述表基础信息和表字段信息存储在数据库中。
具体地,在所述表基础信息通过规范检测后,且在表字段信息通过数据检测后,元数据管理平台将表字段信息存储在数据库中,以便于建表时能够调用,且通过元数据管理平台能够监控元数据质量,使得元数据的管理规范化。
S103、所述数据平台生产环境基于所述数据库中存储的表基础信息及所述表字段信息,生成建表脚本。
具体地,建表脚本的生成依赖于元数据管理平台事先进行数据质量检测,在数据库得到表基础信息及表字段信息后,利用表基础信息及表字段信息生成建表脚本。
S104、在检测到所述数据平台生产环境给所述元数据管理平台放开建表权限时,所述数据平台生产环境基于所述建表脚本进行测试环境建表及生产环境建表。
现有技术中,只能线上生成建表脚本,没有一个元数据管理平台对建表脚本的数据进行质量检测,没有与测试环境建表和生产环境建表系统打通,流程不完整。
本申请中,在得到建表脚本以后,只要数据平台生产环境给元数据管理平台放开建表权限,那么,元数据管理平台就能自动将建表脚本提交到SVN目录,从而能够开始部署环境测试,得到测试环境建表,判断测试环境建表是否成功,在测试环境建表成功(审批通过)后,则开始部署生产环境建表。
在一些实施方式中,数据平台生产环境给元数据管理平台放开建表权限,实现打通测试环境与生产环境的建表通道。因此,元数据管理平台在得到表基础信息及表字段信息后,能够直接利用表基础信息及表字段信息生成测试环境及生产环境需要的建表脚本,从而实现测试环境建表和生产环境建表的自动化建表功能。
上述实施例提供元数据管理方法,在建立脚本之前,首先,将元数据管理平台接收用户录入的表基础信息,然后,对表基础信息进行规则检测,在检测成功时,将表基础信息存储到数据库中;接着,对用户录入的表字段信息进行检测。并且,在得到表基础信息及表字段信息后,若数据平台生产环境给元数据管理平台放开建表权限,则可以直接自动通过元数据管理平台基于表基础信息及表字段信息生成测试环境及生产环境需要的建表脚本,通过元数据管理平台,实现对元数据质量全流程的管控,能够在规范化、元数据开发、事前元数据质量检测、事后元数据质量检测、元数据上线等元数据开发各个流程中提升元数据质量。高质量的元数据保证业务元数据的准确,业务指标唯一性,这样有助于开发人员更好、更快的了解业务模型、业务数据,完成开发任务。
请参阅图5,图5是本申请的实施例提供的一种元数据管理系统的结构示意性框图。该元数据管理系统包括至少两个计算机设备,分别对应运行有元数据管理平台和数据平台生产环境的终端。
参阅图5,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口,其中,存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令,该程序指令被执行时,可使得处理器执行任意一种元数据管理方法。
处理器用于提供计算和控制能力,支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行任意一种元数据管理方法。
该网络接口用于进行网络通信,如发送分配的任务等。本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
应当理解的是,处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,在一个实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
所述元数据管理平台在接收到表基础信息和表字段信息后,分别对所述表基础信息和表字段信息进行检测;在所述表基础信息和表字段信息均通过检测后,所述元数据管理平台将所述表基础信息和表字段信息存储在数据库中;所述数据平台生产环境基于所述数据库中存储的表基础信息及所述表字段信息,生成建表脚本;在检测到所述数据平台生产环境给所述元数据管理平台放开建表权限时,所述数据平台生产环境基于所述建表脚本进行测试环境建表及生产环境建表。
在一些实施例中,所述处理器实现所述元数据管理平台在接收到表基础信息和表字段信息后,分别对所述表基础信息和表字段信息进行检测,包括:
在元数据管理平台接收到用户的表基础信息的提交操作指令时,所述元数据管理平台对所述表基础信息进行规范检测;在所述表基础信息通过所述规范检测时,若所述元数据管理平台接收到用户的表字段信息的提交操作指令,所述元数据管理平台对所述表字段信息进行数据检测。
在一些实施例中,所述处理器实现在元数据管理平台接收到用户的表基础信息的提交操作指令时,所述元数据管理平台对所述表基础信息进行规范检测,包括:
所述元数据管理平台获取用户账户信息;所述元数据管理平台根据所述用户账户信息输出建表页面筛选输入项及自定义输入界面;在所述建表页面筛选输入项接收到被触发的表名选择,及所述自定义输入界面接收到对应的的表业务信息内容时,对所述表名和表业务信息进行规范检测。
在一些实施例中,所述处理器还实现元数据管理平台对所述表基础信息进行规范检测,包括:
所述元数据管理平台通过建表页面筛选输入项对所述表名进行预设规范检测,且对所述表业务信息进行对应的预设规范检测。
在一些实施例中,所述处理器实现所述元数据管理平台对所述表字段信息进行数据检测,包括:
在所述元数据管理平台接收到录入表字段信息后,检测元数据字典中是否存在所述录入表字段信息;若所述元数据字典中存在所述录入表字段信息,则存储所述录入表字段信息;对存储的所述表字段信息进行预设规则检测。
在一些实施例中,所述处理器实现所述检测元数据字典中是否存在所述录入表字段信息之后,包括:
若所述元数据字典中不存在所述录入表字段信息,则输出申请字段提示信息。
在一些实施例中,所述处理器实现所述输出申请字段提示信息之后,包括:
在检测到申请字段请求后,对所述申请字段请求对应的字段信息进行审批;若所述申请字段请求对应的字段信息审批通过,则将所述申请字段请求对应的字段信息维护到所述元数据字典中。
在一些实施例中,所述处理器实现所述数据平台生产环境基于所述建表脚本进行测试环境建表及生产环境建表,包括:
所述数据平台生产环境基于所述建表脚本进行测试环境建表;在检测到所述测试环境建表成功后,基于所述测试环境建表进行生产环境建表。
本申请的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现本申请实施例提供的任一项元数据管理方法。
其中,所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元,例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备,例如所述计算机设备上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种元数据管理方法,其特征在于,所述元数据管理方法应用于元数据管理系统;所述元数据管理系统包括元数据管理平台和数据平台生产环境;所述方法包括:
所述元数据管理平台在接收到表基础信息和表字段信息后,分别对所述表基础信息和表字段信息进行检测;
在所述表基础信息和表字段信息均通过检测后,所述元数据管理平台将所述表基础信息和表字段信息存储在数据库中;
所述数据平台生产环境基于所述数据库中存储的表基础信息及所述表字段信息,生成建表脚本;
在检测到所述数据平台生产环境给所述元数据管理平台放开建表权限时,所述数据平台生产环境基于所述建表脚本进行测试环境建表及生产环境建表。
2.根据权利要求1所述的方法,其特征在于,所述元数据管理平台在接收到表基础信息和表字段信息后,分别对所述表基础信息和表字段信息进行检测,包括:
在元数据管理平台接收到用户的表基础信息的提交操作指令时,所述元数据管理平台对所述表基础信息进行规范检测,其中,所述规范检测为元数据中表基础信息建立时的质量检测;
在所述表基础信息通过所述规范检测时,若所述元数据管理平台接收到用户的表字段信息的提交操作指令,所述元数据管理平台对所述表字段信息进行数据检测,其中,所述数据检测为元数据中表字段信息建立时的质量检测。
3.根据权利要求2所述的方法,其特征在于,所述在元数据管理平台接收到用户的表基础信息的提交操作指令时,所述元数据管理平台对所述表基础信息进行规范检测,包括:
所述元数据管理平台获取用户账户信息;
所述元数据管理平台根据所述用户账户信息输出建表页面筛选输入项及自定义输入界面;
在所述建表页面筛选输入项接收到被触发的表名选择,及所述自定义输入界面接收到对应的的表业务信息内容时,对所述表名和表业务信息进行规范检测。
4.根据权利要求2所述的方法,其特征在于,所述元数据管理平台对所述表基础信息进行规范检测,还包括:
所述元数据管理平台通过建表页面筛选输入项对所述表名进行预设规范检测,且对所述表业务信息进行对应的预设规范检测,以规范所述表业务信息的质量。
5.根据权利要求2所述的方法,其特征在于,所述元数据管理平台对所述表字段信息进行数据检测,包括:
在所述元数据管理平台接收到录入表字段信息后,检测元数据字典中是否存在所述录入表字段信息;
若所述元数据字典中存在所述录入表字段信息,则存储所述录入表字段信息;
对存储的所述表字段信息进行预设规则检测,以规范所述表字段信息的质量。
6.根据权利要求5所述的方法,其特征在于,所述检测元数据字典中是否存在所述录入表字段信息之后,所述方法还包括:
若所述元数据字典中不存在所述录入表字段信息,则输出申请字段提示信息。
7.根据权利要求6所述的方法,其特征在于,所述输出申请字段提示信息之后,所述方法包括:
在检测到申请字段请求后,对所述申请字段请求对应的字段信息进行审批;
若所述申请字段请求对应的字段信息审批通过,则将所述申请字段请求对应的字段信息维护到所述元数据字典中。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述数据平台生产环境基于所述建表脚本进行测试环境建表及生产环境建表,包括:
所述数据平台生产环境基于所述建表脚本进行测试环境建表;
在检测到所述测试环境建表成功后,基于所述测试环境建表进行生产环境建表。
9.一种元数据管理系统,其特征在于,所述元数据管理系统包括至少两个计算机设备,分别对应运行有元数据管理平台和数据平台生产环境的终端,其中,所述计算机设备包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至8中任一项所述的元数据管理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1至8中任一项所述的元数据管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010575423.1A CN111858584A (zh) | 2020-06-22 | 2020-06-22 | 元数据管理方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010575423.1A CN111858584A (zh) | 2020-06-22 | 2020-06-22 | 元数据管理方法、系统及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111858584A true CN111858584A (zh) | 2020-10-30 |
Family
ID=72988013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010575423.1A Pending CN111858584A (zh) | 2020-06-22 | 2020-06-22 | 元数据管理方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111858584A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112347075A (zh) * | 2020-11-02 | 2021-02-09 | 福建天泉教育科技有限公司 | 一种实现数据库建模标准化的方法及终端 |
CN112560053A (zh) * | 2020-12-09 | 2021-03-26 | 北京红山信息科技研究院有限公司 | 生产环境数据的保护方法、装置、计算机设备及存储介质 |
CN112596806A (zh) * | 2020-12-04 | 2021-04-02 | 光大科技有限公司 | 数据湖数据加载脚本生成方法和系统 |
CN114297188A (zh) * | 2022-01-05 | 2022-04-08 | 厦门市美亚柏科信息股份有限公司 | 一种数据清理方法及终端 |
CN115858377A (zh) * | 2022-12-20 | 2023-03-28 | 北京领雁科技股份有限公司 | 基于客群管理的数据测试系统和方法 |
-
2020
- 2020-06-22 CN CN202010575423.1A patent/CN111858584A/zh active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112347075A (zh) * | 2020-11-02 | 2021-02-09 | 福建天泉教育科技有限公司 | 一种实现数据库建模标准化的方法及终端 |
CN112347075B (zh) * | 2020-11-02 | 2022-10-21 | 福建天泉教育科技有限公司 | 一种实现数据库建模标准化的方法及终端 |
CN112596806A (zh) * | 2020-12-04 | 2021-04-02 | 光大科技有限公司 | 数据湖数据加载脚本生成方法和系统 |
CN112560053A (zh) * | 2020-12-09 | 2021-03-26 | 北京红山信息科技研究院有限公司 | 生产环境数据的保护方法、装置、计算机设备及存储介质 |
CN112560053B (zh) * | 2020-12-09 | 2024-07-12 | 北京红山信息科技研究院有限公司 | 生产环境数据的保护方法、装置、计算机设备及存储介质 |
CN114297188A (zh) * | 2022-01-05 | 2022-04-08 | 厦门市美亚柏科信息股份有限公司 | 一种数据清理方法及终端 |
CN115858377A (zh) * | 2022-12-20 | 2023-03-28 | 北京领雁科技股份有限公司 | 基于客群管理的数据测试系统和方法 |
CN115858377B (zh) * | 2022-12-20 | 2023-09-15 | 北京领雁科技股份有限公司 | 基于客群管理的数据测试系统和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111858584A (zh) | 元数据管理方法、系统及存储介质 | |
US10565077B2 (en) | Using cognitive technologies to identify and resolve issues in a distributed infrastructure | |
WO2020000706A1 (zh) | 基于数据库比对的接口测试方法、系统、设备和存储介质 | |
US11823701B2 (en) | Network operation based on domain specific language | |
KR101999409B1 (ko) | 예시에 의한 데이터 포매팅 기법 | |
US10795793B1 (en) | Method and system for simulating system failures using domain-specific language constructs | |
WO2015131804A1 (en) | Call stack relationship acquiring method and apparatus | |
US11977872B2 (en) | Method and system for code maintenance | |
US20100106541A1 (en) | Analyzing the Readiness of a Template | |
CN109284331B (zh) | 基于业务数据资源的制证信息获取方法、终端设备及介质 | |
WO2023179749A1 (zh) | 组态数据处理系统、方法及电子设备 | |
WO2020000953A1 (zh) | 一种bios和操作系统复用密码的方法、装置及设备 | |
CN108959508B (zh) | Sql数据生成方法及装置 | |
CN106708897B (zh) | 一种数据仓库质量保障方法、装置和系统 | |
US11645192B2 (en) | Graph-based method for inductive bug localization | |
US20150046393A1 (en) | Method and device for executing an enterprise process | |
US9104573B1 (en) | Providing relevant diagnostic information using ontology rules | |
CN112416769A (zh) | 云桌面场景下批量模拟用户操作的自动化测试方法及系统 | |
WO2023151397A1 (zh) | 应用程序部署方法、装置、设备及介质 | |
CN112052157A (zh) | 测试报文的构造方法、装置及系统 | |
CN115130130B (zh) | 网盘文件解锁方法、装置、网盘及存储介质 | |
WO2020000946A1 (zh) | 一种bios和操作系统复用密码的方法、装置及设备 | |
CN113918162B (zh) | 一种基于集中式管理模式下的前端代码自动化校验方法 | |
US20200302914A1 (en) | Method, device, computer apparatus, and storage medium of processing claim data | |
CN112099879B (zh) | 配置信息管理方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |