CN114356848B - 元数据管理方法、计算机存储介质及电子设备 - Google Patents

元数据管理方法、计算机存储介质及电子设备 Download PDF

Info

Publication number
CN114356848B
CN114356848B CN202210234596.6A CN202210234596A CN114356848B CN 114356848 B CN114356848 B CN 114356848B CN 202210234596 A CN202210234596 A CN 202210234596A CN 114356848 B CN114356848 B CN 114356848B
Authority
CN
China
Prior art keywords
interface
target metadata
data snapshot
data
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210234596.6A
Other languages
English (en)
Other versions
CN114356848A (zh
Inventor
谢家贵
李志平
陈剑
潘瑞
张芹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Information and Communications Technology CAICT
Original Assignee
China Academy of Information and Communications Technology CAICT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Information and Communications Technology CAICT filed Critical China Academy of Information and Communications Technology CAICT
Priority to CN202210234596.6A priority Critical patent/CN114356848B/zh
Publication of CN114356848A publication Critical patent/CN114356848A/zh
Application granted granted Critical
Publication of CN114356848B publication Critical patent/CN114356848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种元数据管理方法、计算机存储介质及电子设备,该元数据管理方法包括:获取目标元数据;为目标元数据确定数据管理类型;在数据管理类型为资产管理类型的情况下,创建目标元数据的第一数据快照,并发布第一数据快照;在数据管理类型为接口管理类型的情况下,创建与目标元数据中的信息项关联的接口,并发布接口。本申请提供的方案中,针对元数据,可以根据数据管理类型的不同,进行数据快照的创建与发布,或者进行接口的创建与发布,以便于有需要的人员查阅数据快照或者调用接口,从而有效地实现元数据的运用,以发挥元数据的价值。

Description

元数据管理方法、计算机存储介质及电子设备
技术领域
本申请涉及数据治理技术,具体地,涉及一种元数据管理方法、计算机存储介质及电子设备。
背景技术
元数据作为描述数据的数据,是数据治理的基础,其清晰地描述了数据的来龙去脉,以及数据加工处理规则,是保证数据质量的关键。因此,如何有效地运用元数据,以发挥元数据的价值对于本领域技术人员而言是一个值得关注的问题。
发明内容
本申请实施例中提供了一种元数据管理方法、计算机存储介质及电子设备,以解决上述技术问题。
根据本申请实施例的第一个方面,提供了一种元数据管理方法,包括:
获取目标元数据;
为所述目标元数据确定数据管理类型;
在所述数据管理类型为资产管理类型的情况下,创建所述目标元数据的第一数据快照,并发布所述第一数据快照;
在所述数据管理类型为接口管理类型的情况下,创建与所述目标元数据中的信息项关联的接口,并发布所述接口。
在一个可选示例中,所述方法还包括:
记录数据血缘关系;
其中,所述数据血缘关系包括以下至少一项:
所述目标元数据、所述第一数据快照、所述接口中的至少两者之间的关联关系;
不同所述目标元数据之间的关联关系;
不同所述接口之间的关联关系。
在一个可选示例中,所述发布所述第一数据快照之后,所述方法还包括:
接收对所述第一数据快照的使用请求;
对所述使用请求进行审批;
在对所述使用请求的审批通过的情况下,同意所述使用请求,并授予所述使用请求的请求方以所述第一数据快照的使用权限;
在对所述使用请求的审批不通过的情况下,拒绝所述使用请求。
在一个可选示例中,所述方法还包括:
接收对所述第一数据快照的第一修改请求;
在所述第一修改请求用于请求修改所述第一数据快照的名称的情况下,同意所述第一修改请求,并按照所述第一修改请求,对所述第一数据快照的名称进行修改,撤回已发布的所述第一数据快照,且重新发布名称经修改后的所述第一数据快照;
在所述第一修改请求用于请求修改所述第一数据快照的名称之外的信息的情况下,根据所述第一修改请求,对所述目标元数据进行修改,并创建经修改后的所述目标元数据的第二数据快照,发布所述第二数据快照。
在一个可选示例中,所述创建所述目标元数据的第一数据快照之后,所述方法还包括:
在数据快照目录中添加所述第一数据快照的索引信息;
从所述数据快照目录中删除满足预设删除条件的索引信息,和/或,对所述数据快照目录中满足预设修改条件的索引信息进行修改。
在一个可选示例中,所述创建与所述目标元数据中的信息项关联的接口,并发布所述接口,包括:
获取接口配置信息;
根据所述接口配置信息,创建与所述目标元数据中的信息项关联的接口;
对所述接口进行测试;
在对所述接口的测试通过的情况下,发布所述接口;
在对所述接口的测试不通过的情况下,返回执行所述根据所述接口配置信息,创建与所述目标元数据中的信息项关联的接口的步骤。
在一个可选示例中,
所述在对所述接口的测试通过的情况下,发布所述接口,包括:
在对所述接口的测试通过的情况下,为所述接口分配身份认证令牌,并发布所述接口;
所述发布所述接口之后,所述方法还包括:
接收对所述接口的调用请求;
在所述调用请求中携带所述身份认证令牌的情况下,同意所述调用请求,并向所述调用请求的请求方返回所述接口的调用结果;
在所述调用请求中未携带所述身份认证令牌的情况下,拒绝所述调用请求。
在一个可选示例中,所述方法还包括:
接收对所述接口的第二修改请求;
在所述接口存在故障,和/或所述接口满足预设调用结果变更条件的情况下,同意所述第二修改请求,并按照所述第二修改请求,对所述接口进行修改,撤回已发布的所述接口,且重新发布经修改后的所述接口;
在所述接口不存在故障,且所述接口不满足所述预设调用结果变更条件的情况下,拒绝所述第二修改请求。
在一个可选示例中,所述方法还包括:
接收对所述目标元数据的第三修改请求;
确定所述目标元数据的允许修改方式;其中,在所述目标元数据存在历史使用记录的情况下,所述允许修改方式为:对所述目标元数据的非关键信息进行修改;在所述目标元数据不存在历史使用记录的情况下,所述允许修改方式为:对所述目标元数据的关键信息和非关键信息进行修改;
根据所述第三修改请求所请求的修改方式和所述允许修改方式,对所述第三修改请求进行处理。
在一个可选示例中,所述方法还包括:
确定所述目标元数据的归档方式;其中,在所述目标元数据存在历史使用记录的情况下,所述归档方式为计划归档;否则,所述归档方式为直接归档;
在所述目标元数据满足预设归档条件的情况下,按照所述归档方式,对所述目标元数据进行归档处理。
在一个可选示例中,所述在所述目标元数据满足预设归档条件的情况下,按照所述归档方式,对所述目标元数据进行归档处理之前,所述方法还包括:
在所述第一数据快照在第一预设时长内不存在使用记录的情况下,对所述第一数据快照进行归档处理;
在所述接口在第二预设时长内不存在使用记录的情况下,对所述接口进行归档处理;
在所述第一数据快照和所述接口均归档的情况下,确定所述目标元数据满足所述预设归档条件。
在一个可选示例中,所述获取目标元数据之后,所述方法还包括:
确定所述目标元数据的状态,所述状态为可用状态和不可用状态中的一者;
在所述状态为所述可用状态的情况下,执行所述在所述数据管理类型为资产管理类型的情况下,创建所述目标元数据的第一数据快照的步骤,或者执行所述在所述数据管理类型为接口管理类型的情况下,创建与所述目标元数据中的信息项关联的接口的步骤。
在一个可选示例中,
所述获取目标元数据之后,所述方法还包括:
按照指定命名规则,为所述目标元数据确定第一名称以及为所述目标元数据中的信息项确定第二名称;
所述创建所述目标元数据的第一数据快照之后,所述方法还包括:
根据所述第一名称和所述指定命名规则,为所述第一数据快照确定第三名称;
所述创建与所述目标元数据关联的接口之后,所述方法还包括:
根据所述第一名称和所述指定命名规则,为所述接口确定第四名称。
在一个可选示例中,所述方法还包括:
为目标对象确定第一版本号;其中,所述目标对象为所述目标元数据或者所述接口;
在所述目标对象被修改的情况下,为经修改后的所述目标对象确定第二版本号,所述第二版本号不同于所述第一版本号。
在一个可选示例中,所述方法还包括:
在每次创建所述目标元数据的一数据快照之后,为所述目标元数据的该数据快照确定版本号;其中,所述目标元数据的各数据快照的版本号互异。
根据本申请实施例的第二个方面,提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述方法的步骤。
根据本申请实施例的第三个方面,提供了一种电子设备,包括存储器、以及一个或多个处理器,所述存储器用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器执行时,实现如上述第一方面所述的方法。
本申请实施例提供的方案中,针对元数据,可以根据数据管理类型的不同,进行数据快照的创建与发布,或者进行接口的创建与发布,以便于有需要的人员查阅数据快照或者调用接口,从而有效地实现元数据的运用,以发挥元数据的价值。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了本申请实施例中提供的一种元数据管理方法的流程示意图;
图2示出了本申请实施例中数据资产管理系统的构架图;
图3示出了本申请实施例中数据资产管理系统的另一构架图;
图4示出了本申请实施例中数据资产管理系统的再一构架图;
图5示出了本申请实施例中元数据修改流程图;
图6示出了本申请实施例中元数据归档流程图;
图7示出了本申请实施例中资产创建流程图;
图8示出了本申请实施例中资产修改流程图;
图9示出了本申请实施例中接口创建流程图;
图10示出了本申请实施例中接口修改流程图;
图11示出了本申请实施例中提供的一种电子设备的结构示意图。
具体实施方式
为了有效地运用元数据,以发挥元数据的价值,本申请实施例提供了一种元数据管理方法。
参见图1,图中示出了本申请实施例提供的元数据管理方法的流程图。如图1所示,该方法包括如下步骤:
步骤101,获取目标元数据。
在步骤101中,可以从关系型数据库、非关系型数据库或者文件服务器中,获取任一元数据,该元数据即可作为目标元数据;其中,目标元数据可以是业务元数据、技术元数据或者管理元数据,目标元数据可以呈元数据表的形式。
步骤102,为目标元数据确定数据管理类型。
在步骤102中,可以根据人工输入信息,为目标元数据确定数据管理类型;其中,人工输入信息包括但不限于语音输入信息、键盘输入操作、鼠标输入信息等;数据管理类型包括但不限于资产管理类型、接口关管理类型等。
步骤103,在数据管理类型为资产管理类型的情况下,创建目标元数据的第一数据快照,并发布第一数据快照。
需要说明的是,第一数据快照可以认为是目标元数据在当前时刻的视图,第一数据快照的具体内容与目标元数据在当前时刻的具体内容是一致的。由于第一数据快照的发布,有需要的人员(例如数据分析人员)可以通过查阅第一数据快照,快速获知目标元数据的具体内容,将第一数据快照应用于后续的数据分析、数据挖掘等,从而发挥目标元数据的价值。
步骤104,在数据管理类型为接口管理类型的情况下,创建与目标元数据中的信息项关联的接口,并发布接口。
可选地,步骤104中创建的接口可以为应用程序编程接口(Application ProgramInterface,API)。
需要说明的是,接口与目标元数据中的信息项关联可以是指:接口在被调用的情况下,调用结果为目标元数据中的若干个特定信息项,或者为目标元数据中的若干个特定信息项经信息整合后得到的结果。由于接口的发布,有需要的人员(例如数据分析人员)可以通过接口的调用获得调用结果,并将调用结果应用于后续的数据分析、数据挖掘等,从而发挥目标元数据的价值。
本申请实施例提供的元数据管理方法,针对元数据,可以根据数据管理类型的不同,进行数据快照的创建与发布,或者进行接口的创建与发布,以便于有需要的人员查阅数据快照或者调用接口,从而有效地实现元数据的运用,以发挥元数据的价值。
在一个可选示例中,该方法还包括:
记录数据血缘关系;其中,数据血缘关系包括以下至少一项:目标元数据、第一数据快照、接口中的至少两者之间的关联关系;不同目标元数据之间的关联关系;不同接口之间的关联关系。
可选地,目标元数据与第一数据快照之间的关联关系可以用于表征:第一数据快照依赖于目标元数据生成;目标元数据与接口之间的关联关系可以用于表征:接口依赖于目标元数据生成;第一数据快照与接口之间的关联关系可以用于表征:第一数据快照和接口均依赖于目标元数据生成。
可选地,不同目标元数据之间的关联关系可以用于表征:不同目标元数据产生于相同的任务,不同目标元数据位于相同的数据库中等。
可选地,不同接口之间的关联关系可以用于表征:不同接口依赖于同一目标元数据生成,不同接口的功能之间的包含关系(例如,一个接口的功能中包含另一个接口的功能)等。
可见,本申请实施例中,由于数据血缘关系的记录,有需要的人员可以通过查阅数据血缘关系,快速理清目标元数据、第一数据快照、接口相互之间的依赖情况,不同目标元数据之间的联系,以及不同接口之间的联系。
在一个可选示例中,发布第一数据快照之后,该方法还包括:
接收对第一数据快照的使用请求;
对使用请求进行审批;
在对使用请求的审批通过的情况下,同意使用请求,并授予使用请求的请求方以第一数据快照的使用权限;
在对使用请求的审批不通过的情况下,拒绝使用请求。
需要说明的是,企业可以具有专门的审批人员,当有需要的人员发起对第一数据快照的使用请求的情况下,审批人员可以通过在审批页面的操作,决定对使用请求的处理方式。在一个具体例子中,审批页面可以具有“批准”和“不批准”两个选项,如果审批人员点击“批准”,则可以确定对使用请求的审批通过,此时可以同意使用请求,并授予使用请求的请求方(即上段中有提及的需要的人员)以第一数据快照的使用权限,这时,使用请求的请求方可以查阅第一数据快照;如果审批人员点击“不批准”,则可以确定对使用请求的审批不通过,此时可以拒绝使用请求,使用请求的请求方将无法查阅第一数据快照。
可选地,审批页面还可以具有审批意见输入区域,审批人员可以在审批意见输入区域输入具体的审批意见,例如注明审批不通过的原因等。
可见,本申请实施例中,通过对第一数据快照的使用请求进行审批,可以保证第一数据快照仅在授权的情况下才能被使用。
在一个可选示例中,该方法还包括:
接收对第一数据快照的第一修改请求;
在第一修改请求用于请求修改第一数据快照的名称的情况下,同意第一修改请求,并按照第一修改请求,对第一数据快照的名称进行修改,撤回已发布的第一数据快照,且重新发布名称经修改后的第一数据快照;
在第一修改请求用于请求修改第一数据快照的名称之外的信息的情况下,根据第一修改请求,对目标元数据进行修改,并创建经修改后的目标元数据的第二数据快照,发布第二数据快照。
需要说明的是,由于第一数据快照是目标元数据在某一时刻的视图,第一数据快照的实质性内容一般是不发生变化的。名称的修改不会导致第一数据快照的实质性内容的变化,因此,在对第一数据快照的第一修改请求用于请求修改名称的情况下,可以直接按照第一修改请求进行相应的名称修改,撤回已发布的第一数据快照,且重新发布名称经修改后的第一数据快照,这样就实现了对第一修改请求的响应。除了名称之外的信息的修改会导致第一数据快照的实质性内容的变化,因此,在对第一数据快照的第一修改请求用于请求修改名称之外的信息的情况下,可以根据第一修改请求,对目标元数据中的相应内容进行修改,创建经修改后的目标元数据的第二数据快照,并发布第二数据快照,第二数据快照可以认为是按照第一修改请求对第一数据快照进行修改后得到的数据快照,这样也实现了对第一修改请求的响应。
可见,本申请实施例中,无论对第一数据快照的第一修改请求为何种类型,均可以采用合适的方式,实现第一数据快照的修改。
在一个可选示例中,创建目标元数据的第一数据快照之后,该方法还包括:
在数据快照目录中添加第一数据快照的索引信息;
从数据快照目录中删除满足预设删除条件的索引信息,和/或,对数据快照目录中满足预设修改条件的索引信息进行修改。
需要说明的是,可以设置一数据快照目录,在创建第一数据快照之后,可以在数据快照目录中添加第一数据快照的索引信息,这样,有需要的人员依据该索引信息可以迅速搜索到第一数据快照,以便迅速对第一数据快照进行查阅。
由于数据快照的索引信息的不断添加,数据快照目录中可以具有大量的索引信息,通过编辑分类,数据快照目录可以呈树状结构。当人工在数据快照目录的编辑页面选中数据快照目录中的某一索引信息,且点击编辑页面中的“删除”控件时,可以认为该索引信息满足预设删除条件,则可以从数据快照目录中删除该索引信息。当人工在数据快照目录的编辑页面选中数据快照目录中的某一索引信息,且点击编辑页面中的“修改”控件,则可以按照人工输入信息(例如语音输入信息、键盘输入信息等),对该索引信息进行修改。
可见,本申请实施例提供了数据快照目录的编辑功能,能够方便快捷地实现数据快照目录的增加、删除、修改等操作,通过数据快照目录的设置,能够方便快捷地实现对数据快照的查阅。
在一个可选示例中,创建与目标元数据中的信息项关联的接口,并发布接口,包括:
获取接口配置信息;
根据接口配置信息,创建与目标元数据中的信息项关联的接口;
对接口进行测试;
在对接口的测试通过的情况下,发布接口;
在对接口的测试不通过的情况下,返回执行根据接口配置信息,创建与目标元数据中的信息项关联的接口的步骤。
本申请实施例中,可以根据接口配置信息,创建与目标元数据中的信息项关联的接口,接口配置信息包括但不限于计算规则、接口参数、用于指示返回结果类型的信息、结果排序规则等。
接下来,可以对接口进行测试,具体地,可以通过实验,测试接口的实际返回结果是否符合预期,例如测试接口的实际返回结果是否为接口配置信息所指示的返回结果类型。如果符合预期,则可以认为对接口的测试通过,这时可以发布接口,以便于有需要的人员对接口进行调用;如果不符合预期,则可以认为对接口的测试不通过,这时可以返回执行根据接口配置信息,创建与目标元数据中的信息项关联的接口的步骤,并对重新创建的接口进行测试,后续过程依此类推,在此不再赘述。
可见,本申请实施例中,可以通过接口配置,创建所需的接口,如果创建的接口满足要求,则可以直接进行发布,否则,可以重新进行接口创建,直至创建出满足要求的接口,这样能够较好地保证发布的接口的性能。
在一个可选示例中,
在对接口的测试通过的情况下,发布接口,包括:
在对接口的测试通过的情况下,为接口分配身份认证令牌,并发布接口;
发布接口之后,该方法还包括:
接收对接口的调用请求;
在调用请求中携带身份认证令牌的情况下,同意调用请求,并向调用请求的请求方返回接口的调用结果;
在调用请求中未携带身份认证令牌的情况下,拒绝调用请求。
这里,身份认证令牌也可以称为token。
本申请实施例中,在对接口的测试通过的情况下,可以通过token生成工具,为接口生成专门的token,然后再进行接口的发布。
之后,在接收对接口的调用请求的情况下,可以判断调用请求中是否携带该token。如果判断结果为是,可以认为调用请求是合法请求,此时可以同意调用请求,并向调用请求的请求方返回接口的调用结果,以便调用请求的请求方进一步利用该调用结果(例如利用该调用结果进行数据分析等);如果判断结果为否,可以认为调用请求是非法请求,此时可以直接拒绝调用请求,这样,调用请求的请求方将无法获得接口的调用结果。
可见,本申请实施例中,通过为接口分配身份认证令牌,可以判定后续接收的对接口的调用请求的合法性,并以合适的方式对调用请求进行处理。
在一个可选示例中,该方法还包括:
接收对接口的第二修改请求;
在接口存在故障(例如BUG),和/或接口满足预设调用结果变更条件的情况下,同意第二修改请求,并按照第二修改请求,对接口进行修改,撤回已发布的接口,且重新发布经修改后的接口;
在接口不存在故障,且接口不满足预设调用结果变更条件的情况下,拒绝第二修改请求。
可选地,可以通过BUG检测工具,检测接口是否存在BUG。
可选地,可以在与接口相关的业务需求发生变更的情况下,确定接口满足预设调用结果变更条件;否则,确定接口不满足预设调用结果变更条件。
可见,本申请实施例中,可以仅在接口存在BUG,和/或与接口相关的业务需求发生变更的情况下,响应对接口的第二修改请求,以实现接口的修改,而在其他情况下禁止进行接口的修改,这样不仅能够克服BUG,满足实际的业务需求,还能够尽量保证接口的稳定性和可靠性。
在一个可选示例中,该方法还包括:
接收对目标元数据的第三修改请求;
确定目标元数据的允许修改方式;其中,在目标元数据存在历史使用记录的情况下,允许修改方式为:对目标元数据的非关键信息进行修改;在目标元数据不存在历史使用记录的情况下,允许修改方式为:对目标元数据的关键信息和非关键信息进行修改;
根据第三修改请求所请求的修改方式和允许修改方式,对第三修改请求进行处理。
需要说明的是,目标元数据的非关键信息为与目标元数据的实质性内容无关的信息,例如备注信息、描述信息等;目标元数据的关键信息为与目标元数据的实质性内容相关的信息,例如特定的信息项。
需要说明的是,在任一人员使用目标元数据的情况下,均可以生成相应的使用记录,并在一特定的数据库(后续称为第一数据库)中存储该使用记录,这样,通过遍历第一数据库,即可确定目标元数据是否存在历史使用记录,据此可以确定目标元数据的允许修改方式。
在接收对目标元数据的第三修改请求的情况下,可以根据第三修改请求所请求的修改方式和允许修改方式,对第三修改请求进行处理。
具体地,在允许修改方式包括第三修改请求所请求的修改方式的情况下(例如,第三修改请求所请求的修改方式为对目标元数据的非关键信息进行修改,允许修改方式为对目标元数据的非关键信息进行修改),可以同意第三修改请求,并按照第三修改请求,对目标元数据进行相应修改。在允许修改方式不包括第三修改请求所请求的修改方式的情况下(例如第三修改请求所请求的修改方式为对目标元数据的关键信息进行修改,允许修改方式为对目标元数据的非关键信息进行修改),可以拒绝第三修改请求。
本申请实施例中,由于允许修改方式基于目标元数据是否存在历史使用记录确定,结合第三修改请求所请求的修改方式和允许修改方式,对第三修改请求进行处理,有利于避免目标元数据的修改影响到使用者对目标元数据的正常使用。
在一个可选示例中,该方法还包括:
确定目标元数据的归档方式;其中,在目标元数据存在历史使用记录的情况下,归档方式为计划归档;否则,归档方式为直接归档;
在目标元数据满足预设归档条件的情况下,按照归档方式,对目标元数据进行归档处理。
需要说明的是,在任一人员使用目标元数据的情况下,均可以生成相应的使用记录,并在第一数据库中存储该使用记录,这样,通过遍历第一数据库,即可确定目标元数据是否存在历史使用记录,据此可以确定目标元数据的归档方式。归档方式可以存在两种可能,一种是计划归档,一种是直接归档;其中,直接归档可以是指在目标元数据满足预设归档条件的情况下,立即对目标元数据进行归档处理;计划归档可以是指在目标元数据满足预设归档条件的情况下,等待一段时间(例如1小时、2小时等),这段时间结束时再对目标元数据进行归档处理。
本申请实施例中,在目标元数据满足预设归档条件的情况下,可以参考目标元数据是否存在历史使用记录,以合适的归档方式对目标元数据进行归档处理,有利于避免目标元数据的归档处理影响到使用者对目标元数据的正常使用。
在一个可选示例中,在目标元数据满足预设归档条件的情况下,按照归档方式,对目标元数据进行归档处理之前,该方法还包括:
在第一数据快照在第一预设时长内不存在使用记录的情况下,对第一数据快照进行归档处理;
在接口在第二预设时长内不存在使用记录的情况下,对接口进行归档处理;
在第一数据快照和接口均归档的情况下,确定目标元数据满足预设归档条件。
可选地,第一预设时长可以为1个月、3个月、1个季度等,第二预设时长可以为1个月、3个月、1个季度等,第一预设时长和第二预设时长可以相同,也可以不同。
需要说明的是,在任一人员使用第一数据快照或者接口的情况下,均可以生成相应的使用记录,并在一特定的数据库(后续称为第二数据库)中存储该使用记录,这样,通过遍历第二数据库,可以确定第一数据快照在第一预设时长内是否存在使用记录,以及接口在第二预设时长内是否存在使用记录。
对于第一数据快照在第一预设时长内不存在使用记录的情况下,可以认为第一数据快照长期未被使用,那么可以直接对第一数据快照进行归档处理。类似地,对于接口在第二预设时长不存在使用记录的情况下,可以认为接口长期未被使用,那么可以直接对接口进行归档处理。由于第一数据快照和接口均是依赖于目标元数据产生的,在第一数据快照和接口均归档的情况下,可以认为目标元数据的使用需求较少,那么,可以确定目标元数据满足预设归档条件,并按照之前确定的归档方式,对目标元数据进行归档处理。
可见,本申请实施例中,可以识别第一数据快照和接口长期未被使用的情况,针对这种情况,可以进行第一数据快照和接口的归档处理,以便触发目标元数据的归档处理。
在一个可选示例中,获取目标元数据之后,该方法还包括:
确定目标元数据的状态,状态为可用状态和不可用状态中的一者;
在状态为可用状态的情况下,执行在数据管理类型为资产管理类型的情况下,创建目标元数据的第一数据快照的步骤,或者执行在数据管理类型为接口管理类型的情况下,创建与目标元数据中的信息项关联的接口的步骤。
本申请实施例中,可以根据目标元数据是否为空数据,以及目标元数据的的正确性,确定目标元数据的状态。具体地,如果目标元数据为空数据,则可以直接确定目标元数据的状态为不可用状态;如果目标元数据不为空数据,但是目标元数据中的信息项明显存在错误(例如,目标元数据中某一信息项用于指示存储位置,但该存储位置实际并不存在),则可以确定目标元数据的状态为不可用状态;如果目标元数据不为空数据,且目标元数据的正确性满足要求,则可以确定目标元数据的状态为可用状态。
在目标元数据的状态为不可用状态的情况下,不进行第一数据快照和接口的创建,而在目标元数据的状态为可用状态的情况下,可以基于目标元数据,进行第一数据快照和接口的创建及发布,从而较好地保证发布结果的可靠性。
在一个可选示例中,
获取目标元数据之后,该方法还包括:
按照指定命名规则,为目标元数据确定第一名称以及为目标元数据中的信息项确定第二名称;
创建目标元数据的第一数据快照之后,该方法还包括:
根据第一名称和指定命名规则,为第一数据快照确定第三名称;
创建与目标元数据关联的接口之后,该方法还包括:
根据第一名称和指定命名规则,为接口确定第四名称。
需要说明的是,指定命名规则可以为任意自定义的命名规则,只需要保证利用指定命名规则确定的名称规整即可。可选地,指定命名规则可以为:采用英文进行命名,且利用S表示元数据类型,利用i表示信息项类型,利用D表示数据快照类型,利用K表示接口类型。
在一个具体例子中,按照指定命名规则,为目标元数据确定的名称(即第一名称)可以为S1,为目标元数据中的第一个信息项确定的名称(即第二名称)可以为S1-i1,为目标元数据中的第二个信息项确定的名称可以为S1-i2,为目标元数据中的其他信息项确定的名称依此类推;根据第一名称和指定命名规则,为第一数据快照确定的名称(即第三名称)可以为S1-D1;根据第一名称和指定命名规则,为接口确定的名称(即第四名称)可以为S1-K1。
本申请实施例中,通过参考指定命名规则,对目标元数据、目标元数据中的信息项、第一数据快照、接口进行自定义命名,既能够保证命名结果的规整性,还能够实现与原始数据信息(即按照指定命名规则命名之前的目标元数据及信息项)的解耦。
在一个可选示例中,该方法还包括:
为目标对象确定第一版本号;其中,目标对象为目标元数据或者接口;
在目标对象被修改的情况下,为经修改后的目标对象确定第二版本号,第二版本号不同于第一版本号。
需要说明的是,目标对象可能经历多次修改,对于每一次修改,修改前的目标对象的版本号可以作为第一版本号,修改后的目标对象的版本号可以作为第二版本号。在一个具体例子中,初始的目标对象的版本号可以为XV0,经第一次修改后的目标对象的版本号可以为XV1,经第二次修改后的目标对象的版本号可以为XV2,经第三次修改后的目标对象的版本号可以为XV3,后续依此类推,在此不再赘述。
本申请实施例中,通过为修改前后的目标对象确定不同的版本号,能够便于通过版本号对目标对象进行管理,避免目标对象的混淆。
在一个可选示例中,该方法还包括:
在每次创建目标元数据的一数据快照之后,为目标元数据的该数据快照确定版本号;其中,目标元数据的各数据快照的版本号互异。
本申请实施例中,在第一次创建目标元数据的数据快照时,该数据快照的版本号可以为KV0,在第二次创建目标元数据的数据快照时,该数据快照的版本号可以为KV1,在第三次创建目标元数据的数据快照时,该数据快照的版本号可以为KV2,后续依此类推,在此不再赘述。通过为目标元数据的各数据快照确定不同的版本号,能够便于通过版本号对数据快照进行管理,避免数据快照的混淆。
需要说明的是,本申请实施例中的元数据管理方法可以应用于数据资产管理系统,如图2、图3、图4所示,数据资产管理系统主要可以包括元数据管理、资产管理和接口管理三个板块,下面对这三个板块分别进行介绍。
元数据管理可以包括数据库连接管理、数据源管理、任务管理、元数据定义、数据血缘。数据库连接管理用于维护各种关系型数据库、非关系型数据库、文件服务器的配置信息,如服务地址、服务名称、端口、用户名、密码、连接方式等,基于数据库连接管理,可以获取到上文中的目标元数据。数据源管理用于维护接入数据基本信息(该信息可以认为是元数据的基本信息),如归属业务、接入方式、数据格式、数据起止时间、提供方、字符集编码、加密方式、压缩方式、数据传输周期、数据规模、存储位置、存储周期等。任务管理用于维护加工任务信息,如任务名称、任务引擎、任务依赖数据、任务类型、任务运行周期、任务责任人、任务脚本、任务结果等,任务管理对应的任务是指用于产生元数据的任务。元数据定义用于将元数据分为技术元数据、业务元数据、管理元数据,管理元数据可以包括数据责任人、数据敏感性等数据。数据血缘用于展示数据的来源、数据的加工方式、数据间关系以及数据使用情况,可快速清晰的展现数据之间的联系(对应上文中记录的数据血缘关系)。
需要说明的是,元数据的修改流程可以参见图5,即在元数据存在历史使用记录的情况下,可以进行不涉及表结构的更新(对应上文中允许修改方式为对目标元数据的非关键信息进行修改的情况),否则,可以进行涉及表字段信息的更新(对应上文中允许修改方式为对目标元数据的关键信息和非关键信息进行修改的情况)。另外,元数据的归档流程可以参见图6,即在元数据存在历史使用记录的情况下,可以进行计划归档,否则,可以进行直接归档。
资产管理可以包括资产目录定义、资产注册、资产发布、资产申请、资产审核等,需要指出的是,资产管理中涉及的资产或者数据资产实质上均是指代上文中创建的数据快照。资产目录定义用于实现数据资产分类体系目录的编辑管理,提供资产体系目录的增加、删除、修改功能,通过编译分类目录形成树状体系的目录结构(对应上文中的数据快照目录)。资产注册基于定义的元数据维护数据资产的信息,该信息包括信息,包括关联的元数据名称、资产说明、资产权限、资产负责人、资产时间范围等。资产发布用于维护已完成的资产,发布后资产(相当于上文中发布的数据快照)可以被用户申请使用,记录发布时间,发布人等信息。资产申请用于使用人员对已发布的数据资产进行申请(相当于发起上文中对第一数据快照的使用请求),说明使用原因。资产审核用于审批人员对资产使用申请进行批复,通过申请或拒绝申请,并注明审批意见(相当于上文中的对使用请求进行审批)。
需要说明的是,资产的创建流程可以参见图7,即判断元数据是否可用,如果是,创建并发布资产(对应上文中在目标元数据为可用状态下的情况下,创建并发布目标元数据的第一数据快照)。另外,资产的修改流程可以参见图8,即判断是否为修改资产名,如果是,则撤回已发布的资产,在修改资产的资产名后再次进行发布,如果否,另外创建一资产(对应上文中对第一数据快照的第一修改请求的处理方式)。
资产管理可以包括接口配置、接口测试、接口发布。其中,接口配置用于配置计算规则、接口参数、返回结果类型、结果排序规则等。接口测试用于对配置好的接口进行检验,验证接口是否能够返回期望结果。接口发布用于为接口分配token,分配好后将接口发布给外部用户使用。
需要说明的是,接口的创建流程可以参考图9,即判断元数据是否可用,如果是,则创建接口,并判断对接口的测试是否通过,如果通过,则发布接口,如果不通过,则再次创建接口。接口的修改流程可以参考图10,即在接口存在BUG或者业务需求发生变更的情况下,进行接口的撤回、修改和重新发布,否则,不进行接口的修改。
具体实施时,本申请实施例中的元数据管理方法可以包括如下步骤:
(1)通过数据源维护页面添加本方法中接入的各类数据源,支持一次性接入、增量接入等,数据源中的数据具体为元数据;
(2)通过任务维护页面添加本方法中任务信息,任务信息对应的任务用于产生元数据;
(3)选择数据库连接,进行元数据的获取(例如获取上文中的目标元数据);
(4)确定获取的元数据为以下状态中的何种状态:可用、不可用、计划归档、直接归档;
(5)利用指定命名规则,且获取的元数据确定名称,并为获取的元数据中的信息项确定名称;
(6)维护资产信息,选择元数据,指定表及数据信息项,未发布前资产不可用(对应上文中的创建数据快照);
(7)进行接口配置,选择元数据,指定表及数据信息项,计算规则,未经测试、未发布前接口不可用(对应上文中的创建接口);
(8)接收用户对发布后的资产的使用请求,对使用请求进行审批,申请通过后,用户可以使用发布后的资产进行数据分析、挖掘等工作;
(9)在元数据发生变化的情况下,记录变化内容,维护版本信息;
(10)对于元数据的历史版本,可以执行计划归档操作,执行后依赖此元数据的资产及接口仍可正常使用;
(11)长期不用的资产及接口可以进行归档处理,当资产和接口都归档后,可以对元数据进行归档处理。
综上,本申请实施例中,通过数据血缘关系,能够有效地记录元数据、数据快照、接口之间的依赖关系,降低人工维护开销;元数据、数据快照、接口均按照指定命名规则进行命名,这样能够屏蔽底层信息以及不同数据资产之间的构建流程的差异,便于应对资产变化;元数据、数据快照、接口均采用版本化方式进行管理,避免发生混淆,不同版本接口可以具有各自独立的输入参数、输出参数等。
基于同一发明构思,本申请实施例提供了一种计算机存储介质,该计算机存储介质上存储有计算机程序,该计算机程序被处理器执行时实现如下步骤:
获取目标元数据;
为目标元数据确定数据管理类型;
在数据管理类型为资产管理类型的情况下,创建目标元数据的第一数据快照,并发布第一数据快照;
在数据管理类型为接口管理类型的情况下,创建与目标元数据中的信息项关联的接口,并发布接口。
在一个可选示例中,该计算机程序被处理器执行时还实现如下步骤:
记录数据血缘关系;
其中,数据血缘关系包括以下至少一项:
目标元数据、第一数据快照、接口中的至少两者之间的关联关系;
不同目标元数据之间的关联关系;
不同接口之间的关联关系。
在一个可选示例中,该计算机程序被处理器执行时还实现如下步骤:
在发布第一数据快照之后,接收对第一数据快照的使用请求;
对使用请求进行审批;
在对使用请求的审批通过的情况下,同意使用请求,并授予使用请求的请求方以第一数据快照的使用权限;
在对使用请求的审批不通过的情况下,拒绝使用请求。
在一个可选示例中,该计算机程序被处理器执行时还实现如下步骤:
接收对第一数据快照的第一修改请求;
在第一修改请求用于请求修改第一数据快照的名称的情况下,同意第一修改请求,并按照第一修改请求,对第一数据快照的名称进行修改,撤回已发布的第一数据快照,且重新发布名称经修改后的第一数据快照;
在第一修改请求用于请求修改第一数据快照的名称之外的信息的情况下,根据第一修改请求,对目标元数据进行修改,并创建经修改后的目标元数据的第二数据快照,发布第二数据快照。
在一个可选示例中,该计算机程序被处理器执行时还实现如下步骤:
在创建目标元数据的第一数据快照之后,在数据快照目录中添加第一数据快照的索引信息;
从数据快照目录中删除满足预设删除条件的索引信息,和/或,对数据快照目录中满足预设修改条件的索引信息进行修改。
在一个可选示例中,创建与目标元数据中的信息项关联的接口,并发布接口,包括:
获取接口配置信息;
根据接口配置信息,创建与目标元数据中的信息项关联的接口;
对接口进行测试;
在对接口的测试通过的情况下,发布接口;
在对接口的测试不通过的情况下,返回执行根据接口配置信息,创建与目标元数据中的信息项关联的接口的步骤。
在一个可选示例中,
在对接口的测试通过的情况下,发布接口,包括:
在对接口的测试通过的情况下,为接口分配身份认证令牌,并发布接口;
该计算机程序被处理器执行时还实现如下步骤:
在发布接口之后,接收对接口的调用请求;
在调用请求中携带身份认证令牌的情况下,同意调用请求,并向调用请求的请求方返回接口的调用结果;
在调用请求中未携带身份认证令牌的情况下,拒绝调用请求。
在一个可选示例中,该计算机程序被处理器执行时还实现如下步骤:
接收对接口的第二修改请求;
在接口存在故障,和/或接口满足预设调用结果变更条件的情况下,同意第二修改请求,并按照第二修改请求,对接口进行修改,撤回已发布的接口,且重新发布经修改后的接口;
在接口不存在故障,且接口不满足预设调用结果变更条件的情况下,拒绝第二修改请求。
在一个可选示例中,该计算机程序被处理器执行时还实现如下步骤:
接收对目标元数据的第三修改请求;
确定目标元数据的允许修改方式;其中,在目标元数据存在历史使用记录的情况下,允许修改方式为:对目标元数据的非关键信息进行修改;在目标元数据不存在历史使用记录的情况下,允许修改方式为:对目标元数据的关键信息和非关键信息进行修改;
根据第三修改请求所请求的修改方式和允许修改方式,对第三修改请求进行处理。
在一个可选示例中,该计算机程序被处理器执行时还实现如下步骤:
确定目标元数据的归档方式;其中,在目标元数据存在历史使用记录的情况下,归档方式为计划归档;否则,归档方式为直接归档;
在目标元数据满足预设归档条件的情况下,按照归档方式,对目标元数据进行归档处理。
在一个可选示例中,该计算机程序被处理器执行时还实现如下步骤:
在目标元数据满足预设归档条件的情况下,按照归档方式,对目标元数据进行归档处理之前,在第一数据快照在第一预设时长内不存在使用记录的情况下,对第一数据快照进行归档处理;
在接口在第二预设时长内不存在使用记录的情况下,对接口进行归档处理;
在第一数据快照和接口均归档的情况下,确定目标元数据满足预设归档条件。
在一个可选示例中,该计算机程序被处理器执行时还实现如下步骤:
在获取目标元数据之后,确定目标元数据的状态,状态为可用状态和不可用状态中的一者;
在状态为可用状态的情况下,执行在数据管理类型为资产管理类型的情况下,创建目标元数据的第一数据快照的步骤,或者执行在数据管理类型为接口管理类型的情况下,创建与目标元数据中的信息项关联的接口的步骤。
在一个可选示例中,该计算机程序被处理器执行时还实现如下步骤:
在获取目标元数据之后,按照指定命名规则,为目标元数据确定第一名称以及为目标元数据中的信息项确定第二名称;
在创建目标元数据的第一数据快照之后,根据第一名称和指定命名规则,为第一数据快照确定第三名称;
在创建与目标元数据关联的接口之后,根据第一名称和指定命名规则,为接口确定第四名称。
在一个可选示例中,该计算机程序被处理器执行时还实现如下步骤:
为目标对象确定第一版本号;其中,目标对象为目标元数据或者接口;
在目标对象被修改的情况下,为经修改后的目标对象确定第二版本号,第二版本号不同于第一版本号。
在一个可选示例中,该计算机程序被处理器执行时还实现如下步骤:
在每次创建目标元数据的一数据快照之后,为目标元数据的该数据快照确定版本号;其中,目标元数据的各数据快照的版本号互异。
本申请实施例提供的计算机存储介质,针对元数据,可以根据数据管理类型的不同,进行数据快照的创建与发布,或者进行接口的创建与发布,以便于有需要的人员查阅数据快照或者调用接口,从而有效地实现元数据的运用,以发挥元数据的价值。
基于同一发明构思,本实施例提供了一种电子设备,参见图11,包括存储器1101、处理器1102、总线1103以及存储在存储器1101上并可在处理器1102上运行的计算机程序,处理器1102执行该计算机程序时实现如下步骤:
获取目标元数据;
为目标元数据确定数据管理类型;
在数据管理类型为资产管理类型的情况下,创建目标元数据的第一数据快照,并发布第一数据快照;
在数据管理类型为接口管理类型的情况下,创建与目标元数据中的信息项关联的接口,并发布接口。
在一个可选示例中,处理器1102执行该计算机程序时还实现如下步骤:
记录数据血缘关系;
其中,数据血缘关系包括以下至少一项:
目标元数据、第一数据快照、接口中的至少两者之间的关联关系;
不同目标元数据之间的关联关系;
不同接口之间的关联关系。
在一个可选示例中,处理器1102执行该计算机程序时还实现如下步骤:
在发布第一数据快照之后,接收对第一数据快照的使用请求;
对使用请求进行审批;
在对使用请求的审批通过的情况下,同意使用请求,并授予使用请求的请求方以第一数据快照的使用权限;
在对使用请求的审批不通过的情况下,拒绝使用请求。
在一个可选示例中,处理器1102执行该计算机程序时还实现如下步骤:
接收对第一数据快照的第一修改请求;
在第一修改请求用于请求修改第一数据快照的名称的情况下,同意第一修改请求,并按照第一修改请求,对第一数据快照的名称进行修改,撤回已发布的第一数据快照,且重新发布名称经修改后的第一数据快照;
在第一修改请求用于请求修改第一数据快照的名称之外的信息的情况下,根据第一修改请求,对目标元数据进行修改,并创建经修改后的目标元数据的第二数据快照,发布第二数据快照。
在一个可选示例中,处理器1102执行该计算机程序时还实现如下步骤:
在创建目标元数据的第一数据快照之后,在数据快照目录中添加第一数据快照的索引信息;
从数据快照目录中删除满足预设删除条件的索引信息,和/或,对数据快照目录中满足预设修改条件的索引信息进行修改。
在一个可选示例中,创建与目标元数据中的信息项关联的接口,并发布接口,包括:
获取接口配置信息;
根据接口配置信息,创建与目标元数据中的信息项关联的接口;
对接口进行测试;
在对接口的测试通过的情况下,发布接口;
在对接口的测试不通过的情况下,返回执行根据接口配置信息,创建与目标元数据中的信息项关联的接口的步骤。
在一个可选示例中,
在对接口的测试通过的情况下,发布接口,包括:
在对接口的测试通过的情况下,为接口分配身份认证令牌,并发布接口;
处理器1102执行该计算机程序时还实现如下步骤:
在发布接口之后,接收对接口的调用请求;
在调用请求中携带身份认证令牌的情况下,同意调用请求,并向调用请求的请求方返回接口的调用结果;
在调用请求中未携带身份认证令牌的情况下,拒绝调用请求。
在一个可选示例中,处理器1102执行该计算机程序时还实现如下步骤:
接收对接口的第二修改请求;
在接口存在故障,和/或接口满足预设调用结果变更条件的情况下,同意第二修改请求,并按照第二修改请求,对接口进行修改,撤回已发布的接口,且重新发布经修改后的接口;
在接口不存在故障,且接口不满足预设调用结果变更条件的情况下,拒绝第二修改请求。
在一个可选示例中,处理器1102执行该计算机程序时还实现如下步骤:
接收对目标元数据的第三修改请求;
确定目标元数据的允许修改方式;其中,在目标元数据存在历史使用记录的情况下,允许修改方式为:对目标元数据的非关键信息进行修改;在目标元数据不存在历史使用记录的情况下,允许修改方式为:对目标元数据的关键信息和非关键信息进行修改;
根据第三修改请求所请求的修改方式和允许修改方式,对第三修改请求进行处理。
在一个可选示例中,处理器1102执行该计算机程序时还实现如下步骤:
确定目标元数据的归档方式;其中,在目标元数据存在历史使用记录的情况下,归档方式为计划归档;否则,归档方式为直接归档;
在目标元数据满足预设归档条件的情况下,按照归档方式,对目标元数据进行归档处理。
在一个可选示例中,处理器1102执行该计算机程序时还实现如下步骤:
在目标元数据满足预设归档条件的情况下,按照归档方式,对目标元数据进行归档处理之前,在第一数据快照在第一预设时长内不存在使用记录的情况下,对第一数据快照进行归档处理;
在接口在第二预设时长内不存在使用记录的情况下,对接口进行归档处理;
在第一数据快照和接口均归档的情况下,确定目标元数据满足预设归档条件。
在一个可选示例中,处理器1102执行该计算机程序时还实现如下步骤:
在获取目标元数据之后,确定目标元数据的状态,状态为可用状态和不可用状态中的一者;
在状态为可用状态的情况下,执行在数据管理类型为资产管理类型的情况下,创建目标元数据的第一数据快照的步骤,或者执行在数据管理类型为接口管理类型的情况下,创建与目标元数据中的信息项关联的接口的步骤。
在一个可选示例中,处理器1102执行该计算机程序时还实现如下步骤:
在获取目标元数据之后,按照指定命名规则,为目标元数据确定第一名称以及为目标元数据中的信息项确定第二名称;
在创建目标元数据的第一数据快照之后,根据第一名称和指定命名规则,为第一数据快照确定第三名称;
在创建与目标元数据关联的接口之后,根据第一名称和指定命名规则,为接口确定第四名称。
在一个可选示例中,处理器1102执行该计算机程序时还实现如下步骤:
为目标对象确定第一版本号;其中,目标对象为目标元数据或者接口;
在目标对象被修改的情况下,为经修改后的目标对象确定第二版本号,第二版本号不同于第一版本号。
在一个可选示例中,处理器1102执行该计算机程序时还实现如下步骤:
在每次创建目标元数据的一数据快照之后,为目标元数据的该数据快照确定版本号;其中,目标元数据的各数据快照的版本号互异。
本申请实施例提供的电子设备,针对元数据,可以根据数据管理类型的不同,进行数据快照的创建与发布,或者进行接口的创建与发布,以便于有需要的人员查阅数据快照或者调用接口,从而有效地实现元数据的运用,以发挥元数据的价值。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种元数据管理方法,其特征在于,包括:
获取目标元数据;
为所述目标元数据确定数据管理类型;
在所述数据管理类型为资产管理类型的情况下,创建所述目标元数据的第一数据快照,并发布所述第一数据快照;
在所述数据管理类型为接口管理类型的情况下,创建与所述目标元数据中的信息项关联的接口,并发布所述接口;
所述方法还包括:
确定所述目标元数据的归档方式;其中,在所述目标元数据存在历史使用记录的情况下,所述归档方式为计划归档;否则,所述归档方式为直接归档;
在所述第一数据快照在第一预设时长内不存在使用记录的情况下,对所述第一数据快照进行归档处理;
在所述接口在第二预设时长内不存在使用记录的情况下,对所述接口进行归档处理;
在所述第一数据快照和所述接口均归档的情况下,确定所述目标元数据满足预设归档条件;
在所述目标元数据满足预设归档条件的情况下,按照所述归档方式,对所述目标元数据进行归档处理。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
记录数据血缘关系;
其中,所述数据血缘关系包括以下至少一项:
所述目标元数据、所述第一数据快照、所述接口中的至少两者之间的关联关系;
不同所述目标元数据之间的关联关系;
不同所述接口之间的关联关系。
3.根据权利要求1所述的方法,其特征在于,所述发布所述第一数据快照之后,所述方法还包括:
接收对所述第一数据快照的使用请求;
对所述使用请求进行审批;
在对所述使用请求的审批通过的情况下,同意所述使用请求,并授予所述使用请求的请求方以所述第一数据快照的使用权限;
在对所述使用请求的审批不通过的情况下,拒绝所述使用请求。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收对所述第一数据快照的第一修改请求;
在所述第一修改请求用于请求修改所述第一数据快照的名称的情况下,同意所述第一修改请求,并按照所述第一修改请求,对所述第一数据快照的名称进行修改,撤回已发布的所述第一数据快照,且重新发布名称经修改后的所述第一数据快照;
在所述第一修改请求用于请求修改所述第一数据快照的名称之外的信息的情况下,根据所述第一修改请求,对所述目标元数据进行修改,并创建经修改后的所述目标元数据的第二数据快照,发布所述第二数据快照。
5.根据权利要求1所述的方法,其特征在于,所述创建所述目标元数据的第一数据快照之后,所述方法还包括:
在数据快照目录中添加所述第一数据快照的索引信息;
从所述数据快照目录中删除满足预设删除条件的索引信息,和/或,对所述数据快照目录中满足预设修改条件的索引信息进行修改。
6.根据权利要求1所述的方法,其特征在于,所述创建与所述目标元数据中的信息项关联的接口,并发布所述接口,包括:
获取接口配置信息;
根据所述接口配置信息,创建与所述目标元数据中的信息项关联的接口;
对所述接口进行测试;
在对所述接口的测试通过的情况下,发布所述接口;
在对所述接口的测试不通过的情况下,返回执行所述根据所述接口配置信息,创建与所述目标元数据中的信息项关联的接口的步骤。
7.根据权利要求6所述的方法,其特征在于,
所述在对所述接口的测试通过的情况下,发布所述接口,包括:
在对所述接口的测试通过的情况下,为所述接口分配身份认证令牌,并发布所述接口;
所述发布所述接口之后,所述方法还包括:
接收对所述接口的调用请求;
在所述调用请求中携带所述身份认证令牌的情况下,同意所述调用请求,并向所述调用请求的请求方返回所述接口的调用结果;
在所述调用请求中未携带所述身份认证令牌的情况下,拒绝所述调用请求。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收对所述接口的第二修改请求;
在所述接口存在故障,和/或所述接口满足预设调用结果变更条件的情况下,同意所述第二修改请求,并按照所述第二修改请求,对所述接口进行修改,撤回已发布的所述接口,且重新发布经修改后的所述接口;
在所述接口不存在故障,且所述接口不满足所述预设调用结果变更条件的情况下,拒绝所述第二修改请求。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收对所述目标元数据的第三修改请求;
确定所述目标元数据的允许修改方式;其中,在所述目标元数据存在历史使用记录的情况下,所述允许修改方式为:对所述目标元数据的非关键信息进行修改;在所述目标元数据不存在历史使用记录的情况下,所述允许修改方式为:对所述目标元数据的关键信息和非关键信息进行修改;
根据所述第三修改请求所请求的修改方式和所述允许修改方式,对所述第三修改请求进行处理。
10.根据权利要求1所述的方法,其特征在于,所述获取目标元数据之后,所述方法还包括:
确定所述目标元数据的状态,所述状态为可用状态和不可用状态中的一者;
在所述状态为所述可用状态的情况下,执行所述在所述数据管理类型为资产管理类型的情况下,创建所述目标元数据的第一数据快照的步骤,或者执行所述在所述数据管理类型为接口管理类型的情况下,创建与所述目标元数据中的信息项关联的接口的步骤。
11.根据权利要求1至10中任一项所述的方法,其特征在于,
所述获取目标元数据之后,所述方法还包括:
按照指定命名规则,为所述目标元数据确定第一名称以及为所述目标元数据中的信息项确定第二名称;
所述创建所述目标元数据的第一数据快照之后,所述方法还包括:
根据所述第一名称和所述指定命名规则,为所述第一数据快照确定第三名称;
所述创建与所述目标元数据关联的接口之后,所述方法还包括:
根据所述第一名称和所述指定命名规则,为所述接口确定第四名称。
12.根据权利要求1至10中任一项所述的方法,其特征在于,所述方法还包括:
为目标对象确定第一版本号;其中,所述目标对象为所述目标元数据或者所述接口;
在所述目标对象被修改的情况下,为经修改后的所述目标对象确定第二版本号,所述第二版本号不同于所述第一版本号。
13.根据权利要求1至10中任一项所述的方法,其特征在于,所述方法还包括:
在每次创建所述目标元数据的一数据快照之后,为所述目标元数据的该数据快照确定版本号;其中,所述目标元数据的各数据快照的版本号互异。
14.一种计算机存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至13中任一项所述方法的步骤。
15.一种电子设备,其特征在于,包括存储器、以及一个或多个处理器,所述存储器用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器执行时,实现如权利要求1至13中任一项所述的方法。
CN202210234596.6A 2022-03-11 2022-03-11 元数据管理方法、计算机存储介质及电子设备 Active CN114356848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210234596.6A CN114356848B (zh) 2022-03-11 2022-03-11 元数据管理方法、计算机存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210234596.6A CN114356848B (zh) 2022-03-11 2022-03-11 元数据管理方法、计算机存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN114356848A CN114356848A (zh) 2022-04-15
CN114356848B true CN114356848B (zh) 2022-06-07

Family

ID=81094575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210234596.6A Active CN114356848B (zh) 2022-03-11 2022-03-11 元数据管理方法、计算机存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN114356848B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117609393B (zh) * 2023-11-21 2024-04-26 中国标准化研究院 一种元数据一致性测试方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344881A (zh) * 2007-07-09 2009-01-14 中国科学院大气物理研究所 海量文件型数据的索引生成方法及装置和搜索系统
CN104735110A (zh) * 2013-12-23 2015-06-24 中国电信股份有限公司 元数据管理方法和系统
CN105323303A (zh) * 2014-07-31 2016-02-10 三星电子株式会社 管理元数据的系统和方法
CN111782587A (zh) * 2020-06-30 2020-10-16 北京三快在线科技有限公司 快照信息记录方法、装置、设备及存储介质
CN113902416A (zh) * 2021-10-28 2022-01-07 厦门海迈科技股份有限公司 建筑信息资产全过程的管理方法和相关设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8949317B2 (en) * 2010-01-21 2015-02-03 Versaic Inc. Metadata-configurable systems and methods for network services
US8818951B1 (en) * 2011-12-29 2014-08-26 Emc Corporation Distributed file system having separate data and metadata and providing a consistent snapshot thereof
US9710475B1 (en) * 2012-07-16 2017-07-18 Tintri Inc. Synchronization of data
CN107943819A (zh) * 2017-10-09 2018-04-20 中国电子科技集团公司第二十八研究所 一种基于元数据配置的数据管理方法及装置
CN112269543B (zh) * 2020-10-22 2023-01-10 苏州浪潮智能科技有限公司 一种存储逻辑卷管理方法、装置及相关组件
CN113111245B (zh) * 2021-03-15 2023-06-20 成都七柱智慧科技有限公司 实现多维数据质量校验的高校主数据治理系统及方法
CN113032579B (zh) * 2021-03-25 2022-11-25 中国建设银行股份有限公司 一种元数据血缘分析方法、装置、电子设备和介质
CN113687911A (zh) * 2021-07-30 2021-11-23 广东浪潮智慧计算技术有限公司 一种元数据管理方法、系统、电子设备及存储介质
CN113836228B (zh) * 2021-09-22 2024-03-08 广东电网有限责任公司 管理系统的构建方法、装置、管理系统、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344881A (zh) * 2007-07-09 2009-01-14 中国科学院大气物理研究所 海量文件型数据的索引生成方法及装置和搜索系统
CN104735110A (zh) * 2013-12-23 2015-06-24 中国电信股份有限公司 元数据管理方法和系统
CN105323303A (zh) * 2014-07-31 2016-02-10 三星电子株式会社 管理元数据的系统和方法
CN111782587A (zh) * 2020-06-30 2020-10-16 北京三快在线科技有限公司 快照信息记录方法、装置、设备及存储介质
CN113902416A (zh) * 2021-10-28 2022-01-07 厦门海迈科技股份有限公司 建筑信息资产全过程的管理方法和相关设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
StateSnap: a snapshot-based interface for state-reproductable operation of networked appliances;N. Kohtake等;《The Second Annual International Conference on Mobile and Ubiquitous Systems: Networking and Services》;20051121;1-11 *
一个分布式文件系统元数据服务器设计与实现;吕鹏程;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20160315(第3期);I138-5305 *
基于本体的电信产品信息融合服务框架研究与实践;袁燕妮;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20100315(第3期);I138-8 *
我国政府数据开放的元数据管理研究;林焱;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190115(第12期);I141-98 *
面向大数据时代的地表覆盖动态服务计算;陈军等;《测绘科学技术学报》;20130815;第30卷(第4期);369-374 *

Also Published As

Publication number Publication date
CN114356848A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
US11640352B2 (en) Testing software and/or computing hardware design through test fragmentation into one or more discrete computing environments
US20190392118A1 (en) Blockchain Version Control
US10037204B2 (en) Version control of applications
US11669439B2 (en) Computing hardware and software design testing auditability, including for critical control systems, functional safety, and autonomous vehicle component certification
CN113287112B (zh) 利用区块链技术审计云服务的数据保护遵从性
US20160292445A1 (en) Context-based data classification
US20060230044A1 (en) Records management federation
JP7266354B2 (ja) データ匿名化
US20230161746A1 (en) Data pipeline branching
US11146560B1 (en) Distributed governance of computing resources
JP2020126409A (ja) データ管理システムおよびデータ管理方法
CN114356848B (zh) 元数据管理方法、计算机存储介质及电子设备
CN114168930A (zh) 一种Hive权限控制方法、装置、设备及可读存储介质
CN115238247A (zh) 基于零信任数据访问控制系统的数据处理方法
Masood-Al-Farooq SQL Server 2014 Development Essentials
US11934551B2 (en) Processing per-use requests for user data
US10942924B2 (en) LOB query performance via automatic inference of locator-less LOB by value semantics
CN115438024A (zh) 数据导入中台的方法、装置、系统、电子设备、存储介质
US20220237309A1 (en) Signal of risk access control
US9703818B1 (en) Automatic comparison of enterprise profile analytics
Zhang AWS Identity-based Policies with" Read"," Write" and" Execute" Actions
Zhezhnych et al. On restricted set of DML operations in an ERP System’s database
CN115630344A (zh) 一种权限认证和数据处理的方法、数据库和系统
CN117349891A (zh) 一种基于Mybatis的动态数据权限控制方法、设备及介质
CN114385985A (zh) 一种数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant