CN118296215A - 元数据的处理方法、装置、电子设备及存储介质 - Google Patents
元数据的处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN118296215A CN118296215A CN202410521191.XA CN202410521191A CN118296215A CN 118296215 A CN118296215 A CN 118296215A CN 202410521191 A CN202410521191 A CN 202410521191A CN 118296215 A CN118296215 A CN 118296215A
- Authority
- CN
- China
- Prior art keywords
- metadata
- attribute
- processed
- target
- snapshot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 15
- 230000006835 compression Effects 0.000 claims abstract description 69
- 238000007906 compression Methods 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000004590 computer program Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种元数据的处理方法、装置、电子设备及存储介质,涉及数据处理技术领域,该方法包括:获取待处理元数据,根据预设属性排序值对待处理元数据的属性对象进行排序;将排序后的属性对象和属性对象值以预设格式存储,得到待处理元数据对应的元数据快照;利用预设算法对元数据快照进行压缩处理,得到待处理元数据对应的快照压缩值;在元模型中确定待处理元数据对应的目标元数据,将待处理元数据对应的快照压缩值和目标元数据对应的快照压缩值进行对比,确定目标元数据是否发生更新;其中,目标元数据对应的快照压缩值为基于预设算法对所述目标元数据排序后的属性对象和属性对象值进行压缩处理得到。用于提高元数据的处理效率。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种元数据的处理方法、装置、电子设备及存储介质。
背景技术
元数据是描述数据的数据,主要描述数据的属性信息,元模型是用于描述元数据的模型,定义了元数据的属性、元数据的属性之间的关系等。
在大型数据系统中,一个元模型下会存在大量的元数据,而由于对元数据的多次采集,可能使得同一条元数据存在多个版本,因此需要及时发现数据系统中元模型下的元数据是否发生更新。在现有技术中,通常通过将新版本的元数据与元模型中的元数据逐个比对,以确定元模型中的元数据是否发生了更新,但该处理方式耗时较长,处理效率较低。
发明内容
为了对元数据的处理效率,本申请提供了一种元数据的处理方法、装置、电子设备及存储介质。
第一方面,本申请提供了一种元数据的处理方法,包括:
获取待处理元数据,根据预设属性排序值对所述待处理元数据的属性对象进行排序;
将排序后的所述属性对象和属性对象值以预设格式存储,得到所述待处理元数据对应的元数据快照;
利用预设算法对所述待处理元数据对应的元数据快照进行压缩处理,得到所述待处理元数据对应的快照压缩值;
在元模型中确定所述待处理元数据对应的目标元数据,将所述待处理元数据对应的快照压缩值和所述目标元数据对应的快照压缩值进行对比,确定所述目标元数据是否发生更新;其中,所述目标元数据对应的快照压缩值为基于所述预设算法对所述目标元数据排序后的属性对象和属性对象值进行压缩处理得到的。
作为本申请实施例一种可选的实施方式,在获取待处理元数据之前,所述方法还包括:
确定所述元模型中元数据的属性排序值,将所述元数据的属性排序值作为所述预设属性排序值;
基于所述预设属性排序值对所述元模型中各元数据的属性对象分别进行排序,将所述各元数据排序后的属性对象和属性对象值以所述预设格式存储,得到所述各元数据分别对应的元数据快照;
利用所述预设算法对所述各元数据分别对应的元数据快照进行压缩处理,得到所述各元数据分别对应的快照压缩值。
作为本申请实施例一种可选的实施方式,在得到所述各元数据分别对应的元数据快照之后,所述方法还包括:
针对各元数据,基于所述元数据对应的元数据快照确定所述元数据对应的元数据主键;
利用所述预设算法对所述各元数据分别对应的元数据主键进行压缩处理,得到所述各元数据分别对应的元数据标识。
作为本申请实施例一种可选的实施方式,所述在元模型中确定所述待处理元数据对应的目标元数据,包括:
计算所述待处理元数据的元数据标识,将所述待处理元数据的元数据标识与所述元模型中各元数据分别对应的元数据标识匹配,确定相匹配的元数据标识为目标元数据标识;
确定所述目标元数据标识对应的元数据为所述待处理元数据对应的目标元数据。
作为本申请实施例一种可选的实施方式,所述针对各元数据,基于所述元数据对应的元数据快照确定所述元数据对应的元数据主键,包括:
针对所述各元数据,基于主键标识在所述元数据对应的元数据快照中确定所有主键属性对象值;
将所述所有主键属性对象值拼接,得到所述元数据对应的元数据主键。
作为本申请实施例一种可选的实施方式,所述利用所述预设算法对所述各元数据分别对应的元数据快照进行压缩处理,得到所述各元数据分别对应的快照压缩值,包括:
基于信息摘要MD5算法对所述各元数据分别对应的元数据快照进行压缩处理,得到所述各元数据分别对应的预设长度的MD5值;
将所述各元数据分别对应的所述MD5值作为所述各元数据分别对应的快照压缩值。
作为本申请实施例一种可选的实施方式,所述方法还包括:
若确定所述目标元数据发生更新,则遍历所述目标元数据中的属性对象和属性对象值,确定所述目标元数据中发生更新的目标属性对象和目标属性对象值;
基于所述待处理元数据对所述目标属性对象和所述目标属性对象值进行更新。
第二方面,本申请提供一种元数据的处理装置,包括:
排序模块,用于获取待处理元数据,根据预设属性排序值对所述待处理元数据的属性对象进行排序;
存储模块,用于将排序后的所述属性对象和属性对象值以预设格式存储,得到所述待处理元数据对应的元数据快照;
压缩模块,用于利用预设算法对所述待处理元数据对应的元数据快照进行压缩处理,得到所述待处理元数据对应的快照压缩值;
确定模块,用于在元模型中确定所述待处理元数据对应的目标元数据;
对比模块,用于将所述待处理元数据对应的快照压缩值和所述目标元数据对应的快照压缩值进行对比,确定所述目标元数据是否发生更新;其中,所述目标元数据对应的快照压缩值为基于所述预设算法对所述目标元数据排序后的属性对象和属性对象值进行压缩处理得到的。
作为本申请实施例一种可选的实施方式,所述装置还包括:构建模块,用于确定所述元模型中元数据的属性排序值,将所述元数据的属性排序值作为所述预设属性排序值;
基于所述预设属性排序值对所述元模型中各元数据的属性对象分别进行排序,将所述各元数据排序后的属性对象和属性对象值以所述预设格式存储,得到所述各元数据分别对应的元数据快照;
利用所述预设算法对所述各元数据分别对应的元数据快照进行压缩处理,得到所述各元数据分别对应的快照压缩值。
作为本申请实施例一种可选的实施方式,所述构建模块,还用于针对各元数据,基于所述元数据对应的元数据快照确定所述元数据对应的元数据主键;
利用所述预设算法对所述各元数据分别对应的元数据主键进行压缩处理,得到所述各元数据分别对应的元数据标识。
作为本申请实施例一种可选的实施方式,所述确定模块,具体用于计算所述待处理元数据的元数据标识,将所述待处理元数据的元数据标识与所述元模型中各元数据分别对应的元数据标识匹配,确定相匹配的元数据标识为目标元数据标识;
确定所述目标元数据标识对应的元数据为所述待处理元数据对应的目标元数据。
作为本申请实施例一种可选的实施方式,所述构建模块,具体用于针对所述各元数据,基于主键标识在所述元数据对应的元数据快照中确定所有主键属性对象值;
将所述所有主键属性对象值拼接,得到所述元数据对应的元数据主键。
作为本申请实施例一种可选的实施方式,所述构建模块,具体用于基于信息摘要MD5算法对所述各元数据分别对应的元数据快照进行压缩处理,得到所述各元数据分别对应的预设长度的MD5值;
将所述各元数据分别对应的所述MD5值作为所述各元数据分别对应的快照压缩值。
作为本申请实施例一种可选的实施方式,所述装置还包括:更新模块,用于若确定所述目标元数据发生更新,则遍历所述目标元数据中的属性对象和属性对象值,确定所述目标元数据中发生更新的目标属性对象和目标属性对象值;
基于所述待处理元数据对所述目标属性对象和所述目标属性对象值进行更新。
第三方面,本申请实施例提供一种电子设备,包括:存储器和处理器,所述存储器用于存储计算机程序,所述处理器用于在调用计算机程序时执行第一方面或第一方面任一种可选的实施方式所述的元数据的处理方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面或第一方面任一种可选的实施方式所述的元数据的处理方法。
本申请实施例提供的技术方案与现有技术相比具有如下优点:
本申请实施例提供一种元数据的处理方法、装置、电子设备及存储介质,该方法包括:获取待处理元数据,根据预设属性排序值对所述待处理元数据的属性对象进行排序;将排序后的所述属性对象和属性对象值以预设格式存储,得到所述待处理元数据对应的元数据快照;利用预设算法对所述待处理元数据对应的元数据快照进行压缩处理,得到所述待处理元数据对应的快照压缩值;在元模型中确定所述待处理元数据对应的目标元数据,将所述待处理元数据对应的快照压缩值和所述目标元数据对应的快照压缩值进行对比,确定所述目标元数据是否发生更新;其中,所述目标元数据对应的快照压缩值为基于所述预设算法对所述目标元数据排序后的属性对象和属性对象值进行压缩处理得到的。本申请实施例中基于排序后的属性对象和属性对象值生成元数据快照,再将元数据快照压缩为快照压缩值,通过确定待处理元数据对应的目标元数据,将待处理元数据的快照压缩值和目标元数据的快照压缩值对比,确定目标元数据是否发生更新,相较于传统方法中对元数据的属性对象逐个进行对比确定元数据是否发生更新,减小了对比数据量,可缩短处理时长,进而提高元数据的处理效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一个实施例提供的元数据的处理方法的步骤流程图;
图2为本申请另一个实施例提供的元数据的处理方法的步骤流程图;
图3为本申请一个实施例提供的元数据的处理装置的结构框图;
图4为本申请另一个实施例提供的元数据的处理装置的结构框图;
图5为本申请一个实施例提供的电子设备的内部结构图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
首先,对本申请实施例的应用场景和相关概念进行示例性描述,元数据是描述数据的数据,主要描述数据属性的信息,包括数据的组织、数据域及其关系等,可用于支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据模型(Metadata Model)是用来描述元数据的模型。它定义了元数据的属性、关系的模型,每类元数据都属于一个元模型。元数据可以理解为多个数据的抽象表达,元模型可以理解为元数据的抽象表达。
在元数据采集过程中,可以从不同来源和系统采集元数据,采集的元数据包括数据元素及其关系、属性、定义、描述、使用等内容。元数据采集数据管理的关键环节,可为后续的数据分析、数据资产管理、数据建模和信息管理等提供必要的信息支持。然而,在大型数据系统中,一个元模型下会存在大量的元数据,而对于同一条元数据,又由于多次采集存在多个版本,因此每次采集元数据之后,需要及时发现元模型中变更的元数据,针对变更的元数据进行影响分析,提示下游系统关注元数据变更。
现有方法中,通常是将新版本元数据的每个属性值与元模型中的元数据属性值进行对比,以找出发生变更的元数据,但该处理方式耗时较长,且对系统的消耗较大,元数据处理效率较低。在本申请实施例中。
基于此,本申请实施例提供一种元数据的处理方法,通过将待处理元数据的属性对象进行排序,将排序后的属性对象和属性对象值压缩处理,得到待处理元数据对应的快照压缩值,通过将得到的快照压缩值与元模型中待处理元数据对应的目标元数据的快照压缩值进行对比,确定目标元数据是否发生变更,由于本申请实施例是通过对比快照压缩值确定目标元数据是否发生更新,相较于传统方法中通过对元数据的属性对象逐个进行对比确定元数据是否发生更新,减小了对比数据量,可缩短处理时长,进而提高元数据的处理效率。
以下将通过具体的示例性实施例对本申请提供的元数据的处理方法进说明和阐述。
图1为本申请一个实施例提供的元数据的处理方法流程图,参照图1所示,本实施例提供的元数据的处理方法包括以下步骤S11至S14。
S11、获取待处理元数据,根据预设属性排序值对所述待处理元数据的属性对象进行排序。
其中,预设属性排序值为预先定义的用于对元数据的属性对象进行排序的排序号,以根据排序号对元数据的属性对象进行排序。
所述待处理元数据可包括新采集或新版本的元数据,元数据的属性对象可理解为具体的数据,如,元模型为人时,可将姓名、身份证号、身高、体重、出生地、学历等等作为属性对象。
示例性的,参照下表1所示,表1为本申请一个实施例中定义的元数据的属性对象表,表1中的属性对象名称“TABLE_ANME”、“TABLE_CODE”、“DATABASE_NAME”、“DATASOURCE_TYPE”等均为元模型中元数据的属性对象。属性对象定义表中还可包括属性对象的描述信息、排序号、以及是否为主键属性对象的标识信息等等。排序号可以数字,按照排序号从小到大的顺序进行属性对象的排序,表1中元数据的属性对象为基于预设属性排序值进行排序后的结果,主键标识为“Y”时,表示该属性对象可作为元数据的主键属性对象,主键标识为“N”时,表示该属性对象为元数据的非主键属性对象。在表1中,“TABLE_ANME”、“TABLE_CODE”、“DATABASE_NAME”为元数据的主键属性对象。
表1
S12、将排序后的所述属性对象和属性对象值以预设格式存储,得到所述待处理元数据对应的元数据快照。
示例性的,对待处理元数据的属性对象进行排序后,确定各属性对象分别对应的属性对象值,参照表2所示,表2为本申请一个实施例提供的包含元数据排序后的属性对象和属性对象值的属性对象表。
表2
将排序后的属性对象和属性对象值按照排序号以预设格式存储,可得到所述待处理元数据对应的元数据快照。示例性的,将属性对象和属性对象值以键值对“key:value”的形式存储,可得到待处理元数据对应的元数据快照。
针对上表2中的属性对象和属性对象值的存储结果为:
元数据属性对象:
{
“TABLE_ANME”:“用户表”,
“TABLE_CODE”:“USER”,
“DATABASE_NAME”:“DB1”,
“DATASOURCE_TYPE”:“MySQL”,
“DATASOURCE_NAME”:“SYSTEM”,
“TABLE_ROWS”:“1000”,
“DATA_LENGTH”:“65536”,
“CREATE_TIME”:“2023-05-01 11:05:15”,
“UPDATE_TIME”:“2023-05-14 17:45:35”
}
该存储结果即为所述待处理元数据对应的元数据快照。
S13、利用预设算法对所述待处理元数据对应的元数据快照进行压缩处理,得到所述待处理元数据对应的快照压缩值。
其中,预设算法可根据具体需求进行设置,在本申请实施例中,预设算法可以为信息摘要MD5算法,示例性的,基于信息摘要MD5算法对所述各元数据分别对应的元数据快照进行压缩处理,得到所述各元数据分别对应的预设长度的MD5值;将所述各元数据分别对应的所述MD5值作为所述各元数据分别对应的快照压缩值。
示例性的,利用MD5算法对上述表2所示的待处理元数据对应的元数据快照果进行压缩,可得到32位的小写MD5值“327b0e9dbb18765a64a350d255f20e7f”,该32位的小写MD5值即为待处理元数据对应的快照压缩值。
在本申请实施例中,通过基于预设属性排序值对元数据的属性对象进行排序,可保证元数据在未发生变更的情况下,对应的快照压缩值也不发生变更,以保证判断元数据是否发生更新的准确性。
S14、在元模型中确定所述待处理元数据对应的目标元数据。
其中,所述目标元数据对应的快照压缩值为基于所述预设算法对所述目标元数据排序后的属性对象和属性对象值进行压缩处理得到的。
所述元模型可包括大量元数据,元模型中的元数据包括对应的元数据快照和快照压缩值,元模型中的元数据对应的元数据快照和快照压缩值均可基于上述方法预先处理得到。
示例性的,在获取待处理元数据之前,还包括:确定所述元模型中元数据的属性排序值,将所述元数据的属性排序值作为所述预设属性排序值;基于所述预设属性排序值对所述元模型中各元数据的属性对象分别进行排序,将所述各元数据排序后的属性对象和属性对象值以所述预设格式存储,得到所述各元数据分别对应的元数据快照;利用所述预设算法对所述各元数据分别对应的元数据快照进行压缩处理,得到所述各元数据分别对应的快照压缩值。
其中,将各元数据分别对应的属性对象和属性对象值以键值对“key:value”的形式存储,可得到各元数据分别对应的的元数据快照。
在得到各元数据分别对应的元数据快照之后,还包括各元数据分别对应的元数据标识的生成过程,元数据标识作为元数据的唯一标识。
在一些实施例中,针对各元数据,所述元数据标识的生成过程包括:基于所述元数据对应的元数据快照确定所述元数据对应的元数据主键;利用所述预设算法对所述各元数据分别对应的元数据主键进行压缩处理,得到所述各元数据分别对应的元数据标识。
示例性的,针对各元数据,基于主键标识确定所述元数据中的所有主键属性对象值,以预设标识符作为连接符将所有主键属性对象值进行拼接,得到所述元数据对应的元数据主键。预设标识符可根据实际需求进行设定,如可以为下划线等等。以上表2所示的元数据为例,生成的元数据主键为“用户表_USER_DB1”,其中,下划线为预设标识符。利用预设算法对元数据对应的元数据主键进行压缩处理,得到元数据对应的元数据标识,如利用MD5算法对“用户表_USER_DB1”进行压缩,得到“4590e1f4382e90366282840068742906”,将该MD5值作为该元数据对应的元数据标识。
即,元数据对应的快照压缩值是利用预设算法对元数据中的所有属性对象和属性对象值压缩得到,元数据对应的元数据标识是利用所述预设算法对元数据中的主键属性对象值进行压缩得到,将各元数据、各元数分别对应的快照压缩值、各元数分别对应的元数据标识存储。
基于主键属性对象值生成待处理元数据的元数据标识,使基于元数据标识可在元模型中快速确定待处理元数据对应的目标元数据,提高元数据的处理效率。
S15、将所述待处理元数据对应的快照压缩值和所述目标元数据对应的快照压缩值进行对比,确定所述目标元数据是否发生更新。
即,对比目标元数据的快照压缩值和待处理元数据的快照压缩值,若目标元数据的快照压缩值和待处理元数据的快照压缩值相等,则确定目标元数据未发生更新;若目标元数据的快照压缩值和待处理元数据的快照压缩值不相等,则确定目标元数据发生了更新。
示例性的,在预设算法为MD5算法的情况下,对比目标元数据的MD5值和待处理元数据的MD5值,若目标元数据的MD5值和待处理元数据的MD5值相等,则确定目标元数据未发生更新;若目标元数据的MD5值和待处理元数据的MD5值不相等,则确定目标元数据发生了更新。
本申请实施例提供一种元数据的处理方法,包括:获取待处理元数据,根据预设属性排序值对所述待处理元数据的属性对象进行排序;将排序后的所述属性对象和属性对象值以预设格式存储,得到所述待处理元数据对应的元数据快照;利用预设算法对所述待处理元数据对应的元数据快照进行压缩处理,得到所述待处理元数据对应的快照压缩值;在元模型中确定所述待处理元数据对应的目标元数据,将所述待处理元数据对应的快照压缩值和所述目标元数据对应的快照压缩值进行对比,确定所述目标元数据是否发生更新;其中,所述目标元数据对应的快照压缩值为基于所述预设算法对所述目标元数据排序后的属性对象和属性对象值进行压缩处理得到的。本申请实施例中基于排序后的属性对象和属性对象值生成元数据快照,再将元数据快照压缩为快照压缩值,通过确定待处理元数据对应的目标元数据,将待处理元数据的快照压缩值和目标元数据的快照压缩值对比,确定目标元数据是否发生更新,相较于传统方法中对元数据的属性对象逐个进行对比确定元数据是否发生更新,减小了对比数据量,可缩短处理时长,进而提高元数据的处理效率。
在图1所示实施例的基础上,步骤S14可通过如下步骤S21至S23实现,参照图2所示,图2为本申请另一个实施例提供的元数据的处理方法流程图,本实施例对于与前述实施例相同或相似的步骤不再进行赘述,具体可参见前述实施例的解释和说明。
S21、计算所述待处理元数据的元数据标识。
示例性的,基于待处理元数据的主键标识确定待处理元数据中的所有主键属性对象值,以预设标识符作为连接符将所有主键属性对象值进行拼接,得到所述待处理元数据对应的元数据主键,利用预设算法对所述待处理元数据对应的元数据主键进行压缩处理,得到所述待处理元数据对应的元数据标识。
示例性的,基于MD5算法对所述待处理元数据对应的元数据主键进行压缩处理,得到所述待处理元元数据对应的预设长度的MD5值,将该MD5值作为所述待处理元数据对应的元数据标识。
S22、将所述待处理元数据的元数据标识与所述元模型中各元数据分别对应的元数据标识匹配,确定相匹配的元数据标识为目标元数据标识。
示例性的,将所述待处理元数据的元数据标识在元模型中匹配,若匹配不到对应的元数据标识,则可确定该待处理元数据为新采集数据,将对应的元数据标识、快照压缩值进行存储,作为该元数据的初始版本。若元模型中存在与待处理元数据的元数据标识匹配的目标元数据标识,则执行如下步骤S23。
示例性的,在待处理元数据的元数据标识为MD5值的情况下,若元模型中存在相等的MD5值,则确定元模型中存在目标元数据标识;若元模型中不存在相等的MD5值,则确定该待处理元数据为新采集数据。
S23、确定所述目标元数据标识对应的元数据为所述待处理元数据对应的目标元数据。
进而,对比目标元数据的快照压缩值与待处理元数据的快照压缩值,确定目标元数据是否发生更新。
在上述任一实施例的基础上,在确定所述元模型中的目标元数据发生更新之后,所述方法还包括:则遍历所述目标元数据中的属性对象和属性对象值,确定所述目标元数据中发生更新的目标属性对象和目标属性对象值;基于所述待处理元数据对所述目标属性对象和所述目标属性对象值进行更新。示例性的,若上述表2所示的元数据为目标元数据,则遍历第一列和第二列所有数据,寻找与待处理元数据存在差异的目标属性对象和目标属性对象值。
遍历目标元数据中的属性对象和属性对象值,确定与待处理元数据存在差异的属性对象作为目标属性对象,确定与待处理元数据存在差异的属性对象值作为目标属性对象值,基于待处理元数据中相应的属性对象和属性对象值对目标属性对象和目标属性对象值进行更新。
在本申请实施例中,对待处理元数据对应的元数据快照进行压缩处理所使用的压缩算法,与对元模型中各元数据分别对应的元数据快照进行压缩所使用的算法需保持一致,以保证可以准确的确定目标元模型中的元数据是否发生更新。
即,本申请实施例通过元数据的压缩数据快照(快照压缩值)的方式可快速分辨出元数据是否发生变更,对于发生变更的元数据,再基于未压缩的元数据快照进行影响分析,相比传统的直接遍历属性对象的方法,在算法上和运算时间上得到了提升。另外,通过对比快照压缩值,可以快速忽略没有发生变更的元数据,使系统在响应元数据变更影响更加及时。
基于同一发明构思,作为对上述方法的实现,本申请实施例还提供了执行上述实施例提供的元数据的处理装置,该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的元数据的处理装置能够对应实现前述方法实施例中的全部内容。
图3为本申请实施例提供的元数据的处理装置的结构示意图,如图3所示,本实施例提供的元数据的处理装置300包括:
排序模块310,用于获取待处理元数据,根据预设属性排序值对所述待处理元数据的属性对象进行排序;
存储模块320,用于将排序后的所述属性对象和属性对象值以预设格式存储,得到所述待处理元数据对应的元数据快照;
压缩模块330,用于利用预设算法对所述待处理元数据对应的元数据快照进行压缩处理,得到所述待处理元数据对应的快照压缩值;
确定模块340,用于在元模型中确定所述待处理元数据对应的目标元数据;
对比模块350,用于将所述待处理元数据对应的快照压缩值和所述目标元数据对应的快照压缩值进行对比,确定所述目标元数据是否发生更新;其中,所述目标元数据对应的快照压缩值为基于所述预设算法对所述目标元数据排序后的属性对象和属性对象值进行压缩处理得到的。
参照图4所示,图4为本申请另一个实施例提供的元数据的处理装置的结构示意图,在图3所示装置的基础上,还包括:
构建模块410,用于确定所述元模型中元数据的属性排序值,将所述元数据的属性排序值作为所述预设属性排序值;基于所述预设属性排序值对所述元模型中各元数据的属性对象分别进行排序,将所述各元数据排序后的属性对象和属性对象值以所述预设格式存储,得到所述各元数据分别对应的元数据快照;利用所述预设算法对所述各元数据分别对应的元数据快照进行压缩处理,得到所述各元数据分别对应的快照压缩值。
作为本申请实施例一种可选的实施方式,所述构建模块410,还用于针对各元数据,基于所述元数据对应的元数据快照确定所述元数据对应的元数据主键;利用所述预设算法对所述各元数据分别对应的元数据主键进行压缩处理,得到所述各元数据分别对应的元数据标识。
作为本申请实施例一种可选的实施方式,所述确定模块340,具体用于计算所述待处理元数据的元数据标识,将所述待处理元数据的元数据标识与所述元模型中各元数据分别对应的元数据标识匹配,确定相匹配的元数据标识为目标元数据标识;确定所述目标元数据标识对应的元数据为所述待处理元数据对应的目标元数据。
作为本申请实施例一种可选的实施方式,所述构建模块410,具体用于针对所述各元数据,基于主键标识在所述元数据对应的元数据快照中确定所有主键属性对象值;将所述所有主键属性对象值拼接,得到所述元数据对应的元数据主键。
作为本申请实施例一种可选的实施方式,所述构建模块410,具体用于基于信息摘要MD5算法对所述各元数据分别对应的元数据快照进行压缩处理,得到所述各元数据分别对应的预设长度的MD5值;将所述各元数据分别对应的所述MD5值作为所述各元数据分别对应的快照压缩值。
作为本申请实施例一种可选的实施方式,所述装置还包括:更新模块420,用于若确定所述目标元数据发生更新,则遍历所述目标元数据中的属性对象和属性对象值,确定所述目标元数据中发生更新的目标属性对象和目标属性对象值;基于所述待处理元数据对所述目标属性对象和所述目标属性对象值进行更新。
本实施例提供的元数据的处理装置可以执行上述方法实施例提供的元数据的处理方法,其实现原理与技术效果类似,此处不再赘述。上述元数据的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种电子设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现上述方法实施例所述的任意一项元数据的处理方法的步骤。
示例性的,图5为本申请实施例提供的电子设备的结构示意图。如图5所示,本实施例提供的电子设备包括:存储器51和处理器52,存储器51用于存储计算机程序;处理器52用于调用计算机程序时执行上述方法实施例提供的元数据的处理方法中的步骤,其实现原理和技术效果类似,此处不再赘述。本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例所述的任意一项元数据的处理方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(RandomAccess Memory,RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,比如静态随机存取存储器(Static Random Access Memory,SRAM)和动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种元数据的处理方法,其特征在于,包括:
获取待处理元数据,根据预设属性排序值对所述待处理元数据的属性对象进行排序;
将排序后的所述属性对象和属性对象值以预设格式存储,得到所述待处理元数据对应的元数据快照;
利用预设算法对所述待处理元数据对应的元数据快照进行压缩处理,得到所述待处理元数据对应的快照压缩值;
在元模型中确定所述待处理元数据对应的目标元数据,将所述待处理元数据对应的快照压缩值和所述目标元数据对应的快照压缩值进行对比,确定所述目标元数据是否发生更新;其中,所述目标元数据对应的快照压缩值为基于所述预设算法对所述目标元数据排序后的属性对象和属性对象值进行压缩处理得到的。
2.根据权利要求1所述的方法,其特征在于,在获取待处理元数据之前,所述方法还包括:
确定所述元模型中元数据的属性排序值,将所述元数据的属性排序值作为所述预设属性排序值;
基于所述预设属性排序值对所述元模型中各元数据的属性对象分别进行排序,将所述各元数据排序后的属性对象和属性对象值以所述预设格式存储,得到所述各元数据分别对应的元数据快照;
利用所述预设算法对所述各元数据分别对应的元数据快照进行压缩处理,得到所述各元数据分别对应的快照压缩值。
3.根据权利要求2所述的方法,其特征在于,在得到所述各元数据分别对应的元数据快照之后,所述方法还包括:
针对各元数据,基于所述元数据对应的元数据快照确定所述元数据对应的元数据主键;
利用所述预设算法对所述各元数据分别对应的元数据主键进行压缩处理,得到所述各元数据分别对应的元数据标识。
4.根据权利要求3所述的方法,其特征在于,所述在元模型中确定所述待处理元数据对应的目标元数据,包括:
计算所述待处理元数据的元数据标识,将所述待处理元数据的元数据标识与所述元模型中各元数据分别对应的元数据标识匹配,确定相匹配的元数据标识为目标元数据标识;
确定所述目标元数据标识对应的元数据为所述待处理元数据对应的目标元数据。
5.根据权利要求3所述的方法,其特征在于,所述针对各元数据,基于所述元数据对应的元数据快照确定所述元数据对应的元数据主键,包括:
针对所述各元数据,基于主键标识在所述元数据对应的元数据快照中确定所有主键属性对象值;
将所述所有主键属性对象值拼接,得到所述元数据对应的元数据主键。
6.根据权利要求2所述的方法,其特征在于,所述利用所述预设算法对所述各元数据分别对应的元数据快照进行压缩处理,得到所述各元数据分别对应的快照压缩值,包括:
基于信息摘要MD5算法对所述各元数据分别对应的元数据快照进行压缩处理,得到所述各元数据分别对应的预设长度的MD5值;
将所述各元数据分别对应的所述MD5值作为所述各元数据分别对应的快照压缩值。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
若确定所述目标元数据发生更新,则遍历所述目标元数据中的属性对象和属性对象值,确定所述目标元数据中发生更新的目标属性对象和目标属性对象值;
基于所述待处理元数据对所述目标属性对象和所述目标属性对象值进行更新。
8.一种元数据的处理装置,其特征在于,包括:
排序模块,用于获取待处理元数据,根据预设属性排序值对所述待处理元数据的属性对象进行排序;
存储模块,用于将排序后的所述属性对象和属性对象值以预设格式存储,得到所述待处理元数据对应的元数据快照;
压缩模块,用于利用预设算法对所述待处理元数据对应的元数据快照进行压缩处理,得到所述待处理元数据对应的快照压缩值;
确定模块,用于在元模型中确定所述待处理元数据对应的目标元数据;
对比模块,用于将所述待处理元数据对应的快照压缩值和所述目标元数据对应的快照压缩值进行对比,确定所述目标元数据是否发生更新;其中,所述目标元数据对应的快照压缩值为基于所述预设算法对所述目标元数据排序后的属性对象和属性对象值进行压缩处理得到的。
9.一种电子设备,包括:存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的元数据的处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的元数据的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410521191.XA CN118296215A (zh) | 2024-04-28 | 2024-04-28 | 元数据的处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410521191.XA CN118296215A (zh) | 2024-04-28 | 2024-04-28 | 元数据的处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118296215A true CN118296215A (zh) | 2024-07-05 |
Family
ID=91682160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410521191.XA Pending CN118296215A (zh) | 2024-04-28 | 2024-04-28 | 元数据的处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118296215A (zh) |
-
2024
- 2024-04-28 CN CN202410521191.XA patent/CN118296215A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112199366B (zh) | 数据表处理方法、装置及设备 | |
US11409764B2 (en) | System for data management in a large scale data repository | |
US10831726B2 (en) | System for importing data into a data repository | |
US10691651B2 (en) | System for analysing data relationships to support data query execution | |
CN111459985B (zh) | 标识信息处理方法及装置 | |
US8862566B2 (en) | Systems and methods for intelligent parallel searching | |
CN110659282B (zh) | 数据路由的构建方法、装置、计算机设备和存储介质 | |
CN109117440B (zh) | 一种元数据信息获取方法、系统和计算机可读存储介质 | |
US10664459B2 (en) | Database managing method, database managing system, and database tree structure | |
CN115145943B (zh) | 多数据源元数据快速比对方法、系统、设备和存储介质 | |
CN115757629A (zh) | 多源异构数据增量同步方法、系统、存储介质和电子设备 | |
CN107609151A (zh) | 基于Redis实现XBRL实例文档缓存的方法 | |
JP2004030221A (ja) | 変更対象テーブル自動検出方法 | |
CN113837584B (zh) | 业务处理系统和基于业务处理系统的异常数据处理方法 | |
CN115329011A (zh) | 数据模型的构建方法、数据查询的方法、装置及存储介质 | |
CN118296215A (zh) | 元数据的处理方法、装置、电子设备及存储介质 | |
CN115098503A (zh) | 空值数据处理方法、装置、计算机设备以及存储介质 | |
CN114564621A (zh) | 一种关联数据的方法、装置、设备及可读存储介质 | |
CN113868283A (zh) | 数据测试方法、装置、设备及计算机存储介质 | |
JP2017010376A (ja) | マートレス検証支援システムおよびマートレス検証支援方法 | |
CN111666286A (zh) | 分库分表检测方法、装置、计算机设备和存储介质 | |
CN114238241B (zh) | 财务数据的元数据处理方法和计算机系统 | |
CN118170775A (zh) | 数据处理方法、系统、计算机设备、存储介质和产品 | |
CN114201487A (zh) | 智能合约的存储装置和方法 | |
CN116226168A (zh) | 一种用于宽表数据验证的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |