CN113590616A - 一种元数据的处理方法、装置、电子设备及存储介质 - Google Patents
一种元数据的处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113590616A CN113590616A CN202110809040.0A CN202110809040A CN113590616A CN 113590616 A CN113590616 A CN 113590616A CN 202110809040 A CN202110809040 A CN 202110809040A CN 113590616 A CN113590616 A CN 113590616A
- Authority
- CN
- China
- Prior art keywords
- data table
- metadata
- data
- information
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000008859 change Effects 0.000 claims description 40
- 238000001914 filtration Methods 0.000 claims description 15
- 230000000737 periodic effect Effects 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
- G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种元数据的处理方法、装置、电子设备及存储介质,其中,所述方法包括:获取至少一个数据表的元数据属性标识符;基于所述至少一个数据表的元数据属性标识符确定所述至少一个数据表中的每个数据表的存储量信息;将所述至少一个数据表中的各数据表的存储量信息记录至各数据表的元数据属性信息中。
Description
技术领域
本申请实施例涉及计算机技术领域,尤其涉及一种元数据的处理方法、装置、电子设备及存储介质。
背景技术
目前,常用的元数据管理和治理产品,如目前用于分析数据血缘关系的框架的apache atlas,可以方便的分析数据表的表级血缘、字段血缘,可以采集大部分关于数据表的元数据信息,包括注释、表注释、最近更新时间等,但是却缺少相关手段调取数据表占用的内存的大小。
发明内容
为解决上述技术问题,本申请实施例提供了一种元数据的处理方法、装置、电子设备及存储介质。
本申请实施例提供了一种元数据的处理方法,所述方法包括:
获取至少一个数据表的元数据属性标识符;
基于所述至少一个数据表的元数据属性标识符确定所述至少一个数据表中的每个数据表的存储量信息;
将所述至少一个数据表中的各数据表的存储量信息记录至各数据表的元数据属性信息中。
本申请一可选实施方式中,所述获取至少一个数据表的元数据属性标识符,包括:
获取至少一个数据表,并确定所述至少一个数据表的标识符;
基于所述至少一个数据表的标识符获得所述至少一个数据表的元数据属性标识符。
本申请一可选实施方式中,所述获取至少一个数据表,包括:
利用过滤条件获取至少一个数据表;所述过滤条件包括以下至少之一:分页参数、数据表类型以及表征数据表未被删除的属性值。
本申请一可选实施方式中,所述获取至少一个数据表的元数据属性标识符,包括:
获得至少一个数据表的元数据属性;
基于所述至少一个数据表的元数据属性获得所述至少一个数据表的元数据属性标识符。
本申请一可选实施方式中,所述基于所述至少一个数据表的元数据属性标识符确定所述至少一个数据表中的每个数据表的存储量信息,包括:
基于所述至少一个数据表的元数据属性标识符确定所述至少一个数据表中的每个数据表在文件系统中的存储路径;
基于所述至少一个数据表中的每个数据表在文件系统中的存储路径确定所述至少一个数据表中的每个数据表在对应存储路径下的存储量信息。
本申请一可选实施方式中,所述获取至少一个数据表的元数据属性标识符之后,所述方法还包括:
获取所述至少一个数据表的元数据的变更数据;
生成用于描述所述元数据变更数据的描述信息;
对所述描述信息进行解析,基于解析结果生成提示信息,所述提示信息用于提示目标对象所述至少一个数据表的元数据的变化情况。
本申请一可选实施方式中,所述获取所述至少一个数据表的元数据的变更数据,包括:
利用第一预设方式捕捉对所述至少一个数据表的操作,并利用第二预设方式通过周期性扫描获取所述至少一个数据表的元数据;
基于通过周期性扫描获取的所述至少一个数据表的元数据确定所述至少一个数据表的元数据的表更数据。
本申请实施例还提供了一种元数据的处理装置,所述装置包括:
第一获取单元,用于获取至少一个数据表的元数据属性标识符;
确定单元,用于基于所述至少一个数据表的元数据属性标识符确定所述至少一个数据表中的每个数据表的存储量信息;
记录单元,用于将所述至少一个数据表中的各数据表的存储量信息记录至各数据表的元数据属性信息中。
本申请一可选实施方式中,所述第一获取单元,具体用于获取至少一个数据表,并确定所述至少一个数据表的标识符;
基于所述至少一个数据表的标识符获得所述至少一个数据表的元数据属性标识符。
本申请一可选实施方式中,所述获取单元,具体用于利用过滤条件获取至少一个数据表;所述过滤条件包括以下至少之一:分页参数、数据表类型以及表征数据表未被删除的属性值。
本申请一可选实施方式中,所述获取单元,具体用于获得至少一个数据表的元数据属性;
基于所述至少一个数据表的元数据属性获得所述至少一个数据表的元数据属性标识符。
本申请一可选实施方式中,所述确定单元,具体用于:基于所述至少一个数据表的元数据属性标识符确定所述至少一个数据表中的每个数据表在文件系统中的存储路径;基于所述至少一个数据表中的每个数据表在文件系统中的存储路径确定所述至少一个数据表中的每个数据表在对应存储路径下的存储量信息。
本申请一可选实施方式中,所述第一获取单元获取至少一个数据表的元数据属性标识符之后,所述装置还包括:
第二获取单元,用于获取所述至少一个数据表的元数据的变更数据;
生成单元,用于生成用于描述所述元数据变更数据的描述信息;
解析单元,用于对所述描述信息进行解析,基于解析结果生成提示信息,所述提示信息用于提示目标对象所述至少一个数据表的元数据的变化情况。
本申请一可选实施方式中,所述第二获取单元,具体用于:利用第一预设方式捕捉对所述至少一个数据表的操作,并利用第二预设方式通过周期性扫描获取所述至少一个数据表的元数据;基于通过周期性扫描获取的所述至少一个数据表的元数据确定所述至少一个数据表的元数据的表更数据。
本申请实施例还提供了一种电子设备,所述电子设备包括:存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时可实现上述实施例所述的元数据的处理方法。
本申请实施例还提供了一种计算机存储介质,所述存储介质上存储有可执行指令,该可执行指令被处理器执行时实现上述实施例所述的元数据的处理方法。
本申请实施例的技术方案,通过获取至少一个数据表的元数据属性标识符;基于所述至少一个数据表的元数据属性标识符确定所述至少一个数据表中的每个数据表的存储量信息;将所述至少一个数据表中的各数据表的存储量信息记录至各数据表的元数据属性信息中。如此,能够基于数据表的元数据来确定数据表的存储量信息,通过对数据表存储量信息的确定及存储,便于用户后续根据数据表存储量的大小对数据表进行处理,例如,根据数据表的存储量信息选择合适的备份服务器对数据表进行备份。
附图说明
图1为本申请实施例提供的元数据的处理方法的流程示意图一;
图2为本申请实施例提供的数据表的存储量信息获取方式的示意图;
图3为本申请实施例提供的元数据的处理方法的流程示意图二;
图4为本申请实施例提供的Apache atlas元数据管理和治理系统对元数据进行管理的示意图;
图5为本申请实施例提供的元数据的处理装置的结构组成示意图;
图6为本申请实施例提供的电子设备的结构组成示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容,下面结合附图对本申请实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本申请实施例。
下面,对本申请实施例涉及的关键术语进行解释:
元数据(Metadata):为描述数据的数据(data about data),主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
数据血缘(Lineage):数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。数据血缘是元数据组成的一部分。它分析表和字段从数据源到当前表的血缘路径,以及血缘字段之间存在的关系是否满足,关注的数据一致性以及表设计的合理性。可用于分析上游数据发生变化会给下游数据带来哪些影响,下游数据发生变化时追踪上游问题的源头等问题。
图1为本申请实施例提供的元数据的处理方法的流程示意图,如图1所示,本申请实施例提供的元数据的处理方法包括如下步骤:
步骤101:获取至少一个数据表的元数据属性标识符。
本申请实施例中,数据表,又可以称之为数据库,是大数据领域的组件,具体可以为hive表、hbase表、redis表、或者Elasticsearch表,其中,Hive是用Java编写的,是建立在Hadoop之上的分布式数据仓库;HBase是用Java编写的分布式列式数据库;Redis是用ANSIC编写的一种基于内存的Key-Value键值对数据库;Elasticsearch是以Apache Lucene为核心打造的分布式全文搜索引擎。
本申请一可选实施方式中,上述步骤101可通过如下方式实现:
获取至少一个数据表,并确定所述至少一个数据表的标识符;
基于所述至少一个数据表的标识符获得所述至少一个数据表的元数据属性标识符。
具体的,以数据表hive表为例,本申请实施例中的至少一个数据表可以为所有的hive表,如图2左半部分所示的方式一,首先获取到所有的hive表,在获取到所有的hive表后即可得到所有hive表的全局唯一标识符(GUID,Globally Unique Identifier),进而进一步得到所有hive表的元数据属性的全局唯一标识符SD GUID。
本申请一可选实施方式中,可以利用过滤条件获取至少一个数据表;所述过滤条件包括以下至少之一:分页参数、数据表类型以及表征数据表未被删除的属性值。
具体的,为获取所有的hive表,可以利用分页参数、表类型以及表征hive表未被物理删除的属性值。其中,分页参数具体包括分页页数和每页大小,表类型具体为hive表元数据存储对象类型hive_storagedesc,表征数据表未被删除的属性值这一过滤条件具体为:不包括被标记删除的对象的属性值excludeDeletedEntities为true。
本申请实施例通过设置过滤条件能够获取到所有的没有被标记删除的hive表,设置过滤条件是能够达到如下目的:(1)获取的必须是hive表;(2)hive表实际存在;(3)由于hive表数据量过大,通过设置过滤条件避免利用一次查询导致的查询过慢或者内存不支持的情况。
本申请一可选实施方式中,上述步骤101还可以通过如下方式实现:
获得至少一个数据表的元数据属性;
基于所述至少一个数据表的元数据属性获得所述至少一个数据表的元数据属性标识符。
具体的,以数据表hive表为例,如图2右半部分所示的方式一,首先获得至少一个数据表的元数据属性(简称为SD),从获得的至少一个数据表的元数据属性SD中可以获得至少一个数据表的元数据属性标识符SD GUID。
本申请实施例中,在执行步骤101之前,需要首先进行元数据的采集,元数据的采集包括通过获取数据生命周期中的元数据,并对元数据进行组织,然后将元数据写入数据库中的过程。这里,在对元数据进行组织时,需要获取关于数据表的元数据信息,具体包括注释,表结构,表存储路径等属性信息,并创建一个对象将各个属性值存入到数据库中。在一种实施方式中,数据库可以具体为图数据库JanusGraph,其底层由Es与hbase提供支持。
步骤102:基于所述至少一个数据表的元数据属性标识符确定所述至少一个数据表中的每个数据表的存储量信息。
本申请一可选实施方式中,对于步骤102具体可通过如下方式实现:
基于所述至少一个数据表的元数据属性标识符确定所述至少一个数据表中的每个数据表在文件系统中的存储路径;
基于所述至少一个数据表中的每个数据表在文件系统中的存储路径确定所述至少一个数据表中的每个数据表在对应存储路径下的存储量信息。
本申请实施例中,数据表的元数据属性标识符为数据表元数据的多种属性的对应的唯一键,可命名为SD GUID。获取数据表元数据属性标识符主要目的为了获取数据表的元数据属性,并从元数据属性中获取到数据表在文件系统中的存储路径。这里,文件系统可以具体为Hadoop分布式文件系统(即HDFS)。
在确定出至少一个数据表在文件系统中的存储路径后,可以利用用于操作文件系统的相关文件的对象,如HDFS的fs对象根据获取到的至少一个数据表在文件系统中的存储路径查询出各数据表在对应路径下的存储量信息。
步骤103:将所述至少一个数据表中的各数据表的存储量信息记录至各数据表的元数据属性信息中。
这里,数据表的存储量信息代表数据表在文件系统中占用的存储空间的大小。在获取到各数据表的存储量信息后,可以将获取的各数据表的存储量信息保存在数据表的元数据属性中,例如,利用属性保存方法createOrUpdate将各数据表的存储量信息保存在数据表元数据的属性中。
这里,在将数据表的存储量信息记录在数据表的元数据属性中时,可以将数据表的存储量信息记录在数据表已有的元数据属性中,例如,可以将数据表的存储量信息记录在数据表元数据属性的storage属性中,这里的storage属性为apache atlas用来描述元数据的各种属性中的其中一种属性,在这种情况下,将数据表的存储量信息作为数据表已有的元数据属性中新增的一项信息进行记录。通常情况下,元数据的storage属性中,只包括了数据表的以下信息:存储格式、字段信息、存储路径信息、是否压缩、文件的输入输出格式等信息,不包括数据表的存储量信息;本申请通过在已有的storage属性中新增数据表的存储量信息,能够在用户查看数据表元数据的storage属性时,获取到数据表的存储量信息。
另外,本申请实施例也可以为数据表创建一个新的元数据属性,并将数据表的存储量信息记录在为数据表新创建的元数据属性中。在这种情况下,用户在查看数据表的各种元数据属性时,也可以看到该新增的元数据属性,使用户及时的获取到数据表的存储量信息。
本申请实施例中,数据表存储量信息采集任务需要定时执行,为了保证数据表的存储量信息能够及时被监控,可以设置定时任务的周期较小,如1小时,对于每次定时采集的数据表的存储量信息均需要存到数据表的元数据属性中。
本申请实施例通过上述步骤101至步骤103能够基于数据表的元数据来确定数据表的存储量信息,通过对数据表存储量信息的存储,便于用户后续根据数据表存储量信息对数据表进行处理,例如,根据数据表的存储量信息选择合适的备份服务器对数据表进行备份。
本申请实施例中,上述步骤101能够获取到至少一个数据表,如所有的hive表,针对获取的至少一个数据表,本申请实施例还能够在数据表的内容发生变化时,通过数据表的元数据及时的捕捉到数据表的内容的变化情况,并产生相应的告警信息,具体包括如下步骤:
步骤301:获取至少一个数据表的元数据属性标识符。
步骤301涉及的具体细节与步骤101相同,具体可参见步骤101的相关描述,此处不再赘述。
步骤302:获取所述至少一个数据表的元数据的变更数据。
通过步骤301,能够获取到需要获取的所有数据表,如获取到所有的hive表。
本申请实施例中,可以使用hook机制在执行组件初始化操作时导入初始化元数据。
本申请一可选实施方式中,步骤302具体可通过如下方式实现:
利用第一预设方式捕捉对所述至少一个数据表的操作,并利用第二预设方式通过周期性扫描获取所述至少一个数据表的元数据;
基于通过周期性扫描获取的所述至少一个数据表的元数据确定所述至少一个数据表的元数据的表更数据。
这里,第一预设方式可以为hook机制,利用机制捕捉hive中对数据表或者数据数据库的操作。利用第二预设方式通过周期性扫描获取所述至少一个数据表的元数据可以具体为:通过非hook机制的组件使用周期性扫描方式获取元数据。
通过对元数据进行周期性扫描,可以监测到元数据属性的变化。
本申请实施中,元数据变更指的是当数据表结构属性或者字段发生改变,例如数据表存储格式修改,或者字段的名称修改,本申请实施例中,这些操作会被捕获到并进行传输或者存储。
步骤303:生成用于描述所述元数据变更数据的描述信息。
这里,在确定数据表的元数据发生变更的情况下,基于元数据的变更数据,生成用于描述该元数据变更数据的描述信息。
步骤304:对所述描述信息进行解析,基于解析结果生成提示信息,所述提示信息用于提示目标对象所述至少一个数据表的元数据的变化情况。
本申请实施例中,通过对数据表的元数据进行监测,能够在数据表的存储量信息发生变化时,监测到数据表的存储量信息的变化情况。
本申请实施例中,在生成元数据表更数据的描述信息后,可以解析产生的用于描述元数据变更的数据,并生成用于提示用户元数据变更的告警信息。此外,本申请实施例还可以配置存储元数据告警的数据库信息并存储变更数据,提供系统元数据变更告警数据用于展示。
通过执行上述步骤301至步骤303对元数据变化事件的监听,解析产生的用于描述元数据变更的数据,并生成元数据变更的告警数据,提高用户对元数据变化的感知。使得在元数据发生变化后,可以让用户能够把控由于此变化对业务数据产生的影响,从而更好的对业务有把控能力。
下面,提供一种获取所有hive表的存储量信息的方法,具体包括如下步骤:
(1)首先获取到所有的hive表,其中过滤条件包括分页参数,表类型为hive_storagedesc,且不包括被标记删除的对象的属性值excludeDeletedEntities为true;
(2)根据返回所有的对象(即所有的hive数据库中的表),遍历每个对象的GUID值查询每张表的详细信息。
(3)每张表详细信息中包含其在HDFS的路径,根据每张表的详细信息获取到每张表在HDFS的路径。
(4)由core-site.xml与hdfs-site.xml文件,在定时任务初始化时创建出的fs对象,可以根据步骤(3)中获取到的各数据表的HDFS路径查询各数据表在对应路径下的存储量信息,即占用的存储空间的大小。
(5)将获取到的各数据表的存储量信息对应的数值存入各数据表的元数据属性中,最后调用属性保存方法createOrUpdate进行保存。
(6)对各数据表进行后续页面展示时,调用查询接口会返回包含数据表存储量信息的属性值。
(7)为了平台服务的独立性,在将数据表存储量信息存入数据表元数据属性值的同时可以将存入数据表存储量信息数据库,方便其他服务(如用户自己开发的平台服务)可以查询到数据表的存储量信息,便于进行后续的数据表元数据的页面展示,并使得用户根据具体的应用场景需求基于页面展示的数据表的存储量信息进行任务的处理。
这里,通过定时对数据表存储量信息进行采集,并存入图数据库,方便在查询数据表的元数据信息时能够返回数据表存储量信息数据。
图4为Apache atlas元数据管理和治理系统对元数据进行管理的示意图。下面,基于图4所示的Apache atlas元数据管理和治理系统,对元数据的变更告警的实现过程如下:
(1)使用hook机制在组件初始化时导入初始化元数据。
(2)Hook机制捕捉hive中对表或者数据库的操作。
这里,对表或数据库的操作包括例如对数据表存储格式修改,或者对数据表的字段的名称修改。
(3)非hook机制的组件使用周期性扫描方式获取元数据。
这里,扫描的周期根据用户需求和具体场景进行设定,具体可以设置为1h、2h或其它时间周期。
(4)将元数据变更数据存储到指定topic(即主题)。
通过周期性扫描获取的元数据可以确定出元数据的变更数据。
(5)Apache atlas消费指定topic的消息。
通过该步骤能够生成用于描述元数据表更数据的描述信息。
(6)Apache atlas处理hook关于元数据变更的消息生成Entities(即实体)。
(7)Apache atlas写入指定topic供上层其他应用使用。
这一步骤将用于描述元数据变更的描述信息写入到指定的topic中。
(8)将实体转换为图形模型进行管理。
(9)将元数据存储入hbase。
存入hbase的包括周期性扫描获取的用于描述元数据的数据以及元数据变更的描述信息,通过hbase能够将上述数据持久化在hbase中,便于后续的接口调用。
(10)将图形模型的索引对象存储进入Solr。
通过将图形模型的索引对象存储进入Solr,能够加速查询,加快接口的访问速率。
这里,通过对元数据变化事件的监听,解析产生的用于描述元数据变更的数据,配置存储元数据告警的数据库信息并存储变更数据,能够提供系统元数据变更告警数据用于展示。
本申请实施例还提供了一种元数据的处理装置,图5为本申请实施例提供的元数据的处理装置的结构组成示意图,如图5所示,所述装置包括:
第一获取单元501,用于获取至少一个数据表的元数据属性标识符;
确定单元502,用于基于所述至少一个数据表的元数据属性标识符确定所述至少一个数据表中的每个数据表的存储量信息;
记录单元503,用于将所述至少一个数据表中的各数据表的存储量信息记录至各数据表的元数据属性信息中。
本申请一可选实施方式中,所述第一获取单元501,具体用于获取至少一个数据表,并确定所述至少一个数据表的标识符;基于所述至少一个数据表的标识符获得所述至少一个数据表的元数据属性标识符。
本申请一可选实施方式中,所述第一获取单元501,具体用于利用过滤条件获取至少一个数据表;所述过滤条件包括以下至少之一:分页参数、数据表类型以及表征数据表未被删除的属性值。
本申请一可选实施方式中,所述第一获取单元501,具体用于获得至少一个数据表的元数据属性;基于所述至少一个数据表的元数据属性获得所述至少一个数据表的元数据属性标识符。
本申请一可选实施方式中,所述确定单元502,具体用于:基于所述至少一个数据表的元数据属性标识符确定所述至少一个数据表中的每个数据表在文件系统中的存储路径;基于所述至少一个数据表中的每个数据表在文件系统中的存储路径确定所述至少一个数据表中的每个数据表在对应存储路径下的存储量信息。
本申请一可选实施方式中,所述第一获取单元501获取至少一个数据表的元数据属性标识符之后,所述装置还包括:
第二获取单元504,用于获取所述至少一个数据表的元数据的变更数据;
生成单元505,用于生成用于描述所述元数据变更数据的描述信息;
解析单元506,用于对所述变更数据进行解析,基于解析结果生成提示信息,所述提示信息用于提示目标对象所述至少一个数据表的元数据的变化情况。
本申请一可选实施方式中,所述第二获取单元504,具体用于:利用第一预设方式捕捉对所述至少一个数据表的操作,并利用第二预设方式通过周期性扫描获取所述至少一个数据表的元数据;基于通过周期性扫描获取的所述至少一个数据表的元数据确定所述至少一个数据表的元数据的表更数据。
本领域技术人员应当理解,图5所示的元数据的处理装置中的各单元的实现功能可参照前述元数据的处理方法的相关描述而理解。图5所示的元数据的处理装置中的各单元的功能可通过运行于处理器上的程序而实现,也可通过具体的逻辑电路而实现。
本申请实施例还提供了一种电子设备。图6为本申请实施例的电子设备的硬件结构示意图,如图6所示,电子设备包括:用于进行数据传输的通信组件603、至少一个处理器601和用于存储能够在处理器601上运行的计算机程序的存储器602。终端中的各个组件通过总线系统604耦合在一起。可理解,总线系统604用于实现这些组件之间的连接通信。总线系统604除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图6中将各种总线都标为总线系统604。
其中,所述处理器601执行所述计算机程序时至少执行图1和图3所示的方法的步骤。
可以理解,存储器602可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random AccessMemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM,SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本申请实施例描述的存储器602旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器601中,或者由处理器601实现。处理器601可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器、DSP,或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器601可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器602,处理器601读取存储器602中的信息,结合其硬件完成前述方法的步骤。
在示例性实施例中,电子设备可以被一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或其他电子元件实现,用于执行前述的通话录音方法。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时至少用于执行图1或图3所示方法的步骤。所述计算机可读存储介质具体可以为存储器。所述存储器可以为如图6所示的存储器602。
本申请实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和智能设备,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个第二处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (11)
1.一种元数据的处理方法,其特征在于,所述方法包括:
获取至少一个数据表的元数据属性标识符;
基于所述至少一个数据表的元数据属性标识符确定所述至少一个数据表中的每个数据表的存储量信息;
将所述至少一个数据表中的各数据表的存储量信息记录至各数据表的元数据属性信息中。
2.根据权利要求1所述的方法,其特征在于,所述获取至少一个数据表的元数据属性标识符,包括:
获取至少一个数据表,并确定所述至少一个数据表的标识符;
基于所述至少一个数据表的标识符获得所述至少一个数据表的元数据属性标识符。
3.根据权利要求2所述的方法,其特征在于,所述获取至少一个数据表,包括:
利用过滤条件获取至少一个数据表;所述过滤条件包括以下至少之一:分页参数、数据表类型以及表征数据表未被删除的属性值。
4.根据权利要求1所述的方法,其特征在于,所述获取至少一个数据表的元数据属性标识符,包括:
获得至少一个数据表的元数据属性;
基于所述至少一个数据表的元数据属性获得所述至少一个数据表的元数据属性标识符。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述基于所述至少一个数据表的元数据属性标识符确定所述至少一个数据表中的每个数据表的存储量信息,包括:
基于所述至少一个数据表的元数据属性标识符确定所述至少一个数据表中的每个数据表在文件系统中的存储路径;
基于所述至少一个数据表中的每个数据表在文件系统中的存储路径确定所述至少一个数据表中的每个数据表在对应存储路径下的存储量信息。
6.根据权利要求1至4中任一项所述的方法,其特征在于,所述获取至少一个数据表的元数据属性标识符之后,所述方法还包括:
获取所述至少一个数据表的元数据的变更数据;
生成用于描述所述元数据变更数据的描述信息;
对所述描述信息进行解析,基于解析结果生成提示信息,所述提示信息用于提示目标对象所述至少一个数据表的元数据的变化情况。
7.根据权利要求6所述的方法,其特征在于,所述获取所述至少一个数据表的元数据的变更数据,包括:
利用第一预设方式捕捉对所述至少一个数据表的操作,并利用第二预设方式通过周期性扫描获取所述至少一个数据表的元数据;
基于通过周期性扫描获取的所述至少一个数据表的元数据确定所述至少一个数据表的元数据的表更数据。
8.一种元数据的处理装置,其特征在于,所述装置包括:
第一获取单元,用于获取至少一个数据表的元数据属性标识符;
确定单元,用于基于所述至少一个数据表的元数据属性标识符确定所述至少一个数据表中的每个数据表的存储量信息;
记录单元,用于将所述至少一个数据表中的各数据表的存储量信息记录至各数据表的元数据属性信息中。
9.根据权利要求8所述的装置,其特征在于,所述第一获取单元获取至少一个数据表的元数据属性标识符之后,所述装置还包括:
第二获取单元,用于获取所述至少一个数据表的元数据的变更数据;
生成单元,用于生成用于描述所述元数据变更数据的描述信息;
解析单元,用于对所述描述信息进行解析,基于解析结果生成提示信息,所述提示信息用于提示目标对象所述至少一个数据表的元数据的变化情况。
10.一种电子设备,其特征在于,所述电子设备包括:存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至7中任一项所述的方法。
11.一种计算机存储介质,其特征在于,所述存储介质上存储有可执行指令,该可执行指令被处理器执行时实现权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110809040.0A CN113590616B (zh) | 2021-07-16 | 一种元数据的处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110809040.0A CN113590616B (zh) | 2021-07-16 | 一种元数据的处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113590616A true CN113590616A (zh) | 2021-11-02 |
CN113590616B CN113590616B (zh) | 2024-10-22 |
Family
ID=
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8321643B1 (en) * | 2006-05-09 | 2012-11-27 | Vmware, Inc. | System and methods for automatically re-signaturing multi-unit data storage volumes in distributed data storage systems |
CN104598625A (zh) * | 2015-02-04 | 2015-05-06 | 中国人民解放军总后勤部军事交通运输研究所 | 基于自动识别标识符的数据表存储方法 |
CN105718515A (zh) * | 2016-01-14 | 2016-06-29 | 神策网络科技(北京)有限公司 | 数据存储系统及其方法和数据分析系统及其方法 |
CN106326305A (zh) * | 2015-06-30 | 2017-01-11 | 星环信息科技(上海)有限公司 | 一种数据文件的存储和查询方法及设备 |
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8321643B1 (en) * | 2006-05-09 | 2012-11-27 | Vmware, Inc. | System and methods for automatically re-signaturing multi-unit data storage volumes in distributed data storage systems |
CN104598625A (zh) * | 2015-02-04 | 2015-05-06 | 中国人民解放军总后勤部军事交通运输研究所 | 基于自动识别标识符的数据表存储方法 |
CN106326305A (zh) * | 2015-06-30 | 2017-01-11 | 星环信息科技(上海)有限公司 | 一种数据文件的存储和查询方法及设备 |
CN105718515A (zh) * | 2016-01-14 | 2016-06-29 | 神策网络科技(北京)有限公司 | 数据存储系统及其方法和数据分析系统及其方法 |
Non-Patent Citations (2)
Title |
---|
曾昭文;姚远;: "基于元数据、业务规则和样本数据的模拟数据生成", 软件导刊, no. 08, 30 August 2012 (2012-08-30) * |
沈瑞清: "云存储中避免重复数据存储机制研究", 中国硕士学位论文全文数据库 信息科技辑, 15 February 2014 (2014-02-15) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112036736B (zh) | 一种工作流创建方法及装置 | |
CN108536761B (zh) | 报表数据查询方法及服务器 | |
EP3477914B1 (en) | Data recovery method and device, and cloud storage system | |
US11977532B2 (en) | Log record identification using aggregated log indexes | |
CN111881011A (zh) | 日志管理方法、平台、服务器及存储介质 | |
CN111241122B (zh) | 任务监测方法、装置、电子设备和可读存储介质 | |
CN111046036A (zh) | 数据同步方法、装置、系统及存储介质 | |
CN114547076A (zh) | 数据处理方法和数据处理系统 | |
CN114493185A (zh) | 审批处理方法、装置、系统、电子设备、存储介质及产品 | |
CN108133000B (zh) | 一种元数据存储方法、装置和服务器 | |
CN114330272A (zh) | 一种病历模板生成方法、装置、电子设备及存储介质 | |
CN113590616B (zh) | 一种元数据的处理方法、装置、电子设备及存储介质 | |
CN112000971A (zh) | 一种文件权限记录方法、系统及相关装置 | |
CN113590616A (zh) | 一种元数据的处理方法、装置、电子设备及存储介质 | |
CN113297245A (zh) | 获取执行信息的方法及装置 | |
CN104317820B (zh) | 报表的统计方法和装置 | |
CN113704272B (zh) | 一种人机物融合环境下的数字对象状态表达方法及装置 | |
Kulkarni | A provenance model for key-value systems | |
CN112667149B (zh) | 一种数据热度感知方法、装置、设备及介质 | |
CN116628042A (zh) | 数据处理方法、装置、设备及介质 | |
CN114742023A (zh) | 报表数据管理方法、装置、系统、计算机设备和存储介质 | |
CN109450874B (zh) | 用户账号监控方法及装置 | |
CN111694908A (zh) | 数据存储方法、装置及存储介质 | |
CN108614838B (zh) | 一种用户群索引处理方法、装置及系统 | |
Mohamed et al. | The development of temporal-based multimedia data management application using web services |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |