CN110008246A - 元数据管理方法及装置 - Google Patents
元数据管理方法及装置 Download PDFInfo
- Publication number
- CN110008246A CN110008246A CN201910120023.9A CN201910120023A CN110008246A CN 110008246 A CN110008246 A CN 110008246A CN 201910120023 A CN201910120023 A CN 201910120023A CN 110008246 A CN110008246 A CN 110008246A
- Authority
- CN
- China
- Prior art keywords
- key
- value pair
- metadata
- current
- updated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种元数据管理方法及装置，其中，该方法包括：按照预设的时间周期采集元数据，并将每次采集到的所述元数据存储至预设的数据表；按照所述时间周期对所述预设的数据表进行分区，得到当前时间周期的当前分区表和与所述当前时间周期相邻的上次时间周期的上次分区表；根据所述当前分区表和所述上次分区表确定待更新的元数据和与所述待更新的元数据对应的更新信息；根据所述待更新的元数据和对应的更新信息更新存储在数据地图库中的元数据。从而实现根据当前时间周期的采集到的元数据和上次时间周期采集到的元数据，自动分析出待更新的元数据以及对应的更新信息，并及时地更新数据地图库中的元数据，实现对元数据的有效管理。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种元数据管理方法及装置。
背景技术
在大数据平台中，元数据贯穿大数据平台数据流动的全过程，主要包括数据源元数据、数据加工处理过程元数据、数据主题库专题库元数据、服务层元数据、应用层元数据等。
管理元数据，一方面是为了让用户能够更高效的挖掘和使用数据，另一方面是为了让平台管理人员能更加有效的做好系统的维护管理工作。因此，如何更好地管理元数据成为亟待解决的技术问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种元数据管理方法。
本发明的第二个目的在于提出一种元数据管理装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种元数据管理方法，包括：
按照预设的时间周期采集元数据，并将每次采集到的所述元数据存储至预设的数据表；
按照所述时间周期对所述预设的数据表进行分区，得到当前时间周期的当前分区表和与所述当前时间周期相邻的上次时间周期的上次分区表；
根据所述当前分区表和所述上次分区表确定待更新的元数据和与所述待更新的元数据对应的更新信息；
根据所述待更新的元数据和对应的更新信息更新存储在数据地图库中的元数据。
进一步地，所述根据所述当前分区表和所述上次分区表确定待更新的元数据和与所述待更新的元数据对应的更新信息，包括：
对所述当前分区表和所述上次分区表分别进行处理，得到至少一个第一键值对，其中，所述第一键值对的键为所述元数据中的数据库名称和表名，所述第一键值对的值为与所述键具有映射关系的元数据；
按照数据库名称对所述至少一个第一键值对进行分组，得到至少一组第一集合，所述第一集合中的各个第一键值对具有相同的数据库名称；
对所述第一集合进行处理，确定所述待更新的元数据和与所述待更新的元数据对应的更新信息。
进一步地，所述对所述第一集合进行处理，确定所述待更新的元数据和与所述待更新的元数据对应的更新信息，包括：
从所述第一集合中选择出各个当前时间周期的当前第一键值对以及各个上次时间周期的上次第一键值对；
针对每个所述当前第一键值对：
判断各个所述上次第一键值对中是否存在与所述当前第一键值对具有相同键的所述上次第一键值对；
若不存在，则将所述当前第一键值对的表名确定为所述待更新的元数据，并生成用于表征所述当前第一键值对的表名为新增的表名的更新信息；
若存在，则将所述当前第一键值对与具有相同的键的所述上次第一键值对的值进行比对，根据第一比对结果确定所述待更新的元数据和对应的更新信息。
针对每个所述上次第一键值对：
判断各个所述当前第一键值对中是否存在与所述上次第一键值对具有相同键的所述当前第一键值对；
若不存在，则将所述上次第一键值对的表名确定为所述待更新的元数据，并生成用于表征所述上次第一键值对的表名为待删除的表名的更新信息。
进一步地，所述根据第一比对结果确定所述待更新的元数据和对应的更新信息，包括：
若所述当前第一键值对的表备注与具有相同的键的所述上次第一键值对的表备注不一致，则将所述当前第一键值对的表备注确定为待更新的元数据，并生成用于表征当前第一键值对的表备注为更新后的表备注的更新信息。
进一步地，所述对所述第一集合进行处理，确定所述待更新的元数据和与所述待更新的元数据对应的更新信息，包括：
处理所述第一集合中的各个第一键值对，得到各个第二键值对，所述第二键值对的键为数据库名称、表名和列名，所述第二键值对的值为与所述键具有映射关系的元数据；
从各个所述第二键值对中选择出各个当前时间周期的当前第二键值对以及各个上次时间周期的上次第二键值对；
针对每个所述当前第二键值对：
判断各个所述上次第二键值对中是否存在与所述当前第二键值对具有相同键的所述上次第二键值对；
若不存在，则将所述当前第二键值对的列名确定为所述待更新的元数据，并生成用于表征所述当前第二键值对的列名为新增的列名的更新信息；
若存在，则将所述当前第二键值对与具有相同的键的所述上次第二键值对的值进行比对，根据第二比对结果确定所述待更新的元数据和对应的更新信息。
针对每个所述上次第二键值对：
判断各个所述当前第二键值对中是否存在与所述上次第二键值对具有相同键的所述当前第二键值对；
若不存在，则将所述上次第二键值对的列名确定为待更新的元数据，并生成用于表征所述上次第二键值对的列名为待删除的列名的更新信息。
进一步地，所述根据第二比对结果确定所述待更新的元数据和对应的更新信息，包括：
若所述当前第二键值对的列备注与具有相同的键的所述上次第二键值对的列备注不一致，则将所述当前第二键值对的列备注确定为待更新的元数据，并生成用于表征当前第二键值对的列备注为更新后的列备注的更新信息；和/或，
若所述当前第二键值对的列类型与具有相同的键的所述上次第二键值对的列类型不一致，则将所述当前第二键值对的列类型确定为待更新的元数据，并生成用于表征当前第二键值对的列类型为更新后的列类型的更新信息。
进一步地，所述方法还包括：
处理各个所述第一集合，得到至少一个第三键值对，其中，不同的所述第三键值对是根据不同的所述第一集合得到的，所述第三键值对的键为数据库名称，所述第三键值对的值为与所述键具有映射关系的元数据；
从各个所述第三键值对中选择出当前时间周期的当前第三键值对以及各个上次时间周期的上次第三键值对；
针对每个所述当前第三键值对：
判断各个所述上次第三键值对中是否存在与所述当前第三键值对具有相同键的所述上次第三键值对；
若不存在，则将所述当前第三键值对的数据库名称确定为待更新的元数据，并生成
用于表征所述当前第三键值对的数据库名称为新增的数据库名称的更新信息；
若存在，则将所述当前第三键值对与具有相同的键的所述上次第三键值对的值进行比对，根据第三比对结果确定所述待更新的元数据和对应的更新信息；
针对每个所述上次第三键值对：
判断各个所述当前第三键值对中是否存在与所述上次第三键值对具有相同键的所述当前第三键值对；
若不存在，则将所述上次第三键值对的数据库名称确定所述待更新的元数据，并生成用于表征所述上次第三键值对的数据库名称为待删除的数据库名称的更新信息。
进一步地，所述根据第三比对结果确定所述待更新的元数据和对应的更新信息，包括：
若所述当前第三键值对的数据库备注与具有相同的键的所述上次第三键值对的数据库备注不一致，则将所述当前第三键值对的数据库备注确定为待更新的元数据，并生成用于表征当前第三键值对的数据库备注为更新后的数据库备注的更新信息。
本发明实施例提供的元数据管理方法，通过按照预设的时间周期采集元数据，并将每次采集到的所述元数据存储至预设的数据表；按照所述时间周期对所述预设的数据表进行分区，得到当前时间周期的当前分区表和与所述当前时间周期相邻的上次时间周期的上次分区表；根据所述当前分区表和所述上次分区表确定待更新的元数据和与所述待更新的元数据对应的更新信息；根据所述待更新的元数据和对应的更新信息更新存储在数据地图库中的元数据。从而实现根据当前时间周期的采集到的元数据和上次时间周期采集到的元数据，自动分析出待更新的元数据以及对应的更新信息，并及时地更新数据地图库中的元数据，实现对元数据的有效管理。
为达上述目的，本发明第二方面实施例提出了一种元数据管理装置，包括：
采集模块，用于按照预设的时间周期采集元数据，并将每次采集到的所述元数据存储至预设的数据表；
处理模块，用于按照所述时间周期对所述预设的数据表进行分区，得到当前时间周期的当前分区表和与所述当前时间周期相邻的上次时间周期的上次分区表；
所述处理模块，还用于根据所述当前分区表和所述上次分区表确定待更新的元数据和与所述待更新的元数据对应的更新信息；
所述处理模块，还用于根据所述待更新的元数据和对应的更新信息更新存储在数据地图库中的元数据。
进一步地，所述处理模块具体用于：
对所述当前分区表和所述上次分区表分别进行处理，得到至少一个第一键值对，其中，所述第一键值对的键为所述元数据中的数据库名称和表名，所述第一键值对的值为与所述键具有映射关系的元数据；
按照数据库名称对所述至少一个第一键值对进行分组，得到至少一组第一集合，所述第一集合中的各个第一键值对具有相同的数据库名称；
对所述第一集合进行处理，确定所述待更新的元数据和与所述待更新的元数据对应的更新信息。
进一步地，所述处理模块具体用于：
从所述第一集合中选择出各个当前时间周期的当前第一键值对以及各个上次时间周期的上次第一键值对；
针对每个所述当前第一键值对：
判断各个所述上次第一键值对中是否存在与所述当前第一键值对具有相同键的所述上次第一键值对；
若不存在，则将所述当前第一键值对的表名确定为所述待更新的元数据，并生成用于表征所述当前第一键值对的表名为新增的表名的更新信息；
若存在，则将所述当前第一键值对与具有相同的键的所述上次第一键值对的值进行比对，根据第一比对结果确定所述待更新的元数据和对应的更新信息。
针对每个所述上次第一键值对：
判断各个所述当前第一键值对中是否存在与所述上次第一键值对具有相同键的所述当前第一键值对；
若不存在，则将所述上次第一键值对的表名确定为所述待更新的元数据，并生成用于表征所述上次第一键值对的表名为待删除的表名的更新信息。
进一步地，所述处理模块具体用于：
若所述当前第一键值对的表备注与具有相同的键的所述上次第一键值对的表备注不一致，则将所述当前第一键值对的表备注确定为待更新的元数据，并生成用于表征当前第一键值对的表备注为更新后的表备注的更新信息。
进一步地，所述处理模块具体用于：
处理所述第一集合中的各个第一键值对，得到各个第二键值对，所述第二键值对的键为数据库名称、表名和列名，所述第二键值对的值为与所述键具有映射关系的元数据；
从各个所述第二键值对中选择出各个当前时间周期的当前第二键值对以及各个上次时间周期的上次第二键值对；
针对每个所述当前第二键值对：
判断各个所述上次第二键值对中是否存在与所述当前第二键值对具有相同键的所述上次第二键值对；
若不存在，则将所述当前第二键值对的列名确定为所述待更新的元数据，并生成用于表征所述当前第二键值对的列名为新增的列名的更新信息；
若存在，则将所述当前第二键值对与具有相同的键的所述上次第二键值对的值进行比对，根据第二比对结果确定所述待更新的元数据和对应的更新信息。
针对每个所述上次第二键值对：
判断各个所述当前第二键值对中是否存在与所述上次第二键值对具有相同键的所述当前第二键值对；
若不存在，则将所述上次第二键值对的列名确定为待更新的元数据，并生成用于表征所述上次第二键值对的列名为待删除的列名的更新信息。
进一步地，所述处理模块具体用于：
若所述当前第二键值对的列备注与具有相同的键的所述上次第二键值对的列备注不一致，则将所述当前第二键值对的列备注确定为待更新的元数据，并生成用于表征当前第二键值对的列备注为更新后的列备注的更新信息；和/或，
若所述当前第二键值对的列类型与具有相同的键的所述上次第二键值对的列类型不一致，则将所述当前第二键值对的列类型确定为待更新的元数据，并生成用于表征当前第二键值对的列类型为更新后的列类型的更新信息。
进一步地，所述处理模块还用于：
处理各个所述第一集合，得到至少一个第三键值对，其中，不同的所述第三键值对是根据不同的所述第一集合得到的，所述第三键值对的键为数据库名称，所述第三键值对的值为与所述键具有映射关系的元数据；
从各个所述第三键值对中选择出当前时间周期的当前第三键值对以及各个上次时间周期的上次第三键值对；
针对每个所述当前第三键值对：
判断各个所述上次第三键值对中是否存在与所述当前第三键值对具有相同键的所述上次第三键值对；
若不存在，则将所述当前第三键值对的数据库名称确定为待更新的元数据，并生成
用于表征所述当前第三键值对的数据库名称为新增的数据库名称的更新信息；
若存在，则将所述当前第三键值对与具有相同的键的所述上次第三键值对的值进行比对，根据第三比对结果确定所述待更新的元数据和对应的更新信息；
针对每个所述上次第三键值对：
判断各个所述当前第三键值对中是否存在与所述上次第三键值对具有相同键的所述当前第三键值对；
若不存在，则将所述上次第三键值对的数据库名称确定所述待更新的元数据，并生成用于表征所述上次第三键值对的数据库名称为待删除的数据库名称的更新信息。
进一步地，所述处理模块还具体用于：
所述根据第三比对结果确定所述待更新的元数据和对应的更新信息，包括：
若所述当前第三键值对的数据库备注与具有相同的键的所述上次第三键值对的数据库备注不一致，则将所述当前第三键值对的数据库备注确定为待更新的元数据，并生成用于表征当前第三键值对的数据库备注为更新后的数据库备注的更新信息。
本发明实施例提供的元数据管理装置，通过按照预设的时间周期采集元数据，并将每次采集到的所述元数据存储至预设的数据表；按照所述时间周期对所述预设的数据表进行分区，得到当前时间周期的当前分区表和与所述当前时间周期相邻的上次时间周期的上次分区表；根据所述当前分区表和所述上次分区表确定待更新的元数据和与所述待更新的元数据对应的更新信息；根据所述待更新的元数据和对应的更新信息更新存储在数据地图库中的元数据。从而实现根据当前时间周期的采集到的元数据和上次时间周期采集到的元数据，自动分析出待更新的元数据以及对应的更新信息，并及时地更新数据地图库中的元数据，实现对元数据的有效管理。
为达上述目的，本发明第三方面实施例提出了计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的元数据管理方法。
为了实现上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，当所述存储介质中的指令被处理器执行时，实现如上所述的元数据管理方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例提供的一种元数据管理方法的流程示意图；
图2为本发明实施例提供的又一种元数据管理方法的流程示意图；
图3为本发明实施例提供的一种元数据管理装置的结构示意图；
图4为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的元数据管理方法及装置。
图1为本发明实施例提供的一种元数据管理方法的流程示意图。本实施例提供了一种元数据管理方法，其执行主体为元数据管理装置，该执行主体由硬件和/或软件组成。
如图1所示，该元数据管理方法，包括以下步骤：
S101、按照预设的时间周期采集元数据，并将每次采集到的所述元数据存储至预设的数据表。
在本实施例中，元数据可以包括数据库名称、数据库备注、表名、表备注、列名、列备注、列类型等，但并不限于此。
在本实施例中，大数据平台设置有第一元数据库，该第一元数据库保存的元数据来源于各个外部的业务系统，因此，可以将第一元数据库保存的元数据视为大数据平台的贴源层的元数据。例如，不同的外部业务系统的业务数据可能存储在不同的数据库中，不同的数据库例如为MySQL、Oracle、DB2等关系型数据库管理系统，MySQL是瑞典MySQL AB公司开发的关系数据库管理系统，Oracle是甲骨文公司开发的关系数据库管理系统，DB2是IBM公司开发的关系数据库管理系统。按照一定的抽取规则从保存业务数据的数据库中抽取业务数据对应的元数据，并保存到第一元数据库中。
在本实施例中，大数据平台还设置了第二元数据库，该第二元数据库保存大数据平台的贴源层的元数据和建模层的元数据库。例如，大数据平台从贴源层抽取业务数据到建模层中进行建模，在建模的过程中会产生建模层对应的元数据，将从贴源层抽取到的元数据和建模层对应的元数据保存到第二元数据库中。
在本实施例中，大数据平台还设置了数据地图库。在第一次采集时，数据地图库为空，第一次采集后，数据地图库中保存第一次采集到的元数据。在第二次采集时，若第二次采集到的元数据中相比第一次采集的元数据有更新的元数据，则更新数据地图库中对应的元数据。在每次采集元数据之后，若当前采集到的元数据相比上一次采集到的元数据有更新的元数据，则更新数据地图库中对应的元数据。具体地，由于业务系统的业务数据可能会随时发生变化，第一元数据库和第二元数据库中的元数据也跟着发生变化，因此，当前采集到的元数据与上次采集到的元数据相比可能会出现更新的元数据。例如，当前采集到的数据库名称在上次采集到的元数据中没有，则当前采集到的数据库名称为新增的元数据，这时，应该在数据地图库中新增该数据库名称，以及该数据库名称对应的其他元数据。上次采集到的数据库名称在当前采集到的元数据中没有，则上次采集到的数据库名称为待删除的元数据，这时，应该在数据地图库中删除该数据库名称，以及该数据库名称对应的其他元数据。
在本实施例中，预设的时间周期根据实际情形设置，预设的时间周期例如为1天或1周。每次采集时，从第一元数据库中抽取贴源层的元数据并保存至基于Hive的表a中，从第一元数据库中抽取贴源层、建模层的元数据并保存至基于Hive的表b中，从数据地图库抽取元数据并保存至基于Hive的表c中，处理表a、表b、表c形成基于Hive的宽表，该基于Hive的宽表可以理解为保存了从第一元数据库、第二元数据库、数据地图库采集到的元数据的预设的数据表。其中，Hive是基于Hadoop的一个数据仓库工具。
S102、按照所述时间周期对所述预设的数据表进行分区，得到当前时间周期的当前分区表和与所述当前时间周期相邻的上次时间周期的上次分区表。
本实施例中，预设的数据表中存储了各个时间周期采集到的元数据。初始的预设的数据表为空，第一次采集后，预设的数据表中保存了第一个时间周期采集到的元数据。第二次采集后，预设的数据表中保存了第一个时间周期采集到的元数据和第二个时间周期采集到的元数据，以此类推，多次采集后，预设的数据表中保存了多个时间周期采集到的元数据。例如，若当前时间周期为第2个时间周期，则与当前时间周期相邻的上次时间周期为第一个时间周期。第一个时间周期的上次分区表保存了第一个时间周期采集到的元数据；第二个时间周期的当前分区表保存了第二个时间周期采集到的元数据。
S103、根据所述当前分区表和所述上次分区表确定待更新的元数据和与所述待更新的元数据对应的更新信息。
S104、根据所述待更新的元数据和对应的更新信息更新存储在数据地图库中的元数据。
本实施例中，若当前分区表中的数据库名称、表名、列名等元数据不存在于上次分区表中，则将当前分区表中的数据库名称、表名、列名等元数据确定为待更新的元数据，并生成用于表征当前分区表中的数据库名称、表名、列名等元数据为新增的表名的更新信息。后续在数据地图库中增加该当前分区表中的数据库名称、表名、列名等元数据，以更新数据地图库。
本实施例中，针对每个数据库，若该数据库在当前分区表中的数据库备注与该数据库在上次分区表中的数据库备注信息不一致，则将该数据库在当前分区表中的数据库的备注信息确定为待更新的元数据，并生成用于表征该数据库在当前分区表中的数据库备注为更新后的数据库备注的更新信息。后续将数据地图库中的该数据库的备注信息更新为该数据库在当前分区表中的数据库备注，以更新数据地图库。
本实施例中，针对每表，若该表在当前分区表中的表备注与该数据库在上次分区表中的表备注不一致，则将该表在当前分区表中的表备注确定为待更新的元数据，并生成用于表征该数据库在当前分区表中的表备注为更新后的表备注的更新信息。后续将数据地图库中的表备注更新为该数据库在当前分区表中的表备注，以更新数据地图库。
本实施例中，针对每列，若该列在当前分区表中的列备注与该数据库在上次分区表中的列备注不一致，则将该列在当前分区表中的列备注确定为待更新的元数据，并生成用于表征该列在当前分区表中的列备注为更新后的列备注的更新信息。后续将数据地图库中的列备注更新为该数据库在当前分区表中的列备注，以更新数据地图库。
本实施例中，针对每列，若该列在当前分区表中的列类型与该数据库在上次前分区表中的列类型不一致，则将该列在当前分区表中的列类型确定为待更新的元数据，并生成用于表征该列在当前分区表中的列类型为更新后的列类型的更新信息。后续将数据地图库中的列类型更新为该数据库在当前分区表中的列类型，以更新数据地图库。
本发明实施例提供的元数据管理方法，通过按照预设的时间周期采集元数据，并将每次采集到的所述元数据存储至预设的数据表；按照所述时间周期对所述预设的数据表进行分区，得到当前时间周期的当前分区表和与所述当前时间周期相邻的上次时间周期的上次分区表；根据所述当前分区表和所述上次分区表确定待更新的元数据和与所述待更新的元数据对应的更新信息；根据所述待更新的元数据和对应的更新信息更新存储在数据地图库中的元数据。从而实现根据当前时间周期的采集到的元数据和上次时间周期采集到的元数据，自动分析出待更新的元数据以对应的更新信息，并及时地更新数据地图库中的元数据，实现对元数据的有效管理。
进一步地，结合参考图2，在图1所示的实施例的基础上，所述步骤S103的具体实现方式为：
S1031、对所述当前分区表和所述上次分区表分别进行处理，得到至少一个第一键值对。
本实施例中，可以对当前分区表和上次分区表进行MapReduce处理，得到待更新的元数据和对应的更新信息。
具体地，对当前分区表和上次分区表分别进行映射Mapper处理，得到当前分区表对应的多个第一键值对，以及上次分区表对应的多个第一键值对。同时，第一键值对添加了时间周期标识，与当前分区表对应的第一键值对的时间周期标识为当前时间周期；与上次分区表对应的第一键值对的时间周期标识为上次时间周期。
其中，第一键值对的键为元数据中的数据库名称和表名，第一键值对的值为与键具有映射关系的元数据。例如，某个第一键值对的键KEY为数据库1和表1，该第一键值对的值为与键具有映射关系的元数据，与键具有映射关系的元数据包括但不限于数据库1、表1、以及与数据库1和表1对应的数据库备注、表备注、列名、列备注、列类型等。
S1032、按照数据库名称对所述至少一个第一键值对进行分组，得到至少一组第一集合，所述第一集合中的各个第一键值对具有相同的数据库名称。
S1033、对所述第一集合进行处理，确定所述待更新的元数据和与所述待更新的元数据对应的更新信息。
本实施例中，可以对第一集合进行归约Reducer处理，判断表名、表备注等元数据是否需要更新，判断列名、列备注、列类型等元数据是否需要更新，判断数据库名称、数据库备注是否需要更新。
本实施例中，可以通过比对第一集合中的当前时间周期的当前第一键值对和上次时间周期的上次第一键值对判断判断表名、表备注等元数据是否需要更新。具体地，步骤S1033的具体实现方式为：
S11、从所述第一集合中选择出各个当前时间周期的当前第一键值对以及各个上次时间周期的上次第一键值对；
S12、针对每个所述当前第一键值对：
判断各个所述上次第一键值对中是否存在与所述当前第一键值对具有相同键的所述上次第一键值对；
若不存在，则将所述当前第一键值对的表名确定为所述待更新的元数据，并生成用于表征所述当前第一键值对的表名为新增的表名的更新信息；
若存在，则将所述当前第一键值对与具有相同的键的所述上次第一键值对的值进行比对，根据第一比对结果确定所述待更新的元数据和对应的更新信息。
本实施例中，“根据第一比对结果确定所述待更新的元数据和对应的更新信息”具体实现方式为：若所述当前第一键值对的表备注与具有相同的键的所述上次第一键值对的表备注不一致，则将所述当前第一键值对的表备注确定为待更新的元数据，并生成用于表征当前第一键值对的表备注为更新后的表备注的更新信息。
S13、针对每个所述上次第一键值对：
判断各个所述当前第一键值对中是否存在与所述上次第一键值对具有相同键的所述当前第一键值对；
若不存在，则将所述上次第一键值对的表名确定为所述待更新的元数据，并生成用于表征所述上次第一键值对的表名为待删除的表名的更新信息。
本实施例中，可以通过处理第一集合中的各个第一键值对，得到各个第二键值对，并通过比对当前时间周期的当前第二键值对和上次时间周期的上次第二键值对来判断列名、列备注、列类型等元数据是否需要更新。具体地，步骤S1033的具体实现方式为：
S21、处理所述第一集合中的各个第一键值对，得到各个第二键值对，所述第二键值对的键为数据库名称、表名和列名，所述第二键值对的值为与所述键具有映射关系的元数据；
S22、从各个所述第二键值对中选择出各个当前时间周期的当前第二键值对以及各个上次时间周期的上次第二键值对；
S23、针对每个所述当前第二键值对：
判断各个所述上次第二键值对中是否存在与所述当前第二键值对具有相同键的所述上次第二键值对；
若不存在，则将所述当前第二键值对的列名确定为所述待更新的元数据，并生成用于表征所述当前第二键值对的列名为新增的列名的更新信息；
若存在，则将所述当前第二键值对与具有相同的键的所述上次第二键值对的值进行比对，根据第二比对结果确定所述待更新的元数据和对应的更新信息。
本实施例中，“所述根据第二比对结果确定所述待更新的元数据和对应的更新信息”的具体实现方式为：若所述当前第二键值对的列备注与具有相同的键的所述上次第二键值对的列备注不一致，则将所述当前第二键值对的列备注确定为待更新的元数据，并生成用于表征当前第二键值对的列备注为更新后的列备注的更新信息；和/或，
若所述当前第二键值对的列类型与具有相同的键的所述上次第二键值对的列类型不一致，则将所述当前第二键值对的列类型确定为待更新的元数据，并生成用于表征当前第二键值对的列类型为更新后的列类型的更新信息。
S24、针对每个所述上次第二键值对：
判断各个所述当前第二键值对中是否存在与所述上次第二键值对具有相同键的所述当前第二键值对；
若不存在，则将所述上次第二键值对的列名确定为待更新的元数据，并生成用于表征所述上次第二键值对的列名为待删除的列名的更新信息。
本实施例中，可以通过处理各个第一集合，得到各个第三键值对，并通过比对当前时间周期的当前第三键值对和上次时间周期的上次第三键值对来判断数据库名称、数据库备注等元数据是否需要更新。具体地，在步骤S1033之后，元数据管理方法还包括以下步骤：
S1034、处理各个所述第一集合，得到至少一个第三键值对，其中，不同的所述第三键值对是根据不同的所述第一集合得到的，所述第三键值对的键为数据库名称，所述第三键值对的值为与所述键具有映射关系的元数据；
S1035、从各个所述第三键值对中选择出当前时间周期的当前第三键值对以及各个上次时间周期的上次第三键值对；
S1036、针对每个所述当前第三键值对：
判断各个所述上次第三键值对中是否存在与所述当前第三键值对具有相同键的所述上次第三键值对；
若不存在，则将所述当前第三键值对的数据库名称确定为待更新的元数据，并生成用于表征所述当前第三键值对的数据库名称为新增的数据库名称的更新信息；
若存在，则将所述当前第三键值对与具有相同的键的所述上次第三键值对的值进行比对，根据第三比对结果确定所述待更新的元数据和对应的更新信息。
本实施例中，“根据第三比对结果确定所述待更新的元数据和对应的更新信息”的具体实现方式为：若所述当前第三键值对的数据库备注与具有相同的键的所述上次第三键值对的数据库备注不一致，则将所述当前第三键值对的数据库备注确定为待更新的元数据，并生成用于表征当前第三键值对的数据库备注为更新后的数据库备注的更新信息。
S1037、针对每个所述上次第三键值对：
判断各个所述当前第三键值对中是否存在与所述上次第三键值对具有相同键的所述当前第三键值对；
若不存在，则将所述上次第三键值对的数据库名称确定所述待更新的元数据，并生成用于表征所述上次第三键值对的数据库名称为待删除的数据库名称的更新信息。
图3为本发明实施例提供的一种元数据管理装置的结构示意图。本实施例提供了一种元数据管理装置，该装置是元数据管理方法的执行主体，该执行主体由硬件和/或软件组成。
如图3所示，该元数据管理装置包括采集模块11和处理模块12。
采集模块11，用于按照预设的时间周期采集元数据，并将每次采集到的所述元数据存储至预设的数据表；
处理模块12，用于按照所述时间周期对所述预设的数据表进行分区，得到当前时间周期的当前分区表和与所述当前时间周期相邻的上次时间周期的上次分区表；
所述处理模块12，还用于根据所述当前分区表和所述上次分区表确定待更新的元数据和与所述待更新的元数据对应的更新信息；
所述处理模块12，还用于根据所述待更新的元数据和对应的更新信息更新存储在数据地图库中的元数据。
进一步地，所述处理模块12具体用于：
对所述当前分区表和所述上次分区表分别进行处理，得到至少一个第一键值对，其中，所述第一键值对的键为所述元数据中的数据库名称和表名，所述第一键值对的值为与所述键具有映射关系的元数据；
按照数据库名称对所述至少一个第一键值对进行分组，得到至少一组第一集合，所述第一集合中的各个第一键值对具有相同的数据库名称；
对所述第一集合进行处理，确定所述待更新的元数据和与所述待更新的元数据对应的更新信息。
进一步地，所述处理模块12具体用于：
从所述第一集合中选择出各个当前时间周期的当前第一键值对以及各个上次时间周期的上次第一键值对；
针对每个所述当前第一键值对：
判断各个所述上次第一键值对中是否存在与所述当前第一键值对具有相同键的所述上次第一键值对；
若不存在，则将所述当前第一键值对的表名确定为所述待更新的元数据，并生成用于表征所述当前第一键值对的表名为新增的表名的更新信息；
若存在，则将所述当前第一键值对与具有相同的键的所述上次第一键值对的值进行比对，根据第一比对结果确定所述待更新的元数据和对应的更新信息。
针对每个所述上次第一键值对：
判断各个所述当前第一键值对中是否存在与所述上次第一键值对具有相同键的所述当前第一键值对；
若不存在，则将所述上次第一键值对的表名确定为所述待更新的元数据，并生成用于表征所述上次第一键值对的表名为待删除的表名的更新信息。
进一步地，所述处理模块12具体用于：
若所述当前第一键值对的表备注与具有相同的键的所述上次第一键值对的表备注不一致，则将所述当前第一键值对的表备注确定为待更新的元数据，并生成用于表征当前第一键值对的表备注为更新后的表备注的更新信息。
进一步地，所述处理模块12具体用于：
处理所述第一集合中的各个第一键值对，得到各个第二键值对，所述第二键值对的键为数据库名称、表名和列名，所述第二键值对的值为与所述键具有映射关系的元数据；
从各个所述第二键值对中选择出各个当前时间周期的当前第二键值对以及各个上次时间周期的上次第二键值对；
针对每个所述当前第二键值对：
判断各个所述上次第二键值对中是否存在与所述当前第二键值对具有相同键的所述上次第二键值对；
若不存在，则将所述当前第二键值对的列名确定为所述待更新的元数据，并生成用于表征所述当前第二键值对的列名为新增的列名的更新信息；
若存在，则将所述当前第二键值对与具有相同的键的所述上次第二键值对的值进行比对，根据第二比对结果确定所述待更新的元数据和对应的更新信息。
针对每个所述上次第二键值对：
判断各个所述当前第二键值对中是否存在与所述上次第二键值对具有相同键的所述当前第二键值对；
若不存在，则将所述上次第二键值对的列名确定为待更新的元数据，并生成用于表征所述上次第二键值对的列名为待删除的列名的更新信息。
进一步地，所述处理模块12具体用于：
若所述当前第二键值对的列备注与具有相同的键的所述上次第二键值对的列备注不一致，则将所述当前第二键值对的列备注确定为待更新的元数据，并生成用于表征当前第二键值对的列备注为更新后的列备注的更新信息；和/或，
若所述当前第二键值对的列类型与具有相同的键的所述上次第二键值对的列类型不一致，则将所述当前第二键值对的列类型确定为待更新的元数据，并生成用于表征当前第二键值对的列类型为更新后的列类型的更新信息。
进一步地，所述处理模块12还用于：
处理各个所述第一集合，得到至少一个第三键值对，其中，不同的所述第三键值对是根据不同的所述第一集合得到的，所述第三键值对的键为数据库名称，所述第三键值对的值为与所述键具有映射关系的元数据；
从各个所述第三键值对中选择出当前时间周期的当前第三键值对以及各个上次时间周期的上次第三键值对；
针对每个所述当前第三键值对：
判断各个所述上次第三键值对中是否存在与所述当前第三键值对具有相同键的所述上次第三键值对；
若不存在，则将所述当前第三键值对的数据库名称确定为待更新的元数据，并生成用于表征所述当前第三键值对的数据库名称为新增的数据库名称的更新信息；
若存在，则将所述当前第三键值对与具有相同的键的所述上次第三键值对的值进行比对，根据第三比对结果确定所述待更新的元数据和对应的更新信息；
针对每个所述上次第三键值对：
判断各个所述当前第三键值对中是否存在与所述上次第三键值对具有相同键的所述当前第三键值对；
若不存在，则将所述上次第三键值对的数据库名称确定所述待更新的元数据，并生成用于表征所述上次第三键值对的数据库名称为待删除的数据库名称的更新信息。
进一步地，所述处理模块12还具体用于：
所述根据第三比对结果确定所述待更新的元数据和对应的更新信息，包括：
若所述当前第三键值对的数据库备注与具有相同的键的所述上次第三键值对的数据库备注不一致，则将所述当前第三键值对的数据库备注确定为待更新的元数据，并生成用于表征当前第三键值对的数据库备注为更新后的数据库备注的更新信息。
需要说明的是，前述对元数据管理方法实施例的解释说明也适用于该实施例的元数据管理装置，此处不再赘述。
本发明实施例提供的元数据管理装置，通过按照预设的时间周期采集元数据，并将每次采集到的所述元数据存储至预设的数据表；按照所述时间周期对所述预设的数据表进行分区，得到当前时间周期的当前分区表和与所述当前时间周期相邻的上次时间周期的上次分区表；根据所述当前分区表和所述上次分区表确定待更新的元数据和与所述待更新的元数据对应的更新信息；根据所述待更新的元数据和对应的更新信息更新存储在数据地图库中的元数据。从而实现根据当前时间周期的采集到的元数据和上次时间周期采集到的元数据，自动分析出待更新的元数据以及对应的更新信息，并及时地更新数据地图库中的元数据，实现对元数据的有效管理。
图4为本发明实施例提供的一种计算机设备的结构示意图。该计算机设备包括：
存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。
处理器1002执行所述程序时实现上述实施例中提供的元数据管理方法。
进一步地，计算机设备还包括：
通信接口1003，用于存储器1001和处理器1002之间的通信。
存储器1001，用于存放可在处理器1002上运行的计算机程序。
存储器1001可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器1002，用于执行所述程序时实现上述实施例所述的元数据管理方法。
如果存储器1001、处理器1002和通信接口1003独立实现，则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器1001、处理器1002及通信接口1003，集成在一块芯片上实现，则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。
处理器1002可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上所述的元数据管理方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (11)
1.一种元数据管理方法，其特征在于，包括：
按照预设的时间周期采集元数据，并将每次采集到的所述元数据存储至预设的数据表；
按照所述时间周期对所述预设的数据表进行分区，得到当前时间周期的当前分区表和与所述当前时间周期相邻的上次时间周期的上次分区表；
根据所述当前分区表和所述上次分区表确定待更新的元数据和与所述待更新的元数据对应的更新信息；
根据所述待更新的元数据和对应的更新信息更新存储在数据地图库中的元数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述当前分区表和所述上次分区表确定待更新的元数据和与所述待更新的元数据对应的更新信息，包括：
对所述当前分区表和所述上次分区表分别进行处理，得到至少一个第一键值对，其中，所述第一键值对的键为所述元数据中的数据库名称和表名，所述第一键值对的值为与所述键具有映射关系的元数据；
按照数据库名称对所述至少一个第一键值对进行分组，得到至少一组第一集合，所述第一集合中的各个第一键值对具有相同的数据库名称；
对所述第一集合进行处理，确定所述待更新的元数据和与所述待更新的元数据对应的更新信息。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一集合进行处理，确定所述待更新的元数据和与所述待更新的元数据对应的更新信息，包括：
从所述第一集合中选择出各个当前时间周期的当前第一键值对以及各个上次时间周期的上次第一键值对；
针对每个所述当前第一键值对：
判断各个所述上次第一键值对中是否存在与所述当前第一键值对具有相同键的所述上次第一键值对；
若不存在，则将所述当前第一键值对的表名确定为所述待更新的元数据，并生成用于表征所述当前第一键值对的表名为新增的表名的更新信息；
若存在，则将所述当前第一键值对与具有相同的键的所述上次第一键值对的值进行比对，根据第一比对结果确定所述待更新的元数据和对应的更新信息。
针对每个所述上次第一键值对：
判断各个所述当前第一键值对中是否存在与所述上次第一键值对具有相同键的所述当前第一键值对；
若不存在，则将所述上次第一键值对的表名确定为所述待更新的元数据，并生成用于表征所述上次第一键值对的表名为待删除的表名的更新信息。
4.根据权利要求3所述的方法，其特征在于，所述根据第一比对结果确定所述待更新的元数据和对应的更新信息，包括：
若所述当前第一键值对的表备注与具有相同的键的所述上次第一键值对的表备注不一致，则将所述当前第一键值对的表备注确定为待更新的元数据，并生成用于表征当前第一键值对的表备注为更新后的表备注的更新信息。
5.根据权利要求2所述的方法，其特征在于，所述对所述第一集合进行处理，确定所述待更新的元数据和与所述待更新的元数据对应的更新信息，包括：
处理所述第一集合中的各个第一键值对，得到各个第二键值对，所述第二键值对的键为数据库名称、表名和列名，所述第二键值对的值为与所述键具有映射关系的元数据；
从各个所述第二键值对中选择出各个当前时间周期的当前第二键值对以及各个上次时间周期的上次第二键值对；
针对每个所述当前第二键值对：
判断各个所述上次第二键值对中是否存在与所述当前第二键值对具有相同键的所述上次第二键值对；
若不存在，则将所述当前第二键值对的列名确定为所述待更新的元数据，并生成用于表征所述当前第二键值对的列名为新增的列名的更新信息；
若存在，则将所述当前第二键值对与具有相同的键的所述上次第二键值对的值进行比对，根据第二比对结果确定所述待更新的元数据和对应的更新信息。
针对每个所述上次第二键值对：
判断各个所述当前第二键值对中是否存在与所述上次第二键值对具有相同键的所述当前第二键值对；
若不存在，则将所述上次第二键值对的列名确定为待更新的元数据，并生成用于表征所述上次第二键值对的列名为待删除的列名的更新信息。
6.根据权利要求5所述的方法，其特征在于，所述根据第二比对结果确定所述待更新的元数据和对应的更新信息，包括：
若所述当前第二键值对的列备注与具有相同的键的所述上次第二键值对的列备注不一致，则将所述当前第二键值对的列备注确定为待更新的元数据，并生成用于表征当前第二键值对的列备注为更新后的列备注的更新信息；和/或，
若所述当前第二键值对的列类型与具有相同的键的所述上次第二键值对的列类型不一致，则将所述当前第二键值对的列类型确定为待更新的元数据，并生成用于表征当前第二键值对的列类型为更新后的列类型的更新信息。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
处理各个所述第一集合，得到至少一个第三键值对，其中，不同的所述第三键值对是根据不同的所述第一集合得到的，所述第三键值对的键为数据库名称，所述第三键值对的值为与所述键具有映射关系的元数据；
从各个所述第三键值对中选择出当前时间周期的当前第三键值对以及各个上次时间周期的上次第三键值对；
针对每个所述当前第三键值对：
判断各个所述上次第三键值对中是否存在与所述当前第三键值对具有相同键的所述上次第三键值对；
若不存在，则将所述当前第三键值对的数据库名称确定为待更新的元数据，并生成用于表征所述当前第三键值对的数据库名称为新增的数据库名称的更新信息；
若存在，则将所述当前第三键值对与具有相同的键的所述上次第三键值对的值进行比对，根据第三比对结果确定所述待更新的元数据和对应的更新信息；
针对每个所述上次第三键值对：
判断各个所述当前第三键值对中是否存在与所述上次第三键值对具有相同键的所述当前第三键值对；
若不存在，则将所述上次第三键值对的数据库名称确定所述待更新的元数据，并生成用于表征所述上次第三键值对的数据库名称为待删除的数据库名称的更新信息。
8.根据权利要求7所述的方法，其特征在于，所述根据第三比对结果确定所述待更新的元数据和对应的更新信息，包括：
若所述当前第三键值对的数据库备注与具有相同的键的所述上次第三键值对的数据库备注不一致，则将所述当前第三键值对的数据库备注确定为待更新的元数据，并生成用于表征当前第三键值对的数据库备注为更新后的数据库备注的更新信息。
9.一种元数据管理装置，其特征在于，包括：
采集模块，用于按照预设的时间周期采集元数据，并将每次采集到的所述元数据存储至预设的数据表；
处理模块，用于按照所述时间周期对所述预设的数据表进行分区，得到当前时间周期的当前分区表和与所述当前时间周期相邻的上次时间周期的上次分区表；
所述处理模块，还用于根据所述当前分区表和所述上次分区表确定待更新的元数据和与所述待更新的元数据对应的更新信息；
所述处理模块，还用于根据所述待更新的元数据和对应的更新信息更新存储在数据地图库中的元数据。
10.一种计算机设备，其特征在于，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的元数据管理方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的元数据管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910120023.9A CN110008246A (zh) | 2019-02-18 | 2019-02-18 | 元数据管理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910120023.9A CN110008246A (zh) | 2019-02-18 | 2019-02-18 | 元数据管理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110008246A true CN110008246A (zh) | 2019-07-12 |
Family
ID=67165919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910120023.9A Pending CN110008246A (zh) | 2019-02-18 | 2019-02-18 | 元数据管理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110008246A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110471927A (zh) * | 2019-08-20 | 2019-11-19 | 浙江大搜车软件技术有限公司 | 元数据采集方法、装置、计算机设备及存储介质 |
| CN111078691A (zh) * | 2019-11-22 | 2020-04-28 | 湖南御家科技有限公司 | 一种管理报表数据处理方法及相关装置 |
| CN111400309A (zh) * | 2020-02-23 | 2020-07-10 | 中国平安财产保险股份有限公司 | 数据更新方法、电子装置及可读存储介质 |
| CN112560053A (zh) * | 2020-12-09 | 2021-03-26 | 北京红山信息科技研究院有限公司 | 生产环境数据的保护方法、装置、计算机设备及存储介质 |
| CN115858377A (zh) * | 2022-12-20 | 2023-03-28 | 北京领雁科技股份有限公司 | 基于客群管理的数据测试系统和方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102117287A (zh) * | 2009-12-30 | 2011-07-06 | 成都市华为赛门铁克科技有限公司 | 分布式文件系统访问方法、元数据服务器及客户端 |
| CN102685552A (zh) * | 2012-05-08 | 2012-09-19 | 华为技术有限公司 | 一种epg内容元数据管理方法、服务器及系统 |
| CN103023982A (zh) * | 2012-11-22 | 2013-04-03 | 中国人民解放军国防科学技术大学 | 一种云存储客户端的低延迟元数据访问方法 |
| CN103559188A (zh) * | 2013-08-19 | 2014-02-05 | 曙光信息产业股份有限公司 | 元数据管理方法及管理系统 |
| CN105630998A (zh) * | 2015-12-28 | 2016-06-01 | 北京锐安科技有限公司 | 元数据管理方法、装置及系统 |
-
2019
- 2019-02-18 CN CN201910120023.9A patent/CN110008246A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102117287A (zh) * | 2009-12-30 | 2011-07-06 | 成都市华为赛门铁克科技有限公司 | 分布式文件系统访问方法、元数据服务器及客户端 |
| CN102685552A (zh) * | 2012-05-08 | 2012-09-19 | 华为技术有限公司 | 一种epg内容元数据管理方法、服务器及系统 |
| CN103023982A (zh) * | 2012-11-22 | 2013-04-03 | 中国人民解放军国防科学技术大学 | 一种云存储客户端的低延迟元数据访问方法 |
| CN103559188A (zh) * | 2013-08-19 | 2014-02-05 | 曙光信息产业股份有限公司 | 元数据管理方法及管理系统 |
| CN105630998A (zh) * | 2015-12-28 | 2016-06-01 | 北京锐安科技有限公司 | 元数据管理方法、装置及系统 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110471927A (zh) * | 2019-08-20 | 2019-11-19 | 浙江大搜车软件技术有限公司 | 元数据采集方法、装置、计算机设备及存储介质 |
| CN111078691A (zh) * | 2019-11-22 | 2020-04-28 | 湖南御家科技有限公司 | 一种管理报表数据处理方法及相关装置 |
| CN111078691B (zh) * | 2019-11-22 | 2024-04-16 | 湖南水羊科技有限公司 | 一种管理报表数据处理方法及相关装置 |
| CN111400309A (zh) * | 2020-02-23 | 2020-07-10 | 中国平安财产保险股份有限公司 | 数据更新方法、电子装置及可读存储介质 |
| CN111400309B (zh) * | 2020-02-23 | 2023-09-15 | 中国平安财产保险股份有限公司 | 数据更新方法、电子装置及可读存储介质 |
| CN112560053A (zh) * | 2020-12-09 | 2021-03-26 | 北京红山信息科技研究院有限公司 | 生产环境数据的保护方法、装置、计算机设备及存储介质 |
| CN115858377A (zh) * | 2022-12-20 | 2023-03-28 | 北京领雁科技股份有限公司 | 基于客群管理的数据测试系统和方法 |
| CN115858377B (zh) * | 2022-12-20 | 2023-09-15 | 北京领雁科技股份有限公司 | 基于客群管理的数据测试系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110008246A (zh) | 元数据管理方法及装置 | |
| US10496624B2 (en) | Index key generating device, index key generating method, and search method | |
| CN105718565B (zh) | 数据仓库模型的构建方法和构建装置 | |
| CN109344153A (zh) | 业务数据的处理方法及终端设备 | |
| CN105989076A (zh) | 一种数据统计方法以及装置 | |
| CN107918612A (zh) | 键值存储系统数据结构的实现方法和装置 | |
| CN107273482A (zh) | 基于HBase的告警数据存储方法及装置 | |
| CN104111936B (zh) | 数据查询方法和系统 | |
| EP1475725A3 (en) | A system and method employing a grid index for location and precision encoding | |
| CN110347724A (zh) | 异常行为识别方法、装置、电子设备及介质 | |
| CN108536745A (zh) | 基于Shell的数据表提取方法、终端、设备及存储介质 | |
| CN107436911A (zh) | 模糊查询方法、装置及查询系统 | |
| CN108874956A (zh) | 海量文件检索方法、装置、计算机设备及存储介质 | |
| CN107918642A (zh) | 数据查询方法、服务器及计算机可读存储介质 | |
| CN104834700A (zh) | 一种基于轨迹变更的移动数据增量捕获方法 | |
| CN105117489B (zh) | 一种数据库管理方法、装置及电子设备 | |
| CN104408128B (zh) | 一种基于b+树异步更新索引的读优化方法 | |
| CN108287889B (zh) | 一种基于弹性表模型的多源异构数据存储方法和系统 | |
| CN105045535B (zh) | 一种自动删除过期数据的方法和系统 | |
| CN106649333A (zh) | 字段顺序一致性检测方法和装置 | |
| CN106407226A (zh) | 一种数据处理方法、备份服务器及存储系统 | |
| CN107526627A (zh) | 一种虚拟资源生命周期信息管理方法和装置 | |
| CN110134698A (zh) | 数据管理方法及相关产品 | |
| US20130332465A1 (en) | Database management device and database management method | |
| CN116089417A (zh) | 信息获取方法、装置、存储介质及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20211029 |
|
| AD01 | Patent right deemed abandoned |