CN107491558B - 元数据更新方法及装置 - Google Patents

元数据更新方法及装置 Download PDF

Info

Publication number
CN107491558B
CN107491558B CN201710806795.9A CN201710806795A CN107491558B CN 107491558 B CN107491558 B CN 107491558B CN 201710806795 A CN201710806795 A CN 201710806795A CN 107491558 B CN107491558 B CN 107491558B
Authority
CN
China
Prior art keywords
metadata
change
data
log
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710806795.9A
Other languages
English (en)
Other versions
CN107491558A (zh
Inventor
叶炜晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201710806795.9A priority Critical patent/CN107491558B/zh
Publication of CN107491558A publication Critical patent/CN107491558A/zh
Application granted granted Critical
Publication of CN107491558B publication Critical patent/CN107491558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种更新元数据的方法及装置,其中的方法包括:对业务数据库的数据变更日志进行监听;分析并提取出所述数据变更日志中有关元数据变更的记录;根据所述元数据变更的记录,更新所述元数据中心的元数据。本发明具有元数据更新实时性高、避免漏更新的优点。

Description

元数据更新方法及装置
技术领域
本发明涉及互联网技术领域,特别是涉及一种元数据更新方法及装置。
背景技术
元数据(Metadata),是为描述数据的数据(Data About Data),主要是描述数据属性(Property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
大型互联网公司拥有和管理了大量的业务数据,这些数据主要以表的形式保存在各式各样的数据库中。元数据中心,是一个用于管理所有数据表的元数据的平台。互联网公司内各个业务部门都可以在元数据中心找到公司里可用的数据源,获取这个数据的一些基础信息(数据地址、数据结构等等),并申请使用这些数据。元数据的统一管理,有利于下游的数据分析和使用,方便直接透过元数据中心获得数据的访问,而不用逐个和数据的生产部门进行沟通。
元数据中心能够大大方便数据的分享和复用,方便数据分析团队对各个其他部门团队的数据进行读取分析。早期的元数据中心,其最初的形态往往是一个简单的文档或者数据库,数据管理者通过手动登记录入等方式一次性载入,后续如果数据的元信息发生变更时,数据管理者通过手动修改的方式进行更新。显然这种手动更新方式效率较低,而且也会由于人为误差的引入而降低更新的准确性。
随着互联网公司的不断发展,原有的手动更新模式无法满足海量数据的元信息登记和管理需求,原有的手动登记和更新的模式被自动化方式取代。概括而言,这种自动化更新元数据方式主要是,通过定期读取数据库数据,检查是否发生元数据变更,如果是,更新元数据。这种检查数据库的方式,可以实现基本的自动管理数据元信息,并保持一定程度的实时更新。但是这个模式下仍然有两个明显的缺陷。第一,元数据更新的不及时。如果数据库的元数据发生变更,最长要等待一个检查周期的时间,才能反馈到元数据中心。在这个等待的期间内,使用数据的一方无法感知到数据源的变化。第二,元数据检查是针对数据库中各个数据表的层级,一些上层数据的元数据变化(例如创建新数据表)就无法被感知到。
发明内容
为了对元数据进行及时、高效的更新,本发明实施例提供一种元数据更新方法及装置。
根据本发明的一个方面,提供一种更新元数据的方法,用于根据业务数据库中数据的变化对元数据中心的元数据进行更新,该方法包括:对业务数据库的数据变更日志进行监听;分析并提取出所述数据变更日志中有关元数据变更的记录;根据所述元数据变更的记录,更新所述元数据中心的元数据。
可选的,所述对业务数据库的数据变更日志进行监听,包括:在所述业务数据库中设置用于监听所述数据变更日志的监听程序;
通过运行所述监听程序,对所述数据变更日志的数据变化进行监听。
可选的,所述对业务数据库的数据变更日志进行监听,包括:在所述元数据中心中设置监听程序,并且所述业务数据库向所述元数据中心开放监听接口;所述元数据中心通过所述监听接口访问所述业务数据库,并通过运行所述监听程序,对所述业务数据库的数据变更日志的数据变化进行监听。
可选的,所述分析并提取出所述数据变更日志中有关元数据变更的记录,包括:根据预设的元数据变更关键字,对所述数据变更日志中的变更记录进行分析,如果所述变更记录包括所述关键字,则将包括关键字的变更记录提取出来。
可选的,所述元数据变更关键字包括数据结构变更关键字、数据格式变更关键字、数据权限变更关键字中的至少之一。
根据本发明的另一个方面,提供一种更新元数据的装置,用于根据业务数据库中数据的变化对元数据中心的元数据进行更新,该装置包括:监听模块,用于对业务数据库的数据变更日志进行监听;分析模块,用于分析并提取出所述数据变更日志中有关元数据变更的记录;更新指示模块,用于根据所述元数据变更的记录,向所述元数据中心发送元数据更新消息。
可选的,所述监听模块,通过在所述业务数据库中设置用于监听所述数据变更日志的监听程序,并通过运行所述监听程序,对所述数据变更日志的数据变化进行监听。
可选的,所述分析模块具体用于,根据预设的元数据变更关键字,对所述数据变更日志中的变更记录进行分析,如果所述变更记录包括所述关键字,则将包括关键字的变更记录提取出来。
可选的,所述元数据变更关键字包括数据结构变更关键字、数据格式变更关键字、数据权限变更关键字中的至少之一。
根据本发明的又一个方面,提供一种更新元数据的装置,用于根据业务数据库中数据的变化对元数据中心的元数据进行更新,该装置包括:监听模块,用于对业务数据库的数据变更日志进行监听;分析模块,用于分析并提取出所述数据变更日志中有关元数据变更的记录;更新模块,用于根据所述元数据变更的记录,对所述元数据中心的元数据进行更新。
可选的,所述监听模块,通过在所述元数据中心中设置监听程序,并在所述元数据中心通过监听接口访问所述业务数据库前提下,通过运行所述监听程序,对所述业务数据库的数据变更日志的数据变化进行监听。
可选的,所述分析模块具体用于,根据预设的元数据变更关键字,对所述数据变更日志中的变更记录进行分析,如果所述变更记录包括所述关键字,则将包括关键字的变更记录提取出来。
可选的,所述元数据变更关键字包括数据结构变更关键字、数据格式变更关键字、数据权限变更关键字中的至少之一。
如前所述的,在现有的元数据更新方案中,主要是通过定期检查数据库的方式,每隔一段时间对数据是否变化进行检查,并把变化同步到元数据中心。这种方式存在延迟、上层数据变化漏更新等问题。而本发明实施例中,采取了实时监听数据变更记录日志的方式,在元数据发生变化的第一时间即可感知到,并实时的在元数据中心进行相应的更新。由于通过监听程序实时监听到变更记录,因此具有实时性高的优点,而且,数据变更日志的变更记录涵盖各层次的数据表,因此不存在感知不到上层数据变化的问题。
附图说明
图1是本发明一个实施例提供的一种元数据更新实例示意图;
图2是本发明一个实施例提供的一种元数据更新方法流程图;
图3是本发明一个实施例提供的一种元数据更新方法示例流程图;
图4是本发明一个实施例提供的一种位于业务数据库侧的元数据更新装置结构示意图;
图5是本发明一个实施例提供的一种位于元数据中心侧的元数据更新装置结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提出了一种实时更新元数据的方案,通过监听日志来感知元数据的变更,从而实时更新元数据的变化。
参见图1,是本发明一个实施例提供的一种元数据更新实例示意图。其中,业务数据库是指本发明实施例所关注的数据库,即元数据中心对应的数据库,该数据库可以是主数据库,也可以是备份数据库,元数据中心记录该数据库中的元数据。其中,业务数据库可以有多个。在业务数据库中,数据可以以表的形式保存,例如,图1所示的,业务数据库包括数据表A、数据表B、数据表C……,各个数据表中保存有业务数据或用户数据等。
本发明实施例中的业务数据库,可以是目前较为流行的关系型数据库,例如基于MySQL或Oracle的数据库。
MySQL是一种开放源代码的关系型数据库管理系统,使用最常用的数据库管理语言--结构化查询语言(SQL)进行数据库管理。MySQL具有速度快、可靠性高和适应性强等优点。在MySQL系统中,binlog日志用于记录所有更新了数据或者已经潜在更新了数据(例如,没有匹配任何行的一个DELETE)的所有语句。语句以“事件”的形式保存,它描述数据更改。因为有了数据更新的binlog,所以可以用于实时备份。
Oracle系统是另一款关系数据库管理系统,它可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好、适应高吞吐量的数据库解决方案。Oracle系统中,日志文件为Redo Log Files和Archivelog Files,用于记录数据库修改信息。
可见,不论哪个数据库系统,都会由专门的日志记录数据变更情况。本发明实施例中以“数据变更日志”统一称谓,用于表明在数据库系统中记录业务数据库数据变化的日志。
需要说明的是,本发明实施例不限制业务数据库所在的数据库系统,上述MySQL或Oracle的数据库仅是示例,不作为限制。
不同于现有技术中定期检查数据表中的数据的方式,本发明提出了一个新的思路,不再去定期检查并更新元数据,而是通过实时监听数据库的数据变更日志(例如MySQL的binlog),分析提取出日志中元数据变更相关记录,并据此实时更新到元数据中心。
参见图2,是本发明一个实施例提供的一种元数据更新方法流程图,该方法用于根据业务数据库中数据的变化对元数据中心的元数据进行更新,该方法包括如下步骤S201-S203。
S201:对业务数据库的数据变更日志进行监听。
可有多种实现方式达到对数据变更日志进行监听的目的。
一种可选的方式是,在业务数据库中设置用于监听数据变更日志的监听程序;通过运行监听程序,对所述数据变更日志的数据变化进行监听。例如,通过在业务数据库中设置一段监听程序(监听代码),该监听程序用于关联数据变更日志,即,当数据变更日志有操作时,该监听程序即运行,并获取到数据变更日志的数据变化。例如,监听程序可以是植入数据变更日志的一个监听器,该监听器可通过代码实现。当数据变更日志的数据变化发生变化时,监听程序读取到数据变更日志。
另一种可选的方式是,在元数据中心中设置监听程序,并且业务数据库向元数据中心开放监听接口;元数据中心通过监听接口访问业务数据库,并通过运行监听程序,对业务数据库的数据变更日志的数据变化进行监听。例如,预先将数据库接口(Data BaseInterface,DBI)的权限开放给元数据中心,使得元数据中心可以访问到业务数据库,再通过元数据中心中设置的监听程序,对业务数据库的数据变更日志进行监听,即,当数据变更日志有操作时,该监听程序即运行,并获取到数据变更日志的数据变化。例如,监听程序可以是注册了数据变更日志监听接口的一个监听器,该监听器可通过代码实现。当数据变更日志的数据变化发生变化时,监听程序读取到数据变更日志。
S202:分析并提取出数据变更日志中有关元数据变更的记录。
前述步骤通过对数据变更日志的监听,已经获取到日志中变更记录,这些记录中涉及的元数据变更记录需要提取出来。
因此在本步骤中,需要通过对日志变更记录进行数据分析,识别出其中属于元数据变更的记录。元数据变更的记录,例如涉及数据结构变更的记录、数据表格式变更的记录、数据读取权限变更的记录,等等。具体实现中,在一种可选的方式中,根据预设的元数据变更关键字,对数据变更日志中的变更记录进行分析,如果变更记录包括预设的一个关键字,则将包括关键字的变更记录提取出来。其中,元数据变更关键字包括数据结构变更关键字、数据格式变更关键字、数据权限变更关键字中的至少之一。例如,变更记录可能是插入数据、删除数据、修改数据的命令字符串,如果该命令字符串中包含了上述任意一个预置的关键字,比如包括权限变更关键字,则确认该变更记录是属于元数据变更的记录。
S203:根据元数据变更的记录,更新元数据中心的元数据。
不同的监听方式(在业务数据库或元数据中心设置监听程序),对应不同的更新方式。对于在业务数据库中设置监听程序的方式,业务数据库在监听并分析之后,将元数据变更的记录组织在一个元数据变更消息中,将该消息发送给元数据中心,元数据中心接收并解析该消息,利用元数据变更的记录更新元数据。对于在元数据中心设置监听程序的方式,元数据中心监听并分析得到元数据变更的记录,因此可直接进行元数据更新的操作。
参见图3,是本发明一个实施例提供的一种元数据更新方法示例流程图。为了显著的说明各个步骤所在实体之间的关系,该流程图中,示出了一个“监听分析模块”。可以理解,该监听分析模块可能仅仅是一个功能模块,并不一定是一个具体的物理设备,在具体实现中,可以将该监听分析模块设置在业务数据库中,或者设置在元数据中心中。图3以一个具体例子说明了整个元数据更新的过程,该例子中,监听分析模块设置在业务数据库中。首先,在业务数据库中,发生了数据变更,例如“ALTER Table1ADD COLUMN AAAint”;其次,在监听分析模块,通过监听数据变更日志,识别出列增加记录,属于元数据变更的记录;随后,监听分析模块向元数据中心发送元数据更新消息,例如发送的消息表明“数据表table1增加一个名为AAA的列,类型是int”;最后,元数据中心更新table1的结构信息,增加名为AAA的int列。
如前所述的,在现有的元数据更新方案中,主要是通过定期检查数据库的方式,每隔一段时间对数据是否变化进行检查,并把变化同步到元数据中心。这种方式存在延迟、上层数据变化漏更新等问题。而本发明实施例中,采取了实时监听数据变更记录日志的方式,在元数据发生变化的第一时间即可感知到,并实时的在元数据中心进行相应的更新。由于通过监听程序实时监听到变更记录,因此具有实时性高的优点,而且,数据变更日志的变更记录涵盖各层次的数据表,因此不存在感知不到上层数据变化的问题。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图4,是本发明实施例提供的一种更新元数据的装置。该装置位于业务数据库侧,用于根据业务数据库中数据的变化对元数据中心的元数据进行更新,该装置包括:
监听模块401,用于对业务数据库的数据变更日志进行监听;
分析模块402,用于分析并提取出所述数据变更日志中有关元数据变更的记录;
更新指示模块403,用于根据所述元数据变更的记录,向所述元数据中心发送元数据更新消息。
在一种可选方式中,所述监听模块401,通过在所述业务数据库中设置用于监听所述数据变更日志的监听程序,并通过运行所述监听程序,对所述数据变更日志的数据变化进行监听。例如,监听程序可以是植入数据变更日志或注册了访问数据变更日志访问接口的一个监听器,该监听器可通过代码实现。当数据变更日志的数据变化发生变化时,监听程序读取到数据变更日志。
在一种可选方式中,所述分析模块402具体用于,根据预设的元数据变更关键字,对所述数据变更日志中的变更记录进行分析,如果所述变更记录包括关键字,则将包括关键字的变更记录提取出来。例如,元数据变更关键字包括数据结构变更关键字、数据格式变更关键字和数据权限变更关键字。例如,变更记录可能是插入数据、删除数据、修改数据的命令字符串,如果该命令字符串中包含了上述任意一个预置的关键字,比如包括权限变更关键字,则确认该变更记录是属于元数据变更的记录。
在一种可选方式中,所述元数据变更关键字包括数据结构变更关键字、数据格式变更关键字、数据权限变更关键字中的至少之一。
参照图5,是本发明实施例提供的一种更新元数据的装置。该装置位于元数据中心层,用于根据业务数据库中数据的变化对元数据中心的元数据进行更新,该装置包括:
监听模块501,用于对业务数据库的数据变更日志进行监听;
分析模块502,用于分析并提取出所述数据变更日志中有关元数据变更的记录;
更新模块503,用于根据所述元数据变更的记录,对所述元数据中心的元数据进行更新。
在一种可选方式中,所述监听模块501,通过在所述元数据中心中设置监听程序,并在所述元数据中心通过监听接口访问所述业务数据库前提下,通过运行所述监听程序,对所述业务数据库的数据变更日志的数据变化进行监听。
在一种可选方式中,所述分析模块502具体用于,根据预设的元数据变更关键字,对所述数据变更日志中的变更记录进行分析,如果所述变更记录包括关键字,则将包括关键字的变更记录提取出来。
在一种可选方式中,所述元数据变更关键字包括数据结构变更关键字、数据格式变更关键字、数据权限变更关键字中的至少之一。
此外,本发明实施例还提供的一种更新元数据的系统,用于根据业务数据库中数据的变化对元数据中心的元数据进行更新,该系统包括业务数据库和元数据中心,其中,在所述业务数据库或元数据中心设置监听控制装置,其中,
所述监听控制装置,用于对业务数据库的数据变更日志进行监听,并分析并提取出所述数据变更日志中有关元数据变更的记录,并根据所述元数据变更的记录,更新所述元数据中心的元数据。
在一种可选的方式中,在所述业务数据库设置所述监听控制装置;所述监听控制装置包括:监听模块,用于通过在所述业务数据库中设置用于监听所述数据变更日志的监听程序,并通过运行所述监听程序,对所述数据变更日志的数据变化进行监听;分析模块,用于根据预设的元数据变更关键字,对所述数据变更日志中的变更记录进行分析,识别出有关元数据变更的记录。
在一种可选的方式中,在所述元数据中心设置所述监听控制装置;所述监听控制装置包括:监听模块,用于通过在所述元数据中心中设置监听程序,并在所述元数据中心通过监听接口访问所述业务数据库前提下,通过运行所述监听程序,对所述业务数据库的数据变更日志的数据变化进行监听;分析模块,用于根据预设的元数据变更关键字,对所述数据变更日志中的变更记录进行分析,识别出有关元数据变更的记录。
在一种可选的方式中,所述元数据变更关键字包括数据结构变更关键字、数据格式变更关键字、数据权限变更关键字中的至少之一。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种关系型数据库的调度方法及系统,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种更新元数据的方法,其特征在于,用于根据业务数据库中数据的变化对元数据中心的元数据进行更新,其中,所述元数据中心的所述元数据记录的是所述业务数据库中的元数据,该方法包括:
对业务数据库的数据变更日志进行监听;所述数据变更日志是用于表明在数据库系统中记录所述业务数据库数据变化的日志;
分析并提取出所述数据变更日志中有关元数据变更的记录;
根据所述元数据变更的记录,更新所述元数据中心的元数据。
2.如权利要求1所述的方法,其特征在于,所述对业务数据库的数据变更日志进行监听,包括:
在所述业务数据库中设置用于监听所述数据变更日志的监听程序;
通过运行所述监听程序,对所述数据变更日志的数据变化进行监听。
3.如权利要求1所述的方法,其特征在于,所述对业务数据库的数据变更日志进行监听,包括:
在所述元数据中心中设置监听程序,并且所述业务数据库向所述元数据中心开放监听接口;
所述元数据中心通过所述监听接口访问所述业务数据库,并通过运行所述监听程序,对所述业务数据库的数据变更日志的数据变化进行监听。
4.如权利要求1-3任一项所述的方法,其特征在于,所述分析并提取出所述数据变更日志中有关元数据变更的记录,包括:
根据预设的元数据变更关键字,对所述数据变更日志中的变更记录进行分析,如果所述变更记录包括所述关键字,则将包括关键字的变更记录提取出来。
5.如权利要求4所述的方法,其特征在于,所述元数据变更关键字包括数据结构变更关键字、数据格式变更关键字、数据权限变更关键字中的至少之一。
6.一种更新元数据的装置,其特征在于,用于根据业务数据库中数据的变化对元数据中心的元数据进行更新,其中,所述元数据中心的所述元数据记录的是所述业务数据库中的元数据,该装置包括:
监听模块,用于对业务数据库的数据变更日志进行监听;所述数据变更日志是用于表明在数据库系统中记录所述业务数据库数据变化的日志;
分析模块,用于分析并提取出所述数据变更日志中有关元数据变更的记录;
更新指示模块,用于根据所述元数据变更的记录,向所述元数据中心发送元数据更新消息。
7.如权利要求6所述的装置,其特征在于,所述监听模块,通过在所述业务数据库中设置用于监听所述数据变更日志的监听程序,并通过运行所述监听程序,对所述数据变更日志的数据变化进行监听。
8.如权利要求6或7所述的装置,其特征在于,所述分析模块具体用于,根据预设的元数据变更关键字,对所述数据变更日志中的变更记录进行分析,如果所述变更记录包括所述关键字,则将包括关键字的变更记录提取出来。
9.如权利要求8所述的装置,其特征在于,所述元数据变更关键字列表包括的关键字包括:数据结构变更关键字、数据格式变更关键字、数据权限变更关键字中的至少之一。
10.一种更新元数据的装置,其特征在于,用于根据业务数据库中数据的变化对元数据中心的元数据进行更新,其中,所述元数据中心的所述元数据记录的是所述业务数据库中的元数据,该装置包括:
监听模块,用于对业务数据库的数据变更日志进行监听;所述数据变更日志是用于表明在数据库系统中记录所述业务数据库数据变化的日志;
分析模块,用于分析并提取出所述数据变更日志中有关元数据变更的记录;
更新模块,用于根据所述元数据变更的记录,对所述元数据中心的元数据进行更新。
11.如权利要求10所述的装置,其特征在于,所述监听模块,通过在所述元数据中心中设置监听程序,并在所述元数据中心通过监听接口访问所述业务数据库前提下,通过运行所述监听程序,对所述业务数据库的数据变更日志的数据变化进行监听。
12.如权利要求10或11所述的装置,其特征在于,所述分析模块具体用于,根据预设的元数据变更关键字,对所述数据变更日志中的变更记录进行分析,如果所述变更记录包括所述关键字,则将包括关键字的变更记录提取出来。
13.如权利要求12所述的装置,其特征在于,所述元数据变更关键字包括数据结构变更关键字、数据格式变更关键字、数据权限变更关键字中的至少之一。
CN201710806795.9A 2017-09-08 2017-09-08 元数据更新方法及装置 Active CN107491558B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710806795.9A CN107491558B (zh) 2017-09-08 2017-09-08 元数据更新方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710806795.9A CN107491558B (zh) 2017-09-08 2017-09-08 元数据更新方法及装置

Publications (2)

Publication Number Publication Date
CN107491558A CN107491558A (zh) 2017-12-19
CN107491558B true CN107491558B (zh) 2020-09-15

Family

ID=60651450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710806795.9A Active CN107491558B (zh) 2017-09-08 2017-09-08 元数据更新方法及装置

Country Status (1)

Country Link
CN (1) CN107491558B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763387A (zh) * 2018-05-20 2018-11-06 湖北九州云仓科技发展有限公司 异构平台的大数据融合方法、电子设备、存储介质及系统
CN109241174B (zh) * 2018-06-26 2021-04-16 东软集团股份有限公司 数据同步方法、装置、可读存储介质和电子设备
CN112527807A (zh) * 2019-09-18 2021-03-19 银联数据服务有限公司 一种数据结构操作方法及装置
CN116955416B (zh) * 2023-09-18 2023-12-08 腾讯科技(深圳)有限公司 数据处理方法、系统、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101552701A (zh) * 2008-04-03 2009-10-07 华为技术有限公司 一种记录参数维护变更的方法、系统及装置
CN102270225A (zh) * 2011-06-28 2011-12-07 用友软件股份有限公司 数据变更日志监控方法和数据变更日志监控装置
CN102339298A (zh) * 2010-07-28 2012-02-01 中国移动通信集团公司 Sql脚本元数据的更新方法、装置及系统
CN103067483A (zh) * 2012-12-25 2013-04-24 广东邮电职业技术学院 基于数据包的远程数据增量同步方法和装置
CN105205053A (zh) * 2014-05-30 2015-12-30 阿里巴巴集团控股有限公司 一种数据库增量日志解析方法及系统
CN105447014A (zh) * 2014-08-15 2016-03-30 阿里巴巴集团控股有限公司 基于binlog的元数据管理方法和用于提供元数据的方法及装置
CN107016027A (zh) * 2016-12-08 2017-08-04 阿里巴巴集团控股有限公司 实现业务信息快速搜索的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838761B (zh) * 2012-11-23 2017-03-01 阿里巴巴集团控股有限公司 一种元数据的更新方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101552701A (zh) * 2008-04-03 2009-10-07 华为技术有限公司 一种记录参数维护变更的方法、系统及装置
CN102339298A (zh) * 2010-07-28 2012-02-01 中国移动通信集团公司 Sql脚本元数据的更新方法、装置及系统
CN102270225A (zh) * 2011-06-28 2011-12-07 用友软件股份有限公司 数据变更日志监控方法和数据变更日志监控装置
CN103067483A (zh) * 2012-12-25 2013-04-24 广东邮电职业技术学院 基于数据包的远程数据增量同步方法和装置
CN105205053A (zh) * 2014-05-30 2015-12-30 阿里巴巴集团控股有限公司 一种数据库增量日志解析方法及系统
CN105447014A (zh) * 2014-08-15 2016-03-30 阿里巴巴集团控股有限公司 基于binlog的元数据管理方法和用于提供元数据的方法及装置
CN107016027A (zh) * 2016-12-08 2017-08-04 阿里巴巴集团控股有限公司 实现业务信息快速搜索的方法和装置

Also Published As

Publication number Publication date
CN107491558A (zh) 2017-12-19

Similar Documents

Publication Publication Date Title
US10445321B2 (en) Multi-tenant distribution of graph database caches
CN107491558B (zh) 元数据更新方法及装置
CN111258989A (zh) 数据库迁移评估方法、装置、存储介质和计算机设备
US20180060415A1 (en) Language tag management on international data storage
US20140013302A1 (en) Log configuration of distributed applications
US20200125660A1 (en) Quick identification and retrieval of changed data rows in a data table of a database
US20180137115A1 (en) High performance parallel indexing for forensics and electronic discovery
US10521407B2 (en) Grouping of database objects
CN104239377A (zh) 跨平台的数据检索方法及装置
CN111046036A (zh) 数据同步方法、装置、系统及存储介质
US7657585B2 (en) Automated process for identifying and delivering domain specific unstructured content for advanced business analysis
CN110032594B (zh) 可定制化的多源数据库的数据抽取方法、装置及存储介质
US11615076B2 (en) Monolith database to distributed database transformation
US9910968B2 (en) Automatic notifications for inadvertent file events
CN114880405A (zh) 一种基于数据湖的数据处理方法及系统
CN104036034A (zh) 用于数据仓库的日志分析方法和装置
CN115858488A (zh) 基于数据治理的平行迁移方法、装置及可读介质
US10417439B2 (en) Post-hoc management of datasets
WO2016100737A1 (en) Method and system to search logs that contain a massive number of entries
CN116414801A (zh) 数据迁移方法、装置、计算机设备和存储介质
US11283893B2 (en) Method and system for tracking chain of custody on unstructured data
US11455294B2 (en) Information lifecycle management notification framework
KR20220054992A (ko) Dcat 기반 메타데이터 변환 시스템
KR20130082712A (ko) 콘텐츠의 생성 및 소비에 기반한 개인 정보 제공 시스템
US11693834B2 (en) Model generation service for data retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant