CN115756967A - 基于元数据的数据处理方法、装置、设备及存储介质 - Google Patents
基于元数据的数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115756967A CN115756967A CN202211504018.6A CN202211504018A CN115756967A CN 115756967 A CN115756967 A CN 115756967A CN 202211504018 A CN202211504018 A CN 202211504018A CN 115756967 A CN115756967 A CN 115756967A
- Authority
- CN
- China
- Prior art keywords
- metadata
- data
- information
- entity
- analysis result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于元数据的数据处理方法、装置、设备及存储介质,该方法包括:采集源数据库的元数据;对所述元数据进行分析,获得元数据分析结果;其中,所述元数据分析结果包括如下至少一项:血缘信息、冷热度信息、历史版本信息、实体差异信息及实体关联信息;基于所述元数据分析结果对所述源数据库中的数据进行备份和/或恢复。利用该方法,可以基于元数据的血缘关系、历史版本、冷热度、实体关联、实体差异等分析信息,提供了更多的参考数据来帮助选择要备份恢复的数据。
Description
技术领域
本发明实施例涉及数据库技术领域,尤其涉及一种基于元数据的数据处理方法、装置、设备及存储介质。
背景技术
随着计算机的飞速发展,企业的数据资料呈几何增长,为保障信息安全,对数据进行备份、恢复是必不可少的。通常,我们使用数据库进行数据存放,因此对数据库进行备份、恢复,即可实现对数据的保护。
目前数据备份方式有以下几种:包括物理备份、逻辑备份、日志备份等,但无论那种方式,仅提供部分基础选项供用户选择,用户无法清晰的了解已选择的数据全貌,无法满足用户需求。目前数据恢复方式有以下几种:基于事务日志恢复、结构化查询语句恢复、基于已备份的数据文件恢复等。以上恢复方式和备份一样,也未提供良好的数据查看,不能对已选择的恢复数据有更好地了解。
发明内容
本发明实施例提供了一种基于元数据的数据处理方法、装置、设备及存储介质,可以基于元数据的血缘关系、历史版本、冷热度、实体关联、实体差异等分析信息,提供了更多的参考数据来帮助选择要备份恢复的数据。
第一方面,本发明实施例提供了一种基于元数据的数据处理方法,该方法包括:
采集源数据库的元数据;
对所述元数据进行分析,获得元数据分析结果;其中,所述元数据分析结果包括如下至少一项:血缘信息、冷热度信息、历史版本信息、实体差异信息及实体关联信息;
基于所述元数据分析结果对所述源数据库中的数据进行备份和/或恢复。
第二方面,本发明实施例还提供了一种基于元数据的数据处理装置,该装置包括:
元数据采集模块,用于采集源数据库的元数据;
元数据分析模块,用于对所述元数据进行分析,获得元数据分析结果;其中,所述元数据分析结果包括如下至少一项:血缘信息、冷热度信息、历史版本信息、实体差异信息及实体关联信息;
数据备份恢复模块,用于基于所述元数据分析结果对所述源数据库中的数据进行备份和/或恢复。
第三方面,本公开实施例还提供电子设备,所述电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本公开实施例提供的基于元数据的数据处理方法。
第四方面,本公开实施例还提供了包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行实现本公开实施例提供的基于元数据的数据处理方法。
本发明公开了一种基于元数据的数据处理方法、装置、设备及存储介质,该方法包括:采集源数据库的元数据;对所述元数据进行分析,获得元数据分析结果;其中,所述元数据分析结果包括如下至少一项:血缘信息、冷热度信息、历史版本信息、实体差异信息及实体关联信息;基于所述元数据分析结果对所述源数据库中的数据进行备份和/或恢复。利用该方法,通过可以基于元数据的血缘关系、历史版本、冷热度、实体关联、实体差异等分析信息,提供了更多的参考数据来辅助进行帮数据的备份及恢复。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开实施例所提供的一种基于元数据的数据处理方法的流程图;
图2为本公开实施例所提供的一种基于元数据的数据处理方法的原理图;
图3为本公开实施例所提供的一种基于元数据管理数据库备份方法的流程图;
图4为本公开实施例所提供的一种基于元数据管理数据库恢复方法的流程图;
图5为本公开实施例所提供的一种基于元数据的数据处理装置的结构示意图;
图6为本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
可以理解的是,在使用本公开各实施例公开的技术方案之前,均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如,在响应于接收到用户的主动请求时,向用户发送提示信息,以明确地提示用户,其请求执行的操作将需要获取和使用到用户的个人信息。从而,使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定性的实现方式,响应于接收到用户的主动请求,向用户发送提示信息的方式例如可以是弹窗的方式,弹窗中可以以文字的方式呈现提示信息。此外,弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是,上述通知和获取用户授权过程仅是示意性的,不对本公开的实现方式构成限定,其它满足相关法律法规的方式也可应用于本公开的实现方式中。
可以理解的是,本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
实施例一
图1为本公开实施例所提供的一种基于元数据的数据处理的流程图,本公开实施例适用于提供用户数据备份恢复的情形,该方法可以由基于元数据的数据装置来执行,该装置可以通过软件和/或硬件的形式实现,可选的,通过电子设备来实现,该电子设备可以是移动终端、PC端或服务器等。
如图1所示,本公开实施例提供的一种基于元数据的数据方法,具体可以包括下述步骤:
S110、采集源数据库的元数据。
在本实施例中,元数据可以理解为描述数据属性信息和或索引信息的数据,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据中可以包括名称、包含的字段数、引擎及版本等信息。元数据是一种电子式目录,为了达到编制目录的目的,在描述并收藏数据的内容或特色,进而达成协助数据检索的目的。源数据库可以是关系型或非关系型数据库,如图2所示,图中的数据库为源数据库,用于提供元数据。其中,数据库(DataBase,DB)是内置业务数据库,用于存储元数据。当用户需要备份或恢复数据时,由元数据引擎负责采集源数据库的元数据信息并保存至DB中。备份恢复任务管理负责协调处理备份恢复软件的任务与元数据之间的数据交互。备份恢复软件提供备份时间点查询、数据备份、数据恢复、数据细粒度恢复等基础功能。
S120、对元数据进行分析,获得元数据分析结果;其中,元数据分析结果包括如下至少一项:血缘信息、冷热度信息、历史版本信息、实体差异信息及实体关联信息。
在本实施例中,血缘信息可以是从元数据对应的实体数据出发,往回追溯其处理过程,获得的每个处理过程所对应的实体数据信息。冷热度信息是根据数据被使用或访问的频次的元数据访问频次记录信息。历史版本信息可以是根据元数据检索的历史版本信息。实体差异信息可以是实体中用图、表等形式体现出它们的差异度的信息。实体关联信息可以指从某一实体关联的其它实体和其参与的处理过程两个角度来查看具体数据的使用情况,形成实体所参与处理过程的关联信息。
具体的,对上述的元数据进行血缘分析、冷热度分析、检索历史版本、实体差异分析、实体关联分析等过程,获取元数据分析结果包括血缘信息、冷热度信息、历史版本信息、实体差异信息及实体关联信息。其中,对元数据进行血缘分析,从元数据对应的实体出发,往回追溯其处理过程,根据选择的元数据信息,如库、表、字段等元数据,获取与之有血缘关系的元数据信息。对元数据进行冷热度分析,分析元数据被使用或访问的频次,获取元数据的访问频次记录。通过根据元数据进行检索得到历史版本信息。对元数据进行实体差异分析,通过对元数据对应的不同实体进行检查,获取实体中用图、表等形式体现出它们差异度,获取大于设定的差异度的实体差异信息。对元数据进行实体关联分析,从某一实体关联的其它实体和其参与的处理过程两个角度来查看具体数据的使用情况,形成一张实体和所参与处理过程的网络,获取该网络中的信息作为实体关联信息。通过上述分析过程,可以只获取其中的一项或者多项信息,从而获得相应元数据分析结果。
在上述实施例的基础上,本公开实施例可以对根据所述血缘信息为与所述元数据的实体数据具有血缘关系的元数据;对所述元数据进行分析,获得血缘信息具体可以包括下述步骤:
a1)从所述元数据的实体数据出发回溯所述实体数据对应的至少一个数据操作。
b1)获取所述至少一个数据操作对应的元数据,获得所述元数据对应的血缘信息。
具体的,数据操作可以包括删除、增添、修改、复制、备份等操作。将上述元数据对应的实体数据开始进行回溯,回溯之前对实体数据进行如删除、增添、修改、复制、备份等至少一个数据操作,找到进行数据操作前对应的全部实体数据,然后获取上述实体数据所对应的元数据,所有对应的元数据为上述元数据对应的血缘信息。根据选择的元数据信息,库、表、字段等元数据,获取与之有血缘关系的元数据信息。
示例性的,以MySQL数据库为例,当元数据选择是库级别时,返回血缘数据可以是此库下面所有表的名称、数量,图、函数、事件等信息。当元数据选择是表级别时,返回血缘数据可以是此表属于哪个库、与此表有关的视图、函数、事件等,此表有哪些字段信息等。
在上述实施例的基础上,本公开实施例可以对元数据进行分析,获得元数据分析结果具体为:
所述冷热度信息表征所述元数据的实体数据被访问的频次;所述历史版本信息表征所述实体数据第一次出现的时间起编写及不断修改的历史版本信息;所述实体关联信息表征与所述实体数据具有关联关系的实体数据的元数据。
具体的,冷热度信息的呈现方式为元数据的实体数据被访问的频次,历史版本信息的呈现方式为实体数据的历史版本信息,实体关联信息的呈现方式实体数据具有关联关系的实体数据的元数据。其中,当实体数据经过计算等得到的实体数据可以认为两者直接是有关联的。
在上述实施例的基础上,本公开实施例可以在根据对所述元数据进行分析,获得实体差异信息可以包括下述步骤:
a2)对于每个元数据,获取与所述元数据相似度大于第一设定阈值的元数据,作为相似元数据。
b2)确定所述元数据的实体数据与所述相似元数据的实体数据间的差异度,将所述差异度作为所述元数据的实体差异信息。
具体的,相似度可以为元数据中包括的名称、包含的字段数、引擎及版本等信息相似的程度。第一设定阈值为一个预先设定的阈值。对于每个元数据,将其名称、包含的字段数、引擎及版本等信息与其他元数据进行比较,其中将元数据相似度大于第一设定阈值的元数据作为相似元数据。然后将上述元数据与相似元数据所对应的实体数据进行比对,确定实体数据之间的差异度,记录上述所有元数据与相似元数据的差异度作为元数据的实体差异信息。
S130、基于元数据分析结果对源数据库中的数据进行备份和/或恢复。
在本实施例中,图3为本公开实施例所提供的一种基于元数据的数据备份方法的流程图;如图3所示,对数据备份首先对采集的元数据进行分析,上述五种分析可以根据实际备份需求或策略进行选择任意一种或多种。然后对分析结果可视化操作。备份可以自动完成也可以用户手动进行备份,通过创建备份任务,根据备份策略调度系统数据完成数据备份。其中,分析结果可视化是指基于各种计算、查询规则,将元数据分析结果以图形或表格、表单等方式展现出来。展示方式包括不限于饼图、柱状图、散点图、条形图、折线图、圆环图、气泡图、雷达图、矩形树图、曲线面积图、直方图、漏斗图、热力图、瀑布图、指标卡、词云等。备份策略可以是用户预先设定的,当自动完成备份时,首先根据元数据冷热度信息筛选的元数据作为起始数据,然后再根据筛选出的元数据的分析结果进行备份,当用户手动备份时,可以根据用户要选择的元数据作为起始元数据,可以根据备份策略选择该起始元数据的分析结果中的至少一项进行备份。
图4为本公开实施例所提供的一种基于元数据的数据恢复方法的流程图;如图4所示,对数据恢复时查询所要恢复的实体数据所对应的元数据作为历史元数据信息,选择该元数据版本所对应的备份数据信息创建恢复任务,根据恢复策略调度信息进行数据恢复。
在上述实施例的基础上,本公开实施例可以对基于元数据分析结果对源数据库中的数据进行备份和/或恢复具体可以包括下述步骤:
a3)根据冷热度信息提取冷热度超过第二设定阈值的元数据,作为第一目标元数据。
b3)根据血缘信息获取与第一目标元数据具有血缘关系的元数据,作为第二目标元数据。
c3)根据实体差异信息获取与第一目标元数据的差异度大于第三设定阈值的元数据,作为第三目标元数据。
d3)根据实体关联信息获取与第一目标元数据关联的元数据,作为第四目标元数据。
e3)对第一目标元数据的实体数据、第二目标元数据的实体数据、第三目标元数据的实体数据及第四目标元数据的实体数据进行备份和/或恢复。
具体的,第二设定阈值是一个设定的阈值,根据访问频次设定的阈值,超过阈值表示访问频次高代表企业常用数据,低于阈值,表示访问频次低的数据属于不经常变化的数据。根据冷热度信息将冷热度超过第二设定阈值的元数据,作为第一目标元数据。将第一目标元数据对应的实体数据开始进行回溯,回溯之前对实体数据进行如删除、增添、修改、复制、备份等至少一个数据操作,找到进行数据操作前对应的全部实体数据,然后获取上述实体数据所对应的元数据作为第二目标元数据。第三设定阈值是一个设定的阈值,根据差异度设定的阈值,超过阈值的数据代表文件直接差异比较大。根据上述实体差异信息中得到与第一目标元数据的差异度大于第三设定阈值的元数据,作为第三目标元数据。根据实体关联信息获取与第一目标元数据关联的元数据,作为第四目标元数据。对第一目标元数据的实体数据、第二目标元数据的实体数据、第三目标元数据的实体数据及第四目标元数据的实体数据进行备份和/或恢复时,在自动备份数据时,首先选择第一目标元数据的实体数据,然后从第二目标元数据的实体数据、第三目标元数据的实体数据及第四目标元数据的实体数据中选择一项或者多项,最后对选择的实体数据进行备份或恢复。即可以选择处理(包括备份和恢复)或者不处理具有血缘关系的数据、处理或者不处理差异度大于第三设定阈值的数据以及处理或者不处理关联的数据。当用户选择备份和/或恢复时,则上述四种目标元数据的实体数据可以选择任意一种或多种,根据具体要求进行设定。
在上述实施例的基础上,本公开实施例可以对基于元数据分析结果对源数据库中的数据进行备份和/或恢复具体可以包括下述步骤:
a4)获取用户选择的待处理元数据及历史版本信息。
b4)基于设定处理策略和历史版本信息对待处理元数据的实体数据进行备份和/或恢复。
在本实施例中,历史版本信息可以是元数据所根据上述元数据分析结果对应的备份数据。设定策略可以包括:处理或者不处理具有血缘关系的数据、处理或者不处理差异度大于第三设定阈值的数据以及处理或者不处理关联的数据,根据具体要求进行设定。获取用户选择的待处理的元数据及历史版本信息,根据设定的处理策略和历史版本信息对待处理元数据的实体数据进行恢复数据。
本公开实施例提供了一种基于元数据的数据处理方法,该方法包括:采集源数据库的元数据;对元数据进行分析,获得元数据分析结果;其中,元数据分析结果包括如下至少一项:血缘信息、冷热度信息、历史版本信息、实体差异信息及实体关联信息;基于元数据分析结果对源数据库中的数据进行备份和/或恢复。利用该方法,通过可以基于元数据的血缘关系、历史版本、冷热度、实体关联、实体差异等分析信息,提供了更多的参考数据来帮助选择要备份恢复的数据。
实施例二
图5为本发明实施例还提供了一种基于元数据的数据处理结构示意图,如图5示,装置包括:元数据采集模块210、元数据分析模块220以及数据备份恢复模块230。
元数据采集模块210,用于采集源数据库的元数据;
元数据分析模块220,用于对所述元数据进行分析,获得元数据分析结果;其中,所述元数据分析结果包括如下至少一项:血缘信息、冷热度信息、历史版本信息、实体差异信息及实体关联信息;
数据备份恢复模块230,用于基于所述元数据分析结果对所述源数据库中的数据进行备份和/或恢复。
本公开实施例所提供的技术方案,利用该方法,可以提高服务治理的准确率,提升服务定义、开发测试的时效性,实现用户在线一体化服务治理。
进一步地,元数据分析模块220可以用于:
从所述元数据的实体数据出发回溯所述实体数据对应的至少一个数据操作;
获取所述至少一个数据操作对应的元数据,获得所述元数据对应的血缘信息。
进一步地,元数据分析模块220可以用于:
所述冷热度信息表征所述元数据的实体数据被访问的频次;所述历史版本信息表征所述实体数据的历史版本信息;所述实体关联信息表征与所述实体数据具有关联关系的实体数据的元数据。
进一步地,元数据分析模块220还可以用于:
对于每个元数据,获取与所述元数据相似度大于第一设定阈值的元数据,作为相似元数据;
确定所述元数据的实体数据与所述相似元数据的实体数据间的差异度,将所述差异度作为所述元数据的实体差异信息。
进一步地,数据备份恢复模块230可以用于:
根据冷热度信息提取冷热度超过第二设定阈值的元数据,作为第一目标元数据;
根据所述血缘信息获取与所述第一目标元数据具有血缘关系的元数据,作为第二目标元数据;
根据所述实体差异信息获取与所述第一目标元数据的差异度大于第三设定阈值的元数据,作为第三目标元数据;
根据所述实体关联信息获取与所述第一目标元数据关联的元数据,作为第四目标元数据;
对所述第一目标元数据的实体数据、所述第二目标元数据的实体数据、所述第三目标元数据的实体数据及所述第四目标元数据的实体数据进行备份和/或恢复。
进一步地,数据备份恢复模块230还可以用于:
获取用户选择的待处理元数据及历史版本信息;
基于设定处理策略和所述历史版本信息对所述待处理元数据的实体数据进行备份和/或恢复。
进一步地,还可以包括展示模块,可以用于:
在获得元数据分析结果之后,展示所述元数据分析结果。
上述装置可执行本发明前述所有实施例所提供的方法,具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明前述所有实施例所提供的方法。
实施例三
图6出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图6,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如基于元数据的数据处理方法。
在一些实施例中,基于元数据的数据处理方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的基于元数据的数据处理方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行基于元数据的数据处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种基于元数据的数据处理方法,其特征在于,包括:
采集源数据库的元数据;
对所述元数据进行分析,获得元数据分析结果;其中,所述元数据分析结果包括如下至少一项:血缘信息、冷热度信息、历史版本信息、实体差异信息及实体关联信息;
基于所述元数据分析结果对所述源数据库中的数据进行备份和/或恢复。
2.根据权利要求1所述的方法,其特征在于,所述血缘信息为与所述元数据的实体数据具有血缘关系的元数据;对所述元数据进行分析,获得血缘信息,包括:
从所述元数据的实体数据出发回溯所述实体数据对应的至少一个数据操作;
获取所述至少一个数据操作对应的元数据,获得所述元数据对应的血缘信息。
3.根据权利要求1所述的方法,其特征在于,所述冷热度信息表征所述元数据的实体数据被访问的频次;所述历史版本信息表征所述实体数据的历史版本信息;所述实体关联信息表征与所述实体数据具有关联关系的实体数据的元数据。
4.根据权利要求1所述的方法,其特征在于,对所述元数据进行分析,获得实体差异信息,包括:
对于每个元数据,获取与所述元数据相似度大于第一设定阈值的元数据,作为相似元数据;
确定所述元数据的实体数据与所述相似元数据的实体数据间的差异度,将所述差异度作为所述元数据的实体差异信息。
5.根据权利要求1所述的方法,其特征在于,基于所述元数据分析结果对所述源数据库中的数据进行备份和/或恢复,包括:
根据冷热度信息提取冷热度超过第二设定阈值的元数据,作为第一目标元数据;
根据所述血缘信息获取与所述第一目标元数据具有血缘关系的元数据,作为第二目标元数据;
根据所述实体差异信息获取与所述第一目标元数据的差异度大于第三设定阈值的元数据,作为第三目标元数据;
根据所述实体关联信息获取与所述第一目标元数据关联的元数据,作为第四目标元数据;
对所述第一目标元数据的实体数据、所述第二目标元数据的实体数据、所述第三目标元数据的实体数据及所述第四目标元数据的实体数据进行备份和/或恢复。
6.根据权利要求1所述的方法,其特征在于,基于所述元数据分析结果对所述源数据库中的数据进行备份和/或恢复,包括:
获取用户选择的待处理元数据及历史版本信息;
基于设定处理策略和所述历史版本信息对所述待处理元数据的实体数据进行备份和/或恢复。
7.根据权利要求1所述的方法,其特征在于,在获得元数据分析结果之后,还包括:展示所述元数据分析结果。
8.一种基于元数据的数据处理装置,其特征在于,包括:
元数据采集模块,用于采集源数据库的元数据;
元数据分析模块,用于对所述元数据进行分析,获得元数据分析结果;其中,所述元数据分析结果包括如下至少一项:血缘信息、冷热度信息、历史版本信息、实体差异信息及实体关联信息;
数据备份恢复模块,用于基于所述元数据分析结果对所述源数据库中的数据进行备份和/或恢复。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的基于元数据的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的基于元数据的数据方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211504018.6A CN115756967A (zh) | 2022-11-28 | 2022-11-28 | 基于元数据的数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211504018.6A CN115756967A (zh) | 2022-11-28 | 2022-11-28 | 基于元数据的数据处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115756967A true CN115756967A (zh) | 2023-03-07 |
Family
ID=85339583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211504018.6A Pending CN115756967A (zh) | 2022-11-28 | 2022-11-28 | 基于元数据的数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115756967A (zh) |
-
2022
- 2022-11-28 CN CN202211504018.6A patent/CN115756967A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10438295B2 (en) | Method and system for E-commerce transaction data accounting | |
US10417265B2 (en) | High performance parallel indexing for forensics and electronic discovery | |
US9218396B2 (en) | Insight determination and explanation in multi-dimensional data sets | |
US8725762B2 (en) | Preventing leakage of information over a network | |
CN110990445B (zh) | 一种数据处理方法、装置、设备和介质 | |
CN111125266A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN109871368A (zh) | 数据库检测方法、装置、计算机装置及存储介质 | |
US9672215B2 (en) | Database storage reclaiming program | |
CN115640300A (zh) | 一种大数据管理方法、系统、电子设备和存储介质 | |
CN111221890A (zh) | 通用指标类自动监控预警方法及装置 | |
CN111367813B (zh) | 决策引擎自动化测试方法、装置、服务器及存储介质 | |
CN116471174B (zh) | 一种日志数据监测系统、方法、装置和存储介质 | |
US20160179827A1 (en) | Isolation anomaly quantification through heuristical pattern detection | |
CN110097113B (zh) | 一种监控展示信息投放系统工作状态的方法、装置及系统 | |
CN115315694A (zh) | 使用过滤查询从基于云的数据仓库高速缓存加载仪表板 | |
CN107894942B (zh) | 数据表访问量的监控方法和装置 | |
Procopio et al. | Load-n-go: Fast approximate join visualizations that improve over time | |
CN115756967A (zh) | 基于元数据的数据处理方法、装置、设备及存储介质 | |
CN112887426B (zh) | 信息流的推送方法、装置、电子设备以及存储介质 | |
CN114896418A (zh) | 知识图谱构建方法、装置、电子设备及存储介质 | |
CN116628042A (zh) | 数据处理方法、装置、设备及介质 | |
CN112527622A (zh) | 一种性能测试结果分析方法和装置 | |
US9852142B2 (en) | Method for EN passant workload shift detection | |
CN115712645A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN116150031A (zh) | 一种程序性能测试预警方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |