CN112395340A - 一种数据资产管理方法及装置 - Google Patents

一种数据资产管理方法及装置 Download PDF

Info

Publication number
CN112395340A
CN112395340A CN202011279767.4A CN202011279767A CN112395340A CN 112395340 A CN112395340 A CN 112395340A CN 202011279767 A CN202011279767 A CN 202011279767A CN 112395340 A CN112395340 A CN 112395340A
Authority
CN
China
Prior art keywords
metadata
data
database
asset management
management system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011279767.4A
Other languages
English (en)
Other versions
CN112395340B (zh
Inventor
段雅鑫
孙镜涛
王中伟
陈维强
孙永良
于涛
王玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense TransTech Co Ltd
Original Assignee
Hisense TransTech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense TransTech Co Ltd filed Critical Hisense TransTech Co Ltd
Priority to CN202011279767.4A priority Critical patent/CN112395340B/zh
Publication of CN112395340A publication Critical patent/CN112395340A/zh
Application granted granted Critical
Publication of CN112395340B publication Critical patent/CN112395340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating

Abstract

本发明实施例提供一种数据资产管理方法及装置,适用于对至少一个数据库进行管理的数据资产管理系统,数据资产管理系统中包括统一接口和至少一个插件,数据库与插件一一对应,至少一个插件通过统一接口分别与对应的数据库连接;数据资产管理系统接收检索信息;数据资产管理系统根据检索信息从数据资源池中确定第一元数据和第一连接信息;数据资产管理系统根据第一连接信息调用第一数据库对应的第一插件;数据资产管理系统通过第一插件调用统一接口,并根据第一连接信息与第一数据库建立连接;数据资产管理系统获取第一数据库中第一数据。通过以上方法实现多源数据接入与管理,简化多源数据管理流程。

Description

一种数据资产管理方法及装置
技术领域
本申请涉及网络技术领域,尤其涉及一种数据资产管理方法及装置。
背景技术
随着互联网的迅速发展,数据量呈现爆发式增长,越来越多的人意识到数据的重要性,因而用于提供数据全域服务的数据中台应运而生。数据中台的核心是数据应用的流程机制以及可持续的数据运营。
数据应用的流程机制指构建企业数据资产的流水线,挖掘数据资产的价值,形成从汇聚、开发、管理、到资产服务的一整套数据使用机制,其核心内容是数据资产体系。持续的数据运营是指通过不断的运营数据资产,加强企业数据文化建设。也就是说,数据中台的本质就是服务共享,目标是支持应用的快速创新或试错,而实现的手段是通过微服务架构、敏捷基础设施和公共基础服务进行数据运营。例如,在数据开发中,企业的核心数据模型的变化是相对缓慢的,同时,对数据进行维护的工作量也非常大;但企业的业务应用创新的速度、对数据提出需求的变化,是非常快速的。因此,通过数据中台的数据运营,可以为应用开发提供需要的核心数据,弥补数据开发和应用开发之间,由于开发速度不匹配,出现的响应力跟不上的问题。其中,由于数据中台需要对接不同的数据库,因而为了获得不同数据库中的数据资产,需要制定各类数据库的获取方式,导致数据获取的工作复杂,以及不同数据源对应的数据不能很好的进行管理。
因此,现在亟需一种数据资产管理方法及装置,实现多源数据接入与管理,简化多源数据管理流程。
发明内容
本发明实施例提供一种数据资产管理方法及装置,实现多源数据接入与管理,简化多源数据管理流程。
第一方面,本发明实施例提供一种数据资产管理方法,适用于对至少一个数据库进行管理的数据资产管理系统,所述数据资产管理系统中包括统一接口和至少一个插件,所述数据库与所述插件一一对应,所述至少一个插件通过所述统一接口分别与对应的数据库连接;该方法包括:所述数据资产管理系统接收检索信息;所述数据资产管理系统根据所述检索信息从数据资源池中确定第一元数据和第一连接信息;所述数据资源池中存储有各数据库的元数据及各数据库的连接信息;所述第一连接信息为第一数据库的连接信息,所述第一元数据为所述第一数据库中第一数据的描述信息;所述数据资产管理系统根据所述第一连接信息调用所述第一数据库对应的第一插件;所述数据资产管理系统通过所述第一插件调用所述统一接口,并根据所述第一连接信息与所述第一数据库建立连接;所述数据资产管理系统获取所述第一数据库中所述第一数据。
上述方法中,数据资产管理系统管理通过统一接口和至少一个插件,管理和\或连接至少一个数据库。当数据资产管理系统接收检索信息时,根据检索信息确定对应的第一元数据ID,根据第一元数据ID在数据资源池中获取对应的第一元数据和第一连接信息。之后,根据第一连接信息确定第一数据库对应的第一插件,通过第一连接信息和统一接口与第一数据库建立连接,获取第一元数据的具体数据。实现用户端可以获取多个数据库的元数据信息和具体数据,实现数据库的多源接入与管理,简化多源数据管理流程,节约网络资源。
可选的,还包括:所述数据资产管理系统接收资产视图创建指令;所述数据资产管理系统确定所述资产视图创建指令对应的资产目录,并将从所述数据资源池获取的元数据信息加载至对应的资产目录下,从而完成资产视图的创建,所述元数据信息包含各元数据的唯一标识。
上述方法中,数据资产管理系统可以根据各数据库的元数据信息或者数据资产管理系统中预设的程序,生成各数据库的资产目录(可以分别为各数据库生成对应的资产目录,还可以为各数据库生成总的资产目录),当数据资产管理系统接收到资产视图创建指令后,并将从数据资源池获取的元数据信息加载至对应的资产目录下。如此,可以便于用户直观获取各数据库中的数据类型等信息。
可选的,还包括:所述数据资产管理系统检测各数据库中的各元数据;所述数据资产管理系统确定第一数据库的第一元数据发生变更后,更新所述数据资源池中记录的所述第一元数据。
上述方法中,数据资产管理系统检测第一数据库的第一元数据发生变更后,获取变更的第一元数据相关信息,并更新数据资源池中记录的第一元数据。保证第一元数据的准确性。
可选的,所述数据资产管理系统更新所述数据资源池中记录的所述第一元数据之后,还包括:所述数据资产管理系统更新所述数据资源池中所述第一元数据的元数据状态,所述元数据状态包括:新增元数据、有效元数据、无效元数据;所述数据资产管理系统根据所述第一元数据的元数据状态,更新所述第一元数据所在的资产视图。
上述方法中,数据资产管理系统更新第一元数据之后,还更新数据资源池和资产视图中的第一元数据的元数据状态。使用户可以获知当前第一元数据的状态,提高第一元数据的可用性。
可选的,还包括:所述数据资产管理系统确定所述第一数据库的第一元数据发生变更后,通过消息中间件更新关联系统中记录的所述第一元数据,所述关联系统中包含所述第一元数据。
上述方法中,数据资产管理系统通过消息中间件将第一元数据发生变更结果发送至关联系统。以使关联系统同步更新第一元数据,保证第一元数据的准确性。
可选的,还包括:所述数据资产管理系统接收新增数据库的第二插件,并对所述第二插件进行合法性校验;所述数据资产管理系统在校验通过后,确定第二连接信息,并通过所述第二插件和所述第二连接信息与所述新增数据库连接;所述数据资产管理系统获取所述新增数据库的第二元数据,并将所述第二元数据和所述第二连接信息存储至所述数据资源池,所述第二元数据为所述新增数据库中第二数据的描述信息。
上述方法中,数据资产管理系统可以接收第二插件,并在验证通过后运行第二插件。以此,接入第二插件对应的新增数据库。实现数据资产管理系统中增加数据源(数据库)的灵活性。将所述第二元数据和第二连接信息存储至数据资源池。可以在资产视图加载该新增数据库的元数据信息至对应的资产目录下后,用户直观获取新增数据库中的数据类型等信息。
可选的,还包括:所述数据资产管理系统根据设定的元数据统计任务,执行各统计任务。
上述方法中,数据资产管理系统根据设定的元数据统计任务,执行各统计任务,以提高用户端获取的数据量统计信息的准确性。
第二方面,本发明实施例提供一种数据资产管理装置,适用于对至少一个数据库进行管理的数据资产管理系统,所述数据资产管理系统中包括统一接口和至少一个插件,所述数据库与所述插件一一对应,所述至少一个插件通过所述统一接口分别与对应的数据库连接;该装置包括:
收发模块,用于接收检索信息;
确定模块,用于根据所述检索信息从数据资源池中确定第一元数据和第一连接信息;所述数据资源池中存储有各数据库的元数据及各数据库的连接信息;所述第一连接信息为第一数据库的连接信息,所述第一元数据为所述第一数据库中第一数据的描述信息;
处理模块,用于根据所述第一连接信息调用所述第一数据库对应的第一插件;
所述处理模块还用于,通过所述第一插件调用所述统一接口,并根据所述第一连接信息与所述第一数据库建立连接;
所述处理模块还用于,获取所述第一数据库中所述第一数据。
第三方面,本申请实施例还提供一种计算设备,包括:存储器,用于存储程序;处理器,用于调用所述存储器中存储的程序,按照获得的程序执行如第一方面的各种可能的设计中所述的方法。
第四方面,本申请实施例还提供一种计算机可读非易失性存储介质,包括计算机可读程序,当计算机读取并执行所述计算机可读程序时,使得计算机执行如第一方面的各种可能的设计中所述的方法。
本申请的这些实现方式或其他实现方式在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据资产管理的架构示意图;
图2为本发明实施例提供的一种数据资产管理方法的流程示意图;
图3为本发明实施例提供的一种数据资产管理方法的流程示意图;
图4为本发明实施例提供的一种数据资产管理方法的流程示意图;
图5为本发明实施例提供的一种数据资产管理装置示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种数据资产管理的系统架构;其中,至少一个数据库101中可以包含多个数据库,如,关系型数据库(如,Oracle、MySQL、PostgreSQL等)、大数据相关数据库(如Hbase、Hive、Kafka等)、图数据库(如Neo4J)以及索引数据库(如ElasticSearch)等。相应的数据资产管理系统103中可以包含至少一个插件105,如,关系型数据库插件、大数据相关数据库插件、图数据库插件、索引数据库插件;各插件中分别封装了对应的数据库的数据源配置方法等。例如,关系型数据库插件中封装了关系型数据库的数据源配置方法,也即,数据库与插件为一一对应的关系。假设大数据相关数据库102为第一数据库102,大数据相关数据库插件106为第一插件106;当数据资产管理系统103接收到检索信息后,根据检索信息获取数据资源池107中的第一元数据和第一连接信息,数据资产管理系统103根据第一连接信息确定第一数据库102,通过第一插件106调用统一接口104与第一数据库102建立连接,数据资产管理系统103获取第一数据库102中的第一数据。其中,检测模块108周期性的从数据资源池107中获取至少一个数据库101中各数据库的连接信息,根据各数据库的连接信息获取各数据库中的各元数据,获取元数据变更信息,并根据元数据变更信息更新数据资源池107中对应的元数据;还将元数据的变更信息发送至关联系统110,以使关联系统110根据元数据变更信更新本地的元数据。统计模块109根据设定的元数据统计任务,执行各统计任务,也即,周期性的从数据资源池107中获取至少一个数据库101中各数据库的连接信息,根据各数据库的连接信息获取各数据库中的各统计任务对应的数据量信息并记录。
基于此,本申请实施例提供了一种数据资产管理方法的流程,如图2所示,包括:
步骤201、所述数据资产管理系统接收检索信息;
此处,检索信息中可以包括检索的第一元数据的第一元数据ID、获取第一数据的相关参数和语句等。
步骤202、所述数据资产管理系统根据所述检索信息从数据资源池中确定第一元数据和第一连接信息;所述数据资源池中存储有各数据库的元数据及各数据库的连接信息;所述第一连接信息为第一数据库的连接信息,所述第一元数据为所述第一数据库中第一数据的描述信息;
此处,第一连接信息中可以包括第一数据库的端口号、IP等信息。
步骤203、所述数据资产管理系统根据所述第一连接信息调用所述第一数据库对应的第一插件;
此处,第一插件封装了第一数据库的配置方法,例如,若第一数据库为HIVE数据库,则通过在插件中封装统一的SQL编辑框,用户可以手动编写SQL脚本实现数据的查询。
步骤204、所述数据资产管理系统通过所述第一插件调用所述统一接口,并根据所述第一连接信息与所述第一数据库建立连接;
步骤205、所述数据资产管理系统获取所述第一数据库中所述第一数据。
上述方法中,数据资产管理系统管理通过统一接口和至少一个插件,管理和\或连接至少一个数据库。当数据资产管理系统接收检索信息时,根据检索信息确定对应的第一元数据ID,根据第一元数据ID在数据资源池中获取对应的第一元数据和第一连接信息。之后,根据第一连接信息确定第一数据库对应的第一插件,通过第一连接信息和统一接口与第一数据库建立连接,获取第一元数据的具体数据。实现用户端可以获取多个数据库的元数据信息和具体数据,实现数据库的多源接入与管理,简化多源数据管理流程,节约网络资源。
本申请实施例还提供了一种资产视图创建方法,包括:所述数据资产管理系统接收资产视图创建指令;所述数据资产管理系统确定所述资产视图创建指令对应的资产目录,并将从所述数据资源池获取的元数据信息加载至对应的资产目录下,从而完成资产视图的创建,所述元数据信息包含各元数据的唯一标识。也就是说,预先在数据资产管理系统中设置资产目录;或者数据资产管理系统预先设定的程序,根据元数据中的数据种类、数据性质、数据对应的业务等信息生成资产目录。当数据资产管理系统接收到资产视图创建指令后,将数据资源池中的各元数据的状态和唯一标识等元数据信息加载到对应的资产目录下,完成资产视图的创建。如此,用户可以通过资产视图获取各数据库中包含的数据类型、数据性质等信息,获取数据库中可使用的数据。其中,资产目录可以以目录树的形式展示,数据资源池中的元数据可以包括:可以通过统一接口与数据资产管理系统建立连接的数据库的元数据,以及通过统一接口与数据资产管理系统无法建立连接的数据库的元数据。该无法建立连接的数据库的元数据可以通过上传、输入等方式获取。相应的,资产视图中可以包括两部分视图,一部分为该可建立连接的数据库的资产视图,另一部分为该无法建立连接的数据库的资产视图。资产视图中的这两部分视图可以通过视图颜色等方式表征,以使用户可以获知那些元数据为可直接通过数据资产管理系统从数据库中获取真实具体数据的,那些元数据为不可直接通过数据资产管理系统从数据库中获取真实具体数据的。
基于上述流程,本申请实施例提供了一种数据资产管理方法的流程,如图3所示,包括:
步骤301、数据资产管理系统接收资产视图创建指令。
步骤302、数据资产管理系统确定资产视图创建指令对应的资产目录,并将从数据资源池获取的元数据信息加载至对应的资产目录下,完成资产视图的创建。
步骤303、数据资产管理系统接收展示资产视图指令,展示资产视图。
步骤304、数据资产管理系统接收查看第一元数据指令,根据资产视图中的第一元数据的唯一标识等信息从数据资源池中获取第一元数据。
步骤305、数据资产管理系统接收检索信息。
步骤306、数据资产管理系统根据检索信息从数据资源池中确定第一元数据和第一连接信息。
步骤307、数据资产管理系统根据第一连接信息确定第一数据库,进一步调用第一数据库对应的第一插件。
步骤308、数据资产管理系统通过第一插件调用统一接口,并根据第一连接信息与第一数据库建立连接。
步骤309、数据资产管理系统获取第一数据库中第一数据。
这里需要说明的是,上述流程步骤并不唯一,数据资产管理系统可以通过步骤303、步骤304生成检索信息,也可以不执行步骤303、步骤304,直接获取检索信息。例如,若数据资产管理系统提供两个检索界面:元数据检索界面、资产视图检索界面;则当用户打开元数据检索界面,可以通过选择或输入相应的语句、参数、元数据的唯一标识等信息生成检索信息,即,不执行步骤303、步骤304;当用户打开资产视图检索界面时,可以通过操作资产视图生成检索信息,即,执行步骤303、步骤304。其中,通过步骤303、步骤304操作资产视图生成检索信息的流程步骤只是一种示例,具体不做限定。另外,步骤301、步骤302可以在资产视图创建时执行一次,后续可以不执行。
本申请实施例还提供了一种元数据更新方法,包括:所述数据资产管理系统检测各数据库中的各元数据;所述数据资产管理系统确定第一数据库的第一元数据发生变更后,更新所述数据资源池中记录的所述第一元数据。也就是说,数据管理系统中可以存在检测模块(如图1中的架构所示的检测模块108),检测模块中可以设置检测参数,如,检测周期、检测的元数据,检测的数据库等。数据资产管理系统中的检测模块周期性的获取元数据的变更信息,以更新数据资源池中的元数据,保证数据资源池中的元数据的准确性。这里,第一元数据的变更信息可以包括删除一个字段、修改一个字段或删除第一元数据等,数据资产管理系统检测的可以是各数据库的全量元数据,也可以是部分元数据,相应的,更新数据资源池中的元数据也可以是更新全量元数据或部分元数据,具体可以根据元数据对应的真实具体数据的重要性、变化性等设置检测参数。例如,有些数据平均变化速度为一年一次,有些数据平均变化速度为一天一次,则可以分别设置相应的检测周期。上述检测参数只是一种示例,可根据具体需求设置,具体不做限定。
本申请实施例提供了一种资产视图更新方法,所述数据资产管理系统更新所述数据资源池中记录的所述第一元数据之后,还包括:所述数据资产管理系统更新所述数据资源池中所述第一元数据的元数据状态,所述元数据状态包括:新增元数据、有效元数据、无效元数据;所述数据资产管理系统根据所述第一元数据的元数据状态,更新所述第一元数据所在的资产视图。也就是说,更新数据资源池中记录的第一元数据之后,还包括更新数据资源池中第一元数据的元数据状态。例如,数据资源池中的第一元数据具有时效性,若第一元数据超过预设的时间没有被检测模块检测和\或更新,则数据资产管理系统将该第一元数据状态的有效元数据修改为无效元数据,在检测模块对该第一元数据检测和\或更新后,将该第一元数据的无效元数据状态修改为有效元数据状态。若第一元数据是新增元数据,则自第一元数据新增时刻起,确定该第一元数据为新增元数据状态,直至超过预设时间后,删除该第一元数据的新增元数据状态。在此过程中,若资产视图中的元数据信息中包含元数据状态,则每当第一元数据的状态发生改变,资产视图中的第一元数据的元数据信息相应更新。资产视图中包含元数据状态,可以使用户直观获取当前元数据的状态,便于用户判断元数据的可用性。
本申请实施例还提供了一种关联系统元数据更新方法,包括:所述数据资产管理系统确定所述第一数据库的第一元数据发生变更后,通过消息中间件更新关联系统中记录的所述第一元数据,所述关联系统中包含所述第一元数据。也就是说,关联系统中也包含第一元数据,则数据资产管理系统确定第一数据库的第一元数据发生变更后,通过消息中间件更新关联系统中记录的第一元数据。例如,当关联系统为共享系统,为企业的相关发展部门提供第一元数据,发展部门用户可以通过共享系统中的第一元数据获取第一数据库中的第一数据。
基于上述方法,本申请实施例提供了一种数据资产管理方法的流程,如图4所示,包括:
步骤401、数据资产管理系统根据数据资源池中的第一连接信息获取第一数据库中的第一元数据。
步骤402、数据资产管理系统根据获取的第一数据库中的第一元数据,和数据资源池中的第一元数据,确定第一元数据的变更信息。
步骤403、数据资产管理系统根据第一元数据的变更信息更新数据资源池中的第一元数据。
步骤404、数据资产管理系统更新数据资源池中该第一元数据的状态为有效元数据。
步骤405、数据资产管理系统根据第一元数据的状态更新资产视图。
步骤406、数据资产管理系统将第一元数据的变更信息通过消息中间件发送至关联系统,以使关联系统同步更新。
这里本申请实施例还提供了一种数据统计方法,包括:所述数据资产管理系统根据设定的元数据统计任务,执行各统计任务。也就是说,数据资产管理系统中还可以包含统计模块(如图1所示的统计模块109),统计模块中包含设定的元数据统计任务,例如,设定统计元数据对应的数据库的数据量、统计周期等,根据执行各统计任务的结果,生成统计记录并存储在统计模块中。可以通过调用统计记录获取各数据库中的数据量变化信息等,便于观察分析数据库的数据量变化,还可以将各元数据对应的统计记录作为元数据信息加载至资产视图,后续数据资产管理系统根据生成的统计记录更新资产视图,增加数据库的数据量的直观性。
本申请实施例还提供了一种接入数据库方法,包括:所述数据资产管理系统接收新增数据库的第二插件,并对所述第二插件进行合法性校验;所述数据资产管理系统在校验通过后,确定第二连接信息,并通过所述第二插件和所述第二连接信息与所述新增数据库连接;所述数据资产管理系统获取所述新增数据库的第二元数据,并将所述第二元数据和所述第二连接信息存储至所述数据资源池,所述第二元数据为所述新增数据库中第二数据的描述信息。也就是说,数据资产管理系统接入新增数据时,在数据资产管理系统中加载第二插件,并对第二插件的合法性进行校验,校验通过后,获取该新增数据库的第二连接信息并与该新增数据库建立连接,获取该新增数据库的第二元数据,将第二连接信息和第二元数据存储在数据资源池,以便后续对新增数据库的数据资产进行管理。
这里数据资产管理系统中可以采用一种基于OSGI规范的微服务动态扩展的通用插件框架设计方法。使用该方法可以将不同数据库的数据源配置封装为不同的插件,各插件间互不影响,可根据具体业务需要动态控制启用或停用某一数据库插件。该插件框架中可以包括:插件配置器,以及插件框架核心。插件配置器,用于配置插件运行环境和插件路径。插件框架核心,用于根据插件运行环境和插件路径,确定并存储插件中用于实现各类业务功能的功能组件,且与微服务业务系统建立关联关系,以使微服务业务系统在存储的功能组件中调用用于实现需要扩展的业务功能的功能组件。该插件框架核心主要包括有:应用上下文、插件工厂、插件功能组件管理器、插件控制器以及插件监听器。其中,应用上下文,用于存储插件中用于实现各类业务功能的功能组件,以及微服务业务系统自身业务的功能组件,且应用上下文主要用于插件与微服务业务系统建立关联关系。因此微服务业务系统在确定需要进行功能扩展时,调用插件接口,从插件框架核心的应用上下文中调用用于实现需要扩展的业务功能的功能组件。插件工厂,用于根据插件配置器配置的插件运行环境和插件路径,加载和解析插件。
基于同样的构思,本发明实施例提供一种数据资产管理装置,适用于对至少一个数据库进行管理的数据资产管理系统,所述数据资产管理系统中包括统一接口和至少一个插件,所述数据库与所述插件一一对应,所述至少一个插件通过所述统一接口分别与对应的数据库连接;图5为本申请实施例提供的一种数据资产管理装置示意图,如图5示,包括:
收发模块501,用于接收检索信息;
确定模块502,用于根据所述检索信息从数据资源池中确定第一元数据和第一连接信息;所述数据资源池中存储有各数据库的元数据及各数据库的连接信息;所述第一连接信息为第一数据库的连接信息,所述第一元数据为所述第一数据库中第一数据的描述信息;
处理模块503,用于根据所述第一连接信息调用所述第一数据库对应的第一插件;
所述处理模块503还用于,通过所述第一插件调用所述统一接口,并根据所述第一连接信息与所述第一数据库建立连接;
所述处理模块503还用于,获取所述第一数据库中所述第一数据。
可选的,所述收发模块501还用于,接收资产视图创建指令;
所述确定模块502还用于,确定所述资产视图创建指令对应的资产目录,并将从所述数据资源池获取的元数据信息加载至对应的资产目录下,从而完成资产视图的创建,所述元数据信息包含各元数据的唯一标识。
可选的,所述处理模块503还用于,检测各数据库中的各元数据;所述确定模块502还用于,确定第一数据库的第一元数据发生变更后,更新所述数据资源池中记录的所述第一元数据。
可选的,所述处理模块503还用于,更新所述数据资源池中所述第一元数据的元数据状态,所述元数据状态包括:新增元数据、有效元数据、无效元数据;所述处理模块503还用于,根据所述第一元数据的元数据状态,更新所述第一元数据所在的资产视图。
可选的,所述确定模块502还用于,确定所述第一数据库的第一元数据发生变更后,通过消息中间件更新关联系统中记录的所述第一元数据,所述关联系统中包含所述第一元数据。
可选的,所述收发模块501还用于,接收新增数据库的第二插件,并对所述第二插件进行合法性校验;所述确定模块502还用于,在校验通过后,确定第二连接信息,并通过所述第二插件和所述第二连接信息与所述新增数据库连接;所述处理模块503还用于,获取所述新增数据库的第二元数据,并将所述第二元数据和所述第二连接信息存储至所述数据资源池,所述第二元数据为所述新增数据库中第二数据的描述信息。
可选的,所述处理模块503还用于,根据设定的元数据统计任务,执行各统计任务。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种数据资产管理方法,其特征在于,适用于对至少一个数据库进行管理的数据资产管理系统,所述数据资产管理系统中包括统一接口和至少一个插件,所述数据库与所述插件一一对应,所述至少一个插件通过所述统一接口分别与对应的数据库连接;所述方法包括:
所述数据资产管理系统接收检索信息;
所述数据资产管理系统根据所述检索信息从数据资源池中确定第一元数据和第一连接信息;所述数据资源池中存储有各数据库的元数据及各数据库的连接信息;所述第一连接信息为第一数据库的连接信息,所述第一元数据为所述第一数据库中第一数据的描述信息;
所述数据资产管理系统根据所述第一连接信息调用所述第一数据库对应的第一插件;
所述数据资产管理系统通过所述第一插件调用所述统一接口,并根据所述第一连接信息与所述第一数据库建立连接;
所述数据资产管理系统获取所述第一数据库中所述第一数据。
2.如权利要求1中所述的方法,其特征在于,还包括:
所述数据资产管理系统接收资产视图创建指令;
所述数据资产管理系统确定所述资产视图创建指令对应的资产目录,并将从所述数据资源池获取的元数据信息加载至对应的资产目录下,从而完成资产视图的创建,所述元数据信息包含各元数据的唯一标识。
3.如权利要求1中所述的方法,其特征在于,还包括:
所述数据资产管理系统检测各数据库中的各元数据;
所述数据资产管理系统确定第一数据库的第一元数据发生变更后,更新所述数据资源池中记录的所述第一元数据。
4.如权利要求3中所述的方法,其特征在于,所述数据资产管理系统更新所述数据资源池中记录的所述第一元数据之后,还包括:
所述数据资产管理系统更新所述数据资源池中所述第一元数据的元数据状态,所述元数据状态包括:新增元数据、有效元数据、无效元数据;
所述数据资产管理系统根据所述第一元数据的元数据状态,更新所述第一元数据所在的资产视图。
5.如权利要求3中所述的方法,其特征在于,还包括:
所述数据资产管理系统确定所述第一数据库的第一元数据发生变更后,通过消息中间件更新关联系统中记录的所述第一元数据,所述关联系统中包含所述第一元数据。
6.如权利要求1至5任一项中所述的方法,其特征在于,还包括:
所述数据资产管理系统接收新增数据库的第二插件,并对所述第二插件进行合法性校验;
所述数据资产管理系统在校验通过后,确定第二连接信息,并通过所述第二插件和所述第二连接信息与所述新增数据库连接;
所述数据资产管理系统获取所述新增数据库的第二元数据,并将所述第二元数据和所述第二连接信息存储至所述数据资源池,所述第二元数据为所述新增数据库中第二数据的描述信息。
7.如权利要求1至5任一项中所述的方法,其特征在于,还包括:
所述数据资产管理系统根据设定的元数据统计任务,执行各统计任务。
8.一种数据资产管理装置,其特征在于,适用于对至少一个数据库进行管理的数据资产管理系统,所述数据资产管理系统中包括统一接口和至少一个插件,所述数据库与所述插件一一对应,所述至少一个插件通过所述统一接口分别与对应的数据库连接;所述装置包括:
收发模块,用于接收检索信息;
确定模块,用于根据所述检索信息从数据资源池中确定第一元数据和第一连接信息;所述数据资源池中存储有各数据库的元数据及各数据库的连接信息;所述第一连接信息为第一数据库的连接信息,所述第一元数据为所述第一数据库中第一数据的描述信息;
处理模块,用于根据所述第一连接信息调用所述第一数据库对应的第一插件;
所述处理模块还用于,通过所述第一插件调用所述统一接口,并根据所述第一连接信息与所述第一数据库建立连接;
所述处理模块还用于,获取所述第一数据库中所述第一数据。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有程序,当所述程序在计算机上运行时,使得计算机实现执行权利要求1至7中任一项所述的方法。
10.一种计算机设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于调用所述存储器中存储的计算机程序,按照获得的程序执行如权利要求1至7任一权利要求所述的方法。
CN202011279767.4A 2020-11-16 2020-11-16 一种数据资产管理方法及装置 Active CN112395340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011279767.4A CN112395340B (zh) 2020-11-16 2020-11-16 一种数据资产管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011279767.4A CN112395340B (zh) 2020-11-16 2020-11-16 一种数据资产管理方法及装置

Publications (2)

Publication Number Publication Date
CN112395340A true CN112395340A (zh) 2021-02-23
CN112395340B CN112395340B (zh) 2023-07-28

Family

ID=74599521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011279767.4A Active CN112395340B (zh) 2020-11-16 2020-11-16 一种数据资产管理方法及装置

Country Status (1)

Country Link
CN (1) CN112395340B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672983A (zh) * 2021-08-25 2021-11-19 山大地纬软件股份有限公司 基于区块链的业务办理数据隐私保护系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203828A (zh) * 2016-07-11 2016-12-07 浪潮软件集团有限公司 一种基于数据全生命周期管理的数据管理平台
CN106202452A (zh) * 2016-07-15 2016-12-07 复旦大学 大数据平台的统一数据资源管理系统与方法
CN107330080A (zh) * 2017-07-03 2017-11-07 北京希嘉创智教育科技有限公司 一种数据处理方法、装置及应用其的计算机设备
US20170351686A1 (en) * 2014-10-03 2017-12-07 Palantir Technologies Inc. Data aggregation and analysis system
CN107590208A (zh) * 2017-08-25 2018-01-16 国网辽宁省电力有限公司 一种插件式的电网数据异构数据库数据接入方法
CN109582722A (zh) * 2018-11-30 2019-04-05 珠海市新德汇信息技术有限公司 公安资源数据服务系统
CN110990726A (zh) * 2019-10-30 2020-04-10 武汉大学 时空大数据智能服务系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170351686A1 (en) * 2014-10-03 2017-12-07 Palantir Technologies Inc. Data aggregation and analysis system
CN106203828A (zh) * 2016-07-11 2016-12-07 浪潮软件集团有限公司 一种基于数据全生命周期管理的数据管理平台
CN106202452A (zh) * 2016-07-15 2016-12-07 复旦大学 大数据平台的统一数据资源管理系统与方法
CN107330080A (zh) * 2017-07-03 2017-11-07 北京希嘉创智教育科技有限公司 一种数据处理方法、装置及应用其的计算机设备
CN107590208A (zh) * 2017-08-25 2018-01-16 国网辽宁省电力有限公司 一种插件式的电网数据异构数据库数据接入方法
CN109582722A (zh) * 2018-11-30 2019-04-05 珠海市新德汇信息技术有限公司 公安资源数据服务系统
CN110990726A (zh) * 2019-10-30 2020-04-10 武汉大学 时空大数据智能服务系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王秋实: "数据资产管理系统之元数据管理的设计与实现", 《计算机产品与流通》 *
王秋实: "数据资产管理系统之元数据管理的设计与实现", 《计算机产品与流通》, no. 08, 31 August 2020 (2020-08-31), pages 58 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672983A (zh) * 2021-08-25 2021-11-19 山大地纬软件股份有限公司 基于区块链的业务办理数据隐私保护系统及方法

Also Published As

Publication number Publication date
CN112395340B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
US10452674B2 (en) Artificial intelligence and robotic process automation for automated data management
WO2022160707A1 (zh) 结合rpa和ai的人机互动方法、装置、存储介质及电子设备
RU2488166C2 (ru) Ориентируемая на обслуживание архитектура, основанная на конвейере
CN109492053B (zh) 用于访问数据的方法和装置
CN104517181B (zh) 一种核电站企业内容管理系统及方法
CN108280137B (zh) 一种基于任务的管网数据的编辑方法和装置
CN108108986B (zh) 一种客户关系管理系统的设计方法、装置及电子设备
CN110737720A (zh) 一种db2数据库数据同步方法、装置、系统
CN111552728B (zh) 区块链的数据处理方法、系统、终端和存储介质
US11675690B2 (en) Lineage-driven source code generation for building, testing, deploying, and maintaining data marts and data pipelines
US20130339488A1 (en) Enterprise services framework for mobile devices
US20160216946A1 (en) Access operation with dynamic linking and access of data within plural data sources
CN110991984A (zh) 基于企业信息化异构系统的数字化经营分析平台及方法
US9141517B2 (en) Public solution model test automation framework
CN112395340B (zh) 一种数据资产管理方法及装置
CN112860948A (zh) 基于多租户SaaS架构的元数据管理方法、系统及电子设备
US9059992B2 (en) Distributed mobile enterprise application platform
CN115730022A (zh) 采用事件触发和流程编排的数据处理构建方法及平台系统
US9053230B2 (en) Framework and repository for analysis of software products
US11687568B2 (en) Data catalog system for generating synthetic datasets
CN115658658A (zh) 一种企业数据中台基于批处理的数据共享方法、装置及存储介质
CN112199426B (zh) 微服务架构下的接口调用管理方法、装置、服务器及介质
US11868349B2 (en) Row secure table plan generation
CN114116679A (zh) 一种多数据库环境运维方法及系统
CN114398152A (zh) 接口仿真服务调用方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant