CN117312597A - 一种数据资产管理方法及装置 - Google Patents
一种数据资产管理方法及装置 Download PDFInfo
- Publication number
- CN117312597A CN117312597A CN202311144412.8A CN202311144412A CN117312597A CN 117312597 A CN117312597 A CN 117312597A CN 202311144412 A CN202311144412 A CN 202311144412A CN 117312597 A CN117312597 A CN 117312597A
- Authority
- CN
- China
- Prior art keywords
- data asset
- map
- information
- data
- asset information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims description 72
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims description 31
- 238000010276 construction Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000032683 aging Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 101100384355 Mus musculus Ctnnbip1 gene Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
Abstract
本说明书一个或多个实施例公开了一种数据资产管理方法及装置。该方法包括:首先根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,该数据资产信息至少包括:数据资产类型以及不同数据资产之间的关联关系;然后基于第一数据资产图谱中包含的连通子图对数据资产信息进行聚类处理,得到多个聚类子图;最后为每个聚类子图生成识别标识,根据每个聚类子图对应的识别标识和数据资产信息中包含的每种数据资产类型重构针对识别标识的第二数据资产图谱,并基于第二数据资产图谱对数据资产信息进行数据资产管理。
Description
技术领域
本文件涉及数据资产管理技术领域,尤其涉及一种数据资产管理方法及装置。
背景技术
在企业安全运营中,数据资产指的是企业在开展业务的过程中涉及的应用程序、接口等在内的互联网技术相关的软硬件产品,以及企业的软件产品。资产身份指的是数据资产的归属方或实际控制方。在企业的安全运营场景中,数据资产身份确认是数据资产管理中的重要内容,传统的数据资产身份确认方法,通常是通过流量分析或主动扫描的方式从网络或物理层发现数据资产的IP(Internet Protocol,网络之间互联的协议)、MAC(Media Access Control或者Medium Access Control,媒体访问控制,或称为物理地址、硬件地址,用于定义网络设备的位置)、设备、域名等配置信息,然后通过这些配置信息确定数据资产的实际控制方,从而对数据资产做出相应处置。
然而,由于数据资产通常不是仅通过单一系统集中管理,而且资产信息孤岛、数据资产生命周期不完善等情况会导致所获取的配置信息不准确,从而为数据资产身份确认造成一定难度,因此,需要提供一种更加有效的数据资产管理方法,从而能够更准确地进行数据资产身份定位。
发明内容
一方面,本说明书一个或多个实施例提供一种数据资产管理方法,包括:根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,所述数据资产信息至少包括:数据资产类型以及不同数据资产之间的关联关系;基于所述第一数据资产图谱中包含的连通子图对所述数据资产信息进行聚类处理,得到多个聚类子图;为每个所述聚类子图生成识别标识,根据每个所述聚类子图对应的识别标识和所述数据资产信息中包含的每种数据资产类型重构针对所述识别标识的第二数据资产图谱,并基于所述第二数据资产图谱对所述数据资产信息进行数据资产管理。
另一方面,本说明书一个或多个实施例提供一种数据资产管理装置,包括:第一数据资产图谱构建模块,根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,所述数据资产信息至少包括:数据资产类型以及不同数据资产之间的关联关系;聚类模块,基于所述第一数据资产图谱中包含的连通子图对所述数据资产信息进行聚类处理,得到多个聚类子图;第二数据资产图谱构建模块,为每个所述聚类子图生成识别标识,根据每个所述聚类子图对应的识别标识和所述数据资产信息中包含的每种数据资产类型重构针对所述识别标识的第二数据资产图谱,并基于所述第二数据资产图谱对所述数据资产信息进行数据资产管理。
再一方面,本说明书一个或多个实施例提供一种电子设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,在所述可执行指令被执行时,能够使得所述处理器:根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,所述数据资产信息至少包括:数据资产类型以及不同数据资产之间的关联关系;基于所述第一数据资产图谱中包含的连通子图对所述数据资产信息进行聚类处理,得到多个聚类子图;为每个所述聚类子图生成识别标识,根据每个所述聚类子图对应的识别标识和所述数据资产信息中包含的每种数据资产类型重构针对所述识别标识的第二数据资产图谱,并基于所述第二数据资产图谱对所述数据资产信息进行数据资产管理,包括:。
再一方面,本说明书一个或多个实施例提供一种存储介质,所述存储介质用于存储计算机可执行指令,所述可执行指令在被处理器执行时实现以下流程:根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,所述数据资产信息至少包括:数据资产类型以及不同数据资产之间的关联关系;基于所述第一数据资产图谱中包含的连通子图对所述数据资产信息进行聚类处理,得到多个聚类子图;为每个所述聚类子图生成识别标识,根据每个所述聚类子图对应的识别标识和所述数据资产信息中包含的每种数据资产类型重构针对所述识别标识的第二数据资产图谱,并基于所述第二数据资产图谱对所述数据资产信息进行数据资产管理。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本说明书一实施例的一种数据资产管理方法的示意性流程图;
图2是根据本说明书一实施例的数据资产管理方法的实现原理示意图;
图3是根据本说明书一实施例的一种数据资产管理装置的示意性框图;
图4是根据本说明一实施例的一种电子设备的示意性框图。
具体实施方式
本说明书一个或多个实施例提供一种数据资产管理方法及装置。
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书一个或多个实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本文件保护的范围。
如图1所示,本说明书实施例提供一种数据资产管理方法,该方法的执行主体可以为终端设备或服务器,其中,该终端设备可以如笔记本电脑或台式电脑等计算机设备等。该服务器可以是独立的一个服务器,还可以是由多个服务器构成的服务器集群等,该服务器可以是如金融业务或网络购物业务等的后台服务器,也可以是某应用程序的后台服务器等。本实施例中以服务器为例进行详细说明,对于终端设备的执行过程可以参见下述相关内容,在此不再赘述。该方法具体可以包括以下步骤:
在步骤S102中,根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,其中,数据资产信息至少包括:数据资产类型以及不同数据资产之间的关联关系。
本说明书实施例采用知识图谱的方式构建第一数据资产图谱和第二数据资产图谱,从而进行数据资产管理。其中,第一数据资产图谱是基于所获取的数据资产信息采用知识图谱的方式所构建的初始数据资产图谱。在实施中,根据所获取的数据资产信息,基于图模型构建第一数据资产图谱的方式可以是根据数据资产的功能进行构建,可以是根据数据资产的上下游关系进行构建,也可以根据数据资产类型以及不同数据资产之间的关联关系进行构建。第一数据资产图谱中包括节点和边,其中的节点和边可以通过多种不同的方式构建,例如,其中的节点可以通过数据资产的标识等构建,边可以通过不同数据资产之间的关联关系构建等。
数据资产信息通常分散在不同的数据资产管理平台中,获取数据资产信息的方法可以是基于不同数据资产管理平台进行获取。本说明书实施例中的数据资产信息可以是应用程序、接口等在内的互联网技术相关的软硬件产品,也可以是企业的软件产品等。
图模型即概率图模型,是采用图结构描述多元随机变量之间条件独立关系的概率模型,包括有向图模型以及无向图模型,相应地,第一数据资产图谱可以是有向图图谱或无向图图谱。实际应用中采用有向图模型或无向图模型,具体可以根据不同数据资产之间的关联关系而定,如果不同数据资产之间的关联关系是有数据传递关系、数据流向关系,则采用有向图模型。如果不同数据资产之间的关联关系没有数据传递关系、数据流向关系,则采用无向图模型。例如:数据库A读取数据库B中的某一个表格,或者数据库A向数据库B导入数据,则采用有向图模型。
在步骤S104中,基于第一数据资产图谱中包含的连通子图对数据资产信息进行聚类处理,得到多个聚类子图。
在第一数据资产图谱中,不同数据资产之间的关联关系可以包括直接关联关系和间接关联关系,基于上述关联关系,在第一数据资产图谱的不同节点之间可能存在着一个或多个连通子图,基于上述连通子图对数据资产信息进行聚类处理,得到多个聚类子图。上述处理过程也可以理解为:在第一数据资产图谱中,通过搜索连通图的方法对存在关联关系的数据资产进行聚类处理,从而得到多个聚类子图。通常,有向图中不同数据资产之间是强连接关系,对应的聚类子图为强连通子图,无向图中不同数据资产之间是弱连接关系,对应的聚类子图为弱连通子图。每个聚类子图内部的数据资产之间都存在着实际连接关系,且每个聚类子图对应一个数据资产控制方,数据资产控制方即聚类子图内部各数据资产的实际控制方。
例如:用户a通过手机号C在一家银行开设一张卡片D,则C与D之间存在关联关系,用户a通过同一个手机号C在另一家银行开设一张卡片E,则C与E之间存在关联关系,通过对上述数据资产以及数据资产之间的关联关系进行聚类,可以得到C、D、E组成的一个聚类子图,该聚类子图对应一个数据资产控制方,即用户a。
在实施中,数据资产控制方可以是进行数据资产研发或数据资产管理的自然人、生态机构或生态机构内部组织中的任意一项。
在步骤S106中,为每个聚类子图生成识别标识,根据每个聚类子图对应的识别标识和数据资产信息中包含的每种数据资产类型重构针对识别标识的第二数据资产图谱,并基于第二数据资产图谱对数据资产信息进行数据资产管理。
聚类子图的识别标识即数据资产控制方的识别标识,又称身份标识,同一数据资产在不同系统中可能会采用不同的身份进行注册或运行,例如:同一数据资产在一个系统中采用IP账号注册,在另一个系统中采用域名运行,不同身份对应的数据资产是同一个数据资产,通过步骤S106对该数据资产对应的聚类子图生成唯一的识别标识,且不同数据资产类型对应的识别标识不同。根据每个聚类子图对应的识别标识以及每种数据资产类型,重构针对识别标识的第二数据资产图谱,在第二数据资产图谱中基于识别标识,不同类型的数据资产形成多个不同的数据资产簇。对第一数据资产图谱进行重构获取到第二数据资产图谱后,即可基于重构的第二数据资产图谱进行数据资产管理。与第一数据资产图谱原理相同,第二数据资产图谱可以是有向图图谱,也可以是无向图图谱。
在实施中,聚类子图的识别标识可以是聚类子图对应的用户标识,可以是聚类子图对应的应用程序的标识,还可以是聚类子图对应的用户所使用的终端设备相关的信息的标识。
本说明书实施例提供一种数据资产管理方法,首先根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,从而将数据资产信息按照知识图谱的方式进行建模,将基于图的身份定位方法应用到数据资产管理中。然后基于所构建的第一数据资产图谱中所包含的连通子图对数据资产信息进行聚类处理,得到多个聚类子图,最后为每个聚类子图生成识别标识,根据每个聚类子图对应的识别标识和数据资产信息中包含的每种数据资产类型重构针对识别标识的第二数据资产图谱,并基于第二数据资产图谱对数据资产信息进行数据资产管理,从而通过图分析的方法对数据资产信息进行重组。通过重构的第二数据资产图谱,能够将不同数据资产类型的数据资产信息串联在一起,任一数据资产信息匹配成功即可完成数据资产的身份定位,从而避免数据资产信息孤岛(例如:任意一个数据资产信息登记缺失或任意数据资产之间的关联关系登记缺失等)或者数据资产信息质量不佳(例如:数据资产信息的表述方式不一致)的情况下,仅通过单一数据资产配置信息进行数据资产管理所导致的数据资产关系关联失败,以及数据资产身份定位失败的情形,有利于大大提高数据资产定位的准确性和效率,进而提高数据资产管理的效率。通过第二数据资产图谱的构建,还能够实现数据资产管理系统内部的数据资产身份认证,使得数据资产的各种属性信息更加准确,也有利于提高数据资产管理效率。另外,本说明书实施例中的数据资产管理方法,通过将基于图的身份定位方法应用到数据类型复杂的数据资产管理中,能够实现多元异构数据的整合,从而提高企业数据资产管理的效率,进而提高企业安全运营活动的稳定性。
进一步地,上述步骤S102的处理可以多种多样,以下提供两种可选的处理方式,第一种实施方式具体可以参见以下步骤S10202-S10206的处理。
在步骤S10202中,根据数据资产类型生成对应于不同数据资产类型的节点。
数据资产类型可以包括:App(Appl icat ion,应用程序)、服务器、接口、域名、IP等。
在步骤S10204中,基于不同数据资产之间的关联关系构建相应的边。
在步骤S10206中,基于生成的节点和构建的边,构建第一数据资产图谱。
实际应用中进行图构建的原理,可以参见图2所示的数据资产管理方法的实现原理示意图。以上步骤S10202-S10206的实现原理可以参见图2中的第一个框图(1)构建第一数据资产图谱部分。
在第二种实施方式中,步骤S102中所获取的数据资产信息包括高时效数据资产信息和低时效数据资产信息。具体地,高时效数据资产信息和低时效数据资产信息可以根据数据的实用性以及信息的获取时效进行区分。高时效数据资产信息是获取数据资产信息的周期小于等于预设的第一时间,例如:第一时间可以设置为1分钟,则高时效数据资产信息的获取周期可以是1分钟、30秒、1秒等。低时效数据资产信息可以是获取数据资产信息的时间大于等于预设的第二时间,例如:第二时间可以设置为12小时,则低时效数据资产信息的获取周期可以是1天或者12小时等。
相应地,在第二种实施方式中,步骤S102的实现方式可以采用如下的步骤S10212-S10216的处理。
如果所获取的数据资产信息是高时效数据资产信息,则根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,包括步骤S10212:根据所获取的数据资产信息,基于图模型在线构建第一数据资产图谱。
如果所获取的数据资产信息是低时效数据资产信息,则根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,包括步骤S10214:根据所获取的数据资产信息,基于图模型离线构建第一数据资产图谱。
对于低时效数据资产信息,假设低时效数据资产信息的获取周期为T,则离线构建第一数据资产图谱的时间通常是T+1,即:获取到一个完整周期的低时效数据资产信息后开始构建第一数据资产图谱,而高时效数据资产信息的应用场景则没有此限制。
如果所获取的数据资产信息包括高时效数据资产信息和低时效数据资产信息,则根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,包括步骤S10216:根据所获取的数据资产信息,基于图模型采用流批一体的数据处理规则构建第一数据资产图谱。
流批一体的数据处理规则是使用同一套API(Appl icat ion ProgramInterface,应用程序接口)、同一套开发范式来实现大数据的流计算和批计算,进而保证处理过程与结果的一致性。例如:在一个应用场景中同时有交易业务和注册业务,通常交易业务中会实时更新数据,而注册业务中则是数据一次性输入后保持不变,因此,可以采用流批一体的数据处理规则进行处理。
具体到本说明书实施例,流批一体的数据处理规则指的是将对于高时效数据资产信息的流式处理和对于低时效数据资产信息的批式处理联合起来,同时采用流式处理和批式处理两种数据处理方式,且流批处理中保持计算一体(同一套计算逻辑可以同时应用于流处理和批处理两种模式)和存储一体(流处理与批处理过程中全程数据存储在同一介质,即不管采用何种处理模式,数据的流转及存储都在同一介质中完成)。由于在一个数据资产管理场景中,通常会同时涉及上百个不同的系统,有些系统需要实时查看,有些系统需要获取一段时间的运行数据,采用流批一体的数据处理规则构建第一数据资产图谱能够实现较佳的数据资产使用效能,提高数据资产利用率,还能够降低数据资产管理的复杂性,提高数据资产管理效率。
进一步地,上述步骤S106中,为每个聚类子图生成识别标识,根据每个聚类子图对应的识别标识和数据资产信息中包含的每种数据资产类型重构针对识别标识的第二数据资产图谱的处理可以多种多样,以下提供一种可选的处理方式,具体可以参见以下步骤S1062-S1066的处理。
在步骤S1062中,为每个聚类子图生成对应的识别标识,该识别标识用于确定与聚类子图对应的数据资产控制方。
在步骤S1064中,基于知识图谱推理策略,重构数据资产信息中包含的每种数据资产类型和每个聚类子图对应的识别标识之间直接的关联关系。
在实施中,知识图谱推理策略可以包括:基于规则的推理方法以及基于算法的推理方法。具体地,基于规则的推理方法可以是通过第一数据资产图谱中不同数据资产之间的关系,确认其数据资产流动方向是否符合逻辑;也可以是通过第一数据资产图谱中不同数据资产之间的关联关系,确定当前的某一个关联关系是否符合预设的关系规则。基于算法的推理方法可以是基于图模型的各种算法进行推理,具体采用何种算法可以根据数据资产管理的具体场景而定,本说明书实施例对此不作限定。
在步骤S1066中,依据直接的关联关系生成与不同的数据资产控制方对应的一个或多个数据资产簇,并基于一个或多个数据资产簇构建第二数据资产图谱。
第二数据资产图谱中可以包括一个或多个数据资产簇,每个数据资产簇对应一个数据资产控制方,且该数据资产簇中包含有相关数据资产之间的直接关联关系。对应于步骤S102中不同类型的识别标识,同一个第二数据资产图谱中,一个或多个数据资产簇所采用的识别标识的类型是相同的,例如:均是聚类子图对应的用户标识,均是聚类子图对应的应用程序的标识,或者均是聚类子图对应的用户所使用的终端设备相关的信息的标识。
图2中的(2)连通图聚类部分,对应于步骤S104的实现原理,(3)知识重构部分对应于步骤S106的实现原理。图2的第二数据资产图谱中的识别标识即为聚类子图对应的应用程序的标识。
进一步地,步骤S102中的数据资产信息还包括:数据资产配置信息、数据资产日志以及数据资产代码。此处的数据资产配置信息是指狭义的配置信息,包括:数据资产类型、不同数据资产类型的数据资产占比、IP、域名、MAC等。数据资产日志包括静态日志和动态日志。
进一步地,本说明书实施例中数据资产管理的方法还包括步骤S108:将数据资产簇以图谱的形式存储至第二数据资产图谱对应的图数据库中。
通过对第二数据资产图谱中的一个或多个数据资产簇进行存储,在实际应用中能够通过任意一个数据资产类型的数据资产信息快速关联至其对应的识别标识,从而确认其唯一数据资产身份,而且还可以通过其识别标识快速查询到其他有关联关系的数据资产信息。
本说明书实施例提供一种数据资产管理方法,首先根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,从而将数据资产信息按照知识图谱的方式进行建模,将基于图的身份定位方法应用到数据资产管理中。然后基于所构建的第一数据资产图谱中所包含的连通子图对数据资产信息进行聚类处理,得到多个聚类子图,最后为每个聚类子图生成识别标识,根据每个聚类子图对应的识别标识和数据资产信息中包含的每种数据资产类型重构针对识别标识的第二数据资产图谱,并基于第二数据资产图谱对数据资产信息进行数据资产管理,从而通过图分析的方法对数据资产信息进行重组。通过重构的第二数据资产图谱,能够将不同数据资产类型的数据资产信息串联在一起,任一数据资产信息匹配成功即可完成数据资产的身份定位,从而避免资产信息孤岛(例如:任意一个数据资产信息登记缺失或任意数据资产之间的关联关系登记缺失等)或者数据资产信息质量不佳(例如:数据资产信息的表述方式不一致)的情况下,仅通过单一数据资产配置信息进行数据资产管理所导致的数据资产关系关联失败,以及数据资产身份定位失败的情形,有利于大大提高数据资产定位的准确性和效率,进而提高数据资产管理的效率。通过第二数据资产图谱的构建,还能够实现数据资产管理系统内部的数据资产身份认证,使得数据资产的各种属性信息更加准确,也有利于提高数据资产管理效率。另外,本说明书实施例中的数据资产管理方法,通过将基于图的身份定位方法应用到数据类型复杂的数据资产管理中,能够实现多元异构数据的整合,从而提高企业数据资产管理的效率,进而提高企业安全运营活动的稳定性。
综上,已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序,以实现期望的结果。在某些实施方式中,多任务处理和并行处理可以是有利的。
以上为本说明书一个或多个实施例提供的一种数据资产管理方法,基于同样的思路,本说明书一个或多个实施例还提供一种数据资产管理装置,如图3所示。
该数据资产管理装置包括:第一数据资产图谱构建模块210、聚类模块220以及第二数据资产图谱构建模块230,其中:
第一数据资产图谱构建模块210,根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,数据资产信息至少包括:数据资产类型以及不同数据资产之间的关联关系;
聚类模块220,基于第一数据资产图谱中包含的连通子图对数据资产信息进行聚类处理,得到多个聚类子图;
第二数据资产图谱构建模块230,为每个聚类子图生成识别标识,根据每个聚类子图对应的识别标识和数据资产信息中包含的每种数据资产类型重构针对识别标识的第二数据资产图谱,并基于第二数据资产图谱对数据资产信息进行数据资产管理。
进一步地,在一个实施方式中,第一数据资产图谱构建模块210包括:
节点生成单元,根据数据资产类型生成对应于不同数据资产类型的节点;
边构建单元,基于不同数据资产之间的关联关系构建相应的边;
第一图谱构建单元,基于生成的节点和构建的边,构建第一数据资产图谱。
在另一个实施方式中,所获取的数据资产信息包括高时效数据资产信息和低时效数据资产信息,相应地,第一数据资产图谱构建模块210包括:
高时效数据资产图谱构建单元,如果所获取的数据资产信息是高时效数据资产信息,根据所获取的数据资产信息,基于图模型在线构建第一数据资产图谱;
低时效数据资产图谱构建单元,如果所获取的数据资产信息是低时效数据资产信息,根据所获取的数据资产信息,基于图模型离线构建第一数据资产图谱;
流批一体单元,如果所获取的数据资产信息包括高时效数据资产信息和低时效数据资产信息,根据所获取的数据资产信息,基于图模型采用流批一体的数据处理规则构建第一数据资产图谱。
进一步地,第二数据资产图谱构建模块230包括:
识别标识生成单元,为每个聚类子图生成对应的识别标识,识别标识用于确定与聚类子图对应的数据资产控制方;
重构单元,基于知识图谱推理策略,重构数据资产信息中包含的每种数据资产类型和每个聚类子图对应的识别标识之间直接的关联关系;
第二图谱构建单元,依据直接的关联关系生成与不同的数据资产控制方对应的一个或多个数据资产簇,并基于一个或多个数据资产簇构建第二数据资产图谱。
进一步地,数据资产管理装置中还包括:存储模块,将数据资产簇以图谱的形式存储至第二数据资产图谱对应的图数据库中。
本说明书实施例提供一种数据资产管理装置,首先通过第一数据资产图谱构建模块根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,从而将数据资产信息按照知识图谱的方式进行建模,将基于图的身份定位方法应用到数据资产管理中。然后通过聚类模块基于所构建的第一数据资产图谱中所包含的连通子图对数据资产信息进行聚类处理,得到多个聚类子图,最后通过第二数据资产图谱构建模块为每个聚类子图生成识别标识,根据每个聚类子图对应的识别标识和数据资产信息中包含的每种数据资产类型重构针对识别标识的第二数据资产图谱,并基于第二数据资产图谱对数据资产信息进行数据资产管理,从而通过图分析的方法对数据资产信息进行重组。通过重构的第二数据资产图谱,能够将不同数据资产类型的数据资产信息串联在一起,任一数据资产信息匹配成功即可完成数据资产的身份定位,从而避免数据资产信息孤岛(例如:任意一个数据资产信息登记缺失或任意数据资产之间的关联关系登记缺失等)或者数据资产信息质量不佳(例如:数据资产信息的表述方式不一致)的情况下,仅通过单一数据资产配置信息进行数据资产管理所导致的数据资产关系关联失败,以及数据资产身份定位失败的情形,有利于大大提高数据资产定位的准确性和效率,进而提高数据资产管理的效率。通过第二数据资产图谱的构建,还能够实现数据资产管理系统内部的数据资产身份认证,使得数据资产的各种属性信息更加准确,也有利于提高数据资产管理效率。另外,本说明书实施例中的数据资产管理方法,通过将基于图的身份定位方法应用到数据类型复杂的数据资产管理中,能够实现多元异构数据的整合,从而提高企业数据资产管理的效率,进而提高企业安全运营活动的稳定性。
本领域的技术人员应可理解,上述数据资产管理装置能够用来实现前文所述的数据资产管理方法,其中的细节描述应与前文方法部分描述类似,为避免繁琐,此处不另赘述。
基于同样的思路,本说明书一个或多个实施例还提供一种电子设备,如图4所示。电子设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器301和存储器302,存储器302中可以存储有一个或一个以上存储应用程序或数据。其中,存储器302可以是短暂存储或持久存储。存储在存储器302的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对电子设备中的一系列计算机可执行指令。更进一步地,处理器301可以设置为与存储器302通信,在电子设备上执行存储器302中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源303,一个或一个以上有线或无线网络接口304,一个或一个以上输入输出接口305,一个或一个以上键盘306。
具体在本实施例中,电子设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对电子设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,数据资产信息至少包括:数据资产类型以及不同数据资产之间的关联关系;
基于第一数据资产图谱中包含的连通子图对数据资产信息进行聚类处理,得到多个聚类子图;
为每个聚类子图生成识别标识,根据每个聚类子图对应的识别标识和数据资产信息中包含的每种数据资产类型重构针对识别标识的第二数据资产图谱,并基于第二数据资产图谱对数据资产信息进行数据资产管理。
本说明书一个或多个实施例提供一种存储介质,存储介质用于存储计算机可执行指令,可执行指令在被处理器执行时实现以下流程:
根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,数据资产信息至少包括:数据资产类型以及不同数据资产之间的关联关系;
基于第一数据资产图谱中包含的连通子图对数据资产信息进行聚类处理,得到多个聚类子图;
为每个聚类子图生成识别标识,根据每个聚类子图对应的识别标识和数据资产信息中包含的每种数据资产类型重构针对识别标识的第二数据资产图谱,并基于第二数据资产图谱对数据资产信息进行数据资产管理。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书一个或多个实施例可提供为方法、系统、或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(trans itory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书一个或多个实施例而已,并不用于限制本申请。对于本领域技术人员来说,本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书一个或多个实施例的权利要求范围之内。
Claims (10)
1.一种数据资产管理方法,包括:
根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,所述数据资产信息至少包括:数据资产类型以及不同数据资产之间的关联关系;
基于所述第一数据资产图谱中包含的连通子图对所述数据资产信息进行聚类处理,得到多个聚类子图;
为每个所述聚类子图生成识别标识,根据每个所述聚类子图对应的识别标识和所述数据资产信息中包含的每种数据资产类型重构针对所述识别标识的第二数据资产图谱,并基于所述第二数据资产图谱对所述数据资产信息进行数据资产管理。
2.根据权利要求1所述的方法,所述根据所获取的数据资产信息,基于图模型构建第一数据资产图谱包括:
根据所述数据资产类型生成对应于不同数据资产类型的节点;
基于所述不同数据资产之间的关联关系构建相应的边;
基于生成的节点和构建的边,构建第一数据资产图谱。
3.根据权利要求1所述的方法,所述为每个所述聚类子图生成识别标识,根据每个所述聚类子图对应的识别标识和所述数据资产信息中包含的每种数据资产类型重构针对所述识别标识的第二数据资产图谱,包括:
为每个所述聚类子图生成对应的识别标识,所述识别标识用于确定与所述聚类子图对应的数据资产控制方;
基于知识图谱推理策略,重构所述数据资产信息中包含的每种数据资产类型和每个所述聚类子图对应的识别标识之间直接的关联关系;
依据所述直接的关联关系生成与不同的数据资产控制方对应的一个或多个数据资产簇,并基于所述一个或多个数据资产簇构建第二数据资产图谱。
4.根据权利要求1所述的方法,所述数据资产信息还包括:数据资产配置信息、数据资产日志以及数据资产代码。
5.根据权利要求1所述的方法,所述识别标识包括:所述聚类子图对应的用户标识、所述聚类子图对应的应用程序的标识或所述聚类子图对应的用户所使用的终端设备相关的信息的标识中的任意一项。
6.根据权利要求1所述的方法,所述第一数据资产图谱和所述第二数据资产图谱是有向图图谱或无向图图谱。
7.根据权利要求3所述的方法,所述方法还包括:将所述数据资产簇以图谱的形式存储至第二数据资产图谱对应的图数据库中。
8.根据权利要求1所述的方法,所述所获取的数据资产信息包括高时效数据资产信息和低时效数据资产信息;
如果所获取的数据资产信息是高时效数据资产信息,则所述根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,包括:
根据所获取的数据资产信息,基于图模型在线构建第一数据资产图谱;
如果所获取的数据资产信息是低时效数据资产信息,则所述根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,包括:
根据所获取的数据资产信息,基于图模型离线构建第一数据资产图谱;
如果所获取的数据资产信息包括高时效数据资产信息和低时效数据资产信息,则所述根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,包括:
根据所获取的数据资产信息,基于图模型采用流批一体的数据处理规则构建第一数据资产图谱。
9.一种数据资产管理装置,包括:
第一数据资产图谱构建模块,根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,所述数据资产信息至少包括:数据资产类型以及不同数据资产之间的关联关系;
聚类模块,基于所述第一数据资产图谱中包含的连通子图对所述数据资产信息进行聚类处理,得到多个聚类子图;
第二数据资产图谱构建模块,为每个所述聚类子图生成识别标识,根据每个所述聚类子图对应的识别标识和所述数据资产信息中包含的每种数据资产类型重构针对所述识别标识的第二数据资产图谱,并基于所述第二数据资产图谱对所述数据资产信息进行数据资产管理。
10.一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,在所述可执行指令被执行时,能够使得所述处理器:
根据所获取的数据资产信息,基于图模型构建第一数据资产图谱,所述数据资产信息至少包括:数据资产类型以及不同数据资产之间的关联关系;
基于所述第一数据资产图谱中包含的连通子图对所述数据资产信息进行聚类处理,得到多个聚类子图;
为每个所述聚类子图生成识别标识,根据每个所述聚类子图对应的识别标识和所述数据资产信息中包含的每种数据资产类型重构针对所述识别标识的第二数据资产图谱,并基于所述第二数据资产图谱对所述数据资产信息进行数据资产管理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311144412.8A CN117312597A (zh) | 2023-09-06 | 2023-09-06 | 一种数据资产管理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311144412.8A CN117312597A (zh) | 2023-09-06 | 2023-09-06 | 一种数据资产管理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117312597A true CN117312597A (zh) | 2023-12-29 |
Family
ID=89283936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311144412.8A Pending CN117312597A (zh) | 2023-09-06 | 2023-09-06 | 一种数据资产管理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117312597A (zh) |
-
2023
- 2023-09-06 CN CN202311144412.8A patent/CN117312597A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10601665B2 (en) | Using blockchain smart contracts to manage dynamic data usage requirements | |
CN109614823B (zh) | 一种数据的处理方法、装置及设备 | |
US10776337B2 (en) | Multi-dimensional knowledge index and application thereof | |
RU2488166C2 (ru) | Ориентируемая на обслуживание архитектура, основанная на конвейере | |
CN111046237B (zh) | 用户行为数据处理方法、装置、电子设备及可读介质 | |
CN111753335A (zh) | 区块内容的编辑方法及装置 | |
CN107423942B (zh) | 一种业务流转的方法及装置 | |
CN113297396A (zh) | 基于联邦学习的模型参数更新方法、装置及设备 | |
CN106529953B (zh) | 一种对业务属性进行风险识别的方法及装置 | |
US11205138B2 (en) | Model quality and related models using provenance data | |
CN111767144A (zh) | 交易数据的交易路由确定方法、装置、设备及系统 | |
CN111343241A (zh) | 一种图数据更新方法、装置及系统 | |
EP3812917A1 (en) | Data structure reading method and apparatus, data structure updating method and apparatus, and electronic device | |
US10182104B1 (en) | Automatic propagation of resource attributes in a provider network according to propagation criteria | |
US20210160142A1 (en) | Generalized correlation of network resources and associated data records in dynamic network environments | |
CN114556381A (zh) | 开发机器学习模型 | |
US10951540B1 (en) | Capture and execution of provider network tasks | |
CN112685391B (zh) | 一种服务数据迁移方法、装置、计算机设备和存储介质 | |
Nagarajan et al. | A review on intelligent cloud broker for effective service provisioning in cloud | |
KR20230029762A (ko) | 도메인-스페이스 분석 및 머신 러닝 기법들을 사용하는 크로스-환경 이벤트 상관 | |
CN113095825A (zh) | 基于区块链的资产管理方法、装置及电子设备 | |
CN108805587A (zh) | 一种客户信息处理方法、装置、介质和电子设备 | |
CN110059097B (zh) | 数据处理方法和装置 | |
US10216771B2 (en) | Creating and handling identification for a resource in a configuration database | |
CN117312597A (zh) | 一种数据资产管理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |