CN113434613A - 关联数据块处理方法及装置 - Google Patents
关联数据块处理方法及装置 Download PDFInfo
- Publication number
- CN113434613A CN113434613A CN202110780967.6A CN202110780967A CN113434613A CN 113434613 A CN113434613 A CN 113434613A CN 202110780967 A CN202110780967 A CN 202110780967A CN 113434613 A CN113434613 A CN 113434613A
- Authority
- CN
- China
- Prior art keywords
- associated data
- index
- data block
- target associated
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种关联数据块处理方法及装置,通过获取目标表中多个具有关联关系的目标关联数据块;对每一目标关联数据块进行降维映射,得到指向每一目标关联数据块的索引,以及每一目标关联数据块对应的索引数据;基于所有目标关联数据块对应的索引数据建立索引表;迁移目标关联数据块的非功能性操作至所述索引表,并进行处理。在本方案中,通过对目标关联数据块进行降维处理,得到指向目标关联数据块的索引,将目标关联数据块的多条关联数据记录与索引关联起来,从而将对目标关联数据块的非功能性操作转移到对单条索引的处理,降低对数据本身功能性操作的影响,简化非功能性操作的复杂度,同时,降低开发成本,提高系统性能以及便于管理。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种关联数据块处理方法及装置。
背景技术
随着IT(Internet Technology,互联网技术)的发展,IT系统对性能的要求越来越高,由于业务越来越复杂,出现了一些互相之间存在关联关系的关联数据块,这些关联数据块需要进行并发处理,而且需要保持整个系统的健壮性和高可用性。
关联数据块在并发抢占的时候,要求同时被一个处理流程或者进程进行抢占处理。由于关联数据块本质上是一个数据集,可能存在多条数据。
在现有技术中,对关联数据块进行处理的方式为直接锁定多条目标记录,该方式导致其他需要对该条记录进行处理的进程等待。而且,数据集都是位于同一张表里面,这些数据集的地位相等,不利于对整个关联数据块的信息进行统计,也不便于对整个关联数据块进行重试操作。
由此可知,现有技术中对关联数据块进行处理的方式因为功能性的操作影响到业务功能,影响了业务功能的性能和设计复杂度,而且处理关联数据块是需要同时对多条数据进行统一处理,增加架构设计的难度以及增加软件实施成本。
发明内容
有鉴于此,本发明实施例提供一种关联数据块处理方法及装置,以实现降低开发成本、架构成本、实施成本,简化处理关联数据块的复杂性、提高系统性能以及便于管理的目的。
为实现上述目的,本发明实施例提供如下技术方案:
本发明实施例第一方面公开了一种关联数据块处理方法,所述方法包括:
获取目标表中多个具有关联关系的目标关联数据块,所述目标关联数据块中包含多条关联数据记录;
对每一所述目标关联数据块进行降维映射,得到指向每一所述目标关联数据块的索引,以及每一所述目标关联数据块对应的索引数据;
基于所有所述目标关联数据块对应的索引数据建立索引表,所述索引表中至少包括一条所述索引,用于存储每一所述目标关联数据块对应的索引数据,所述索引数据至少包括定位所述目标关联数据块的信息;
迁移所述目标关联数据块的非功能性操作至所述索引表,并进行处理。
可选的,所述对每一所述目标关联数据块进行降维映射,得到指向每一所述目标关联数据块的索引,以及每一所述目标关联数据块对应的索引数据,包括:
针对每一所述目标关联数据块,建立指向所述目标关联数据块的索引;
建立所述目标关联数据块中的多条关联数据记录与所述索引的映射关系;
建立所述索引与所述目标关联数据块中的多条关联数据记录之间具有映射关系的索引数据。
可选的,所述迁移所述目标关联数据块的非功能性操作至所述索引表,并进行处理,包括:
当对所述目标关联数据块进行抢占处理权操作时,将所述抢占处理权操作迁移至所述索引表中;
在所述索引表中,对指向所述目标关联数据块的索引进行抢占处理权操作。
可选的,所述在所述索引表中,对指向所述目标关联数据块的索引进行抢占处理权操作,包括:
在所述索引表中,对指向所述目标关联数据块的索引进行抢占,确定所述索引指向的所述目标关联数据块的处理权。
可选的,所述迁移所述目标关联数据块的非功能性操作至所述索引表,并进行处理,包括:
当对所述目标关联数据块进行统计信息时,在所述索引表中,将所述目标关联数据块的统计信息记录在指向所述目标关联数据块的所述索引中。
本发明实施例第二方面公开了一种关联数据块处理装置,所述装置包括:
获取模块,用于获取目标表中多个具有关联关系的目标关联数据块,所述目标关联数据块中包含多条关联数据记录;
降维映射模块,用于对每一所述目标关联数据块进行降维映射,得到指向每一所述目标关联数据块的索引,以及每一所述目标关联数据块对应的索引数据;
建立模块,用于基于所有所述目标关联数据块对应的索引数据建立索引表,所述索引表中至少包括一条所述索引,用于存储每一所述目标关联数据块对应的索引数据,所述索引数据至少包括定位所述目标关联数据块的信息;
处理模块,用于迁移所述目标关联数据块的非功能性操作至所述索引表,并进行处理。
可选的,所述降维映射模块包括:
第一建立单元,用于针对每一所述目标关联数据块,建立指向所述目标关联数据块的索引;
第二建立单元,用于建立所述目标关联数据块中的多条关联数据记录与所述索引的映射关系;
第三建立单元,用于建立所述索引与所述目标关联数据块中的多条关联数据记录之间具有映射关系的索引数据。
可选的,所述处理模块包括:
迁移单元,用于当对所述目标关联数据块进行抢占处理权操作时,将所述抢占处理权操作迁移至所述索引表中;
抢占处理权单元,用于在所述索引表中,对指向所述目标关联数据块的索引进行抢占处理权操作。
可选的,所述抢占处理权单元具体用于:
在所述索引表中,对指向所述目标关联数据块的索引进行抢占,确定所述索引指向的所述目标关联数据块的处理权。
可选的,所述处理模块还包括:
统计单元,用于当对所述目标关联数据块进行统计信息时,在所述索引表中,将所述目标关联数据块的统计信息记录在指向所述目标关联数据块的所述索引中。
基于上述本发明实施例提供的一种关联数据块处理方法及装置,通过获取目标表中多个具有关联关系的目标关联数据块,所述目标关联数据块中包含多条关联数据记录;对每一所述目标关联数据块进行降维映射,得到指向每一所述目标关联数据块的索引,以及每一所述目标关联数据块对应的索引数据;基于所有所述目标关联数据块对应的索引数据建立索引表,所述索引表中至少包括一条所述索引,用于存储每一所述目标关联数据块对应的索引数据,所述索引数据至少包括定位所述目标关联数据块的信息;迁移所述目标关联数据块的非功能性操作至所述索引表,并进行处理。在本方案中,通过对目标关联数据块进行降维映射,得到指向目标关联数据块的索引,将目标关联数据块的多条关联数据记录与索引关联起来,从而将对目标关联数据块的非功能性操作转移到对单条索引的处理,降低对数据本身功能性操作的影响,简化非功能性操作的复杂度,同时,以便于基于索引对整个目标关联数据块进行信息统计,降低开发成本、架构成本、实施成本,简化处理关联数据块的复杂性、提高系统性能以及便于管理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种关联数据块处理方法的流程示意图;
图2为本发明实施例提供的一种得到指向每一目标关联数据块的索引和每一目标关联数据块对应的索引数据的流程示意图;
图3为本发明实施例提供的一种处理目标关联数据块的非功能性操作的流程示意图;
图4为本发明实施例提供的一种应用场景图;
图5为本发明实施例提供的一种关联数据块处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了便于理解本发明的技术方案,对本发明中出现的技术术语进行说明:
关联数据块:一条到多条数据,数据之间存在隐含的关联性,体现在处理的时候需要有先后顺序,将这种数据集称为关联数据块。
索引:原狭义索引是指在关系数据库中指向表中一列或者多列的存储结构。本文中采用广义的索引概念,意为指向特殊存储结构或者组织形式的一种存储结构。
非功能性操作:指和业务功能没有直接关系的操作,如防止重复处理,提高性能,高可用等。
功能性操作:和具体业务功能有关的操作。
由背景技术可知,现有技术中对关联数据块进行处理的方式因为功能性的操作影响到业务功能,影响了业务功能的性能和设计复杂度,而且处理关联数据块是需要同时对多条数据进行统一处理,增加架构设计的难度以及增加软件实施成本。
因此,本发明实施例提供一种关联数据块处理方法及装置,在本方案中,通过对目标关联数据块进行降维映射,得到指向目标关联数据块的索引,将目标关联数据块的多条关联数据记录与索引关联起来,从而将对目标关联数据块的非功能性操作转移到对单条索引的处理,降低对数据本身功能性操作的影响,简化非功能性操作的复杂度,同时,以便于基于索引对整个目标关联数据块进行信息统计,降低开发成本、架构成本、实施成本,简化处理关联数据块的复杂性、提高系统性能以及便于管理。
如图1所示,为本发明实施例提供的一种关联数据块处理方法的流程示意图,该方法主要包括以下步骤:
步骤S101:获取目标表中多个具有关联关系的目标关联数据块。
在步骤S101中,目标关联数据块中包含多条关联数据记录。
在本发明实施例中,目标表可以存储于关系数据库中。在关系数据库中,可以以表的形式存储数据,若表之间具有关联,则存储各个表之间的关联关系。
在具体实现步骤S101的过程中,在获取目标表中多个具有关联关系的目标关联数据块时,可以从关系数据库中获取目标表中多个具有关联关系的目标关联数据块,也就是说,可以向关系数据库发送目标关联数据块的获取请求,在目标关联数据块中包含多条关联数据记录的标识信息,关系数据库根据目标关联数据块的获取请求,查询并获取到目标表中多个具有关联关系的目标关联数据块。
步骤S102:对每一目标关联数据块进行降维映射,得到指向每一目标关联数据块的索引,以及每一目标关联数据块对应的索引数据。
在具体实现步骤S102的过程中,针对每一目标关联数据块,将每一目标关联数据块进行降维处理,每一目标关联数据块映射为一个索引。或者说,通过降维,将多条数据简化为一条数据。也就是说,通过降维,将目标关联数据块中的多条关联数据简化为一条索引数据,得到指向每一目标关联数据块的索引,以及每一目标关联数据块对应的降维后的索引数据,从而将目标关联数据块中的多条关联数据和索引关联起来。
步骤S103:基于所有目标关联数据块对应的索引数据建立索引表。
在步骤S103中,索引表中至少包括一条索引,用于存储每一目标关联数据块对应的索引数据。
索引数据至少包括定位目标关联数据块的信息。
在本发明实施例中,定位目标关联数据块的信息可以为编号。
可选的,可以通过索引的编号,定位目标关联数据块。
优选的,索引数据还可以按照应用的要求增加处理时间、数目和状态等信息。
在具体实现步骤S103的过程中,通过将目标关联数据块中的多条关联数据简化为一条索引数据,以每一目标关联数据块所对应的索引数据为数据基础建立索引表。
步骤S104:迁移目标关联数据块的非功能性操作至索引表,并进行处理。
在步骤S104中,目标关联数据块的非功能性操作包括对目标关联数据块进行抢占处理权和对目标关联数据块进行统计信息等操作。
在具体实现步骤S104的过程中,将原先对目标关联数据块的功能性操作或者非功能性操作,例如抢占处理权、统计信息等操作迁移至所建立的索引表中进行处理。
可以理解的是,将原先功能性操作,非功能性操作都是对目标表中的关联数据进行处理,变成了关联数据只对业务功能负责,非功能性操作对目标表降维后所建立的索引表进行操作。
例如,通过对指向目标关联数据块的索引进行抢占,确定索引指向的目标关联数据块的处理权。
可选的,执行步骤S104迁移目标关联数据块的非功能性操作至索引表,并进行处理,包括:
当对目标关联数据块进行统计信息时,在索引表中,将目标关联数据块的统计信息记录在指向目标关联数据块的索引中。
基于本发明实施例提供的一种关联数据块处理方法,通过获取目标表中多个具有关联关系的目标关联数据块,目标关联数据块中包含多条关联数据记录;对每一目标关联数据块进行降维映射,得到指向每一目标关联数据块的索引,以及每一目标关联数据块对应的索引数据;基于所有目标关联数据块对应的索引数据建立索引表,索引表中至少包括一条索引,用于存储每一目标关联数据块对应的索引数据,索引数据至少包括定位目标关联数据块的信息;迁移目标关联数据块的非功能性操作至索引表,并进行处理。在本方案中,通过对目标关联数据块进行降维映射,得到指向目标关联数据块的索引,将目标关联数据块的多条关联数据记录与索引关联起来,从而将对目标关联数据块的非功能性操作转移到对单条索引的处理,降低对数据本身功能性操作的影响,简化非功能性操作的复杂度,同时,以便于基于索引对整个目标关联数据块进行信息统计,降低开发成本、架构成本、实施成本,简化处理关联数据块的复杂性、提高系统性能以及便于管理。
基于上述本发明实施例提供的一种关联数据块处理方法,执行步骤S102对每一目标关联数据块进行降维映射,得到指向每一目标关联数据块的索引,以及每一目标关联数据块对应的索引数据的过程。如图2所示,为本发明实施例提供的一种得到指向每一目标关联数据块的索引和每一目标关联数据块对应的索引数据的流程示意图,主要包括以下步骤:
步骤S201:针对每一目标关联数据块,建立指向目标关联数据块的索引。
在具体实现步骤S201的过程中,针对每一目标关联数据块,建立指向目标关联数据块的索引时,首先需要要引入目标关联数据块的索引,然后确定指向每一目标关联数据块的索引,从而才能建立指向目标关联数据块的索引。
步骤S202:建立目标关联数据块中的多条关联数据记录与索引的映射关系。
在步骤S202中,映射关系可以为一对一的关系,一对多的关系及多对多的关系。
在本发明实施例中,目标关联数据块中的多条关联数据记录与索引的映射关系为一对多的关系。
可以理解的是,一条索引对应一个目标关联数据块,或者说,一条索引对应一个目标关联数据块中的多条关联数据记录。
在具体实现步骤S202的过程中,在建立目标关联数据块中的多条关联数据记录与索引的映射关系时,先确定目标关联数据块中的多条关联数据记录之间的关联关系,根据关联关系建立与索引的映射关系,也就是说,建立目标关联数据块中的多条关联数据记录与索引的映射关系。
步骤S203:建立索引与目标关联数据块中的多条关联数据记录之间具有映射关系的索引数据。
在具体实现步骤S203的过程中,根据所建立的目标关联数据块中的多条关联数据记录与索引的映射关系,获取目标关联数据块中的多条关联数据记录、索引相关数据,以及目标关联数据块中的多条关联数据记录与索引之间具有映射关系的索引数据,从而建立索引与目标关联数据块中的多条关联数据记录之间具有映射关系的索引数据。
基于本发明实施例提供的一种关联数据块处理方法,通过对每一目标关联数据块进行降维映射,得到指向每一目标关联数据块的索引,以及每一目标关联数据块对应的索引数据,将原先处理多条数据简化成处理单条数据,从而降低开发成本、架构成本、实施成本,简化处理关联数据块的复杂性、提高系统性能以及便于管理。
基于上述本发明实施例提供的一种关联数据块处理方法,执行步骤S104迁移目标关联数据块的非功能性操作至索引表,并进行处理的过程。如图3所示,为本发明实施例提供的一种处理目标关联数据块的非功能性操作的流程示意图,主要包括以下步骤:
步骤S301:当对目标关联数据块进行抢占处理权操作时,将抢占处理权操作迁移至索引表中。
在具体实现步骤S301的过程中,通过将原先功能性操作,非功能性操作都是对目标表中的关联数据进行处理,变成了关联数据只对业务功能负责,非功能性操作对目标表降维后所建立的索引表进行操作。具体地,当对目标关联数据块进行抢占处理权操作时,将抢占处理权操作迁移至索引表中。
步骤S302:在索引表中,对指向目标关联数据块的索引进行抢占处理权操作。
在具体实现步骤S302的过程中,在所建立的索引表中,确定将抢占处理权操作迁移至索引表中的目标关联数据块,对指向该目标关联数据块的索引进行抢占处理权操作。
可选的,执行步骤S302在索引表中,对指向目标关联数据块的索引进行抢占处理权操作,包括:
在索引表中,对指向目标关联数据块的索引进行抢占,确定索引指向的目标关联数据块的处理权。
基于本发明实施例提供的一种关联数据块处理方法,通过将目标关联数据块的非功能性操作迁移至所建立的索引表,并进行处理,降低了非功能性操作和功能性操作的耦合度,提升了系统性能,降低了开发成本、架构成本、实施成本。
为了更好地理解上述本发明实施例提供的一种关联数据块处理方法,如图4所示,为本发明实施例提供的一种应用场景图。
在图4中,目标表中存储多个具有关联关系的目标关联数据块,具体地,关联数据记录1、关联数据记录2、......、关联数据记录n组成一个目标关联数据块,目标关联数据块之间具有关联关系。
根据目标表中的每一目标关联数据块,可以在目标表中进行功能性操作。
索引表中存储多个具有关联关系的索引和索引数据,具体地,索引表存储n条索引记录(即索引1、索引2、......、索引n)和n条索引对应的索引数据。
根据索引表中的每一索引,可以在索引表中进行非功能性操作或者功能性操作。
在具体实现的过程中,首先,先获取目标表中多个具有关联关系的目标关联数据块。然后,对每一目标关联数据块进行降维映射,得到指向每一目标关联数据块的索引,以及每一目标关联数据块对应的索引数据,具体如图4中的箭头指向。接着,基于所有目标关联数据块对应的索引数据建立索引表。最后,迁移目标关联数据块的非功能性操作至索引表,并进行处理,具体地,将原先对目标关联数据块的功能性操作或者非功能性操作,例如抢占处理权、统计信息等操作迁移至所建立的索引表中进行处理。
例如,通过对指向目标关联数据块的索引进行抢占,确定索引指向的目标关联数据块的处理权。
又例如,将目标关联数据块的统计信息记录在指向目标关联数据块的索引中。
基于本发明实施例提供的一种关联数据块处理方法,通过对目标关联数据块进行降维映射,得到指向目标关联数据块的索引,将目标关联数据块的多条关联数据记录与索引关联起来,从而将对目标关联数据块的非功能性操作转移到对单条索引的处理,降低对数据本身功能性操作的影响,简化非功能性操作的复杂度,同时,以便于基于索引对整个目标关联数据块进行信息统计,降低开发成本、架构成本、实施成本,简化处理关联数据块的复杂性、提高系统性能以及便于管理。
与上述本发明实施例示出的一种关联数据块处理方法相对应,本发明实施例还对应提供了一种关联数据块处理装置,如图5所示,该关联数据块处理装置包括:获取模块51、降维映射模块52、建立模块53和处理模块54。
获取模块51,用于获取目标表中多个具有关联关系的目标关联数据块,目标关联数据块中包含多条关联数据记录。
降维映射模块52,用于对每一目标关联数据块进行降维映射,得到指向每一目标关联数据块的索引,以及每一目标关联数据块对应的索引数据。
建立模块53,用于基于所有目标关联数据块对应的索引数据建立索引表,索引表中至少包括一条索引,用于存储每一目标关联数据块对应的索引数据,索引数据至少包括定位目标关联数据块的信息。
处理模块54,用于迁移目标关联数据块的非功能性操作至索引表,并进行处理。
需要说明的是,上述本发明实施例公开的关联数据块处理装置中的各个模块具体的原理和执行过程,与上述本发明实施关联数据块处理方法相同,可参见上述本发明实施例公开的关联数据块处理方法中相应的部分,这里不再进行赘述。
基于本发明实施例提供的一种关联数据块处理装置,通过获取目标表中多个具有关联关系的目标关联数据块,目标关联数据块中包含多条关联数据记录;对每一目标关联数据块进行降维映射,得到指向每一目标关联数据块的索引,以及每一目标关联数据块对应的索引数据;基于所有目标关联数据块对应的索引数据建立索引表,索引表中至少包括一条索引,用于存储每一目标关联数据块对应的索引数据,索引数据至少包括定位目标关联数据块的信息;迁移目标关联数据块的非功能性操作至索引表,并进行处理。在本方案中,通过对目标关联数据块进行降维映射,得到指向目标关联数据块的索引,将目标关联数据块的多条关联数据记录与索引关联起来,从而将对目标关联数据块的非功能性操作转移到对单条索引的处理,降低对数据本身功能性操作的影响,简化非功能性操作的复杂度,同时,以便于基于索引对整个目标关联数据块进行信息统计,降低开发成本、架构成本、实施成本,简化处理关联数据块的复杂性、提高系统性能以及便于管理。
可选的,基于上述图5示出的降维映射模块52,所述降维映射模块52还包括:第一建立单元、第二建立单元和第三建立单元。
第一建立单元,用于针对每一目标关联数据块,建立指向目标关联数据块的索引。
第二建立单元,用于建立目标关联数据块中的多条关联数据记录与索引的映射关系。
第三建立单元,用于建立索引与目标关联数据块中的多条关联数据记录之间具有映射关系的索引数据。
基于本发明实施例提供的一种关联数据块处理装置,通过对每一目标关联数据块进行降维映射,得到指向每一目标关联数据块的索引,以及每一目标关联数据块对应的索引数据,将原先处理多条数据简化成处理单条数据,从而降低开发成本、架构成本、实施成本,简化处理关联数据块的复杂性、提高系统性能以及便于管理。
可选的,基于上述图5示出的处理模块54,所述处理模块54还包括:迁移单元和抢占处理权单元。
迁移单元,用于当对目标关联数据块进行抢占处理权操作时,将抢占处理权操作迁移至索引表中。
抢占处理权单元,用于在索引表中,对指向目标关联数据块的索引进行抢占处理权操作。
基于本发明实施例提供的一种关联数据块处理装置,通过将目标关联数据块的非功能性操作迁移至所建立的索引表,并进行处理,降低了非功能性操作和功能性操作的耦合度,提升了系统性能,降低了开发成本、架构成本、实施成本。
可选的,基于上述图5示出的处理模块54,所述抢占处理权单元具体用于:
在索引表中,对指向目标关联数据块的索引进行抢占,确定索引指向的目标关联数据块的处理权。
基于本发明实施例提供的一种关联数据块处理装置,通过对指向目标关联数据块的索引进行抢占处理,确定索引指向的目标关联数据块的处理权,降低了非功能性操作和功能性操作的耦合度,提升了系统性能,降低了开发成本、架构成本、实施成本。
可选的,基于上述图5示出的处理模块54,所述处理模块54还包括:
统计单元,用于当对目标关联数据块进行统计信息时,在索引表中,将目标关联数据块的统计信息记录在指向目标关联数据块的索引中。
基于本发明实施例提供的一种关联数据块处理装置,基于索引,对整个目标关联数据块进行信息统计,从而降低开发成本、架构成本、实施成本,简化处理关联数据块的复杂性、提高系统性能以及便于管理。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种关联数据块处理方法,其特征在于,所述方法包括:
获取目标表中多个具有关联关系的目标关联数据块,所述目标关联数据块中包含多条关联数据记录;
对每一所述目标关联数据块进行降维映射,得到指向每一所述目标关联数据块的索引,以及每一所述目标关联数据块对应的索引数据;
基于所有所述目标关联数据块对应的索引数据建立索引表,所述索引表中至少包括一条所述索引,用于存储每一所述目标关联数据块对应的索引数据,所述索引数据至少包括定位所述目标关联数据块的信息;
迁移所述目标关联数据块的非功能性操作至所述索引表,并进行处理。
2.根据权利要求1所述的方法,其特征在于,所述对每一所述目标关联数据块进行降维映射,得到指向每一所述目标关联数据块的索引,以及每一所述目标关联数据块对应的索引数据,包括:
针对每一所述目标关联数据块,建立指向所述目标关联数据块的索引;
建立所述目标关联数据块中的多条关联数据记录与所述索引的映射关系;
建立所述索引与所述目标关联数据块中的多条关联数据记录之间具有映射关系的索引数据。
3.根据权利要求1所述的方法,其特征在于,所述迁移所述目标关联数据块的非功能性操作至所述索引表,并进行处理,包括:
当对所述目标关联数据块进行抢占处理权操作时,将所述抢占处理权操作迁移至所述索引表中;
在所述索引表中,对指向所述目标关联数据块的索引进行抢占处理权操作。
4.根据权利要求3所述的方法,其特征在于,所述在所述索引表中,对指向所述目标关联数据块的索引进行抢占处理权操作,包括:
在所述索引表中,对指向所述目标关联数据块的索引进行抢占,确定所述索引指向的所述目标关联数据块的处理权。
5.根据权利要求1所述的方法,其特征在于,所述迁移所述目标关联数据块的非功能性操作至所述索引表,并进行处理,包括:
当对所述目标关联数据块进行统计信息时,在所述索引表中,将所述目标关联数据块的统计信息记录在指向所述目标关联数据块的所述索引中。
6.一种关联数据块处理装置,其特征在于,所述装置包括:
获取模块,用于获取目标表中多个具有关联关系的目标关联数据块,所述目标关联数据块中包含多条关联数据记录;
降维映射模块,用于对每一所述目标关联数据块进行降维映射,得到指向每一所述目标关联数据块的索引,以及每一所述目标关联数据块对应的索引数据;
建立模块,用于基于所有所述目标关联数据块对应的索引数据建立索引表,所述索引表中至少包括一条所述索引,用于存储每一所述目标关联数据块对应的索引数据,所述索引数据至少包括定位所述目标关联数据块的信息;
处理模块,用于迁移所述目标关联数据块的非功能性操作至所述索引表,并进行处理。
7.根据权利要求6所述的装置,其特征在于,所述降维映射模块包括:
第一建立单元,用于针对每一所述目标关联数据块,建立指向所述目标关联数据块的索引;
第二建立单元,用于建立所述目标关联数据块中的多条关联数据记录与所述索引的映射关系;
第三建立单元,用于建立所述索引与所述目标关联数据块中的多条关联数据记录之间具有映射关系的索引数据。
8.根据权利要求6所述的装置,其特征在于,所述处理模块包括:
迁移单元,用于当对所述目标关联数据块进行抢占处理权操作时,将所述抢占处理权操作迁移至所述索引表中;
抢占处理权单元,用于在所述索引表中,对指向所述目标关联数据块的索引进行抢占处理权操作。
9.根据权利要求8所述的装置,其特征在于,所述抢占处理权单元具体用于:
在所述索引表中,对指向所述目标关联数据块的索引进行抢占,确定所述索引指向的所述目标关联数据块的处理权。
10.根据权利要求6所述的装置,其特征在于,所述处理模块还包括:
统计单元,用于当对所述目标关联数据块进行统计信息时,在所述索引表中,将所述目标关联数据块的统计信息记录在指向所述目标关联数据块的所述索引中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110780967.6A CN113434613A (zh) | 2021-07-09 | 2021-07-09 | 关联数据块处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110780967.6A CN113434613A (zh) | 2021-07-09 | 2021-07-09 | 关联数据块处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113434613A true CN113434613A (zh) | 2021-09-24 |
Family
ID=77759912
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110780967.6A Pending CN113434613A (zh) | 2021-07-09 | 2021-07-09 | 关联数据块处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113434613A (zh) |
-
2021
- 2021-07-09 CN CN202110780967.6A patent/CN113434613A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111324610A (zh) | 一种数据同步的方法及装置 | |
CN107122355B (zh) | 数据迁移系统和方法 | |
CN107844388B (zh) | 从备份系统流式恢复数据库 | |
CN107122361B (zh) | 数据迁移系统和方法 | |
US9904722B1 (en) | Log-based distributed transaction management | |
US11403269B2 (en) | Versioning validation for data transfer between heterogeneous data stores | |
US20150149409A1 (en) | Dml replication with logical log shipping | |
US20080005183A1 (en) | Method And Apparatus for Propagating Tables While Preserving Cyclic Foreign Key Relationships | |
CN110413595B (zh) | 一种应用于分布式数据库的数据迁移方法和相关装置 | |
EP2380090B1 (en) | Data integrity in a database environment through background synchronization | |
US11151081B1 (en) | Data tiering service with cold tier indexing | |
US11409711B2 (en) | Barriers for dependent operations among sharded data stores | |
CN110188103A (zh) | 数据对账方法、装置、设备和存储介质 | |
CN113297320A (zh) | 分布式数据库系统及数据处理方法 | |
US20210165768A1 (en) | Replication Barriers for Dependent Data Transfers between Data Stores | |
CN105550306A (zh) | 多副本数据的读写方法及系统 | |
US20110264703A1 (en) | Importing Tree Structure | |
CN113177090A (zh) | 数据处理方法及装置 | |
US11853284B2 (en) | In-place updates with concurrent reads in a decomposed state | |
CN105550342B (zh) | 一种全透明的分布式数据库的数据处理方法 | |
US20130006920A1 (en) | Record operation mode setting | |
US20190188291A1 (en) | Utilization of Optimized Ordered Metadata Structure for Container-Based Large-Scale Distributed Storage | |
CN116501700B (zh) | 一种app格式化文件离线存储方法、装置、设备及存储介质 | |
CN112131228A (zh) | 一种基于fabric的便于数据检索的联盟链系统 | |
CN113434613A (zh) | 关联数据块处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |