CN109325022B - 一种数据处理方法和装置 - Google Patents
一种数据处理方法和装置 Download PDFInfo
- Publication number
- CN109325022B CN109325022B CN201810804364.3A CN201810804364A CN109325022B CN 109325022 B CN109325022 B CN 109325022B CN 201810804364 A CN201810804364 A CN 201810804364A CN 109325022 B CN109325022 B CN 109325022B
- Authority
- CN
- China
- Prior art keywords
- key
- memory
- array
- memory page
- page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims description 14
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 13
- 238000012217 deletion Methods 0.000 description 11
- 230000037430 deletion Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/466—Transaction processing
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据处理方法和装置,该方法包括:在接收到读操作命令后,确定所述读操作命令携带的第一Key对应的第一内存页;从与所述第一内存页对应的第一排序数组中,获取第一数组元素表征的第一位置偏移量,并确定所述第一位置偏移量对应的所述第一内存页中的第一内存元素;判断所述第一Key和所述第一Key对应的生存周期,与所述第一内存元素中记录的第二Key和生存周期是否匹配;如果是,从所述第一内存元素中读取与所述第一Key对应的数据部分。通过本申请的技术方案,可以减少遍历次数,快速从大量内存元素中读取到目标内存元素,节省大量时间,提高页内访问速度。
Description
技术领域
本申请涉及存储技术领域,尤其是涉及一种数据处理方法和装置。
背景技术
Key-Value(键-值)数据库是目前使用最广泛的数据库,可以通过唯一标识来对数据进行存储、读取和管理,存储结构可以为树结构或者哈希结构,且可以包括LMDB(Lighting Memory-mapped Data Base,内存映射数据库)等。
Key-Value数据库使用COW(Copy-On-Write,写时拷贝)技术来提供并发保护,提高数据存储的并发性,数据读写性能较高。COW技术是指:针对每次修改操作,将修改涉及的内存页拷贝一份,对原内存页不修改,修改操作集中在拷贝的新内存页。由于原内存页未修改,因此读事务可以不间断的进行访问。
但是,针对每次的修改操作,COW技术均需要拷贝大量内存页,造成大量的拷贝操作,占用大量的CPU(Central Processing Unit,中央处理器)资源。为了解决COW技术的大量拷贝问题,目前引入了MVBT(Multi-Version B+Tree,多版本B+树)技术,MVBT技术通过对每个Key(键)增加一个生存周期(LifeSpan),从而可以大幅降低内存页的拷贝次数,可以节省CPU资源。
在MVBT技术中,每个内存页包括大量内存元素,为了从大量内存元素中读取到目标内存元素,需要从第一个内存元素开始进行遍历,一直到遍历出目标内存元素,上述方式需要遍历大量内存元素,会耗费大量时间,影响页内访问速度。例如,内存页包括400个内存元素,若目标内存元素是第300个内存元素,则从第一个内存元素开始进行遍历,在执行300次遍历操作后,才能够遍历到目标内存元素,耗费大量时间来执行遍历操作,影响页内访问速度。
发明内容
本申请提供一种数据处理方法和装置,以减少遍历次数,提高访问速度。
第一方面,本申请提供一种数据处理方法,应用于采用MVBT存储数据的网络设备,所述网络设备的内存包括多个内存页,每个内存页包括至少一个内存元素,每个内存页均配置对应的排序数组,所述排序数组中的每个数组元素用于表征内存元素在所述内存页中的位置偏移量,所述方法包括:
在接收到读操作命令后,确定所述读操作命令携带的第一Key对应的第一内存页;
从与所述第一内存页对应的第一排序数组中,获取第一数组元素表征的第一位置偏移量,并确定所述第一位置偏移量对应的所述第一内存页中的第一内存元素;
判断所述第一Key和所述第一Key对应的生存周期,与所述第一内存元素中记录的第二Key和生存周期是否匹配;如果是,从所述第一内存元素中读取与所述第一Key对应的数据部分。
第二方面,本申请提供一种数据处理装置,应用于采用MVBT存储数据的网络设备,所述网络设备的内存包括多个内存页,每个内存页包括至少一个内存元素,每个内存页均配置对应的排序数组,所述排序数组中的每个数组元素用于表征内存元素在所述内存页中的位置偏移量,所述装置包括:
确定模块,用于在接收到读操作命令后,确定所述读操作命令携带的第一Key对应的第一内存页;
获取模块,用于从与所述第一内存页对应的第一排序数组中,获取第一数组元素表征的第一位置偏移量,并确定所述第一位置偏移量对应的所述第一内存页中的第一内存元素;
判断模块,用于判断所述第一Key和所述第一Key对应的生存周期,与所述第一内存元素中记录的第二Key和生存周期是否匹配;
读取模块,用于当判断结果为是时,从所述第一内存元素中读取与所述第一Key对应的数据部分。
第三方面,本申请提供一种网络设备,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现上述的数据处理方法步骤。
第四方面,本申请提供一种机器可读存储介质,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,所述机器可执行指令可以促使所述处理器实现上述的数据处理方法步骤。
基于上述技术方案,本申请实施例中,在采用MVBT存储数据的网络设备,若网络设备的内存包括多个内存页,且每个内存页包括大量内存元素,不需要从内存页的第一个内存元素开始进行遍历,而是从与内存页关联的排序数组中选择数组元素,并从该数组元素表征的位置偏移量对应的内存元素进行遍历,从而减少遍历次数,可以快速从大量内存元素中读取到目标内存元素,节省大量时间,提高页内访问速度,使得查找效率大幅度提高,加强了读写性能。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案,下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本申请实施例的这些附图获得其他的附图。
图1A-图1E是本申请一种实施方式中的采用COW存储数据的示意图;
图2A-图2I是本申请一种实施方式中的采用MVBT存储数据的示意图;
图3A和图3B是本申请一种实施方式中的数据处理方法的流程图;
图4A和图4B是本申请一种实施方式中的排序数组的示意图;
图5A-图5C是本申请一种实施方式中的堆栈数组的处理示意图;
图6是本申请一种实施方式中的数据处理装置的结构图;
图7是本申请一种实施方式中的网络设备的硬件结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请实施例中提出一种数据处理方法,可以应用于采用Key-Value数据库存储数据的网络设备(如路由器、交换机等),Key-Value数据库可以包括但不限于LMDB等,后续以LMDB为例进行说明。LMDB一般存储在内存中,LMDB的存储结构可以为树结构或者哈希结构,可以使用COW技术实现数据更新。
在一个例子中,LMDB在网络设备上具有广泛使用,例如,可以将接口名称作为Key,并将该接口名称的属性作为Value进行查找。又例如,可以将IP地址作为Key,并将该IP地址对应的ACL(Access Control List,访问控制列表)规则作为Value进行查找。当然,上述应用只是两个示例,对此不做限制。
在一个例子中,LMDB通常使用B+Tree(B+树)作为存储结构,B+Tree是一种按照内存页(Page)分层的数据结构,B+Tree可以由页节点(Leaf Page)和非页节点(Branch Page)组成,最下层的是页节点,用于存储数据,其余层均是非页节点,用于组织Key方便查找。参见图1A所示,为LMDB采用B+Tree存储数据的示例,内存页5-内存页12是页节点,内存页1-内存页4是非页节点。此外,内存页5包括3个内存元素,第一个内存元素存储Key5与数据的对应关系,第二个内存元素存储Key8与数据的对应关系,第三个内存元素存储Key9与数据的对应关系,对于其它内存页的内存元素,与内存页5类似,不再赘述。
其中,B+Tree可以是一种平衡树,即任意页节点到根节点(如内存页1)的路径长度一致,为了保证B+Tree的效率和平衡,则插入操作与删除操作可以满足如下约束条件:
1、对于插入操作,如果新插入数据没有超过内存元素上限(表示内存页最多容纳的内存元素数量),则直接插入数据即可。
2、对于插入操作,如果新插入数据超过内存元素上限,则对插入的内存页进行分裂;例如,新申请一个内存页,将分裂内存页的数据进行平分,并将新内存页的索引插入到分裂内存页的父节点中。
3、对于删除操作,如果删除数据后,内存页的容量(即内存元素数量)仍然大于等于总容量的1/2,则不进行任何操作。
4、对于删除操作,如果删除数据后,内存页的容量小于总容量的1/2,则根据兄弟内存页的情况进行调整;具体的,若兄弟内存页的容量小于等于总容量的1/2,则将两个内存页的数据进行合并,并更新父节点的索引;若兄弟内存页的容量大于总容量的1/2,则将两个内存页的数据进行合并后,在对这些数据进行平分。
其中,B+Tree的查找方式是自顶向下,依次进入到更小的区间内,直到最底层的页节点确定查找结果。参见图1A所示,在LMDB最后一行的内存页,存储Key与数据的对应关系,例如,Key5的数据存储在内存页5,Key8的数据存储在内存页5,以此类推,Key83的数据存储在内存页12。在LMDB第二行的内存页,存储Key与页指针的对应关系,如Key5与内存页5的页指针存储在内存页2,Key10与内存页6的页指针存储在内存页2,以此类推,Key80与内存页12的页指针存储在内存页4。在LMDB第一行的内存页,可以存储Key与页指针的对应关系,如Key5与内存页2的页指针存储在内存页1,Key28与内存页3的页指针存储在内存页1,Key65与内存页4的页指针存储在内存页1。
假设需要查询Key15的数据,则先查询根节点的内存页1,由于Key15位于Key5与Key28之间,因此Key15处于Key5的页指针指向的内存页2,并查询内存页2。由于Key15位于Key10与Key20之间,因此Key15处于Key10的页指针指向的内存页6,并查询内存页6。然后从内存页6查询到Key15的数据。
在一个例子中,LMDB通常使用COW技术实现数据更新,例如,假设需要删除Key83的数据,则可以采用COW技术实现数据的删除。具体的,可以对内存页12进行拷贝操作,得到一个新的内存页13,在得到内存页13后,还可以删除Key83的数据,即内存页13只包括Key80的数据,参见图1B所示。
然后,由于内存页4的页指针指向内存页11和内存页12,因此,在对内存页12进行拷贝操作之后,还可以对内存页11进行拷贝操作,并将拷贝操作后的内容与内存页13进行平分,得到内存页13和内存页14,参见图1C所示。然后,可以对内存页4进行拷贝操作,得到内存页15,对内存页15进行修改,得到修改后的内存页15,参见图1D所示,内存页15可以包括Key65与内存页14的页指针的对应关系,Key77与内存页13的页指针的对应关系。然后,可以对内存页1(即根节点)进行拷贝操作,得到内存页16,并对内存页16进行修改,得到修改后的内存页16,参见图1E所示,内存页16可以包括:Key5与内存页2的页指针的对应关系,Key28与内存页3的页指针的对应关系,Key65与内存页15的页指针(与内存页1进行相比,针对内存页16,这里是内存页15的页指针,而不再是内存页4的页指针)的对应关系。
经过上述处理,参见图1E所示,假设需要查询Key68的数据,则可以先查询根节点的内存页16(此时根节点不再是内存页1),由于Key68大于Key65,因此,Key68处于Key65的页指针指向的内存页15,并查询内存页15。由于Key68位于Key65与Key77之间,因此,Key68处于Key65的页指针指向的内存页14,并查询内存页14。然后,可以从内存页14中查询到Key68的数据。
综上所述,COW技术是将修改涉及的内存页拷贝一份,对原内存页不修改,修改集中在拷贝的内存页上。针对每次的修改操作,COW技术均需要拷贝大量内存页,造成大量的拷贝操作,占用大量的CPU资源。例如,针对Key83的删除操作,就需要进行4次内存页的拷贝操作,从而造成大量的拷贝操作。
针对上述发现,为了解决COW技术的大量拷贝问题,可以引入MVBT技术,MVBT技术可以对B+Tree进行改造,MVBT技术通过对每个Key增加一个生存周期,从而可以大幅降低内存页的拷贝次数,节省CPU资源。其中,该生存周期可以记做[a,b),表示从版本a开始到版本b-1的读事务能够查询到该数据。如果b为+∞,则表示从版本a开始的所有读事务都可以查询到该数据。
以下介绍与MVBT相关的术语和符号。版本号(Version):写事务可以分配版本号(相当于时间戳),本次写事务内的创建、删除会以版本号赋值,且版本号是单调递增。活Key(Live Key):一个Key的生存周期是[a,+∞),则称该Key为活Key。死Key(Dead Key):非活Key之外的其它Key均为死Key。活页(Live Page):包含至少一个活Key的内存页。死页(DeadPage),即不包含活Key的内存页。B:一个内存页可以容纳Key的数量(即内存元素上限),每个内存页的容量是固定。M:LMDB中活Key的个数。M(P):内存页P中活Key的个数。K(P):内存页P中Key的范围。V(P):内存页P中Version的范围。KV(P):内存页P的Key-Version组成的矩形。Min:内存页中活Key个数的下限。MinS:新内存页P中最小的活Key个数。MaxS:新内存页P中最大的活Key个数。S:最小的操作个数,使得该内存页需要进行下一次分裂/合并操作。
生存周期[a,b)中的a和b是两个版本,也是写事务的事务标识和读事务的事务标识。写事务是指一次完整的数据库操作,一次写事务从开始到结束,可以包含多个针对数据库的操作(如增加、删除、修改等操作),每个写事务具有唯一的事务标识,且事务标识是递增的。例如,第一次写事务的事务标识为1,得到的是版本1的数据。第二次写事务的事务标识为2,得到的是版本2的数据,以此类推。读事务是指一次完整的数据库操作,一次读事务从开始到结束,可以包含多个针对数据库的读操作,每个读事务的事务标识是最后一次写事务的事务标识。例如,在第一次写事务后,在第二次写事务之前产生的所有读事务,则事务标识可以为第一次写事务的事务标识1,即读取版本1的数据;在第二次写事务后,在第三次写事务之前产生的所有读事务,则事务标识为第二次写事务的事务标识2,即读取版本2的数据,以此类推。
参见图2A所示,为LMDB采用MVBT存储数据的示例,内存页2和内存页3是页节点,内存页1是非页节点。在内存页2包括5个内存元素,第一个内存元素内存储Key10、生存周期[1,+∞)与数据的对应关系,生存周期[1,+∞)表示第一个内存元素中的数据是第一次写事务(事务标识1)写入的,且事务标识大于等于1的所有读事务均可以读取第一个内存元素中的数据;此外,第二个内存元素内存储Key15、生存周期[1,+∞)与数据的对应关系,以此类推。
为了保证MVBT的查找效率,则MVBT的内存页可以满足如下约束条件的一种:内存页的活Key数量大于等于Min;内存页的活Key数量为0;内存页的活Key数量等于M;内存页的活Key数量大于等于2,且该内存页可以是根节点。此外,在MVBT的Split(分裂)操作中,对于分裂后的新内存页,可以满足如下约束条件的一种或多种:M(P)小于等于MaxS,M(P)大于等于MinS。在MVBT中,相关参数和限制的意义在于:Min用于保证整棵树的高度不会超过上限,使得MVBT树不会退化成二叉树;S、MaxS、MinS用于控制多少个操作后才能引起节点的分裂合并,可以保证MVBT不会频繁的进行分裂。
MaxS可以大于等于2倍的MinS,从而保证内存页有MaxS时总能分裂成包含2个MinS的内存页。例如,以B=100,Min=20,S=20为例,为了使新内存页至少20次操作才继续分裂,可知MinS>=Min+S=40,MaxS>=2*MinS>=80,又由于B=100,且MaxS<=B-S=80,因此可以得出,MinS=40,MaxS=80。基于B、Min、S、MinS和MaxS可知,在一个内存页分裂后,新内存页的条目数在40到80之间,且至少20个插入或删除操作后才导致下一次分裂,合理设定B、Min、S、MinS和MaxS的取值,可以保证MVBT性能。
以下结合具体应用场景,对MVBT的插入操作和删除操作进行说明。参见图2B所示,在初始状态下,LMDB为空,第一次写事务用于插入Key5的数据,且第一次写事务的版本为1,则在内存页的第一个内存元素写入Key5、生存周期[1,+∞)与数据的对应关系。参见图2C所示,第二次写事务用于插入Key8的数据,且第二次写事务的版本为2,则在内存页的第二个内存元素写入Key8、生存周期[2,+∞)与数据的对应关系;与COW技术不同的是,在插入Key8的数据时,不是拷贝原内存页,在拷贝后的新内存页插入Key8的数据,而是直接在原内存页插入Key8的数据,避免一次拷贝操作。参见图2D所示,第三次写事务用于插入Key9的数据,且第三次写事务的版本为3,则可以在内存页的第三个内存元素写入Key9、生存周期[3,+∞)与数据的对应关系;与COW技术不同的是,在插入Key9的数据时,不是拷贝原内存页,在拷贝后的新内存页插入Key9的数据,而是直接在原内存页插入Key9的数据,避免一次拷贝操作。
以下结合图2A所示的应用场景,对MVBT的插入操作和删除操作进行进一步说明。在本应用场景中,是以B=6,Min=2,MinS=3,MaxS=5为例,即一次分裂后最少包含3个活Key,最多包含5个活Key。在第一次写事务结束后,LMDB中已经插入了11个Key,参见图2A所示。在此基础上,假设第二次写事务用于插入Key40的数据,且第二次写事务的版本为2,则在内存页2的第六个内存元素写入Key40、生存周期[2,+∞)与数据的对应关系,参见图2E所示。
然后,假设第三次写事务用于删除Key65的数据,且第三次写事务的版本为3,则将内存页3的第三个内存元素的生存周期修改为[1,3),参见图2F所示。在删除Key65的数据时,并不是从内存页3的第三个内存元素中删除Key65、生存周期与数据的对应关系,而是将生存周期修改为[1,3)。这样,基于生存周期[1,3),对于事务标识为1或2的读事务,可以读取第三个内存元素中的数据,而对于事务标识大于等于3的读事务,将无法读取第三个内存元素中的数据。然后,假设第四次写事务用于删除Key35的数据,第五次写事务用于删除Key15的数据,第六次写事务用于删除Key30的数据,第七次写事务用于删除Key25的数据,则处理后的LMDB参见图2G所示,对此处理过程不再赘述。
假设第八次写事务用于插入Key5的数据,由于内存页2已经被写满6个内存元素,无法容纳Key5的数据,因此进行分裂操作,将内存页2的所有活Key拷贝到新的内存页4,修改内存页2中Key10的生存周期和Key40的生存周期,并在根节点的第三个内存元素写入Key5、生存周期[8,+∞)与内存页4的页指针的对应关系,将第一个内存元素的生存周期修改为[1,8),参见图2H示。
在图2G的基础上,假设第八次写事务用于删除Key40的数据,由于删除操作会导致内存页2不满足约束条件Min,因此将内存页2和内存页3进行合并,才能满足MVBT的约束条件。由于合并后的内存页包括6个活Key,不满足约束条件MinS和MaxS,因此进行均摊操作,得到内存页4和内存页5。此外,还可以更新根节点的数据,对上述操作不再赘述,最终得到图2I的示意图。
在图2G的基础上,假设某个读事务用于读取Key25的数据,且读事务的事务标识为5,即读事务的版本为5,在此情况下,为精确查找Key25的数据,则:
先查询根节点的内存页1,由于Key25位于Key10与Key45之间,且版本5处于Key10对应的生存周期[1,+∞),因此,Key25处于Key10的页指针指向的内存页2,并查询内存页2。在内存页2中,先遍历内存页2的第一个内存元素,发现第一个内存元素为Key10,与待查询的Key25不匹配,因此遍历内存页2的第二个内存元素,发现第二个内存元素为Key15,与待查询的Key25不匹配,因此遍历内存页2的第三个内存元素,发现第三个内存元素为Key25,与待查询的Key25匹配。然后,还可以判断待查询的版本5是否处于第三个内存元素的生存周期[1,7);如果不处于,则继续遍历内存页2的第四个内存元素,以此类推;如果处于,则说明当前查询操作命中第三个内存元素,可以从第三个内存元素中读取到与Key25和版本5对应的数据,完成数据的查询操作。
综上所述,可以使用MVBT技术实现数据的写入和读取,在使用MVBT技术时,需要使用Key和生存周期进行数据的写入和读取,只有Key和生存周期均匹配,才能够查询到与Key和生存周期对应的数据。在生存周期[a,b)中,a和b是两个版本,a表示写事务在版本a中写入数据,b表示写事务在版本b中删除数据,这样,只有从版本a开始到版本b-1的读事务能够查询到该数据。
而且,只要不违背MVBT的约束条件,无论写入操作是增加、删除还是修改,需要拷贝的内存页很少,与采用COW技术的实现方式相比,MVBT技术通过对每个Key增加一个生存周期,从而降低内存页拷贝次数,节省CPU资源。
在传统方式中,是采用遍历方式获取目标内存元素,即从第1个内存元素开始依次遍历,一直到遍历到目标内存元素,需要耗费大量时间来执行遍历操作,影响页内访问速度。参见图2G所示,假设某个读事务用于读取Key25的数据,则内存页1的第1个内存元素是目标内存元素,内存页2的第3个内存元素是目标内存元素。在图2G中,是以6个内存元素为例,在实际应用中,内存元素数量(即B的取值)远远大于6个,如400个等。若需要从大量内存元素中遍历出目标内存元素,显然需要执行多次遍历操作,耗费大量时间来执行遍历操作,影响页内访问速度。例如,若目标内存元素是第300个内存元素,则从第1个内存元素开始进行遍历,在执行300次遍历操作后,才能够遍历到目标内存元素。若目标内存元素是第400个内存元素,则从第1个内存元素开始进行遍历,在执行400次遍历操作后,才能够遍历到目标内存元素,以此类推。
针对上述发现,本申请实施例中,可以为每个内存页设置排序数组,该排序数组中的每个数组元素用于表征该内存页的内存元素的位置偏移量。基于此,若内存页包括大量内存元素,则不需要从第一个内存元素开始进行遍历,而是从与内存页关联的排序数组中选择数组元素,并从该数组元素表征的位置偏移量对应的内存元素进行遍历,从而减少遍历次数,快速从大量内存元素中读取到目标内存元素,节省大量时间,提高页内访问速度,使查找效率大幅度提高,加强读写性能。
本实施例中的数据处理方法,可以应用于采用MVBT存储数据的网络设备(如路由器、交换机等),该网络设备的内存包括多个内存页,每个内存页包括至少一个内存元素。参见图2G所示,以3个内存页为例,即内存页1、内存页2和内存页3。在每个内存页中,均可以包括多个内存元素,如在内存页1中,Key10、生存周期[1,+∞)、内存页2的指针的对应关系,存储在第一个内存元素,且该内存元素在内存页1中的位置偏移量是1,Key45、生存周期[1,+∞)、内存页3的指针的对应关系,存储在第二个内存元素,且该内存元素在内存页1中的位置偏移量是2,其它内存页的内存元素类似,在此不再重复赘述。
在一个例子中,每个内存页均配置对应的排序数组,该排序数组中的每个数组元素用于表征内存元素在内存页中的位置偏移量。例如,参见图2G所示,内存页1配置对应的排序数组A,排序数组A中记录两个数组元素,第一个数组元素用于表征内存页1的第一个内存元素在内存页1中的位置偏移量1,第二个数组元素用于表征内存页1的第二个内存元素在内存页1中的位置偏移量2。
又例如,内存页2配置对应的排序数组B,排序数组B中记录六个数组元素,第一个数组元素用于表征内存页2的第一个内存元素在内存页2中的位置偏移量1,第二个数组元素用于表征内存页2的第二个内存元素在内存页2中的位置偏移量2,以此类推。对于排序数组的相关内容,在后续实施例介绍。
在上述应用场景下,参见图3A所示,为数据处理方法的流程示意图,该数据处理方法可以用于实现数据的写入过程,该方法可以包括以下步骤:
步骤311,在接收到写操作命令后,确定该写操作命令携带的第三Key对应的第二内存页。
步骤312,将该第三Key、该第三Key对应的生存周期和该第三Key对应的数据部分,存储到该第二内存页中的第三内存元素。
其中,在第二内存页是页节点时,则第三Key对应的数据部分是需要写入的数据,在第二内存页是非页节点时,则第三Key对应的数据部分是下一级内存页的指针。
例如,参见图2E所示,假设接收到写操作命令后执行第二次写事务,且写操作命令携带Key40和待写入的数据A,则第二次写事务的版本为2;然后,确定第三Key是Key40,且Key40对应的生存周期是[2,+∞),Key40对应的数据部分是数据A。此外,还可以确定第二内存页是内存页2,且第三内存元素是内存页2的第六个内存元素,对此确定过程不做限制。基于此,可以在内存页2的第六个内存元素中存储Key40、生存周期[2,+∞)与数据A的对应关系。
参见图2H所示,假设接收到写操作命令后执行第八次写事务,且写操作命令携带Key5和待写入的数据B,则第八次写事务用于插入Key5的数据B,且第八次写事务的版本为8;然后,确定第三Key是Key5,且Key5对应的生存周期是[8,+∞),Key5对应的数据部分是数据B。此外,还可以确定第二内存页是内存页4,且第三内存元素是内存页4的第三个内存元素。基于此,可以在内存页4的第三个内存元素中存储Key5、生存周期[8,+∞)与数据B的对应关系。
其中,可以先进行内存页的分裂操作,将内存页2的所有活Key拷贝到新的内存页4,然后确定第二内存页是内存页4,第三内存元素是内存页4的第三个内存元素。此外,还可以修改内存页2中Key10的生存周期和Key40的生存周期,在根节点的第三个内存元素写入Key5、生存周期[8,+∞)与内存页4的页指针的对应关系,将第一个内存元素的生存周期修改为[1,8),对此不再赘述。
其中,在根节点的第三个内存元素写入Key5、生存周期[8,+∞)与内存页4的页指针的对应关系时,可以确定第三Key是Key5,且Key5对应的生存周期是[8,+∞),Key5对应的数据部分是内存页4的页指针,确定第二内存页是内存页1,第三内存元素是内存页1的第三个内存元素。基于此,在内存页1的第三个内存元素中存储Key5、生存周期[8,+∞)与内存页4的页指针的对应关系。
当然,上述过程只是数据写入的示例,对此不做限制。在数据写入过程中,还可以涉及数据增加、删除、内存页分裂、内存页均摊、更新根节点的数据等操作,这些操作均需要满足MVBT的约束条件,对这些操作不再赘述。
步骤313,对该第二内存页中的每个内存元素的位置重新排序。
在一个例子中,对第二内存页中的每个内存元素的位置重新排序,可以包括但不限于:获取该第二内存页中的每个内存元素记录的Key。然后,可以按照每个Key的值从小到大的顺序,依次对每个Key进行排序,得到每个内存元素的位置排序结果;或者,可以按照每个Key的值从大到小的顺序,依次对每个Key进行排序,得到每个内存元素的位置排序结果。
步骤314,根据第三内存元素的位置排序结果,在第二内存页对应的第三排序数组中插入数组元素,并将第三内存元素在第二内存页中的位置偏移量记录到插入的该数组元素中。
其中,根据第三内存元素的位置排序结果,在第二内存页对应的第三排序数组中插入数组元素,可以包括但不限于:拷贝与第二内存页对应的第三排序数组,得到拷贝后的第三排序数组,并保留拷贝前的第三排序数组(即不删除第三排序数组);然后,根据该位置排序结果,确定第三内存元素在该位置排序结果中的位置,并根据该位置在拷贝后的第三排序数组中的对应位置插入一个数组元素。
参见图4A所示,为LMDB的一个示例,图4A中只是示出了内存页12,还可以包括其它内存页,图4A中并未示出。在内存页12的第一个内存元素,包括Key40、生存周期[25,+∞)与数据的对应关系;在内存页12的第二个内存元素,包括Key55、生存周期[25,+∞)与数据的对应关系;在内存页12的第三个内存元素,包括Key70、生存周期[25,+∞)与数据的对应关系;在内存页12的第四个内存元素,包括Key10、生存周期[32,+∞)与数据的对应关系。
参见图4A,在内存页12对应的排序数组中,第一个数组元素用于记录内存页12的第四个内存元素在内存页12中的位置偏移量4,第二个数组元素用于记录内存页12的第一个内存元素在内存页12中的位置偏移量1,第三个数组元素用于记录内存页12的第二个内存元素在内存页12中的位置偏移量2,第四个数组元素用于记录内存页12的第三个内存元素在内存页12中的位置偏移量3。
在图4A的基础上,假设收到写操作命令后执行第33次写事务,写操作命令携带Key60和待写入数据C,则第33次写事务用于插入Key60的数据C,第33次写事务的版本为33。确定第三Key是Key60,Key60对应的生存周期是[33,+∞),Key60对应的数据部分是数据C。确定第二内存页是内存页12,第三内存元素是内存页12的第五个内存元素,基于此,在内存页12的第五个内存元素中存储Key60、生存周期[33,+∞)与数据C的对应关系,参见图4B所示。
然后,获取内存页12中的每个内存元素记录的Key,并按照每个Key的值从小到大的顺序,依次对每个Key进行排序,得到的排序结果是Key10、Key40、Key55、Key60、Key70。由于Key10对应第四个内存元素、Key40对应第一个内存元素、Key55对应第二个内存元素、Key60对应第五个内存元素、Key70对应第三个内存元素,因此,每个内存元素的位置排序结果是第四个内存元素、第一个内存元素、第二个内存元素、第五个内存元素、第三个内存元素。
然后,拷贝与内存页12关联的排序数组1,得到排序数组2,在排序数组2中,第一个数组元素用于记录位置偏移量4,第二个数组元素用于记录位置偏移量1,第三个数组元素用于记录位置偏移量2,第四个数组元素用于记录位置偏移量3。针对写操作命令携带的Key60,由于Key60写入到内存页12的第五个内存元素,且第五个内存元素在位置排序结果中的位置是第4个位置,因此在排序数组2的第4个位置插入一个数组元素,并将插入的数组元素分配给第五个内存元素,即在该数组元素中记录第五个内存元素的位置偏移量5,得到图4B所示的排序数组2。在排序数组2中,第一个数组元素用于记录位置偏移量4,第二个数组元素用于记录位置偏移量1,第三个数组元素用于记录位置偏移量2,第四个数组元素用于记录位置偏移量5,第五个数组元素用于记录位置偏移量3。
当然,上述方式只是一个示例,对此不做限制。例如,可以按照Key的值从大到小的顺序,依次对内存页12的每个内存元素记录的Key进行排序。
在上述应用场景下,参见图3B所示,为数据处理方法的流程示意图,该数据处理方法可以用于实现数据的读取过程,该方法可以包括以下步骤:
步骤321,在接收到读操作命令后,确定该读操作命令携带的第一Key对应的第一内存页。
其中,第一内存页可以是页节点或者非页节点,页节点的数据部分是待读取的数据,而非页节点的数据部分是下一级内存页的指针。
例如,参见图2G所示,假设读操作命令中携带的第一Key是Key55,则先确定Key55对应的第一内存页是根节点,也就是内存页1,然后,采用图3B所示的流程,从内存页1中读取到与Key55对应的数据部分,具体读取过程参见后续实施例,从内存页1中读取到的数据部分是内存页3的指针。
然后,可以确定Key55对应的第一内存页是该指针指向的内存页,也就是内存页3,然后,采用图3B所示的流程,从内存页3中读取到与Key55对应的数据部分,具体读取过程参见后续实施例,从内存页3中读取到的数据部分是与Key55对应的数据。当然,若从内存页3中读取到的数据部分是下一级内存页的指针,则继续确定Key55对应的第一内存页,以此类推,一直到从内存页中读取到的数据部分是与Key55对应的数据,结束读取过程。
为了方面描述,本实施例中,以图4B为例进行说明,假设读操作命令中携带的第一Key是Key55,则确定与Key55对应的第一内存页是内存页12。
步骤322,从与第一内存页对应的第一排序数组中,获取第一数组元素表征的第一位置偏移量,并确定该第一位置偏移量对应的第一内存页中的第一内存元素。
其中,该第一数组元素可以为第一排序数组中中间位置的数组元素。
参见图4B所示,假设第一内存页是内存页12,则内存页12对应的第一排序数组为排序数组2,排序数组2的第一个数组元素记录位置偏移量4,第二个数组元素记录位置偏移量1,第三个数组元素记录位置偏移量2,第四个数组元素记录位置偏移量5,第五个数组元素记录位置偏移量3。然后,从排序数组2中选取中间位置的数组元素作为第一数组元素,也就是第三个数组元素。
因此,第一数组元素表征的第一位置偏移量是第三个数组元素记录的位置偏移量2,且位置偏移量2对应内存页12中的第二个内存元素,也就是说,第一位置偏移量对应的第一内存元素是内存页12中的第二个内存元素。
步骤323,判断第一Key和该第一Key对应的生存周期,与第一内存元素中记录的第二Key和生存周期是否匹配;如果是,则可以执行步骤324。
步骤324,从该第一内存元素中读取与第一Key对应的数据部分。
在一个例子中,针对步骤323,判断第一Key和该第一Key对应的生存周期,与第一内存元素中记录的第二Key和生存周期是否匹配是否匹配,可以包括:对于页节点,若第二Key与第一Key相同,则确定Key匹配,若第二Key与第一Key不同,则确定Key不匹配。若第一Key对应的生存周期处于第二Key对应的生存周期的范围内,则确定生存周期匹配,若第一Key对应的生存周期不处于第二Key对应的生存周期的范围内,则确定生存周期不匹配。若Key匹配且生存周期匹配,则步骤323的判断结果为匹配;若Key不匹配和/或生存周期不匹配,则步骤323的判断结果为不匹配。
例如,参见图2G所示,假设读操作命令中携带的第一Key是Key55,第二Key是内存页3中记录的Key55,则第一Key与第二Key相同,即Key匹配。假设第一Key对应的生存周期是2,由于生存周期2处于第二Key对应的生存周期[1,+∞)的范围内,即生存周期匹配。又例如,假设第一Key是Key55,第二Key是内存页3中记录的Key65,则第一Key与第二Key不同,即Key不匹配。假设第一Key对应的生存周期是4,由于生存周期4不处于第二KeyKey65对应的生存周期[1,3)的范围内,即生存周期不匹配。
对于非页节点,若第二Key与第一Key相同,或,第二Key与第一Key最接近且小于第一Key,则Key匹配,否则Key不匹配。若第一Key对应的生存周期处于第二Key对应的生存周期的范围内,则生存周期匹配,若第一Key对应的生存周期不处于第二Key对应的生存周期的范围内,则生存周期不匹配。若Key匹配且生存周期匹配,步骤323的判断结果为匹配;若Key不匹配和/或生存周期不匹配,步骤323的判断结果为不匹配。例如,参见图2G所示,假设读操作命令中携带的第一Key是Key45,第二Key是内存页1中记录的Key45,则第一Key与第二Key相同,即Key匹配。假设读操作命令中携带的第一Key是Key20,第二Key是内存页1中记录的Key10,由于第二Key与第一Key最接近且小于第一Key,因此Key匹配。假设读操作命令中携带的第一Key是Key50,第二Key是内存页1中记录的Key10,虽然第二Key小于第一Key,但是第二KeyKey10不是与第一KeyKey50最接近的(内存页1存在与第一KeyKey50更接近的Key45),因此Key不匹配。假设第一Key对应的生存周期是2,由于生存周期2处于第二Key对应的生存周期[1,+∞)的范围内,即生存周期匹配。
以下结合图4B对步骤323和步骤324进行说明。假设接收到读操作命令后执行第34次读事务,且读操作命令携带Key55,则第34次读事务用于读取Key55的数据,且第34次读事务的版本为34。然后,可以确定第二Key是Key55,且Key55对应的生存周期是[1,34)。在步骤322中,已经确定第一内存元素是内存页12中的第二个内存元素,即,第二个内存元素中记录的第二Key是Key55,第二个内存元素中记录的生存周期生存周期[25,+∞)。
由于内存元素中的关第二键字Key55与Key55相同,且Key55对应的生存周期是[1,34)处于生存周期[25,+∞)的范围内,因此,步骤323的判断结果为匹配,从第二个内存元素中读取与Key55对应的数据部分,即,可以从内存页12中读取到与Key55对应的数据。
在另一个例子中,步骤323之后,如果判断结果为否,则从与第一内存页对应的第一排序数组中,获取第二数组元素表征的第二位置偏移量,并确定该第二位置偏移量对应的第一内存页中的第二内存元素;然后,重复执行步骤323,直至第一Key和第一Key对应的生存周期,与内存元素中记录的第二Key和生存周期匹配,并从该内存元素中读取与第一Key对应的数据部分结束。
例如,在确定第二内存元素之后,可以判断第二内存元素中记录的Key和生存周期,与第一Key和该第一Key对应的生存周期是否匹配;如果是,则可以从该第二内存元素中读取与第一Key对应的数据部分。如果否,则进一步从与第一内存页对应的第一排序数组中,获取第三数组元素表征的第三位置偏移量,并确定该第三位置偏移量对应的第一内存页中的第三内存元素,并判断该第三内存元素中记录的Key和生存周期,与第一Key和该第一Key对应的生存周期是否匹配,以此类推,对于后续过程不再重复赘述。
其中,在判断结果为否时,则可以采用二分查找策略从第一排序数组中选取第二数组元素,并获取第二数组元素表征的第二位置偏移量。例如,第一排序数组中存在5个数组元素,第一次选取的第一数组元素是第3个数组元素(处于1-5的中间位置),第二次选取的第二数组元素是第4个数组元素(处于3-5的中间位置),或者第2个数组元素(处于1-3的中间位置),以此类推。
具体的,为了采用二分查找策略从第一排序数组中选取第二数组元素,则从与第一内存页对应的第一排序数组中,获取第二数组元素表征的第二位置偏移量之前,还可以包括:若第二Key大于第一Key,则可以将该第一排序数组中起始位置数组元素与中间位置数组元素之间的所有数组元素,确定为第一内存页对应的第二排序数组,并从第二排序数组中,获取数组元素表征的位置偏移量;也就是说,可以将第二排序数组中的中间位置的数组元素作为第二数组元素。若第二Key小于第一Key,则可以将该第一排序数组中中间位置数组元素与结束位置数组元素之间的所有数组元素,确定为第一内存页对应的第二排序数组,并从第二排序数组中,获取数组元素表征的位置偏移量;也就是说,可以将第二排序数组中的中间位置的数组元素作为第二数组元素。
参见图4B所示,假设接收到读操作命令后执行第35次读事务,且读操作命令携带Key60,则第35次读事务用于读取Key60的数据,且第35次读事务的版本为35。确定第一Key是Key60,第一Key对应的生存周期是[1,35)。假设第一内存页是内存页12,则内存页12对应的第一排序数组为排序数组2。
然后,从排序数组2中选取中间位置的数组元素,即第三个数组元素,该数组元素记录位置偏移量2,且位置偏移量2对应内存页12中的第二个内存元素,由于第二个内存元素中记录的第二Key是Key55,且Key55与Key60不同,因此,步骤323的判断结果可以为不匹配。
由于第二Key小于第一Key,因此,可以将排序数组2中中间位置数组元素(即第三个数组元素)与结束位置数组元素(即第五个数组元素)之间的所有数组元素,确定为内存页12对应的排序数组3,也就是说,该排序数组3的第一个数组元素(即上述排序数组2中的第三个数组元素)记录位置偏移量2,第二个数组元素记录位置偏移量5,第三个数组元素记录位置偏移量3。
然后,从排序数组3中选取中间位置的数组元素,即第二个数组元素,该数组元素记录位置偏移量5,且位置偏移量5对应内存页12中的第五个内存元素,由于第五个内存元素中记录的第二Key是Key60,第五个内存元素中记录的生存周期是生存周期[33,+∞),且第二Key与第一Key相同,第一Key对应的生存周期是[1,35)处于生存周期[33,+∞),因此,步骤323的判断结果可以为匹配,并可以从第五个内存元素中读取数据C。
在上述实施例中,若排序数组存在偶数个数组元素,如存在4个数组元素,则中间位置的数组元素,可以是第2个数组元素,也可以是第3个数组元素。
在上述实施例中,每个内存页还可以包括排序数组的指针,该指针用于指向与该内存页关联的排序数组,即通过该指针可以查询到该排序数组。
在上述实施例中,涉及Key的比较和生存周期的比较,以下对这一比较过程进行说明。其中,可以将Key和生存周期的组合称为比较参数,后续以{a,[b,c)}的形式表示,a是比较参数的Key,[b,c)是比较参数的生存周期。
在一个例子中,针对写入操作的比较过程,可以先比较Key,Key大的则比较参数大,Key小的则比较参数小。如果Key相同,则比较生存周期,生存周期晚的则比较参数大,生存周期早的则比较参数小。
例如,比较参数1为{3,[1,+∞)},比较参数2为{4,[5,6)},由于Key4大于Key3,因此,比较参数2大于比较参数1。又例如,比较参数1为{3,[1,4)},比较参数2为{3,[6,+∞)},由于Key相同,且生存周期[6,+∞)的起始版本6比生存周期[1,4)的起始版本1晚,因此,比较参数2大于比较参数1。
在一个例子中,针对查询操作的比较过程,可以将待查询的比较参数称为比较参数1(如Search比较参数),并将内存元素中记录的比较参数称为比较参数2(如Compare比较参数)。针对比较参数1中的生存周期,可以将其转换为一个唯一值,而不是区间值,如上述生存周期[1,35)对应的唯一版本是35。
可以先比较Key,Key大的则比较参数大,Key小的则比较参数小。如果Key相同,则比较生存周期;如果比较参数1的版本大于等于比较参数2的生存周期的结束版本,则比较参数1大于比较参数2;如果比较参数1的版本小于比较参数2的生存周期的开始版本,则比较参数1小于比较参数2;如果比较参数1的版本大于等于比较参数2的生存周期的开始版本,且比较参数1的版本小于比较参数2的生存周期的结束版本,则比较参数1等于比较参数2。
例如,基于上述的比较策略,若比较参数1为{3,8},且比较参数2为{3,[10,+∞)},则比较参数1可以小于比较参数2;若比较参数1为{3,8},且比较参数2为{3,[2,6)},则比较参数1可以大于比较参数2;若比较参数1为{3,8},而比较参数2为{3,[8,9)},则比较参数1可以等于比较参数2;若比较参数1为{3,8},而比较参数2为{3,[6,8)},则比较参数1可以大于比较参数2。
基于上述技术方案,本申请实施例中,若内存页包括大量内存元素,不需要从第一个内存元素开始进行遍历,而是从与内存页关联的排序数组中选择数组元素,并从该数组元素表征的位置偏移量对应的内存元素进行遍历,在保证读事务并发访问的情况下,可以减少遍历次数,并可以快速从大量内存元素中读取到目标内存元素,节省大量时间,提高页内访问速度,达到页内访问速度和整体访问速度的平衡,使得查找效率大幅度提高,加强了MVBT的读写性能。
在一个例子中,若读操作命令携带多个Key,针对当前选取的待查询Key,可以判断是否已经存在与该读操作命令对应的堆栈数组。若不存在,则可以创建与该读操作命令对应的堆栈数组,并在该堆栈数组中添加该待查询Key对应的访问路径信息;其中,该访问路径信息可以包括:待查询Key对应的内存页的页标识、内存元素中记录的Key和生存周期。若存在,则可以根据该堆栈数组中记录的访问路径信息,确定与该待查询Key对应的内存页;在查询到该待查询Key对应的数据部分后,在该堆栈数组中添加该待查询Key对应的访问路径信息。
其中,堆栈数组是一个Stack(堆栈)结构,用于记录一次查询操作的所有访问路径信息,堆栈数组的每个路径条目包括一个访问路径信息,如内存页的页标识、内存元素记录的Key和生存周期等。例如,堆栈数组的第1个路径条目用于记录第一层内存页的访问路径信息,堆栈数组的第2个路径条目用于记录第二层内存页的访问路径信息,依次类推,直到最后一层内存页。通过堆栈数组可以回溯访问路径上的所有内存页,继而完成添加和删除等操作。此外,堆栈数组还可以包括一个depth变量,表示堆栈数组中的路径条目数量。
参见图5A所示,假设接收到读操作命令后执行第1次读事务,且该读操作命令中携带有Key5和Key6,则该第1次读事务用于读取Key5的数据,且该第1次读事务也用于读取Key6的数据,而且,第1次读事务的版本可以为1。然后,从读操作命令中选取Key5,并读取Key5的数据。为了读取Key5的数据,先判断是否已经存在与该读操作命令对应的堆栈数组。若不存在,则创建与该读操作命令对应的堆栈数组,在初始状态下,该堆栈数组可以为空。然后,可以采用步骤321-步骤324的流程读取Key5的数据。
其中,先确定Key5对应的第一内存页是根节点(即内存页1),然后,参见图5B所示,确定内存页1的第二个内存元素与Key5和生存周期1匹配,因此,可以在堆栈数组中添加一个路径条目,该路径条目用于记录内存页1的页标识、第二个内存元素记录的Key4和生存周期[1,2),并将depth变量设置为1,表示当前存在一个内存页的路径信息,参见如下所示的堆栈数组。
Stack.depth=1;
Stack.path[1]=内存页1、Key4、生存周期[1,2)。
基于内存页1的第二个内存元素记录的指针,确定Key5对应的第一内存页是内存页6,参见图5C所示,确定内存页6的第二个内存元素与Key5和生存周期1匹配,因此,可以在堆栈数组中添加一个路径条目,该路径条目用于记录内存页6的页标识、第二个内存元素记录的Key5和生存周期[1,2),并将depth变量设置为2,表示当前存在两个内存页的路径信息,如下所示的堆栈数组。
Stack.depth=2;
Stack.path[1]=内存页1、Key4、生存周期[1,2);
Stack.path[2]=内存页6、Key5、生存周期[1,2)。
进一步的,内存页6的第二个内存元素记录的数据,也就是与Key5对应的数据,即查询到与Key5对应的数据。然后,可以从读操作命令中选取Key6,并读取Key6的数据。为了读取Key6的数据,先判断是否已经存在与该读操作命令对应的堆栈数组。若存在,则根据该堆栈数组中记录的访问路径信息,确定与Key6对应的第一内存页,也就是说,不用从根节点开始依次遍历到第一内存页,从而减少遍历次数,例如,若MVBT树中共存在五级节点,可以直接确定到第五级的第一内存页,不用再确定第一级至第四级的第一内存页。
例如,由于堆栈数组的访问路径信息中,Key5与读操作命令中的Key6最接近,因此,将Key5对应的内存页6确定为Key6对应的第一内存页。然后,确定内存页6的第三个内存元素与Key6和生存周期1匹配,即内存页6的第三个内存元素记录的数据,也就是与Key6对应的数据,此外,可以在堆栈数组中添加一个路径条目,该路径条目用于记录内存页6的页标识、第三个内存元素记录的Key6和生存周期[1,2),并将depth变量设置为3,表示当前存在三个内存页的路径信息,参见如下所示的堆栈数组。
Stack.depth=2;
Stack.path[1]=内存页1、Key4、生存周期[1,2);
Stack.path[2]=内存页6、Key5、生存周期[1,2);
Stack.path[3]=内存页6、Key6、生存周期[1,2)。
在上述实施例的基础上,还可以涉及“终结”等操作,具体的,当需要对内存页(page,可以称为第一目标内存页)插入内存元素(包括Key、Value和生存周期,可以称为第一内存元素)时,若第一目标内存页中内存元素的数量等于预设内存元素数量上限(预设第一数量阈值),则创建新的内存页(可以称为第一内存页),将第一目标内存页中包含活Key的内存元素和第一内存元素插入第一内存页,并将第一目标内存页中的活Key标注为死Key(即对第一目标内存页进行终结)。
其中,若第一目标内存页中包含活Key的内存元素和第一内存元素的数量之和大于预设第一数量阈值,则创建两个第一内存页,并将第一目标内存页中包含活Key的内存元素和第一内存元素平分插入至每一个第一内存页(终结并均摊);若第一目标内存页中包含活Key的内存元素和第一内存元素的数量之和小于等于预设第一数量阈值,则创建一个第一内存页,并将第一目标内存页中包含活Key的内存元素和第一内存元素插入至第一内存页(终结并插入)。
当需要对内存页(称为第二目标内存页)中的内存元素进行删除(将内存元素中包括的活Key设置为死Key)时,若第二目标内存页不是根结点页,且第二目标内存页中内存元素的数量小于预设内存元素数量下限(预设第二数量阈值),则创建新的内存页(可以称为第二内存页),将第二目标内存页与第二目标内存页的兄弟页(与第二目标内存页同层,且同父结点)中包含活Key的内存元素插入第二内存页,并将第二目标内存页和第二目标内存页的兄弟页中的活Key标注为死Key(即对第二目标内存页和第二目标内存页的兄弟页进行终结)。
其中,若第二目标内存页和第二目标内存页的兄弟页中包含活Key的内存元素的数量之和大于预设第一数量阈值,则创建两个第二内存页,并将第二目标内存页和第二目标内存页的兄弟页中包含活Key的内存元素平分插入至每一个第二内存页(终结并分裂);若第二目标内存页和第二目标内存页的兄弟页中包含活Key的内存元素的数量之和小于等于预设第一数量阈值,则创建一个第二内存页,并将第二目标内存页和第二目标内存页的兄弟页中包含活Key的内存元素插入至第二内存页(终结并合并)。
基于与上述方法同样的构思,本申请实施例中还提出一种数据处理装置,应用于采用MVBT存储数据的网络设备,所述网络设备的内存包括多个内存页,每个内存页包括至少一个内存元素,每个内存页均配置对应的排序数组,所述排序数组中的每个数组元素用于表征内存元素在所述内存页中的位置偏移量,如图6所示,为本申请提出的数据处理装置的结构图,所述装置包括:
确定模块601,用于在接收到读操作命令后,确定读操作命令携带的第一键Key对应的第一内存页;
获取模块602,用于从与所述第一内存页对应的第一排序数组中,获取第一数组元素表征的第一位置偏移量,并确定所述第一位置偏移量对应的所述第一内存页中的第一内存元素;
判断模块603,用于判断所述第一Key和所述第一Key对应的生存周期,与所述第一内存元素中记录的第二Key和生存周期是否匹配;
读取模块604,用于当判断结果为是时,从所述第一内存元素中读取与所述第一Key对应的数据部分。
所述获取模块602,还用于当判断结果为否时,从与所述第一内存页对应的第一排序数组中,获取第二数组元素表征的第二位置偏移量,确定所述第二位置偏移量对应的所述第一内存页中的第二内存元素;
所述判断模块603,还用于重复执行判断所述第一Key和所述第一Key对应的生存周期,与内存元素中记录的Key和生存周期是否匹配的步骤,直至所述第一Key和所述第一Key对应的生存周期,与内存元素中记录的Key和生存周期匹配,由读取模块604从内存元素中读取与所述第一Key对应的数据部分。
所述获取模块602,还用于在从与所述第一内存页对应的第一排序数组中,获取第二数组元素表征的第二位置偏移量之前,若所述第二Key大于所述第一Key,将所述第一排序数组中起始位置数组元素与中间位置数组元素之间的所有数组元素,确定为所述第一内存页对应的第二排序数组,并从所述第二排序数组中,获取数组元素表征的位置偏移量;若所述第二Key小于所述第一Key,将所述第一排序数组中中间位置数组元素与结束位置数组元素之间的所有数组元素,确定为所述第一内存页对应的第二排序数组,并从所述第二排序数组中,获取数组元素表征的位置偏移量。
在一个例子中,所述确定模块601,还用于在接收到写操作命令后,确定所述写操作命令携带的第三Key对应的第二内存页;
所述装置还包括(在图中未示出):存储模块,用于将所述第三Key、所述第三Key对应的生存周期和所述第三Key对应的数据部分存储到所述第二内存页中的第三内存元素;
排序模块,用于对所述第二内存页中的每个内存元素的位置重新排序;
所述存储模块,还用于根据第三内存元素的位置排序结果,在所述第二内存页对应的第三排序数组中插入数组元素,并将所述第三内存元素在所述第二内存页中的位置偏移量记录到插入的所述数组元素中。
所述排序模块对所述第二内存页中的每个内存元素的位置重新排序时具体用于:获取所述第二内存页中的每个内存元素记录的Key;按照每个Key的值从小到大的顺序,依次对每个Key进行排序,得到每个内存元素的位置排序结果;或者,按照每个Key的值从大到小的顺序,依次对每个Key进行排序,得到每个内存元素的位置排序结果。
所述存储模块根据第三内存元素的位置排序结果,在所述第二内存页对应的第三排序数组中插入数组元素时具体用于:拷贝与所述第二内存页对应的第三排序数组,得到拷贝后的第三排序数组,并保留拷贝前的第三排序数组;根据位置排序结果,确定所述第三内存元素在所述位置排序结果中的位置,并根据所述位置在所述拷贝后的第三排序数组中的对应位置插入一个数组元素。
在一个例子中,内存页还包括指针,所述指针用于指向与所述内存页关联的排序数组。
在一个例子中,若所述读操作命令携带多个Key,针对当前选取的待查询Key:
所述判断模块603还用于判断是否已经存在与所述读操作命令对应的堆栈数组;
所述存储模块还用于当判断结果为不存在时,则创建与所述读操作命令对应的堆栈数组,并在所述堆栈数组中添加所述待查询Key对应的访问路径信息;其中,所述访问路径信息包括:所述待查询Key对应的内存页的页标识、内存元素中记录的Key和生存周期。
所述存储模块还用于当判断结果为存在时,根据所述堆栈数组中记录的访问路径信息,确定与所述待查询Key对应的内存页;在查询到待查询Key对应的数据部分后,在所述堆栈数组中添加所述待查询Key对应的访问路径信息。
基于上述技术方案,本申请实施例中,若内存页包括大量内存元素,不需要从第一个内存元素开始进行遍历,而是从与内存页关联的排序数组中选择数组元素,并从该数组元素表征的位置偏移量对应的内存元素进行遍历,在保证读事务并发访问的情况下,可以减少遍历次数,并可以快速从大量内存元素中读取到目标内存元素,节省大量时间,提高页内访问速度,达到页内访问速度和整体访问速度的平衡,使得查找效率大幅度提高,加强了MVBT的读写性能。
本申请实施例提供的网络设备,从硬件层面而言,硬件架构示意图具体可以参见图7所示,可以包括:机器可读存储介质和处理器,其中:
机器可读存储介质:存储指令代码。
处理器:与机器可读存储介质通信,读取和执行机器可读存储介质中存储的所述指令代码,实现本申请上述示例公开的数据处理操作。
这里,机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(RadomAccess Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (13)
1.一种数据处理方法,其特征在于,应用于采用多版本B+树MVBT存储数据的网络设备,所述网络设备的内存包括多个内存页,每个内存页包括至少一个内存元素,每个内存页均配置对应的排序数组,所述排序数组中的每个数组元素用于表征内存元素在所述内存页中的位置偏移量,所述方法包括:
在接收到读操作命令后,确定所述读操作命令携带的第一键Key对应的第一内存页;
从与所述第一内存页对应的第一排序数组中,获取第一数组元素表征的第一位置偏移量,并确定所述第一位置偏移量对应的所述第一内存页中的第一内存元素;其中,所述第一数组元素为所述第一排序数组中中间位置的数组元素;
判断所述第一Key和所述第一Key对应的生存周期,与所述第一内存元素中记录的第二Key和生存周期是否匹配;
如果是,从所述第一内存元素中读取与所述第一Key对应的数据部分。
2.根据权利要求1所述的方法,其特征在于,所述判断所述第一Key和所述第一Key对应的生存周期,与所述第一内存元素中记录的第二Key和生存周期是否匹配之后,所述方法还包括:
如果否,则从与所述第一内存页对应的第一排序数组中,获取第二数组元素表征的第二位置偏移量,并确定所述第二位置偏移量对应的所述第一内存页中的第二内存元素;
重复执行判断所述第一Key和所述第一Key对应的生存周期,与内存元素中记录的Key和生存周期是否匹配的步骤,直至所述第一Key和所述第一Key对应的生存周期,与内存元素中记录的Key和生存周期匹配,并从内存元素中读取与所述第一Key对应的数据部分结束。
3.根据权利要求2所述的方法,其特征在于,所述从与所述第一内存页对应的第一排序数组中,获取第二数组元素表征的第二位置偏移量之前,所述方法还包括:
若所述第二Key大于所述第一Key,将所述第一排序数组中起始位置数组元素与中间位置数组元素之间的所有数组元素,确定为所述第一内存页对应的第二排序数组,并从所述第二排序数组中,获取数组元素表征的位置偏移量;
若所述第二Key小于所述第一Key,将所述第一排序数组中中间位置数组元素与结束位置数组元素之间的所有数组元素,确定为所述第一内存页对应的第二排序数组,并从所述第二排序数组中,获取数组元素表征的位置偏移量。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在接收到写操作命令后,确定所述写操作命令携带的第三Key对应的第二内存页;
将所述第三Key、所述第三Key对应的生存周期和所述第三Key对应的数据部分存储到所述第二内存页中的第三内存元素;
对所述第二内存页中的每个内存元素的位置重新排序;
根据第三内存元素的位置排序结果,在所述第二内存页对应的第三排序数组中插入数组元素,并将所述第三内存元素在所述第二内存页中的位置偏移量记录到插入的所述数组元素中。
5.根据权利要求4所述的方法,其特征在于,所述对所述第二内存页中的每个内存元素的位置重新排序,包括:
获取所述第二内存页中的每个内存元素记录的Key;
按照每个Key的值从小到大的顺序,依次对每个Key进行排序,得到每个内存元素的位置排序结果;
或者,
按照每个Key的值从大到小的顺序,依次对每个Key进行排序,得到每个内存元素的位置排序结果。
6.根据权利要求4所述的方法,其特征在于,所述根据第三内存元素的位置排序结果,在所述第二内存页对应的第三排序数组中插入数组元素,包括:
拷贝与所述第二内存页对应的第三排序数组,得到拷贝后的第三排序数组,并保留拷贝前的第三排序数组;
根据位置排序结果,确定所述第三内存元素在所述位置排序结果中的位置,并根据所述位置在所述拷贝后的第三排序数组中的对应位置插入一个数组元素。
7.根据权利要求1-6任一项所述的方法,其特征在于,内存页还包括指针,所述指针用于指向与所述内存页关联的排序数组。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述读操作命令携带多个Key,针对当前选取的待查询Key,判断是否已经存在与所述读操作命令对应的堆栈数组;
若不存在,则创建与所述读操作命令对应的堆栈数组,并在所述堆栈数组中添加所述待查询Key对应的访问路径信息;
其中,所述访问路径信息包括:所述待查询Key对应的内存页的页标识、内存元素中记录的Key和生存周期。
9.根据权利要求8所述的方法,其特征在于,所述判断是否已经存在与所述读操作命令对应的堆栈数组之后,所述方法还包括:
若存在,则根据所述堆栈数组中记录的访问路径信息,确定与所述待查询Key对应的内存页;
在查询到待查询Key对应的数据部分后,在所述堆栈数组中添加所述待查询Key对应的访问路径信息。
10.一种数据处理装置,其特征在于,应用于采用多版本B+树MVBT存储数据的网络设备,所述网络设备的内存包括多个内存页,每个内存页包括至少一个内存元素,每个内存页均配置对应的排序数组,所述排序数组中的每个数组元素用于表征内存元素在所述内存页中的位置偏移量,所述装置包括:
确定模块,用于在接收到读操作命令后,确定所述读操作命令携带的第一键Key对应的第一内存页;
获取模块,用于从与所述第一内存页对应的第一排序数组中,获取第一数组元素表征的第一位置偏移量,并确定所述第一位置偏移量对应的所述第一内存页中的第一内存元素;其中,所述第一数组元素为所述第一排序数组中中间位置的数组元素;
判断模块,用于判断所述第一Key和所述第一Key对应的生存周期,与所述第一内存元素中记录的第二Key和生存周期是否匹配;
读取模块,用于当判断结果为是时,从所述第一内存元素中读取与所述第一Key对应的数据部分。
11.根据权利要求10所述的装置,其特征在于,
所述获取模块,还用于当判断结果为否时,从与所述第一内存页对应的第一排序数组中,获取第二数组元素表征的第二位置偏移量,并确定所述第二位置偏移量对应的所述第一内存页中的第二内存元素;
所述判断模块,还用于重复执行判断所述第一Key和所述第一Key对应的生存周期,与内存元素中记录的Key和生存周期是否匹配的步骤,直至所述第一Key和所述第一Key对应的生存周期,与内存元素中记录的Key和生存周期匹配,由所述读取模块从内存元素中读取与所述第一Key对应的数据部分。
12.根据权利要求11所述的装置,其特征在于,
所述获取模块,还用于在从与所述第一内存页对应的第一排序数组中,获取第二数组元素表征的第二位置偏移量之前,若所述第二Key大于所述第一Key,将所述第一排序数组中起始位置数组元素与中间位置数组元素之间的所有数组元素,确定为所述第一内存页对应的第二排序数组,并从所述第二排序数组中,获取数组元素表征的位置偏移量;若所述第二Key小于所述第一Key,将所述第一排序数组中中间位置数组元素与结束位置数组元素之间的所有数组元素,确定为所述第一内存页对应的第二排序数组,并从所述第二排序数组中,获取数组元素表征的位置偏移量。
13.根据权利要求10所述的装置,其特征在于,
所述确定模块,还用于在接收到写操作命令后,确定写操作命令携带的第三Key对应的第二内存页;
所述装置还包括:存储模块,用于将所述第三Key、所述第三Key对应的生存周期和所述第三Key对应的数据部分存储到所述第二内存页中的第三内存元素;
排序模块,用于对所述第二内存页中的每个内存元素的位置重新排序;
所述存储模块,还用于根据第三内存元素的位置排序结果,在所述第二内存页对应的第三排序数组中插入数组元素,并将所述第三内存元素在所述第二内存页中的位置偏移量记录到插入的所述数组元素中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810804364.3A CN109325022B (zh) | 2018-07-20 | 2018-07-20 | 一种数据处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810804364.3A CN109325022B (zh) | 2018-07-20 | 2018-07-20 | 一种数据处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109325022A CN109325022A (zh) | 2019-02-12 |
CN109325022B true CN109325022B (zh) | 2021-04-27 |
Family
ID=65264051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810804364.3A Active CN109325022B (zh) | 2018-07-20 | 2018-07-20 | 一种数据处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109325022B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110196856B (zh) * | 2019-05-09 | 2022-08-02 | 腾讯科技(深圳)有限公司 | 一种分布式数据读取方法及装置 |
CN112579602B (zh) * | 2020-12-22 | 2023-06-09 | 杭州趣链科技有限公司 | 多版本数据存储方法、装置、计算机设备及存储介质 |
CN113328959B (zh) * | 2021-04-13 | 2022-05-27 | 新华三信息安全技术有限公司 | 一种报文转发方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102331949A (zh) * | 2011-10-12 | 2012-01-25 | 华为技术有限公司 | 一种虚拟机内存快照生成和恢复方法、装置及系统 |
CN102402622A (zh) * | 2011-12-27 | 2012-04-04 | 北京人大金仓信息技术股份有限公司 | 嵌入式内存数据库的内存页面管理调度方法 |
CN107092656A (zh) * | 2017-03-23 | 2017-08-25 | 中国科学院计算技术研究所 | 一种树状结构数据处理方法及系统 |
-
2018
- 2018-07-20 CN CN201810804364.3A patent/CN109325022B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102331949A (zh) * | 2011-10-12 | 2012-01-25 | 华为技术有限公司 | 一种虚拟机内存快照生成和恢复方法、装置及系统 |
CN102402622A (zh) * | 2011-12-27 | 2012-04-04 | 北京人大金仓信息技术股份有限公司 | 嵌入式内存数据库的内存页面管理调度方法 |
CN107092656A (zh) * | 2017-03-23 | 2017-08-25 | 中国科学院计算技术研究所 | 一种树状结构数据处理方法及系统 |
Non-Patent Citations (2)
Title |
---|
一种基于Spark的分布式时态索引方法;郑晓东 等;《计算机应用与软件》;20180512;第35卷(第5期);第102-108页 * |
一种面向事务型数据库的无锁并发B+tree索引结构;李乔 等;《高技术通讯》;20170115;第27卷(第1期);第2-4节 * |
Also Published As
Publication number | Publication date |
---|---|
CN109325022A (zh) | 2019-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109933570B (zh) | 一种元数据管理方法、系统及介质 | |
US9672235B2 (en) | Method and system for dynamically partitioning very large database indices on write-once tables | |
US8868926B2 (en) | Cryptographic hash database | |
KR102564170B1 (ko) | 데이터 객체 저장 방법, 장치, 및 이를 이용한 컴퓨터 프로그램이 저장되는 컴퓨터 판독가능한 저장 매체 | |
CN111190904B (zh) | 一种图-关系数据库混合存储的方法和装置 | |
CN109325022B (zh) | 一种数据处理方法和装置 | |
CN111538724B (zh) | 管理索引的方法 | |
CN109063192B (zh) | 一种高性能海量文件存储系统工作方法 | |
CN113407550A (zh) | 数据存储及查询方法、装置及数据库系统 | |
CN109189759B (zh) | Kv存储系统中的数据读取方法、数据查询方法、装置及设备 | |
US20170083537A1 (en) | Mapping logical identifiers using multiple identifier spaces | |
CN108038253B (zh) | 一种日志查询的处理方法及装置 | |
CN105183391B (zh) | 一种分布式数据平台下数据存储的方法和装置 | |
JP4825719B2 (ja) | 高速ファイル属性検索 | |
CN114116612B (zh) | 一种基于b+树索引归档文件的存取方法 | |
CN115935020A (zh) | 一种图数据存储方法和装置 | |
CN113392089B (zh) | 一种数据库索引优化方法及可读存储介质 | |
CN117271531B (zh) | 一种数据存储方法、系统、设备及介质 | |
CN109388641B (zh) | 一种检索键值数据库中键的共同前缀的方法、设备、介质 | |
CN111552438A (zh) | 一种对象写入的方法、装置、服务器和存储介质 | |
CN115145954A (zh) | 一种数据查询方法、数据存储方法及装置 | |
CN115563116A (zh) | 一种数据库表扫描方法、装置以及设备 | |
CN115599295A (zh) | 一种存储系统的节点扩容方法和装置 | |
CN109325023B (zh) | 一种数据处理方法及装置 | |
CN110413617B (zh) | 一种根据数据量的大小动态调节哈希表组的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |