CN109656836A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN109656836A
CN109656836A CN201811585119.4A CN201811585119A CN109656836A CN 109656836 A CN109656836 A CN 109656836A CN 201811585119 A CN201811585119 A CN 201811585119A CN 109656836 A CN109656836 A CN 109656836A
Authority
CN
China
Prior art keywords
region
memory
typei
internal fragmentation
target memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811585119.4A
Other languages
English (en)
Inventor
唐侃毅
刘定星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Technologies Co Ltd
Original Assignee
New H3C Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Technologies Co Ltd filed Critical New H3C Technologies Co Ltd
Priority to CN201811585119.4A priority Critical patent/CN109656836A/zh
Publication of CN109656836A publication Critical patent/CN109656836A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0871Allocation or management of cache space

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据处理方法及装置,所述方法包括:划分多个不同类型的内存区域;其中,不同类型的内存区域用于存储不同类型的数据,任一类型的内存区域包括预设数量的内存分片,同一类型的内存区域中各内存分片大小相同;基于所述多个不同类型的内存区域响应针对不同类型的内存区域的内存分片申请请求和释放请求。应用本发明实施例可以优化内存空间管理,降低内存泄漏的概率。

Description

一种数据处理方法及装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据处理方法及装置。
背景技术
内存泄漏(Memory Leak)是指程序中已动态分配的堆内存由于某种原因程序未释放或无法释放,造成系统内存的浪费,进而导致程序运行速度减慢甚至系统崩溃等严重后果。
随着计算机应用需求的日益增加,应用程序的设计与开发也相应的日趋复杂,开发人员在程序实现的过程中处理的变量也大量增加;此外,随着应用类型的日益增加,内存管理也越来越重要,如何有效进行内存分配和释放,防止内存泄漏的问题变得越来越突出。
发明内容
本发明提供一种数据处理方法及装置,以解决现有内存管理技术容易出现内存泄漏的问题。
根据本发明的第一方面,提供一种数据处理方法,包括:
划分多个不同类型的内存区域;其中,不同类型的内存区域用于存储不同类型的数据,任一类型的内存区域包括预设数量的内存分片,同一类型的内存区域中各内存分片大小相同;
基于所述多个不同类型的内存区域响应针对不同类型的内存区域的内存分片申请请求和释放请求。
根据本发明的第二方面,提供一种数据处理装置,包括:
划分单元,用于划分多个不同类型的内存区域;其中,不同类型的内存区域用于存储不同类型的数据,任一类型的内存区域包括预设数量的内存分片,同一类型的内存区域中各内存分片大小相同;
处理单元,用于基于所述多个不同类型的内存区域响应针对不同类型的内存区域的内存分片申请请求和释放请求。
应用本发明公开的技术方案,通过划分多个不同类型的内存区域,各不同类型的内存区域用于存储不同类型的数据,任一类型的内存区域包括预设数量的相同大小的内存分片,当不同类型的数据需要进行内存申请和释放时,以内存分片作为最小内存单元进行内存空间的分配和释放,优化了内存空间管理,降低了内存泄漏的概率。
附图说明
图1是本发明实施例提供的一种数据处理方法的流程示意图;
图2是本发明实施例提供的一种内存区域划分的示意图;
图3A是本发明实施例提供的一种单个BUF申请和释放的示意图;
图3B是本发明实施例提供的一种批量BUF申请和释放的示意图;
图4是本发明实施例提供的一种数据处理装置的结构示意图;
图5是本发明实施例提供的另一种数据处理装置的结构示意图;
图6是本发明实施例提供的另一种数据处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明实施例中技术方案作进一步详细的说明。
请参见图1,为本发明实施例提供的一种数据处理方法的流程示意图,其中,该数据处理方法可以应用于以SSD(Solid State Disk,固态硬盘)为存储介质的网络设备,如图1所示,该数据处理方法可以包括以下步骤:
步骤101、划分多个不同类型的内存区域,其中,该多个不同类型的内存区域用于存储不同类型的数据,任一类型的内存区域包括预设数量的内存分片,同一类型的内存区域中各内存分片大小相同。
本发明实施例中,考虑到现有使用malloc、recalloc、calloc、free等函数直接对内存进行申请或释放操作的实现方式中,分配的内存的大小和位置随机性过大,且各种不同类型数据分配的内存空间相互混杂,不利于内存空间管理,容易导致内存泄漏的发生,因此,为了优化内存空间管理,减少内存泄漏的发生,可以在网络设备的内存空间划分多个不同类型的内存区域,该多个不同类型的内存区域可以用于存储不同类型的数据,任一类型的内存区域包括预设数量的内存分片,进而,可以以内存分片为最小内存单元进行内存申请和释放。
其中,同一类型内存区域中各内存分片大小相同;不同类型内存区域内存分片大小可以相同,也可以不同。
举例来说,可以预先配置需要使用的内存区域的类型、各类型内存区域下内存分片的大小、各类型内存区域下内存分片的数量等。在系统初始化时,可以根据上述配置对内存空间进行初始化,实现内存区域的划分。
其中,各类型内存区域下内存分片的数量可以根据对应类型数据的存储需求(可以由管理人员根据经验证确定)确定,以保证为各类型数据预留足够的内存空间。
可选地,上述多个不同类型的内存区域可以包括但不限于用于存储指令的内存区域、用于存储Boot(引导)信息的内存区域、用于存储CPU(Center Process Unit,中央处理单元)运行信息的内存区域、用于存储指令状态的内存区域、用于存储系统中垃圾回收信息的内存区域、用于存储错误信息的内存区域、用于存储临时数据的内存区域、用于存储Plane(平面)状态的内存区域、用于存储Block(区块)状态的存储区域以及用于存储Die(核心)状态的存储区域等。
在本发明其中一个实施例中,上述划分多个不同类型的内存区域,可以包括:
将一段连续的内存空间划分为多个不同类型的内存区域;
其中,上述多个不同类型的内存区域的首地址满足以下条件:
BASETYPEi+1=BASETYPEi+SIZETYPEi
其中,1≤i≤n-1,n为不同类型的内存区域的数量,BASETYPEi为多个不同类型的内存区域中第i个内存区域的首地址,SIZETYPEi为该第i个内存区域所占的内存空间大小。
在该实施例中,为了便于内存空间管理,可以将一段连续的内存空间划分为多个不同类型的内存区域。
其中,多个不同类型的内存区域在该连续内存空间中的顺序可以随机或者按照其它策略确定,本发明实施例对此不做限定。
举例来说,请参见图2,多个类型的内存区域在内存空间中的分布可以如图2所示,各类型内存区域在内存中的位置由两个因素决定:其一为BASE(首地址),其二为SIZE(大小)。二者的值可以根据需求设定。
其中,TYPE1的BASE地址(BASETYPE1)为START ADDR,即可用于分配的内存空间首地址,大小(SIZETYPE1)为该类型内存区域所占的内存空间大小,TYPE2的BASE(BASETYPE2)计算公式为:
BASETYPE2=BASETYPE1+SIZETYPE1
同理,由TYPE2的BASE和SIZE可以算出TYPE3的BASE:
BASETYPE3=BASETYPE2+SIZETYPE2
以此类推,可以得到第n段内存区域(即TYPEn)的BASE(BASETYPEn)。
通过上述方式,将内存按照实际需求进行了批量的划分。
步骤102、基于所划分的多个不同类型的内存区域响应针对不同类型的内存区域的内存分片申请请求和释放请求。
本发明实施例中,划分了多个不同类型的内存区域之后,可以基于所划分的多个不同类型的内存区域响应针对不同类型的内存区域的内存分片申请请求和释放请求。
其中,可以通过封装申请接口和释放接口,用于以内存分片为最小内存单元进行内存申请和释放。
可见,在图1所示方法流程中,通过划分多个不同类型的内存区域,各不同类型的内存区域用于存储不同类型的数据,任一类型的内存区域包括预设数量的相同大小的内存分片,当不同类型的数据需要进行内存申请和释放时,以内存分片作为最小内存单元进行内存空间的分配和释放,优化了内存空间管理,降低了内存泄漏的概率。
在本发明其中一个实施例中,上述基于所划分的多个不同类型的内存区域响应针对不同类型的内存区域的内存分片申请请求,可以包括:
当接收到针对目标内存区域的指定数量的内存分片的申请请求时,将目标内存区域一端的连续指定数量的内存分片的分配给请求方,并更新目标内存区域该端的内存分片的信息;其中,目标内存区域一端为目标内存区域头部或尾部。
在该实施例中,目标内存区域为上述多个内存区域中的任一内存区域,本发明实施例后续不再复述。
为便于理解,下文中以目标区域的一端为目标内存区域尾部,即按照从内存区域的尾部到头部的顺序进行内存分片进行分配为例进行说明。
在该实施例中,当接收到针对目标内存区域的指定数量的内存分片的申请请求时,可以将目标内存区域尾部的连续指定数量的内存分片分配给请求方,并更新目标内存区域尾部的内存分片的信息,其具体实现将在下文中结合具体实例进行说明,本发明实施例在此不做赘述。
进一步地,在本发明实施例中,上述基于所划分的多个不同类型的内存区域响应针对不同类型的内存区域的内存分片释放请求,可以包括:
当接收到针对目标内存区域的指定数量的内存分片的释放请求时,将连续指定数量的内存分片加入到目标内存区域的另一端,并更新目标内存区域该另一端的内存分片的信息。
在该实施例中,当接收到针对目标区域的指定数量的内存分片的释放请求时,可以将该指定数量的内存分片加入到目标内存区域的头部,并更新目标内存区域头部的内存分片的信息,其具体实现将在下文中结合具体实例进行说明,本发明实施例在此不做赘述。
进一步地,在本发明其中一个实施例中,为了避免某个或某些内存区域的可用内存空间不足,还可以实时记录各内存区域的可用内存分片的数量,对于任一内存区域,当该内存区域的可用内存分片的数量小于预设阈值(本文中称为第一预设阈值,可以根据实际场景设定)时,可以发送告警消息(本文中称为第一告警消息)进行告警,以提示该内存区域可用内存空间不足。
进一步地,在本发明另一个实施例中,为了避免某个或某些内存区域的可用内存空间的浪费,对于任一内存区域,当该内存区域的可用内存分片的数量在预设时长内均大于预设阈值(本文中称为第二预设阈值,可以根据实际场景设定)时,可以发送告警消息(本文中称为第二告警消息)进行告警,以提示该内存区域内存空间使用率过低。
为了使本领域技术人员更好地理解本发明实施例提供的技术方案,下面结合具体实例对本发明实施例提供的技术方案进行说明。
在该实施例中,内存区域在内存空间中的分布可以如图2所示,对于任一类型的内存区域,在系统初始化时,可以对以下参数进行初始化:
1、HeadTYPEi
2、TailTYPEi
3、NumTYPEi
4、NextBUFj
5、IDBUFj
其中,HeadTYPEi为第i个类型的内存区域(本文中称为目标内存区域)的头部的内存分片的地址,TailTYPEi为目标内存区域的尾部的内存分片的地址、NumTYPEi为目标内存区域中可用内存分片的数量(初始值即为目标内存区域的内存分片的总数),NextBUFj为内存分片j(1≤j≤m,m为目标内存区域的内存分片的总数)在目标内存区域中的下一内存分片的ID,IDBUFj为内存分片j的ID。
需要说明的是,在该实施例中,与使用内存空间的首地址对内存空间进行标识的实现方式相比,使用ID对BUF进行标识,顺序排列使得每个BUF都存在一个ID号,ID号最大只占用2字节,而使用首地址的方式一般需要占用4个或以上的字节,这对于容量较小且数量较多的内存片段,可以减少指令的长度,进而可以减少指令的资源占用。
在该实施例中,初始状态下,目标内存区域中各内存分片的ID从头部到尾部依次递增,如依次为1~m,根据实际需求,m的值通常为几百~几千,其值均是比较小的,往往只需要一个8字节或者4字节的空间,因此在大量的数据操作时,和往常的通过地址或是其他方式标识内存分片相比(一般需要占据16字节),可以为系统内部节约大量空间。
上述步骤完成后,每个类型的内存区域被分为的多个内存分片(本文中称为BUF),不同类型的内存区域下,有不同类型的BUF,任一类型的内存区域下的多个BUF组成了一个队列,这个队列中,一开始是顺序排放的,即实际物理位置(在内存空间中的实际位置)的第一个BUF,为BUF队列的第一个BUF(ID为1),实际物理位置的第二个BUF,为BUF队列的第二个BUF(ID为2),依次排列下去。但是随着时间的推移,有些先申请的BUF不一定先被释放,后申请的BUF也不一定后释放,因此队列中的BUF排列顺序和初始化时可能不一样。
基于上述内存区域划分,当需要进行BUF的申请和释放时,可以包括以下两种情况:
1、单个BUF申请单个释放;
2、批量BUF申请批量释放
在该实施例中,当调用内存申请接口时,可以通过Cnt来标识申请的BUF的数量,当调用申请单个BUF的接口时,送入该申请接口时的BUF个数为1,此时Cnt的值为1;当调用申请多个BUF的接口时,假设申请4个BUF,送入该申请接口时的BUF个数为4,此时Cnt的值为4,以用于后续的连续操作:当Cnt的值为1时,进行常规操作;当Cnt的值为非1时,进行Cnt次的循环操作。
下面分别对单个BUF申请单个BUF释放以及批量BUF申请批量BUF释放进行说明(以对目标内存区域进行操作为例)。
单个BUF申请:
1、当接收到针对目标内存区域的单个BUF申请请求时,先判断NumTYPEi是否大于0,若是,则执行步骤2;否则,上报错误;
2、读取HeadTYPEi,以及对应的IDBUFj(目标内存区域头部的BUF的ID);
3、将IDBUFj返回给申请接口;
4、将所读取的BUF的NextBUFj指向的BUF置为HeadTYPEi
5、将NumTYPEi的值减1。
单个BUF释放:
1、当接收到针对目标内存区域的单个BUF释放请求时,将释放的BUF添加到BUF队列的尾部,将TailTYPEi更新为该BUF的地址,并将原TailTYPEi的NextBUFj记录为该BUF的ID;
其中,TailTYPEi的NextBUFj为空。
2、当NumTYPEi的值加1。
其中,单个BUF申请单个BUF释放的BUF操作示意图可以如图3A所示。
BUF的批量申请和批量释放类似于上述单个BUF申请和释放的情况,其目的在于加速申请和释放的过程,例如,连续申请4个或者8个BUF的内存空间用于存放数据,然后将数据写入SSD中,在确定已经写入成功后,将这4个或者8个的BUF释放。
批量BUF申请
1、当接收到针对目标内存区域的Cnt个BUF申请请求时,先判断NumTYPEi是否大于等于Cnt,若是,则执行步骤2;否则,上报错误;
2、读取HeadTYPEi,以及对应的IDBUFj,并根据NextBUFj再读取连续Cnt-1个BUF的ID;
3、将读取的Cnt个BUF的ID返回给申请接口;
4、将所读取的最后一个BUF的NextBUFj指向的BUF(即从Head到Tail的顺序的第Cnt+1个BUF)置为HeadTYPEi
5、将NumTYPEi的值减Cnt。
批量BUF释放:
1、当接收到针对目标内存区域的Cnt个BUF释放请求时,将释放的BUF添加到BUF队列的尾部,将TailTYPEi更新为该Cnt个BUF中最后一个BUF的地址,并将原TailTYPEi的NextBUFj记录为该Cnt个BUF中第一个BUF的ID;
2、将NumTYPEi的值加Cnt。
其中,以Cnt=3为例,批量BUF申请批量BUF释放的BUF操作示意图可以如图3B所示。
其中,当将BUF1~BUF3分配给申请方之后,该连续3个BUF的第一个BUF为BUF1,最后一个BUF为BUF3,BUF1~BUF3相邻的未分配的BUF为BUF4,即BUF4成为新的Head;当释放BUF1~BUF3时,BUF1成为BUFm的Next BUF,即NextBUFm为BUF1(ID为1)。
需要说明的是,在本发明实施例中,也可以从尾部申请BUF,并将释放的BUF从头部加入BUF队列,其具体实现与上述描述相类似,本发明实施例在此不做赘述。
其中,通过从一端(头部或尾部)申请BUF,另一端(尾部或头部)释放BUF,尽量远的分开了新使用的内存和刚使用完的内存,提高了内存使用安全性。
此外,对于批量BUF申请,当从头部申请BUF时,所分配的多个BUF中最后一个BUF为按从头部到尾部的顺序的最后一个BUF,所分配的多个BUF的相邻的未分配的BUF为该最后一个BUF的相邻的未分配的BUF;例如,当所分配的多个BUF分别为BUF1~BUF3时,最后一个BUF为BUF3,所分配的多个BUF的相邻的未分配的BUF为BUF4。当进行BUF释放时,该多个BUF的最后一个BUF为BUF3。
当从尾部申请BUF时所分配的多个BUF中的第一个BUF为该多个BUF按从头部到尾部的顺序的第一个BUF,所分配的多个BUF的相邻未分配的BUF为该第一个BUF的相邻的未分配的BUF,例如,当所分配的多个BUF分别为BUFm-2~BUFm时,所分配的多个BUF中的第一个BUF为BUFm-2,所分配的多个BUF相邻的未分配的BUF为BUFm-3。
通过以上描述可以看出,在本发明实施例提供的技术方案中,通过划分多个不同类型的内存区域,各不同类型的内存区域用于存储不同类型的数据,任一类型的内存区域包括预设数量的相同大小的内存分片,当不同类型的数据需要进行内存申请和释放时,以内存分片作为最小内存单元进行内存空间的分配和释放,优化了内存空间管理,降低了内存泄漏的概率。
请参见图4,为本发明实施例提供一种数据处理装置的结构示意图,如图4所示,该数据处理装置可以包括:
划分单元410,用于划分多个不同类型的内存区域;其中,不同类型的内存区域用于存储不同类型的数据,任一类型的内存区域包括预设数量的内存分片,同一类型的内存区域中各内存分片大小相同;
处理单元420,用于基于所述多个不同类型的内存区域响应针对不同类型的内存区域的内存分片申请请求和释放请求。
在可选实施例中,所述划分单元410,具体用于将一段连续的内存空间划分为多个不同类型的内存区域;
其中,所述多个不同类型的内存区域的首地址满足以下条件:
BASETYPEi+1=BASETYPEi+SIZETYPEi
其中,1≤i≤n-1,n为不同类型的内存区域的数量,BASETYPEi为所述多个不同类型的内存区域中第i个内存区域的首地址,SIZETYPEi为该第i个内存区域所占的内存空间大小。
在可选实施例中,所述处理单元420,具体用于当接收到针对目标内存区域的指定数量的内存分片的申请请求时,将所述目标内存区域一端的连续指定数量的内存分片分配给请求方,并更新所述目标内存区域该端的内存分片的信息;其中,所述目标内存区域一端为所述目标内存区域头部或尾部。
在可选实施例中,所述处理单元420,具体用于当接收到针对所述目标内存区域的所述指定数量的内存分片的释放请求时,将所述连续指定数量的内存分片加入到所述目标内存区域的另一端,并更新所述目标内存区域该另一端的内存分片的信息。
请一并参见图5,为本发明实施例提供的另一种数据处理装置的结构示意图,如图5所示,在图4所示装置的基础上,该数据处理装置还包括:
记录单元430,用于对于所述目标内存区域,记录所述目标内存区域对应的HeadTYPEi、TailTYPEi、NextBUFj、IDBUFj
其中,HeadTYPEi为所述目标内存区域的头部的内存分片的地址,TailTYPEi为所述目标内存区域的尾部的内存分片的地址、NextBUFj为所述目标内存区域中第j个内存分片的下一个内存分片的标识ID、IDBUFj为所述目标内存区域中第j个内存分片的ID,1≤j≤m,m为该内存区域中内存分片的总数。
在可选实施例中,所述处理单元420,具体用于当所述指定数量为1个时,根据所记录的所述目标内存区域对应的HeadTYPEi或TailTYPEi,将所述目标内存区域的一端的第一目标内存分片的ID分配给请求方,并根据所记录的所述目标内存区域对应的NextBUFj将所述第一目标内存分片的相邻的未分配的内存分片的地址作为HeadTYPEi或TailTYPEi
当所述指定数量为多个时,根据所记录的所述目标内存区域对应的HeadTYPEi或TailTYPEi、以及所述目标内存区域对应的NextBUFj,将所述目标内存区域的一端的连续所述指定数量的第二目标内存分片的ID分片给请求方,并将所述第二目标内存分片相邻的未分配的内存分片的地址作为HeadTYPEi或TailTYPEi
在可选实施例中,所述处理单元420,具体用于当所述指定数量为1个时,将该内存分片加入到所述目标内存区域的另一端;
所述记录单元430,还用于将所记录的TailTYPEi或HeadTYPEi更新为该内存分片的地址;
所述处理单元420,具体用于当所述指定数量为多个时,将所述指定数量的内存分片加入到所述目标内存区域的另一端;
所述记录单元430,还用于将所记录的TailTYPEi更新为所述指定数量的内存分片中最后一个内存分片的地址,或将所记录的HeadTYPEi更新为所述指定数量的内存分片中第一个内存分片的地址。
请一并参见图6,为本发明实施例提供的另一种数据处理装置的结构示意图,如图6所示,在图4所示装置的基础上,该数据处理装置还包括:
发送单元440,用于对于任一类型的内存区域,当该内存区域的可用内存分片的数量小于第一预设阈值时,发送第一告警消息;
或/和,
对于任一类型的内存区域,当该内存区域的可用内存分片的数量在预设时长内均超过第二预设阈值时,发送第二告警消息。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
由上述实施例可见,通过划分多个不同类型的内存区域,各不同类型的内存区域用于存储不同类型的数据,任一类型的内存区域包括预设数量的相同大小的内存分片,当不同类型的数据需要进行内存申请和释放时,以内存分片作为最小内存单元进行内存空间的分配和释放,优化了内存空间管理,降低了内存泄漏的概率。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (16)

1.一种数据处理方法,其特征在于,包括:
划分多个不同类型的内存区域;其中,不同类型的内存区域用于存储不同类型的数据,任一类型的内存区域包括预设数量的内存分片,同一类型的内存区域中各内存分片大小相同;
基于所述多个不同类型的内存区域响应针对不同类型的内存区域的内存分片申请请求和释放请求。
2.根据权利要求1所述的方法,其特征在于,所述划分多个不同类型的内存区域,包括:
将一段连续的内存空间划分为多个不同类型的内存区域;
其中,所述多个不同类型的内存区域的首地址满足以下条件:
BASETYPEi+1=BASETYPEi+SIZETYPEi
其中,1≤i≤n-1,n为不同类型的内存区域的数量,BASETYPEi为所述多个不同类型的内存区域中第i个内存区域的首地址,SIZETYPEi为该第i个内存区域所占的内存空间大小。
3.根据权利要求1所述的方法,其特征在于,所述基于所述多个不同类型的内存区域响应针对不同类型的内存区域的内存分片申请请求,包括:
当接收到针对目标内存区域的指定数量的内存分片的申请请求时,将所述目标内存区域一端的连续指定数量的内存分片分配给请求方,并更新所述目标内存区域该端的内存分片的信息;其中,所述目标内存区域一端为所述目标内存区域头部或尾部。
4.根据权利要求3所述的方法,其特征在于,所述基于所述多个不同类型的内存区域响应针对不同类型的内存区域的内存分片释放请求,包括:
当接收到针对所述目标内存区域的所述指定数量的内存分片的释放请求时,将所述连续指定数量的内存分片加入到所述目标内存区域的另一端,并更新所述目标内存区域该另一端的内存分片的信息。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
对于所述目标内存区域,记录所述目标内存区域对应的HeadTYPEi、TailTYPEi、NextBUFj、IDBUFj
其中,HeadTYPEi为所述目标内存区域的头部的内存分片的地址,TailTYPEi为所述目标内存区域的尾部的内存分片的地址、NextBUFj为所述目标内存区域中第j个内存分片的下一个内存分片的标识ID、IDBUFj为所述目标内存区域中第j个内存分片的ID,1≤j≤m,m为该内存区域中内存分片的总数。
6.根据权利要求5所述的方法,其特征在于,所述将所述目标内存区域一端的连续指定数量的内存分片的分配给请求方,并更新所述目标内存区域该端的内存分片的信息,包括:
当所述指定数量为1个时,根据所记录的所述目标内存区域对应的HeadTYPEi或TailTYPEi,将所述目标内存区域的一端的第一目标内存分片的ID分配给请求方,并根据所记录的所述目标内存区域对应的NextBUFj将所述第一目标内存分片相邻的未分配的内存分片的地址作为HeadTYPEi或TailTYPEi
当所述指定数量为多个时,根据所记录的所述目标内存区域对应的HeadTYPEi或TailTYPEi、以及所述目标内存区域对应的NextBUFj,将所述目标内存区域的一端的连续所述指定数量的第二目标内存分片的ID分片给请求方,并将所述第二目标内存分片相邻的未分配的内存分片的地址作为HeadTYPEi或TailTYPEi
7.根据权利要求5所述的方法,其特征在于,所述将所述连续指定数量的内存分片加入到所述目标内存区域的另一端,并更新所述目标内存区域该另一端的内存分片的信息,包括:
当所述指定数量为1个时,将该内存分片加入到所述目标内存区域的另一端,并将所记录的TailTYPEi或HeadTYPEi更新为该内存分片的地址;
当所述指定数量为多个时,将所述指定数量的内存分片加入到所述目标内存区域的另一端,并将所记录的TailTYPEi更新为所述指定数量的内存分片中最后一个内存分片的地址,或将所记录的HeadTYPEi更新为所述指定数量的内存分片中第一个内存分片的地址。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对于任一类型的内存区域,当该内存区域的可用内存分片的数量小于第一预设阈值时,发送第一告警消息;
或/和,
对于任一类型的内存区域,当该内存区域的可用内存分片的数量在预设时长内均超过第二预设阈值时,发送第二告警消息。
9.一种数据处理装置,其特征在于,包括:
划分单元,用于划分多个不同类型的内存区域;其中,不同类型的内存区域用于存储不同类型的数据,任一类型的内存区域包括预设数量的内存分片,同一类型的内存区域中各内存分片大小相同;
处理单元,用于基于所述多个不同类型的内存区域响应针对不同类型的内存区域的内存分片申请请求和释放请求。
10.根据权利要求9所述的装置,其特征在于,
所述划分单元,具体用于将一段连续的内存空间划分为多个不同类型的内存区域;
其中,所述多个不同类型的内存区域的首地址满足以下条件:
BASETYPEi+1=BASETYPEi+SIZETYPEi
其中,1≤i≤n-1,n为不同类型的内存区域的数量,BASETYPEi为所述多个不同类型的内存区域中第i个内存区域的首地址,SIZETYPEi为该第i个内存区域所占的内存空间大小。
11.根据权利要求9所述的装置,其特征在于,
所述处理单元,具体用于当接收到针对目标内存区域的指定数量的内存分片的申请请求时,将所述目标内存区域一端的连续指定数量的内存分片分配给请求方,并更新所述目标内存区域该端的内存分片的信息;其中,所述目标内存区域一端为所述目标内存区域头部或尾部。
12.根据权利要求11所述的装置,其特征在于,
所述处理单元,具体用于当接收到针对所述目标内存区域的所述指定数量的内存分片的释放请求时,将所述连续指定数量的内存分片加入到所述目标内存区域的另一端,并更新所述目标内存区域该另一端的内存分片的信息。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括:
记录单元,用于对于所述目标内存区域,记录所述目标内存区域对应的HeadTYPEi、TailTYPEi、NextBUFj、IDBUFj
其中,HeadTYPEi为所述目标内存区域的头部的内存分片的地址,TailTYPEi为所述目标内存区域的尾部的内存分片的地址、NextBUFj为所述目标内存区域中第j个内存分片的下一个内存分片的标识ID、IDBUFj为所述目标内存区域中第j个内存分片的ID,1≤j≤m,m为该内存区域中内存分片的总数。
14.根据权利要求13所述的装置,其特征在于,
所述处理单元,具体用于当所述指定数量为1个时,根据所记录的所述目标内存区域对应的HeadTYPEi或TailTYPEi,将所述目标内存区域的一端的第一目标内存分片的ID分配给请求方,并根据所记录的所述目标内存区域对应的NextBUFj将所述第一目标内存分片相邻的未分配的内存分片的地址作为HeadTYPEi或TailTYPEi
当所述指定数量为多个时,根据所记录的所述目标内存区域对应的HeadTYPEi或TailTYPEi、以及所述目标内存区域对应的NextBUFj,将所述目标内存区域的一端的连续所述指定数量的第二目标内存分片的ID分片给请求方,并将所述第二目标内存分片相邻的未分配的内存分片的地址作为HeadTYPEi或TailTYPEi
15.根据权利要求13所述的装置,其特征在于,
所述处理单元,具体用于当所述指定数量为1个时,将该内存分片加入到所述目标内存区域的另一端;
所述记录单元,还用于将所记录的TailTYPEi或HeadTYPEi更新为该内存分片的地址;
所述处理单元,具体用于当所述指定数量为多个时,将所述指定数量的内存分片加入到所述目标内存区域的另一端;
所述记录单元,还用于将所记录的TailTYPEi更新为所述指定数量的内存分片中最后一个内存分片的地址,或将所记录的HeadTYPEi更新为所述指定数量的内存分片中第一个内存分片的地址。
16.根据权利要求9所述的装置,其特征在于,所述装置还包括:
发送单元,用于对于任一类型的内存区域,当该内存区域的可用内存分片的数量小于第一预设阈值时,发送第一告警消息;
或/和,
对于任一类型的内存区域,当该内存区域的可用内存分片的数量在预设时长内均超过第二预设阈值时,发送第二告警消息。
CN201811585119.4A 2018-12-24 2018-12-24 一种数据处理方法及装置 Pending CN109656836A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811585119.4A CN109656836A (zh) 2018-12-24 2018-12-24 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811585119.4A CN109656836A (zh) 2018-12-24 2018-12-24 一种数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN109656836A true CN109656836A (zh) 2019-04-19

Family

ID=66116582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811585119.4A Pending CN109656836A (zh) 2018-12-24 2018-12-24 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN109656836A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110609748A (zh) * 2019-09-05 2019-12-24 青岛海信移动通信技术股份有限公司 一种内存分配方法、电子设备及存储介质
CN111090521A (zh) * 2019-12-10 2020-05-01 Oppo(重庆)智能科技有限公司 内存分配方法、装置、存储介质及电子设备
CN111352703A (zh) * 2020-03-06 2020-06-30 网易(杭州)网络有限公司 一种数据处理的方法及装置、电子设备、存储介质
CN111858604A (zh) * 2020-07-24 2020-10-30 平安证券股份有限公司 数据存储方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1532708A (zh) * 2003-03-19 2004-09-29 华为技术有限公司 一种静态内存管理方法
CN1744725A (zh) * 2004-08-31 2006-03-08 华为技术有限公司 一种在单板中存储数据流的方法
CN1967474A (zh) * 2006-04-21 2007-05-23 华为技术有限公司 一种内存保护方法及其系统
CN101499034A (zh) * 2009-03-05 2009-08-05 北京中星微电子有限公司 内存管理方法
CN101950273A (zh) * 2010-09-26 2011-01-19 中国人民解放军海军工程大学 一种dsp数据区动态管理方法
JP2012118943A (ja) * 2010-12-03 2012-06-21 Digital Media Professional:Kk グラフィック演算処理チップ
CN107665146A (zh) * 2016-07-29 2018-02-06 华为技术有限公司 内存管理装置和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1532708A (zh) * 2003-03-19 2004-09-29 华为技术有限公司 一种静态内存管理方法
CN1744725A (zh) * 2004-08-31 2006-03-08 华为技术有限公司 一种在单板中存储数据流的方法
CN1967474A (zh) * 2006-04-21 2007-05-23 华为技术有限公司 一种内存保护方法及其系统
CN101499034A (zh) * 2009-03-05 2009-08-05 北京中星微电子有限公司 内存管理方法
CN101950273A (zh) * 2010-09-26 2011-01-19 中国人民解放军海军工程大学 一种dsp数据区动态管理方法
JP2012118943A (ja) * 2010-12-03 2012-06-21 Digital Media Professional:Kk グラフィック演算処理チップ
CN107665146A (zh) * 2016-07-29 2018-02-06 华为技术有限公司 内存管理装置和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
冯建新: "《数据结构》", 30 November 2000, 东北财经大学出版社 *
科勒.班克等著: "《MONGODB实战 第2版》", 31 March 2017, 华中科技大学出版社 *
贵州电网有限责任公司组编: "《信息安全设备全生命周期管理研究与实践》", 30 September 2017, 贵州大学出版社 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110609748A (zh) * 2019-09-05 2019-12-24 青岛海信移动通信技术股份有限公司 一种内存分配方法、电子设备及存储介质
CN110609748B (zh) * 2019-09-05 2023-09-01 青岛海信移动通信技术有限公司 一种内存分配方法、电子设备及存储介质
CN111090521A (zh) * 2019-12-10 2020-05-01 Oppo(重庆)智能科技有限公司 内存分配方法、装置、存储介质及电子设备
CN111352703A (zh) * 2020-03-06 2020-06-30 网易(杭州)网络有限公司 一种数据处理的方法及装置、电子设备、存储介质
CN111352703B (zh) * 2020-03-06 2023-09-08 网易(杭州)网络有限公司 一种数据处理的方法及装置、电子设备、存储介质
CN111858604A (zh) * 2020-07-24 2020-10-30 平安证券股份有限公司 数据存储方法、装置、电子设备及存储介质
CN111858604B (zh) * 2020-07-24 2022-11-04 平安证券股份有限公司 数据存储方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109656836A (zh) 一种数据处理方法及装置
CN108829352B (zh) 一种分布式存储系统的用户配额方法及系统
CN105446813B (zh) 一种资源分配的方法及装置
CN103425538B (zh) 进程通讯方法及系统
US10956990B2 (en) Methods and apparatuses for adjusting the distribution of partitioned data
CN107395665A (zh) 一种区块链业务受理及业务共识方法及装置
US20220197818A1 (en) Method and apparatus for performing operations to namespaces of a flash memory device
CN108804043A (zh) 分布式块存储系统带宽流量控制方法、装置、设备及介质
CN108496161A (zh) 数据缓存装置及控制方法、数据处理芯片、数据处理系统
US20190324814A1 (en) Resource release method, resource allocation method, devices, and computer program products
WO2020133963A1 (zh) 基于区块链的数据存储方法、相关设备及存储介质
CN107229415A (zh) 一种数据写方法、数据读方法及相关设备、系统
CN105373487B (zh) 一种存储操作系统的碎片整理方法及系统
CN104102693A (zh) 对象处理方法和装置
CN109063103A (zh) 一种分布式非易失文件系统
CN109471843A (zh) 一种元数据缓存方法、系统及相关装置
CN109902059A (zh) 一种cpu与gpu之间的数据传输方法
CN106294198B (zh) 一种Linux操作系统的内存分配方法及释放方法
CN107346265B (zh) 实现QoS的方法与装置
CN106294191B (zh) 处理表的方法、访问表的方法和装置
CN109298888B (zh) 队列的数据存取方法及装置
CN110162395A (zh) 一种内存分配的方法及装置
CN102520879B (zh) 基于优先级的文件信息存储方法、装置及系统
CN113742131A (zh) 用于存储管理的方法、电子设备和计算机程序产品
CN108595109B (zh) 一种基于Ceph分布式存储系统的多客户端写的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190419