CN105786643B - 基于异构混合内存的数据备份方法和系统 - Google Patents

基于异构混合内存的数据备份方法和系统 Download PDF

Info

Publication number
CN105786643B
CN105786643B CN201410827719.2A CN201410827719A CN105786643B CN 105786643 B CN105786643 B CN 105786643B CN 201410827719 A CN201410827719 A CN 201410827719A CN 105786643 B CN105786643 B CN 105786643B
Authority
CN
China
Prior art keywords
data
nvm
memory
backup
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410827719.2A
Other languages
English (en)
Other versions
CN105786643A (zh
Inventor
马先明
庞观士
徐成泽
王志远
沈航
梁艳妮
陈志列
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yanxiang Smart Technology Co ltd
Original Assignee
EVOC Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EVOC Intelligent Technology Co Ltd filed Critical EVOC Intelligent Technology Co Ltd
Priority to CN201410827719.2A priority Critical patent/CN105786643B/zh
Publication of CN105786643A publication Critical patent/CN105786643A/zh
Application granted granted Critical
Publication of CN105786643B publication Critical patent/CN105786643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

基于异构混合内存的数据备份方法通过判断内存申请的方式,若需要采用NVM内存申请的,则将带NVM标志的内存申请中的数据备份到NVM中。从而避免将把DRAM中的数据再次按照常规方法备份到磁盘中。同时判断带NVM标志的内存申请是否为首次备份,若否,则进行增量备份到NVM中。能够避免重复备份。因此,上述基于异构混合内存的数据备份系统能够充分发挥异构混合内存的优势,避免重复备份操作,提高数据备份效率。此外,还提供一种基于异构混合内存的数据备份系统。

Description

基于异构混合内存的数据备份方法和系统
技术领域
本发明涉及数据备份技术,特别是涉及一种效率高的基于异构混合内存的数据备份方法和系统。
背景技术
随着电阻存储器、铁电存储器、相变存储器等为代表的新兴非易失性随机存储介质(Non-Volatile Memory,NVM)技术的发展,使得传统的内存与存储分离的界限逐渐变得模糊,推进了存储技术的发展,为新型的内存与存储体系结构的产生打下了良好的基础。
通过把新型的NVM和DRAM(Dynamic Random Access Memory,动态随机访问存储器)相结合,搭建混合内存架构,形成异构混合内存。异构混合内存同时具有NVM和DRAM的特点,满足现有工业控制设备的常规内存接口,无需引进新的工业控制设备或添加新的辅助设备。
异构混合内存同时兼有NVM和DRAM的特点,使之不仅仅具备常规内存的功能,存储在DRAM中的数据在断电后会立即消失,是易失性的;同时还能发挥NVM在断电后还能保存数据的优势,充分发挥NVM存储介质非易失性的特点。
通常情况下,DRAM内存中的数据备份时往往备份到磁盘中,这种方式的数据备份是将DRAM内存中的数据从高速的DDR3接口备份到相对低速的SATA接口上的磁盘中。因此,将DRAM内存中的数据再按照常规方法备份,效率变低。
发明内容
基于此,有必要提供一种效率高的基于异构混合内存的数据备份方法。
一种基于异构混合内存的数据备份方法,包括以下步骤:
判断内存申请是否需要采用NVM内存申请的方式;若是,则使用带NVM标志的内存申请;
判断是否需要将带NVM标志的内存申请进行内存数据备份,若是,则向异构混合内存的控制器发送数据备份信号;
根据所述数据备份信号将所述带NVM标志的内存申请中的数据备份到NVM中;
判断所述带NVM标志的内存申请是否为首次备份;若是,则将带NVM标志的内存申请中的数据完全备份到NVM中;若否,则将带NVM标志的内存申请中的数据增量备份到NVM中。
在其中一个实施例中,还包括判断对带NVM标志的内存申请进行完全备份后是否再次收到数据备份信号,若是,则对带NVM标志的内存申请中的数据进行增量备份。
在其中一个实施例中,所述对带NVM标志的内存申请中的数据进行增量备份的步骤包括:
判断带NVM标志的内存中数据与首次备份的数据是否有差异,若是,则将带NVM标志的内存中数据与首次备份的数据存在差异的部分进行备份。
在其中一个实施例中,判断带NVM标志的内存中数据与首次备份的数据是否有差异的步骤包括:
对带NVM标志的内存中数据和首次备份的数据采用CDC算法进行差分编码,并判断进行差分编码后两者的子数据块相同率;
若所述相同率大于40%,则采用RSYNC算法提取相同子数据;
若所述相同率小于40%,则继续采用CDC算法继续对两者进行差分编码。
在其中一个实施例中,所述判断对带NVM标志的内存申请进行完全备份后是否再次收到数据备份信号,若是,则对带NVM标志的内存申请进行增量备份的步骤包括:
判断在完全备份后是否收到数据备份信号,若是,则对带NVM标志的内存申请中的数据进行增量备份;
判断在增量备份后是否收到数据备份信号,若是,则对带NVM标志的内存申请中的数据进行增量备份;直至根据所有再次收到的数据备份信号完成增量备份。
上述基于异构混合内存的数据备份方法通过判断内存申请的方式,若需要采用NVM内存申请的,则将带NVM标志的内存申请中的数据备份到NVM中。从而避免将把DRAM中的数据再次按照常规方法备份到磁盘中。同时判断带NVM标志的内存申请是否为首次备份,若否,则进行增量备份到NVM中。能够避免重复备份。因此,上述基于异构混合内存的数据备份方法能够充分发挥异构混合内存的优势,避免重复备份操作,提高数据备份效率。
此外,还提供一种效率高的基于异构混合内存的数据备份系统。
一种基于异构混合内存的数据备份系统,包括内存方式判断模块、数据备份判断模块、数据备份操作模块、备份次数判断模块及数据备份模块;
所述内存方式判断模块用于判断内存申请是否需要采用NVM内存申请的方式;若是,则使用带NVM标志的内存申请;
所述数据备份判断模块用于判断是否需要将带NVM标志的内存申请进行内存数据备份,若是,则向异构混合内存的控制器发送数据备份信号;
所述数据备份操作模块用于根据所述数据备份信号将所述带NVM标志的内存申请中的数据备份到NVM中;
所述备份次数判断模块用于判断所述带NVM标志的内存申请是否为首次备份;
若是,则所述数据备份模块用于将带NVM标志的内存申请中的数据完全备份到NVM中;若否,则所述数据备份模块用于将带NVM标志的内存申请中的数据增量备份到NVM中。
在其中一个实施例中,所述数据备份操作模块还用于判断对带NVM标志的内存申请中的数据进行完全备份后是否再次收到数据备份信号;若是,则所述数据备份模块用于对带NVM标志的内存申请进行增量备份。
在其中一个实施例中,所述数据备份模块包括数据差异判断单元;所述数据差异判断单元用于判断带NVM标志的内存中数据与首次备份的数据是否有差异,若是,则所述数据备份模块用于将带NVM标志的内存中数据与首次备份的数据存在差异的部分进行备份。
在其中一个实施例中,所述数据备份模块还包括差分编码单元和相同率判断单元;所述差分编码单元用于对带NVM标志的内存中数据和首次备份的数据采用CDC算法进行差分编码;所述相同率判断单元用于判断进行差分编码后两者的子数据块相同率;
若所述相同率大于40%,则采用RSYNC算法提取相同子数据;
若所述相同率小于40%,则继续采用CDC算法继续对两者进行差分编码。
在其中一个实施例中,所述备份次数判断模块还用于判断在完全备份后是否收到数据备份信号,若是,则对带NVM标志的内存申请中的数据进行增量备份;
所述备份次数判断模块还用于判断在增量备份后是否收到数据备份信号,若是,则对带NVM标志的内存申请中的数据进行增量备份;直至根据所有再次收到的数据备份信号完成增量备份。
上述基于异构混合内存的数据备份系统通过判断内存申请的方式,若需要采用NVM内存申请的,则将带NVM标志的内存申请中的数据备份到NVM中。从而避免将把DRAM中的数据再次按照常规方法备份到磁盘中。同时判断带NVM标志的内存申请是否为首次备份,若否,则进行增量备份到NVM中。能够避免重复备份。因此,上述基于异构混合内存的数据备份系统能够充分发挥异构混合内存的优势,避免重复备份操作,提高数据备份效率。
附图说明
图1为异构混合内存的方框图;
图2为基于异构混合内存的数据备份方法的流程图;
图3为完全备份与增量备份方法的流程图;
图4为增量备份算法实现流程图;
图5为基于异构混合内存的数据备份系统的模块图。
具体实施方式
如图1所示,为异构混合内存的方框图。
异构混合内存采用与DDR3接口电路一致的物理连接方式,该异构混合内存插入到常用的DDR3接口电路上使用,操作系统向异构混合内存传递的地址(Addr)、命令(Cmd)和数据(Data)等信息通过接口电路输入到控制器(Controller),控制器(Controller)通过所接收到的数据及内部逻辑来控制常规内存DRAM和非易失性存储介质NVM的访问和控制。其中控制器(Controller)可以采用MCU(Micro Control Unit,微控制单元)、FPGA(FieldProgrammable Gate Array,现场可编程门阵列)、CPLD(Complex Programmable LogicDevice,复杂可编程逻辑器件)和ARM(Advanced RISC Machines,RISC处理器)等处理器来实现,依据内存DRAM和非易失性存储介质NVM的各自特性提供相应的读写控制和时序操作。本发明就是在如上所述的接口环境下实现的基于异构混合内存的数据备份方法和系统。
如图2所示,为基于异构混合内存的数据备份方法的流程图。
异构混合内存同时集成有常规内存DRAM和非易失性存储介质NVM,其两者的工作特性不一样,因此支持常规内存的一些操作方式将不再适用于操作非易失性存储介质NVM,需要采取新的操作方式来满足对非易失性存储介质NVM的操作,也就是需要采用专用的NVM内存申请和释放函数来支持对非易失性存储介质NVM的操作。
一种基于异构混合内存的数据备份方法,包括以下步骤:
步骤S110,判断内存申请是否需要采用NVM内存申请的方式;若是,则使用带NVM标志的内存申请。
在本实施例中,默认情况下,操作系统驱动、库函数及应用程序申请的内存都是属于常规内存来满足使用需求。而异构混合内存组织架构中既含有常规内存DRAM又包含非易失性存储介质NVM,那么在内存申请过程中就要涵盖这两种不同特性的物理介质。
因此,操作系统驱动、库函数及应用程序在进行内存申请操作时,会判断是否需要采用NVM内存申请的方式,NVM内存申请方式的判断是针对异构混合内存新增加的功能,主要目的在于区分是否需要使用到异构混合内存上所集成的非易失性存储介质NVM。
若判断结果为不需要采用NVM内存申请的方式。则操作系统驱动、库函数及应用程序不需要进行NVM内存的申请,那么将只进行常规内存的申请。这和不使用异构混和内存而是使用常规内存的情形是一样的,是一种常规的内存申请方式。常规内存的申请主要针对异构混合内存上的DRAM而言,满足操作系统驱动、库函数及应用程序对常规内存申请的需要即可。
步骤S120,判断是否需要将带NVM标志的内存申请进行内存数据备份,若是,则向异构混合内存的控制器发送数据备份信号。
在本实施例中,操作系统驱动、库函数及应用程序如果需要进行NVM内存的申请,那么将使用带NVM标志的内存申请,例如nvmmalloc函数就可以实现这种特殊内存的申请。虽然带NVM标志的内存申请的目的是针对异构混合内存上的非易失性存储介质NVM而言,但是使用带NVM标志的内存申请并不是直接从异构混合内存上的非易失性存储介质NVM中申请可用空间。因为非易失性存储介质毕竟不是常规内存DRAM,其在读写时序和控制时序上和常规内存DRAM有很大不同,同时其读写速度相比于常规内存DRAM也存在较大差异。
带NVM标志的内存申请的内存空间也是来自于异构混合内存上的常规内存DRAM,但是这种内存申请的方式与普通的常规内存申请方式的最大区别在于其带有NVM标志,这个NVM标志将为后续的内存数据备份提供标志信息。带NVM标志的内存申请使用的是专用的内存申请函数nvmmalloc,是异构混合内存的一种新功能,满足支持异构混合内存上非易失性存储介质NVM的特性。
步骤S130,根据所述数据备份信号将所述带NVM标志的内存申请中的数据备份到NVM中。
当用户需要进行内存数据备份时,操作系统驱动、库函数及应用程序会向异构混合内存的控制器发送一个数据备份信号,即向异构混合内存触发了内存数据备份信号。
异构混合内存的控制器会实时捕获操作系统驱动、库函数及应用程序所触发的数据备份信号,异构混合内存控制器在捕获到数据备份信号后开始进行数据备份操作。
步骤S140,判断所述带NVM标志的内存申请是否为首次备份;若是,则将带NVM标志的内存申请中的数据完全备份到NVM中;若否,则将带NVM标志的内存申请中的数据增量备份到NVM中。
在本实施例中,对带NVM标识的内存申请进行备份之前,需要判断是否为首次备份。若为首次备份,则需要将带NVM标识的内存申请中的数据全部进行备份,即完全备份。若不为首次备份,则说明需要备份的带NVM标识的内存申请已经被备份过,即只需将没有备份的部分数据进行备份即可,即进行增量备份。
具体的,异构混合内存控制器判断所备份的数据是否是首次备份,如果是首次备份,那么需要对操作系统驱动、库函数及应用程序中在申请内存时带NVM标志的内存中的内容进行完全备份,整个数据备份的动作由异构混合内存的控制器独立完成,主要是将异构混合内存中常规内存里被使用带NVM标志的内存申请函数nvmmalloc所申请的内存里面的内容以字节为单位拷贝到异构混合内存里的非易失性存储介质NVM里,需要确保带NVM标志的内存区域里的内容完整的备份到非易失性存储介质NVM里,并且两者的内容完全一致。
基于异构混合内存的数据备份方法还包括判断对带NVM标志的内存申请进行完全备份后是否再次收到数据备份信号,若是,则对带NVM标志的内存申请进行增量备份。
具体包括:判断在完全备份后是否收到数据备份信号,若是,则对带NVM标志的内存申请中的数据进行增量备份。
判断在增量备份后是否收到数据备份信号,若是,则对带NVM标志的内存申请进行增量备份;直至根据所有再次收到的数据备份信号完成增量备份。
请结合图3。
步骤S201,当判断为首次备份时,将带NVM标识的内存申请中的数据完全备份。
步骤S202而当判断为第一次增量备份时,即在进行完全备份后再次收到数据备份信号,则需要将带NVM标识的内存申请中的数据进行增量备份。
步骤S203而当判断为第二次增量备份时,即在进行一次增量备份后再次收到数据备份信号,则需要对带NVM标识的内存申请中的数据进行二次增量备份。
同理,步骤S204,当判断为第N次增量备份时,即在进行N-1次增量备份后再次收到数据备份信号,则需要对带NVM标识的内存申请中的数据进行N次增量备份。
具体的,异构混合内存控制器在进行完全备份后,如果继续捕获到内存数据备份信号,那么需要进行第一次增量备份,异构混合内存控制器将带NVM标志的内存区域中有变化的数据备份到异构混合内存中非易失性存储介质NVM中新的区域,因增量备份时只是备份的差异化的那部分数据,数据量相对小,备份时间相对短,效率较高。
于是存储到异构混合内存中非易失性存储介质NVM中的完全备份时的数据和第一次增量备份时的数据组合起来就是此时要备份的完整数据,即和带NVM标志的内存中数据一致。
在第一次增量备份完成后,如果异构混合内存控制器继续捕获到内存数据备份信号,那么需要进行第二次增量备份,异构混合内存控制器将带NVM标志的内存区域中有变化的数据再次备份到异构混合内存中非易失性存储介质NVM中新的区域,不会和存储完全备份和第一次增量备份数据的区域冲突。于是存储到异构混合内存中非易失性存储介质NVM中的完全备份时的数据、第一次增量备份时的数据和第二次增量备份时的数据三者组合起来就是此时要备份的完整数据,即和带NVM标志的内存中数据一致。依此类推。
基于上述所有实施例,如果异构混合内存控制器判断所备份的数据不是首次备份,则意味着带NVM标志的内存里的数据已经被备份过,那么此次内存数据备份时将不再采用完全备份的方式,因为完全备份的方式将耗费较长的时间,效率低下。此时应该采用增量备份的方式,即原先在异构混合内存上非易失性存储介质里备份的数据将不作任何变动,把带NVM标志的内存中的数据和进行首次数据备份时的数据进行比较。将内容发生变化的那部分数据进行备份,也就是仅仅备份差异化的那部分数据,这样所备份数据的量少,会大大提高备份的效率。增量备份时会将带NVM标志内存中有差异化化的数据备份到异构混合内存中非易失性存储介质NVM中新的区域,确保前次在NVM介质中备份的数据不变,因此每次进行增量备份时都是将所要存储的变化数据存储到异构混合内存非易失性存储介质NVM中的新区域。
对带NVM标志的内存申请进行增量备份的步骤包括:
判断带NVM标志的内存中数据与首次备份的数据是否有差异,若是,则将带NVM标志的内存中数据与首次备份的数据存在差异的部分进行备份。
判断带NVM标志的内存中数据与首次备份的数据是否有差异的步骤包括:
对带NVM标志的内存中数据和首次备份的数据采用CDC算法进行差分编码,并判断进行差分编码后两者的子数据块相同率;
若所述相同率大于40%,则采用RSYNC算法提取相同子数据;
若所述相同率小于40%,则继续采用CDC算法继续对两者进行差分编码。
请结合图4。
步骤S301,首先采用CDC算法进行差分编码。
步骤S302,判断子数据块相同率是否大于40%。若是,则执行步骤S303,采用RSYNC算法进行差分编码。若否,则继续采用CDC算法进行差分编码直至完成差分编码。
在增量备份的具体实现上需要使用增量算法,而在增量算法实现的过程中,重点在于对带NVM标志的内存数据的差异编码部分,这是增量算法的核心。带NVM标志的内存数据的差异编码采用最广泛的RSYNC(Remote Synchronize,同步算法)算法和CDC(Content-Defined Chunking,变长分块算法)算法结合的方式。
由于RSYNC算法和CDC算法在对数据编码方面各有优劣点。在前后两次内存数据备份过程中,RSYNC算法在数据差异不大的情况下效率非常高,但是这个算法本身存在缺陷,就是当数据差异很大时,差异编码的效率非常低;而CDC算法在数据的差异非常大时,CDC算法的效率非常高,但CDC算法也有自己的不足,在数据差异不大的情况下CDC算法能够发现的重复分块比RSYNC算法大约少10%左右。
因此,增量备份算法中将RSYNC算法和CDC算法结合起来,满足带NVM标志的内存数据备份的各种情况,包括内存数据差异较大和很大的情况。对于带NVM标志的内存数据的差异编码,首先使用CDC算法进行差分编码,如果相同子数据块较多(可以用相同子数据块数据大小占数据总大小的比例超过40%来衡量),再使用RSYNC算法提取更多的相同子数据块;如果相同子数据块较少(可以用相同子数据块数据大小占数据总大小的比例低于40%来衡量),则无需再使用RSYNC进行差分编码。这样既可以避免两个数据差异很多的数据内容差分编码时效率低下的问题,又能在数据差异较小时提取尽可能多相同分块。
上述基于异构混合内存的数据备份方法通过判断内存申请的方式,若需要采用NVM内存申请的,则将带NVM标志的内存申请中的数据备份到NVM中。从而避免将把DRAM中的数据再次按照常规方法备份到磁盘中。同时判断带NVM标志的内存申请是否为首次备份,若否,则进行增量备份到NVM中。能够避免重复备份。因此,上述基于异构混合内存的数据备份方法能够充分发挥异构混合内存的优势,避免重复备份操作,提高数据备份效率。
基于上述所有实施例,如图5所示,一种基于异构混合内存的数据备份系统,包括内存方式判断模块401、数据备份判断模块402、数据备份操作模块403、备份次数判断模块404及数据备份模块405。
所述内存方式判断模块401用于判断内存申请是否需要采用NVM内存申请的方式;若是,则使用带NVM标志的内存申请。
所述数据备份判断模块402用于判断是否需要将带NVM标志的内存申请进行内存数据备份,若是,则向异构混合内存的控制器发送数据备份信号。
所述数据备份操作模块403用于根据所述数据备份信号将所述带NVM标志的内存申请中的数据备份到NVM中。
所述备份次数判断模块404用于判断所述带NVM标志的内存申请是否为首次备份。
若是,则所述数据备份模块405用于将带NVM标志的内存申请中的数据完全备份到NVM中;若否,则所述数据备份模块405用于将带NVM标志的内存申请中的数据增量备份到NVM中。
数据备份操作模块403还用于判断对带NVM标志的内存申请中的数据进行完全备份后是否再次收到数据备份信号;若是,则所述数据备份模块405用于对带NVM标志的内存申请进行增量备份。
数据备份模块405包括数据差异判断单元406;所述数据差异判断单元406用于判断带NVM标志的内存中数据与首次备份的数据是否有差异,若是,则所述数据备份模块405用于将带NVM标志的内存中数据与首次备份的数据存在差异的部分进行备份。
基于异构混合内存的数据备份系统还包括差分编码单元407和相同率判断单元408;所述差分编码单元407用于对带NVM标志的内存中数据和首次备份的数据采用CDC算法进行差分编码;所述相同率判断单元408用于判断进行差分编码后两者的子数据块相同率。
若所述相同率大于40%,则采用RSYNC算法提取相同子数据。
若所述相同率小于40%,则继续采用CDC算法继续对两者进行差分编码。
备份次数判断模块404还用于判断在完全备份后是否收到数据备份信号,若是,则对带NVM标志的内存申请中的数据进行增量备份。
所述备份次数判断模块404还用于判断在增量备份后是否收到数据备份信号,若是,则对带NVM标志的内存申请中的数据进行增量备份;直至根据所有再次收到的数据备份信号完成增量备份。
上述基于异构混合内存的数据备份系统通过判断内存申请的方式,若需要采用NVM内存申请的,则将带NVM标志的内存申请中的数据备份到NVM中。从而避免将把DRAM中的数据再次按照常规方法备份到磁盘中。同时判断带NVM标志的内存申请是否为首次备份,若否,则进行增量备份到NVM中。能够避免重复备份。因此,上述基于异构混合内存的数据备份系统能够充分发挥异构混合内存的优势,避免重复备份操作,提高数据备份效率。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于异构混合内存的数据备份方法,包括以下步骤:
判断内存申请是否需要采用NVM内存申请的方式;若是,则使用带NVM标志的内存申请,其中,所述NVM标志用于为内存数据备份提供标志信息;
判断是否需要将带NVM标志的内存申请进行内存数据备份,若是,则向异构混合内存的控制器发送数据备份信号;
根据所述数据备份信号将所述带NVM标志的内存申请中的数据备份到NVM中;
判断所述带NVM标志的内存申请是否为首次备份;若是,则将带NVM标志的内存申请中的数据完全备份到NVM中;若否,则将带NVM标志的内存申请中的数据增量备份到NVM中。
2.根据权利要求1所述的基于异构混合内存的数据备份方法,其特征在于,还包括判断对带NVM标志的内存申请进行完全备份后是否再次收到数据备份信号,若是,则对带NVM标志的内存申请中的数据进行增量备份。
3.根据权利要求2所述的基于异构混合内存的数据备份方法,其特征在于,所述对带NVM标志的内存申请中的数据进行增量备份的步骤包括:
判断带NVM标志的内存中数据与首次备份的数据是否有差异,若是,则将带NVM标志的内存中数据与首次备份的数据存在差异的部分进行备份。
4.根据权利要求3所述的基于异构混合内存的数据备份方法,其特征在于,判断带NVM标志的内存中数据与首次备份的数据是否有差异的步骤包括:
对带NVM标志的内存中数据和首次备份的数据采用CDC算法进行差分编码,并判断进行差分编码后两者的子数据块相同率;
若所述相同率大于40%,则采用RSYNC算法提取相同子数据;
若所述相同率小于40%,则继续采用CDC算法继续对两者进行差分编码。
5.根据权利要求2所述的基于异构混合内存的数据备份方法,其特征在于,所述判断对带NVM标志的内存申请进行完全备份后是否再次收到数据备份信号,若是,则对带NVM标志的内存申请进行增量备份的步骤包括:
判断在完全备份后是否收到数据备份信号,若是,则对带NVM标志的内存申请中的数据进行增量备份;
判断在增量备份后是否收到数据备份信号,若是,则对带NVM标志的内存申请中的数据进行增量备份;直至根据所有再次收到的数据备份信号完成增量备份。
6.一种基于异构混合内存的数据备份系统,其特征在于,包括内存方式判断模块、数据备份判断模块、数据备份操作模块、备份次数判断模块及数据备份模块;
所述内存方式判断模块用于判断内存申请是否需要采用NVM内存申请的方式;若是,则使用带NVM标志的内存申请,其中,所述NVM标志用于为内存数据备份提供标志信息;
所述数据备份判断模块用于判断是否需要将带NVM标志的内存申请进行内存数据备份,若是,则向异构混合内存的控制器发送数据备份信号;
所述数据备份操作模块用于根据所述数据备份信号将所述带NVM标志的内存申请中的数据备份到NVM中;
所述备份次数判断模块用于判断所述带NVM标志的内存申请是否为首次备份;
若是,则所述数据备份模块用于将带NVM标志的内存申请中的数据完全备份到NVM中;若否,则所述数据备份模块用于将带NVM标志的内存申请中的数据增量备份到NVM中。
7.根据权利要求6所述的基于异构混合内存的数据备份系统,其特征在于,所述数据备份操作模块还用于判断对带NVM标志的内存申请中的数据进行完全备份后是否再次收到数据备份信号;若是,则所述数据备份模块用于对带NVM标志的内存申请进行增量备份。
8.根据权利要求6或7所述的基于异构混合内存的数据备份系统,其特征在于,所述数据备份模块包括数据差异判断单元;所述数据差异判断单元用于判断带NVM标志的内存中数据与首次备份的数据是否有差异,若是,则所述数据备份模块用于将带NVM标志的内存中数据与首次备份的数据存在差异的部分进行备份。
9.根据权利要求8所述的基于异构混合内存的数据备份系统,其特征在于,所述数据备份模块还包括差分编码单元和相同率判断单元;所述差分编码单元用于对带NVM标志的内存中数据和首次备份的数据采用CDC算法进行差分编码;所述相同率判断单元用于判断进行差分编码后两者的子数据块相同率;
若所述相同率大于40%,则采用RSYNC算法提取相同子数据;
若所述相同率小于40%,则继续采用CDC算法继续对两者进行差分编码。
10.根据权利要求7所述的基于异构混合内存的数据备份系统,其特征在于,所述备份次数判断模块还用于判断在完全备份后是否收到数据备份信号,若是,则对带NVM标志的内存申请中的数据进行增量备份;
所述备份次数判断模块还用于判断在增量备份后是否收到数据备份信号,若是,则对带NVM标志的内存申请中的数据进行增量备份;直至根据所有再次收到的数据备份信号完成增量备份。
CN201410827719.2A 2014-12-25 2014-12-25 基于异构混合内存的数据备份方法和系统 Active CN105786643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410827719.2A CN105786643B (zh) 2014-12-25 2014-12-25 基于异构混合内存的数据备份方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410827719.2A CN105786643B (zh) 2014-12-25 2014-12-25 基于异构混合内存的数据备份方法和系统

Publications (2)

Publication Number Publication Date
CN105786643A CN105786643A (zh) 2016-07-20
CN105786643B true CN105786643B (zh) 2021-05-18

Family

ID=56389459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410827719.2A Active CN105786643B (zh) 2014-12-25 2014-12-25 基于异构混合内存的数据备份方法和系统

Country Status (1)

Country Link
CN (1) CN105786643B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209342B (zh) * 2020-01-13 2023-04-07 阿里巴巴集团控股有限公司 分布式系统、数据同步与节点管理方法、设备及存储介质
CN115373903A (zh) * 2022-08-30 2022-11-22 广州鼎甲计算机科技有限公司 逻辑备份方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049353A (zh) * 2012-12-21 2013-04-17 华为技术有限公司 一种数据备份方法及相关装置
CN103729300A (zh) * 2013-12-25 2014-04-16 华为技术有限公司 非易失内存的管理方法和相关装置
CN103810113A (zh) * 2014-01-28 2014-05-21 华中科技大学 一种非易失存储器和动态随机存取存储器的融合内存系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049353A (zh) * 2012-12-21 2013-04-17 华为技术有限公司 一种数据备份方法及相关装置
CN103729300A (zh) * 2013-12-25 2014-04-16 华为技术有限公司 非易失内存的管理方法和相关装置
CN103810113A (zh) * 2014-01-28 2014-05-21 华中科技大学 一种非易失存储器和动态随机存取存储器的融合内存系统

Also Published As

Publication number Publication date
CN105786643A (zh) 2016-07-20

Similar Documents

Publication Publication Date Title
CN106681931B (zh) 数据储存设备及其操作方法
US9632880B2 (en) Data storage device and flash memory control method
US10127166B2 (en) Data storage controller with multiple pipelines
US8650463B2 (en) Solid state drive and method of controlling an error thereof
US10372619B2 (en) Data backup method, data recovery method and storage controller
US10467044B2 (en) Transaction processing method and apparatus, and computer system
KR20110031130A (ko) 불휘발성 메모리에 대한 메타데이터 리던던시 스킴
CN111108488B (zh) 内存块回收方法和装置
TW201445313A (zh) 記憶體儲存裝置及其還原方法與記憶體控制器
CN104699417A (zh) 数据储存装置以及其数据存取方法
CN104699413A (zh) 数据管理方法、存储器存储装置及存储器控制电路单元
CN108572798B (zh) 针对快速数据传输执行监听操作的存储装置及其方法
US9384125B2 (en) Method for accessing flash memory having pages used for data backup and associated memory device
KR20160111583A (ko) 호스트 및 복수의 저장 장치를 포함하는 메모리 시스템 및 그것의 데이터 이송 방법
TWI454922B (zh) 記憶體儲存裝置及其記憶體控制器與資料寫入方法
KR20160074025A (ko) 데이터 저장 장치의 동작 방법
CN105786643B (zh) 基于异构混合内存的数据备份方法和系统
CN109683983B (zh) 一种镜像文件的生成及加载方法、设备
CN107544865B (zh) 一种备份数据快速可用的方法和装置
CN103389941B (zh) 存储器格式化方法、存储器控制器及存储器存储装置
CN105304140A (zh) 电子设备的存储器性能的测试方法及装置
TWI534814B (zh) 資料寫入方法、記憶體控制電路單元與記憶體儲存裝置
CN104281505A (zh) 数据备份方法、装置和电子设备
CN103186470B (zh) 存储器储存装置及其存储器控制器与数据写入方法
US20160078967A1 (en) Power Loss Test Device And Method For Nonvolatile Memory Device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230710

Address after: 518057 1701, Yanxiang science and technology building, 31 Gaoxin middle Fourth Road, Maling community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Yanxiang Smart Technology Co.,Ltd.

Address before: 518057 Guangdong city of Shenzhen province Nanshan District high in the four EVOC Technology Building No. 31

Patentee before: EVOC INTELLIGENT TECHNOLOGY Co.,Ltd.