CN105117308A - 一种数据处理方法、装置和系统 - Google Patents

一种数据处理方法、装置和系统 Download PDF

Info

Publication number
CN105117308A
CN105117308A CN201510632100.0A CN201510632100A CN105117308A CN 105117308 A CN105117308 A CN 105117308A CN 201510632100 A CN201510632100 A CN 201510632100A CN 105117308 A CN105117308 A CN 105117308A
Authority
CN
China
Prior art keywords
nonvolatile memory
target data
data
hard disk
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510632100.0A
Other languages
English (en)
Other versions
CN105117308B (zh
Inventor
汤文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201510632100.0A priority Critical patent/CN105117308B/zh
Publication of CN105117308A publication Critical patent/CN105117308A/zh
Application granted granted Critical
Publication of CN105117308B publication Critical patent/CN105117308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

本申请实施例提供了一种数据处理方法、装置和系统,该方法包括:获取写操作指令,所述写操作指令向内存数据库写入了目标数据;将目标数据备份至预设的非易失性内存中;当满足预设条件时,将非易失性内存中记录的目标数据存储至预设硬盘中,并删除非易失性内存内记录的目标数据。该方法、装置和系统可以在需要对恢复内存数据库时,能够减少内存数据库的数据丢失,并能够提高内存数据库的恢复速度。

Description

一种数据处理方法、装置和系统
技术领域
本申请涉及数据库技术领域,更具体的说是涉及一种数据处理方法、装置和系统。
背景技术
内存数据库是指将数据放在内存中直接操作的数据库。为了适应数据持久化的需求,同样需要将内存数据库中的数据更新到硬盘中,即对内存数据库中的数据进行持久化。这样,如果内存数据库所在的设备出现故障或者是设备掉电,则再次启动该内存数据库时,则可以利用持久化的数据来恢复内存数据库中的数据。在对内存数据库中的数据进行恢复时,则需要既快速又完整的恢复出该内存数据库中的数据,然而受限于目前的持久化策略,使得内存数据库在恢复过程中存在数据丢失或者恢复速度慢的问题。
发明内容
有鉴于此,本申请提供了一种数据处理方法、装置和系统,以在需要对恢复内存数据库时,能够减少内存数据库的数据丢失,并能够提高内存数据库的恢复速度。
为实现上述目的,本申请提供如下技术方案:一种数据处理方法,包括:
获取写操作指令,所述写操作指令向内存数据库写入了目标数据;
将所述目标数据备份至预设的非易失性内存中;
当满足预设条件时,将所述非易失性内存中记录的目标数据存储至预设硬盘中,并删除所述非易失性内存内记录的目标数据。
优选的,所述将所述目标数据备份至预设的非易失性内存中,包括:
将所述目标数据记录到所述非易失性内存的环形顺序列表中。
优选的,所述预设条件为以下情况的一种或多种:
当前时刻到达预设的数据迁移时刻;
所述非易失性内存当前剩余的存储空间小于预设值。
优选的,所述将所述目标数据备份至预设的非易失性内存中,包括:
在所述非易失性内存的列表的表项中以记录的形式存储所述目标数据;
所述将所述非易失性内存中记录的目标数据存储至预设硬盘中,包括:按照所述列表中表项的顺序,确定当前待扫描的目标表项;
锁定所述的目标表项;
将所述目标表项中记录的目标数据序列化到预设硬盘;
解除对所述目标表项的锁定。
优选的,还包括:
当检测到所述内存数据库被重启时,如果所述非易失性内存中记录有目标数据,则将所述非易失性内存中记录的目标数据存储至所述预设硬盘;
基于所述预设硬盘中记录的目标数据对所述内存数据库进行恢复。
另一方面,本申请还提供了一种数据处理装置,包括:
操作检测单元,用于获取写操作指令,所述写操作指令向内存数据库写入了目标数据;
数据备份单元,用于将所述目标数据备份至预设的非易失性内存中;
数据迁移单元,用于当满足预设条件时,将所述非易失性内存中记录的目标数据存储至预设硬盘中,并删除所述非易失性内存内记录的目标数据。
优选的,所述数据备份单元,包括:
数据备份子单元,用于将所述目标数据记录到所述非易失性内存的环形顺序列表中。
优选的,数据迁移单元中所需满足的预设条件包括以上一种或多种情况:
当前时刻到达预设的数据迁移时刻;
所述非易失性内存当前剩余的存储空间小于预设值。
优选的,所述数据备份单元,包括:
表项记录单元,用于在所述非易失性内存的列表的表项中以记录的形式存储所述目标数据;
则,所述数据迁移单元,包括:
扫描单元,用于当满足预设条件时,按照所述列表中表项的顺序,确定当前待扫描的目标表项:
锁定单元,用于锁定所述的目标表项;
序列化单元,用于将所述目标表项中记录的目标数据序列化到预设硬盘;
解锁单元,用于解除对所述目标表项的锁定;
删除单元,用于当所述解锁单元解除对所述目标表项的锁定时,删除所述非易失性内存内记录的所述目标表项。
优选的,还包括:
数据清理单元,用于当检测到所述内存数据库被重启时,如果所述非易失性内存中记录有目标数据,则将所述非易失性内存中记录的目标数据存储至所述预设硬盘;
数据恢复单元,用于基于所述预设硬盘中记录的目标数据对所述内存数据库进行恢复。
另一方面,本申请实施例还提供了一种数据处理系统,包括:
内存、与所述内存相连的处理器、与所述处理器相连的非易失性内存,以及与所述处理器和非易失性内存相连的硬盘;
其中,所述内存中构建有内存数据库;
所述处理器,用于获取写操作指令,所述写操作指令向内存数据库写入了目标数据;将所述目标数据备份至预设的非易失性内存中;当满足预设条件时,将所述非易失性内存中记录的目标数据存储至预设硬盘中,并删除所述非易失性内存内记录的目标数据;
所述非易失性内存,用于在所述处理器的控制下,存储所述目标数据;
所述硬盘,用于在所述处理器的控制下,存储由所述非易失性存储条迁移来的所述目标数据。
优选的,所述硬盘为IP硬盘,且所述IP硬盘通过通信网络与所述处理器相连。
经由上述的技术方案可知,在获取到写操作指令,且该写操作指令向内存数据库中写入了目标数据,则将目标数据备份到非易失性内存中,由于内存数据库中写入的数据被同步存储到非易失性内存中,从而可以有效减少数据丢失的情况。而且,本申请实施例中直接对写入目标数据库中的数据进行备份,并在满足预设条件时,将非易失性内存中备份的目标数据存储到该预设硬盘中,这样在后续需要对目标数据库进行恢复时,可以直接利用该预设硬盘中存储的目标数据对该内存数据库进行数据恢复,而无需再执行一次写操作指令,从而有利于提高内存数据库恢复的速度。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1示出了本申请一种数据处理方法一个实施例的流程示意图;
图2示出了本申请一种数据处理方法另一个实施例的流程示意图;
图3示出了本申请一种数据处理方法另一个实施例的流程示意图;
图4示出了本申请一种数据处理装置一个实施例的结构示意图;
图5示出了本申请一种数据处理装置一个实施例的结构示意图。
具体实施方式
本申请实施例提供了一种数据处理方法、装置和系统,在需要对内存数据库进行恢复时,可以实现快速恢复数据库,并减少数据丢失的情况。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
首先对本申请的一种数据处理方法进行介绍。
参见图1,其示出了本申请一种数据处理方法一个实施例的流程示意图,本实施例的方法可以包括:
101,获取写操作指令。
其中,写操作指令向内存数据库写入了目标数据。
需要说明的是,在本实施例中将写入该内存数据库的数据称为目标数据,仅仅是为了与其他数据进行区分,并没有其他含义。
102,将该目标数据备份至预设的非易失性内存中。
如果基于所述写操作指令,向内存数据库写入了目标数据,则会触发将目标数据备份至预设的非易失性内存中,这样,当向内存数据库中写入数据后,就会及时将该目标数据备份到该非易失性内存中,从而有利于在内存数据库出现故障时,减少数据丢失,甚至避免数据丢失。
同时,在本实施例中将写入到该内存数据库的目标数据进行备份,这样,当需要恢复内存数据库时,则可以直接利用备份的目标数据对该内存数据库进行恢复。与存储写操作指令相比,存储写入到内存数据库的目标数据,有利于后续快速恢复内存数据库。
其中,该非易失性内存可以有多种,如该非易失性内存可以为NVDIMM。
103,当满足预设条件时,将该非易失性内存中记录的目标数据存储至预设硬盘中,并删除该非易失性内存内记录的目标数据。
该预设条件可以根据实际需要进行设定,在此不加以限制。
由于非易失性内存的存储空间有限,为了实现对内存数据库中数据的固定存储,则可以在满足预设条件时,将非易失性内存中记录的目标数据存储至预设硬盘。这样,后续在需要对该内存数据库进行恢复时,则可以直接利用该预设硬盘中存储的数据对该内存数据库进行数据恢复。
在将非易失性内存中记录的目标数据存储至该预设硬盘之后,则可以删除该非易失性内存中记录的目标数据,以避免后续数据同步时出现数据重复,同时,也可以清空非易失性内存,以便继续利用该非易失性内存进行数据备份。
在本申请实施例中,获取到写操作指令,且该写操作指令向内存数据库中写入了目标数据,则将目标数据备份到非易失性内存中,由于内存数据库中写入的数据被同步存储到非易失性内存中,从而可以有效减少数据丢失的情况。而且,本申请实施例中直接对写入目标数据库中的数据进行备份,并在满足预设条件时,将非易失性内存中备份的目标数据存储到该预设硬盘中,这样在后续需要对目标数据库进行恢复时,可以直接利用该预设硬盘中存储的目标数据对该内存数据库进行数据恢复,而无需再执行一次写操作指令,从而有利于提高内存数据库恢复的速度。
在本申请实施例中,为了实现内存数据库中存储的目标数据到非易失性内存,在对内存数据库进行初始化启动时,初始化主内存池,预留出数据空间;然后初始化该非易失性内存所在的日志缓存池,并将非易失性内存的地址映射到内存中指定的存储区域,这样后续内存数据库中写入目标数据后,相应的日志就会直接写入到该指定的存储区域,并持久化到该非易失性内存中。相应的,初始化硬盘,建立该硬盘与内存数据库之间的连接池,以提高数据存储性能。
在本实施例中主机的处理器、该非易失性内存以及预设硬盘可以相连,具体连接关系,可以参见后续系统实施例的具体介绍。
需要说明的是,在本申请实施例中,该预设硬盘可以为IP硬盘,IP硬盘是提供IP协议接口的硬盘。IP硬盘和主机的处理器之间可以通过通信网络来传输数据,IP盘的数据存储格式和内存数据库键值数据对的存储方式高度一致,使得数据恢复加载更加简单。
可选的,在本申请任意一个实施例中,将目标数据备份至预设的非易失性内存中可以为:将目标数据记录到该非易失性内存的环形顺序列表中。在非易失性内存中采用环形顺序列表的形式进行日志记录,有利于提高输入写入效率。如,假如以队列形式写入数据,假设写入10条记录,则再写入第11条记录则会出现溢出,而且需要将非易失性内存中的所有数据记录均转移到该硬盘中,才可以进行数据写入,从而导致数据写入延迟。而如果采用环形顺序列表的形式进行数据记录,则在将非易失性内存中的数据转移到硬盘的过程中,只要转移出一条数据记录,则转出的该条记录在列表内的记录位置可以作为第一条记录所在位置进行输入写入,从而有利于避免数据延迟。
可以理解的是,在本申请实施例中,触发将非易失性内存中的数据转移到该预设硬盘中的预设条件可以有多种。
在一种可能的实现方式中,该预设条件可以当前时刻到达预设的数据迁移时刻。如,可以设定每次1分钟,则触发将非易失性内存中的数据转移到该硬盘中。
在另一种可能的实现方式中,该预设条件可以为非易失性内存的存储空间小于预设值。当检测到非易失性内存当前剩余的存储空间小于设值,则将非易失性内存中的数据存储至预设硬盘中,并删除该非易失性内存中存储的数据,有利于避免非易失性内存存储空间不足,而导致无法对内存数据库中存储的目标数据进行备份的情况。
可以理解的是,在将非易失性内存中的数据存储至预设硬盘的过程中,可以将非易失性内存中的所有数据均锁定,并在完成将非易失性内存中的全部数据均转移至该预设硬盘中之后,再对非易失性内存进行解锁。但是采用该种方式,则必须等待非易失性内存中的全部数据均转移至硬盘之后,才可以向非易失性内存中写入目标数据,从而有可能导致数据写入延迟。
可选的,本实施例可以采用行锁的方式对对非易失性内存中的数据进行锁定,即,每次仅锁定该非易失性内存中一行记录内的数据,具体可参见图2,其示出了本申请一种数据处理方法一个实施例的流程示意图,本实施例的方法可以包括:
201,获取写操作指令。
其中,写操作指令向内存数据库写入了目标数据。
202,在该非易失性内存的列表的表项中以记录的形式存储该目标数据。
在本实施例中,将该目标数据备份至预设的非易失性内存中,并在非易失性内存的列表的表项中以记录的形式存储该目标数据,从而使得不同时刻存储的目标数据以列表形式存在。
可以理解的是,在本实施例中该非易失性内存中的列表可以为队列列表,可选的,该非易失性内存中的列表可以为前面实施例所述的环形列表。
203,当满足预设条件时,按照该列表中表项的顺序,确定当前待扫描的目标表项。
该预设条件可以参见前面实施例的相关介绍,在此不再赘述。
204,锁定该目标表项。
205,将该目标表项中记录的目标数据序列化到预设硬盘,删除该目标表项中记录的该目标数据。
在本申请实施例中,按照列表中表项的顺序,顺序扫描该列表中的表项,以依次确定当前待扫描的目标表项,同时,仅仅对当前待扫描的目标表项进行锁定,并对锁定的目标表项中记录的目标数据序列化到预设硬盘,从而可以不影响对其他目标表项的操作。
206,解除对该目标表项的锁定。
207,删除该目标表项中记录的目标数据。
在将该目标表项中的目标数据转移到预设硬盘之后解除该目标表项的锁定,并在删除该目标表项中记录的目标数据之后,可以重新返回该步骤203,确定下一个待扫描的目标表项,直至该列表中所有目标表项扫描结束,并将所有目标表项中记录的目标数据序列化到该预设硬盘。
可以理解的是,在本实施例中,采用每次对目标表项进行序列化的过程中,仅仅对一个目标表项进行锁定,而不是对整个列表进行锁定,有利于减少数据写入延迟。
同时,在本实施例中将目标表项中的目标数据序列化到硬盘中的过程仅仅涉及到了部分内存操作和网络通信,对主要的业务进程的影响很小。
参见图3,其示出了本申请一种数据处理方法一个实施例的流程示意图,本实施例的方法可以包括:
301,获取写操作指令。
其中,写操作指令向内存数据库写入了目标数据。
302,将该目标数据备份至预设的非易失性内存中。
将该目标数据备份至预设的非易失性内存中。
303,当满足预设条件时,将该非易失性内存中记录的目标数据存储至预设硬盘中,并删除该非易失性内存内记录的目标数据。
以上步骤301至302的具体实现过程可以参见前面任意一个实施例的相关介绍,在此不再赘述。
304,当检测到该内存数据库被重启时,如果该非易失性内存中记录有目标数据,则将该非易失性内存中记录的目标数据存储至该预设硬盘。
其中,内存数据库被重启有多种可能,一种可能是内存数据库损坏,另一种情况可能是内存数据库掉电,当然还可能有其他情况导致内存数据库重启,但是无论哪种情况导致的内存数据库重启,均可以采用本申请实施例的方式对内存数据库进行数据恢复。
由于每次将非易失性内存中的数据转移至该硬盘中,均会删除该非易失性内存中记录的目标数据,这样,在重启内存数据库时,如果发现该非易失性内存中记录有目标数据,则说明该非易失性内存中的目标数据尚未转移到硬盘中进行存储,因此,如果此时直接利用硬盘中存储的数据对内存数据库进行恢复,就可能会导致数据丢失,所以需要将非易失性内存中存储的目标数据存储到该预设硬盘中。
当然,在将非易失性内存中的数据转移至该硬盘中,可能已经完成了对某个目标数据的转移,但是还未来得及清空该非易失性内存中关于该目标数据的记录项,此时如果出现掉电,那么在启动该内存数据库的时候,同样会检测到非易失性内存中存在目标数据,但是在该种情况下由于每次存储均是直接将该目标数据存储到该硬盘的操作,硬盘可以不会对同一个目标数据进行重复记录,也就是说,数据转移操作是幂等的,所谓幂等就是指重复操作结果不会发生改变,这样,硬盘具有不重复存储同一个目标数据的机制,因此重复操作的这条记录并不会造成数据错误。
305,基于该预设硬盘中记录的目标数据对所述内存数据库进行恢复。
完成该304的操作后,就可以直接利用该预设硬盘中的目标数据对内存数据库进行数据恢复了。
可以理解的是,在步骤304中检测到该非易失性内存中不存在目标数据,则可以直接执行步骤305,直接利用当前该预设硬盘中存储的目标数据对内存数据库进行恢复。
可以理解的是,在本申请以上任意一个实施例中,当检测到关闭内存数据库的操作时,还可以将该非易失性内存中所有的数据均存储到该预设硬盘中,并清空到该非易失性内存中的所有数据,最后才关闭主程序释放内存。
对应本申请的一种数据处理方法,本申请还提供了一种数据处理装置。
参见图4,其示出了本申请一种数据处理装置一个实施例的结构示意图,本实施例的装置可以包括:
操作检测单元401,用于获取写操作指令,所述写操作指令向内存数据库写入了目标数据;
数据备份单元402,用于将所述目标数据备份至预设的非易失性内存中;
数据迁移单元403,用于当满足预设条件时,将所述非易失性内存中记录的目标数据存储至预设硬盘中,并删除所述非易失性内存内记录的目标数据。
可选的,所述数据备份单元,可以包括:
数据备份子单元,用于将所述目标数据记录到所述非易失性内存的环形顺序列表中。
可选的,在以上任意一个装置的实施例中,数据迁移单元中所需满足的预设条件包括以上一种或多种情况:
当前时刻到达预设的数据迁移时刻;
所述非易失性内存的存储空间小于预设值。
可选的,在以上任意一个装置的实施例中,所述数据备份单元,包括:
表项记录单元,用于在所述非易失性内存的列表的表项中以记录的形式存储所述目标数据;
则,所述数据迁移单元可以包括:
扫描单元,用于当满足预设条件时,按照所述列表中表项的顺序,确定当前待扫描的目标表项:
锁定单元,用于锁定所述的目标表项;
序列化单元,用于将所述目标表项中记录的目标数据序列化到预设硬盘;
解锁单元,用于解除对所述目标表项的锁定;
删除单元,用于当所述解锁单元解除对所述目标表项的锁定时,删除所述非易失性内存内记录的所述目标表项。
可选的,在以上任意一个装置的实施例中,该装置还可以包括:
数据清理单元,用于当检测到所述内存数据库被重启时,如果所述非易失性内存中记录有目标数据,则将所述非易失性内存中记录的目标数据存储至所述预设硬盘;
数据恢复单元,用于基于所述预设硬盘中记录的目标数据对所述内存数据库进行恢复。
另一方面,本申请还提供了一种数据处理系统。
参见图5,其示出了本申请一种数据处理系统一个实施例的组成结构示意图,本实施例的系统可以包括:
内存501、与所述内存501相连的处理器502、与所述处理器502相连的非易失性内存503,以及与所述处理器和非易失性内存相连的硬盘504;
其中,所述内存501中构建有内存数据库;
所述处理器502,用于获取写操作指令,所述写操作指令向内存数据库写入了目标数据;将所述目标数据备份至预设的非易失性内存中;当满足预设条件时,将所述非易失性内存中记录的目标数据存储至预设硬盘中,并删除所述非易失性内存内记录的目标数据;
所述非易失性内存503,用于在所述处理器的控制下,存储所述目标数据;
所述硬盘504,用于在所述处理器的控制下,存储由所述非易失性存储条迁移来的所述目标数据。
可选的,处理器、非易失性内存以及硬盘之间通过通信总线相连。
可选的,所述硬盘为IP硬盘,且所述IP硬盘通过通信网络与所述处理器相连。如,该IP硬盘可以通过网卡与该处理器实现连接。
进一步的,网卡通过PCIE(PCIExpress)总线与处理器相连。
相应的,该处理器与非易失性内存之间也通过PCIE总线相连。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种数据处理方法,其特征在于,包括:
获取写操作指令,所述写操作指令向内存数据库写入了目标数据;
将所述目标数据备份至预设的非易失性内存中;
当满足预设条件时,将所述非易失性内存中记录的目标数据存储至预设硬盘中,并删除所述非易失性内存内记录的目标数据。
2.根据权利要求1所述的方法,其特征在于,所述将所述目标数据备份至预设的非易失性内存中,包括:
将所述目标数据记录到所述非易失性内存的环形顺序列表中。
3.根据权利要求1或2所述的方法,其特征在于,所述预设条件为以下情况的一种或多种:
当前时刻到达预设的数据迁移时刻;
所述非易失性内存当前剩余的存储空间小于预设值。
4.根据权利要求1所述的方法,其特征在于,所述将所述目标数据备份至预设的非易失性内存中,包括:
在所述非易失性内存的列表的表项中以记录的形式存储所述目标数据;
所述将所述非易失性内存中记录的目标数据存储至预设硬盘中,包括:按照所述列表中表项的顺序,确定当前待扫描的目标表项;
锁定所述的目标表项;
将所述目标表项中记录的目标数据序列化到预设硬盘;
解除对所述目标表项的锁定。
5.根据权利要求1所述的方法,其特征在于,还包括:
当检测到所述内存数据库被重启时,如果所述非易失性内存中记录有目标数据,则将所述非易失性内存中记录的目标数据存储至所述预设硬盘;
基于所述预设硬盘中记录的目标数据对所述内存数据库进行恢复。
6.一种数据处理装置,其特征在于,包括:
操作检测单元,用于获取写操作指令,所述写操作指令向内存数据库写入了目标数据;
数据备份单元,用于将所述目标数据备份至预设的非易失性内存中;
数据迁移单元,用于当满足预设条件时,将所述非易失性内存中记录的目标数据存储至预设硬盘中,并删除所述非易失性内存内记录的目标数据。
7.根据权利要求6所述的装置,其特征在于,所述数据备份单元,包括:
数据备份子单元,用于将所述目标数据记录到所述非易失性内存的环形顺序列表中。
8.根据权利要求6或7所述的装置,其特征在于,数据迁移单元中所需满足的预设条件包括以上一种或多种情况:
当前时刻到达预设的数据迁移时刻;
所述非易失性内存当前剩余的存储空间小于预设值。
9.根据权利要求6所述的装置,其特征在于,所述数据备份单元,包括:
表项记录单元,用于在所述非易失性内存的列表的表项中以记录的形式存储所述目标数据;
则,所述数据迁移单元,包括:
扫描单元,用于当满足预设条件时,按照所述列表中表项的顺序,确定当前待扫描的目标表项:
锁定单元,用于锁定所述的目标表项;
序列化单元,用于将所述目标表项中记录的目标数据序列化到预设硬盘;
解锁单元,用于解除对所述目标表项的锁定;
删除单元,用于当所述解锁单元解除对所述目标表项的锁定时,删除所述非易失性内存内记录的所述目标表项。
10.根据权利要求6所述的装置,其特征在于,还包括:
数据清理单元,用于当检测到所述内存数据库被重启时,如果所述非易失性内存中记录有目标数据,则将所述非易失性内存中记录的目标数据存储至所述预设硬盘;
数据恢复单元,用于基于所述预设硬盘中记录的目标数据对所述内存数据库进行恢复。
11.一种数据处理系统,其特征在于,包括:
内存、与所述内存相连的处理器、与所述处理器相连的非易失性内存,以及与所述处理器和非易失性内存相连的硬盘;
其中,所述内存中构建有内存数据库;
所述处理器,用于获取写操作指令,所述写操作指令向内存数据库写入了目标数据;将所述目标数据备份至预设的非易失性内存中;当满足预设条件时,将所述非易失性内存中记录的目标数据存储至预设硬盘中,并删除所述非易失性内存内记录的目标数据;
所述非易失性内存,用于在所述处理器的控制下,存储所述目标数据;
所述硬盘,用于在所述处理器的控制下,存储由所述非易失性存储条迁移来的所述目标数据。
12.根据权利要求11所述的系统,其特征在于,所述硬盘为IP硬盘,且所述IP硬盘通过通信网络与所述处理器相连。
CN201510632100.0A 2015-09-29 2015-09-29 一种数据处理方法、装置和系统 Active CN105117308B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510632100.0A CN105117308B (zh) 2015-09-29 2015-09-29 一种数据处理方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510632100.0A CN105117308B (zh) 2015-09-29 2015-09-29 一种数据处理方法、装置和系统

Publications (2)

Publication Number Publication Date
CN105117308A true CN105117308A (zh) 2015-12-02
CN105117308B CN105117308B (zh) 2020-06-23

Family

ID=54665307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510632100.0A Active CN105117308B (zh) 2015-09-29 2015-09-29 一种数据处理方法、装置和系统

Country Status (1)

Country Link
CN (1) CN105117308B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193498A (zh) * 2017-05-25 2017-09-22 山东浪潮商用系统有限公司 一种对数据进行去重复处理的方法及装置
CN108021585A (zh) * 2016-10-28 2018-05-11 腾讯科技(深圳)有限公司 分布式数据存储方法和装置
CN109117297A (zh) * 2018-08-30 2019-01-01 浪潮电子信息产业股份有限公司 一种固态硬盘的故障定位方法及装置
CN109271277A (zh) * 2017-07-17 2019-01-25 阿里巴巴集团控股有限公司 数据库宕机后的访问方法、装置和系统
CN110413448A (zh) * 2019-06-28 2019-11-05 苏州浪潮智能科技有限公司 一种云主机备份方法与装置
CN111580756A (zh) * 2020-05-13 2020-08-25 中国长城科技集团股份有限公司 一种数据操作方法、装置、设备及计算机可读存储介质
CN113178212A (zh) * 2021-04-29 2021-07-27 枣庄市晓光科技咨询服务有限公司 一种硬盘数据存储管理系统及其专用数据存储设备
CN113296683A (zh) * 2020-04-07 2021-08-24 阿里巴巴集团控股有限公司 数据存储方法、装置、服务器和存储介质
WO2022242665A1 (zh) * 2021-05-21 2022-11-24 华为技术有限公司 一种数据存储方法及相关装置
CN115576783A (zh) * 2022-12-12 2023-01-06 湖南博匠信息科技有限公司 一种vpx机箱的刀片服务器带外日志存储方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051324A (zh) * 2007-05-23 2007-10-10 中兴通讯股份有限公司 一种内存数据库的事务管理方法
CN104137100A (zh) * 2013-03-04 2014-11-05 株式会社东芝 数据库装置、程序及数据处理方法
CN104899117A (zh) * 2015-06-17 2015-09-09 江苏师范大学 面向非易失性内存的内存数据库并行日志方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051324A (zh) * 2007-05-23 2007-10-10 中兴通讯股份有限公司 一种内存数据库的事务管理方法
CN104137100A (zh) * 2013-03-04 2014-11-05 株式会社东芝 数据库装置、程序及数据处理方法
CN104899117A (zh) * 2015-06-17 2015-09-09 江苏师范大学 面向非易失性内存的内存数据库并行日志方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
梁智兴 等: "基于两步备份机制的内存数据库恢复方法研究", 《网络安全技术与应用》 *
覃飙 等: "一种实时内存数据库恢复算法", 《第二十届全国数据库学术会议论文集(技术报告篇)》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021585A (zh) * 2016-10-28 2018-05-11 腾讯科技(深圳)有限公司 分布式数据存储方法和装置
CN108021585B (zh) * 2016-10-28 2022-01-18 腾讯科技(深圳)有限公司 分布式数据存储方法和装置
CN107193498B (zh) * 2017-05-25 2020-03-27 浪潮软件集团有限公司 一种对数据进行去重复处理的方法及装置
CN107193498A (zh) * 2017-05-25 2017-09-22 山东浪潮商用系统有限公司 一种对数据进行去重复处理的方法及装置
CN109271277A (zh) * 2017-07-17 2019-01-25 阿里巴巴集团控股有限公司 数据库宕机后的访问方法、装置和系统
CN109117297A (zh) * 2018-08-30 2019-01-01 浪潮电子信息产业股份有限公司 一种固态硬盘的故障定位方法及装置
CN110413448A (zh) * 2019-06-28 2019-11-05 苏州浪潮智能科技有限公司 一种云主机备份方法与装置
CN113296683A (zh) * 2020-04-07 2021-08-24 阿里巴巴集团控股有限公司 数据存储方法、装置、服务器和存储介质
CN111580756A (zh) * 2020-05-13 2020-08-25 中国长城科技集团股份有限公司 一种数据操作方法、装置、设备及计算机可读存储介质
CN113178212A (zh) * 2021-04-29 2021-07-27 枣庄市晓光科技咨询服务有限公司 一种硬盘数据存储管理系统及其专用数据存储设备
CN113178212B (zh) * 2021-04-29 2023-01-17 枣庄市晓光科技咨询服务有限公司 一种硬盘数据存储管理系统
WO2022242665A1 (zh) * 2021-05-21 2022-11-24 华为技术有限公司 一种数据存储方法及相关装置
CN115576783A (zh) * 2022-12-12 2023-01-06 湖南博匠信息科技有限公司 一种vpx机箱的刀片服务器带外日志存储方法及系统
CN115576783B (zh) * 2022-12-12 2023-03-14 湖南博匠信息科技有限公司 一种vpx机箱的刀片服务器带外日志存储方法及系统

Also Published As

Publication number Publication date
CN105117308B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN105117308A (zh) 一种数据处理方法、装置和系统
CN101419564B (zh) 一种采用快照恢复数据的方法和装置
EP2545435B1 (en) Systems and methods for garbage collection in deduplicated data systems
CN102306115B (zh) 异步远程复制方法、系统及设备
US10417180B1 (en) Fast recovery of backup cloud gateway following crash without garbage collection
CN102945278B (zh) 一种数据库记录重做日志的方法和装置
US20060095478A1 (en) Consistent reintegration a failed primary instance
CN104969168A (zh) 具有用于分级写入的nvram的持久性存储装置
US8751727B2 (en) Storage apparatus and storage system
CN103577121A (zh) 一种基于nand flash的高可靠线性文件存取方法
CN100524237C (zh) 计算机硬盘数据连续时间点存储与恢复的方法
US8533411B2 (en) Multiple backup processes
US8799572B2 (en) Sliding-window multi-class striping
CN104166605A (zh) 基于增量数据文件的数据备份方法及系统
CN112099996B (zh) 基于页面更新序号的数据库集群多节点重做日志恢复方法
US8074012B2 (en) Flash memory apparatus and method for securing a flash memory from data damage
CN102541750A (zh) 数据快照的实现方法和装置
CN105389268B (zh) 资料储存系统及其运作方法
EP2577472B1 (en) Asynchronous bad block management in nand flash memory
JP2009237906A (ja) コンピュータシステムのバックアップ方法
CN105446652B (zh) 进行摄像数据存储的方法及装置
CN109918228B (zh) 一种数据掉电保持方法及系统
CN104484354A (zh) 保证数据一致性的快照方法和存储设备
CN102103601A (zh) 选取文件的方法和装置
CN101788934A (zh) 逻辑卷管理器的数据操作方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant