CN109871295A - 一种数据备份方法、备份装置、电子设备及存储介质 - Google Patents
一种数据备份方法、备份装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN109871295A CN109871295A CN201711249747.0A CN201711249747A CN109871295A CN 109871295 A CN109871295 A CN 109871295A CN 201711249747 A CN201711249747 A CN 201711249747A CN 109871295 A CN109871295 A CN 109871295A
- Authority
- CN
- China
- Prior art keywords
- memory node
- data
- backed
- cached copies
- delayed duplicate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明实施例提供了一种数据备份方法、备份装置、电子设备及存储介质,其中方法包括:接收所述主副本存储节点发送的待备份业务数据;通过与所述延迟副本存储节点之间的信息交互,和所述延迟副本存储节点共同存储所述主副本存储节点的全量数据。本发明实施例提供的数据备份方法、备份装置、电子设备及存储介质,在保证待备份业务数据可靠性的前提下,能够以相当于三倍待备份业务数据的数据量对待备份业务数据进行备份,从而在对生产中心的待备份业务数据进行备份时,能够降低数据占用量。
Description
技术领域
本发明涉及数据备份技术领域,特别是涉及一种数据备份方法、备份装置、电子设备及存储介质。
背景技术
数据容灾系统通常包括业务中心和数据备份系统。业务中心通常在机房中部署有服务器及存储系统,用于正常的业务运行,业务中心会生成待备份业务数据;数据备份系统,通过在异地部署数据库服务器及存储阵列,将待备份业务数据以多个副本的形式进行备份,这些副本可以位于相同的机房,也可以位于不同的机房(将副本部署在不同机房能够避免因单个机房故障造成所有副本丢失的情况发生)。数据备份系统对数据进行备份时,可以是对待备份业务数据的同步备份,也可以是对待备份业务数据的异步备份。其中,同步备份是指接收数据备份请求后,立刻对待备份业务数据进行备份;异步备份是指接收数据备份请求后,在预设延迟时间后对待备份业务数据进行备份。
数据备份系统通常包含主副本存储节点和两个从副本存储节点,为了保证在主副本存储节点和某一个从副本存储节点都损坏后,至少还有一个从副本存储节点可用于数据恢复,三副本形式的数据备份系统是保证数据安全的最低要求。这种部署方式,会将其中一个从副本存储节点部署在与主副本存储节点不同的机房中,以避免因单个机房故障造成所有副本存储节点丢失的情况发生。但这种部署方式同时存在一个问题,在业务中心的高峰期时,由于需要读写大量的数据,相应地,数据备份也更加频繁,这就会导致在两个机房之间需占用较大的带宽用于实时数据备份,因而会影响其它业务数据正常传输。
现有的数据备份系统,在保证待备份业务数据可靠性的前提下,在上述部署方式的基础上通常会增加一个延迟副本存储节点,通过对待备份业务数据进行异步备份,无需过高的带宽要求,从而降低跨机房传输带宽的占用率。其备份过程为:接收包含待备份业务数据的备份请求后,存储控制器控制主副本存储节点实时接收待备份业务数据并进行备份,并控制主副本存储节点向两个从副本存储节点实时传输待备份业务数据;同时控制主副本存储节点在预设延迟时间后,向延迟副本存储节点传输待备份业务数据。通过上述过程,两个从副本存储节点能够对待备份业务数据进行实时备份,延迟副本存储节点能够对待备份业务数据进行异步备份。
但是,目前大多数企业业务中心的待备份业务数据量往往在PB级,现有的数据备份系统,由于进行数据备份所存储的数据量至少为四倍待备份业务数据的数据量,因此存在所存储的数据量过多的问题。
发明内容
本发明实施例的目的在于提供一种数据备份方法、备份装置、电子设备及存储介质,以实现在对生产中心的待备份业务数据进行备份时,降低所存储数据量的目的。具体技术方案如下:
第一方面,本发明实施例提供了一种数据备份方法,应用于数据备份系统中的缓存副本存储节点,所述数据备份系统还包括:主副本存储节点和延迟副本存储节点,所述方法包括:
接收所述主副本存储节点发送的待备份业务数据;
通过与所述延迟副本存储节点之间的信息交互,和所述延迟副本存储节点共同存储所述主副本存储节点的全量数据。
可选地,所述通过与所述延迟副本存储节点之间的信息交互,和所述延迟副本存储节点共同存储所述主副本存储节点的全量数据,包括:
在接收所述待备份业务数据的预设延迟时间后,向所述延迟副本存储节点传输所述待备份业务数据;
在所述延迟副本存储节点已备份所述待备份业务数据后,删除自身存储的所述待备份业务数据。
可选地,所述在所述延迟副本存储节点已备份所述待备份业务数据后,删除自身存储的所述待备份业务数据,包括:
当自身已占用的存储空间超出预设阈值,且所述延迟副本存储节点已备份所述待备份业务数据后,删除自身存储的所述待备份业务数据。
可选地,所述缓存副本存储节点位于第一机房内,所述延迟副本存储节点位于第二机房内。
第二方面,本发明实施例还提供了一种数据备份方法,应用于数据备份系统中的存储控制器,所述数据备份系统还包括:主副本存储节点、从副本存储节点、缓存副本存储节点和延迟副本存储节点,其中,所述缓存副本存储节点和所述延迟副本存储节点共同存储所述主副本存储节点的全量数据,所述方法包括:
在接收包含待备份业务数据的备份请求后,将所述待备份业务数据发送至主副本存储节点,以使所述主副本存储节点向缓存副本存储节点实时传输所述待备份业务数据;
当所述延迟副本存储节点损坏时,判断所述缓存副本存储节点中是否存储有主副本存储节点的全量数据;
如果存储有主副本存储节点的全量数据,创建新的延迟副本存储节点,以使所述全量数据传输至所述新的延迟副本存储节点,并删除所述缓存副本存储节点中的全量数据;
如果未存储有主副本存储节点的全量数据,清除所述缓存副本存储节点中的数据,将所述主副本存储节点的全量数据复制至所述缓存副本存储节点中,并创建新的延迟副本存储节点,以使所述全量数据传输至所述新的延迟副本存储节点,并删除所述缓存副本存储节点中的全量数据。
可选地,在确定所述从副本存储节点和所述缓存副本存储节点已备份所述主副本存储节点发送的待备份业务数据后,生成并发送所述数据备份请求的备份完毕回执消息。
可选地,所述存储控制器、所述主副本存储节点、所述从副本存储节点、所述缓存副本存储节点位于第一机房内,所述延迟副本存储节点和所述新的延迟副本存储节点位于第二机房内。
第三方面,本发明实施例还提供了一种数据备份装置,应用于数据备份系统中的缓存副本存储节点,所述数据备份系统还包括:主副本存储节点和延迟副本存储节点,所述装置包括:
接收模块,用于接收所述主副本存储节点发送的待备份业务数据;
存储模块,用于通过与所述延迟副本存储节点之间的信息交互,和所述延迟副本存储节点共同存储所述主副本存储节点的全量数据。
可选地,所述存储模块,包括:
传输子模块,用于在接收所述待备份业务数据的预设延迟时间后,向所述延迟副本存储节点传输所述待备份业务数据;
删除子模块,用于在所述延迟副本存储节点已备份所述待备份业务数据后,删除缓存副本存储节点存储的所述待备份业务数据。
可选地,删除子模块具体用于:
当缓存副本存储节点已占用的存储空间超出预设阈值,且所述延迟副本存储节点已备份所述待备份业务数据后,删除缓存副本存储节点存储的所述待备份业务数据。
可选地,所述缓存副本存储节点位于第一机房内,所述延迟副本存储节点位于第二机房内。
第四方面,本发明实施例还提供了一种数据备份装置,应用于数据备份系统中的存储控制器,所述数据备份系统还包括:主副本存储节点、从副本存储节点、缓存副本存储节点和延迟副本存储节点,其中,所述缓存副本存储节点和所述延迟副本存储节点共同存储所述主副本存储节点的全量数据,所述装置包括:
发送模块,用于在接收包含待备份业务数据的备份请求后,将所述待备份业务数据发送至主副本存储节点,以使所述主副本存储节点向缓存副本存储节点实时传输所述待备份业务数据;
判断模块,用于当所述延迟副本存储节点损坏时,判断所述缓存副本存储节点中是否存储有主副本存储节点的全量数据;
第一创建模块,用于当判断模块判断为缓存副本存储节点存储有主副本存储节点的全量数据时,创建新的延迟副本存储节点,以使所述全量数据传输至所述新的延迟副本存储节点,并删除所述缓存副本存储节点中的全量数据;
第二创建模块,用于当判断模块判断为缓存副本存储节点未存储有主副本存储节点的全量数据时,清除所述缓存副本存储节点中的数据,将所述主副本存储节点的全量数据复制至所述缓存副本存储节点中,并创建新的延迟副本存储节点,以使所述全量数据传输至所述新的延迟副本存储节点,并删除所述缓存副本存储节点中的全量数据。
可选地,所述装置还包括:
生成模块,用于在确定所述从副本存储节点和所述缓存副本存储节点已备份所述主副本存储节点发送的待备份业务数据后,生成并发送所述数据备份请求的备份完毕回执消息。
可选地,所述存储控制器、所述主副本存储节点、所述从副本存储节点、所述缓存副本存储节点位于第一机房内,所述延迟副本存储节点和所述新的延迟副本存储节点位于第二机房内。
第五方面,本发明实施例提供了一种缓存副本存储节点,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
机器可读存储介质存储有能够被处理器执行的机器可执行指令,处理器被机器可执行指令促使:实现上述第一方面提供的数据备份方法步骤。
第六方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现上述第一方面提供的数据备份方法步骤。
第七方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面提供的数据备份方法步骤。
第八方面,本发明实施例还提供了一种计算机程序,当其在计算机上运行时,使得计算机执行上述第一方面提供的数据备份方法步骤。
第九方面,本发明实施例提供了一种存储控制器,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
机器可读存储介质存储有能够被处理器执行的机器可执行指令,处理器被机器可执行指令促使:实现上述第二方面提供的数据备份方法步骤。
第十方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现上述第二方面提供的数据备份方法步骤。
第十一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第二方面提供的数据备份方法步骤。
第十二方面,本发明实施例还提供了一种计算机程序,当其在计算机上运行时,使得计算机执行上述第二方面提供的数据备份方法步骤。
本发明实施例提供的一种数据备份方法、备份装置、电子设备及存储介质,通过设置主副本存储节点、从副本存储节点、缓存副本存储节点和延迟副本存储节点,并使缓存副本存储节点与延迟副本存储节点通过信息交互,和延迟副本存储节点共同存储主副本存储节点的全量数据,在保证待备份业务数据可靠性的前提下,能够以相当于三倍待备份业务数据的数据量对待备份业务数据进行备份,从而在对生产中心的待备份业务数据进行备份时,能够降低数据占用量。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据备份方法的一种流程示意图;
图2为本发明实施例提供的数据备份方法的另一种流程示意图;
图3为本发明实施例提供的数据备份方法的再一种流程示意图;
图4为本发明实施例提供的数据备份方法的第四种流程示意图;
图5为本发明实施例提供的数据备份装置的一种结构示意图;
图6为本发明实施例提供的数据备份装置中存储模块的结构示意图;
图7本发明实施例提供的数据备份方法的第五种流程示意图;
图8为本发明实施例提供的数据备份装置的另一种结构示意图;
图9为本发明实施例提供的数据备份系统的一种结构示意图;
图10为本发明实施例提供的缓存副本存储节点的一种结构示意图;
图11为本发明实施例提供的缓存副本存储节点的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例还提供了一种数据备份方法,可以应用于数据备份系统中的缓存副本存储节点,其中,上述数据备份系统还包括:主副本存储节点和延迟副本存储节点,该数据备份方法包括:
S101,接收主副本存储节点发送的待备份业务数据。
S102,通过与延迟副本存储节点之间的信息交互,和延迟副本存储节点共同存储主副本存储节点的全量数据。
容易理解的是,本发明实施例中的主副本存储节点、缓存副本存储节点和延迟副本存储节点,可以为存储设备,例如硬盘、硬盘阵列,也可以为包含上述硬盘或硬盘阵列的服务器,或者包含上述硬盘或硬盘阵列的服务器集群。
其中,本发明实施例中的缓存副本存储节点,是本发明实施例中数据备份系统的其中一个存储节点,可以接收来自主副本存储节点发送的待备份业务数据,也可以传输数据,因此可以成为一个节点。另外,本发明实施例中的主副本存储节点,同样是本发明实施例中数据备份系统的其中一个存储节点。
并且,缓存副本存储节点还可以缓存所接收的待备份业务数据,并将所缓存的待备份业务数据传输至延迟副本存储节点。也就是说,本发明实施例中的缓存副本存储节点可以通过与延迟副本存储节点进行信息交互,从而和延迟副本存储节点共同存储主副本存储节点的全量数据。
另外,本发明实施例中的延迟副本存储节点,可以接收来自缓存副本存储节点的待备份业务数据。
在一些示例中,本发明实施例中的缓存副本存储节点并不一定存储有主副本存储节点中的全量数据,本发明实施例中的延迟副本存储节点也并不一定存储有主副本存储节点中的全量数据。虽然缓存副本存储节点和延迟副本存储节点各自都不一定存储有主副本存储节点中的全量数据,但是它们可以共同构成一个完整的备份副本,也就是说,缓存副本存储节点和延迟副本存储节点可以共同存储主副本存储节点的全量数据。
通过前述内容可知,任一待备份业务数据只会存储于缓存副本存储节点或者延迟副本存储节点两者之一中。通过这种动态的存储方式,可以使缓存副本存储节点和延迟副本存储节点共同存储主副本存储节点的全量数据,达到降低所存储数据量的目的。
本发明实施例中的预设延迟时间可以由技术人员根据实际备份需要进行设置,本发明实施例在此不做限定。
作为本发明实施例一种可选的实施方式,缓存副本存储节点可以设置于一个机房,可以称为第一机房,延迟副本存储节点可以设置于另一个机房,可以称为第二机房。其中,第一机房和第二机房通常情况下会异地设置,因为,如果将它们设置于一个机房中,一旦该机房出现火灾等灾害,可能导致整个数据备份系统完全损毁。因此,通过将第一机房和第二机房通常异地设置,即使任一机房损毁,另一机房中所备份的数据不会受到影响,从而提高数据备份系统的安全系数。
本发明实施例提供的数据备份方法,缓存副本存储节点通过接收主副本存储节点发送的待备份业务数据,并通过与延迟副本存储节点之间的信息交互,和延迟副本存储节点共同存储所述主副本存储节点的全量数据,在保证待备份业务数据可靠性的前提下,能够使数据存储系统以三倍待备份业务数据的数据量对待备份业务数据进行备份,从而在对生产中心的待备份业务数据进行备份时,能够降低数据占用量。
如图2所示,本发明实施例还提供了一种数据备份方法,可以应用于数据备份系统中的缓存副本存储节点,其中,上述数据备份系统还包括:主副本存储节点和延迟副本存储节点,该数据备份方法包括:
S201,接收主副本存储节点发送的待备份业务数据。
容易理解的是,本发明实施例中的主副本存储节点、缓存副本存储节点和延迟副本存储节点,可以为存储设备,例如硬盘、硬盘阵列,也可以为包含上述硬盘或硬盘阵列的服务器,或者包含上述硬盘或硬盘阵列的服务器集群。
其中,本发明实施例中的缓存副本存储节点,是本发明实施例中数据备份系统的其中一个存储节点,可以接收来自主副本存储节点发送的待备份业务数据,也可以传输数据,因此可以成为一个节点。另外,本发明实施例中的主副本存储节点,同样是本发明实施例中数据备份系统的其中一个存储节点。
并且,缓存副本存储节点还可以缓存所接收的待备份业务数据,并将所缓存的待备份业务数据传输至延迟副本存储节点。也就是说,本发明实施例中的缓存副本存储节点可以通过与延迟副本存储节点进行信息交互,从而和延迟副本存储节点共同存储主副本存储节点的全量数据。
另外,本发明实施例中的延迟副本存储节点,可以接收来自缓存副本存储节点的待备份业务数据。
S202,在接收待备份业务数据的预设延迟时间后,向延迟副本存储节点传输待备份业务数据。
本发明实施例中,缓存副本存储节点在接收待备份业务数据的预设延迟时间后,可以向延迟副本存储节点传输待备份业务数据。通过上述的延迟数据传输方式,可以使延迟副本存储节点延迟接收待备份业务数据,从而达到异步备份的效果。
本发明实施例中的预设延迟时间可以由技术人员根据实际备份需要进行设置,本发明实施例在此不做限定。
S203,在延迟副本存储节点已备份所述待备份业务数据后,删除自身存储的待备份业务数据。
在延迟副本存储节点已备份待备份业务数据后,缓存副本存储节点可以删除自身存储的待备份业务数据,使待备份业务数据只存储于缓存副本存储节点,或者延迟副本存储节点两者之一中,从而缓存副本存储节点和延迟副本存储节点共同构成一个完整的备份副本。
例如具体地可以为:缓存副本存储节点接收来自主副本存储节点的待备份业务数据后,可以尽快将待备份业务数据传输至延迟副本存储节点,并删除自身存储的待备份业务数据。
在一些示例中,本发明实施例中的缓存副本存储节点并不一定存储有主副本存储节点中的全量数据,本发明实施例中的延迟副本存储节点也并不一定存储有主副本存储节点中的全量数据。虽然缓存副本存储节点和延迟副本存储节点各自都不一定存储有主副本存储节点中的全量数据,但是它们可以共同构成一个完整的备份副本,也就是说,缓存副本存储节点和延迟副本存储节点可以共同存储主副本存储节点的全量数据。
通过前述内容可知,任一待备份业务数据只会存储于缓存副本存储节点或者延迟副本存储节点两者之一中。通过这种动态的存储方式,可以使缓存副本存储节点和延迟副本存储节点共同存储主副本存储节点的全量数据,达到降低所存储数据量的目的。
本发明实施例提供的数据备份方法,通过在延迟副本存储节点已备份待备份业务数据后,删除自身存储的待备份业务数据,使待备份业务数据只存储于缓存副本存储节点或者延迟副本存储节点两者之一中,从而延迟副本存储节点和缓存副本存储节点可以共同构成一个完整的备份副本,进一步达到降低所存储数据量的目的。
如图3所示,本发明实施例还提供了一种数据备份方法,可以应用于数据备份系统中的缓存副本存储节点,其中,上述数据备份系统还包括:主副本存储节点和延迟副本存储节点,该数据备份方法包括:
S301,接收主副本存储节点发送的待备份业务数据。
容易理解的是,本发明实施例中的主副本存储节点、缓存副本存储节点和延迟副本存储节点,可以为存储设备,例如硬盘、硬盘阵列,也可以为包含上述硬盘或硬盘阵列的服务器,或者包含上述硬盘或硬盘阵列的服务器集群。
其中,本发明实施例中的缓存副本存储节点,是本发明实施例中数据备份系统的其中一个存储节点,可以接收来自主副本存储节点发送的待备份业务数据,也可以传输数据,因此可以成为一个节点。另外,本发明实施例中的主副本存储节点,同样是本发明实施例中数据备份系统的其中一个存储节点。
并且,缓存副本存储节点还可以缓存所接收的待备份业务数据,并将所缓存的待备份业务数据传输至延迟副本存储节点。也就是说,本发明实施例中的缓存副本存储节点可以通过与延迟副本存储节点进行信息交互,从而和延迟副本存储节点共同存储主副本存储节点的全量数据。
另外,本发明实施例中的延迟副本存储节点,可以接收来自缓存副本存储节点的待备份业务数据。
S302,在接收待备份业务数据的预设延迟时间后,向延迟副本存储节点传输待备份业务数据。
本发明实施例中,缓存副本存储节点在接收待备份业务数据的预设延迟时间后,可以向延迟副本存储节点传输待备份业务数据。通过上述的延迟数据传输方式,可以使延迟副本存储节点延迟接收待备份业务数据,从而达到异步备份的效果。
本发明实施例中的预设延迟时间可以由技术人员根据实际备份需要进行设置,本发明实施例在此不做限定。
S303,当自身已占用的存储空间超出预设阈值,且延迟副本存储节点已备份待备份业务数据后,删除自身存储的待备份业务数据。
本发明实施例中,可以对缓存副本存储节点的存储空间设定一预设阈值,该预设阈值可以比缓存副本存储节点固有的存储空间小。例如,缓存副本存储节点固有的存储空间为20GB,预设阈值可以设置为8GB,通过设置教保守的阈值,可以使存储在缓存副本存储节点中的数据尽快传输至延迟副本存储节点,从而防止数据堆积在缓存副本存储节点中,造成缓存副本存储节点工作不正常,从而影响整个数据备份系统的稳定性。
本发明实施例中的预设阈值可以由技术人员根据实际备份需要进行设置,本发明实施例在此不做限定。
示例性地,在一种可能的实施方式中,缓存副本存储节点接收待备份数据,并将该待备份数据传输至延迟副本存储节点后,缓存副本存储节点暂未删除该待备份数据,此时缓存副本存储节点中存储的数据可能会超出预设阈值。如果缓存副本存储节点获知延迟副本存储节点已经备份该待备份业务数据,则缓存副本存储节点可以删除自身的该待备份业务数据,从而使自身的存储空间不超过预设阈值。
进一步示例性地,在一种可能的情况中,缓存副本存储节点缓存副本存储节点接收待备份数据,其中,缓存副本存储节点在接收待备份数据前的数据存储量为7.9GB,待备份数据的大小为500MB,预设阈值设置为8GB。那么,缓存副本存储节点接收待备份数据后,缓存副本存储节点将该待备份数据传输至延迟副本存储节点后,缓存副本存储节点暂未删除该待备份数据,自身存储的数据量增加至8.4GB,其存储的数据超出预设阈值。如果缓存副本存储节点获知延迟副本存储节点已经备份该待备份业务数据,则缓存副本存储节点可以删除自身的该待备份业务数据,从而使自身的存储空间减少至7.9GB,使自身的数据存储量不超过预设阈值。
本发明实施例提供的数据备份方法,通过当自身已占用的存储空间超出预设阈值,且延迟副本存储节点已备份待备份业务数据后,删除自身存储的所述待备份业务数据,使自身的存储空间不超过预设阈值。通过设置教保守的阈值,可以使存储在缓存副本存储节点中的数据尽快传输至延迟副本存储节点,从而防止数据堆积在缓存副本存储节点中,造成缓存副本存储节点工作不正常,从而影响整个数据备份系统的稳定性。
如图4所示,本发明实施例还提供了一种数据备份方法,可以应用于数据备份系统中的缓存副本存储节点,其中,上述数据备份系统还包括:主副本存储节点和延迟副本存储节点,该数据备份方法包括:
S401,接收主副本存储节点发送的待备份业务数据。
S402,通过与延迟副本存储节点之间的信息交互,和延迟副本存储节点共同存储主副本存储节点的全量数据。
容易理解的是,本发明实施例中的主副本存储节点、缓存副本存储节点和延迟副本存储节点,可以为存储设备,例如硬盘、硬盘阵列,也可以为包含上述硬盘或硬盘阵列的服务器,或者包含上述硬盘或硬盘阵列的服务器集群。
其中,本发明实施例中的缓存副本存储节点,是本发明实施例中数据备份系统的其中一个存储节点,也可以传输数据,因此可以成为一个节点可以接收来自主副本存储节点发送的待备份业务数据。另外,本发明实施例中的主副本存储节点,同样是本发明实施例中数据备份系统的其中一个存储节点。
并且,缓存副本存储节点还可以缓存所接收的待备份业务数据,并将所缓存的待备份业务数据传输至延迟副本存储节点。也就是说,本发明实施例中的缓存副本存储节点可以通过与延迟副本存储节点进行信息交互,从而和延迟副本存储节点共同存储主副本存储节点的全量数据。
另外,本发明实施例中的延迟副本存储节点,可以接收来自缓存副本存储节点的待备份业务数据。
在一些示例中,本发明实施例中的缓存副本存储节点并不一定存储有主副本存储节点中的全量数据,本发明实施例中的延迟副本存储节点也并不一定存储有主副本存储节点中的全量数据。虽然缓存副本存储节点和延迟副本存储节点各自都不一定存储有主副本存储节点中的全量数据,但是它们可以共同构成一个完整的备份副本,也就是说,缓存副本存储节点和延迟副本存储节点可以共同存储主副本存储节点的全量数据。
通过前述内容可知,任一待备份业务数据只会存储于缓存副本存储节点或者延迟副本存储节点两者之一中。通过这种动态的存储方式,可以使缓存副本存储节点和延迟副本存储节点共同存储主副本存储节点的全量数据,达到降低所存储数据量的目的。
本发明实施例中的预设延迟时间可以由技术人员根据实际备份需要进行设置,本发明实施例在此不做限定。
S403,接收延迟副本存储节点发送的备份完毕消息通知。
本发明实施例中,缓存副本存储节点还可以接收延迟副本存储节点发送的备份完毕消息通知,可以获知延迟副本存储节点已经备份该待备份业务数据,从而可以使缓存副本存储节点为下一次数据传输做准备,提高数据备份系统的智能程度。
相应于上面的方法实施例,本发明实施例还提供了相应的装置实施例。
如图5所示,本发明实施例提供了一种数据备份装置,包括:
接收模块501,用于接收主副本存储节点发送的待备份业务数据。
存储模块502,用于通过与延迟副本存储节点之间的信息交互,和延迟副本存储节点共同存储主副本存储节点的全量数据。
其中,如图6所示,存储模块502,包括:
传输子模块5021,用于在接收待备份业务数据的预设延迟时间后,向延迟副本存储节点传输待备份业务数据;
删除子模块5022,用于在延迟副本存储节点已备份待备份业务数据后,删除缓存副本存储节点存储的待备份业务数据。
可选地,删除子模块5022具体用于:
当缓存副本存储节点已占用的存储空间超出预设阈值,且延迟副本存储节点已备份待备份业务数据后,删除缓存副本存储节点存储的待备份业务数据。
容易理解的是,本发明实施例中的主副本存储节点和延迟副本存储节点,可以为存储设备,例如硬盘、硬盘阵列,也可以为包含上述硬盘或硬盘阵列的服务器,或者包含上述硬盘或硬盘阵列的服务器集群。
本发明实施例提供的数据备份方法,缓存副本存储节点通过接收主副本存储节点发送的待备份业务数据,并通过与延迟副本存储节点之间的信息交互,和延迟副本存储节点共同存储所述主副本存储节点的全量数据,在保证待备份业务数据可靠性的前提下,能够使数据存储系统以三倍待备份业务数据的数据量对待备份业务数据进行备份,从而在对生产中心的待备份业务数据进行备份时,能够降低数据占用量。
如图7所示,本发明实施例还提供了一种数据备份方法,可以应用于数据备份系统中的存储控制器,数据备份系统还可以包括:主副本存储节点、从副本存储节点、缓存副本存储节点和延迟副本存储节点。其中,缓存副本存储节点和延迟副本存储节点共同存储主副本存储节点的全量数据,上述方法可以包括:
S601,在接收包含待备份业务数据的备份请求后,将待备份业务数据发送至主副本存储节点,以使主副本存储节点向缓存副本存储节点实时传输待备份业务数据。
一般地,存储控制器在接收包含待备份业务数据的备份请求后,可以首先将待备份业务数据发送至主副本存储节点,因此可以将该存储节点称为“主副本存储节点”。在一些示例中,主副本存储节点作为主存储节点,可以作为待备份业务数据的一个完整的备份。
S602,当延迟副本存储节点损坏时,判断缓存副本存储节点中是否存储有主副本存储节点的全量数据。
在数据备份系统中,延迟副本存储节点通常会进行大量的数据读写操作,延迟副本存储节点中的硬盘作为一种精密的数据存储硬件,可能会因为频繁、大量的数据读写操作产生损坏,可能导致整个延迟副本存储节点损坏。
作为本发明实施例一种可选的实施方式,当出现延迟副本存储节点损坏的情况时,存储控制器可以创建一个新的延迟副本存储节点,从而可以使本发明实施例的数据备份系统继续正常运作。
在一些示例中,由于需要通过缓存副本存储节点向新创建的延迟副本存储节点传输待备份数据,因此,在创建新的延迟副本存储节点之前,存储控制器可以先判断缓存副本存储节点中是否存储有主副本存储节点的全量数据,从而针对不同的情况进行不同的操作。
S603,如果存储有主副本存储节点的全量数据,创建新的延迟副本存储节点,以使全量数据传输至新的延迟副本存储节点,并删除缓存副本存储节点中的全量数据。
在一些示例中,如果存储控制器确定缓存副本存储节点存储有主副本存储节点的全量数据,存储控制器便可以直接创建新的延迟副本存储节点,并直接将缓存副本存储节点中的全量数据传输至新的延迟副本存储节点,从而使整个数据备份系统尽快恢复正常;数据传输完成后,可以删除缓存副本存储节点中的全量数据,从而使缓存副本存储节点和新的延迟副本存储节点构成一个完整的备份副本。
作为本发明实施例一种可选的实施方式,在存储控制器创建新的延迟副本存储节点后,新的延迟副本存储节点可以主动获取缓存副本存储节点中存储的主副本存储节点的全量数据,例如,主动向缓存副本存储节点发送数据获取请求,无需存储控制器控制新的延迟副本存储节点去获取数据,从而降低存储控制器的处理压力。进一步可选的,创建新的延迟副本存储节点后,新的延迟副本存储节点可在预设时间后,主动获取缓存副本存储节点中存储的主副本存储节点的全量数据,以达到异步备份数据的技术效果。
作为本发明实施例一种可选的实施方式,缓存副本存储节点在确定已将全量数据传输至新的延迟副本存储节点后,可以主动删除自身存储的全量数据。具体地,新的延迟副本存储节点接收完成由缓存副本存储节点发送的全量数据后,可以向缓存副本存储节点发送一个接收完毕消息,从而使缓存副本存储节点确定已将全量数据传输至新的延迟副本存储节点。
S604,如果未存储有主副本存储节点的全量数据,清除缓存副本存储节点中的数据,将主副本存储节点的全量数据复制至缓存副本存储节点中,并创建新的延迟副本存储节点,以使全量数据传输至新的延迟副本存储节点,并删除缓存副本存储节点中的全量数据。
在一些示例中,如果存储控制器确定缓存副本存储节点未存储有主副本存储节点的全量数据,则存储控制器可以清除缓存副本存储节点中的数据,然后再将主副本存储节点的全量数据复制至缓存副本存储节点中,上述对缓存副本存储节点的操作,一方面可以使缓存副本存储节点存储一个完整的全量数据,另一方面,由于缓存副本存储节点存储的是全量数据的部分数据,因此通过上述操作,存储控制器不需要计算还需向缓存副本存储节点中传输哪些数据才能构成一个完整的全量数据,提高数据恢复效率。
作为本发明实施例一种可选的实施方式,在存储控制器创建新的延迟副本存储节点后,新的延迟副本存储节点可以主动获取缓存副本存储节点中存储的主副本存储节点的全量数据,例如,主动向缓存副本存储节点发送数据获取请求,无需存储控制器控制新的延迟副本存储节点去获取数据,从而降低存储控制器的处理压力。进一步可选的,创建新的延迟副本存储节点后,新的延迟副本存储节点可在预设时间后,主动获取缓存副本存储节点中存储的主副本存储节点的全量数据,以达到异步备份数据的技术效果。
作为本发明实施例一种可选的实施方式,缓存副本存储节点在确定已将全量数据传输至新的延迟副本存储节点后,可以主动删除自身存储的全量数据。具体地,新的延迟副本存储节点接收完成由缓存副本存储节点发送的全量数据后,可以向缓存副本存储节点发送一个接收完毕消息,从而使缓存副本存储节点确定已将全量数据传输至新的延迟副本存储节点。
接下来,存储控制器便可以创建新的延迟副本存储节点,并将缓存副本存储节点中的全量数据传输至新的延迟副本存储节点,从而使整个数据备份系统尽快恢复正常。当然,数据传输完成后,存储控制器可以删除缓存副本存储节点中的全量数据,从而使缓存副本存储节点和新的延迟副本存储节点构成一个完整的备份副本。
作为本发明实施例一种可选的实施方式,存储控制器确定各个副本存储节点已备份待备份业务数据后,可以生成一个消息,告知用户待备份业务数据已被备份;
或者,可选地,存储控制器还可以基于数据备份请求,发送备份完毕回执消息至用户。
具体地,在存储控制器确定从副本存储节点和缓存副本存储节点已备份主副本存储节点发送的待备份业务数据后,存储控制器生成并发送数据备份请求的备份完毕回执消息。
作为本发明实施例一种可选的实施方式,存储控制器、主副本存储节点、从副本存储节点、缓存副本存储节点可以位于一个机房,可以称为第一机房,延迟副本存储节点位于另一个机房,可以称为第二机房。其中,第一机房和第二机房通常异地设置,因为,如果将它们设置于一个机房中,一旦该机房出现火灾等灾害,可能导致整个数据备份系统完全损毁。因此,通过将第一机房和第二机房通常异地设置,即使任一机房损毁,另一机房中所备份的数据不会受到影响,从而提高数据备份系统的安全系数。
本发明实施例提供的数据备份方法,当出现延迟副本存储节点损坏的情况时,本发明实施例的存储控制器可以创建一个新的延迟副本存储节点,从而可以使本发明实施例的数据备份系统继续正常运作。
相应于上面的方法实施例,本发明实施例还提供了相应的装置实施例。
如图8所示,本发明实施例提供了一种数据备份装置,包括:
发送模块701,用于在接收包含待备份业务数据的备份请求后,将待备份业务数据发送至主副本存储节点,以使主副本存储节点向缓存副本存储节点实时传输待备份业务数据。
判断模块702,用于当延迟副本存储节点损坏时,判断缓存副本存储节点中是否存储有主副本存储节点的全量数据。
第一创建模块703,用于如果存储有主副本存储节点的全量数据,创建新的延迟副本存储节点,以使全量数据传输至新的延迟副本存储节点,并删除缓存副本存储节点中的全量数据。
第二创建模块704,用于如果未存储有主副本存储节点的全量数据,清除缓存副本存储节点中的数据,将主副本存储节点的全量数据复制至缓存副本存储节点中,并创建新的延迟副本存储节点,以使全量数据传输至新的延迟副本存储节点,并删除缓存副本存储节点中的全量数据。
可选地,上述装置还包括:
生成模块705,用于在确定所述从副本存储节点和所述缓存副本存储节点已备份所述主副本存储节点发送的待备份业务数据后,生成并发送所述数据备份请求的备份完毕回执消息。
本发明实施例提供的数据备份装置,当出现延迟副本存储节点损坏的情况时,本发明实施例的存储控制器可以创建一个新的延迟副本存储节点,从而可以使本发明实施例的数据备份系统继续正常运作。
如图9所示,本发明实施例提供了一种数据备份系统,该系统可以包括:存储控制器、主副本存储节点、从副本存储节点、缓存副本存储节点和延迟副本存储节点,其中,缓存副本存储节点和延迟副本存储节点共同存储主副本存储节点的全量数据。
图9中,实线可以表示存储控制器控制主副本存储节点、从副本存储节点、缓存副本存储节点和延迟副本存储节点;虚线可以表示待备份业务数据的传输方向。
容易理解的是,存储控制器是一种可以对各存储节点进行控制的设备。通常情况下,通过将存储控制器与各存储节点建立连接,能够对各存储节点进行逻辑控制,例如可以为:存储控制器读取某一存储节点中的数据;或者,存储控制器向某一存储节点写入数据;或者,存储控制器删除某一存储节点中的数据等。
容易理解的是,本发明实施例中的主副本存储节点、从副本存储节点、缓存副本存储节点和延迟副本存储节点,可以为存储设备,例如硬盘、硬盘阵列,也可以为包含上述硬盘或硬盘阵列的服务器,或者包含上述硬盘或硬盘阵列的服务器集群。
具体地,本发明实施例中的存储控制器,可以用于控制主副本存储节点、从副本存储节点、缓存副本存储节点和延迟副本存储节点。
其中,本发明实施例中的主副本存储节点,是本发明实施例中数据备份系统的其中一个存储节点,它可以接收数据,也可以传输数据,因此可以成为一个节点。一般地,存储控制器在接收包含待备份业务数据的备份请求后,可以首先将待备份业务数据发送至主副本存储节点,因此可以将该存储节点称为“主副本存储节点”。在一些示例中,主副本存储节点作为主存储节点,可以作为待备份业务数据的一个完整的备份。
进一步可选地,主副本存储节点可以接收由存储控制器发送的待备份业务数据,并将接收到的待备份业务数据进行备份。
进一步可选地,主副本存储节点还可以向从副本存储节点和缓存副本存储节点实时传输待备份业务数据。
其中,本发明实施例中的从副本存储节点,同样是本发明实施例中数据备份系统的其中一个存储节点,它可以接收数据,也可以传输数据,因此可以成为一个节点。在一些示例中,从副本存储节点同样可以作为待备份业务数据的一个完整的备份。
进一步可选地,从副本存储节点可以接收来自主副本存储节点的待备份业务数据,并对待备份业务数据进行备份。
其中,本发明实施例中的缓存副本存储节点,其作用主要可以为缓存待备份业务数据,并将所缓存的待备份业务数据,传输至延迟副本存储节点。在一些示例中,本发明实施例中的缓存副本存储节点并不一定存储有主副本存储节点中的全量数据。
其中,本发明实施例中的延迟副本存储节点,可以接收来自缓存副本存储节点的待备份业务数据。在一些示例中,本发明实施例中的延迟副本存储节点并不一定存储有主副本存储节点中的全量数据。
本发明实施例中,虽然缓存副本存储节点和延迟副本存储节点各自都不一定存储有主副本存储节点中的全量数据,但是它们可以共同构成一个完整的备份副本,也就是说,缓存副本存储节点和延迟副本存储节点可以共同存储主副本存储节点的全量数据,达到降低所存储数据量的目的。
具体地可以为:缓存副本存储节点接收来自主副本存储节点的待备份业务数据后,可以尽快地将待备份业务数据传输至延迟副本存储节点,并删除自身存储的待备份业务数据。也就是说,任一待备份业务数据只会存储于缓存副本存储节点或者延迟副本存储节点两者之一中。通过这种动态的存储方式,可以使缓存副本存储节点和延迟副本存储节点共同存储主副本存储节点的全量数据。
进一步可选地,缓存副本存储节点可以在接收待备份业务数据的预设延迟时间后,可以再向延迟副本存储节点传输待备份业务数据。通过上述的延迟数据传输方式,可以使延迟副本存储节点延迟接收待备份业务数据,达到异步备份的效果。
在延迟副本存储节点已备份待备份业务数据后,缓存副本存储节点可以删除自身存储的待备份业务数据,从而使待备份业务数据只存储于缓存副本存储节点或者延迟副本存储节点两者之一中,从而可以共同构成一个完整的备份副本。
本发明实施例中的预设延迟时间可以由技术人员根据实际备份需要进行设置,本发明实施例在此不做限定。
作为本发明实施例一种可选的实施方式,可以对本发明实施例的缓存副本存储节点的存储空间设定一预设阈值,该预设阈值可以比缓存副本存储节点固有的存储空间小。例如,缓存副本存储节点固有的存储空间为20GB,预设阈值可以设置为8GB。
本发明实施例中的预设阈值可以由技术人员根据实际备份需要进行设置,本发明实施例在此不做限定。
具体地,当缓存副本存储节点自身已占用的存储空间超出预设阈值时,且延迟副本存储节点已备份待备份业务数据后,可以删除缓存副本存储节点自身存储的所述待备份业务数据。
示例性地,在一种可能的情况中,缓存副本存储节点接收待备份数据,并将该待备份数据传输至延迟副本存储节点后,缓存副本存储节点暂未删除该待备份数据,此时缓存副本存储节点中存储的数据可能会超出预设阈值。如果缓存副本存储节点获知延迟副本存储节点已经备份该待备份业务数据,则缓存副本存储节点可以删除自身的该待备份业务数据,从而使自身的存储空间不超过预设阈值。
进一步示例性地,在一种可能的情况中,缓存副本存储节点缓存副本存储节点接收待备份数据,其中,缓存副本存储节点在接收待备份数据前的数据存储量为7.9GB,待备份数据的大小为500MB,预设阈值设置为8GB。那么,缓存副本存储节点接收待备份数据后,缓存副本存储节点将该待备份数据传输至延迟副本存储节点后,缓存副本存储节点暂未删除该待备份数据,自身存储的数据量增加至8.4GB,其存储的数据超出预设阈值。如果缓存副本存储节点获知延迟副本存储节点已经备份该待备份业务数据,则缓存副本存储节点可以删除自身的该待备份业务数据,从而使自身的存储空间减少至7.9GB,使自身的数据存储量不超过预设阈值。
可选地,延迟副本存储节点备份该待备份业务数据后,可以向缓存副本存储节点发送备份完毕消息通知,从而可以使缓存副本存储节点获知延迟副本存储节点已经备份该待备份业务数据。
在一些示例中,业务数据存在业务低谷期、业务平缓期和业务高峰期,相应地,备份系统对业务数据进行备份的频率也会随之变化,备份系统的负载也会随之变化。
作为本发明实施例一种可选的实施方式,缓存副本存储节点在向延迟副本存储节点传输待备份业务数据时,可以检测当前备份系统的负载情况,例如可以为,当前备份系统处于低负载、中等负载或者高负载,从而设置不同的传输速度。当备份系统处于低负载时,可以提高数据传输速度;当备份系统处于中等负载时,可以稳定数据传输速度;当备份系统处于高负载时,可以降低数据传输速度,从而既可以降低数据备份系统对带宽的影响,还可以保证数据备份的效率。
示例性地,针对备份系统处于低负载、中等负载或者高负载的情况,可以分别设置不同的数据传输速度为5MB/s、10MB/s和15MB/s。例如,当备份系统处于低负载时,将数据传输速度提高至15MB/s;当备份系统处于中等负载时,将数据传输速度稳定在10MB/s;当备份系统处于高负载时,将数据传输速度控制在5MB/s内。
在一些示例中,业务数据的低谷期、平稳期和高峰期会随时间变化而不同,相应地,备份系统处于低负载、中等负载或者高负载运行状态的时段往往也随不同时间段而不同。一般地,备份系统的负载情况随不同的时间段而变化,例如,午夜至凌晨这一时间段通常为业务低谷期,此时备份系统的负载情况通常也为低负载;白天大部分时间段为中等负载;上班早高峰或者午间时间段可能为高负载。
示例性地,针对备份系统处于不同时间段的情况,可以分别设置不同的数据传输速度为5MB/s、10MB/s和15MB/s。例如,当备份系统处于午夜至凌晨时间段时,将数据传输速度提高至15MB/s;当备份系统处于下午时间段时,将数据传输速度稳定在10MB/s,当备份系统处于早高峰时间段时,将数据传输速度控制在5MB/s内。
本发明实施例中的具体数据传输速度可以由技术人员根据实际备份需要进行设置,本发明实施例在此不做限定。
作为本发明实施例另一种可选的实施方式,缓存副本存储节点在向延迟副本存储节点传输待备份业务数据时,可以先确定当前时刻所处的时间段,对不同的时间段设定不同的数据传输速度。例如,当为午夜至凌晨这一时间段时,可以提高数据传输速度;当为早高峰时间段时,可以降低数据传输速度,从而降低数据备份系统对带宽的影响。
在数据备份系统中,延迟副本存储节点通常会进行大量的数据读写操作,硬盘作为一种精密的数据存储硬件,可能会因为频繁、大量的数据读写操作产生损坏,可能导致整个延迟副本存储节点损坏。
作为本发明实施例一种可选的实施方式,当出现延迟副本存储节点损坏的情况时,本发明实施例的存储控制器可以创建一个新的延迟副本存储节点,从而可以使本发明实施例的数据备份系统继续正常运作。
具体地,由于需要通过缓存副本存储节点向新创建的延迟副本存储节点传输待备份数据,因此,在创建新的延迟副本存储节点之前,存储控制器可以先判断缓存副本存储节点中是否存储有主副本存储节点的全量数据,从而针对不同的情况进行不同的操作。
进一步具体地,如果存储控制器确定缓存副本存储节点存储有主副本存储节点的全量数据,存储控制器便可以直接创建新的延迟副本存储节点,并直接将缓存副本存储节点中的全量数据传输至新的延迟副本存储节点,从而使整个数据备份系统尽快恢复正常;数据传输完成后,可以删除缓存副本存储节点中的全量数据,从而使缓存副本存储节点和新的延迟副本存储节点构成一个完整的备份副本。
或者,如果存储控制器确定缓存副本存储节点未存储有主副本存储节点的全量数据,则存储控制器可以清除缓存副本存储节点中的数据,然后再将主副本存储节点的全量数据复制至缓存副本存储节点中。上述对缓存副本存储节点的操作,一方面可以使缓存副本存储节点存储一个完整的全量数据,另一方面,由于缓存副本存储节点存储的是全量数据的部分数据,因此通过上述操作,存储控制器不需要计算还需向缓存副本存储节点中传输哪些数据才能构成一个完整的全量数据,提高数据恢复效率。
接下来,存储控制器便可以创建新的延迟副本存储节点,并将缓存副本存储节点中的全量数据传输至新的延迟副本存储节点,从而使整个数据备份系统尽快恢复正常。当然,数据传输完成后,存储控制器可以删除缓存副本存储节点中的全量数据,从而使缓存副本存储节点和新的延迟副本存储节点构成一个完整的备份副本。
作为本发明实施例一种可选的实施方式,存储控制器确定各个副本存储节点已备份待备份业务数据后,可以生成一个通知消息,告知用户待备份业务数据已被备份;
或者,可选地,存储控制器还可以基于数据备份请求,发送备份完毕回执消息至用户。
具体地,在存储控制器确定从副本存储节点和缓存副本存储节点已备份主副本存储节点发送的待备份业务数据后,存储控制器生成并发送数据备份请求的备份完毕回执消息。
作为本发明实施例一种可选的实施方式,存储控制器、主副本存储节点、从副本存储节点、缓存副本存储节点可以位于一个机房,可以称为第一机房,延迟副本存储节点位于另一个机房,可以称为第二机房。其中,第一机房和第二机房通常异地设置,因为,如果将它们设置于一个机房中,一旦该机房出现火灾等灾害,可能导致整个数据备份系统完全损毁。因此,通过将第一机房和第二机房通常异地设置,即使任一机房损毁,另一机房中所备份的数据不会受到影响,从而提高数据备份系统的安全系数。
本发明实施例提供的数据备份系统,通过设置主副本存储节点、从副本存储节点、缓存副本存储节点和延迟副本存储节点,并使缓存副本存储节点和延迟副本存储节点共同存储主副本存储节点的全量数据,在保证待备份业务数据可靠性的前提下,能够以相当于三倍待备份业务数据的数据量对待备份业务数据进行备份,从而在对生产中心的待备份业务数据进行备份时,能够降低数据占用量。
本发明实施例还提供了一种缓存副本存储节点800,如图10所示,缓存副本存储节点800包括处理器801和机器可读存储介质802,机器可读存储介质802存储有能够被处理器801执行的机器可执行指令,处理器801被机器可执行指令促使实现以下步骤:
接收主副本存储节点发送的待备份业务数据;
通过与延迟副本存储节点之间的信息交互,和延迟副本存储节点共同存储主副本存储节点的全量数据。
机器可读存储介质802可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的缓存副本存储节点,通过接收主副本存储节点发送的待备份业务数据,并通过与延迟副本存储节点之间的信息交互,和延迟副本存储节点共同存储所述主副本存储节点的全量数据,在保证待备份业务数据可靠性的前提下,能够使数据存储系统以三倍待备份业务数据的数据量对待备份业务数据进行备份,从而在对生产中心的待备份业务数据进行备份时,能够降低数据占用量。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时,用以执行如下步骤:
接收主副本存储节点发送的待备份业务数据;
通过与延迟副本存储节点之间的信息交互,和延迟副本存储节点共同存储主副本存储节点的全量数据。
本发明实施例提供的计算机可读存储介质,通过接收主副本存储节点发送的待备份业务数据,并通过与延迟副本存储节点之间的信息交互,和延迟副本存储节点共同存储所述主副本存储节点的全量数据,在保证待备份业务数据可靠性的前提下,能够使数据存储系统以三倍待备份业务数据的数据量对待备份业务数据进行备份,从而在对生产中心的待备份业务数据进行备份时,能够降低数据占用量。
本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行以下步骤:
接收主副本存储节点发送的待备份业务数据;
通过与延迟副本存储节点之间的信息交互,和延迟副本存储节点共同存储主副本存储节点的全量数据。
本发明实施例提供的包含指令的计算机程序产品,通过接收主副本存储节点发送的待备份业务数据,并通过与延迟副本存储节点之间的信息交互,和延迟副本存储节点共同存储所述主副本存储节点的全量数据,在保证待备份业务数据可靠性的前提下,能够使数据存储系统以三倍待备份业务数据的数据量对待备份业务数据进行备份,从而在对生产中心的待备份业务数据进行备份时,能够降低数据占用量。
本发明实施例还提供了一种计算机程序,当其在计算机上运行时,使得计算机执行以下步骤:
接收主副本存储节点发送的待备份业务数据;
通过与延迟副本存储节点之间的信息交互,和延迟副本存储节点共同存储主副本存储节点的全量数据。
本发明实施例提供的包含指令的计算机程序,通过接收主副本存储节点发送的待备份业务数据,并通过与延迟副本存储节点之间的信息交互,和延迟副本存储节点共同存储所述主副本存储节点的全量数据,在保证待备份业务数据可靠性的前提下,能够使数据存储系统以三倍待备份业务数据的数据量对待备份业务数据进行备份,从而在对生产中心的待备份业务数据进行备份时,能够降低数据占用量。
本发明实施例还提供了一种存储控制器900,如图11所示,存储控制器900包括处理器901和机器可读存储介质902,机器可读存储介质902存储有能够被处理器901执行的机器可执行指令,处理器901被机器可执行指令促使实现以下步骤:
在接收包含待备份业务数据的备份请求后,将待备份业务数据发送至主副本存储节点,以使主副本存储节点向缓存副本存储节点实时传输待备份业务数据;
当延迟副本存储节点损坏时,判断缓存副本存储节点中是否存储有主副本存储节点的全量数据;
如果存储有主副本存储节点的全量数据,创建新的延迟副本存储节点,将全量数据传输至所述新的延迟副本存储节点,并删除缓存副本存储节点中的全量数据;
如果未存储有主副本存储节点的全量数据,清除缓存副本存储节点中的数据,将主副本存储节点的全量数据复制至缓存副本存储节点中,并创建新的延迟副本存储节点,以使全量数据传输至新的延迟副本存储节点,并删除缓存副本存储节点中的全量数据。
机器可读存储介质902可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的存储控制器,当出现延迟副本存储节点损坏的情况时,本发明实施例的存储控制器可以创建一个新的延迟副本存储节点,从而可以使本发明实施例的数据备份系统继续正常运作。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时,用以执行如下步骤:
在接收包含待备份业务数据的备份请求后,将待备份业务数据发送至主副本存储节点,以使主副本存储节点向缓存副本存储节点实时传输待备份业务数据;
当延迟副本存储节点损坏时,判断缓存副本存储节点中是否存储有主副本存储节点的全量数据;
如果存储有主副本存储节点的全量数据,创建新的延迟副本存储节点,将全量数据传输至所述新的延迟副本存储节点,并删除缓存副本存储节点中的全量数据;
如果未存储有主副本存储节点的全量数据,清除缓存副本存储节点中的数据,将主副本存储节点的全量数据复制至缓存副本存储节点中,并创建新的延迟副本存储节点,以使全量数据传输至新的延迟副本存储节点,并删除缓存副本存储节点中的全量数据。
本发明实施例提供的计算机可读存储介质,当出现延迟副本存储节点损坏的情况时,本发明实施例的存储控制器可以创建一个新的延迟副本存储节点,从而可以使本发明实施例的数据备份系统继续正常运作。
本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行以下步骤:
在接收包含待备份业务数据的备份请求后,将待备份业务数据发送至主副本存储节点,以使主副本存储节点向缓存副本存储节点实时传输待备份业务数据;
当延迟副本存储节点损坏时,判断缓存副本存储节点中是否存储有主副本存储节点的全量数据;
如果存储有主副本存储节点的全量数据,创建新的延迟副本存储节点,将全量数据传输至所述新的延迟副本存储节点,并删除缓存副本存储节点中的全量数据;
如果未存储有主副本存储节点的全量数据,清除缓存副本存储节点中的数据,将主副本存储节点的全量数据复制至缓存副本存储节点中,并创建新的延迟副本存储节点,以使全量数据传输至新的延迟副本存储节点,并删除缓存副本存储节点中的全量数据。
本发明实施例提供的包含指令的计算机程序产品,当出现延迟副本存储节点损坏的情况时,本发明实施例的存储控制器可以创建一个新的延迟副本存储节点,从而可以使本发明实施例的数据备份系统继续正常运作。
本发明实施例还提供了一种计算机程序,当其在计算机上运行时,使得计算机执行以下步骤:
在接收包含待备份业务数据的备份请求后,将待备份业务数据发送至主副本存储节点,以使主副本存储节点向缓存副本存储节点实时传输待备份业务数据;
当延迟副本存储节点损坏时,判断缓存副本存储节点中是否存储有主副本存储节点的全量数据;
如果存储有主副本存储节点的全量数据,创建新的延迟副本存储节点,将全量数据传输至所述新的延迟副本存储节点,并删除缓存副本存储节点中的全量数据;
如果未存储有主副本存储节点的全量数据,清除缓存副本存储节点中的数据,将主副本存储节点的全量数据复制至缓存副本存储节点中,并创建新的延迟副本存储节点,以使全量数据传输至新的延迟副本存储节点,并删除缓存副本存储节点中的全量数据。
本发明实施例提供的计算机程序,当出现延迟副本存储节点损坏的情况时,本发明实施例的存储控制器可以创建一个新的延迟副本存储节点,从而可以使本发明实施例的数据备份系统继续正常运作。
对于装置/电子设备/存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,本发明实施例的装置、电子设备及存储介质分别是应用上述基于随机博弈理论的动态竞争窗口调整方法的装置、电子设备及存储介质,则上述基于随机博弈理论的动态竞争窗口调整方法的所有实施例均适用于该装置、电子设备及存储介质,且均能达到相同或相似的有益效果。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (15)
1.一种数据备份方法,其特征在于,应用于数据备份系统中的缓存副本存储节点,所述数据备份系统还包括:主副本存储节点和延迟副本存储节点,所述方法包括:
接收所述主副本存储节点发送的待备份业务数据;
通过与所述延迟副本存储节点之间的信息交互,和所述延迟副本存储节点共同存储所述主副本存储节点的全量数据。
2.根据权利要求1所述的方法,其特征在于,所述通过与所述延迟副本存储节点之间的信息交互,和所述延迟副本存储节点共同存储所述主副本存储节点的全量数据,包括:
在接收所述待备份业务数据的预设延迟时间后,向所述延迟副本存储节点传输所述待备份业务数据;
在所述延迟副本存储节点已备份所述待备份业务数据后,删除自身存储的所述待备份业务数据。
3.根据权利要求2所述的数据备份方法,其特征在于,所述在所述延迟副本存储节点已备份所述待备份业务数据后,删除自身存储的所述待备份业务数据,包括:
当自身已占用的存储空间超出预设阈值,且所述延迟副本存储节点已备份所述待备份业务数据后,删除自身存储的所述待备份业务数据。
4.根据权利要求1所述的数据备份方法,其特征在于,所述缓存副本存储节点位于第一机房内,所述延迟副本存储节点位于第二机房内。
5.一种数据备份方法,其特征在于,应用于数据备份系统中的存储控制器,所述数据备份系统还包括:主副本存储节点、从副本存储节点、缓存副本存储节点和延迟副本存储节点,其中,所述缓存副本存储节点和所述延迟副本存储节点共同存储所述主副本存储节点的全量数据,所述方法包括:
在接收包含待备份业务数据的备份请求后,将所述待备份业务数据发送至主副本存储节点,以使所述主副本存储节点向缓存副本存储节点实时传输所述待备份业务数据;
当所述延迟副本存储节点损坏时,判断所述缓存副本存储节点中是否存储有主副本存储节点的全量数据;
如果存储有主副本存储节点的全量数据,创建新的延迟副本存储节点,以使所述全量数据传输至所述新的延迟副本存储节点,并删除所述缓存副本存储节点中的全量数据;
如果未存储有主副本存储节点的全量数据,清除所述缓存副本存储节点中的数据,将所述主副本存储节点的全量数据复制至所述缓存副本存储节点中,并创建新的延迟副本存储节点,以使所述全量数据传输至所述新的延迟副本存储节点,并删除所述缓存副本存储节点中的全量数据。
6.根据权利要求5所述的数据备份方法,其特征在于,所述方法还包括:
在确定所述从副本存储节点和所述缓存副本存储节点已备份所述主副本存储节点发送的待备份业务数据后,生成并发送所述数据备份请求的备份完毕回执消息。
7.根据权利要求5或6所述的数据备份方法,其特征在于,所述存储控制器、所述主副本存储节点、所述从副本存储节点、所述缓存副本存储节点位于第一机房内,所述延迟副本存储节点和所述新的延迟副本存储节点位于第二机房内。
8.一种数据备份装置,其特征在于,应用于数据备份系统中的缓存副本存储节点,所述数据备份系统还包括:主副本存储节点和延迟副本存储节点,所述装置包括:
接收模块,用于接收所述主副本存储节点发送的待备份业务数据;
存储模块,用于通过与所述延迟副本存储节点之间的信息交互,和所述延迟副本存储节点共同存储所述主副本存储节点的全量数据。
9.一种数据备份装置,其特征在于,应用于数据备份系统中的存储控制器,所述数据备份系统还包括:主副本存储节点、从副本存储节点、缓存副本存储节点和延迟副本存储节点,其中,所述缓存副本存储节点和所述延迟副本存储节点共同存储所述主副本存储节点的全量数据,所述装置包括:
发送模块,用于在接收包含待备份业务数据的备份请求后,将所述待备份业务数据发送至主副本存储节点,以使所述主副本存储节点向缓存副本存储节点实时传输所述待备份业务数据;
判断模块,用于当所述延迟副本存储节点损坏时,判断所述缓存副本存储节点中是否存储有主副本存储节点的全量数据;
第一创建模块,用于当判断模块判断为缓存副本存储节点存储有主副本存储节点的全量数据时,创建新的延迟副本存储节点,以使所述全量数据传输至所述新的延迟副本存储节点,并删除所述缓存副本存储节点中的全量数据;
第二创建模块,用于当判断模块判断为缓存副本存储节点未存储有主副本存储节点的全量数据时,清除所述缓存副本存储节点中的数据,将所述主副本存储节点的全量数据复制至所述缓存副本存储节点中,并创建新的延迟副本存储节点,以使所述全量数据传输至所述新的延迟副本存储节点,并删除所述缓存副本存储节点中的全量数据。
10.一种数据备份系统,其特征在于,所述系统包括:存储控制器、主副本存储节点、从副本存储节点、缓存副本存储节点和延迟副本存储节点,其中,存储控制器执行权利要求5至7中任一项的数据备份方法,以与主副本存储节点、从副本存储节点、缓存副本存储节点和延迟副本存储节点进行通信;缓存副本存储节点执行权利要求1至4中任一项的数据备份方法,以与主副本存储节点和延迟副本存储节点进行通信。
11.根据权利要求10所述的数据备份系统,其特征在于,所述存储控制器、主副本存储节点、从副本存储节点、缓存副本存储节点位于第一机房内,所述延迟副本存储节点位于第二机房内。
12.一种缓存副本存储节点,其特征在于,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现权利要求1-4任一项所述的方法步骤。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一项所述的方法步骤。
14.一种存储控制器,其特征在于,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现权利要求5-7所述的方法步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求5-7所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711249747.0A CN109871295B (zh) | 2017-12-01 | 2017-12-01 | 一种数据备份方法、备份装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711249747.0A CN109871295B (zh) | 2017-12-01 | 2017-12-01 | 一种数据备份方法、备份装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109871295A true CN109871295A (zh) | 2019-06-11 |
CN109871295B CN109871295B (zh) | 2022-04-05 |
Family
ID=66913559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711249747.0A Active CN109871295B (zh) | 2017-12-01 | 2017-12-01 | 一种数据备份方法、备份装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109871295B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110362429A (zh) * | 2019-07-12 | 2019-10-22 | 优刻得科技股份有限公司 | 数据库的连续数据保护方法、系统、设备和介质 |
CN110730228A (zh) * | 2019-10-10 | 2020-01-24 | 深圳市网心科技有限公司 | 数据存储方法、电子设备、系统及介质 |
CN111104069A (zh) * | 2019-12-20 | 2020-05-05 | 北京金山云网络技术有限公司 | 分布式存储系统的多区域数据处理方法、装置及电子设备 |
CN114510379A (zh) * | 2022-04-21 | 2022-05-17 | 山东百盟信息技术有限公司 | 一种分布式阵列视频数据存储装置 |
CN117370078A (zh) * | 2023-10-31 | 2024-01-09 | 广州鼎甲计算机科技有限公司 | 数据库备份管理方法、装置、计算机设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020107877A1 (en) * | 1995-10-23 | 2002-08-08 | Douglas L. Whiting | System for backing up files from disk volumes on multiple nodes of a computer network |
US20140289203A1 (en) * | 2013-03-21 | 2014-09-25 | Nextbit Systems Inc. | Using mobile devices of a user as an edge cache to stream video files |
CN106528351A (zh) * | 2016-12-29 | 2017-03-22 | 北京奇虎科技有限公司 | 数据备份方法及装置 |
CN106569913A (zh) * | 2016-10-27 | 2017-04-19 | 广东欧珀移动通信有限公司 | 终端备份数据的方法及装置 |
CN106570007A (zh) * | 2015-10-09 | 2017-04-19 | 阿里巴巴集团控股有限公司 | 用于分布式缓存系统数据同步的方法和设备 |
CN107391628A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 数据同步方法及装置 |
-
2017
- 2017-12-01 CN CN201711249747.0A patent/CN109871295B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020107877A1 (en) * | 1995-10-23 | 2002-08-08 | Douglas L. Whiting | System for backing up files from disk volumes on multiple nodes of a computer network |
US20140289203A1 (en) * | 2013-03-21 | 2014-09-25 | Nextbit Systems Inc. | Using mobile devices of a user as an edge cache to stream video files |
CN106570007A (zh) * | 2015-10-09 | 2017-04-19 | 阿里巴巴集团控股有限公司 | 用于分布式缓存系统数据同步的方法和设备 |
CN106569913A (zh) * | 2016-10-27 | 2017-04-19 | 广东欧珀移动通信有限公司 | 终端备份数据的方法及装置 |
CN106528351A (zh) * | 2016-12-29 | 2017-03-22 | 北京奇虎科技有限公司 | 数据备份方法及装置 |
CN107391628A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 数据同步方法及装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110362429A (zh) * | 2019-07-12 | 2019-10-22 | 优刻得科技股份有限公司 | 数据库的连续数据保护方法、系统、设备和介质 |
CN110362429B (zh) * | 2019-07-12 | 2021-08-06 | 优刻得科技股份有限公司 | 数据库的连续数据保护方法、系统、设备和介质 |
CN110730228A (zh) * | 2019-10-10 | 2020-01-24 | 深圳市网心科技有限公司 | 数据存储方法、电子设备、系统及介质 |
CN111104069A (zh) * | 2019-12-20 | 2020-05-05 | 北京金山云网络技术有限公司 | 分布式存储系统的多区域数据处理方法、装置及电子设备 |
CN111104069B (zh) * | 2019-12-20 | 2024-02-06 | 北京金山云网络技术有限公司 | 分布式存储系统的多区域数据处理方法、装置及电子设备 |
CN114510379A (zh) * | 2022-04-21 | 2022-05-17 | 山东百盟信息技术有限公司 | 一种分布式阵列视频数据存储装置 |
CN117370078A (zh) * | 2023-10-31 | 2024-01-09 | 广州鼎甲计算机科技有限公司 | 数据库备份管理方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109871295B (zh) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109871295A (zh) | 一种数据备份方法、备份装置、电子设备及存储介质 | |
US8341115B1 (en) | Dynamically switching between synchronous and asynchronous replication | |
US8583885B1 (en) | Energy efficient sync and async replication | |
US9588703B1 (en) | Method and apparatus for replicating the punch command | |
EP1639470B1 (en) | Method, system and program for handling a failover to a remote storage location | |
US9471579B1 (en) | Replicating selected snapshots from one storage array to another, with minimal data transmission | |
US9916113B2 (en) | System and method for mirroring data | |
US8935498B1 (en) | Splitter based hot migration | |
ES2703901T3 (es) | Sistema de archivo distribuido mediante nodos de consenso | |
US9189341B1 (en) | Method and apparatus for multi-copy replication using a multi-splitter | |
US8959054B1 (en) | Methods and apparatus for optimal journaling for continuous data replication | |
CA2376242C (en) | Improved remote data copy using a prospective suspend command | |
CN103186554B (zh) | 分布式数据镜像方法及存储数据节点 | |
JP2894676B2 (ja) | 非同期式遠隔コピー・システム及び非同期式遠隔コピー方法 | |
JP4412989B2 (ja) | 複数の記憶システムを有するデータ処理システム | |
US7660955B2 (en) | Node polling in consistency group formation | |
US20080244035A1 (en) | Remote copy system and remote copy method | |
US8433862B2 (en) | Storage system for adjusting asynchronous copy load based on cache activity rate | |
CN105516263B (zh) | 存储系统中数据分发方法、装置、计算节点及存储系统 | |
CA2938768A1 (en) | Geographically-distributed file system using coordinated namespace replication | |
JP2009157785A (ja) | 待機系計算機の追加方法、計算機及び計算機システム | |
US7797571B2 (en) | System, method and circuit for mirroring data | |
US7200725B2 (en) | Storage remote copy system | |
US20060149786A1 (en) | Distributed database system | |
JPWO2008139521A1 (ja) | リモートファイルシステム、端末装置およびサーバ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |