CN116881049B - 一种云构架下基于终端和云主机的分布式数据备份方法 - Google Patents
一种云构架下基于终端和云主机的分布式数据备份方法 Download PDFInfo
- Publication number
- CN116881049B CN116881049B CN202310905817.2A CN202310905817A CN116881049B CN 116881049 B CN116881049 B CN 116881049B CN 202310905817 A CN202310905817 A CN 202310905817A CN 116881049 B CN116881049 B CN 116881049B
- Authority
- CN
- China
- Prior art keywords
- node
- storage
- data
- service
- tracker service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013500 data storage Methods 0.000 claims abstract description 48
- 230000002159 abnormal effect Effects 0.000 claims description 11
- 238000007726 management method Methods 0.000 claims description 8
- 239000012634 fragment Substances 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 16
- DBMJMQXJHONAFJ-UHFFFAOYSA-M Sodium laurylsulphate Chemical compound [Na+].CCCCCCCCCCCCOS([O-])(=O)=O DBMJMQXJHONAFJ-UHFFFAOYSA-M 0.000 description 15
- 230000008569 process Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种云构架下基于终端和云主机的分布式数据备份方法,应用于主机节点和至少一个终端节点,方法包括:在主机节点上部署基于SDS虚拟化存储程序的数据存储服务和主tracker服务;在终端节点上部署数据存储服务,并对主机节点上部署的主tracker服务进行注册;终端节点上的应用程序触发写入数据请求,向主tracker服务请求数据文件存储,主tracker服务分配主机节点存储数据文件;主机节点存储数据文件后,向主tracker服务请求数据副本备份存储,tracker服务选取一目标终端节点,主机节点将数据文件推送至目标终端节点以备份储存数据副本。通过本发明,打破专用存储设备和专用网络的限制,利用企业终端和主机组成数据存储网络,存储时自动生成双副本,且无需增购和运维存储服务器,降低了企业成本。
Description
技术领域
本发明涉及云计算技术领域,具体涉及一种云构架下基于终端和云主机的分布式数据备份方法。
背景技术
数据备份是指为了防止由于操作失误、系统故障等人为因素或意外原因导致数据丢失,而将整个系统的数据或者一部份关键数据通过一定的方法从主计算机系统的存储设备中复制到其它存储设备的过程。当主计算机系统的数据由于某种原因丢失或不可用时,可以利用复制的数据进行恢复,从而保持数据的完整与业务的正常进行。
传统的备份主要是采用磁带机、光盘和磁盘进行冷备份,备份介质同时也在机房中统一管理,一旦整个机房出现了灾难,这些备份介质也随之销毁,这样的备份将起不到任何灾难备份功能。目前,大型数据中心会选择专用的备份存储和备份系统来完成重要数据的容灾备份,而中小企业却很难在这方面投资建设。一些专用的备份存储,如NAS等设备,安排专人定期备份重要数据,但随着信息化建设的逐步深入,大量业务系统,如OA、ERP、PLM、MES等,都产生大量的运行数据。一些有安全意识的企业会购买备份存储安排专人定期备份重要数据,而大多数企业因为资金有限,上线业务系统时根本没做数据备份方案,业务系统运行存在极大的数据损坏风险。
随着云技术的应用,基于超融合架构、通过多台服务器主机构建的分布式存储支持数据多副本和高可用,提升了企业数据保护的能力。这种部署方案利用云服务器上的存储,通过多节点、多硬盘组成分布式文件系统来实现,同样造价不菲,通常要求每个服务器节点配置相同,且节点数量越多越好,应用和推广都受到一定的限制,运维更是需要专业技术人才。综上,不论是专业的备份方案,还是简单的NAS集中共享存储,亦或是超融合的分布式存储,都是采用专用的存储设备作备份,也就是说,企业必须额外添置设备才能实现数据备份。
发明内容
为此,本发明提供一种云构架下基于终端和云主机的分布式数据备份方法,旨在集成企业终端上的可用空间和业务主机的磁盘空间生成存储资源池,实现业务数据在主机和终端上双副本自动备份,提升数据安全性。
为实现以上目的,本发明采用如下技术方案:
依据本发明第一方面,本发明提供一种云构架下基于终端和云主机的分布式数据备份方法,应用于主机节点和至少一个终端节点,所述方法包括:
在所述主机节点上部署基于SDS虚拟化存储程序的数据存储服务和主tracker服务;
在所述终端节点上部署所述数据存储服务,并对所述主机节点上部署的主tracker服务进行注册,以将所述终端节点作为备用存储节点;
所述终端节点上的应用程序触发写入数据请求,向所述主tracker服务请求数据文件存储,所述主tracker服务分配所述主机节点,基于所述数据存储服务存储所述数据文件;
所述主机节点存储所述数据文件后,向所述主tracker服务请求数据副本备份存储,所述主tracker服务选取一目标终端节点,所述主机节点将所述数据文件推送至所述目标终端节点,所述目标终端节点基于所述数据存储服务备份储存数据副本;
其中,所述SDS虚拟化存储程序用于提供数据存储功能。
可选地,所述终端节点上的应用程序触发写入数据请求之前,所述方法还包括:
针对所述终端节点部署SDC存储通信程序以及Dokan模拟磁盘驱动器;
其中,所述SDC存储通信程序用于提供文件管理功能;所述Dokan模拟磁盘驱动器用于通过所述SDC存储通信程序获取存储路径,提供数据存储接口调用功能。
可选地,所述对所述主机节点上部署的主tracker服务进行注册,以将所述终端节点作为备用存储节点,具体包括:
当所述终端节点运行所述应用程序时,对所述主机节点上部署的主tracker服务进行注册登录,并将所述终端节点的节点信息上传至主tracker服务;
所述主tracker服务根据所述节点信息将所述终端节点记录为备用存储节点和/或备用tracker服务;
其中,所述节点信息包括节点标识、存储空间、存储位置以及IP地址中至少之一。
可选地,所述终端节点上的应用程序触发写入数据请求之后,所述方法还包括:
将所述应用程序运行时产生的数据流按照预设切片策略进行切片,得到多个分片数据。
可选地,所述向所述主tracker服务请求数据文件存储,所述主tracker服务分配所述主机节点,基于所述数据存储服务存储所述数据文件,具体包括:
各所述分片数据向所述主tracker服务请求数据文件存储,所述主tracker服务分配所述主机节点,基于所述数据存储服务存储所述分片数据对应的数据文件。
可选地,所述向所述主tracker服务请求数据副本备份存储,所述主tracker服务选取一目标终端节点,所述主机节点将所述数据文件推送至所述目标终端节点,具体包括:
所述主机节点向所述主tracker服务请求针对所述分片数据的数据备份存储,所述主tracker服务根据各所述终端节点的节点信息选取一目标终端节点;
将所述目标终端节点信息反馈至所述主机节点;
所述主机节点将所述分片数据对应的数据文件推送至所述目标终端节点。
可选地,所述方法还包括:
当所述主机节点运行异常时,利用所述终端节点提供的备用tracker服务同步所述备用tracker服务中包含的全部节点信息;
当所述终端节点上的应用程序触发写入数据请求,向所述备用tracker服务请求数据文件存储;
所述备用tracker服务选取一目标终端节点,将所述数据文件推送至所述目标终端节点,所述目标终端节点储存所述数据文件。
可选地,所述方法还包括:
当所述终端节点未运行所述应用程序时,所述终端节点被tracker服务识别为不可用,将所述终端节点记录为非备用存储节点和/或非备用tracker服务。
可选地,所述方法还包括:
当所述主机节点恢复正常运行时,主tracker服务同步所述主机节点在运行异常时间段内所述备用tracker服务中产生的全部节点信息和存储的数据文件。
可选地,所述方法还包括:
所述终端节点与tracker服务之间通过心跳维持连接状态;其中,所述tracker服务包括主tracker服务和备用tracker服务;
所述tracker服务实时监测与各所述终端节点之间的心跳状态;
若所述心跳状态正常,认为所述终端节点处于在线状态,以利用在线状态下的所述终端节点运行所述应用程序;
若所述心跳状态异常,认为所述终端节点处于离线状态,将所述终端节点记录为非备用存储节点和/或非备用tracker服务。
本发明采用以上技术方案,至少具备以下有益效果:
通过本发明方案,获取主机节点和至少一个终端节点,在所述主机节点上部署基于SDS虚拟化存储程序的数据存储服务和主tracker服务;在所述终端节点上部署数据存储服务,并对所述主机节点上部署的主tracker服务进行注册,以将所述终端节点作为备用存储节点;所述终端节点上的应用程序触发写入数据请求,向所述主tracker服务请求数据文件存储,所述主tracker服务分配所述主机节点,基于所述数据存储服务存储所述数据文件;所述主机节点存储所述数据文件后,向所述主tracker服务请求数据副本备份存储,所述tracker服务选取一目标终端节点,所述主机节点将所述数据文件推送至所述目标终端节点,所述目标终端节点,基于所述数据存储服务备份储存数据副本;其中,所述SDS虚拟化存储程序用于提供数据存储功能。由此,打破专用存储设备和专用网络的限制,利用企业终端和业务主机组成数据存储网络SN,存储时自动生成双副本,一份保存在主机节点,另一份保存在终端节点。在任一节点出现异常时,都不影响数据文件的正常备份,且无需增购和运维存储服务器,降低了企业成本。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明一实施例提供的云构架下基于终端和云主机的分布式数据备份方法的流程示意图;
图2示出了本发明一实施例提供的数据存储网络的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明实施例提供了一种云构架下基于终端和云主机的分布式数据备份方法,应用于主机节点和多个终端节点,如图1所示,至少可以包括以下步骤S101~S104:
步骤S101,在主机节点上部署基于SDS虚拟化存储程序的数据存储服务和主tracker服务。
本发明实施例中的主机节点可以为待数据备份企业的业务主机。其中,tracker服务是一种提供多节点集成的计算机程序。本发明实施例在主机节点上部署tracker服务,将主机节点作为主tracker节点,以供其他节点向主机节点提供的主tracker服务请求节点集成注册。
其中,SDS虚拟化存储程序是一种提供数据存储功能的计算机程序;SDC存储通信程序是一种提供数据存储接口调用功能和数据文件管理功能的计算机程序。也就是说,通过在主机节点上部署SDS虚拟化存储程序,可以实现基于主机节点存储空间的数据文件保存。需要说明的是,由于主机运行更为稳定和可靠,将数据存储在主机上可以减少网络存储方式对应用读取性能的影响,因此本发明实施例将主机节点作为主存储节点。也即在主机运行正常的情况下,优先利用主机进行数据文件整体储存。
步骤S102,在终端节点上部署数据存储服务,并对主机节点上部署的主tracker服务进行注册,以将终端节点作为备用存储节点。
本发明实施例中的终端节点可以为待数据备份企业的多个用户终端。具体地,在终端节点上部署数据存储服务,可以为在终端节点上运行SDS虚拟化存储程序,以实现基于终端节点存储空间的数据文件保存。
进一步地,对主机节点上部署的主tracker服务进行注册,以将终端节点作为备用存储节点,具体可以通过当终端节点运行应用程序时,对主机节点上部署的主tracker服务进行注册登录,并将终端节点的节点信息上传至主tracker服务;主tracker服务根据节点信息将终端节点记录为备用存储节点和/或备用tracker服务。
为了实现包含主机节点和多个终端节点的数据存储网络,本发明实施例将每个终端节点向主机节点上部署的主tracker服务进行注册。需要说明的是,每个终端节点都会安装有产生数据文件的应用程序,当终端节点上的应用程序运行时,可以登录tracker服务,并将终端节点的节点信息汇报给主tracker服务。其中,节点信息包括节点标识、存储空间、存储位置以及IP地址。主tracker服务记录每个终端节点的节点信息,将运行应用程序的终端节点作为备用存储节点和备用tracker服务。
需要注意的是,本发明实施例中的终端节点与tracker服务之间通过心跳维持连接状态;tracker服务实时监测与各终端节点之间的心跳状态;若心跳状态正常,认为终端节点处于在线状态,以利用在线状态下的终端节点运行应用程序;若心跳状态异常,认为终端节点处于离线状态,将终端节点记录为非备用存储节点和/或非备用tracker服务。
其中,tracker服务包括主tracker服务和备用tracker服务。也就是说,本发明实施例中的tracker服务会记录所有的终端节点列表,在将终端节点作为备用存储节点和备用tracker服务之前,首先需要确认终端节点是否在线,再确定终端节点上是否正常运行应用程序。若终端节点离线或未运行应用程序,则将该终端节点记录为非备用存储节点和非备用tracker服务。如图2所示,随着终端节点的上线下线,本发明实施例中的主机节点和这些终端节点就组成了一个可大可小、可以无限扩充的动态数据存储网络。该动态数据存储网络的存储容量由所有终端节点提供的存储空间组成。
可选地,还可以预先针对终端节点部署SDC存储通信程序以及Dokan模拟磁盘驱动器。其中,SDC存储通信程序为用于提供文件管理功能的计算机程序;Dokan模拟磁盘驱动器可以通过SDC存储通信程序获取存储路径,提供数据存储接口调用功能。需要说明的是,通过在终端节点上部署SDC存储通信程序,可以获得存储交互界面,为终端上产生数据文件的应用程序提供访问存储对象接口的功能以及显示、查询、调用保存的数据文件的功能。
具体地,每个终端节点对应有具体用户,针对每个终端节点安装SDC存储通信程序和Dokan模拟磁盘驱动器前,可以先针对每个终端节点创建用户账号,并对用户账号分配对应的存储配额,该存储配额由动态数据存储网络进行标记。进而用户可以在对应的终端节点上安装SDC存储通信程序,同时安装Dokan驱动,以在终端生成一个Dokan模拟磁盘驱动器。Dokan模拟磁盘驱动器默认不显示也未指定存储资源,是无法使用的,需要通过SDC存储通信程序获取存储路径。用户可以通过用户账号登录SDC存储通信程序,在返回正确的用户信息后,Dokan模拟磁盘驱动器显示在操作系统中,即可作为可用盘符。由此,完成一针对终端节点的包含SDC存储通信程序喝Dokan模拟磁盘驱动器的存储系统的安装。
步骤S103,终端节点上的应用程序触发写入数据请求,向主tracker服务请求数据文件备份存储,主tracker服务分配主机节点,基于数据存储服务备份存储数据文件。
在终端节点上的应用程序运行时,触发写入数据请求。具体地,可以将应用程序运行时产生的数据流按照预设切片策略进行切片,得到多个分片数据;各分片数据向主tracker服务请求数据文件存储,主tracker服务分配主机节点存储分片数据对应的数据文件。
其中,预设切片策略可以为将数据流按固定大小切片,每一分片分别向主tracker服务请求存储节点以上传数据。首先,主tracker服务会将主机节点对应的节点信息告知应用程序,应用程序将每一分片数据对应的数据文件上传至主机节点。由此,主机节点可以保存应用程序产生的数据流中每一分片对应的数据文件,实现主机节点针对数据文件的完整保存。
步骤S104,主机节点存储所述数据文件后,向所述主tracker服务请求数据副本备份存储,所述主tracker服务选取一目标终端节点,所述主机节点将所述数据文件推送至所述目标终端节点,所述目标终端节点基于所述数据存储服务备份储存数据副本。
由于本发明实施例采用的是双副本存储,除步骤S103中的主机节点存储外,还可以在终端节点上进行备份存储。具体地,主机节点向主tracker服务请求针对分片数据的数据副本备份存储,主tracker服务根据各终端节点的节点信息选取一目标终端节点;将目标终端节点信息反馈至主机节点;主机节点将分片数据对应的数据文件推送至目标终端节点。
也就是说,主机节点在收到数据文件保存至本地磁盘后,向主tracker请求该分片数据的备份节点。主Tracker服务从备用终端节点中选择一个最优的目标终端节点给主机节点,主机节点将分片数据推送到该目标终端节点,基于SDS虚拟化存储程序完成数据文件备份。可以理解的是,本发明实施例在选择备用终端节点时会优先考虑产生数据文件的终端节点。这是由于终端节点与用户个人捆绑,由用户操作导致终端节点离线的情况可能发生,而在这种情况下用户通常也不会再请求数据,例如用户主动关机之后也不会再去打开应用程序,该做法可以极大的降低在主机节点异常时的数据访问异常。
进一步地,当主机节点运行异常时,利用终端节点提供的备用tracker服务同步备用tracker服务中包含的全部节点信息;当终端节点上的应用程序触发写入数据请求,向备用tracker服务请求数据文件存储;备用tracker服务选取一目标终端节点,将数据文件推送至目标终端节点,目标终端节点储存数据文件。
本发明实施例中,由于主机节点保存有完整的文件数据,所以当主机节点运行正常时,可以提供完整的文件数据,在这种情况下,终端节点是否在线对于数据文件存储并没有影响。而当主机节点运行异常时,终端节点的备用tracker服务可以同步主tracker服务的所有节点信息,数据存储网络的集成中心将会自动切换到某个备用tracker服务,所以仍可以浏览到所有保存的数据文件。且终端节点也可以作为备用存储节点提供存储功能,数据存储网络即可继续提供正常服务。
进一步地,当终端节点未运行应用程序时,终端节点被tracker服务识别为不可用,将终端节点记录为非备用存储节点和/或非备用tracker服务。
本发明实施例中确定终端节点是否可作为备用存储节点和备用tracker服务之前,需要确定终端节点上是否正常运行应用程序。若终端节点未正常运行应用程序,则将该终端节点记录为非备用存储节点和非备用tracker服务。也就是说,针对未运行应用程序的终端节点,其不提供数据存储功能以及tracker服务功能。而当终端节点重新正常运行应用程序后,该终端节点上运行的SDS虚拟化存储程序重新登录连接tracker服务,连接成功后,该终端节点将被识别为可用,即被tracker服务记录为备用存储节点和非备用tracker服务。当应用程序触发数据文件写入请求时,将按与上述描述相同的分配规则分配存储节点。可以理解的是,针对终端节点,异常期间的数据已被保存到其他存储节点,该终端节点无需做数据同步,只需等待新的存储任务即可。而如果该终端节点永久下线,tracker服务将会删除该终端节点的节点信息,并将该终端节点上的数据文件在其他终端节点上重新备份,以保证备份数据的完整性。
进一步地,当主机节点恢复正常运行时,主tracker服务同步主机节点在运行异常时间段内备用tracker服务中产生的全部节点信息和存储的数据文件。
当主机节点又异常运行恢复为正常运行后,启动主tracker服务,主tracker服务将会连接备用tracker服务,并将备用tracker服务在主机节点异常期间产生的全部节点信息同步至主tracker服务。如果发现备用tracker服务产生新保存的数据文件,则会从对应的终端节点获取数据文件同步至主机节点的存储空间内,以保证主机节点存储数据的完整性。
在完成数据文件存储后,用户可以使用SDC存储通信程序连接并获取SDS虚拟化存储程序的数据文件利用Dokan模拟磁盘驱动器对数据文件进行文件管理。例如,在用户需要进行数据文件查询时,打开Dokan模拟磁盘驱动器,以触发Dokan模拟磁盘驱动器的API响应,SDC存储通信程序在捕捉到该API响应后通过数据接口将文件目录查询请求发送至存储系统。存储系统完成检索后将文数据件目录信息返回给SDC存储通信程序,再通过Dokan模拟磁盘驱动器的数据接口展示出来。在用户需要对数据文件进行其他管理操作时,可以先通过存储系统检索定位到具体的数据文件的存储位置,再返回文件数据,即终端节点读取加载该数据文件,以使用户可以对数据文件进行其他管理操作。需要说明的是,在用户退出用户账号登录后,Dokan模拟磁盘驱动器无法再通过SDC存储通信程序获取到数据文件的存储路径,此时Dokan模拟磁盘驱动器不可用。由此,只能在用户账号登录时才可进行针对数据文件的查询或管理,保障了数据文件的安全性。
本发明提供了一种云构架下基于终端和云主机的分布式数据备份方法,通过获取主机节点和至少一个终端节点,在主机节点上部署基于SDS虚拟化存储程序的数据存储服务和主tracker服务;在终端节点上部署数据存储服务,并对主机节点上部署的主tracker服务进行注册,以将终端节点作为备用存储节点;终端节点上的应用程序触发写入数据请求,向主tracker服务请求数据文件存储,主tracker服务分配主机节点,基于数据存储服务存储数据文件;主机节点存储数据文件后,向主tracker服务请求数据副本备份存储,tracker服务选取一目标终端节点,主机节点将数据文件推送至目标终端节点,目标终端节点,基于数据存储服务备份储存数据副本;其中,SDS虚拟化存储程序用于提供数据存储功能。由此,打破专用存储设备和专用网络的限制,利用企业终端和业务主机组成数据存储网络SN,存储时自动生成双副本,一份保存在主机节点,另一份保存在终端节点。在任一节点出现异常时,都不影响数据文件的正常备份,且无需增购和运维存储服务器,降低了企业成本。
所属领域的技术人员可以清楚地了解到,上述描述的系统、装置、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,为简洁起见,在此不另赘述。
另外,在本发明各个实施例中的各功能单元可以物理上相互独立,也可以两个或两个以上功能单元集成在一起,还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现,也可以采用软件或者固件的形式实现。
本领域普通技术人员可以理解:所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,其包括若干指令,用以使得一台计算设备(例如个人计算机,服务器,或者网络设备等)在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM),磁碟或者光盘等各种可以存储程序代码的介质。
或者,实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机,服务器,或者网络设备等的计算设备)来完成,所述程序指令可以存储于一计算机可读取存储介质中,当所述程序指令被计算设备的处理器执行时,所述计算设备执行本发明各实施例所述方法的全部或部分步骤。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:在本发明的精神和原则之内,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案脱离本发明的保护范围。
Claims (9)
1.一种云构架下基于终端和云主机的分布式数据备份方法,其特征在于,应用于主机节点和多个终端节点,所述方法包括:
在所述主机节点上部署基于SDS虚拟化存储程序的数据存储服务和主tracker服务;
在所述终端节点上部署所述数据存储服务,并对所述主机节点上部署的主tracker服务进行注册,以将所述终端节点作为备用存储节点;
所述终端节点上的应用程序触发写入数据请求,向所述主tracker服务请求数据文件存储,所述主tracker服务分配所述主机节点,基于所述数据存储服务存储所述数据文件;
所述主机节点存储所述数据文件后,向所述主tracker服务请求数据副本备份存储,所述主tracker服务选取一目标终端节点,所述主机节点将所述数据文件推送至所述目标终端节点,所述目标终端节点基于所述数据存储服务备份储存数据副本;
其中,所述SDS虚拟化存储程序用于提供数据存储功能;
所述对所述主机节点上部署的主tracker服务进行注册,以将所述终端节点作为备用存储节点,具体包括:
当所述终端节点运行所述应用程序时,对所述主机节点上部署的主tracker服务进行注册登录,并将所述终端节点的节点信息上传至主tracker服务;
所述主tracker服务根据所述节点信息将所述终端节点记录为备用存储节点和备用tracker服务;
其中,所述节点信息包括节点标识、存储空间、存储位置以及IP地址中至少之一。
2.根据权利要求1所述的方法,其特征在于,所述终端节点上的应用程序触发写入数据请求之前,所述方法还包括:
针对所述终端节点部署SDC存储通信程序以及Dokan模拟磁盘驱动器;
其中,所述SDC存储通信程序用于提供文件管理功能;所述Dokan模拟磁盘驱动器用于通过所述SDC存储通信程序获取存储路径,提供数据存储接口调用功能。
3.根据权利要求1所述的方法,其特征在于,所述终端节点上的应用程序触发写入数据请求之后,所述方法还包括:
将所述应用程序运行时产生的数据流按照预设切片策略进行切片,得到多个分片数据。
4.根据权利要求3所述的方法,其特征在于,所述向所述主tracker服务请求数据文件存储,所述主tracker服务分配所述主机节点,基于所述数据存储服务存储所述数据文件,具体包括:
各所述分片数据向所述主tracker服务请求数据文件存储,所述主tracker服务分配所述主机节点,基于所述数据存储服务存储所述分片数据对应的数据文件。
5.根据权利要求3所述的方法,其特征在于,所述向所述主tracker服务请求数据副本备份存储,所述主tracker服务选取一目标终端节点,所述主机节点将所述数据文件推送至所述目标终端节点,具体包括:
所述主机节点向所述主tracker服务请求针对所述分片数据的数据备份存储,所述主tracker服务根据各所述终端节点的节点信息选取一目标终端节点;
将所述目标终端节点信息反馈至所述主机节点;
所述主机节点将所述分片数据对应的数据文件推送至所述目标终端节点。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述主机节点运行异常时,利用所述终端节点提供的备用tracker服务同步所述备用tracker服务中包含的全部节点信息;
当所述终端节点上的应用程序触发写入数据请求,向所述备用tracker服务请求数据文件存储;
所述备用tracker服务选取一目标终端节点,将所述数据文件推送至所述目标终端节点,所述目标终端节点储存所述数据文件。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述终端节点未运行所述应用程序时,所述终端节点被tracker服务识别为不可用,将所述终端节点记录为非备用存储节点和非备用tracker服务。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
当所述主机节点恢复正常运行时,主tracker服务同步所述主机节点在运行异常时间段内所述备用tracker服务中产生的全部节点信息和存储的数据文件。
9.根据权利要求1~8任一项所述的方法,其特征在于,所述方法还包括:
所述终端节点与tracker服务之间通过心跳维持连接状态;其中,所述tracker服务包括主tracker服务和备用tracker服务;
所述tracker服务实时监测与各所述终端节点之间的心跳状态;
若所述心跳状态正常,认为所述终端节点处于在线状态,以利用在线状态下的所述终端节点运行所述应用程序;
若所述心跳状态异常,认为所述终端节点处于离线状态,将所述终端节点记录为非备用存储节点和非备用tracker服务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310905817.2A CN116881049B (zh) | 2023-07-21 | 2023-07-21 | 一种云构架下基于终端和云主机的分布式数据备份方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310905817.2A CN116881049B (zh) | 2023-07-21 | 2023-07-21 | 一种云构架下基于终端和云主机的分布式数据备份方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116881049A CN116881049A (zh) | 2023-10-13 |
CN116881049B true CN116881049B (zh) | 2024-01-30 |
Family
ID=88260192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310905817.2A Active CN116881049B (zh) | 2023-07-21 | 2023-07-21 | 一种云构架下基于终端和云主机的分布式数据备份方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116881049B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102693168A (zh) * | 2011-03-22 | 2012-09-26 | 中兴通讯股份有限公司 | 一种数据备份恢复的方法、系统和服务节点 |
CN107562371A (zh) * | 2017-07-26 | 2018-01-09 | 广东睿江云计算股份有限公司 | 一种云主机存储介质切换方法及其系统 |
CN109521966A (zh) * | 2018-11-15 | 2019-03-26 | 郑州云海信息技术有限公司 | 存储设备虚拟化方法、装置、终端及计算机可读存储介质 |
CN112416881A (zh) * | 2020-10-23 | 2021-02-26 | 易联众信息技术股份有限公司 | 基于区块链的智能终端存储共享方法、装置、介质及设备 |
CN112579252A (zh) * | 2019-09-27 | 2021-03-30 | 英特尔公司 | 虚拟机复制和迁移 |
CN113032099A (zh) * | 2021-03-26 | 2021-06-25 | 阿里巴巴新加坡控股有限公司 | 云计算节点、文件管理方法及装置 |
CN113111130A (zh) * | 2021-04-30 | 2021-07-13 | 贵州联科卫信科技有限公司 | 一种基于云平台的分布式医学影像数据存储方法 |
CN116048874A (zh) * | 2022-11-08 | 2023-05-02 | 国网上海市电力公司 | 基于云环境的数据备份方法和系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101232654B1 (ko) * | 2012-09-11 | 2013-02-13 | 효성아이티엑스(주) | 블록디바이스 기반의 가상 스토리지 서비스 시스템 및 방법 |
-
2023
- 2023-07-21 CN CN202310905817.2A patent/CN116881049B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102693168A (zh) * | 2011-03-22 | 2012-09-26 | 中兴通讯股份有限公司 | 一种数据备份恢复的方法、系统和服务节点 |
CN107562371A (zh) * | 2017-07-26 | 2018-01-09 | 广东睿江云计算股份有限公司 | 一种云主机存储介质切换方法及其系统 |
CN109521966A (zh) * | 2018-11-15 | 2019-03-26 | 郑州云海信息技术有限公司 | 存储设备虚拟化方法、装置、终端及计算机可读存储介质 |
CN112579252A (zh) * | 2019-09-27 | 2021-03-30 | 英特尔公司 | 虚拟机复制和迁移 |
CN112416881A (zh) * | 2020-10-23 | 2021-02-26 | 易联众信息技术股份有限公司 | 基于区块链的智能终端存储共享方法、装置、介质及设备 |
CN113032099A (zh) * | 2021-03-26 | 2021-06-25 | 阿里巴巴新加坡控股有限公司 | 云计算节点、文件管理方法及装置 |
CN113111130A (zh) * | 2021-04-30 | 2021-07-13 | 贵州联科卫信科技有限公司 | 一种基于云平台的分布式医学影像数据存储方法 |
CN116048874A (zh) * | 2022-11-08 | 2023-05-02 | 国网上海市电力公司 | 基于云环境的数据备份方法和系统 |
Non-Patent Citations (4)
Title |
---|
CSM-DBEN: Container Storage Manager for Data Backup on Edge Nodes;Hung, Wei-Cheng等;《2022 IEEE INTERNATIONAL CONFERENCE ON CLOUD COMPUTING TECHNOLOGY AND SCIENCE》;全文 * |
云存储系统和应用过程中的数据安全性问题与分散式存数;谢斌;;电子制作(第10期);全文 * |
基于云计算的SAN存储的应用研究;任少波;陈源;;无线互联科技(第13期);全文 * |
移动端开放式云存储服务的设计与开发;郭天;《中国优秀硕士学位论文全文数据库(信息科技辑)》(第1期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116881049A (zh) | 2023-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11768609B2 (en) | Managing access of multiple executing programs to nonlocal block data storage | |
US9934107B1 (en) | Designating backup nodes and backing up in parallel in a high-availability environment | |
US9904605B2 (en) | System and method for enhancing availability of a distributed object storage system during a partial database outage | |
US10482104B2 (en) | Zero-data loss recovery for active-active sites configurations | |
US8769186B2 (en) | Providing executing programs with reliable access to non-local block data storage | |
US9189348B2 (en) | High availability database management system and database management method using same | |
US20040153481A1 (en) | Method and system for effective utilization of data storage capacity | |
EP2426605B1 (en) | Providing executing programs with reliable access to non-local block data storage | |
US10719407B1 (en) | Backing up availability group databases configured on multi-node virtual servers | |
US11709743B2 (en) | Methods and systems for a non-disruptive automatic unplanned failover from a primary copy of data at a primary storage system to a mirror copy of the data at a cross-site secondary storage system | |
JP4722944B2 (ja) | データベースの分散ロードのためのシステム、方法およびソフトウェア | |
CN101136728A (zh) | 群集系统和用于备份群集系统中的副本的方法 | |
US20190188309A1 (en) | Tracking changes in mirrored databases | |
CN111221678A (zh) | Hbase数据备份/恢复系统、方法、装置及电子设备 | |
US7698519B2 (en) | Backup of hierarchically structured storage pools | |
US20210182253A1 (en) | System and method for policy based migration using mtree replication with data protection applications | |
US11042454B1 (en) | Restoration of a data source | |
CN110972497A (zh) | 虚拟化平台的容灾方法及装置 | |
CN116389233B (zh) | 容器云管理平台主备切换系统、方法、装置和计算机设备 | |
CN117632374A (zh) | 容器镜像的读取方法、介质、装置和计算设备 | |
JP5154843B2 (ja) | クラスタシステム、計算機、および障害回復方法 | |
CN116881049B (zh) | 一种云构架下基于终端和云主机的分布式数据备份方法 | |
CN115098300B (zh) | 一种数据库的备份方法、容灾方法、装置及设备 | |
WO2023070935A1 (zh) | 一种数据存储方法、装置及相关设备 | |
Dell |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |