CN103259845B - 基于网络中断的数据备份任务的改进方法 - Google Patents
基于网络中断的数据备份任务的改进方法 Download PDFInfo
- Publication number
- CN103259845B CN103259845B CN201310126705.3A CN201310126705A CN103259845B CN 103259845 B CN103259845 B CN 103259845B CN 201310126705 A CN201310126705 A CN 201310126705A CN 103259845 B CN103259845 B CN 103259845B
- Authority
- CN
- China
- Prior art keywords
- data
- time interval
- storage system
- target storage
- numerical value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Retry When Errors Occur (AREA)
Abstract
本发明公开了一种基于网络中断的数据备份任务的改进方法，其步骤包括：选择需要进行传输的数据，并将数据从源存储系统传输到目标存储系统；判断控制服务器和目标存储系统之间的网络连接状态；如果数据传输完成，则在目标存储系统上为已传输的数据产生一个数据快照；判断控制服务器和目标存储系统之间的网络连接状态；如果网络连接状态为连接状态，判断是否完成全部数据快照的产生；如果完成了所有数据快照的产生，则产生一个包含同一数据卷中所有数据快照的备份版本。通过上述方式，本发明提供的基于网络中断的数据备份任务的改进方法，可以防止因为网络中断而导致数据传输失败的情况。
Description
技术领域
本发明涉及了一种数据备份方法，特别是涉及了一种基于网络中断的数据备份任务的改进方法。
背景技术
数据备份主要有三个阶段：把数据从源存储系统传输到目标存储系统；为每一个数据关系产生一个数据快照（Snapshot）。数据关系用来连接源存储系统上的一群数据到目标存储系统上的一个数据卷（Volume），这群数据已在第一阶段传输到目标存储系统，基于这群数据的快照将存储在一个数据卷中；基于这些存储在一个数据卷中的数据快照，产生一个备份版本(BackupVersion)。
第一阶段的数据传输将占用整个备份任务的大部分时间，特别是当备份海量的数据时，数据传输的时间也受到源存储系统和目标存储系统之间网络网速的影响。
在传统的数据传输的过程中，若控制服务器和目标存储系统之间的网络连接中断时，控制服务器会收到一个网络连接中断的错误信息，并会终止正在运行的备份任务，导致备份任务失败，所以人们需要一种能更加满足人们要求的，更可靠的备份方法。
发明内容
本发明主要是针对现在市场的要求，提供了一种具有成功率高、使用方便的基于网络中断的数据备份任务的改进方法。
为了实现上述目的，本发明提供以下技术方案：
本发明提供了一种基于网络中断的数据备份任务的改进方法，其步骤包括：选择需要进行传输的数据，并将数据从源存储系统传输到目标存储系统；判断控制服务器和目标存储系统之间的网络连接状态；如果网络连接状态为中断状态，重建控制服务器和目标存储系统之间的网络连接，并等待数据传输完成；如果网络连接状态为连接状态，则自动配置相邻两次数据传输进度检测的时间间隔；对数据进行传输进度检测；如果数据传输没有完成，则继续对数据进行传输；如果数据传输完成，则在目标存储系统上为已传输的数据产生一个数据快照；判断控制服务器和目标存储系统之间的网络连接状态；如果网络连接状态为中断状态，配置重建连接需要等待的时间间隔和重试次数；重建控制服务器和目标存储系统之间的网络连接，并重新对数据进行数据快照的产生；如果网络连接状态为连接状态，则判断是否产生了数据快照；如果数据快照没有产生，则对没有产生数据快照的数据产生一个数据快照；如果数据快照产生了，判断是否完成全部数据快照的产生；如果没有完成所有数据快照的产生，则继续将数据从源存储系统传输到目标存储系统；如果完成了所有的数据快照的产生，则最后产生一个包含同一数据卷中所有数据快照的备份版本。
在本发明一个较佳实施例中，所述自动配置相邻两次数据传输进度检测的时间间隔的具体步骤包括：获取目标存储系统上CPU和内存的使用百分比；设置默认时间间隔和最大时间间隔；利用算式t=m*(nc/bc+np/bp+nn/bn)/3，计算当前的时间间隔，其中，t为当前的时间间隔，m为默认时间间隔，nc为当前操作时间,bc为上次操作时间,np为当前目标存储系统上CPU使用百分比,bp为上次目标存储系统上CPU使用百分比,nn为当前目标存储系统上内存使用百分比,bn为上次目标存储系统上内存使用百分比；判断当前的时间间隔数值与默认时间间隔和最大时间间隔的数值的关系；如果当前的时间间隔的数值小于或等于最大时间间隔的数值，并且大于或等于默认时间间隔，则采用当前的时间间隔的数值；如果当前的时间间隔的数值大于最大时间间隔的数值，则采用最大时间间隔的数值；如果当前的时间间隔的数值小于默认时间间隔的数值，则采用默认时间间隔的数值。
本发明的有益效果是：本发明所述的基于网络中断的数据备份任务的改进方法，可以在控制服务器和目标存储系统之间的网络连接中断后，还能让原来失败的备份任务变成成功的备份任务，从而大大增加了成功备份任务的数量。
附图说明
图1是本发明基于网络中断的数据备份任务的改进方法一较佳实施例的流程示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1，图1是本发明基于网络中断的数据备份任务的改进方法一较佳实施例的流程示意图。
本发明提供了一种基于网络中断的数据备份任务的改进方法，其步骤包括：选择需要进行传输的数据，并将数据从源存储系统传输到目标存储系统；判断控制服务器和目标存储系统之间的网络连接状态；如果网络连接状态为中断状态，重建控制服务器和目标存储系统之间的网络连接，并等待数据传输完成；如果网络连接状态为连接状态，则自动配置相邻两次数据传输进度检测的时间间隔；对数据进行传输进度检测；如果数据传输没有完成，则继续对数据进行传输；如果数据传输完成，则在目标存储系统上为已传输的数据产生一个数据快照；判断控制服务器和目标存储系统之间的网络连接状态；如果网络连接状态为中断状态，配置重建连接需要等待的时间间隔和重试次数；重建控制服务器和目标存储系统之间的网络连接，并重新对数据进行数据快照的产生；如果网络连接状态为连接状态，则判断是否产生了数据快照；如果数据快照没有产生，则对没有产生数据快照的数据产生一个数据快照；如果数据快照产生了，判断是否完成全部数据快照的产生；如果没有完成所有数据快照的产生，则继续将数据从源存储系统传输到目标存储系统；如果完成了所有数据快照的产生，则产生一个包含同一数据卷中所有数据快照的备份版本。
控制服务器是一个软件服务器，它用来管理和控制从一个源存储系统到另一个目标存储系统的数据备份，可通过它来进行定时的或按需的数据备份；若在源存储系统上的数据因病毒感染等因素而损坏时，可通过它来把数据从目标存储系统恢复到源存储系统上。
这样可以防止因为网络中断而导致数据丢失的情况，提高了传输的效率和成功率。
所述自动配置相邻两次数据传输进度检测的时间间隔的具体步骤包括：获取目标存储系统上CPU和内存的使用百分比；设置默认时间间隔和最大时间间隔；利用算式t=m*(nc/bc+np/bp+nn/bn)/3，计算当前的时间间隔，其中，t为当前的时间间隔，m为默认时间间隔，nc为当前操作时间,bc为上次操作时间,np为当前目标存储系统上CPU使用百分比,bp为上次目标存储系统上CPU使用百分比,nn为当前目标存储系统上内存使用百分比,bn为上次目标存储系统上内存使用百分比；判断当前的时间间隔数值与默认时间间隔和最大时间间隔的数值的关系；如果当前的时间间隔的数值小于或等于最大时间间隔的数值，并且大于或等于默认时间间隔，则采用当前的时间间隔的数值；如果当前的时间间隔的数值大于最大时间间隔的数值，则采用最大时间间隔的数值。如果当前的时间间隔的数值小于默认时间间隔的数值，则采用默认时间间隔的数值。
假如默认时间间隔为2分钟，最大时间间隔为10分钟，若时间间隔小于2分钟，就设时间间隔为2分钟；若时间间隔大于10分钟，就设时间间隔为10分钟，这样一方面是为了避免数据传输进度检测操作太频繁，以影响整体系统的性能；另一方面也要避免数据传输进度检测操作太少，以使备份任务的完成时间太长。
本发明所述的基于网络中断的数据备份任务的改进方法，可以在控制服务器和目标存储系统之间的网络连接中断后，还能让原来失败的备份任务变成成功的备份任务，从而大大增加了成功备份任务的数量。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (1)
1.一种基于网络中断的数据备份任务的改进方法，其特征在于：步骤包括：
选择需要进行传输的数据，并将数据从源存储系统传输到目标存储系统；
判断控制服务器和目标存储系统之间的网络连接状态；
如果网络连接状态为中断状态，重建控制服务器和目标存储系统之间的网络连接，并等待数据传输完成；
如果网络连接状态为连接状态，则自动配置相邻两次数据传输进度检测的时间间隔；
对数据进行传输进度检测；
如果数据传输没有完成，则继续对数据进行传输；
如果数据传输完成，则在目标存储系统上为已传输的数据产生一个数据快照，其中，所述自动配置相邻两次数据传输进度检测的时间间隔的具体步骤包括：
获取目标存储系统上CPU和内存的使用百分比；
设置默认时间间隔和最大时间间隔；
利用算式t=m*(nc/bc+np/bp+nn/bn)/3，计算当前的时间间隔，其中，t为当前的时间间隔，m为默认时间间隔，nc为当前操作时间,bc为上次操作时间,np为当前目标存储系统上CPU使用百分比,bp为上次目标存储系统上CPU使用百分比,nn为当前目标存储系统上内存使用百分比,bn为上次目标存储系统上内存使用百分比；
判断当前的时间间隔数值与默认时间间隔和最大时间间隔的数值的关系；
如果当前的时间间隔的数值小于或等于最大时间间隔的数值，并且大于或等于默认时间间隔，则采用当前的时间间隔的数值；
如果当前的时间间隔的数值大于最大时间间隔的数值，则采用最大时间间隔的数值；
如果当前的时间间隔的数值小于默认时间间隔的数值，则采用默认时间间隔的数值；
判断控制服务器和目标存储系统之间的网络连接状态；
如果网络连接状态为中断状态，配置重建连接需要等待的时间间隔和重
试次数；
重建控制服务器和目标存储系统之间的网络连接，并重新对数据进行数
据快照的产生；
如果网络连接状态为连接状态，则判断是否产生了数据快照；
如果数据快照没有产生，则对没有产生数据快照的数据产生一个数据快照；
如果数据快照产生了，判断是否完成全部数据的快照的产生；
如果没有完成所有的数据快照的产生，则继续将数据从源存储系统传输到目标存储系统；
如果完成了所有数据快照的产生，则产生一个包含同一数据卷中所有数据快照的备份版本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310126705.3A CN103259845B (zh) | 2013-04-12 | 2013-04-12 | 基于网络中断的数据备份任务的改进方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310126705.3A CN103259845B (zh) | 2013-04-12 | 2013-04-12 | 基于网络中断的数据备份任务的改进方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103259845A CN103259845A (zh) | 2013-08-21 |
| CN103259845B true CN103259845B (zh) | 2016-03-30 |
Family
ID=48963535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310126705.3A Active CN103259845B (zh) | 2013-04-12 | 2013-04-12 | 基于网络中断的数据备份任务的改进方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103259845B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104883265A (zh) * | 2014-02-27 | 2015-09-02 | 中兴通讯股份有限公司 | 备份文件的数据重传方法及装置、系统 |
| CN109189614A (zh) * | 2018-10-19 | 2019-01-11 | 郑州云海信息技术有限公司 | 一种快照回滚方法和装置 |
| WO2021012331A1 (zh) * | 2019-07-24 | 2021-01-28 | 南京智能制造研究院有限公司 | 一种边缘计算系统及数据存储方法 |
| CN115080310A (zh) * | 2022-06-28 | 2022-09-20 | 上海中汇亿达金融信息技术有限公司 | 基于业务状态自动恢复后台数据的方法和系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102369514A (zh) * | 2011-08-31 | 2012-03-07 | 华为技术有限公司 | 一种建立检查点的方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010152514A (ja) * | 2008-12-24 | 2010-07-08 | Toshiba Corp | メモリシステム |
-
2013
- 2013-04-12 CN CN201310126705.3A patent/CN103259845B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102369514A (zh) * | 2011-08-31 | 2012-03-07 | 华为技术有限公司 | 一种建立检查点的方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103259845A (zh) | 2013-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103034554B (zh) | 一种纠错重启以及自动判断启动的etl调度系统及方法 | |
| CN103259845B (zh) | 基于网络中断的数据备份任务的改进方法 | |
| JP5568048B2 (ja) | 並列計算機システム、およびプログラム | |
| CN103064382B (zh) | 基于arm架构的opc嵌入式远程数据采集系统及方法 | |
| CN102664950B (zh) | 一种焊接电源与计算机之间进行数据通信的方法 | |
| CN102394791A (zh) | 宕机恢复方法和系统 | |
| CN103279386A (zh) | 一种计算机作业调度系统高可用的方法 | |
| CN106354865B (zh) | 一种同步主从数据库的方法、装置和系统 | |
| CN103488546A (zh) | 一种支持多级别数据和数据库在线并发备份与恢复方法 | |
| CN105610899B (zh) | 一种文本文件并行上传方法及装置 | |
| CN102064962A (zh) | 基于命名管道通信的列车自动监控系统输入输出组件的实现方法 | |
| RU2013145091A (ru) | Установка автоматизации энергоснабжения и способ эксплуатации установки автоматизации энергоснабжения | |
| CN107360233A (zh) | 文件上传的方法、装置、设备及可读存储介质 | |
| CN105527878A (zh) | 一种数据采集方法、装置及数据采集调试系统 | |
| CN102968354A (zh) | 一种基于Intel Brickland-EX平台的同频锁步模式的自动切换方法 | |
| CN103226334A (zh) | 一种风力发电机组控制系统升级过程中硬件安全链控制方法 | |
| CN105739464B (zh) | 智能家电设备中主控通信方法 | |
| CN206193530U (zh) | 一种柴油发电机组双冗余监控系统 | |
| CN101788841A (zh) | 一种集群散热系统及散热方法 | |
| US11381642B2 (en) | Distributed storage system suitable for sensor data | |
| JP6336332B2 (ja) | 電圧同期化方法およびシステム | |
| CN105843046A (zh) | 智能家电主控通信方法与系统 | |
| CN112395012B (zh) | 基于双芯智能电表的数据清空方法、装置和计算机设备 | |
| CN103106064A (zh) | 一种复杂时序处理队列的动态预测的方法及装置 | |
| CN101827128A (zh) | 一种文件网络传输中分块下载和匹配的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |