CN105630629B - 数据备份方法和系统 - Google Patents
数据备份方法和系统 Download PDFInfo
- Publication number
- CN105630629B CN105630629B CN201510973796.3A CN201510973796A CN105630629B CN 105630629 B CN105630629 B CN 105630629B CN 201510973796 A CN201510973796 A CN 201510973796A CN 105630629 B CN105630629 B CN 105630629B
- Authority
- CN
- China
- Prior art keywords
- data
- cluster
- collection
- backup
- local backup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000005540 biological transmission Effects 0.000 claims description 31
- 238000013500 data storage Methods 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 description 10
- 101150055297 SET1 gene Proteins 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 101150117538 Set2 gene Proteins 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 101100218322 Arabidopsis thaliana ATXR3 gene Proteins 0.000 description 1
- 101100043929 Arabidopsis thaliana SUVH2 gene Proteins 0.000 description 1
- 101100042371 Caenorhabditis elegans set-3 gene Proteins 0.000 description 1
- 101100043931 Chlamydomonas reinhardtii SUVH3 gene Proteins 0.000 description 1
- 102100029768 Histone-lysine N-methyltransferase SETD1A Human genes 0.000 description 1
- 102100032742 Histone-lysine N-methyltransferase SETD2 Human genes 0.000 description 1
- 101000865038 Homo sapiens Histone-lysine N-methyltransferase SETD1A Proteins 0.000 description 1
- 101100149326 Homo sapiens SETD2 gene Proteins 0.000 description 1
- LZHSWRWIMQRTOP-UHFFFAOYSA-N N-(furan-2-ylmethyl)-3-[4-[methyl(propyl)amino]-6-(trifluoromethyl)pyrimidin-2-yl]sulfanylpropanamide Chemical compound CCCN(C)C1=NC(=NC(=C1)C(F)(F)F)SCCC(=O)NCC2=CC=CO2 LZHSWRWIMQRTOP-UHFFFAOYSA-N 0.000 description 1
- 101100533304 Plasmodium falciparum (isolate 3D7) SETVS gene Proteins 0.000 description 1
- 101150057295 SET3 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1461—Backup scheduling policy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据备份方法和系统，其中方法包括如下步骤：各采集集群分别采集其对应的数据，并在开始采集数据后第一预设时间间隔内向其对应的各本地备份集群发送数据，进行本地备份；各采集集群开始采集其对应的数据后第二预设时间间隔内或各本地备份集群开始接收其对应的数据后第三预设时间间隔内，发送数据至数据集群进行存储。其只需各本地备份集群存储其对应的采集集群发送的数据即可，不需要存储所有的数据，从而有效降低了备份成本。同时还实现了实时备份的目的。其相对于传统的数据统一收集之后在进行备份的方式，明显缩短了备份时间，从而有效节省了备份耗时。最终有效解决了传统的数据备份方式耗时较久，成本较高的问题。
Description
技术领域
本发明涉及数据存储领域，特别是涉及一种数据备份方法和系统。
背景技术
目前，数据备份通常采用统一收集、集中备份的备份方式。即，由采集服务器统一收集好数据后，选定一个合适的时间通过专线的方式或离线的方式将数据拷贝或迁移到其他备份机房。如果采集服务器分布在多地，则先将各个采集服务器手机的数据统一拷贝到中心存储点，然后再向其他备份节点，即其他备份机房进行拷贝。上述统一收集、集中备份的数据备份方式，操作简单，且备份的数据完整性较好，每个备份节点都存储有完整的数据集合。但是，由于其需要在数据集中统一收集后再进行备份操作，耗时较久，并且增加备份节点时的成本较高。
发明内容
基于此，有必要针对传统的数据备份方式耗时较久，成本较高的问题，提供一种数据备份方法和系统。
为实现本发明目的提供的一种数据备份方法，包括如下步骤：
各采集集群分别采集其对应的数据，并在开始采集数据后第一预设时间间隔内向其对应的各本地备份集群发送数据，进行本地备份；
各所述采集集群开始采集其对应的数据后第二预设时间间隔内或各所述本地备份集群开始接收其对应的数据后第三预设时间间隔内，发送数据至数据集群进行存储；
其中，所述采集集群为根据采集服务器的属性将全部采集服务器进行划分后的采集服务器的集合；且所述采集集群的个数为两个以上；
所述本地备份集群的个数与所述采集集群的个数相等，并与所述采集集群一一对应。
在其中一个实施例中，所述各采集集群分别采集其对应的数据时，还包括如下步骤：
各个所述采集集群分别采集其对应的数据，并将采集到的数据设置数据标识；其中，所述数据标识与所述采集集群预设的集群标识相一致。
在其中一个实施例中，还包括如下步骤：
各所述本地备份集群接收到其对应的数据后，在第四预设时间将相应的数据标识发送至备份控制服务模块；和/或
所述数据集群接收到数据后，在第五预设时间将相应的数据标识发送至所述备份控制服务模块；
所述备份控制服务模块存储接收到的所述数据标识，并根据所述数据标识记录每份数据的数据存放信息。
在其中一个实施例中，所述第四预设时间等于所述第五预设时间。
在其中一个实施例中，所述各采集集群分别采集其对应的数据，并在开始采集数据后第一预设时间间隔内向其对应的各本地备份集群发送数据，进行本地备份时，还包括如下步骤：
各所述采集集群发送所采集到的其对应的数据至其他采集集群对应的第二本地备份集群，进行异地备份；或
各所述本地备份集群发送其接收到的数据至所述第二本地备份集群，进行所述异地备份。
在其中一个实施例中，所述采集服务器的属性包括采集服务器的地域、运营商种类或网络运行状况。
相应的，基于同一发明构思，本发明还提供了一种数据备份系统，包括数据集群、两个以上的采集集群和本地备份集群；且
所述采集集群与所述本地备份集群一一对应，并进行数据传输；
所述数据集群与所述采集集群和所述本地备份集群均通信连接；
各所述采集集群，被配置为分别采集其对应的数据，并在开始采集数据后第一预设时间间隔内向其对应的所述本地备份集群发送数据；
各所述本地备份集群，被配置为接收其对应的所述采集集群发送的数据进行本地备份；
各所述采集集群，还被配置为在开始采集其对应的数据后第二预设时间间隔内，发送数据至所述数据集群；
各所述本地备份集群，还被配置为在开始接收其对应的数据后第三预设时间间隔内，发送数据至所述数据集群；
所述数据集群，被配置为接收各所述采集集群或各所述本地备份集群发送的数据进行存储；
其中，所述采集集群为根据采集服务器的属性将全部采集服务器进行划分后的采集服务器的集合。
在其中一个实施例中，各所述采集集群，还被配置为分别采集其对应的数据时，将采集到的数据设置数据标识；
其中，所述数据标识与所述采集集群预设的集群标识相一致。
在其中一个实施例中，还包括备份控制服务模块；
所述备份控制服务模块与所述数据集群和各所述本地备份集群均通信连接，并进行数据传输；
各所述本地备份集群，还配置为接收到其对应的数据后，在第四预设时间将相应的数据标识发送至所述备份控制服务模块；
所述数据集群，还被配置为接收到数据后，在第五预设时间将相应的数据标识发送至所述备份控制服务模块；
所述备份控制服务模块，被配置为存储接收到的所述数据标识，并根据所述数据标识记录每份数据的数据存放信息。
在其中一个实施例中，各所述采集集群，还被配置为发送所采集到的其对应的数据至其他采集集群对应的第二本地备份集群；
各所述本地备份集群，还被配置为发送其接收到的数据至所述第二本地备份集群；
各所述本地备份集群，还被配置为接收并存储其他所述采集集群或其他本地备份集群发送的数据，进行异地备份。
上述数据备份方法的有益效果：
其通过根据采集服务器的属性将全部采集服务器进行划分，划分后的每个采集服务器的集合作为一个采集集群，由各采集集群分别采集其对应的数据，并将采集到的数据发送至与其相对应的本地备份集群，以进行本地备份。其不需要对所有数据进行统一收集，并且各本地备份集群只需存储其对应的采集集群发送的数据即可，不需要存储所有的数据，这就有效降低了对采集集群和本地备份集群的配置，从而有效降低了备份成本。同时，各采集集群在开始采集数据后第一预设时间间隔内，就将数据发送至相应的本地备份集群进行本地备份，并且，各采集集群在开始采集数据后第二预设时间间隔内或各本地备份集群在开始接收数据后第三预设时间间隔内，就将采集到的或接收到的数据发送至数据集群进行统一存储，实现了数据采集与存储备份的实时进行，即，实现了实时备份的目的。其相对于传统的数据统一收集之后在进行备份的方式，明显缩短了备份时间，从而有效节省了备份耗时。最终有效解决了传统的数据备份方式耗时较久，成本较高的问题。
附图说明
图1为本发明的数据备份方法的一具体实施例中的数据备份过程示意图；
图2为本发明的数据备份方法的另一具体实施例中的数据备份过程示意图；
图3为本发明的数据备份系统的一具体实施例的结构示意图；
图4为本发明的数据备份系统的另一具体实施例的结构示意图。
具体实施方式
为使本发明技术方案更加清楚，以下结合附图及具体实施例对本发明作进一步详细说明。
需要提前说明的是，在本发明的技术方案提到的采集服务指的是，数据挖掘技术中的一个环节，负责收集来自各数据源的数据。其中，采集集群采集相应的数据，即可称之为采集服务。
采集集群，则是指的是根据采集服务器的属性，如：采集服务器的地域、运营商种类或网络运行状况等将全部的采集服务器进行划分后的采集服务器的集合。其中采集集群的个数至少为两个。
本地备份集群，则指的是将采集集群采集到的数据进行存储备份的服务器的集合。其与采集集群构成一个备份节点。出于安全性考虑，数据一般在多个备份节点进行备份，每个备份节点可能会有全部或部分数据。
应当说明的是，本地备份集群与采集集群个数相等，且一一对应。即每个本地备份集群对应一个采集集群。
数据集群，则指的是数据挖掘技术中用于存储和运算的计算机集群。即，数据集群用于存储所有采集集群所采集到的数据并进行运算。
参见图1，作为本发明的数据备份方法的一具体实施例，其具体包括如下步骤：步骤S100，各采集集群分别采集其对应的数据，并在开始采集数据后第一预设时间间隔内向其对应的各本地备份集群发送数据，进行本地备份。
也就是说，根据采集服务器的属性，将全部采集服务器进行划分后形成的各采集集群分别采集其对应的数据，同时在开始采集数据后第一预设时间间隔内就与其对应的本地备份集群进行数据传输，将采集到的数据实时发送至本地备份集群进行本地备份。
其中，第一预设时间间隔的取值可根据实际情况自由设置，如其取值可为1ms、2ms等。优选的，第一预设时间间隔取值为0。即，各采集集群在采集数据的同时就向其对应的本地备份集群发送数据，进行本地备份。由此，数据采集即开始进行备份，保证了数据的及时备份，进一步避免了数据的丢失。
需要说明的是，根据采集服务器的属性将全部的采集服务器进行划分形成各采集集群，具体可根据采集服务器的地域、运营商种类和网络运行状况等进行划分。参见图1，如：
根据采集服务器的地域属性进行划分时，位于北京区域的一个或多个采集服务器可划分为一个采集集群，其对应配置有一个本地备份集群，形成一个备份节点SET1。位于上海区域的一个或多个采集服务器同样划分为另一个采集集群，其对应配置一个本地备份集群，形成另一个备份节点SET2。位于深圳区域的一个或多个采集服务器则可划分为一个采集集群，其对应配置一个本地备份集群，形成再一个备份节点SET3。以此类推，可一直设置到第n个这样的备份节点SETn。
位于北京区域的采集集群采集北京区域的数据，并同时将采集到的北京区域的数据发送至其对应的本地备份集群，位于上海区域的采集集群采集上海区域的数据，并同时将采集到的上海区域的数据发送至其对应的本地备份集群，位于深圳区域的采集集群则只采集深圳区域的数据，并同时将采集到的深圳区域的数据发送至其对应的本地备份集群。
其通过在各采集集群开始采集数据后第一预设时间间隔内即开始备份，减少了统一收集后再进行备份的等待收集其他数据的时间，从而也就减少了备份的时间，有效节省了备份耗时。同时，将全部采集服务器划分形成的各采集集群只采集其相应的数据，并将采集的数据发送至相应的本地备份集群，这就使得本地备份集群只需对其相应的数据进行备份即可，不需要备份全部的数据，实现了全部数据备份时的碎片化处理，这也就降低了对本地备份集群的配置要求，从而降低了备份成本。并且，将采集到的数据发送至本地备份集群为本地内网传输，不消耗公网带宽，同样也降低了带宽成本。
同时，在执行步骤S100时，其还可同时执行步骤S200，各采集集群在开始采集其对应的数据后第二预设时间间隔内或各本地备份集群在开始接收其对应的数据后第三预设时间间隔内，发送数据至数据集群进行存储。
即，在各采集集群开始采集其对应的数据后第二预设时间间隔内还将采集到的数据发送至数据集群，或者是在各本地备份集群在开始接收其对应的数据后第三预设时间间隔内将接收到的数据发送至数据集群，已进行数据的存储，便于对所有的数据进行统计和运算。
应当说明的是，第二预设时间间隔和第三预设时间间隔与第一预设时间间隔的取值可以相同，也可不同。其同样均可根据实际情况进行自由设置。优选的，第二预设时间间隔和第三预设时间间隔的取值同样取0。即，在各采集集群开始采集其对应的数据的同时还将采集到的数据发送至数据集群。或者是，在各本地备份集群在开始接收其对应的数据的同时就将接收到的数据发送至数据集群。
如：位于北京区域的采集集群在采集北京区域的数据的同时，还将采集到的北京区域的数据发送至数据集群；或者是，与北京区域的采集集群相对应的本地备份集群接收北京区域的数据的同时，还将接收到的北京区域的数据发送至数据集群。其不仅实现了数据采集即开始备份，同时也使的本地备份和数据集群存储数据为同步进行，实现了多备份同步实时进行，进一步的节省了数据备份的时间，降低了备份耗时。
需要指出的是，采集集群可分布在各云服务或IDC(Internet Data Center，互联网数据中心)机房。其主机位置不受限制，可以是任意地点。优选的，每一个采集集群均预先设置集群标识，如编号、命名等，以便于快速辨认。
并且，采集集群的个数可以根据实际情况进行灵活配置，从而实现动态扩容数据的备份节点，提高了数据备份的灵活性。
相应的，作为本发明的数据备份方法的另一具体实施例，在执行步骤S100，各采集集群分别采集其对应的数据时，具体包括步骤S110，各采集集群分别采集其对应的数据，步骤S120，将采集到的数据设置数据标识，以便于后续读取数据时能够快速高效的查找到所需数据。其中，数据标识应与采集集群预设的集群标识相一致。数据标识可为每条消息，即每份数据的编号或命名。
也就是说，如：北京区域的采集集群预设的集群标识为set1或10，则该采集集群采集到数据后，将采集到的数据设置上set1或10的编号，由此在其相应的本地备份集群上所备份的数据均带有set1或10的数据标识，并且数据集群所存储的该采集集群发送的数据同样也均带有set1或10的数据标识。当后续需要查找读取该数据时，直接通过检索set1或10的数据标识即可快速高效的查找到。从而节省了数据查找的时间，提高了数据读取效率。同时，通过查看数据集群中存储的各个数据的数据标识，也可以快读确认数据是否完整，以便于及时补充所缺失的数据。保证了数据的完整性和一致性。
同理，上海区域的采集集群采集到的数据可设置set2的数据标识，或者是20数据标识；深圳渔区的采集集群采集到的数据则可设置为set3的数据标识或30数据标识。以此类推，第n个区域的采集集群采集到的数据则可设置为setn的数据标识或n0的数据标识。
参见图2，作为本发明的数据备份方法的另一具体实施例，其还包括如下步骤：步骤S300，各本地备份集群接收到其对应的数据后，在第四预设时间将相应的数据标识发送至备份控制服务模块；和/或数据集群接收到数据后，在第五预设时间将相应的数据标识发送至备份控制服务模块。
也就是说，各本地备份集群和/或数据集群接收到数据后，将该数据所设置的数据标识发送至备份控制服务模块，以实现根据数据标识存储数据具体备份位置的上报。其中，上报数据标识至备份控制服务模块时，既可由各本地备份集群定时上报，也可由数据集群定时上报，还可以由各本地备份集群和数据集群同时定时上报。优选的，由各本地备份集群和数据集群同时定时上报，且上报时间相同。即，第四预设时间等于第五预设时间。
待各本地备份集群和/或数据集群上报数据标识至备份控制服务模块后，执行步骤S400，备份控制服务模块存储接收到的数据标识，并根据数据标识记录每份数据的数据存放信息。
即，通过设置各本地备份集群和/或数据集群定时将接收到的数据所设置的数据标识上报至备份控制服务模块，由备份控制服务模块记录存储每份数据的数据存放信息，从而可根据具体的数据存放信息进行数据的查找和备份，保障数据的完整性和一致性。
另外，需要说明的是，作为本发明的数据备份方法的又一具体实施例，其在执行步骤S100，各采集集群分别采集其对应的数据，并在采集数据的同时向其对应的各本地备份集群发送数据，进行本地备份时，还包括如下步骤：
步骤S130，各采集集群发送所采集到的其对应的数据至其他采集集群对应的第二本地备份集群，进行异地备份。或步骤S140，各本地备份集群发送其接收到的数据至第二本地备份集群，进行异地备份。
其中，第二本地备份集群为多个本地备份集群中，除发送数据的采集集群所对应的本地备份集群之外的任意的本地备份集群。
也就是说，北京区域的采集集群可以将其采集到的北京区域的数据备份到北京区域的本地备份集群的同时，还备份到上海区域的本地备份集群或深圳区域的本地备份集群，也可以同时备份到上海区域和深圳区域两个区域的本地备份集群。或者是，北京区域的本地备份集群将其接收到的北京区域的数据同时备份到上海区域的本地备份集群和/或深圳区域的本地备份集群。通过设置异地备份的步骤，实现了数据的多重备份。从而当某一备份节点出现故障，即某一本地备份集群发生数据丢失的情况时，可以由其他本地备份集群中读取丢失的数据，保证了数据的完整性，提高了数据备份的安全性。
应当指出的是，当需要更多备份时，新备份节点，即新增加的本地备份集群可根据网络运行状况等现实条件选择一条最优的最快的线路或者同时选择多条线路读取数据，进行数据的多重冗余备份。
同时，优选的，当不需要更多冗余备份时，只需将本地备份集群接收到的数据或采集集群采集到的数据备份到其他任意一个本地备份集群即可。即，数据备份的冗余系数为2即可，也就是说，数据进行两份备份即可。
相应的，为实现上述任一种数据备份方法，本发明还提供了一种数据备份系统。由于本发明提供的数据备份系统的工作原理与本发明提供的数据备份方法的原理相同或相似，因此重复之处不再赘述。
参见图3，作为本发明的数据备份系统100的一具体实施例，其包括数据集群110、两个以上的采集集群120和本地备份集群130。并且，采集集群120与本地备份集群130一一对应，并进行数据传输。数据集群110与采集集群120和本地备份集群130均通信连接。
其中，各采集集群120，被配置为分别采集其对应的数据，并在开始采集数据后第一预设时间间隔内向其对应的本地备份集群130发送数据。各本地备份集群130，被配置为接收其对应的采集集群120发送的数据进行本地备份。
各采集集群120，还被配置为在开始采集其对应的数据后第二预设时间间隔内，发送数据至数据集群110。各本地备份集群130，还被配置为在开始接收其对应的数据后第三预设时间间隔内，发送数据至数据集群110。数据集群110，被配置为接收各采集集群120或各本地备份集群130发送的数据进行存储。
其中，采集集群120为根据采集服务器的属性将全部采集服务器进行划分后的采集服务器的集合。
进一步的，各采集集群120，还被配置为分别采集其对应的数据时，将采集到的数据设置数据标识。其中，数据标识与采集集群120预设的集群标识相一致。
优选的，参见图2，作为本发明的数据备份系统100的另一具体实施例，其还包括备份控制服务模块140。备份控制服务模块140与数据集群110和各本地备份集群130均通信连接，并进行数据传输。
其中，各本地备份集群130，还被配置为接收到其对应的数据后，在第四预设时间将相应的数据标识发送至备份控制服务模块140。数据集群110，还被配置为接收到数据后，在第五预设时间将相应的数据标识发送至备份控制服务模块140。备份控制服务模块140，被配置为存储接收到的数据标识，并根据数据标识记录每份数据的数据存放信息。
进一步的，各采集集群120，还被配置为发送所采集到的其对应的数据至其他采集集群120对应的第二备份集群130；各本地备份集群130，还被配置为发送其接收到的数据至第二本地备份集群130。各本地备份集群130，还被配置为接收并存储其他采集集群120或其他本地备份集群130发送的数据，进行异地备份。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据备份系统，其特征在于，包括数据集群、两个以上的采集集群和本地备份集群；且
所述采集集群与所述本地备份集群一一对应，并进行数据传输；
所述数据集群与所述采集集群和所述本地备份集群均通信连接；
各所述采集集群，被配置为分别采集其对应的数据，并在开始采集数据后第一预设时间间隔内向其对应的所述本地备份集群发送数据；
各所述本地备份集群，被配置为接收其对应的所述采集集群发送的数据进行本地备份；
各所述采集集群，还被配置为在开始采集其对应的数据后第二预设时间间隔内，发送数据至所述数据集群；
各所述本地备份集群，还被配置为在开始接收其对应的数据后第三预设时间间隔内，发送数据至所述数据集群；
所述数据集群，被配置为接收各所述采集集群或各所述本地备份集群发送的数据进行存储；
其中，所述采集集群为根据采集服务器的属性将全部采集服务器进行划分后的采集服务器的集合；
所述本地备份集群为将所述采集集群采集到的数据进行存储备份的服务器的集合；
所述数据集群为用于存储和运算的计算机集群。
2.根据权利要求1所述的系统，其特征在于，各所述采集集群，还被配置为分别采集其对应的数据时，将采集到的数据设置数据标识；
其中，所述数据标识与所述采集集群预设的集群标识相一致。
3.根据权利要求2所述的系统，其特征在于，还包括备份控制服务模块；
所述备份控制服务模块与所述数据集群和各所述本地备份集群均通信连接，并进行数据传输；
各所述本地备份集群，还配置为接收到其对应的数据后，在第四预设时间将相应的数据标识发送至所述备份控制服务模块；
所述数据集群，还被配置为接收到数据后，在第五预设时间将相应的数据标识发送至所述备份控制服务模块；
所述备份控制服务模块，被配置为存储接收到的所述数据标识，并根据所述数据标识记录每份数据的数据存放信息。
4.根据权利要求2或3所述的系统，其特征在于，各所述采集集群，还被配置为发送所采集到的其对应的数据至其他采集集群对应的第二本地备份集群；
各所述本地备份集群，还被配置为发送其接收到的数据至所述第二本地备份集群；
各所述本地备份集群，还被配置为接收并存储其他所述采集集群或其他本地备份集群发送的数据，进行异地备份。
5.一种基于权利要求1所述的数据备份系统进行数据备份的方法，其特征在于，包括如下步骤：
各采集集群分别采集其对应的数据，并在开始采集数据后第一预设时间间隔内向其对应的各本地备份集群发送数据，进行本地备份；
各所述采集集群在开始采集对应的数据后第二预设时间间隔内或各所述本地备份集群在开始接收对应的数据后第三预设时间间隔内，发送数据至数据集群进行存储；
其中，所述采集集群为根据采集服务器的属性将全部采集服务器进行划分后的采集服务器的集合；且所述采集集群的个数为两个以上；
所述本地备份集群为将所述采集集群采集到的数据进行存储备份的服务器的集合；
所述数据集群为用于存储和运算的计算机集群；
所述本地备份集群的个数与所述采集集群的个数相等，并与所述采集集群一一对应。
6.根据权利要求5所述的方法，其特征在于，所述各采集集群分别采集其对应的数据时，还包括如下步骤：
各个所述采集集群分别采集其对应的数据，并将采集到的数据设置数据标识；其中，所述数据标识与所述采集集群预设的集群标识相一致。
7.根据权利要求6所述的方法，其特征在于，还包括如下步骤：
各所述本地备份集群接收到其对应的数据后，在第四预设时间将相应的数据标识发送至备份控制服务模块；和/或
所述数据集群接收到数据后，在第五预设时间将相应的数据标识发送至所述备份控制服务模块；
所述备份控制服务模块存储接收到的所述数据标识，并根据所述数据标识记录每份数据的数据存放信息。
8.根据权利要求7所述的方法，其特征在于，所述第四预设时间等于所述第五预设时间。
9.根据权利要求5或7所述的方法，其特征在于，所述各采集集群分别采集其对应的数据，并在开始采集数据后第一预设时间间隔内向其对应的各本地备份集群发送数据，进行本地备份时，还包括如下步骤：
各所述采集集群发送所采集到的其对应的数据至其他采集集群对应的第二本地备份集群，进行异地备份；或
各所述本地备份集群发送其接收到的数据至所述第二本地备份集群，进行所述异地备份；
其中，所述第二本地备份集群为多个本地备份集群中，除发送数据的采集集群所对应的本地备份集群之外的任意的本地备份集群。
10.根据权利要求5所述的方法，其特征在于，所述采集服务器的属性包括采集服务器的地域、运营商种类或网络运行状况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510973796.3A CN105630629B (zh) | 2015-12-15 | 2015-12-22 | 数据备份方法和系统 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2015109369088 | 2015-12-15 | ||
| CN201510936908 | 2015-12-15 | ||
| CN201510973796.3A CN105630629B (zh) | 2015-12-15 | 2015-12-22 | 数据备份方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105630629A CN105630629A (zh) | 2016-06-01 |
| CN105630629B true CN105630629B (zh) | 2017-04-26 |
Family
ID=56045604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510973796.3A Active CN105630629B (zh) | 2015-12-15 | 2015-12-22 | 数据备份方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105630629B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106945691B (zh) * | 2017-04-10 | 2019-06-21 | 湖南中车时代通信信号有限公司 | 自动列车监控系统的服务器多中心实时热备切换装置 |
| CN107678883A (zh) * | 2017-09-22 | 2018-02-09 | 郑州云海信息技术有限公司 | 一种基于存储系统的集群恢复方法及设备 |
| CN109558270B (zh) * | 2017-09-25 | 2021-02-05 | 北京国双科技有限公司 | 数据备份的方法和装置、数据还原的方法和装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101167058B (zh) * | 2005-04-25 | 2012-03-28 | 皇家飞利浦电子股份有限公司 | 用于恢复文件的设备、方法和系统 |
| CN101025741A (zh) * | 2006-02-17 | 2007-08-29 | 鸿富锦精密工业（深圳）有限公司 | 数据库的备份系统及方法 |
| CN101064730A (zh) * | 2006-09-21 | 2007-10-31 | 上海交通大学 | 计算机网络数据文件本地和远程的备份方法 |
| CN102637169A (zh) * | 2011-02-14 | 2012-08-15 | 大连兆阳软件科技有限公司 | 安全实用的数据库备份方法及系统 |
-
2015
- 2015-12-22 CN CN201510973796.3A patent/CN105630629B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN105630629A (zh) | 2016-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101535965B (zh) | 用于提高存储管理系统的可伸缩性和可移植性的技术 | |
| CN103138912B (zh) | 数据同步方法及系统 | |
| CN109391647B (zh) | 存储资源回收方法、装置及系统 | |
| CN102045332B (zh) | 智能弹性架构中处理控制报文的方法和线卡板 | |
| CN105630629B (zh) | 数据备份方法和系统 | |
| CN107479514B (zh) | 一种工业大数据过程控制数据采集和传输系统与实现方法 | |
| CN107357681B (zh) | 基于salt的Zookeeper备份管理系统及方法 | |
| CN103488546A (zh) | 一种支持多级别数据和数据库在线并发备份与恢复方法 | |
| CN104092719A (zh) | 文件传输方法、装置及分布式集群文件系统 | |
| CN108762984B (zh) | 一种连续性数据备份的方法及装置 | |
| CN102202087A (zh) | 一种标识存储设备的方法及系统 | |
| CN105610947A (zh) | 一种高可用分布式队列服务实现方法、装置和系统 | |
| CN104750738B (zh) | 一种更新数据信息的方法、数据节点、管理节点及系统 | |
| CN103886091A (zh) | 一种基于记录标记的数据库同步方法 | |
| CN104579746A (zh) | 双链路传输控制方法及装置 | |
| CN102437921B (zh) | 配置信息的存储方法和网络设备 | |
| CN101217492A (zh) | 地址信息处理方法和装置及系统 | |
| CN103516734A (zh) | 数据处理方法、设备和系统 | |
| CN106357723A (zh) | 一种基于云主机的多集群缓存信息同步系统和方法 | |
| CN103297477B (zh) | 一种数据采集上报系统及数据处理方法和代理服务器 | |
| CN103559198A (zh) | 一种数据同步的方法及设备 | |
| CN103442056B (zh) | 一种基于云平台的智能鞋柜控制系统 | |
| JP2022523452A (ja) | データ処理方法及び機器 | |
| CN111127250A (zh) | 一种电力数据监控事件分析系统及方法 | |
| CN104038364B (zh) | 分布式流处理系统的容错方法、节点及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Data backup method and system Effective date of registration: 20221202 Granted publication date: 20170426 Pledgee: Shenzhen Branch of Bank of Hangzhou Co.,Ltd. Pledgor: BEIJING WISDOM SPARK TECH Co.,Ltd. Registration number: Y2022980024605 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20231227 Granted publication date: 20170426 Pledgee: Shenzhen Branch of Bank of Hangzhou Co.,Ltd. Pledgor: BEIJING WISDOM SPARK TECH Co.,Ltd. Registration number: Y2022980024605 |