CN102694677A - 基于远程ip解析灾备数据中心的建设新方法 - Google Patents
基于远程ip解析灾备数据中心的建设新方法 Download PDFInfo
- Publication number
- CN102694677A CN102694677A CN 201210110988 CN201210110988A CN102694677A CN 102694677 A CN102694677 A CN 102694677A CN 201210110988 CN201210110988 CN 201210110988 CN 201210110988 A CN201210110988 A CN 201210110988A CN 102694677 A CN102694677 A CN 102694677A
- Authority
- CN
- China
- Prior art keywords
- center
- remote
- disaster recovery
- strategy
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了基于远程IP解析的灾备数据中心的建设的新方法。该新方法模型提出了建设远程异地灾备数据中心的数据模型。实现对灾备中心远程备份,同时实现远程遥控空调、交换机等设备的定时开关机、自动重启,以及UPS的充放电、开关机。在监控中心就可以完成对远程灾备中心的设备重启、火警自动断电、UPS管理工作等。该发明搭建了基于IP解析的灾备中心监控平台,数据采集也使用标准协议,使得增添监控节点或是增加监控信息非常方便,更实现了即插即用系统集成扩容的平滑过渡。突破了灾备中心传输距离的限制;突破了灾备建设中的技术难题;突破了灾备中心建设过程中的安全问题。
Description
技术领域
本发明涉及计算机互联网IP组合优化技术领域,特别是对远程IP解析的灾备数据中心的资源的定义和描述、策略及优化。
背景技术
灾备数据中心建设是建立在计算机长期的技术积累的基础之上,包括软件和服务,存储技术、备份技术、资源调度等关键技术。
根据国家标准《信息系统灾难恢复规范》中定义的不同灾备等级,不同的业务和应用具备不同的RTO(恢复时间目标)和RPO(恢复点目标)。
目前灾备中心的建设多数局限于局域网及本地建设。本文通过IP解析实现灾备中心远程异地备份,同时进行监控、调度。本文提出的协议转换、各种复制技术及各种资源调度策略能够很好地解决这个问题。
充分利用IP网络的优势,可以按需满足不同应用的灾备目标,实现更为有效地远程数据复制,对于远程灾备应用来说,事半功倍。大量实际应用证实了基于IP解析技术的灾备中心延长了灾备半径,满足了不同业务的灾备需求,并保障灾备数据完整可用,得到众多用户的检验与认可,该技术发明具有广阔的应用前景。
发明内容
本发明所要解决的技术问题是在互联网的环境下,灾备数据中心的创建。如何在有限的资源下,提供各种策略以满足灾备中心创建的需求。
所述的一种基于网络拓扑的IP解析技术实现灾备数据中心备份的资源模型包括:
对远程IP解析的灾备数据中心的资源的定义和描述:这里对灾备中心资源主要分为两种,包括数据源和灾备中心。通过IP解析技术将数据源镜像备份至灾备中心,也是将资源进行复制;
规范化定义数据源的信息、主机使用频率、共享存储卷信息、存储卷使用率、主机存储卷关系矩阵;
提出衡量网络拓扑距离的一种方案,利用数据中心距离矩阵、主机距离矩阵、存储卷距离矩阵、主机存储距离矩阵来计算目标解的网络距离来衡量解的优劣;提出求解灾备中心的合法解的数学表达式和解的网络距离的计算公式。
基于网络拓扑的IP解析技术,用于尽量保证为数据源的服务器资源和灾备数据中心存储资源之间的网络路径最小,仅在万不得已的情况下跨数据中心、集群分配服务器和共享存储资源。借助无处不在的IP网络,简化灾备远程部署,实现灾备从局域到广域的跨越,满足生产中心和灾备中心间数据同步需求的同时,在低带宽链路情况下,实现“IP可达、数据可达”的目标,保障完善的数据一致性,在远程灾备应用上迈出了更为实际的一步。
完成FC协议到IP协议的转换。通过协议转换设备完成FC协议到IP协议的转换,以实现广域网数据传输。满足对灾备链路长度要求较高,实现实施远距离灾备。基于现有的IP链路,无须重新部署线路或者增加协议转换器,即可实现“IP可达,数据可达”,从而大幅缩减部署灾备方案的成本。
基于IP的解析技术支持断点续传的传输方式,即在解析过程中遇到传输中断的情况下,可以采用链路恢复自动检测技术,自动重连链路,从而提高复制成功率,为用户的重要数据实现多重保护。
基于网络拓扑的资源调度策略,计算全局网络拓扑路径最小的全局最优解,减少数据源与灾备中心之间的网络拓扑距离,减少灾备通信过程中的代价,提高灾备过程整体的性能。实现对灾备中心远程备份,同时实现远程遥控空调、交换机等设备的定时开关机、自动重启,以及UPS的充放电、开关机。在监控中心就可以完成对远程灾备中心的设备重启、火警自动断电、UPS管理工作等。
微扫描(Microscan)技术,微扫描(Microscan)技术是针对以随机IO读写为特征的应用,比如数据库应用等,可以在复制期间动态分析每个复制块,以更小的颗粒度(512字节)区别出数据块中已经更改的扇区,而不是整个文件、整个表或者整个目录,传输差异数据将更少,释放更多传输带宽。针对链路带宽特别小的情况,在数据传输过程中,可选择对每次要同步的数据块进行压缩,压缩比率最大可达4∶1,进一步减少最终需要通过广域网传输的复制数据量,在512Kb-1000Mb链路上均可以实现灾备建设。针对常见的广域网传输链路不稳定的情况,基于IP的解析技术支持断点续传的传输方式,即在复制过程中遇到传输中断的情况下,可以采用链路恢复自动检测技术,自动重连链路,从而提高复制成功率,为用户的重要数据实现多重保护。
根据实测数据,相比传统数据同步技术,基于IP的解析技术可以使带宽使用效率增加8倍,进一步提升带宽利用率,提高灾备方案的总体TCO水平。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中的灾备数据中心示意图;
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例,参见图1
一种算法优化策略,包括缓存管理、主机、存储分段选取策略、并发控制、缓存预读、缓存清除策略等优化策略;
缓存管理:系统维护一个缓存注册表统一对调度策略所设计的缓存进行统一管理。所有需要对缓存进行读写的操作将通过缓存管理模块进行控制,只有在缓存注册表中成功注册的项才能够进行访问控制;
存储分段选取策略:无论是填满、平滑还是基于网路拓扑的调度策略都必须对整体主机和存储的信息进行衡量调度,获取所有的主机和存储信息对调度来说代价往往太大,因此在这里采用了一个分段选择的策略,先优先根据主机队列的权值排列进行分段,然后在分段内再针对主机和存储进行填满、平滑等策略进行优先选择;
数据中心选择策略:优先选择当前用户所在的数据中心,系统为数据中心保存一个数据数据中心优先队列,优先队列初始化均为0,每当成功分配一台主机将队列中的对应的数据中心值线性增加,当一台主机分配失败将指数下降。
主机选择策略:在前面确定了数据中心的前提下,系统为主机保存一个主机优先队列,优先队列初始化均为0,每当成功分配一台主机将队列中的对应的主机值线性增加,当一台主机分配失败将指数下降。填满策略将优先选择主机队列中权值较大的主机。因为对主机资源进行分配的时候必须根据主机当前的实时状态进行分配,在这里采用了一个分段选择的策略,先优先根据主机队列的权值排列进行分段,分段大小如果太大容易造成获取的主机列表信息太庞大,读取时间太长,分段太小容易造成获取的主机信息过于局部,不具有全局性。因此选择一个合适的分段大小对于主机的选择是十分重要的,这里设置主机分段大小PARTITION_LEN。
对主机的优先队列进行排序,根据PARTITION_LEN的大小尝试分段获取主机的信息,尝试对分段的主机进行资源使用率的排序,对使用率高的主机优先进行分配。
以上所述仅是本发明的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.基于远程IP解析的灾备数据中心的建设的新方法,其特征在于,包括:
对远程IP解析的灾备数据中心的资源的定义和描述:这里对灾备中心资源主要分为两种,包括数据源和灾备中心。通过IP解析技术将数据源镜像备份至灾备中心,也是将资源进行复制;
规范化定义数据源的信息、主机使用频率、共享存储卷信息、存储卷使用率、主机存储卷关系矩阵;
提出衡量网络拓扑距离的一种方案,利用数据中心距离矩阵、主机距离矩阵、存储卷距离矩阵、主机存储距离矩阵来计算目标解的网络距离来衡量解的优劣;提出求解灾备中心的合法解的数学表达式和解的网络距离的计算公式。
2.完成FC协议到IP协议的转换。其特征在于,通过协议转换设备完成FC协议到IP协议的转换,以实现广域网数据传输。满足对灾备链路长度要求较高,实现实施远距离灾备。
3.增量复制技术,其特征在于,仅同步两次复制之间变化的数据,将大大减少了传输的数据量,进一步提高带宽利用率。
4.基于网络拓扑的资源调度策略,其特征在于,计算全局网络拓扑路径最小的全局最优解,减少数据源与灾备中心之间的网络拓扑距离,减少灾备通信过程中的代价,提高灾备过程整体的性能。
5.一种算法优化策略,其特征在于,包括缓存管理、主机、存储分段选取策略、并发控制、缓存预读、缓存清除策略等优化策略;
缓存管理:系统维护一个缓存注册表统一对调度策略所设计的缓存进行统一管理。所有需要对缓存进行读写的操作将通过缓存管理模块进行控制,只有在缓存注册表中成功注册的项才能够进行访问控制;
主机、存储分段选取策略:无论是填满、平滑还是基于网路拓扑的调度策略都必须对整体主机和存储的信息进行衡量调度,获取所有的主机和存储信息对调度来说代价往往太大,因此在这里采用了一个分段选择的策略,先优先根据主机队列的权值排列进行分段,然后在分段内再针对主机和存储进行填满、平滑等策略进行优先选择。
6.微扫描(Microscan)技术,其特点在于,针对以随机IO读写为特征的应用,比如数据库应用等,可以在复制期间动态分析每个复制块,以更小的颗粒度(512字节)区别出数据块中已经更改的扇区,释放更多传输带宽资源。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201210110988 CN102694677A (zh) | 2012-04-11 | 2012-04-11 | 基于远程ip解析灾备数据中心的建设新方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201210110988 CN102694677A (zh) | 2012-04-11 | 2012-04-11 | 基于远程ip解析灾备数据中心的建设新方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102694677A true CN102694677A (zh) | 2012-09-26 |
Family
ID=46859969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201210110988 Pending CN102694677A (zh) | 2012-04-11 | 2012-04-11 | 基于远程ip解析灾备数据中心的建设新方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102694677A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103281208A (zh) * | 2013-03-27 | 2013-09-04 | 山东省计算中心 | 一种数据灾备服务及综合监控系统 |
CN105917677A (zh) * | 2015-10-27 | 2016-08-31 | 深圳还是威健康科技有限公司 | 一种数据同步方法、移动终端及智能穿戴设备 |
CN106209422A (zh) * | 2016-06-28 | 2016-12-07 | 中国银联股份有限公司 | 降低灾备中心系统切换不可用时间的方法及设备 |
CN107247638A (zh) * | 2012-12-25 | 2017-10-13 | 华为技术有限公司 | 一种数据备份方法、装置和系统 |
-
2012
- 2012-04-11 CN CN 201210110988 patent/CN102694677A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107247638A (zh) * | 2012-12-25 | 2017-10-13 | 华为技术有限公司 | 一种数据备份方法、装置和系统 |
CN107247638B (zh) * | 2012-12-25 | 2020-12-15 | 华为技术有限公司 | 一种数据备份方法、装置和系统 |
CN103281208A (zh) * | 2013-03-27 | 2013-09-04 | 山东省计算中心 | 一种数据灾备服务及综合监控系统 |
CN103281208B (zh) * | 2013-03-27 | 2016-09-07 | 山东省计算中心(国家超级计算济南中心) | 一种数据灾备服务及综合监控系统 |
CN105917677A (zh) * | 2015-10-27 | 2016-08-31 | 深圳还是威健康科技有限公司 | 一种数据同步方法、移动终端及智能穿戴设备 |
CN106209422A (zh) * | 2016-06-28 | 2016-12-07 | 中国银联股份有限公司 | 降低灾备中心系统切换不可用时间的方法及设备 |
WO2018001061A1 (zh) * | 2016-06-28 | 2018-01-04 | 中国银联股份有限公司 | 降低灾备中心系统切换不可用时间的方法、设备及终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8874700B2 (en) | Optimizing storage of data files | |
WO2022161430A1 (zh) | 边缘云系统、边缘管控方法、管控节点及存储介质 | |
US11595474B2 (en) | Accelerating data replication using multicast and non-volatile memory enabled nodes | |
CN111182067B (zh) | 一种基于星际文件系统ipfs的数据写入方法及设备 | |
CN102546256A (zh) | 用于对云计算服务进行监控的系统及方法 | |
CN111339192A (zh) | 一种分布式边缘计算数据存储系统 | |
CN101827302A (zh) | 多业务统一处理方法及统一业务平台 | |
CN101388909A (zh) | 一种p2p点播系统和业务方法 | |
US20200050479A1 (en) | Blockchain network and task scheduling method therefor | |
CN105187464A (zh) | 一种分布式存储系统中的数据同步方法、装置及系统 | |
CN105338078A (zh) | 用于存储系统的数据存储方法和装置 | |
CN109348264B (zh) | 视频资源共享方法、装置、存储介质及电子设备 | |
CN105979273A (zh) | 基于大数据及云计算的智能商用电视的云监控与云运维 | |
CN102694677A (zh) | 基于远程ip解析灾备数据中心的建设新方法 | |
CN104618740A (zh) | 一种基于云计算环境的多媒体点播系统 | |
CN103049527A (zh) | 一种面向大电网的并行实时数据库主备切换管理系统 | |
CN113301079B (zh) | 一种数据的获取方法、系统、计算设备及存储介质 | |
CN111865632A (zh) | 分布式数据存储集群的切换方法及切换指令发送方法和装置 | |
CN102185717A (zh) | 业务处理设备、方法及系统 | |
WO2021252774A1 (en) | Artificial intelligence log processing and content distribution network optimization | |
CN111552701B (zh) | 确定分布式集群中数据一致性的方法及分布式数据系统 | |
CN102982033A (zh) | 小文件的存储方法及系统 | |
CN109302319B (zh) | 报文池分布式集群及其管理方法 | |
CN104486215A (zh) | 一种消息发送方法及设备 | |
WO2022121387A1 (zh) | 数据存储方法、装置、服务器及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120926 |