CN105872053A

CN105872053A - 数据迁移方法及系统

Info

Publication number: CN105872053A
Application number: CN201610195617.2A
Authority: CN
Inventors: 邓瑞; 王志军; 冯伟斌
Original assignee: China United Network Communications Group Co Ltd
Current assignee: China United Network Communications Group Co Ltd
Priority date: 2016-03-30
Filing date: 2016-03-30
Publication date: 2016-08-17

Abstract

本发明提供一种数据迁移方法，包括如下步骤：接收用户设备发送的数据迁移请求，并根据该数据迁移请求将存储设备中存储的待迁移数据向云服务器上传；获取云服务器全网的流量工程需求信息，再结合待迁移数据信息生成对应的特定路径信息，使待迁移数据经过特定路径中的各站点后在目标站点汇合，并存储在该目标站点中。相应地，提供一种数据迁移系统。本发明既能提高网络链路利用率，又能降低业务阻塞率。

Description

数据迁移方法及系统

技术领域

本发明涉及网络通信技术领域，具体涉及一种数据迁移方法和一种数据迁移系统。

背景技术

如今，由于数据存储成本不断飙升、技术管理人员水平参差不齐等原因，云存储已经成为了各个企业进行数据存储的重要举措和发展方向。云存储作为云的一项重要服务，它通过集群应用、网格技术或分布式文件系统等将各种存储设备通过应用软件集合起来，对外提供数据存储和业务访问。其中，对于数据存储来说，当从一个物理环境和单个阵列过渡到完全虚拟化的、高度动态的存储环境时，需要面对很多问题。而数据迁移作为云存储方案中最为基础、关键的步骤，用于将历史数据进行清洗、转换，并装载到新系统，是保证数据系统平滑升级和更新的重要环节，也是将来系统稳定运行的有效保障。

具体地，企业的数据要转向云存储，首先，需要明确被转移的数据范围，不能简单地把各个服务器数据库照搬放入云数据中心，这样会增加数据转移耗费的时间、增大企业的运营成本，同时，数据冗余大、垃圾数据多会对系统造成很大的隐患，导致系统工作异常；其次，云的网络连接能力将是对数据云迁移操作的重要考验，企业与云数据中心之间数PB(petabyte)的数据的来回切换是比较困难的；再者，为了将数据仓库有效地转移到云端，需适当结构化数据并使用适当的数据分析工具及数据迁移方法。

随着云存储业务量的增加，数据迁移量也不断地增大。然而，现有的云存储技术未能良好地应对其不断增加的业务量，具体表现在，现有的数据迁移方法的网络链路利用并不充分，业务阻塞率高。

发明内容

本发明所要解决的技术问题是针对现有技术中所存在的上述缺陷，提供一种数据迁移方法和一种数据迁移系统，既能提高网络链路利用率，又能降低业务阻塞率。

解决本发明技术问题所采用的技术方案是：

本发明提供一种数据迁移方法，包括如下步骤：

接收用户设备发送的数据迁移请求，并根据该数据迁移请求将存储设备中存储的待迁移数据向云服务器上传；

获取云服务器全网的流量工程需求信息，再结合待迁移数据信息生成对应的特定路径信息，使待迁移数据经过特定路径中的各站点后在目标站点汇合，并存储在该目标站点中。

本发明还提供一种数据迁移系统，包括：

数据迁移设备，用于接收用户设备发送的数据迁移请求，并根据该数据迁移请求将存储设备中存储的待迁移数据向云服务器上传；

云服务器，用于获取其全网的流量工程需求信息，再结合待迁移数据信息生成对应的特定路径信息，使待迁移数据经过特定路径中的各站点后在目标站点汇合，并存储在该目标站点中。

有益效果：

本发明能够有效地统筹规划整个网络，整合全网中各个站点的资源，提高网络链路利用率，使得带宽利用充分且传输性能稳定，还能降低业务阻塞率。

附图说明

图1为本发明实施例1提供的数据迁移方法的流程示意图；

图2为本发明实施例2提供的数据迁移方法的流程示意图；

图3为本发明实施例3提供的数据迁移系统的结构示意图；以及

图4为本发明实施例4提供的数据迁移系统的工作流程示意图。

图中：100－用户设备；101－发送模块；200－存储设备；201－本地存储器；300－数据迁移设备；301－接收模块；302－获取模块；303－上传模块；400－云服务器；401－分析模块；402－中央控制器；403－流量工程服务器；404－SDN SPP；405－SDN网关；406－站点；4061－SDN控制器；4062－存储器。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和实施例对本发明作进一步详细描述。

需要说明的是，软件定义网络(Software Defined Network，SDN)通常由SDN交换设备(Switch)和SDN控制器(Controller)组成。SDN的典型架构共分三层，最上层为应用层，包括各种不同的业务和应用；中间层为控制层，主要负责处理数据平面资源的编排，维护网络拓扑、状态信息等；最底层为基础设施层，主要负责基于流表的数据处理、转发和状态收集。

现有网络中，对流量的控制和转发都依赖于网络设备实现，且设备中集成了与业务特性紧耦合的操作系统和专用硬件，这些操作系统和专用硬件都是各个厂家自己开发和设计的，兼容性差。而在SDN中，网络设备只负责单纯的数据转发，可以采用通用的硬件，而原来负责控制的操作系统将提炼为独立的网络操作系统，负责对不同业务特性进行适配，兼容性好，而且网络操作系统和业务特性以及硬件设备之间的通信都可以通过编程实现，方便快捷、功能强大。

具体地，SDN本质上具有“控制和转发分离”、“设备资源虚拟化”和“通用硬件及软件可编程”三大特性，这带来了一系列的好处：第一，设备硬件归一化，硬件只关注转发和存储能力，与业务特性解耦，可以采用相对廉价的商用的架构来实现；第二，网络的智能性全部由软件实现，网络设备的种类及功能由软件配置而定，对网络的操作控制和运行由服务器作为网络操作系统(NOS)来完成；第三，对业务响应相对更快，可以定制各种网络参数，如路由、安全、策略、QoS、流量工程等，并实时配置到网络中，开通具体业务的时间将缩短。因此，SDN在数据迁移方面具有一定的优势和发展前景。

由于SDN在数据迁移方面具有上述优势，本发明基于混合SDN和分离逻辑提出一种数据迁移方法和一种数据迁移系统，用以将数据安全迁移到云端，下面通过具体实施例进行详细描述。

实施例1：

图1为本发明实施例1提供的数据迁移方法的流程示意图，如图1所示，所述方法包括如下步骤：

步骤101.接收用户设备发送的数据迁移请求，并根据该数据迁移请求将存储设备中存储的待迁移数据向云服务器上传。

其中，存储设备可以是本地存储器，也可以是其他云服务器的存储器，本实施例对此不作限制。

步骤102.获取云服务器全网的流量工程需求信息，再结合待迁移数据信息生成与该待迁移数据对应的特定路径信息，使待迁移数据经过特定路径中的各站点后在目标站点汇合，并存储在该目标站点中，从而将数据迁移到云端。

具体地，流量工程指的是设计流量使之能够在现有的网络中正常传送，主要目标是保证网络操作效率和可靠性的同时，实现网络资源利用的最大化以及提升网络的表现力。流量工程通过更加有效的带宽资源的利用能降低整网运作的成本和花费，通过对流量的合理调配能避免出现部分链路拥塞、部分链路空闲的现象，通过对流量的合理规划能实现网络资源利用的最优化，以提升网络的整体性能。

生成特定路径信息的方式具体为：

获取云服务器内所有站点的源宿节点的需求信息；结合所有站点的源宿节点的需求信息和待迁移数据信息，分析出当前迁移需求并下发，从而形成控制平面，使得各种资源最优化，避免有的站点闲，而有的站点忙得处理不过来；根据当前迁移需求生成对应的流量工程方案，并生成对应的特定路径信息(数据路径)，从而形成数据链路平面。可见，本实施例引入了软件定义网络的思想，实现了控制平面与数据链路平面的逻辑分离，有助于数据安全、有效地迁移。

其中，站点的源宿节点的需求信息包括站点的位置信息、带宽信息、延时信息和丢包信息等。当前迁移需求包括待迁移数据的带宽需求和优先级等。

使数据经过特定路径迁移至云端的方式具体为：

向特定路径中的各站点下发命令，使各站点根据自身能力按命令分割部分待迁移数据并将其传输至目标站点，在目标站点处汇总后合并成原文件并存储。

本实施例所述数据迁移方法将控制平面与数据链路平面逻辑分离，有效地统筹规划整个网络，整合全网中各个站点的资源，提高网络链路利用率，使得带宽利用充分且传输性能稳定，还能降低业务阻塞率。

实施例2：

图2为本发明实施例2提供的数据迁移方法的流程示意图，如图2所示，所述方法包括如下步骤：

步骤201.接收用户设备发送的数据迁移请求，所述数据迁移请求包括待迁移数据的数据标识、存储设备的设备标识、云服务器的服务器标识和用户在云服务器上的身份标识。

步骤202.根据待迁移数据的数据标识和存储设备的设备标识，从存储设备中获取待迁移数据。

步骤203.根据云服务器的服务器标识，将从存储设备获取的待迁移数据向云服务器上传。

步骤204.获取云服务器内所有站点的源宿节点的需求信息。站点的源宿节点的需求信息包括站点的位置信息、带宽信息、延时信息和丢包信息等。

步骤205.结合所有站点的源宿节点的需求信息和待迁移数据信息，分析出当前迁移需求并下发，从而形成控制平面。当前迁移需求包括待迁移数据的带宽需求和优先级等。

步骤206.根据当前迁移需求生成对应的流量工程方案，并生成对应的特定路径信息，从而形成数据链路平面。

传统的路由方式经常导致网内流量集中到最短路径上，使得较短路径上的链路发生拥塞，而较长路径上的链路却被空闲不用，造成资源浪费，这种由于负载分布不均衡而引起的网络拥塞，单纯靠增加网络容量不是解决问题的根本办法，只有通过网络的调节和控制使流量分布更合理，才能有效地解决这一问题，因此，流量工程技术应运而生。本实施例根据当前迁移需求生成对应的流量工程方案，其通过调整网络中流量的分布来调整网络资源的使用，达到优化网络资源利用和提高网络性能的目的。而流量工程方案可运用现有的TE路由算法得出，以均衡负载分布并减小阻塞率。

步骤207.向特定路径中的各站点下发命令，实现站点信息交互，以使各站点根据自身能力按命令分割部分待迁移数据并将其传输至目标站点，在目标站点处汇总后合并成原文件并存储。

其中，向站点下发的命令即为流量工程指令，包括建路、拆路和备份路由。站点信息交互主要包括站点中待迁移数据的发送及接收，例如，向谁发送待迁移数据，从哪里接收待迁移数据。

步骤208.在云服务器上为待迁移数据设置与所述身份标识对应的权限，以使用户根据所述身份标识及其对应的权限在云服务器中操作待迁移数据。

可见，只需设置用户在云服务器上的身份标识，而无需发送用户的认证信息，例如密码，从而可以保证数据的安全性。

此外，在实际应用中，传统关系型数据库中的数据要转移到云端非关系型数据库需要面临很多的问题：

一是要解决如何从关系型数据库中快速、有效地抽取大量的数据到云文件系统和数据库，而本实施例所述数据迁移方法根据迁移数据的数据标识、存储设备的设备标识和云服务器的服务器标识能够快速、有效地从存储设备获取待迁移数据并上传至云端；

二是数据的转换问题，不管采用什么方法和策略，数据迁移后需要对数据进行校验，以检查数据的完整性、一致性等，因此，本实施例还可包括：

步骤209.对迁移至云服务器中的数据进行校验。

本实施例所述方法与实施例1所述方法中的相关特征可以相互参考。

实施例3：

图3为本发明实施例3提供的数据迁移系统的结构示意图，如图3所示，所述数据迁移系统包括用户设备100、存储设备200、数据迁移设备300和云服务器400。

用户设备100用于向数据迁移设备300发送数据迁移请求。

存储设备200用于存储待迁移数据。存储设备200可以是本地存储器，也可以是其他云服务器的存储器，本实施例对此不作限制。

数据迁移设备300用于接收用户设备100发送的数据迁移请求，并根据该数据迁移请求将存储设备200中存储的待迁移数据向云服务器400上传。

云服务器400用于获取其全网的流量工程需求信息，再结合待迁移数据信息生成与该待迁移数据对应的特定路径信息，使待迁移数据经过特定路径中的各站点后在目标站点汇合，并存储在该目标站点中，从而将数据迁移到云端。

其中，云服务器400可包括分析模块、中央控制器、流量工程服务器和SDN网关。

中央控制器用于获取云服务器内所有站点的源宿节点的需求信息，以及数据迁移设备300上传的待迁移数据信息，站点的源宿节点的需求信息包括站点的位置信息、带宽信息、延时信息和丢包信息等；

分析模块用于结合所有站点的源宿节点的需求信息和待迁移数据信息，分析出当前迁移需求并反馈给中央控制器，当前迁移需求包括待迁移数据的带宽需求和优先级等，以使得各种资源最优化，避免有的站点闲，而有的站点忙得处理不过来；

中央控制器还用于下发当前迁移需求；

流量工程服务器用于根据当前迁移需求生成对应的流量工程方案，并生成对应的特定路径信息(数据路径)；

SDN网关用于向特定路径中的各站点下发命令，使各站点根据自身能力按命令分割部分待迁移数据并将其传输至目标站点，在目标站点处汇总后合并成原文件并存储。

可见，本实施例引入了软件定义网络的思想，用硬件(流量工程服务器)将运算逻辑分离出来，形成数据路径，以及用硬件(中央控制器)将控制逻辑分离出来，成为控制器，实现了控制平面与数据链路平面的逻辑分离，有助于数据安全、有效地迁移。而且，本实施例还有效地统筹规划整个网络，整合全网中各个站点的资源，提高网络链路利用率，使得带宽利用充分且传输性能稳定，还能降低业务阻塞率。

实施例4：

图4为本发明实施例4提供的数据迁移系统的工作流程示意图，如图4所示，所述数据迁移系统包括用户设备100、本地存储器201、数据迁移设备300和云服务器400。

用户设备100包括发送模块101，其用于发送用户的数据迁移请求，所述数据迁移请求包括待迁移数据的数据标识、本地存储器的存储器标识和云服务器的服务器标识。

本地存储器201用于存储待迁移数据。

数据迁移设备300包括接收模块301、获取模块302和上传模块303。

接收模块301用于接收发送模块101发送的数据迁移请求。

获取模块302用于根据数据迁移请求中的待迁移数据的数据标识和本地存储器的存储器标识，从本地存储器201中获取待迁移数据。

上传模块303用于根据数据迁移请求中的云服务器的服务器标识，将从本地存储器201获取的待迁移数据向云服务器400上传，使待迁移数据经过云服务器内特定路径中的各站点上传至目标站点处，从而将待迁移数据上传至云端(下文将详述)。

云服务器400包括分析模块401、中央控制器402、流量工程服务器403、SDN APP 404、SDN网关405和各个站点406。每个站点406均包括SDN控制器4061和存储器4062。所述存储器4062可以为机械硬盘，且机械硬盘中的磁性层的粘结剂可以为硅酮树脂绝缘粘结剂，也可以为含有占总质量2％的甲酯化阿红酸(取阿红酸，采用常规方法进行甲酯化所得)的硅酮树脂绝缘粘结剂。本实施例中，优选地，机械硬盘中的磁性层的粘结剂为含有占总质量2％的阿红酸(fomic acid)的硅酮树脂绝缘粘结剂，与未加阿红酸或只加入甲酯化阿红酸的硅酮树脂绝缘粘结剂相比，加入含阿红酸的硅酮树脂绝缘粘结剂后，在相同条件下的磁性材料具有更好的磁导率，例如，在50KHz时，磁导率分别为110μ、123μ和154μ；且随着频率的升高，磁导率下降最为缓慢；此外，磁滞损耗Ph和涡流损耗Pe也要更低。

中央控制器402用于在SDN APP 404的操控下从各站点获取全网的流量工程需求，具体获取云服务器内所有站点的源宿节点的需求信息(通过中央控制器402与各站点的SDN控制器4061相连的接口交互信息，从而将各站点的“位置、带宽、延时、丢包”等源宿节点的需求信息反馈给中央控制器402)，以及待迁移数据信息，并发送给分析模块401。站点的源宿节点的需求信息包括站点的位置信息、带宽信息、延时信息和丢包信息等。

分析模块401用于结合所有站点的源宿节点的需求信息和待迁移数据信息，分析出当前迁移需求，并反馈给中央控制器402，当前迁移需求包括待迁移数据的带宽需求和优先级等。分析模块401的作用是使得各种资源最优化，避免有的站点闲，而有的站点忙得处理不过来。

中央控制器402还用于将分析模块401反馈的当前迁移需求下发给流量工程服务器403。

流量工程服务器403用于在SDN APP 404的操控下运用TE路由算法根据当前迁移需求生成对应的流量工程方案，并生成对应的特定路径信息，以均衡负载分布并减小阻塞率。

传统的路由方式经常导致网内流量集中到最短路径上，使得较短路径上的链路发生拥塞，而较长路径上的链路却被空闲不用，造成资源浪费，这种由于负载分布不均衡而引起的网络拥塞，单纯靠增加网络容量不是解决问题的根本办法，只有通过网络的调节和控制使流量分布更合理，才能有效地解决这一问题，因此，流量工程技术应运而生。本实施例所述流量工程服务器403根据当前迁移需求生成对应的流量工程方案，其通过调整网络中流量的分布来调整网络资源的使用，达到优化网络资源利用和提高网络性能的目的。

SDN网关405用于通过其API接口向特定路径中的各站点406下发命令，实现站点信息交互，以使各站点根据自身能力按命令分割部分待迁移数据并将其传输至目标站点，在目标站点处汇总后合并成原文件并存储在目标站点的存储器4062中，从而根据当前迁移需求和链路情况调度流量，实现链路带宽资源的有效利用。

其中，各个站点406的SDN控制器4061均设有两个接口，其中一个接口与中央控制器402连接，用于交互该站点的源宿节点的需求信息；另一个接口为API接口，与SDN网关405的API接口连接，用于接收SDN网关405下发的命令。SDN网关405向站点下发的命令即为流量工程指令，包括建路、拆路和备份路由。站点信息交互主要包括站点中待迁移数据的发送及接收，例如，向谁发送待迁移数据，从哪里接收待迁移数据。

发送模块101发送的用户的数据迁移请求还包括用户在云服务器上的身份标识，数据迁移设备300还包括权限设置模块(图中未示出)，其用于在待迁移数据上传至云服务器400之后，在云服务器400上为待迁移数据设置与所述身份标识对应的权限，以使用户根据所述身份标识及其对应的权限在云服务器中操作待迁移数据。

可见，用户只要将其在云服务器400上的身份标识发送给数据迁移设备300中的权限设置模块，而无需发送用户的认证信息，例如密码，从而可以保证数据的安全性。

一是要解决如何从关系型数据库中快速、有效地抽取大量的数据到云文件系统和数据库，而本实施例所述数据迁移系统根据迁移数据的数据标识、本地存储器的存储器标识和云服务器的服务器标识能够快速、有效地从本地存储器获取待迁移数据并上传至云端；

二是数据的转换问题，不管采用什么方法和策略，数据迁移后需要对数据进行校验，以检查数据的完整性、一致性等，因此，数据迁移设备300还可包括校验模块(图中未示出)，其用于对迁移至云服务器400中的数据进行校验。

本实施例所述数据迁移系统引入软件定义网络的思想，用硬件(流量工程服务器)将运算逻辑分离出来，形成数据路径，以及用硬件(中央控制器)将控制逻辑分离出来，成为控制器，实现控制平面与数据链路平面的逻辑分离，有效地统筹规划整个网络，整合全网中各个站点的资源，提高网络链路利用率，使得带宽利用充分且传输性能稳定，还能降低业务阻塞率。

本实施例所述系统与实施例3所述系统中的相关特征可以相互参考。

可以理解的是，上述方法及系统中的相关特征也可以相互参考。而且，上述实施例的编号(即实施例1、实施例2、实施例3和实施例4)是用于区分各实施例的，并不代表各实施例的优劣。

此外，本领域普通技术人员可以理解的是，实现上述方法实施例的全部或者部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤，而前述的存储介质包括ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应当说明的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims

1.一种数据迁移方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的数据迁移方法，其特征在于，所述获取云服务器全网的流量工程需求信息，再结合待迁移数据信息生成对应的特定路径的步骤具体为：

获取云服务器内所有站点的源宿节点的需求信息；

结合所有站点的源宿节点的需求信息和待迁移数据信息，分析出当前迁移需求；

根据当前迁移需求生成对应的流量工程方案，并生成对应的特定路径信息。

3.根据权利要求2所述的数据迁移方法，其特征在于，所述使待迁移数据经过特定路径中的各站点后在目标站点汇合，并存储在该目标站点中的步骤具体为：

4.根据权利要求1-3中任一项所述的数据迁移方法，其特征在于，所述接收用户设备发送的数据迁移请求，并根据该数据迁移请求将存储设备中存储的待迁移数据向云服务器上传的步骤具体为：

接收用户设备发送的数据迁移请求，所述数据迁移请求包括待迁移数据的数据标识、存储设备的设备标识和云服务器的服务器标识；

根据待迁移数据的数据标识和存储设备的设备标识，从存储设备中获取待迁移数据；

根据云服务器的服务器标识，将从存储设备获取的待迁移数据向云服务器上传。

5.根据权利要求4所述的数据迁移方法，其特征在于，所述数据迁移请求还包括用户在云服务器上的身份标识；

所述数据迁移方法还包括：

在待迁移数据上传至云服务器之后，在云服务器上为待迁移数据设置与所述身份标识对应的权限，以使用户根据所述身份标识及其对应的权限在云服务器中操作待迁移数据。

6.一种数据迁移系统，其特征在于，包括：

7.根据权利要求6所述的数据迁移系统，其特征在于，所述云服务器包括：

中央控制器，用于获取云服务器内所有站点的源宿节点的需求信息；

分析模块，用于结合所有站点的源宿节点的需求信息和待迁移数据信息，分析出当前迁移需求；

流量工程服务器，用于根据当前迁移需求生成对应的流量工程方案，并生成对应的特定路径信息。

8.根据权利要求7所述的数据迁移系统，其特征在于，所述云服务器还包括：

SDN网关，用于向特定路径中的各站点下发命令，使各站点根据自身能力按命令分割部分待迁移数据并将其传输至目标站点，在目标站点处汇总后合并成原文件并存储。

9.根据权利要求6-8中任一项所述的数据迁移系统，其特征在于，所述数据迁移设备包括：

接收模块，用于接收用户设备发送的数据迁移请求，所述数据迁移请求包括待迁移数据的数据标识、存储设备的设备标识和云服务器的服务器标识；

获取模块，用于根据待迁移数据的数据标识和存储设备的设备标识，从存储设备中获取待迁移数据；

上传模块，用于根据云服务器的服务器标识，将从存储设备获取的待迁移数据向云服务器上传。

10.根据权利要求9所述的数据迁移系统，其特征在于，所述数据迁移请求还包括用户在云服务器上的身份标识；

所述数据迁移设备还包括：

权限设置模块，用于在待迁移数据上传至云服务器之后，在云服务器上为待迁移数据设置与所述身份标识对应的权限，以使用户根据所述身份标识及其对应的权限在云服务器中操作待迁移数据。