CN109150964B - 一种可迁移的数据管理方法及服务迁移方法 - Google Patents

Abstract

本发明公开了一种可迁移的数据管理方法，包括：数据单元划分：在开发环境中，根据业务模型将业务逻辑拆分为各个子业务逻辑,并将相应的数据拆分为独立数据单元，子业务逻辑和对应的数据单元组合成为服务实例；数据导入：将划分后的数据单元通过预先分配或第三方工具导入生产环境；数据导出：执行服务迁移时，生产环境的数据单元导出到迁移目标的服务中心。本发明根据应用服务对数据的需求提出了数据单元的划分和连接方法，解耦了数据和业务逻辑，将数据抽象为数据单元，构建了业务和数据单元的依赖关系模型；通过数据单元的多副本实现数据单元和业务的多实例；基于数据单元和服务的依赖关系模型的服务前迁移。

Description

一种可迁移的数据管理方法及服务迁移方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种可迁移的数据管理方法及服务迁移方法。

背景技术

云服务系统中的数据存储管理一直是个很困难的问题，无约束的条件下数据存储的导入、导出和重新部署都需要非常专业的技能，不适应于微服务环境中的服务快速开设和部署的要求。微服务环境中需要使用的数据存储也比较复杂，目前没有针对微服务通用数据存储的建模方法。

Windows Azure是微软基于云计算的操作系统，是微软“软件和服务”技术的名称。Windows Azure的主要目标是为开发者提供一个平台，帮助开发可运行在云服务器、数据中心、Web和PC上的应用程序。云计算的开发者能使用微软全球数据中心的储存、计算能力和网络基础服务。Azure提供数据库迁移服务，提供方式为提供在线数据迁移工具，帮助用户将现有的数据库系统(SQL Server和Oracle)迁移到Azure云环境中来。但Azure提供的是少量数据的在线迁移服务，并只能提供数据库迁移功能，对服务使用的文件和其他存储并不能进行管理和接入；数据存储的导入没有按照服务逻辑进行拆分和管理。

AWS云数据迁移工具，提供了更多的数据导入和管理方式，更适合于大型和巨型数据的进入，但是依然没有按照服务逻辑进行拆分和管理。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种可迁移的数据管理方法及服务迁移方法。

为了解决以上技术问题，本发明采用的技术方案是：一种可迁移的数据管理方法，包括：

数据单元划分：在开发环境中，根据业务模型将业务逻辑拆分为各个子业务逻辑,并将相应的数据拆分为独立数据单元，子业务逻辑和对应的数据单元组合成为服务实例；

数据导入：将划分后的数据单元通过预先分配或第三方工具导入生产环境；

数据导出：执行服务迁移时，生产环境的数据单元导出到迁移目标的服务中心。

进一步地，所述数据管理方法还包括：

数据使用：不同的数据单元组合作为数据存储组，在服务运行中，服务分配并使用一个数据存储组。

进一步地，所述每个数据存储组对应一个主导的服务，

进一步地，所述服务与其依赖的服务共享同一个数据存储组。

本发明的内容还包括基于上述数据管理方法的服务迁移方法，包括以下步骤：1)、选定待迁移的服务及其所依赖的服务；选定所述待迁移的服务及其所依赖的服务的业务逻辑及数据单元；

2)、导出步骤1)所选定的服务镜像和数据单元；

3)、在需要迁移服务的服务中心完成服务注册，并将步骤2)中的服务镜像和数据单元导入该需要迁移服务的服务中心；

4)、根据服务和数据依赖关系，更新并自动构建整个服务依赖树，从而达到服务迁移的目的。

本发明根据应用服务对数据的需求提出了数据单元的划分和连接方法，将数据存储按照业务逻辑分为数据单元，解耦了数据和业务逻辑，将数据抽象为数据单元，构建了业务和数据单元的依赖关系模型；通过数据单元的多副本实现数据单元和业务的多实例；基于数据单元和服务的依赖关系模型的服务前迁移。

附图说明

图1为本发明数据迁移方法的流程图。

图2为数据迁移方法的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

一种可迁移的数据管理方法，包括以下步骤：

1、数据单元划分

微服务环境中的环境(数据、服务)依赖设计模式，具体描述如：根据业务模型将业务逻辑拆分为各个子业务逻辑(逻辑1、2、3、…),相应的数据也被拆分为数据资源(数据资源1，2，3)，即以下构成模式，业务逻辑和存储资源组合成为服务实例，这些独立的存储单元即数据单元。

数据单元的类型包括：RDB数据单元、dfs数据单元和Kv数据单元，数据单元的划分实例如下：

①、RDB(关系型数据库)

服务中心为各个服务提供独立可用的RDB数据单元；即RDB数据单元的分配为单数据库。以mysql和postgres为例，mysql中的数据单元为数据库(database)；postgres中的数据单元为数据库(database)，且不支持schema为数据单元分配。

②、dfs组：

文件系统是服务实现中最常用的存储资源之一，服务中心为各个服务提供独立可用的dfs(深度优先搜索)数据单元。Dfs数据单元为独立目录，服务可以通过挂载的方式使用文件数据资源。

③、Kv(键值)存储组：

Hbase中的数据存储以命名空间为基础进行存储单元拆分，每个服务实现可申请使用某命名空间对应的数据存储。

2、数据导入、导出

数据导入：上述的数据单元允许通过预先分配、通过第三方工具导入的方式实现数据导入，现实开发环境到生产环境的数据迁移；同时可以实现生产环境数据的迁移。

数据导出生产环境中的数据单元允许通过数据导出实现数据中心一体机之间的数据迁移和服务迁移。

3、服务运行

数据资源的使用方式为数据存储组。不同的数据单元组合作为数据存储组，在服务运行中，服务分配并使用一个数据存储组。每个数据存储组中，使用同种类型数据单元的数量不超过1。

具体地，一个合法的数据存储主题实例，包含一个mysql数据库实例、一个Dfs目录挂载点，一个特定namespace的hbase；

一个非法的数据存储主题实例，包含多个mysql数据库、一个postgres数据；

另一种非法的数据存储主题，自行创建多个kafka主题的数据存储资源，即kafka主题不定的存储资源。

服务仅可以主导分配和使用一个合法的存储主题；为了提供服务效率，降低无效IO，服务可以与其依赖的服务共享同一个数据存储组，但每个数据存储组需要一个主导的服务。

4、服务迁移

图1为服务迁移方法的流程图，包括以下步骤：

1)、选定待迁移的服务及其所依赖的服务；选定所述待迁移的服务及其所依赖的服务的业务逻辑和数据单元；

2)、导出步骤1)所选定的服务镜像和数据单元；

3)、在需要迁移服务的服务中心完成服务注册，并将步骤2)中的服务镜像和数据单元导入该需要迁移服务的服务中心；

4)、根据服务和数据依赖关系，更新并自动构建整个服务依赖树，从而达到服务迁移的目的。

具体地，如图2所示，

步骤1、在数据中心1中，将带迁移服务1按照业务逻辑、数据单元和其他资源的方式部署为服务实例1；根据服务实例运行的依赖关系，递归的找出服务1依赖的服务2，选定服务1和服务2的业务逻辑和数据单元；

步骤2、根据业务逻辑、数据单元和服务资源的定义，抽取并导出服务1和服务2的业务逻辑和数据单元；

步骤3、将步骤2中的服务1和服务2的业务逻辑和数据单元导入到需要迁移该服务的服务中心2；

步骤4、将导入的服务按照业务逻辑、存储资源和服务资源实体递归的重新部署，实现数据中心1到数据中心2的迁移过程。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (4)

1.一种微服务环境中基于可迁移的数据管理方法的服务迁移方法，其特征在于：所述数据管理方法包括：

数据单元划分：在开发环境中，根据业务模型将业务逻辑拆分为各个子业务逻辑,并将相应的数据拆分为独立数据单元，子业务逻辑和对应的数据单元组合成为服务实例；

数据导入：将划分后的数据单元通过预先分配或第三方工具导入生产环境；

数据导出：执行服务迁移时，生产环境的数据单元导出到迁移目标的服务中心；

所述服务迁移方法包括以下步骤：

1)、选定待迁移的服务及其所依赖的服务；选定所述待迁移的服务及其所依赖的服务的数据单元；

2)、导出步骤1)所选定的服务镜像和数据单元；

3)、在需要迁移服务的服务中心完成服务注册，并将步骤2)中的服务镜像和数据单元导入该需要迁移服务的服务中心；

4)、根据服务和数据依赖关系，更新并自动构建整个服务依赖树，从而达到服务迁移的目的。

2.根据权利要求1所述的服务迁移方法，其特征在于：所述数据管理方法还包括：

数据使用：不同的数据单元组合作为数据存储组，在服务运行中，服务分配并使用一个数据存储组。

3.根据权利要求2所述的服务迁移方法，其特征在于：每个数据存储组对应一个主导的服务。

4.根据权利要求2所述的服务迁移方法，其特征在于：所述服务与其依赖的服务共享同一个数据存储组。

Images