CN202565318U

CN202565318U - 分布式虚拟化存储系统

Info

Publication number: CN202565318U
Application number: CN2012202282935U
Authority: CN
Inventors: 杨华; 李正; 瞿成刚
Original assignee: Chengdu Innovation Technology Co Ltd
Current assignee: Chengdu Innovation Technology Co Ltd
Priority date: 2012-05-21
Filing date: 2012-05-21
Publication date: 2012-11-28
Anticipated expiration: 2022-05-21

Abstract

本实用新型公开了一种分布式虚拟化存储系统，它包括监控管理中心、主机、应用服务器、索引数据库、扫描仪、内容存储装置、内容发布装置和主、备CDP/TFC工作站，应用服务器的输出端分别与监控管理中心、索引数据库连接，CDP/TFC工作站的输出端分别与索引数据库、主机连接，主机与扫描仪、内容存储装置和内容发布装置连接，主机上运行有虚拟池。本实用新型将各种存储资源集中起来，为用户提供统一的视图和方便的访问入口，实现了可视化共享、实时管理、三方传输等功能，扩大了系统带宽，存储空间无限大，将批量小文件的传输效率提高了10倍以上，支持多机共享，并提供较好的文件系统服务性能，保持数据在存储设备中均匀分布。

Description

分布式虚拟化存储系统

技术领域

本实用新型涉及一种分布式虚拟化存储系统。

背景技术

当今社会，信息正以超乎人们想象的速度增长，这对信息存储系统的容量和速度提出了空前的要求，由此引发的各种问题也随之而来。人们对信息数据日益广泛的需求导致存储系统的规模变得越来越庞大，管理越来越复杂，信息资源的爆炸性增长和管理能力的相对不足之间的矛盾日益尖锐。与此同时，各行各业用户（也包括电视台）对数据的依赖性迅猛增长，数据存储的可靠性和可用性正日益成为企业信息化进程中的一个关键环节。这就需要IT厂商提供更贴近用户需求的统一存储解决方案。

而现在的IT厂商并没有提出一个行之有效的解决方案，具有不能透明整合不同公司的各种类型存储设备，无法提高空间存储利用率，性能无法提高，无法降低或者避免用户投资被大量浪费等缺点。

实用新型内容

本实用新型的目的在于解决现有技术的不足，提供一种基于IP的分布式虚拟化存储系统，不仅简化了异构存储管理的复杂性，而且高效充分地利用了存储空间，实现了数据有效备份和容灾，提高信息的安全可靠性，通过将三级存储设备虚拟为二级存储，为用户提供快速的海量存储。

本实用新型的目的是通过以下技术方案来实现的：分布式虚拟化存储系统，它包括监控管理中心、一个或多个主机、一个或多个应用服务器、一个或多个索引数据库、一个或多个扫描仪、一个或多个内容存储装置、一个或多个内容发布装置和一个或多个主、备CDP/TFC工作站，监控管理中心设有通过网络设备互连的一个或多个主、备监控管理工作站和一个或多个主、备虚拟池配置数据库，应用服务器的输出端分别与监控管理中心、索引数据库连接，CDP/TFC工作站的输出端分别与索引数据库、主机连接，主机与扫描仪、内容存储装置和内容发布装置连接，主机上运行有一个或多个虚拟池。

所述的内容存储装置至少包括磁带库、光盘库、磁盘阵列和硬盘柜；所述的内容发布装置至少包括U盘、软盘、光盘和磁带。

本实用新型的有益效果是：

（1）本实用新型提供一种分布式虚拟化存储系统，将各种存储资源集中起来，为用户提供统一的视图和方便的访问入口，实现了全域网络的各种存储设备、文件系统、操作系统、平台架构（x86）的虚拟化；实现了可视化的共享、实时管理、三方传输等具有特色的功能；存储空间无限大；扩大了系统带宽，系统的整体带宽基本等于各个存储资源的带宽和；对批量小文件的传输，其传输效率提高了10倍以上；提供与POSIX标准相类似的文件系统接口，支持基本的卷管理以及文件和目录的操作，操作性能稳定，支持多机共享，保持统一的数据视图，并提供较好的文件系统服务性能，峰值数传率为400MBps；分块hash存储，保持数据在存储设备近视均匀分布；

（2）本实用新型提供一种分布式虚拟化存储系统，支持从异构主机到异构存储系统的透明访问。即服务器可以运行异构操作系统，例如Windows、Unix或Linux等等。存储设备可以来自不同的供应商，无论是EMC、康柏、HP、还是StorageTek的存储设备，都可以顺利地接入系统；

（3）本实用新型提供一种分布式虚拟化存储系统，支持24×7小时的数据可用性，具有极高的可靠性，较高的容错性，故障恢复时间较短，尽可能做到进行系统维护、设备更换时，不中止应用程序的使用；

（4）本实用新型提供一种分布式虚拟化存储系统，具有高性能的数据访问，数据安全性，平滑的存储容量扩展，简化了管理，降低了管理成本。

附图说明

图1为本实用新型的结构示意框图。

具体实施方式

下面结合附图进一步详细描述本实用新型的技术方案，但本实用新型的保护范围不局限于以下所述。

如图1所示，分布式虚拟化存储系统，它包括监控管理中心、一个或多个主机、一个或多个应用服务器、一个或多个索引数据库、一个或多个扫描仪、一个或多个内容存储装置、一个或多个内容发布装置和一个或多个主、备CDP/TFC工作站，监控管理中心设有通过网络设备互连的一个或多个主、备监控管理工作站和一个或多个主、备虚拟池配置数据库，应用服务器的输出端分别与监控管理中心、索引数据库连接，CDP/TFC工作站的输出端分别与索引数据库、主机连接，主机与扫描仪、内容存储装置和内容发布装置连接，主机上运行有一个或多个虚拟池；所述的内容存储装置至少包括磁带库、光盘库、磁盘阵列和硬盘柜；所述的内容发布装置至少包括U盘、软盘、光盘和磁带。

本实用新型将用户看到的存储资源同具体的物理存储设备分隔开来，为存储用户提供统一的虚拟存储池。它是具体存储设备或存储系统的抽象，展示给用户一个逻辑视图，同时将应用程序和用户所需要的数据存储操作和具体的存储控制分离。本实用新型的任务首先是在多个物理存储设备或存储系统上创建一个抽象层，屏蔽复杂性，简化管理；其次是对存储资源进行优化。

本实用新型把多个存储介质模块（如磁盘、磁盘阵列）通过一定的手段集中管理起来，所有的存储模块在“存储池”（Storage Pool）中得到统一管理。在虚拟存储环境下，无论后台物理存储的是什么设备，服务器及工作站看到的都是其熟悉的存储设备的逻辑镜像。即使物理存储发生了变化，这种逻辑镜像也不会改变，系统管理员不必关心后台存储，只需专注于管理存储空间，所有的存储管理操作，例如系统升级、建立和分配虚拟磁盘、改变RAID级别、扩充存储空间等都比以前容易的多，存储管理变得轻松简单。

从用户的角度来看，可以用一句更简单的话来概括虚拟存储，即使用存储空间而不是使用物理存储硬件（磁盘、磁带），管理存储空间而不是管理物理存储硬件。

IP存储（Storage over IP简称为SoIP），由于IP存储技术的成熟性和开放性，通过以IP和以太网为骨干网络中传输数据，使得各种设备可以通过IP网络连接各种存储设备，并且像使用本地的设备一样，无需关心设备的地址或位置。也通过该技术可以实现局域网内部和远程的数据访问、数据备份、数据镜像和服务器集群等。

与传统存储相比，本实用新型的优点主要体现在：

（1）扩容方便：传统存储设备随着时间的推移，逐步会被淘汰或者停产，但没有对应配件（最常见的是相同容量或者型号的硬盘停产）可替换或者扩容，如果采用了虚拟化技术后，可以在虚拟引擎平台下，很方便的把不同厂商、不同类别的异构存储设备纳入到同一的虚拟池中，虚拟池容量随之增加；

（2）保护投资：传统存储设备随着时间的推移，该型号存储设备会逐步会被淘汰或者停产，如果该设备还能正常运行，但已经没有对应配件（最常见的是相同容量或者型号的硬盘停产）可替换或者扩容，还是只有忍痛淘汰，购买新设备，还有一种情况是用户一次性购买多年后都不会用满的大容量存储空间，一是空间浪费惊人，二是电子硬件产品每三个月就会价格降一倍，而容量增加一倍，用户投资浪费；

（3）存储灵活：可以适应不同厂商、不同类别的异构存储平台，为存储资源管理提供了更好的灵活性；不拘设备部署区域，都可以完成设备间的整合；

（4）管理方便：提供了一个大容量存储系统集中管理的手段，避免了由于存储设备扩充所带来的管理方面的麻烦，而且存储空间能面向应用端到端进行分配；

（5）性能更好：本实用新型可以很好地进行负载均衡，把每一次数据访问所需的带宽合理地分配到各个存储备份上，提高了系统的整体访问带宽和降低单个设备的I/O瓶颈。

下面对本实用新型的组成部分进行详细描述：

（1）索引数据库：协助应用服务器，实现如何发现一个存在于特定位置的数据文件；

数据定位通常有两种实现方法：

一是建立一个全局统一的索引，所有的用户可以看到系统中的所有数据文件；

二是多索引系统，不同的用户或不同位置使用的索引不同，可以访问数据资源也有所不同。

本实用新型的物理资源由分散的多个自治域构成，但给用户提供的索引是逻辑的，以屏蔽数据物理位置的分散性，实现数据的透明访问。就是说，用户对数据文件的各种访问操作都是在逻辑索引上进行的。索引数据库负责逻辑索引的构建，完成数据文件的完全逻辑限定名到实际数据物理位置的转换。

（2）虚拟池：屏蔽了存储资源的多样性，为系统提供统一存储访问接口，同时提供了文件操作方式和扩展的FTP操作方式，另外它对文件复制管理操作提供支持，为高效传输提供服务。

网络存储技术主要分NAS和SAN两大类，而NAS和SAN又各有其优缺点。结合目前IP存储的最新发展成果，本实用新型提出基于TCP/IP的统一存储网体系结构-USN（Unified Storage Network）。其原理是：采用TCP/IP作为存储网络的构建技术，利用IP互联设备来构建存储区域网，其中存储设备包括iSCSI设备（为块设备）和NAS设备（为文件设备）。

数据从存储设备读出之后，对于需要由应用服务器处理的数据，通过服务器通道由服务器处理之后转发；对于不需要应用服务器进一步处理的数据，直接返回客户，从而真正实现客户与存储设备之间的数据传送。

（3）监控管理中心：负责系统的元数据管理，整个系统（虚拟池、虚拟组、虚拟设备）的监视与控制。

元数据管理涉及的关键研究内容包括：定义元数据信息，包括存储资源、文件、用户等信息；元数据服务器的扩展；基于用户的资源分配方案，系统提供基于用户的资源存储视图，实现逻辑文件名与物理文件位置的分离及映射功能；

主要监控虚拟池、虚拟组、虚拟设备实时的运营情况，虚拟设备的总容量大小、剩余有效空间大小，设备是否实时在线，空间不足等异常情况实时告警（可以通过邮件，短消息等等手段），数据增长量的统计（每天、每周、每月），通过这些统计数据，可以提前告知用户，什么时候需要扩容。

（4）CDP/TFC工作站：提供数据复制、恢复、容错管理；

复制服务：在某个虚拟组或者虚拟设备异常的情况，可由复制服务在备份策略下完成虚拟设备间的数据同步。复制服务的策略可灵活设置其运行时间，运行时长，运行频率等等。

恢复服务：如果某个虚拟设备发生异常，通过恢复策略，完成被损坏数据的恢复拷贝，是虚拟池中的数据始终同时具有多份数据副本，减少用户的后顾之忧。

容错服务：该服务可以完成虚拟池中的所有数据，或者指定数据能够产生多份副本，并且每个副本可以位于不同地域的数据中心中，使数据达到数据保护的最高级别。如果本地数据中心发生异常，可以透明的、热切换模式下直接远程使用外区域的数据。真正实现了对企业运营的7×24小时永不间断的保证。

Claims

1.分布式虚拟化存储系统，其特征在于：它包括监控管理中心、一个或多个主机、一个或多个应用服务器、一个或多个索引数据库、一个或多个扫描仪、一个或多个内容存储装置、一个或多个内容发布装置和一个或多个主、备CDP/TFC工作站，监控管理中心设有通过网络设备互连的一个或多个主、备监控管理工作站和一个或多个主、备虚拟池配置数据库，应用服务器的输出端分别与监控管理中心、索引数据库连接，CDP/TFC工作站的输出端分别与索引数据库、主机连接，主机与扫描仪、内容存储装置和内容发布装置连接，主机上运行有一个或多个虚拟池。

2.根据权利要求1所述的分布式虚拟化存储系统，其特征在于：所述的内容存储装置至少包括磁带库、光盘库、磁盘阵列和硬盘柜；所述的内容发布装置至少包括U盘、软盘、光盘和磁带。