CN101808139B

CN101808139B - 云环境中的数据存储系统

Info

Publication number: CN101808139B
Application number: CN 201010136962
Authority: CN
Inventors: 于洋
Original assignee: Chongqing Solun Internet Information Service Co Ltd
Current assignee: Chongqing Solun Internet Information Service Co Ltd
Priority date: 2010-03-31
Filing date: 2010-03-31
Publication date: 2013-04-24
Anticipated expiration: 2030-03-31
Also published as: CN101808139A

Abstract

本发明提供一种云环境中的数据存储系统，该系统可以通过一个计算环境使用大量的计算设备来提供许多分布式存储。每个计算设备都可与一组计算机联合在一个计算环境中提供许多存储。例如，每个计算设备可以为计算环境提供最高限额的自由空间。每一个计算设备提供的存储量可以收集并结合起来，提供一个综合的分布式空间。两端的分布式运算环境空间相结合可以与每个计算设备相关联形成映射驱动。一个联合分布的空间，可以用来在计算环境中提供一定水平或一定量的存储数据的冗余，还可以利用每一个计算设备中未使用的空间成本效益。

Description

云环境中的数据存储系统

技术领域

本发明属于计算机网络领域，涉及云环境中的存储系统。

背景技术

云环境，是指云计算环境，云计算(Cloud Computing)是分布式计算(DistrbutedComputing)、并行计算(Parallel Computing)和网格计算(Grid Computing)的发展，其基本原理是将计算任务通过网络分配给多台计算机执行，每台计算机称为云计算网络的一个节点。

由于电子存储固有的脆弱性，存储和管理数据的一定程度的冗余通常是必要的。例如，计算设备受到病毒破坏而瘫痪时，存储的数据可能会无可挽回，这是一个公认的事实，大多数的数字存储机制和媒介并非不受破坏。因此，必要时最好有一个存储系统来依赖。但是数据的存储会影响到系统的工作效率。

现有的设计是点对点方式，所服务的对象是完成一个点再服务下一个点。当系统大到一定程度时，效率便会降低，而且耗时增大。如果要把系统效率提高，就要升级硬件以及其他设备，但这不是解决问题的根本。

已经公布的申请(专利)号为200810043744.6的发明专利公开了一种云计算网络的缓存系统，该发明建立了云计算网络各节点的本地缓存系统，还利用了CDN网络的缓存系统，这使云计算能在世界范围内更快更高效地进行，避免了各节点可能反复执行相同任务，还能大幅减少网络带宽利用。

但是，随着海量数据的持续性增长，传统的数据传输存储能力已不能满足日益增长的用户需求。而通过一个计算环境使用大量的计算设备来提供许多分布式存储，使得每个计算设备都可从一组计算机联合在一个计算环境中获取许多存储成为一种解决目前存储问题的可行性方案。

发明内容

为了解决以上问题，设计一个具有多路广播能力的网络存储系统，使得它通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问。本发明就是把数据在路由器的层面预先将数据处理了，而且进行广播式的发布，能同时传到几十万台机器上，提供分布式的云存储。

为了实现上述目的，本发明采用以下技术方案：

将云存储分为以下几层：

1、存储层

存储层是云存储的基础部分。存储设备可以是FC光纤通道存储设备，可以是NAS和iSCSI等IP存储设备，也可以是SCSI或SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布于不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。

存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。

2、应用接口层

应用接口层是云存储最核心的部分，也是云存储中最难以实现的部分。应用接口层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。

UIT云存储系统的应用接口层采用UFS系统架构，通过UFS集群文件系统实现后端存储设备的集群工作，并通过系统的控制单元和管理单元实现整个系统的管理，数据的分发、处理，处理结构的反馈等功能。并依据CDN内容分发系统、P2P数据传输技术和数据压缩技术等可以保证云存储中的数据可以更有效地存储，使用和占用更少的空间，占用更低的传输带宽，从而对外提供更高效的服务。数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术等措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。

3、应用软件层

应用软件层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如数据远程容灾和远程备份、视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。

目前UIT可以在UFS云存储平台上提供基于webdisk的网络磁盘应用，并即将推出基与PVG软件的视频监控应用。

4、访问层

任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。云存储使用者采用的应用软件客户端不同，享受到的服务类型也不同。

与现有技术相比，本发明的有益效果是：通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问。它与传统的存储设备相比不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。而正因如此，它必可解决过于耗费的服务器响应时间以及需要配置大量的存储设备等关键性问题。

附图说明

图1为本发明所述云存储系统的结构模型图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细描述，但不作为对本发明的限定。

参见图1所示为云存储系统的结构模型图，整个云存储系统分为4层：存储层、应用接口层、应用软件层和访问层，对应的应用的即为UIT BX系统应用存储1、UIT UFS云存储平台2、UIT Web-disk软件3、UIT运营服务方案4。

其中，UIT BX系统应用存储1所对应的设备存储层10所采用的存储设备可以是FC光纤通道存储设备，可以是NAS和iSCSI等IP存储设备，也可以是SCSI或SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布于不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。存储设备之上是一个大容量存储设备服务器节点100，统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。

其中，UIT云存储系统的应用接口层采用UFS系统架构，通过UFS集群文件系统实现后端存储设备的集群工作，并通过系统的控制单元和管理单元实现整个系统的管理，以及数据的分发、处理，处理结构的反馈等功能。因此，UIT UFS云存储平台2对应的应用接口层20可分为存储系统层21、存储应用层22和接口层23，所述存储系统层21即采用为UFS集群文件系统210，实现后端存储设备的集群工作，存储应用层22包含UFS系统控制定单元220、UFS分布式文件系统221和UFS系统单元222，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。所述接口层23可采用私有APi接口、WEB接口、Internetbased-NAS接口230，并且数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术等措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。

其中，UIT Web-disk软件3对应的应用软件层30，是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如SaaS应用软件300、WEB2.0服务流媒体点播视频监控301和数据远程容灾和数据迁移软件302。目前UIT可以在UFS云存储平台上提供基于webdisk的网络磁盘应用，并即将推出基与PVG软件的视频监控应用。

其中，UIT运营服务方案4即为访问层，也称应用服务层40，任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。云存储使用者采用的应用软件客户端不同，享受到的服务类型也不同。比如个人网络U盘服务、企业存储空间租赁、文件备份共享服务400、IPIV视频监控、网络游戏、播客等401、企业数据备份、企业数据归档、企业数据容灾402等。

进一步地，应用软件层30和应用服务层40还兼具实现权限管理、计费管理、网络接入和用户认证34功能。

进一步地，设备存储层10和应用接口层20还兼具实现存储集中管理、状态监控、维护升级等12功能。

由此可见，云存储系统具有如下功能特点：

1、集群功能，能够通过集群获得PB级存储容量，支持通用服务器，通用存储设备；支持在线增加、删除存储节点，而无需中断整个云的服务。

2、专业性，对单个文件的并发存储，对设备容量进行自动负载均衡，针对热点文件进行自动负载均衡。

3、可靠性，数据冗余和备份，自动故障处理。

4、管理功能，基于对象的文件管理，文件通过诸如可靠性，可访问性等策略进行分级管理；自动配置，软件安装之后无需管理员额外的手动配置工作；自动故障检测和恢复；需要提供基于Web的界面，使得管理员可以监视，调整存储集群的工作情况；对用户的访问权限和空间进行基本控制。

5、访问功能，全局统一命名空间，提供标准的NAS访问接口，提供高效率的并发访问协议(或API)，基于HTTP/RESTvAPI的Web访问接口。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种云环境中的数据存储系统，其特征在于：所述云存储系统通过一个计算环境使用大量的计算设备来提供分布式存储，所述系统包括：

存储层，其存储设备分布于各个节点，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起；

应用接口层，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更优化的数据访问性能；

应用软件层，不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务；

访问层，任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务；

所述存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护；

所述应用接口层采用UFS系统架构，通过UFS集群文件系统实现后端存储设备的集群工作，并通过UFS系统控制单元和UFS系统单元实现整个系统的管理，数据的分发、处理，处理结构的反馈；

所述应用接口层分为存储系统层、存储应用层和接口层，所述存储系统层采用UFS集群文件系统，所述存储应用层包含UFS系统控制单元、UFS分布式文件系统和UFS系统单元，所述接口层采用私有APi接口、WEB接口、Internetbased-NAS接口。

2.根据权利要求1所述的一种云环境中的数据存储系统，其特征在于：所述存储层和应用接口层还兼具实现存储集中管理、状态监控、维护升级。

3.根据权利要求1所述的一种云环境中的数据存储系统，其特征在于：所述应用软件层可提供SaaS应用软件、WEB2.0服务流媒体点播视频监控和数据远程容灾和数据迁移软件。

4.根据权利要求3所述的一种云环境中的数据存储系统，其特征在于：所述访问层，即应用服务层，云存储使用者采用的应用软件客户端不同，享受到的服务类型也不同。

5.根据权利要求4所述的任一种云环境中的数据存储系统，其特征在于：应用软件层和应用服务层还兼具实现权限管理、计费管理、网络接入和用户认证。