CN101977243A

CN101977243A - 云数据存储分配(ddcs)

Info

Publication number: CN101977243A
Application number: CN201010553204XA
Authority: CN
Inventors: 杨文军
Original assignee: Individual
Current assignee: Individual
Priority date: 2010-11-22
Filing date: 2010-11-22
Publication date: 2011-02-16

Abstract

云数据存储分配，(1)本发明极大的节省了数据传输时使用的网络带宽流量，极大的节省了流量。(2)本发明对数据文件设计了自创的信息认证识别，加快了相同数据与不同数据的识别认证，使主节点服务器间的数据交互与数据备份的反应时间大幅度下降。(3)本发明自创的传输方法，使得云存储用户跨网下载文件数据的下载时间极大的减少。(4)独特的数据存储冗余备份方法，使得数据得以更安全的保证，相比以前传统的容灾方法，我们的方法更简洁、可靠，高效。

Description

云数据存储分配(DDCS)

技术领域

本发明属于计算机网络领域(有线网和无线网)，涉及云构架环境中的数据存储分配系统。

技术背景

云构架环境，是指云计算环境，云计算(Cloud Computing)是分布式计算(DistrbutedComputing)、并行计算(Parallel Computing)和网络计算(Grid Computing)的发展，其基本原理是将计算任务通过网络分配给多台计算机执行，每台计算机称为元计算网络的一个节点。

由于常规数据存储分配故有的脆弱性和局限性，数据存储分配和管理管理数据的一定程度的冗余通常是必要的。例如，网络数据传输线路遭到DDOS攻击而导致传输路径堵塞时，数据传输交互可能会造成无法进行。计算设备受到病毒破坏而瘫痪时，存储的数据可能会无可挽回，这是一个公认的实时，大多数的数据传输交互线路，数字存储机制和媒介并非不受破坏。因此，必要时最好有一个高性能的防火墙和一个存储系统来依赖。但是防火墙的使用和数据的存储会影响到胸的工作效率。

现有的设计是一点对多点的传输方式，所提供的服务是无论是否跨网，所有用户都从某一个数据源节点传输数据。当用户访问量和数据量大到一定程度时，效率便会降低，而且耗时急剧增大。如果要把传输效率提高，就要升级硬件以及其他设备，还需要不断扩充带宽加大冗余，蛋这不是解决问题的根本。

随着海量数据的持续增长，传统的数据存储分配能力和模式已不能满足日益增长的用户需求。而通过一个计算环境使用大量的计算设备和多种类的传输途径来提供许多分布式数据存储分配，使得每个计算设备都可以从一组计算机联合在一个计算环境中，通过不同数据传输交互途径，获取或传输许多数据，获取许多存储成为一种解决目前数据存储分配问题的可行性方案。

发明内容

为了解决以上问题，设计一个具有多路径多线路多平台广互通能力的网络数据存储分配系统，是的它通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的数据存储分配设备终端通过应用平台集合起来协同工作，共同对外提供数据存储分配业务。本发明对每个传输文件都做了验证识别，对每个不同的数据文件在各大网络传输骨干节点进行同步备份，而且由骨干节点对城市子节点进行广播式的发布，在子节点中进行数据备份作为数据传输种源，能同时传到几十万，上百万台终端上，为用户提供分布式的可跨网络高效率的数据存储分配。

为了实现上述目的，本发明采用以下技术方案：

将云数据存储分配分为以下几层：

1、基础层

基础层是云数据存储分配的基础部分。基础设备可以是FC光纤通道数据传输设备，可以是无线网络数据传输设备等数据传输途径和设备。云数据存储分配设备终端往往数量庞大且分布于不同地域，彼此之间通过局域网、广域网、互联网、FC光纤通道或卫星网络连接在一起。

数据存储分配设备之上是一个统一数据存储分配设备管理系统。可以实现数据存储分配设备的逻辑虚拟化管理、传输线路的切换管理、多链路冗余管理、服务器集群间的负载均衡，以及硬件设备、有线网络、无线网络、卫星网络状态监控和故障维护。

2、互动层

互动层是云数据存储分配最核心的部分，也是云数据存储分配中最难以实现的部分。互动层通过集群、分布式数据文件系统和网格计算等技术，通过有线网络、无线网络、卫星信号传输网络等传输路径，实现云数据存储分配中多个传输存储设备之间的协同工作，使多个数据存储分配设备可以对外提供同一种服务，并提供更大更强更好更快的数据访问存储性能。我们在核心部分加入了自己独创的数据验证分配传输存储功能：主节点服务器会对用户上传或下载的文件进行唯一性验证，来保证主节点存储服务器中同文件只存在一个，子节点服务器进行无差别无数量限制的备份存储。这样可以使用户数据得到了绝对的安全保证同时又节省了主节点服务器的存储空间。在用户需要下载文件时，该用户所属的主节点服务器会通过验证识别码查询下载文件是否在本节点存在，在其他那些节点存在，同时服务器会判断该下载用户下载此文件所需要的时间，下载文件是否从异地传输。若此文件在本节点服务器存在，则正常多点同时做下载源，提供用户下载服务。若此节点中无此文件，则下载源在提供用户下载的同时，对此节点服务器同步该下载文件，然后节点服务器加入下载源的行列对该用户提供下载服务。

3、应用层

应用层是云数据存储分配最灵活多变最多元化的部分。不同的云数据存储分配运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。如软件升级的补丁上传下载、数据远程容灾和远程备份、视频监控数据实时传输、IPTV和视频点播应用平台、网络硬盘应用平台、手机微薄实时分享，卫星地图导航等。

4、权限层

任何一个云海授权用户都可以通过统一的标准应用接口来登录云海数据存储分配系统，享受云海数据存储分配服务。云数据存储分配应用单位不同，云数据存储分配提供的访问类型和访问手段也不同。也可针对企业制定企业登录应用接口，创立企业级管理账号及子账号。

与现有的技术和模式相比，本发明的有益效果是：通过集群应用、网格技术、分布式数据文件系统等功能，结合多节点多类型的网络信号传输途径，将网络中大量各种不同类型的数据存储分配设备通过应用软件平台集合起来协同工作，共同对外提供数据存储分配和业务互通访问。它与传统的数据存储分配设备相比不仅仅是一个一对一的硬件设备直连，而是一个网络设备、数据传输交互设备、存储设备、服务器、应用软件、交流互动平台、公用访问接口、接入网、和客户端程序等多个部分组曾的复杂系统。各部分以数据存储分配设备为核心，通过应用软件、多类型的传输途径结合独特的文件验证识别校验功能来对未提供数据存储分配和业务访问服务。而正因如此，它必可解决过于耗费服务器响应时间，网络数据传输带宽堵塞、异网之间的访问延迟、同文件无差别无数量限制积累的资源浪费以及需要配置大量的数据存储分配设备等关键性问题。

附图简要说明

图1，云数据存储分配传输文件模式。用户a上传文件XX至C，C上传文件XX至距C最近的主节点M。

图2，云数据存储分配数据冗余模式。C向主节点M、L、U传送新文件XX作为冗余备份。

图3，云数据存储分配故障应变。当距C最近的主节点M发生病变故障时，C将改为向距C第二近的主节点服务器U来传输文件XX先做冗余备份，直到M故障解决。

Claims

1.一种基于云架构的数据存储分配系统，其特征在于：所述云架构数据存储分配系统通过一个数据交互传输存储环境使用大量的数据交互传输存储设备来提供分布式的通网、跨网的数据交互传输存储，所述系统包括：

基础层，数据交互传输存储设备在不同网络运营商网域的中小城市布置子节点，子节点彼此之间通过局域网、广域网、互联网、FC光纤通道或者卫星网络连接在一起；

互动层，实现云数据存储分配多个设备、多种类设备和多平台之间的协同工作，使多样化多个设备，多平台的数据交互传输存储设备可以对内对外提供同一种数据存储分配服务，并提供了高的数据交互传输效率，更有效地利用网络资源与存储空间。

应用层，根据不同的基于互联网的运营单位和开发团队和个人，可以根据实际业务工作类型，设计开发不同的应用服务接口，带宽线路接口，提供不同的应用服务；

权限层，任何一个云海授权用户都可以通过统一的标准应用接口来登录云海数据存储分配系统，享受云海数据存储分配服务。也可针对企业制定企业登录应用接口，创立企业级管理账号及子账号。

2.根据圈里要求1所述的一种云架构环境中的数据存储分配系统，其特征在于：上述数据存储分配设备之上是一个套统一数据存储分配设备管理系统，可以实现数据存储分配设备的逻辑虚拟化管理、传输线路的切换管理、多链路冗余管理、服务器集群间的负载均衡，以及硬件设备、有线网络、无线网络、卫星网络状态监控和故障维护。

3.根据权力要求2所述的任意一种云构架环境中的数据存储分配系统，起特征在于：所述设备基础层和互动层同时兼具显示数据存储分配管理、状态监控、维护升级。

4.根据权力要求2、3所述的任意一种云构架环境中的数据存储分配系统，其特征在于：应用层和应用服务层还兼具实现权限管理、计费管理、网络接入和用户认证。