CN105245375B - 一种基于网络的高效存储方法 - Google Patents

Abstract

本发明提供了一种基于网络的高效存储方法，包括:主控节点对数据节点进行监控和管理，维护整个系统的节点状态，根据地理位置将数据节点分组；将每个文件块设置一个主镜像，在主控节点中保存快照表和文件块镜像表；如果同一个事务中需要更新的信息不在一个文件块中，并且不在一个数据节点中，则从所述云存储协调中选择协调节点，负责整个事务的更新流程。本发明提出了一种基于网络的高效存储方法，对大数据进行高效处理，具有低成本、高容错性和安全性、高扩展性和高效率等特点，解决了数据扩充出现的瓶颈问题，拥有更高性能的计算能力。

Description

一种基于网络的高效存储方法

技术领域

本发明涉及网络存储，特别涉及一种基于网络的高效存储方法。

背景技术

云计算是将计算、存储、软件等服务从传统的桌面电脑和服务器通过互联网搬到数据中心的计算模式。这些数据中心包含大量的IT基础设施，其所有者往往是大型的IT企业，如谷歌、亚马逊、微软、雅虎等。中小企业可以通过网络租用这些服务，而不必搭建自己的服务器系统。数据存储和管理对企业来说非常重要，然而构建安全可靠的企业数据库系统将耗费大量的资金。对企业来说，如果不采用这种按需付费的云计算模式，则不仅需要大量的购买相应的软件和硬件的资金，还必须担心软/硬件的维护问题。然而现有的云存储系统存在较低的容错性和安全性、扩展性和效率，在处理大数据的环境下急需改善。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种基于网络的高效存储方法，包括:

云存储系统主控节点对所有数据节点进行监控和管理，数据节点用于为客户端节点提供数据存储和查询以及事务处理，并且根据系统的需求为客户端节点提供计算能力；主控节点维护整个系统的节点状态、提供局部数据节点的查询、保持文件块的地址信息，将同一地理位置内的邻居数据节点作为同一组，将不同地理位置内的远程数据节点作为不同组；将每个文件块都设置一个主镜像，每个事务处理本文件块的所有镜像的更新都由主镜像控制，主控节点包含根据所述云存储系统的客户端信息生成的客户端编号的快照表，并且由此快照构成系统文件块保存的地址信息的索引，在进行全局查询时，主控节点根据该快照表的信息进行客户端信息定位，然后根据预定义策略将相应的文件块的地址返回到应用服务器，由应用服务器直接访问相应的节点，所述主控节点还保存文件块镜像表，所述文件块镜像表包括文件块编号表项和节点信息表项；如果同一个事务中需要更新的信息不在一个文件块中，并且不在一个数据节点中，则从所述云存储协调中选择协调节点，由该协调节点负责整个事务的更新流程，决定事务最后是成功提交还是失败回滚。

优选地，每个所述文件块包含以下控制信息块:

主镜像所在节点编号，即每个节点在加入云存储系统时从主控节点那里得到的自己的唯一编号，并且和自己的地址组成一个节点编号；

镜像个数，其包括主镜像和从属镜像总个数，如果为1说明没有从属镜像，如果为0说明此文件块不存在；

镜像所在节点编号列表:该列表保存所有节点编号，根据其中的节点编号查找到保存了镜像的节点地址和系统编号以进行访问。

优选地，该方法还包括：

通过代理提供文件块更新的锁控制，该代理采用完全冗余策略，通过预定义协议从代理中选出主控节点，并定期更新，在数据更新时，所有代理在主控节点的控制下同步更新，客户端和代理之间采用事件机制进行通信，客户端在本地保存一个和自身相关的代理文件的缓存，当文件在代理端发生更新时，代理通知客户端文件无效，然后客户端直接更新文件；

将来自客户端的访问进行按地理位置进行分类，并且根据客户端的IP信息通过域名服务进行分流，在同一地理位置将负载进行轮转法将当前地理位置的各个访问分流到与当前地理位置的不同的数据节点上，保持主控节点和域名服务之间的通信，主控节点根据节点自身反映的信息对域名服务中的各个节点的权值进行调整，从而调整整个系统的负载平衡。

本发明相比现有技术，具有以下优点:

本发明对大数据进行高效处理，具有低成本、高容错性和安全性、高扩展性和高效率等特点，解决了数据扩充出现的瓶颈问题，拥有更高性能的计算能力。

附图说明

图1是根据本发明实施例的基于网络的高效存储方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种基于网络的高效存储方法。图1是根据本发明实施例的基于网络的高效存储方法流程图。

本发明首先在云存储系统中将将节点分为两种部分，一种是数据节点，另外一种是非数据节点，其中集群存储主要依赖数据节点，非数据节点主要指管理节点和监控节点，在这里统一由主控节点表示。

客户端节点:这个节点主要是指访问的客户端，可以是云存储的虚拟行业的Web应用服务器，也可以是其他公司通过云存储系统访问接口进行访问的服务器。

数据节点:作为系统的主要构成部分，数据节点负责了系统正常运行的大部分任务，其中包括:数据存储、提供查询、事务处理，并且在必要时根据系统的需求提供计算能力。其中所有数据节点之间的关系也不完全是相同的，本发明根据地理位置划分，使得同一地理位置内的节点都是临近点，因为系统可能会发展到很大，如果只有一层关系管理节点，将会变得很困难，并且在实际使用中，同一地理位置的节点之间的通信单价和质量都是比较好的，所以将系统的管理分为3层，一个主控节点以每个组的关系看待节点，而节点自己有能够区分是邻居节点(同一组)还是远程节点(不同组)。

主控节点:主控节点主要负责系统的整体状态的监控。其中包括:整个系统的节点状态、提供局部数据节点的查询、保持文件块的地址信息等等。这里需要注意的是，根据系统负载能力的需求本发明的主控节点本身不一定是单个PC机器，也可能有几台机器组成一个集群共同提供服务。这样才能保证系统不会因为管理节点的瓶颈而受到限制。

在文件块存储时，规定将每个文件块都设置一个主镜像，即每次每个事务处理本文件块的所有镜像的更新都由主镜像控制。基于这种设计本发明设计每个文件块除了本身包含的信息之外必须有以下控制信息块:

主镜像所在节点编号:每个节点在加入系统时都从主控节点那里得到自己的唯一编号并且和自己的地址组成一个节点编号。

镜像个数:镜像个数包括主镜像和从属镜像，如果为1说明没有从属镜像，如果为0说明此文件块不存在。

镜像所在节点编号列表:保存所有节点编号，在必要时可以根据这里的节点编号找到保存了镜像的节点的地址和系统编号以进行访问。

在主控节点里面有一个根据系统的客户端信息生成的一个客户端编号的快照表，并且有此快照构成系统文件块保存的地址信息的索引，在进行全局查询时，主控节点就是根据这个快照表的信息进行客户端信息定位的。然后根据预定义策略将相应的文件块的地址返回到应用服务器，由应用服务器直接去访问相应的节点。

这里需要说明的是，有可能多个客户端的信息保存在同一个文件块中所以，文件块出现重复是完全正常的。

除了客户端快照表之外，主控节点还保存了另外一个重要的表，文件块镜像表，这个表主要包括文件块编号表项和节点信息表项。

在进行事务处理时会遇到如下一个问题:同一个事务中需要更新的信息不在一个文件块中也不在一个节点中，在这个时候为了保证事务顺利的完成需要在多个涉及到信息更新的节点中选择一个作为本发明的协调节点，由他负责整个事务的更新流程和决定事务最后的成败，即决定事务最后是成功提交还是失败回滚。

采用代理提供文件块更新的锁控制，代理采用完全冗余策略，通过预定义协议从代理中选出主控节点，并定期更新，在数据更新时，所有代理在主控节点的控制下同步更新。客户端和代理之间采用事件机制进行通信，并且为了降低通信频率，客户端在本地会保存一个和自身相关的代理文件的缓存，缓存有两个状态，一个有效一个无效，当文件在代理端发生更新时代理通知客户端文件无效，然后客户端自己去更新文件。

对于云存储系统事务来说，因为处于网络环境中，其恢复过程远远要比集中式数据库复杂的多，在云存储系统事务恢复中，本地事务的恢复类同集中式事务的恢复。而整个云存储系统事务的恢复由云存储系统管理器与本地事务管理器协同完成

系统目录存储和管理是将系统的目录分为若干个组，即前面所提到的按地理位置分组的方式，在每个组内会由主控节点指定一个节点专门提供目录服务，它本身也是一个普通节点，只是根据系统的设置成为一个为系统提供目录服务的组服务器，主控同时会将所有存储目录的节点的的地址和编号信息通知所有节点。每个节点根据自己的信息和主控节点提供的信息对有目录的节点进行代价排序。然后在目录查询时各个节点就能够根据已知目录节点信息进行查询，虽然这个节点的其他查询任务也能执行，但是本发明在设计系统负载平衡算法时，尽量减轻提供目录查询的节点的其他查询任务。

在地理位置之间本发明将来自客户端的访问进行按地理位置分类，并且根据客户端的IP信息通过域名服务进行分流。而在同一地理位置将负载进行轮转法将当前地理位置的各个访问分流到与当前地理位置的不同的数据节点上，本发明保持主控节点和域名服务之间的通信，主控节点根据节点自身反映的信息对域名服务中的各个节点的权值进行调整，这样能够及时调整整个系统的负载平衡。

综上所述，本发明提出了一种基于网络的高效存储方法，对大数据进行高效处理，具有低成本、高容错性和安全性、高扩展性和高效率等特点，解决了数据扩充出现的瓶颈问题，拥有更高性能的计算能力。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (3)

1.一种基于网络的高效存储方法，其特征在于，包括:

云存储系统主控节点对所有数据节点进行监控和管理，数据节点用于为客户端节点提供数据存储和查询以及事务处理，并且根据系统的需求为客户端节点提供计算能力；主控节点维护整个系统的节点状态、提供局部数据节点的查询、保存文件块的地址信息，将同一地理位置内的邻居数据节点作为同一组，将不同地理位置内的远程数据节点作为不同组；将每个文件块都设置一个主镜像，每个事务处理本文件块的所有镜像的更新都由主镜像控制，主控节点包含根据所述云存储系统的客户端信息生成的客户端编号的快照表，并且由此快照表构成系统文件块保存的地址信息的索引，在进行全局查询时，主控节点根据该快照表的信息进行客户端信息定位，然后根据预定义策略将相应的文件块的地址返回到应用服务器，由应用服务器直接访问相应的节点，所述主控节点还保存文件块镜像表，所述文件块镜像表包括文件块编号表项和节点信息表项；如果同一个事务中需要更新的信息不在一个文件块中，并且不在一个数据节点中，则从所述云存储系统中选择协调节点，由该协调节点负责整个事务的更新流程，决定事务最后是成功提交还是失败回滚；

将来自客户端的访问进行按地理位置进行分类，并且根据客户端的IP信息通过域名服务进行分流，在同一地理位置将负载进行轮转法将当前地理位置的各个访问分流到与当前地理位置的不同的数据节点上，保持主控节点和域名服务之间的通信，主控节点根据节点自身反映的信息对域名服务中的各个节点的权值进行调整，从而调整整个系统的负载平衡。

2.根据权利要求1所述的方法，其特征在于，每个所述文件块包含以下控制信息块:

主镜像所在节点编号，即每个节点在加入云存储系统时从主控节点那里得到的自己的唯一编号，并且和自己的地址组成一个节点编号；

镜像个数，其包括主镜像和从属镜像总个数，如果为1说明没有从属镜像，如果为0说明此文件块不存在；

镜像所在节点编号列表:该列表保存所有节点编号，根据其中的节点编号查找到保存了镜像的节点地址和系统编号以进行访问。

3.根据权利要求2所述的方法，其特征在于，该方法还包括：

通过代理提供文件块更新的锁控制，该代理采用完全冗余策略，通过预定义协议从代理中选出主控节点，并定期更新，在数据更新时，所有代理在主控节点的控制下同步更新，客户端和代理之间采用事件机制进行通信，客户端在本地保存一个和自身相关的代理文件的缓存，当文件在代理端发生更新时，代理通知客户端文件无效，然后客户端直接更新文件。