CN102413172A

CN102413172A - 一种基于集群技术的并行数据共享装置方法和装置

Info

Publication number: CN102413172A
Application number: CN2011103383505A
Authority: CN
Inventors: 郭彦辉
Original assignee: BEIJING LIANCHUANG XINAN TECHNOLOGY CO LTD
Current assignee: Beijing Lianchuang Xinan Technology Co., Ltd.
Priority date: 2011-10-31
Filing date: 2011-10-31
Publication date: 2012-04-11
Anticipated expiration: 2031-10-31
Also published as: CN102413172B

Abstract

本发明公开了一种基于集群技术的并行数据共享方法，包括：A1.并行化设置客户端多个数据资源请求；A2.将所述的多个数据资源共享方式设置为虚拟集群共享；A3.将多个服务引擎连接于所述的数据资源；A4.所述的多个服务引擎通过网络实现对同一数据资源的输入/输出。本发明还公开了基于集群技术的并行数据共享装置和系统。本发明使数据共享具有更高的可靠性、扩展性，可较好解决云计算、数据中心等海量数据环境下的存储和共享访问问题。

Description

一种基于集群技术的并行数据共享装置方法和装置

技术领域

本发明涉及网络数据处理领域，更具体地说，涉及一种基于集群技术的并行数据共享装置方法和装置。

背景技术

用户随着数字化应用的不断创新和深化，数据呈爆炸式海量增长态势，其中非结构化数据的增长尤为迅速和显著，据IDC等第三方分析公司统计，全球数据量每18月翻一番，其中，80％是以图片、音视频文件为主的非结构化数据。随着web 3.0、云计算、云存储等新兴的商业与服务模式的兴起，以个人为核心的“自媒体”时代将全面到来，势必进一步推动非结构化数据的激增。除了数据量庞大，非结构化数据的访问模型通常为多终端、跨平台、并发共享访问。如何在保障数据规模和数据效率的前提下，实现快速的共享式数据存取成为面向海量非结构化数据应用环境存储系统亟待解决的普遍难题。

解决非结构化数据共享目前有NAS和SAN文件系统+存储两种实现方法。

NAS是网络附属存储(Network Attached Storage)，是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以便于对不同主机和应用服务器进行访问的技术。

NAS系统采用服务器+开源NAS软件或专用嵌入式NAS设备实现，采用单节点或互备双节点(Active-Standby)的共享服务模式，即正常工作状态下，只能有一个数据服务节点对前端业务主机。

提供共享式的数据存取服务，客户端利用TCP/IP网络，基于标准的NFS/CIFS协议即可实现接入访问，部署成本较低。

该模式有几个显著的弊端：

扩展性较差，性能存在瓶颈：因为单节点的处理性能有限，只能增加容量模块，增加存储空间，无法实现性能增加，一般只能支撑20台以内的客户端实现共享访问，因此无法面向海量的数据共享和多客户端应用环境，如互联网、云计算、大规模监控或媒体视频应用环境等。

可靠性有待提高：如采用单节点结构，NAS设备自身是单节点故障，一旦设备故障，数据共享和存取服务将停止，即使是互备双节点(Active-Standby)冗余结构，也需要几分钟的NAS共享应用切换时间，甚至需要客户端需要重新发起连接，对于关键业务，往往是不可接受的。

SAN是存储区域网络(Storage Area Network)，即，它是一种通过光纤集线器、光纤路由器、光纤交换机等连接设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的高速专用子网。

SAN文件系统+存储是一种新型的数据共享实现方法，利用独特的元数据和数据分离技术、文件系统条带技术、节点冗余技术，可实现较好的扩展性和很高的性能，但缺点在于一般采用似有协议，不具有通用性和标准化的特点，结构过于复杂，造价昂贵。构建此类系统需要磁盘阵列、服务器、光纤交换机、SAN共享文件系统等诸多设备，客户端也需要部署光纤卡，对于大量客户端共享环境，软硬件成本惊人，后期的维护和管理成本也让很多用户望而却步。

发明内容

本发明要解决的技术问题在于，提供一种更为灵活和高效的并行数据共享实现方法，形成一套高性能、高扩展的云存储结构体系，克服传统数据共享方式数据规模和扩展性差、性能一般、可靠性欠佳的缺陷。

本发明公开了一种基于集群技术的并行数据共享方法，包括：

A1.并行化设置客户端多个数据资源请求；

A2.将所述的多个数据资源共享方式设置为虚拟集群共享；

A3.将多个服务引擎连接于所述的数据资源；

A4.所述的多个服务引擎通过网络实现对同一数据资源的输入/输出。

在本发明所述的基于集群技术的并行数据共享方法中，所述多个数据资源，具体是：卷、文件、锁机制。

在本发明所述的基于集群技术的并行数据共享方法中，所述步骤A1包括：设定每个客户端请求被多个引擎监听和响应。

在本发明所述的基于集群技术的并行数据共享方法中，所述的步骤A3包括：所述的多个服务引擎之间通过hash算法实现元数据、服务状态数据的内存级实时同步。

本发明公开了一种基于集群技术的并行数据共享装置，用于实现上述的方法，包括：

并行化设置单元，用于并行化设置客户端多个数据资源请求；

集群共享设置单元，与所述的并行化设置单元相连，用于将所述的多个数据资源共享方式设置为虚拟集群共享；

服务引擎连接单元，与所述的集群共享设置单元相连，用于将多个服务引擎连接于所述的数据资源；

共享实现单元：与所述的服务引擎连接单元相连，用于所述的多个服务引擎通过网络实现对同一数据资源的输入/输出。

在本发明所述的基于集群技术的并行数据共享装置中，所述多个数据资源，具体是：卷、文件、锁机制，所述的卷包括多个文件。

在本发明所述的基于集群技术的并行数据共享装置中，所述的多个服务引擎针对同一卷利用多套计算，内存和网络通道资源实现并发的资源输入/输出控制。

在本发明所述的基于集群技术的并行数据共享装置中，所述的多个服务引擎针对同一文件利用多套计算，内存和网络通道资源实现并发的资源输入/输出控制。

在本发明所述的基于集群技术的并行数据共享装置中，所述的多个服务引擎之间通过hash算法实现元数据、服务状态数据的内存级实时同步。

本发明公开了一种基于集群技术的并行数据共享系统，包括多个客户端、多个服务器、数据存储单元以及数据通讯网络，所述的多个客户端通过所述的通讯网络与所述的多个服务器以及所述的数据存储单元依次连接，还包括上述的一种基于集群技术的并行数据共享装置。

在本发明所述的基于集群技术的并行数据共享系统中，所述的数据通讯网络为以太网。

实施本发明的一种基于集群技术的并行数据共享装置方法和装置以及系统，具有以下有益的技术效果：

可广泛应用于高性能计算、网站、云存储、云计算、大型企业数据中心等各类IT架构或应用中的共享式数据访问；

数据共享具有更高的可靠性、扩展性和性能，可较好解决云计算、数据中心等海量数据环境下的存储和共享访问问题。

附图说明

图1是本发明实施例一种基于集群技术的并行数据共享方法流程图；

图2为本发明实施例一种基于集群技术的并行数据共享装置模块方框图；

图3为本发明实施例一种基于集群技术的并行数据共享系统结构图；

图4a为现有技术一种基于集群技术的并行数据共享系统数据流示意图；

图4b为本发明实施例一种基于集群技术的并行数据共享系统数据流示意图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

集群(Cluster)技术是指一组相互独立的计算机，利用高速通信网络组成一个计算机系统，每个群集节点(即集群中的每台计算机)都是运行其自己进程的一个独立服务器。这些进程可以彼此通信，对网络客户机来说就像是形成了一个单一系统，协同起来向用户提供应用程序、系统资源和数据，并以单一系统的模式加以管理。一个客户端(Client)与集群相互作用时，集群像是一个独立的服务器。

计算机集群技术的出发点是为了提供更高的可用性、可管理性、可伸缩性的计算机系统。一个集群包含多台拥有共享数据存储空间的服务器，各服务器通过内部局域网相互通信。当一个节点发生故障时，它所运行的应用程序将由其他节点自动接管。在大多数模式下，集群中所有的节点拥有一个共同的名称，集群内的任一节点上运行的服务都可被所有的网络客户所使用。

集群的特点

1.提供强大处理能力的高性能计算机系统：计算机集群可以通过负载均衡、并行处理、时间片处理等多种形式，将多台计算机形成高性能计算机集群。对用户端(Client)而言，计算机集群则是一个单一的系统，可以为用户提供高性能的计算机系统，而用户不用关心有多少计算机承担了系统实现的任务，而只需要关注系统的整体处理能力。因此，计算机集群可以用多台普通性能的计算机组成具有高性能的计算机系统，承担只有超级计算机才能胜任的工作。

2.提供高可用性的计算机系统：通过计算机集群技术组成的系统，可以确保数据和应用程序对最终用户的高可用性，而不管故障属于什么类型。即当计算机集群中的节点计算机出现软硬件故障的时候，高可用性集群提供了对软件和硬件失败后的接替。它将服务器镜像到备用系统或节点中，当主节点上的系统崩溃时，冗余节点就从替补角色转换到正式角色，并自动投入应用，从而保证了系统运行的不间断。

3.系统具有很强的可伸缩性：在系统的处理能力需要增加的时候，除了通过增加集群中每个计算机节点的单机处理能力(如通过增加CPU数量、增加内存大小等手段)外，还可以通过增加集群节点数，即通过向群集添加新的计算机节点，使服务随着处理器的添加而伸缩，从而增大应用程序吞吐量，以达到增加系统的整体处理能力的目的，完成系统的扩容。

请参阅图1，一种基于集群技术的并行数据共享方法，包括：

A1.并行化设置客户端多个数据资源请求；

所述多个数据资源，具体是：卷、文件、锁机制。步骤A1包括：设定每个客户端请求被多个引擎监听和响应。

A2.将所述的多个数据资源共享方式设置为虚拟集群共享；

基于集群技术的并行数据共享方式是对传统NAS共享方式的创新，通过对卷管理、文件管理、锁机制的并行化改造，将共享服务虚拟为集群，形成一种分布式逻辑资源。

A3.将多个服务引擎连接于所述的数据资源；

基于集群技术的并行数据共享方式充分借鉴了NAS方式的标准化、客户端接入方便和基于以太网的成本优势，融合了多节点并行集群技术、利用多个节点(最高可达64个)同时对外提供共享服务，可发挥SAN文件系统+存储实现方式的可靠性和性能，步骤A3包括：所述的多个服务引擎之间通过hash算法实现元数据、服务状态数据的内存级实时同步。

利用多个服务引擎针对同一个卷甚至同一个文件利用多套计算、内存和网络通道资源实现并发的资源输入输出控制，线性提高整体的数据吞吐和共享服务性能，不同的客户端可通过同一个逻辑IP进行网络数据访问，后台程序会自动在不同的服务引擎进行均衡处理；资源并行处理的最小粒度可实现连接级，即可设定每个业务端请求都同时被两个甚至更多个服务引擎监听和响应，由于步骤A3中多个服务引擎之间通过弹性hash算法进行元数据、服务状态数据的内存级实时了同步，因此，任何一个服务引擎的故障，只需要秒级的快速切换。

请参阅图2，一种基于集群技术的并行数据共享装置，用于实现上述的方法，包括：并行化设置单元10、集群共享设置单元20、服务引擎连接单元30、共享实现单元40。并行化设置单元10，用于并行化设置客户端多个数据资源请求；集群共享设置单元20，与并行化设置单元10相连，用于将所述的多个数据资源共享方式设置为虚拟集群共享；服务引擎连接单元30，与集群共享设置单元20相连，用于将多个服务引擎连接于所述的数据资源；共享实现单元40：与服务引擎连接单元30相连，用于所述的多个服务引擎通过网络实现对同一数据资源的输入/输出。

进一步地，所述多个数据资源，具体是：卷、文件、锁机制，所述的卷包括多个文件；所述的多个服务引擎针对同一卷甚至同一文件利用多套计算，内存和网络通道资源实现并发的资源输入/输出控制；所述的多个服务引擎之间通过hash算法实现元数据、服务状态数据的内存级实时同步。

请参阅图3、一种基于集群技术的并行数据共享系统，包括多个客户端10、多个服务器30、数据存储单元40以及数据通讯网络20，多个客户端10通过通讯网络20与多个服务器30以及数据存储单元40依次连接，还包括上述的一种基于集群技术的并行数据共享装置。

进一步地，所述的数据通讯网络20为以太网。

关于本基于集群技术的并行数据共享系统的工作过程，说明如下：

请参阅图4a，现有技术一种基于集群技术的并行数据共享系统，共中一个客户端10通过以太网20向其中一个服务器30发起数据请求，要求存取存储单元40中的数据，但是，该服务器出现了故障，数据共享和存取服务将停止.图中以“X”表示。该客户端10只得转向其它的服务器30存取数据，这是因为：NAS设备本身是单节点结构，NAS设备自身是单点故障，一旦该设备故障，数据共享和存取服务将停止，即使是互备双节点(Active-Standby)冗余结构，也需要几分钟的NAS共享应用切换时间，甚至需要客户端10需要重新发起连接，对于关键业务，往往是不可接受的。

请参阅图4b，本发明实施例，一种基于集群技术的并行数据共享系统，其数据流为：一个客户端10通过以太网20向其中一个服务器30发起数据请求，要求存取存储单元40中的数据A，图中以较粗的虚线表示，由于采用了本发明的基于集群技术的并行数据共享装置，此时，存储单元40可以与多个服务器30建立连接，从而路路畅通，如图中较细的虚线所示，即是：多个服务器30针对同一卷甚至同一文件利用多套计算，内存和网络通道资源实现并发的资源输入/输出控制，这样，实现一种更为灵活和高效的并行数据共享实现方法，形成一套高性能、高扩展的云存储结构体系，克服传统数据共享方式数据规模和扩展性差、性能一般、可靠性欠佳的缺陷。

数据共享具有更高的可靠性、扩展性等性能，可较好解决云计算、数据中心等海量数据环境下的存储和共享访问问题。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种基于集群技术的并行数据共享方法，其特征在于，包括：

A1.并行化设置客户端多个数据资源请求；

A2.将所述的多个数据资源共享方式设置为虚拟集群共享；

A3.将多个服务引擎连接于所述的数据资源；

2.根据权利要求1所述的基于集群技术的并行数据共享方法，其特征在于，所述多个数据资源，具体是：卷、文件、锁机制。

3.根据权利要求1所述的基于集群技术的并行数据共享方法，其特征在于，所述步骤A1包括：设定每个客户端请求被多个引擎监听和响应。

4.根据权利要求1所述的基于集群技术的并行数据共享方法，其特征在于，所述的步骤A3包括：所述的多个服务引擎之间通过hash算法实现元数据、服务状态数据的内存级实时同步。

5.一种基于集群技术的并行数据共享装置，用于实现权利要求1所述的方法，其特征在于，包括：

6.根据权利要求5所述的基于集群技术的并行数据共享装置，其特征在于，所述多个数据资源，具体是：卷、文件、锁机制，所述的卷包括多个文件。

7.根据权利要求6所述的基于集群技术的并行数据共享装置，其特征在于，所述的多个服务引擎针对同一卷利用多套计算，内存和网络通道资源实现并发的资源输入/输出控制。

8.根据权利要求6所述的基于集群技术的并行数据共享装置，其特征在于，所述的多个服务引擎针对同一文件利用多套计算，内存和网络通道资源实现并发的资源输入/输出控制。

9.根据权利要求5所述的基于集群技术的并行数据共享装置，其特征在于，所述的多个服务引擎之间通过hash算法实现元数据、服务状态数据的内存级实时同步。

10.一种基于集群技术的并行数据共享系统，包括多个客户端、多个服务器、数据存储单元以及数据通讯网络，所述的多个客户端通过所述的通讯网络与所述的多个服务器以及所述的数据存储单元依次连接，其特征在于，还包括权利要求5所述的一种基于集群技术的并行数据共享装置。

11.根据权利要求10所述的基于集群技术的并行数据共享系统，其特征在于，所述的数据通讯网络为以太网。