CN103731508A - 一种基于云存储的网络硬盘装置及其管理方法 - Google Patents

Abstract

本发明提出了一种能够简单实现基于云存储的网络硬盘装置及其管理方法。整个实现主要分为两部分，即服务器端和客户端的实现。根据Linux稳定高效，适合做服务器的特点，本文的服务器端主要在Linux环境下通过iSCSI协议，逻辑卷管理和NFS服务器实现，将分布在不同地方的空余存储空间虚拟成一块磁盘提供给客户端使用。客户端的实现则主要通过ASP.NET实现，能顺利完成新建、删除、移动文件夹，上传，下载，移动，删除，搜索文件的功能。

Description

一种基于云存储的网络硬盘装置及其管理方法

技术领域

本发明属于基于互连网络的数据交互领域，特别是涉及基于云存储的网络硬盘装置及其管理方法。

背景技术

近几年来，随着互联网不断地深入到人生活的每一部分，方便快捷地获取信息成为一个关键的因素，因此，云计算的概念被越来越多的互联网公司作为公司反战的核心战略来对待。作为信息的载体，存储设备的总要信不言而喻，但是在互联网飞速发展的大环境下，传统存储介质已经跟不上其发展步伐，显得抵消，冗余。因此，云存储的概念被越来越多地提及。

现在越来越多公司推出了旗下云存储服务，网络硬盘就是其中最重要的表现形式之一。现在世界知名的网络硬盘服务提供商有Dropbox，微软的Skydrive，苹果的iCloud，谷歌最新推出的Google Drive。所有这些软件都意在为用户提供便利的存储环境，使用户拜托传统硬盘的束缚，能随时随地的存取，共享信息和资料。

涉及云存储领域的相关技术有：

1.云计算

云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。

2.云存储

云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系.

统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

3.网络硬盘

网络硬盘是一些网络公司推出的在线存储服务。向用户提供文件的存储、访问、备份、共享等文件管理功能，使用起来十分方便。不花钱的移动硬盘。用户可以把网盘看成一个放在网络上的硬盘或U盘，不管你是在家中、单位或其它任何地方，只要你连接到因特网，你就可以管理、编辑网盘里的文件。

4.分布式文件系统

分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机／服务器模式。它主要可分为网络分布式系统(NFS)，Andrew分布式系统(AFS)和分布式文件系统(DFS)。

存储技术

5.传统的存储技术

在NAS，SAN等新的存储方式出现以前，存储产品大多作为服务器的组成部分之一，这种形式的存储被称为SAS(Server Attached Storage，服务器连接存储)或DAS(DirectAttached Storage，直接连接存储)。

直连式存储依赖服务器主机操作系统进行数据的IO读写和存储维护管理，数据备份和恢复要求占用服务器主机资源(包括CPU、系统IO等)，数据流需要回流主机再到服务器连接着的磁带机(库)，数据备份通常占用服务器主机资源20-30％，因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行，以免影响正常业务系统的运行。直连式存储的数据量越大，备份和恢复的时间就越长，对服务器硬件的依赖性和影响就越大。

直连式存储与服务器主机之间的连接通道通常采用SCSI连接，带宽为10MB／s、20MB／s、40MB／s、80MB／s等，随着服务器CPU的处理能力越来越强，存储硬盘空间越来越大，阵列的硬盘数量越来越多，SCSI通道将会成为IO瓶颈；服务器主机SCSI ID资源有限，能够建立的SCSI通道连接有限。

在DAS之后又诞生了许多新的存储技术，主要有NAS和SAN。

NAS(Network Attached Storage，网络附属存储)是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以便于对不同主机和应用服务器进行访问的技术。按字面简单说就是连接在网络上，具备资料存储功能的装置，因此也称为“网络存储器”。它是一种专用数据存储服务器。它以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本远远低于DAS(服务器存储)，而效率却远远高于后者。

SAN(Storage Area Network，存储区域网络)是一种高速网络或子网络，提供在计算机与存储系统之间的数据传输。存储设备是指一台或多台用以存储计算机数据的磁盘设备，通常指磁盘阵列。一个SAN网络由负责网络连接的通信结构、负责组织连接的管理层、存储部件以及计算机系统构成，从而保证数据传输的安全性和力度。

典型的SAN是一个企业整个计算机网络资源的一部分。通常SAN与其它计算资源紧密集群来实现远程备份和档案存储过程。SAN支持磁盘镜像技术、备份与恢复、档案数据的存档和检索、存储设备间的数据迁移以及网络中不同服务器间的数据共享等功能。此外SAN还可以用于合并子网和NAS系统。

当前常见的可使用SAN技术，诸如IBM的光纤SCON，它是FICON的增强结构，或者说是一种更新的光纤信道技术。另外存储区域网络中也运用到高速以太网协议。SCSI和iSCSI是目前使用较为广泛的两种存储区域网络协议。

虚拟存储

虚拟存储的分类

目前虚拟存储的发展尚无统一标准，从虚拟化存储的拓扑结构来讲主要有两种方式：即对称式与非对称式。对称式虚拟存储技术是指虚拟存储控制设备与存储软件系统、交换设备集成为一个整体，内嵌在网络数据传输路径中；非对称式虚拟存储技术是指虚拟存储控制设备独立于数据传输路径之外。从虚拟化存储的实现原理来讲也有两种方式；即数据块虚拟与虚拟文件系统。具体如下：

1.对称式虚拟存储

存储控制设备High Speed Traffic Directors(HSTD)与存储池子系统StoragePool集成在一起，组成SAN Appliance。可以看到在该方案中存储控制设备HSTD在主机与存储池数据交换的过程中起到核心作用。该方案的虚拟存储过程是这样的：由HSTD内嵌的存储管理系统将存储池中的物理硬盘虚拟为逻辑存储单元(LUN)，并进行端口映射(指定某一个LUN能被哪些端口所见)，主机端将各可见的存储单元映射为操作系统可识别的盘符。当主机向SAN Appliance写入数据时，用户只需要将数据写入位置指定为自己映射的盘符(LUN)，数据经过HSTD的高速并行端口，先写入高速缓存，HSTD中的存储管理系统自动完成目标位置由LUN到物理硬盘的转换，在此过程中用户见到的只是虚拟逻辑单元，而不关心每个LUN的具体物理组织结构。该方案具有以下主要特点：

(1)采用大容量高速缓存，显著提高数据传输速度。

缓存是存储系统中广泛采用的位于主机与存储设备之间的I／O路径上的中间介质。当主机从存储设备中读取数据时，会把与当前数据存储位置相连的数据读到缓存中，并把多次调用的数据保留在缓存中；当主机读数据时，在很大几率上能够从缓存中找到所需要的数据。

直接从缓存上读出。而从缓存读取数据时的速度只受到电信号传播速度的影响(等于光速)，因此大大高于从硬盘读数据时盘片机械转动的速度。当主机向存储设备写入数据时，先把数据写入缓存中，待主机端写入动作停止，再从缓存中将数据写入硬盘，同样高于直接写入硬盘的速度

(2)多端口并行技术，消除了I／O瓶颈。

传统的FC存储设备中控制端口与逻辑盘之间是固定关系，访问一块硬盘只能通过控制它的控制器端口。在对称式虚拟存储设备中，SAN Appliance的存储端口与LUN的关系是虚拟的，也就是说多台主机可以通过多个存储端口(最多8个)并发访问同一个LUN；在光纤通道100MB／带宽的大前提下，并行工作的端口数量越多，数据带宽就越高。

(3)逻辑存储单元提供了高速的磁盘访问速度。

在视频应用环境中，应用程序读写数据时以固定大小的数据块为单位(从512byte到1MB之间)。而存储系统为了保证应用程序的带宽需求，往往设计为传输512byte以上的数据块大小时才能达到其最佳I／O性能。在传统SAN结构中，当容量需求增大时，唯一的解决办法是多块磁盘(物理或逻辑的)绑定为带区集，实现大容量LUN。在对称式虚拟存储系统中，为主机提供真正的超大容量、高性能LUN，而不是用带区集方式实现的性能较差的逻辑卷。与带区集相比，Power LUN具有很多优势，如大块的I／O block会真正被存储系统所接受，有效提高数据传输速度；并且由于没有带区集的处理过程，主机CPU可以解除很大负担，提高了主机的性能。

(4)成对的HSTD系统的容错性能。

在对称式虚拟存储系统中，HSTD是数据I／O的必经之地，存储池是数据存放地。由于存储池中的数据具有容错机制保障安全，因此用户自然会想到HSTD是否有容错保护。象许多大型存储系统一样，在成熟的对称式虚拟存储系统中，HSTD是成对配制的，每对HSTD之间是通过SAN Appliance内嵌的网络管理服务实现缓存数据一致和相互通信的。

(5)在SAN Appliance之上可方便的连接交换设备，实现超大规模Fabric结构的SAN。

因为系统保持了标准的SAN结构，为系统的扩展和互连提供了技术保障，所以在SAN Appliance之上可方便的连接交换设备，实现超大规模Fabric结构的SAN。

2.非对称式虚拟存储系统

非对称式虚拟存储系统结构图中，网络中的每一台主机和虚拟存储管理设备均连接到磁盘阵列，其中主机的数据路径通过FC交换设备到达磁盘阵列；虚拟存储设备对网络上连接的磁盘阵列进行虚拟化操作，将各存储阵列中的LUN虚拟为逻辑带区集(Strip)，并对网络上的每一台主机指定对每一个Strip的访问权限(可写、可读、禁止访问)。当主机要访问某个Strip时，首先要访问虚拟存储设备，读取Strip信息和访问权限，然后再通过交换设备访问实际的Strip中的数据。在此过程中，主机只会识别到逻辑的Strip，而不会直接识别到物理硬盘。这种方案具有如下特点：

(1)将不同物理硬盘阵列中的容量进行逻辑组合，实现虚拟的带区集，将多个阵列控制器端口绑定，在一定程度上提高了系统的可用带宽。

(2)在交换机端口数量足够的情况下，可在一个网络内安装两台虚拟存储设备，

实现Strip信息和访问权限的冗余。

但是该方案存在如下一些不足：

(1)该方案本质上是带区集——磁盘阵列结构，一旦带区集中的某个磁盘阵列控制器损坏，或者这个阵列到交换机路径上的铜缆、GBIC损坏，都会导致一个虚拟的LUN离线，而带区集本身是没有容错能力的，一个LUN的损坏就意味着整个Strip里面数据的丢失。

(2)由于该方案的带宽提高是通过阵列端口绑定来实现的，而普通光纤通道阵列控制器的有效带宽仅在40MB／S左右，因此要达到几百兆的带宽就意味着要调用十几台阵列，这样就会占用几十个交换机端口，在只有一两台交换机的中小型网络中，这是不可实现的。

(3)由于各种品牌、型号的磁盘阵列其性能不完全相同，如果出于虚拟化的目的将不同品牌、型号的阵列进行绑定，会带来一个问题：即数据写入或读出时各并发数据流的速度不同，这就意味着原来的数据包顺序在传输完毕后被打乱，系统需要占用时间和资源去重新进行数据包排序整理，这会严重影响系统性能。

虚拟存储的实现方式

目前实现虚拟存储主要分为如下几种：

1.在服务器端的虚拟存储服务器厂商会在服务器端实施虚拟存储。同样，软件厂商也会在服务器平台上实施虚拟存储。这些虚拟存储的实施都是通过服务器端将镜像映射到外围存储设备上，除了分配数据外，对外围存储设备没有任何控制。服务器端一般是通过逻辑卷管理来实现虚拟存储技术。逻辑卷管理为从物理存储映射到逻辑上的卷提供了一个虚拟层。服务器只需要处理逻辑卷，而不用管理存储设备的物理参数。

用这种构建虚拟存储系统，服务器端是一性能瓶颈，因此在多媒体处理领域几乎很少采用。

2.在存储子系统端的虚拟存储

另一种实施虚拟的地方是存储设备本身。这种虚拟存储一般是存储厂商实施的，但是很可能使用厂商独家的存储产品。为避免这种不兼容性，厂商也许会和服务器、软件或网络厂商进行合作。当虚拟存储实施在设备端时，逻辑(虚拟)环境和物理设备同在一个控制范围中，这样做的益处在于：虚拟磁盘高度有效地使用磁盘容量，虚拟磁带高度有效地使用磁带介质。

在存储子系统端的虚拟存储设备主要通过大规模的RAID子系统和多个I／O通道连接到服务器上，智能控制器提供LUN访问控制、缓存和其他如数据复制等的管理功能。这种方式的优点在于存储设备管理员对设备有完全的控制权，而且通过与服务器系统分开，可以将存储的管理与多种服务器操作系统隔离，并且可以很容易地调整硬件参数。

3.网络设备端实施虚拟存储

网络厂商会在网络设备端实施虚拟存储，通过网络将逻辑镜像映射到外围存储设备，除了分配数据外，对外围存储设备没有任何控制。在网络端实施虚拟存储具有其合理性，因为它的实施既不是在服务器端，也不是在存储设备端，而是介于两个环境之间，可能是最“开放”的虚拟实施环境，最有可能支持任何的服务器、操作系统、应用和存储设备。从技术上讲，在网络端实施虚拟存储的结构形式有以下两种：即对称式与非对称式虚拟存储。

从目前的虚拟存储技术和产品的实际情况来看，基于主机和基于存储的方法对于初期的采用者来说魅力最大，因为他们不需要任何附加硬件，但对于异构存储系统和操作系统而言，系统的运行效果并不是很好。基于互联设备的方法处于两者之间，它回避了一些安全性问题，存储虚拟化的功能较强，能减轻单一主机的负载，同时可获得很好的可扩充性。

不管采用何种虚拟存储技术，其目的都使为了提供一个高性能、安全、稳定、可靠、可扩展的存储网络平台，满足节目制作网络系统的苛刻要求。根据综合的性能价格比来说，一般情况下，在基于主机和基于存储设备的虚拟存储技术能够保证系统的数据处理能力要求时，优先考虑，因为这两种虚拟存储技术构架方便、管理简单、维护容易、产品相对成熟、性能价格比高。在单纯的基于存储设备的虚拟存储技术无法保证存储系统性能要求的情况下，我们可以考虑采用基于互连设备的虚拟存储技术。

发明内容

基于上述大环境下，本发明提出了一种简单实现基于云存储的网络硬盘装置及其管理方法。整个实现主要分为两部分，即服务器端和客户端的实现。根据Linux稳定高效，适合做服务器的特点，本文的服务器端主要在Linux环境下通过iSCSI协议，逻辑卷管理和NFS服务器实现，将分布在不同地方的空余存储空间虚拟成一块磁盘提供给客户端使用。客户端的实现则主要通过ASP.NET实现，能顺利完成新建、删除、移动文件夹，上传，下载，移动，删除，搜索文件的功能。

本发明提出的基于云存储的网络硬盘装置，包括：

磁盘阵列，主机以及存储设备；所述磁盘阵列，主机以及存储设备通过iSCSI协议连接到处于网络路径中的存储服务器；

所述存储服务器将存储设备上的空余空间映射成为服务器上的本地磁盘以供使用；在存储服务器上运行的逻辑卷管理软件(LVM，Logical Volume Management)对映射的本地磁盘进行虚拟化管理；所述LVM首先把本地磁盘作为物理卷管理，然后创建用户卷组，并在用户卷组的基础上创建逻辑卷，最后将逻辑卷格式化为需要的文件系统；待整个逻辑卷格式化后，NFS服务器端把所述逻辑卷作为存储空间提供给NFS客户端使用；网络硬盘客户端通过TCP／IP协议连接到NFS客户端使用存储空间。

本发明提出的一种基于云存储的网络硬盘装置的管理方法，包括：

构建服务器端；所述服务器端包括：磁盘阵列，主机以及存储设备；所述磁盘阵列，主机以及存储设备通过iSCSI协议连接到处于网络路径中的存储设备服务器；存储设备服务器将存储设备上的空余空间映射成为服务器上的本地磁盘以供使用；之后，在存储服务器上运行的逻辑卷管理软件(LVM，Logical Volume Management)对映射的本地磁盘进行虚拟化管理；LVM首先把本地磁盘作为物理卷管理，然后创建用户卷组，并在用户卷组的基础上创建逻辑卷，最后将逻辑卷格式化为需要的文件系统；待整个逻辑卷格式化后，NFS服务器把这些逻辑卷作为存储空间提供给NFS客户端使用；网络硬盘客户端最终通过TCP／IP协议连接到NFS客户端使用存储空间；

构建网络硬盘客户端，所述网络硬盘客户端的操作流程为：打开登录页，选择登录或注册，经核对用户名密码无误或者填写信息后进入网络硬盘用户界面；通过网络硬盘用户界面，经由所述服务器端对文件进行操作；或者通过网络硬盘用户界面对数据库中的目录进行操作；操作完成后，返回登录页。其中，根据需要，服务器管理员随时通过增加或减少所述物理卷来控制逻辑卷的大小，整个过程无需重新格式化、分区。

附图说明

图1为对称式虚拟存储结构模型；

图2为对本地磁盘进行虚拟化管理的结构模型；

图3网络文件系统的结构模型；

图4为NFS与RPC服务及文件系统操作的相关性示意图；

图5为安装iSCSI target和iSCSI initiator的示意图；

图6为iSCSI target端的配置文件的一部分的示意图；

图7为存储设备的iSCSI target配置完成的示意图；

图8为iSCSI initiator发现目标并登录的示意图；

图9为iSCSI init iator端新增的磁盘信息的示意图；

图10为服务器的目录直接挂载到本地的目录的过程示意图；

图11-15为文件、目录操作测试过程示意图；

图16为网络硬盘客户端结构模型示意图；

图17网络硬盘客户端的操作流程图；

图18为用户登录、注册页面示意图；

图19为新建文件夹页面示意图；

图20-23为文件操作过程示意图。

具体实施方式

一、服务器端设计

整体功能

利用Linux操作系统中的iSCSI协议，逻辑卷管理和网络文件系统来实现对称式虚拟存储的功能，将网络中不同的主机，磁盘阵列，服务器等存储设备上的空余存储空间通过iSCSI协议集中到存储服务器上，以此来模拟云存储的概念，再通过逻辑卷管理将其虚拟成一整块磁盘。并将虚拟出的磁盘空间通过NFS服务器共享给具有NFS客户端的网络硬盘客户端软件挂载使用。

开发运行环境

操作系统：Ubuntu10.04

主机：HP Pavilion4

中央处理器：Intel?Core 2Duo CPU T58002.00GHz2.00GHz

内存：4.00GB

结构模型

由于设备条件的限制，本文只对网络硬盘的服务器端和客户端做一个简单的实现。在简单实现中，本文采用了建立在网络虚拟化基础上的对称方式实现服务器端。结构模型如图1所示。

磁盘阵列，主机等存储设备通过iSCSI协议连接到处于网络路径中的存储设备服务器。存储设备服务器上将存储设备上的空余空间映射成为服务器上的本地磁盘以供使用。之后，在存储服务器上运行的逻辑卷管理软件(LVM，Logical Volume Management)对映射的本地磁盘进行虚拟化管理。LVM首先把本地磁盘作为物理卷管理，然后创建用户卷组，并在用户卷组的基础上创建逻辑卷，最后将逻辑卷格式化为需要的文件系统后就可供使用了。根据需要，服务器管理员可以随时通过增加或减少物理卷来控制逻辑卷的大小，整个过程无需重新格式化、分区。待整个逻辑卷格式化后，NFS服务器就可以把这些逻辑卷作为存储空间提供给NFS客户端使用。网络硬盘客户端最终通过TCP／IP协议连接到NFS客户端使用存储空间。其结构模型如图2所示。

NFS服务器程序实现了访问接口模块的功能。逻辑卷管理(LVM)作为用户接口，是整个虚拟化功能实现的主要途径。LVM帮助管理员在一台服务器上实现所有存储设备的管理功能，达到了统一和方便管理的目的。iSCSI启动端负责发现有iSCSI目标端的存储设备，并通讯登陆该设备，获得设备的空余存储空间，实现了聚集存储设备上空闲存储空间的功能。

应用程序服务器和存储服务器通过NFS协议连接，而不是采用图2中类似存储服务器和存储设备连接的方法，利用了NFS协议文件级的数据同步和共享的功能。如果采用iSCSI协议，每个应用程序对存储设备直接进行块级访问，就可能造成冲突。例如程序A运行在一台服务器上，而程序B运行在另一台服务器上，如果没有文件级的同步能力，在A对某个数据块操作完成后，而B有可能也向这个数据块进行写操作，造成A的数据被覆盖。如果采用文件级的同步策略，A先向存储服务器申请对某个文件的操作，如果申请接收，就取得了所要操作的数据块的权限。当B电要对同一文件执行写操作时，存储服务器就会拒绝请求，从而防止数据被覆盖。NFS服务器安全性方面的功能很好地

在简单实现中，虚拟存储和云存储的概念还有一些差距，不能实现真正的云端操作，现在只能实现在Linux环境下的服务器部署。对称方式下的虚拟存储存在性能瓶颈，未来的发展方向是非对称式虚拟存储。

1.创建分区

使用分区工具(如：fdisk等)创建LVM分区，方法和创建其他一般分区的方式是一样的，区别仅仅是LVM的分区类型为8e。

2.创建物理卷

创建物理卷的命令为pvcreate，利用该命令将希望添加到卷组的所有分区或者磁盘创建为物理卷。将整个磁盘创建为物理卷的命令为：

#pvcreate ／dev／hdb

将单个分区创建为物理卷的命令为：

#pvcreate ／dev／hda5

3.创建卷组

创建卷组的命令为vgcreate，将使用pvcreate建立的物理卷创建为一个完整的卷组：#vgcreate web_document／dev／hda5 ／dev／hdb

vgcreate命令第一个参数是指定该卷组的逻辑名：web_document。后面参数是指定希望添加到该卷组的所有分区和磁盘。vgcreate在创建卷组web_document以外，还设置使用大小为4MB的PE(默认为4MB)，这表示卷组上创建的所有逻辑卷都以4MB为增量单位来进行扩充或缩减。由于内核原因，PE大小决定了逻辑卷的最大大小，4MB的PE决定了单个逻辑卷最大容量为256GB，若希望使用大于256G的逻辑卷则创建卷组时指定更大的PE。PE大小范围为8KB到512MB，并且必须总是2的倍数(使用-s指定，具体请参考man vgcreate)。

4.激活卷组

为了立即使用卷组而不是重新启动系统，可以使用vgchange来激活卷组：#vgchange -ay web_document

5.添加新的物理卷到卷组中

当系统安装了新的磁盘并创建了新的物理卷，而要将其添加到已有卷组时，就需要使用vgextend命令：

#vgextend web_document ／dev／hdc1

这里／dev／hdc1是新的物理卷。

6.从卷组中删除一个物理卷

要从一个卷组中删除一个物理卷，首先要确认要删除的物理卷没有被任何逻辑卷正在使用，就要使用pvdisplay命令察看一个该物理卷信息：

如果某个物理卷正在被逻辑卷所使用，就需要将该物理卷的数据备份到其他地方，然后再删除。删除物理卷的命令为vgreduce：

#vgreduce web_document ／dev／hda1

7.创建逻辑卷

创建逻辑卷的命令为lvcreate：

#lvcreate -L1500-n www1 web_document

该命令就在卷组web_document上创建名字为www1，大小为1500M的逻辑卷，并且设备入口为／dev／web_document／www1(web_document为卷组名，www1为逻辑卷名)。如果希望创建一个使用全部卷组的逻辑卷，则需要首先察看该卷组的PE数，然后在创建逻辑卷时指定：

#vgdisplay web_document|grep″TotalPE″TotalPE45230

#lvcreate -145230 web_document -n www1

8.创建文件系统

在创建了逻辑卷之后就可以将其格式化成目标文件系统。如果希望系统启动时自动加载文件系统，则还需要在／etc／fstab中添加内容：

／dev／web_document／www1／data／wwwrootreiserfsdefaults12

9.删除一个逻辑卷

删除逻辑卷以前首先需要将其卸载，然后删除：

#umount /dev/web_document/www1

#lvremove /dev/web_document/www1

lvremove--doyoureallywanttoremove″／dev／web_document／www1″?[y／n]：y

lvremove--doingautomaticbackupofvolumegroup″web_document″

lvremove--logicalvolume″／dev／web_document／www1″successfullyremoved

10.扩展逻辑卷大小

LVM提供了方便调整逻辑卷大小的能力，扩展逻辑卷大小的命令是lvextend：#lvextend -L12G ／dev／web_document／www1

lvextend--extendinglogicalvolume″／dev／web_document／www1″″to12GB

lvextend--doingautomaticbackupofvolumegroup″web_document″

lvextend--logicalvolume″／dev／web_document／www1″successfullyextended上面的命令就实现将逻辑卷www1的大小扩招为12G。

#lvextend -L +1G ／dev／web_document／www1

lvextend--extendinglogicalvolume″／dev／web_document／www1″to13GB

lvextend--doingautomaticbackupofvolumegroup″web_document″

lvextend--logicalvolume″／dev／web_document／www1″successfullyextended上面的命令就实现将逻辑卷www1的大小增加1G。

增加了逻辑卷的容量以后，就需要修改文件系统大小以实现利用扩充的空间。笔者推荐使用reiserfs文件系统来替代ext2或者ext3。因此这里仅仅讨论reiserfs的情况。Reisetfs文件工具提供了文件系统大小调整工具：resize_reiserfs。对于希望调整被加载的文件系统大小：

#resize_reiserfs -f ／dev／web_document／www1

一般建议最好将文件系统卸载，调整大小，然后再加载：

#umount /dev/web_document/www1

#resize_reiserfs ／dev／web_document／www1

#mount-treiserfs ／dev／web_document／www1／data／wwwroot对于使用ext2或ext3文件系统的用户可以考虑使用工具ext2resize。

11.减少逻辑卷大小

使用lvreduce即可实现对逻辑卷的容量，同样需要首先将文件系统卸载：#umount／data／wwwroot

#resize_reiserfs -s -2G ／dev／web_document／www1

#lvreduce -L -2G /dev/web_document/www1

#mount-treiserfs ／dev／web_document／www1／data／wwwroot

3.4.3网络文件系统(NFS)介绍

NFS就是Network File System的缩写，由Sun开发。它最大的功能就是可以通过网络让不同的机器、操作系统彼此共享文件。因此，也可以简单地把NFS看成一个分享文件的服务器。通过配置NFS服务器端，NFS客户端可以连接NFS服务器，并将NFS服务器上的目录挂载到本地。从本地端的机器来看，NFS服务器上的目录就成为了本地的一个磁盘分区，可以根据权限进行增、删、改、查、执行等操作，使用起来非常方便。其结构示意图如图3所示。

如图3所示，当在NFS服务器上配置好一个共享目录／home／sharefile后，其他的NFS客户端就可以将这个目录挂载到本地文件系统的某个挂载点，例如图中NFS client1的／home／data／sharefile／和NFS client 2的／mnt／nfs／sharefile就是两个不同的挂载点。无论是进入client1的／home／data／sharefile／目录还是进入client2的／mnt／nfs／sharefile／目录都可以看到NFS服务器系统内的／home／sharefile目录下的所有数据(在权限允许的情况下)。／home／data／sharefile和／mnt／nfs／sharefile就好像NFS客户端本地的一个硬盘分区，只要权限够用，就可以使用cp、cd、mv、rm等磁盘或文件相关的命令对其进行操作。

NFS支持的功能相当多，而不同的功能都会使用不同的程序来启动，没启动一个功能就会启用一些端口来传输数据，因此，NFS的功能所对应的端口才无法固定，而是采用随机取用一些未被使用的小于1024的端口来传输数据。但是，当客户端联机服务器的时候，随机的端口号会阻碍联机，因为客户端必须知道服务器的端口号才能进行数据传输。此时NFS就需要远程过程调用(RPC，Remote Procedure Call)服务。RPC最主要的功能就是指定每个NFS功能所对应的端口号，并且传递该信息给客户端，让客户端可以连接到正确的端口上去。当服务器启动NFS时会随机取用数个端口，并主动的向RPC注册，因此RPC可以知道每个端口对应的NFS功能，然后RPC固定使用port111来监听客户端的需求并应答客户端正确的端口。整个过程如图4所示。

图4.NFS与RPC服务及文件系统操作的相关性

由以上可知，NFS需要有RPC的协助才能成功提供服务，因此，NFS是RPC服务器的一种。不论是NFS服务器还是NFS客户端，需要使用NFS服务前，必须先开启RPC。

服务器配置

4.1iSCSI配置

首先在Ubuntu的命令行界面中使用apt-get命令安装iSCSI target和iSCSIinitiator，此命令需要root权限才能操作。依次输入apt-get install iscsitarget和apt-get install open-iscsi完成安装，如图5所示。在实际操作过程中，主机，磁盘阵列等存储设备上需要安装iSCSI target，iSCSI服务器端安装iSCSI initiator。

4.1.1配置iSCSI target

在存储设备上安装完iSCSI target之后就需要配置target。用vi编辑配置文件／etc／ietd.conf，在配置文件ietd.conf中包含了主机的target信息。默认文件中没有任何有效的配置信息，注意事项都是以加#号备注的方式添加在文件中的。首先修改target的名字iqn，它必须是唯一的。本文把存储设备target名称设为iqn.2011-04.com.example：hkx。接着配置存储设备的逻辑单元号(Logical Unit Number，LUN)，也就是target可以提供的存储空间。格式如下：

Lun 0 Path=directory，Type=fileio

其中大小写字母不能改变，LUN必须从0号开始，directory是存储设备可以提供的磁盘，分区，或大型系数文件。本文的配置如图6所示。

在这之后就保存退出，iSCSI target端得简单配置就完成了。如果想继续深入配置，iSCSI还提供了身份验证信息，CHAP协议等配置参数可以加强数据传输的安全性。

创建系数文件可以用以下命令：

dd if=／dev／zero f=filename count=0 bs=1 seek=size

其中filename是生成的稀疏文件的名字，size是稀疏文件的大小，当所有共享文件，分区，磁盘都创建完成后，就可以开始使用iSCSI target服务了，用如下命令启动：

／etc／init.d／iscsitarget start

如果是首次配置，就会出现错误提示。只要用vi编辑／et／default／iscsitarget，把其中的enabled由false改成true就可以了，然后重新启动iscsitarget，当出现如图7信息的时候，就说明存储设备的iSCSI target配置完成并成功启动了。

iSCSI initiator连接target

iSCSI initiator端并不需要修改配置文件，只要启动服务就可以使用，但是本文在实验中就碰到了麻烦，在配置文件全部正确的情况下，iSCSI initiator就是无法发现iSCSI target。在重新启动open-iscsi的时候，系统出现如下文字提示：

／etc／init.d／open-iscsi restart

*Disconnecting iSCSI targets[OK]

*Stopping iSCSI initiator service[OK]

*Starting iSCSI initiator service iscsid[OK]

ln：target`／lib／init／rw／sendsigs.omit.d／′is not a directory：No such fileor directory*Setting up iSCSI targets

其中第五行表示在／lib／init／rw／sendsigs.omit.d／不是一个目录，这就是试验中iSCSi initiator一直不能发现target的主要原因，通过实验不同方法，本文可以确认只要简单收到创建这个目录就可以较好地解决这一问题。但是sendsigs.omit.d不只是open-iscsi需要用到，还有许多开源软件也要用到这个目录，所以，缺少此目录应该是一个明显的bug。

在解决了上述问题后，就可以成功连接target了。使用如下命令：iscsiadm-mdiscovery-t sendtargets-p ip：3260

上述命令是用来发现target的，一般使用端口号3260，ip就是存储设备的ip地址。然后使用命令登录：

iscsiadm-m node-l

成功登陆后使用命令fdisk-l就可以看到从target处获得的存储设备的信息，整个过程如图8，图9所示。

从图9中可以看到，iSCSI initiator端增加了上文target端存储设备提供的／dev／sdb和／dev／sdc两个新的分区，这就是iSCSI initiator端从target端获得的存储空间。至此iSCSI协议相关的配置工作就完成了。但是服务器上的存储空间还不能被客户端使用，这就需要配置NFS服务器来帮助实现这一功能。

NFS客户端联机

在客户端上安装portmap和NFS客户端之后，就可以进行联机了，不需要额外的配置，使用起来非常方便。在实验中服务器的IP地址是210.30.105.228，客户端的IP地址是210.30.105.128。

首先启动portmap，然后使用showmount命令查看服务器上提供的共享目录：showmount-e serverIP

选择好目录之后只要客户端拥有权限，就可以把服务器的目录直接挂载到本地的目录中，服务器目中的内容就会和本地目录中的内容一摸一样，根据权限的不同，可以对服务器共享目录中的文件和目录进行增、删、改、查、执行等操作。整个操作过程如图10所示。如图10所示，进入挂载目录后，所显示的内容已经是NFS服务器上的挂载目录中的内容了，表示联机成功，整个NFS的配置完成。如果需要进一步考虑服务器的安全性，可以使用iptable或／etc／hosts.allow，／etc／hosts.deny文件作大规模的安全性部署。

4.4测试

配置完NFS后，整个服务器端的配置就全部完成了，尽管只是一个简单的服务器，还是需要进行测试，测试主要包括，在挂载目录下新建目录、文件，删除目录、文件，移动文件，复制文件，执行文件以及数据传输的速率等。

4.4.1文件、目录操作测试

文件、目录操作测试如图11-15所示。其中，图11示出了新建、删除目录clientnewfolder的过程，图12示出了服务器上对应于图11操作的变化，图13示出了剪切服务器文件“驯龙高手番外篇”到本地的过程，图14示出了服务器上对应图13操作的变化，图15示出了从本地上传服务器文件“驯龙高手番外篇”的过程。

经过测试，客户端能顺利从服务器上下载文件，上传文件到服务器，在服务器挂载目录新建、删除目录或文件夹，达到了网络硬盘所需的功能。

二、网络硬盘客户端设计与实现

5.1整体功能

本文只对网络硬盘客户端做一个简单的实现，它将具备网络硬盘的最基本功能，包括上传文件，下载文件，删除文件，新建文件夹，移动文件和文件夹，搜索文件等。

5.2开发运行环境

操作系统：Windows 7 Ultimate

数据库系统：Microsoft SQL Server2008主机：HP Pavilion 4

中央处理器：Intel？Core 2Duo CPU T58002.00GHz2.00GHz内存：4.00GB

开发环境：Visual Studio2010

5.3功能结构模型

功能结构模型如图16所示。

整个客户端的操作流程图如图17所示，首先登陆主页面，用户根据是否拥有账户选择登录或者注册。登录、注册成功后进入用户界面，进入用户界面是登录用户的根目录，界面会显示根目录中存在的文件夹和文件。用户可以根据需要新建、删除、移动文件夹，也可以上传、下载、删除、移动、搜索文件。当用户操作完希望里开始，只要简单地关闭推出就可以了。

客户端测试

测试效果

介于测试软件的性质，主要采取黑盒测试的方式，通过不同的操作来检测整个客户端是不是有效运行。

用户登录注册

用户登录和注册的测试主要测试是否能登陆成功，是否能将注册信息加入数据库，具体界面和操作如下图18所示，经测试，整个登录部分的功能完整有效，没有出现错误。

文件夹操作

根文件夹相关的功能有移动文件夹，新建文件夹，删除文件夹，经过测试，各个功能都能正常使用，只不过当文件夹中有文件时不能删除文件夹，必须在文件夹内容清空后才能删除。如图19所示。

文件操作

文件操作测试主要包括文件上传，文件下载，文件删除，文件搜索和文件移动，其中文件上传需要点击文件夹，文件下载可以用浏览器自带的下载工具或者其他第三方下载工具，文件搜索主要用的是数据库总的搜索功能，文件移动可以提供批量移动文件道不同文件夹的功能。如图20-23所示。

测试，文件夹和文件的操作全部都能实现，用户登录和注册的功能也都能顺利使用，整个网络硬盘客户端的简单实现达到预期要求。

至此，上述描述已经详细的说明了本发明。然而，前文描述的实施例仅仅只是本发明的优选实施例，其并非用于限定本发明。本领域技术人员在不脱离本发明精神的前提下，可对本发明做任何的修改，而本发明的保护范围由所附的权利要求来限定。

Claims (3)

1.一种基于云存储的网络硬盘装置，包括：

磁盘阵列，主机以及存储设备；所述磁盘阵列，主机以及存储设备通过iSCSI协议连接到处于网络路径中的存储服务器；

所述存储服务器将存储设备上的空余空间映射成为服务器上的本地磁盘以供使用；在存储服务器上运行的逻辑卷管理软件(LVM，Logical Volume Management)对映射的本地磁盘进行虚拟化管理；所述LVM首先把本地磁盘作为物理卷管理，然后创建用户卷组，并在用户卷组的基础上创建逻辑卷，最后将逻辑卷格式化为需要的文件系统；待整个逻辑卷格式化后，NFS服务器端把所述逻辑卷作为存储空间提供给NFS客户端使用；网络硬盘客户端通过TCP／IP协议连接到NFS客户端使用存储空间。

2.一种基于云存储的网络硬盘装置的管理方法，其特征在于：

构建服务器端；所述服务器端包括：磁盘阵列，主机以及存储设备；所述磁盘阵列，主机以及存储设备通过iSCSI协议连接到处于网络路径中的存储设备服务器；存储设备服务器将存储设备上的空余空间映射成为服务器上的本地磁盘以供使用；之后，在存储服务器上运行的逻辑卷管理软件(LVM，Logical Volume Management)对映射的本地磁盘进行虚拟化管理；LVM首先把本地磁盘作为物理卷管理，然后创建用户卷组，并在用户卷组的基础上创建逻辑卷，最后将逻辑卷格式化为需要的文件系统；待整个逻辑卷格式化后，NFS服务器把这些逻辑卷作为存储空间提供给NFS客户端使用；网络硬盘客户端最终通过TCP／IP协议连接到NFS客户端使用存储空间；

构建网络硬盘客户端，所述网络硬盘客户端的操作流程为：

打开登录页，选择登录或注册，经核对用户名密码无误或者填写信息后进入网络硬盘用户界面；

通过网络硬盘用户界面，经由所述服务器端对文件进行操作；或者通过网络硬盘用户界面对数据库中的目录进行操作；

操作完成后，返回登录页。

3.如权利要求2所述的一种基于云存储的网络硬盘装置的管理方法，其特征在于：根据需要，服务器管理员随时通过增加或减少所述物理卷来控制逻辑卷的大小，整个过程无需重新格式化、分区。

Images