CN1474275A - 基于虚拟存储的智能网络存储设备的系统 - Google Patents

基于虚拟存储的智能网络存储设备的系统 Download PDF

Info

Publication number
CN1474275A
CN1474275A CNA021276285A CN02127628A CN1474275A CN 1474275 A CN1474275 A CN 1474275A CN A021276285 A CNA021276285 A CN A021276285A CN 02127628 A CN02127628 A CN 02127628A CN 1474275 A CN1474275 A CN 1474275A
Authority
CN
China
Prior art keywords
resource
virtual
network
network storage
storage equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA021276285A
Other languages
English (en)
Other versions
CN1258145C (zh
Inventor
鲁 许
许鲁
张建刚
韩晓明
范中磊
张瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Blue Whale Information Technology Co ltd
Tianjin Zhongke Bluewhale Information Technology Co ltd
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CNB021276285A priority Critical patent/CN1258145C/zh
Publication of CN1474275A publication Critical patent/CN1474275A/zh
Application granted granted Critical
Publication of CN1258145C publication Critical patent/CN1258145C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

一种基于虚拟存储的智能网络存储设备的系统，包括：智能虚拟路由装置，用于支持虚拟资源到网络存储设备的映射和多个网络存储设备之间的负载平衡；全局资源管理装置，用于在多个网络存储设备存储资源。的统一分配和管理；网络存储设备，用于存储海量的物理存储资源和计算资源。本发明通过网络存储设备内部和之间的负载平衡可以发挥出所有设备综合的服务性能，虚拟存储提高了存储设备和资源的利用效率和可管理性，全局的资源管理保证了存储容量的可扩展性和I/O性能的可扩展性。

Description

基于虚拟存储的智能网络存储设备的系统
技术领域
本发明涉及信息技术领域，特别涉及一种基于虚拟存储的智能海量网络存储设备的系统。
背景技术
网络存储设备系统是海量数据信息的载体，它主要应用在网络存储环境中，通过网络向外部提供高可用的、高性能的数据服务。目前，在网络存储设备领域领先的是XIOtech公司的MAGNITUDE系统。
如图1所示，MAGNITUDE的虚拟存储结构是将存储设备中的多个物理磁盘组织成多个虚拟磁盘提供给用户使用。每个虚拟磁盘可以包含多个物理磁盘的部分或全部存储空间，并可以定义成不同的类型，如RAID0，RAID0+1等。用户可以定义虚拟磁盘的容量和类型并象使用物理磁盘一样使用虚拟磁盘，而不必关心具体的物理存储结构。用户可以方便的扩展虚拟磁盘的容量且不必关心存储的内容。
MAGNITUDE虚拟存储结构最大的优点是为用户提供了易于理解的方便的管理存储系统的接口。但是，由于其虚拟磁盘存储与物理存储是一一对应的(物理存储的分配和配置是在虚拟磁盘定义时完成的)，因此不可避免存在以下问题：
1当一个虚拟磁盘写满，其它虚拟磁盘使用很少而系统没有可用物理资源时，空闲存储资源没有被有效的利用。
2由于网络设备对外的接口是虚拟磁盘，用户对某个虚拟磁盘的访问将被绑定在此虚拟磁盘所映射的物理存储，当其负载过重时，无法把负载转移到其他的虚拟磁盘。这是存储设备内部的负载平衡问题。
3这种结构没有涉及到多个存储设备资源共享和负载平衡的问题。
发明内容
本发明的目的在于，提供一种基于虚拟存储的智能网络存储设备的系统，解决现有系统存在物理存储资源使用效率低和多个存储设备之间资源共享与负载平衡的问题。
为实现上述目的，基于虚拟存储的智能网络存储设备的系统，包括：
智能虚拟路由装置，用于支持虚拟资源到网络存储设备的映射和多个网络存储设备之间的负载平衡；
全局资源管理装置，用于在多个网络存储设备存储资源的统一分配和管理；
网络存储设备，用于存储海量的物理存储资源和计算资源。
本发明通过网络存储设备内部和之间的负载平衡可以发挥出所有设备综合的服务性能，虚拟存储提高了存储设备和资源的利用效率和可管理性，全局的资源管理保证了存储容量的可扩展性和I/O性能的可扩展性。
附图说明
图1是现有技术的结构图。
图2是本发明的逻辑结构图。
具体实施方式
如图2所示，本发明包括智能虚拟路由，全局资源管理，网络存储设备，通过网络向外部提供数据服务。外部通过智能虚拟路由访问网络存储设备，网络存储设备将数据和处理结果直接返回给外部。
在系统中，智能虚拟路由负责将外部数据请求转发到相应的的网络存储设备。智能虚拟路由中有虚拟资源映射表(如表1)，描述了虚拟资源与网络设备的映射关系。通过查询这张表，智能虚拟路由可以定位外部请求数据(通过虚拟资源表示)所在的网络设备，从而完成转发功能。当资源映射关系变化时(增加、减少或改变)，全局资源管理通过存储路由更新协议更新智能虚拟路由的虚拟资源映射表，从而保证映射的正确性和完备性。
智能虚拟路由的另一个任务是和存储设备一起完成存储设备之间的资源和负载平衡。智能虚拟路由中有一张资源和负载表(如表2)，描述了网络设备物理资源和负载的情况。当外部请求资源时，智能虚拟路由查询这张表，根据存储设备的资源和负载情况，将资源请求发到相应的存储设备。从而完成对资源使用的平衡和负载的平衡。存储设备负责将自己的资源和负载情况反映在资源和负载表中，可以通过关掉和打开资源和负载表中的表项，如表2中设备1的2个表项被关闭，在资源分配时会更多的向设备2请求。这样，通过存储设备和智能虚拟路由的配合，可以灵活有效的完成对资源和负载的平衡，保证系统所有设备发挥综合的总体服务性能。
存储系统中，所有的存储设备使用统一的虚拟存储空间，虚拟存储空间的分配由全局资源管理完成。当某个网络存储设备需要新的虚拟存储资源，它向全局资源管理请求。根据资源分配的情况，全局资源管理为其分配新的虚拟存储空闲资源，并更新虚拟智能路由。虚拟存储空间的分配和回收是动态完成的，即需要时分配，不用时释放，从而保证虚拟存储空间使用的有效性。
网络存储设备将物理资源组织成资源组的形式向外部提供存储服务。资源组是具有相同属性的虚拟资源的集合，是对资源的一个完全划分。属性包括物理属性和用户属性。物理属性反映了物理介质的物理特性，用户属性反映用户相关特性。资源组可以跨多个网络存储设备。
整个系统向用户提供单一的虚拟磁盘接口和多个具有不同属性的资源组，如RAID0资源组，RAID5资源组等。资源组为用户提供了多种选择和使用空间的灵活性，用户可以根据自己的需求对资源组进行组织并在其上搭建自己的资源管理子系统。资源组为用户提供了一个资源使用的通用平台。
用户通过资源组来使用资源。当用户需要资源时，用户向系统申请空闲资源。根据用户的需求和资源的使用情况，系统在相应的资源组内分配虚拟资源并为其配置相应的物理资源(虚拟资源与物理资源的映射也可以在外部访问发生时完成，这样可以提高资源使用效率，但会降低系统服务性能)，然后将虚拟资源返回给用户。当用户资源过剩时，用户将空闲资源释放给系统，以便其它用户使用。当资源组内的虚拟资源不能满足分配要求时，网络存储设备向全局资源管理申请新的虚拟资源。两级的递进式资源分配、使用和释放(回收)使得系统具有很好的可扩展性和灵活性。系统给用户分配资源时，考虑了用户资源的使用情况以及物理资源的使用情况，当用户资源的申请频繁且消耗快时，为该用户分配的资源将逐渐增加。而且每次资源分配的资源数量相比磁盘容量小，这种少量多次并根据用户情况配给的分配策略使得系统可以充分利用物理资源，避免了大量的物理资源被少量用户占用的情况。
本发明通过系统中的负载平衡策略提供很好的并行访问性能。当某个资源组的负载过重时，首先这个资源组所在的存储设备将在智能虚拟路由的资源和负载表中关掉这个资源组的部分或全部资源请求路由(资源访问仍然正常工作)。这时，对此资源组的资源请求将转移到其他的资源组，从而将负载转移到其他的资源组。当此资源组负载下降到一定程度时，它会在智能虚拟路由的资源和负载表中打开自己部分或全部的资源请求路由，从而可以向外部提供资源服务。
存储设备中的负载平衡可以发生在一个存储设备内的物理介质之间和多个存储设备之间。对于一个负载过重的资源组，如果该资源组所在的存储设备负载不重，这个资源组会将它的负载转移到本存储设备的其他物理介质上，尽可能提供并行的访问服务；若此存储设备负载也很重，则将资源组的负载转移到负载较轻的其他存储设备上。此时资源组可能跨多个存储设备。可见，通过系统内的负载平衡策略可以很好的在存储设备内部和之间调节负载，从而得到很好的解决资源共享和访问性能的问题。
本发明具有很好的可管理性，用户见到的是简单的标准的磁盘接口，可以选择使用或不使用资源组。用户只需简单的配置网络存储设备，无需管理磁盘空间的划分，空间的扩展，资源的映射等。
 虚拟资源  所映射的设备
 block：10000-19999  10.10.20.20
 block：20000-29999  10.10.20.21
 block：30000-39999  10.10.20.22
 block：40000-49999  10.10.20.20
 inode：10000-49999  10.10.20.20
 inode：50000-99999  10.10.20.21
表1虚拟资源映射表
Figure A0212762800071
表2资源负载表

Claims (5)

1.一种基于虚拟存储的智能海量网络存储设备系统，包括：
智能虚拟路由装置，用于支持虚拟资源到网络存储设备的映射和多个网络存储设备之间的负载平衡；
全局资源管理装置，用于在多个网络存储设备存储资源的统一分配和管理；
网络存储设备，用于存储海量的物理存储资源和计算资源。
2.按权利要求1所述的系统，其特征在于所述的智能虚拟路由装置中包括资源和负载表。
3.按权利要求1所述的系统，其特征在于所述的网络存储设备包括物理磁盘和资源组。
4.按权利要求3所述的系统，其特征在于所述的资源组是相同属性的虚拟资源的集合。
5.按权利要求1所述的系统，其特征在于还包括整个系统向用户提供单一的虚拟磁盘接口和多个具有相同属性的资源组。
CNB021276285A 2002-08-06 2002-08-06 基于虚拟存储的智能网络存储设备的系统 Expired - Fee Related CN1258145C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB021276285A CN1258145C (zh) 2002-08-06 2002-08-06 基于虚拟存储的智能网络存储设备的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB021276285A CN1258145C (zh) 2002-08-06 2002-08-06 基于虚拟存储的智能网络存储设备的系统

Publications (2)

Publication Number Publication Date
CN1474275A true CN1474275A (zh) 2004-02-11
CN1258145C CN1258145C (zh) 2006-05-31

Family

ID=34143574

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB021276285A Expired - Fee Related CN1258145C (zh) 2002-08-06 2002-08-06 基于虚拟存储的智能网络存储设备的系统

Country Status (1)

Country Link
CN (1) CN1258145C (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100382051C (zh) * 2004-10-28 2008-04-16 富士通株式会社 虚拟存储器管理方法和设备
CN100423491C (zh) * 2006-03-08 2008-10-01 杭州华三通信技术有限公司 虚拟化网络存储系统及其网络存储设备
CN100458744C (zh) * 2004-05-11 2009-02-04 深圳市朗科科技股份有限公司 数据远程存储的方法及装置
CN100462933C (zh) * 2004-04-23 2009-02-18 松下电器产业株式会社 网络资源管理设备
CN100527744C (zh) * 2006-03-21 2009-08-12 华南理工大学 一种智能网络磁盘存储系统及其实现方法
CN101258725B (zh) * 2005-09-08 2011-04-13 国际商业机器公司 存储区域网络中的负载分布
CN103391212A (zh) * 2012-05-11 2013-11-13 中兴通讯股份有限公司 一种资源管理的容错方法和装置
WO2016070375A1 (zh) * 2014-11-06 2016-05-12 华为技术有限公司 一种分布式存储复制系统和方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100462933C (zh) * 2004-04-23 2009-02-18 松下电器产业株式会社 网络资源管理设备
CN100458744C (zh) * 2004-05-11 2009-02-04 深圳市朗科科技股份有限公司 数据远程存储的方法及装置
CN100382051C (zh) * 2004-10-28 2008-04-16 富士通株式会社 虚拟存储器管理方法和设备
CN101258725B (zh) * 2005-09-08 2011-04-13 国际商业机器公司 存储区域网络中的负载分布
US8612561B2 (en) 2006-03-08 2013-12-17 Hangzhou H3C Technologies Co., Ltd. Virtual network storage system, network storage device and virtual method
CN100423491C (zh) * 2006-03-08 2008-10-01 杭州华三通信技术有限公司 虚拟化网络存储系统及其网络存储设备
CN100527744C (zh) * 2006-03-21 2009-08-12 华南理工大学 一种智能网络磁盘存储系统及其实现方法
CN103391212A (zh) * 2012-05-11 2013-11-13 中兴通讯股份有限公司 一种资源管理的容错方法和装置
CN103391212B (zh) * 2012-05-11 2016-08-24 中兴通讯股份有限公司 一种资源管理的容错方法和装置
WO2016070375A1 (zh) * 2014-11-06 2016-05-12 华为技术有限公司 一种分布式存储复制系统和方法
CN106062717A (zh) * 2014-11-06 2016-10-26 华为技术有限公司 一种分布式存储复制系统和方法
CN106062717B (zh) * 2014-11-06 2019-05-03 华为技术有限公司 一种分布式存储复制系统和方法
US10713134B2 (en) 2014-11-06 2020-07-14 Huawei Technologies Co., Ltd. Distributed storage and replication system and method

Also Published As

Publication number Publication date
CN1258145C (zh) 2006-05-31

Similar Documents

Publication Publication Date Title
Lin et al. QoS-aware data replication for data-intensive applications in cloud computing systems
KR101502896B1 (ko) 맵 리듀스를 이용한 분산 메모리 클러스터 제어 장치 및 방법
US6715054B2 (en) Dynamic reallocation of physical storage
JP4139675B2 (ja) 仮想ボリュームの記憶領域割当方法、その装置及びプログラム
Zdonik et al. Are “disks in the air” just pie in the sky?
US8090924B2 (en) Method for the allocation of data on physical media by a file system which optimizes power consumption
CN100452046C (zh) 一种海量文件的存储方法及系统
US20030110263A1 (en) Managing storage resources attached to a data network
CN106656631B (zh) 在共享存储上实现逻辑卷动态分配的方法
CN101373445B (zh) 一种内存调度方法及装置
CN108183947A (zh) 分布式缓存方法及系统
CN106570113B (zh) 一种海量矢量切片数据云存储方法及系统
CN104731799A (zh) 内存数据库管理装置
CN101673271A (zh) 分布式文件系统及其文件分片方法
CN1258145C (zh) 基于虚拟存储的智能网络存储设备的系统
CN100437586C (zh) 一种用于共享存储的资源分配方法和分配系统
Gill et al. Dynamic cost-aware re-replication and rebalancing strategy in cloud system
US5761498A (en) Distribution file system for accessing required portion of file
CN105975345A (zh) 一种基于分布式内存的视频帧数据动态均衡存储管理方法
CN100527744C (zh) 一种智能网络磁盘存储系统及其实现方法
CN105354757A (zh) 电力数据集成处理系统
US20100299386A1 (en) Computer-based system comprising several nodes in a network
US7810097B2 (en) Priority analysis of access transactions in an information system
Sathya et al. Replication strategies for data grids
Park et al. Sized-based replacement-k replacement policy in data grid environments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: TIANJIN ZHONGKE BLUE WHALE INFORMATION TECHNOLOGY

Free format text: FORMER OWNER: INST. OF COMPUTING TECHN. ACADEMIA SINICA

Effective date: 20091211

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20091211

Address after: Tianjin New Technology Industrial Park Huayuan Industrial Park Haitai development 6 Road 6 green industrial base F 5 gate 201.

Patentee after: TIANJIN ZHONGKE BLUEWHALE INFORMATION TECHNOLOGY CO.,LTD.

Address before: No. 6 South Road, Zhongguancun Academy of Sciences, Beijing

Patentee before: Institute of Computing Technology, Chinese Academy of Sciences

ASS Succession or assignment of patent right

Owner name: BEIJING ZHONGKE BLUEWHALE INFORMATION TECHNOLOGY C

Effective date: 20140813

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140813

Address after: 300384 Tianjin Huayuan Industrial Park New Technology Industrial Park Development Road No. 6 6 Haitai green industry base building F 5 door No. 201

Patentee after: TIANJIN ZHONGKE BLUEWHALE INFORMATION TECHNOLOGY CO.,LTD.

Patentee after: Beijing Zhongke blue whale Information Technology Co.,Ltd.

Address before: 300384 Tianjin Huayuan Industrial Park New Technology Industrial Park Development Road No. 6 6 Haitai green industry base building F 5 door No. 201

Patentee before: TIANJIN ZHONGKE BLUEWHALE INFORMATION TECHNOLOGY CO.,LTD.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060531

Termination date: 20210806

CF01 Termination of patent right due to non-payment of annual fee