CN1416062A - 一种计算机网络上存储介质资源的聚集方法 - Google Patents
一种计算机网络上存储介质资源的聚集方法 Download PDFInfo
- Publication number
- CN1416062A CN1416062A CN02135064A CN02135064A CN1416062A CN 1416062 A CN1416062 A CN 1416062A CN 02135064 A CN02135064 A CN 02135064A CN 02135064 A CN02135064 A CN 02135064A CN 1416062 A CN1416062 A CN 1416062A
- Authority
- CN
- China
- Prior art keywords
- resources
- storage media
- file
- storage
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种计算机网络上存储介质资源的聚集方法，包括以下步骤：a)将网络上的具有闲置空间的各存储介质资源在一台联网的计算机上以存储介质资源列表的结构进行注册，形成一个虚拟的存储介质聚合体，该计算机存储介质资源管理中心；b)将需要存储的文件拷贝到存储介质聚合体上，存储介质资源管理中心根据存储的文件将该文件存储在本地或对该文件进行裁剪并设置文件属性信息，裁剪后把该文件内容迁移到网络上相应的注册存储介质上，同时在本地保留一个仅包含文件属性信息文件副本；c)根据文件裁剪时设置的文件属性信息对存储介质资源的存储文件进行相应的访问。本发明能集中管理网络上存储介质资源，提高存储介质资源的利用率，并且降低存储成本。
Description
技术领域
本发明涉及一种计算机网络上存储介质资源的聚集方法。
背景技术
现有的用于数据存储的存储系统都是以主机为中心的，通过在主机上外挂磁盘阵列，光盘库，磁带库等来扩充存储的容量，每个主机单独管理属于自己的存储介质资源，由此形成了一个一个的“信息孤岛”，这些“信息孤岛”相互隔离，造成管理上的困难，而且用户投资的存储设备的利用率很低，造成了存储空间的浪费；每个设备上存储的数据只是通过网络上的设备连接，使存储的数据资源共享出来以供其他用户访问。随着网络上需要存储的数据越来越多，网络上存储介质资源也不断增加，如何对存储的数据进行有效管理和提高存储介质资源的利用率成为网络管理员最为关心的问题。
发明内容
本发明的目的在于提供一种计算机网络上存储介质资源的聚集方法，能集中管理网络上的存储介质资源，提高存储介质资源的利用率，并且降低存储成本。
为实现上述目的，本发明包括以下步骤：
a)将网络上具有闲置空间的各存储介质在一台与其联网的计算机上以存储介质资源列表的结构进行注册，该计算机的硬盘上的存储介质资源列表注册内容是用户可以看到所有存储介质资源的逻辑映像，形成一个虚拟的存储介质聚合体，该计算机作为用户直接访问的存储介质资源管理中心；
b)将需要存储的文件拷贝到存储介质资源管理中心的存储介质聚合体上，存储介质资源管理中心根据存储的文件将该文件存储在本地或对该文件进行裁剪并设置文件属性信息，裁剪后把该文件内容迁移到网络上相应的注册存储介质上，同时在存储介质资源管理中心的本地保留一个仅包含文件属性信息而文件长度为零的裁剪后文件副本；
c)根据文件裁剪时设置的文件属性信息对存储介质资源的存储文件进行相应的访问。
本发明所述的存储介质资源列表注册内容包括：
存储介质资源名称，是系统管理员为所管理的某一网络存储介质资源所取的名称，存储介质资源将以该名称显示在存储介质资源列表中，存储介质资源名称在一个系统中是唯一的；每个存储介质资源由一个唯一的名称标识，系统管理员利用该名称管理网络上的存储介质资源；
存储介质资源的描述信息，用于描述存储介质资源的特性或存放的文件的类型，为方便管理员识别各个存储介质资源；
存储介质资源的存取路径，是访问存储介质资源的网络路径，用于标识该存储介质资源在网络上的位置，用户可以通过该路径对存储介质资源上的数据进行访问；存取路径由主机名+本地文件路径组成；
访问网络资源的用户名和口令，用于拥有对相应的存储介质资源的完全控制权限；
存储容量，是指目标存储介质资源的存储容量大小，系统在对文件进行迁移时，要首先判断目标存储介质资源的是否还有足够的存储空间存放要迁移的文件；如果没有足够的存储空间存放要存放的文件，系统则选择其它的存储介质资源存放该文件；
存储介质类型，存储介质分为在线存储介质和离线存储介质，系统进行文件迁移时使用在线存储介质，离线存储介质主要用于数据备份；在线存储介质包括磁盘，光盘，磁盘阵列；
网络连接类型，包括10/100M以太网，千兆以太网，155/622ATM网络，广域网等多种网络连接类型；由于不同的网络环境，对文件存取的速度影响很大，系统将根据系统管理员设定的网络连接类型，优先考虑存取速度快的存储介质资源；
可用存储空间，是该存储介质资源当前可用的剩余存储空间的大小，系统将文件拷贝到该存储介质资源上后，将自动更新该存储介质资源可用的存储空间；
资源分配状态，表明该存储介质资源是否已经分配给存储聚合体上的某个目录；一个存储介质资源只能分配给存储聚合体的一个目录；当系统管理员将该存储介质资源分配给存储聚合体的一个目录后，该分配状态将被设置以标识该资源已经分配；
访问次数，是系统访问该存储介质资源的次数；
访问失败次数，是系统在访问该存储介质资源的过程中，由于某种原因无法访问而导致访问失败的次数；访问失败次数和访问次数的比率，反映了存储介质资源的可用性；
资源状态，标识该存储介质资源目前是否可以访问。
本发明所述的文件属性信息包括：
系统的文件标志，是操作系统进行文件管理采用的文件标志，该部分由操作系统的文件系统进行维护；
文件裁减标志，标识该文件是否已经裁减过；如果文件已经裁减过，该标志被置位；如果文件存放在本地，则该标志为0；
远程存取标志，标识已经被裁减的文件的存取方式，该标志可以由系统管理员设置，也可以由系统按照系统管理员设定的规则自动设置；如果设置了该标志，则当用户访问该文件时，文件访问将被重定向到网络上文件被迁移到的位置；如果该标志未设置，则当用户访问该文件时，系统将把文件从网络上的实际存放位置拷贝到本地；
网络路径，指示裁减后的文件存放的网络位置；只有当文件裁减标志被设置后，该路径才有效。
本发明所述对存储介质资源的存储文件进行访问的具体步骤为：如果文件存放在存储介质聚合体上，则用户可以直接在存储介质资源管理中心本地访问文件；如果文件属性标记该文件已经裁剪过，则根据文件数据域中指示的网络路径，将文件拷贝到存储介质资源管理中心本地，用户可以继续进行文件访问；对于有文件远程存取标志的大文件，在用户访问该文件时，该文件将不被拷贝到存储介质资源管理中心本地，而是通过远程访问方式，访问该文件。
本发明具有以下的优点：1、分级存储功能，由于各种存储介质在性能、容量和单位存储价格上存在着很大的差异，因此用户可以根据存储介质资源的特征将存储介质资源分为三个等级，实现存储介质资源的分级存储。本发明中，第一级为在线存储，为本地硬盘，用于存放频繁使用的数据；第二级为近线存储，包含网络上在存储管理中心注册的所有硬盘，用于存放用户访问频率比较低的数据；第三级为离线存储，为磁带机，存放一般不使用的历史数据文件。系统管理员可以定义规则，指定将不同类型的文件存放在不同的存储介质上。2、集中管理存储介质资源，本发明允许网络中所有存储介质资源在存储介质资源控制中心进行集中管理。存储介质资源控制中心负责整个网络中存储介质资源的配置和管理。系统管理员可以根据系统需求增加新的资源，设定不同用户对不同存储介质资源的访问权限。通过支持异构的存储环境，本发明使用户可以利用硬件的最佳性价比来实现存储介质资源的扩容，同时利用一个统一的管理控制台来进行存储介质资源和容量的管理，控制台提供基于图形接口的存储管理界面，简化操作与运营。3、充分利用现有存储介质资源，在传统的存储环境中，每台主机/服务器都拥有自己的存储介质资源，各种存储介质资源相互孤立，无法共享。每部分存储介质资源的使用率只有50-60％，存储介质资源十分浪费。本发明将网络中的所有孤立的存储介质资源聚合为一个大的整体，在多机种服务器环境中实现集中化存储，作为一个逻辑存储设备供用户使用。用户将聚集后的存储设备看作一个“无限大”的存储池，可满足用户不断增长的无限的存储容量的需求。节约了存储介质资源，提高了存储介质资源的利用率。
具体实施方式
在本实例中，存储介质资源管理中心主机拥有两个逻辑硬盘C：和D：。具体的步骤如下：
1)管理员选择一个已经格式化为NTFS格式的本地硬盘D：作为存储聚合体；
2)管理员在存储介质资源管理中心对网络上的存储介质资源进行注册，注册的内容包括：存储介质资源名称，存储介质资源的描述信息，存储介质资源的存取路径，访问资源的用户名称和口令，存储容量，可用空间，存储介质类型，网络连接类型；
3)用户在存储介质资源管理中心注册了两个存储介质资源ShareStore和DevStore，存储介质资源列表的内容如下表所示：
| 存储资源名称 | ShareStore | DevStore |
| 存储资源描述 | 数据库服务器上的D盘 | 部门服务器上的共享目录 |
| 存取路径 | \dbServerdiskd | \techServershare |
| 访问用户名 | Public | Tech |
| 访问口令 | Public | Tech |
| 存储介质类型 | 硬盘 | 磁盘阵列 |
| 存储容量 | 40GB | 400G |
| 可用存储空间 | 24G | 52G |
| 网络连接类型 | 100M | 100M |
| 资源分配状态 | 已分配 | 已分配 |
| 访问次数 | 200 | 350 |
| 访问失败次数 | 0 | 3 |
| 资源状态 | 可用 | 可用 |
ShareStore代表dbServer主机上共享的目录diskd；DevStore代表techServer主机上共享的目录Share；
4)在D：盘上创建目录mediashare，这时在Windows的资源管理器中可以看到在D：盘上有一个文件夹mediashare。系统管理员可以将该文件夹设为共享，并设定网络上的用户对该目录的访问权限；
5)为mediashare分配在存储介质资源管理中心注册的存储介质资源ShareStore；
6)定制mediashare目录下的文件迁移规则，系统将按照迁移规则对该文件夹下的规则进行文件迁移；
7)用户guest通过网络可以查看到存储介质资源管理器主机上的共享目录mediashare，并拥有对该目录的完全访问权限；
8)用户将文件sample_file从本地主机拷贝到存储介质资源管理中心的mediashare目录下，这时可以看到在mediashare目录下生成了一个新文件sample_file；
9)系统按照mediashare目录的迁移规则中定义的规则对sample_file文件进行裁剪，将该文件拷贝到网络存储介质资源ShareStore上，并设置文件裁减标志和文件的网络存取路径；系统对文件裁剪的过程描述如下：
a)查找分配给mediashare目录的网络存储介质资源；
b)选择目前可用的存储介质资源；
c)选择可用空间大于sample_file文件大小的存储介质资源；
d)选择访问成功率高，并且网络访问速度较快的存储介质资源ShareStore；
e)将sample_file文件拷贝到ShareStore所表示的网络路径\\dbServer\diskd
f)裁减本地sample_file文件，设置文件剪裁标志，记录文件被迁移到的网络路径；
g)根据系统管理员设定的规则，设定远程存取标志。
上述实施例中用户可以通过网络访问存储在存储介质聚合体上的文件sample_file，具体步骤如下：
h)检查文件裁剪标志，查看该文件是否已经裁剪过；
i)如果文件尚未被裁剪，用户可以直接存取sample_file文件；
j)如果文件已经裁剪过，检查文件的远程存取标志；
k)如果文件设置了远程存取标志，则将文件访问重定向到文件放置的网络路径，进行文件访问；
l)如果文件未设置远程存取标志，则按照文件裁剪后的路径信息，将文件从指定的网络路径拷贝到本地硬盘。
Claims (4)
1、一种计算机网络上存储介质资源的聚集方法，其特征在于包括以下步骤：
a)将网络上具有闲置空间的各存储介质在一台与其联网的计算机上以存储介质资源列表的结构进行注册，该计算机的硬盘上的存储介质资源列表注册内容是用户可以看到所有存储介质资源的逻辑映像，形成一个虚拟的存储介质聚合体，该计算机作为用户直接访问的存储介质资源管理中心；
b)将需要存储的文件拷贝到存储介质资源管理中心的存储介质聚合体上，存储介质资源管理中心根据存储的文件将该文件存储在本地或对该文件进行裁剪并设置文件属性信息，裁剪后把该文件内容迁移到网络上相应的注册存储介质上，同时在存储介质资源管理中心的本地保留一个仅包含文件属性信息而文件长度为零的裁剪后文件副本；
c)根据文件裁剪时设置的文件属性信息对存储介质资源的存储文件进行相应的访问。
2、根据权利要求1所述的计算机网络上存储介质资源的聚集方法，其特征在于所述的存储介质资源列表注册内容包括：
存储介质资源名称，是系统管理员为所管理的某一网络存储介质资源所取的名称，存储介质资源将以该名称显示在存储介质资源列表中，存储介质资源名称在一个系统中是唯一的；每个存储介质资源由一个唯一的名称标识，系统管理员利用该名称管理网络上的存储介质资源；
存储介质资源的描述信息，用于描述存储介质资源的特性或存放的文件的类型，为方便管理员识别各个存储介质资源；
存储介质资源的存取路径，是访问存储介质资源的网络路径，用于标识该存储介质资源在网络上的位置，用户可以通过该路径对存储介质资源上的数据进行访问；存取路径由主机名+本地文件路径组成；
访问网络资源的用户名和口令，用于拥有对相应的存储介质资源的完全控制权限；
存储容量，是指目标存储介质资源的存储容量大小，系统在对文件进行迁移时，要首先判断目标存储介质资源的是否还有足够的存储空间存放要迁移的文件；如果没有足够的存储空间存放要存放的文件，系统则选择其它的存储介质资源存放该文件；
存储介质类型，存储介质分为在线存储介质和离线存储介质，系统进行文件迁移时使用在线存储介质，离线存储介质主要用于数据备份；在线存储介质包括磁盘，光盘，磁盘阵列；
网络连接类型，包括10/100M以太网，千兆以太网，155/622ATM网络，广域网等多种网络连接类型；由于不同的网络环境，对文件存取的速度影响很大，系统将根据系统管理员设定的网络连接类型，优先考虑存取速度快的存储介质资源；
可用存储空间，是该存储介质资源当前可用的剩余存储空间的大小，系统将文件拷贝到该存储介质资源上后，将自动更新该存储介质资源可用的存储空间；
资源分配状态，表明该存储介质资源是否已经分配给存储聚合体上的某个目录；一个存储介质资源只能分配给存储聚合体的一个目录；当系统管理员将该存储介质资源分配给存储聚合体的一个目录后，该分配状态将被设置以标识该资源已经分配；
访问次数，是系统访问该存储介质资源的次数；
访问失败次数，是系统在访问该存储介质资源的过程中，由于某种原因无法访问而导致访问失败的次数；访问失败次数和访问次数的比率，反映了存储介质资源的可用性；
资源状态，标识该存储介质资源目前是否可以访问。
3、根据权利要求1所述的计算机网络上存储介质资源的聚集方法，其特征在于所述的文件属性信息包括：
系统的文件标志，是操作系统进行文件管理采用的文件标志，该部分由操作系统的文件系统进行维护；
文件裁减标志，标识该文件是否已经裁减过；如果文件已经裁减过，该标志被置位；如果文件存放在本地，则该标志为0；
远程存取标志，标识已经被裁减的文件的存取方式，该标志可以由系统管理员设置，也可以由系统按照系统管理员设定的规则自动设置；如果设置了该标志，则当用户访问该文件时，文件访问将被重定向到网络上文件被迁移到的位置；如果该标志未设置，则当用户访问该文件时，系统将把文件从网络上的实际存放位置拷贝到本地；
网络路径，指示裁减后的文件存放的网络位置；只有当文件裁减标志被设置后，该路径才有效。
4、根据权利要求1所述的计算机网络上存储介质资源的聚集方法，其特征在于所述对存储介质资源的存储文件进行相应访问的具体步骤为：如果文件存放在存储介质聚合体上，则用户可以直接在存储介质资源管理中心本地访问文件；如果文件属性标记该文件已经裁剪过，则根据文件数据域中指示的网络路径，将文件拷贝到存储介质资源管理中心本地，用户可以继续进行文件访问；对于有文件远程存取标志的大文件，在用户访问该文件时，该文件将不被拷贝到存储介质资源管理中心本地，而是通过远程访问方式，访问该文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN02135064A CN1416062A (zh) | 2002-10-31 | 2002-10-31 | 一种计算机网络上存储介质资源的聚集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN02135064A CN1416062A (zh) | 2002-10-31 | 2002-10-31 | 一种计算机网络上存储介质资源的聚集方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN1416062A true CN1416062A (zh) | 2003-05-07 |
Family
ID=4748012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN02135064A Pending CN1416062A (zh) | 2002-10-31 | 2002-10-31 | 一种计算机网络上存储介质资源的聚集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1416062A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1324450C (zh) * | 2003-09-29 | 2007-07-04 | 株式会社日立制作所 | 存储系统和存储控制装置及存储控制装置的控制方法 |
| CN100440888C (zh) * | 2004-01-17 | 2008-12-03 | 中国科学院计算技术研究所 | 基于网络存储和资源虚拟化的大型服务系统的管理系统及其方法 |
| CN100568872C (zh) * | 2003-08-28 | 2009-12-09 | 株式会社东芝 | 内容管理装置和内容管理系统 |
| CN101754236A (zh) * | 2009-12-22 | 2010-06-23 | 重庆重邮东电通信技术有限公司 | Td-scdma网络集中监测系统的技术参数测算模型 |
| CN101374146B (zh) * | 2007-08-24 | 2013-08-14 | 赛门铁克公司 | 对物理计算机系统的虚拟表示的按需访问 |
| CN103442046A (zh) * | 2013-08-19 | 2013-12-11 | 广东一一五科技有限公司 | 文件共享方法及装置 |
| CN103617802A (zh) * | 2013-11-28 | 2014-03-05 | 中经云数据存储科技（北京）有限公司 | 基于光存储阵列的数据读写权限控制方法以及光存储系统 |
| CN105103524A (zh) * | 2013-01-10 | 2015-11-25 | 微软技术许可有限责任公司 | Swan：实现网络中的高利用率 |
| CN105653463A (zh) * | 2014-11-12 | 2016-06-08 | 富泰华工业（深圳）有限公司 | 存储管理系统、管理装置及方法 |
-
2002
- 2002-10-31 CN CN02135064A patent/CN1416062A/zh active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100568872C (zh) * | 2003-08-28 | 2009-12-09 | 株式会社东芝 | 内容管理装置和内容管理系统 |
| CN1324450C (zh) * | 2003-09-29 | 2007-07-04 | 株式会社日立制作所 | 存储系统和存储控制装置及存储控制装置的控制方法 |
| CN100440888C (zh) * | 2004-01-17 | 2008-12-03 | 中国科学院计算技术研究所 | 基于网络存储和资源虚拟化的大型服务系统的管理系统及其方法 |
| CN101374146B (zh) * | 2007-08-24 | 2013-08-14 | 赛门铁克公司 | 对物理计算机系统的虚拟表示的按需访问 |
| CN101754236A (zh) * | 2009-12-22 | 2010-06-23 | 重庆重邮东电通信技术有限公司 | Td-scdma网络集中监测系统的技术参数测算模型 |
| CN101754236B (zh) * | 2009-12-22 | 2013-02-27 | 重庆重邮东电通信技术有限公司 | Td-scdma网络集中监测系统的技术参数测算模型 |
| CN105103524A (zh) * | 2013-01-10 | 2015-11-25 | 微软技术许可有限责任公司 | Swan：实现网络中的高利用率 |
| CN105103524B (zh) * | 2013-01-10 | 2019-04-09 | 微软技术许可有限责任公司 | 用于实现网络中的高利用率的方法和系统 |
| CN103442046A (zh) * | 2013-08-19 | 2013-12-11 | 广东一一五科技有限公司 | 文件共享方法及装置 |
| CN103617802A (zh) * | 2013-11-28 | 2014-03-05 | 中经云数据存储科技（北京）有限公司 | 基于光存储阵列的数据读写权限控制方法以及光存储系统 |
| CN105653463A (zh) * | 2014-11-12 | 2016-06-08 | 富泰华工业（深圳）有限公司 | 存储管理系统、管理装置及方法 |
| CN105653463B (zh) * | 2014-11-12 | 2020-10-16 | 富泰华工业（深圳）有限公司 | 存储管理系统、管理装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103109292B (zh) | 在容错数据库管理系统中聚集查询结果的系统和方法 | |
| JP2682811B2 (ja) | データ記憶管理システム及び方法 | |
| US8103639B1 (en) | File system consistency checking in a distributed segmented file system | |
| US8312242B2 (en) | Tracking memory space in a storage system | |
| US7546486B2 (en) | Scalable distributed object management in a distributed fixed content storage system | |
| US7392261B2 (en) | Method, system, and program for maintaining a namespace of filesets accessible to clients over a network | |
| JP5730271B2 (ja) | ネットワークデータストレージシステムおよびそのデータアクセス方法 | |
| US8214377B2 (en) | Method, system, and program for managing groups of objects when there are different group types | |
| US20080021902A1 (en) | System and Method for Storage Area Network Search Appliance | |
| JP2013545162A5 (zh) | ||
| CN107291889A (zh) | 一种数据存储方法及系统 | |
| EP1960918A2 (en) | Systems and methods for data management | |
| EP3788489B1 (en) | Data replication in a distributed storage system | |
| US20100082546A1 (en) | Storage Tiers for Database Server System | |
| CN103037004A (zh) | 云存储系统操作的实现方法和装置 | |
| CN101976181A (zh) | 一种存储资源的管理方法及管理装置 | |
| CN104025058A (zh) | 针对存储分层的内容选择 | |
| CN1416062A (zh) | 一种计算机网络上存储介质资源的聚集方法 | |
| CN107346209B (zh) | 一种多磁盘聚合式数据存储系统及其实现方法与应用方法 | |
| EP1215590B1 (en) | Method and system for scalable, high performance hierarchical storage management | |
| US20070299890A1 (en) | System and method for archiving relational database data | |
| CA2618938C (en) | Data consistency control method and software for a distributed replicated database system | |
| Barak et al. | A holographic file system for a multicomputer with many disk nodes | |
| JP2000155707A (ja) | ファイルシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |