CN1716937A - 多用户数据存储服务系统 - Google Patents

多用户数据存储服务系统 Download PDF

Info

Publication number
CN1716937A
CN1716937A CN 200410027899 CN200410027899A CN1716937A CN 1716937 A CN1716937 A CN 1716937A CN 200410027899 CN200410027899 CN 200410027899 CN 200410027899 A CN200410027899 A CN 200410027899A CN 1716937 A CN1716937 A CN 1716937A
Authority
CN
China
Prior art keywords
user
data
module
service system
storage service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200410027899
Other languages
English (en)
Other versions
CN1716937B (zh
Inventor
涂维山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LANGKE SCIENCE AND TECHNOLOGY Co Ltd SHENZHEN CITY
Original Assignee
LANGKE SCIENCE AND TECHNOLOGY Co Ltd SHENZHEN CITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LANGKE SCIENCE AND TECHNOLOGY Co Ltd SHENZHEN CITY filed Critical LANGKE SCIENCE AND TECHNOLOGY Co Ltd SHENZHEN CITY
Priority to CN 200410027899 priority Critical patent/CN1716937B/zh
Publication of CN1716937A publication Critical patent/CN1716937A/zh
Application granted granted Critical
Publication of CN1716937B publication Critical patent/CN1716937B/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开一种多用户数据存储服务系统，该系统包括：通信模块，承担在TCP/IP网络下的通信任务，在通信层面上保证数据传输的完整及有序；用户鉴别模块，执行对客户端的访问请求进行鉴别；ISCSI协议模块，执行对ISCSI指令和标准的SCSI指令进行转化；多用户文件系统模块，基于用户的访问方式为每一个用户建立独立的“磁盘”，并针对每一个用户的块数据操作请求转化成直接对文件数据的访问；及管理模块，对前述各模块进行管理，协调其它各模块之间的有序的运作。相对于现有硬盘分区的方式针对每一个用户设置固定存储容量的服务器的存储系统而言，采用本发明的多用户数据存储服务系统的服务器，可有效的提高对服务器存储空间的利用效率。

Description

多用户数据存储服务系统
技术领域
本发明关于文件管理系统，特别涉及对多用户数据存储服务系统的文件管理方法。
背景技术
随着信息技术不断发展，信息技术广泛的应用于各种领域，由此带来信息量的急剧增加，直接导致对信息的存储的要求越来越高，特别是对于企业级用户，随着企业的发展、用户数量的不断增加，为了给每一个的用户分配独立的存储空间，导致对服务器硬件的要求，特别是存储硬件的要求(主要是硬盘的存储容量的要求)越来越高，而现行的存储服务系统的数据管理的不足，造成对服务器存储空间的利用效率不高，主要表现在以下几个方面。
首先，对于具体的用户，不是根据用户的真实的需求分配存储空间，而是分配固定的存储空间，而不论该分配的存储空间是否真正的得到有效的利用，这必然造成对服务器存储空间的利用效率不高。
其次，现行的服务器的存储空间在给每一个客户端分别存储容量的时候，所有客户端的分配的数据存储空间的容量总和不能大于服务器总的存储空间，因而给每一个客户端分配的存储空间容量受到限制，致使每一个用户分配的存储空间不大，不能充分的利用服务器的存储空间。
此外，对于用户量多和数据容量大的存储服务系统而言，当前的服务文件系统根据用户给硬盘分区，针对不同用户分配的独立的存储空间，必然造成不同用户的大量内容相同的文件的重复存储，这对服务器的有限的存储空间而言，浪费十分可观，致使服务器的存储资源得不到有效的利用。
因此，对于用户多、数据容量重复性大的存储服务器而言，减少数据的重复存储，提高存储空间的利用效率越来越重要。
发明内容
由于现行的服务器的根据用户划分存储空间，故而存储空间的利用效率不高，本发明要解决的技术问题是提高服务器存储空间的利用效率，并方便客户端用户对文件操作。
本发明的技术方案是提供多用户数据存储服务系统，该系统包括：
通信模块，承担在TCP/IP网络下的通信任务，在通信层面上保证数据传输的完整及有序；
用户鉴别及数据加密模块、执行对客户端的访问请求进行鉴别，并对接收和发送的数据进行解密和加密的工作，从而保证数据传输的安全性；
ISCSI协议模块，执行对ISCSI指令和标准的SCSI指令进行转化；
多用户文件系统模块，基于用户的访问方式为每一个用户建立独立的“磁盘”，并针对每一个用户的块数据操作请求转化成直接对文件数据的访问；及
管理模块，用于对前述各模块进行管理，协调其它各模块之间的有序的运作。
相对于现有硬盘分区的方式针对每一个用户设置固定存储容量的服务器的存储系统而言，采用本发明的多用户数据存储服务系统的服务器，其基于磁盘的方式为任一客户端分配存储容量，且给每一个客户端配置的存储空间的大小均可与服务器的总存储容量大小一样，接受用户的存储操作，也就是说服务器的任何存储空间均可接受任何一个用户操作，每一个用户的存储空间不受限制，直至整个服务器的存储空间用完为止。
附图说明
图1是本发明多用户数据存储服务系统的文件结构。
具体实施方式
本发明的关于多用户数据存储服务系统的文件管理方法是一种基于ISCSI协议、支持多用户的存储服务器系统。该文件管理系统支持对多个用户的文件管理，并且为每个客户端用户在服务器端建立单独的“磁盘”系统，提供该用户操作，该基于多用户“磁盘”文件管理系统，相比普通的基于文件操作的服务器(不是提供用户对磁盘的操作)或单用户的磁盘服务器，在服务器端对客户端磁盘的配置更灵活、管理更便利、经济。
本发明的多用户数据存储服务系统方案是一个纯软件的系统。通过软件的方式管理用户端的文件数据，该软件系统包括通信模块、用户鉴别及数据加密模块、ISCSI协议模块、多用户文件系统模块及管理模块等几个部分，该软件所实现的多用户文件系统对于客户端而言是透明的。该软件系统通过一种可有效减少实际存储数据冗余的算法，可以有效的增强用户下文件系统的存储能力，从而使服务器更经济高效。
通信模块：通信模块承担在TCP/IP网络下的通信任务，它在特定的端口侦测客户端的请求，并在获得连接请求后将所建立的连接的控制权交付用户鉴别及数据加密模块作决断，通信模块在通信层面上保证数据传输的完整及有序。使得其它模块能够可靠的得到或者发送数据。每当服务器启动时，在正确加载其它的必要的模块后才启用通信模块，以准备接收来自用户端的数据请求。
用户鉴别及数据加密模块：该模块负责对用户的请求进行判断，通过验证设定的代码或密钥的方式，甄别合法的或非法的请求，对于合法的请求，该模块负责将其交付相关模块进行处理，对于非法的请求，该模块将会拒绝该请求，通过用户鉴别模块，增加数据的访问安全。
对于需要进行加密的数据，该模块负责对接收和发送的数据进行解密和加密的工作，从而保证数据传输的安全性。考虑到效率的问题，该模块是可配置的，该模块支持明码数据传输以及IPSec(IP)两种方式。对于明码数据传输，客户端和服务端之间采用明码的方式传递密码和数据，而无任何安全措施，这个只有在完全信任的网络环境下考虑到性能的问题的时候会实施。对于大部分应用而言，采用IPSec的安全体系是另一个选择，IPSec采用验证标题(AH)和封装安全净负荷(ESP)两种编码方式来加密数据从而保证数据在整个传输过程中的安全性和完整性。IPSec采用预置共享秘钥和公钥两种方式进行数据的加密，并根据需求采用不同的策略来部署加密的级别从而在性能与安全之间提供便利的选择。
ISCSI模块：该模块负责对ISCSI指令和标准的SCSI指令进行转化。考虑到ISCSI标准的广泛应用，通过该模块，所有符合ISCSI规范的客户请求均可得到满足，并可以兼容所有符合ISCSI规范的客户端，而并非只是专有的系统，从而提升整个系统的适用的应用范围，能够便于整个多用户数据存储服务系统的在更广的范围内部署及应用。
多用户磁盘系统模块：该模块是整个软件体系的核心，通过该模块，基于用户的访问方式为每一个用户建立独立的“磁盘”，就每一个用户而言，其所操作的磁盘都是对应相应的文件，因此每个用户彼此之间互不干扰，相互独立。对每一个用户的块数据操作请求，该模块都会将其转化成直接对文件数据的访问。对于用户而言，对应的“磁盘”实际上就是一个以线性地址方式寻址的存储空间，用户通过指定地址将块数据写入该存储空间。因此，服务器在获取用户的块数据操作请求后，到文件的相应地址对块数据进行相应的操作。该模块将实际数据以文件的方式存储在服务端的存储介质上，每一个用户都对应这样的文件，而该文件的内部是一个类似磁盘的线性结构。由于每一个用户的文件彼此独立，因此也意味着对于远程存储客户端而言，他们的“磁盘”系统是独立的。
管理模块：用于对前述各模块进行管理，协调其它各模块之间的有序的运作。
在服务端多用户磁盘系统模块对于用户数据的管理，请参阅图1，该模块将整个用户数据分为用户数据区和公共数据区两部分。
用户数据区由一个信息区20和一个数据指针区40两个分区表组成。信息区主要用来存放该用户以及整个数据区的一些公用信息，一系列用户磁盘的基本信息，包括块号、块大小、磁盘大小、块指针大小、偏移量尺寸大小等。数据指针区40则用来存放真实数据的指针，如基本块指针1、如基本块指针2、如基本块指针N等，所有的如基本块指针均是针对具体的用户而言。由于用户磁盘的块大小大于存储的基本数据块大小，因此每一个用户块数据由多个的基本块数据所组成。
公共数据区则存放真实的用户数据，这部分数据以基本数据块进行组织，并以线性地址的方式进行存放，整个区域由两部分组成，包括一个哈希表60和一个基本数据区80。哈希表60主要由通过一个哈希函数所算得的哈希值和基本数据块指针所组成。基本数据区80则由基本数据块依据线性地址的方式进行存储。
对于多用户，大容量的数据存储而言，采用本发明的多用户数据存储服务系统管理文件如何减少数据的冗余和存储空间的浪费是一个十分重要的议题。在这里，针对本系统的特点，减少数据冗余所采用的方式是通过二次寻址，以最小块数据的方式进行解决，其主要采取的方案是：
1、用作虚拟用户磁盘的文件将不再直接存储数据，所有的数据将存储在一块公共数据区域。文件内只是存储最小块数据在公共数据区域的地址和偏移量再加最小块数量。采用地址加偏移量的目的是因为每个用户由于文件系统或者其它原因地不同，造成其数据块大小不统一，但是他们都一定是最小数据块的倍数。
2、对于块数据的操作而言，真实的数据都将是对公用数据区域的操作，而无论对于不同的或者同一个用户而言，每一个用户在存储文件进入公共数据区数据之前，均通过哈希函数算得是否已存储有与该文件相同的文件，以避免数据的重复存储，确保相同的块数据在公共区域内只存在一份拷贝，提高服务器存储空间的利用效率，不同的只是在该用户相对应的磁盘文件中的存在不同的地址指针，所有的这些指针都指向该数据块。
3、对于某个用户而言，其对应的磁盘文件并非固定长度，而是变长的。其最大长度就是(磁盘存储容量/基本块数据大小)×指针大小加上信息区容量。假如其有效数据小于其预设的存储容量时，其真实长度应该为(磁盘有效数据容量/基本块数据大小)×指针大小加上信息区容量，其中，每个用户的磁盘存储容量由服务器端进行配置。
因此，通过以上三种做法，可以将数据冗余减少到最低，从而提高服务器的存储空间的利用效率。
采用本发明的多用户数据存储服务系统的服务器，其为客户端分配的每一个磁盘的容量均可与服务器硬盘的总容量大小一样，接受用户的存储操作，也就是说服务器的任何存储空间均可接受任何一个用户操作，相较硬盘分区的方式针对每一个用户设定存储容量的而言，每一个用户的存储空间不受限制，直至整个服务器的存储空间用完为止。而相较针对文件管理的服务器而言，本发明的多用户数据存储服务系统可以更好的基于用户进行文件管理，便于用户对文件的操作，并可以根据不同的用户设定文件的访问权限，提高了文件的存储安全。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，对本发明所作的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种多用户数据存储服务系统，该系统包括：
通信模块，在特定的端口侦测客户端的请求，并在获得连接请求后将所建立的连接的控制权交付用户鉴别模块，承担在TCP/IP网络下的通信任务，在通信层面上保证数据传输的完整及有序；
用户鉴别模块，执行对客户端的访问请求进行鉴别；
ISCSI协议模块，执行对ISCSI指令和标准的SCSI指令进行转化；
多用户文件系统模块，基于用户的访问方式为每一个用户建立独立的“磁盘”，并针对每一个用户的块数据操作请求转化成直接对文件数据的访问；及
管理模块，对前述各模块进行管理，协调其它各模块之间的有序的运作。
2.如权利要求1所述的多用户数据存储服务系统，其特征在于，所述多用户数据存储服务系统进一步包括数据加密模块，对服务器接收和发送的数据进行解密和加密。
3.如权利要求2所述的多用户数据存储服务系统，其特征在于，所述数据加密模块的加密方法包括采用验证标题和封装安全净负荷两种编码方式的IPSec加密数据。
4.如权利要求1所述的多用户数据存储服务系统，其特征在于，所述多用户数据存储服务系统在服务器端将所有用户数据分为用户数据区和公共数据区两部分。
5.如权利要求4所述的多用户数据存储服务系统，其特征在于，所述用户数据区由信息区和用户数据区组成。
6.如权利要求4所述的多用户数据存储服务系统，其特征在于，所述公共数据区由哈希表和基本数据区组成。
CN 200410027899 2004-06-30 2004-06-30 多用户数据存储服务系统 Expired - Lifetime CN1716937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200410027899 CN1716937B (zh) 2004-06-30 2004-06-30 多用户数据存储服务系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200410027899 CN1716937B (zh) 2004-06-30 2004-06-30 多用户数据存储服务系统

Publications (2)

Publication Number Publication Date
CN1716937A true CN1716937A (zh) 2006-01-04
CN1716937B CN1716937B (zh) 2010-08-11

Family

ID=35822360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200410027899 Expired - Lifetime CN1716937B (zh) 2004-06-30 2004-06-30 多用户数据存储服务系统

Country Status (1)

Country Link
CN (1) CN1716937B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223359A (zh) * 2010-07-29 2011-10-19 上海华御信息技术有限公司 基于虚拟磁盘的网络硬盘备份文件数据安全系统及方法
CN102857507A (zh) * 2012-09-10 2013-01-02 福建伊时代信息科技股份有限公司 磁盘映射方法及磁盘映射系统
CN103596199A (zh) * 2008-05-12 2014-02-19 高通股份有限公司 向移动站提供基站历书
CN104581914A (zh) * 2009-04-23 2015-04-29 交互数字专利控股公司 针对多频率使用功率缩放的wtru
CN107291383A (zh) * 2017-05-23 2017-10-24 许继集团有限公司 一种嵌入式设备的数据交互方法及服务器
CN109901798A (zh) * 2019-02-27 2019-06-18 新华三技术有限公司成都分公司 数据存储方法及装置
CN111506321A (zh) * 2020-01-21 2020-08-07 李岗 软件运行环境的装载方法及系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200668B (zh) * 2008-05-12 2016-06-22 高通股份有限公司 向移动站提供基站历书的方法和装置
CN103596199A (zh) * 2008-05-12 2014-02-19 高通股份有限公司 向移动站提供基站历书
CN103596199B (zh) * 2008-05-12 2017-07-04 高通股份有限公司 向移动站提供基站历书
US11252678B2 (en) 2009-04-23 2022-02-15 Interdigital Patent Holdings, Inc. Power reduction and scaling for multi-carrier wireless terminals
US10506529B2 (en) 2009-04-23 2019-12-10 Interdigital Patent Holdings, Inc. Method and apparatus for power scaling for multi-carrier wireless terminals
CN104581914A (zh) * 2009-04-23 2015-04-29 交互数字专利控股公司 针对多频率使用功率缩放的wtru
CN102223359B (zh) * 2010-07-29 2014-06-11 上海华御信息技术有限公司 基于虚拟磁盘的网络硬盘备份文件数据安全系统及方法
CN102223359A (zh) * 2010-07-29 2011-10-19 上海华御信息技术有限公司 基于虚拟磁盘的网络硬盘备份文件数据安全系统及方法
CN102857507B (zh) * 2012-09-10 2016-05-11 福建伊时代信息科技股份有限公司 samba磁盘映射方法及samba磁盘映射系统
CN102857507A (zh) * 2012-09-10 2013-01-02 福建伊时代信息科技股份有限公司 磁盘映射方法及磁盘映射系统
CN107291383A (zh) * 2017-05-23 2017-10-24 许继集团有限公司 一种嵌入式设备的数据交互方法及服务器
CN109901798A (zh) * 2019-02-27 2019-06-18 新华三技术有限公司成都分公司 数据存储方法及装置
CN111506321A (zh) * 2020-01-21 2020-08-07 李岗 软件运行环境的装载方法及系统
CN111506321B (zh) * 2020-01-21 2024-06-11 李岗 软件运行环境的装载方法及系统

Also Published As

Publication number Publication date
CN1716937B (zh) 2010-08-11

Similar Documents

Publication Publication Date Title
US10425228B2 (en) Receipt, data reduction, and storage of encrypted data
US20240012925A1 (en) Method for securing data utilizing microshard fragmentation
US8996535B1 (en) Extent hashing technique for distributed storage architecture
US7702906B1 (en) Securing kernel metadata communication in environments employing distributed software services
Akhila et al. A study on deduplication techniques over encrypted data
EP2631805A1 (en) Storage-service-provision device, system, service-provision method, and service-provision program
CA2773293A1 (en) Multiple independent encryption domains
CN109284426B (zh) 一种基于权限等级的多数据文档分类系统
CN1716937B (zh) 多用户数据存储服务系统
US11809377B2 (en) Global data deduplication across multiple distributed file systems
EP3754531B1 (en) Virtualization for privacy control
KR20140088962A (ko) 클라우드 환경에서의 데이터 저장 시스템 및 방법
Liu et al. HASG: Security and efficient frame for accessing cloud storage
Kadu et al. A Hybrid Cloud Approach for Secure Authorized Deduplication
Dinesh et al. Dynamic auditing and deduplication with secure data deletion in Cloud
US11726986B2 (en) Data deduplication on a distributed file system using conditional writes
Brinkmann et al. Storage management as means to cope with exponential information growth
Kumar et al. Survey on Deduplication in Cloud Environment
Yin The analysis of critical technology on cloud storage security
Ammons et al. SCAIL: Encrypted Deduplication With Segment Chunks and Index Locality
Akintoye et al. A Survey on Storage Techniques in Cloud Computing
Verma et al. Prevention of Duplication of Encrypted Big Data in Cloud
MOHITTAWARE et al. Deduplicationwith Minimum Workload On Cloud Server Approach
Irum et al. File Systems for Various Operating Systems: A Review
CN2643555Y (zh) 一种安全保密智能信息终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20100811

CX01 Expiry of patent term