CN109033444A - 基于对象存储技术实现跨组织边界数据共享的方法及装置 - Google Patents
基于对象存储技术实现跨组织边界数据共享的方法及装置 Download PDFInfo
- Publication number
- CN109033444A CN109033444A CN201810941964.4A CN201810941964A CN109033444A CN 109033444 A CN109033444 A CN 109033444A CN 201810941964 A CN201810941964 A CN 201810941964A CN 109033444 A CN109033444 A CN 109033444A
- Authority
- CN
- China
- Prior art keywords
- data
- logical space
- object storage
- data processing
- catalogue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了基于对象存储技术实现跨组织边界数据共享的方法及装置,包括:利用元数据服务器对对象存储设备中的文件执行数据处理,并根据数据处理生成操作信息;根据操作信息,按照不同类别的租户,在对象存储设备中分配独立的逻辑空间;逻辑空间在访问时需要对访客验证;对逻辑空间进行分配,获得每个逻辑空间的原始目录、备份数据目录和非结构化目录;根据操作信息,确定待操作的逻辑空间,并对待操作的逻辑空间的原始目录中的数据进行数据处理操作;将经过数据处理操作的数据传递到元数据服务器中,以实现数据共享。本发明提供基于对象存储技术实现跨组织边界数据共享的方法及装置,实现了提升存储系统技术的鲜活性和易用性的目的。
Description
技术领域
本发明涉及数据存储领域,尤其涉及基于对象存储技术实现跨组织边界数据共享的方法及装置。
背景技术
对象存储系统(Object-Based Storage System)是综合了NAS和SAN的优点,同时具有SAN的高速直接访问和NAS的数据共享等优势,提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构。对象存储系统由对象和对象存储设备组成。
现有的存储系统FTP文件共享,数据库直抽,HTTP数据总线服务。但是,在对现有技术的研究和实践过程中,本发明的发明人发现,现有存储系统的技术,存在鲜活性,易用性,安全性,全面性,性能可维护性和可扩展性较低的问题。
发明内容
本发明所要解决的技术问题在于,提供基于对象存储技术实现跨组织边界数据共享的方法及装置,提升存储系统技术的鲜活性和易用性。
为了解决上述技术问题,一方面,本发明的一个实施例提供了一种基于对象存储技术的数据存储方法,适于在计算设备中执行,至少包括如下步骤:
利用元数据服务器对对象存储设备中的文件执行数据处理操作,并根据所述数据处理操作生成操作信息。所述数据处理操作包括:读取操作、移动操作或复制操作。
根据所述操作信息,按照不同类别的租户,在所述对象存储设备中分配相互独立的逻辑空间。所述逻辑空间在访问时需要对访客的身份进行验证。
对所述相互独立的逻辑空间进行进一步分配,获得每个逻辑空间的原始目录、备份数据目录和非结构化目录。
根据所述操作信息,确定待操作的逻辑空间,并对所述待操作的逻辑空间的原始目录、备份数据目录和非结构化目录中的数据进行所述数据处理操作。
将经过所述数据处理操作的数据传递到所述元数据服务器中,以实现跨组织边界数据共享。
进一步地,每个所述逻辑空间只允许唯一一个访客访问。
另一方面,本发明的一个实施例还提供了基于对象存储技术实现跨组织边界数据共享的装置,包括:
操作获取模块,用于利用元数据服务器对对象存储设备中的文件执行数据处理操作,并根据所述数据处理操作生成操作信息。所述数据处理操作包括:读取操作、移动操作或复制操作。
存储分配模块,用于根据所述操作信息,按照不同类别的租户,在所述对象存储设备中分配相互独立的逻辑空间。所述逻辑空间在访问时需要对访客的身份进行验证。
逻辑分配模块,用于对所述相互独立的逻辑空间进行进一步分配,获得每个逻辑空间的原始目录、备份数据目录和非结构化目录。
数据处理模块,用于根据所述操作信息,确定待操作的逻辑空间,并对所述待操作的逻辑空间的原始目录、备份数据目录和非结构化目录中的数据进行所述数据处理操作。
数据输出模块,用于将经过所述数据处理操作的数据传递到所述元数据服务器中,以实现跨组织边界数据共享。
进一步地,每个所述逻辑空间只允许唯一一个访客访问。
又一方面,本发明的一个实施例还提供了基于对象存储技术实现跨组织边界数据共享的装置,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上述的基于对象存储技术实现跨组织边界数据共享的方法。
又一方面,本发明的一个实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的基于对象存储技术实现跨组织边界数据共享的方法。
相比于现有技术,本发明实施例的有益效果在于:
本发明公开了基于对象存储技术实现跨组织边界数据共享的方法及装置,包括:利用元数据服务器对对象存储设备中的文件执行数据处理,并根据数据处理生成操作信息。根据操作信息,按照不同类别的租户,在对象存储设备中分配独立的逻辑空间。逻辑空间在访问时需要对访客验证。对逻辑空间进行分配,获得每个逻辑空间的原始目录、备份数据目录和非结构化目录。根据操作信息,确定待操作的逻辑空间,并对待操作的逻辑空间的原始目录中的数据进行数据处理操作。将经过数据处理操作的数据传递到元数据服务器中,以实现数据共享。本发明提供基于对象存储技术实现跨组织边界数据共享的方法及装置,实现了提升存储系统技术的鲜活性和易用性的目的。
附图说明
图1是本发明的一个实施例提供的基于对象存储技术实现跨组织边界数据共享的方法的流程示意图;
图2是本发明的一个实施例提供的基于对象存储技术实现跨组织边界数据共享的装置的结构示意图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,以使本发明的优点和特征能更易于被本领域技术人员理解,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了使本领域的技术人员更好地理解本发明的技术方案,下面结合附图和具体实施例对本发明作进一步的详细说明。
本发明第一实施例:
请参阅图1。
如图1所示,本实施例提供的基于对象存储技术实现跨组织边界数据共享的方法,适于在计算设备中执行,至少包括如下步骤:
S101、利用元数据服务器对对象存储设备中的文件执行数据处理操作,并根据所述数据处理操作生成操作信息。所述数据处理操作包括:读取操作、移动操作或复制操作。
需要说明的是,所述数据处理操作具备如下特性:所述数据处理操作以最简单统一的标准协议进行通信,支持业界中各种大数据技术,无缝对接,解决多形态数据使用的问题。
所述数据处理操作还包括数据检索操作,所述数据检索操支持多个维度的数据检索技术,通过可视化界面展示包括数据资源列表、数据类型、数据状态、数据结构、数据大小信息。
所述数据处理操作支持数据零复制、免拷贝技术,所有用户直连使用同一份数据,保证了数据一致性。
S102、根据所述操作信息,按照不同类别的租户,在所述对象存储设备中分配相互独立的逻辑空间。所述逻辑空间在访问时需要对访客的身份进行验证。
需要说明的是,所述逻辑空间只允许唯一一个访客访问。所述逻辑空间的物理空间进行隔离,在身份验证过程中,通过复杂加密技术,所有数据服务经授权后均可使用以解决数据安全问题。
其中,所述租户为所述进行数据处理操作的操作者,所述操作者身份的确定方式包含:操作者的IP地址,操作者的用户名,所使用的输入设备。
所述复杂加密技术,具体对身份验证过程操作者的用户名及操作者所输入的密码进行加密。
S103、对所述相互独立的逻辑空间进行进一步分配,获得每个逻辑空间的原始目录、备份数据目录和非结构化目录。
需要说明的是,每个逻辑空间的进一步分配同样是以物理空间进行隔离,使得底层硬件出现问题不会彼此影响,即不可能影响彼此的空间容量干扰性能。意味着第一空间的超级管理员不可能从第一库跳到第二库操作。
其中,所述库的次序划分方式依据所述进行隔离的物理空间确定,且为一一对应关系。所述超级管理员的空间次序划分依据所述库的划分方式确定,且为一一对应关系。
S104、根据所述操作信息,确定待操作的逻辑空间,并对所述待操作的逻辑空间的原始目录、备份数据目录和非结构化目录中的数据进行所述数据处理操作。
需要说明的是,所述待操作的逻辑空间的原始目录、备份数据目录和非结构化目录中的数据采用缓存模块来缓存数据,在多个客户同时访问同一个数据时,提供分布的锁机制来确保缓存数据的一致性。其中,所述缓存模块的数据类型包含文件的逻辑视图,所述逻辑视图包括文件与目录的组织关系、每个文件所对应的对象存储设备。
其中,所述原始目录映射原始文件,所述原始文件为经过第一次写入的,且未经进行数据处理操作所处理的文件。
所述备份数据目录映射备份数据文件,所述备份数据文件为所述原始文件进行复制的,存放在不同逻辑空间的文件。
所述非结构化目录映射非结构化数据,所述非结构化数据包含的数据类型为:电子邮件,文本文档和PDF文件。
S105、将经过所述数据处理操作的数据传递到所述元数据服务器中,以实现跨组织边界数据共享。
需要说明的是,所述数据处理操作的数据的传递过程中,为了增强系统的安全性,一般使用多维标度分析的认证方式进行认证。
本实施例公开了基于对象存储技术实现跨组织边界数据共享的方法,包括:利用元数据服务器对对象存储设备中的文件执行数据处理,并根据数据处理生成操作信息。根据操作信息,按照不同类别的租户,在对象存储设备中分配独立的逻辑空间。逻辑空间在访问时需要对访客验证。对逻辑空间进行分配,获得每个逻辑空间的原始目录、备份数据目录和非结构化目录。根据操作信息,确定待操作的逻辑空间,并对待操作的逻辑空间的原始目录中的数据进行数据处理操作。将经过数据处理操作的数据传递到元数据服务器中,以实现数据共享。本发明提供基于对象存储技术实现跨组织边界数据共享的方法及装置,实现了提升存储系统技术的鲜活性和易用性的目的。
本发明第二实施例:
请参阅图2,本实施例提供的基于对象存储技术实现跨组织边界数据共享的装置,包括以下模块:
操作获取模块201,用于利用元数据服务器对对象存储设备中的文件执行数据处理操作,并根据所述数据处理操作生成操作信息。所述数据处理操作包括:读取操作、移动操作或复制操作。
需要说明的是,所述数据处理操作具备如下特性:所述数据处理操作以最简单统一的标准协议进行通信,支持业界中各种大数据技术,无缝对接,解决多形态数据使用的问题。
所述数据处理操作还包括数据检索操作,所述数据检索操支持多个维度的数据检索技术,通过可视化界面展示包括数据资源列表、数据类型、数据状态、数据结构、数据大小信息。
所述数据处理操作支持数据零复制、免拷贝技术,所有用户直连使用同一份数据,保证了数据一致性。
存储分配模块202,用于根据所述操作信息,按照不同类别的租户,在所述对象存储设备中分配相互独立的逻辑空间。所述逻辑空间在访问时需要对访客的身份进行验证。
需要说明的是,所述逻辑空间只允许唯一一个访客访问。所述逻辑空间的物理空间进行隔离,在身份验证过程中,通过复杂加密技术,所有数据服务经授权后均可使用以解决数据安全问题。
其中,所述租户为所述进行数据处理操作的操作者,所述操作者身份的确定方式包含:操作者的IP地址,操作者的用户名,所使用的输入设备。
所述复杂加密技术,具体对身份验证过程操作者的用户名及操作者所输入的密码进行加密。
逻辑分配模块203,用于对所述相互独立的逻辑空间进行进一步分配,获得每个逻辑空间的原始目录、备份数据目录和非结构化目录。
需要说明的是,每个逻辑空间的进一步分配同样是以物理空间进行隔离,使得底层硬件出现问题不会彼此影响,即不可能影响彼此的空间容量干扰性能。意味着第一空间的超级管理员不可能从第一库跳到第二库操作。
其中,所述库的次序划分方式依据所述进行隔离的物理空间确定,且为一一对应关系。所述超级管理员的空间次序划分依据所述库的划分方式确定,且为一一对应关系。
数据处理模块204,用于根据所述操作信息,确定待操作的逻辑空间,并对所述待操作的逻辑空间的原始目录、备份数据目录和非结构化目录中的数据进行所述数据处理操作。
需要说明的是,所述待操作的逻辑空间的原始目录、备份数据目录和非结构化目录中的数据采用缓存模块来缓存数据,在多个客户同时访问同一个数据时,提供分布的锁机制来确保缓存数据的一致性。其中,所述缓存模块的数据类型包含文件的逻辑视图,所述逻辑视图包括文件与目录的组织关系、每个文件所对应的对象存储设备。
其中,所述原始目录映射原始文件,所述原始文件为经过第一次写入的,且未经进行数据处理操作所处理的文件。
所述备份数据目录映射备份数据文件,所述备份数据文件为所述原始文件进行复制的,存放在不同逻辑空间的文件。
所述非结构化目录映射非结构化数据,所述非结构化数据包含的数据类型为:电子邮件,文本文档和PDF文件。
数据输出模块205,用于将经过所述数据处理操作的数据传递到所述元数据服务器中,以实现跨组织边界数据共享。
需要说明的是,所述数据处理操作的数据的传递过程中,为了增强系统的安全性,一般使用多维标度分析的认证方式进行认证。
本实施例公开了基于对象存储技术实现跨组织边界数据共享的装置,包括:利用元数据服务器对对象存储设备中的文件执行数据处理,并根据数据处理生成操作信息。根据操作信息,按照不同类别的租户,在对象存储设备中分配独立的逻辑空间。逻辑空间在访问时需要对访客验证。对逻辑空间进行分配,获得每个逻辑空间的原始目录、备份数据目录和非结构化目录。根据操作信息,确定待操作的逻辑空间,并对待操作的逻辑空间的原始目录中的数据进行数据处理操作。将经过数据处理操作的数据传递到元数据服务器中,以实现数据共享。本发明提供基于对象存储技术实现跨组织边界数据共享的方法及装置,实现了提升存储系统技术的鲜活性和易用性的目的。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (6)
1.一种基于对象存储技术实现跨组织边界数据共享的方法,适于在计算设备中执行,其特征在于,至少包括如下步骤:
利用元数据服务器对对象存储设备中的文件执行数据处理操作,并根据所述数据处理操作生成操作信息;所述数据处理操作包括:读取操作、移动操作或复制操作;
根据所述操作信息,按照不同类别的租户,在所述对象存储设备中分配相互独立的逻辑空间;所述逻辑空间在访问时需要对访客的身份进行验证;
对所述相互独立的逻辑空间进行进一步分配,获得每个逻辑空间的原始目录、备份数据目录和非结构化目录;
根据所述操作信息,确定待操作的逻辑空间,并对所述待操作的逻辑空间的原始目录、备份数据目录和非结构化目录中的数据进行所述数据处理操作;
将经过所述数据处理操作的数据传递到所述元数据服务器中,以实现跨组织边界数据共享。
2.根据权利要求1所述的基于对象存储技术实现跨组织边界数据共享的方法,其特征在于,每个所述逻辑空间只允许唯一一个访客访问。
3.一种基于对象存储技术实现跨组织边界数据共享的装置,其特征在于,包括:
操作获取模块,用于利用元数据服务器对对象存储设备中的文件执行数据处理操作,并根据所述数据处理操作生成操作信息;所述数据处理操作包括:读取操作、移动操作或复制操作;
存储分配模块,用于根据所述操作信息,按照不同类别的租户,在所述对象存储设备中分配相互独立的逻辑空间;所述逻辑空间在访问时需要对访客的身份进行验证;
逻辑分配模块,用于对所述相互独立的逻辑空间进行进一步分配,获得每个逻辑空间的原始目录、备份数据目录和非结构化目录;
数据处理模块,用于根据所述操作信息,确定待操作的逻辑空间,并对所述待操作的逻辑空间的原始目录、备份数据目录和非结构化目录中的数据进行所述数据处理操作;
数据输出模块,用于将经过所述数据处理操作的数据传递到所述元数据服务器中,以实现跨组织边界数据共享。
4.根据权利要求3所述的基于对象存储技术实现跨组织边界数据共享的装置,其特征在于,每个所述逻辑空间只允许唯一一个访客访问。
5.一种基于对象存储技术实现跨组织边界数据共享的装置,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至2任一项所述的基于对象存储技术实现跨组织边界数据共享的方法。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至2任一项所述的基于对象存储技术实现跨组织边界数据共享的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810941964.4A CN109033444A (zh) | 2018-08-17 | 2018-08-17 | 基于对象存储技术实现跨组织边界数据共享的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810941964.4A CN109033444A (zh) | 2018-08-17 | 2018-08-17 | 基于对象存储技术实现跨组织边界数据共享的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109033444A true CN109033444A (zh) | 2018-12-18 |
Family
ID=64631063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810941964.4A Pending CN109033444A (zh) | 2018-08-17 | 2018-08-17 | 基于对象存储技术实现跨组织边界数据共享的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109033444A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3975602A1 (en) * | 2020-09-25 | 2022-03-30 | INTEL Corporation | Methods, apparatus and systems to enforce data boundaries through the use of boundary labels |
CN116170448A (zh) * | 2023-04-20 | 2023-05-26 | 河北先见软件科技股份有限公司 | 一种跨组织的数据共享的方法和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102651775A (zh) * | 2012-03-05 | 2012-08-29 | 国家超级计算深圳中心(深圳云计算中心) | 基于云计算的多租户共享对象管理的方法、设备及系统 |
CN103064927A (zh) * | 2012-12-21 | 2013-04-24 | 曙光信息产业(北京)有限公司 | 分布式文件系统的数据访问方法和装置 |
CN103218175A (zh) * | 2013-04-01 | 2013-07-24 | 无锡成电科大科技发展有限公司 | 多租户的云存储平台访问控制系统 |
CN103399942A (zh) * | 2013-08-14 | 2013-11-20 | 山大地纬软件股份有限公司 | 一种支持SaaS多租户的数据引擎系统及其工作方法 |
CN104050201A (zh) * | 2013-03-15 | 2014-09-17 | 伊姆西公司 | 用于多租户分布式环境中的数据管理的方法和设备 |
CN105827523A (zh) * | 2016-06-03 | 2016-08-03 | 无锡华云数据技术服务有限公司 | 一种在云存储环境中对多租户的带宽实现动态调整的虚拟网关 |
-
2018
- 2018-08-17 CN CN201810941964.4A patent/CN109033444A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102651775A (zh) * | 2012-03-05 | 2012-08-29 | 国家超级计算深圳中心(深圳云计算中心) | 基于云计算的多租户共享对象管理的方法、设备及系统 |
CN103064927A (zh) * | 2012-12-21 | 2013-04-24 | 曙光信息产业(北京)有限公司 | 分布式文件系统的数据访问方法和装置 |
CN104050201A (zh) * | 2013-03-15 | 2014-09-17 | 伊姆西公司 | 用于多租户分布式环境中的数据管理的方法和设备 |
CN103218175A (zh) * | 2013-04-01 | 2013-07-24 | 无锡成电科大科技发展有限公司 | 多租户的云存储平台访问控制系统 |
CN103399942A (zh) * | 2013-08-14 | 2013-11-20 | 山大地纬软件股份有限公司 | 一种支持SaaS多租户的数据引擎系统及其工作方法 |
CN105827523A (zh) * | 2016-06-03 | 2016-08-03 | 无锡华云数据技术服务有限公司 | 一种在云存储环境中对多租户的带宽实现动态调整的虚拟网关 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3975602A1 (en) * | 2020-09-25 | 2022-03-30 | INTEL Corporation | Methods, apparatus and systems to enforce data boundaries through the use of boundary labels |
CN116170448A (zh) * | 2023-04-20 | 2023-05-26 | 河北先见软件科技股份有限公司 | 一种跨组织的数据共享的方法和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gu et al. | Sector and Sphere: the design and implementation of a high-performance data cloud | |
DE112019000841T5 (de) | Handhaben von E/A-Operationen in einem cloudbasierten Speichersystem | |
CN102651775B (zh) | 基于云计算的多租户共享对象管理的方法、设备及系统 | |
US20220215111A1 (en) | Data Protection For Container Storage | |
CN108132775B (zh) | 一种租户管理系统及方法 | |
CN104917843B (zh) | 云存储与医疗图像无缝对接系统 | |
DE112013003225T5 (de) | Sicherer Zugriff auf gemeinsam genutzte Speicher-Ressourcen | |
CN103763369B (zh) | 一种基于san存储系统的多重权限分配方法 | |
CN105095103B (zh) | 用于云环境下的存储设备管理方法和装置 | |
CN104363222A (zh) | 一种基于Hadoop的网络安全事件分析方法 | |
CN103209189A (zh) | 一种基于分布式文件系统的移动云存储安全访问控制方法 | |
US9246920B2 (en) | Cloud resource cloning based on collaborative content | |
Yang et al. | A heterogeneous cloud storage platform with uniform data distribution by software-defined storage technologies | |
CN109033444A (zh) | 基于对象存储技术实现跨组织边界数据共享的方法及装置 | |
Anjos et al. | BIGhybrid: a simulator for MapReduce applications in hybrid distributed infrastructures validated with the Grid5000 experimental platform | |
Lee et al. | Implementation and performance of distributed text processing system using hadoop for e-discovery cloud service | |
Li et al. | Performance analysis and framework optimization of open source cloud storage system | |
Pan et al. | A remote sensing image cloud processing system based on Hadoop | |
US11586598B2 (en) | Data deduplication in data platforms | |
Yan | Cloud storage services | |
Avilés-González et al. | Scalable metadata management through OSD+ devices | |
Walgenbach et al. | Enabling Lustre WAN for production use on the TeraGrid: a lightweight UID mapping scheme | |
Iannone et al. | A staging storage sharing system for data handling in a multisite scientific organization | |
Luettgau et al. | NSDF-services: Integrating networking, storage, and computing services into a testbed for democratization of data delivery | |
US10437643B2 (en) | Independent storage and processing of data with centralized event control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181218 |