CN103812939B - 一种大数据存储系统 - Google Patents

Abstract

本发明公开了一种大数据存储系统，将文件划分为对象元数据和对象松散数据，所述的对象元数据和对象松散数据存储在容器中，所述的容器分布式存储在位于不同域的存储服务器中；使用高度可扩展性的分布式多域式存储方式，该存储系统允许用户在较高层次上使用存储模块，将文件做为对象来管理。为了提高访问和操作对象的效率，该系统将对象（文件）的内容和对象的元数据彻底分离，通过建立合理、高效的元数据存储空间和元数据管理模块来提供快速的随机数据访问和索引速度。该系统所运用的安全模型能够提供准确的安全控制，保证存储的对象只在被指定的时间、地点及被给予访问权限的用户访问。

Description

一种大数据存储系统

技术领域

本发明涉及一种大数据存储系统。涉及专利分类号G06计算；推算；计数G06F电数字数据处理G06F17/00特别适用于特定功能的数字计算设备或数据处理设备或数据处理方法G06F17/30信息检索；及其数据库结构。

背景技术

随着近期互联网、移动手机、物联网及种类繁多的传感器的迅速发展，在全世界范围内产生了海量的数据信息，这些数据的容量不断呈指数及增长。尽管一些大型云模块提供商如亚马逊(Amazon S3)、谷歌(Google)的云存储平台已经在这方面取得了巨大成功，但安全和隐私已成为企业用户最为关切的问题，出于对安全风险的忧虑，如难以克服的隐私、数据保护和供应商锁定等，使得近年来企业的IT部门更关注私有云，采用自建云存储的方案，来提供满足其个性化需求和商业化需求的可用模块。其次，由于大数据下的分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点，目前市场主流云存储系统的无法充分提供高效的大数据级别的元数据随机读取、搜索及排序。一份AFCOM(data centretrade organisation)的调查显示超过63%的企业的ＩＴ主管已经发现严重存储成本的增加。据国际数据资讯公司（International Data Corporation）统计，超过80%的企业在寻找并尝试有效的重复数据删除的解决方案来降低企业运营成本及增加效率。在这迅速增长海量的大数据中含有大量的没必要的重复数据，降低了系统性能并大大增加了成本。

发明内容

本发明针对以上问题的提出，而研制的一种大数据存储系统，将文件划分为对象元数据和对象松散数据，所述的对象元数据和对象松散数据存储在容器中，所述的容器分布式存储在位于不同域的存储服务器中；

所述容器具有对象元数据存储空间和对象松散数据存储空间；

还具有控制所述容器中存储数据的对象元数据管理单元和对象松散数据管理单元；

所述的对象元数据存储空间中存储有系统内所有对象的元数据块形成的一 个元数据块集合；在所述块集合中的对象的元数据块按字典序排列；

所述每一个对象的元数据块为一个多行两列矩阵，矩阵第一列和第二列的值分别为元数据块的标识和块值；所述每一个块集合中的所有块标识具有唯一的值；

所述的多行两列矩阵中至少包含拥有者信息、访问权限信息、对象数据类型和对象创建时间。

具有访问点模块，为系统提供命名空间，该命名空间内的容器名作为容器索引使用；所述容器索引映射为一容器元数据集，该数据集由若干个两行多列矩阵组成，矩阵中每一行分别表示块标识和块值。

所述的容器名与对象关键字组合作为对象索引。

所述的对象元数据管理模块具有核心对象记录，记录所述每一个对象的关键字和对象版本ID列表，列表中每一个ID与对象的一个独立版本相关联。

每个版本的对象具有唯一的索引字符串，该索引字符串由该版本对象所在容器名称、对象关键字和对象的版本ID组成。

所述重复数据管理模块，通过对松散数据进行文件校验比对，将同一份松散数据分享给不同用户、不同容器和不同对象。

所述重复数据管理模块将某容器设置成重复数据共享开启状态，则该容器内的数据将存放于全局共享数据空间中；

所述被设置成重复数据开启状态的容器，其松散数据以SHA-256的检验值进行区分，若多个对象的松散数据SHA-256校验值相同，则所有这些对象的元数据中的松散数据地址指向全局共享数据空间内的同一个存储路径位置；若用户对于开启重复数据共享功能的容器进行数据删除操作，系统将检查对应松散数据是否还被共享给其他容器，若无共享，那么删除对应数据；若有共享，则仍然保留该数据。

所述域具有多个存储服务器和缓存服务器集群，所述的每一个容器位于一个指定域中，容器的对象数据分散存储与不同的存储服务器或缓存服务器中；所述存储系统支持文件分块上传。

还具有与多个域通信的多域控制器，该控制器包括一个模块器集群、存储所的请求记录信息，保存并维护用户帐号和账务信息关系型数据库、用户权限管理模块和记录容器与所在域的关联信息DNS域名管理系统。

所述的对象元数据存储空间和对象松散数据存储空间还具有对应的缓存空 间。

由于采用了以上的技术方案，本发明公开了一种大数据存储系统及其存储方法，使用高度可扩展性的分布式多域式存储方式，该存储系统允许用户在较高层次上使用存储模块，将文件做为对象来管理。为了提高访问和操作对象的效率，该系统将对象（文件）的内容和对象的元数据彻底分离，通过建立合理、高效的元数据存储空间和元数据管理模块来提供快速的随机数据访问和索引速度。该系统所运用的安全模型能够提供准确的安全控制，保证存储的对象只在被指定的时间、地点及被给予访问权限的用户访问。

附图说明

为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1对象示意图

图2为本发明容器信息示意图

图3为本发明对象元数据示意图

图4为本发明对象元数据示意图

图5为本发明对象元数据管理模块请求处理模式示意图

图6为本发明数据返回步骤示意图

图7为本发明系统示意图

图8为本发明分布式多域存储示意图

图9为本发明松散文件分块上传示意图

具体实施方式

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1-图8所示：一种大数据存储系统，将文件划分为对象元数据和对象松散数据，所述的对象元数据和对象松散数据存储在容器中，所述的容器分布式存储在位于不同域的存储服务器中。如图1所示：对象”可理解为对于传统文件系统中的“文件”的延伸，其包含对象元数据和对象松散数据两个独立部分；如图2所示：所述容器与传统文件系统中的文件夹相类似，每个容器用于存储无限多个对象，除了内部存储的信息外，容器本身包含的信息有容器的命名、拥 有者、访问权限、访问日志、所在域、重复数据管理设置、数据缓存管理设置、网站设置、用户自拟定数据。

“对象元数据”包含信息有对象主键、拥有者、访问权限、对象创建时间、对象修改时间、对象数据类型、对象应用信息、对象松散数据存储位置信息、对象松散数据存储数据大小、对象松散数据备份容错个数、对象松散数据多版本的数据、用户子拟定数据；对于每个对象的操作和识别需要都将使用容器名与对象主键组合在一起，此信息作为唯一识别一个对象的方法。

如图4所示：本发明所述的大数据存储系统主要包括：

所述访问点模块用于提供整个存储系统的访问的入口点（即外网域名）。

所述对象元数据管理模块用于接受到用户通过访问点模块发起的数据请求时，对于目标对象元数据的管理；可通过将频繁被访问的对象元数据的缓存存放入更快读取速度的对象元数据缓存空间来优化系统的响应时间。

所述元数据存储空间用于存储所有对象的元数据；

所述元数据缓存空间用于存储部分被指定的对象的元数据；

所述对象松散数据管理模块用于处理各种对对象操作的请求；

所述缓存数据管理模块用于通过将频繁被访问的对象松散数据的缓存放入更快读取速度的松散数据缓存空间来优化系统的响应时间。

所述松散数据存储空间用于存储所有对象的松散数据；所有对象内容均为无结构化数据；此空间提供一个自适应存储的基础结构，能根据需求扩展存储能力，且不依赖相关的存储设备或文件系统。依据对系统可用性、持久性和可靠性的需求，存储模块可以将多种类型的存储设备或存储系统组合在一起来构建指定性能需求的大数据存储系统。

非结构化数据，是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据。相对于结构化数据而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括图片、文件,图像和音频/视频信息等等。

所述松散数据缓存空间用于存储部分被指定对象的松散数据；

所述全局共享数据空间用于存储部分共享给全局系统内的使用的松散数据；

所述全用户权限管理模块用提供认证、授权和各种资源的访问控制，并可以针对不同级别的用户提供分组管理和精确的访问控制，并对用户可执行的操 作以及执行操作的条件等进行判别和控制。

图4中本专利所述大数据存储系统支持如下操作；

①:添加/获取容器信息,添加/获取容器权限信息，添加/删除容器网站配置,获取分块上传列表,添加/获取容器操作日志,处理元数据缓存请求。

②:获取对象元数据信息，添加/获取对象的权限信息，分块上传对象初始化。

③:添加/上传对象松散数据，获取对象松散数据，删除对象松散数据，处理分换松散数据上传，松散数据缓存请求。

为了提高访问和操作对象的效率，我们将对象元数据和对象松散数据完全分离。所有对象的元数据块形成一个块集合存储在元数据存储空间中，并通过索引定位。

所有对象的元数据块根据索引按字典序排列存储。

每一个元数据块类似于一个多行两列的矩阵。矩阵第一列和第二列的值分别表示块的标识和块值。每一个块集合中所有块标识都有唯一的值，如下式所示：

矩阵A=[a_i，j]1≤i≤m，1≤j≤2，对于所有k，s∈m，其中k≠s，a_k，1≠a_s，1

例如，一个为W的索引映射为一个集合：

$(\left[\begin{array}{cc}{a}_{\mathrm{1,1}}& a_{\mathrm{1,2}}\\ a_{\mathrm{2,1}}& a_{\mathrm{2,2}}\\ \·& \·\\ \·& \·\\ \·& \·\end{array}\right]\left[\begin{array}{cc}{b}_{\mathrm{1,1}}& b_{\mathrm{1,2}}\\ b_{\mathrm{2,1}}& b_{\mathrm{2,2}}\\ b_{\mathrm{3,1}}& b_{\mathrm{3,2}}\\ \·& \·\\ \·& \·\\ \·& \·\end{array}\right]\·\·\·\left[\begin{array}{cc}{d}_{\mathrm{1,1}}& d_{\mathrm{1,2}}\\ d_{\mathrm{2,1}}& d_{\mathrm{2,2}}\end{array}\right])$

对于容器和对象的权限，本专利存储系统使用如下权限标识进行管理：

与此不同，我们提供的构建大数据存储系统的方法对于对象数量没有限制。该存储系统拥有一个全球统一的命名空间（即全球通用的网址），使得系统中每一个数据块的名字唯一，且每一个独立的容器的名字都被作为索引来使用。

系统采用不同的块标识和块值来表示对象不同的信息，如容器的属性、某个用户许访问权限列表、用户定义的元数据等。例如，一个名为“bucket1”的容器，则相应存在“bucket1”索引，该索引将映射为一个如下所示元数据集。

下列列表举例说明如何对于元数据块的标识和块值的使用及用途。

bucket1的元数据集是由若干个两行多列的矩阵组成，矩阵中每一行则由块 标识和块值构成。

其中，bucket1块的元数据集既包含系统元数据（块属性），如对象主键（key）、拥有者owner、所在域region、容器类型type等，也包用户含许访问权限列表，如用户userid2对bucket1的访问权限为只读READ，同时也包含了用户自定义元数据，如info。

如图5和图6所示：首先，检查一个请求是否包含访问关键字和带标志的索引，进而调用用户权限管理模块和对象元数据管理模块核实用户是否被许可执行此操作。如果许可被确认，该请求被授权继续进行。否则，返回错误信息。如果一个请求不含有用户的访问密钥，系统将核查对于容器和对象的请求是否已被设置成公共访问权限。如果被设置为公用访问权限，将继续执行下一步操作。无论访问成功或失败，所有的请求均被记录在日志中。模块提供方和数据拥有者可以根据日志数据计费、分析和诊断等。

传统存储系统限制了对文件元数据的存储和访问，用户很难添加自拟定元数据信息。本系统对所有元数据的访问、搜索、存储量无任何限制，并且用户可以添加自拟定数据。

在经过上一步对于访问容器及对象权限进行检验后，具体返回请求数据流，按照顺序进行对于访问请求、元数据缓存空间、元数据存储空间、松散数据缓存空间、松散数据空间、全局共享数据空间是否存在相关数据的检验。

若不存在所访问数据，将返回错误提示信息，若成功在相应存储空间中找到数据则返回。

在我们构建的云存储系统中，为了提高同一个容器中对象元数据并发访问的性能，采用容器名字与对象关键字组合成字符串作为对象索引的命名方式。例如，在一个标识为“bucket1”的容器中有一个主键为“object/key.pdf”的对象，相应的索引为字符串bucket1-object/key.pdf，该索引与如下元数据集相对应：

同容器元数据集的构成类似，对象object/key.pdf的元数据集由若干个两行多列的矩阵组成，矩阵中每一行由对象标识和对象值构成。其中，object/key.pdf对象的元数据集既包含对象系统元数据（对象属性），如对象主键（key）、拥有者owner、对象松散数据存储位置信息loc、对象数据类型type等，也包用户含许访问权限列表，如用户userid1对object/key.pdf的访问权限为全部操作准许FULL_CONTROL，同时也包含了用户自定义元数据，如object和year。

对象元数据管理模块用来管理存储的对象元数据，负责维护系统存储命名空间。客户通过访问此模块，获得文件内容存储的位置等信息。这种方式允许一个对象以多个版本的形式存在。

为了记录与管理云存储系统中对象的版本信息，我们将每一个对象关键字映射到一个核心对象记录上，该记录存储相应对象版本ID列表，列表中每一个ID与对象一个独立版本相关联。

例如，在容器“versionbucket”中存储一个具有关键字为“object/paper.pdf”的对象，则该对象的索引为versionbucket-object/paper.pdf，且该索引对应下所示元数据集：

其中，object/key.pdf对象的元数据集中除了包含主键key、拥有者owner等系统元数据，还包含一个对象版本信息的元数据集合。该集合记录了对象所有的版本标示和版本ID信息，如最新版本lastest的ID为uuid1,versionbucket2的ID为uuid1。

为了存储和访问每个版本更详细的信息，采用bucket名字、对象关键字和版本ID相结合，组合成唯一索引的字符串，且与对象相应版本详细信息相关联。

例如，最新版本的索引为“versionbucket-object/paper.pdf-uuid1”，其关联如下的对象版本数据集：

该数据集记录了最新版本lastest的存储位置loc、备份容错个数replicas，还包含了用户userid2对该版本的访问权限。

本专利所述大数据存储系统通过对象元数据管理模块、重复数据管理模块和全局共享数据空间构建一个高效的存储空间，用来减少重复数据的产生。重复数据管理模块通过对存储的松散数据之间的SHA-256文件校验比对，可将同一份松散数据分享使用给不同用户、不同容器及不同对象。

SHA-256哈希值校验算法可以使用于一块数据或者文件来得到256比特（bits）长度的SHA-256校验值。它保证了只有内容完全相同的松散数据才会得到相同的SHA-256校验值。本系统对于每个存储的对象的松散数据都进行SHA-256哈希值（Hash）校验(checksum)，并将检验值存储于对象的元数据中，系统对每个对象松散数据进行SHA-256校验和索引。

更进一步的，为了减少在系统中冗余数据，作为一个较佳的实施方式，所述的所述重复数据管理模块将某容器设置成重复数据共享开启状态，则该容器内的数据将存放于全局共享数据空间中；

所述被设置成重复数据开启状态的容器，其松散数据以SHA-256的检验值进行区分，若多个对象的松散数据SHA-256校验值相同，则所有这些对象的元数据中的松散数据地址指向全局共享数据空间内的同一个存储路径位置；若用户对于开启重复数据共享功能的容器进行数据删除操作，系统将检查对应松散数据是否还被共享给其他容器，若无共享，那么删除对应数据；若有共享，则仍然保留该数据。

本专利所述大数据存储系统使用分布式多域进行数据存储和管理，每个容器可存储于系统其中一个指定域中，其所包含对象数据可部署于不同物理模块器或高速缓存模块器中。为了加快大文件的上传速度，本专利所述存储系统支持文件分块上传。

文件分块上传如图8和图9所示，用户可将一个大文件切合成多个小块进行上传。用户首先通过系统接口发送分块上传请求，系统处理分块上传请求并分配上传ID号，用户通过携带获得的分块上传ID号将一个大文件分成多个小 块进行上传，在上传结束后，发送分块总数量和分块上传ID号，系统收到请求后将指定分块进行合并，最后更新元数据。

如图8所示，为了满足系统可扩展性、可操作性、数据持久性和可靠性的需求，本专利所述大数据存储系统的实现通过部署一个多域总控制器和多域所组成。图中，每个域都包含一个模块器集群。

多域总控制器由一个模块器集群、关系型数据库、用户权限管理模块和DNS域名管理系统构成。其中，关系型数据库用于存储所的请求记录信息，保存并维护用户帐号和账务信息。用户权限管理模块已经在本专利上文进行书名。DNS域名管理系统负责记录容器与所在域的关联信息。例如，图8所示，本专利所述大数据存储系统通过进行DNS域名中Ａ记录的指向来进行容器与所在域的ＩＰ关联。

容器名称	所属域	DNS A记录
			bucket1	域1	bucket1指向域1服务器IP
testbucket	域2	testbucket指向域2服务器IP
			johnbucket	域4	johnbucket指向域4控制器IP

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种大数据存储系统，其特征在于：

将文件划分为对象元数据和对象松散数据，所述的对象元数据和对象松散数据存储在容器中，所述的容器分布式存储在位于不同域的存储服务器中；

所述容器具有对象元数据存储空间和对象松散数据存储空间；

还具有控制所述容器中存储数据的对象元数据管理单元和对象松散数据管理单元；

所述的对象元数据存储空间中存储有系统内所有对象的元数据块形成的一个元数据块集合；在所述块集合中的对象的元数据块按字典序排列；

所述每一个对象的元数据块为一个多行两列矩阵，矩阵第一列和第二列的值分别为元数据块的标识和块值；所述每一个块集合中的所有块标识具有唯一的值；

所述的多行两列矩阵中至少包含拥有者信息、访问权限信息、对象数据类型和对象创建时间信息；

还具有访问点模块，为系统提供命名空间，该命名空间内的容器名作为容器索引使用；所述容器索引映射为一容器元数据集，该数据集由若干个两行多列矩阵组成，矩阵中每一行分别表示块标识和块值。

2.根据权利要求1所述的大数据存储系统，其特征还在于：所述的容器名与对象关键字组合作为对象索引。

3.根据权利要求2所述的大数据存储系统，其特征还在于：所述的对象元数据管理模块具有核心对象记录，记录所述每一个对象的关键字和对象版本ID列表，列表中每一个ID与对象的一个独立版本相关联。

4.根据权利要求3所述的大数据存储系统，其特征还在于：每个版本的对象具有唯一的索引字符串，该索引字符串由该版本对象所在容器名称、对象关键字和对象的版本ID组成。

5.根据上述任意一项权利要求所述的大数据存储系统，其特征还在于具有重复数据管理模块，通过对松散数据进行文件校验比对，将同一份松散数据分享给不同用户、不同容器和不同对象。

6.根据权利要求5所述的大数据存储系统，其特征还在于：所述重复数据管理模块将某容器设置成重复数据共享开启状态，则该容器内的数据将存放于全局共享数据空间中；

所述被设置成重复数据共享开启状态的容器，其松散数据以SHA-256的检验值进行区分，若多个对象的松散数据SHA-256校验值相同，则所有这些对象的元数据中的松散数据地址指向全局共享数据空间内的同一个存储路径位置；若用户对于开启重复数据共享功能的容器进行数据删除操作，系统将检查对应松散数据是否还被共享给其他容器，若无共享，则删除对应数据；若有共享，则仍然保留该数据。

7.根据权利要求1-4任意一项权利要求所述的大数据存储系统，其特征还在于：所述域具有多个存储服务器和缓存服务器集群，所述的每一个容器位于一个指定域中，容器的对象数据分散存储与不同的存储服务器或缓存服务器中；所述存储系统支持文件分块上传。

8.根据权利要求6所述的大数据存储系统，其特征还在于：还具有与多个域通信的多域控制器，该控制器包括一个模块器集群、存储所的请求记录信息，保存并维护用户帐号和账务信息关系型数据库、用户权限管理模块和记录容器与所在域的关联信息DNS域名管理系统。

9.根据权利要求1-4任意一项权利要求所述的大数据存储系统，其特征还在于：所述的对象元数据存储空间和对象松散数据存储空间还具有对应的缓存空间。