CN111831230A - 一种面向高性能计算及大数据的智能存储系统 - Google Patents

Abstract

本发明公开了属于计算机应用技术领域的一种面向高性能计算及大数据的智能存储系统。建立智能存储系统的框架结构，智能存储引擎技术是一种对文件、对象统一存储、智能管理、智能调度的新型智能存储技术，它首先能将由磁盘形成的资源池分为S3与NAS两个不同的存储空间，这里S3空间主要可提供对象共享的服务，NAS存储空间主要提供NFS、CIFS的文件共享服务，本系统支持选择NAS或S3协议进行数据读写，并支持其数据之间的相互访问，利用不同协议的优势，最大化的提升读写性能；并具备快照、压缩、重复数据删除、副本、块大小可调整等存储高级功能选项，充分利用快速部署、零运维的优势，满足企业业务存储快速智能化的需求。

Description

一种面向高性能计算及大数据的智能存储系统

技术领域

本发明属于计算机应用技术领域，特别涉及一种面向高性能计算及大数据的智能存储系统。

背景技术

随着大数据时代的到来，随着企业规模的扩大、自身业务的增长，企业需要从用户业务、数据、服务等不同的维度对存储资源进行统一的规划、管理和计量。企业的数据量的存储需求迅速增长，存储技术越来越受到业界关注，使越来越多的企业把数据存储作为重要项目来管理，对存储管理而言，虚拟化是一种具有广阔前景的解决方案。存储虚拟化技术解决了存储设备管理效率的问题，不同类型的存储资源整合问题，异构存储系统的兼容性、扩展性、可靠性、容错容灾等问题。存储虚拟化技术具有提高动态适应能力。它将存储资源统一集中到一个大容量的资源池，无需中断应用即可改变存储系统和实现数据移动，对存储系统能够实现单点统一管理。图1是基于存储设备的存储虚拟化的技术架构图，是在存储控制器上添加虚拟化功能，它的目的是面向用户的应用进行优化，可以把用户不同的存储系统融合成单一的平台，解决数据管理难题，并通过分级存储实现信息的生命周期管理，从而进一步优化应用环境。这种技术主要用在同一存储设备内部，进行数据保护和数据迁移。它的优势是与主机无关，不占用主机资源，数据管理功能丰富。但也存在缺点：第一，一般只能实现对本设备内磁盘的虚拟化；第二，不同厂商的数据管理功能不能互操作；第三，多套存储设备需配置多套数据管理软件，成本较高。

发明内容

本发明的目的是提出一种面向高性能计算及大数据的智能存储系统，其特征在于，包括：

(1)首先建立智能存储系统的框架结构，

智能存储引擎技术是一种对文件、对象统一存储、智能管理、智能调度的新型智能存储技术，它首先能将由磁盘形成的资源池分为S3与NAS两个不同的存储空间，这里S3空间主要可提供对象共享的服务，NAS存储空间主要提供NFS、CIFS的文件共享服务，同时S3、NAS两个不同的存储空间还可实现空间的共享，通过支持NAS和S3数据的互相访问，使用户可以根据业务需求，选择不同的协议进行数据的写入读出，不同协议数据可以相互访问；本系统支持选择NAS或S3协议进行数据读写，并支持其数据之间的相互访问，利用不同协议的优势，最大化的提升读写性能。并具备快照、压缩、重复数据删除、副本、块大小可调整等存储高级功能选项，由智能存储引擎技术为核心还可可以为系统提供网关服务、卷管理、用户管理、服务管理、共享管理、资源池管理、磁盘管理、日志管理、系统监控的多种智能管理和服务组件。

(2)基于上述(1)建立智能存储系统的框架结构，智能存储引擎技术采用智能存储引擎层数据处理，同一个业务池产生的数据经过智能存储引擎的处理，智能存储引擎使用存储池的概念来管理物理存储，为了处理多个设备并提供数据冗余，引入了卷管理器的概念来提供单个设备的表示，就不必利用多个设备；智能存储引擎将设备聚合到一个存储池中，而不是强制创建虚拟卷；存储池描述了包括设备布局、数据冗余存储的物理特征，并充当可以创建文件系统的任意数据存储设备；文件系统不再局限于单个设备，允许它们与池中的所有文件系统共享磁盘空间；不再需要预先确定文件系统的大小，因为文件系统会在分配给存储池的磁盘空间内自动增长；当添加新存储时，池中的所有文件系统都可以立即使用额外的磁盘空间，而无需进行额外的工作；在许多方面，存储池的工作类似于虚拟内存系统:当将内存DIMM添加到系统中时，操作系统不会强制采用运行命令来配置内存并将其分配给各个进程；系统上的所有进程都会自动使用额外的内存，具体包括：

2.1,数据处理在数据写入时，并不会过量写入，总是在指针指向变更数据之前被写入到一个新块和校验块中；旧的数据可能被保存下来，在发生变更过程的同时负载被平摊到所有的磁盘上；文件写入是交易型的操作，要么将所有数据写入到磁盘，要么什么都不写入；当额外的存储设备被加入到存储池中的时候，条带宽度会自动扩展，以包含额外加入的存储设备，即磁盘之类；这使得存储池中的所有磁盘都被用到，同时负载被平摊到所有的磁盘上；

2.2优化数据存储空间，

数据在通过智能存储引擎技术写入物理存储设备添加到存储池中，将在该共享的存储池中分配存储空间；当S3、NAS要使用分配的存储空间时，通过向存储池中添加新的存储设备来增加空间；文件系统会在分配给存储池的磁盘空间内自动增长；当添加新存储时，存储池中的所有文件系统都可以立即使用额外的磁盘空间，当将内存DIMM添加到系统中时，操作系统不会强制运行命令来配置内存，并将其分配给各个进程，系统上的所有进程都会自动使用额外的内存；

2.3数据安全保护

1)快速创建快照，方便数据回滚：由于智能存储引擎在读写操作中已经存储了所有构建快照的数据，所以快照的创建非常快，可克隆快照，也可以被创建；结果就是两个独立的文件系统共享一些列的块；所述块(block)由一个或多个sector(扇区)组成，文件系统中最小的操作单位；OS的虚拟文件系统从硬件设备上读取一个块(block)，实际为从硬件设备读取一个或多个sector；sector是硬件、磁盘上的最小的操作单位,是操作系统和包括硬件、磁盘在内的块设备之间传送数据的单位；当任何一个克隆版本的文件系统被改变时，新的数据块为了反映这些改变而创建，但是不管有多少克隆版本的存在，未改变的块仍然在其他的克隆版本中共享；每次的写入或者是更新均不会影响到磁盘上已有的数据，也就是说，如果必要的话，可以记录下每次写入/更新的操作内容，这是实现快照功能的基础，实际的快照功能实现只是在其中选择一个从智能存储引擎角度角度而言完整的事务作为快照点；由于智能存储引擎延迟合并了写入，并且判断出是对于旧有整个block的更新，所以就不需要读取旧有的数据，更新旧有元数据就可以了；

2)多副本冗余机制：智能存储为块存储提供多副本冗余机制，用户可以设置最多三份的数据存储的份数，默认会为文件系统的元数据在资源池的多块磁盘上存储多份，避免这些关键数据的损坏带来的更为严重的后果。

3)多重校验机制：对文件和对象存储提供条带、镜像、单重校验、双重校验、三重校验5种级别的数据冗余性；检测到坏的数据块时，智能存储会从另一个冗余副本中提取正确的数据，而且会用正确的数据替换错误的数据；

4)元数据效验和数据一致性支持：智能存储文件系统采用了256位校验和，当向磁盘写入数据的时候，校验和就会被作为元数据与它相关的数据分开保存。与普通的磁盘块校验和不同的是，这种校验和可以检测出错位写、误读取和误写入、DMA奇偶错误、驱动器bug、意外过量写入以及常见的物理存储的衰减(bit rot)。所有数据和元数据都使用用户可选择的校验和算法进行验证。由于卷管理层和传统文件系统设计的需要，提供校验和验证的传统文件系统在每个块的基础上执行校验和验证。传统的设计意味着某些失败，例如将一个完整的块写入一个错误的位置，可能导致数据不正确，但是没有校验和错误。校验和的存储方式可以检测到这些故障，并可以优雅地从故障中恢复；所有校验和验证和数据恢复都在文件系统层执行，对应用程序是透明的。

2.4分布式文件系统数据管理

通过底层硬件构建的大规模的、具有高可用性、高可扩展性、高性能的分布式存储系统，对集群数据进行管理；指系统的某个部件失效后，系统依然可以提供正常服务能力；可用设备部件和数据的冗余来提高可用性；

系统可灵活的应对集群的伸缩，如任意添加或删除存储节点和存储设备系统的性能随集群的增加而线性增加。

所述快速创建快照，基于高效的快照实现，智能存储引擎能够实现快照的发送(send)和接收(receive)功能，通过此功能，智能存储引擎可以高效的实现离线异地数据同步的功能，可以快速的计算出来自于同一个文件系统实例的两个快照之间修改的数据。

本发明的有益效果是采用智能存储引擎技术，充分利用软件定义技术的快速部署、零运维的优势，满足企业业务存储快速智能化的需求，同时利用“云计算、大数据、人工智能”等技术，打造距用户业务需求更近的新型智能数据中心，通过智能存储技术所提供的功能，灵活定义和调配其所需的IT存储资源。由此本发明主要具备以下技术特点：

1.存储空间共享，智能存储引擎技术将物理存储设备添加到池中，并从该共享池中分配存储空间。S3、NAS都可以使用空间，可以通过向池中添加新的存储设备来增加空间；文件系统会在分配给存储池的磁盘空间内自动增长，写时拷贝，确保数据在磁盘上的连续性；智能存储引擎技术使用多项技术来；

2.确保数据在磁盘上的连续性，其中就包括写时才拷贝(Copy on Write)，也就是当数据发生变更的时候它并不会过量写入，它总是在指针指向变更数据之前被写入到一个新块和校验和中。旧的数据可能被保存下来，在发生变更的过程中创建文件系统的快照。

3.动态条带化，实现智能化负载均衡，智能存储引擎能动态条带化所有设备以最大化吞吐量；当额外的设备被加入到存储池中的时候，条带宽度会自动扩展以包含这些设备，这使得存储池中的所有磁盘都被用到，同时负载被平摊到所有的磁盘上。

4.原生快照/克隆；使用写时拷贝技术的一个优势在于，写新数据时，包含旧数据的块被保留着，提供了一个可以被保留的文件系统的快照版本；

由于智能存储引擎在读写操作中已经存储了所有构建快照的数据，所以快照的创建非常快；快照的数据可以克隆，也可以被创建；结果就是两个独立的文件系统共享一些列的块。当任何一个克隆版本的文件系统被改变时，新的数据块为了反映这些改变而创建，但是不管有多少克隆版本的存在，未改变的块仍然在其他的克隆版本中共享。

5.实现存储空间优化，采用重复数据删除技术通过数据虚拟化来节省空间，一个物理数据拷贝可以代表多个逻辑数据拷贝，从而消除相同数据的冗余备份需求；压缩技术则可跨多种数据类型缩减要存储数据的大小，从而节省更多空间。

6.多重安全级别，保证数据安全；智能存储为数据块存储提供多副本冗余机制，对文件和对象存储提供条带、镜像、单重校验、双重校验、三重校验5种级别的数据冗余性。检测到坏的数据块时，智能存储会从另一个冗余副本中提取正确的数据，而且会用正确的数据替换错误的数据。

7.元数据效验和数据一致性支持，智能存储文件系统采用了256位校验和，当向磁盘写入数据的时候，校验和就会被作为元数据与它相关的数据分开保存。与普通的磁盘块校验和不同的是，这种校验和可以检测出错位写、误读取和误写入、DMA奇偶错误、驱动器bug、意外过量写入以及常见的物理存储的衰减(bit rot)。

附图说明

图1是基于存储设备的存储虚拟化的技术架构图。

图2是智能存储引擎技术架构图。

具体实施方式

本发明提出一种面向高性能计算及大数据的智能存储系统，下面结合附图对本发明予以进一步说明。

如图2所示的智能存储引擎技术架构图。首先建立智能存储系统的框架结构，所述智能存储引擎技术是一种对文件、对象统一存储、智能管理、智能调度的新型智能存储技术，它首先能将由磁盘形成的资源池分为S3与NAS两个不同的存储空间，这里S3空间主要可提供对象共享的服务，NAS存储空间主要提供NFS、CIFS的文件共享服务，同时S3、NAS两个不同的存储空间还可实现空间的共享，通过支持NAS和S3数据的互相访问，使用户可以根据业务需求，选择不同的协议进行数据的写入读出，不同协议数据可以相互访问；本系统支持选择NAS或S3协议进行数据读写，并支持其数据之间的相互访问，利用不同协议的优势，最大化的提升读写性能。并具备快照、压缩、重复数据删除、副本、块大小可调整等存储高级功能选项，由智能存储引擎技术为核心还可可以为系统提供网关服务、卷管理、用户管理、服务管理、共享管理、资源池管理、磁盘管理、日志管理、系统监控的多种智能管理和服务组件。

基于上述的智能存储引擎技术，采用智能存储引擎层数据处理，本发明提出一种面向高性能计算及大数据的智能存储系统，包括：

1.首先建立智能存储系统的框架结构，

智能存储引擎技术是一种对文件、对象统一存储、智能管理、智能调度的新型智能存储技术，它首先能将由磁盘形成的资源池分为S3与NAS两个不同的存储空间，这里S3空间主要可提供对象共享的服务，NAS存储空间主要提供NFS、CIFS的文件共享服务，同时S3、NAS两个不同的存储空间还可实现空间的共享，通过支持NAS和S3数据的互相访问，使用户可以根据业务需求，选择不同的协议进行数据的写入读出，不同协议数据可以相互访问；本系统支持选择NAS或S3协议进行数据读写，并支持其数据之间的相互访问，利用不同协议的优势，最大化的提升读写性能。并具备快照、压缩、重复数据删除、副本、块大小可调整等存储高级功能选项，由智能存储引擎技术为核心还可可以为系统提供网关服务、卷管理、用户管理、服务管理、共享管理、资源池管理、磁盘管理、日志管理、系统监控的多种智能管理和服务组件。

2，基于上述1的智能存储引擎技术，采用智能存储引擎层数据处理同一个业务池产生的数据经过智能存储引擎的处理，智能存储引擎使用存储池的概念来管理物理存储，为了处理多个设备并提供数据冗余，引入了卷管理器的概念来提供单个设备的表示，这样就不需要修改文件系统来利用多个设备；智能存储引擎将设备聚合到一个存储池中，而不是强制创建虚

拟卷；存储池描述了包括设备布局、数据冗余存储的物理特征，并充当可以创建文件系统的任意数据存储设备；文件系统不再局限于单个设备，允许它们与池中的所有文件系统共享磁盘空间；不再需要预先确定文件系统的大小，因为文件系统会在分配给存储池的磁盘空间内自动增长；当添加新存储时，池中的所有文件系统都可以立即使用额外的磁盘空间，而无需进行额外的工作；在许多方面，存储池的工作类似于虚拟内存系统:当将内存DIMM添加到系统中时，操作系统不会强制采用运行命令来配置内存并将其分配给各个进程；系统上的所有进程都会自动使用额外的内存，具体包括：

(1)数据处理在数据写入时，并不会过量写入，总是在指针指向变更数据之前被写入到一个新块和校验和中；旧的数据可能被保存下来，在发生变更的过程到，同时负载被平摊到所有的磁盘上；文件写入是交易型的操作，要么将所有数据写入到磁盘，要么什么都不写入；当额外的存储设备被加入到存储池中的时候，条带宽度会自动扩展以包含额外加入的存储设备，即磁盘之类；这使得存储池中的所有磁盘都被使用，同时负载被平摊到所有的磁盘上；

(2)优化数据存储空间

数据在通过智能存储引擎技术写入物理存储设备添加到存储池中，将在该共享的存储池中分配存储空间；当S3、NAS要使用分配的存储空间时，可以通过向存储池中添加新的存储设备来增加空间；文件系统会在分配给存储池的磁盘空间内自动增长；当添加新存储时，存储池中的所有文件系统都可以立即使用额外的磁盘空间，当将内存DIMM添加到系统中时，操作系统不会强制运行命令来配置内存，并将其分配给各个进程，系统上所有进程都会自动使用额外的内存。

(3)数据安全保护

1)快速创建快照，方便数据回滚：由于智能存储引擎在读写操作中已经存储了所有构建快照的数据，所以快照的创建非常快，可克隆快照，也可以被创建；结果就是两个独立的文件系统共享一些列的块；所述块(block)由一个或多个sector组成，文件系统中最小的操作单位；OS的虚拟文件系统从硬件设备上读取一个块(block)，实际为从硬件设备读取一个或多个sector(扇区)，sector是硬件、磁盘上的最小的操作单位,是操作系统和块设备(硬件、磁盘)之间传送数据的单位；当任何一个克隆版本的文件系统被改变时，新的数据块为了反映这些改变而创建，但是不管有多少个克隆版克隆版本的存在，未改变的块仍然在其他的克隆版本中共享；

每次的写入或者是更新均不会影响到磁盘上已有的数据，也就是说，如果必要的话，可以记录下每次写入/更新的操作内容，这是实现快照功能的基础，实际的快照功能实现只是在其中选择一个从智能存储引擎角度角度而言完整的事务作为快照点；由于智能存储引擎延迟合并了写入，并且判断出是对于旧有整个block的更新，所以就不需要读取旧有的数据，更新旧有元数据就可以了；所述，基于高效的快照实现，智能存储引擎能够实现快照数据的发送(send)和接收(receive)功能，通过此功能，智能存储引擎可以高效的实现离线异地数据同步的功能，可以快速的计算出来自于同一个文件系统实例的两个快照之间修改的数据。

2)多副本冗余机制：智能存储为块存储提供多副本冗余机制，用户可以设置最多三份的数据存储的份数，默认会为文件系统的元数据在资源池的多块磁盘上存储多份，避免这些关键数据的损坏带来的更为严重的后果。

3)多重校验机制：对文件和对象存储提供条带、镜像、单重校验、双重校验、三重校验5种级别的数据冗余性；检测到坏的数据块时，智能存储会从另一个冗余副本中提取正确的数据，而且会用正确的数据替换错误的数据；

4)元数据效验和数据一致性支持：智能存储文件系统采用了256位校验和，当向磁盘写入数据的时候，校验和就会被作为元数据与它相关的数据分开保存。与普通的磁盘块校验和不同的是，这种校验和可以检测出错位写、误读取和误写入、DMA奇偶错误、驱动器bug、意外过量写入以及常见的物理存储的衰减。所有数据和元数据都使用用户可选择的校验和算法进行验证。由于卷管理层和传统文件系统设计的需要，提供校验和验证的传统文件系统在每个块的基础上执行校验和验证。传统的设计意味着某些失败，例如将一个完整的块写入一个错误的位置，可能导致数据不正确，但是没有校验和错误。校验和的存储方式可以检测到这些故障，并可以优雅地从故障中恢复；所有校验和验证和数据恢复都在文件系统层执行，对应用程序是透明

3)分布式文件系统数据管理通过底层硬件构建的大规模的、具有高可用性、高可扩展性、高性能的分布式存储系统，对集群数据进行管理；指系统的某个部件失效后，系统依然可以提供正常服务能力；可用设备部件和数据的冗余来提高可用性；系统可灵活的应对集群的伸缩，如任意添加或删除存储节点和存储设备；系统的性能随集群的增加而线性增加。

本发明针对不同的业务场景提供不同的解决方案，采用智能存储引擎技术，充分利用软件定义技术的快速部署、零运维的优势，解决了存储设备管理效率的问题，不同类型的存储资源整合问题，异构存储系统的兼容性、扩展性、可靠性、容错容灾等问题，满足企业业务存储快速智能化的需求。同时利用“云计算、大数据、人工智能”等技术，打造距用户业务求更近的新型智能数据中心。

Claims (3)

1.一种面向高性能计算及大数据的智能存储系统，其特征在于，包括：

(1)首先建立智能存储系统的框架结构，智能存储引擎技术是一种对文件、对象统一存储、智能管理、智能调度的智能存储技术，它首先能将由磁盘形成的资源池分为S3与NAS两个不同的存储空间，该S3存储空间主要提供对象共享的服务；NAS存储空间主要提供NFS、CIFS的文件共享服务，同时S3、NAS两个不同的存储空间还能实现空间的共享，通过支持NAS和S3数据的互相访问，使用户能根据业务需求，选择不同的协议进行数据的写入、读出，不同协议数据相互访问；本系统支持选择NAS或S3协议进行数据读写，并支持其数据之间的相互访问，利用不同协议的优势，最大化的提升读写性能；并具备快照、压缩、重复数据删除、副本、块大小可调整之存储高级功能选项，由智能存储引擎技术为核心还能够为系统提供网关服务、卷管理、用户管理、服务管理、共享管理、资源池管理、磁盘管理、日志管理、系统监控的多种智能管理和服务组件；

(2)基于上述一建立智能存储系统的智能存储引擎技术，采用智能存储引擎层数据处理，同一个业务池产生的数据经过智能存储引擎的处理，智能存储引擎使用存储池的概念来管理物理存储，为了处理多个设备并提供数据冗余，引入了卷管理器的概念来提供单个设备的表示，就不必利用多个设备；智能存储引擎将设备聚合到一个存储池中，而不是强制创建虚拟卷；存储池描述了包括设备布局、数据冗余存储的物理特征，并充当可以创建文件系统的任意数据存储设备；文件系统不再局限于单个设备，允许它们与池中的所有文件系统共享磁盘空间；不再需要预先确定文件系统的大小，因为文件系统会在分配给存储池的磁盘空间内自动增长；当添加新存储时，池中的所有文件系统都可以立即使用额外的磁盘空间，而无需进行额外的工作；在许多方面，存储池的工作类似于虚拟内存系统:当将内存DIMM添加到系统中时，操作系统不会强制采用运行命令来配置内存并将其分配给各个进程；系统上的所有进程都会自动使用额外的内存，具体包括：

2.1数据处理

在数据写入时，并不会过量写入，总是在指针指向变更数据之前被写入到一个新块和校验和中；旧的数据可能被保存下来，在发生变更的过程到，同时负载被平摊到所有的磁盘上；文件写入是交易型的操作，要么将所有数据写入到磁盘，要么什么都不写入；当额外的存储设备被加入到存储池中的时候，条带宽度会自动扩展以包含额外加入的存储设备，即磁盘之类；这使得存储池中的所有磁盘都被用到，同时负载被平摊到所有的磁盘上；

2.2优化数据存储空间

数据在通过智能存储引擎技术写入物理存储设备添加到存储池中，将在该共享的存储池中分配存储空间；当S3、NAS要使用分配的存储空间时，可以通过向存储池中添加新的存储设备来增加空间；文件系统会在分配给存储池的磁盘空间内自动增长；当添加新存储时，存储池中的所有文件系统都可以立即使用额外的磁盘空间，当将内存DIMM添加到系统中时，操作系统不会强制运行命令来配置内存，并将其分配给各个进程，系统上的所有进程都会自动使用额外的内存；

2.3数据安全保护

1)快速创建快照，方便数据回滚：由于智能存储引擎在读写操作中已经存储了所有构建快照的数据，所以快照的创建非常快，可克隆快照，也可以被创建；结果就是两个独立的文件系统共享一些列的块；当任何一个克隆版本的文件系统被改变时，新的数据块为了反映这些改变而创建，但是不管有多少克隆版本的存在，未改变的块仍然在其他的克隆版本中共享；所述块(block)由一个或多个sector(扇区)组成，文件系统中最小的操作单位；OS的虚拟文件系统从硬件设备上读取一个块(block)，实际为从硬件设备读取一个或多个sector(扇区)，sector是硬件、磁盘上的最小的操作单位,是操作系统和块设备(硬件、磁盘)之间传送数据的单位；

每次的写入或者是更新均不会影响到磁盘上已有的数据，可以记录下每次写入/更新的操作内容，这是实现快照功能的基础，实际的快照功能实现只是在其中选择一个从智能存储引擎角度角度而言完整的事务作为快照点；由于智能存储引擎延迟合并了写入，并且判断出是对于旧有整个block的更新，所以就不需要读取旧有的数据，更新旧有元数据就可以了；

2)多副本冗余机制：智能存储为块存储提供多副本冗余机制，用户可以设置最多三份的数据存储的份数，默认会为文件系统的元数据在资源池的多块磁盘上存储多份，避免这些关键数据的损坏带来的更为严重的后果；

3)多重校验机制：对文件和对象存储提供条带、镜像、单重校验、双重校验、三重校验5种级别的数据冗余性；检测到坏的数据块时，智能存储会从另一个冗余副本中提取正确的数据，而且会用正确的数据替换错误的数据；

4)元数据效验和数据一致性支持：智能存储文件系统采用了256位校验和，当向磁盘写入数据的时候，校验和就会被作为元数据与它相关的数据分开保存；这种校验和可以检测出错位写、误读取和误写入、DMA奇偶错误、驱动器bug、意外过量写入以及常见的物理存储的衰减(bit rot)；

所有数据和元数据都使用用户可选择的校验和算法进行验证，由于卷管理层和传统文件系统设计的需要，提供校验和验证的传统文件系统在每个块的基础上执行校验和验证；校验和的存储方式可以检测到这些故障，并可以从故障中恢复；所有校验和验证和数据恢复都在文件系统层执行，对应用程序是透明的；

2.4分布式文件系统数据管理

通过底层硬件构建的大规模的、具有高可用性、高可扩展性、高性能的分布式存储系统，对集群数据进行管理；系统的某个部件失效后，系统依然可以提供正常服务能力；可用设备部件和数据的冗余来提高可用性；系统可灵活的应对集群的伸缩，可任意添加或删除存储节点和存储设备；系统的性能随集群的增加而线性增加。

2.根据权利要求1所述面向高性能计算及大数据的智能存储系统，其特征在于，所述优化数据存储空间，为了对存储空间的进一步优化，还将通过通过数据虚拟化来节省空间，一个物理数据拷贝可以代表多个逻辑数据拷贝，从而消除相同数据的冗余备份需求；压缩技术则可跨多种数据类型缩减要存储数据的大小，从而节省更多空间；目前支持LZJB和ZIP两种压缩算法，支持deadline模式下的IO优先级调度，这点对于一些延时敏感的应用来说相当重要，支持读取时的数据预读功能，支持高效的IO请求排序和汇聚，支持按照用户和文件系统实例的磁盘限额功能。

3.根据权利要求1所述面向高性能计算及大数据的智能存储系统，其特征在于，所述快速创建快照，基于高效的快照实现，智能存储引擎能够实现快照数据的发送(send)和接收(receive)功能，通过此功能，智能存储引擎能够高效的实现离线异地数据同步的功能，能够快速的计算出来自于同一个文件系统实例的两个快照之间修改的数据。

Images