CN103365972A - 一种海量数据智能处理系统 - Google Patents

Abstract

本发明提出了一种海量数据智能处理系统，解决了现有技术中无法对海量数据进行有效处理的问题。该系统包括存储装置，与存储装置连接；数据存储应用装置，用于存储系统海量数据应用服务，与存储装置连接；数据集群装置，用于管理存储的海量数据，并对存储的海量数据进行转储或清除操作，与存储装置连接；公共管理应用集群装置，用于与外部用户进行信息交换、控制海量数据中转，并为海量数据的传输提供接口，与存储装置连接。本发明所述的海量数据智能处理系统，能够有效的实现外部用户与系统的交流，并且在有效交流的同时进行有效的数据处理。

Description

一种海量数据智能处理系统

技术领域

本发明涉及数据处理领域，特别是指一种海量数据智能处理系统。

背景技术

随着信息技术的不断发展，信息量与日俱增，信息形式变得多种多样，单一数据库的数据存储能力逐渐变得力不从心，众多领域中对数据存储的要求也随着信息信息量的要求不断增加；

现有技术中，对海量数据的处理一般还停留在原始的单一数据库处理，即便已经出现了少量的多数据库集成处理的方式，但由于技术的限制或者操作方式的局限性依然不能够有效的对数据进行处理，为日常的数据存储、调用等增加了麻烦；

综上，一种结构简单，易操作上手的海量数据处理系统迫切需要。

发明内容

本发明提出一种海量数据智能处理系统，解决了现有技术中无法对海量数据进行有效处理的问题。

本发明的技术方案是这样实现的：

一种海量数据智能处理系统，包括：

存储装置，用于进行海量数据存储；

管理集群装置，用于控制海量数据的归档、备份、恢复、迁移和回迁，与存储装置连接；

数据存储应用装置，用于存储系统海量数据应用服务，与存储装置连接；

数据集群装置，用于管理存储的海量数据，并对存储的海量数据进行转储或清除操作，与存储装置连接；

公共管理应用集群装置，用于与外部用户进行信息交换、控制海量数据中转，并为海量数据的传输提供接口，与存储装置连接。

作为进一步的技术方案，还包括：

中转装置，用于进行存储装置与管理集群装置、数据存储应用装置、数据集群装置和公共管理应用集群装置之间的数据传输转换，设置在存储装置与管理集群装置、数据存储应用装置、数据集群装置和公共管理应用集群装置之间。

作为进一步的技术方案，存储装置包括：

在线存储单元，用于海量数据的在线存储；

近线存储单元，用于数据近线存储；

离线存储单元，用于在海量数据备份或归档后进行存储。

优选的，在线存储单元包括4台磁盘阵列；近线存储单元包括3台磁盘阵列；离线存储单元包括2台磁带库。

作为进一步的技术方案，存储装置还包括：

虚拟存储单元，用于缓解离线存储单元备份时的压力，减小备份时间。

优选的，虚拟存储单元包括1台磁盘阵列。

作为进一步的技术方案，管理集群装置包括第一操作单元和第一应用单元，其中，第一操作单元控制第一应用单元进行海量数据的规定、备份、恢复、迁移和回迁操作。

作为进一步的技术方案，数据存储应用装置包括：第二操作单元和第二应用单元，其中第二操作单元控制第二应用单元进行海量数据的入库或提取操作。

作为进一步的技术方案，数据集群装置包括：第三操作单元和第三应用单元，其中第三操作单元控制第三应用单元对存储装置存储的海量数据进行结构化管理或监控操作。

作为进一步的技术方案，公共管理应用集群装置包括：第四操作单元和第四应用单元，其中，第四操作单元控制第四应用单元与外部用户进行数据信息交换或对存储装置中存储的海量数据进行中转操作。

本发明技术方案通过存储装置对海量数据进行存储，并在管理集群装置、数据存储应用装置、数据集群装置和公共管理应用集群装置的控制下，可实现对存储装置中数据的固定，备份、入库、提取、结构化管理等操作，并且能够在保证数据有效处理的前提下，有效的实现与外部用户的数据信息交换。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种海量数据智能处理系统一个实施例的结构框图；

图2为本发明一种海量数据智能处理系统另一个实施例的结构框图；

图3为本发明一种海量数据智能处理系统再一个实施例的结构框图。

图中：

1、存储装置；101、在线存储单元；102、近线存储单元；103、离线存储单元；104、虚拟存储单元；2、管理集群装置；3、数据存储应用装置；4、数据集群装置；5、公共管理应用集群装置；6、中转装置。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1～图3所示，本发明提出的一种海量数据智能处理系统，包括：

存储装置1，用于进行海量数据存储；

管理集群装置2，用于控制海量数据的归档、备份、恢复、迁移和回迁，与存储装置1连接；

数据存储应用装置3，用于存储系统海量数据应用服务，与存储装置1连接；

数据集群装置4，用于管理存储的海量数据，并对存储的海量数据进行转储或清除操作，与存储装置1连接；

公共管理应用集群装置5，用于与外部用户进行信息交换、控制海量数据中转，并为海量数据的传输提供接口，与存储装置1连接。

通过存储装置1对海量数据进行存储，并在管理集群装置2、数据存储应用装置3、数据集群装置4和公共管理应用集群装置5的控制下，可实现对存储装置1中数据的固定，备份、入库、提取、结构化管理等操作，并且能够在保证数据有效处理的前提下，有效的实现与外部用户的数据信息交换。

本发明的一个实施例中，通过存储装置1进行海量数据的存储，其中，管理集群装置2、数据存储应用装置3，数据几圈装置和公共管理应用集群装置5分别与存储装置1连接，通过上述四种装置，实现对存储装置1中的海量数据的多种操作；如，在海量数据已经存储到存储装置1中后，能够通过管理集群装置2对海量数据按照设定好的规则进行归档或备份；当存储装置1中的海量数据出现问题，通过管理集群装置2还能够进行数据的恢复，或者，当存储的海量数据达到一定量通过管理集群装置2进行海量数据的迁移，或在存储装置1中有足够的存储空间时，通过管理集群装置2进行海量数据的回迁操作，其中，管理集群装置2包括第一操作单元和第一应用单元，在第一操作单元控制第一应用单元进行海量数据的规定、备份、恢复、迁移和回迁等操作；另外如，数据存储应用装置3，在获得外部用户的请求后，对该请求进行判断，判断该请求是否为海量数据入库请求或者海量数据提取请求等，判断结果后，执行海量数据入库或海量数据提取等相应操作，其中，数据存储应用装置3包括第二操作单元和第二应用单元，在第二操作单元控制第二应用单元进行海量数据的入库或提取等操作；再者如，数据集群装置4，包括第三操作单元和第三应用单元，在第三操作单元控制第三应用单元对存储装置1存储的海量数据进行结构化管理或监控操作，即监控存储装置1中海量数据的信息，比如是否达到存储限定的最高值，或者某个区域已经达到最高值等，通过监控结果执行海量数据的转储或清除等相应操作；再者如，公共管理应用集群装置5，包括第四操作单元和第四应用单元，在第四操作单元控制第四应用单元与外部用户进行数据信息交换或对存储装置1中存储的海量数据进行中转等操作；另外，在外部用户发出请求后公共管理应用集群装置5还进行与外部用于的信息交换，实现获取外部用于的需求的同时将外部用户需求的答案反馈到外部用户。通过上述的设计，能够有效的实现外部用户与系统的交流，并且在有效交流的同时进行有效的数据处理。

本发明的另一个实施例中，作为进一步的技术方案，还包括：

中转装置6，用于进行存储装置1与管理集群装置2、数据存储应用装置3、数据集群装置4和公共管理应用集群装置5之间的数据传输转换，设置在存储装置1与管理集群装置2、数据存储应用装置3、数据集群装置4和公共管理应用集群装置5之间。

本实施例中，优选的在述存储装置1与管理集群装置2、数据存储应用装置3、数据集群装置4和公共管理应用集群装置5之间设置中转装置6，通过该中转装置6实现上述各不符之间的数据传输转换，避免在传输海量数据的过程中由于数据类型不符合等问题出现传输错误等问题的出现。

本发明的再一个实施例中，

作为进一步的技术方案，存储装置1包括：

在线存储单元101，用于海量数据的在线存储；

近线存储单元102，用于数据近线存储；

离线存储单元103，用于在海量数据备份或归档后进行存储。

优选的，在线存储单元101包括4台磁盘阵列；近线存储单元102包括3台磁盘阵列；离线存储单元103包括2台磁带库。

本实施例中，存储装置1包括在线存储单元101、近线存储单元102和离线存储单元103，其中，在线存储单元101包括4台磁盘阵列，在局域云计算的基础上通过线存储单元实海量数据的高效、高速存储；近线存储单元102包括3台磁盘阵列，通过该近线存储单元102实现海量数据次级高效、高速存储，即判断该海量数据的类型等后进行海量数据的存储，进而提高海量数据的存储速度；离线存储单元103包括2台磁带库，通过离线存储单元103，在各种海量数据经过备份或归档后，进行存储，这样实现海量数据的多重保护，并且保证备份或归档后的海量数据不会遗失等问题的出现。

本发明的再一个实施例中，作为进一步的技术方案，存储装置1还包括：

虚拟存储单元104，用于缓解离线存储单元103备份时的压力，减小备份时间。

优选的，虚拟存储单元104包括1台磁盘阵列。

本实施例中，存储装置1还包括虚拟存储单元104，通过设置虚拟存储单元104，能够在海量数据离线存储的过程中，缓解离线存储单元103的备份压力，进而能够减小备份的时间，提高存储效率的同时，减少海量数据的存储时间。

作为进一步的技术方案，管理集群装置2包括第一操作单元和第一应用单元，其中，第一操作单元控制第一应用单元进行海量数据的规定、备份、恢复、迁移和回迁操作。

作为进一步的技术方案，数据存储应用装置3包括：第二操作单元和第二应用单元，其中第二操作单元控制第二应用单元进行海量数据的入库或提取操作。

作为进一步的技术方案，数据集群装置4包括：第三操作单元和第三应用单元，其中第三操作单元控制第三应用单元对存储装置1存储的海量数据进行结构化管理或监控操作。

作为进一步的技术方案，公共管理应用集群装置5包括：第四操作单元和第四应用单元，其中，第四操作单元控制第四应用单元与外部用户进行数据信息交换或对存储装置1中存储的海量数据进行中转操作。

通过以上结构及方法，能够实现：

1、数据处理能力处理文件300万/日；数据量600GB/日；在8小时内完成数据备份量100TB；数据回迁速度在720MB/秒；

2、数据检索能力：检索300万文件时间不超过1秒，检索600GB不超过1秒。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种海量数据智能处理系统，其特征在于，包括：

存储装置（1），用于进行海量数据存储；

管理集群装置（2），用于控制海量数据的归档、备份、恢复、迁移和回迁，与所述存储装置（1）连接；

数据存储应用装置（3），用于存储系统海量数据应用服务，与所述存储装置（1）连接；

数据集群装置（4），用于管理存储的海量数据，并对存储的海量数据进行转储或清除操作，与所述存储装置（1）连接；

公共管理应用集群装置（5），用于与外部用户进行信息交换、控制海量数据中转，并为海量数据的传输提供接口，与所述存储装置（1）连接。

2.如权利要求1所述的海量数据智能处理系统，其特征在于，还包括：

中转装置（6），用于进行所述存储装置（1）与所述管理集群装置（2）、所述数据存储应用装置（3）、所述数据集群装置（4）和所述公共管理应用集群装置（5）之间的数据传输转换，设置在所述存储装置（1）与所述管理集群装置（2）、所述数据存储应用装置（3）、所述数据集群装置（4）和公共管理应用集群装置（5）之间。

3.如权利要求1或2所述的海量数据智能处理系统，其特征在于，所述存储装置（1）包括：

在线存储单元（101），用于海量数据的在线存储；

近线存储单元（102），用于数据近线存储；

离线存储单元（103），用于在海量数据备份或归档后进行存储。

4.如权利要求3所述的海量数据智能处理系统，其特征在于，

所述在线存储单元（101）包括4台磁盘阵列；

所述近线存储单元（102）包括3台磁盘阵列；

所述离线存储单元（103）包括2台磁带库。

5.如权利要求4所述的海量数据智能处理系统，其特征在于，所述存储装置（1）还包括：

虚拟存储单元（104），用于缓解离线所述存储单元（103）备份时的压力，减小备份时间。

6.如权利要求5所述的海量数据智能处理系统，其特征在于，所述虚拟存储单元（104）包括1台磁盘阵列。

7.如权利要求1所述的海量数据智能处理系统，其特征在于，所述管理集群装置（2）包括第一操作单元和第一应用单元，其中，所述第一操作单元控制所述第一应用单元进行海量数据的规定、备份、恢复、迁移和回迁操作。

8.如权利要求1所述的海量数据智能处理系统，其特征在于，数据存储应用装置（3）包括：第二操作单元和第二应用单元，其中所述第二操作单元控制所述第二应用单元进行海量数据的入库或提取操作。

9.如权利要求1所述的海量数据智能处理系统，其特征在于，所述数据集群装置（4）包括：第三操作单元和第三应用单元，其中所述第三操作单元控制所述第三应用单元对所述存储装置（1）存储的海量数据进行结构化管理或监控操作。

10.如权利要求1所述的海量数据智能处理系统，其特征在于，所述公共管理应用集群装置（5）包括：第四操作单元和第四应用单元，其中，所述第四操作单元控制所述第四应用单元与外部用户进行数据信息交换或对所述存储装置（1）中存储的海量数据进行中转操作。

Images