CN109739438A - 一种大数据云存储系统 - Google Patents

Abstract

本发明公开了一种大数据云存储系统，采用分层结构，整个系统从逻辑上分为四层，分别为应用层、平台层、基础架构层与云管理平台，应用层、平台层、基础架构层与云管理平台互相连接，所述应用层包括有客户端，所述平台层包括有云服务开发部署平台、云数据库、云存储、云内容管理模块、云搜索引擎模块、云数据分析模块、分布式计算服务端，所述基础架构层包括有虚拟化平台、网络模块、服务器与存储模块、所述云管理平台包括有云服务门户、认证模块、运营支撑系统与业务支撑系统。本发明所述的一种大数据云存储系统，具有数据信息校对的功能，能删除重复性的数据，具有定期删减功能，作废的数据不会占用空间，带来更好的使用前景。

Description

一种大数据云存储系统

技术领域

本发明涉及大数据存储领域，特别涉及一种大数据云存储系统。

背景技术

存储虚拟化技术是云存储的核心技术，通过存储虚拟化方法，把不同厂商、不同型号、不同通信技术、不同类型的存储设备的互联起来，将系统中各种异构的存储设备映射为一个统一的存储资源池，存储虚拟化技术能够对存储资源进行统一分配管理，又可以屏蔽存储实体间的物理位置以及异构特性，实现了资源对用户的透明性，降低了构建、管理和维护资源的成本，从而提升云存储系统的资源利用率，随着数据中重复数据的数据量不断增加，会导致重复的数据占用更多的空间，重复数据删除技术一种非常高级的数据缩减技术，可以极大的减少备份数据的数量，通常用于基于磁盘的备份系统，通过删除运算，消除冗余的文件、数据块或字节，以保证只有单一的数据存储在系统中，其目的是减少存储系统中使用的存储容量，增大可用的存储空间，增加网络传输中的有效数据量，然而重复删除运算相当消耗运算资源，对存取能效会造成相当程度冲击，要应用在对存取能效较敏感的网络存储设备上，将会面临许多困难；现有的大数据存储系统在使用时存在一定的弊端，不具有数据信息校对的功能，不能删除重复性的数据以减少存储的占用容量，不具有定期删减功能，长期作废的历史数据仍然占用使用空间，在实际使用时带来了一定的影响，为此，我们提出一种大数据云存储系统。

发明内容

本发明的主要目的在于提供一种大数据云存储系统，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：

一种大数据云存储系统，采用分层结构，整个系统从逻辑上分为四层，分别为应用层、平台层、基础架构层与云管理平台，应用层、平台层、基础架构层与云管理平台互相连接，所述应用层包括有客户端，所述平台层包括有云服务开发部署平台、云数据库、云存储、云内容管理模块、云搜索引擎模块、云数据分析模块、分布式计算服务端，所述基础架构层包括有虚拟化平台、网络模块、服务器与存储模块、所述云管理平台包括有云服务门户、认证模块、运营支撑系统与业务支撑系统。

优选的，所述应用层负责业务逻辑的处理，在互联网构架下，应用层通过引入应用无状态、分布式缓存技术，进一步扩大负载的横向分担能力和业务变化快速响应能力，尽可能减少单点故障。

优选的，所述基础架构层按照数据的分类、读取性能、计算要求进行不同存储技术的划分，并且通过引入分布式缓存技术着重降低关系型数据库的压力，在最大程度保障数据可靠性的前提下降低数据库压力。

优选的，所述由虚拟化平台、网络模块、服务器、存储模块构成基础架构层，通过网络模块与服务器能够访问存储模块内部的数据信息。

与现有技术相比，本发明具有如下有益效果：

本发明中，云数据分析模块能够对云存储中的数据内容进行监测校对，当出现相同的数据信息内容时会删除重复的数据，以节省存储空间，云内容管理模块能够定期对存储的内容进行删除，减少历史作废数据的残留，以留出更多的空间保存新内容，带来更好的使用前景。

附图说明

图1为本发明一种大数据云存储系统的整体框图；

图2为本发明一种大数据云存储系统的应用层框架图；

图3为本发明一种大数据云存储系统的平台层框架图；

图4为本发明一种大数据云存储系统的基础架构层框架图；

图5为本发明一种大数据云存储系统的云管理平台框架图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

如图1-5所示，一种大数据云存储系统，采用分层结构，整个系统从逻辑上分为四层，分别为应用层、平台层、基础架构层与云管理平台，应用层、平台层、基础架构层与云管理平台互相连接，应用层包括有客户端，平台层包括有云服务开发部署平台、云数据库、云存储、云内容管理模块、云搜索引擎模块、云数据分析模块、分布式计算服务端，基础架构层包括有虚拟化平台、网络模块、服务器与存储模块、云管理平台包括有云服务门户、认证模块、运营支撑系统与业务支撑系统；

应用层负责业务逻辑的处理，在互联网构架下，应用层通过引入应用无状态、分布式缓存技术，进一步扩大负载的横向分担能力和业务变化快速响应能力，尽可能减少单点故障；基础架构层按照数据的分类、读取性能、计算要求进行不同存储技术的划分，并且通过引入分布式缓存技术着重降低关系型数据库的压力，在最大程度保障数据可靠性的前提下降低数据库压力；由虚拟化平台、网络模块、服务器、存储模块构成基础架构层，通过网络模块与服务器能够访问存储模块内部的数据信息。

需要说明的是，本发明为一种大数据云存储系统，在使用时，应用层负责业务逻辑的处理，在互联网构架下，应用层通过引入应用无状态、分布式缓存技术，进一步扩大负载的横向分担能力和业务变化快速响应能力，尽可能减少单点故障，处于应用层的终端可利用平台层向后台发起访问，平台层接受搜索指令向后台调取与之相匹配的内容，同时也能够利用云存储进行相关的数据上传保存，云数据分析模块能够对云存储中的数据内容进行监测校对，当出现相同的数据信息内容时会删除重复的数据，以节省存储空间，云内容管理模块能够定期对存储的内容进行删除，减少历史作废数据的残留，以留出更多的空间保存新内容，较为实用。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.一种大数据云存储系统，其特征是采用分层结构，整个系统从逻辑上分为四层，分别为应用层、平台层、基础架构层与云管理平台，应用层、平台层、基础架构层与云管理平台互相连接，所述应用层包括有客户端，所述平台层包括有云服务开发部署平台、云数据库、云存储、云内容管理模块、云搜索引擎模块、云数据分析模块、分布式计算服务端，所述基础架构层包括有虚拟化平台、网络模块、服务器与存储模块、所述云管理平台包括有云服务门户、认证模块、运营支撑系统与业务支撑系统。

2.根据权利要求1所述的一种大数据云存储系统，其特征在于：所述应用层负责业务逻辑的处理，在互联网构架下，应用层通过引入应用无状态、分布式缓存技术，进一步扩大负载的横向分担能力和业务变化快速响应能力，尽可能减少单点故障。

3.根据权利要求1所述的一种大数据云存储系统，其特征在于：所述基础架构层按照数据的分类、读取性能、计算要求进行不同存储技术的划分，并且通过引入分布式缓存技术着重降低关系型数据库的压力，在最大程度保障数据可靠性的前提下降低数据库压力。

4.根据权利要求1所述的一种大数据云存储系统，其特征在于：所述由虚拟化平台、网络模块、服务器、存储模块构成基础架构层，通过网络模块与服务器能够访问存储模块内部的数据信息。