CN204906437U - 大数据存储应用网络架构 - Google Patents

Abstract

本实用新型涉及一种大数据存储应用网络架构。该大数据存储应用网络架构包括：路由器，硬件防火墙，虚拟防火墙，多个应用虚拟化服务器，以及分布式存储系统；该路由器连接该硬件防火墙，该硬件防火墙连接该虚拟防火墙，该虚拟防火墙连接该应用虚拟化服务器，该应用虚拟化服务器连接该分布式存储系统。本实用新型的大数据存储应用网络架构适合大数据的存储和应用，能够确保网络及数据安全。

Description

大数据存储应用网络架构

技术领域

本实用新型涉及网络架构，尤其涉及一种大数据存储应用网络架构。

背景技术

近年来，大数据如浪潮般席卷全球，深刻改变了人们的生活、工作和思维方式。业界通常用4个V来概括大数据的特征。一是数据体量巨大(Volume)。从TB级别，跃升到PB级别。二是数据类型繁多(Variety)。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。三是价值密度低(Value)。价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。四是处理速度快(Velocity)。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。

同时，世界上越来越多的国家开始从战略层面认识大数据，在政府治理领域融入大数据思维和技术。我国各政府也应顺应时代发展趋势，充分利用大数据提升国家治理能力，以契合推进国家治理能力现代化的时代要求。可以说大数据为政府治理能力的提升带来了发展机遇。首先，大数据能推动政府治理理念和模式的变化。在政府治理领域，通过让海量、动态、多样的数据有效集成为有价值的信息资源，推动政府转变管理理念和治理模式，进而加快治理体系和治理能力现代化。其次，大数据能推动政府治理决策精细化和科学化。在大数据时代，数据的价值随着海量积累而产生质变，能够对经济社会运行规律进行直观呈现，从而降低政府治理偏差概率，提高政府治理的精细化和科学化。最后，大数据能推动政府治理提高效率和节约成本。利用大数据，可以使政府治理所依据的数据资料更加全面，不同部门和机构之间的协调更加顺畅，进而有效提高工作效率，节约治理成本。由于政府数据的敏感性，对网络及数据的安全性也具有更高的要求。

为了处理快速增加的数据，需要配套的硬件环境满足大数据处理的需要。用于存储及应用大数据的网络架构需要适应大数据的特征。

实用新型内容

本实用新型的目的在于提供一种大数据存储应用网络架构，以适合大数据的存储和应用，确保网络及数据安全。

为实现上述目的，本实用新型提供了一种大数据存储应用网络架构，包括：路由器，硬件防火墙，虚拟防火墙，多个应用虚拟化服务器，以及分布式存储系统；该路由器连接该硬件防火墙，该硬件防火墙连接该虚拟防火墙，该虚拟防火墙连接该应用虚拟化服务器，该应用虚拟化服务器连接该分布式存储系统。

其中，还包括应用防火墙，该硬件防火墙经由该应用防火墙连接该虚拟防火墙。

其中，该分布式存储系统为OracleRAC集群。

其中，该分布式存储系统为Hadoop集群。

其中，该分布式存储系统包括OracleRAC集群和Hadoop集群。

其中，该OracleRAC集群包括万兆交换机和多个节点计算机，该节点计算机分别连接该万兆交换机。

其中，该Hadoop集群包括万兆交换机和多个节点计算机，该节点计算机分别连接该万兆交换机。

综上所述，本实用新型的大数据存储应用网络架构适合大数据的存储和应用，能够确保网络及数据安全。

附图说明

图1为本实用新型大数据存储应用网络架构一较佳实施例的结构方框图；

图2为本实用新型大数据存储应用网络架构一较佳实施例的工作状态示意图。

具体实施方式

下面结合附图，通过对本实用新型的具体实施方式详细描述，将使本实用新型的技术方案及其有益效果显而易见。

参见图1，其为本实用新型大数据存储应用网络架构一较佳实施例的方框图。在此较佳实施例中，大数据存储应用网络架构包括：路由器10，硬件防火墙11，虚拟防火墙12，第一应用虚拟化服务器13，第二应用虚拟化服务器14，以及分布式存储系统15；路由器10连接该硬件防火墙11并且接入Internet，该硬件防火墙11连接该虚拟防火墙12，该虚拟防火墙12连接第一应用虚拟化服务器13和第二应用虚拟化服务器14，第一应用虚拟化服务器13和第二应用虚拟化服务器14连接该分布式存储系统15。本实用新型还可以包括应用防火墙，硬件防火墙11首先连接应用防火墙，应用防火墙再连接虚拟防火墙12。

本实用新型采用硬件防火墙11和虚拟防火墙12的组合来全面确保网络及数据的安全性。本实用新型的大数据存储应用网络架构使用硬件防火墙11与Internet作逻辑隔离，传统的硬件防火墙11可以在网络层面通过包过滤的方式来保护网络及数据。

传统方案中使用防火墙保护应用服务器时，防火墙与应用服务器基本上是一对一配比。当应用服务器增加时，用户需要购置新的防火墙；当应用服务器减少时，对应的防火墙就闲置下来，导致投资浪费；而且，应用服务器的类型多种多样，需要使用的防火墙策略也不同。虚拟防火墙技术以其灵活可扩展的特性帮助用户保护投资，用户可以随时根据业务增减相应的虚拟防火墙。相较于传统防火墙，虚拟防火墙12作为硬件虚拟防火墙可以在逻辑上划分成多台虚拟的防火墙，默认情况下，所虚拟的不同的防火墙之间是默认隔离的，所虚拟的每个防火墙系统都可以被看成是一台完全独立的防火墙设备，可拥有独立的系统资源、安全策略等。至于目前最先进的应用防火墙则可以从应用层角度，通过对应用层协议识别、控制及防护的方式来保护网络及数据。

本实用新型中，硬件防火墙11可以选用H3CSecPathF5000-A5。虚拟防火墙12可以选用HillstoneX7180或深信服NGAF-1820。应用防火墙可以选用铱迅NGFW-8820或深信服AF-3020。

第一应用虚拟化服务器13和第二应用虚拟化服务器14可以将服务器物理资源抽象成逻辑资源，不再受限于物理上的界限，而是让CPU、内存、磁盘、I/O等硬件变成可以动态管理的“资源池”，从而提高资源的利用率，简化系统管理，实现服务器整合，可以把一个实体服务器分割成多个小的虚拟服务器。有了服务器虚拟化，多个服务器依靠一台实体机生存。由于将服务器合并成更少的硬件且增加了效率，服务器虚拟化减少了成本。

第一应用虚拟化服务器13和第二应用虚拟化服务器14可以用于根据实际需求预先部署各类应用程序，从而可以对数据进行各种加工或应用。例如，第一应用虚拟化服务器13可以部署ETL(抽取、转换、加载)和调度软件，通过自定义调度策略和抽取模式，将数据从其他数据来源导入到分布式存储系统15中。还可以用于部署数据质量管理系统，对抽取的数据做数据质量剖析，通过抽样和扫描数据发现数据存在的质量问题，生成数据质量报告。还可以用于部署webservice，对外提供统资源接口。第一应用虚拟化服务器13和第二应用虚拟化服务器14可以采用IBMX3850X5。

分布式存储系统15可以为OracleRAC(实时应用集群)集群，也可以为Hadoop集群，还可以同时包括OracleRAC集群和Hadoop集群。OracleRAC集群可以由万兆交换机和多个节点计算机组成，该节点计算机分别连接该万兆交换机，例如，可采用IBMX3850X5作为节点。类似的，Hadoop集群也可以由万兆交换机和多个节点计算机组成，该节点计算机分别连接该万兆交换机，例如，具体可采用DELLR620作为2个主节点，以及采用DELLR720xd作为20个数据节点。分布式存储系统15具有开放性、扩展性，适合于存储大数据，利于搭建并行计算框架，可以对海量数据进行快速分析，挖掘潜在有价值的数据，为海量数据分析提供更多的应用。而且，同时采用OracleRAC集群和Hadoop集群，OracleRAC集群可作为关系数据库存储结构化数据，Hadoop集群可以存储半/非结构化数据，适应于大数据数据类型繁多的特点。

参见图2，其为本实用新型大数据存储应用网络架构一较佳实施例的工作状态示意图，用于在图1所示实施例的网络架构基础上，举例说明其工作状态。其中，虚拟防火墙12预先从逻辑上划分为多个虚拟的防火墙，第一应用虚拟化服务器13和第二应用虚拟化服务器14通过预先部署各类应用程序形成多个虚拟的应用服务器。

为了保障大数据存储应用的安全，必须将多个虚拟的应用服务器进行分区，并对不同的虚拟区域采用不同的安全策略，本实用新型通过虚拟防火墙12所划分出的多个虚拟的防火墙来实现这一点，可以为每个虚拟的防火墙单独分配安全策略。在每个区内，还需要可以根据功能和对安全的不同需求，将多个虚拟的应用服务器安排在不同的虚拟网段16上，虚拟的防火墙可以作为各个网段的网关。通过采用本实用新型的网络架构，便于实行分区运维安全策略，即不同的分区采用不同的安全策略，满足对多个虚拟网段16进行安全管理。

综上所述，本实用新型的大数据存储应用网络架构适合大数据的存储和应用，能够确保网络及数据安全。

以上所述仅为本实用新型的较佳实施例，并不用以限制本实用新型，凡在本实用新型的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本实用新型的保护范围之内。

Claims (7)

1.一种大数据存储应用网络架构，其特征在于，包括：路由器，硬件防火墙，虚拟防火墙，多个应用虚拟化服务器，以及分布式存储系统；该路由器连接该硬件防火墙，该硬件防火墙连接该虚拟防火墙，该虚拟防火墙连接该应用虚拟化服务器，该应用虚拟化服务器连接该分布式存储系统。

2.根据权利要求1所述的大数据存储应用网络架构，其特征在于，还包括应用防火墙，该硬件防火墙经由该应用防火墙连接该虚拟防火墙。

3.根据权利要求1所述的大数据存储应用网络架构，其特征在于，该分布式存储系统为OracleRAC集群。

4.根据权利要求1所述的大数据存储应用网络架构，其特征在于，该分布式存储系统为Hadoop集群。

5.根据权利要求1所述的大数据存储应用网络架构，其特征在于，该分布式存储系统包括OracleRAC集群和Hadoop集群。

6.根据权利要求3所述的大数据存储应用网络架构，其特征在于，该OracleRAC集群包括万兆交换机和多个节点计算机，该节点计算机分别连接该万兆交换机。

7.根据权利要求4所述的大数据存储应用网络架构，其特征在于，该Hadoop集群包括万兆交换机和多个节点计算机，该节点计算机分别连接该万兆交换机。