CN104035522A - 大数据库一体机 - Google Patents
大数据库一体机 Download PDFInfo
- Publication number
- CN104035522A CN104035522A CN201410266458.1A CN201410266458A CN104035522A CN 104035522 A CN104035522 A CN 104035522A CN 201410266458 A CN201410266458 A CN 201410266458A CN 104035522 A CN104035522 A CN 104035522A
- Authority
- CN
- China
- Prior art keywords
- large database
- database
- san
- switch
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了大数据库一体机,属于数据处理技术领域。本发明提供的大数据库一体机,包括若干个数据库处理单元、若干个SSD磁盘阵列、光纤交换机和SAN交换机;若干个SSD磁盘阵列均与SAN交换机连接,若干个数据库处理单元均分别与SAN交换机和光纤交换机连接。本发明采用SSD磁盘阵列作为共享存储设备提高读写速度,实现多节点负载均衡,通过并行数据库技术提高响应时间,可按需扩展系统,保证系统性能的稳定。为保障大数据库一体机持续稳定运行,SAN交换机采用两台,用于双备份。本发明采用JobKeeper分布式调度引擎,使大数据库一体机达到负载均衡、集群性能更优。
Description
技术领域
本发明涉一种大数据库一体机,具体讲是一种处理速度快且性能稳定的大数据库一体机,属于数据处理技术领域。
背景技术
随着计算机技术的飞速发展,各行各领域数据的呈几何级快速增长。这些数据来自各方面,从搜集天气情况的感测器、数码图片、在线的视频资料,到网络购物的交易记录、手机的全球定位系统信号等应有尽有。伴随数据规模的急剧膨胀,各行业累积的数据量越来越巨大,数据类型也越来越多、数据结构越来越复杂,已经超越了传统数据管理系统、处理模式的能力范围,传统的串行数据库系统已经难以适应这种飞速增长的应用需求,在生产实践中表现出明显的能力不足,无法满足大数据时代的数据处理需求。
发明内容
本发明所要解决的技术问题在于克服现有技术缺陷,提供一种处理速度快、操作效率高能适应大数据处理的大数据库一体机。
为了解决上述技术问题,本发明提供的大数据库一体机,包括若干个数据库处理单元、若干个SSD磁盘阵列、光纤交换机和SAN交换机;若干个SSD磁盘阵列均与SAN交换机连接,若干个数据库处理单元均分别与SAN交换机和光纤交换机连接。
本发明的有益效果在于:本发明采用SSD磁盘阵列作为共享存储设备提高读写速度,实现多节点负载均衡,通过并行数据库技术提高响应时间,可按需扩展系统,保证系统性能的稳定;本发明可使EB级数据能够秒级处理,极大极高了用户执行查询操作后的使用效率,其不仅在查询和检索数据时具有非常高的性能优势,还可以支持数据仓库存储、数据深度挖掘和商业智能分析等。
为保障大数据库一体机持续稳定运行,所述SAN交换机为两台,用于双备份。
本大数据库一体机采用JobKeeper分布式调度引擎,使达到大数据库一体机负载均衡、集群性能更优。
附图说明
图1为本发明大数据库一体机结构图;
图2为本发明大数据库一体机内部连接示意图;
图3为JobKeeper分布式调度引擎系统架构图。
具体实施方式
下面结合附图对本发明作详细说明。
如图1所示,本发明大数据库一体机包括由下而上依次安装标准机架1内的SSD磁盘阵列1、SSD磁盘阵列2、SSD磁盘阵列3、SAN交换机1、SAN交换机2、数据库处理单元1、数据库处理单元2、数据库处理单元3和光纤交换机,所有设备通过机架电源统一供电运行。
如图2所示,SSD磁盘阵列1、SSD磁盘阵列2、SSD磁盘阵列3分别与SAN交换机1、SAN交换机2相互连接通信,SAN交换机1、SAN交换机2同时分别与数据库处理单元1、数据库处理单元2、数据库处理单元3连接,实现SSD磁盘阵列1、SSD磁盘阵列2、SSD磁盘阵列3与数据库处理单元1、数据库处理单元2、数据库处理单元3之间数据传输;数据库处理单元1、数据库处理单元2、数据库处理单元3均连接光纤交换机,光纤交换机提供对外服务网络接口,连接对外服务网络,实现数据网络间传输。
本发明中每个数据库处理单元设置2块HBA卡,用于连接SAN交换机,共享磁盘阵列。每个数据库处理单元安装统一关系型数据库,上层应用为通用的数据库平台,系统根据负载情况自动切换访问独立节点的数据库。SSD磁盘阵列采用闪存作为存储介质,读写速度相对机械硬盘更快,功耗比传统硬盘低,实现低能耗高效率的数据存储。SAN交换机用于数据库处理单元共享磁盘阵列,通过2台SAN交换机实现备份,保证了大数据库一体机的持续稳定运行。
本实例中大数据库一体机采用3个SSD磁盘阵列和3个数据库处理单元,在实际工作过程中,SSD磁盘阵列和数据库处理单元的数量可根据需要进行增减,以实现不同级别的数据处理需求。
本发明中每个数据处理单元独立装载关系型数据库系统,共用阵列存储,形成组群模式。用户向JobKeeper分布式调度引擎提交数据库操作请求。JobKeeper分布式调度引擎根据各个数据处理单元的实际运行负载情况,将此操作请求下达到适合处理的数据处理单元之上,此处理单元独立完成操作后反馈给用户请求结果。以此模式达到利用SSD盘阵的高效IOPS和JobKeeper分布式调度引擎的负载均衡的优势,使得数据库操作的效率显著提高。通过引入索引模块、并行执行架构以及读取本地磁盘的方式,使EB级数据能够秒级处理。
如图3所示,本发明大数据库一体机采用JobKeeper分布式调度引擎,JobKeeper是一种处理任务的超高性能分布式调度平台,JobKeeper可不间断接受从各台计算机提交的任务,再按照当前集群中所有机器的压力,智能进行分配任务,进而达到集群负载均衡,使得整个集群的性能始终保持最优。通过JobKeeper还可以对当前分布式集群的所有机器的状况进行监控,对集群中所有的任务进行停止、删除等功能。JobKeeper分布式调度引擎包括应用层、业务层、数据处理层、存储层、虚拟化资源层和调度平台,其中:
应用层:用于管理和结果反馈的显示组件,是整个系统面向用户和开发人员的基础承载。
业务层:对于应用层的相关功能的业务化,数字化处理,用于将应用层的需求任务进行规则化划分,形成统一的处理化模式。
数据处理层:独立的数据处理程序,是对不同需求数据的统一处理方案,由JobKeeper调度平台进行统一的配置管理。
存储层:存储数据的处理结果集或其他中间结果集的单元。
虚拟化资源层:将机器进行虚拟化,形成更大范围的服务集群。
JobKeeper分布式调度引擎具有如下优势:
1)、高可靠性: 采用“多主多备,负载均衡”的管理节点设计模式,和“处理实时跟踪”的处理节点设计模式,从而保证无论管理节点还是处理节点都不存在任何单点故障问题。
2)、低依赖性: 采用模块化设计思想,通过统一化配置和API接口的方式向用户提供服务。无论用户应用是用何种语言开发,何种处理方式,都可以交由平台进行统一的调度管理。
3)、低干预性: 采用基于事件化的统一管理模式。无论是动态扩展集群处理系统能力,还是单点故障的任务转移,又或者是任务的实时监控和动态分配,都将在系统无人值守的情况下自动完成。
4)、高实时性: 在高效率并行分布式软件的支撑下,可以实现对任务的实时分配,实时调度,实时处理。在机器性能允许的范围内,计算任务不会出现堆积的显现,所有任务的控制工作基本都在秒级完成,具有前所未有的高效性。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下还可以做出若干改进,这些改进也应视为本发明的保护范围。
Claims (3)
1.一种大数据库一体机,其特征在于:所述大数据库一体机包括若干个数据库处理单元、若干个SSD磁盘阵列、光纤交换机和SAN交换机;所述若干个SSD磁盘SSD阵列均与SAN交换机连接,若干个数据库处理单元均分别与SAN交换机和光纤交换机连接。
2.根据权利要求1所述的种大数据库一体机,其特征在于:所述SAN交换机为两台,用于双备份。
3.根据权利要求1所述的种大数据库一体机,其特征在于:所述大数据库一体机采用JobKeeper分布式调度引擎。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410266458.1A CN104035522A (zh) | 2014-06-16 | 2014-06-16 | 大数据库一体机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410266458.1A CN104035522A (zh) | 2014-06-16 | 2014-06-16 | 大数据库一体机 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104035522A true CN104035522A (zh) | 2014-09-10 |
Family
ID=51466326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410266458.1A Pending CN104035522A (zh) | 2014-06-16 | 2014-06-16 | 大数据库一体机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104035522A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104391989A (zh) * | 2014-12-16 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种分布式etl一体机系统 |
CN104615384A (zh) * | 2015-02-11 | 2015-05-13 | 浪潮集团有限公司 | 一种磁盘阵列及数据存储方法 |
CN106066890A (zh) * | 2016-06-16 | 2016-11-02 | 上海天玑科技股份有限公司 | 一种分布式高性能数据库一体机系统 |
CN107704204A (zh) * | 2017-09-30 | 2018-02-16 | 长沙准光里电子科技有限公司 | 一种大数据一体机 |
CN107995293A (zh) * | 2017-12-04 | 2018-05-04 | 南京海道普数据技术有限公司 | 基于物联网信息的大数据一体机和应用系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1373871A (zh) * | 1999-08-23 | 2002-10-09 | 泰拉斯普林公司 | 可扩展的计算系统 |
WO2003025802A1 (en) * | 2001-09-21 | 2003-03-27 | Polyserve, Inc. | A system and method for collaborative caching in a multinode system |
CN101207520A (zh) * | 2007-12-14 | 2008-06-25 | 上海华为技术有限公司 | 一种实现分布式网络管理的方法及系统 |
CN102413172A (zh) * | 2011-10-31 | 2012-04-11 | 北京联创信安科技有限公司 | 一种基于集群技术的并行数据共享装置方法和装置 |
CN103544196A (zh) * | 2012-07-16 | 2014-01-29 | 闫忠华 | BigBase高通量大数据在线分析软硬件一体机 |
CN103746941A (zh) * | 2014-01-18 | 2014-04-23 | 浪潮集团有限公司 | 一种板级互联大数据一体机 |
CN204102026U (zh) * | 2014-06-16 | 2015-01-14 | 南京云创存储科技有限公司 | 大数据库一体机 |
-
2014
- 2014-06-16 CN CN201410266458.1A patent/CN104035522A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1373871A (zh) * | 1999-08-23 | 2002-10-09 | 泰拉斯普林公司 | 可扩展的计算系统 |
WO2003025802A1 (en) * | 2001-09-21 | 2003-03-27 | Polyserve, Inc. | A system and method for collaborative caching in a multinode system |
CN101207520A (zh) * | 2007-12-14 | 2008-06-25 | 上海华为技术有限公司 | 一种实现分布式网络管理的方法及系统 |
CN102413172A (zh) * | 2011-10-31 | 2012-04-11 | 北京联创信安科技有限公司 | 一种基于集群技术的并行数据共享装置方法和装置 |
CN103544196A (zh) * | 2012-07-16 | 2014-01-29 | 闫忠华 | BigBase高通量大数据在线分析软硬件一体机 |
CN103746941A (zh) * | 2014-01-18 | 2014-04-23 | 浪潮集团有限公司 | 一种板级互联大数据一体机 |
CN204102026U (zh) * | 2014-06-16 | 2015-01-14 | 南京云创存储科技有限公司 | 大数据库一体机 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104391989A (zh) * | 2014-12-16 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种分布式etl一体机系统 |
CN104615384A (zh) * | 2015-02-11 | 2015-05-13 | 浪潮集团有限公司 | 一种磁盘阵列及数据存储方法 |
CN106066890A (zh) * | 2016-06-16 | 2016-11-02 | 上海天玑科技股份有限公司 | 一种分布式高性能数据库一体机系统 |
CN106066890B (zh) * | 2016-06-16 | 2020-02-18 | 上海天玑科技股份有限公司 | 一种分布式高性能数据库一体机系统 |
CN107704204A (zh) * | 2017-09-30 | 2018-02-16 | 长沙准光里电子科技有限公司 | 一种大数据一体机 |
CN107995293A (zh) * | 2017-12-04 | 2018-05-04 | 南京海道普数据技术有限公司 | 基于物联网信息的大数据一体机和应用系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11422982B2 (en) | Scaling stateful clusters while maintaining access | |
US9569457B2 (en) | Data processing method and apparatus for distributed systems | |
CN103312791B (zh) | 物联网异构数据存储方法及系统 | |
CN105243155A (zh) | 一种大数据抽取和交换系统 | |
CN107180113B (zh) | 一种大数据检索平台 | |
CN102012789A (zh) | 集中管理式备份容灾系统 | |
CN104035522A (zh) | 大数据库一体机 | |
CN100452046C (zh) | 一种海量文件的存储方法及系统 | |
CN102164177A (zh) | 一种集群共享存储池的方法、装置及系统 | |
CN102937964B (zh) | 基于分布式系统的智能数据服务方法 | |
CN104536904A (zh) | 一种数据管理的方法、设备与系统 | |
CN104219318A (zh) | 一种分布式文件存储系统及方法 | |
CN104462185A (zh) | 一种基于混合结构的数字图书馆云存储系统 | |
CN103916459A (zh) | 一种大数据归档存储系统 | |
CN103440290A (zh) | 大数据加载系统和方法 | |
CN102521419A (zh) | 分级存储的实现方法和系统 | |
CN103491155A (zh) | 一种实现移动计算和获取移动数据的云计算方法及系统 | |
CN103595799A (zh) | 一种实现分布式共享数据库的方法 | |
CN103593420A (zh) | 一种利用共享在线日志实现异构同平台的数据库集群搭建方法 | |
CN104834635A (zh) | 一种数据处理方法和装置 | |
CN111813332A (zh) | 一种高性能、高扩展和高安全的智能分布式存储系统 | |
CN115083538B (zh) | 一种药物数据的处理系统、运行方法及数据处理方法 | |
CN103116475B (zh) | 一种自动精简配置扩容的方法 | |
CN102820998B (zh) | 实现面向办公应用的双机容错服务系统及其数据存储方法 | |
Luo et al. | Big-data analytics: challenges, key technologies and prospects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140910 |