CN103873559A - 一种高速存储的数据库一体机 - Google Patents

一种高速存储的数据库一体机 Download PDF

Info

Publication number
CN103873559A
CN103873559A CN201410050229.6A CN201410050229A CN103873559A CN 103873559 A CN103873559 A CN 103873559A CN 201410050229 A CN201410050229 A CN 201410050229A CN 103873559 A CN103873559 A CN 103873559A
Authority
CN
China
Prior art keywords
fusion
database
storage
infiniband
high speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410050229.6A
Other languages
English (en)
Inventor
储浩
黄启国
高静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING STANDARD COMMUNICATIONS CO Ltd
Original Assignee
NANJING STANDARD COMMUNICATIONS CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING STANDARD COMMUNICATIONS CO Ltd filed Critical NANJING STANDARD COMMUNICATIONS CO Ltd
Priority to CN201410050229.6A priority Critical patent/CN103873559A/zh
Publication of CN103873559A publication Critical patent/CN103873559A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种高速存储的数据库一体机,其特征在于:包括计算集群、Infiniband网络集群和Fusion-io分布式存储,其中,所述计算集群包括多个用于计算的计算服务器,所述多个计算服务器组成计算集群,所述Infiniband网络集群包括多个用于数据交换的Infiniband交换机,所述Fusion-io分布式存储包括多个Fusion-io存储服务器。将Fusion-io的闪存产品引入数据库机一体机存储体系,有效解决了数据库机一体机I/O瓶颈问题,对提升存储IOPS、吞吐量等性能指标带来了指数级提升,本发明适合于高并发,高吞吐量等要求极高的数据库应用场景。

Description

一种高速存储的数据库一体机
技术领域
本申请涉及一种数据库一体机,具体的涉及,一种采用Fusion ioMemory的高速存储的数据库一体机。
背景技术
近几十年来,计算机系统在I/O性能与CPU处理性能方面出现严重不对称局面,而且随着CPU技术的飞速发展,这种差距还会越来越大。与此同时,社交网络、物联网、移动互联网等多种新型应用的出现,以及高性能计算更加精细的处理需求,致使数据处理规模呈现爆炸式增长。频繁的I/O请求已经严重制约了计算机系统的处理能力,因此I/O处理能力已经成为计算机系统中迫切需要解决的问题。
传统磁盘存储系统为此作出了诸多努力。磁盘系统通过RAID技术发挥多磁盘的并行存取,I/O请求被分发到多个磁盘设备上,通过多设备的并行工作提供聚合带宽。在设备内部,磁盘系统通过数据分布以及I/O调度等多种手段来顺序化访问数据,减少了寻道时间,以此提高了磁盘的吞吐率。
尽管磁盘存储系统有效提升了带宽,但访问延迟问题却难以得到有效解决,依然不能满足延迟要求较高的应用。同时,由于需要提供多磁盘设备的并行访问的性能,存储系统往往部署了远多于实际容量需求的磁盘数量,系统规模也随之扩大。系统规模的扩大一方面提高了系统的复杂性,另一方面也提升了能耗。
传统的数据库技术,数据由磁盘读入内存进行查询、对比或修改等操作。随着企业生产数据的不断增长,大量数据需要从外存读取到服务器内存,这已经成为制约系统性能的瓶颈。另一方面,企业数据管理中心搭建数据业务处理平台的过程也是相当复杂,需要将操作系统、数据库管理软件、存储硬件以及网络等组件整合在一起,来满足用户持续的高可用业务支持。将数据库、存储和服务器集成在一起不仅能够为企业提供便捷安装、易于维护的业务运营平台,还能以一种优化的方式协调资源分配、实现均衡负载、降低应用的复杂性、提高数据管理的性能。数据库一体机的出现为解决上述问题提供了一个理想方案。早期的数据库一体机可以很好地保证数据库系统和操作系统的可靠性,但磁盘低速的I/O性能使得数据库一体机技术没有得到推广和应用。
因此,如何能够提高数据库的性能,解决磁盘低速的I/O性能对数据库一体机带来的影响,并进一步的制造高速存储的数据库一体机成为现有技术亟需解决的技术问题。
发明内容
本发明的目的在于提出一种高速存储的数据库一体机,能够解决磁盘低速的I/O性能对数据库一体机带来的影响,并得到一种高速存储的数据库一体机。
为达此目的,本发明采用以下技术方案:
一种高速存储的数据库一体机,其特征在于:包括计算集群、Infiniband网络集群和Fusion-io分布式存储,其中,所述计算集群包括多个用于计算的计算服务器,所述多个计算服务器组成计算集群,所述Infiniband网络集群包括多个用于数据交换的Infiniband交换机,所述Fusion-io分布式存储包括多个Fusion-io存储服务器。
优选地,所述计算集群包括至少两个计算服务器。
优选地,所述计算服务器安装有集群软件、数据库客户端和独立的操作系统。
优选地,所述Infiniband网络集群包括多个支持RDMA协议的Infiniband交换机。
优选地,所述Infiniband交换机为支持IPoIB的交换机或支持RDS的交换机。
优选地,所述Infiniband为支持RDS的交换机。
优选地,所述Fusion-io分布式存储为外部冗余配置、一般冗余配置或者最高冗余配置;所述外部冗余配置为:Fusion-io存储卡的空间整合为一个统一的磁盘组,不提供任何数据冗余;所述一般冗余配置为:两块Fusion-io存储卡之间做镜像,提供1:1的冗余;所述最高冗余配置为:将三块Fusion-io存储卡之间做镜像,提供1:1:1的冗余。
优选地,所述Fusion-io分布式存储为一般冗余配置。
优选地,所述Fusion-io分布式存储中的数据存放采用以下存储方式中的一种:将所有文件都保存在Fusion-io存储服务器的Fusion-io存储卡上,将临时表空间文件保存在所述Fusion-io存储卡上,将重做日志保存在所述Fusion-io存储卡上, 将热点数据保存在Fusion-io存储卡上,或者将Fusion-io存储卡作为flashcache缓存。
优选地,当Fusion-io分布式存储的存储空间可以满足需要时,将所有文件都保存在Fusion-io存储卡上,当Fusion-io分布式存储的存储空间不能满足且热点数据明确时,将热点数据保存在Fusion-io存储卡上。
本发明具有如下的优点:
1)至少提高了3 至10 倍的数据库性能。
2)可在数分钟内(而不是以小时计算)运行备份、恢复及批量作业。
3)有效解决了性能问题,无需再三地对性能进行评估和购买磁盘。
4) 通过减少故障点数量提升系统的可靠性。
5)以对I/O有较大影响的技术如镜像和复制技术来进行未用功能的实施,以提升可用性。
6)大幅减小横向扩展数据库架构的规模。
本发明的高速存储的数据库一体机,基于fusion-io 高速存储技术,对提升存储IOPS、吞吐量等性能指标带来了指数级提升,本发明尤其适合高并发,高吞吐量等要求极高的数据库应用场景。
附图说明
图1 是根据本发明具体实施例的高速存储的数据库一体机的结构框图;
图2是根据本发明具体实施例的计算集群工作原理图;
图3是根据本发明具体实施例的fusion-io分布式存储的数据冗余布置图;
图4是根据本发明的高速存储的数据库一体机的工作流程图;
图5是根据本发明的实施例二的IOPS与延时图;
图6是根据本发明的实施例二的吞吐量图。
图中的附图标记所分别指代的技术特征为:
1、计算集群;11、计算服务器;2、Infiniband集群网络;21、Infiniband交换机;3、Fusion-io分布式存储;31、Fusion-io存储服务器;32、Fusion-io存储卡;4、应用服务器。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
诞生于20世纪80年代末的闪存存储器(Flash Memory)为解决这一问题提供了有效途径。闪存是一种全电设备,通过电子电路来读取数据,具有非易失、极高的读写速度、抗震、低功耗、体积小等特性,目前已经广泛应用于嵌入式系统、航空航天、消费电子等领域。闪存的读写速度超过磁盘百倍以上,随着制作工艺的发展,闪存的容量在不断增大,应用领域也开始逐步扩展到高吞吐、数据访问密集的企业级应用环境。
Fusion ioMemory是一种基于闪存的NAND存储层,可恢复资源(包括 DRAM、CPU、网络带宽和磁盘存储)的平衡和效率。它为数据库服务器提供了较好的读取性能以及企业级可靠性,同时降低了基础设施的需求。
将Fusion-io为代表的闪存产品引入数据库机一体机存储体系,有效解决了数据库机一体机I/O瓶颈问题。该存储架构可以采用智能缓存技术将经常访问的热数据透明的缓存在闪存和内存中,而活动性低的数据则被保留在低成本的磁盘。
参见图1,公开了根据本发明具体实施例的高速存储的数据库一体机的结构框图。
一种高速存储的数据库一体机,其特征在于:包括计算集群1、Infiniband网络集群2和Fusion-io分布式存储3,其中,所述计算集群1包括多个用于计算的计算服务器11,所述多个计算服务器组成计算集群,所述Infiniband网络集群2包括多个用于数据交换的Infiniband交换机21,所述Fusion-io分布式存储3包括多个Fusion-io存储服务器31。
 
对于计算集群1:
具体而言,包括多个计算服务器11的节点。每个计算服务器上都具有集群软件、数据库客户端和独立的操作系统,在Fusion-io分布式存储3存放了数据文件、控制文件、联机日志文件、归档日志文件等。
例如,一个Oracle Rac数据库由多个计算服务器节点组成,每个计算服务器节点上都有自己独立的OS、ClusterWare、oracle Rac数据库程序等,并且每个节点都有自己的网络监听器。ClusterWare是一个集群软件,主要用于集群系统管理,oracle Rac数据库程序用于提供oracle实例进程,以供客户端访问集群系统,监听服务主要用于监控自己的网络端口信息,所有的服务和程序通过操作系统都去访问一个共享存储,最终完成数据的读写。
在一个具体的实施例,所述计算集群1包括至少两个计算服务器11。参见图2,所有的计算服务器使用和管理同一个数据库,目的是为了分散每一台计算服务器的工作负载,硬件上至少需要两台以上的计算服务器。在网络带宽和I/O设备没有达到瓶颈时,两个节点能够提供两倍的CPU处理能力和两倍的内存容量,极大的提高了整个系统的事务处理的速度。从图中可以看出,运行在两个节点上的数据库实例(即数据库客户端)访问同一个RAC数据库,并且两个节点的本地磁盘仅用来存放oracle安装程序和ClusterWare(集群软件)软件,而在Fusion-io存储服务器的共享存储上,存放了oracle的数据文件、控制文件、联机日志文件、归档日志文件等。
逻辑结构上看,每一个参加计算集群的计算服务器节点有一个独立的instance(数据库实例),这些instance访问同一个数据库。节点之间通过集群软件的通讯层(communication layer)来进行通讯。同时为了减少IO的消耗,存在了一个全局缓存服务,因此每一个数据库的instance,都保留了一份相同的数据库cache。
 
对于Infiniband网络集群2:
具体而言,所述Infiniband网络集群2包括多个Infiniband交换机21,还配置有RDMA适配器,也就是说,包括多个支持RDMA协议的Infiniband交换机,以及配套的软件。通过上述配置,Infiniband网络集群可以实现远程内存直接访问(RDMA remote direct memory access architecture)。Infiniband网络集群2是一个高速互联,常与高性能计算(HPC)环境联系在一起。RDMA可以在集群的节点间使用并行、直接、内存到内存的传输。
例如:Oracle数据库服务器和Fusion-io存储服务器使用了Infiniband网络集群2,为集群内的通讯提供高达40Gb/s的带宽。与千兆以太网相比InfiniBand可在原始带宽及更短延迟两个方面提供巨大优势,并且一般可提供比用于Oracle RAC 系统的千兆以太网更高的性能。
所述Infiniband交换机为支持IPoIB的(IP over Infiniband)交换机或支持RDS的交换机。
所述支持IPoIB的交换机采用IB架构作为链路控制层,使用封装的方法实现IP和IB报文的转换,从而使在以太网运行的程序可以直接运行在Infiniband上。
所述支持RDS的交换机使用基于Infiniband的 Reliable Datagram Sockets,oracle 10.2.0.3开始支持这个方法。RDS可以通过Open Fabric Enterprise Distribution(OFED)在linux和windows上实现。RDS的重要特征是低延迟、低开销和高带宽。
传统的RAC内部互联协议都是使用UDP协议,这样无论内部互联网络是用普通网络交换机还是Infiniband交换机,都需要先把UDP协议转换成IP协议才能通过网络传输,如果使用Infiniband交换机的话,那么还需要把IP协议转换成为IPoIB协议(IP over Infiniband),这样几经转换,内部互联传输显然效率不高。而使用RDS内部互联的话,那么,Oracle RAC数据库内核可以直接通过RDS协议传输信息,少了几层转换,性能会有质的提升。
Oracle数据库10g 版本2 (R2) 及 10.2.0.3 补丁集支持由Oracle 和QLogic专门针对称为Reliable DatagramSockets (RDS)Over InfiniBand的Oracle RAC 开发的群集互连协议,RDS 与具有基本远程直接内存存取(RDMA) 功能的设备无关,并且可简化实施。该协议可彻底检查具有RDMA 功能的以太网网卡(NIC)或InfiniBand主机通道适配器(HCA)。
由此,所述Infiniband交换机优选采用支持RDS的交换机。
Infiniband交换集群2还提供集群节点与存储服务器之间传输磁盘数据使用;这些连接对延迟及每秒可用I/O 敏感。
InfiniBand应用于服务器群和存储区网络(SAN),在这种环境中性能问题至关重要。该种结构可以基于信道的串口替代共用总线,从而使I/O子系统和CPU/内存分离。所有系统和设备(一般称作节点)可通过信道适配器逻辑连接到该结构,它们可以是主机(服务器)适配器(HCA)或目标适配器(TCA)。该种结构(包括InfiniBand交换机和路由器)还可轻松实现扩展,从而满足不断增长的需求。
InfiniBand SAN具有如下优势: (1)InfiniBand体系结构经过特别设计,支持安全的信息传递模式、多并行通道、智能I/O控制器、高速交换机以及高可靠性、可用性和可维护性。(2)InfiniBand体系结构具有性能可伸缩性,和较广泛的适用性。
 
对于fusion-io分布式存储3:
Fusion-io是基于NAND Flash技术的存储设备,底层存储技术与SSD相同,不同的是,Fusion-io采用PCI-E接口,SSD采用SATA接口。相比较SSD,Fusion-io省略了南桥芯片,RAID控制器等访问路径,所以Fusion-io又称为IO Memory,意思就是可以象内存一样访问,因此,Fusion-io的性能比SSD要好很多。
fusion-io分布式存储3需要考虑两个方面的方案以优化性能:1.数据冗余方案;2.数据存放方案。
对于数据冗余方案:Fusion-io采用PCI-E接口,无法使用硬件RAID,我们可以使用OS LVM或者ORACLE ASM实现软RAID的功能。
fusion-io分布式存储3可以使用例如oracle ASM来实现数据冗余,fusion-io存储服务器31包括多块 ioDrive,Fusion-io存储卡32,其包括3种配置方式,
其中,第一种方式是External Redundancy(外部冗余配置),参见图3(a), 这个方案相当于RAID0,只是将多块ioDrive(Fusion-io存储卡32)的空间整合为一个统一的DG(磁盘组),不提供任何数据冗余;第二种方式是Normal Redundancy(一般冗余配置),将两块ioDrive之间做镜像,提供1:1的冗余,参见图3(b), 这个方案相当于RAID10,同时提供了数据冗余与条带,是可靠性比较高的方案。例如,可以通过ASM failgroup的功能,将两块ioDrive之间做镜像,以防止单块卡出现故障;第三种方式是High Redundancy(最高冗余配置),参见图3(c)将三块ioDrive之间做镜像,提供1:1:1的冗余。这个方案相当于RAID10+1,数据被冗余了三份,进一步提高了可靠性。
其中,IoDriver Duo 表示其中一块物理的fusion-io存储卡的名称;在fusion-io存储卡上分别具有fioa—fiof,表示从存储卡上划分出的多个逻辑卷(LV)通过Infiniband存储网络映射到计算服务器节点的磁盘的名称。
综合考虑,付出的代价和数据冗余的需要,本发明优选一般冗余配置。
对于数据存放方案,包括五种方案,分别为:1.将所有文件都保存在ioDrive上,2.将temp(临时表空间文件)文件保存在ioDrive上,3. 将redo(重做日志)保存在ioDrive上, 4.将热点数据(极短的时间内被频繁访问的数据)保存在ioDrive上,5. ioDrive作为flashcache(缓存)。fusion-io分布式存储3选取其中的一种
具体而言:
1.将所有文件都保存在ioDrive上:
如果存储空间许可,这是最简单可靠,也是性能最好的一种方案。
2.将temp(临时表空间文件)文件保存在ioDrive上:
针对一些DSS系统(决策支持系统),temp文件可能是性能的瓶颈,比如大量的sort,Hash join可能耗费大量的temp空间,将temp文件放在ioDrive上可能带来性能上的收益。不过,我很少见到类似的需求,这个方案应该很少使用。
3.将redo(重做日志)保存在ioDrive上:
对于ORACLE数据库,redo log必须同步串行(9i串行,10g以后可以并行),对于write-intensive系统,要求redo必须有很低的写入延迟,否则redo可能成为整个系统的瓶颈。所以,可以考虑将redo log放在ioDrive上,提高响应延迟。但是,并不建议这个方案,因为redo log的写入是一种小IO的顺序写入,顺序写入更适合磁盘,并不适合flash存储。如果磁盘可以满足响应延迟需求,建议将redo log放在磁盘上,而不是ioDrive上。
4.将热点数据(极短的时间内被频繁访问的数据)保存在ioDrive上:
如果整个系统无法全部放在ioDrive上,而用户可以识别出系统的热点数据,那么可以人工将热点数据放在ioDrive上,将其他数据放在磁盘存储上,从而获得比较好的性能。
5.ioDrive作为flashcache(缓存):
将ioDrive作为数据库内存和磁盘之间的cache,Flashcache是用户透明的一种解决方案,系统自动将热点数据加载在flashcache中,提升系统性能。ORACLE 11g R2提供了flashcache功能,当block从SGA中被换出时,会被写入到flashcache中,但是在ORACLE的flashcache方案中,只有clean block才会被写入到flashcache中,Dirty block(脏数据块)必须写入到磁盘上(DBWR会优先保证dirty block的写出,只有空闲时才会写flashcache),即write through模式。其中,Facebook的flashcache方案可以采用write back模式,dirty block首先被写入flashcache,然后定期刷新到磁盘上,而,flashcache同时承担了读cache和写buffer,因此,flashcache方案性能更好。ORACLE flashcache是纯粹的读cache,可以大幅度提升读的性能,但是无法提升写的性能。ORACLE的方案很安全,就算flashcache损坏,也不会丢失任何数据,但是性能比WB模式要差一些,而且flashcache预热的过程也比较长。另外一点,ORACLE flashcache必须使用ORACLE LINUX,其他操作系统不提供这个功能。
方案5 Flashcache提供了一个高性价比的方案,但是同时增加了系统的复杂度,如果是WB模式,可能存在数据丢失的风险。因此,当空间可以满足需要,可以考虑方案一,将所有文件都保存在ioDrive上。当热点数据明确时,采用方案4将热点数据(极短的时间内被频繁访问的数据)保存在ioDrive上,简单可控,性价比高。
实施例一:
进一步的,参见图4,公开了根据本发明的高速存储的数据库一体机的工作流程图。包括如下步骤:
Step1: 
当应用服务器4发起事务请求时,将SQL语句发送给计算集群1,让计算集群1某个节点的进程来处理这条语句。也就是说,Oracle应用服务器4端不会做任何操作,它的主要任务就是把应用服务器端4产生的一些SQL语句发送给计算集群1。虽然在应用服务器4也有一个数据库进程,但是,这个进程的作用跟数据库服务器的进程作用是不同的。数据库服务器上的数据库进程才会对SQL语句进行相关的处理。不过,有个问题需要说明,就是应用服务器4的进程跟数据库服务器11的进程是一一对应的。也就是说,应用服务器4连接到计算集群1后,在应用服务器4与数据库计算服务器11端都会形成一个进程,应用服务器上的称为客户端进程;而数据库计算服务器上的称为服务器进程。所以,由于所有的SQL语句都是服务器进程执行的,所以,因此,服务器进程也被称为客户端进程的“影子”。
Step2: 
当应用服务器端4把SQL语句传送到计算集群节点后,计算服务器11进程会对该语句进行解析。
等到语句解析完成之后,数据库服务器进程才会真正的执行这条SQL语句。
这个语句执行也分两种情况。一是若被选择行所在的数据块已经被读取到数据缓冲区的话,则服务器进程会直接把这个数据传递给应用服务器端,而不是从数据库文件中去查询数据。若数据不在缓冲区中,则服务器进程将从fusion-io共享存储3中读取数据文件中的数据块,并把这些数据块放入到计算集群节点的数据缓冲区中。
目前市场上oracle RAC 数据库基本是采用Fc存储网络+SAS盘存储阵列的模式。本发明采取了Infiniband存储网络+Fusion-io存储阵列架构,与传统架构相比,具有高IO、高带宽、低延迟等优势,极大地提高了数据读写性能。
Step3:
当语句执行完成之后,Oracle查询到的数据还是在计算服务器11进程中,还没有被传送到客户端的用户进程。所以,在服务器端的进程中,有一个专门负责数据提取的一段代码。其作用就是把查询到的数据结果返回给用户端进程,从而完成整个事务处理工作。
实施例二:
采用2台计算服务器和3台fusion-io存储服务器作为共享存储的存储架构,数据采用asm normal redundancy冗余方案,并将所有文件存放在fusion-io存储服务器上的数据存储方式进行性能测试。
1.IOPS 测试,IOPS(Input/Output Operations Per Second),即每秒进行读写(I/O)操作的次数。
表1 IOPS测试结果
序号 项目 IOPS值 吞吐量
1 纯读 15.6万 1219.88 M/秒
2 80%读,20%写 13.6万 1101.68 M/秒
注:基于block为8k为大小测试。
图5(a)示出了本实施例的纯读IOPS与延时图,图5(b)示出了本实施例的混合读写IOPS与延时图。
2.TPM测试值
Fusion-io 存储TPM测试值如下:
Figure 2014100502296100002DEST_PATH_IMAGE001
单节点及RAC数据库TPM峰值
SAS盘存储 TPM测试值如下:
Figure 760449DEST_PATH_IMAGE002
单节点及RAC数据库TPM峰值
图6(a)为纯读吞吐量图,图6(b)为混合读写吞吐量图。
由以上两个表格数据可以看出,传统SAS盘存储单节点TPM峰值为38969,RAC数据库TPM峰值为58453;Fusion-io存储单节点TPM峰值为52119,RAC数据库TPM峰值为75236,相比SAS盘存储有一定的优势。
本发明具有如下的优点:
1)至少提高了3 至10 倍的数据库性能。
2)可在数分钟内(而不是以小时计算)运行备份、恢复及批量作业。
3)有效解决了性能问题,无需再三地对性能进行评估和购买磁盘。
4) 通过减少故障点数量提升系统的可靠性。
5)以对I/O有较大影响的技术如镜像和复制技术来进行未用功能的实施,以提升可用性。
6)大幅减小横向扩展数据库架构的规模。
因此,本发明的高速存储的数据库一体机,是基于fusion-io 高速存储技术,对提升存储IOPS、吞吐量等性能指标带来了指数级提升,本发明尤其适合高并发,高吞吐量等要求极高的数据库应用场景。
显然,本领域技术人员应该明白,上述的本发明的各单元或各步骤可以用通用的计算装置来实现,它们可以集中在单个计算装置上,可选地,他们可以用计算机装置可执行的程序代码来实现,从而可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件的结合。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施方式仅限于此,对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单的推演或替换,都应当视为属于本发明由所提交的权利要求书确定保护范围。

Claims (10)

1.一种高速存储的数据库一体机,其特征在于:包括计算集群、Infiniband网络集群和Fusion-io分布式存储,其中,所述计算集群包括多个用于计算的计算服务器,所述多个计算服务器组成计算集群,所述Infiniband网络集群包括多个用于数据交换的Infiniband交换机,所述Fusion-io分布式存储包括多个Fusion-io存储服务器。
2.根据权利要求1所述的高速存储的数据库一体机,其特征在于:
所述计算集群包括至少两个计算服务器。
3.根据权利要求2所述的高速存储的数据库一体机,其特征在于:
所述计算服务器安装有集群软件、数据库客户端和独立的操作系统。
4.根据权利要求1所述的高速存储的数据库一体机,其特征在于:
所述Infiniband网络集群包括多个支持RDMA协议的Infiniband交换机。
5.根据权利要求4所述的高速存储的数据库一体机,其特征在于:
所述Infiniband交换机为支持IPoIB的交换机或支持RDS的交换机。
6.根据权利要求5所述的高速存储的数据库一体机,其特征在于:
所述Infiniband为支持RDS的交换机。
7.根据权利要求1所述的高速存储的数据库一体机,其特征在于:
所述Fusion-io分布式存储为外部冗余配置、一般冗余配置或者最高冗余配置;
所述外部冗余配置为:Fusion-io存储卡的空间整合为一个统一的磁盘组,不提供任何数据冗余;
所述一般冗余配置为:两块Fusion-io存储卡之间做镜像,提供1:1的冗余;
所述最高冗余配置为:将三块Fusion-io存储卡之间做镜像,提供1:1:1的冗余。
8.根据权利要求7所述的高速存储的数据库一体机,其特征在于:
所述Fusion-io分布式存储为一般冗余配置。
9.根据权利要求7所述的,其特征在于:
所述Fusion-io分布式存储中的数据存放采用以下存储方式中的一种:将所有文件都保存在Fusion-io存储服务器的Fusion-io存储卡上,将临时表空间文件保存在所述Fusion-io存储卡上,将重做日志保存在所述Fusion-io存储卡上, 将热点数据保存在Fusion-io存储卡上,或者将Fusion-io存储卡作为flashcache缓存。
10.根据权利要求9所述的高速存储的数据库一体机,其特征在于:
当Fusion-io分布式存储的存储空间可以满足需要时,将所有文件都保存在Fusion-io存储卡上,当Fusion-io分布式存储的存储空间不能满足且热点数据明确时,将热点数据保存在Fusion-io存储卡上。
CN201410050229.6A 2014-02-13 2014-02-13 一种高速存储的数据库一体机 Pending CN103873559A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410050229.6A CN103873559A (zh) 2014-02-13 2014-02-13 一种高速存储的数据库一体机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410050229.6A CN103873559A (zh) 2014-02-13 2014-02-13 一种高速存储的数据库一体机

Publications (1)

Publication Number Publication Date
CN103873559A true CN103873559A (zh) 2014-06-18

Family

ID=50911674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410050229.6A Pending CN103873559A (zh) 2014-02-13 2014-02-13 一种高速存储的数据库一体机

Country Status (1)

Country Link
CN (1) CN103873559A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104092759A (zh) * 2014-07-14 2014-10-08 南京斯坦德云科技股份有限公司 一种分布式云存储服务器集群系统及存储方法
CN104092758A (zh) * 2014-07-14 2014-10-08 南京斯坦德云科技股份有限公司 一种分布式高速云存储服务器集群系统及读取方法
CN104268274A (zh) * 2014-10-14 2015-01-07 华为技术有限公司 一种记录数据库日志的方法、装置及系统
CN105550238A (zh) * 2015-11-27 2016-05-04 浪潮(北京)电子信息产业有限公司 一种数据库一体机的架构系统
CN105681402A (zh) * 2015-11-25 2016-06-15 北京文云易迅科技有限公司 一种基于PCIe闪存卡的分布式高速数据库集成系统
CN106066890A (zh) * 2016-06-16 2016-11-02 上海天玑科技股份有限公司 一种分布式高性能数据库一体机系统
CN106686099A (zh) * 2017-01-03 2017-05-17 杭州沃趣科技股份有限公司 一种基于infiniband网络实现Oracle RAC数据库跨机房双活的方法
CN106933514A (zh) * 2017-03-15 2017-07-07 郑州云海信息技术有限公司 一种asm磁盘组冷热数据自动分布方法及系统
CN107135277A (zh) * 2017-07-06 2017-09-05 郑州云海信息技术有限公司 一种一体机实现方法及装置
CN107609202A (zh) * 2017-10-25 2018-01-19 武汉斗鱼网络科技有限公司 一种部署数据库实例的方法、装置及计算机设备
CN108200109A (zh) * 2016-12-08 2018-06-22 南京海道普数据技术有限公司 大数据一体机
CN108228082A (zh) * 2016-12-21 2018-06-29 伊姆西Ip控股有限责任公司 存储系统和用于存储控制的方法
CN108595116A (zh) * 2018-03-29 2018-09-28 浙江慧优科技有限公司 基于Oracle RAC集群数据读写性能优化方法
CN108632353A (zh) * 2018-03-29 2018-10-09 浙江慧优科技有限公司 公有云上部署高性能Oracle RAC集群的方法
CN109922126A (zh) * 2019-01-04 2019-06-21 国网河北省电力有限公司信息通信分公司 一种基于R2IA技术路线的InfiniBand网络系统
CN109933631A (zh) * 2019-03-20 2019-06-25 江苏瑞中数据股份有限公司 基于Infiniband网络的分布式并行数据库系统及数据处理方法
CN109976897A (zh) * 2017-12-27 2019-07-05 航天信息股份有限公司 一种大数据集群的部署方法、数据交互方法及对应装置
CN111930299A (zh) * 2020-06-22 2020-11-13 中国建设银行股份有限公司 分配存储单元的方法及相关设备
CN112838945A (zh) * 2020-12-15 2021-05-25 广西电网有限责任公司 一种基于混合型同城双活的网络拓扑结构
CN112866367A (zh) * 2021-01-12 2021-05-28 优刻得科技股份有限公司 基于可编程交换机的路由系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546813A (zh) * 2012-03-15 2012-07-04 北京神州数码思特奇信息技术股份有限公司 一种基于x86 PC架构的高性能集群计算系统
CN102761578A (zh) * 2011-04-29 2012-10-31 无锡江南计算技术研究所 集群计算系统
CN102882864A (zh) * 2012-09-21 2013-01-16 南京斯坦德通信股份有限公司 一种基于InfiniBand云计算网络的虚拟化系统
CN102937997A (zh) * 2012-11-26 2013-02-20 曙光信息产业(北京)有限公司 数据处理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761578A (zh) * 2011-04-29 2012-10-31 无锡江南计算技术研究所 集群计算系统
CN102546813A (zh) * 2012-03-15 2012-07-04 北京神州数码思特奇信息技术股份有限公司 一种基于x86 PC架构的高性能集群计算系统
CN102882864A (zh) * 2012-09-21 2013-01-16 南京斯坦德通信股份有限公司 一种基于InfiniBand云计算网络的虚拟化系统
CN102937997A (zh) * 2012-11-26 2013-02-20 曙光信息产业(北京)有限公司 数据处理系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SAMUEL WILLIAMS 等: "Optimization of Geometric Multigrid for Emerging Multi- and Manycore Processors", 《PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON HIGH PERFORMANCE COMPUTING, NETWORKING, STORAGE AND ANALYSIS》 *
杨东日 等: "基于InfiniBand协议的云存储关键技术研究", 《高技术通讯》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104092758B (zh) * 2014-07-14 2018-01-12 南京斯坦德云科技股份有限公司 一种分布式高速云存储服务器集群系统的读取方法
CN104092758A (zh) * 2014-07-14 2014-10-08 南京斯坦德云科技股份有限公司 一种分布式高速云存储服务器集群系统及读取方法
CN104092759A (zh) * 2014-07-14 2014-10-08 南京斯坦德云科技股份有限公司 一种分布式云存储服务器集群系统及存储方法
CN104092759B (zh) * 2014-07-14 2017-10-13 南京斯坦德云科技股份有限公司 一种分布式云存储服务器集群系统及存储方法
CN104268274A (zh) * 2014-10-14 2015-01-07 华为技术有限公司 一种记录数据库日志的方法、装置及系统
CN104268274B (zh) * 2014-10-14 2019-02-12 华为技术有限公司 一种记录数据库日志的方法、装置及系统
CN105681402A (zh) * 2015-11-25 2016-06-15 北京文云易迅科技有限公司 一种基于PCIe闪存卡的分布式高速数据库集成系统
CN105550238A (zh) * 2015-11-27 2016-05-04 浪潮(北京)电子信息产业有限公司 一种数据库一体机的架构系统
CN106066890A (zh) * 2016-06-16 2016-11-02 上海天玑科技股份有限公司 一种分布式高性能数据库一体机系统
CN106066890B (zh) * 2016-06-16 2020-02-18 上海天玑科技股份有限公司 一种分布式高性能数据库一体机系统
CN108200109A (zh) * 2016-12-08 2018-06-22 南京海道普数据技术有限公司 大数据一体机
CN108228082B (zh) * 2016-12-21 2021-04-02 伊姆西Ip控股有限责任公司 存储系统和用于存储控制的方法
CN108228082A (zh) * 2016-12-21 2018-06-29 伊姆西Ip控股有限责任公司 存储系统和用于存储控制的方法
CN106686099A (zh) * 2017-01-03 2017-05-17 杭州沃趣科技股份有限公司 一种基于infiniband网络实现Oracle RAC数据库跨机房双活的方法
CN106933514A (zh) * 2017-03-15 2017-07-07 郑州云海信息技术有限公司 一种asm磁盘组冷热数据自动分布方法及系统
CN107135277A (zh) * 2017-07-06 2017-09-05 郑州云海信息技术有限公司 一种一体机实现方法及装置
CN107609202B (zh) * 2017-10-25 2020-08-04 武汉斗鱼网络科技有限公司 一种部署数据库实例的方法、装置及计算机设备
CN107609202A (zh) * 2017-10-25 2018-01-19 武汉斗鱼网络科技有限公司 一种部署数据库实例的方法、装置及计算机设备
CN109976897B (zh) * 2017-12-27 2021-06-22 航天信息股份有限公司 一种大数据集群的部署方法、数据交互方法及对应装置
CN109976897A (zh) * 2017-12-27 2019-07-05 航天信息股份有限公司 一种大数据集群的部署方法、数据交互方法及对应装置
CN108632353B (zh) * 2018-03-29 2021-01-08 浙江慧优科技有限公司 公有云上部署高性能Oracle RAC集群的方法
CN108595116A (zh) * 2018-03-29 2018-09-28 浙江慧优科技有限公司 基于Oracle RAC集群数据读写性能优化方法
CN108632353A (zh) * 2018-03-29 2018-10-09 浙江慧优科技有限公司 公有云上部署高性能Oracle RAC集群的方法
CN108595116B (zh) * 2018-03-29 2021-04-20 浙江慧优科技有限公司 基于Oracle RAC集群数据读写性能优化方法
CN109922126A (zh) * 2019-01-04 2019-06-21 国网河北省电力有限公司信息通信分公司 一种基于R2IA技术路线的InfiniBand网络系统
CN109933631A (zh) * 2019-03-20 2019-06-25 江苏瑞中数据股份有限公司 基于Infiniband网络的分布式并行数据库系统及数据处理方法
CN111930299A (zh) * 2020-06-22 2020-11-13 中国建设银行股份有限公司 分配存储单元的方法及相关设备
CN111930299B (zh) * 2020-06-22 2024-01-26 中国建设银行股份有限公司 分配存储单元的方法及相关设备
CN112838945A (zh) * 2020-12-15 2021-05-25 广西电网有限责任公司 一种基于混合型同城双活的网络拓扑结构
CN112838945B (zh) * 2020-12-15 2023-06-20 广西电网有限责任公司 一种基于混合型同城双活的网络拓扑结构
CN112866367A (zh) * 2021-01-12 2021-05-28 优刻得科技股份有限公司 基于可编程交换机的路由系统

Similar Documents

Publication Publication Date Title
CN103873559A (zh) 一种高速存储的数据库一体机
US20210182190A1 (en) Intelligent die aware storage device scheduler
US11687423B2 (en) Prioritizing highly performant storage systems for servicing a synchronously replicated dataset
US11861188B2 (en) System having modular accelerators
US9756128B2 (en) Switched direct attached shared storage architecture
US10452316B2 (en) Switched direct attached shared storage architecture
US20180095996A1 (en) Database system utilizing forced memory aligned access
WO2021011051A1 (en) Data recovery in a virtual storage system
CN102012791B (zh) 基于Flash的数据存储PCIE板卡
WO2021011053A1 (en) Data deduplication across storage systems
CN106066890B (zh) 一种分布式高性能数据库一体机系统
WO2022159162A1 (en) Using data similarity to select segments for garbage collection
US11442669B1 (en) Orchestrating a virtual storage system
US8566636B2 (en) Application recovery in a file system
CN103890738A (zh) 用于保留克隆分离操作之后的存储对象中的消重的系统和方法
CN103595799B (zh) 一种实现分布式共享数据库的方法
US11327676B1 (en) Predictive data streaming in a virtual storage system
US9152603B1 (en) System and method for increasing application compute client data I/O bandwidth performance from data file systems and/or data object storage systems by hosting/bundling all of the data file system storage servers and/or data object storage system servers in the same common global shared memory compute system as the application compute clients
CN111708719B (zh) 计算机存储加速方法、电子设备及存储介质
US20230195444A1 (en) Software Application Deployment Across Clusters
CN104834484A (zh) 基于嵌入式可编程逻辑阵列的数据处理系统及处理方法
CN103593420A (zh) 一种利用共享在线日志实现异构同平台的数据库集群搭建方法
CN105516313A (zh) 一种用于大数据的分布式存储系统
WO2024021470A1 (zh) 一种跨区域的数据调度方法、装置、设备及存储介质
US11803453B1 (en) Using host connectivity states to avoid queuing I/O requests

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Guanghua Road, Baixia District Nanjing city Jiangsu province 210014 No. 1

Applicant after: Nanjing Rostand cloud Science and Technology Co., Ltd.

Address before: Guanghua Road, Baixia District Nanjing city Jiangsu province 210014 No. 1

Applicant before: Nanjing Standard Communications Co.,Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: NANJING STANDARD COMMUNICATIONS CO., LTD. TO: NANJING SITANDE CLOUD TECHNOLOGY CO., LTD.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140618