CN104539679A - 基于分布式闪存技术的集群数据库系统及其数据传输方法 - Google Patents

基于分布式闪存技术的集群数据库系统及其数据传输方法 Download PDF

Info

Publication number
CN104539679A
CN104539679A CN201410805038.6A CN201410805038A CN104539679A CN 104539679 A CN104539679 A CN 104539679A CN 201410805038 A CN201410805038 A CN 201410805038A CN 104539679 A CN104539679 A CN 104539679A
Authority
CN
China
Prior art keywords
data
node
computing node
database system
scsi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410805038.6A
Other languages
English (en)
Inventor
邹保平
黄峰
罗顺辉
黄丽燕
舒路
林家辉
蔡素容
任明灯
林振琳
陈伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201410805038.6A priority Critical patent/CN104539679A/zh
Publication of CN104539679A publication Critical patent/CN104539679A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种集群数据库系统及其数据传输方法，特别涉及基于分布式闪存技术的集群数据库系统及其数据传输方法，属于电力信息化领域,包括计算节点、存储节点和交换设备，所述计算节点包括至少1块IB HCA卡，所述IB HCA卡与所述交换设备连接并传输数据；所述存储节点包括至少1块的PCIe闪存卡和至少1块IB HCA卡,所述PCIe闪存卡作为SCSI设备用于存储数据，所述IB HCA卡与所述交换设备连接并传输数据；所述交换设备采用Infiniband交换机。本发明不仅能够按照用户的需求对存储设备进行个性化配置，而且能使系统的事务处理能力大幅增强，同时还能降低系统的运维成本和部署成本。

Description

基于分布式闪存技术的集群数据库系统及其数据传输方法
技术领域
本发明涉及一种集群数据库系统及其数据传输方法，特别涉及基于分布式闪存技术的集群数据库系统及其数据传输方法，属于电力信息化领域。
背景技术
现有技术中的数据库集群架构主要由存储设备，服务器，光纤交换设备构成，数据库数据主要存在存储设备中，由存储设备专用RAID卡实现数据的冗余保护，服务器上部署数据库集群软件，通过光纤交换设备连接存储进行数据I/O读写。因此，传统的数据库集群架构存在以下问题：
1、存储性能限制：传统存储设备采用控制器架构，所有磁盘都由双路或多路控制器控制，容量和性能的扩展受限于该设备的性能瓶颈，容量也只能在单台设备的设计范围内进行。此外，磁盘的类型和数量必须符合存储厂商的要求，用户无法根据自己的需求进行个性化配置。
2、运维成本高。传统存储设备的维保服务受设备厂商限制，设备过保后，用户需要支付高昂的维保费用，或面临设备选型被厂商绑架的风险。
3、部署成本较高。传统架构方案中，存储与服务器的角色分工明确，用户需要采购不同类型的硬件设备。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于分布式闪存技术的集群数据库系统及其数据传输方法，本发明所提供的基于分布式闪存技术的集群数据库系统及其数据传输方法不仅能够按照用户的需求对存储设备进行个性化配置，而且能使系统的事务处理能力大幅增强，同时还能降低系统的运维成本和部署成本。
本发明技术方案一如下：
一种基于分布式闪存技术的集群数据库系统，包括计算节点、存储节点和交换设备，
所述计算节点包括至少1块IB HCA卡，所述IB HCA卡与所述交换设备连接并传输数据；
所述存储节点包括至少1块的PCIe闪存卡和至少1块IB HCA卡,所述PCIe闪存卡作为SCSI设备用于存储数据，所述IB HCA卡与所述交换设备连接并传输数据；
所述交换设备采用Infiniband交换机；
所述计算节点用于处理所述存储节点经所述交换设备输出的数据；
所述存储节点用于存储和传输所述计算节点需处理的数据；
所述交换设备用于传输所述计算节点和所述存储节点之间的数据。
进一步的，为了降低系统的运维成本和部署成本，所述计算节点和/或所述存储节点采用X86架构的PC服务器，所述计算节点所采用的X86架构的PC服务器用于数据库服务器，所述存储节点采用的X86架构的PC服务器用于数据的存储。
更进一步的，为了保证数据的安全性和容量的需求，所述X86架构的PC服务器数量为2台以上。
所述计算节点采用SRP协议(SCSI RDMA Protocol)与所述存储节点上的SCSI设备连接。
所述作为计算节点的X86架构的PC服务器之间采用TCP/IP协议通过Infiniband交换机连接，并采用IPoIB协议实现心跳互联。
本发明技术方案二如下：
一种用于方案一所述的基于分布式闪存技术的集群数据库系统的数据传输方法，该方法包括以下依次进行的步骤：
1)请求连接
在所述存储节点上部署Linux OS，利用磁盘分区或LVM技术将PCIe固态闪存卡划分为多个子分区或者逻辑卷，并以子分区或逻辑卷为单位对外输出所述存储节点上的所述SCSI设备；所述计算节点通过InfiniBand交换机，并采用SRP协议探测和扫描该系统网络上的SRP目标，并向所述存储节点发送SRP连接请求消息，交换数据；
2)建立连接
所述计算节点采用SRP协议与所述存储节点建立连接；
3)注册SCSI设备
所述计算节点查询所述存储节点的所述SCSI设备状况，在所述计算节点上注册相应的SCSI设备；
4)数据请求
所述计算节点解释该系统中所述的SCSI设备作为SCSI中间层发出的SCSI数据请求指令，并将所述SCSI数据请求指令通过Infiniband交换机传输给所述存储节点；
5)数据返回
所述存储节点根据所述计算节点的指令采用SRP协议(SCSI RDMA Protocol)返回数据。
本发明所提供的基于分布式闪存技术的集群数据库系统及其数据传输方法对比现有技术有如下优点：
1)具有更高的存储性能和可扩展性。通过使用闪存卡作为存储介质，配合高带宽的InfiniBand技术，使得系统的I/O能力显著提高，同时，该部署方法具有良好的扩展性，可以支持横向和纵向的扩展，且存储性能随着存储节点的增加而增强。
2)该解决方案采用开放式分布架构，运维人员可以根据自己的需求对存储节点升级维护，不受特定硬件厂商的约束。
3)提高资源使用率。存储节点除了提供数据存储服务以外，还能提供计算服务，打破传统架构的设备局限，最大化的提高资源使用率。
4)本发明的基于分布式闪存技术的集群数据库系统通过高带宽低时延的Infiniband互联，将高性能X86服务器，和以闪存为核心的分布式存储，软硬件配合紧密耦合成高性能计算和存储资源池。相较于10Gb为主的以太网、16Gb为主的光纤网，InfiniBand网络能提供40-120Gb/s的带宽，大幅提升数据交换的性能；采用SSD闪存盘作为高速数据存储介质，相较于传统企业级硬盘IOPS在150-200，吞吐率在200MB/s以内的性能瓶颈，可以轻易地实现20000以上的IOPS以及500MB/s以上的数据吞吐，大幅提升存储性能，而且更加省电。
附图说明
图1为本发明的基于分布式闪存技术的集群数据库系统的物理拓扑图；
图2为本发明的基于分布式闪存技术的集群数据库系统的数据传输架构示意图；
图3为本发明的基于分布式闪存技术的集群数据库系统的数据传输流程图。
具体实施方式
下面结合具体实施方式和具体实施例来对本发明进行详细的说明。
具体实施方式如下：
一种用于基于分布式闪存技术的集群数据库系统的数据传输方法，该方法包括基于分布式闪存技术的集群数据库系统，该系统包括计算节点、存储节点和交换设备，
所述计算节点包括至少1块IB HCA卡，所述IB HCA卡与所述交换设备连接并传输数据；
所述存储节点包括至少1块的PCIe闪存卡和至少1块IB HCA卡,所述PCIe闪存卡作为SCSI设备用于存储数据，所述IB HCA卡与所述交换设备连接并传输数据；
所述交换设备采用Infiniband交换机；
所述计算节点用于处理所述存储节点经所述交换设备输出的数据；
所述存储节点用于存储和传输所述计算节点需处理的数据；
所述交换设备用于传输所述计算节点和所述存储节点之间的数据。
所述计算节点和/或所述存储节点采用X86架构的PC服务器，所述计算节点所采用的X86架构的PC服务器用于数据库服务器，所述存储节点采用的X86架构的PC服务器用于数据的存储。
所述X86架构的PC服务器数量为2台以上。
所述计算节点采用SRP协议(SCSI RDMA Protocol)与所述存储节点上的SCSI设备连接。
所述作为计算节点的X86架构的PC服务器之间采用TCP/IP协议通过Infiniband交换机连接，并采用IPoIB协议实现心跳互联。
所述数据传输方法包括以下依次进行的步骤：
1)请求连接
在所述存储节点上部署Linux OS，利用磁盘分区或LVM技术将PCIe固态闪存卡划分为多个子分区或者逻辑卷，并以子分区或逻辑卷为单位对外输出所述存储节点上的所述SCSI设备；所述计算节点通过InfiniBand交换机，并采用SRP协议探测和扫描该系统网络上的SRP目标，并向所述存储节点发送SRP连接请求消息，交换数据；
2)建立连接
所述计算节点采用SRP协议与所述存储节点建立连接；
3)注册SCSI设备
所述计算节点查询所述存储节点的所述SCSI设备状况，在所述计算节点上注册相应的SCSI设备；
4)数据请求
所述计算节点解释该系统中所述的SCSI设备作为SCSI中间层发出的SCSI数据请求指令，并将所述SCSI数据请求指令通过Infiniband交换机传输给所述存储节点；
5)数据返回
所述存储节点根据所述计算节点的指令采用SRP协议(SCSI RDMA Protocol)返回数据。
(二)实施例如下：下面通过实施例进一步说明本发明：
实施例1
一种用于基于分布式闪存技术的集群数据库系统的数据传输方法，该方法包括基于分布式闪存技术的集群数据库系统，该系统包括计算节点、存储节点和交换设备，
所述计算节点包括至少1块IB HCA卡，所述IB HCA卡与所述交换设备连接并传输数据；
所述存储节点包括至少1块的PCIe闪存卡和至少1块IB HCA卡,所述PCIe闪存卡作为SCSI设备用于存储数据，所述IB HCA卡与所述交换设备连接并传输数据；
所述交换设备采用Infiniband交换机；
所述计算节点用于处理所述存储节点经所述交换设备输出的数据；
所述存储节点用于存储和传输所述计算节点需处理的数据；
所述交换设备用于传输所述计算节点和所述存储节点之间的数据。
所述计算节点和/或所述存储节点采用X86架构的PC服务器，所述每个计算节点所采用2台X86架构的PC服务器用于数据库服务器，所述存储节点采用3台X86架构的PC服务器用于数据的存储。
所述计算节点采用SRP协议(SCSI RDMA Protocol)与所述存储节点上的SCSI设备连接。
所述作为计算节点的X86架构的PC服务器之间采用TCP/IP协议通过Infiniband交换机连接，并采用IPoIB协议实现心跳互联。
所述数据传输方法包括以下依次进行的步骤：
1)请求连接
在所述存储节点上部署Linux OS，利用磁盘分区或LVM技术将PCIe固态闪存卡划分为多个子分区或者逻辑卷，并以子分区或逻辑卷为单位对外输出所述存储节点上的所述SCSI设备；所述计算节点通过InfiniBand交换机，并采用SRP协议探测和扫描该系统网络上的SRP目标，并向所述存储节点发送SRP连接请求消息，交换数据；
2)建立连接
所述计算节点采用SRP协议与所述存储节点建立连接；
3)注册SCSI设备
所述计算节点查询所述存储节点的所述SCSI设备状况，在所述计算节点上注册相应的SCSI设备；
4)数据请求
所述计算节点解释该系统中所述的SCSI设备作为SCSI中间层发出的SCSI数据请求指令，并将所述SCSI数据请求指令通过Infiniband交换机传输给所述存储节点；
5)数据返回
所述存储节点根据所述计算节点的指令采用SRP协议(SCSI RDMA Protocol)返回数据。
实施例2
一种用于基于分布式闪存技术的集群数据库系统的数据传输方法，该方法包括基于分布式闪存技术的集群数据库系统,该系统包括计算节点、存储节点和交换设备，
所述计算节点包括至少1块IB HCA卡，所述IB HCA卡与所述交换设备连接并传输数据；
所述存储节点包括至少1块的PCIe闪存卡和至少1块IB HCA卡,所述PCIe闪存卡作为SCSI设备用于存储数据，所述IB HCA卡与所述交换设备连接并传输数据；
所述交换设备采用Infiniband交换机；
所述计算节点用于处理所述存储节点经所述交换设备输出的数据；
所述存储节点用于存储和传输所述计算节点需处理的数据；
所述交换设备用于传输所述计算节点和所述存储节点之间的数据。
所述计算节点和/或所述存储节点采用X86架构的PC服务器，所述每个计算节点所采用4台X86架构的PC服务器用于数据库服务器，所述存储节点采用5台X86架构的PC服务器用于数据的存储。
所述计算节点采用SRP协议(SCSI RDMA Protocol)与所述存储节点上的SCSI设备连接。
所述作为计算节点的X86架构的PC服务器之间采用TCP/IP协议通过Infiniband交换机连接，并采用IPoIB协议实现心跳互联。
所述数据传输方法包括以下依次进行的步骤：
1)请求连接
在所述存储节点上部署Linux OS，利用磁盘分区或LVM技术将PCIe固态闪存卡划分为多个子分区或者逻辑卷，并以子分区或逻辑卷为单位对外输出所述存储节点上的所述SCSI设备；所述计算节点通过InfiniBand交换机，并采用SRP协议探测和扫描该系统网络上的SRP目标，并向所述存储节点发送SRP连接请求消息，交换数据；
2)建立连接
所述计算节点采用SRP协议与所述存储节点建立连接；
3)注册SCSI设备
所述计算节点查询所述存储节点的所述SCSI设备状况，在所述计算节点上注册相应的SCSI设备；
4)数据请求
所述计算节点解释该系统中所述的SCSI设备作为SCSI中间层发出的SCSI数据请求指令，并将所述SCSI数据请求指令通过Infiniband交换机传输给所述存储节点；
5)数据返回
所述存储节点根据所述计算节点的指令采用SRP协议(SCSI RDMA Protocol)返回数据。
实施例3
一种用于基于分布式闪存技术的集群数据库系统的数据传输方法，该方法包括基于分布式闪存技术的集群数据库系统，该系统包括计算节点、存储节点和交换设备，
所述计算节点包括至少1块IB HCA卡，所述IB HCA卡与所述交换设备连接并传输数据；
所述存储节点包括至少1块的PCIe闪存卡和至少1块IB HCA卡,所述PCIe闪存卡作为SCSI设备用于存储数据，所述IB HCA卡与所述交换设备连接并传输数据；
所述交换设备采用Infiniband交换机；
所述计算节点用于处理所述存储节点经所述交换设备输出的数据；
所述存储节点用于存储和传输所述计算节点需处理的数据；
所述交换设备用于传输所述计算节点和所述存储节点之间的数据。
所述计算节点和/或所述存储节点采用X86架构的PC服务器，所述每个计算节点所采用6台X86架构的PC服务器用于数据库服务器，所述存储节点采用9台X86架构的PC服务器用于数据的存储。
所述计算节点采用SRP协议(SCSI RDMA Protocol)与所述存储节点上的SCSI设备连接。
所述作为计算节点的X86架构的PC服务器之间采用TCP/IP协议通过Infiniband交换机连接，并采用IPoIB协议实现心跳互联。
所述数据传输方法包括以下依次进行的步骤：
1)请求连接
在所述存储节点上部署Linux OS，利用磁盘分区或LVM技术将PCIe固态闪存卡划分为多个子分区或者逻辑卷，并以子分区或逻辑卷为单位对外输出所述存储节点上的所述SCSI设备；所述计算节点通过InfiniBand交换机，并采用SRP协议探测和扫描该系统网络上的SRP目标，并向所述存储节点发送SRP连接请求消息，交换数据；
2)建立连接
所述计算节点采用SRP协议与所述存储节点建立连接；
3)注册SCSI设备
所述计算节点查询所述存储节点的所述SCSI设备状况，在所述计算节点上注册相应的SCSI设备；
4)数据请求
所述计算节点解释该系统中所述的SCSI设备作为SCSI中间层发出的SCSI数据请求指令，并将所述SCSI数据请求指令通过Infiniband交换机传输给所述存储节点；
5)数据返回
所述存储节点根据所述计算节点的指令采用SRP协议(SCSI RDMA Protocol)返回数据。
实施例4(最佳实施例)
一种用于基于分布式闪存技术的集群数据库系统的数据传输方法，该方法包括基于分布式闪存技术的集群数据库系统，该系统包括计算节点、存储节点和交换设备，
所述计算节点包括至少1块IB HCA卡，所述IB HCA卡与所述交换设备连接并传输数据；
所述存储节点包括至少1块的PCIe闪存卡和至少1块IB HCA卡,所述PCIe闪存卡作为SCSI设备用于存储数据，所述IB HCA卡与所述交换设备连接并传输数据；
所述交换设备采用Infiniband交换机；
所述计算节点用于处理所述存储节点经所述交换设备输出的数据；
所述存储节点用于存储和传输所述计算节点需处理的数据；
所述交换设备用于传输所述计算节点和所述存储节点之间的数据。
所述计算节点和/或所述存储节点采用X86架构的PC服务器，所述每个计算节点所采用10台X86架构的PC服务器用于数据库服务器，所述存储节点采用11台X86架构的PC服务器用于数据的存储。
所述计算节点采用SRP协议(SCSI RDMA Protocol)与所述存储节点上的SCSI设备连接。
所述作为计算节点的X86架构的PC服务器之间采用TCP/IP协议通过Infiniband交换机连接，并采用IPoIB协议实现心跳互联。
所述数据传输方法包括以下依次进行的步骤：
1)请求连接
在所述存储节点上部署Linux OS，利用磁盘分区或LVM技术将PCIe固态闪存卡划分为多个子分区或者逻辑卷，并以子分区或逻辑卷为单位对外输出所述存储节点上的所述SCSI设备；所述计算节点通过InfiniBand交换机，并采用SRP协议探测和扫描该系统网络上的SRP目标，并向所述存储节点发送SRP连接请求消息，交换数据；
2)建立连接
所述计算节点采用SRP协议与所述存储节点建立连接；
3)注册SCSI设备
所述计算节点查询所述存储节点的所述SCSI设备状况，在所述计算节点上注册相应的SCSI设备；
4)数据请求
所述计算节点解释该系统中所述的SCSI设备作为SCSI中间层发出的SCSI数据请求指令，并将所述SCSI数据请求指令通过Infiniband交换机传输给所述存储节点；
5)数据返回
所述存储节点根据所述计算节点的指令采用SRP协议(SCSI RDMA Protocol)返回数据。
实施例5
一种用于基于分布式闪存技术的集群数据库系统的数据传输方法，该方法包括基于分布式闪存技术的集群数据库系统，该系统包括计算节点、存储节点和交换设备，
所述计算节点包括至少1块IB HCA卡，所述IB HCA卡与所述交换设备连接并传输数据；
所述存储节点包括至少1块的PCIe闪存卡和至少1块IB HCA卡,所述PCIe闪存卡作为SCSI设备用于存储数据，所述IB HCA卡与所述交换设备连接并传输数据；
所述交换设备采用Infiniband交换机；
所述计算节点用于处理所述存储节点经所述交换设备输出的数据；
所述存储节点用于存储和传输所述计算节点需处理的数据；
所述交换设备用于传输所述计算节点和所述存储节点之间的数据。
所述计算节点和/或所述存储节点采用X86架构的PC服务器，所述每个计算节点所采用12台X86架构的PC服务器用于数据库服务器，所述存储节点采用15台X86架构的PC服务器用于数据的存储。
所述计算节点采用SRP协议(SCSI RDMA Protocol)与所述存储节点上的SCSI设备连接。
所述作为计算节点的X86架构的PC服务器之间采用TCP/IP协议通过Infiniband交换机连接，并采用IPoIB协议实现心跳互联。
所述数据传输方法包括以下依次进行的步骤：
1)请求连接
在所述存储节点上部署Linux OS，利用磁盘分区或LVM技术将PCIe固态闪存卡划分为多个子分区或者逻辑卷，并以子分区或逻辑卷为单位对外输出所述存储节点上的所述SCSI设备；所述计算节点通过InfiniBand交换机，并采用SRP协议探测和扫描该系统网络上的SRP目标，并向所述存储节点发送SRP连接请求消息，交换数据；
2)建立连接
所述计算节点采用SRP协议与所述存储节点建立连接；
3)注册SCSI设备
所述计算节点查询所述存储节点的所述SCSI设备状况，在所述计算节点上注册相应的SCSI设备；
4)数据请求
所述计算节点解释该系统中所述的SCSI设备作为SCSI中间层发出的SCSI数据请求指令，并将所述SCSI数据请求指令通过Infiniband交换机传输给所述存储节点；
5)数据返回
所述存储节点根据所述计算节点的指令采用SRP协议(SCSI RDMA Protocol)返回数据。
在以上各实施例中：
对本发明的基于分布式闪存技术的集群数据库系统的各实施例的每分钟内系统处理的新订单个数进行测试，测试结果如下：
表一——本发明各实施例的每分钟内系统处理的新订单个数(300个用户)
项目 单位 实施例1 实施例2 实施例3 实施例4 实施例5
TPM(300个用户) tpmC 791957 991872 1204920 1994024 1189420
数据传输速率 GB/s 40 40 40 40 40
从表一可以看出，本发明的基于分布式闪存技术的集群数据库系统的各实施例的每分钟内系统处理的新订单个数均超过750000,并随着计算节点和储存节点的增长而增长，当作为计算节点和储存节点的服务器个数均超过10个时，系统每分钟内系统处理的新订单个数达到峰值，随后继续增加作为计算节点和储存节点的服务器个数，系统每分钟内系统处理的新订单个数不升反降；各实施例的数据传输速率均达到40GB/s。
上述具体实施方式只是对本发明的技术方案进行详细解释，本发明并不只仅仅局限于上述实施例，凡是依据本发明原理的任何改进或替换，均应在本发明的保护范围之内。

Claims (6)

1.一种基于分布式闪存技术的集群数据库系统，其特征在于：包括计算节点、存储节点和交换设备，
所述计算节点包括至少1块IB HCA卡，所述IB HCA卡与所述交换设备连接并传输数据；
所述存储节点包括至少1块的PCIe闪存卡和至少1块IB HCA卡,所述PCIe闪存卡作为SCSI设备用于存储数据，所述IB HCA卡与所述交换设备连接并传输数据；
所述交换设备采用Infiniband交换机；
所述计算节点用于处理所述存储节点经所述交换设备输出的数据；
所述存储节点用于存储和传输所述计算节点需处理的数据；
所述交换设备用于传输所述计算节点和所述存储节点之间的数据。
2.根据权利要求1所述的基于分布式闪存技术的集群数据库系统，其特征在于：所述计算节点和/或所述存储节点采用X86架构的PC服务器。
3.根据权利要求2所述的基于分布式闪存技术的集群数据库系统，其特征在于：所述X86架构的PC服务器数量为2台以上。
4.根据权利要求3所述的基于分布式闪存技术的集群数据库系统，其特征在于：所述计算节点采用SRP协议(SCSI RDMA Protocol)与所述存储节点上的SCSI设备连接。
5.根据权利要求4所述的基于分布式闪存技术的集群数据库系统，其特征在于：所述作为计算节点的X86架构的PC服务器之间采用TCP/IP协议通过Infiniband交换机连接，并采用IPoIB协议实现心跳互联。
6.一种用于权利要求4或5所述的基于分布式闪存技术的集群数据库系统的数据传输方法，其特征在于：所述数据传输方法包括以下依序进行的步骤：
1)请求连接
在所述存储节点上部署Linux OS，利用磁盘分区或LVM技术将PCIe固态闪存卡划分为多个子分区或者逻辑卷，并以子分区或逻辑卷为单位对外输出所述存储节点上的所述SCSI设备；所述计算节点通过InfiniBand交换机，并采用SRP协议探测和扫描该系统网络上的SRP目标，并向所述存储节点发送SRP连接请求消息，交换数据；
2)建立连接
所述计算节点采用SRP协议与所述存储节点建立连接；
3)注册SCSI设备
所述计算节点查询所述存储节点的所述SCSI设备状况，在所述计算节点上注册相应的SCSI设备；
4)数据请求
所述计算节点解释该系统中所述的SCSI设备作为SCSI中间层发出的SCSI数据请求指令，并将所述SCSI数据请求指令通过Infiniband交换机传输给所述存储节点；
5)数据返回
所述存储节点根据所述计算节点的指令采用SRP协议(SCSI RDMA Protocol)返回数据。
CN201410805038.6A 2014-12-22 2014-12-22 基于分布式闪存技术的集群数据库系统及其数据传输方法 Pending CN104539679A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410805038.6A CN104539679A (zh) 2014-12-22 2014-12-22 基于分布式闪存技术的集群数据库系统及其数据传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410805038.6A CN104539679A (zh) 2014-12-22 2014-12-22 基于分布式闪存技术的集群数据库系统及其数据传输方法

Publications (1)

Publication Number Publication Date
CN104539679A true CN104539679A (zh) 2015-04-22

Family

ID=52855146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410805038.6A Pending CN104539679A (zh) 2014-12-22 2014-12-22 基于分布式闪存技术的集群数据库系统及其数据传输方法

Country Status (1)

Country Link
CN (1) CN104539679A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107135277A (zh) * 2017-07-06 2017-09-05 郑州云海信息技术有限公司 一种一体机实现方法及装置
CN107179878A (zh) * 2016-03-11 2017-09-19 伊姆西公司 基于应用优化的数据存储的方法和装置
CN107483645A (zh) * 2017-09-27 2017-12-15 郑州云海信息技术有限公司 一种基于分布式存储系统的网络通信系统和方法
CN107819660A (zh) * 2017-11-15 2018-03-20 郑州云海信息技术有限公司 一种通信管理方法及装置
CN108009051A (zh) * 2017-12-19 2018-05-08 国网湖南省电力有限公司 一种电力营销服务器系统的可靠性优化方法及装置
CN108063821A (zh) * 2017-12-19 2018-05-22 国网湖南省电力有限公司 一种基于x86架构的电力营销系统
CN109495601A (zh) * 2018-11-21 2019-03-19 北京谷数科技有限公司 Infiniband网络中IP地址漂移处理方法、装置、系统、存储介质和设备
CN113395359A (zh) * 2021-08-17 2021-09-14 苏州浪潮智能科技有限公司 基于远程直接内存访问的文件币集群数据传输方法、系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107179878A (zh) * 2016-03-11 2017-09-19 伊姆西公司 基于应用优化的数据存储的方法和装置
CN107135277A (zh) * 2017-07-06 2017-09-05 郑州云海信息技术有限公司 一种一体机实现方法及装置
CN107483645A (zh) * 2017-09-27 2017-12-15 郑州云海信息技术有限公司 一种基于分布式存储系统的网络通信系统和方法
CN107819660A (zh) * 2017-11-15 2018-03-20 郑州云海信息技术有限公司 一种通信管理方法及装置
CN108009051A (zh) * 2017-12-19 2018-05-08 国网湖南省电力有限公司 一种电力营销服务器系统的可靠性优化方法及装置
CN108063821A (zh) * 2017-12-19 2018-05-22 国网湖南省电力有限公司 一种基于x86架构的电力营销系统
CN109495601A (zh) * 2018-11-21 2019-03-19 北京谷数科技有限公司 Infiniband网络中IP地址漂移处理方法、装置、系统、存储介质和设备
CN109495601B (zh) * 2018-11-21 2019-06-28 北京谷数科技有限公司 Infiniband网络中IP地址漂移处理方法、装置、系统、存储介质和设备
CN113395359A (zh) * 2021-08-17 2021-09-14 苏州浪潮智能科技有限公司 基于远程直接内存访问的文件币集群数据传输方法、系统
CN113395359B (zh) * 2021-08-17 2021-10-29 苏州浪潮智能科技有限公司 基于远程直接内存访问的文件币集群数据传输方法、系统

Similar Documents

Publication Publication Date Title
CN104539679A (zh) 基于分布式闪存技术的集群数据库系统及其数据传输方法
JP6884821B2 (ja) ディスクレスコンピュータシステムのスマートラックアーキテクチャ
CN104657316B (zh) 服务器
CN103763383B (zh) 一体化云存储系统及其存储方法
CN103201721B (zh) 虚拟机热迁移的系统和方法
US20180131633A1 (en) Capacity management of cabinet-scale resource pools
CN105843557B (zh) 冗余存储系统、冗余存储方法和冗余存储装置
CN102387218B (zh) 一种计算机多机热备负载均衡系统
CN105934793A (zh) 一种存储系统数据分发的方法、分发装置与存储系统
CN105472047A (zh) 存储系统
US20120284435A1 (en) Zone group manager virtual phy
CN103124299A (zh) 一种异构环境下的分布式块级别存储系统
CN104135514B (zh) 融合式虚拟化存储系统
CN101540685B (zh) 一种用于刀片服务器的PCIe共享存储刀片
CN102546813A (zh) 一种基于x86 PC架构的高性能集群计算系统
CN204833236U (zh) 一种支持混合式存储的存储系统
CN105867843A (zh) 一种数据传输方法及装置
CN104216805B (zh) 一种高端磁盘阵列后端磁盘柜链路失效保护系统和方法
CN104967577B (zh) Sas交换机和服务器
CN104333586A (zh) 一种基于光纤链路的san存储设计方法
CN109547537A (zh) 基于SAN存储共享卷实现openstack高可用的方法
US20230344920A1 (en) Reliable communications using a point to point protocol
CN106874142A (zh) 一种实时数据容错处理方法及系统
US11405455B2 (en) Elastic scaling in a storage network environment
CN103036958A (zh) 一种服务器集群高速存储系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150422