CN104615577A - 一种大数据服务器 - Google Patents
一种大数据服务器 Download PDFInfo
- Publication number
- CN104615577A CN104615577A CN201510066696.2A CN201510066696A CN104615577A CN 104615577 A CN104615577 A CN 104615577A CN 201510066696 A CN201510066696 A CN 201510066696A CN 104615577 A CN104615577 A CN 104615577A
- Authority
- CN
- China
- Prior art keywords
- nvme
- hard disk
- data server
- large data
- supports
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明提供一种大数据服务器,包括:CPU和与CPU相连的内存,以及NVMe SSD硬盘,NVMe Raid卡,NVMe网卡,其中,所述NVMe SSD硬盘、NVMe Raid卡、NVMe网卡通过PCIe总线连接到CPU;所述NVMe SSD硬盘,支持NVMe协议,用于实现所在大数据服务器的OS或应用程序的存储;所述NVMe Raid卡,支持NVMe协议,用于提供冗余阵列;所述NVMe网卡,支持NVMe协议,用于将NVMe协议封装到以太网协议中,与外部支持NVMe Over Ethernet功能的设备进行通信。本方案具有更高的数据存取和处理能力以及快速IO响应能力。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种大数据服务器。
背景技术
目前,全球数据正在以几何级数增长,未来计算机的应用必将围绕大数据而展开,毫无疑问,大数据将挑战企业的存储架构及数据中心的基础设施等。具体到企业而言,其面临的最直接的挑战就是企业的基础架构是否适应大数据管理和分析的需要,尤其是一旦要从大数据中查找或者分析出有价值的信息,那大数据的处理效率就成为了关键。
影响数据处理速度的因素很多,归结起来主要有计算、存储和网络三大方面的因素。计算依靠服务器来实现,其CPU的主频、内存的容量和I/O带宽,都会影响到运算速度。尤其是服务器整体表现出来的性能,将会是影响大数据处理的关键因素。在服务器性能方面除CPU、内存因素外,服务器的本地和远端存储及网络性能将决定了服务器的最终性能。传统基于SCSI协议的本地存储和基于ISCSI协议的网络存储在接口和协议方面都存在不同缺陷,无法满足现有技术发展的趋势和应用要求。
发明内容
本发明提供一种大数据服务器,能够解决现有技术的问题。
为达到上述目的,本发明的技术方案包括:
一种大数据服务器,包括:CPU和与CPU相连的内存,以及NVMe SSD硬盘,NVMe Raid卡,NVMe网卡,其中,
所述NVMe SSD硬盘、NVMe Raid卡、NVMe网卡通过PCIe总线连接到CPU;
所述NVMe SSD硬盘,支持NVMe协议,用于实现所在大数据服务器的OS或应用程序的存储;
所述NVMe Raid卡,支持NVMe协议,用于提供冗余阵列;
所述NVMe网卡,支持NVMe协议,用于将NVMe协议封装到以太网协议中,与外部支持NVMe Over Ethernet功能的设备进行通信。
所述NVMe Raid卡进一步支持SAS/SATA协议,并进一步连接到支持NVMe/SAS/SATA协议的硬盘。
所述外部支持NVMe Over Ethernet功能的设备包括:NVMe盘阵,
所述NVMe盘阵包括:依次顺序连接的NVMe驱动器,磁盘控制器和硬盘;其中,
所述NVMe盘阵中的NVMe驱动器与所述NVMe网卡相连,用于对NVMe以太网协议包进行解包。
所述NVMe盘阵中的磁盘控制器进一步支持SAS/SATA协议,并进一步连接到支持NVMe/SAS/SATA协议的硬盘。
所述NVMe SSD硬盘包括:依次顺序连接的NVMe驱动器,SSD控制器和闪存芯片,
所述NVMe驱动器与所述CPU相连,所述SSD控制器分别与所述NVMe驱动器和闪存芯片相连。
所述CPU包括:依次顺序连接的用户应用单元,VFS/文件系统,Block层和NVMe驱动器;
所述CPU中的NVMe驱动器与所述NVMe SSD硬盘,NVMe Raid卡和NVMe网卡相连。
本发明实施例提供了一种大数据服务器,其具有更高的数据存取和处理能力以及快速IO响应能力,更适用于大数据应用的服务器。
本发明实施例可以采用NVMe技术在存储设备访问底层协议上进行优化,根本解决存储设备的带宽瓶颈及提高IO响应时间,应对目前大数据应用的挑战,提升服务器性能。
在本发明的实施例中,NVMe Raid卡可以是基于NVMe协议的Raid卡,该Raid卡可支持诸如NVMe硬盘、普通SATA硬盘等。NVMe网卡(103)具备两个功能:普通网卡功能和NVMe Over Ethernet功能。
在本发明的实施例中,NVMe网卡的NVMe Over Ethernet功能是将NVMe协议封装到以太网协议中,从而可以连接支持NVMe Over Ethernet功能的存储设备等。
在本发明的实施例中,NVMe盘阵还可支持包括但不限于NVMe协议、ISCSI协议等。
附图说明
图1是本发明一个实施例中大数据服务器的一种结构示意图。
图2是本发明另一个实施例中大数据服务器的一种结构示意图。
图3是本发明一个实施例中大数据服务器内部CPU与NVMe SSD硬盘相连的结构示意图。
图4是本发明一个实施例中NVMe盘阵的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明一个实施例提出了一种大数据服务器,参见图1,包括:CPU100和与CPU100相连的内存104,以及NVMe SSD硬盘101,NVMe Raid(独立磁盘冗余阵列,Redundant Array of Independent Disks)卡102,NVMe网卡103,其中,
所述NVMe SSD硬盘101、NVMe Raid卡102、NVMe网卡103通过PCIe总线连接到CPU100;
所述NVMe SSD硬盘101,支持NVMe协议,用于实现所在大数据服务器的OS或应用程序的存储;
所述NVMe Raid卡102,支持NVMe协议,用于提供冗余阵列;
所述NVMe网卡103,支持NVMe协议,用于将NVMe协议封装到以太网协议中,与外部支持NVMe Over Ethernet功能的设备进行通信。
可见,图1所示的本发明实施例,其基于NVMe协议的大数据服务器的内部结构实现,具有更高的数据存取和处理能力以及快速IO响应能力,更适用于大数据应用的服务器。
参见图2,在本发明的一个实施例中,大数据服务器包括:
CPU200和与CPU200相连的内存205,以及NVMe SSD硬盘202,NVMeRaid(独立磁盘冗余阵列,Redundant Array of Independent Disks)卡202,NVMe网卡203,其中,
所述NVMe SSD硬盘201、NVMe Raid卡202、NVMe网卡203通过PCIe总线连接到CPU200;
所述NVMe SSD硬盘202,支持NVMe协议,用于实现所在大数据服务器的OS或应用程序的存储;
所述NVMe Raid卡202,支持NVMe协议,用于提供冗余阵列;并进一步支持SAS/SATA协议,并进一步连接到支持NVMe/SAS/SATA协议的硬盘206;
所述NVMe网卡203,支持NVMe协议,用于将NVMe协议封装到以太网协议中,与外部支持NVMe Over Ethernet功能的设备进行通信。
在上述任意一个实施例所示的大数据服务器或者其他实施例的大数据服务器中,可以外挂支持NVMe Over Ethernet(以太网)功能的设备,比如NVMe盘阵。仍以图2为例进行说明,大数据服务器外挂NVMe盘阵204。并且,优选地,NVMe盘阵204可以连接到支持NVMe/SAS/SATA协议的硬盘207。
在本发明的一个实施例A中,NVMe SSD硬盘可以包括:依次顺序连接的NVMe驱动器,SSD控制器和闪存芯片,
NVMe驱动器与大数据服务器中的CPU相连,SSD控制器分别与NVMe驱动器和闪存芯片相连。
在本发明的一个实施例B中,所述CPU包括:依次顺序连接的用户应用单元,VFS/文件系统,Block层和NVMe驱动器;
所述CPU中的NVMe驱动器与所述NVMe SSD硬盘,NVMe Raid卡和NVMe网卡相连。
在本发明一个实施例中,大数据服务器包括上述本发明的实施例A和B的结构,比如可以参见图3所示。
在本发明的一个实施例中,参见图4,所述NVMe盘阵包括:依次顺序连接的NVMe驱动器,磁盘控制器和硬盘;其中,
所述NVMe盘阵中的NVMe驱动器与所述NVMe网卡相连,用于对NVMe以太网协议包进行解包。
本发明的各个实施例至少具有以下优点:
1、由于NVMe SSD硬盘是基于PCI-e接口的SSD硬盘,相比于SATA接口的硬盘解决了SSD中FLASH存储芯片中的接口瓶颈,因此带宽具有数倍提升。同时NVMe协议较SCSI协议在协议层面进行优化,由应用到NVMe驱动器的路径要比传统SCSI到SAS/SATA驱动器的路径短,简化的路径缩短了数据传输的中间环节。即NVMe相对于SCSI/SAS的延迟明显降低,从而加快了硬盘访问速度,提高了系统的IOPs。
2、采用NVMe RAID卡,与NVMe硬盘同样的道理,在RAID性能方面较传统RAID卡也有极大提升。该RAID卡在设计时可支持NVMe硬盘或SAS/SATA硬盘。
3、采用了NVMe网卡,其功能可根据需要配置成标准网卡或支持NVMeOver Ethernet功能的NVMe网络加速卡用于连接NVMe存储设备,组成NVMe网络存储系统。NVMe网络存储系统由于采用了NVMe协议,较之采用SCSI协议的传统的iSCSI网络存储系统也具有极大的性能优势。
4、对于本发明中提到的NVMe盘阵,由于即可支持NVMe协议,也可支持iSCSI协议因此可根据需要灵活组成服务器的外存储系统。
可见,本发明实施例提出的服务器,在性能方面与传统服务器比较通过解决存储系统瓶颈、减少存储系统IO延时,对于诸如大数据应用中的数据库处理、快速随机IO访问等应用的性能提升具有显著的效果。
需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个······”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (6)
1.一种大数据服务器,其特征在于,包括:CPU和与CPU相连的内存,以及NVMe SSD硬盘,NVMe Raid卡,NVMe网卡,其中,
所述NVMe SSD硬盘、NVMe Raid卡、NVMe网卡通过PCIe总线连接到CPU;
所述NVMe SSD硬盘,支持NVMe协议,用于实现所在大数据服务器的OS或应用程序的存储;
所述NVMe Raid卡,支持NVMe协议,用于提供冗余阵列;
所述NVMe网卡,支持NVMe协议,用于将NVMe协议封装到以太网协议中,与外部支持NVMe Over Ethernet功能的设备进行通信。
2.根据权利要求1所述的大数据服务器,其特征在于,所述NVMe Raid卡进一步支持SAS/SATA协议,并进一步连接到支持NVMe/SAS/SATA协议的硬盘。
3.根据权利要求1所述的大数据服务器,其特征在于,所述外部支持NVMe Over Ethernet功能的设备包括:NVMe盘阵,
所述NVMe盘阵包括:依次顺序连接的NVMe驱动器,磁盘控制器和硬盘;其中,
所述NVMe盘阵中的NVMe驱动器与所述NVMe网卡相连,用于对NVMe以太网协议包进行解包。
4.根据权利要求3所述的大数据服务器,其特征在于,所述NVMe盘阵中的磁盘控制器进一步支持SAS/SATA协议,并进一步连接到支持NVMe/SAS/SATA协议的硬盘。
5.根据权利要求3所述的大数据服务器,其特征在于,所述NVMe SSD硬盘包括:依次顺序连接的NVMe驱动器,SSD控制器和闪存芯片,
所述NVMe驱动器与所述CPU相连,所述SSD控制器分别与所述NVMe驱动器和闪存芯片相连。
6.根据权利要求1至5中任一所述的大数据服务器,其特征在于,所述CPU包括:依次顺序连接的用户应用单元,VFS/文件系统,Block层和NVMe驱动器;
所述NVMe驱动器与所述NVMe SSD硬盘,NVMe Raid卡和NVMe网卡相连。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510066696.2A CN104615577A (zh) | 2015-02-09 | 2015-02-09 | 一种大数据服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510066696.2A CN104615577A (zh) | 2015-02-09 | 2015-02-09 | 一种大数据服务器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104615577A true CN104615577A (zh) | 2015-05-13 |
Family
ID=53150029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510066696.2A Pending CN104615577A (zh) | 2015-02-09 | 2015-02-09 | 一种大数据服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104615577A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107783614A (zh) * | 2017-10-27 | 2018-03-09 | 郑州云海信息技术有限公司 | 一种基于ocp卡和nvme硬盘叠放的固定调节装置 |
WO2018209889A1 (zh) * | 2017-05-16 | 2018-11-22 | 杭州海康威视数字技术股份有限公司 | 一种基于PCIe总线的扩展存储设备 |
US10346041B2 (en) | 2016-09-14 | 2019-07-09 | Samsung Electronics Co., Ltd. | Method for using BMC as proxy NVMeoF discovery controller to provide NVM subsystems to host |
US10372659B2 (en) | 2016-07-26 | 2019-08-06 | Samsung Electronics Co., Ltd. | Multi-mode NMVE over fabrics devices |
US20210019273A1 (en) | 2016-07-26 | 2021-01-21 | Samsung Electronics Co., Ltd. | System and method for supporting multi-path and/or multi-mode nmve over fabrics devices |
US11144496B2 (en) | 2016-07-26 | 2021-10-12 | Samsung Electronics Co., Ltd. | Self-configuring SSD multi-protocol support in host-less environment |
US11461258B2 (en) | 2016-09-14 | 2022-10-04 | Samsung Electronics Co., Ltd. | Self-configuring baseboard management controller (BMC) |
US11923992B2 (en) | 2016-07-26 | 2024-03-05 | Samsung Electronics Co., Ltd. | Modular system (switch boards and mid-plane) for supporting 50G or 100G Ethernet speeds of FPGA+SSD |
US11983129B2 (en) | 2021-07-14 | 2024-05-14 | Samsung Electronics Co., Ltd. | Self-configuring baseboard management controller (BMC) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104111907A (zh) * | 2014-06-27 | 2014-10-22 | 华为技术有限公司 | 一种访问NVMe存储设备的方法和NVMe存储设备 |
CN104202359A (zh) * | 2014-08-12 | 2014-12-10 | 浪潮电子信息产业股份有限公司 | 一种基于刀片服务器的NVMe SSD虚拟化设计方法 |
WO2014209764A1 (en) * | 2013-06-26 | 2014-12-31 | Cnex Labs, Inc. | Nvm express controller for remote memory access |
US8943226B1 (en) * | 2013-11-22 | 2015-01-27 | Lsi Corporation | Interface for heterogeneous PCI-e storage devices |
-
2015
- 2015-02-09 CN CN201510066696.2A patent/CN104615577A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014209764A1 (en) * | 2013-06-26 | 2014-12-31 | Cnex Labs, Inc. | Nvm express controller for remote memory access |
US8943226B1 (en) * | 2013-11-22 | 2015-01-27 | Lsi Corporation | Interface for heterogeneous PCI-e storage devices |
CN104111907A (zh) * | 2014-06-27 | 2014-10-22 | 华为技术有限公司 | 一种访问NVMe存储设备的方法和NVMe存储设备 |
CN104202359A (zh) * | 2014-08-12 | 2014-12-10 | 浪潮电子信息产业股份有限公司 | 一种基于刀片服务器的NVMe SSD虚拟化设计方法 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11126583B2 (en) | 2016-07-26 | 2021-09-21 | Samsung Electronics Co., Ltd. | Multi-mode NMVe over fabrics devices |
US11923992B2 (en) | 2016-07-26 | 2024-03-05 | Samsung Electronics Co., Ltd. | Modular system (switch boards and mid-plane) for supporting 50G or 100G Ethernet speeds of FPGA+SSD |
US11860808B2 (en) | 2016-07-26 | 2024-01-02 | Samsung Electronics Co., Ltd. | System and method for supporting multi-path and/or multi-mode NVMe over fabrics devices |
US10372659B2 (en) | 2016-07-26 | 2019-08-06 | Samsung Electronics Co., Ltd. | Multi-mode NMVE over fabrics devices |
US11531634B2 (en) | 2016-07-26 | 2022-12-20 | Samsung Electronics Co., Ltd. | System and method for supporting multi-path and/or multi-mode NMVe over fabrics devices |
US10754811B2 (en) | 2016-07-26 | 2020-08-25 | Samsung Electronics Co., Ltd. | Multi-mode NVMe over fabrics devices |
US20210019273A1 (en) | 2016-07-26 | 2021-01-21 | Samsung Electronics Co., Ltd. | System and method for supporting multi-path and/or multi-mode nmve over fabrics devices |
US11144496B2 (en) | 2016-07-26 | 2021-10-12 | Samsung Electronics Co., Ltd. | Self-configuring SSD multi-protocol support in host-less environment |
US11126352B2 (en) | 2016-09-14 | 2021-09-21 | Samsung Electronics Co., Ltd. | Method for using BMC as proxy NVMeoF discovery controller to provide NVM subsystems to host |
US11461258B2 (en) | 2016-09-14 | 2022-10-04 | Samsung Electronics Co., Ltd. | Self-configuring baseboard management controller (BMC) |
US10346041B2 (en) | 2016-09-14 | 2019-07-09 | Samsung Electronics Co., Ltd. | Method for using BMC as proxy NVMeoF discovery controller to provide NVM subsystems to host |
US11100037B2 (en) | 2017-05-16 | 2021-08-24 | Hangzhou Hikvision Digital Technology Co., Ltd. | Extended storage device based on PCIe bus |
WO2018209889A1 (zh) * | 2017-05-16 | 2018-11-22 | 杭州海康威视数字技术股份有限公司 | 一种基于PCIe总线的扩展存储设备 |
CN107783614A (zh) * | 2017-10-27 | 2018-03-09 | 郑州云海信息技术有限公司 | 一种基于ocp卡和nvme硬盘叠放的固定调节装置 |
CN107783614B (zh) * | 2017-10-27 | 2020-03-24 | 郑州云海信息技术有限公司 | 一种基于ocp卡和nvme硬盘叠放的固定调节装置 |
US11983138B2 (en) | 2020-04-09 | 2024-05-14 | Samsung Electronics Co., Ltd. | Self-configuring SSD multi-protocol support in host-less environment |
US11983405B2 (en) | 2020-11-16 | 2024-05-14 | Samsung Electronics Co., Ltd. | Method for using BMC as proxy NVMeoF discovery controller to provide NVM subsystems to host |
US11983129B2 (en) | 2021-07-14 | 2024-05-14 | Samsung Electronics Co., Ltd. | Self-configuring baseboard management controller (BMC) |
US11983406B2 (en) | 2022-07-19 | 2024-05-14 | Samsung Electronics Co., Ltd. | Method for using BMC as proxy NVMeoF discovery controller to provide NVM subsystems to host |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104615577A (zh) | 一种大数据服务器 | |
US10334334B2 (en) | Storage sled and techniques for a data center | |
US11733871B2 (en) | Tier-optimized write scheme | |
US11907139B2 (en) | Memory system design using buffer(s) on a mother board | |
US9619389B1 (en) | System for a backward and forward application environment compatible distributed shared coherent storage | |
US9594514B1 (en) | Managing host data placed in a container file system on a data storage array having multiple storage tiers | |
US8578096B2 (en) | Policy for storing data objects in a multi-tier storage system | |
US9213731B2 (en) | Determining whether to relocate data to a different tier in a multi-tier storage system | |
CN104536903B (zh) | 一种按数据属性分类存放的混合存储方法及系统 | |
EP3033682A1 (en) | Address translation for a non-volatile memory storage device | |
CN103873559A (zh) | 一种高速存储的数据库一体机 | |
US11402998B2 (en) | Re-placing data within a mapped-RAID environment comprising slices, storage stripes, RAID extents, device extents and storage devices | |
US9792048B2 (en) | Identifying disk drives and processing data access requests | |
US9460003B2 (en) | Using an alias volume name for a volume to allocate space to a data set | |
US11042328B2 (en) | Storage apparatus and method for autonomous space compaction | |
US9830110B2 (en) | System and method to enable dynamic changes to virtual disk stripe element sizes on a storage controller | |
US20170193000A1 (en) | Recovering from a pending uncompleted reorganization of a data set | |
US11366601B2 (en) | Regulating storage device rebuild rate in a storage system | |
US20120259823A1 (en) | Partitioning a directory while accessing the directory | |
US11714741B2 (en) | Dynamic selective filtering of persistent tracing | |
US20070245060A1 (en) | Method and system for handling data by file-system offloading | |
WO2014077451A1 (ko) | Iscsi 스토리지 시스템을 이용한 네트워크 분산 파일 시스템 및 방법 | |
US9639630B1 (en) | System for business intelligence data integration | |
JP2021520562A (ja) | ストライピングされた情報を複数のストレージデバイス間で再平衡化するためのシステム及び方法 | |
CN104360955A (zh) | 一种应用独立缓存系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150513 |