CN110502586A - 一种数据库软硬件一体机 - Google Patents
一种数据库软硬件一体机 Download PDFInfo
- Publication number
- CN110502586A CN110502586A CN201910839938.5A CN201910839938A CN110502586A CN 110502586 A CN110502586 A CN 110502586A CN 201910839938 A CN201910839938 A CN 201910839938A CN 110502586 A CN110502586 A CN 110502586A
- Authority
- CN
- China
- Prior art keywords
- memory
- node
- data
- database
- machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据库软硬件一体机，包括：多个存储节点，其分别在本地设置有存储器，存储器配置为在被读写时启用存储数据映射，并且多个存储节点之间在工作中相互独立；多个计算节点，其分别安装有数据库管理系统，配置为通过数据库管理系统来控制数据库的可用性和负载均衡；无限带宽交换机连接到每个存储节点和每个计算节点，配置用于使用非易失性存储器扩展通过外围组件互连接口协议在存储节点和计算节点之间交换数据。本发明能够提升业务性能和稳定性、降低运维部署实施成本，并且便于管理维护。
Description
技术领域
本发明涉及测试领域，更具体地，特别是指一种数据库软硬件一体机。
背景技术
现在业务数据急剧增长，业务数据的数据量级已突破TB(terabytes)变为PB(petabytes)。使用单一数据系统承载企业整体的数据必然导致数据系统越来越大，数据的急剧增长必将影响系统性能、增加费用支出。在存储区域网络(Storage Area Network，SAN)环境下构建的数据系统的读写(I/O)性能已遇到瓶颈，普通的存储性能增长率已经不能反映数据增长率。而且SAN环境下的数据扩展存在局限性，用户通常会采购高价设备，重新安装数据库迁移数据。但该方法仅一次适用，无法解决今后数据不断增长的问题。
现有技术使用基于SAN、网络附加存储(Network attached storage，NAS)协议的IOE(IBM+ORACLE+EMC)架构来搭建具有可扩展性的数据库。但是该架构性能和稳定性低，相关成本高，并且维护困难。
针对现有技术中架构性能和稳定性低，相关成本高，并且维护困难的问题，目前尚无有效的解决方案。
发明内容
有鉴于此，本发明实施例的目的在于提出一种数据库软硬件一体机，能够提升业务性能和稳定性、降低运维部署实施成本，并且便于管理维护。
基于上述目的，本发明实施例的第一方面提供了一种数据库软硬件一体机，包括：
多个存储节点，每个存储节点均在本地设置有存储器，存储器配置为在被读写时启用存储数据映射，并且多个存储节点之间在工作中相互独立；
多个计算节点，每个计算节点均安装有数据库管理系统，计算节点配置为通过数据库管理系统来控制数据库的可用性和负载均衡；
无限带宽交换机，连接到每个存储节点和每个计算节点，无限带宽交换机配置用于使用非易失性存储器扩展通过外围组件互连接口协议在存储节点和计算节点之间交换数据。
在一些实施方式中，数据库管理系统包括数据库高性能集群和数据库存储虚拟管理；计算节点配置为通过数据库高性能集群来控制数据库的可用性和负载均衡，并且通过数据库存储虚拟管理来执行联机事务处理和联机分析处理。
在一些实施方式中，多个存储节点配置为在数据库高性能集群中被视为一体。
在一些实施方式中，存储器在被读写时启用存储数据映射包括：存储器内的数据在被访问过后向内存中写入用于应对再次访问的访问记录信息。
在一些实施方式中，每个存储节点还配置为在被访问时启用在本地执行数据库过滤业务的智能过滤。
在一些实施方式中，每个存储节点还包括在存储器被读写时为存储器提供输入输出分层的第二存储器，第二存储器在联机事务处理时启用。
在一些实施方式中，存储器配置为将数据压缩并使用列方向数据存储结构来存储，其中存储器基于数据使用频率来选择压缩数据的方法，对使用频率更低的数据使用压缩率更高的方法。
在一些实施方式中，一体机还包括：
监控节点，连接到无限带宽交换机、每个存储节点和每个计算节点，配置用于监控和获取无限带宽交换机、每个存储节点、每个计算节点、数据库、和数据库管理系统的活动和统计信息。
在一些实施方式中，监控节点还配置为输出一体机的事件和告警。
在一些实施方式中，监控节点进一步配置为通过非易失性存储器扩展通过外围组件互连接口协议获取在每个存储节点、每个计算节点、无限带宽交换机的状态信息，根据状态信息判断一体机是否正常运行，并以图形化界面的方式显示状态信息和关于一体机是否正常运行的判断结果。
本发明具有以下有益技术效果：本发明实施例提供的数据库软硬件一体机，通过多个存储节点在本地设置有存储器，存储器配置为在被读写时启用存储数据映射，并且多个存储节点之间在工作中相互独立；多个计算节点安装有数据库管理系统，通过数据库管理系统来控制数据库的可用性和负载均衡；无限带宽交换机连接到每个存储节点和每个计算节点，配置用于使用非易失性存储器扩展通过外围组件互连接口协议在存储节点和计算节点之间交换数据的技术方案，能够提升业务性能和稳定性、降低运维部署实施成本，并且便于管理维护。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的数据库软硬件一体机的结构示意图；
图2为本发明提供的数据库软硬件一体机的实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的一个方面，提出了一种能够提升业务性能和稳定性的数据库软硬件一体机的一个实施例。图1示出的是本发明提供的数据库软硬件一体机的结构示意图。
所述数据库软硬件一体机，如图1所示，包括：
多个存储节点，每个存储节点均在本地设置有存储器，存储器配置为在被读写时启用存储数据映射，并且多个存储节点之间在工作中相互独立；
多个计算节点，每个计算节点均安装有数据库管理系统，计算节点配置为通过数据库管理系统来控制数据库的可用性和负载均衡；
无限带宽交换机，连接到每个存储节点和每个计算节点，无限带宽交换机配置用于使用非易失性存储器扩展通过外围组件互连接口协议在存储节点和计算节点之间交换数据。
本发明为数据库软硬件一体机，支持数百TB乃至PB级别的数据存储，并同时提供硬件和软件支持和针对性性能优化策略。本发明针对大多数的分析和业务处理系统，并遵循SQL标准。存储节点结构上相互独立，其中一个容量增长，不会影响到其他服务器。这种相互独立的水平存储结构使得数据能够实现大容量扩展，保证大数据量。数据库管理系统保障业务连续性并遵循SQL标准，降低应用移植复杂度。本发明还使用无限带宽(infiniband)交换机互联并使用非易失性存储器扩展通过外围组件互连接口(Non-volatile memoryExpress over Fabric，NVME-oF)协议交换节点间的数据，提供高于SAN的高带宽，由此大幅缩短通信延迟时间并降低处理器的占用。
结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现所述的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以下参考图2描述本发明实施例的具体实施方式。
在一些实施方式中，数据库管理系统包括数据库高性能集群和数据库存储虚拟管理；计算节点配置为通过数据库高性能集群来控制数据库的可用性和负载均衡，并且通过数据库存储虚拟管理来执行联机事务处理和联机分析处理。
在一些实施方式中，多个存储节点配置为在数据库高性能集群中被视为一体。
在一些实施方式中，存储器在被读写时启用存储数据映射包括：存储器内的数据在被访问过后向内存中写入用于应对再次访问的访问记录信息。
存储数据映射可以大幅提高磁盘使用率，存储器(如磁盘)内的数据统计值被访问过一次后，访问记录会保存在内存中，再次访问该磁盘时直接读取内存，减少了不必要的磁盘读取。
在一些实施方式中，每个存储节点还配置为在被访问时启用在本地执行数据库过滤业务的智能过滤。
存储节点的智能过滤可以大幅提高网络使用效率。K-DB数据库的存储节点不仅具有磁盘的I/O功能，还承担部分数据库业务，存储节点处理简单的过滤可以提高一体机的整体性能。
在一些实施方式中，每个存储节点还包括在存储器被读写时为存储器提供输入输出分层的第二存储器，第二存储器在联机事务处理时启用。
使用第二存储器(如闪存)进行I/O缓存分层可以提高响应速度。如果硬件中有闪存设备，可以利用它进行I/O分层，即闪存设备用作I/O缓存。在联机分析处理(OLTP)环境下，反应速度极快。如有需要，闪存设备也可以用作普通磁盘。
在一些实施方式中，存储器配置为将数据压缩并使用列方向数据存储结构来存储，其中存储器基于数据使用频率来选择压缩数据的方法，对使用频率更低的数据使用压缩率更高的方法。
在一些实施方式中，一体机还包括：
监控节点，连接到无限带宽交换机、每个存储节点和每个计算节点，配置用于监控和获取无限带宽交换机、每个存储节点、每个计算节点、数据库、和数据库管理系统的活动和统计信息。
在一些实施方式中，监控节点还配置为输出一体机的事件和告警。
在一些实施方式中，监控节点配置为通过非易失性存储器扩展通过外围组件互连接口协议获取在每个存储节点、每个计算节点、无限带宽交换机的状态信息，根据状态信息判断一体机是否正常运行，并以图形化界面的方式显示状态信息和关于一体机是否正常运行的判断结果。
从上述实施例可以看出，本发明实施例提供的数据库软硬件一体机，通过多个存储节点在本地设置有存储器，存储器配置为在被读写时启用存储数据映射，并且多个存储节点之间在工作中相互独立；多个计算节点安装有数据库管理系统，通过数据库管理系统来控制数据库的可用性和负载均衡；无限带宽交换机连接到每个存储节点和每个计算节点，配置用于使用非易失性存储器扩展通过外围组件互连接口协议在存储节点和计算节点之间交换数据的技术方案，能够提升业务性能和稳定性、降低运维部署实施成本，并且便于管理维护。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种数据库软硬件一体机，其特征在于，包括：
多个存储节点，每个所述存储节点均在本地设置有存储器，所述存储器配置为在被读写时启用存储数据映射，并且所述多个存储节点之间在工作中相互独立；
多个计算节点，每个所述计算节点均安装有数据库管理系统，所述计算节点配置为通过所述数据库管理系统来控制数据库的可用性和负载均衡；
无限带宽交换机，连接到每个所述存储节点和每个所述计算节点，所述无限带宽交换机配置用于使用非易失性存储器扩展通过外围组件互连接口协议在所述存储节点和所述计算节点之间交换数据。
2.根据权利要求1所述的一体机，其特征在于，所述数据库管理系统包括数据库高性能集群和数据库存储虚拟管理；所述计算节点配置为通过所述数据库高性能集群来控制数据库的可用性和负载均衡，并且通过所述数据库存储虚拟管理来执行联机事务处理和联机分析处理。
3.根据权利要求2所述的一体机，其特征在于，多个所述存储节点配置为在所述数据库高性能集群中被视为一体。
4.根据权利要求1所述的一体机，其特征在于，所述存储器在被读写时启用存储数据映射包括：所述存储器内的数据在被访问过后向内存中写入用于应对再次访问的访问记录信息。
5.根据权利要求1所述的一体机，其特征在于，每个所述存储节点还配置为在被访问时启用在本地执行数据库过滤业务的智能过滤。
6.根据权利要求1所述的一体机，其特征在于，每个所述存储节点还包括在所述存储器被读写时为所述存储器提供输入输出分层的第二存储器，所述第二存储器在联机事务处理时启用。
7.根据权利要求1所述的一体机，其特征在于，所述存储器配置为将数据压缩并使用列方向数据存储结构来存储，其中所述存储器基于数据使用频率来选择压缩数据的方法，对使用频率更低的数据使用压缩率更高的方法。
8.根据权利要求1所述的一体机，其特征在于，还包括：
监控节点，连接到所述无限带宽交换机、每个所述存储节点和每个所述计算节点，配置用于监控和获取所述无限带宽交换机、每个所述存储节点、每个所述计算节点、数据库、和所述数据库管理系统的活动和统计信息。
9.根据权利要求8所述的一体机，其特征在于，所述监控节点还配置为输出一体机的事件和告警。
10.根据权利要求8所述的一体机，其特征在于，所述监控节点进一步配置为通过非易失性存储器扩展通过外围组件互连接口协议获取在每个所述存储节点、每个所述计算节点、所述无限带宽交换机的状态信息，根据所述状态信息判断一体机是否正常运行，并以图形化界面的方式显示所述状态信息和关于一体机是否正常运行的判断结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910839938.5A CN110502586A (zh) | 2019-09-06 | 2019-09-06 | 一种数据库软硬件一体机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910839938.5A CN110502586A (zh) | 2019-09-06 | 2019-09-06 | 一种数据库软硬件一体机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110502586A true CN110502586A (zh) | 2019-11-26 |
Family
ID=68591324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910839938.5A Withdrawn CN110502586A (zh) | 2019-09-06 | 2019-09-06 | 一种数据库软硬件一体机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110502586A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111367919A (zh) * | 2020-03-08 | 2020-07-03 | 苏州浪潮智能科技有限公司 | 一种数据库一体机的存储方法、装置、设备和介质 |
| CN113094354A (zh) * | 2021-04-08 | 2021-07-09 | 浪潮商用机器有限公司 | 一种数据库架构方法、装置、数据库一体机和存储介质 |
| CN113468169A (zh) * | 2021-06-02 | 2021-10-01 | 中科驭数（北京）科技有限公司 | 硬件数据库查询方法、数据库系统查询方法及装置 |
-
2019
- 2019-09-06 CN CN201910839938.5A patent/CN110502586A/zh not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111367919A (zh) * | 2020-03-08 | 2020-07-03 | 苏州浪潮智能科技有限公司 | 一种数据库一体机的存储方法、装置、设备和介质 |
| CN113094354A (zh) * | 2021-04-08 | 2021-07-09 | 浪潮商用机器有限公司 | 一种数据库架构方法、装置、数据库一体机和存储介质 |
| CN113468169A (zh) * | 2021-06-02 | 2021-10-01 | 中科驭数（北京）科技有限公司 | 硬件数据库查询方法、数据库系统查询方法及装置 |
| CN113468169B (zh) * | 2021-06-02 | 2022-09-09 | 中科驭数（北京）科技有限公司 | 硬件数据库查询方法、数据库系统查询方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10853139B2 (en) | Dynamic workload management based on predictive modeling and recommendation engine for storage systems | |
| JP4896593B2 (ja) | 性能監視方法、計算機及び計算機システム | |
| CN110502586A (zh) | 一种数据库软硬件一体机 | |
| US8307170B2 (en) | Information processing method and system | |
| CN107220148A (zh) | 针对独立磁盘冗余阵列的重建方法和设备 | |
| CN104735107B (zh) | 分布式存储系统中数据副本恢复方法及装置 | |
| US11281509B2 (en) | Shared memory management | |
| CN102982182B (zh) | 一种数据存储规划方法及装置 | |
| US8667247B2 (en) | Volume record data set optimization apparatus and method | |
| US8527238B2 (en) | Storage input/output utilization associated with a software application | |
| CN104317736B (zh) | 一种分布式文件系统多级缓存实现方法 | |
| CN110515539A (zh) | 基于云存储的云磁盘挂载方法、装置、设备和存储介质 | |
| WO2009088435A1 (en) | System and method for automatic storage load balancing in virtual server environments | |
| CN102929769A (zh) | 一种基于代理服务的虚拟机内部数据采集方法 | |
| CN103109283A (zh) | 在计算系统中以多个存储通道对存储缓冲器的分配 | |
| Saini et al. | I/O performance characterization of Lustre and NASA applications on Pleiades | |
| US10089236B2 (en) | Apparatus and method of performing agentless remote IO catching analysis, prediction, automation, and recommendation in a computer environment | |
| CN104462612A (zh) | 一种监控数据库信息的方法和设备 | |
| CN109582213A (zh) | 数据重构方法及装置、数据存储系统 | |
| CN110147203A (zh) | 一种文件管理方法、装置、电子设备及存储介质 | |
| US11513939B2 (en) | Multi-core I/O trace analysis | |
| CN108733326A (zh) | 一种磁盘处理方法及装置 | |
| CN103377090A (zh) | 多处理器系统中共享不同数据集的多个编目的方法和系统 | |
| CN112131305A (zh) | 账户处理系统 | |
| CN107408132A (zh) | 在列存储中的插入和点查询操作的有效性能 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20191126 |
|
| WW01 | Invention patent application withdrawn after publication |