CN104049690A - 一种关键应用主机应对高并发业务模型的设计方法 - Google Patents
一种关键应用主机应对高并发业务模型的设计方法 Download PDFInfo
- Publication number
- CN104049690A CN104049690A CN201410251996.3A CN201410251996A CN104049690A CN 104049690 A CN104049690 A CN 104049690A CN 201410251996 A CN201410251996 A CN 201410251996A CN 104049690 A CN104049690 A CN 104049690A
- Authority
- CN
- China
- Prior art keywords
- host machine
- applied host
- crucial
- crucial applied
- designing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种关键应用主机应对高并发业务模型的设计方法,围绕关键应用主机,从共享存储、主机网络和数据物理结构设计各个部分提出了最优设计,解决了影响关键应用主机性能各个环节;在存储规划时充分利用存储的条带功能和主机磁盘条带功能,屏蔽了磁盘IO在高并发、大数据量时产生的瓶颈;利用万兆网络交换机,连接关键应用主机和业务主机,提高更大的网络带宽;对关键应用主机进行中断绑定CPU,充分发挥CPU的处理能力;对关键数据库参数调优,提高关键应用主机的事物处理能力。
Description
技术领域
本发明涉及关键应用主机技术,具体地说是一种关键应用主机应对高并发业务模型的设计方法。
背景技术
随着企业规模扩大和业务发展,计算机信息系统承但的负载能力也越来越大,几千万用户并发访问数据库在一些企业是经常的事,但是糟糕的物理架构设计带来的是数据库系统处理能力骤然下降,直接后果是用户业务受到影响,导致企业面临更多的批评,例如12306购票网站承担并发访问在过节或放假尤为突出,因此企业对信息系统的处理能力、响应时间每天都在提出更高的要求。
目前关键应用主机承载金融、电信、税务财政、高性能计算关键核心业务核心系统,这些核心业务对主机性能要求极高,系统的响应速度要求达到毫秒级、联机事务处理能力达到几百万级,而一些企业在业务上线之前没有充分规划好整个业务系统的物理设计,上线运行一段时间后,发现主机性能非常差,响应速度极其慢,分析其主要原因并不是硬件有问题,而是物理结构设计出现偏差,最终花费大量时间和人力再做系统优化和架构设计,浪费了宝贵的资源。
数据中心人员面对众多的服务器和存储以及相关产品,怎么才能建设一套高效数据库系统,充分发挥关键应用主机的处理能力,满足终端业务人员需要,是信息中心关键问题。
发明内容
本发明利用当前主流硬件产品和软件产品结合,充分发挥关键应用主机联机事物处理能力,提出一种关键应用主机应对高并发业务模型的设计方法。
本发明所述一种关键应用主机应对高并发业务模型的设计方法,解决上述技术问题采用的技术方案如下:所述关键应用主机应对高并发业务模型的设计方法,围绕关键应用主机,从共享存储、应用主机和数据库系统进行优化设计,很好的把三者结合起来,充分发挥关键应用主机的联机事物处理能力和响应时间,应对高并发的业务模型;所述关键应用主机应对高并发业务模型的设计方法,提出一种最优关键应用主机的系统架构,其主要内容包括:存储配置模型、光纤交换机配置模型、关键应用主机配置模型以及数据库设计;
通过所述最优关键应用主机的系统框架,在存储规划时充分利用存储的条带功能和主机磁盘条带功能,屏蔽了磁盘IO在高并发、大数据量时产生的瓶颈;利用万兆网络交换机,连接关键应用主机和业务主机,提高更大的网络带宽;对关键应用主机进行中断绑定CPU,充分发挥CPU的处理能力;对关键数据库参数调优,提高关键应用主机的事物处理能力。
本发明所述一种关键应用主机应对高并发业务模型的设计方法具有的有益效果:
本发明所述关键应用主机应对高并发业务模型的设计方法,围绕关键应用主机,从共享存储,主机网络、和数据物理结构设计各个部分提出了一条最优设计方法,解决了影响关键应用主机性能各个环节;在存储规划时充分利用存储的条带功能和主机磁盘条带功能,屏蔽了磁盘IO在高并发、大数据量时产生的瓶颈;利用万兆网络交换机,连接关键应用主机和业务主机,提高更大的网络带宽;对关键应用主机进行中断绑定CPU,充分发挥CPU的处理能力;对关键数据库参数调优,提高关键应用主机的事物处理能力。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文对本发明的一种关键应用主机应对高并发业务模型的设计方法进行详细说明。
本发明所述关键应用主机应对高并发业务模型的设计方法,围绕关键应用主机,从共享存储、应用主机和数据库系统进行优化设计,很好的把三者结合起来,充分发挥关键应用主机的联机事物处理能力和响应时间,应对高并发的业务模型;所述关键应用主机应对高并发业务模型的设计方法,提出一种最优关键应用主机的系统架构,其主要内容包括:存储配置模型、光纤交换机配置模型、关键应用主机配置模型以及数据库设计;
通过所述最优关键应用主机的系统框架,在存储规划时充分利用存储的条带功能和主机磁盘条带功能,屏蔽了磁盘IO在高并发、大数据量时产生的瓶颈;利用万兆网络交换机,连接关键应用主机和业务主机,提高更大的网络带宽;对关键应用主机进行中断绑定CPU,充分发挥CPU的处理能力;对关键数据库参数调优,提高关键应用主机的事物处理能力。
实施例:
下面通过一个实施例,对本发明所述关键应用主机应对高并发业务模型的设计方法的优点和设计内容,进行详细说明;本实施所述最优关键应用主机的系统架构,通过优化磁盘IO、主机系统和数据库结构,使得关键应用主机能够在高并发、高负载下充分发挥最大性能;所述最优关键应用主机的系统架构主要由存储配置模型、光纤交换机配置模型、关键应用主机配置模型以及数据库设计组成;下面分别对这几个模块进行详细说明。
所述存储配置模型:
目前主流存储都配置两个控制器,每个控制器是8Gb的端口;本实施例中把一个存储的16块硬盘划分成一个阵列,配置成raid1+0模型,条带大小设置成1M,两个控制器采用ACTIVE+ACTIVE,并且两个控制器互为备份,把阵列划分的LUN平分走两个控制器,使两个控制器各自处理一部分负载。
所述光纤交换机配置模型:
通过光纤交换机ZONE配置,隔离不同存储的LUN分别走同一主机的不同光纤口,通过光纤口数据流量,避免在高负载压力和业务数据量大情况下,光纤卡处理能力成为瓶颈;同时保证每个LUN都联通主机的两个光纤口,这样保证链路冗余;例如对于一个具有6个端口光纤卡的应用主机,通过一台20端口光纤交换机连接到6台SSD存储的两个控制器上,配置如下表所示:
上表中,SSD1-C-1:代表第一个存储第一个控制器,SSD1-C-2:代表第一个存储第一个控制器,SSD2-C-1:代表第一个存储第二个控制器,依次类推……;
ZONE配置如下表所示:
所述关键应用主机配置模型:
对于关键应用主机在系统核心参数上进行优化设置,同时对网络、光纤卡中断绑定CPU,防止不同CPU处理中断,保证大量CPU都处理业务;另外把存储划分过来的LUN设置不同卷组,数据表空间建立独立的卷组(卷组至少包括来自三个不同存储LUN),索引表空间建立独立卷组,REDO建立独立卷组,系统表空间建立独立卷组;并且在创建数据表空间LV时,对每个LV进行条带,条带数据分配到三个不同存储LUN上,条带大小配置在512K以上。
所述数据库设计:
对于ORACLE10G数据库,表空间采用裸设备,在高并发OLTP(联机事务处理系统)环境下,数据库参数对性能影响很大,下边给出一些关键参数设置,如下表所示:
综上可知,本发明的上述实施例基于高并发OLTP业务模型,综合考虑了影响关键应用主机性能的各个方面,提出了一种最优关键应用主机应对高并发业务模型的体系架构;该体系架构的亮点在于,解决了目前影响主机性能主要因素磁盘IO问题,通过使用SSD存储RAID阵列功能,搭载硬条带+软条带的方法,大大提高了磁盘IO速度;并且对于高并发的业务模型,提出了影响数据库性能的一些关键参数设置。
上述具体实施方式仅是本发明的具体个案,本发明的专利保护范围包括但不限于上述具体实施方式,任何符合本发明的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换,皆应落入本发明的专利保护范围。
Claims (7)
1.一种关键应用主机应对高并发业务模型的设计方法,其特征在于,围绕关键应用主机,从共享存储、应用主机和数据库系统进行优化设计,把三者很好的结合起来,利用关键应用主机的联机事物处理能力和响应时间,应对高并发的业务模型;所述关键应用主机应对高并发业务模型的设计方法,提出一种最优关键应用主机的系统架构,其主要内容包括:存储配置模型、光纤交换机配置模型、关键应用主机配置模型以及数据库设计;
通过所述最优关键应用主机的系统框架,在存储规划时利用存储的条带功能和主机磁盘条带功能,屏蔽磁盘IO在高并发、大数据量时产生的瓶颈;利用万兆网络交换机,连接关键应用主机和业务主机;对关键应用主机进行中断绑定CPU;对关键数据库参数调优。
2.根据权利要求1所述的一种关键应用主机应对高并发业务模型的设计方法,其特征在于,所述存储配置模型:
主流存储都配置两个控制器,每个控制器是8Gb的端口,把一个存储的16块硬盘划分成一个阵列,配置成raid1+0模型,条带大小设置成1M,两个控制器采用ACTIVE+ACTIVE,并且两个控制器互为备份,把阵列划分的LUN平分走两个控制器,使两个控制器各自处理一部分负载。
3.根据权利要求2所述的一种关键应用主机应对高并发业务模型的设计方法,其特征在于,所述光纤交换机配置模型:
通过光纤交换机ZONE配置,隔离不同存储的LUN分别走同一主机的不同光纤口,同时每个LUN都联通主机的两个光纤口。
4.根据权利要求3所述的一种关键应用主机应对高并发业务模型的设计方法,其特征在于,所述关键应用主机配置模型:
对于关键应用主机在系统核心参数上进行优化设置,同时对网络、光纤卡中断绑定CPU,把存储划分过来的LUN设置不同卷组,数据表空间建立独立的卷组,索引表空间建立独立卷组,REDO建立独立卷组,系统表空间建立独立卷组。
5.根据权利要求4所述的一种关键应用主机应对高并发业务模型的设计方法,其特征在于,所述数据表空间建立独立的卷组,卷组至少包括来自三个不同存储LUN。
6.根据权利要求5所述的一种关键应用主机应对高并发业务模型的设计方法,其特征在于,在创建数据表空间LV时,对每个LV进行条带,条带数据分配到三个不同存储LUN上,条带大小配置在512K以上。
7.根据权利要求1所述的一种关键应用主机应对高并发业务模型的设计方法,其特征在于,所述数据库设计:
对于ORACLE10G数据库,表空间采用裸设备,在高并发OLTP环境下,对数据库参数进行设置:
数据库参数 设置值
sga_max_size OS系统内存60%
pga_aggregate_target sga_max_size大小的20%
shared_pool_size 30G以上
session_cached_cursors 500以上
commit_write batch,nowait
db_file_multiblock_read_count 64
processes 2000以上
cursor_sharing exact。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410251996.3A CN104049690A (zh) | 2014-06-10 | 2014-06-10 | 一种关键应用主机应对高并发业务模型的设计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410251996.3A CN104049690A (zh) | 2014-06-10 | 2014-06-10 | 一种关键应用主机应对高并发业务模型的设计方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104049690A true CN104049690A (zh) | 2014-09-17 |
Family
ID=51502680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410251996.3A Pending CN104049690A (zh) | 2014-06-10 | 2014-06-10 | 一种关键应用主机应对高并发业务模型的设计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104049690A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331481A (zh) * | 2014-11-10 | 2015-02-04 | 浪潮通信信息系统有限公司 | 基于大规模数据碰撞获取业务模型数据和物理模型数据关系的方法 |
CN105138281A (zh) * | 2015-08-05 | 2015-12-09 | 华为技术有限公司 | 一种物理磁盘的共享方法及装置 |
CN105511964A (zh) * | 2015-11-30 | 2016-04-20 | 华为技术有限公司 | I/o请求的处理方法和装置 |
CN106331863A (zh) * | 2016-08-16 | 2017-01-11 | Tcl集团股份有限公司 | 一种Android系统电视的关机控制方法及装置、Android系统电视 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070033431A1 (en) * | 2005-08-04 | 2007-02-08 | Dot Hill Systems Corporation | Storage controller super capacitor adaptive life monitor |
US20100094805A1 (en) * | 2008-10-09 | 2010-04-15 | Metatomix, Inc. | User interface apparatus and methods |
CN102693291A (zh) * | 2012-05-15 | 2012-09-26 | 浪潮电子信息产业股份有限公司 | 一种实现SQL-Server负载均衡集群的方法 |
CN102724292A (zh) * | 2012-05-22 | 2012-10-10 | 中国科学院上海应用物理研究所 | 一种加速器控制系统的实时数据库集群架构及其建立方法 |
CN102945251A (zh) * | 2012-10-12 | 2013-02-27 | 浪潮电子信息产业股份有限公司 | 一种利用内存数据库技术优化磁盘数据库性能的方法 |
CN102968422A (zh) * | 2011-08-31 | 2013-03-13 | 中国航天科工集团第二研究院七○六所 | 流数据存储控制系统及其方法 |
CN103618778A (zh) * | 2013-11-21 | 2014-03-05 | 上海爱数软件有限公司 | 利用Linux虚拟主机实现数据高并发的系统及方法 |
-
2014
- 2014-06-10 CN CN201410251996.3A patent/CN104049690A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070033431A1 (en) * | 2005-08-04 | 2007-02-08 | Dot Hill Systems Corporation | Storage controller super capacitor adaptive life monitor |
US20100094805A1 (en) * | 2008-10-09 | 2010-04-15 | Metatomix, Inc. | User interface apparatus and methods |
CN102968422A (zh) * | 2011-08-31 | 2013-03-13 | 中国航天科工集团第二研究院七○六所 | 流数据存储控制系统及其方法 |
CN102693291A (zh) * | 2012-05-15 | 2012-09-26 | 浪潮电子信息产业股份有限公司 | 一种实现SQL-Server负载均衡集群的方法 |
CN102724292A (zh) * | 2012-05-22 | 2012-10-10 | 中国科学院上海应用物理研究所 | 一种加速器控制系统的实时数据库集群架构及其建立方法 |
CN102945251A (zh) * | 2012-10-12 | 2013-02-27 | 浪潮电子信息产业股份有限公司 | 一种利用内存数据库技术优化磁盘数据库性能的方法 |
CN103618778A (zh) * | 2013-11-21 | 2014-03-05 | 上海爱数软件有限公司 | 利用Linux虚拟主机实现数据高并发的系统及方法 |
Non-Patent Citations (1)
Title |
---|
郑炜: "基于IP-SAN的海量存储技术的研究与实现", 《中国博士学位论文全文数据库信息科技辑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331481A (zh) * | 2014-11-10 | 2015-02-04 | 浪潮通信信息系统有限公司 | 基于大规模数据碰撞获取业务模型数据和物理模型数据关系的方法 |
CN105138281A (zh) * | 2015-08-05 | 2015-12-09 | 华为技术有限公司 | 一种物理磁盘的共享方法及装置 |
WO2017020668A1 (zh) * | 2015-08-05 | 2017-02-09 | 华为技术有限公司 | 一种物理磁盘的共享方法及装置 |
CN105138281B (zh) * | 2015-08-05 | 2018-12-07 | 华为技术有限公司 | 一种物理磁盘的共享方法及装置 |
CN105511964A (zh) * | 2015-11-30 | 2016-04-20 | 华为技术有限公司 | I/o请求的处理方法和装置 |
CN105511964B (zh) * | 2015-11-30 | 2019-03-19 | 华为技术有限公司 | I/o请求的处理方法和装置 |
CN106331863A (zh) * | 2016-08-16 | 2017-01-11 | Tcl集团股份有限公司 | 一种Android系统电视的关机控制方法及装置、Android系统电视 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10061830B2 (en) | Reorganization of data under continuous workload | |
US10069916B2 (en) | System and method for transparent context aware filtering of data requests | |
Hu et al. | Time-and cost-efficient task scheduling across geo-distributed data centers | |
CN105023185B (zh) | 一种基于fpga的期货交易盘口数据实时解析系统 | |
Zhang et al. | Application-aware and software-defined SSD scheme for tencent large-scale storage system | |
CN105843557B (zh) | 冗余存储系统、冗余存储方法和冗余存储装置 | |
CN106066890B (zh) | 一种分布式高性能数据库一体机系统 | |
CN103595799B (zh) | 一种实现分布式共享数据库的方法 | |
CN104049690A (zh) | 一种关键应用主机应对高并发业务模型的设计方法 | |
Daglis et al. | Manycore network interfaces for in-memory rack-scale computing | |
CN101667034A (zh) | 一种易扩展的、支持异构集群的监控系统 | |
CN107343021A (zh) | 国网云中应用的一种基于大数据的日志管理系统 | |
CN106446268A (zh) | 一种数据库横向扩展系统及方法 | |
CN105430103A (zh) | 一种基于多控存储的动态负载均衡系统 | |
CN104539679A (zh) | 基于分布式闪存技术的集群数据库系统及其数据传输方法 | |
CN102404201B (zh) | 一种实现Lustre并行文件系统最大带宽的方法 | |
CN103327116A (zh) | 一种网络文件的动态副本存储方法 | |
CN109684412A (zh) | 一种分布式数据库系统 | |
CN104834484A (zh) | 基于嵌入式可编程逻辑阵列的数据处理系统及处理方法 | |
Cao et al. | Logstore: A cloud-native and multi-tenant log database | |
CN206863814U (zh) | 一种基于虚拟化和云计算的大数据教学系统 | |
US11232000B1 (en) | Moving database partitions from replica nodes | |
CN109829003A (zh) | 数据库备份方法及装置 | |
Zhou et al. | Towards traffic minimization for data placement in online social networks | |
Marcu et al. | Towards a unified storage and ingestion architecture for stream processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140917 |