CN106953929A - 一种SmartRack服务器高并发优化的方法 - Google Patents

一种SmartRack服务器高并发优化的方法 Download PDF

Info

Publication number
CN106953929A
CN106953929A CN201710308077.9A CN201710308077A CN106953929A CN 106953929 A CN106953929 A CN 106953929A CN 201710308077 A CN201710308077 A CN 201710308077A CN 106953929 A CN106953929 A CN 106953929A
Authority
CN
China
Prior art keywords
server
high concurrent
data
smart rack
rack servers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710308077.9A
Other languages
English (en)
Inventor
白云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710308077.9A priority Critical patent/CN106953929A/zh
Publication of CN106953929A publication Critical patent/CN106953929A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1014Server selection for load balancing based on the content of a request
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/217Database tuning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种Smart Rack服务器高并发优化的方法,具体方法如下:S1、根据应用服务器的性能和并发访问量的大小来规划应用服务器的数量;S2、使用负载均衡技术,大大减轻单台服务器处理高并发请求,确保整个网站系统面临高负载时的可靠性;S3、优化设计数据库的结构并建立高效的索引;S4、通过缓存技术进行管理,从而减轻服务器重新请求的压力,提高访问速度。本发明通过Smart Rack服务器高并发优化,可以解决现实中诸如淘宝双11及12306购票网站的大规模高并发时造成的系统无法支撑如此庞大的访问量而陷入延时和崩溃的问题。

Description

一种SmartRack服务器高并发优化的方法
技术领域
本发明涉及 Smart Rack服务器技术领域,具体地说是一种Smart Rack服务器高并发优化的方法。
背景技术
互联网时代信息呈现爆炸式增长,而且多高并发事件发生,例如,铁道部推出12306网站,实行网络实名购票,春节7天内,12306网站访问用户已占全球互联网用户的0.902%,每天点击量高达10亿人次,系统一度支撑不住如此庞大的访问量而陷入崩溃。微信春节红包除夕到初五总收发次数达321亿次,相较于羊年春节6天收发32.7亿次,增长近10倍,庞大的访问量造成系统大量延迟,导致用户无法正常收发红包。
Smartrack是一类专为互联网及通信运营商开发的定制化解决方案,整机柜服务器打破了传统服务器固有设计架构,摒弃传统服务器单机电源、风扇、管理独享的设计思想,将供电、散热和管理单元统一集中。该产品整体生产、整体部署,使得部署对象从单台服务器变成集成的数据中心模块,并且还具有自动化的到货一致性与状态检验系统,整体特点如下:
1.功能模块和支撑模块彻底分离,更加可靠高效,结合电源负载动态调整技术,电源转换效率高达94%以上;
2.机柜采用风扇墙集中散热,通过供电、散热的整合,SmartRack运行功耗降低10%以上;
3.采用N+N冗余的电源模组的设计,系统可靠性大大增加,充分保证系统的高可靠运行。
4.灵活支持半宽计算节点、全宽存储节点等各类节点,兼容标准机架式网络交换机,将网络、计算、存储功能整合在一台设施中来满足不同用户的配置需求。
5.整机柜系统简易维护,无需繁琐拆装,独有节点前维护设计、各模组免工具热插拔设计、优化的线缆走线设计,使得系统运维难度大大降低。
6.轻松实现统一门户集中管理和业务自动部署,实现管理中心对整机柜的功能模块和支撑模块统筹管理。依据状态信息,动态调节运行参数,保证业务更加稳定运行。
但是,现实中诸如淘宝双11及12306购票网站的大规模高并发时,造成系统无法支撑如此庞大的访问量而陷入延时和崩溃的情况时有发生。
发明内容
本发明的技术任务是针对以上不足之处,提供一种Smart Rack服务器高并发优化的方法。
本发明解决其技术问题所采用的技术方案是: 一种Smart Rack服务器高并发优化的方法,具体方法如下:
S1、根据应用服务器的性能和并发访问量的大小来规划应用服务器的数量;
S2、使用负载均衡技术,大大减轻单台服务器处理高并发请求,确保整个网站系统面临高负载时的可靠性;
S3、优化设计数据库的结构并建立高效的索引;
S4、通过缓存技术进行管理,从而减轻服务器重新请求的压力,提高访问速度。
进一步的,优选的方法,所述的S1中,具体实施方式为,在高并发访问峰期间,增加关键应用的服务器数量。
进一步的,优选的方法,通过所述的负载均衡技术,实现根据不同服务器的繁忙和资源情况,自动分配处理性能最优的服务器上,从而将大规模用户产生的高并发访问均衡地分流到各个服务器上。
进一步的,优选的方法, 所述的优化设计数据库结构的具体方法如下:
S1、数据行的长度不超过8020字节;S2、优先使用数字类型的字段;
S3、合理使用不可变字符类型char和可变字符类型varchar ;
S4、字段长度的设定最短化,以提高查询的效率。
进一步的,优选的方法,所述的建立高效索引的具体方法如下:
S1、通过搜索参数,尽量减少对表的访问行数,最小化结果集,从而减轻网络负担;
S2、分开处理,提高每次的响应速度;
S3、在数据窗口使用SQL时,把使用的索引放在选择的首列;
S4、简化算法的结构。
进一步的,优选的方法,所述的建立高效索引的注意事项如下:
S1、尽量避免where 子句中对字段进行 null 值判断的;
S2、尽量避免在 where 子句中使用!=或<>操作符;
S3、尽量避免在 where 子句中使用 or 来连接条件;
S4、慎用in 和 not in ;
S5、尽量避免在索引过的字符数据中,使用非打头字母搜索。
进一步的,优选的方法,
所述的缓存技术分为数据缓存和页面缓存;
所述的数据缓存,将数据调用到内存,然后在内存中读取数据,从而可以大大提高读取速度;
所述的页面缓存,将用户经常访问的页面在服务器的相应目录下生成静态页面,当用户再次访问时,不需要对服务器进行动态请求,只需要对缓存下来的html页面直接读取,以提高访问效率。
本发明的一种Smart Rack服务器高并发优化的方法和现有技术相比,有益效果如下:
1、通过负载均衡技术,将大规模用户产生的高并发访问均衡地分流到各个服务器上;
2、设计人员在设计阶段应根据系统操作的类型、频度均衡考虑数据冗余和表间关联,以获得最优的数据库结构设计;
3、优化设计数据库结构及建立高效索引,提高查询效率,减少资源消耗;
4、通过缓存技术进行管理,从而减轻服务器重新请求的压力,提高网站的访问速度;
5、通过Smart Rack服务器高并发优化,可以解决现实中诸如淘宝双11及12306购票网站的大规模高并发时造成的系统无法支撑如此庞大的访问量而陷入延时和崩溃的问题。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
实施例1:
本发明为一种Smart Rack服务器高并发优化的方法,首先,服务器配置优化,根据应用服务器的性能和并发访问量的大小来规划应用服务器的数量。在高并发访问峰期间,适当增加某些关键应用的服务器数量。其次,使用负载均衡技术,负载均衡技术是解决集中并发访问的核心技术,也是一种较为有效的解决网站大规模并发访问的方法。再次,数据库优化,包括设计优化和索引优化,整个系统的流程的时候,为了保证数据库的一致性和完整性,在逻辑设计的时候往往会设计过多的表间关联,尽可能的降低数据的冗余。建立高效的索引,尽量减少对数据库的访问次数;通过搜索参数,尽量减少对表的访问行数,最小化结果集,从而减轻网络负担。最后,数据缓存技术的使用,现在大多数大型网站都有使用缓存技术,把用户经常使用到的数据通过缓存技术进行管理,从而减轻服务器重新请求的压力,提高网站的访问速度。
其中,服务器配置优化中,根据应用服务器的性能和并发访问量的大小来规划应用服务器的数量。有一个使用原则是:单台应用服务器的性能不一定要求最好,但是数量一定要足够,最好能有一定的冗余来保障服务器故障。特别是,在高并发访问峰期间,适当增加某些关键应用的服务器数量。比如在某些高峰查询业务上,可以使用多台服务器,以满足用户每小时上百万次的点击量。
负载均衡技术是解决集中并发访问的核心技术,也是一种较为有效的解决网站大规模并发访问的方法。实现负载均衡技术的主要设备是负载均衡器服务器。例如,我们把网站部署到在两台不同的服务器之上(前提是要保证这2台或者多台服务器都可以正常运行网站程序),这几台服务器之间通过安装特定的软件实现负载均衡。那么,某个时刻,当网站面临大规模访问时,用户的请求会通过负载均衡程序,根据不同服务器的繁忙和资源情况,自动分配到处理性能最优的服务器上,从而将大规模用户产生的高并发访问均衡地分流到各个服务器上。这样就能大大减轻单台服务器处理高并发请求,确保整个网站系统面临高负载时的可靠性。
优化设计数据库。整个系统设计的时候,必须要考虑在高并发大数据量的访问情况下,数据库的模型确定下来之后,做一个系统内数据流向图,分析可能出现的瓶颈。为了保证数据库的一致性和完整性,在逻辑设计的时候往往会设计过多的表间关联,尽可能的降低数据的冗余。根据业务规则,确定对关联表的数据量大小、数据项的访问频度,对此类数据表频繁的关联查询应适当提高数据冗余设计但增加了表间连接查询的操作,也使得程序的变得复杂,为了提高系统的响应时间,合理的数据冗余也是必要的。设计人员在设计阶段应根据系统操作的类型、频度加以均衡考虑。
1.数据行的长度不要超过8020字节,如果超过这个长度的话在物理页中这条数据会占用两行从而造成存储碎片,降低查询效率。2.能够用数字类型的字段尽量选择数字类型而不用字符串类型的(电话号码),这会降低查询和连接的性能,并会增加存储开销。
3.对于不可变字符类型char和可变字符类型varchar 都是8000字节,char查询快,但是耗存储空间,varchar查询相对慢一些但是节省存储空间。在设计字段的时候可以灵活选择。
4.字段的长度在最大限度的满足可能的需要的前提下,应该尽可能的设得短一些,这样可以提高查询的效率,而且在建立索引的时候也可以减少资源的消耗。
建立高效的索引,保证在实现功能的基础上,尽量减少对数据库的访问次数;通过搜索参数,尽量减少对表的访问行数,最小化结果集,从而减轻网络负担;能够分开的操作尽量分开处理,提高每次的响应速度;在数据窗口使用SQL时,尽量把使用的索引放在选择的首列;算法的结构尽量简单;具体要注意的:
1.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描。
2.应尽量避免在 where 子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描。优化器将无法通过索引来确定将要命中的行数,因此需要搜索该表的所有行。
3.应尽量避免在 where 子句中使用 or 来连接条件,否则将导致引擎放弃使用索引而进行全表扫描。
4.in 和 not in 也要慎用,因为IN会使系统无法使用索引,而只能直接搜索表中的数据。
5.尽量避免在索引过的字符数据中,使用非打头字母搜索。这也使得引擎无法利用索引。
通过缓存(Cache)技术进行管理,从而减轻服务器重新请求的压力,提高网站的访问速度。包含数据缓存和页面缓存两种。
1.数据缓存,指的是数据库的数据不是直接传输,而是将数据调用到内存,然后从内存中读取,从而可以大大提高读取速度。数据缓存技术有很多的方案,这里由于开源、高性能等特点,使用Memcache来设置数据缓存技术来加速动态web应用程序,减轻数据库负载。
2.页面缓存一定程度上是针对公共页面,静态化也是页面缓存的一种,将用户经常访问的页面在服务器的相应目录下生成静态页面,当用户再次访问时,不需要对服务器进行动态请求,而只需要对缓存下来的html页面直接读取,这样访问的效率就可以得到有效的提高。
本发明一种Smart Rack服务器高并发优化的方法,主要通过4个方面进行,服务器配置优化,使用负载均衡技术,数据库优化和数据缓存技术的使用;通过Smart Rack服务器高并发优化,可以解决现实中诸如淘宝双11及12306购票网站的大规模高并发时造成的系统无法支撑如此庞大的访问量而陷入延时和崩溃的问题。
通过上面具体实施方式,所述技术领域的技术人员可容易的实现本发明。但是应当理解,本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上,所述技术领域的技术人员可任意组合不同的技术特征,从而实现不同的技术方案。

Claims (7)

1.一种Smart Rack服务器高并发优化的方法,其特征在于,具体方法如下:
S1、根据应用服务器的性能和并发访问量的大小来规划应用服务器的数量;
S2、使用负载均衡技术,大大减轻单台服务器处理高并发请求,确保整个网站系统面临高负载时的可靠性;
S3、优化设计数据库的结构并建立高效的索引;
S4、通过缓存技术进行管理,从而减轻服务器重新请求的压力,提高访问速度。
2.根据权利要求1所述的一种Smart Rack服务器高并发优化的方法,其特征在于,所述的S1中,具体实施方式为,在高并发访问峰期间,增加关键应用的服务器数量。
3.根据权利要求1所述的一种Smart Rack服务器高并发优化的方法,其特征在于,通过所述的负载均衡技术,实现根据不同服务器的繁忙和资源情况,自动分配处理性能最优的服务器上,从而将大规模用户产生的高并发访问均衡地分流到各个服务器上。
4.根据权利要求1所述的一种Smart Rack服务器高并发优化的方法,其特征在于, 所述的优化设计数据库结构的具体方法如下:
S1、数据行的长度不超过8020字节;S2、优先使用数字类型的字段;
S3、合理使用不可变字符类型char和可变字符类型varchar ;
S4、字段长度的设定最短化,以提高查询的效率。
5.根据权利要求1所述的一种Smart Rack服务器高并发优化的方法,其特征在于,所述的建立高效索引的具体方法如下:
S1、通过搜索参数,尽量减少对表的访问行数,最小化结果集,从而减轻网络负担;
S2、分开处理,提高每次的响应速度;
S3、在数据窗口使用SQL时,把使用的索引放在选择的首列;
S4、简化算法的结构。
6.根据权利要求1所述的一种Smart Rack服务器高并发优化的方法,其特征在于, 所述的建立高效索引的注意事项如下:
S1、尽量避免where 子句中对字段进行 null 值判断的;
S2、尽量避免在 where 子句中使用!=或<>操作符;
S3、尽量避免在 where 子句中使用 or 来连接条件;
S4、慎用in 和 not in ;
S5、尽量避免在索引过的字符数据中,使用非打头字母搜索。
7.根据权利要求1所述的一种Smart Rack服务器高并发优化的方法,其特征在于,
所述的缓存技术分为数据缓存和页面缓存;
所述的数据缓存,将数据调用到内存,然后在内存中读取数据,从而可以大大提高读取速度;
所述的页面缓存,将用户经常访问的页面在服务器的相应目录下生成静态页面,当用户再次访问时,不需要对服务器进行动态请求,只需要对缓存下来的html页面直接读取,以提高访问效率。
CN201710308077.9A 2017-05-04 2017-05-04 一种SmartRack服务器高并发优化的方法 Pending CN106953929A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710308077.9A CN106953929A (zh) 2017-05-04 2017-05-04 一种SmartRack服务器高并发优化的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710308077.9A CN106953929A (zh) 2017-05-04 2017-05-04 一种SmartRack服务器高并发优化的方法

Publications (1)

Publication Number Publication Date
CN106953929A true CN106953929A (zh) 2017-07-14

Family

ID=59478826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710308077.9A Pending CN106953929A (zh) 2017-05-04 2017-05-04 一种SmartRack服务器高并发优化的方法

Country Status (1)

Country Link
CN (1) CN106953929A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566456A (zh) * 2017-08-09 2018-01-09 北京小米移动软件有限公司 用户请求处理方法及装置
CN108170775A (zh) * 2017-12-26 2018-06-15 上海新炬网络技术有限公司 一种数据库sql索引动态优化方法
CN109816465A (zh) * 2017-11-20 2019-05-28 拓元股份有限公司 网络购票作业的调配系统
CN111447085A (zh) * 2020-03-20 2020-07-24 贵阳块数据城市建设有限公司 一种处理高并发访问事件服务器部署的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105162866A (zh) * 2015-09-15 2015-12-16 浪潮软件股份有限公司 一种应用系统并发访问控制方法
CN106101209A (zh) * 2016-06-08 2016-11-09 山东天星北斗信息科技有限公司 一种基于格网的差分平台服务器网络架构设置方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105162866A (zh) * 2015-09-15 2015-12-16 浪潮软件股份有限公司 一种应用系统并发访问控制方法
CN106101209A (zh) * 2016-06-08 2016-11-09 山东天星北斗信息科技有限公司 一种基于格网的差分平台服务器网络架构设置方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《电脑知识与技术》: "如何应对网站大规模并发访问", 《电脑知识与技术》 *
王利: "SQL SERVER数据库性能调整与优化", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566456A (zh) * 2017-08-09 2018-01-09 北京小米移动软件有限公司 用户请求处理方法及装置
CN109816465A (zh) * 2017-11-20 2019-05-28 拓元股份有限公司 网络购票作业的调配系统
CN108170775A (zh) * 2017-12-26 2018-06-15 上海新炬网络技术有限公司 一种数据库sql索引动态优化方法
CN111447085A (zh) * 2020-03-20 2020-07-24 贵阳块数据城市建设有限公司 一种处理高并发访问事件服务器部署的方法

Similar Documents

Publication Publication Date Title
CN102163195B (zh) 一种基于分布式、异构数据库统一视图的查询优化方法
CN106953929A (zh) 一种SmartRack服务器高并发优化的方法
US10785322B2 (en) Server side data cache system
CN101493826B (zh) 基于web应用的数据库系统及其数据管理方法
Cambazoglu et al. Scalability challenges in web search engines
US6763347B1 (en) Indexing management for hierarchical main memory
US9959286B1 (en) Method, System and apparatus for synchronizing changes in a directory service
CN101236569B (zh) 一种基于ContextFS上下文文件系统的高效动态路径解析方法
CN101841526A (zh) 一种适用大规模用户点播的集群式流媒体服务器系统
CN103209223A (zh) 分布式应用会话信息共享方法、系统和应用服务器
US20140372484A1 (en) Database multiplexing architectures
CN106599711A (zh) 一种数据库访问控制方法,及装置
CN100458790C (zh) 访问数据库的方法和系统
CN111814024B (zh) 分布式数据采集方法、系统及存储介质
CN101046806B (zh) 搜索引擎系统和方法
CN103020078A (zh) 分布式实时数据库数据层次索引方法
CN103853714A (zh) 一种数据处理方法和装置
CN109388654A (zh) 一种查询数据表的方法和装置
CN104636395A (zh) 一种计数处理方法及装置
CN108647266A (zh) 一种异构数据快速分布存储、交互方法
WO2014098662A1 (en) Exposing data to query generating applications using usage profiles
CN106547790A (zh) 一种关系型数据库服务系统
Guerriero et al. A dynamic URL assignment method for parallel web crawler
CN110502534A (zh) 数据库高速缓存
CN105446981B (zh) 站点地图生成方法、访问方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170714