CN104283943A - 一种集群服务器的通信优化方法 - Google Patents

一种集群服务器的通信优化方法 Download PDF

Info

Publication number
CN104283943A
CN104283943A CN201410487657.5A CN201410487657A CN104283943A CN 104283943 A CN104283943 A CN 104283943A CN 201410487657 A CN201410487657 A CN 201410487657A CN 104283943 A CN104283943 A CN 104283943A
Authority
CN
China
Prior art keywords
processing server
task
server
processing
optimization method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410487657.5A
Other languages
English (en)
Inventor
吴六一
苏宏勋
王兴念
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Zhuhai XJ Electric Co Ltd
Zhuhai Xujizhi Power System Automation Co Ltd
Original Assignee
State Grid Corp of China SGCC
Zhuhai XJ Electric Co Ltd
Zhuhai Xujizhi Power System Automation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Zhuhai XJ Electric Co Ltd, Zhuhai Xujizhi Power System Automation Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201410487657.5A priority Critical patent/CN104283943A/zh
Publication of CN104283943A publication Critical patent/CN104283943A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer And Data Communications (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开了一种集群服务器的通信优化方法,所述集群服务器包括多个互相通信连接的处理服务器,所述通信优化方法首先在任一处理服务器接收到待处理任务时,则由该处理服务器收集集群服务器中其他每个处理服务器的资源使用数据;其次根据每个处理服务器的资源使用数据,选择对应的该待处理任务的处理服务器;最后判断任务的属性选择对应的处理服务器。本发明通过总线交换总线收集每台服务器的压力状况,结合交换数据的优先级情况,将需要传输的数据分发给压力最小的服务器进行处理,以此达到均衡各集群服务器的负载,提高各任务的处理效率。

Description

一种集群服务器的通信优化方法
技术领域
本发明涉及电力行业信息交换总线技术领域,特别是一种集群服务器的通信优化方法。
背景技术
电力行业中部署有多种分布式的应用子系统,不同的子系统分别涉及电力行业中不同设备的运营和管理,包括供电设备监视和控制、系统可靠性管理、电压管理、停电管理、工作管理、设备管理等。随着电力行业的现代化发展,子系统的数量也随之增加,各系统之间的信息互换交流也更为频繁。
为了解决各子系统间的数据共享,电力信息交换总线应运而生,各子系统可通过电力信息交换总线实现数据共享和信息交换。由于各子系统间信息交换频繁,容易导致电力信息交换总线上的数据容量急速增大,因此,电力信息交换总线多采用集群方式部署服务器,任务分发时,则平均地将任务分发至各集群服务器进行处理,但是,这种任务分发方式容易导致某些服务器的负载越来越大,或者会延迟对某些任务的执行。
发明内容
为解决上述问题,本发明的目的在于提供一种集群服务器的通信优化方法,通过各服务器资源的合理调度,达到均衡各集群服务器的负载,提高各任务的处理效率的目的。
本发明解决其问题所采用的技术方案是:
一种集群服务器的通信优化方法,所述集群服务器包括多个互相通信连接的处理服务器,所述通信优化方法包括:
(1)在任一处理服务器接收到待处理任务时,则由该处理服务器收集集群服务器中其他每个处理服务器的资源使用数据;
(2)根据每个处理服务器的资源使用数据,选择对应的该待处理任务的处理服务器;
(3)判断任务的属性:
若是同步任务,则直接将任务分发至步骤(2)中所选择的处理服务器:
若是异步任务,则判断该任务的优先级,若优先级较高,则直接将任务分发至步骤(2)中所选择的处理服务器,否则,另行判断选择处理服务器。
进一步,所述方法还包括:
(4)若所选择的处理服务器处理对应任务的返回结果错误或超时,则重新进入步骤(1)。
进一步,所述资源使用数据包括CPU占用率和内存占用率,所述步骤(2)在选择对应的处理服务器时,包括以下步骤:
对每个处理服务器的CPU占用率进行对比,将CPU占用率最低的处理服务器作为该待处理任务的处理服务器,若CPU占用率最低的处理服务器具有多个,则对这些处理服务器的内存占用率进行对比,将内存占用率最低的处理服务器作为该待处理任务的处理服务器。
进一步,若所述内存占用率最低的处理服务器具有多个,则随机选取一个处理服务器作为该待处理任务的处理服务器。
进一步,所述CPU占用率最低与内存占用率最低的处理服务器均为低于某一设定值下的处理服务器。
进一步,所述步骤(3)中另行判断选择处理服务器包括以下步骤:
判断步骤(2)中所选择的处理服务器的CPU占用率是否大于设定值,若大于设定值,则将该任务进行缓存,并在等待固定间隔时间后,进入步骤(1),否则,直接将该任务分发至步骤(2)中所选择的处理服务器。
进一步,所述设定值为20%,所述固定间隔时间为10秒。
本发明的有益效果是:
本发明采用一种集群服务器的通信优化方法,在任一处理服务器接收到任务时,收集集群中每个服务器的资源使用数据,首先根据CPU占用率选择处理服务器,以提高处理效率;其次判断内存占用率,避免该任务在处理时可能处于等待状态,缩短处理时间;对不同的任务区别对待,对于同步任务,直接处理,提高处理效率,对于异步任务,则根据优先级进行处理,对优先级较低的,根据CPU的使用状态进行判断。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明所述集群服务器的连接示意图;
图2是本发明所述方法的流程图;
图3是本发明所述方法具体化后的流程示意图。
具体实施方式
在电力行业中,分布式子系统及集群服务器的连接关系示意图参照图1所示,信息交换总线运行环境包括安全一区和安全三区等,安全一区和安全三区分别运行不同的子系统,安全一区运行诸如配电自动化系统、调度自动化系统等子系统,安全三区运行诸如营销管理系统、生产管理系统、GIS平台、抢修指标平台等子系统。安全一区与安全三区均可发送子系统所产生的交换数据或者信息至设置连接在信息交换总线上的接口服务器,接口服务器再传输至集群式分布的处理服务器,这些处理服务器可以直接通信交换数据。
目前,当子系统分发任务将数据传输至接口服务器后,接口服务器平均将任务分发到不同的处理服务器,但由于任务不同,容易导致某些服务器处于堵塞的状态,降低整体处理效率。为此,参照图2与图3所示,本发明提供了一种集群服务器的通信优化方法,包括:
(1)在任一处理服务器接收到待处理任务时,则由该处理服务器收集集群服务器中其他每个处理服务器的资源使用数据;
(2)根据每个处理服务器的资源使用数据,选择对应的该待处理任务的处理服务器;
(3)判断任务的属性:
若是同步任务,则直接将任务分发至步骤(2)中所选择的处理服务器:
若是异步任务,则判断该任务的优先级,若优先级较高,则直接将任务分发至步骤(2)中所选择的处理服务器,否则,另行判断选择处理服务器。
所选择的处理服务器在处理任务时,有可能处理错误或者返回超时,此时,如果重新由该服务器进行运算,有可能导致重复的结果,降低处理的效率,为此,所述方法在处理服务器运行错误时返回重新操作,并为所述方法设置了以下步骤:
(4)若所选择的处理服务器处理对应任务的返回结果错误或超时,则重新进入步骤(1)。
本发明所述的资源使用数据包括CPU占用率和内存占用率,所述步骤(2)在选择对应的处理服务器时,包括以下步骤:
对每个处理服务器的CPU占用率进行对比,将CPU占用率最低的处理服务器作为该待处理任务的处理服务器,若CPU占用率最低的处理服务器具有多个,则对这些处理服务器的内存占用率进行对比,将内存占用率最低的处理服务器作为该待处理任务的处理服务器,若所述内存占用率最低的处理服务器具有多个,则随机选取一个处理服务器作为该待处理任务的处理服务器。
本发明采用了CPU和内存占用率两个指标选择处理服务器,可有效提升处理效率。为了尽快确定所选择的处理服务器,本发明中所述的CPU占用率最低与内存占用率最低的处理服务器均为低于某一设定值下的处理服务器。如果将CPU和内存占用率均设置为单一的值,实现比较复杂,因此这两个指标在现实运行中均处于实时变动状态,本发明只要在分发任务的处理服务器在收集资源使用数据的那一刻所确定的某个处理服务器的CPU和内存占用率低于该设定值,即选择此处理服务器处理该任务,以减少选择的时间,进一步提升运行的效率。需要说明的是,此设定值必定是在本领域中,CPU和内存占用率均为较低状态一个值。
当为异步任务时,由于其优先级的不同,优先级较高时,则可以快速处理,优先级较低时,本发明为所述步骤(3)中另行判断选择处理服务器还规定了以下步骤:
判断步骤(2)中所选择的处理服务器的CPU占用率是否大于设定值,若大于设定值,则将该任务进行缓存,并在等待固定间隔时间后,进入步骤(1),否则,直接将该任务分发至步骤(2)中所选择的处理服务器。
本发明将优先级较低的任务选择处理,当CPU占用率大于设定值时,则将该任务缓存后再处理,否则就直接处理,这可以使所有的处理服务器处于更加均衡的状态,避免某个服务器堵塞。其中,所述设定值和间隔时间均为本领域的适用值,本发明的所述设定值为20%,所述固定间隔时间为10秒。
本发明通过总线交换总线收集每台服务器的压力状况,结合交换数据的优先级情况,将需要传输的数据分发给压力最小的服务器进行处理,以此达到均衡各集群服务器的负载,提高各任务的处理效率。本发明经实际运行测试,各处理服务器在任意5分钟内,CPU平均负荷率均小于20%,且单个任务的处理响应时间在2秒钟以内。
以上所述,只是本发明的较佳实施例而已,本发明并不局限于上述实施方式,只要其以相同的手段达到本发明的技术效果,都应属于本发明的保护范围。

Claims (7)

1.一种集群服务器的通信优化方法,所述集群服务器包括多个互相通信连接的处理服务器,其特征在于,所述通信优化方法包括:
(1)在任一处理服务器接收到待处理任务时,则由该处理服务器收集集群服务器中其他每个处理服务器的资源使用数据;
(2)根据每个处理服务器的资源使用数据,选择对应的该待处理任务的处理服务器;
(3)判断任务的属性:
若是同步任务,则直接将任务分发至步骤(2)中所选择的处理服务器:
若是异步任务,则判断该任务的优先级,若优先级较高,则直接将任务分发至步骤(2)中所选择的处理服务器,否则,另行判断选择处理服务器。
2.根据权利要求1所述的通信优化方法,其特征在于,还包括:
(4)若所选择的处理服务器处理对应任务的返回结果错误或超时,则重新进入步骤(1)。
3.根据权利要求1所述的通信优化方法,其特征在于,所述资源使用数据包括CPU占用率和内存占用率,所述步骤(2)在选择对应的处理服务器时,包括以下步骤:
对每个处理服务器的CPU占用率进行对比,将CPU占用率最低的处理服务器作为该待处理任务的处理服务器,若CPU占用率最低的处理服务器具有多个,则对这些处理服务器的内存占用率进行对比,将内存占用率最低的处理服务器作为该待处理任务的处理服务器。
4.根据权利要求3所述的通信优化方法,其特征在于,若所述内存占用率最低的处理服务器具有多个,则随机选取一个处理服务器作为该待处理任务的处理服务器。
5.根据权利要求3或4所述的通信优化方法,其特征在于,所述CPU占用率最低与内存占用率最低的处理服务器均为低于某一设定值下的处理服务器。
6.根据权利要求3或4所述的通信优化方法,其特征在于,所述步骤(3)中另行判断选择处理服务器包括以下步骤:
判断步骤(2)中所选择的处理服务器的CPU占用率是否大于设定值,若大于设定值,则将该任务进行缓存,并在等待固定间隔时间后,进入步骤(1),否则,直接将该任务分发至步骤(2)中所选择的处理服务器。
7.根据权利要求6所述的通信优化方法,其特征在于,所述设定值为20%,所述固定间隔时间为10秒。
CN201410487657.5A 2014-09-22 2014-09-22 一种集群服务器的通信优化方法 Pending CN104283943A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410487657.5A CN104283943A (zh) 2014-09-22 2014-09-22 一种集群服务器的通信优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410487657.5A CN104283943A (zh) 2014-09-22 2014-09-22 一种集群服务器的通信优化方法

Publications (1)

Publication Number Publication Date
CN104283943A true CN104283943A (zh) 2015-01-14

Family

ID=52258416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410487657.5A Pending CN104283943A (zh) 2014-09-22 2014-09-22 一种集群服务器的通信优化方法

Country Status (1)

Country Link
CN (1) CN104283943A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776623A (zh) * 2015-11-23 2017-05-31 阿里巴巴集团控股有限公司 一种用户行为分析方法和设备
CN107172665A (zh) * 2016-03-08 2017-09-15 上海大唐移动通信设备有限公司 一种数据处理方法、装置及系统
CN111309491A (zh) * 2020-05-14 2020-06-19 北京并行科技股份有限公司 一种作业协同处理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1410905A (zh) * 2002-11-14 2003-04-16 华中科技大学 一种全分布式的集群网络服务器系统
US7512707B1 (en) * 2005-11-03 2009-03-31 Adobe Systems Incorporated Load balancing of server clusters
CN101571813A (zh) * 2009-01-04 2009-11-04 四川川大智胜软件股份有限公司 一种多机集群中主从调度方法
US20110154350A1 (en) * 2009-12-18 2011-06-23 International Business Machines Corporation Automated cloud workload management in a map-reduce environment
CN102404390A (zh) * 2011-11-07 2012-04-04 广东电网公司电力科学研究院 高速实时数据库的智能化动态负载均衡方法
CN103810016A (zh) * 2012-11-09 2014-05-21 北京华胜天成科技股份有限公司 实现虚拟机迁移的方法、装置和集群系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1410905A (zh) * 2002-11-14 2003-04-16 华中科技大学 一种全分布式的集群网络服务器系统
US7512707B1 (en) * 2005-11-03 2009-03-31 Adobe Systems Incorporated Load balancing of server clusters
CN101571813A (zh) * 2009-01-04 2009-11-04 四川川大智胜软件股份有限公司 一种多机集群中主从调度方法
US20110154350A1 (en) * 2009-12-18 2011-06-23 International Business Machines Corporation Automated cloud workload management in a map-reduce environment
CN102404390A (zh) * 2011-11-07 2012-04-04 广东电网公司电力科学研究院 高速实时数据库的智能化动态负载均衡方法
CN103810016A (zh) * 2012-11-09 2014-05-21 北京华胜天成科技股份有限公司 实现虚拟机迁移的方法、装置和集群系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
柳少锋,董剑,吴智博: "一种基于优先级队列的集群动态反馈调度算法", 《智能计算机与应用》 *
王德文,刘杨: "一种电力云数据中心的任务调度策略", 《电力系统自动化》 *
程斌,金海, 石柯: "一种自适应的分布式调度策略", 《小型微型计算机系统》 *
蒲汛,杜嘉,卢显良: "基于用户优先级的云计算任务调度策略", 《计算机工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776623A (zh) * 2015-11-23 2017-05-31 阿里巴巴集团控股有限公司 一种用户行为分析方法和设备
CN106776623B (zh) * 2015-11-23 2020-04-21 阿里巴巴集团控股有限公司 一种用户行为分析方法和设备
CN107172665A (zh) * 2016-03-08 2017-09-15 上海大唐移动通信设备有限公司 一种数据处理方法、装置及系统
CN111309491A (zh) * 2020-05-14 2020-06-19 北京并行科技股份有限公司 一种作业协同处理方法及系统
CN111309491B (zh) * 2020-05-14 2020-11-06 北京并行科技股份有限公司 一种作业协同处理方法及系统

Similar Documents

Publication Publication Date Title
CN108632365B (zh) 服务资源调整方法、相关装置和设备
CN102111337B (zh) 任务调度方法和系统
CN102508718A (zh) 一种虚拟机负载均衡方法和装置
CN103475544A (zh) 一种基于云资源监控平台的业务监控方法
CN104899095A (zh) 虚拟机器的资源调整方法及系统
US9641431B1 (en) System and methods for utilization-based balancing of traffic to an information retrieval system
CN107817401B (zh) 一种用电信息采集系统的压力测试方法及装置
CN113169708A (zh) 太阳能发电平衡控制系统及方法
CN105321346A (zh) 运用云计算基础资源池来控制城市智能交通的方法
CN105227676A (zh) 一种配电终端数据采集的方法
CN104283943A (zh) 一种集群服务器的通信优化方法
CN104571931A (zh) 基于系统资源的i/o请求合并调度系统与方法
CN111858031A (zh) 一种集群分布式资源调度方法、装置、设备及存储介质
CN104320433A (zh) 数据处理方法和分布式数据处理系统
WO2019157171A1 (en) Predicting voltage stability of a power system post-contingency
CN111030592B (zh) 光伏组串丢失告警方法和装置
CN102546652B (zh) 一种服务器负载平衡系统及方法
CN106127396A (zh) 一种智能电网中云调度任务的方法
CN103973811A (zh) 一种可动态迁移的高可用集群管理方法
CN109495588A (zh) 前置机的任务处理方法、装置、计算机设备和存储介质
CN112700220A (zh) 一种云化的电力数据处理方法、装置和系统
CN105677440A (zh) 一种虚拟机自动迁移系统
CN108604796A (zh) 电源供应的动态切换
CN111352721A (zh) 一种业务的迁移方法及装置
CN110493071B (zh) 消息系统资源均衡装置、方法及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150114

RJ01 Rejection of invention patent application after publication