CN115297122A - 基于负载自动监测的政务运维方法和系统 - Google Patents

基于负载自动监测的政务运维方法和系统 Download PDF

Info

Publication number
CN115297122A
CN115297122A CN202211197034.5A CN202211197034A CN115297122A CN 115297122 A CN115297122 A CN 115297122A CN 202211197034 A CN202211197034 A CN 202211197034A CN 115297122 A CN115297122 A CN 115297122A
Authority
CN
China
Prior art keywords
service
file
queue
load
service terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211197034.5A
Other languages
English (en)
Other versions
CN115297122B (zh
Inventor
冯军
王正坤
黄耀庭
张勇
刘勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digital Jiangxi Technology Co ltd
Original Assignee
Digital Jiangxi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digital Jiangxi Technology Co ltd filed Critical Digital Jiangxi Technology Co ltd
Priority to CN202211197034.5A priority Critical patent/CN115297122B/zh
Publication of CN115297122A publication Critical patent/CN115297122A/zh
Application granted granted Critical
Publication of CN115297122B publication Critical patent/CN115297122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162Delete operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Computer Hardware Design (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种基于负载自动监测的政务运维方法和系统。该方法的执行部门设置多个经局域网连接的业务终端,监管部门设置多个用于创建目标业务的监管终端,监管终端生成目标业务的需求文件和基于该需求文件的访问集合。调度服务器根据访问集合确定执行目标任务的业务终端所述群组,再根据设备负载队列分配文件的存储资源,目标业务的监管终端可以由设备负载队列确定上下游终端的负载调整范围。同时,由设备负载队列生成的基于文件的子队列可以选择性生成、删除或者迁移不同属性数据的副本文件,提高资源分配的合理性。

Description

基于负载自动监测的政务运维方法和系统
技术领域
本发明涉及数据处理技术,尤其涉及一种基于负载自动监测的政务运维方法和系统。
背景技术
高并发问题是各个门户平台都会面临的问题,客户端响应时间过长、服务器宕机等,大大影响了用户的体验感。现有技术通常采用负载均衡方法实现出负载在服务器上的配置。常见的负载均衡方法如加权轮询、IP-HASH、最少连接数等。
在政务系统运营过程中,任务调度主要体现在申报、受理及审批等服务的调度。针对这种固定的业务特性,现有技术主要采用反向代理服务器统一所有业务接口请求,通过负载均衡确定业务资源的分配,以降低部分终端的负载。如CN113420076A所述,该方案利用集群部署的缓存服务中间缓存数据库信息,减少数据库以及业务接口的查询频率。
如本申请人的在先申请CN114944963A所述,在多终端审批业务中,上游终端集群的访问变化可能影响下游终端审批业务的负载。该技术方案纳入本申请作为参考。现有的方案无法依据上游终端集群辅助动态调整负载比例,容易导致集群系统负载不平衡,集群服务器资源利用率降低。因此,现有技术有进一步改进的必要。
发明内容
针对上述问题,本发明提供了一种基于负载自动监测的政务运维方法和系统,解决上游群组终端访问对下游群组终端负载的影响,提高系统运行效率。
本申请的发明目的可通过以下技术方案实现:
一种基于负载自动监测的政务运维方法,包括以下步骤:
步骤1:在执行部门设置多个经局域网连接的业务终端,在监管部门设置多个用于创建目标业务的监管终端,不同执行部门的业务终端具有相互访问的权限;
步骤2:监管终端生成目标业务的需求文件和基于该需求文件的访问集合,访问集合存储执行目标业务第一部分的执行部门和执行目标业务第二部分的执行部门;
步骤3:调度服务器创建一索引表,索引表将执行目标业务第一部分的执行部门标记为第一群组,将执行目标业务第二部分的执行部门标记为第二群组,将不执行目标业务的执行部门标记为第三群组;
步骤4:调度服务器生成业务终端的动态负载值,根据动态负载值将业务终端的标识符存入一设备负载队列;
步骤5:调度服务器基于设备负载队列将需求文件存储至第一群组的多个业务终端中的一个;
步骤6:第一群组的至少一个业务终端读取需求文件,创建基于需求文件的第一任务文件,并将该第一任务文件发送至调度服务器;
步骤7:调度服务器基于设备负载队列将第一任务文件存储至第一群组或第二群组的多个业务终端中的一个;
步骤8:第二群组的至少一个业务终端读取第一任务文件,创建基于该第一任务文件的第二业务文件;
步骤9:调度服务器根据设备负载队列创建基于第一任务文件的第一子队列;
步骤10:若第一任务文件的副本指数大于指数上限,调度服务器根据第一子队列在业务终端中创建第一任务文件的副本;
步骤11:若第一任务文件的副本指数小于指数下限,调度服务器根据第一子队列删除业务终端中第一任务文件的副本。
在本发明中,还包括步骤12:若任意业务终端的动态负载值大于负载阈值,调度服务器根据第一子队列将业务终端的第一任务文件的副本移至另一业务终端。
在本发明中,在步骤1中,第一群组的业务终端经Web网络访问第二群组或第三群组的业务终端,第二群组或第三群组的业务终端采用属性重加密算法向第一群组的业务终端提供访问权限。
在本发明中,在步骤4中,业务终端i向调度服务器上报性能参数Pi和负载参数Li,调度服务器根据性能参数Pi和负载参数Li生成业务终端i的动态负载值Ri,存入设备负载队列,i为正整数。
在本发明中,在步骤5中,调度服务器提取设备负载队列中第一群组的多个业务终端的动态负载值,并将需求文件存储至动态负载值最小的业务终端。
在本发明中,调度服务器预测任意业务终端基于第一任务文件的修正负载值,根据修正负载值的大小将业务终端的标识符存入第一子队列。
在本发明中,调度服务器预测业务终端i基于第一任务文件e的修正负载值为Fei
Figure DEST_PATH_IMAGE001
,Hij为业务终端j与业务终端i的网络堵塞度,业务终端j访问第一任务文件e的概率为Gej,m为业务终端的数量。
在本发明中,调度服务器根据第一任务文件e的热度Ee以及存储第一任务文件的业务终端i的动态负载值Ri、磁盘占用率Di、带宽占用率Wi确定第一任务文件e的副本指数Se
在本发明中,还包括:步骤13:调度服务器根据设备负载队列创建基于需求文件的第二子队列;
步骤14:若需求文件的副本指数大于指数上限,调度服务器根据第二子队列在业务终端中创建需求文件的副本;
步骤15:若需求文件的副本指数小于指数下限,调度服务器根据第二子队列删除业务终端中需求文件的副本。
一种根据所述基于负载自动监测的政务运维方法的政务运维系统,包括位于执行部门的业务终端、位于监管部门的监管终端以及调度服务器,其中,
监管终端生成目标业务的需求文件,第一群组的至少一个业务终端读取需求文件,创建基于需求文件的第一任务文件,
调度服务器生成业务终端的设备负载队列,并根据设备负载队列将需求文件或第一任务文件存储至业务终端,
调度服务器根据访问集合生成设备负载队列的第一子队列,并基于第一子队列在业务终端中生成或删除第一任务文件的副本。
本申请根据访问集合划分不同的虚拟群组,将需求文件存入执行目标任务的第一群组,将第一任务文件存入执行目标任务的第二群组,可以提高其他同群组的业务终端执行目标业务时的访问效率。相对于现有技术按照负载分配存储资源,保证下游部门的访问效率。进一步的,本申请的动态负载值充分考虑不同终端的性能参数,可以获得准确的负载值。
针对单一文件访问压力较大的问题,本申请在设备负载队列内创建不同的子队列,子队列按照基于不同文件的修正负载值排列。将访问频率较高的文件复制到子队列的其他业务终端,实现不同文件下业务终端的负载均衡。修正负载值包含文件参数和设备参数,对文件访问压力的预测精度更高。
附图说明
图1为本发明的基于负载自动监测的政务运维方法的流程图;
图2为本发明的一个具体实例中访问需求文件的示意图;
图3为本发明的另一个具体实例中访问第一任务文件的示意图;
图4为本发明的又一个具体实例中访问第一任务文件及副本的示意图;
图5为本发明创建第一子队列的示意图;
图6为本发明的基于负载自动监测的政务运维系统的示意图;
图7为本发明的调度服务器工作过程的示意图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。在这些描述和附图中,具体公开了本发明的实施例中的一些特定实施方式,来表示实施本发明的实施例原理的一些方式,但是应当理解,本发明的实施例的范围不受此限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
在现有技术中,存在上下游终端集群协同处理政务的情形,上游终端集群的访问可能影响下游终端访问业务的负载。在负载均衡过程中根据负载值调整业务终端的存储资源的分配容易导致集群系统负载不平衡。本发明根据访问集合确定执行目标任务的多个业务终端,再根据设备负载队列分配文件的存储资源,目标业务的监管终端可以调整上下游终端的负载调整范围。同时,由设备负载队列生成的基于文件的子队列可以选择性生成、删除或者迁移副本文件,提高资源分配的合理性。下面结合四个实施例充分对本发明的技术方案进行清楚、完整地描述。
实施例一
如图1至图5,本实施例的这种基于负载自动监测的政务运维方法,包括以下12个步骤。
步骤1:在执行部门设置多个经局域网连接的业务终端,在监管部门设置多个用于创建目标业务的监管终端,不同执行部门的业务终端具有相互访问的权限。多个执行部门可经Web网络相互访问。相对于局域网,Web网络具有更高的延迟和更低的访问效率。为确定访问权限的范围,可以采用属性重加密算法将执行部门的属性参数纳入决策树并用该决策树加密文件,决策树内的业务终端可以访问相关文件。
步骤2:监管终端生成目标业务的需求文件和基于该需求文件的访问集合,访问集合存储执行目标业务第一部分的执行部门和执行目标业务第二部分的执行部门。需求文件为目标业务的基础执行模块,执行目标业务的第一部分需要访问该需求文件。访问集合限定的执行部门具有更高的访问频率,为了便于下游终端的访问操作,需求文件存储至执行目标业务第一部分的执行部门。
步骤3:调度服务器创建一索引表,索引表将执行目标业务第一部分的执行部门标记为第一群组,将执行目标业务第二部分的执行部门标记为第二群组,将不执行目标业务的执行部门标记为第三群组。监管终端输入的访问集合限定索引表的数据内容,因此监管终端可以间接调整群组的划分,调整需求文件存储的位置。另外,第三群组可以有多个执行部门组成。第三群组不参与目标项目的执行,没有必然访问需求文件的需求。第三群组的访问权限可以由额外的属性加密算法确定。索引表用于标记不同的虚拟群组,建立索引可以提高查询速率。针对上下执行部门的主要逻辑文件结构,本实施例采用B+树的聚集索引。聚集索引的非叶子节点不存储数据,只存储索引,可以放更多的数据,提高区间访问的性能。
步骤4:调度服务器生成业务终端的动态负载值,根据动态负载值将业务终端的标识符存入一设备负载队列。本申请的动态负载值充分考虑不同终端的性能参数,可以获得准确的负载值。业务终端i向调度服务器上报性能参数Pi和负载参数Li,i为正整数。性能参数Pi和负载参数Li为加权评价指标。在本发明非限定性的实施例中,构造了一种易于操作的指标算法。性能指标
Figure 719769DEST_PATH_IMAGE002
,Pi1为CPU的频率、Pi2为内存容量、Pi3为磁盘可用空间、Pi4为网络带宽,c1、c2、c3以及c4为对应的权重值。负载指标
Figure DEST_PATH_IMAGE003
,Li1为CPU的利用率、Li2为内存利用率、Li3为磁盘占用率、Li4为带宽占用率,b1、b2、b3以及b4为对应的权重值。调度服务器根据性能参数Pi和负载参数Li生成业务终端i的动态负载值Ri,Ri=Li/Pi。动态负载值存入设备负载队列,设备负载队列按照动态负载值从小到大的顺序排列业务终端的标识符。
步骤5:调度服务器基于设备负载队列将需求文件存储至第一群组的多个业务终端中的一个。调度服务器提取设备负载队列中第一群组的多个业务终端的动态负载值,并将需求文件存储至动态负载值最小的业务终端。实施例将设备负载队列构造为先进先出线性表,将设备负载队列中第一群组的业务终端取出构造另一线性表,该线性表队头的标识符对应的业务终端存储需求文件。参照图2,第一群组、第二群组以及第三群组的业务终端均经该业务终端访问需求文件。该需求文件的存储方式满足下游第一群组的业务终端在本地局域网访问,可以提高数据处理效率。
步骤6:第一群组的至少一个业务终端读取需求文件,创建基于需求文件的第一任务文件,并将该第一任务文件发送至调度服务器。第一任务文件为目标业务的中间执行模块。第二群组在执行目标业务的第二部分时需要访问该中间执行模块。
步骤7:调度服务器基于设备负载队列将第一任务文件存储至第一群组或第二群组的多个业务终端中的一个。与步骤5类似,调度服务器提取设备负载队列中第一群组的多个业务终端的动态负载值将需求文件存储至动态负载值最小的业务终端。本实例同时考虑第一群组(上游业务终端)和第二群组(下游业务终端)的访问需求。具体的,构造另一包含第一群组和第二群组的业务终端的线性表,该线性表队头的标识符对应的业务终端存储第一任务文件。参照图3,第一群组、第二群组以及第三群组的业务终端均经该业务终端访问需求文件。该需求文件的存储方式满足主要业务终端在本地局域网访问,可以提高数据处理效率。
步骤8:第二群组的至少一个业务终端读取第一任务文件,创建基于该第一任务文件的第二业务文件。第二业务文件为目标业务的最终执行模块,表达政务的最终执行文件。由于目标任务执行完毕,本实施例可以采用现有技术的负载均衡算法确定第二业务文件的存储位置。
步骤9:调度服务器根据设备负载队列创建基于第一任务文件的第一子队列。调度服务器预测任意业务终端基于第一任务文件e的修正负载值Fei,根据修正负载值的大小将业务终端的标识符存入第一子队列。本实施例将第一子队列构造为先进先出线性表,该线性表队头的标识符优先取出。参照图5,设备负载队列对应于业务终端的状态,第一子队列对应于特定设备负载队列的任意第一任务文件,因此可以多个第一任务文件创建多个第一子队列。
步骤10:若第一任务文件的副本指数大于指数上限,调度服务器根据第一子队列在业务终端中创建第一任务文件的副本。本发明通过副本指数来确定副本的创建与删除,副本指数通常由负载、热度以及带宽共同决定,用Se表示。第一任务文件的不断被访问时,副本指数随之增加。一旦副本指数超过了上限,就需要在其他终端创建副本,保证高并发状态下能达到负载均衡。副本的数量通常情况下默认最小值为2,在高并发情况下,根据负载情况增加副本。参照图4,第一群组、第二群组以及第三群组的业务终端可以通过第二群组或第三群组的预定业务终端访问第一任务文件或第一任务文件的副本。
步骤11:若第一任务文件的副本指数小于指数下限,调度服务器根据第一子队列删除业务终端中第一任务文件的副本。在业务热度降低后,副本删除,否则业务终端的存储空间使用率越来越大,造成过载。当副本文件长时间没有被访问,或者访问量很小,计算副本指数,对该副本文件进行删除处理。
步骤12:若任意业务终端的动态负载值大于负载阈值,调度服务器根据第一子队列将业务终端的第一任务文件的副本移至另一业务终端。根据第一子队列的负载大小排列,将超过负载阈值的任意业务终端的第一任务文件的副本,迁移至负载较小的业务终端。超过负载均值的任意终端作为源终端,向调度服务器发送请求,调度服务器再转发给第一子队列中负载最小的一业务终端作为目的终端。目的终端监听用来进行文件传输的端口,监听开始后,向源终端发送命令,表示目的终端已经准备就绪,源终端便可以开始将数据迁移至目的终端。
实施例二
本实施例的这种基于负载自动监测的政务运维方法,进一步公开了生成需求文件的第二子队列的实施例。具体包括如下步骤。
步骤13:调度服务器根据设备负载队列创建基于需求文件的第二子队列。与第一子队列类似,调度服务器预测任意业务终端基于需求文件的修正负载值,根据修正负载值的大小将业务终端的标识符存入第二子队列。
步骤14:若需求文件的副本指数大于指数上限,调度服务器根据第二子队列在业务终端中创建需求文件的副本。
步骤15:若需求文件的副本指数小于指数下限,调度服务器根据第二子队列删除业务终端中需求文件的副本。
实施例三
本实施例进一步公开了创建第一子队列以及复制第一任务文件的方法。
调度服务器预测业务终端i基于第一任务文件e的修正负载值为Fei
Figure 433647DEST_PATH_IMAGE004
,Hij为业务终端j与业务终端i的网络堵塞度,业务终端j访问第一任务文件e的概率为Gej,m为业务终端的数量。按照修正负载值的大小排列业务终端,存入第一子队列。
调度服务器根据第一任务文件e的热度Ee以及存储第一任务文件的业务终端i的动态负载值Ri、I/O接口占用率Wi确定第一任务文件e的副本指数Se。副本指数
Figure DEST_PATH_IMAGE005
。热度
Figure 151067DEST_PATH_IMAGE006
,t为T时长内访问第一任务文件e的时段,
Figure DEST_PATH_IMAGE007
表示第一任务文件e在t时段内的被访问的次数。ω1、ω2以及ω3分别动态负载值、第一任务文件热度、I/O接口占用率对应的权重,其中ω123=1。
权重值的选择影响副本指数的取值,本实施例优选的采用综合负载决策函数为权重赋值。构建一个综合负载决策函数,再根据负载决策函数,为各项副本指数的指标设定对应的权值系数。定义系数向量M=(ω123T,比值矩阵
Figure 218380DEST_PATH_IMAGE008
,其中,
Figure DEST_PATH_IMAGE009
。n为Q矩阵的最大特征根λmax,当且仅当λmax=n时,Q为一致性矩阵。本实施例可以将副本指数作为目标层,动态负载值、第一任务文件热度、I/O接口占用率指标作为准则层。结合业务终端的历史数据构造出判断矩阵Q,计算得出判断矩阵Q的最大特征根λmax,令λmax=n,得出权重ω1、ω2以及ω3
实施例四
如图6所示,本实施例公开了根据所述基于负载自动监测的政务运维方法的政务运维系统。这种政务运维系统主要由位于执行部门的业务终端、位于监管部门的监管终端以及调度服务器组成。监管终端生成目标业务(例如行政审批业务)的需求文件。执行目标任务第一部分的执行部门标记为第一群组,执行目标业务第二部分的执行部门标记为第二群组,第一群组的至少一个业务终端读取需求文件,创建基于需求文件的第一任务文件。
调度服务器生成业务终端的设备负载队列,并根据设备负载队列将需求文件或第一任务文件存储至业务终端。调度服务器根据访问集合生成设备负载队列的第一子队列,并基于第一子队列在业务终端中生成或删除第一任务文件的副本。并且,调度服务器根据访问集合生成设备负载队列的第二子队列,并基于第二子队列在业务终端中生成或删除需求文件的副本。参照图7,调度服务器可以包括任务管理单元、资源管理单元以及副本管理单元。其中,任务管理单元从业务终端提取设备的状态数据,资源管理单元用于存储第一任务文件或需求文件,副本管理单元实现对副本的创建与删除。
应当理解,本发明的政务运维系统各部分可以用硬件、软件、固件或它们的组合来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或它们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改,等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于负载自动监测的政务运维方法,其特征在于,包括以下步骤:
步骤1:在执行部门设置多个经局域网连接的业务终端,在监管部门设置多个用于创建目标业务的监管终端,不同执行部门的业务终端具有相互访问的权限;
步骤2:监管终端生成目标业务的需求文件和基于该需求文件的访问集合,访问集合存储执行目标业务第一部分的执行部门和执行目标业务第二部分的执行部门;
步骤3:调度服务器创建一索引表,索引表将执行目标业务第一部分的执行部门标记为第一群组,将执行目标业务第二部分的执行部门标记为第二群组,将不执行目标业务的执行部门标记为第三群组;
步骤4:调度服务器生成业务终端的动态负载值,根据动态负载值将业务终端的标识符存入一设备负载队列;
步骤5:调度服务器基于设备负载队列将需求文件存储至第一群组的多个业务终端中的一个;
步骤6:第一群组的至少一个业务终端读取需求文件,创建基于需求文件的第一任务文件,并将该第一任务文件发送至调度服务器;
步骤7:调度服务器基于设备负载队列将第一任务文件存储至第一群组或第二群组的多个业务终端中的一个;
步骤8:第二群组的至少一个业务终端读取第一任务文件,创建基于该第一任务文件的第二业务文件;
步骤9:调度服务器根据设备负载队列创建基于第一任务文件的第一子队列;
步骤10:若第一任务文件的副本指数大于指数上限,调度服务器根据第一子队列在业务终端中创建第一任务文件的副本;
步骤11:若第一任务文件的副本指数小于指数下限,调度服务器根据第一子队列删除业务终端中第一任务文件的副本。
2.根据权利要求1所述的基于负载自动监测的政务运维方法,其特征在于,还包括步骤12:若任意业务终端的动态负载值大于负载阈值,调度服务器根据第一子队列将业务终端的第一任务文件的副本移至另一业务终端。
3.根据权利要求1所述的基于负载自动监测的政务运维方法,其特征在于,在步骤1中,第一群组的业务终端经Web网络访问第二群组或第三群组的业务终端,第二群组或第三群组的业务终端采用属性重加密算法向第一群组的业务终端提供访问权限。
4.根据权利要求1所述的基于负载自动监测的政务运维方法,其特征在于,在步骤4中,业务终端i向调度服务器上报性能参数Pi和负载参数Li,调度服务器根据性能参数Pi和负载参数Li生成业务终端i的动态负载值Ri,存入设备负载队列,i为正整数。
5.根据权利要求1所述的基于负载自动监测的政务运维方法,其特征在于,在步骤5中,调度服务器提取设备负载队列中第一群组的多个业务终端的动态负载值,并将需求文件存储至动态负载值最小的业务终端。
6.根据权利要求1所述的基于负载自动监测的政务运维方法,其特征在于,调度服务器预测任意业务终端基于第一任务文件的修正负载值,根据修正负载值的大小将业务终端的标识符存入第一子队列。
7.根据权利要求6所述的基于负载自动监测的政务运维方法,其特征在于,调度服务器预测业务终端i基于第一任务文件e的修正负载值为Fei
Figure DEST_PATH_IMAGE002
,Hij为业务终端j与业务终端i的网络堵塞度,业务终端j访问第一任务文件e的概率为Gej,m为业务终端的数量。
8.根据权利要求7所述的基于负载自动监测的政务运维方法,其特征在于,调度服务器根据第一任务文件e的热度Ee以及存储第一任务文件的业务终端i的动态负载值Ri、磁盘占用率Di、带宽占用率Wi确定第一任务文件e的副本指数Se
9.根据权利要求2所述的基于负载自动监测的政务运维方法,其特征在于,还包括:步骤13:调度服务器根据设备负载队列创建基于需求文件的第二子队列;
步骤14:若需求文件的副本指数大于指数上限,调度服务器根据第二子队列在业务终端中创建需求文件的副本;
步骤15:若需求文件的副本指数小于指数下限,调度服务器根据第二子队列删除业务终端中需求文件的副本。
10.一种根据权利要求1所述基于负载自动监测的政务运维方法的政务运维系统,包括位于执行部门的业务终端、位于监管部门的监管终端以及调度服务器,其特征在于,
监管终端生成目标业务的需求文件,第一群组的至少一个业务终端读取需求文件,创建基于需求文件的第一任务文件,
调度服务器生成业务终端的设备负载队列,并根据设备负载队列将需求文件或第一任务文件存储至业务终端,
调度服务器根据访问集合生成设备负载队列的第一子队列,并基于第一子队列在业务终端中生成或删除第一任务文件的副本。
CN202211197034.5A 2022-09-29 2022-09-29 基于负载自动监测的政务运维方法和系统 Active CN115297122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211197034.5A CN115297122B (zh) 2022-09-29 2022-09-29 基于负载自动监测的政务运维方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211197034.5A CN115297122B (zh) 2022-09-29 2022-09-29 基于负载自动监测的政务运维方法和系统

Publications (2)

Publication Number Publication Date
CN115297122A true CN115297122A (zh) 2022-11-04
CN115297122B CN115297122B (zh) 2023-01-20

Family

ID=83834754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211197034.5A Active CN115297122B (zh) 2022-09-29 2022-09-29 基于负载自动监测的政务运维方法和系统

Country Status (1)

Country Link
CN (1) CN115297122B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2538329A1 (en) * 2011-06-21 2012-12-26 Unified Computing Limited A Method of Processing Multiple Components of a Processing Job in Parallel Across a Plurality of Clusters
CN103150347A (zh) * 2013-02-07 2013-06-12 浙江大学 基于文件热度的动态副本管理方法
US20170070567A1 (en) * 2015-09-07 2017-03-09 Electronics And Telecommunications Research Institute Load balancing apparatus and load balancing method
CN108965381A (zh) * 2018-05-31 2018-12-07 康键信息技术(深圳)有限公司 基于Nginx的负载均衡实现方法、装置、计算机设备和介质
CN109492017A (zh) * 2018-09-18 2019-03-19 平安科技(深圳)有限公司 业务信息查询处理方法、系统、计算机设备和存储介质
CN109491797A (zh) * 2018-11-26 2019-03-19 深圳市斯博科技有限公司 数据存储方法、系统及计算机可读存储介质
US20190098080A1 (en) * 2017-09-22 2019-03-28 Simon Bermudez System and method for platform to securely distribute compute workload to web capable devices
CN110362426A (zh) * 2019-06-21 2019-10-22 华中科技大学 一种面向突发性负载的选择性副本实现方法及系统
CN111338770A (zh) * 2020-02-12 2020-06-26 咪咕文化科技有限公司 一种任务调度的方法、服务器和计算机可读存储介质
CN113420076A (zh) * 2021-06-02 2021-09-21 浪潮软件股份有限公司 一种政务服务平台的服务调度方法及调度模型系统
CN114944963A (zh) * 2022-07-12 2022-08-26 数字江西科技有限公司 一种政务数据开放方法和系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2538329A1 (en) * 2011-06-21 2012-12-26 Unified Computing Limited A Method of Processing Multiple Components of a Processing Job in Parallel Across a Plurality of Clusters
CN103150347A (zh) * 2013-02-07 2013-06-12 浙江大学 基于文件热度的动态副本管理方法
US20170070567A1 (en) * 2015-09-07 2017-03-09 Electronics And Telecommunications Research Institute Load balancing apparatus and load balancing method
US20190098080A1 (en) * 2017-09-22 2019-03-28 Simon Bermudez System and method for platform to securely distribute compute workload to web capable devices
CN108965381A (zh) * 2018-05-31 2018-12-07 康键信息技术(深圳)有限公司 基于Nginx的负载均衡实现方法、装置、计算机设备和介质
CN109492017A (zh) * 2018-09-18 2019-03-19 平安科技(深圳)有限公司 业务信息查询处理方法、系统、计算机设备和存储介质
CN109491797A (zh) * 2018-11-26 2019-03-19 深圳市斯博科技有限公司 数据存储方法、系统及计算机可读存储介质
CN110362426A (zh) * 2019-06-21 2019-10-22 华中科技大学 一种面向突发性负载的选择性副本实现方法及系统
CN111338770A (zh) * 2020-02-12 2020-06-26 咪咕文化科技有限公司 一种任务调度的方法、服务器和计算机可读存储介质
CN113420076A (zh) * 2021-06-02 2021-09-21 浪潮软件股份有限公司 一种政务服务平台的服务调度方法及调度模型系统
CN114944963A (zh) * 2022-07-12 2022-08-26 数字江西科技有限公司 一种政务数据开放方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钟闰禄等: "工件多目标设计中的一种动态负载均衡算法", 《计算机工程与设计》 *

Also Published As

Publication number Publication date
CN115297122B (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
CN111027736B (zh) 多目标优化下的微服务组合部署与调度方法
WO2019119897A1 (zh) 一种边缘计算服务缓存方法、系统、装置及可读存储介质
US9015229B1 (en) Determining placement of user data to optimize resource utilization for distributed systems
AU2015229200B2 (en) Coordinated admission control for network-accessible block storage
CN107770259A (zh) 基于文件热度和节点负载的副本数量动态调整方法
CN109582758B (zh) 一种Elasticsearch索引分片优化方法
CN103227754B (zh) 一种高可用集群系统负载动态均衡方法及节点设备
CN103176849B (zh) 一种基于资源分类的虚拟机集群的部署方法
Xie et al. Pandas: robust locality-aware scheduling with stochastic delay optimality
CN112860695B (zh) 监控数据查询方法、装置、设备、存储介质及程序产品
CN108462736B (zh) 一种面向QoS的云存储数据副本存储方法
CN111258980B (zh) 一种云存储系统中基于组合预测的动态文件放置方法
CN112445857A (zh) 一种基于数据库的资源配额管理方法和装置
Li et al. Scalable and dynamic replica consistency maintenance for edge-cloud system
CN108416054A (zh) 基于文件访问热度的动态hdfs副本个数计算方法
CN102932271A (zh) 负载均衡的实现方法和装置
CN113382074A (zh) 一种基于动态反馈的微服务负载均衡优化方法
CN113923216B (zh) 一种分布式集群限流系统及方法和分布式集群节点
CN108920282B (zh) 一种支持负载均衡的内容副本生成、放置及更新方法
US11755541B2 (en) Distributed file system and method for accessing a file in such a system
CN110597598A (zh) 一种云环境中的虚拟机迁移的控制方法
CN115297122B (zh) 基于负载自动监测的政务运维方法和系统
Li et al. Adaptive replica creation and selection strategies for latency-aware application in collaborative edge-cloud system
WO2023093194A1 (zh) 一种云监控方法和云管理平台
Gao et al. Compact, popularity-aware and adaptive hybrid data placement schemes for heterogeneous cloud storage

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant