CN114020447B - 一种对车流大数据处理进行服务器资源分配的方法 - Google Patents

一种对车流大数据处理进行服务器资源分配的方法 Download PDF

Info

Publication number
CN114020447B
CN114020447B CN202111150250.XA CN202111150250A CN114020447B CN 114020447 B CN114020447 B CN 114020447B CN 202111150250 A CN202111150250 A CN 202111150250A CN 114020447 B CN114020447 B CN 114020447B
Authority
CN
China
Prior art keywords
server
unit
allocation
scheduling server
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111150250.XA
Other languages
English (en)
Other versions
CN114020447A (zh
Inventor
李卫
杨瑞
曹树康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Information Consulting and Designing Institute Co Ltd
Original Assignee
China Information Consulting and Designing Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Information Consulting and Designing Institute Co Ltd filed Critical China Information Consulting and Designing Institute Co Ltd
Priority to CN202111150250.XA priority Critical patent/CN114020447B/zh
Publication of CN114020447A publication Critical patent/CN114020447A/zh
Application granted granted Critical
Publication of CN114020447B publication Critical patent/CN114020447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Multi Processors (AREA)

Abstract

本发明提供了一种对车流大数据处理进行服务器资源分配的方法，包括：调度服务器动态获取处理服务器的资源；设定可分配的总数；设定限定条件；得到权重总值；调度服务器计算各单元的分配数；调度服务器对步骤5的分配数进行处理；调度服务器对各单元初步分配值进行求和；调度服务器进行判定，输出各单元初步分配值，在剩余未分配的数量中，调度服务器取1个数量进行分配，将这个名额分配给影响系数最小的单元，直至所有剩余未分配数量全部被分完。本发明给出了因限定条件而无法得到绝对公平的分配方案的情况下，最接近绝对公平解决方案，该方案将不公平的影响降低到最小，并且通过编程来实现非常方便。

Description

一种对车流大数据处理进行服务器资源分配的方法
技术领域
本发明涉及一种对车流大数据处理进行服务器资源分配的方法。
背景技术
智慧城市中智慧交通是在交通领域中充分运用物联网、云计算、互联网、人工智能、自动控制、移动互联网等技术，通过高新技术汇集交通信息，对交通管理、交通运输、公众出行等等交通领域的大数据全方面进行管控支撑，以充分保障交通安全、提升交通系统运行效率和管理水平。然而大量的数据要进行统计、分析、处理都离不开服务器，且服务器对资源并发处理能力不同，从而服务器资源的公平分配尤为重要。
在实际智慧类应用中，经常会涉及一些资源公平分配问题，往往因为各种限定条件，而导致无法得到绝对的公平，例如对应用服务器分配任务时，当服务器处理能力不一样时，需要一种算法来进行均衡分配，既满足限定条件，同时最大程度的逼近绝对公平。
发明内容
发明目的：为解决背景技术中存在的技术问题，本发明提出一种对车流大数据处理进行服务器资源分配的方法，包括以下步骤：
包括以下步骤：
步骤1，调度服务器动态获取处理服务器的资源并分析设定待分配单元的信息，待分配单元的信息包含：单元的名称和单元的分配权重，第i个单元的分配权重记为w(i)，i取值为自然数；
步骤2，调度服务器自动获取智慧交通大数据并设定可分配的总数n，n为大于零的整数，且大于待分配单元的数量；
步骤3，通过任务服务器的配置数据，调度服务器自动设定限定条件，限定条件包括：每个分配单元可分配额度不小于阈值mi，或者可分配额度不大于阈值ma；
步骤4，调度服务器对待分配单元的权重进行累计，得到权重总值sw；
步骤5，调度服务器计算各单元的分配数，第i个单元的分配数记为a(i)；
步骤6，基于限定条件，调度服务器对步骤5的分配数进行处理，如触发限定条件，按照限定条件信息处理，未触发限定条件的，按照向下取整处理，最终得到各单元初步分配值，第i个单元的初步分配值为d(i)；
步骤7，调度服务器对各单元初步分配值进行求和得到总值s2；
步骤8，调度服务器判断s2是否大于等于n，如果是，则结束分配，输出步骤6得到的各单元初步分配值，否则继续步骤9；
步骤9，基于最小影响算法，在剩余未分配的数量中，调度服务器取1个数量进行分配，将这个名额分配给影响系数最小的单元；
步骤10，重复步骤9，直至所有剩余未分配数量全部被分完，最终形成最终方案。
步骤5中，采用如下公式计算单元的分配数；
a(i)＝w(i)×n÷sw。
步骤6中，按照如下公式得到第i个单元的初步分配值d(i)；
floor(ai(i))是对a(i)向下取整。
步骤9包括：计算得到剩余未分配数量m＝n–s2，并开始进行循环处理，循环次数为f次，f为大于0的整数，每次循环的目标是将1个剩余数量分配到影响系数f(i)最小的单元上，f(i)的计算公式如下：
f(i)＝(d(i)+1-a(i))÷a(i)。
步骤9中，所述1个数量最优值为：(n-s2)/i。
步骤10中，通过步骤9的有限迭代算法，使得s2无限逼近限定条件n，达到理论绝对公平和现实条件的最佳平衡。
有益效果：本发明具有通用性强，计算逻辑清晰易于信息化编程的特点，显著提高解决公平分配问题的效率和效果。
具体优点包括：
1、建模思路清晰，只需要提供各分配单元的权重、可分配总数，以及各分配单元的限定条件，即可快速通过此算法计算得到解决方案。
2、通过最小影响的算法，在满足限定条件的情况下，最大程度的逼近绝对公平。
3、本算法具备很强的通用性，既可用于智慧应用中的抽检方案，也可以应用于分布式计算中的资源分配。
4、计算逻辑明确，易于使用编程的方式来实现，且性能良好。
在实际使用中，该方法在涉及智慧类应用中的资源分配问题时非常有效，可以显著提高各类资源分配的公平性和解决问题的效率。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1为本发明方法流程图。
具体实施方式
如图1所示，本发明包括如下步骤：
步骤一，设定待分配单元的信息，该信息必须至少包含：单元的名称和单元的分配权重w(i)，分配权重必须为大于零的数字；
步骤二，设定可分配的总数n，该总数为大于零的整数，原则上，此总数应大于待分配单元的数量；
步骤三，设定限定条件，通常的限定条件包括：每个分配单元可分配额度不小于某个整数值mi，或者可分配额度不大于某个整数值ma；
步骤四，对待分配单元的权重进行累计，得到权重总值s1；
步骤五，基于可分配总数、权重总值、各个待分配单元的权重，按比例计算各单元的分配数a(i)；
a(i)＝w(i)×n÷sw
这些分配数是绝对公平的小数，虽然绝对公平，但小数不能最终应用到实际，需要进行后续处理；
步骤六，基于限定条件，对步骤五的分配数进行处理。如触发限定条件，按照限定条件信息处理，如低于最小可分配数量mi的，取mi，如高于最大可分配额度ma，则取ma，如果没有触发限定条件，则按照向下取整处理最终得到各单元初步分配值d(i)；
步骤七，对各单元初步分配值d(i)进行求和得到s2
步骤八，进行判断，如s2大于等于n，则结束步骤，返回分配第六步的分配结果d(i)，否则，继续下一步；
步骤九，计算得到剩余未分配数量m＝n–s2，并开始进行循环处理，循环次数为f次，f没有最大限制，分配完为止，每次循环的目标是将1个剩余数量分配到合适的单元上，具体分配给哪个单元，由最小影响系数f(i)决定，即谁的影响系数最小，就分配给谁，f(i)的计算公式如下：
f(i)＝(d(i)+1-a(i))÷a(i)
步骤十，重复步骤九，直至剩余未分配的数量全部分完，得到最终的分配方案。
实施例
场景说明：某城市智慧交通大数据有18000万条任务，需要通过调度服务器分配到不同的任务处理服务器，目前有10台服务器，要求按照服务器目前情况等比例分配任务。要求每台服务器不能低于500万条任务，不能高于3000万条。
步骤一，收集并以表格形式输入各项数据，包括任务处理服务器、原任务数，如表1所示；
表1
序号 任务处理服务器 原任务数
1 服务器A 800
2 服务器B 300
3 服务器C 1600
4 服务器D 1400
5 服务器E 900
6 服务器F 1800
7 服务器G 1200
8 服务器H 700
9 服务器I 2100
10 服务器J 1000
步骤二，设定可分配的总数n＝18000
步骤三，设定限定条件，各服务器处理能力最少500万条，最大3000万条，即mi＝500，ma＝3000；
步骤四，对各单元的权重，即各路段车流量进行累计，得到权重总值sw＝11800；
步骤五，基于可分配总数、权重总值、各个待分配单元的权重，按比例计算各单元的等比分配数a(i)；
a(i)＝w(i)×n÷sw
基于以上公式，计算结果如表2所示；
表2
序号 任务处理服务器 等比分配数a(i)
1 服务器A 1220.33898
2 服务器B 457.627119
3 服务器C 2440.67797
4 服务器D 2135.59322
5 服务器E 1372.88136
6 服务器F 2745.76271
7 服务器G 1830.50847
8 服务器H 106.779661
9 服务器I 3203.38983
10 服务器J 1525.42373
步骤六，基于限定条件，对步骤五的分配数进行处理。a(2)、a(8)触发最小限定条件，低于最小可分配数量500的，取为500；a(9)触发最大限定条件，高于最大可分配数量3000的，取为3000，其他按照向下取整处理最终得到各单元初步分配值d(i)；
计算结果如表3所示：
表3
步骤七，对各单元初步分配值d(i)进行求和得到s2＝17000
步骤八，进行判断，如s2大于等于n，则结束步骤，返回分配第六步的分配结果d(i)，否则，继续下一步；因17000小于18000，继续执行下一步。
步骤九，计算得到剩余未分配数量m＝n–s2＝18000-17000＝1000，并开始进行循环处理，循环次数为f＝5次，每次循环的目标是将200万剩余数量分配到合适的单元上，具体分配给哪个单元，由最小影响系数f(i)决定，即谁的影响系数最小，就分配给谁，f(i)的计算公式如下：
f(i)＝(d(i)+1-a(i))÷a(i)
步骤十，重复步骤九，直至剩余未分配的数量全部分完，得到最终的分配方案计算结果。两次调整结果如表4和表5所示：
表4
表5
本方法可适用于各类有限定条件的资源取整分配场景，除以上案例外，可用于多个行业，例如，可以用于检验检测行业抽检数量的设定，也可以用于软件项目中，涉及线程池。在目前的实际使用中，已采用该方法计算结果直接用于各类智慧应用系统，目前反馈效果良好。
本发明提供了一种用于智慧城市的资源分配方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种对车流大数据处理进行服务器资源分配的方法，其特征在于，包括以下步骤：
步骤1，调度服务器动态获取处理服务器的资源并分析设定待分配单元的信息，待分配单元的信息包含：单元的名称和单元的分配权重，第i个单元的分配权重记为w(i)，i取值为自然数；
步骤2，调度服务器自动获取智慧交通大数据并设定可分配的总数n，n为大于零的整数，且大于待分配单元的数量；
步骤3，通过任务服务器的配置数据，调度服务器自动设定限定条件，限定条件包括：每个分配单元可分配额度不小于阈值mi，或者可分配额度不大于阈值ma；
步骤4，调度服务器对待分配单元的权重进行累计，得到权重总值sw；
步骤5，调度服务器计算各单元的分配数，第i个单元的分配数记为a(i)；
步骤6，基于限定条件，调度服务器对步骤5的分配数进行处理，如触发限定条件，按照限定条件信息处理，未触发限定条件的，按照向下取整处理，最终得到各单元初步分配值，第i个单元的初步分配值为d(i)；
步骤7，调度服务器对各单元初步分配值进行求和得到总值s2；
步骤8，调度服务器判断s2是否大于等于n，如果是，则结束分配，输出步骤6得到的各单元初步分配值，否则继续步骤9；
步骤9，基于最小影响算法，在剩余未分配的数量中，调度服务器取1个数量进行分配，将这个名额分配给影响系数最小的单元；
步骤10，重复步骤9，直至所有剩余未分配数量全部被分完，最终形成最终方案。
2.根据权利要求1所述的方法，其特征在于，步骤5中，采用如下公式计算单元的分配数；
a(i)＝w(i)×n÷sw。
3.根据权利要求2所述的方法，其特征在于，步骤6中，按照如下公式得到第i个单元的初步分配值d(i)；
floor(ai(i))是对a(i)向下取整。
4.根据权利要求3所述的方法，其特征在于，步骤9包括：计算得到剩余未分配数量m＝n–s2，并开始进行循环处理，循环次数为f次，f为大于0的整数，每次循环的目标是将1个剩余数量分配到影响系数f(i)最小的单元上，f(i)的计算公式如下：
f(i)＝(d(i)+1-a(i))÷a(i)。
5.根据权利要求4所述的方法，其特征在于，步骤9中，所述1个数量最优值为：(n-s2)/i。
6.根据权利要求5所述的方法，其特征在于，步骤10中，通过有限迭代算法无限逼近限定条件，达到理论绝对公平和现实条件的最佳平衡。
CN202111150250.XA 2021-09-29 2021-09-29 一种对车流大数据处理进行服务器资源分配的方法 Active CN114020447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111150250.XA CN114020447B (zh) 2021-09-29 2021-09-29 一种对车流大数据处理进行服务器资源分配的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111150250.XA CN114020447B (zh) 2021-09-29 2021-09-29 一种对车流大数据处理进行服务器资源分配的方法

Publications (2)

Publication Number Publication Date
CN114020447A CN114020447A (zh) 2022-02-08
CN114020447B true CN114020447B (zh) 2024-04-12

Family

ID=80055253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111150250.XA Active CN114020447B (zh) 2021-09-29 2021-09-29 一种对车流大数据处理进行服务器资源分配的方法

Country Status (1)

Country Link
CN (1) CN114020447B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017041492A1 (zh) * 2015-09-10 2017-03-16 中兴通讯股份有限公司 一种资源分配方法、装置和计算机可读存储介质
CN111611076A (zh) * 2020-05-20 2020-09-01 云南大学 任务部署约束下移动边缘计算共享资源公平分配方法
CN111694655A (zh) * 2020-03-12 2020-09-22 武汉大学 一种面向多任务的边缘计算资源分配方法
CN111954236A (zh) * 2020-07-27 2020-11-17 河海大学 一种基于优先级的分层边缘计算卸载方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017041492A1 (zh) * 2015-09-10 2017-03-16 中兴通讯股份有限公司 一种资源分配方法、装置和计算机可读存储介质
CN111694655A (zh) * 2020-03-12 2020-09-22 武汉大学 一种面向多任务的边缘计算资源分配方法
CN111611076A (zh) * 2020-05-20 2020-09-01 云南大学 任务部署约束下移动边缘计算共享资源公平分配方法
CN111954236A (zh) * 2020-07-27 2020-11-17 河海大学 一种基于优先级的分层边缘计算卸载方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IaaS环境下多租户安全资源分配算法和安全服务调度框架;苑中梁;陈兴蜀;王毅桐;;计算机应用;20170210(02);全文 *

Also Published As

Publication number Publication date
CN114020447A (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
Banerjee et al. Development and analysis of a new cloudlet allocation strategy for QoS improvement in cloud
CN107491341B (zh) 一种基于粒子群优化的虚拟机分配方法
CN108268317B (zh) 一种资源分配方法及装置
CN105912399B (zh) 一种任务处理方法、装置及系统
CN105446979A (zh) 数据挖掘方法和节点
CN111694655A (zh) 一种面向多任务的边缘计算资源分配方法
CN110543352B (zh) 调度系统的任务分配方法及其相关的装置
CN103473120A (zh) 一种基于加速因子的多核实时系统任务划分方法
Adam et al. Due date assignment procedures with dynamically updated coefficients for multi-level assembly job shops
CN110008013A (zh) 一种最小化作业完工时间的Spark任务分配方法
CN111176840A (zh) 分布式任务的分配优化方法和装置、存储介质及电子装置
CN115134371A (zh) 包含边缘网络算力资源的调度方法、系统、设备及介质
CN114020447B (zh) 一种对车流大数据处理进行服务器资源分配的方法
CN109062683B (zh) 主机资源分配的方法、装置及计算机可读存储介质
Yadav et al. A fuzzy clustering method to minimize the inter task communication effect for optimal utilization of processor’s capacity in distributed real time systems
Delavar et al. A goal-oriented workflow scheduling in heterogeneous distributed systems
CN107155215B (zh) 一种应用归属服务集群的分配方法和装置
CN114138454B (zh) 一种边缘计算平台算力的公平分配方法及系统
CN115860407A (zh) 基于层次化和优先级的多源任务智能优化分配方法
CN114579284A (zh) 任务调度方法及装置
Tchernykh et al. Toward digital twins' workload allocation on clouds with low-cost microservices streaming interaction
Ray et al. A load balancing approach to resource provisioning in cloud infrastructure with a grouping genetic algorithm
CN108415761B (zh) 一种基于网络流量优化的Storm任务调度方法
CN108429704A (zh) 一种节点资源分配方法及装置
CN114077940A (zh) 工单的处理方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant