CN111427660A - 上传机调度方法及装置 - Google Patents

上传机调度方法及装置 Download PDF

Info

Publication number
CN111427660A
CN111427660A CN202010196049.4A CN202010196049A CN111427660A CN 111427660 A CN111427660 A CN 111427660A CN 202010196049 A CN202010196049 A CN 202010196049A CN 111427660 A CN111427660 A CN 111427660A
Authority
CN
China
Prior art keywords
uploading
machine
service weight
alternative
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010196049.4A
Other languages
English (en)
Other versions
CN111427660B (zh
Inventor
刘凤霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202010196049.4A priority Critical patent/CN111427660B/zh
Publication of CN111427660A publication Critical patent/CN111427660A/zh
Application granted granted Critical
Publication of CN111427660B publication Critical patent/CN111427660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45579—I/O management, e.g. providing access to device drivers or storage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种上传机调度方法及装置，方法包括：获取客户端传输的上传请求，其中，所述上传请求中携带所述客户端的运营信息；根据所述运营信息为所述客户端选择备选上传机的集合；根据所述集合中每个备选上传机的最新的服务权重值，选择用于为所述上传请求服务的上传机。本申请用以解决根据预先配置的上传机的权重进行调度，无法合理协调各上位机的资源，难以为用户提供最佳服务的问题。

Description

上传机调度方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种上传机调度方法及装置。
背景技术
分布式上传系统中，有大量上传机可供调度。上传机中有些是虚拟机，有些是物理机，各上传机的硬件配置、机器年限以及所处网络情况差异较大，如何合理调度上传机是一个难题。
目前，大都是预先配置上传机的权重，根据预先配置的上传机的权重，进行选择调度。该方式无法合理协调各上位机的资源，难以为用户提供最佳的服务。
发明内容
本申请提供了一种上传机调度方法及装置，用以解决根据预先配置的上传机的权重进行调度，无法合理协调各上位机的资源，难以为用户提供最佳服务的问题。
第一方面，本申请实施例提供了一种上传机调度方法，包括：
获取客户端传输的上传请求，其中，所述上传请求中携带所述客户端的运营信息；
根据所述运营信息为所述客户端选择备选上传机的集合；
根据所述集合中每个备选上传机的最新的服务权重值，选择用于为所述上传请求服务的上传机；
其中，所述备选上传机的最新的服务权重值的确定过程为：若在最近的设定周期内获得所述备选上传机的机器指标数据，则根据最新获得的所述备选上传机的机器指标数据，确定所述备选上传机的最新的服务权重值；若在最近的设定周期内未获得所述备选上传机的机器指标数据，则将所述备选上传机的最新的服务权重值设为零或者设为初始的服务权重值。
可选地，所述机器指标数据包括空闲内存、空闲CPU、磁盘IO响应时间和实时出口速率；
根据最新获得的所述备选上传机的机器指标数据，确定所述备选上传机的最新的服务权重值，包括：
将最新获得的所述备选上传机的机器指标数据，输入服务权重计算模型，获得所述服务权重计算模型输出的所述备选上传机的最新的服务权重值；
所述服务权重计算模型表示为：
Y＝Floor((A*x1+B*x2+C*x3+D*x4)*E)；
其中，A为所述服务权重计算模型的第一参数，B为所述服务权重计算模型的第二参数，C为所述服务权重计算模型的第三参数，D为所述服务权重计算模型的第四参数，x1为所述空闲内存与已知的空闲内存最大值的比值，x2为所述空闲CPU与已知的空闲CPU最大值的比值，x3为所述磁盘IO响应时间与已知的磁盘IO响应时间最大值的比值，x4为所述实时出口速率与已知的实时出口速率最大值的比值，Y表示所述服务权重值，所述E为已知量，表示允许的最大权重值。
可选地，所述方法还包括：
每经过所述设定周期，统计在所述设定周期内返回机器指标数据和服务质量数据的可用上传机的数量；
根据所述设定周期内最新获得的所述服务质量数据对所述可用上传机进行升序排序，根据排序后所述可用上传机的排名以及所述可用上传机的数量，确定所述可用上传机的第一服务权重值；
将所述设定周期内最新获得的所述机器指标数据，输入至所述服务权重计算模型，并不断调整所述服务权重计算模型中所述第一参数、所述第二参数、所述第三参数和所述第四参数的值，直至所述服务权重计算模型输出的第二服务权重值，与所述第一服务权重值的方差最小时为止；
将所述方差最小时的所述服务权重计算模型，作为下一个所述设定周期内使用的所述服务权重计算模型。
可选地，根据排序后所述可用上传机的排名以及所述可用上传机的数量，确定所述可用上传机的第一服务权重值，包括：
计算所述可用上传机的排名与所述可用上传机的数量的比值，将所得的结果除以所述允许的最大权重值后，向下取整，得到所述可用上传机的第一服务权重值。
可选地，根据所述集合中每个备选上传机的最新的服务权重值，选择用于为所述上传请求服务的上传机，包括：
根据所述集合中每个备选上传机的最新的服务权重值，通过加权随机算法选择用于为所述上传请求服务的上传机。
第二方面，本申请实施例提供了一种上传机调度装置，包括：
获取模块，用于获取客户端传输的上传请求，其中，所述上传请求中携带所述客户端的运营信息；
第一选择模块，用于根据所述运营信息为所述客户端选择备选上传机的集合；
第二选择模块，用于根据所述集合中每个备选上传机的最新的服务权重值，选择用于为所述上传请求服务的上传机；
权重确定模块，用于若在最近的设定周期内获得所述备选上传机的机器指标数据，则根据最新获得的所述备选上传机的机器指标数据，确定所述备选上传机的最新的服务权重值；若在最近的设定周期内未获得所述备选上传机的机器指标数据，则将所述备选上传机的最新的服务权重值设为零或者设为初始的服务权重值。
可选地，所述机器指标数据包括空闲内存、空闲CPU、磁盘IO响应时间和实时出口速率；
所述权重确定模块具体用于：
将最新获得的所述备选上传机的机器指标数据，输入服务权重计算模型，获得所述服务权重计算模型输出的所述备选上传机的最新的服务权重值；
所述服务权重计算模型表示为：
Y＝Floor((A*x1+B*x2+C*x3+D*x4)*E)；
其中，A为所述服务权重计算模型的第一参数，B为所述服务权重计算模型的第二参数，C为所述服务权重计算模型的第三参数，D为所述服务权重计算模型的第四参数，x1为所述空闲内存与已知的空闲内存最大值的比值，x2为所述空闲CPU与已知的空闲CPU最大值的比值，x3为所述磁盘IO响应时间与已知的磁盘IO响应时间最大值的比值，x4为所述实时出口速率与已知的实时出口速率最大值的比值，Y表示所述服务权重值，所述E为已知量，表示允许的最大权重值。
可选地，所述装置还包括更新模块，用于：
每经过所述设定周期，统计在所述设定周期内返回机器指标数据和服务质量数据的可用上传机的数量；
根据所述设定周期内最新获得的所述服务质量数据对所述可用上传机进行升序排序，根据排序后所述可用上传机的排名以及所述可用上传机的数量，确定所述可用上传机的第一服务权重值；
将所述设定周期内最新获得的所述机器指标数据，输入至所述服务权重计算模型，并不断调整所述服务权重计算模型中所述第一参数、所述第二参数、所述第三参数和所述第四参数的值，直至所述服务权重计算模型输出的第二服务权重值，与所述第一服务权重值的方差最小时为止；
将所述方差最小时的所述服务权重计算模型，作为下一个所述设定周期内使用的所述服务权重计算模型。
可选地，所述更新模块具体用于：
计算所述可用上传机的排名与所述可用上传机的数量的比值，将所得的结果除以所述允许的最大权重值后，向下取整，得到所述可用上传机的第一服务权重值。
可选地，所述第二选择模块具体用于：
根据所述集合中每个备选上传机的最新的服务权重值，通过加权随机算法选择用于为所述上传请求服务的上传机。
第三方面，本申请提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；所述存储器，用于存储计算机程序；所述处理器，用于执行所述存储器中所存储的程序，实现第一方面所述的上传机调度方法。
第四方面，本申请提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的上传机调度方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，采用最新获得的备选上传机的机器指标数据更新该上传机的服务权重值，使得更新后的服务权重值能够反映当前各上位机的资源情况，根据更新的服务权重值，为上传请求选择服务的上传机，使得能够根据各备选上传机的机器指标数据选择合适的上传机，相较于固定服务权重值的方式，能够合理协调上位机的资源，为用户提供最佳的服务。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为本申请实施例中上传机调度的方法流程示意图；
图2为本申请实施例中更新服务权重计算模型的过程示意图；
图3为本申请实施例中上传机调度装置的结构示意图；
图4为本申请实施例中电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例中提供了一种上传机调度方法，应用于任何一个电子设备，尤其适用于对上传机进行调度管理的设备。
需要说明的是，本申请实施例中的上传机是指用于为上传请求提供上传服务的虚拟机或物理机。
如图1所示，上传机调度的具体过程如下：
步骤101，获取客户端传输的上传请求，其中，该上传请求中携带该客户端的运营信息。
其中，该客户端的运营信息包括该客户端所属的运营商以及所属的运营地区。
步骤102，根据客户端的运营信息为该客户端选择备选上传机的集合。
具体地，备选上传机的集合是按照客户端所属的运营商以及所属的运营地区筛选得到。即，筛选出与该客户端所属的运营商相同，且与该客户端所属的运营地区相同的一批上传机，组成备选上传机的集合。
步骤103，根据该集合中每个备选上传机的最新的服务权重值，选择用于为上传请求服务的上传机。
其中，备选上传机的最新的服务权重值的确定过程为：若在最近的设定周期内获得该备选上传机的机器指标数据，则根据最新获得的该备选上传机的机器指标数据，确定该备选上传机的最新的服务权重值；若在最近的设定周期内未获得该备选上传机的机器指标数据，则将该备选上传机的最新的服务权重值设为零或者初始的服务权重值。
需要说明的是，在初始时，备选上传机的服务权重值均为初始的服务权重值，后续每经过一个设定周期更新各备选上传机的服务权重值，在更新过程中，如果在该设定周期内未获取该备选上传机的机器指标数据，则将该备选上传机的最新的服务权重值置为零。
一个具体实施例中，根据集合中每个备选上传机的最新的服务权重值，通过加权随机算法选择用于为该上传请求服务的上传机。
例如，假设有S1～S4四个备选上传机，该四个备选上传机最新的服务权重值为{S1:5，S2:2，S3:2，S4:1}，根据该四个备选上传机最新的服务权重值对备选上传机的集合进行扩展得到{S1,S1,S1,S1,S1,S2,S2,S3,S3,S4}，等概率(即按照均匀随机算法)从扩展得到的集合中随机选取一个备选上传机用于为该上传请求服务。
一个具体实施例中，机器指标数据包括空闲内存、空闲CPU、磁盘IO响应时间和实时出口速率。上传机每间隔预设时长返回该机器指标数据。
具体地，将最新获得的所述备选上传机的机器指标数据，输入服务权重计算模型，获得所述服务权重计算模型输出的所述备选上传机的最新的服务权重值。
服务权重计算模型表示为：
Y＝Floor((A*x1+B*x2+C*x3+D*x4)*E)；
其中，A为服务权重计算模型的第一参数，B为服务权重计算模型的第二参数，C为服务权重计算模型的第三参数，D为服务权重计算模型的第四参数，x1为空闲内存与已知的空闲内存最大值的比值，该比值的最大值为1，x2为空闲CPU与已知的空闲CPU最大值的比值，该比值的最大值为1，x3为磁盘IO响应时间与已知的磁盘IO响应时间最大值的比值，该比值的最大值为1，x4为实时出口速率与已知的实时出口速率最大值的比值，该比值的最大值为1，Y表示服务权重值，E为已知量，表示允许的最大权重值。“Floor”表示的运算为向下取整，“*”表示乘法符号。
例如，假设用于上传机调度的系统允许的空闲内存最大值为16G，系统允许的空闲CPU最大值为8，系统允许的磁盘IO响应时间最大值为0.5ms，系统允许的实时出口速率最大值为2G，系统允许的最大权重值为200。根据系统的不同，空闲内存最大值、空闲CPU最大值、磁盘IO响应时间最大值、实时出口速率最大值、系统允许的最大权重值的取值也不同，根据系统的实际情况确定。A的初始值为0.4，B的初始值为0.2，C的初始值为0.2，D的初始值为0.2。当然，A、B、C、D的初始值可以任意设定。
一个具体实施例中，首先，在初始时，根据初始的服务权重计算模型，为各上传机计算出初始的服务权重值，然后，每经过设定周期对服务权重计算模型中的A、B、C和D四个参数进行调整，以保证服务权重计算模型输出的服务权重值的准确性。
具体地，更新服务权重计算模型中参数的过程如图2所示：
步骤201，每经过设定周期，统计在该设定周期内返回机器指标数据和服务质量数据的可用上传机的数量。
步骤202，根据该设定周期内最新获得的服务质量数据对该可用上传机进行升序排序，根据排序后该可用上传机的排名以及该可用上传机的数量，确定该可用上传机的第一服务权重值。
具体地，上传机每间隔预设时长返回该预设时长内的服务质量数据，该服务质量数据包括上传成功率和平均上传速率。预设时长小于设定周期所占用的时长。
根据设定周期内最新预设时长内返回的服务质量数据，对可用上传机进行升序排序，具体为：优先按照上传成功率进行排序。服务质量数据A和B比较时，如果A的上传成功率大于B的上传成功率，则A排在后面；如果A的上传成功率等于B的上传成功率，A和B中平均上传速率较大的排在后面；如果A的上传成功率小于B的上传成功率，则B排在后面。
例如，每间隔1分钟获取上传机返回的机器指标数据和服务质量数据。每间隔5分钟采用该5分钟内获取到的机器指标数据和服务质量数据更新服务权重计算模型中的参数。若5分钟内都未收到某上传机返回的机器指标数据和服务质量数据，则将该上传机的服务权重值置为零。
具体地，计算该可用上传机的排名与该可用上传机的数量的比值，将所得的结果除以该允许的最大权重值后，向下取整，得到可用上传机的第一服务权重值。表示为：Y1＝Floor((可用上传机的排名/可用上传机的数量)*允许的最大权重值)，其中，Y1表示第一服务权重值，“Floor”表示的运算为向下取整。
步骤203，将该设定周期内最新获得的机器指标数据，输入至该服务权重计算模型，并不断调整该服务权重计算模型中第一参数、第二参数、第三参数和第四参数的值，直至该服务权重计算模型输出的第二服务权重值，与第一服务权重值的方差最小时为止。
步骤204，将该方差最小时的服务权重计算模型，作为下一个设定周期内使用的服务权重计算模型。
本申请实施例中，采用最新获得的备选上传机的机器指标数据更新该上传机的服务权重值，使得更新后的服务权重值能够反映当前各上位机的资源情况，根据更新的服务权重值，为上传请求选择服务的上传机，使得能够根据各备选上传机的机器指标数据选择合适的上传机，相较于固定服务权重值的方式，能够合理协调上位机的资源，为用户提供最佳的服务。
基于同一构思，本申请实施例中提供了一种上传机调度装置，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述。如图3所示，该装置主要包括：
获取模块301，用于获取客户端传输的上传请求，其中，所述上传请求中携带所述客户端的运营信息；
第一选择模块302，用于根据所述运营信息为所述客户端选择备选上传机的集合；
第二选择模块303，用于根据所述集合中每个备选上传机的最新的服务权重值，选择用于为所述上传请求服务的上传机；
权重确定模块304，用于若在最近的设定周期内获得所述备选上传机的机器指标数据，则根据最新获得的所述备选上传机的机器指标数据，确定所述备选上传机的最新的服务权重值；若在最近的设定周期内未获得所述备选上传机的机器指标数据，则将所述备选上传机的最新的服务权重值设为零或者设为初始的服务权重值。
可选地，所述机器指标数据包括空闲内存、空闲CPU、磁盘IO响应时间和实时出口速率；所述权重确定模块具体用于：
将最新获得的所述备选上传机的机器指标数据，输入服务权重计算模型，获得所述服务权重计算模型输出的所述备选上传机的最新的服务权重值；
所述服务权重计算模型表示为：
Y＝Floor((A*x1+B*x2+C*x3+D*x4)*E)；
其中，A为所述服务权重计算模型的第一参数，B为所述服务权重计算模型的第二参数，C为所述服务权重计算模型的第三参数，D为所述服务权重计算模型的第四参数，x1为所述空闲内存与已知的空闲内存最大值的比值，x2为所述空闲CPU与已知的空闲CPU最大值的比值，x3为所述磁盘IO响应时间与已知的磁盘IO响应时间最大值的比值，x4为所述实时出口速率与已知的实时出口速率最大值的比值，Y表示所述服务权重值，所述E为已知量，表示允许的最大权重值。
可选地，所述装置还包括更新模块，用于：
每经过所述设定周期，统计在所述设定周期内返回机器指标数据和服务质量数据的可用上传机的数量；
根据所述设定周期内最新获得的所述服务质量数据对所述可用上传机进行升序排序，根据排序后所述可用上传机的排名以及所述可用上传机的数量，确定所述可用上传机的第一服务权重值；
将所述设定周期内最新获得的所述机器指标数据，输入至所述服务权重计算模型，并不断调整所述服务权重计算模型中所述第一参数、所述第二参数、所述第三参数和所述第四参数的值，直至所述服务权重计算模型输出的第二服务权重值，与所述第一服务权重值的方差最小时为止；
将所述方差最小时的所述服务权重计算模型，作为下一个所述设定周期内使用的所述服务权重计算模型。
可选地，所述更新模块具体用于：
计算所述可用上传机的排名与所述可用上传机的数量的比值，将所得的结果除以所述允许的最大权重值后，向下取整，得到所述可用上传机的第一服务权重值。
可选地，所述第二选择模块具体用于：
根据所述集合中每个备选上传机的最新的服务权重值，通过加权随机算法选择用于为所述上传请求服务的上传机。
本申请实施例中，权重确定模块采用最新获得的备选上传机的机器指标数据更新该上传机的服务权重值，使得更新后的服务权重值能够反映当前各上位机的资源情况，第二选择模块根据权重确定模块更新的服务权重值，为上传请求选择服务的上传机，使得能够根据各备选上传机的机器指标数据选择合适的上传机，相较于固定服务权重值的方式，能够合理协调上位机的资源，为用户提供最佳的服务。
基于同一构思，本申请实施例中还提供了一种电子设备，如图4所示，该电子设备主要包括：处理器401、通信接口402、存储器403和通信总线404，其中，处理器401、通信接口402和存储器403通过通信总线404完成相互间的通信。其中，存储器403中存储有可被至处理器401执行的程序，处理器401执行存储器403中存储的程序，实现如下步骤：获取客户端传输的上传请求，其中，所述上传请求中携带所述客户端的运营信息；根据所述运营信息为所述客户端选择备选上传机的集合；根据所述集合中每个备选上传机的最新的服务权重值，选择用于为所述上传请求服务的上传机；其中，所述备选上传机的最新的服务权重值的确定过程为：若在最近的设定周期内获得所述备选上传机的机器指标数据，则根据最新获得的所述备选上传机的机器指标数据，确定所述备选上传机的最新的服务权重值；若在最近的设定周期内未获得所述备选上传机的机器指标数据，则将所述备选上传机的最新的服务权重值设为零或者设为初始的服务权重值。
上述电子设备中提到的通信总线404可以时外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该通信总线404可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口402用于上述电子设备与其他设备之间的通信。
存储器403可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器401的存储装置。
上述的处理器401可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例中，处理器采用最新获得的备选上传机的机器指标数据更新该上传机的服务权重值，使得更新后的服务权重值能够反映当前各上位机的资源情况，处理器根据更新的服务权重值，为上传请求选择服务的上传机，使得能够根据各备选上传机的机器指标数据选择合适的上传机，相较于固定服务权重值的方式，能够合理协调上位机的资源，为用户提供最佳的服务。
在本申请的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，使得计算机执行上述实施例中所描述的上传机调度方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以时通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD)或者半导体介质(例如固态硬盘)等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种上传机调度方法，其特征在于，包括：
获取客户端传输的上传请求，其中，所述上传请求中携带所述客户端的运营信息；
根据所述运营信息为所述客户端选择备选上传机的集合；
根据所述集合中每个备选上传机的最新的服务权重值，选择用于为所述上传请求服务的上传机；
其中，所述备选上传机的最新的服务权重值的确定过程为：若在最近的设定周期内获得所述备选上传机的机器指标数据，则根据最新获得的所述备选上传机的机器指标数据，确定所述备选上传机的最新的服务权重值；若在最近的设定周期内未获得所述备选上传机的机器指标数据，则将所述备选上传机的最新的服务权重值设为零或者设为初始的服务权重值。
2.根据权利要求1所述的上传机调度方法，其特征在于，所述机器指标数据包括空闲内存、空闲CPU、磁盘IO响应时间和实时出口速率；
根据最新获得的所述备选上传机的机器指标数据，确定所述备选上传机的最新的服务权重值，包括：
将最新获得的所述备选上传机的机器指标数据，输入服务权重计算模型，获得所述服务权重计算模型输出的所述备选上传机的最新的服务权重值；
所述服务权重计算模型表示为：
Y＝Floor((A*x1+B*x2+C*x3+D*x4)*E)；
其中，A为所述服务权重计算模型的第一参数，B为所述服务权重计算模型的第二参数，C为所述服务权重计算模型的第三参数，D为所述服务权重计算模型的第四参数，x1为所述空闲内存与已知的空闲内存最大值的比值，x2为所述空闲CPU与已知的空闲CPU最大值的比值，x3为所述磁盘IO响应时间与已知的磁盘IO响应时间最大值的比值，x4为所述实时出口速率与已知的实时出口速率最大值的比值，Y表示所述服务权重值，所述E为已知量，表示允许的最大权重值。
3.根据权利要求2所述的上传机调度方法，其特征在于，所述方法还包括：
每经过所述设定周期，统计在所述设定周期内返回机器指标数据和服务质量数据的可用上传机的数量；
根据所述设定周期内最新获得的所述服务质量数据对所述可用上传机进行升序排序，根据排序后所述可用上传机的排名以及所述可用上传机的数量，确定所述可用上传机的第一服务权重值；
将所述设定周期内最新获得的所述机器指标数据，输入至所述服务权重计算模型，并不断调整所述服务权重计算模型中所述第一参数、所述第二参数、所述第三参数和所述第四参数的值，直至所述服务权重计算模型输出的第二服务权重值，与所述第一服务权重值的方差最小时为止；
将所述方差最小时的所述服务权重计算模型，作为下一个所述设定周期内使用的所述服务权重计算模型。
4.根据权利要求3所述的上传机调度方法，其特征在于，根据排序后所述可用上传机的排名以及所述可用上传机的数量，确定所述可用上传机的第一服务权重值，包括：
计算所述可用上传机的排名与所述可用上传机的数量的比值，将所得的结果除以所述允许的最大权重值后，向下取整，得到所述可用上传机的第一服务权重值。
5.根据权利要求1至4任一项所述的上传机调度方法，其特征在于，根据所述集合中每个备选上传机的最新的服务权重值，选择用于为所述上传请求服务的上传机，包括：
根据所述集合中每个备选上传机的最新的服务权重值，通过加权随机算法选择用于为所述上传请求服务的上传机。
6.一种上传机调度装置，其特征在于，包括：
获取模块，用于获取客户端传输的上传请求，其中，所述上传请求中携带所述客户端的运营信息；
第一选择模块，用于根据所述运营信息为所述客户端选择备选上传机的集合；
第二选择模块，用于根据所述集合中每个备选上传机的最新的服务权重值，选择用于为所述上传请求服务的上传机；
权重确定模块，用于若在最近的设定周期内获得所述备选上传机的机器指标数据，则根据最新获得的所述备选上传机的机器指标数据，确定所述备选上传机的最新的服务权重值；若在最近的设定周期内未获得所述备选上传机的机器指标数据，则将所述备选上传机的最新的服务权重值设为零或者设为初始的服务权重值。
7.根据权利要求6所述的上传机调度装置，其特征在于，所述机器指标数据包括空闲内存、空闲CPU、磁盘IO响应时间和实时出口速率；
所述权重确定模块具体用于：
将最新获得的所述备选上传机的机器指标数据，输入服务权重计算模型，获得所述服务权重计算模型输出的所述备选上传机的最新的服务权重值；
所述服务权重计算模型表示为：
Y＝Floor((A*x1+B*x2+C*x3+D*x4)*E)；
其中，A为所述服务权重计算模型的第一参数，B为所述服务权重计算模型的第二参数，C为所述服务权重计算模型的第三参数，D为所述服务权重计算模型的第四参数，x1为所述空闲内存与已知的空闲内存最大值的比值，x2为所述空闲CPU与已知的空闲CPU最大值的比值，x3为所述磁盘IO响应时间与已知的磁盘IO响应时间最大值的比值，x4为所述实时出口速率与已知的实时出口速率最大值的比值，Y表示所述服务权重值，所述E为已知量，表示允许的最大权重值。
8.根据权利要求7所述的上传机调度装置，其特征在于，所述装置还包括更新模块，用于：
每经过所述设定周期，统计在所述设定周期内返回机器指标数据和服务质量数据的可用上传机的数量；
根据所述设定周期内最新获得的所述服务质量数据对所述可用上传机进行升序排序，根据排序后所述可用上传机的排名以及所述可用上传机的数量，确定所述可用上传机的第一服务权重值；
将所述设定周期内最新获得的所述机器指标数据，输入至所述服务权重计算模型，并不断调整所述服务权重计算模型中所述第一参数、所述第二参数、所述第三参数和所述第四参数的值，直至所述服务权重计算模型输出的第二服务权重值，与所述第一服务权重值的方差最小时为止；
将所述方差最小时的所述服务权重计算模型，作为下一个所述设定周期内使用的所述服务权重计算模型。
9.根据权利要求8所述的上传机调度装置，其特征在于，所述更新模块具体用于：
计算所述可用上传机的排名与所述可用上传机的数量的比值，将所得的结果除以所述允许的最大权重值后，向下取整，得到所述可用上传机的第一服务权重值。
10.根据权利要求6至9任一项所述的上传机调度装置，其特征在于，所述第二选择模块具体用于：
根据所述集合中每个备选上传机的最新的服务权重值，通过加权随机算法选择用于为所述上传请求服务的上传机。
CN202010196049.4A 2020-03-19 2020-03-19 上传机调度方法及装置 Active CN111427660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010196049.4A CN111427660B (zh) 2020-03-19 2020-03-19 上传机调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010196049.4A CN111427660B (zh) 2020-03-19 2020-03-19 上传机调度方法及装置

Publications (2)

Publication Number Publication Date
CN111427660A true CN111427660A (zh) 2020-07-17
CN111427660B CN111427660B (zh) 2023-07-25

Family

ID=71548156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010196049.4A Active CN111427660B (zh) 2020-03-19 2020-03-19 上传机调度方法及装置

Country Status (1)

Country Link
CN (1) CN111427660B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111953938A (zh) * 2020-07-31 2020-11-17 中标慧安信息技术股份有限公司 监控视频轮换上传方法及系统
CN115361379A (zh) * 2022-10-24 2022-11-18 广州市千钧网络科技有限公司 一种视频上传服务器调配方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170155695A1 (en) * 2015-11-26 2017-06-01 Le Holdings (Beijing) Co., Ltd. Method, device and system for uploading live video
CN108762924A (zh) * 2018-05-28 2018-11-06 郑州云海信息技术有限公司 一种负载均衡的方法、装置和计算机可读存储介质
CN109241425A (zh) * 2018-08-31 2019-01-18 腾讯科技（深圳）有限公司 一种资源推荐方法、装置、设备及存储介质
CN109254842A (zh) * 2017-07-12 2019-01-22 腾讯科技（深圳）有限公司 分布式流式系统的资源管理方法、装置及可读存储介质
CN109831524A (zh) * 2019-03-11 2019-05-31 平安科技（深圳）有限公司 一种负载均衡处理方法及装置
CN110188990A (zh) * 2019-04-26 2019-08-30 阿里巴巴集团控股有限公司 一种资源请求和资金请求分流方法、装置及设备
CN110708373A (zh) * 2019-09-29 2020-01-17 苏州浪潮智能科技有限公司 一种访问请求处理的方法、装置、设备以及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170155695A1 (en) * 2015-11-26 2017-06-01 Le Holdings (Beijing) Co., Ltd. Method, device and system for uploading live video
CN109254842A (zh) * 2017-07-12 2019-01-22 腾讯科技（深圳）有限公司 分布式流式系统的资源管理方法、装置及可读存储介质
CN108762924A (zh) * 2018-05-28 2018-11-06 郑州云海信息技术有限公司 一种负载均衡的方法、装置和计算机可读存储介质
CN109241425A (zh) * 2018-08-31 2019-01-18 腾讯科技（深圳）有限公司 一种资源推荐方法、装置、设备及存储介质
CN109831524A (zh) * 2019-03-11 2019-05-31 平安科技（深圳）有限公司 一种负载均衡处理方法及装置
CN110188990A (zh) * 2019-04-26 2019-08-30 阿里巴巴集团控股有限公司 一种资源请求和资金请求分流方法、装置及设备
CN110708373A (zh) * 2019-09-29 2020-01-17 苏州浪潮智能科技有限公司 一种访问请求处理的方法、装置、设备以及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111953938A (zh) * 2020-07-31 2020-11-17 中标慧安信息技术股份有限公司 监控视频轮换上传方法及系统
CN111953938B (zh) * 2020-07-31 2021-06-22 中标慧安信息技术股份有限公司 监控视频轮换上传方法及系统
CN115361379A (zh) * 2022-10-24 2022-11-18 广州市千钧网络科技有限公司 一种视频上传服务器调配方法和装置

Also Published As

Publication number Publication date
CN111427660B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
JP6479999B2 (ja) ニュースリストの更新方法および装置
CN111158613B (zh) 基于访问热度的数据块存储方法、装置及存储设备
CN107305611B (zh) 恶意账号对应的模型建立方法和装置、恶意账号识别的方法和装置
CN111427660A (zh) 上传机调度方法及装置
CN110413510B (zh) 一种数据处理方法、装置及设备
CN110851987B (zh) 基于加速比预测计算时长的方法、装置和存储介质
CN109885729B (zh) 一种显示数据的方法、装置及系统
CN112995765B (zh) 一种网络资源显示方法及装置
CN115098257A (zh) 一种资源调度方法、装置、设备以及存储介质
CN114690731A (zh) 一种关联场景推荐方法、装置、存储介质及电子装置
CN112883275B (zh) 一种直播间推荐方法、装置、服务器及介质
CN108055387B (zh) 一种推荐信息显示方法、装置、电子设备及可读存储介质
CN108062401B (zh) 应用推荐方法、装置及存储介质
CN116847132B (zh) 基于时间分片的视频更新方法、装置、电子设备及存储介质
JP6219564B2 (ja) 作業情報管理システム、作業情報管理プログラム及び作業情報管理装置
KR101508328B1 (ko) 운동 기구의 제어 방법
CN113205578B (zh) 图层处理方法、图层渲染方法及相关设备
CN115269123A (zh) 一种容器资源调整方法、装置、电子设备及介质
CN114446427A (zh) 电子设备及健康数据归属识别方法
JP2022097617A5 (zh)
CN110688623B (zh) 高阶lr模型的训练优化方法、装置、设备及存储介质
CN112506896B (zh) 一种数据删除方法、装置及电子设备
CN107678861B (zh) 处理功能执行请求的方法和装置
CN112751924B (zh) 一种数据推送方法、系统及装置
JP2020198135A (ja) ハイパーパラメータチューニング方法、装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant