CN115714817A - 一种动态反馈加权云存储资源调度方法、装置及设备 - Google Patents
一种动态反馈加权云存储资源调度方法、装置及设备 Download PDFInfo
- Publication number
- CN115714817A CN115714817A CN202211371974.1A CN202211371974A CN115714817A CN 115714817 A CN115714817 A CN 115714817A CN 202211371974 A CN202211371974 A CN 202211371974A CN 115714817 A CN115714817 A CN 115714817A
- Authority
- CN
- China
- Prior art keywords
- cloud storage
- service
- node
- service node
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000004044 response Effects 0.000 claims abstract description 54
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 7
- 238000005259 measurement Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及跨地域云存储资源的调度技术领域，公开了一种动态反馈加权云存储资源调度方法、装置及设备。本发明从各云存储服务节点预申请对应的存储资源，存储包括节点的服务响应数据在内的存储资源信息至预置缓存池，接收到智能设备发送的存储请求时，基于各节点的地理属地权值信息、负载阈值及服务响应数据计算各节点的服务性能权值，以确定最优云存储服务节点，将存储请求调度至最优云存储服务节点。本发明在加权最小连接调度算法的基础上计算各节点的服务性能权值以作为资源调度依据，能够在不需要部署相关性能采集程序的情况下实现对下游服务负载情况的测算，提升了云存储资源调度的合理性和可靠性，能够适用于使用第三方云存储服务的场景。
Description
技术领域
本发明涉及跨地域云存储资源的调度技术领域，尤其涉及一种动态反馈加权云存储资源调度方法、装置及设备。
背景技术
目前基于云存储技术实现对智能设备(例如智能探头、智能门铃等)所采集数据的存储服务。
云存储资源分配一般使用就近策略，即根据地理位置就近分配服务资源。但这种静态的分配策略，往往无法兼顾存储服务提供质量、服务出口带宽、服务价格、服务并发数等因素，从而不能有效最大化存储服务业务发展。
现有技术中通过采用基于加权最小连接的云存储资源调度优化方案来优化云存储资源分配。例如，公开号为CN106790381A的中国发明专利提供了一种基于加权最小连接的动态反馈负载均衡方法，该方法在高流量的多服务器节点并行网络中，结合反向Nginx反向代理服务器，改进加权最小连接算法，使之进行优化，在不增加通信开销的基础上，实现上游服务器负载信息的采集，并动态修改Nginx反向代理服务器上的上游服务器权值，为优化负载分配提供依据。公开号为CN103338228A的中国发明专利提供了一种基于双加权最小连接算法的云计算负载均衡调度算法，该算法在加权最小连接调度算法对资源服务器的性能进行加权的基础上，采用服务器上CPU空闲率和内存空闲率等实时信息动态地表示服务器性能的权值，从而充分评估和利用各节点服务器的剩余处理能力；根据任务类型的复杂程度为任务赋予相应的权值；为保证装置在长时间运行状态下各个节点的负载不发生较大的倾斜，每次分配任务之前，调度器将计算出每个服务器上所有任务的权值之和与服务器性能的权值之比，将新任务分配给比值最小的服务器。
然而，上述现有的云存储资源调度方案在执行时，需要对提供存储服务的基础设施安装额外的采集程序，以收集相关动态反馈信息。当使用第三方云存储服务时，因难以在第三方云存储服务节点部署相关采集程序而不能收集相关性能指标，导致相关方法无法使用。
发明内容
本发明提供了一种动态反馈加权云存储资源调度方法、装置及设备，解决了现有云存储资源调度优化方案在使用第三方云存储服务的场景下因难以部署相关性能指标的采集程序而无法使用的技术问题。
本发明第一方面提供一种动态反馈加权云存储资源调度方法，包括：
获取云存储预配置信息，所述云存储预配置信息包括注册的各云存储服务节点的地理属地权值信息、负载阈值和资源预申请数量；
根据所述云存储预配置信息从各所述云存储服务节点预申请对应的存储资源，存储相应的存储资源信息至预置缓存池；所述存储资源信息包括各所述云存储服务节点对相应存储资源的服务响应数据；
接收到智能设备发送的存储请求时，基于所述地理属地权值信息、所述负载阈值及所述预置缓存池中的服务响应数据计算各所述云存储服务节点的服务性能权值；
根据计算得到的服务性能权值从各所述云存储服务节点中确定最优云存储服务节点，将所述存储请求调度至所述最优云存储服务节点。
根据本发明第一方面的一种能够实现的方式，所述基于所述地理属地权值信息、所述负载阈值及所述预置缓存池中的服务响应数据计算各所述云存储服务节点的服务性能权值，包括：
基于所述预置缓存池中的服务响应数据确定各所述云存储服务节点的当前并发连接数及各预置连续时间段内的平均响应时间；
按照下式计算各所述云存储服务节点的服务性能权值：
式中，W(Si)表示云存储服务节点Si的服务性能权值，T(Si)为云存储服务节点Si的负载阈值，C(Si)为云存储服务节点Si的当前并发连接数，R1(Si)为云存储服务节点Si在1分钟内服务的平均响应时间，Rj(Si)为云存储服务节点Si在j分钟内服务的平均响应时间，n为预置服务时间，L(Si)为云存储服务节点Si的地理属地权值，k1为可承载并发量对于服务性能权值的权值系数，k2为服务响应对应的权值系数，k3为地理属地属性对应的权值系数，k1+k2+k3＝1。
根据本发明第一方面的一种能够实现的方式，所述基于所述地理属地权值信息、所述负载阈值、所述当前并发连接数及所述服务响应数据计算各所述云存储服务节点的服务性能权值，还包括：
设置k1＝0.6、k2＝0.35及k3＝0.05。
根据本发明第一方面的一种能够实现的方式，所述存储请求包括属地存储要求，所述根据计算得到的服务性能权值从各所述云存储服务节点中确定最优云存储服务节点，包括：
从各所述云存储服务节点中选择满足所述属地存储要求的云存储服务节点作为备选节点；
从各所述备选节点中选取服务性能权值最大的作为最优云存储服务节点。
根据本发明第一方面的另一种能够实现的方式，所述根据计算得到的服务性能权值从各所述云存储服务节点中确定最优云存储服务节点，包括：
从各所述云存储服务节点中选择服务性能权值最大的作为最优云存储服务节点。
根据本发明第一方面的一种能够实现的方式，所述方法还包括：
在将所述存储请求调度至所述最优云存储服务节点之后，记录对应的调度结果信息，将所述调度结果信息存储至所述预置缓存池。
根据本发明第一方面的一种能够实现的方式，所述云存储预配置信息还包括缓存时间阈值，所述方法还包括：
若存储资源信息在所述预置缓存池的存储时长达到缓存时间阈值，从各所述云存储服务节点预申请新的存储资源，以更新当前的存储资源信息。
本发明第二方面提供一种动态反馈加权云存储资源调度装置，包括：
获取模块，用于获取云存储预配置信息，所述云存储预配置信息包括注册的各云存储服务节点的地理属地权值信息、负载阈值和资源预申请数量；
预申请模块，用于根据所述云存储预配置信息从各所述云存储服务节点预申请对应的存储资源，存储相应的存储资源信息至预置缓存池；所述存储资源信息包括各所述云存储服务节点对相应存储资源的服务响应数据；
计算模块，用于接收到智能设备发送的存储请求时，基于所述地理属地权值信息、所述负载阈值及所述预置缓存池中的服务响应数据计算各所述云存储服务节点的服务性能权值；
调度模块，用于根据计算得到的服务性能权值从各所述云存储服务节点中确定最优云存储服务节点，将所述存储请求调度至所述最优云存储服务节点。
根据本发明第二方面的一种能够实现的方式，所述计算模块包括：
确定单元，用于基于所述预置缓存池中的服务响应数据确定各所述云存储服务节点的当前并发连接数及各预置连续时间段内的平均响应时间；
计算单元，用于按照下式计算各所述云存储服务节点的服务性能权值：
式中，W(Si)表示云存储服务节点Si的服务性能权值，T(Si)为云存储服务节点Si的负载阈值，C(Si)为云存储服务节点Si的当前并发连接数，R1(Si)为云存储服务节点Si在1分钟内服务的平均响应时间，Rj(Si)为云存储服务节点Si在j分钟内服务的平均响应时间，n为预置服务时间，L(Si)为云存储服务节点Si的地理属地权值，k1为可承载并发量对于服务性能权值的权值系数，k2为服务响应对应的权值系数，k3为地理属地属性对应的权值系数，k1+k2+k3＝1。
根据本发明第二方面的一种能够实现的方式，所述计算模块还包括：
设置单元，用于设置k1＝0.6、k2＝0.35及k3＝0.05。
根据本发明第二方面的一种能够实现的方式，所述存储请求包括属地存储要求，所述调度模块包括：
第一选择单元，用于从各所述云存储服务节点中选择满足所述属地存储要求的云存储服务节点作为备选节点；
第二选择单元，用于从各所述备选节点中选取服务性能权值最大的作为最优云存储服务节点。
根据本发明第二方面的另一种能够实现的方式，所述调度模块包括：
第三选择单元，用于从各所述云存储服务节点中选择服务性能权值最大的作为最优云存储服务节点。
在一种能够实现的方式中，所述装置还包括：
调度记录模块，用于在将所述存储请求调度至所述最优云存储服务节点之后，记录对应的调度结果信息，将所述调度结果信息存储至所述预置缓存池。
根据本发明第二方面的一种能够实现的方式，所述云存储预配置信息还包括缓存时间阈值，所述装置还包括：
更新模块，用于若存储资源信息在所述预置缓存池的存储时长达到缓存时间阈值，从各所述云存储服务节点预申请新的存储资源，以更新当前的存储资源信息。
本发明第三方面提供了一种动态反馈加权云存储资源调度设备，包括：
存储器，用于存储指令；其中，所述指令用于实现如上任意一项能够实现的方式所述的动态反馈加权云存储资源调度方法；
处理器，用于执行所述存储器中的指令。
本发明第四方面一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项能够实现的方式所述的动态反馈加权云存储资源调度方法。
从以上技术方案可以看出，本发明具有以下优点：
本发明根据云存储预配置信息从各云存储服务节点预申请对应的存储资源，存储包括节点的服务响应数据在内的存储资源信息至预置缓存池，接收到智能设备发送的存储请求时，基于各云存储服务节点的地理属地权值信息、负载阈值及服务响应数据计算各云存储服务节点的服务性能权值，根据计算得到的服务性能权值从各云存储服务节点中确定最优云存储服务节点，将所述存储请求调度至最优云存储服务节点；本发明在加权最小连接调度算法的基础上，通过己方可获取的服务响应数据获得各节点的并发连接数和服务平均响应时间等动态因素，结合预先得到的节点属地信息计算各节点的服务性能权值以作为资源调度依据，能够在不需要部署相关性能采集程序的情况下实现对下游服务负载情况的测算，提升了云存储资源调度的合理性和可靠性，能够适用于使用第三方云存储服务的场景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明一个可选实施例提供的一种动态反馈加权云存储资源调度方法的流程图；
图2为本发明一个可选实施例提供的一种动态反馈加权云存储资源调度方法的原理示意图；
图3为本发明一个可选实施例提供的一种动态反馈加权云存储资源调度装置的结构连接框图。
附图标记：
1-获取模块；2-预申请模块；3-计算模块；4-调度模块。
具体实施方式
本发明实施例提供了一种动态反馈加权云存储资源调度方法、装置及设备，用于解决现有云存储资源调度优化方案在使用第三方云存储服务的场景下因难以部署相关性能指标的采集程序而无法使用的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供了一种动态反馈加权云存储资源调度方法。
图1示出了本发明实施例提供的一种动态反馈加权云存储资源调度方法的流程图；图2示出了本发明一个可选实施例提供的一种动态反馈加权云存储资源调度方法的原理示意图。
请参阅图1、图2，本发明实施例提供的一种动态反馈加权云存储资源调度方法，包括步骤S1-S4。
步骤S1，获取云存储预配置信息，所述云存储预配置信息包括注册的各云存储服务节点的地理属地权值信息、负载阈值和资源预申请数量。
该云存储预配置信息可以在执行该方法的装置/设备初始化时得到。
其中，地理属地权值信息可按照云存储服务节点的地理位置，根据实际情况设置各地理位置对应的权值得到。例如，可以根据实际业务需求指定各目标区域范围，对每个目标区域范围设置相应的位置权值，根据各云存储服务节点的位置所属的目标区域范围确定相应的地理属地权值。又例如，可以根据节点距离执行本申请方法的装置/设备的远近进行地理属地权值的设置。具体地，对距离执行本申请方法的装置/设备较近的云存储服务节点设置较大的地理属地权值，以利于本地化存储。
作为具体的实施方式，地理属地权值的大小范围在0～1之间，以利于后续服务性能权值的计算。
需要说明的是，该地理属地权值的大小范围也可以根据实际需要进行调整，例如设置在0.2～0.8之间，又例如设置在0.2～1.2之间。
其中，资源预申请数量用于指导后续预申请对应存储资源的数量。
步骤S2，根据所述云存储预配置信息从各所述云存储服务节点预申请对应的存储资源，存储相应的存储资源信息至预置缓存池；所述存储资源信息包括各所述云存储服务节点对相应存储资源的服务响应数据。
作为具体的实施方式，如图2所示，该预置缓存池为Redis缓存池。当然，该预置缓存池也可以根据实际情况采用其他适用的现有的数据库形式。
所述存储资源信息还包括提供预申请的存储资源的云存储服务节点的标识以及对应存储资源的相应信息，例如存储资源的存储类型、容量大小、接口类型及接口地址。
存储相应的存储资源信息至预置缓存池时，可以按照不同云存储服务节点进行分区存储，从而将相应的存储资源信息存储至不同的容器中，以便于后续存储资源的调度。
步骤S3，接收到智能设备发送的存储请求时，基于所述地理属地权值信息、所述负载阈值及所述预置缓存池中的服务响应数据计算各所述云存储服务节点的服务性能权值。
计算各所述云存储服务节点的服务性能权值时，首先基于所述预置缓存池中的服务响应数据获得各云存储服务节点的当前并发连接数及各预置连续时间段内的平均响应时间，进而根据所获得的数据计算各所述云存储服务节点的服务性能权值。
在一种能够实现的方式中，按照下式计算各所述云存储服务节点的服务性能权值：
式中，W(Si)表示云存储服务节点Si的服务性能权值，T(Si)为云存储服务节点Si的负载阈值，C(Si)为云存储服务节点Si的当前并发连接数，R1(Si)为云存储服务节点Si在1分钟内服务的平均响应时间，Rj(Si)为云存储服务节点Si在j分钟内服务的平均响应时间，n为预置服务时间，L(Si)为云存储服务节点Si的地理属地权值，k1为可承载并发量对于服务性能权值的权值系数，k2为服务响应对应的权值系数，k3为地理属地属性对应的权值系数，k1+k2+k3＝1。
在具体的实施方式中，设置n≤30min。
本实施例中，云存储服务节点的服务性能权值由
和
三部分构成。为便于计算，此处L(Si)的设置值为0～1之间。
由第一部分公式可知，负载越高，对应的公式值越小，相应的服务性能权值计算结果越小；由第二部分公式可知，云硬盘性能接近为线性，在响应幅度变化越大下得到的公式值越大甚至出现负值，导致整个服务性能权值变小。在方法执行初始阶段，因第一部分的公式值接近k1，第二部分的公式值接近0，则主要由第三部分公式影响云存储服务节点的服务性能权值。基于此，为提高服务性能权值计算的合理性，作为具体的实施方式，设置k1＝0.6、k2＝0.35及k3＝0.05。
需要说明的是，还可以根据实际情况对k1,k2,k3设置其他的值。
本实施例中，对于第二部分公式，是基于云存储服务节点的1～n分钟对应的服务的平均响应时间来计算的。在其他能够实现的方式中，可根据实际需求，以若干个分钟内服务的平均响应时间来计算。例如，可获取云存储服务节点Si在1分钟内服务的平均响应时间R1(Si)、在5分钟内服务的平均响应时间R5(Si)、在10分钟内服务的平均响应时间R10(Si)以及在30分钟内服务的平均响应时间R30(Si)进行第二部分的计算，则第二部分的公式替换为：
本发明上述实施例，通过己方可获取的服务响应数据获得各节点的并发连接数和服务平均响应时间等动态因素，考虑了服务承载能力、并发性能、实时响应、属地信息，结合缓存数据的快速计算，对关键因素进行加权，实现了对各节点的服务性能权值的计算，为后续资源调度提供依据。本实施例，能够在不需要部署相关性能采集程序的情况下实现对下游服务负载情况的测算。
步骤S4，根据计算得到的服务性能权值从各所述云存储服务节点中确定最优云存储服务节点，将所述存储请求调度至所述最优云存储服务节点。
将所述存储请求调度至所述最优云存储服务节点时，具体地，根据智能设备的缓存请求，从预置缓存池中获取该最优云存储服务节点相应的资源信息，组装成响应报文并反馈至该智能设备。
在一种能够实现的方式中，所述存储请求包括属地存储要求，所述根据计算得到的服务性能权值从各所述云存储服务节点中确定最优云存储服务节点，包括：
从各所述云存储服务节点中选择满足所述属地存储要求的云存储服务节点作为备选节点；
从各所述备选节点中选取服务性能权值最大的作为最优云存储服务节点。
作为具体的实施方式，所述属地存储要求可以包括所请求存储资源的属地区域范围。进而，在执行该方法时，可以根据存储服务节点的地理位置，将属于该属地区域范围的存储服务节点作为备选节点。
在其他实施方式中，所述属地存储要求还可以是与目标云存储服务节点的距离阈值。进而，在执行该方法时，可以根据存储服务节点的地理位置，确定智能设备与各存储服务节点的距离，进而选取距离不大于该距离阈值所对应的存储服务节点作为备选节点。
本实施例中，结合属地存储要求确定最优云存储服务节点，使得资源调度更加满足智能设备的存储需求，适用于有存储属地要求的资源调度场景。
在另一种能够实现的方式中，所述根据计算得到的服务性能权值从各所述云存储服务节点中确定最优云存储服务节点，包括：
从各所述云存储服务节点中选择服务性能权值最大的作为最优云存储服务节点。
本实施例中，选择服务性能权值最大的作为最优云存储服务节点，可以适用于存储请求没有存储属地要求时的场景。
在一种能够实现的方式中，所述方法还包括：
在将所述存储请求调度至所述最优云存储服务节点之后，记录对应的调度结果信息，将所述调度结果信息存储至所述预置缓存池。
在一种能够实现的方式中，所述云存储预配置信息还包括缓存时间阈值，所述方法还包括：
若存储资源信息在所述预置缓存池的存储时长达到缓存时间阈值，从各所述云存储服务节点预申请新的存储资源，以更新当前的存储资源信息。
本实施例中，利用缓存时间阈值设置数据过期策略，通过该策略可以自动淘汰过期数据，实现缓存池中预申请的存储资源信息的更新。
本发明还提供了一种动态反馈加权云存储资源调度装置，该装置用于执行本发明上述任一项实施例所述的动态反馈加权云存储资源调度方法。作为具体的实施方式，该动态反馈加权云存储资源调度装置为云存储网关。
请参阅图3，图3示出了本发明实施例提供的一种动态反馈加权云存储资源调度装置的结构连接框图。
本发明实施例提供的一种动态反馈加权云存储资源调度装置，包括：
获取模块1，用于获取云存储预配置信息，所述云存储预配置信息包括注册的各云存储服务节点的地理属地权值信息、负载阈值和资源预申请数量；
预申请模块2，用于根据所述云存储预配置信息从各所述云存储服务节点预申请对应的存储资源，存储相应的存储资源信息至预置缓存池；所述存储资源信息包括各所述云存储服务节点对相应存储资源的服务响应数据；
计算模块3，用于接收到智能设备发送的存储请求时，基于所述地理属地权值信息、所述负载阈值及所述预置缓存池中的服务响应数据计算各所述云存储服务节点的服务性能权值；
调度模块4，用于根据计算得到的服务性能权值从各所述云存储服务节点中确定最优云存储服务节点，将所述存储请求调度至所述最优云存储服务节点。
在一种能够实现的方式中，所述计算模块3包括：
确定单元，用于基于所述预置缓存池中的服务响应数据确定各所述云存储服务节点的当前并发连接数及各预置连续时间段内的平均响应时间；
计算单元，用于按照下式计算各所述云存储服务节点的服务性能权值：
式中，W(Si)表示云存储服务节点Si的服务性能权值，T(Si)为云存储服务节点Si的负载阈值，C(Si)为云存储服务节点Si的当前并发连接数，R1(Si)为云存储服务节点Si在1分钟内服务的平均响应时间，Rj(Si)为云存储服务节点Si在j分钟内服务的平均响应时间，n为预置服务时间，L(Si)为云存储服务节点Si的地理属地权值，k1为可承载并发量对于服务性能权值的权值系数，k2为服务响应对应的权值系数，k3为地理属地属性对应的权值系数，k1+k2+k3＝1。
在一种能够实现的方式中，所述计算模块3还包括：
设置单元，用于设置k1＝0.6、k2＝0.35及k3＝0.05。
在一种能够实现的方式中，所述存储请求包括属地存储要求，所述调度模块4包括：
第一选择单元，用于从各所述云存储服务节点中选择满足所述属地存储要求的云存储服务节点作为备选节点；
第二选择单元，用于从各所述备选节点中选取服务性能权值最大的作为最优云存储服务节点。
在另一种能够实现的方式中，所述调度模块4包括：
第三选择单元，用于从各所述云存储服务节点中选择服务性能权值最大的作为最优云存储服务节点。
在一种能够实现的方式中，所述装置还包括：
调度记录模块，用于在将所述存储请求调度至所述最优云存储服务节点之后，记录对应的调度结果信息，将所述调度结果信息存储至所述预置缓存池。
在一种能够实现的方式中，所述云存储预配置信息还包括缓存时间阈值，所述装置还包括：
更新模块，用于若存储资源信息在所述预置缓存池的存储时长达到缓存时间阈值，从各所述云存储服务节点预申请新的存储资源，以更新当前的存储资源信息。
本发明还提供了一种动态反馈加权云存储资源调度设备，包括：
存储器，用于存储指令；其中，所述指令用于实现如上任意一项实施例所述的动态反馈加权云存储资源调度方法；
处理器，用于执行所述存储器中的指令。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项实施例所述的动态反馈加权云存储资源调度方法。
本发明上述实施例，基于加权最小连接调度算法，在无法采集下游云存储服务相关性能参数的情况下，利用服务响应信息，并考虑了服务承载能力、并发性能和属地信息，结合缓存数据对关键因素进行加权，实现对下游云存储服务性能的权值的快速计算，并基于服务性能权值，将存储任务分配给合适的下游服务器节点，为服务调度提供了依据，能够有效提高云存储资源调度的合理性和可靠性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程，上述描述的装置、设备和模块的具体有益效果，可以参考前述方法实施例中的对应有益效果，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种动态反馈加权云存储资源调度方法，其特征在于，包括：
获取云存储预配置信息，所述云存储预配置信息包括注册的各云存储服务节点的地理属地权值信息、负载阈值和资源预申请数量；
根据所述云存储预配置信息从各所述云存储服务节点预申请对应的存储资源，存储相应的存储资源信息至预置缓存池；所述存储资源信息包括各所述云存储服务节点对相应存储资源的服务响应数据；
接收到智能设备发送的存储请求时，基于所述地理属地权值信息、所述负载阈值及所述预置缓存池中的服务响应数据计算各所述云存储服务节点的服务性能权值；
根据计算得到的服务性能权值从各所述云存储服务节点中确定最优云存储服务节点，将所述存储请求调度至所述最优云存储服务节点。
2.根据权利要求1所述的动态反馈加权云存储资源调度方法，其特征在于，所述基于所述地理属地权值信息、所述负载阈值及所述预置缓存池中的服务响应数据计算各所述云存储服务节点的服务性能权值，包括：
基于所述预置缓存池中的服务响应数据确定各所述云存储服务节点的当前并发连接数及各预置连续时间段内的平均响应时间；
按照下式计算各所述云存储服务节点的服务性能权值：
式中，W(Si)表示云存储服务节点Si的服务性能权值，T(Si)为云存储服务节点Si的负载阈值，C(Si)为云存储服务节点Si的当前并发连接数，R1(Si)为云存储服务节点Si在1分钟内服务的平均响应时间，Rj(Si)为云存储服务节点Si在j分钟内服务的平均响应时间，n为预置服务时间，L(Si)为云存储服务节点Si的地理属地权值，k1为可承载并发量对于服务性能权值的权值系数，k2为服务响应对应的权值系数，k3为地理属地属性对应的权值系数，k1+k2+k3＝1。
3.根据权利要求2所述的动态反馈加权云存储资源调度方法，其特征在于，所述基于所述地理属地权值信息、所述负载阈值、所述当前并发连接数及所述服务响应数据计算各所述云存储服务节点的服务性能权值，还包括：
设置k1＝0.6、k2＝0.35及k3＝0.05。
4.根据权利要求1所述的动态反馈加权云存储资源调度方法，其特征在于，所述存储请求包括属地存储要求，所述根据计算得到的服务性能权值从各所述云存储服务节点中确定最优云存储服务节点，包括：
从各所述云存储服务节点中选择满足所述属地存储要求的云存储服务节点作为备选节点；
从各所述备选节点中选取服务性能权值最大的作为最优云存储服务节点。
5.根据权利要求1所述的动态反馈加权云存储资源调度方法，其特征在于，所述根据计算得到的服务性能权值从各所述云存储服务节点中确定最优云存储服务节点，包括：
从各所述云存储服务节点中选择服务性能权值最大的作为最优云存储服务节点。
6.根据权利要求1所述的动态反馈加权云存储资源调度方法，其特征在于，所述方法还包括：
在将所述存储请求调度至所述最优云存储服务节点之后，记录对应的调度结果信息，将所述调度结果信息存储至所述预置缓存池。
7.根据权利要求1所述的动态反馈加权云存储资源调度方法，其特征在于，所述云存储预配置信息还包括缓存时间阈值，所述方法还包括：
若存储资源信息在所述预置缓存池的存储时长达到缓存时间阈值，从各所述云存储服务节点预申请新的存储资源，以更新当前的存储资源信息。
8.一种动态反馈加权云存储资源调度装置，其特征在于，包括：
获取模块，用于获取云存储预配置信息，所述云存储预配置信息包括注册的各云存储服务节点的地理属地权值信息、负载阈值和资源预申请数量；
预申请模块，用于根据所述云存储预配置信息从各所述云存储服务节点预申请对应的存储资源，存储相应的存储资源信息至预置缓存池；所述存储资源信息包括各所述云存储服务节点对相应存储资源的服务响应数据；
计算模块，用于接收到智能设备发送的存储请求时，基于所述地理属地权值信息、所述负载阈值及所述预置缓存池中的服务响应数据计算各所述云存储服务节点的服务性能权值；
调度模块，用于根据计算得到的服务性能权值从各所述云存储服务节点中确定最优云存储服务节点，将所述存储请求调度至所述最优云存储服务节点。
9.一种动态反馈加权云存储资源调度设备，其特征在于，包括：
存储器，用于存储指令；其中，所述指令用于实现如权利要求1-7任意一项所述的动态反馈加权云存储资源调度方法；
处理器，用于执行所述存储器中的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述的动态反馈加权云存储资源调度方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211371974.1A CN115714817A (zh) | 2022-11-03 | 2022-11-03 | 一种动态反馈加权云存储资源调度方法、装置及设备 |
| PCT/CN2023/129274 WO2024094104A1 (zh) | 2022-11-03 | 2023-11-02 | 一种动态反馈加权云存储资源调度方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211371974.1A CN115714817A (zh) | 2022-11-03 | 2022-11-03 | 一种动态反馈加权云存储资源调度方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115714817A true CN115714817A (zh) | 2023-02-24 |
Family
ID=85232227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211371974.1A Pending CN115714817A (zh) | 2022-11-03 | 2022-11-03 | 一种动态反馈加权云存储资源调度方法、装置及设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115714817A (zh) |
| WO (1) | WO2024094104A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116361006A (zh) * | 2023-03-31 | 2023-06-30 | 山东省计算中心（国家超级计算济南中心） | 面向存算分离的算网资源协同调度方法及系统 |
| CN117195316A (zh) * | 2023-08-21 | 2023-12-08 | 深圳市云存宝技术有限公司 | 一种基于云技术的云硬盘管理方法、装置、服务器及介质 |
-
2022
- 2022-11-03 CN CN202211371974.1A patent/CN115714817A/zh active Pending
-
2023
- 2023-11-02 WO PCT/CN2023/129274 patent/WO2024094104A1/zh unknown
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116361006A (zh) * | 2023-03-31 | 2023-06-30 | 山东省计算中心（国家超级计算济南中心） | 面向存算分离的算网资源协同调度方法及系统 |
| CN116361006B (zh) * | 2023-03-31 | 2023-11-21 | 山东省计算中心（国家超级计算济南中心） | 面向存算分离的算网资源协同调度方法及系统 |
| CN117195316A (zh) * | 2023-08-21 | 2023-12-08 | 深圳市云存宝技术有限公司 | 一种基于云技术的云硬盘管理方法、装置、服务器及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024094104A1 (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Segue: Quality of service aware edge cloud service migration | |
| CN115714817A (zh) | 一种动态反馈加权云存储资源调度方法、装置及设备 | |
| Liu et al. | Minimum-cost cloud storage service across multiple cloud providers | |
| CN102035737A (zh) | 一种基于认知网络的自适应负载均衡方法和装置 | |
| CN110933139A (zh) | 一种解决Web服务器高并发的系统及方法 | |
| CN110365765A (zh) | 一种缓存服务器的带宽调度方法及装置 | |
| CN113348651A (zh) | 切片的虚拟网络功能的动态云间放置 | |
| Zhao et al. | MAESP: Mobility aware edge service placement in mobile edge networks | |
| Ziafat et al. | A hierarchical structure for optimal resource allocation in geographically distributed clouds | |
| US20050038800A1 (en) | Calculation of sevice performance grades in a multi-node environment that hosts the services | |
| CN107566535B (zh) | 基于Web地图服务并发访问时序规则的自适应负载均衡方法 | |
| Han et al. | Utility-optimized resource allocation in computing-aware networks | |
| CN110213450B (zh) | 基于多中心的手语在线客服分配管理方法、装置及系统 | |
| CN113543160A (zh) | 5g切片资源配置方法、装置、计算设备及计算机存储介质 | |
| CN103825963A (zh) | 虚拟服务迁移方法 | |
| CN115190121B (zh) | 基于跨地域的微服务过量负载调度系统、方法及设备 | |
| Wang et al. | A novel network selection approach in 5G heterogeneous networks using Q-learning | |
| CN109040283A (zh) | 一种基于差值反馈式的改进型负载均衡算法 | |
| Milocco et al. | Evaluating the upper bound of energy cost saving by proactive data center management | |
| Tripathi et al. | Dynamic internet pricing with service level agreements for multihomed clients | |
| CN113672372B (zh) | 一种基于强化学习的多边缘协同负载均衡任务调度方法 | |
| Alam et al. | Reliability-based formation of cloud federations using game theory | |
| Zhu et al. | Load balancing algorithm for web server based on weighted minimal connections | |
| CN117203944A (zh) | 算力网络的资源调度方法 | |
| CN110554916B (zh) | 基于分布式集群的风险指标计算方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240318 Address after: Unit 1, Building 1, China Telecom Zhejiang Innovation Park, No. 8 Xiqin Street, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311100 Applicant after: Tianyi Shilian Technology Co.,Ltd. Country or region after: China Address before: 200000 room 1423, No. 1256 and 1258, Wanrong Road, Jing'an District, Shanghai Applicant before: Tianyi Digital Life Technology Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right |