CN117971512A - 一种算力智能调度系统和方法 - Google Patents
一种算力智能调度系统和方法 Download PDFInfo
- Publication number
- CN117971512A CN117971512A CN202410390905.8A CN202410390905A CN117971512A CN 117971512 A CN117971512 A CN 117971512A CN 202410390905 A CN202410390905 A CN 202410390905A CN 117971512 A CN117971512 A CN 117971512A
- Authority
- CN
- China
- Prior art keywords
- price
- cloud
- obj
- sub
- instance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004364 calculation method Methods 0.000 title claims description 6
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 238000007637 random forest analysis Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种算力智能调度系统和方法，包括算力价格检索系统、价格分析系统和智能调度系统；所述算力价格检索系统主要包括检索器和存储器，用于对云厂商的产品算力价格实时检索；所述价格分析系统用于对算力价格检索系统检索的产品算力价格进行分析，得到不同云厂商定价因子的客观重要性；所述智能调度系统用于根据产品的主观重要性计算出对应的主观价格。该一种算力智能调度系统和方法，通过算力价格检索系统能够对各公有云提供的算力价格实时检索，并且分析出每个价格因子的客观重要性，客户设定每个价格因子设定一个主观重要性，重新计算出一个新的主观价格，这样得到的价格更符合客户心理预期。
Description
技术领域
本发明属于算力智能调度技术领域，尤其涉及一种算力智能调度系统和方法。
背景技术
云计算基础设置中的计算虚拟化已经比较成熟，国外的AWS、AZURE、GOOGLECLOUD，国内的阿里云、腾讯云、百度云、华为云等都提供了虚拟主机服务，在云计算充分竞争的格局下，对于闲置的算力，平台会提供超低优惠的短时计算服务，即抢占式实例，这种实例在算力上和普通主机是一样的，不同的是云厂商有权在任何时候收回而不需要征求客户的同意。虽然是价格低廉，但是要能很好的使用还是有较高的门槛，主机随时可能被回收对于线上应用的稳定性有比较大的影响。
K8S是一种云原生容器编排技术，它支持自动化部署、大规模可伸缩、应用容器化管理。相比以前直接部署在底层云主机上，容器部署和具体的物理资源解耦，能够在不同云主机之间迁移。K8S调度关注的是节点选择和容器绑定：根据应用程序所需要的资源，来匹配合适的节点，而对于节点资源本身并没有调度。
为了解决这个问题，市面上也有一些方案：
1、Rancher作为一个可以基于多种云提供商的计算资源创建不同集群的平台，可以做到当加入集群当主机不活跃时，会自动基于配置好的主机模板创建一台新的主机；
2、多云管理平台，对接不同云厂商，提供统一的资源购买和管理界面，统一账单；
3、公有云厂商如阿里云提供里容器服务ACK，允许把阿里云的抢占式实例加到ACK集群里，当抢占式实例即将释放时，会自动创建一台配置相同的抢占式实例；
4、多集群调度方案是建立多个K8S集群，每个集群只有一个云厂商的云主机，然后根据每个集群内资源情况进行调度。
但是上述方案还存在以下问题：
多云管理平台聚焦的还是资源管理的统一和账单的统一，并未涉及对资源本身的价格以及对应用的影响来选择合适的资源；
Rancher虽然可以创建多个厂商的集群，而且可以自动申请新的资源，但不同云厂商的计算资源不能在一个集群里，释放是被动的，只能到系统检测到主机不活跃了才会介入，从旧主机释放到新主机加入集群，这段时间以分钟计，系统可能不稳定，新的计算资源只能基于预设定的模板创建，也不支持抢占式实例；
类似阿里云这样的云厂商提供的方案有以下问题：只能调度自己的云资源，调度新的资源的时候，只能基于原来的配置创建一台相同的主机，而抢占式实例的价格波动性很大，原来的配置未必是当前最便宜的机型，一旦抢占式实例售罄了，就无法创建新的实例，集群内剩余的主机负载将会变高，应用可能会不稳定；
多集群方案是分而治之的方式，每个集群处理自己的伸缩，但要创建多个集群，每个集群至少要3个master节点，资源比较浪费要管理多个集群，对开发和运维都不是很方便多集群之间的负载均衡需要引入更高维度的调度者，比较复杂。
为此本发明提供一种算力智能调度系统和方法。
发明内容
本发明目的在于提供一种算力智能调度系统，以解决背景技术中所提出的技术问题。
为实现上述目的，本发明的具体技术方案如下：一种算力智能调度系统，包括算力价格检索系统、价格分析系统和智能调度系统；
所述算力价格检索系统主要包括检索器和存储器，用于对云厂商的产品算力价格实时检索；
所述价格分析系统用于对算力价格检索系统检索的产品算力价格进行分析，得到不同云厂商定价因子的客观重要性；
所述智能调度系统用于根据产品的主观重要性计算出对应的主观价格，并将创建的云资源加入集群。
优选的，所述算力价格检索系统对云厂商产品检索的方式具体包括如下步骤：
S1：系统定时触发一个更新实例规格的事件，检索器会遍历系统支持的所有云厂商，获取云厂商支持的region，然后循环获取每一个region下的所有zone，接着获取每个zone下的所有实例规格；
S2：云厂商返回规格给检索器，检索器把规格更新到存储器；
S3：存储器保存字段的有云厂商、region、zone、实例规格,cpu型号、cpu核数、cpu主频、内存大小；
S4：系统每小时触发一个更新价格事件，检索器依次从存储器中取出所有实例规格；
S5：存储器返回云厂商、region、zone、实例规格；
S6：调度器根据云厂商、region、zone、实例规格调用对应云厂商获取实例价格的接口；
S7：云厂商返回价格，包括按量付费、包年包月、抢占式三种价格；
S8：检索器把价格更新到对应的实例规格上；
S9：存储器更新该实例的按量付费价格Subj_Post_Paid_Per_Core、包年包月价格Subj_Pre_Paid_Per_Core、抢占式价格Subj_Spot_Price_Per_core，类似得到价格表。
优选的，所述价格分析系统分析的具体方式具体包括如下步骤：
T1：使用随机森林模型，把已有数据带入RandomForestRegressor模型中，价格是用抢占式每核每月价格Sub_Spot_Price_Per_Core；
T2：得到参数重要性feature_importance；
T3：得到不同云厂商定价因子的客观重要性表：
，
其中Sub_*_1+Sub_*_2+Sub_*_3+Sub_*_4+Sub_*_5=1；
T4：用按量付费价格Subj_Post_Paid_Per_Core得到按量付费客观重要性表。
优选的，所述智能调度系统的具体调度方式包括如下步骤：
Y1、用户创建一个集群，指定云厂商范围、区域范围、CPU核数范围、CPU型号范围、内存大小范围，这几个范围都是可选的；
Y2、设定区域、CPU核数、CPU型号、CPU主频、内存主观重要性:
，
其中Obj的取之范围为(1/2, 2)，并且Obj_1+Obj_2+Obj_3+Obj_4+Obj_5=5；
Y3、根据客户设定的范围，选取满足条件的实例规格和对应的价格；
Y4、计算主观价格，以阿里云为例，Obj_Price = (Obj_1*Sub_A_1 + Obj_2*Sub_A_2 + Obj_3*Sub_A_3 + Obj_4*Sub_A_4 + Obj_5*Sub_A_5) * Subj_Price，如果主观重要性都为1，那么主观价格和客观价格是一样的；
Y5、重新排序，从价格最低的实例开始创建，如果创建失败再选择次优的，依次类推直到创建的数量满足客户需求；
Y6、如果都创建失败，则按照上述方法使用按量付费价格Subj_Post_Paid_Per_Core和按量付费客观重要性和主观重要性重新计算，按量付费主观价格从低到高依次创建；
Y7、把创建的云资源都加入到集群里；
Y8、当客户有更新云资源的需求时，提交到集群管理模块；
Y9、集群管理查找当前已有的云资源，筛选出不匹配的云资源并标记待删除，计算出数量，并把新的需求发给调度器；
Y10、调度器重复Y3-Y6的步骤；
Y11、新创建的云资源加入到集群里，等到集群稳定后，依次删除集群中标记待删除的云资源；
Y12、监控模块收到了云资源即将释放消息，解析出云资源ID，通知集群管理模块；
Y13、集群管理，标记待删除的云资源，同时通知调度器创建一台新的云资源；
Y14、当收到云厂商资源即将回收的消息，则通知调度器创建新资源；
Y15、调度器重复Y3-Y6的步骤；
Y16、新创建的云资源加入到集群里，同时删除掉即将释放的云资源，被删除云资源的业务会自动迁移到新加入到集群的云资源上。
本发明还公开了一种算力智能调度方法，具体包括如下步骤：
步骤一、通过检索器获取原厂商支持的region，然后循环获取每一个region下的所有zone，接着获取每个zone下的所有实例规格，并更新到存储器；
步骤二、存储器保存字段的有云厂商、region、zone、实例规格,cpu型号、cpu核数、cpu主频、内存大小，检索器依次从存储器中取出所有实例规格，调度器根据云厂商、region、zone、实例规格调用对应云厂商获取实例价格的接口，再通过检索器把价格更新到对应的实例规格上；
步骤三、存储器更新该实例的按量付费价格Subj_Post_Paid_Per_Core、包年包月价格Subj_Pre_Paid_Per_Core、抢占式价格Subj_Spot_Price_Per_core，类似得到价格表；
步骤四、使用随机森林模型，把已有数据带入RandomForestRegressor模型中，价格是用抢占式每核每月价格Sub_Spot_Price_Per_Core，得到不同云厂商定价因子的客观重要性表；
步骤五、用户创建一个集群，指定云厂商范围、区域范围、CPU核数范围、CPU型号范围、内存大小范围，这几个范围都是可选的，设定区域、CPU核数、CPU型号、CPU主频、内存主观重要性；
步骤六、根据客户设定的范围，选取满足条件的实例规格和对应的价格；
步骤七、计算主观价格，以阿里云为例，Obj_Price = (Obj_1*Sub_A_1 + Obj_2*Sub_A_2 + Obj_3*Sub_A_3 + Obj_4*Sub_A_4 + Obj_5*Sub_A_5) * Subj_Price，如果主观重要性都为1，那么主观价格和客观价格是一样的，重新排序，从价格最低的实例开始创建，如果创建失败再选择次优的，依次类推直到创建的数量满足客户需求
本发明的一种算力智能调度系统和方法具有以下优点：
通过算力价格检索系统能够对各公有云提供的算力价格实时检索，并且分析出每个价格因子的客观重要性，客户设定每个价格因子设定一个主观重要性，重新计算出一个新的主观价格，这样得到的价格更符合客户心理预期；系统自动根据主观价格排序，匹配出客户最想要的实例型号，如果没有抢占式实例，那么会自动选择最优价格创建按量付费实例，防止实例无法创建，当用户变更需求时，先筛选出不符合云资源，创建新的云资源加入集群，然后再释放不符合的云资源，保证集群稳定运行，当云厂商通知实例即将释放时，再次根据客户设定匹配最佳实例型号创建新的主机，加入到集群里，同时把即将释放的主机从集群里删除，保证集群稳定运行。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明中算力检索系统的流程图；
图2为本发明中智能调度系统的流程图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明实施例的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
在本发明实施例的描述中，需要理解的是，术语“长度”、“竖直”、“水平”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明实施例的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明实施例中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明实施例中的具体含义。
下文的公开提供了许多不同的实施方式或例子用来实现本发明实施例的不同结构。为了简化本发明实施例的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明实施例。此外，本发明实施例可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。
为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种算力智能调度系统和方法做进一步详细的描述。
如图1-2所示，本发明的一种算力智能调度系统，包括算力价格检索系统、价格分析系统和智能调度系统；
所述算力价格检索系统主要包括检索器和存储器，用于对云厂商的产品算力价格实时检索；
所述价格分析系统用于对算力价格检索系统检索的产品算力价格进行分析，得到不同云厂商定价因子的客观重要性；
所述智能调度系统用于根据产品的主观重要性计算出对应的主观价格，并将创建的云资源加入集群。
所述算力价格检索系统对云厂商产品检索的方式具体包括如下步骤：
S1：系统定时触发一个更新实例规格的事件，检索器会遍历系统支持的所有云厂商，获取云厂商支持的region，然后循环获取每一个region下的所有zone，接着获取每个zone下的所有实例规格；
S2：云厂商返回规格给检索器，检索器把规格更新到存储器；
S3：存储器保存字段的有云厂商、region、zone、实例规格,cpu型号、cpu核数、cpu主频、内存大小；
S4：系统每小时触发一个更新价格事件，检索器依次从存储器中取出所有实例规格；
S5：存储器返回云厂商、region、zone、实例规格；
S6：调度器根据云厂商、region、zone、实例规格调用对应云厂商获取实例价格的接口；
S7：云厂商返回价格，包括按量付费、包年包月、抢占式三种价格；
S8：检索器把价格更新到对应的实例规格上；
S9：存储器更新该实例的按量付费价格Subj_Post_Paid_Per_Core、包年包月价格Subj_Pre_Paid_Per_Core、抢占式价格Subj_Spot_Price_Per_core，类似得到价格表，如下表所示。
所述价格分析系统分析的具体方式具体包括如下步骤：
T1：使用随机森林模型，把已有数据带入RandomForestRegressor模型中，价格是用抢占式每核每月价格Sub_Spot_Price_Per_Core；本发明不局限于使用随机森林模型，还可使用XGBoost；
T2：得到参数重要性feature_importance；
T3：得到不同云厂商定价因子的客观重要性表：
，
其中Sub_*_1+Sub_*_2+Sub_*_3+Sub_*_4+Sub_*_5=1；
T4：用按量付费价格Subj_Post_Paid_Per_Core得到按量付费客观重要性表。
智能调度系统的具体调度方式包括有如下实施例：
实施例一
Y1、用户创建一个集群，指定云厂商范围、区域范围、CPU核数范围、CPU型号范围、内存大小范围，这几个范围都是可选的；
Y2、设定区域、CPU核数、CPU型号、CPU主频、内存主观重要性:
，
其中Obj的取之范围为(1/2, 2)，并且Obj_1+Obj_2+Obj_3+Obj_4+Obj_5=5；
Y3、根据客户设定的范围，选取满足条件的实例规格和对应的价格；
Y4、计算主观价格，以阿里云为例，Obj_Price = (Obj_1*Sub_A_1 + Obj_2*Sub_A_2 + Obj_3*Sub_A_3 + Obj_4*Sub_A_4 + Obj_5*Sub_A_5) * Subj_Price，其中Obj_1表示为用户设定区域的主观重要性，Sub_A_1表示在价格分析得到的阿里云的区域的客观重要性，得到的Obj_Price是主观价格；
Obj_Price = (Obj_1*Sub_A_1 + Obj_2*Sub_A_2 + Obj_3*Sub_A_3 + Obj_4*Sub_A_4 + Obj_5*Sub_A_5) * Subj_Price= (1*Sub_A_1 + 1*Sub_A_2 + 1*Sub_A_3 +1*Sub_A_4 + 1*Sub_A_5) *Subj_Price = (Sub_A_1 + Sub_A_2 + Sub_A_3 + Sub_A_4 +Sub_A_5) * Subj_Price
而价格分析中里我们约定了Sub_A_1 + Sub_A_2 + Sub_A_3 + Sub_A_4 + Sub_A_5 = 1
所以当所有主观重要性为1时，Obj_Price = Subj_Price；
因此如果主观重要性都为1，那么主观价格和客观价格是一样的；
Y5、重新排序，从价格最低的实例开始创建，如果创建失败再选择次优的，依次类推直到创建的数量满足客户需求；
Y6、如果都创建失败，则按照上述方法使用按量付费价格Subj_Post_Paid_Per_Core和按量付费客观重要性和主观重要性重新计算，按量付费主观价格从低到高依次创建；
创建失败的原因为：因为主体是抢占式资源，随时可能会售罄，当最低价格的已经售罄的时候就会创建失败，失败后从次低价格的那个规格继续创建，直到创建成功。
Y7、把创建的云资源都加入到集群里。
实施例二
Y8、当客户有更新云资源的需求时，提交到集群管理模块；
Y9、集群管理查找当前已有的云资源，筛选出不匹配的云资源并标记待删除，计算出数量，并把新的需求发给调度器；
Y10、调度器重复Y3-Y6的步骤；
Y11、新创建的云资源加入到集群里，等到集群稳定后，依次删除集群中标记待删除的云资源。
实施例三
Y12、监控模块收到了云资源即将释放消息，解析出云资源ID，通知集群管理模块；
Y13、集群管理，标记待删除的云资源，同时通知调度器创建一台新的云资源；
Y14、当收到云厂商资源即将回收的消息，则通知调度器创建新资源；
Y15、调度器重复Y3-Y6的步骤；
Y16、新创建的云资源加入到集群里，同时删除掉即将释放的云资源，被删除云资源的业务会自动迁移到新加入到集群的云资源上。
自动迁移：通过标记即将删除的节点以及新节点，在新云资源加入后，通过K8S自带的功能，把待删除云资源上面运行的业务迁移到新的云资源上。
本发明还公开了一种算力智能调度方法，具体包括如下步骤：
步骤一、通过检索器获取原厂商支持的region，然后循环获取每一个region下的所有zone，接着获取每个zone下的所有实例规格，并更新到存储器；
步骤二、存储器保存字段的有云厂商、region、zone、实例规格,cpu型号、cpu核数、cpu主频、内存大小，检索器依次从存储器中取出所有实例规格，调度器根据云厂商、region、zone、实例规格调用对应云厂商获取实例价格的接口，再通过检索器把价格更新到对应的实例规格上；
步骤三、存储器更新该实例的按量付费价格Subj_Post_Paid_Per_Core、包年包月价格Subj_Pre_Paid_Per_Core、抢占式价格Subj_Spot_Price_Per_core，类似得到价格表；
步骤四、使用随机森林模型，把已有数据带入RandomForestRegressor模型中，价格是用抢占式每核每月价格Sub_Spot_Price_Per_Core，得到不同云厂商定价因子的客观重要性表；
步骤五、用户创建一个集群，指定云厂商范围、区域范围、CPU核数范围、CPU型号范围、内存大小范围，这几个范围都是可选的，设定区域、CPU核数、CPU型号、CPU主频、内存主观重要性；
步骤六、根据客户设定的范围，选取满足条件的实例规格和对应的价格；
步骤七、计算主观价格，以阿里云为例，Obj_Price = (Obj_1*Sub_A_1 + Obj_2*Sub_A_2 + Obj_3*Sub_A_3 + Obj_4*Sub_A_4 + Obj_5*Sub_A_5) * Subj_Price，如果主观重要性都为1，那么主观价格和客观价格是一样的，重新排序，从价格最低的实例开始创建，如果创建失败再选择次优的，依次类推直到创建的数量满足客户需求。
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。
Claims (5)
1.一种算力智能调度系统，其特征在于：包括算力价格检索系统、价格分析系统和智能调度系统；
所述算力价格检索系统主要包括检索器和存储器，用于对云厂商的产品算力价格实时检索；
所述价格分析系统用于对算力价格检索系统检索的产品算力价格进行分析，得到不同云厂商定价因子的客观重要性；
所述智能调度系统用于根据产品的主观重要性计算出对应的主观价格，并将创建的云资源加入集群。
2.根据权利要求1所述的一种算力智能调度系统，其特征在于：所述算力价格检索系统对云厂商产品检索的方式具体包括如下步骤：
S1：系统定时触发一个更新实例规格的事件，检索器会遍历系统支持的所有云厂商，获取云厂商支持的region，然后循环获取每一个region下的所有zone，接着获取每个zone下的所有实例规格；
S2：云厂商返回规格给检索器，检索器把规格更新到存储器；
S3：存储器保存字段的有云厂商、region、zone、实例规格,cpu型号、cpu核数、cpu主频、内存大小；
S4：系统每小时触发一个更新价格事件，检索器依次从存储器中取出所有实例规格；
S5：存储器返回云厂商、region、zone、实例规格；
S6：调度器根据云厂商、region、zone、实例规格调用对应云厂商获取实例价格的接口；
S7：云厂商返回价格，包括按量付费、包年包月、抢占式三种价格；
S8：检索器把价格更新到对应的实例规格上；
S9：存储器更新该实例的按量付费价格Subj_Post_Paid_Per_Core、包年包月价格Subj_Pre_Paid_Per_Core、抢占式价格Subj_Spot_Price_Per_core，类似得到价格表。
3.根据权利要求1所述的一种算力智能调度系统，其特征在于：所述价格分析系统分析的具体方式具体包括如下步骤：
T1：使用随机森林模型，把已有数据带入RandomForestRegressor模型中，价格是用抢占式每核每月价格Sub_Spot_Price_Per_Core；
T2：得到参数重要性feature_importance；
T3：得到不同云厂商定价因子的客观重要性表：
，
其中Sub_*_1+Sub_*_2+Sub_*_3+Sub_*_4+Sub_*_5=1；
T4：用按量付费价格Subj_Post_Paid_Per_Core得到按量付费客观重要性表。
4.根据权利要求1所述的一种算力智能调度系统，其特征在于：智能调度系统的具体调度方式包括如下步骤：
Y1、用户创建一个集群，指定云厂商范围、区域范围、CPU核数范围、CPU型号范围、内存大小范围，这几个范围都是可选的；
Y2、设定区域、CPU核数、CPU型号、CPU主频、内存主观重要性:
，
其中Obj的取之范围为(1/2, 2)，并且Obj_1+Obj_2+Obj_3+Obj_4+Obj_5=5；
Y3、根据客户设定的范围，选取满足条件的实例规格和对应的价格；
Y4、计算主观价格，以阿里云为例，Obj_Price = (Obj_1*Sub_A_1 + Obj_2*Sub_A_2 +Obj_3*Sub_A_3 + Obj_4*Sub_A_4 + Obj_5*Sub_A_5) * Subj_Price，如果主观重要性都为1，那么主观价格和客观价格是一样的；
Y5、重新排序，从价格最低的实例开始创建，如果创建失败再选择次优的，依次类推直到创建的数量满足客户需求；
Y6、如果都创建失败，则按照上述方法使用按量付费价格Subj_Post_Paid_Per_Core和按量付费客观重要性和主观重要性重新计算,按量付费主观价格从低到高依次创建；
Y7、把创建的云资源都加入到集群里；
Y8、当客户有更新云资源的需求时，提交到集群管理模块；
Y9、集群管理查找当前已有的云资源，筛选出不匹配的云资源并标记待删除，计算出数量，并把新的需求发给调度器；
Y10、调度器重复Y3-Y6的步骤；
Y11、新创建的云资源加入到集群里，等到集群稳定后，依次删除集群中标记待删除的云资源；
Y12、监控模块收到了云资源即将释放消息，解析出云资源ID，通知集群管理模块；
Y13、集群管理，标记待删除的云资源，同时通知调度器创建一台新的云资源；
Y14、当收到云厂商资源即将回收的消息，则通知调度器创建新资源；
Y15、调度器重复Y3-Y6的步骤；
Y16、新创建的云资源加入到集群里，同时删除掉即将释放的云资源，被删除云资源的业务会自动迁移到新加入到集群的云资源上。
5.一种算力智能调度方法，其特征在于：具体包括如下步骤：
步骤一、通过检索器获取原厂商支持的region，然后循环获取每一个region下的所有zone，接着获取每个zone下的所有实例规格，并更新到存储器；
步骤二、存储器保存字段的有云厂商、region、zone、实例规格,cpu型号、cpu核数、cpu主频、内存大小，检索器依次从存储器中取出所有实例规格，调度器根据云厂商、region、zone、实例规格调用对应云厂商获取实例价格的接口，再通过检索器把价格更新到对应的实例规格上；
步骤三、存储器更新该实例的按量付费价格Subj_Post_Paid_Per_Core、包年包月价格Subj_Pre_Paid_Per_Core、抢占式价格Subj_Spot_Price_Per_core，类似得到价格表；
步骤四、使用随机森林模型，把已有数据带入RandomForestRegressor模型中，价格是用抢占式每核每月价格Sub_Spot_Price_Per_Core，得到不同云厂商定价因子的客观重要性表；
步骤五、用户创建一个集群，指定云厂商范围、区域范围、CPU核数范围、CPU型号范围、内存大小范围，这几个范围都是可选的，设定区域、CPU核数、CPU型号、CPU主频、内存主观重要性；
步骤六、根据客户设定的范围，选取满足条件的实例规格和对应的价格；
步骤七、计算主观价格，以阿里云为例，Obj_Price = (Obj_1*Sub_A_1 + Obj_2*Sub_A_2 + Obj_3*Sub_A_3 + Obj_4*Sub_A_4 + Obj_5*Sub_A_5) * Subj_Price，从价格最低的实例开始创建，如果创建失败再选择次优的，依次类推直到创建的数量满足客户需求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410390905.8A CN117971512A (zh) | 2024-04-02 | 2024-04-02 | 一种算力智能调度系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410390905.8A CN117971512A (zh) | 2024-04-02 | 2024-04-02 | 一种算力智能调度系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117971512A true CN117971512A (zh) | 2024-05-03 |
Family
ID=90865061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410390905.8A Pending CN117971512A (zh) | 2024-04-02 | 2024-04-02 | 一种算力智能调度系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117971512A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104750877A (zh) * | 2015-04-23 | 2015-07-01 | 南京大学 | 一种用于云计算资源定价的统计分析方法 |
| CN106789118A (zh) * | 2016-11-28 | 2017-05-31 | 上海交通大学 | 基于服务等级协议的云计算计费方法 |
| CN109981301A (zh) * | 2019-03-20 | 2019-07-05 | 新华三云计算技术有限公司 | 云服务计费方法及系统 |
| CN110503534A (zh) * | 2019-08-27 | 2019-11-26 | 山东大学 | 基于价格预测的云计算服务资源动态调度方法及系统 |
| CN111062758A (zh) * | 2019-12-20 | 2020-04-24 | 北京金山云网络技术有限公司 | 云产品的计价方法、定价方法、装置及系统 |
| CN112463295A (zh) * | 2020-11-23 | 2021-03-09 | 北京航空航天大学 | 一种支持可抢占虚拟机实例的云工作流配置和调度方法 |
| CN113032134A (zh) * | 2019-12-24 | 2021-06-25 | 阿里巴巴集团控股有限公司 | 一种实现云计算资源分配的方法及装置和云管理服务器 |
| CN113886093A (zh) * | 2021-12-07 | 2022-01-04 | 北京微吼时代科技有限公司 | 基于多云架构的云资源管理系统和电子设备 |
| CN114780213A (zh) * | 2022-03-24 | 2022-07-22 | 深圳北鲲云计算有限公司 | 高性能计算云平台资源调度方法、系统及存储介质 |
| CN117130761A (zh) * | 2022-05-17 | 2023-11-28 | 华为云计算技术有限公司 | 一种资源管理方法以及相关装置 |
| CN117632509A (zh) * | 2023-12-11 | 2024-03-01 | Oppo广东移动通信有限公司 | 算力管理方法及装置、算力调度设备、存储介质 |
-
2024
- 2024-04-02 CN CN202410390905.8A patent/CN117971512A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104750877A (zh) * | 2015-04-23 | 2015-07-01 | 南京大学 | 一种用于云计算资源定价的统计分析方法 |
| CN106789118A (zh) * | 2016-11-28 | 2017-05-31 | 上海交通大学 | 基于服务等级协议的云计算计费方法 |
| CN109981301A (zh) * | 2019-03-20 | 2019-07-05 | 新华三云计算技术有限公司 | 云服务计费方法及系统 |
| CN110503534A (zh) * | 2019-08-27 | 2019-11-26 | 山东大学 | 基于价格预测的云计算服务资源动态调度方法及系统 |
| CN111062758A (zh) * | 2019-12-20 | 2020-04-24 | 北京金山云网络技术有限公司 | 云产品的计价方法、定价方法、装置及系统 |
| CN113032134A (zh) * | 2019-12-24 | 2021-06-25 | 阿里巴巴集团控股有限公司 | 一种实现云计算资源分配的方法及装置和云管理服务器 |
| CN112463295A (zh) * | 2020-11-23 | 2021-03-09 | 北京航空航天大学 | 一种支持可抢占虚拟机实例的云工作流配置和调度方法 |
| CN113886093A (zh) * | 2021-12-07 | 2022-01-04 | 北京微吼时代科技有限公司 | 基于多云架构的云资源管理系统和电子设备 |
| CN114780213A (zh) * | 2022-03-24 | 2022-07-22 | 深圳北鲲云计算有限公司 | 高性能计算云平台资源调度方法、系统及存储介质 |
| CN117130761A (zh) * | 2022-05-17 | 2023-11-28 | 华为云计算技术有限公司 | 一种资源管理方法以及相关装置 |
| CN117632509A (zh) * | 2023-12-11 | 2024-03-01 | Oppo广东移动通信有限公司 | 算力管理方法及装置、算力调度设备、存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 徐亮;郑鹏思;: "基于成本模型的云服务定价体系研究", 有线电视技术, no. 07, 15 July 2018 (2018-07-15) * |
| 郑敏;曹健;姚艳;: "面向价格动态变化的云工作流调度算法", 计算机集成制造系统, no. 08, 15 August 2013 (2013-08-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107370786B (zh) | 一种基于微服务架构的通用信息管理系统 | |
| US11048490B2 (en) | Service placement techniques for a cloud datacenter | |
| CN109981301A (zh) | 云服务计费方法及系统 | |
| CN112463363B (zh) | 一种资源编排方法、装置、设备及存储介质 | |
| CN111309440B (zh) | 一种多类型gpu的管理调度的方法和设备 | |
| CN108924249A (zh) | 一种部署OpenStack平台的方法及装置 | |
| CN109445711A (zh) | 一种基于云平台的业务处理方法和装置 | |
| CN103294799B (zh) | 一种数据并行批量导入只读查询系统的方法及系统 | |
| CN111831362A (zh) | 一种K8s环境监控自动发现分类部署管理的方法 | |
| CN117971512A (zh) | 一种算力智能调度系统和方法 | |
| CN114070847B (zh) | 服务器的限流方法、装置、设备及存储介质 | |
| CN110244934B (zh) | 产品需求文档、测试信息的生成方法及装置 | |
| CN113419836B (zh) | 任务处理方法、装置、电子设备和计算机可读存储介质 | |
| CN114896073A (zh) | 一种数据分摊处理方法、装置及系统 | |
| CN114298585A (zh) | 一种面向采购场景的物料采购配额分配方法及装置 | |
| CN106484523B (zh) | 一种硬件设备管理方法及其装置 | |
| CN113722107A (zh) | 云产品管控服务部署方法、装置、设备和存储介质 | |
| CN106357735A (zh) | 用于操作云计算架构的基础设施层的方法和装置 | |
| CN111949617A (zh) | 一种聚合文件对象头管理方法、系统、终端及存储介质 | |
| WO2024078211A1 (zh) | 业务集群实例的备份和恢复方法以及相关设备 | |
| CN110610371A (zh) | 潜在用户分析方法、系统和计算机可读存储介质 | |
| CN117971510B (zh) | 资源分配方法、装置、电子设备及存储介质 | |
| CN115348209B (zh) | Api接口的流量控制方法、装置、电子设备及存储介质 | |
| CN116401259B (zh) | 一种用于ElasticSearch数据库的自动化预创建索引方法和系统 | |
| US20220318217A1 (en) | Request processing using dynamic item data structures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |