CN116027980A - 一种处理方法和电子设备 - Google Patents
一种处理方法和电子设备 Download PDFInfo
- Publication number
- CN116027980A CN116027980A CN202310031619.8A CN202310031619A CN116027980A CN 116027980 A CN116027980 A CN 116027980A CN 202310031619 A CN202310031619 A CN 202310031619A CN 116027980 A CN116027980 A CN 116027980A
- Authority
- CN
- China
- Prior art keywords
- deployment
- migrated
- transcoding
- migration
- format conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开一种处理方法和电子设备,该处理方法包括:确定待迁移对象;在待迁移对象对应的迁移环境满足性能条件和运行条件情况下,基于不同部署模式的转码设备分别对待迁移对象执行格式转换与迁移处理所需的资源成本,确定对转码设备的部署策略;部署策略包括:由不同部署模式中的至少一种部署模式构成的目标部署模式,及目标部署模式下的部署需求信息;根据部署策略进行转码设备的部署。
Description
技术领域
本申请属于资源调度技术领域,尤其涉及一种处理方法和电子设备。
背景技术
在跨云平台/虚拟化平台的作业迁移中,可能需要将源宿主设备中的待迁移虚拟机文件进行格式转换,以适应目的宿主设备对虚拟机文件的格式要求。
因此,如何在云平台/虚拟化平台的作业迁移场景,进行转码资源部署以更好地满足需求,成为本领域亟需解决的技术问题。
发明内容
为此,本申请公开如下技术方案:
一种处理方法,所述方法包括:
确定待迁移对象;
在所述待迁移对象对应的迁移环境满足性能条件和运行条件情况下,基于不同部署模式的转码设备分别对所述待迁移对象执行格式转换与迁移处理所需的资源成本,确定对所述转码设备的部署策略;所述部署策略包括:由所述不同部署模式中的至少一种部署模式构成的目标部署模式,及所述目标部署模式下的部署需求信息;
根据所述部署策略进行转码设备的部署。
可选的,所述确定待迁移对象,包括:
确定待迁移的应用、应用集群或操作系统所对应的虚拟设备,作为待迁移对象。
可选的,所述在所述待迁移对象对应的迁移环境满足性能条件和运行条件情况下,基于不同部署模式的转码设备分别对所述待迁移对象执行格式转换与迁移处理所需的资源成本,确定对所述转码设备的部署策略,包括:
在所述待迁移对象对应的源宿主设备端迁移环境和/或目的宿主设备端迁移环境满足性能条件和运行条件情况下,确定基于不同部署模式的转码设备分别对所述待迁移对象执行格式转换与迁移处理所需的目标耗时;
根据所述不同部署模式的转码设备分别对所述待迁移对象执行格式转换与迁移处理所需的目标耗时,确定基于所述不同部署模式的转码设备分别对所述待迁移对象执行格式转换与迁移处理所需的资源成本;
基于所述资源成本,确定对所述转码设备的部署策略。
可选的,所述在所述待迁移对象对应的源宿主设备端迁移环境和/或目的宿主设备端迁移环境满足性能条件和运行条件情况下,确定基于不同部署模式的转码设备分别对所述待迁移对象执行格式转换与迁移处理所需的目标耗时,包括:
根据最佳并发执行能力信息和所述待迁移对象的数据量,预测将所述待迁移对象从源宿主设备转移至不同部署模式的转码设备并在不同部署模式的转码设备进行格式转换分别所需的第一耗时;
根据所述最佳并发执行能力信息和预估的完成格式转换后的待迁移对象对应的数据量,预测将完成格式转换后的待迁移对象从不同部署模式的转码设备分别转移至目的宿主设备所需的第二耗时;
根据所述第一耗时和所述第二耗时,确定所述目标耗时。
可选的,所述在所述待迁移对象对应的迁移环境满足性能条件和运行条件情况下,基于不同部署模式的转码设备分别对所述待迁移对象执行格式转换与迁移处理所需的资源成本,确定对所述转码设备的部署策略,包括:
在所述待迁移对象对应的迁移环境于未来预设时间分片满足性能条件和运行条件的情况下,基于所述未来预设时间分片下不同部署模式的转码设备分别对待迁移对象执行格式转换与迁移处理所需的资源成本,确定在所述未来预设时间分片对所述转码设备的部署策略。
可选的,所述不同部署模式包括:转码设备位于所述待迁移对象的源宿主设备所属的源管理平台;转码设备位于所述待迁移对象的目的宿主设备所属的目的管理平台,转码设备位于所述源管理平台和所述目的管理平台之外的管理平台;
所述基于不同部署模式的转码设备对所述待迁移对象执行格式转换与迁移处理所需的资源成本,确定对转码设备的部署策略,包括:
获取预设迁移策略;
根据所述预设迁移策略,和所述不同部署模式的转码设备对所述待迁移对象执行格式转换与迁移处理所需的资源成本,确定对转码设备进行部署所需的目标部署模式及所述目标部署模式下的部署需求信息。
可选的,所述部署需求信息包括部署数量信息和部署位置信息;所述根据所述部署策略进行转码设备的部署,包括:
根据所述部署数量信息,创建对应数量的转码设备;
根据所述部署位置信息,将创建的转码设备按所述部署策略中的目标部署模式部署至对应位置。
可选的,上述方法,还包括:
预测所述迁移环境的负载变化,得到负载变化预测信息;
根据所述负载变化预测信息,对转码设备进行对应的部署调整处理。
可选的,上述方法,还包括:
根据转码设备的部署结果,生成对应的调度策略;
根据所述调度策略,对所述待迁移对象进行格式转换与迁移处理。
一种电子设备,包括:
存储器,用于至少存储一组计算机指令集;
处理器,用于通过调用并执行所述存储器中存储的所述指令集,实现如上文任一项所述的处理方法。
由以上方案可知,本申请公开一种处理方法和电子设备,该处理方法包括:确定待迁移对象;在待迁移对象对应的迁移环境满足性能条件和运行条件情况下,基于不同部署模式的转码设备分别对待迁移对象执行格式转换与迁移处理所需的资源成本,确定对转码设备的部署策略;部署策略包括:由不同部署模式中的至少一种部署模式构成的目标部署模式,及目标部署模式下的部署需求信息;根据部署策略进行转码设备的部署。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本申请提供的处理方法的一种流程示意图;
图2是本申请提供的转码设备的部署模式示意图;
图3是本申请提供的确定对转码设备的部署策略的过程示意图;
图4是本申请提供的处理方法的另一种流程示意图;
图5是本申请提供的处理方法的又一种流程示意图;
图6是本申请提供的本申请方法的一应用示例流程图;
图7是本申请提供的电子设备的组成结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在跨云平台/虚拟化平台的作业迁移中,常常存在目的宿主设备与源宿主设备所需的镜像格式和存储卷格式不同,需将源宿主设备中待迁移对象的文件进行格式转换,以适应目的宿主设备对文件的格式要求,另外,不同尺寸与格式间的转码将可能产生不同的时间成本,因此需要对迁移作业进行规划,以适应资源成本的要求。
申请人发现,由于源宿主设备与目的宿主设备,以及管理平台如云平台间性能、资源限制等情况,在执行跨平台的格式转码与迁移处理过程中,往往会对平台的业务延续性产生影响,部分平台服务(如云服务)需要暂停直至迁移完成。另外,格式转码服务器的数量过高、格式转化作业过多,还可能会带来网络或存储处理能力不足的问题,同时运行格式转化服务器实例是不经济的。
基于此,本申请提供一种处理方法、装置和电子设备,用于综合迁移环境的性能状况、运行状况以及所需的资源成本等多方面因素,来优化分析对转码设备的部署策略,以更好地满足在所属迁移环境中进行格式转码与迁移的各方面需求。本申请所提供的处理方法,可以但不限于应用于云平台或虚拟化平台等平台环境中,具体可应用于在对应平台环境中所部署的服务器等具备运算处理功能的相关设备上。
参见图1所示的处理方法流程图,本申请提供的处理方法,至少可以包括以下各处理步骤:
步骤101、确定待迁移对象。
待迁移对象,可以是但不限于,所对应的平台环境中待迁移的应用、应用集群和操作系统等中的任意一种或多种所对应的虚拟设备以及相关的存储资源,存储资源例如存储卷。
在云平台环境中,运行有应用、应用集群或操作系统的设备通常以虚拟机形式存在,另外还包括相关的存储卷等资源。待迁移的应用、应用集群或操作系统其标记有关联的虚拟机,如此按照标记确定待迁移的虚拟机。
步骤102、在待迁移对象对应的迁移环境满足性能条件和运行条件情况下,基于不同部署模式的转码设备分别对待迁移对象执行格式转换与迁移处理所需的资源成本,确定对转码设备的部署策略。
其中,格式转换也可称为转码。
待迁移对象对应的迁移环境,包括待迁移对象对应的源宿主设备端迁移环境和/或目的宿主设备端迁移环境。除此之外,可选的,还可以包括转码端迁移环境。
上述的性能条件,为能够表征不对所对应迁移环境中的其他业务/服务产生影响或产生的影响在允许范围内,能尽可能保证所对应迁移环境中的其他业务/服务正常运行的条件。
以云平台环境为例,可以但不限于将该性能条件设定为如下的任意一种,或多种的组合:
a1)待迁移对象对应的源/目的宿主机或源/目的云平台的业务/服务执行性能不低于设定性能;
a2)待迁移对象对应的源/目的宿主机或源/目的云平台的业务/服务的响应延时未超出设定延时;
a3)待迁移对象对应的源/目的宿主机或源/目的云平台的可用资源量未低于设定资源量,以保证待迁移对象对应的源/目的宿主机或源/目的云平台的运行稳定性。
其中,可用资源,可以包括但不限于网络、计算、存储、带宽等方面的可用资源。
上述的运行条件是指,按所能支持的最大并发量进行并发转码。结合上述的性能条件,该运行条件本质是指,按对应约束下所能支持的最大并发量进行并发转码。这里的对应约束,至少可以是指满足上述的性能条件。
通过设置该运行条件,并将该运行条件作为依据之一执行后续处理,使得尽可能满足作业迁移中,以最快速度、相对高并发地执行迁移的需求,以尽早开展完成迁移后的必要检查活动,尽早恢复迁移作业所对应的业务/服务。
转码设备,可以是能用于对迁移环境中的待迁移对象执行文件格式转换与迁移处理的物理服务器,或虚拟的服务器实例(如云服务器),不作限制。
可选的,结合参见图2所示的转码设备的部署模式示意图,本实施例将转码设备的部署模式主要划分为:
第一模式:转码设备位于待迁移对象的源宿主设备所属的源管理平台;
第二模式:转码设备位于待迁移对象的目的宿主设备所属的目的管理平台;
第三模式:转码设备位于源管理平台和目的管理平台之外的管理平台。
上述各种管理平台,可以是但不限于云平台,视实际情况而定。
除此之外,可选的,还可以包括混合部署模式,该模式下,按上述三种模式中的任意两种或三种对转码设备进行混合部署,例如,同时在源云平台与目的云平台都包含有格式转码服务器。
该步骤102中,不同部署模式的转码设备分别对待迁移对象执行格式转换与迁移处理所需的资源成本,具体是指,在待迁移对象对应的迁移环境满足上述的性能条件和运行条件情况下,基于不同部署模式的转码设备分别对待迁移对象执行格式转换与迁移处理所需的时间成本或费率成本。
本实施例中,资源成本是指基于所对应平台的费率,对转码与迁移过程进行计费所需的费用,或者,资源成本为时间成本。
其中,费率是指单位时间所需费用,如每小时的花费费用。
实际应用中,还可以根据需求选择其他的资源成本计量方式。
相应的,该步骤中,具体可预测在待迁移对象对应的迁移环境满足性能条件和运行条件情况下,基于不同部署模式的转码设备分别对待迁移对象执行格式转换与迁移处理所需的资源成本;并根据不同部署模式的转码设备对待迁移对象执行格式转换与迁移处理所需的资源成本,确定对转码设备的部署策略。通过该处理,使得在待迁移对象对应的迁移环境满足性能条件和运行条件情况下,尽可能确定出能够满足成本约束条件的部署策略。
所述的成本约束条件,可以是但不限于:对应的资源成本低于预设成本,或对应的资源成本在各个可选部署模式中最低。
其中,部署策略包括:由不同部署模式中的至少一种部署模式构成的目标部署模式,及目标部署模式下的部署需求信息。
也就是说,目标部署模式可以是上述第一模式、第二模式、第三模式中的相应一种,或由这三种模式中的相应两种或三种构成的混合部署模式。可选的,目标部署模式下的部署需求信息,包括部署数量信息和部署位置信息,分别用于指示转码设备需部署的数量和位置。部署位置信息具体可用于描述需部署至的网络位置/地址,如需部署于哪个IP(Internet Protocol,网际互连协议)网段。
步骤103、根据部署策略进行转码设备的部署。
具体的,可根据部署策略的部署需求信息中包含的部署数量信息,创建对应数量的转码设备,并根据部署需求信息中包含的部署位置信息,将创建的转码设备按部署策略中的目标部署模式部署至对应位置。
例如,创建对应数量的云服务器实例,并将创建的云服务器实例,按目标部署模式部署至对应云平台的某个所需IP网段等。
由以上方案可知,本申请公开的处理方法,确定待迁移对象;在待迁移对象对应的迁移环境满足性能条件和运行条件情况下,基于不同部署模式的转码设备分别对待迁移对象执行格式转换与迁移处理所需的资源成本,确定对转码设备的部署策略;部署策略包括:由不同部署模式中的至少一种部署模式构成的目标部署模式,及目标部署模式下的部署需求信息;根据部署策略进行转码设备的部署。
可见,本申请综合了迁移环境的性能状况、运行状况以及不同部署模式的转码设备执行格式转换与迁移处理所需的资源成本等多方面因素,来优化分析对转码设备的部署策略,从而可使得基于该部署策略所部署的转码设备,能够在满足平台性能要求以及成本约束等各方面需求情况下,尽可能达到更高的格式转码与迁移性能。
在一可选实施例中,参见图3所示的处理方法流程图,本申请所提供处理方法中的步骤102,具体可实现为:
步骤301、在待迁移对象对应的源宿主设备端迁移环境和/或目的宿主设备端迁移环境满足性能条件和运行条件情况下,确定基于不同部署模式的转码设备分别对待迁移对象执行格式转换与迁移处理所需的目标耗时。
其中,目标耗时可以包括两个阶段的耗时,第一个阶段的耗时是,将待迁移对象从源宿主设备转移至转码设备并在转码设备进行格式转换所需的耗时,第二个阶段的耗时是,将完成格式转换后的待迁移对象从转码设备转移至目的宿主设备所需的耗时,以结合两个阶段的耗时,综合衡量转码设备对待迁移对象执行格式转换与迁移处理所需的目标耗时。
本实施例通过在待迁移对象所对应迁移作业的并发处理性能、平台的运行性能、迁移所需的资源成本等因素之间进行优化分析,来确定对转码设备的部署策略。并具体在待迁移对象对应的源宿主设备端迁移环境和/或目的宿主设备端迁移环境等迁移环境满足上述的性能条件和运行条件情况下,确定基于不同部署模式的转码设备分别对待迁移对象执行格式转换与迁移处理所需的目标耗时,以便以目标耗时为依据,执行后续的资源成本确定过程及此基础上的部署策略确定过程。当资源成本为时间成本,则目标耗时便可作为资源成本。
其中,该确定目标耗时的过程可进一步实现为:
11)根据最佳并发执行能力信息和待迁移对象的数据量,预测将待迁移对象从源宿主设备转移至不同部署模式的转码设备并在不同部署模式的转码设备进行格式转换分别所需的第一耗时。
上述的最佳并发执行能力信息,为待迁移对象所属迁移环境(如,源宿主设备端迁移环境和/或目的宿主设备端迁移环境)在满足性能条件下,具备的最佳并发执行能力信息。具体可以包括但不限于,迁移环境在满足性能条件情况下,对应的如下信息中的至少一种:
b1)单一宿主设备支持的最大并发迁移量。
例如,单一宿主机设备支持的最大并发迁入/迁出虚拟机数量。单一宿主设备,可以是指待迁移对象对应的单一源宿主设备或单一目的宿主设备。
b2)单一存储资源池支持的最大并发迁移量。
例如,单一存储资源池所支持的最大并发迁入/迁出虚拟机数量。
b3)单一管理平台或软件定义网络环境支持的最大并发迁移量。
例如,单一云平台或软件定义网络环境下所支持的最大并发迁入/迁出虚拟机数量。单一管理平台,可以是待迁移对象对应的源平台、目的平台或转码设备所处平台,其中,转码设备所处平台,可能是待迁移对象所处的源平台,待迁移至的目的平台,或者区别于源平台、目的平台的外部独立平台。
b4)对应的业务负载存储或网络关键指标支持的最大并发迁移量。
例如,当前业务负载(或未来一段时间窗口内)存储或网络关键指标对应支持的最大并发迁入/迁出虚拟机数量。具体如,平均IO吞吐或存储平均块大小等指标刻画下所能支持的最大并发处理能力经验值。
该实施方式下,上文的运行条件,相应可以包括:待迁移对象对应的迁移环境运行于上述的最佳并发执行能力下。
实际应用中,具体可根据待迁移对象所对应源宿主设备端迁移环境和/或目的宿主设备端迁移环境中,单一宿主设备、单一存储资源池、单一管理平台和/或软件定义网络环境等的负载情况,对应的软硬件资源配置(若有)以及需满足的性能条件等,确定其所能支持的最大并发量,得到待迁移对象所属迁移环境在满足性能条件下,具备的最佳并发执行能力信息。
在此基础上,可进一步根据最佳并发执行能力信息和待迁移对象的数据量,预测将待迁移对象从源宿主设备转移至不同部署模式的转码设备并在不同部署模式的转码设备进行格式转换分别所需的第一耗时。
12)根据上述的最佳并发执行能力信息和预估的完成格式转换后的待迁移对象对应的数据量,预测将完成格式转换后的待迁移对象从不同部署模式的转码设备分别转移至目的宿主设备所需的第二耗时。
其中,具体可根据待迁移对象在格式转换前所对应的原始数据量,以及将单位数据量的数据,按目的宿主机所需格式进行转换后所得的数据量,预估完成格式转换后待迁移对象所对应的数据量。
之后,根据上述的最佳并发执行能力信息和预估的完成格式转换后待迁移对象对应的数据量,预测将完成格式转换后的待迁移对象从不同部署模式的转码设备分别转移至目的宿主设备所需的第二耗时。
具体的,以待迁移对象为应用集群为例,假设待迁移对象为一个应用集群,集群节点数为n,最大并发支持数量为m,则通常情况下存在m≤n的关系。同理,如果存在k个集群同时迁移,则存在:
其中,ni表示第i个集群的总节点数。
假设转码设备处于独立外部云平台(A),根据运维经验,通常由于在独立外部云平台(A),源云平台(B),目的云平台(C)的资源能力约束下,m实际数量被各个平台限制在一定范围内。所以,最大的并发数量为:
min{mA mB mC};
即,最大的并发数为三种云平台所支持最大并发数中的最小值。其中,mA、mB、mC分别为外部云平台(A),源云平台(B),目的云平台(C)支持的最大并发数量,均大于0。如果没有独立外部云平台,则不需要mA参与分析。
待迁移对象的数据量,具体是指待迁移对象的各个待迁移文件的总文件尺寸/总文件数据量。不同文件所对应的格式和尺寸不同,一般会导致格式转码所需的时间不同,转码设备的存储、计算、网络能力也将影响对其的处理能力,源/目的宿主机到转码设备的带宽也将影响整体时间进度,由此本实施例计算对待迁移对象进行端到端文件格式转码与迁移所需的时间,以用于后续资源成本的计算。
13)根据上述的第一耗时和第二耗时,确定所述目标耗时。
可选的,在一实施方式中,可将第一耗时和第二耗时进行和运算,运算结果为目标耗时。在其他实施方式中,不将两者累加,直接将目标耗时确定为包括第一耗时和第二耗时,具体可根据实际需求选择所需的实施方式。
步骤302、根据不同部署模式的转码设备分别对待迁移对象执行格式转换与迁移处理所需的目标耗时,确定基于不同部署模式的转码设备分别对所述待迁移对象执行格式转换与迁移处理所需的资源成本。
其中,在待迁移对象的格式转换与迁移过程中,第一耗时对应的操作过程,涉及到迁移对象所对应的源侧(源宿主设备/源平台)以及转码侧(转码设备/转码设备所处平台),第二耗时对应的操作过程涉及到转码侧以及迁移对象所对应的目的侧(目的宿主设备/目的平台)。
若源侧与转码侧这两侧的费率相同,则可将第一耗时和第二耗时累加来得到目标耗时,该情况下,可进一步将这两侧对应的同一费率与目标耗时进行乘运算,得到这两侧的资源成本。并可通过将转码侧的费率与目标耗时进行乘运算得到转码侧的资源成本,源侧、目的侧与转码侧的资源成本累加,即可得到对待迁移对象执行格式转换与迁移处理所需的资源成本。
若源侧与转码侧这两侧的费率不同,则可将第一耗时与源侧费率进行乘运算得到源侧的资源成本,将第二耗时与目的侧费率进行乘运算得到目的侧的资源成本,并将这两侧资源成本与转码侧的资源成本累加,得到对待迁移对象执行格式转换与迁移处理所需的资源成本。
对于各个可选的部署模式,分别执行上述的资源成本运算过程,即可得到基于不同部署模式的转码设备分别对待迁移对象执行格式转换与迁移处理所需的资源成本。
步骤303、基于不同模式下执行格式转换与迁移处理所需的资源成本,确定对转码设备的部署策略。
在上述处理基础上,可进一步基于不同模式下执行格式转换与迁移处理所需的资源成本,确定对转码设备的部署策略。
可选的,具体可获取预设迁移策略,并根据预设迁移策略,和不同部署模式的转码设备对待迁移对象执行格式转换与迁移处理所需的资源成本,确定对转码设备进行部署所需的目标部署模式,及目标部署模式下的部署需求信息。确定出的目标部署模式及目标部署模式下的部署需求信息,作为对转码设备的部署策略。
预设迁移策略,可以根据实际的迁移需求进行设定,可以但不限于设定为:成本约束条件下的最快迁移策略。以待迁移对象包括多个应用集群为例,可选的,具体可将该迁移策略设置为:成本约束条件下单一集群的最快迁移策略。在该策略下,以集群为边界进行批量转码(格式转换)。以保证在满足上述的性能条件下,每个应用集群的迁移时间最短,但是允许不同应用集群之间转码设备(如转码服务器)有所空置。
成本约束条件,如上文所述,可以但不限于是,对应的资源成本低于预设成本,或对应的资源成本在各个可选部署模式中最低。
成本约束条件及基于成本约束条件的迁移策略的设定,目的在于实现对迁移环境性能、待迁移对象的并发处理性能、资源成本等因素之间进行综合优化分析,以确定出资源成本相对较低,且能满足对待迁移对象的高并发迁移性能以及迁移环境性能需求(不影响平台上其他业务的运行)的部署策略。
实际应用中,可以但不限于采用典型的最优化算法,如割平面法、分支界定法、蒙特卡洛法等,基于迁移策略及相关的成本信息、负载/资源信息、性能需求信息,进行优化分析,实现部署策略的确定。除此之外,也可以将经典无约束优化算法进行改造,以适应本场景下的应用,例如,模拟退火算法与禁忌搜索算法,并在迭代中进行约束条件分析等。
通过优化分析,确定出理想情况或相对理想情况下,对待迁移对象执行格式转换与迁移所需的目标部署模式,及目标部署模式下所需的转码设备部署数量(也即待迁移对象的作业并发量)、部署位置等部署需求信息,以更好地满足在所属迁移环境中进行格式转码与迁移的各方面需求。
待迁移对象所对应迁移环境的负载状况、运行状况通常是动态变化的,例如,其业务负载可能在待迁移对象的下一批对象数据参与处理时已经发生变化。基于此,在一可选实施例中,本申请的处理方法,在基于步骤102,确定对转码设备的部署策略时,具体可按时间分片方式,依次确定未来时间分片下对转码设备的部署策略。
相应的,具体可在待迁移对象对应的迁移环境于未来预设时间分片满足性能条件和运行条件的情况下,基于所述未来预设时间分片下不同部署模式的转码设备分别对待迁移对象执行格式转换与迁移处理所需的资源成本,确定在所述未来预设时间分片对转码设备的部署策略。
该实施方式下,具体可预测待迁移对象从当前时间分片至未来预设分片所对应的负载变化、环境资源(如网络、计算、存储、带宽)变化,并以此为基础,结合设定的性能条件、运行条件等,确定未来预设时间分片下,不同部署模式的转码设备分别对待迁移对象执行格式转换与迁移处理所需的资源成本,进而根据确定出的资源成本,确定未来预设时间分片对转码设备的部署策略。
当确定出的部署策略相比于上一时间分片发生变化时,可在到达所需未来时间分片对应的时间节点时,及时调整部署策略,以满足迁移环境的负载状况、运行状况动态变化情况下的转码设备优化部署需求,从而能进一步满足在所属迁移环境中进行格式转码与迁移的各方面需求。
在一可选实施例中,参见图4所示的处理方法流程图,本申请提供的处理方法在步骤103之后,还可以包括以下处理:
步骤104、预测待迁移对象所对应迁移环境的负载变化,得到负载变化预测信息。
步骤105、根据负载变化预测信息,对转码设备进行对应的部署调整处理。
与上一基于时间分片的实施方式相比,本实施例可实时监测待迁移对象所对应迁移环境的负载信息,以及运行状况(如是否稳定、业务响应是否超时)、资源占用等信息,根据监测的信息,根据所监测信息体现的负载变化趋势或规律,预测待迁移对象所对应迁移环境的负载变化。可选的,具体可预测发生负载变化的时间节点及负载变化量。并有针对性的触发匹配于该时间节点的部署策略确定处理,以预测该时间节点所需的部署策略,进而便于在到达该时间节点间时,基于确定出的匹配于该时间节点间的部署策略,对转码设备进行对应的部署调整处理。
具体的,可进一步结合对应的负载变化预测信息,如上述时间节点下的负载变化量,在待迁移对象对应的迁移环境于该时间节点满足性能条件和运行条件情况下,基于不同部署模式的转码设备分别对待迁移对象执行格式转换与迁移处理所需的资源成本,确定在该时间节点对转码设备的部署策略。
后续,在到达上述时间节点时,基于确定出的部署策略及时对转码设备进行对应的部署调整处理,以满足迁移环境的负载状况、运行状况动态变化情况下的转码设备优化部署需求,从而能进一步满足在所属迁移环境中进行格式转码与迁移的各方面需求。
在一可选实施例中,参见图5所示的处理方法流程图,本申请提供的处理方法在步骤103之后,还可以包括以下处理:
步骤106、根据转码设备的部署结果,生成对应的调度策略。
在基于部署策略进行转码设备的部署后,例如,按部署策略中的目标部署模式,在对应平台的对应位置部署所需数量的转码设备后,可进一步以转码设备的部署情况为依据,生成对待迁移对象的调度策略。
所生成的调度策略,可以是但不限于:在所需时间节点,对待迁移对象的哪些待迁移作业(如应用集群中的哪些应用),在哪些转码设备上执行并发量为多大的并发转码与迁移操作。
步骤107、根据生成的调度策略,对待迁移对象进行格式转换与迁移处理。
之后,可进一步根据的生成的调度策略,对待迁移对象进行调度,以对其执行所需的格式转换与迁移处理。
其中,调度策略中的所需时间节点,可以是当前所对应的时间节点,也可以是未来某个时间(如未来某个时间分片)所对应的时间节点。
对于时间节点的前一种情况,会立即执行基于调度策略的作业调度及格式转化与迁移处理;而对于时间节点的后一种情况,则可基于计时等方式,在到达未来所需的时间节点时,再启动基于调度策略的作业调度及格式转换与迁移任务。
后续,结合参见图6示出的本申请方法的一应用流程图,当一个或一批迁移作业完成,待启动新的迁移作业时,具体可在启动新的迁移作业之前,重新执行本申请方法的处理过程。两次不同调度之间的历时一般较长,对于下一次或下一批的待执行作业,平台负载、资源等情况往往已经发生变化,通过重新执行本申请方法的处理过程,使得根据迁移环境的实际运行状况优化部署策略及调度计划。
本申请实施例还公开一种电子设备,电子设备的组成结构,如图7所示,至少包括:
存储器10,用于存放计算机指令集;
计算机指令集可以通过计算机程序的形式实现。
处理器20,用于通过执行计算机指令集,实现如上文任一方法实施例公开的处理方法。
处理器20可以为中央处理器(Central Processing Unit,CPU),特定应用集成电路(application-specific integrated circuit,ASIC),数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件等。
电子设备具备显示装置和/或具备显示接口、能外接显示装置。
可选的,电子设备还包括摄像头组件,和/或连接有外置摄像头组件。
除此之外,电子设备还可以包括通信接口、通信总线等组成部分。存储器、处理器和通信接口通过通信总线完成相互间的通信。
通信接口用于电子设备与其他设备之间的通信。通信总线可以是外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture,EISA)总线等,该通信总线可以分为地址总线、数据总线、控制总线等。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
为了描述的方便,描述以上系统或装置时以功能分为各种模块或单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后,还需要说明的是,在本文中,诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种处理方法,所述方法包括:
确定待迁移对象;
在所述待迁移对象对应的迁移环境满足性能条件和运行条件情况下,基于不同部署模式的转码设备分别对所述待迁移对象执行格式转换与迁移处理所需的资源成本,确定对所述转码设备的部署策略;所述部署策略包括:由所述不同部署模式中的至少一种部署模式构成的目标部署模式,及所述目标部署模式下的部署需求信息;
根据所述部署策略进行转码设备的部署。
2.根据权利要求1所述的方法,所述确定待迁移对象,包括:
确定待迁移的应用、应用集群或操作系统所对应的虚拟设备,作为待迁移对象。
3.根据权利要求1所述的方法,所述在所述待迁移对象对应的迁移环境满足性能条件和运行条件情况下,基于不同部署模式的转码设备分别对所述待迁移对象执行格式转换与迁移处理所需的资源成本,确定对所述转码设备的部署策略,包括:
在所述待迁移对象对应的源宿主设备端迁移环境和/或目的宿主设备端迁移环境满足性能条件和运行条件情况下,确定基于不同部署模式的转码设备分别对所述待迁移对象执行格式转换与迁移处理所需的目标耗时;
根据所述不同部署模式的转码设备分别对所述待迁移对象执行格式转换与迁移处理所需的目标耗时,确定基于所述不同部署模式的转码设备分别对所述待迁移对象执行格式转换与迁移处理所需的资源成本;
基于所述资源成本,确定对所述转码设备的部署策略。
4.根据权利要求3所述的方法,所述在所述待迁移对象对应的源宿主设备端迁移环境和/或目的宿主设备端迁移环境满足性能条件和运行条件情况下,确定基于不同部署模式的转码设备分别对所述待迁移对象执行格式转换与迁移处理所需的目标耗时,包括:
根据最佳并发执行能力信息和所述待迁移对象的数据量,预测将所述待迁移对象从源宿主设备转移至不同部署模式的转码设备并在不同部署模式的转码设备进行格式转换分别所需的第一耗时;
根据所述最佳并发执行能力信息和预估的完成格式转换后的待迁移对象对应的数据量,预测将完成格式转换后的待迁移对象从不同部署模式的转码设备分别转移至目的宿主设备所需的第二耗时;
根据所述第一耗时和所述第二耗时,确定所述目标耗时。
5.根据权利要求1所述的方法,所述在所述待迁移对象对应的迁移环境满足性能条件和运行条件情况下,基于不同部署模式的转码设备分别对所述待迁移对象执行格式转换与迁移处理所需的资源成本,确定对所述转码设备的部署策略,包括:
在所述待迁移对象对应的迁移环境于未来预设时间分片满足性能条件和运行条件的情况下,基于所述未来预设时间分片下不同部署模式的转码设备分别对待迁移对象执行格式转换与迁移处理所需的资源成本,确定在所述未来预设时间分片对所述转码设备的部署策略。
6.根据权利要求1所述的方法,所述不同部署模式包括:转码设备位于所述待迁移对象的源宿主设备所属的源管理平台;转码设备位于所述待迁移对象的目的宿主设备所属的目的管理平台,转码设备位于所述源管理平台和所述目的管理平台之外的管理平台;
所述基于不同部署模式的转码设备对所述待迁移对象执行格式转换与迁移处理所需的资源成本,确定对转码设备的部署策略,包括:
获取预设迁移策略;
根据所述预设迁移策略,和所述不同部署模式的转码设备对所述待迁移对象执行格式转换与迁移处理所需的资源成本,确定对转码设备进行部署所需的目标部署模式及所述目标部署模式下的部署需求信息。
7.根据权利要求1所述的方法,所述部署需求信息包括部署数量信息和部署位置信息;所述根据所述部署策略进行转码设备的部署,包括:
根据所述部署数量信息,创建对应数量的转码设备;
根据所述部署位置信息,将创建的转码设备按所述部署策略中的目标部署模式部署至对应位置。
8.根据权利要求1所述的方法,还包括:
预测所述迁移环境的负载变化,得到负载变化预测信息;
根据所述负载变化预测信息,对转码设备进行对应的部署调整处理。
9.根据权利要求1所述的方法,还包括:
根据转码设备的部署结果,生成对应的调度策略;
根据所述调度策略,对所述待迁移对象进行格式转换与迁移处理。
10.一种电子设备,包括:
存储器,用于至少存储一组计算机指令集;
处理器,用于通过调用并执行所述存储器中存储的所述指令集,实现如权利要求1-9任一项所述的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310031619.8A CN116027980A (zh) | 2023-01-10 | 2023-01-10 | 一种处理方法和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310031619.8A CN116027980A (zh) | 2023-01-10 | 2023-01-10 | 一种处理方法和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116027980A true CN116027980A (zh) | 2023-04-28 |
Family
ID=86080879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310031619.8A Pending CN116027980A (zh) | 2023-01-10 | 2023-01-10 | 一种处理方法和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116027980A (zh) |
-
2023
- 2023-01-10 CN CN202310031619.8A patent/CN116027980A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3847549B1 (en) | Minimizing impact of migrating virtual services | |
Bhattacharjee et al. | Barista: Efficient and scalable serverless serving system for deep learning prediction services | |
EP3637733B1 (en) | Load balancing engine, client, distributed computing system, and load balancing method | |
US10789102B2 (en) | Resource provisioning in computing systems | |
CN108632365B (zh) | 服务资源调整方法、相关装置和设备 | |
CN108733509B (zh) | 用于在集群系统中备份和恢复数据的方法和系统 | |
US8423646B2 (en) | Network-aware virtual machine migration in datacenters | |
US20190130327A1 (en) | Applying machine learning to dynamically scale computing resources to satisfy a service level agreement (sla) | |
EP2742426B1 (en) | Network-aware coordination of virtual machine migrations in enterprise data centers and clouds | |
Sayadnavard et al. | A reliable energy-aware approach for dynamic virtual machine consolidation in cloud data centers | |
Soualhia et al. | Task scheduling in big data platforms: a systematic literature review | |
US9037880B2 (en) | Method and system for automated application layer power management solution for serverside applications | |
US10565021B2 (en) | Automated capacity management in distributed computing systems | |
US11579933B2 (en) | Method for establishing system resource prediction and resource management model through multi-layer correlations | |
CN115208879A (zh) | 将查询定向到跨主机系统和主机系统的硬件加速器分布的容器编排平台的集群的节点 | |
CN113672345A (zh) | 一种基于io预测的云虚拟化引擎分布式资源调度方法 | |
US9607275B2 (en) | Method and system for integration of systems management with project and portfolio management | |
US9594596B2 (en) | Dynamically tuning server placement | |
US20170208121A1 (en) | Server pool management | |
Zhang et al. | PRMRAP: A proactive virtual resource management framework in cloud | |
Jiang et al. | Multi-prediction based scheduling for hybrid workloads in the cloud data center | |
CN116027980A (zh) | 一种处理方法和电子设备 | |
CN115629858A (zh) | 无服务器背景下函数实例数量自适应方法及应用 | |
Streichert et al. | Dynamic task binding for hardware/software reconfigurable networks | |
CN114697213A (zh) | 一种升级方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |