CN117806776B - 一种数据迁移方法、装置及电子设备和存储介质 - Google Patents
一种数据迁移方法、装置及电子设备和存储介质 Download PDFInfo
- Publication number
- CN117806776B CN117806776B CN202410224921.XA CN202410224921A CN117806776B CN 117806776 B CN117806776 B CN 117806776B CN 202410224921 A CN202410224921 A CN 202410224921A CN 117806776 B CN117806776 B CN 117806776B
- Authority
- CN
- China
- Prior art keywords
- data
- memory
- time cost
- current
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 167
- 230000005012 migration Effects 0.000 title claims abstract description 167
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 238000007906 compression Methods 0.000 claims description 108
- 230000006835 compression Effects 0.000 claims description 108
- 230000005540 biological transmission Effects 0.000 claims description 65
- 238000013467 fragmentation Methods 0.000 claims description 46
- 238000006062 fragmentation reaction Methods 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 9
- 239000012634 fragment Substances 0.000 abstract description 7
- 230000001360 synchronised effect Effects 0.000 description 9
- 230000005291 magnetic effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013144 data compression Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据迁移方法、装置及电子设备和存储介质，涉及计算机技术领域，该方法包括：确定虚拟机需要迁移的内存数据；确定所述内存数据的迁移成本，并判断所述迁移成本是否大于预设值；若是，则将所述虚拟机的当前内存节点的地址映射至目标宿主机；若否，则将所述内存数据从所述当前内存节点迁移至所述目标宿主机对应的目标内存节点。本申请提供的数据迁移方法，计算需要迁移的内存数据的迁移成本，当迁移成本大于预设值时，说明直接迁移该内存数据容易产生内存空间碎片、对内存资源运行效率的影响较大，此时通过内存节点的地址映射将当前内存节点映射至目标宿主机，避免直接迁移内存数据对内存资源运行效率。
Description
技术领域
本申请涉及计算机技术领域，更具体地说，涉及一种数据迁移方法、装置及电子设备和存储介质。
背景技术
在存算解耦系统技术框架下，虚拟机在初始化过程中，对其进行计算、存储、内存等资源的配置相对固定，在虚拟机运行后很少进行动态调整。这种资源配置方式一方面带来了远程内存中部分资源长期无法得到有效利用，另一方面，也导致虚拟机在发生故障时无法有效的进行故障管理，在高并发应用场景下，短时间内并发的用户请求将导致虚拟机发生崩溃、宕机等问题。
在相关技术中，通过资源重分配等方式对虚拟机进行异地迁移、重启。但是，上述虚拟机数据迁移方案灵活性差，数据迁移成本高，且容易产生内存空间碎片，影响内存资源运行效率。
因此，如何降低虚拟机的数据迁移对内存资源运行效率的影响是本领域技术人员需要解决的技术问题。
发明内容
本申请的目的在于提供一种数据迁移方法、装置及电子设备和存储介质，降低了虚拟机的数据迁移对内存资源运行效率的影响。
为实现上述目的，本申请提供了一种数据迁移方法，包括：
确定虚拟机需要迁移的内存数据；
确定所述内存数据的迁移成本，并判断所述迁移成本是否大于预设值；
若是，则将所述虚拟机的当前内存节点的地址映射至目标宿主机；
若否，则将所述内存数据从所述当前内存节点迁移至所述目标宿主机对应的目标内存节点。
其中，确定所述内存数据的迁移成本，包括：
确定所述内存数据中不连续的物理内存空间大小与所述内存数据占用的内存空间总量之间的比值；
确定所述当前内存节点对应的虚拟机平均内存碎片化率；
将所述比值与所述虚拟机平均内存碎片化率的和确定为所述内存数据的迁移成本。
其中，确定所述当前内存节点对应的虚拟机平均内存碎片化率，包括：
将所述当前内存节点对应的虚拟机的实际使用内存总量与分配给所述虚拟机的内存总量的比值确定为所述虚拟机的内存碎片化率；
根据所述当前内存节点对应的所有虚拟机的内存碎片化率和所述当前内存节点对应的虚拟机数量确定当前内存节点对应的虚拟机平均内存碎片化率。
其中，确定所述内存数据的迁移成本，包括：
根据迁移成本计算公式确定所述内存数据的迁移成本；其中，所述迁移成本计算公式为：
；
其中，为内存数据M的迁移成本，/>为内存数据M中不连续的物理内存空间大小，/>为内存数据M占用的内存空间总量，/>为所述当前内存节点对应的虚拟机平均内存碎片化率。
其中，所述当前内存节点对应的虚拟机平均内存碎片化率的计算公式为：
；
其中，为所述当前内存节点对应的第i个虚拟机的实际使用内存总量，/>为分配给所述第i个虚拟机的内存总量，1≤i≤u，u为所述当前内存节点对应的虚拟机数量。
其中，将所述内存数据从所述当前内存节点迁移至目标宿主机对应的目标内存节点，包括：
以最小化所述内存数据的总时间成本为目标确定所述内存数据中第一数据与第二数据的分割比例和压缩率；其中，所述内存数据的总时间成本为第一时间成本与第二时间成本之和，所述第一时间成本为迁移第一数据的时间成本，所述第一数据为所述内存数据中直接迁移的数据，所述第二时间成本为迁移第二数据的时间成本，所述第二数据为所述内存数据中压缩之后迁移的数据；
根据所述分割比例在所述内存数据中确定所述第一数据和所述第二数据；
将所述第一数据从所述当前内存节点迁移至目标宿主机对应的目标内存节点，基于所述压缩率对所述第二数据进行压缩，将压缩之后的第二数据从所述当前内存节点迁移至所述目标内存节点。
其中，还包括：
根据所述第一数据的数据量、所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力、所述当前宿主机与所述目标宿主机之间的链路传输能力、所述目标宿主机与所述目标内存节点之间的链路传输能力确定迁移第一数据的第一时间成本。
其中，根据所述第一数据的数据量、所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力、所述当前宿主机与所述目标宿主机之间的链路传输能力、所述目标宿主机与所述目标内存节点之间的链路传输能力确定迁移第一数据的第一时间成本，包括：
根据第一时间成本计算公式确定迁移第一数据的第一时间成本；其中，所述第一时间成本计算公式为：
；
其中，为迁移所述第一数据的第一时间成本，/>为所述第一数据的数据量，/>为所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力，为所述当前宿主机与所述目标宿主机之间的链路传输能力，/>为所述目标宿主机与所述目标内存节点之间的链路传输能力。
其中，还包括：
确定基于所述压缩率压缩第二数据的压缩时间成本，确定迁移所述第二数据的迁移时间成本；
将所述第二数据的压缩时间成本和迁移时间成本之和确定为迁移所述第二数据的第二时间成本。
其中，确定基于所述压缩率压缩第二数据的压缩时间成本，包括：
根据第二数据的数据量、所述虚拟机的当前宿主机的处理器性能、所述压缩率、所述当前宿主机处理单位数据的周期长度确定压缩第二数据的压缩时间成本。
其中，根据第二数据的数据量、所述虚拟机的当前宿主机的处理器性能、所述压缩率、所述当前宿主机处理单位数据的周期长度确定压缩第二数据的压缩时间成本，包括：
根据压缩时间成本计算公式确定压缩第二数据的压缩成本；其中，所述压缩时间成本计算公式为：
；
其中，为所述第二数据的压缩时间成本，w为所述当前宿主机处理单位数据的周期长度，/>为所述第二数据的数据量，k为所述压缩率，/>为所述当前宿主机的处理器性能，p为预设参数。
其中，确定迁移所述第二数据的迁移时间成本，包括：
根据所述第二数据的数据量、所述压缩率、所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力、所述当前宿主机与所述目标宿主机之间的链路传输能力、所述目标宿主机与所述目标内存节点之间的链路传输能力确定迁移第二数据的迁移时间成本。
其中，迁移所述第二数据的迁移时间成本为：
；
其中，为所述第二数据的数据量，k为所述压缩率，/>为所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力，/>为所述当前宿主机与所述目标宿主机之间的链路传输能力，/>为所述目标宿主机与所述目标内存节点之间的链路传输能力。
其中，确定迁移第二数据的第二时间成本，包括：
根据第二时间成本计算公式确定迁移第二数据的第二时间成本；其中，所述第二时间成本计算公式为：
；
其中，为迁移所述第二数据的第二时间成本，/>为所述第二数据的数据量，k为所述压缩率，/>为所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力，/>为所述当前宿主机与所述目标宿主机之间的链路传输能力，/>为所述目标宿主机与所述目标内存节点之间的链路传输能力，/>为基于压缩率k压缩所述第二数据的压缩成本。
其中，以最小化所述内存数据的总时间成本为目标确定所述内存数据中第一数据与第二数据的分割比例和压缩率，包括：
根据第一时间成本与第二时间成本之和构建目标函数，所述目标函数用于描述迁移所述内存数据的总时间成本；
确定所述目标函数最小值时所述内存数据中第一数据与第二数据的分割比例和压缩率。
其中，所述目标函数为：；
其中，为所述第一数据的数据量，/>为所述第二数据的数据量，为迁移所述第一数据的第一时间成本，/>为迁移所述第二数据的第二时间成本。
其中，所述分割比例为。
为实现上述目的，本申请提供了一种数据迁移装置，包括：
第一确定模块，用于确定虚拟机需要迁移的内存数据；
判断模块，用于确定所述内存数据的迁移成本，并判断所述迁移成本是否大于预设值；若是，则启动映射模块的工作流程；若否，则启动迁移模块的工作流程；
所述映射模块，用于将所述虚拟机的当前内存节点的地址映射至目标宿主机；
所述迁移模块，用于将所述内存数据从所述当前内存节点迁移至目标宿主机对应的目标内存节点。
其中，所述判断模块具体用于：确定所述内存数据中不连续的物理内存空间大小与所述内存数据占用的内存空间总量之间的比值；确定所述当前内存节点对应的虚拟机平均内存碎片化率；将所述比值与所述虚拟机平均内存碎片化率的和确定为所述内存数据的迁移成本。
其中，所述判断模块具体用于：将所述当前内存节点对应的虚拟机的实际使用内存总量与分配给所述虚拟机的内存总量的比值确定为所述虚拟机的内存碎片化率；根据所述当前内存节点对应的所有虚拟机的内存碎片化率和所述当前内存节点对应的虚拟机数量确定当前内存节点对应的虚拟机平均内存碎片化率。
其中，所述判断模块具体用于：根据迁移成本计算公式确定所述内存数据的迁移成本；其中，所述迁移成本计算公式为：
；
其中，为内存数据M的迁移成本，/>为内存数据M中不连续的物理内存空间大小，/>为内存数据M占用的内存空间总量，/>为所述当前内存节点对应的虚拟机平均内存碎片化率。
其中，所述当前内存节点对应的虚拟机平均内存碎片化率的计算公式为：
；
其中，为所述当前内存节点对应的第i个虚拟机的实际使用内存总量，/>为分配给所述第i个虚拟机的内存总量，1≤i≤u，u为所述当前内存节点对应的虚拟机数量。
其中，所述迁移模块具体用于：以最小化所述内存数据的总时间成本为目标确定所述内存数据中第一数据与第二数据的分割比例和压缩率；其中，所述内存数据的总时间成本为第一时间成本与第二时间成本之和，所述第一时间成本为迁移第一数据的时间成本，所述第一数据为所述内存数据中直接迁移的数据，所述第二时间成本为迁移第二数据的时间成本，所述第二数据为所述内存数据中压缩之后迁移的数据；根据所述分割比例在所述内存数据中确定所述第一数据和所述第二数据；将所述第一数据从所述当前内存节点迁移至目标宿主机对应的目标内存节点，基于所述压缩率对所述第二数据进行压缩，将压缩之后的第二数据从所述当前内存节点迁移至所述目标内存节点。
其中，还包括：
第二确定模块，用于根据所述第一数据的数据量、所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力、所述当前宿主机与所述目标宿主机之间的链路传输能力、所述目标宿主机与所述目标内存节点之间的链路传输能力确定迁移第一数据的第一时间成本。
其中，所述第二确定模块具体用于：根据第一时间成本计算公式确定迁移第一数据的第一时间成本；其中，所述第一时间成本计算公式为：
；
其中，为迁移所述第一数据的第一时间成本，/>为所述第一数据的数据量，/>为所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力，为所述当前宿主机与所述目标宿主机之间的链路传输能力，/>为所述目标宿主机与所述目标内存节点之间的链路传输能力。
其中，还包括：
第三确定模块，用于确定基于所述压缩率压缩第二数据的压缩时间成本，确定迁移所述第二数据的迁移时间成本；将所述第二数据的压缩时间成本和迁移时间成本之和确定为迁移所述第二数据的第二时间成本。
其中，所述第三确定模块具体用于：根据第二数据的数据量、所述虚拟机的当前宿主机的处理器性能、所述压缩率、所述当前宿主机处理单位数据的周期长度确定压缩第二数据的压缩时间成本。
其中，所述第三确定模块具体用于：根据压缩时间成本计算公式确定压缩第二数据的压缩成本；其中，所述压缩时间成本计算公式为：
；
其中，为所述第二数据的压缩时间成本，w为所述当前宿主机处理单位数据的周期长度，/>为所述第二数据的数据量，k为所述压缩率，/>为所述当前宿主机的处理器性能，p为预设参数。
其中，所述第三确定模块具体用于：根据所述第二数据的数据量、所述压缩率、所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力、所述当前宿主机与所述目标宿主机之间的链路传输能力、所述目标宿主机与所述目标内存节点之间的链路传输能力确定迁移第二数据的迁移时间成本。
其中，迁移所述第二数据的迁移时间成本为：
；
其中，为所述第二数据的数据量，k为所述压缩率，/>为所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力，/>为所述当前宿主机与所述目标宿主机之间的链路传输能力，/>为所述目标宿主机与所述目标内存节点之间的链路传输能力。
其中，所述第三确定模块具体用于：根据第二时间成本计算公式确定迁移第二数据的第二时间成本；其中，所述第二时间成本计算公式为：
；
其中，为迁移所述第二数据的第二时间成本，/>为所述第二数据的数据量，k为所述压缩率，/>为所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力，/>为所述当前宿主机与所述目标宿主机之间的链路传输能力，/>为所述目标宿主机与所述目标内存节点之间的链路传输能力，/>为基于压缩率k压缩所述第二数据的压缩成本。
其中，所述迁移模块具体用于：根据第一时间成本与第二时间成本之和构建目标函数，所述目标函数用于描述迁移所述内存数据的总时间成本；确定所述目标函数最小值时所述内存数据中第一数据与第二数据的分割比例和压缩率。
其中，所述目标函数为：；
其中，为所述第一数据的数据量，/>为所述第二数据的数据量，为迁移所述第一数据的第一时间成本，/>为迁移所述第二数据的第二时间成本。
其中，所述分割比例为。
为实现上述目的，本申请提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述数据迁移方法的步骤。
为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述数据迁移方法的步骤。
通过以上方案可知，本申请提供的一种数据迁移方法，包括：确定虚拟机需要迁移的内存数据；确定所述内存数据的迁移成本，并判断所述迁移成本是否大于预设值；若是，则将所述虚拟机的当前内存节点的地址映射至目标宿主机；若否，则将所述内存数据从所述当前内存节点迁移至所述目标宿主机对应的目标内存节点。
本申请提供的数据迁移方法，计算需要迁移的内存数据的迁移成本，当迁移成本大于预设值时，说明直接迁移该内存数据容易产生内存空间碎片、对内存资源运行效率的影响较大，此时通过内存节点的地址映射将当前内存节点映射至目标宿主机，避免直接迁移内存数据对内存资源运行效率。本申请还公开了一种数据迁移装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1为根据一示例性实施例示出的一种数据迁移方法的流程图；
图2为根据一示例性实施例示出的另一种数据迁移方法的流程图；
图3为根据一示例性实施例示出的一种数据迁移装置的结构图；
图4为根据一示例性实施例示出的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，在本申请实施例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例公开了一种数据迁移方法，降低了虚拟机的数据迁移对内存资源运行效率的影响。
参见图1，根据一示例性实施例示出的一种数据迁移方法的流程图，如图1所示，包括：
S101：确定虚拟机需要迁移的内存数据；
S102：确定所述内存数据的迁移成本，并判断所述迁移成本是否大于预设值；若是，则进入S103；若否，则进入S104；
本实施例可以应用于存算解耦系统，执行主体可以为虚拟机管理器。在具体实施中，当虚拟机管理器决定对虚拟机在当前内存节点中的内存数据进行迁移时，确定该内存数据的迁移成本，迁移成本用于描述迁移内存数据的碎片化风险，也即迁移成本越高说明迁移内存数据越容易产生内存空间碎片。
作为一种可行的实施方式，确定所述内存数据的迁移成本，包括：确定所述内存数据中不连续的物理内存空间大小与所述内存数据占用的内存空间总量之间的比值；确定所述当前内存节点对应的虚拟机平均内存碎片化率；将所述比值与所述虚拟机平均内存碎片化率的和确定为所述内存数据的迁移成本。
在具体实施中，计算内存数据中不连续的物理内存空间大小与内存数据占用的内存空间总量之间的比值，该比值越大说明内存数据在内存空间中非连续性越高。然后，确定当前内存节点对应的虚拟机平均内存碎片化率。作为一种可行的实施方式，将当前内存节点对应的虚拟机的实际使用内存总量与分配给虚拟机的内存总量的比值确定为虚拟机的内存碎片化率，根据当前内存节点对应的所有虚拟机的内存碎片化率和当前内存节点对应的虚拟机数量确定当前内存节点对应的虚拟机平均内存碎片化率，也即将当前内存节点对应的所有虚拟机的内存碎片化率之和与当前内存节点对应的虚拟机数量的比值确定为当前内存节点对应的虚拟机平均内存碎片化率。进一步的，将内存数据中不连续的物理内存空间大小与内存数据占用的内存空间总量之间的比值与虚拟机平均内存碎片化率的和确定为内存数据的迁移成本。可见，根据内存数据中不连续的物理内存空间大小、虚拟机平均内存碎片化率可以准确的衡量迁移内存数据的碎片化风险。
作为一种可行的实施方式，确定所述内存数据的迁移成本，包括：根据迁移成本计算公式确定所述内存数据的迁移成本；其中，所述迁移成本计算公式为：
；
其中，为内存数据M的迁移成本，/>为内存数据M中不连续的物理内存空间大小，/>为内存数据M占用的内存空间总量，/>为所述当前内存节点对应的虚拟机平均内存碎片化率。
其中，当前内存节点对应的虚拟机平均内存碎片化率的计算公式为：
；
其中，为所述当前内存节点对应的第i个虚拟机的实际使用内存总量，/>为分配给所述第i个虚拟机的内存总量，1≤i≤u，u为所述当前内存节点对应的虚拟机数量。
进一步的，判断内存数据的迁移成本是否大于预设值；若是，则进入S103；若否，则进入S104。
S103：将所述虚拟机的当前内存节点的地址映射至目标宿主机；
在具体实施中，当迁移成本大于预设值时，说明直接迁移该内存数据的碎片化风险超过了容忍程度，对内存资源运行效率的影响较大，此时通过内存节点的地址映射将当前内存节点映射至目标宿主机，也即实现内存数据在逻辑上的迁移，避免直接迁移内存数据对内存资源运行效率。
S104：将所述内存数据从所述当前内存节点迁移至所述目标宿主机对应的目标内存节点。
在具体实施中，当迁移成本小于或等于预设值时，说明迁移该内存数据的碎片化风险较低，不会产生较多的碎片以及内存空间映射带来的额外成本，对内存资源运行效率的影响较小，此时将内存数据从当前内存节点迁移至目标宿主机对应的目标内存节点。
本申请实施例提供的数据迁移方法，计算需要迁移的内存数据的迁移成本，当迁移成本大于预设值时，说明直接迁移该内存数据容易产生内存空间碎片、对内存资源运行效率的影响较大，此时通过内存节点的地址映射将当前内存节点映射至目标宿主机，避免直接迁移内存数据对内存资源运行效率。
本申请实施例公开了一种数据迁移方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
参见图2，根据一示例性实施例示出的另一种数据迁移方法的流程图，如图2所示，包括：
S201：确定虚拟机需要迁移的内存数据；
S202：确定所述内存数据的迁移成本，并判断所述迁移成本是否大于预设值；若是，则进入S203；若否，则进入S204；
S203：将所述虚拟机的当前内存节点的地址映射至目标宿主机；
S204：以最小化所述内存数据的总时间成本为目标确定所述内存数据中第一数据与第二数据的分割比例和压缩率；其中，所述内存数据的总时间成本为第一时间成本与第二时间成本之和，所述第一时间成本为迁移第一数据的时间成本，所述第一数据为所述内存数据中直接迁移的数据，所述第二时间成本为迁移第二数据的时间成本，所述第二数据为所述内存数据中压缩之后迁移的数据；
在具体实施中，在迁移内存数据时，目标宿主机将在其逻辑内存空间当中开辟一块地址用于存放迁移数据。数据的迁移有两种策略，一种为直接复制，即将当前内存节点中的数据直接拷贝至目标内存节点，另一种则需要首先对数据进行压缩，再将压缩后的数据拷贝至目标内存节点，并解压缩。可以理解的是，在存算解耦系统架构中，由于内存资源服务器中的计算单元性能较弱，对于处理大规模数据能力不足，在此类节点上进行压缩或者接数据拷贝的成本差异较大，可能会对系统性能造成影响。数据拷贝主要消耗系统缓存资源和网络带宽资源，而数据压缩则主要消耗计算资源，并在一定程度降低对网络带宽资源的消耗。
以最小化内存数据的总时间成本为目标确定内存数据中第一数据与第二数据的分割比例和压缩率，第一数据为内存数据中直接迁移的数据，第二数据为内存数据中压缩之后迁移的数据。内存数据的总时间成本包含两个部分，也即第一时间成本和第二时间成本，第一时间成本为迁移第一数据的第一时间成本，第二时间成本为迁移第二数据的第二时间成本。
作为一种可行的实施方式，根据第一数据的数据量、当前内存节点至虚拟机的当前宿主机之间的链路传输能力、当前宿主机与目标宿主机之间的链路传输能力、目标宿主机与目标内存节点之间的链路传输能力确定迁移第一数据的第一时间成本。通过第一数据的数据量和各链路的传输能力确定迁移第一数据的第一时间成本，能够更加准确的衡量迁移第一数据的第一时间成本。第一时间成本计算公式为：
；
其中，为迁移所述第一数据的第一时间成本，/>为所述第一数据的数据量，/>为所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力，为所述当前宿主机与所述目标宿主机之间的链路传输能力，/>为所述目标宿主机与所述目标内存节点之间的链路传输能力。
作为一种可行的实施方式，确定基于压缩率压缩第二数据的压缩时间成本，确定迁移第二数据的迁移时间成本，将第二数据的压缩时间成本和迁移时间成本之和确定为迁移第二数据的第二时间成本。
在具体实施中，可以根据第二数据的数据量、虚拟机的当前宿主机的处理器性能、压缩率、当前宿主机处理单位数据的周期长度确定压缩第二数据的压缩时间成本，可以准确的衡量第二数据的压缩时间成本。压缩时间成本计算公式为：
；
其中，为所述第二数据的压缩时间成本，w为所述当前宿主机处理单位数据的周期长度，/>为所述第二数据的数据量，k为所述压缩率，/>为所述当前宿主机的处理器性能，p为预设参数。
在具体实施中，可以根据第二数据的数据量、压缩率、当前内存节点至虚拟机的当前宿主机之间的链路传输能力、当前宿主机与目标宿主机之间的链路传输能力、目标宿主机与目标内存节点之间的链路传输能力确定迁移第二数据的迁移时间成本。通过第二数据的数据量和各链路的传输能力确定迁移第二数据的迁移时间成本，能够更加准确的衡量迁移第二数据的迁移时间成本。迁移第二数据的迁移时间成本为：
；
其中，为所述第二数据的数据量，k为所述压缩率，/>为所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力，/>为所述当前宿主机与所述目标宿主机之间的链路传输能力，/>为所述目标宿主机与所述目标内存节点之间的链路传输能力。
也即，第二时间成本计算公式为：
；
其中，为迁移所述第二数据的第二时间成本，/>为所述第二数据的数据量，k为所述压缩率，/>为所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力，/>为所述当前宿主机与所述目标宿主机之间的链路传输能力，/>为所述目标宿主机与所述目标内存节点之间的链路传输能力，/>为基于压缩率k压缩所述第二数据的压缩成本。
作为一种可行的实施方式，以最小化所述内存数据的总时间成本为目标确定所述内存数据中第一数据与第二数据的分割比例和压缩率，包括：根据第一时间成本与第二时间成本之和构建目标函数，所述目标函数用于描述迁移所述内存数据的总时间成本；确定所述目标函数最小值时所述内存数据中第一数据与第二数据的分割比例和压缩率。通过构造目标函数求解最优的分割比例和压缩率，提高了分割比例和压缩率的计算效率。
其中，目标函数为：；
其中，为所述第一数据的数据量，/>为所述第二数据的数据量，为迁移所述第一数据的第一时间成本，/>为迁移所述第二数据的第二时间成本。
根据不同数据迁移方式产生的时间成本的计算，选择最优的内存数据迁移策略：
；
其中，为内存数据M的总时间成本，分割比例/>和压缩率k为待求目标。
进一步的，可以基于启发式算法等方法求解目标函数最小值时的数据迁移策略，也即分割比例和压缩率k。
S205：根据所述分割比例在所述内存数据中确定所述第一数据和所述第二数据；
S206：将所述第一数据从所述当前内存节点迁移至目标宿主机对应的目标内存节点，基于所述压缩率对所述第二数据进行压缩，将压缩之后的第二数据从所述当前内存节点迁移至所述目标内存节点。
在具体实施中，根据数据迁移策略对数据量为的数据进行直接拷贝，对数据量为/>的数据先根据数据压缩率k在本地进行数据压缩计算，并将处理后的数据量为k×/>的数据传输至目标内存节点中，实现数据的高效转移。
由此可见，本实施例在对内存数据进行迁移时，计算直接迁移和压缩后迁移的时间成本，并生成最优的数据分割方案，使得迁移内存数据的总时间成本最优，提高了内存数据的迁移效率。
下面对本申请实施例提供的一种数据迁移装置进行介绍，下文描述的一种数据迁移装置与上文描述的一种数据迁移方法可以相互参照。
参见图3，根据一示例性实施例示出的一种数据迁移装置的结构图，如图3所示，包括：
第一确定模块301，用于确定虚拟机需要迁移的内存数据；
判断模块302，用于确定所述内存数据的迁移成本，并判断所述迁移成本是否大于预设值；若是，则启动映射模块303的工作流程；若否，则启动迁移模块304的工作流程；
所述映射模块303，用于将所述虚拟机的当前内存节点的地址映射至目标宿主机；
所述迁移模块304，用于将所述内存数据从所述当前内存节点迁移至目标宿主机对应的目标内存节点。
本申请实施例提供的数据迁移装置，计算需要迁移的内存数据的迁移成本，当迁移成本大于预设值时，说明直接迁移该内存数据容易产生内存空间碎片、对内存资源运行效率的影响较大，此时通过内存节点的地址映射将当前内存节点映射至目标宿主机，避免直接迁移内存数据对内存资源运行效率。
在上述实施例的基础上，作为一种优选实施方式，所述判断模块302具体用于：确定所述内存数据中不连续的物理内存空间大小与所述内存数据占用的内存空间总量之间的比值；确定所述当前内存节点对应的虚拟机平均内存碎片化率；将所述比值与所述虚拟机平均内存碎片化率的和确定为所述内存数据的迁移成本。
在上述实施例的基础上，作为一种优选实施方式，所述判断模块302具体用于：将所述当前内存节点对应的虚拟机的实际使用内存总量与分配给所述虚拟机的内存总量的比值确定为所述虚拟机的内存碎片化率；根据所述当前内存节点对应的所有虚拟机的内存碎片化率和所述当前内存节点对应的虚拟机数量确定当前内存节点对应的虚拟机平均内存碎片化率。
在上述实施例的基础上，作为一种优选实施方式，所述判断模块302具体用于：根据迁移成本计算公式确定所述内存数据的迁移成本；其中，所述迁移成本计算公式为：
；
其中，为内存数据M的迁移成本，/>为内存数据M中不连续的物理内存空间大小，/>为内存数据M占用的内存空间总量，/>为所述当前内存节点对应的虚拟机平均内存碎片化率。
在上述实施例的基础上，作为一种优选实施方式，所述当前内存节点对应的虚拟机平均内存碎片化率的计算公式为：
；
其中，为所述当前内存节点对应的第i个虚拟机的实际使用内存总量，/>为分配给所述第i个虚拟机的内存总量，1≤i≤u，u为所述当前内存节点对应的虚拟机数量。
在上述实施例的基础上，作为一种优选实施方式，所述迁移模块304具体用于：以最小化所述内存数据的总时间成本为目标确定所述内存数据中第一数据与第二数据的分割比例和压缩率；其中，所述内存数据的总时间成本为第一时间成本与第二时间成本之和，所述第一时间成本为迁移第一数据的时间成本，所述第一数据为所述内存数据中直接迁移的数据，所述第二时间成本为迁移第二数据的时间成本，所述第二数据为所述内存数据中压缩之后迁移的数据；根据所述分割比例在所述内存数据中确定所述第一数据和所述第二数据；将所述第一数据从所述当前内存节点迁移至目标宿主机对应的目标内存节点，基于所述压缩率对所述第二数据进行压缩，将压缩之后的第二数据从所述当前内存节点迁移至所述目标内存节点。
在上述实施例的基础上，作为一种优选实施方式，还包括：
第二确定模块，用于根据所述第一数据的数据量、所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力、所述当前宿主机与所述目标宿主机之间的链路传输能力、所述目标宿主机与所述目标内存节点之间的链路传输能力确定迁移第一数据的第一时间成本。
在上述实施例的基础上，作为一种优选实施方式，所述第二确定模块具体用于：根据第一时间成本计算公式确定迁移第一数据的第一时间成本；其中，所述第一时间成本计算公式为：
；
其中，为迁移所述第一数据的第一时间成本，/>为所述第一数据的数据量，/>为所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力，为所述当前宿主机与所述目标宿主机之间的链路传输能力，/>为所述目标宿主机与所述目标内存节点之间的链路传输能力。
在上述实施例的基础上，作为一种优选实施方式，还包括：
第三确定模块，用于确定基于所述压缩率压缩第二数据的压缩时间成本，确定迁移所述第二数据的迁移时间成本；将所述第二数据的压缩时间成本和迁移时间成本之和确定为迁移所述第二数据的第二时间成本。
在上述实施例的基础上，作为一种优选实施方式，所述第三确定模块具体用于：根据第二数据的数据量、所述虚拟机的当前宿主机的处理器性能、所述压缩率、所述当前宿主机处理单位数据的周期长度确定压缩第二数据的压缩时间成本。
在上述实施例的基础上，作为一种优选实施方式，所述第三确定模块具体用于：根据压缩时间成本计算公式确定压缩第二数据的压缩成本；其中，所述压缩时间成本计算公式为：
；
其中，为所述第二数据的压缩时间成本，w为所述当前宿主机处理单位数据的周期长度，/>为所述第二数据的数据量，k为所述压缩率，/>为所述当前宿主机的处理器性能，p为预设参数。
在上述实施例的基础上，作为一种优选实施方式，所述第三确定模块具体用于：根据所述第二数据的数据量、所述压缩率、所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力、所述当前宿主机与所述目标宿主机之间的链路传输能力、所述目标宿主机与所述目标内存节点之间的链路传输能力确定迁移第二数据的迁移时间成本。
在上述实施例的基础上，作为一种优选实施方式，迁移所述第二数据的迁移时间成本为：
；
其中，为所述第二数据的数据量，k为所述压缩率，/>为所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力，/>为所述当前宿主机与所述目标宿主机之间的链路传输能力，/>为所述目标宿主机与所述目标内存节点之间的链路传输能力。
在上述实施例的基础上，作为一种优选实施方式，所述第三确定模块具体用于：根据第二时间成本计算公式确定迁移第二数据的第二时间成本；其中，所述第二时间成本计算公式为：
；
其中，为迁移所述第二数据的第二时间成本，/>为所述第二数据的数据量，k为所述压缩率，/>为所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力，/>为所述当前宿主机与所述目标宿主机之间的链路传输能力，/>为所述目标宿主机与所述目标内存节点之间的链路传输能力，/>为基于压缩率k压缩所述第二数据的压缩成本。
在上述实施例的基础上，作为一种优选实施方式，所述迁移模块304具体用于：根据第一时间成本与第二时间成本之和构建目标函数，所述目标函数用于描述迁移所述内存数据的总时间成本；确定所述目标函数最小值时所述内存数据中第一数据与第二数据的分割比例和压缩率。
在上述实施例的基础上，作为一种优选实施方式，所述目标函数为：；
其中，为所述第一数据的数据量，/>为所述第二数据的数据量，为迁移所述第一数据的第一时间成本，/>为迁移所述第二数据的第二时间成本。
在上述实施例的基础上，作为一种优选实施方式，所述分割比例为。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供了一种电子设备，图4为根据一示例性实施例示出的一种电子设备的结构图，如图4所示，电子设备包括：
通信接口1，能够与其它设备比如网络设备等进行信息交互；
处理器2，与通信接口1连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的数据迁移方法。而所述计算机程序存储在存储器3上。
当然，实际应用时，电子设备中的各个组件通过总线系统4耦合在一起。可理解，总线系统4用于实现这些组件之间的连接通信。总线系统4除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统4。
本申请实施例中的存储器3用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。
可以理解，存储器3可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（ROM，Read Only Memory）、可编程只读存储器（PROM，Programmable Read-Only Memory）、可擦除可编程只读存储器（EPROM，Erasable Programmable Read-Only Memory）、电可擦除可编程只读存储器（EEPROM，Electrically Erasable Programmable Read-Only Memory）、磁性随机存取存储器（FRAM，ferromagnetic random access memory）、快闪存储器（Flash Memory）、磁表面存储器、光盘、或只读光盘（CD-ROM，Compact Disc Read-Only Memory）；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器（RAM，Random AccessMemory），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（SRAM，Static Random Access Memory）、同步静态随机存取存储器（SSRAM，Synchronous Static Random Access Memory）、动态随机存取存储器（DRAM，Dynamic Random Access Memory）、同步动态随机存取存储器（SDRAM，SynchronousDynamic Random Access Memory）、双倍数据速率同步动态随机存取存储器（DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory）、增强型同步动态随机存取存储器（ESDRAM，Enhanced Synchronous Dynamic Random Access Memory）、同步连接动态随机存取存储器（SLDRAM，SyncLink Dynamic Random Access Memory）、直接内存总线随机存取存储器（DRRAM，Direct Rambus Random Access Memory）。本申请实施例描述的存储器3旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器2中，或者由处理器2实现。处理器2可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器3，处理器2读取存储器3中的程序，结合其硬件完成前述方法的步骤。
处理器2执行所述程序时实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
在示例性实施例中，本申请实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器3，上述计算机程序可由处理器2执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、CD-ROM等存储器。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备（可以是个人计算机、服务器、网络设备等）执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (19)
1.一种数据迁移方法，其特征在于，包括：
确定虚拟机需要迁移的内存数据；
确定所述内存数据的迁移成本，并判断所述迁移成本是否大于预设值；
若是，则将所述虚拟机的当前内存节点的地址映射至目标宿主机；
若否，则将所述内存数据从所述当前内存节点迁移至所述目标宿主机对应的目标内存节点；
其中，将所述内存数据从所述当前内存节点迁移至目标宿主机对应的目标内存节点，包括：
以最小化所述内存数据的总时间成本为目标确定所述内存数据中第一数据与第二数据的分割比例和压缩率；其中，所述内存数据的总时间成本为第一时间成本与第二时间成本之和，所述第一时间成本为迁移第一数据的时间成本，所述第一数据为所述内存数据中直接迁移的数据，所述第二时间成本为迁移第二数据的时间成本，所述第二数据为所述内存数据中压缩之后迁移的数据；
根据所述分割比例在所述内存数据中确定所述第一数据和所述第二数据；
将所述第一数据从所述当前内存节点迁移至目标宿主机对应的目标内存节点，基于所述压缩率对所述第二数据进行压缩，将压缩之后的第二数据从所述当前内存节点迁移至所述目标内存节点。
2.根据权利要求1所述数据迁移方法，其特征在于，确定所述内存数据的迁移成本，包括：
确定所述内存数据中不连续的物理内存空间大小与所述内存数据占用的内存空间总量之间的比值；
确定所述当前内存节点对应的虚拟机平均内存碎片化率；
将所述比值与所述虚拟机平均内存碎片化率的和确定为所述内存数据的迁移成本。
3.根据权利要求2所述数据迁移方法，其特征在于，确定所述当前内存节点对应的虚拟机平均内存碎片化率，包括：
将所述当前内存节点对应的虚拟机的实际使用内存总量与分配给所述虚拟机的内存总量的比值确定为所述虚拟机的内存碎片化率；
根据所述当前内存节点对应的所有虚拟机的内存碎片化率和所述当前内存节点对应的虚拟机数量确定当前内存节点对应的虚拟机平均内存碎片化率。
4.根据权利要求1所述数据迁移方法，其特征在于，确定所述内存数据的迁移成本，包括：
根据迁移成本计算公式确定所述内存数据的迁移成本；其中，所述迁移成本计算公式为：
；
其中，为内存数据M的迁移成本，/>为内存数据M中不连续的物理内存空间大小，/>为内存数据M占用的内存空间总量，/>为所述当前内存节点对应的虚拟机平均内存碎片化率。
5.根据权利要求4所述数据迁移方法，其特征在于，所述当前内存节点对应的虚拟机平均内存碎片化率的计算公式为：
；
其中，为所述当前内存节点对应的第i个虚拟机的实际使用内存总量，/>为分配给所述第i个虚拟机的内存总量，1≤i≤u，u为所述当前内存节点对应的虚拟机数量。
6.根据权利要求1所述数据迁移方法，其特征在于，还包括：
根据所述第一数据的数据量、所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力、所述当前宿主机与所述目标宿主机之间的链路传输能力、所述目标宿主机与所述目标内存节点之间的链路传输能力确定迁移第一数据的第一时间成本。
7.根据权利要求6所述数据迁移方法，其特征在于，根据所述第一数据的数据量、所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力、所述当前宿主机与所述目标宿主机之间的链路传输能力、所述目标宿主机与所述目标内存节点之间的链路传输能力确定迁移第一数据的第一时间成本，包括：
根据第一时间成本计算公式确定迁移第一数据的第一时间成本；其中，所述第一时间成本计算公式为：
；
其中，为迁移所述第一数据的第一时间成本，/>为所述第一数据的数据量，/>为所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力，为所述当前宿主机与所述目标宿主机之间的链路传输能力，/>为所述目标宿主机与所述目标内存节点之间的链路传输能力。
8.根据权利要求1所述数据迁移方法，其特征在于，还包括：
确定基于所述压缩率压缩第二数据的压缩时间成本，确定迁移所述第二数据的迁移时间成本；
将所述第二数据的压缩时间成本和迁移时间成本之和确定为迁移所述第二数据的第二时间成本。
9.根据权利要求8所述数据迁移方法，其特征在于，确定基于所述压缩率压缩第二数据的压缩时间成本，包括：
根据第二数据的数据量、所述虚拟机的当前宿主机的处理器性能、所述压缩率、所述当前宿主机处理单位数据的周期长度确定压缩第二数据的压缩时间成本。
10.根据权利要求9所述数据迁移方法，其特征在于，根据第二数据的数据量、所述虚拟机的当前宿主机的处理器性能、所述压缩率、所述当前宿主机处理单位数据的周期长度确定压缩第二数据的压缩时间成本，包括：
根据压缩时间成本计算公式确定压缩第二数据的压缩成本；其中，所述压缩时间成本计算公式为：
；
其中，为所述第二数据的压缩时间成本，w为所述当前宿主机处理单位数据的周期长度，/>为所述第二数据的数据量，k为所述压缩率，/>为所述当前宿主机的处理器性能，p为预设参数。
11.根据权利要求8所述数据迁移方法，其特征在于，确定迁移所述第二数据的迁移时间成本，包括：
根据所述第二数据的数据量、所述压缩率、所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力、所述当前宿主机与所述目标宿主机之间的链路传输能力、所述目标宿主机与所述目标内存节点之间的链路传输能力确定迁移第二数据的迁移时间成本。
12.根据权利要求11所述数据迁移方法，其特征在于，迁移所述第二数据的迁移时间成本为：
；
其中，为所述第二数据的数据量，k为所述压缩率，/>为所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力，/>为所述当前宿主机与所述目标宿主机之间的链路传输能力，/>为所述目标宿主机与所述目标内存节点之间的链路传输能力。
13.根据权利要求1所述数据迁移方法，其特征在于，确定迁移第二数据的第二时间成本，包括：
根据第二时间成本计算公式确定迁移第二数据的第二时间成本；其中，所述第二时间成本计算公式为：
；
其中，为迁移所述第二数据的第二时间成本， />为所述第二数据的数据量，k为所述压缩率，/>为所述当前内存节点至所述虚拟机的当前宿主机之间的链路传输能力，/>为所述当前宿主机与所述目标宿主机之间的链路传输能力，/>为所述目标宿主机与所述目标内存节点之间的链路传输能力，/>为基于压缩率k压缩所述第二数据的压缩成本。
14.根据权利要求1所述数据迁移方法，其特征在于，以最小化所述内存数据的总时间成本为目标确定所述内存数据中第一数据与第二数据的分割比例和压缩率，包括：
根据第一时间成本与第二时间成本之和构建目标函数，所述目标函数用于描述迁移所述内存数据的总时间成本；
确定所述目标函数最小值时所述内存数据中第一数据与第二数据的分割比例和压缩率。
15.根据权利要求14所述数据迁移方法，其特征在于，所述目标函数为：；
其中，为所述第一数据的数据量，/>为所述第二数据的数据量，为迁移所述第一数据的第一时间成本，/>为迁移所述第二数据的第二时间成本。
16.根据权利要求15所述数据迁移方法，其特征在于，所述分割比例为。
17.一种数据迁移装置，其特征在于，包括：
第一确定模块，用于确定虚拟机需要迁移的内存数据；
判断模块，用于确定所述内存数据的迁移成本，并判断所述迁移成本是否大于预设值；若是，则启动映射模块的工作流程；若否，则启动迁移模块的工作流程；
所述映射模块，用于将所述虚拟机的当前内存节点的地址映射至目标宿主机；
所述迁移模块，用于将所述内存数据从所述当前内存节点迁移至目标宿主机对应的目标内存节点；
其中，所述迁移模块具体用于：以最小化所述内存数据的总时间成本为目标确定所述内存数据中第一数据与第二数据的分割比例和压缩率；其中，所述内存数据的总时间成本为第一时间成本与第二时间成本之和，所述第一时间成本为迁移第一数据的时间成本，所述第一数据为所述内存数据中直接迁移的数据，所述第二时间成本为迁移第二数据的时间成本，所述第二数据为所述内存数据中压缩之后迁移的数据；根据所述分割比例在所述内存数据中确定所述第一数据和所述第二数据；将所述第一数据从所述当前内存节点迁移至目标宿主机对应的目标内存节点，基于所述压缩率对所述第二数据进行压缩，将压缩之后的第二数据从所述当前内存节点迁移至所述目标内存节点。
18.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至16任一项所述数据迁移方法的步骤。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至16任一项所述数据迁移方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410224921.XA CN117806776B (zh) | 2024-02-29 | 2024-02-29 | 一种数据迁移方法、装置及电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410224921.XA CN117806776B (zh) | 2024-02-29 | 2024-02-29 | 一种数据迁移方法、装置及电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117806776A CN117806776A (zh) | 2024-04-02 |
| CN117806776B true CN117806776B (zh) | 2024-05-10 |
Family
ID=90428165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410224921.XA Active CN117806776B (zh) | 2024-02-29 | 2024-02-29 | 一种数据迁移方法、装置及电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117806776B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103685256A (zh) * | 2013-12-06 | 2014-03-26 | 华为技术有限公司 | 一种虚拟机迁移管理方法、装置及系统 |
| TW201525711A (zh) * | 2013-12-26 | 2015-07-01 | Univ Nat Pingtung Sci & Tech | 雲端資料動態遷移方法 |
| US9336042B1 (en) * | 2015-11-19 | 2016-05-10 | International Business Machines Corporation | Performing virtual machine live migration within a threshold time by adding available network path in multipath network |
| CN115543530A (zh) * | 2021-06-30 | 2022-12-30 | 华为技术有限公司 | 一种虚拟机迁移方法以及相关装置 |
| CN115686756A (zh) * | 2022-11-14 | 2023-02-03 | 中国电信股份有限公司 | 虚拟机迁移方法、装置、存储介质以及电子设备 |
| CN116069450A (zh) * | 2023-02-28 | 2023-05-05 | 济南浪潮数据技术有限公司 | 虚拟机热迁移的迁移模式决策方法、装置、设备及介质 |
| CN116414523A (zh) * | 2023-04-18 | 2023-07-11 | 上海交通大学 | 一种面向内存碎片的虚拟机迁移方法与装置 |
| CN116560581A (zh) * | 2023-05-19 | 2023-08-08 | 济南浪潮数据技术有限公司 | 一种虚拟机磁盘文件迁移方法、系统、存储介质及设备 |
| CN116841688A (zh) * | 2022-03-25 | 2023-10-03 | 中国移动通信集团有限公司 | 虚拟机故障迁移方法、装置及其应用 |
| CN117519905A (zh) * | 2023-11-21 | 2024-02-06 | 天翼云科技有限公司 | 一种基于迁移成本和资源均衡的虚拟机选择方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8214829B2 (en) * | 2009-01-15 | 2012-07-03 | International Business Machines Corporation | Techniques for placing applications in heterogeneous virtualized systems while minimizing power and migration cost |
-
2024
- 2024-02-29 CN CN202410224921.XA patent/CN117806776B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103685256A (zh) * | 2013-12-06 | 2014-03-26 | 华为技术有限公司 | 一种虚拟机迁移管理方法、装置及系统 |
| TW201525711A (zh) * | 2013-12-26 | 2015-07-01 | Univ Nat Pingtung Sci & Tech | 雲端資料動態遷移方法 |
| US9336042B1 (en) * | 2015-11-19 | 2016-05-10 | International Business Machines Corporation | Performing virtual machine live migration within a threshold time by adding available network path in multipath network |
| CN115543530A (zh) * | 2021-06-30 | 2022-12-30 | 华为技术有限公司 | 一种虚拟机迁移方法以及相关装置 |
| CN116841688A (zh) * | 2022-03-25 | 2023-10-03 | 中国移动通信集团有限公司 | 虚拟机故障迁移方法、装置及其应用 |
| CN115686756A (zh) * | 2022-11-14 | 2023-02-03 | 中国电信股份有限公司 | 虚拟机迁移方法、装置、存储介质以及电子设备 |
| CN116069450A (zh) * | 2023-02-28 | 2023-05-05 | 济南浪潮数据技术有限公司 | 虚拟机热迁移的迁移模式决策方法、装置、设备及介质 |
| CN116414523A (zh) * | 2023-04-18 | 2023-07-11 | 上海交通大学 | 一种面向内存碎片的虚拟机迁移方法与装置 |
| CN116560581A (zh) * | 2023-05-19 | 2023-08-08 | 济南浪潮数据技术有限公司 | 一种虚拟机磁盘文件迁移方法、系统、存储介质及设备 |
| CN117519905A (zh) * | 2023-11-21 | 2024-02-06 | 天翼云科技有限公司 | 一种基于迁移成本和资源均衡的虚拟机选择方法 |
Non-Patent Citations (3)
| Title |
|---|
| Yaqiang Zhang et al..Deep Reinforcement Learning based Mobility-Aware Service Migration for Multi-access Edge Computing Environment.《2022 IEEE Symposium on Computers and Communications (ISCC)》.2022,全文. * |
| 刘永花 ; 杨丽娜 ; 王静宇 ; .联邦云马尔可夫链多虚拟机并行迁移.小型微型计算机系统.2016,(08),全文. * |
| 殷波等.综合迁移成本和通信成本的云计算节能策略.《北京邮电大学学报》.2012,第35卷(第1期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117806776A (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11531625B2 (en) | Memory management method and apparatus | |
| EP2988221B1 (en) | Controller, flash memory device and method for writing data into flash memory device | |
| US9584628B2 (en) | Zero-copy data transmission system | |
| KR100528973B1 (ko) | 가비지 콜렉션 방법 및 그 장치 | |
| CN111723057B (zh) | 一种文件预读方法、装置、设备及存储介质 | |
| EP3278229B1 (en) | Compressed pages having data and compression metadata | |
| US11132291B2 (en) | System and method of FPGA-executed flash translation layer in multiple solid state drives | |
| CN112463307A (zh) | 一种数据传输方法、装置、设备及可读存储介质 | |
| CN110704161B (zh) | 虚拟机创建方法、装置及计算机设备 | |
| JP2014170360A (ja) | 計算機及びメモリ管理方法 | |
| WO2022062833A1 (zh) | 内存分配方法及相关设备 | |
| JP2017527877A (ja) | フラッシュメモリから／フラッシュメモリへデータを読み取る／書き込むための方法および装置、ならびにユーザ機器 | |
| CN117806776B (zh) | 一种数据迁移方法、装置及电子设备和存储介质 | |
| KR20140073955A (ko) | 메모리 시스템 및 그 구동 방법 | |
| WO2021120843A1 (zh) | 云主机内存分配方法及云主机、设备及存储介质 | |
| CN110119245B (zh) | 用于操作nand闪存物理空间以扩展存储器容量的方法和系统 | |
| CN115151902A (zh) | 集群扩容方法、装置、存储介质及电子设备 | |
| CN113961302A (zh) | 资源分配方法、装置、电子设备及存储介质 | |
| US20240201880A1 (en) | Resource Allocation Method and Apparatus | |
| WO2023000696A1 (zh) | 一种资源分配方法及装置 | |
| WO2023151465A1 (zh) | 一种ssd的规格参数的调节方法及相关产品 | |
| CN115248719A (zh) | 一种内存管理方法、系统、设备及计算机可读存储介质 | |
| WO2023055295A2 (en) | Method and apparatus for task writing in edge terminal, terminal, and readable storage medium | |
| CN117850985A (zh) | 一种虚拟机内存资源管理方法、装置、设备及介质 | |
| CN117874101A (zh) | 弹性分布式数据存储系统、方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |