CN111435925A - 快照数据传输方法及装置 - Google Patents
快照数据传输方法及装置 Download PDFInfo
- Publication number
- CN111435925A CN111435925A CN201910026254.3A CN201910026254A CN111435925A CN 111435925 A CN111435925 A CN 111435925A CN 201910026254 A CN201910026254 A CN 201910026254A CN 111435925 A CN111435925 A CN 111435925A
- Authority
- CN
- China
- Prior art keywords
- snapshot
- available bandwidth
- task
- bandwidth
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000005540 biological transmission Effects 0.000 title claims abstract description 30
- 238000004590 computer program Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2416—Real-time traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/26—Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/29—Flow control; Congestion control using a combination of thresholds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种快照数据传输方法及装置，包括：在所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽；在接收流控反馈结果之前，根据所述第一可用带宽传输所述快照任务对应的第一快照数据，其中，所述第一快照数据为所述快照任务对应的快照数据。根据本申请实施例提供的快照数据传输方法及装置，可以提高小数据量的快照的创建效率。
Description
技术领域
本申请涉及云存储技术领域，尤其涉及一种快照数据传输方法及装置。
背景技术
云服务器提供快照功能，快照是某一时间点上一块云盘和共享块存储(以下简称磁盘)的数据状态文件。通过有计划地对云盘和磁盘创建快照，能够保留磁盘在某一个或者多个时间点的数据状态。常用于数据备份、磁盘恢复、更换操作系统和制作自定义镜像等。
而在快照创建的过程中，云服务器向快照存储系统传输快照数据的过程会占用较多带宽资源。为了减少快照存储系统的压力，可以对快照创建过程进行流控。云服务器可以在快照任务创建时，为快照任务设置一个较小的可用带宽用来传输快照数据，并通过上一级设备向流控管理设备上报快照任务(例如：单个服务器-机柜-机房-数据中心-城市数据中心)。流控管理设备根据上报的快照任务进行带宽分配。云服务器在接收到流控管理设备分配的可用带宽后，可以根据流控管理设备分配的可用带宽继续传输快照数据。
由于整个流控过程需要一定耗时，对于一些数据量不大的快照任务而言，流控过程的耗时将大大影响快照创建的效率。
发明内容
本申请实施例提供一种快照数据传输方法，包括：
在所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽；
在接收流控反馈结果之前，根据所述第一可用带宽传输所述快照任务对应的第一快照数据，
其中，所述第一快照数据为所述快照任务对应的快照数据。
在一种可能的实现方式中，所述方法还包括：
在所述快照任务对应的快照数据的数据量大于或者等于快照数据量阈值时，确定所述快照任务的可用带宽为第二可用带宽，
其中，所述第一可用带宽大于所述第二可用带宽。
在一种可能的实现方式中，所述在所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽，包括：
确定当前时间是否满足带宽设置时间条件；
在当前时间满足带宽设置时间条件，且所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽。
在一种可能的实现方式中，所述确定当前时间是否满足带宽设置时间条件，包括：
在当前时间为奇数秒时，确定所述当前时间满足带宽设置时间条件；
或者，
在当前时间为偶数秒时，确定所述当前时间满足带宽设置时间条件。
在一种可能的实现方式中，所述确定当前时间是否满足带宽设置时间条件，包括：
若当前时间之前第一指定时间间隔内不存在可用带宽为第一可用带宽的快照任务，则确定所述当前时间满足带宽设置时间条件。
在一种可能的实现方式中，所述确定当前时间是否满足带宽设置时间条件，包括：
在当前时间与第一时间的时间间隔为第二指定时间间隔时，确定所述当前时间满足带宽设置时间条件，
其中，所述第一时间为当前时间之前满足带宽设置时间条件的时间。
在一种可能的实现方式中，所述在所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽，包括：
确定当前可用带宽为第一可用带宽的快照任务数量；
在所述快照任务数量小于数量阈值，且所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽。
在一种可能的实现方式中，所述方法还包括：
接收流控管理设备发送的流控反馈结果，所述流控反馈结果包括所述快照任务对应的第三可用带宽；
在所述快照任务未结束时，根据所述第三可用带宽传输所述快照任务对应的第二快照数据，其中，所述第二快照数据为所述快照任务对应的快照数据中除第一快照数据以外的快照数据。
本申请实施例还提供一种快照数据传输装置，包括：
确定模块，用于在所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽；
第一传输模块，用于在接收流控反馈结果之前，根据所述第一可用带宽传输所述快照任务对应的第一快照数据，
其中，所述第一快照数据为所述快照任务对应的快照数据。
在一种可能的实现方式中，所述确定模块，还用于：
在所述快照任务对应的快照数据的数据量大于或者等于快照数据量阈值时，确定所述快照任务的可用带宽为第二可用带宽，
其中，所述第一可用带宽大于所述第二可用带宽。
在一种可能的实现方式中，所述确定模块，还用于：
确定当前时间是否满足带宽设置时间条件；
在当前时间满足带宽设置时间条件，且所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽。
根据本公开的另一方面，提供了一种快照数据传输装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。
根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。
这样一来，根据本申请实施例提供的快照数据传输方法及装置，云服务器在快照任务对应的快照数据的数据量小于快照数据量阈值时，确定快照任务的可用带宽为第一可用带宽，并在接收到流控反馈结果之前，根据该第一可用带宽传输快照任务对应的第一快照数据，对于小数据量的快照任务而言，能够缓解或者避免流控过程的耗时对小数据量的快照任务的创建过程的影响，可以提高快照的创建效率，并提高带宽资源的利用率，且由于小数据量的快照任务可以快速完成数据传输，因此占用带宽资源的时间较短，不会使快照存储系统的压力过大。
根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出根据本申请一实施例的一种快照数据传输方法的流程图；
图2示出根据本申请一实施例的一种快照数据传输方法的流程图；
图3示出根据本申请一实施例的一种快照数据传输装置的结构示意图；
图4是根据一示例性实施例示出的一种用于快照数据传输的装置1900的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
实施例1
图1示出根据本申请一实施例的一种快照数据传输方法的流程图，该方法可以应用于云服务器。如图1所示，该方法可以包括：
步骤101、在所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽。
举例来说，云服务器可以响应于快照创建操作(手动创建或者自动创建)，创建快照任务，该快照任务中可以包括快照数据。云服务器在创建快照任务后，可以向通过位于云服务器与流控管理设备之间的中间网络设备，向流控管理设备上报快照任务，以使得流控管理设备可以根据所有云服务器上报的快照任务及快照存储系统的处理能力，为各快照任务进行可用带宽分配。
云服务器在创建快照任务时，需要为快照任务分配一个可用带宽，在接收到流控管理设备反馈的流控反馈结果之前，云服务器可以按照该可用带宽向快照存储系统传输快照数据。
云服务器可以确定快照任务对应的快照数据的数据量，并可以根据快照数据的数据量确定快照任务的可用带宽。示例性的，在快照任务为全量快照任务时，快照数据可以为磁盘在当前时间的全部数据；或者，在快照任务为增量快照任务时，快照数据可以为磁盘中创建的上一份快照中发生变化的数据部分。
举例来说，上述快照数据量阈值可以为预置的数值(可以根据工程经验确定该快照数据量阈值，例如：可以确定该数据量阈值为常规传输速度下较快完成传输的数据量)。上述第一可用带宽可以为较大的带宽值，例如：在工程经验中流控过程中常规传输速度为5MB/s，则第一可用带宽可以为大于5MB/s的带宽值，比如：10MB/s、15MB/s、30MB/s等带宽值。
在快照任务对应的快照数据的数据量小于快照数据量阈值时，云服务器在接收到流控反馈结果之前，可以采用第一可用带宽向快照存储系统传输快照任务的快照数据，直至将快照任务对应的快照数据全部传输至快照存储系统，或者接收到流控反馈结果为止。
步骤102、在接收流控反馈结果之前，根据所述第一可用带宽传输所述快照任务对应的第一快照数据，
其中，所述第一快照数据为所述快照任务对应的快照数据。
云服务器根据快照任务对应的快照数据的数据量确定快照任务的第一可用带宽后，可以根据该第一可用带宽向快照存储系统传输第一快照数据。
示例性的，假设快照任务的快照数据为30MB，该30MB的数据分别存储于3个数据块(第一数据块、第二数据块、第三数据块)中，各个数据块中各存储有10MB的数据。由于快照数据的数据量小于快照数据量阈值(假设快照数据量为50MB)，因此云服务器可以确定该快照任务的可用带宽为的第一可用带宽。举例来说，第一可用带宽设置为15MB/s(假设正常情况下，流控过程中一般为快照任务设置5MB/s的可用带宽)，则在接收到流控管理设备发送的流控反馈结果之前，云服务器可以按照15MB/s的传输速度传输快照数据。由于第一数据块与第二数据块的数据量总和(20MB)超过了可用带宽(15MB/s)，因此云服务器可以在第1s传输第一数据块中存储的数据，在第2秒钟传输第二数据块中存储的数据，在第3秒钟传输第三数据块中存储的数据，此时第一快照数据为快照任务对应的全部快照数据(在3秒内未接收到流控反馈结果)。
再示例性的，假设云服务器在第3秒接收到了流控反馈结果，该流控反馈结果中可以携带第三可用带宽，则云服务器可以按照流控反馈结果携带的第三可用带宽传输第三数据块中的数据。此时，第一快照数据为快照任务在第一数据块及第二数据块中存储的数据。
这样一来，根据本申请实施例提供的快照数据传输方法，云服务器可以在快照任务对应的快照数据的数据量小于快照数据量阈值时，确定快照任务的可用带宽为第一可用带宽，并在接收到流控反馈结果之前，根据该第一可用带宽传输快照任务对应的第一快照数据，对于小数据量的快照任务而言，能够缓解或者避免流控过程的耗时对小数据量的快照任务的创建过程的影响，可以提高快照的创建效率，并提高带宽资源的利用率，且由于小数据量的快照任务可以快速完成数据传输，因此占用带宽资源的时间较短，不会使快照存储系统的压力过大。
在一种可能的实现方式中，上述方法还可以包括：
在所述快照任务对应的快照数据的数据量大于或者等于快照数据量阈值时，确定所述快照任务的可用带宽为第二可用带宽，
其中，所述第一可用带宽大于所述第二可用带宽。
举例来说，上述第二可用带宽为较小的带宽值(可以通过工程经验确定，例如：多个云服务器均采用第二可用带宽向快照存储系统传输快照数据时，快照存储系统可以保持稳定)，该第二可用带宽小于上述第一可用带宽。
在接收到流控反馈结果之前，云服务器可以在快照任务对应的快照数据的数据量小于快照数据量阈值时，确定快照任务的可用带宽为第一可用带宽，在快照任务对应的快照数据的数据量大于或者等于快照数据量阈值时，确定快照任务的可用带宽为第二可用带宽。
由于第一可用带宽大于第二可用带宽，因此可以使得小数据量的快照任务快速完成创建，可以提高小数据量的快照任务的创建效率；由于大数据量的快照任务在接收流控反馈结果之前按照第二可用带宽传输快照数据，而第二可用带宽较小，因此不会造成快照存储系统遭受过大压力。
示例性的，假设上述快照数据量阈值为50MB/s，上述第一可用带宽为20MB/s，上述第二可用带宽为5MB/s。假设云服务器确定第一快照任务对应的快照数据的数据量为30MB，则在接收到流控反馈结果之前，云服务器可以采用第一可用带宽20MB/s向快照存储系统传输第一快照任务的快照数据，第一快照任务在3秒内即可完成向快照存储系统的数据传输，也即在3秒内即可在快照存储系统中创建对应的快照。
假设云服务器确定第二快照任务对应的快照数据的数据量为120MB，则在接收到流控反馈结果之前，云服务器可以采用第二可用带宽5MB/s向快照存储系统传输第二快照任务的快照数据。在接收到流控反馈结果时，第二快照任务尚未完成全部数据的传输，则云服务器可以采用流控反馈结果携带的可用带宽向快照存储系统发送剩余的快照数据。
在一种可能的实现方式中，在所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽，可以包括：
确定当前时间是否满足带宽设置时间条件；
在当前时间满足带宽设置时间条件，且所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽。
举例来说，云服务器可以获取当前时间，并可以确定当前时间是否满足带宽设置时间条件。在当前时间满足带宽设置时间条件时，云服务器可以确定快照任务对应的快照数据的数据量是否小于快照数据量阈值，并在快照数据的数据量小于快照数据量阈值时，确定快照任务的可用带宽为第一可用带宽；或者，在快照数据的数据量大于或者等于快照数据量阈值时，确定快照任务的可用带宽为第二可用带宽。
或者，在当前时间不满足带宽设置时间条件时，云服务器可以确定快照任务的可用带宽为第二可用带宽。
这样一来，云服务器可以通过带宽设置时间条件控制采用第一可用带宽传输快照数据的快照任务的数量，进而可以尽量规避过量云服务器同时采用第一可用带宽传输快照任务的快照数据的可能性，以减轻快照存储系统的压力。
在一种可能的实现方式中，所述确定当前时间是否满足带宽设置时间条件，包括：
在当前时间为奇数秒时，确定所述当前时间满足带宽设置时间条件；
或者，
在当前时间为偶数秒时，确定所述当前时间满足带宽设置时间条件。
举例来说，云服务器可以获取当前时间，在当前时间为奇数秒(或者也可以为偶数秒，本申请实施例对此不作具体限定)时，云服务器可以确定当前时间满足带宽设置时间条件，并在快照任务的快照数据的数据量小于快照数据量阈值时，可以采用第一可用带宽传输快照任务的快照数据，也即云服务器仅可以在奇数秒或者偶数秒时，采用第一可用带宽传输小数据量的快照任务的快照数据。
示例性的，不同的云服务器可以配置不同的带宽设置时间条件，例如：设置部分的云服务器在当前时间为奇数秒时，确定当前时间满足带宽设置时间条件，设置另一部分的云服务器在当前时间为偶数秒时，确定当前时间满足带宽设置时间条件，以使得部分服务器可以在奇数秒时采用第一可用带宽传输快照任务的快照数据，部分服务器可以在偶数秒时采用第一可用带宽传输快照任务的快照数据，进而可以尽量规避过量的云服务器同时采用第一可用带宽传输快照数据的可能，以在提高小数据量的快照任务的创建效率的同时，减轻快照存储系统的压力。
在一种可能的实现方式中，上述确定当前时间是否满足带宽设置时间条件，包括：
若当前时间之前第一指定时间间隔内不存在可用带宽为第一可用带宽的快照任务，则确定所述当前时间满足带宽设置时间条件。
上述第一指定时间间隔可以为预设的时间值。
举例来说，云服务器可以记录各个时间对应的快照任务的可用带宽。云服务器可以确定当前时间，并可以确定当前时间之前的第一指定时间间隔中，是否存在可用带宽为第一可用带宽的快照任务。
在当前时间之前第一指定时间间隔内不存在可用带宽为第一可用带宽的快照任务时，云服务器可以确定当前时间满足带宽设置时间条件，并在快照任务的快照数据的数据量小于快照数据量阈值时，可以采用第一可用带宽向快照存储系统传输该快照任务的快照数据。
或者，在当前时间之前第一指定时间间隔内存在可用带宽为第一可用带宽的快照任务时，云服务器可以确定当前时间不满足带宽设置时间条件，进而可以采用第二可用带宽向快照存储系统传输快照任务的快照数据。
示例性的，假设上述第一指定时间间隔为2秒，当前时间为14点24秒。则云服务器可以确定14点22秒至14点24秒之间是否存在可用带宽为第一可用带宽的快照任务。
假设14点22秒至14点24秒之间不存在可用带宽为第一可用带宽的快照任务，则当前时间14点24秒满足带宽设置时间条件，若快照任务的快照数据的数据量小于快照数据量阈值，则云服务器可以确定快照任务的可用带宽为第一可用带宽，并且接下来14点25秒、14点26秒均不满足带宽设置时间条件；若快照任务的快照数据的数据量大于或者等于快照数据量阈值，则云服务器可以确定快照任务的可用带宽为第二可用带宽，并且接下来14点25秒满足带宽设置时间条件，若14点25秒时，不存在快照数据的数据量小于快照数据量阈值的快照任务，则14点26秒满足带宽设置条件。
否则，若14点22秒存在可用带宽为第一可用带宽的快照任务，则当前时间14点24秒不满足带宽设置时间条件，并且在下一秒(14点25秒)时，云服务器可以确定14点25秒满足带宽设置条件。
这样一来，可以尽量规避过量云服务器同时采用第一可用带宽传输快照任务的快照数据的可能性，以在提高小数据量的快照任务的创建效率的同时，减轻快照存储系统的压力。
在一种可能的实现方式中，上述确定当前时间是否满足带宽设置时间条件，可以包括：
在当前时间与第一时间的时间间隔为第二指定时间间隔时，确定所述当前时间满足带宽设置时间条件，
其中，所述第一时间为当前时间之前满足带宽设置时间条件的时间。
举例来说，上述第二指定时间间隔可以为预设的时间值，其中，第二指定时间间隔可以与上述第一指定时间间隔相同，也可以与上述第一指定时间间隔不同，本申请实施例在此不做具体限定。
举例来说，云服务器可以确定当前时间，并可以根据当前时间确定第一时间，第一时间可以为当前时间之前满足带宽设置时间条件的时间，或者第一时间可以为当前时间之前满足带宽设置时间条件的时间中，与当前时间的时间间隔最小的时间。
云服务器可以确定当前时间与第一时间的时间间隔，在当前时间与第一时间的时间间隔为第二指定时间间隔时，可以确定当前时间满足带宽设置时间条件。
示例性的，假设上述第二指定时间间隔为2秒，当前时间为14点24秒。若云服务器确定当前时间之前满足带宽设置时间条件的第一时间为14分22秒，其与当前时间的时间间隔为2秒，则云服务器可以确定当前时间14点24秒满足带宽设置时间条件(第一时间为其他时间时，当前时间均不满足带宽设置时间条件)，并且下一满足带宽设置时间条件的时间为14点26秒，也即每3秒内仅有1秒是满足带宽设置时间条件的时间。
实际上，云服务器还可以预先设置每一天中所有满足带宽设置时间条件的时间，这样一来，云服务器可以确定获取当前时间后，根据前述设置，可以直接查询当前时间是否为满足带宽设置时间条件的时间。
这样一来，可以尽量规避过量云服务器同时采用第一可用带宽传输快照任务的快照数据的可能性，以在提高小数据量的快照任务的创建效率的同时，减轻快照存储系统的压力。
在一种可能的实现方式中，所述在所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽，可以包括：
确定当前可用带宽为第一可用带宽的快照任务数量；
在所述快照任务数量小于数量阈值，且所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽。
上述数量阈值可以为预设的数值。
举例来说，云服务器可以确定本地当前可用带宽为第一可用带宽的快照任务数量，并在快照任务数量小于数量阈值时，确定快照任务对应的快照数据的数据量，以在快照数据的数据量小于快照数据量阈值时，采用第一可用带宽向快照存储系统传输快照任务的快照数据。
示例性的，假设上述数量阈值为10(同一时刻，一个云服务器最多仅允许有10个快照任务采用第一可用带宽)，则云服务器可以在当前可用带宽为第一可用带宽的快照任务数量小于10时，确定快照任务对应的快照数据的数据量，并在快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽。
这样一来，可以尽量规避过量云服务器同时采用第一可用带宽传输快照任务的快照数据的可能性，以在提高小数据量的快照任务的创建效率的同时，减轻快照存储系统的压力。
图2示出根据本申请一实施例的一种快照数据传输方法的流程图。
在一种可能的实现方式中，参照图2，上述方法还可以包括：
步骤103、接收流控管理设备发送的流控反馈结果，所述流控反馈结果包括所述快照任务对应的第三可用带宽；
步骤104、在所述快照任务未结束时，根据所述第三可用带宽传输所述快照任务对应的第二快照数据，其中，所述第二快照数据为所述快照任务对应的快照数据中除第一快照数据以外的快照数据。
流控管理设备可以为流控过程中用于根据所有云服务器上报的快照任务及快照存储系统的处理能力，为各快照任务进行可用带宽分配的网络设备。例如：流控上报过程为单个服务器-机柜-机房-数据中心-城市数据中心时，上述流控管理设备可以为数据城市中心负责流控管理和控制的网络设备。
流控管理设备可以为各个快照任务分配第三可用带宽，并可以通过流控管理设备与云服务器之间的中间网络设备向云服务器发送流控反馈结果，该流控反馈结果中可以包括快照任务对应的第三可用带宽。
若此时快照任务尚未结束(已采用第一可用带宽或者第二可用带宽向快照存储系统传输第一快照数据，剩余未传输快照数据为第二快照数据)，云服务器可以采用第三可用带宽继续向快照存储系统传输剩余的第二快照数据。由于第三可用带宽为流控管理设备纵观全局后分配的可用带宽，故可以很好地平衡快照任务的创建效率及快照存储系统压力之间的关系。
图3示出根据本申请一实施例的一种快照数据传输装置的结构示意图。如图3所示，该装置可以包括：
确定模块301，可以用于在所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽；
第一传输模块302，可以用于在接收流控反馈结果之前，根据所述第一可用带宽传输所述快照任务对应的第一快照数据，
其中，所述第一快照数据为所述快照任务对应的快照数据。
这样一来，根据本申请实施例提供的快照数据传输装置，云服务器可以在快照任务对应的快照数据的数据量小于快照数据量阈值时，确定快照任务的可用带宽为第一可用带宽，并在接收到流控反馈结果之前，根据该第一可用带宽传输快照任务对应的第一快照数据，对于小数据量的快照任务而言，能够缓解或者避免流控过程的耗时对小数据量的快照任务的创建过程的影响，可以提高快照的创建效率，并提高带宽资源的利用率，且由于小数据量的快照任务可以快速完成数据传输，因此占用带宽资源的时间较短，不会使快照存储系统的压力过大。
在一种可能的实现方式中，上述确定模块301，还可以用于：
在所述快照任务对应的快照数据的数据量大于或者等于快照数据量阈值时，确定所述快照任务的可用带宽为第二可用带宽，
其中，所述第一可用带宽大于所述第二可用带宽。
在一种可能的实现方式中，上述确定模块301，还可以用于：
确定当前时间是否满足带宽设置时间条件；
在当前时间满足带宽设置时间条件，且所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽。
在一种可能的实现方式中，上述确定模块301，还可以用于：
在当前时间为奇数秒时，确定所述当前时间满足带宽设置时间条件；
或者，
在当前时间为偶数秒时，确定所述当前时间满足带宽设置时间条件。
在一种可能的实现方式中，上述确定模块301，还可以用于：
若当前时间之前第一指定时间间隔内不存在可用带宽为第一可用带宽的快照任务，则确定所述当前时间满足带宽设置时间条件。
在一种可能的实现方式中，上述确定模块301，还可以用于：
在当前时间与第一时间的时间间隔为第二指定时间间隔时，确定所述当前时间满足带宽设置时间条件，
其中，所述第一时间为当前时间之前满足带宽设置时间条件的时间。
在一种可能的实现方式中，上述确定模块301，还可以用于：
确定当前可用带宽为第一可用带宽的快照任务数量；
在所述快照任务数量小于数量阈值，且所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽。
在一种可能的实现方式中，上述装置还可以包括：
接收模块，可以用于接收流控管理设备发送的流控反馈结果，所述流控反馈结果包括所述快照任务对应的第三可用带宽；
第二传输模块，可以用于在所述快照任务未结束时，根据所述第三可用带宽传输所述快照任务对应的第二快照数据，其中，所述第二快照数据为所述快照任务对应的快照数据中除第一快照数据以外的快照数据。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
图4是根据一示例性实施例示出的一种用于快照数据传输的装置1900的框图。例如，装置1900可以被提供为一服务器。参照图4，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (13)
1.一种快照数据传输方法，其特征在于，包括：
在所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽；
在接收流控反馈结果之前，根据所述第一可用带宽传输所述快照任务对应的第一快照数据，
其中，所述第一快照数据为所述快照任务对应的快照数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述快照任务对应的快照数据的数据量大于或者等于快照数据量阈值时，确定所述快照任务的可用带宽为第二可用带宽，
其中，所述第一可用带宽大于所述第二可用带宽。
3.根据权利要求1所述的方法，其特征在于，在所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽，包括：
确定当前时间是否满足带宽设置时间条件；
在当前时间满足带宽设置时间条件，且所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽。
4.根据权利要求3所述的方法，其特征在于，所述确定当前时间是否满足带宽设置时间条件，包括：
在当前时间为奇数秒时，确定所述当前时间满足带宽设置时间条件；
或者，
在当前时间为偶数秒时，确定所述当前时间满足带宽设置时间条件。
5.根据权利要求3所述的方法，其特征在于，所述确定当前时间是否满足带宽设置时间条件，包括：
若当前时间之前第一指定时间间隔内不存在可用带宽为第一可用带宽的快照任务，则确定所述当前时间满足带宽设置时间条件。
6.根据权利要求3所述的方法，其特征在于，所述确定当前时间是否满足带宽设置时间条件，包括：
在当前时间与第一时间的时间间隔为第二指定时间间隔时，确定所述当前时间满足带宽设置时间条件，
其中，所述第一时间为当前时间之前满足带宽设置时间条件的时间。
7.根据权利要求1所述的方法，其特征在于，所述在所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽，包括：
确定当前可用带宽为第一可用带宽的快照任务数量；
在所述快照任务数量小于数量阈值，且所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：
接收流控管理设备发送的流控反馈结果，所述流控反馈结果包括所述快照任务对应的第三可用带宽；
在所述快照任务未结束时，根据所述第三可用带宽传输所述快照任务对应的第二快照数据，其中，所述第二快照数据为所述快照任务对应的快照数据中除第一快照数据以外的快照数据。
9.一种快照数据传输装置，其特征在于，包括：
确定模块，用于在所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽；第一传输模块，用于在接收流控反馈结果之前，根据所述第一可用带宽传输所述快照任务对应的第一快照数据，
其中，所述第一快照数据为所述快照任务对应的快照数据。
10.根据权利要求9所述的装置，其特征在于，所述确定模块，还用于：
在所述快照任务对应的快照数据的数据量大于或者等于快照数据量阈值时，确定所述快照任务的可用带宽为第二可用带宽，
其中，所述第一可用带宽大于所述第二可用带宽。
11.根据权利要求9所述的装置，其特征在于，所述确定模块，还用于：
确定当前时间是否满足带宽设置时间条件；
在当前时间满足带宽设置时间条件，且所述快照任务对应的快照数据的数据量小于快照数据量阈值时，确定所述快照任务的可用带宽为第一可用带宽。
12.一种快照数据传输装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1至8任一项所述的方法。
13.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至8中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910026254.3A CN111435925B (zh) | 2019-01-11 | 2019-01-11 | 快照数据传输方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910026254.3A CN111435925B (zh) | 2019-01-11 | 2019-01-11 | 快照数据传输方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111435925A true CN111435925A (zh) | 2020-07-21 |
| CN111435925B CN111435925B (zh) | 2023-09-26 |
Family
ID=71580309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910026254.3A Active CN111435925B (zh) | 2019-01-11 | 2019-01-11 | 快照数据传输方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111435925B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004206611A (ja) * | 2002-12-26 | 2004-07-22 | Hitachi Computer Peripherals Co Ltd | バックアップシステム |
| CN104104735A (zh) * | 2014-08-06 | 2014-10-15 | 汉柏科技有限公司 | 利用空闲带宽进行数据备份的方法及系统 |
| CN104918290A (zh) * | 2015-05-15 | 2015-09-16 | 中国农业大学 | 一种数据传输方法 |
| CN106537353A (zh) * | 2014-07-15 | 2017-03-22 | 华为技术有限公司 | 一种数据复制方法、装置以及系统 |
| CN108572888A (zh) * | 2017-03-14 | 2018-09-25 | 阿里巴巴集团控股有限公司 | 磁盘快照创建方法和磁盘快照创建装置 |
| CN108897494A (zh) * | 2018-06-15 | 2018-11-27 | 郑州云海信息技术有限公司 | 块存储系统中数据操作的处理方法以及相关装置 |
| US20180341691A1 (en) * | 2015-11-24 | 2018-11-29 | T2 Data Ab | Data synchronization in a distributed data storage system |
| CN109117308A (zh) * | 2018-07-27 | 2019-01-01 | 华为技术有限公司 | 快照处理的方法和装置 |
-
2019
- 2019-01-11 CN CN201910026254.3A patent/CN111435925B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004206611A (ja) * | 2002-12-26 | 2004-07-22 | Hitachi Computer Peripherals Co Ltd | バックアップシステム |
| CN106537353A (zh) * | 2014-07-15 | 2017-03-22 | 华为技术有限公司 | 一种数据复制方法、装置以及系统 |
| CN104104735A (zh) * | 2014-08-06 | 2014-10-15 | 汉柏科技有限公司 | 利用空闲带宽进行数据备份的方法及系统 |
| CN104918290A (zh) * | 2015-05-15 | 2015-09-16 | 中国农业大学 | 一种数据传输方法 |
| US20180341691A1 (en) * | 2015-11-24 | 2018-11-29 | T2 Data Ab | Data synchronization in a distributed data storage system |
| CN108572888A (zh) * | 2017-03-14 | 2018-09-25 | 阿里巴巴集团控股有限公司 | 磁盘快照创建方法和磁盘快照创建装置 |
| CN108897494A (zh) * | 2018-06-15 | 2018-11-27 | 郑州云海信息技术有限公司 | 块存储系统中数据操作的处理方法以及相关装置 |
| CN109117308A (zh) * | 2018-07-27 | 2019-01-01 | 华为技术有限公司 | 快照处理的方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| HAN ZHAO；等: "Bandwidth and Locality Aware Task-stealing for Manycore Architectures with Bandwidth-Asymmetric Memory", 《ACM TRANSACTIONS ON ARCHITECTURE AND CODE OPTIMIZATION》, vol. 15, no. 4, pages 1 - 26, XP058673109, DOI: 10.1145/3291058 * |
| 赵志恒;罗宇;: "基于细粒度快照的远程容灾系统的设计与实现", 计算机工程与科学, no. 07 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111435925B (zh) | 2023-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109936511B (zh) | 一种令牌获取方法、装置、服务器、终端设备及介质 | |
| CN107968810B (zh) | 一种服务器集群的资源调度方法、装置和系统 | |
| CN106886434B (zh) | 一种分布式应用安装方法与装置 | |
| CN109561128B (zh) | 数据传输方法和装置 | |
| CN109739627B (zh) | 任务的调度方法、电子设备及介质 | |
| CN106470163B (zh) | 一种信息处理方法、装置和系统 | |
| CN110008050B (zh) | 用于处理信息的方法和装置 | |
| CN112269661B (zh) | 基于Kafka集群的分区迁移方法和装置 | |
| CN110908774A (zh) | 一种资源调度方法、设备、系统及存储介质 | |
| CN102137091B (zh) | 一种过负荷控制方法、装置、系统及客户端 | |
| CN113347249B (zh) | 一种作业加载方法、装置及设备 | |
| CN109542920B (zh) | 一种数据传输方法、装置、介质和电子设备 | |
| CN109495397B (zh) | 流量控制方法及装置 | |
| CN110968406B (zh) | 处理任务的方法、装置、存储介质和处理器 | |
| CN109308219B (zh) | 任务处理方法、装置及分布式计算机系统 | |
| CN111435925B (zh) | 快照数据传输方法及装置 | |
| CN109947843B (zh) | 区块链中时间的确定方法、装置及系统 | |
| CN115048186A (zh) | 业务容器的扩缩容处理方法、装置、存储介质及电子设备 | |
| CN115794396A (zh) | 资源分配的方法、系统和电子设备 | |
| CN105519055A (zh) | 一种I/O通道QoS动态均衡方法及装置 | |
| CN115878309A (zh) | 资源分配方法、装置、处理核、设备和计算机可读介质 | |
| CN114513469A (zh) | 分布式系统的流量整形方法、装置和存储介质 | |
| CN115878303A (zh) | 一种资源调度方法、装置及电子设备 | |
| CN110618863A (zh) | 一种基于Raft算法的作业调度方法 | |
| CN107784040B (zh) | 一种文件下发方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231207 Address after: Room 1-2-A06, Yungu Park, No. 1008 Dengcai Street, Sandun Town, Xihu District, Hangzhou City, Zhejiang Province Patentee after: Aliyun Computing Co.,Ltd. Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK Patentee before: ALIBABA GROUP HOLDING Ltd. |